Estudios Pedagógicos XXXVII, Nº 2: 147-160, 2011

INVESTIGACIONES

RESUMEN

Este artículo presenta los resultados psicométricos de la primera aplicación en Chile de la Escala Revisada de Calificación del Ambiente de la Infancia Temprana, ECERS-R. Este instrumento se aplicó en 81 salas de actividades de 81 centros educativos en cuatro regiones de Chile. Para evaluar la validez constructiva fueron utilizados dos instrumentos paralelos: las Pautas de Observación de Actividades Pedagógicas Preescolares (CEDEP) y el Caregiver Interaction Scale (CIS). Se obtuvo amplia variabilidad en los rangos de los puntajes por ítem, así como de la calidad total y por subescalas. Se detectó una muy alta confiabilidad de la escala total y de sus subescalas mediante procedimientos de consistencia interna. En cuanto a validez constructiva, se detectó alta correlación positiva con CIS y con las actividades que favorecen el desarrollo cognitivo y socio-emocional en la Pauta CEDEP, lo que indica validez convergente. Finalmente, se encontró correlación negativa entre ECERS-R y las actividades de la pauta que perjudican ambos desarrollos anteriores, lo que simultáneamente es un indicador de validez discriminante o divergente.

Palabras clave: calidad educacional, ECERS-R, validez, confiabilidad.

ABSTRACT

This article presents the first psychometric results for the Revised Early Childhood Environment Qualification Scale (ECERS-R) applied in Chile. This instrument was applied in 81 activity rooms of 81 educational centers in four regions of Chile. To evaluate the constructive validity, two parallel instruments were also applied: Pre-school Pedagogical Activity Observation Evaluation (CEDEP) and the Caregiver Interaction Scale (CIS). Wide ranges were obtained in the scores per item, total quality and sub-scales. Internal consistency procedures indicated that the total scale and the sub-scales are highly reliable. A high positive correlation was detected with CIS and the activities that favor cognitive and socio-emotional development in the CEDEP evaluation, which indicates convergent validity. Finally, a negative correlation was found between ECERS-R and the outline activities that are prejudicial to both earlier developments since they are simultaneously an indicator of discriminatory or divergent validity.

Key words: educational quality, ECERS-R, validity, reliability.

RESUMO

Apresentam-se os resultados psicométricos da primeira aplicação da Escala Revisada de Qualificação do Ambiente da Primeira Infância, ECERS-R, no Chile. Este instrumento foi aplicado em 81 salas de centros educativos em quatro regiões chilenas. Para avaliar a legitimidade construtiva, foram utilizados dois instrumentos paralelos: as Pautas de Observação de Atividades Pedagógicas Pré-escolares (CEDEP) e a Escala de Observação de Cuidadores (CIS). Obteve-se ampla variação nos intervalos de pontuações por item, assim como na qualidade total e nas subescalas. Detectou-se uma confiabilidade muito alta da escala total e de suas subescalas mediante procedimentos de consistência interna. Quanto à validade construtiva, descobriu-se alta correlação positiva entre o CIS e as atividades que favorecem o desenvolvimento cognitivo e socioemocional no CEDEP, o que indica legitimidade convergente. Finalmente, encontrou-se correlação negativa entre ECERS-R e atividades da pauta que prejudicam ambos os desenvolvimentos anteriores, o que é simultaneamente um indicador de legitimidade discriminante ou convergente.

Palavras chave: qualidade educacional, ECERS-R, legitimidade, confiabilidade.

1. INTRODUCCIÓN

Este artículo se propone presentar las características psicométricas de la Escala Revisada de Calificación del Ambiente de la Infancia Temprana, ECERS-R, instrumento basado en la ECERS, Early Childhood Environmental Rating Scale (Harms y Clifford 1980). La escala original fue analizada hace más de una década por Herrera et al. (1997) e informada su capacidad de medir adecuadamente la calidad del ambiente educativo de las salas de educación parvularia o preescolar chilenas.

Los autores efectuaron modificaciones importantes en la ECERS original, tomando en consideración múltiples investigaciones en Europa y Estados Unidos (así como resultados de encuestas a educadores que la aplicaron directamente en sus salas, incluyendo además los avances científicos actuales en relación a lo que los niños y niñas de estas edades requieren para un desarrollo óptimo. Según los autores (Harms et al. 2002), la revisión tuvo como propósito poner al día el contenido, clarificar los indicadores para hacer más exacta la puntuación y hacerla más compatible con las otras dos escalas de su autoría, la ITERS (Infant Toddler Environment Rating Scale, que mide los ambientes para Sala Cuna (menores de tres años) y la SACERS (School-Age Care Environment Rating Scale) para ambientes de educación básica. En general, la escala revisada no es una escala nueva, pues conserva las mismas bases y definición general del ambiente incluyendo aspectos espaciales, programáticos e interpersonales que afectan a niños, niñas y adultos en el ambiente infantil; se mantiene también el formato y la manera de puntuar, se amplían las notas de clarificación para explicar mejor los indicadores y facilitar una calificación más exacta. Los ítems aumentan de 37 a 43; se omiten los ítems para menores de treinta y seis meses, pues existe una escala especial para ellos (ITERS); se combinan algunos ítems, mientras otros se dividen y se agregan algunos nuevos para áreas no cubiertas como: prácticas de salud y seguridad, actividades de matemáticas/números, uso de televisión, videos y computadoras, y varios acerca de las necesidades del personal. Las subescalas siguen siendo siete, pero hay algunos cambios de orden y de contenidos que se observarán más adelante cuando se describa el instrumento.

Se considera que la escala revisada ha mantenido las fortalezas de la anterior y ha introducido cambios que la hacen, por una parte, más adecuada a la educación parvularia actual y, por otra, más rigurosa que la anterior (Smith 2005; Mathers et al. 2007; Lambert et al. 2008). Surge así el propósito principal de este estudio, demostrar que la escala revisada, es adecuada para su aplicación en nuestra realidad, por lo que se presentan los resultados psicométricos de su primera aplicación en Chile, conclusiones que fundamentan su aplicación directa en estudios experimentales actualmente en fase inicial de ejecución (Merino, et al. 2009; Warash 2005).

Utilizaremos para este análisis datos recolectados por el proyecto Prácticas Pedagógicas relativo a las prácticas educativas de calidad en educación parvularia encargado por Ministerio de Educación de Chile a la Facultad de Educación de la Universidad de Concepción (Domínguez et al. 2007).

2. INSTRUMENTOS

La escala ECERS-R (Harms, Clifford y Cryer 2002) evalúa la calidad del entorno organizado para niños y niñas de dos años y medio a cinco años. Es una pauta de observación diseñada para evaluar cualquier centro preescolar, de cualquier realidad educativa, por personal previamente entrenado. Consta de 43 ítemes, agrupados en siete subescalas: Espacio y muebles (ítemes 1 al 8), Rutinas de cuidado personal (9 al 14), Lenguaje y Razonamiento (15 a 18), Actividades (19 a 28), Interacción (29 a 33), Estructura del programa (34 a 37) y Padres y Personal (38 a 43). Cada ítem es evaluado desde 1 a 7 puntos, la asignación de puntaje a cada ítem está clara y precisamente descrita en el Manual de Instrucciones, como inadecuado (1), mínimo (3), bueno (5) y excelente (7). Los puntajes intermedios se otorgan cuando la sala cumple con todos los requisitos para obtener un puntaje y sólo algunos del siguiente. La escala entrega la descripción detallada y precisa para las puntuaciones de cada uno de los ítems. Cada ítem es evaluado entre 1 y 7 puntos.

Caregiver Interaction Scale o Pauta de Observación CIS (Arnett 1989) mide el clima de la sala de actividades en el centro preescolar. En su aplicación para Chile, cuenta con tres subescalas: Apego, Sensibilidad y Dureza. Requiere que se observe directamente el comportamiento del adulto y luego se responda a cada uno de los 26 ítems que componen el instrumento, en relación a cuán típico de la conducta del adulto observado es el comportamiento consignado. Se otorga un punto cuando la conducta Nunca fue observada, dos puntos cuando fue observada sólo A Veces, tres puntos corresponden a Frecuentemente y si fueron observadas Siempre, se otorgan cuatro puntos. La escala tiene la mitad de sus ítems con comportamientos negativos, los que son valorados de manera inversa. Este instrumento ya fue aplicado por el equipo investigador en ocasiones anteriores con resultados psicométricos muy adecuados (Mathiesen et al. 2000).

Pauta de observación de actividades pedagógicas preescolares (Edwards, De Amesti y Eisenberg 1999) evalúa la situación educativa a la que los niños y niñas están expuestos al interior de la sala preescolar. Le interesa conocer cómo es el ambiente físico y didáctico, qué características tiene la interacción del agente educativo con los niños/as y qué tipo de actividades realizan, centrándose en cómo las educadoras fomentan el desarrollo cognitivo y socio-emocional de los niños/as. Este instrumento consta de 51 ítems, en dos secciones, una para cada uno de los ámbitos de desarrollo. En cada sección hay tres grupos de ítems: mínimos, que se espera estén siempre presentes; de bonificación, que son deseables, pero no se espera que estén todos presentes en una hora de observación, e ítems negativos, que no deberían estar nunca presentes.

El período de observación debe ser mínimo de 1 hora y realizarse sin interrupciones, incluir la actividad pedagógica estructurada y planificada para ese día, además de la rutina que la sigue o la precede, pero sin incluir el recreo. Los ítems se puntúan con sí o no, respuestas que equivalen a 1 ó 0 puntos.

3. MUESTRA

La muestra original planificada incluía 128 centros preescolares de cuatro regiones de Chile: Región Metropolitana, Región del Bio-Bío, Cuarta Región y Región de la Araucanía. En cada una de las regiones se seleccionaron 32 centros, los que contribuyen al estudio con una sala cada uno. La muestra fue estratificada por cuotas, considerando para cada Región: el Tipo de Sostenedor (Junta Nacional de Jardines Infantiles - JUNJI, Fundación INTEGRA¹, Transferencia De Fondos, Municipalizados y Particulares No Subvencionados²), Ubicación Geográfica (Urbana y Rural) y Nivel de Educación Parvularia del Jardín (Primer y Segundo Ciclos). Los Centros de educación parvularia integrantes de cada cuota fueron elegidos al azar. Se seleccionaron ocho jardines para cada tipo con todos los ciclos, esto es, JUNJI, Integra y Transferencia de Fondos. Se seleccionaron cuatro jardines para los Municipalizados y Particulares No Subvencionados, porque no disponen simultáneamente de ambos ciclos o niveles de enseñanza preescolar. La pertenencia rural o urbana se basó en la clasificación de las propias instituciones, excepto en el caso de JUNJI -de cuyos jardines no se tenía esa información. En ausencia de otro criterio, los jardines con direcciones de ciudades fueron considerados urbanos y los restantes, la parte menor, como rurales. Como en los casos anteriores, estos jardines fueron seleccionados al azar, la mitad urbanos y la otra mitad rurales.

Finalmente se obtuvo una muestra real de 126 Centros: 32 en la Región Metropolitana, 32 en la Región del Bio-Bío y 31 en la Cuarta Región y otros 31 en la Región de la Araucanía. En cuanto al sostenedor, JUNJI, Integra y Transferencia de Fondos contribuyeron con 32 centros preescolares cada uno. Mientras de los centros preescolares Municipales y Particulares No Subvencionados fueron seleccionados 16 y 14 establecimientos, respectivamente. Estos últimos no fueron elegidos al azar sino intencionadamente escogidos entre los colegios con mejores resultados en la Prueba de Selección Universitaria a las universidades chilenas (PSU) en los dos años anteriores al 2007, año de elección de la muestra. En ese sector solo se representará a jardines urbanos, aunque se cauteló que hubiera diversidad de administradores. En esta muestra Municipal y Particular No Subvencionada se eliminó las salas de primer ciclo en las que se aplicó la ITERS-R, instrumento ya evaluado por el equipo investigador en 2006, y cuyas características psicométricas han sido previamente informadas (Herrera et al. 2006).

Excluyendo de la muestra final del estudio los 45 centros preescolares de primer ciclo en que fue aplicado ITERS como instrumento medicional de la valoración de la calidad, se llega finalmente a los 81 centros de educación parvularia que fueron valorados con ECERS-R. Éstos constituyen el foco de este estudio y sus características principales establecen que el 57% fueron urbanos, 21 de las regiones Metropolitana y de la Araucanía, 20 del Bío-Bío y 19 de la Cuarta región. En cuanto a la dependencia, Junji, Integra y Transferencia de Fondos están representados con 17 salas cada uno, Municipales con 16 y Particulares No Subvencionados con 14.

4. PROCEDIMIENTO

Para la recolección de datos, el equipo a cargo del proyecto seleccionó a ocho educadoras de párvulos, egresadas de la Universidad de Concepción, considerando antecedentes académicos y características personales. La capacitación en la administración de los instrumentos se realizó durante un mes y medio, y se les integró como miembros del equipo recolector cuando habían logrado el 95% de concordancia en la aplicación de los instrumentos de observación.

El entrenamiento consistió básicamente en: conocimientos de los instrumentos (estudio de cada uno de ellos, con sesiones de consulta y prueba escrita sobre los instrumentos), aplicaciones individuales en diversos jardines infantiles a modo de ejercicio y posterior sesiones de consulta y aplicación en un centro determinado en parejas de aplicadoras por sala, con una exigencia de 95% de acuerdo.

En cada una de las regiones, la recolección de los datos estuvo a cargo de dos de las ocho educadoras entrenadas. Una investigadora supervisó la recolección de los datos en cada una de las regiones, como una manera de mantener los mismos criterios en la etapa de recolección de la información y supervisar la rigurosidad de la recolección de la información. En cuanto al procedimiento de análisis de datos, éstos fueron ingresados en una base de datos SAS y analizados con el mismo programa.

5. RESULTADOS

5.1. ASPECTOS GENERALES DE LA ESCALA ECERS-R

Tres ítems de la escala concentraron una gran cantidad de respuestas en la opción “No aplicable”. Un análisis detallado de los ítems condujo a la decisión de eliminar el número 27 relativo al uso de televisor, computador y/o video y el 37 relativo al tratamiento de niños especiales, pues en el primer caso, el 27% de los centros no tenían ninguno de estos aparatos y en el segundo, en sólo 13 de las 81 salas, asistían estos niños o niñas (78%). El tercer ítem problemático fue el número 11, que evalúa la siesta, en el que originalmente había 59 “No Aplicables”, se decidió asignar a este ítem el promedio de los otros de la subescala Rutina, cuando se trataba de jardines sólo de media jornada en que la evaluación efectivamente no era aplicable; se asignó un puntaje 1 cuando había una jornada más larga y no existía siesta. En general, en este aspecto se considera que la escala para trabajos de investigación, en nuestro país, debería usarse sólo con 41 de los 43 ítems de la escala original. Los 41 ítems tuvieron, en general, promedios de calidad mínima y amplia variación, como muestran las desviaciones estándar y los rangos de variación que se presentan en la tabla que sigue. Se puede apreciar que salvo los ítems 5 y 28, todos los otros tienen el rango de variación máxima, esto es, hay tanto salas de actividades de calidad inadecuada como de calidad sobresaliente. En el ítem 5, espacio para la privacidad, el máximo puntaje obtenido fue seis, esto es, calidad buena y en el 28 que se refiere a promover la aceptación de la diversidad, el máximo logrado fue cuatro, es decir, calidad mínima.

5.2. CONFIABILIDAD

Como una primera inspección de la confiabilidad de la ECERS-R, se evaluó la consistencia interna de la escala total y de su subescalas, mediante Alpha de Cronbach. A continuación presentamos un cuadro con estos resultados, ellos avalan la confiabilidad de la escala y sus dimensiones. En la escala total (eliminados los ítems 27 y 37) el Alpha fue de .94. En cuanto a las sub escalas, obtuvieron Alphas entre .70 y .88, que se pueden considerar satisfactoriamente confiables.

En cuanto a las correlaciones de los ítems con el puntaje global de ECERS-R, de los 41 ítems utilizados, treinta y nueve correlacionaron de manera altamente significativa, con r entre .30 y .70, la gran mayoría sobre .40; hubo dos ítems que no alcanzaron significación el 39 “Provisiones para las necesidades del personal” (r=.22 p < .06) y el 28 “Promoviendo la aceptación de la diversidad” (r=.17 p < .15). Respecto a las correlaciones ítem-escala correspondiente, salvo el ítem 28 de la subescala actividades, todos correlacionan de manera intensa y altamente significativa, el de correlación más baja, es el 24, Juego dramático, también perteneciente a la subescala actividades.

Con respecto a las subescalas, en la primera, que evalúa los muebles y el espacio, todos sus ítems correlacionaron de manera altamente significativa con el total de la subescala, con r de Pearson que fluctuaron entre .45 y .66 y valores p todos inferiores a .0001; en la subescala Rutina, sucede lo mismo, todos sus ítemes se correlacionan de manera altamente significativa con r que variaron entre .60 y .77; en la sub escala que mide la calidad de los estímulos para el lenguaje también todas sus correlaciones son altamente significativa con r que varían entre .68 y .78; en la subescala Actividades, sin el ítem 27, hubo un ítem que no se correlacionó significativamente con el total de esta subescala, el 28, que tampoco había correlacionado significativamente con el total de la escala, el resto de los ítems presentaron correlaciones altamente significativas (p < .0001) con r entre .39 y .78. Al incluir el ítem 27 y correlacionar todos los ítemes con el total de la escala, todos presentaron significación, aunque en los ítems 27 y 28 ésta fue baja (.03 y .05, respectivamente), mientras que todos los otros fueron altamente significativos (p < .0001); en la subescala Interacciones, todos los ítems correlacionaron de manera altamente significativa con el total de la subescala, con las correlaciones más intensas entre .78 y .89. Con respecto a la que mide la estructura del programa, ocurre lo mismo, las correlaciones varían entre .79 y .85; por último, en la subescala que evalúa las provisiones para los padres y el personal, así como las evaluaciones y oportunidades de desarrollo del personal, también todos los ítems se correlacionan adecuadamente con el total de la subescala, con correlaciones entre. 40 y .75.

BIBLIOGRAFÍA

Angrist, J. y Lavy, V. (1999). Using Maimonides' Rule to estimate the effect of class size on children's academical achievement. Quarterly Journal of Economics. 114(2): 533-576.

Arnett, Jeffry (1989). Caregiver In day care centres: does training matter? Journal of Applied Psychology, 10, 541-552.

Asadullah, M.N. (2005). The effect of class size on student achievement: Evidence from Bangladesh. Applied Economics Letters, 12(4): 217-221.

Domínguez, P., Moreno, L., Narvaes, L., Herrera, M.O., Mathiesen, M.E. y Fernández, C. (2007). Prácticas Pedagógicas de Calidad. Documento inédito elaborado por el equipo de docentes de la Carrera de Educación Parvularia de la Universidad de Concepción para el Ministerio de Educación.

Edwards, M., De Amesti, A. y Eisenberg, N. (1999). Estimulación del desarrollo cognitivo y socioemocional de los niños durante las actividades pedagógicas preescolares: diferencias según dependencia institucional de la escuela. Boletín de Investigación Educacional de la U. Católica, Vol. 74, 189-208.

Harms, T., Clifford, R. y Cryer, D. (2002). Escala de Calificación del Ambiente de la Infancia Temprana-Revisada. New York and London: Teachers College, Columbia University.

Herrera M.O., Mathiesen, M.E. y Domínguez, P. (2006). Evaluación de Entornos Educativos en Centros Parvularios para Menores de Tres Años: La escala ITERS. Investigaciones en Educación, Vol. VI(1): 107-127.

Herrera, M.O., Mathiesen, M.E. y Pandolfi, A.M. (1997). Escala de valoración del entorno educativo preescolar (ECERS): Una primera aplicación en Chile. Boletín de Investigación Educacional, Vol. 12, 104-120.

Hoxby, C.M. (2000). The effects of class size on student achievement: Evidence from population variation. Quarterly Journal of Economics, 115(4): 1239-1285.

Lambert, M.C., Williams, S.G., Morrison, J.W., Samms-Vaughan, M.E., Mayfield, W.A. and Thornburg K.R. (2008). Are the indicators for the Language and Reasoning Subscale of the Early Childhood Environment Rating Scale-Revised psychometrically appropriate for Caribbean classrooms? International Journal of Early Years Education, 16(1): 41-60.

Mathers, S., Linskey, F., Seddon, J. and Sylva, K. (2007). Using quality rating scales for professional development: experiences from the UK International Journal of Early Years Education, 15(3): 261-274.

Mathiesen, M.E., Herrera, M.O., Villalón, M. y Suzuki, E. (2000). Evaluación de la Interacción adulto-niño en aulas preescolares de Concepción, Chile. International Journal of Early Childhood, vol. 32, 14-19.

Merino, J.M., Mathiesen, M.E., Herrera, M.O., Castro, G. y Rodríguez C. (2009). Una estrategia experimental para incrementar el desarrollo y la calidad educativa del centro preescolar y sus efectos en el desarrollo infantil. Proyecto Fondecyt Regular 1090536 (2009-2011). Comisión Nacional de Investigación Científica y Tecnológica (CONICYT).

Milesi, C. y Gamoran, A. (2006). Effects of class size and instruction on kindergarten achievement. Educational Evaluation and Policy Analysis. 28(4): 287-313.

Smith, W.E. (2005). Structural Characteristics That Predict Quality In Preschool-Age Classrooms In Child Care Centers. Visitado 20.12.2009, en http://etd.library.pitt.edu/ETD/available/etd-04222005-085818/.

Urquiola, M. y Verhoogen, E. (2009). Class-size caps, sorting, and the regression discontinuity design. American Economic Review. 99(1): 179-215.

Warash, B.G., Markstrom, C.A. y Lucci, B. (2005). The Early Childhood Environmental Rating Scale-Revised as a training tool to improve quality at child care centers. Education 126(2): 240-250.