Estudios Pedagógicos XXXIV, N° 2: 179-191, 2008

INVESTIGACIONES

ANÁLISIS DEL CAMBIO EN LOS NIVELES DE LOGROS DE ESCUELAS DE ALTA VULNERABILIDAD SOCIAL

Analysis of the change in levéis of achievement in vulnerable high schools

Paulo Volante Beach¹, Patricio Cumsille Eltit², Fernanda Denardin Gongalves³ Magdalena Müller Araya⁴

¹Universidad Católica de Chile, Programa de Doctorado Escuela de Psicología de la Universidad Católica de Chile.
²Escuela de Psicología de la Universidad Católica de Chile.
³Programa de Doctorado Facultad de Educación de la Universidad Católica de Chile.
⁴Programa de Magíster Escuela de Psicología de la Universidad Católica de Chile. Equipo Gestión AILEM-UC. Universidad Católica de Chile.

Resumen

El estudio de las interacciones entre variables macro y micro de las organizaciones educativas representa un desafío para la comprensión de los efectos de los programas sociales, las intervenciones organizacionales y las estrategias en sala de clases que buscan mejorar la calidad y cobertura de los aprendizajes escolares. El objetivo de este estudio es profundizar el análisis de los efectos del Programa de Escuelas Críticas, comparando los resultados SIMCE 2002-2005-2006¹ de las escuelas intervenidas con un grupo control. Para esto se realizó un análisis multinivel que permitió explicar mejor la variabilidad de los resultados, obteniéndose que los mayores incrementos los obtienen las escuelas de menor nivel socioeconómico. Además se estimó un efecto establecimiento equivalente al 6% y se encontró que las expectativas de los padres y apoderados son un predictor significativo del logro académico a nivel individual. Estos resultados indican la urgencia de aumentar el efecto escolar en sectores de alta vulnerabilidad.

Palabras clave: incremento de resultados, vulnerabilidad, análisis multinivel.

Abstract

The study of interactions between variables macro and micro in educational organizations, is a challenge in the understanding of the effects of social programs, organizational interventions and classroom strategies that seek to improve the quality and coverage of learning in schools. The goal of this study is to go further in the analysis of the effects of the Critical Schools Program in Chile, comparing the results of SIMCE (National System for Measuring the Quality of Education) 2002-2005-2006 with a control group. For this, a multilevel study was conducted that allows to explain better the variability of the results. We obtain that the largest increases occurs in schools that have a lower socioeconomic status. We estimated a school effect equivalent to 6% and we found that a significant predictor of individual academic achievement is the variable parents expectations. These results indícate the urgency of increasing the school impact in schools of high vulnerability.

Key words: learning results increase, vulnerability, multilevel analyses.

ANTECEDENTES TEÓRICOS Y EMPÍRICOS

En Chile y en el mundo se desarrollan múltiples intervenciones que buscan imple-mentar innovaciones a nivel de gestión y de procesos pedagógicos, cuyo éxito se mide por su impacto en resultados en pruebas estandarizadas y por la sustentabilidad de los cambios implementados. Sin embargo, en la experiencia nacional se observa alta variabilidad, baja estabilidad y aleatoriedad en los resultados de aprendizaje de escuelas que participan de estos programas, lo que se interpreta como falta de efectividad de los procesos de cambio educativo.

Explicando tal situación, Raczynski y Muñoz (2007) afirman que el hecho de que, a pesar de todos los esfuerzos e inversiones realizadas desde 1990 a la fecha, el sistema educativo no haya logrado constituirse en una fuente de desarrollo y de distribución equitativa de oportunidades, se debe principalmente a que la reforma ha actuado a un nivel macro, sin considerar las necesidades específicas y concretas de las escuelas. Es por eso que a pesar de haber múltiples evidencias de cambios a nivel de estructura y sistemas, estos cambios aún no se ven en el nivel micro, donde más importan: en la sala de clases.

En este sentido, las políticas de focalización destinadas a las escuelas más pobres y, en especial, el Programa de las Escuelas Críticas, apuntó a dar atención y apoyo a establecimientos que por diversas razones no respondían a los esfuerzos de mejoramiento realizados desde 1992. Con este criterio se seleccionaron 66 escuelas de alta vulnerabilidad, altas tasas de deserción y repitencia y bajos resultados académicos, para entregarles asesoría técnica a través de instituciones que participaron de una licitación pública. De este modo el Ministerio de Educación estableció metas específicas de mejoramiento de la calidad educativa que debían actuar como presión tanto para las instituciones externas como para los directivos y docentes de dichas escuelas (Sotomayor y Dupriez 2007).

De acuerdo a un estudio de sistematización de las experiencias de asistencia técnica, llevado a cabo por Sotomayor y Dupriez (2007), el foco de las intervenciones se situaba a nivel micro en cada escuela; es decir, se centraban en los procesos de evaluación interna de los aprendizajes, en la capacitación docente, en la mejora de procesos de planificación didáctica, en el acompañamiento a los profesores en el aula, ofreciendo tutorías de expertos (coaching), e incluso apoyo diferenciado a los niños y a los directivos para mejorar la gestión pedagógica.

¿ Qué cambios en las escuelas explican efectos en los resultados de aprendizaje ? A la hora de evaluar el cambio y mejora en los resultados de aprendizajes, es necesario evaluar cuánto agregan las características organizacionales al rendimiento de los individuos (Rowan, Raudenbush & Kang 1991) y cuánto de los logros de la escuela dependen de la influencia del nivel socioeconómico de las familias, ya que su alto impacto parece minimizar el efecto de las escuelas (Raudenbush y Bryk 2002). Por ejemplo, Coleman, Hoffer y Rilgore (1982) postularon que las características organizacionales de las escuelas católicas podían explicar el mayor nivel de logro de éstas versus el de las escuelas públicas en EE.UU. Más tarde Bryk y su equipo sugirieron que la organización académica y el ambiente normativo de este tipo de escuelas son las características que pueden contribuir a distinguirlas de las escuelas públicas tradicionales (Bryk et al. 1984), lo que a su vez posibilitó realizar análisis que incluían más niveles organizacionales a la hora de explicar el efecto en la variabilidad de los resultados académicos.

En Chile el Programa de Escuelas Críticas antes descrito es uno de los programas de intervención que ha sido mejor evaluado desde el punto de vista de su impacto en los resultados de aprendizajes, ya que logró incrementos de 14 puntos en Lenguaje y Matemáticas entre las mediciones SIMCE de 2002 y 2005.

FACTORES PARA LA SUSTENTABILIDAD DEL CAMBIO EN ORGANIZACIONES EDUCATIVAS

Tal como se observa en el gráfico 1, el incremento de resultados en la medición SIMCE 2005 no se mantuvo en la siguiente medición SIMCE 2006, ya que los resultados promedios de estas 66 escuelas disminuyeron seis puntos en Lenguaje y cinco en Matemáticas.

Para explicar los factores que influyen en la mantención o incremento de los resultados de las escuelas después de la intervención, es necesario indagar aspectos más específicos e intentar captar variables que permitan contrastar entre escuelas que logran y aquellas que pueden mantener sus resultados sin el apoyo directo de las intervenciones.

En estudios similares, Fullan (2007) ha descrito factores de sustentabilidad (tabla 1) que sirven para explicar los procesos de las escuelas que cambian y ha determinado variables clave a partir del seguimiento de casos en prolongadas experiencias de cambio.

Adicionalmente a estas variables de proceso también interesa analizar si existen características específicas relacionadas con la condición de Escuelas Vulnerables que afectan las posibilidades de cambio y sustentabilidad de resultados. Por ejemplo, es evidente que la retención de estudiantes en una misma cohorte y el control de quienes se incorporan durante los años de intervención afectará los resultados en las mediciones SIMCE. Por otra parte, la mantención de equipos directivos y profesores capacitados durante el periodo en que se realizan las intervenciones es crucial a la hora de asegurar condiciones viables para el mejoramiento y para sustentar los cambios en el tiempo.

METODOLOGÍA DEL ESTUDIO

Se ha propuesto desarrollar un estudio que analice el nivel de cambios en los resultados de aprendizajes en las escuelas que participaron del Programa de Escuelas Críticas. Este grupo de escuelas es un caso privilegiado para el estudio del cambio en organizaciones educativas, ya que fueron expuestas a una intensa intervención a nivel institucional, a nivel de gestión interna y a nivel de procesos de enseñanza. En este sentido, es posible realizar análisis a distintos niveles. En primer lugar, como un programa social (política); en segundo lugar, como intervención organizacional (instituciones) y, en tercer lugar, a nivel organizacional (escuela).

Por el momento este estudio reporta el análisis del cambio en los resultados de aprendizaje de los estudiantes, anidados en las organizaciones que participaron del programa de intervención. Para esto se utilizó un análisis multinivel y multivariado con el fin de evaluar si el efecto de las organizaciones educativas en los logros académicos está relacionado o no con los procesos de cambio implementados durante los años 2002 a 2005.

a)   Preguntas y objetivos del estudio. La principal interrogante del estudio es si varía significativamente el rendimiento en las mediciones SIMCE de las escuelas en que se aplicaron las intervenciones provistas por el Programa de Escuelas Críticas, de lo cual se sigue si es posible establecer alguna relación entre el rendimiento en las pruebas SIMCE y ciertas características de las escuelas y sus procesos de cambio.

La relevancia de estas interrogantes consiste en que, a pesar de que las escuelas estudiadas corresponden a los casos de mayor vulnerabilidad social del país, nos parece necesario develar las diferencias que se pueden encontrar en los resultados de las escuelas, identificando si a pesar de las condiciones adversas es posible obtener resultados satisfactorios.

b)   Muestra. La muestra está compuesta por los 66 establecimientos del Programa de Escuelas Críticas y por 66 escuelas similares de la Región Metropolitana. En esta selección se utilizaron criterios de pareo de dos tipos, algunos relacionados a las características de las escuelas (nivel socioeconómico, dependencia y condición urbana-rural), y otros relacionados específicamente a la trayectoria de los resultados SIMCE. En relación a estos últimos criterios se consideraron: 1) resultados del SIMCE 2002 en lenguaje, matemática y comprensión del medio; 2) situación de las escuelas en comparación con los promedios de las escuelas de su mismo grupo socioeconómico (sin diferencia significativa, con un aumento significativo de puntaje o con una disminución significativa de puntaje), y 3) situación de las escuelas en comparación a sus resultados respecto al SIMCE 1999 (sin diferencia significativa, con un aumento significativo de puntaje o con una disminución significativa de puntaje).

c)  Procedimientos. La primera tarea del estudio consistió en organizar las bases de datos, a nivel organización (escuelas n = 132) y a nivel individual (estudiantes n = 6.100). Estas bases se construyeron a partir de los datos facilitados por el SIMCE a través de quienes se obtuvieron los puntajes por alumno, por escuela y las respuestas de los cuestionarios de padres, en los periodos relevantes de este análisis.

En una segunda etapa se realizó un primer estudio sobre comparaciones de las variables relevantes entre las 66 escuelas que participaron del Programa Escuelas Críticas y las 66 escuelas pareadas, contrastando características, avance de resultados de aprendizajes y evaluando las diferencias entre las escuelas agrupadas según las distintas instituciones asignadas. En esta etapa la principal técnica de análisis estadístico empleada fue ANOVA, utilizando el software SPSS 12.0.

Finalmente, en una tercera etapa se realizó un segundo estudio que consistió en la estimación del efecto intraestablecimiento y entre las escuelas de la muestra. Para ello se utilizó la técnica de Análisis Lineal Jerárquico, tal como ha sido presentada por Bryk y Raudenbush (1992), utilizándose el software HLM 6 disponible online en www.ssicentral.com

RESULTADOS

a) Estudio 1: comparaciones en el cambio en niveles de aprendizaje. Tal como se presenta en la tabla 2, al comparar el incremento de los puntajes de las escuelas en la medición SIMCE 2005 respecto los resultados SIMCE 2002 se observa un aumento mayor en los establecimientos que tuvieron intervención.

Esto concuerda con la tendencia al incremento de resultados observados en el grupo total de escuelas de este estudio, por ejemplo, en el siguiente gráfico se observa una diferencia significativa para las pruebas de Lenguaje y Comunicación (n = 132; p < 0,05).

Sin embargo, al comparar los resultados en los promedios SIMCE 2005 entre aquellos grupos de establecimientos que recibieron una intervención de instituciones externas versus quienes no la recibieron, no se detectaron diferencias significativas (n = 132, p > 0,05). Esto indicaría que el incremento alcanzado por las escuelas con intervención no fue suficiente para superar los resultados de las escuelas control.

A continuación, para identificar el efecto de aquellas instituciones que sí mostraban resultados superiores respecto de sus escuelas control, se realizaron comparaciones ANOVA utilizando contrastes planificados al interior del grupo de escuelas con intervención. De este modo, fue posible detectar al menos tres casos cuyos resultados superan significativamente a sus respectivos establecimientos control y obtuvieron mayores puntajes que las demás instituciones del Programa Escuelas Críticas.

Tal como se observa en el gráfico 3, las escuelas anidadas a las instituciones asesoras 2, 3 y 4 superaron los resultados de las escuelas control en la medición SIMCE 2005, lo que indica que podría existir un efecto asociado a los tipos de intervención que no se detecta en los resultados generales del programa.

Finalmente, para evaluar si el efecto del programa podía diferenciarse según los distintos segmentos socioeconómicos en que se clasifican las escuelas, se analizó la interacción entre la variable participación en el Programa y el nivel socioeconómico del establecimiento (en adelante NSE). Para ello, utilizando ANOVA de dos factores se encontró un efecto interacción, que muestra que los resultados en las mediciones SIMCE 2005 en Lenguaje son diferenciados según el NSE de las escuelas, por lo tanto el efecto en aquellos casos de menor NSE que participaron del Programa se encuentran diferencias significativas respecto de las escuelas de su grupo control.

En el gráfico 4 se aprecia la intersección entre incrementos en promedios en SIMCE en matemáticas y NSE, lo que indicaría un mayor efecto del Programa en los casos de mayor vulnerabilidad social.

b) Estudio 2: análisis multinivel del cambio en niveles de aprendizajes. Para la tercera etapa de este estudio se planteó evaluar un modelo multinivel que permitiera distinguir los componentes individuales y organizacionales de la variabilidad de los resultados de aprendizajes. El principal interés de este estudio es que a pesar de que la muestra estaba compuesta por escuelas pobres, persistía una influencia importante del nivel sociocultural de las familias en los resultados, por lo tanto, para precisar el impacto del programa de intervención era necesario medir el efecto de la organización escolar controlando la influencia de variables externas a la escuela.

De este modo, las dos preguntas eran si ¿las intervenciones de mejoramiento tienen efecto en el rendimiento de Lenguaje de los estudiantes? Y ¿cómo varía la influencia del NSE sobre el rendimiento entre las escuelas con y sin intervención? El detalle del segundo estudio se presenta a continuación:

A partir de esta estructura de datos se planteó un primer modelo de análisis jerárquico en que se refleja la varianza total en torno a los resultados de aprendizaje en la medición SIMCE 2005. Este valor permite realizar un análisis incremental, pues al agregar predictores de nivel individual y organizacional el porcentaje de varianza no explicada debería disminuir.

En este primer modelo (ver tabla 4) se estima el promedio en los resultados de lenguaje de todas las escuelas (γOO = 230 puntos) y la proporción de varianza entre escuelas (τ: 221,11) respecto la varianza total (rij: 2587) y al calcular la razón entre ellas se obtiene la correlación intraclase (ICC = 0,085) con cuyo resultado obtenemos la proporción de la varianza total que es explicada por las diferencias entre características de las escuelas (8,5%).

En un segundo modelo se introduce un predictor de nivel individual. En este caso, la variable "expectativas de los padres y/o apoderados respecto al grado educacional que alcanzará el estudiante" (EXPECT). Como se observa en la tabla 5, el predictor es significativo (p = 0,00) y permite explicar un 5% más de la varianza para el nivel individual, manteniéndose constante la confiabilidad del modelo y la proporción de la varianza explicada por las diferencias entre escuelas.

En tercer lugar, tal como se presenta en la tabla 6, se introduce una nueva variable y se obtiene un 3^er modelo, que incluye el efecto de las diferencias socioeconómicas al interior de las escuelas, lo cual funciona como un control de la influencia de esta variable. El resultado inicial es que la varianza explicada a nivel individual disminuye en un 3% (di 2263,3) y la varianza a nivel organizacional lo hace en un -30% (t: 156,62), lo cual repercute también en una disminución del efecto atribuible a la escuela -20% (ICC: 0,065).

Las disminuciones reportadas en los parámetros de nivel organizacional, relacionados con la introducción de predictores individuales, muestran la ventaja del análisis jerárquico, ya que explícita las relaciones entre ambos niveles de análisis, cuestión que es clave a la hora de evaluar el aporte de las escuelas respecto a la contribución de variables de los estudiantes, tales como ingreso de las familias y origen étnico, entre otras.

En este sentido, manteniendo todo lo demás constante en el modelo 4, se introduce una nueva variable de nivel organizacional para visualizar el efecto de una diferencia a este nivel en los cambios en los resultados de aprendizaje, obteniéndose que la varianza explicada a nivel organizacional aumenta en un 3% (τ: 151,4) y la varianza a nivel individual se mantiene (σ2: 2261,6). Sin embargo, el predictor participación en el programa de intervención no resulta significativo en relación a los resultados SIMCE en lenguaje.

A continuación para evaluar si el efecto de las intervenciones variaba o no en función del nivel socioeconómico de los establecimientos, se planteó el modelo 5 de la tabla 8. En él se agrega esta variable y se obtiene una disminución de la varianza a nivel organizacional de un 7% (τ: 144,5) y el efecto de este nivel se mantiene en un 6% (ICC: 0,063). Sin embargo, el predictor nivel socioeconómico del establecimiento no resulta ser significativo, a pesar que su valor sugiere considerarlo (ρ = 0,067).

Finalmente, para evaluar el efecto de los resultados de las escuelas en las mediciones SIMCE anteriores se planteó un último modelo que introduce resultados SIMCE 2002 en el nivel organizacional. Este predictor resulta significativo (ρ = 0,010) e influye en disminuir el componente de la varianza entre escuelas en un 3% (τ 139,35), y dado que el porcentaje de la varianza del nivel escuela se mantiene en un 6% (ICC: 0,058) es probable que su efecto sea determinante.

CONCLUSIONES

De acuerdo a los datos y análisis realizados, no se puede afirmar que en su conjunto las escuelas participantes del Programa Escuelas Críticas hayan logrado cambios significativos en su nivel de rendimiento en la medición SIMCE 2005. Sin embargo, existen diferencias en logros de las escuelas asociadas a las instituciones que realizaron intervenciones, ya que al menos en tres casos se observan diferencias respecto a sus escuelas controles, lo que podría interpretarse como un efecto sistemático en el 40% de los casos intervenidos.

Por otra parte, sí es posible afirmar que el incremento de las escuelas de este programa fue superior al de sus similares que no participaron en él, especialmente en las mediciones de matemática y CMNS. Esto sugiere que el efecto de mejoramiento de las intervenciones debiera ser analizado más específicamente según el área de aprendizaje evaluada. Por otra parte, es posible que en estos dos dominios de aprendizaje sea más evidente el aporte de estrategias y actualizaciones curriculares.

Además de lo anterior, el efecto de las intervenciones en estas áreas no es homogéneo según las diferencias en la clasificación socioeconómica de la escuela. De hecho, al observar las medias de puntajes SIMCE 2005 según el nivel socioeconómico, las mayores diferencias a favor de los establecimientos con intervención se observan en los casos de nivel socioeconómico inferior. Esta interacción podría justificar el aporte de intervenciones focalizadas para los establecimientos de mayor vulnerabilidad social.

De lo anterior se infiere la relevancia de evaluar con mayor precisión otras características organizacionales e individuales, que puedan afectar el cambio y la sustentabilidad en las mediciones de aprendizaje SIMCE, respecto de lo cual se presentó evidencia sobre el efecto de las expectativas a nivel de estudiantes y de los resultados previos a nivel organizacional. Finalmente, al poder discriminar el efecto del nivel individual y organizacional, es posible afirmar que un 94% de la varianza en los resultados de los estudiantes depende de las características del ambiente del hogar, lo que indica la urgencia de aumentar el efecto escolar, especialmente en sectores vulnerables.

BIBLIOGRAFÍA

Rosales, C. (1998). Análisis interno de las bibliotecas escolares. Innovación Educativa 8: 142-165.

Base de Datos SIMCE [2002-2005-2006]. Santiago, Chile: SIMCE, Ministerio de Educación.

Fullan, M. (2007). Leading in a Culture of Change. San Francisco, CA: John Wiley & Sons.

Raudenbush, S. W. y A. S. Bryk (2002). Hierarchical Linear Models: Applications and Data Analysis Methods. Second Edition. Newbury Park, CA: Sage.

Raczynski, D. y G. Muñoz (2007). Reforma Educacional Chilena: el difícil equilibrio entre la macro y la micropolítica. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. Vol. 5, N° 3.

Rowan, R., Raudenbush, y S. Kang (1991). Organizational design in high schools: A multilevel analysis. American Journal of Education 99 (2), 238-266.

Sotomayor, C. y V. Dupriez (2007). Desarrollar competencias docentes en la escuela: Aprendizajes de una experiencia chilena de asesoría a escuelas de alta vulnerabilidad social y educativa. Les Cahiers de Recherche en Education et Formation N° 61.

Mizala, A. (2004). A Hierarchical Model for Studying Equito and Achievement in the Chilean School System. Center for Applied Economics. DIE. U.Ch.

Volante, P. y M. Müller (2006). Alignment and transfer of control to improve learning results: results of a development project in Chile. ICSEI Network Newsletter 2 (2): 3-5.

¹ Esta investigación utilizó como fuente de información las bases de datos del SIMCE del Ministerio de Educación de Chile. Los autores agradecen al Ministerio de Educación el acceso a la información. Todos los resultados del estudio son de responsabilidad de los autores y en nada comprometen a dicha institución.