INVESTIGACIONES

Estudio de Efectos Contextúales en el Rendimiento en Matemáticas de Alumnos de 8° Básico de la Región del Biobío, Chile

Contextual Effects acting on Mathematical Achievement of 8th Elementary School Students at the Biobío Region, Chile

Estudo dos efeitos contextuais em matemática de alunos de 8° ano do ensino fundamental da Região do Biobío, Chile

José Manuel Merino,^a José Álvarez Maldonado.^b

^a Departamento de Sociología, Universidad de Concepción. Fono: 56-41-2203044. Correo electrónico: jmerino@udec.cl
^b Departamento de Sociología, Universidad de Concepción. Correo electrónico: josealvarez@udec.cl

RESUMEN

Los efectos contextuales eran un serio problema medicional para la sociología educacional en la década de 1960, pero en los años ochenta esto fue superado aplicando el método de análisis de niveles múltiples que permite el análisis de datos con estructura jerárquica, es decir, de unidades de nivel 1 (estudiantes) agrupadas o anidadas en estructuras de nivel 2 (escuelas). Siguiendo esta línea, la presente investigación, que se basa en un análisis de covarianza con efectos aleatorios, indagó respecto del puntaje SIMCE en matemática de 35179 alumnos de la región del Biobío, Chile, agrupados en 772 establecimientos. El objetivo es determinar en qué medida la variación de variable dependiente individual responde a diferencias entre alumnos y cuánto a diferencias entre establecimientos. Asimismo, busca establecer cuáles son los factores significativos entre-escuelas y cuáles operan dentro de las escuelas.

Palabras clave: análisis multiniveles, puntaje matemáticas SIMCE, enseñanza básica.

ABSTRACT

Contextual effects were a serious problem for the educational sociology from the sixties, but from the eighties by applying to this area a new method of multilevel analysis which analyses data hierarchically structured in level-one units of analysis (individual students) nested in level-two clusters (schools) this problem has been controlled. Following this analytical framework, this research - based on random effects covariance analysis - focused on Mathematical SIMCE scores of 35,179 students from 772 schools. The main goal was to establish the extent in which total variation of the outcome fluctuates at the individual level between schools or within schools. Moreover, another specific purpose was to elucidate significant factors operating between schools as different from those acting within schools.

Key words: multilevel analysis, SIMCE math score, elementary school.

RESUMO

Os efeitos contextuais seriam um problema de medição para a sociologia educacional desde a década dos 60, mas desde os anos oitenta tem-se aplicado o método de análise de níveis múltiníveis que permite analisar dados que têm uma estrutura hierárquica, quer dizer, de unidades de nível 1 (estudantes) agrupadas em estruturas de nível 2 (escolas). A investigação segue esta linha e baseia-se em uma análise de covariância com efeitos aleatórios e indaga-se sobre a pontuação SIMCE, em matemática, de 35179 alunos da região do Biobío, Chile, agrupados em 772 estabelecimentos. Objetiva-se determinar em que medida a diversificação de variável dependente individual corresponde às diferenças entre alunos assim como às diferenças entre os estabelecimentos. Também se pretende estabelecer quais são os fatores significativos interescolares e quais operam no interior das escolas.

Palavras chave: análises multiníveis, pontuações SIMCE matemática, ensino fundamental.

1. INTRODUCCIÓN

El presente estudio pretende observar el efecto que algunas características de la escuela producen sobre el rendimiento académico, controlando las características socioculturales de los hogares, agregadas a nivel de escuela. El nivel educacional de la población, o capital humano, es considerado uno de los pilares del desarrollo humano. El dominio de la matemática está asociado a la inserción laboral, la productividad y el estatus de los trabajadores (Brunner y Elacqua, 2003) y, por tanto, se ha observado la vinculación entre el nivel de acumulación del capital humano y el Producto Interno Bruto per cápita de los países. Estudios comparativos han mostrado que Chile presenta un bajo nivel de desempeño en matemática en comparación con otros países de la OCDE: el estudio TIMSS observa que el rendimiento promedio de los estudiantes chilenos es superado por el promedio de 38 países, asemejándose al rendimiento de Palestina, Marruecos y Filipinas, y superando a cuatro países: Botswana, Arabia Saudita, Sudáfrica y Gana (MINEDUC, 2004). Otros estudios comparativos, como el PEEIC, indican que Chile está en el promedio de América Latina, cercano a Argentina y Brasil, siendo superado largamente por Cuba (Casassus, 2003).

El estudio de los factores asociados al rendimiento académico es de larga data dentro de la sociología educacional y, aunque ha sido criticado por basarse en supuestos provenientes de teorías económicas de costo/beneficio y no fundarse en una teoría del aprendizaje (Carnoy, 2010: 74-75), sigue siendo uno de los diseños más recurrentes que buscan evaluar las relaciones entre la clase social de los estudiantes, la escuela (incluyendo las características del docente) y los resultados escolares.

En Chile, se ha observado una nutrida discusión sobre el impacto que tendrían las escuelas privadas en el rendimiento académico de los estudiantes. En la revisión bibliográfica desarrollada por Larrañaga (2004), se concluye que los estudios de nivel escuela muestran pocas diferencias al controlar la variable estatus socioeconómico, mientras que los análisis de nivel individual presentan diferencias significativas, aun controlando dicha variable. Sin embargo, esos estudios presentan limitaciones, ya que utilizan datos agregados a nivel de escuela que no recogen las diferencias individuales, o estudios con datos individuales que no distinguen las influencias contextuales de las de nivel individual. Otra línea de investigación ha descrito las características de las escuelas efectivas (UNICEF y Asesorías para el desarrollo, 2004), aquellas que producen mejores resultados que los esperados para su composición socioeconómica, pero esas investigaciones no señalan cuánto contribuye cada variable a mejorar el éxito escolar de los estudiantes, ni qué características tienen las escuelas no efectivas.

1.1. LAS ESTRATEGIAS DE ANÁLISIS DE NIVELES MÚLTIPLES

Con el objeto de superar estas dificultades metodológicas, se ha buscado desarrollar modelos alternativos al tradicional Modelo de Regresión Mínimo Cuadrático Ordinario (OLS). Uno de ellos es el modelo de Análisis Jerárquico de Niveles Múltiples (HML) desarrollado hace treinta años, pero que ha sido posteriormente aplicado a la sociología educacional (Goldstein, 1995).

Merino (1998) distingue dos estrategias de análisis jerárquico multinivel (HML) que se separan del método tradicional de regresión mínimo cuadrático ordinario (OLS). La primera se caracteriza por definir los efectos contextuales por medio de dos componentes, uno de nivel macro y uno de nivel micro. El procedimiento consiste en utilizar la ecuación micro para determinar los predictores de la variable dependiente de nivel individual. La ecuación macro de este modelo se utiliza para estudiar la variabilidad de los efectos de los predictores micro en diferentes establecimientos. Se supone que los valores micro de la variable de respuesta dependen en alguna forma del contexto y que los efectos de los determinantes micro pueden variar sistemáticamente como función del contexto. Esto significa que los investigadores realizan un conjunto de regresiones macro (correspondiente al número de escuelas) en que las variables dependientes corresponden a los coeficientes e interceptos de cada escuela, y las variables independientes son los predictores macro. En el componente macro, los coeficientes micro (uno por cada escuela) dependen estocásticamente de las variables macro, esto es, se postula que la variable agregada afecta las pendientes de los coeficientes que relacionan los predictores micro con la variable dependiente (Goldstein, 1995; Subramanian, 2004).

Ésta parece ser la estrategia actualmente más difundida en la investigación educacional, tanto para el análisis de un sistema educacional (Gertel et al., 2006) como para estudios comparativos internacionales (Carnoy, 2010; Cassasus, 2003; Sommers, McEwan & Willms, 2004). Cádiz (2006) también utiliza este método con los datos del SIMCE 1996, concluyendo que los estudiantes de escuelas particulares subvencionadas tienen rendimiento académico más alto que aquellos que asisten a escuelas municipalizadas, incluso cuando se controla el efecto promedio del Estatus Socio-Económico (ESE).

Aun cuando esta estrategia presenta un avance con respecto al primer tipo de enfoque, por ejemplo, separando los niveles micro y macro, y relaciona estos niveles con la variación intergrupal e intragrupal, presenta varias dificultades en la interpretación de los parámetros y en la comprensión de los efectos contextuales. El principal problema de este modelo es que las variables contextuales sólo pueden alterar los efectos de las variables individuales, en vez de ejercer efectos totales propios. No existe, por tanto, una medición directa de los efectos contextuales (Merino, 1998: 62).

La segunda estrategia observada fue elaborada por Pullum (1989), quien desarrolló un enfoque conceptual que considera la variación intragrupal e intergrupal, y generó un procedimiento correspondiente de modelización estadística, denominado análisis jerárquico de covarianzas con efectos aleatorios. Este enfoque ha sido utilizado para estudiar los efectos contextuales sobre la fecundidad (Merino, 1998). También se ha usado para observar los efectos de la escuela sobre el rendimiento académico en la región del Biobío (Nocetti y Merino, 2004; Vergara y Merino, 2010).

La idea central de este enfoque consiste básicamente en dividir las influencias que se ejercen sobre una variable dependiente individual o de nivel micro (Y_ij), en influencias de nivel micro (variables de tipo X_ij) y en influencias de nivel macro, que a su vez pueden ser variables agregadas desde el nivel individual (variables tipo _j) o variables de nivel contextual (variables de tipo Z_j). En este primer momento, la información es separada en dos niveles: uno para agregados (en nuestro caso, establecimientos) y otro para individuos (estudiantes). Un segundo paso consiste en identificar, independientemente, distintos predictores en cada uno de los niveles, a fin de explicar el máximo de variación posible. Es decir, se desarrolla una ecuación con predictores de nivel micro y con una variable de resultado que representa la desviación intra-escuela y, paralelamente, se realiza una ecuación macro para explicar la variación entre-escuelas con predictores agregados desde el nivel individual y otros de nivel propiamente contextual. Por lo tanto, la variación total de la variable independiente Y es desagregada en variación intergrupal (macro) e intragrupal (micro).

Hay que aclarar que, al presentar los datos individuales como desviaciones de las variables agregadas de cada grupo, la variación intra escuela es independiente de la variación entre escuelas. Pero esto no significa que se trate de análisis paralelos a distintos niveles de agregación de los datos, sino más bien de un modelo de niveles múltiples que divide la variación de la variable dependiente en partes explicables a nivel individual, y en partes explicables en cada nivel agregado utilizado. La suma algebraica de los totales de variación explicables en cada nivel de agregación entrega el valor total de la variación de la variable independiente a nivel individual. Por consiguiente, los coeficientes de aquellas dos ecuaciones o componentes del modelo pueden ser interpretados sea como efectos macro, sea como efectos micro, sea como interacciones (Merino, 1998: 62).

Cervini ha utilizado este modelo para evaluar la inequidad en el logro académico en Argentina, concluyendo que "la casi totalidad de la capacidad explicativa del origen social del alumno individual se sitúa a nivel de las desigualdades en los rendimientos promedios de las escuelas, claro indicativo de la existencia de una fuerte segmentación social de las instituciones educativas del sistema argentino" (2002: 486). Sin embargo, también se observa que las escuelas difieren significativamente respecto de su capacidad para compensar las diferencias en el origen social (Cervini, 2002: 484).

El presente estudio busca establecer el efecto que tienen los factores contextuales escolares y socioculturales en el rendimiento académico individual.

2. MÉTODOS

2.1. DISEÑO

La presente investigación es un estudio no experimental, observacional, transversal, que utiliza datos secundarios provenientes de la base de datos SIMCE 2004 para octavo básico, proporcionada por el MINEDUC. La base de datos del SIMCE 2004 para octavo básico incluye a 276.365 alumnos que rindieron la prueba de matemática ese año (=253,09; D.S.=150,165). En la región del Biobío rinden alguna de las pruebas 35.554 alumnos (12,7% de los estudiantes del país). De ese universo, rinden la prueba de matemática 35.179 estudiantes, agrupados en 772 establecimientos. Los estudiantes constituyen la unidad de análisis de nivel individual o micro, que es denominado nivel 1 en la investigación. Los establecimientos a los que asisten los estudiantes, corresponden al nivel macro y constituyen el nivel 2 del estudio.

2.2. DATOS

La población de estudio corresponde a 35.179 estudiantes de 8° básico de la región del Biobío que han respondido la prueba SIMCE 2004 en Matemática, agrupados en 772 establecimientos educacionales. La prueba corresponde al Sistema de Medición de la Calidad de la Educación en Chile que se aplica cada año en Cuarto Básico, Octavo Básico o Segundo Medio. Adicionalmente, se realiza una encuesta mediante un cuestionario autoaplicado que es respondido por los padres o apoderados y un procedimiento equivalente para el profesor de la asignatura. El muestreo a nivel de alumnos es de carácter censal, considerando los alumnos presentes el día de la evaluación.

2.3. VARIABLES

A nivel individual, la variable dependiente (Y_ij) corresponde al puntaje SIMCE en la prueba de matemática que es una variable de intervalo. SIMCE usa una escala de puntajes IRT (Teoría de Respuesta al ítem). Esta escala se usó por primera vez en la prueba SIMCE 1998. Ese año se definió que, para cada subsector evaluado, la distribución nacional de puntajes a nivel de alumnos tendría un puntaje estandarizado promedio =250 puntos y una desviación estándar S=50 puntos. En las evaluaciones posteriores, ambos parámetros se han calculado en función de su valor al año 1998, por lo que los cambios en sus valores reflejan cambios reales en la distribución de puntajes. A nivel de escuela, la variable dependiente es el promedio para la escuela de la misma evaluación ().

Las variables antecedentes del bloque X recogen las características socioeconómicas y culturales de los alumnos y sus hogares (X_ij), las que se han dicotomizado (0/1) por cada categoría de la variable (Tabla 1). Para el nivel macro se utiliza la proporción de alumnos que se encuentra en tal categoría en cada establecimiento (_j). La Tabla 1 muestra las proporciones de alumnos para cada categoría de las variables de este bloque, con sus respectivas desviaciones estándar. A la derecha se observan los promedios de las proporciones entre las escuelas.

Tabla 1. Estadísticos descriptivos nivel individual y contextual originados en el hogar

Fuente: elaboración propia.

Las variables intervinientes del bloque Z (nivel macro) corresponden a las características de los docentes (Z_j): expectativas del docente, experiencia, formación académica, expectativas, metodología de aula; y de gestión institucional: reuniones con actores escolares, temas tratados, métodos de aula y evaluación docente. Estas variables se presentan también dicotomizadas.

Como se señaló antes, la estrategia analítica consiste en dividir la variación total de la variable dependiente en dos componentes: la variación nivel micro, que explica las diferencias dentro de las escuelas y la variación macro, que explica diferencias entre las escuelas. Para esto se utiliza el centramiento de la variable, es decir, observar la desviación de cada alumno respecto de la media de su establecimiento en la variable dependiente. El componente macro observa la variación de las medias de los establecimientos, y el componente micro aprecia la variabilidad de las desviaciones individuales respecto del promedio. La suma de ambos componentes resulta en la variación total de la variable dependiente. Posteriormente, comienza la modelización por separado para cada nivel, usando los métodos tradicionales de la regresión múltiple. Una vez obtenidos los modelos óptimos para cada nivel, se realiza el modelo combinado para los datos de nivel individual, en que los predictores individuales se relacionan con la variable resultado, con independencia de las respectivas variables contextuales agregadas, e interactuando con las características propias de la escuela.

El procesamiento de los datos se realizó mediante el paquete estadístico SAS en laboratorios de la Universidad de Concepción.

3. RESULTADOS

La base de datos recoge los resultados de la prueba de Matemática SIMCE 2004 de 35.179 alumnos de cuarto básico de la región del Biobío, Chile, agrupados en 772 establecimientos. La Tabla 1 presenta los estadísticos descriptivos para las características del estudiante y del hogar. A la izquierda se observan las proporciones de las variables dicotomizadas al nivel individual (nivel 1), y a la derecha se encuentran los promedios de las proporciones observadas a nivel de establecimiento (nivel 2). A nivel individual se observa que el puntaje promedio de los estudiantes que realizaron la prueba es =251,7 puntos, con una desviación típica D.S.=49,51 puntos. De ellos, el 50,2% son hombres. El 65,2% provienen de un hogar biparental. Un 40,5% de los alumnos proviene de hogares que tienen 10 libros o menos.

La Tabla 2 presenta los estadísticos descriptivos de las variables de nivel 2 (escuela) que representan características del profesor y la gestión escolar. Los valores por escuela se han obtenido a partir del promedio por escuela de los valores asignados a cada curso, ya que puede haber más de un profesor de matemática por establecimiento. En promedio, los establecimientos tienen docentes con =21,6 (D.S.=11,1) años de experiencia docente. Las horas cronológicas de trabajo semanal, en promedio, es =32,9 (D.S.=9,9), y las horas pedagógicas frente al curso a la semana son, en promedio, =24,5 (D.S.=12,4).

Tabla 2. Estadísticos descriptivos de nivel contextual con variables originadas en el docente

Fuente: elaboración propia.

3.1. EL MODELO NULO

El primer paso dentro del análisis multinivel corresponde a determinar la variación total de la variable dependiente, correspondiente a la suma de cuadrados de dicha variable. El segundo paso consiste en descomponer dicha variación en un nivel micro (intra-escuelas), y un nivel macro (entre-escuelas). Como se observa en la sección A de la Tabla 4, la variación total corresponde a la suma de cuadrados SS_total=86.214.482. La variación dentro de las escuelas es SS_dentro=60.959.642 (70,7%). La variación entre escuelas es SS_entre=25.254.840 dentro entre (29,3%). La modelización consiste en determinar qué predictores permiten explicar la variación en cada nivel y cuánto aportan a dicha explicación.

El proceso de modelización habitual comienza con el análisis de los coeficientes de correlación y la significación estadística de las relaciones de orden cero entre la variable independiente y los predictores en ambos niveles del estudio. En este caso se ha usado un examen más exigente, considerando los problemas que surgen en muestras grandes para la interpretación de las pruebas de significación estadística, ya que se ha observado que los respectivos valores p tienden a indicar el rechazo de la hipótesis nula, aun cuando el modelo nulo pareciese más razonable que el alternativo. Se utiliza un procedimiento denominado Bayesian Information Criteria (BIC) (Raftery, 1995), de enfoque estadístico bayesiano, que evita los problemas de influencia de los valores p por el tamaño de la muestra, y permite una selección de modelos más racional en la investigación social. Para efectos de la presente investigación, hay que considerar que la aproximación BIC es un procedimiento cuantitativo que permite estimar el factor de Bayes mediante una ecuación.

Para el caso general, la fórmula es:

Donde, L²_k es la desviación para el modelo M_k y df_k es el número correspondiente a los grados de libertad del modelo. BIC_s es el valor para el modelo saturado y es igual a 0. El modelo saturado es preferible a M_k si BIC_k> 0, caso en el cual M_k es considerado un modelo que no se ajusta bien a los datos. Cuando BIC_k < 0, entonces M_k es preferible al modelo saturado, y mientras más pequeño sea BIC_k (es decir, mientras más negativo), mejor es el ajuste del modelo M_k.

Cuando el modelo inicial es el modelo nulo, M₀, aquel que no tiene ninguna variable predictora, entonces BIC_k es reemplazado por BIC'_k. Para los modelos de regresión lineal se utiliza la siguiente formulación:

Donde R² es el coeficiente de determinación para el modelo M_k y p_k es el número de variables independientes (sin incluir el intercepto). Si Bic'_k es positivo debe preferirse el modelo nulo, lo que indica que el modelo alternativo está sobreparametrizado. Pero si BIC'_k es negativo, entonces el modelo alternativo es preferible al modelo nulo, y mientras más negativo sea el valor de BIC'_k , más preferible el modelo (Merino, 1998).

La evidencia de la significancia de una variable independiente adicional está dada por:

Aquí M_k está incluido jerárquicamente en M_k+1, que contiene una variable adicional. Para que haya evidencia a favor de la nueva variable, la ecuación anterior debería entregar un resultado negativo (Merino, 1998). En este estudio, estos criterios de evidencia son usados en la Tabla 3.

Tabla 3. Selección de variables de nivel individual con efectos de orden cero
significativos sobre el rendimiento académico en matemática

Fuente: elaboración propia.

El análisis se inicia por observar las relaciones de orden cero entre los predictores y la variable dependiente a nivel individual. Se utiliza una diferencia entre los coeficientes de los modelos (BIC'_k+₁-BIC'_k) < -10 (Raftery, 1995: 139). Aunque la tabla de correlaciones bivariadas se omite por razones de espacio, se utilizó este mismo procedimiento para seleccionar aquellos predictores que conforman los grupos de variables dentro de cada bloque.

3.2. PREDICTORES DE NIVEL INDIVIDUAL

El siguiente paso de la modelización consiste en establecer las correlaciones bivariadas más significativas que determinan el rendimiento académico a nivel individual. Las variables con efectos de orden cero significativas en este nivel se agruparon en cinco bloques: 1) Ambiente: incluye el nivel educacional de la madre, la cantidad de libros en el hogar, el acceso a computador y a internet en el hogar; 2) Estatus: considera el pago de mensualidad en el establecimiento, los ingresos del hogar y el número de personas que componen el hogar; 3) Estimulación: se asocia a la estructura biparental en la familia, la asistencia a kínder y a pre-kínder; 4) Expectativas de los padres: incluye la expectativa de estudios de los padres respecto a los hijos, además de la repitencia de algún curso por el estudiante, y; 5) Involucramiento: indica la frecuencia con que el apoderado asiste a las reuniones.

En la modelización tradicional que utiliza la prueba F y los valores p asociados, indicaría que todos los predictores son igualmente significativos. Sin embargo, cuando se aplicó el procedimiento BIC' para detectar predictores significativos, se pudo apreciar que las expectativas de los padres y la repitencia de los estudiantes tienen efectos considerablemente superiores a los detectados por otras variables. Le siguen en importancia los factores asociados al ambiente o capital cultural: el nivel educacional de la madre y la cantidad de libros en el hogar. Como puede apreciarse en la Tabla 3, estas cuatro variables son las que alcanzan un valor de BIC' más marcadamente negativo, lo que indica que estas explican un mayor porcentaje de la variable dependiente. El valor de BIC' que se utilizó como criterio de selección es BIC'< -10. Por ello, se excluyó de las modelizaciones posteriores aquellos predictores con valores superiores, como las variables del bloque acceso. Para simplificar el modelo, se descartaron aquellas variables que no aportaban explicación adicional, usando el mismo criterio del valor BIC' mencionado arriba.

3.3. SELECCIÓN DE MODELO ÓPTIMO DE NIVEL INDIVIDUAL

En la sección B de la Tabla 4, se aprecian los bloques que conforman la modelización de nivel individual, y se selecciona el modelo óptimo utilizando el procedimiento BIC antes mencionado. Para determinar el modelo óptimo se procedió a comparar los 15 modelos posibles que comprenden desde el efecto de cada bloque por separado, hasta las cinco variables simultáneamente. La primera comparación se hace entre los cinco modelos con un sólo bloque predictor, seleccionando el modelo que tenga el BIC' más bajo (más negativo). La segunda comparación se hace entre los modelos de dos bloques predictores y toma al bloque seleccionado en el primer paso, más cada uno de los cuatro restantes, y así sucesivamente, hasta lograr el modelo que obtenga el BIC' más marcadamente negativo.

Tabla 4. Selección de modelo óptimo por bloques intra-escuelas y combinado

Fuente: elaboración propia.

Al observar los efectos de cada uno de los bloques por separado (Tabla 4), se aprecia que el bloque referido a las expectativas de los padres sobre los estudiantes es el que explica un mayor porcentaje de la varianza total (R²=10,1%). En segundo lugar, está el bloque referido al capital cultural, seguido por el bloque que representa el estatus socioeconómico de la familia del estudiante, y finalmente la estimulación del alumno a través de la experiencia en kínder y pre-kínder. El modelo con cuatro predictores permite explicar el 14% de la variación de nivel individual.

El modelo óptimo comprende cuatro bloques: expectativas, ambiente, estatus y estimulación. Este modelo alcanza un BIC'=-4472, que es el mayor de los comparados. Se descartó el modelo de cinco bloques predictores, ya que el BIC' correspondiente alcanza sólo a -4470, más cercano a cero que el modelo de cuatro bloques predictores. Estos cuatro predictores son los que representarán al nivel individual en la modelización posterior.

3.4. PREDICTORES DE NIVEL 2 (VARIACIÓN ENTRE ESCUELAS)

El segundo nivel analizado corresponde a las escuelas en que se encuentran jerárquicamente anidados los estudiantes. El SIMCE recolecta información de los establecimientos a través de una encuesta aplicada a los docentes. La encuesta aplicada a los padres fue usada para construir una base de datos con las proporciones por establecimiento de cada una de las variables dummy analizadas en el nivel individual. Ambas bases de datos fueron fusionadas por establecimiento, para obtener una base de datos con 772 establecimientos.

Las variables estadísticamente significativas se presentan en la Tabla 5. Los predictores seleccionados son aquellos que tienen BIC' < -10. Dentro de los predictores originados en el hogar, los más relevantes son: las expectativas de estudio de los padres, el nivel educacional de la madre, el acceso a computador en el hogar, el acceso a libros en el hogar, el acceso a internet en el hogar, los ingresos, la mensualidad. De las características provenientes de la escuela, el predictor que explica con mayor fuerza la variación del rendimiento en matemática es la expectativa académica del profesor respecto de sus alumnos.

Tabla 5. Selección de variables de nivel contextual con efectos de orden cero
significativos sobre el rendimiento académico en matemática

Fuente: elaboración propia.

3.5. SELECCIÓN DEL MODELO ÓPTIMO DE NIVEL CONTEXTUAL (ESCUELA)

En la Tabla 6 se presentan los bloques de predictores de nivel 2. Inicialmente, se seleccionan las variables que se incluirán en los bloques de predictores. Se comienza el análisis por las variables dicotómicas originadas en el hogar y agregadas en proporción por escuela (Bloque _j). En el bloque ambiente, se excluyen las variables acceso a computador y acceso a internet, por el bajo aporte que hacen al bloque. En el bloque estatus se elimina la variable mensualidad. En el bloque estimulación se elimina la asistencia a kínder. Finalmente, en el acceso se deja fuera el tiempo que demora el estudiante en llegar al establecimiento.

Tabla 6. Selección de modelo óptimo por bloques entre-escuelas

Fuente: elaboración propia.

En un segundo momento, se analiza la influencia de cada bloque por sí solo sobre el rendimiento en matemática. El bloque referido al ambiente o capital cultural del hogar (BIC'=-872) es el que tiene mayor porcentaje de varianza explicada (R²=70,3%) sobre la varianza total. La segunda variable en importancia es la expectativa de los padres (BIC'=-824) que explica un 67% de la variación total. El estatus de los establecimientos (BIC'=-724) es otro factor importante en la variación entre escuelas (R²=65,8%). Otros tres bloques de menor importancia relativa pero estadísticamente significativos según el criterio utilizado son: el medio de transporte utilizado para llegar al establecimiento, la estimulación y el involucramiento parental (asiste a reuniones).

Así, se compara cada una de las 14 combinaciones de bloques hasta llegar al modelo que tiene el BIC' más marcadamente negativo. Sin embargo, de los 6 bloques mencionados, sólo cuatro son relevantes para el modelo combinado. No cumplen con el criterio bayesiano de inclusión ni el medio de transporte, ni el involucramiento parental para la modelización de nivel macro con características del hogar agregadas a nivel de escuela. Esto se debe a que el modelo de 4 bloques (BIC'_k=-987) es preferible, frente al modelo alternativo de 5 variables (BIC'_k+₁=-990) al incluir cualquiera de las dos variables faltantes. Como se señaló antes, el modelo alternativo requiere una diferencia mínima de -10 para ser aceptado. El porcentaje de varianza explicado en este grupo de variables (R²=73,6%) es una proporción mucho mayor de la varianza total que en los predictores de nivel individual.

La Tabla 6 presenta también la modelización del grupo de variables de nivel 2 originadas en el establecimiento (Bloque Z_j). La variable que explica un mayor porcentaje de la varianza total es la expectativa del docente (BIC'=-365; R²=40,6%). El modelo con cuatro predictores (BIC'=-495) es más eficiente que el modelo compuesto por 5 predictores (BIC'=-491), por lo que se excluye de los análisis posteriores la variable tiempo de trabajo en otros establecimientos.

De esta forma, para explicar un mayor porcentaje de varianza total de nivel 2 (entre escuelas), obtenemos dos grupos de predictores: un primer grupo de antecedentes (variables composicionales del hogar: _j), y un grupo de predictores intervinientes (originados en la escuela: Z_j), de los que se busca realizar un modelo conjunto. El modelo _j (BIC'=-976) explica un 74,49% de la varianza total, mientras que el modelo Z_j, por sí solo, explica un 56,78% de la misma. Sin embargo, el modelo conjunto _j + Z_j (BIC'=-1069) explica un 80,59% de la varianza total, por lo que el aporte de los predictores provenientes de la escuela resulta significativo.

El importante traslapo entre ambos grupos de variables se puede explicar por la fuerte asociación entre la gestión efectiva de las escuelas y las características de origen de los estudiantes, que se produce por el mecanismo de selección que realizan, principalmente, los establecimientos privados de los estudiantes y de profesores que los integran. En virtud de ello, como los estudiantes de una misma escuela poseen características similares, las escuelas altamente selectivas son también efectivas. El efecto adicional proveniente de características propias de la escuela, un 6% de la varianza total de nivel macro para este estudio, es relevante en estudios de niveles múltiples como éste.

4. REGRESIÓN LINEAL DE NIVELES MÚLTIPLES DEL RENDIMIENTO ACADÉMICO EN MATEMÁTICA

El análisis de niveles múltiples comienza por determinar qué proporción de la variación total puede ser explicada por cada nivel agregado definido. La variación entre escuelas es de 29,3%, lo que constituye una diferencia importante, ya que estudios similares han observado una variación entre escuelas más pequeñas para el caso del rendimiento en matemática en Chile (Casassus, 2003: 184).

La modelización consiste en determinar qué factores permiten explicar la variación en cada nivel, y cuánto aportan a dicha explicación. El análisis concluye con el modelo final que integra los predictores de nivel individual y grupal sobre la variable dependiente de nivel individual (no centrada). El modelo combinado considera el aporte de los predictores micro, los predictores macro agregados y los predictores macro originados en la escuela.

Como se aprecia al final de la Tabla 6, los predictores micro permiten explicar un 11,51% de la varianza total. El conjunto de los predictores composicionales macro explica por sí mismo un 21,81% de la variación total de la variable dependiente.

Al incluir el efecto de la composición sociocultural de los establecimientos en el modelo combinado, la varianza explicada llega a un 32,55% de la variación total. La casi total ausencia de traslapo entre ambos predictores, se debe a que los predictores micro se han centrado, respecto de los promedios escolares, que son a su vez predictores macro y, por tanto, son independientes entre sí.

El alto aporte a la explicación de la varianza total de los predictores composicionales de nivel macro se debe a la homogeneidad en las características socioculturales dentro de los establecimientos, y a la marcada diferencia entre los mismos, producida por la selección de alumnos por parte de las escuelas.

El modelo que incluye a los dos niveles, con los tres bloques de predictores, es decir, que agrega ahora las características propias de la escuela, permite explicar un 36,49% de la varianza total de la variable dependiente. Dicho de otro modo, el bloque de características propias de la escuela aporta un 3,94% adicional de varianza total explicada, lo que resulta estadísticamente significativo. A continuación se presenta la modelización de niveles múltiples.

4.1. VARIACIÓN DE NIVEL-INDIVIDUAL

Los factores de este nivel tienen un efecto significativo sobre las variables dependientes: las expectativas de los padres, el ambiente o capital cultural del hogar, el estatus socioeconómico y la estimulación que han recibido durante su infancia.

El efecto más notorio corresponde a la expectativa que los padres tienen sobre el potencial logro académico de sus hijos. Un estudiante con expectativas de llegar a la Universidad tiene, en promedio, 25 puntos más que un alumno con baja expectativa (t=7,01; p<0,0001).

Un segundo factor relevante es el capital cultural, representado en el nivel educacional de la madre (t=7,11; p<0,0001) y en la cantidad de libros en el hogar (t=5,91; p<0,0001), que impactan positivamente en el desempeño académico de los estudiantes.

El tercer factor es el estatus social, que aparece como no significativo y presenta dificultades en su interpretación, probablemente debido a la multicolinealidad con otras variables. En todo caso, esto indica que la variable ingresos no afecta directamente el rendimiento escolar, sino que es mediada por factores sociales y culturales. Por otra parte, sí es relevante el número de personas en el hogar (t=-2,31; p=0,02).

El cuarto factor de nivel intra escolar asociado al rendimiento en matemática es la estimulación inicial. El haber asistido a kínder muestra una relación positiva con la variable dependiente (t=5,99; p<0,0001). En cambio, la experiencia de asistir a pre-kínder presenta un efecto negativo. Este último factor puede estar asociado a otros factores sociales de vulnerabilidad.

4.2. VARIACIÓN DE NIVEL-CONTEXTUAL

En la Tabla 7.b se presentan los efectos significativos de nivel contextual. El principal efecto observado es el ambiente o capital cultural de los hogares. De esta forma, se observa que la cantidad de libros por hogar (t=3,07; p=0,0022) y el nivel educacional de la madre (t=4,64; p<0,0001) tienen efectos significativos en este nivel.

Tabla 7.a. Estimadores del modelo compuesto multinivel de nivel micro

Fuente: elaboración propia.

Tabla 7.b. Estimadores del modelo compuesto multinivel, originados en el nivel macro

¹ *En miles de pesos.
² *En miles de pesos.
Fuente: elaboración propia.

Otro factor significativo de nivel contextual es la expectativa de los padres respecto del nivel de estudio que esperarían alcanzaran sus hijos, en especial la expectativa de completar estudios universitarios produce 39 puntos por sobre el puntaje de los alumnos con expectativa de completar enseñanza básica. Por el contrario, la experiencia de reprobar y repetir un curso, también genera un efecto contextual pero esta vez negativo (t=-2,99; P=0,0028).

La estructura familiar es relevante, ya que se genera un ambiente de seguridad y cohesión. Algunos autores han propuesto que éste puede ser un componente importante para el capital social (Coleman, 1988; Carnoy, 2010). Es relevante observar que la estructura familiar es una variable que aparece como significativa a nivel contextual, no así a nivel individual. Esto puede deberse a que muchos establecimientos, principalmente privados, seleccionan a sus estudiantes según las características de origen.

En el modelo final, el haber asistido a pre-kínder se presenta como un efecto negativo, probablemente por asociarse más a madres trabajadoras o jefas de hogar, cuyos hijos presentan situaciones de vulnerabilidad social.

En segundo lugar, se pueden observar los efectos contextuales originados en la escuela, que son bastante menores a los generados en el hogar. Se aprecia que la expectativa del docente frente al curso deja de ser relevante para el aumento en el rendimiento. En cambio, se observa que aquellos profesores que poseen título con mención en alguna especialidad, producen en promedio casi tres puntos adicionales de rendimiento en matemática que los docentes titulados sin mención (t=2,55; p=0,0108). Otro factor adicional originado dentro de la escuela es la evaluación docente a través de la observación de la clase, que produce 3,5 puntos adicionales, respecto del establecimiento que no la aplica (t=3,23; p=0,0012). En las prácticas de aula se observa que el uso frecuente de pruebas objetivas reduce el puntaje promedio de los estudiantes. No se observan otros predictores significativos.

5. CONCLUSIONES

El análisis de factores contextuales es una promisoria línea de investigación educacional, que supone que el desempeño académico individual debe entenderse en su contexto social, económico y cultural, a la vez que el mismo está determinado en parte por estructuras escolares y comunitarias. Estas estructuras, a su vez, están determinadas por las reglas de operación del sistema escolar. En este sentido, en el estudio ha quedado en evidencia que la capacidad discriminadora de los establecimientos posibilita la segregación de estudiantes en los establecimientos según sus características socioculturales. Esto se puede observar en: a) el alto porcentaje de variación total correspondiente al nivel macro (diferencias entre escuelas), que alcanzó un 29,3%, y b) el alto porcentaje de variación total entre escuelas, que puede ser explicado por características socioculturales originadas en el hogar (74,49% de la variación entre escuelas). El resultado de ello es que la variación total individual del rendimiento académico puede ser atribuida en un 21,81% a los factores socioculturales contextuales. En cambio, las variables socioculturales que varían dentro de las escuelas sólo explican un 11,51% del rendimiento académico individual en matemática.

Otro resultado relevante dentro de la investigación es el bajo impacto que tienen las características de la escuela en el aumento del rendimiento en matemática, que en su conjunto llega a un efecto neto de un 4%. Dentro de este efecto se pueden considerar como predictores relevantes que el profesor tenga un título con mención y la evaluación docente mediante observación de clase.

El modelo combinado final permite explicar el 36,5% de la variación total del rendimiento académico en matemática. Una de las principales ventajas del uso del modelamiento lineal jerárquico es la posibilidad de distinguir analíticamente si las mismas variables operan a nivel micro, a nivel macro, o en ambos niveles. Esto permite aumentar el impacto teórico de los resultados. En este sentido, los resultados apoyan las líneas de investigación basadas en la importancia del capital cultural y el capital social en las familias y en las escuelas.

El capital económico deja de ser relevante como mecanismo explicativo cuando se compara con los otros tipos de capital, lo que indica que el capital económico está mediado por las otras formas de capital, cultural y social. Esta vinculación entre las dimensiones económica y sociocultural es consecuencia de la reproducción de las clases sociales a través del sistema escolar. Las escuelas, en especial las privadas, tienden a seleccionar a los estudiantes según su rendimiento académico, capital cultural y capital social. Los estudiantes con mayor rendimiento buscan las escuelas con mejor rendimiento promedio (para ello se difunden los resultados SIMCE por escuela), y que permiten conseguir mejores redes sociales. Por ello aumenta la precisión de los estimadores de nivel macro y la varianza explicada a ese nivel.

Esta sobreestimación de los efectos sociales producidos por las características del sistema escolar dificulta la observación de factores propiamente escolares. Las consecuencias de estos resultados son relevantes a nivel de políticas públicas, ya que permiten inferir la necesidad de disminuir la segmentación social del sistema escolar. A su vez, indica la necesidad de desarrollar prácticas de evaluación docente efectivas y mejorar el proceso de formación docente.

REFERENCIAS BIBLIOGRÁFICAS

Brunner, J. y Elacqua, G. (2003). Informe Capital Humano en Chile. Santiago: Universidad Adolfo Ibáñez.

Cádiz, J. (2006). Reanalyzing Fourth Grade Math Student Achievement in Chile: Applying Hierarchical Linear Models (HLMs). Revista Electrónica de Investigación y Evaluación Educativa, RELIEVE, vol. 12, n. 1, 75-91. Recuperado de http://www.uv.es/RELIEVE/v12n1/RELIEVEv12n1_2.pdf, consultado en diciembre de 2011.

Carnoy, M. (2010). La ventaja académica de Cuba. México D.F.: FCE.

Casassus, J. (2003). La escuela y la (des)igualdad. Santiago: LOM.

Cervini, R. (2002). Desigualdades en el logro académico y reproducción cultural en Argentina. Revista Mexicana de Investigación Educativa, vol. 7, n. 16, 445-500.

Coleman, J. (1988). Social Capital in the Creation of Human Capital. The American Journal of Sociology, vol. 94 (Suplement), s95-s120.

Gertel, H. et al. (2006). Análisis multinivel del Rendimiento Escolar al término de la Educación Básica en Argentina. Ponencia presentada en la Reunión Anual de la Asociación Argentina de Economía Política. Recuperado de http://www.aaep.org.ar/espa/anales/works06/Gertel_Giuliodori_Herrero.pdf, consultado en agosto de 2010.

Goldstein, H. (1995). Multilevel Statistical Models (2^nd Ed.). London: Arnold.

Larrañaga, O. (2004). Competencia y participación privada: La experiencia chilena en educación. Estudios Públicos, n. 96, 107-144.

Merino, J. M. (1998). Efectos contextuales y fecundidad marital: Un modelo de niveles múltiples de la paridez en la región del Bío Bío, Chile. Notas de Población, vol. 26, n. 67-68, 55-100.

MINEDUC, Unidad de Curriculum y Evaluación, SIMCE. (2004). Chile y el aprendizaje de matemáticas y ciencias según TIMSS. Santiago: MINEDUC. Recuperado de www.oei.es/quipu/chile/pruebaTIMSS2003.pdf, consultado en marzo de 2012.

Nocetti, A. y Merino, J. M. (2004). Puntajes de la prueba SIMCE en la región del Biobío: Una investigación multiniveles de los efectos directos de las escuelas. Visiones de la Educación, vol. 4, n. 6, 89-98.

Pullum, T. (1989). Models for Multi-level Analysis Using Variation between and within Levels. Final Report: Effects of Contextual Effects on Fertility Regulation and Fertility in United States. Seattle: Battelle Human Affairs Research Center, Washington University.

Raftery, A. (1995). Bayesian Models Selection in Social Research. Sociological Methodology, vol. 25, 111-163.

Somers, M., McEwan, P. & Wilms, J. (2004). How Effective are Private Schools in Latin America? Comparative Education Review, vol. 48, n. 1, 48-69.

Subramanian, S. V. (2004). Multilevel Methods, Theory and Analysis. In N. Anderson (Ed.), Encyclopedia of Health and Behavior (pp. 602-608). California: Sage.

UNICEF y Asesorías para el desarrollo. (2004). Escuelas efectivas en sectores de pobreza ¿Quién dijo que no se puede? Santiago de Chile. Recuperado de http://www.unicef.cl/centrodoc/escuelas_efectivas/escuela%20efectivas.pdf, consultado en abril de 2006.

Vergara, V. y Merino, J. M. (2010). Utilización de un modelo multiniveles para identificar predictores asociados al rendimiento en matemáticas de alumnos de cuarto básico de la región del Biobío. Revista Investigación en Educación, vol. 10, n. 1, 95-116.