INVESTIGACIONES
Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de Chile*
Local Consequences of a National Teacher Evaluation System: The Case of Chile
Consequências locáis de um Sistema de Avaliação de Professores: o Caso do Chile
María Verónica Santelices,a Sandy Taut,b Carolina Araya,c Jorge Manzib
a
Pontificia Universidad Católica de Chile, Facultad de Educación. Correo electrónico:
vsanteli@uc.cl
b Escuela de Psicología, Centro de Medición
MIDE UC, Pontificia Universidad Católica de Chile.
c Escuela de Psicología, Universidad de los Andes.
* Este trabajo fue financiado por el Fondo Nacional
de Desarrollo Científico y Tecnológico de Chile (Fondecyt), proyecto N°
1080135.
RESUMEN
Este artículo presenta un estudio sobre las consecuencias del sistema nacional de evaluación de profesores basado en estándares de desempeño profesional, implementado en forma obligatoria en Chile desde el año 2005. El foco de la investigación se encuentra en las consecuencias tanto esperadas como no esperadas de la evaluación a nivel municipal, en la que se esperaba que ésta informara la contratación y despido de profesores, el desarrollo profesional docente y las acciones de reconocimiento. Las consecuencias fueron examinadas por medio de entrevistas a diecinueve autoridades comunales del área educacional en diez comunas. Los resultados indican que la evaluación ha alcanzado parcialmente la mayoría de sus objetivos, principalmente como insumo para el reconocimiento de los docentes mejor evaluados, la entrega de apoyo para aquellos que presentan debilidades, el uso de resultados en la toma de decisiones a nivel local y la promoción de colaboración entre pares. Se reportan también importantes consecuencias no esperadas, tales como el cuestionamiento de la legitimidad del sistema de evaluación y la resistencia de los profesores a participar en la evaluación.
Palabras clave: evaluación de profesores, evaluación de desempeño, evaluaciones asociadas a consecuencias, validez consecuencial.
ABSTRACT
This paper reports on a study of the consequences of a national, standards-based, teacher evaluation system mandatory in Chile since 2005. The focus is on intended and unintended consequences at the municipal (local) level where the evaluation results are supposed to inform educational policies related to hiring and firing, professional development and recognition. Consequences were examined by conducting interviews with nineteen local education authorities in ten municipalities. Results indicate that the program has achieved partially most of its intended goals, mainly the provision of local reward mechanisms for high-achieving teachers, the support of teachers with shortcomings, the use of evaluation results for local educational decision-making and creating a basis for peer-to-peer collaboration. Important unintended consequences were observed such as questioning of NTES' legitimacy and the resistance of teachers to participate in the evaluation.
Key words: teacher evaluation, performance assessment systems, high-stakes assessments, consequential validity.
RESUMO
Apresenta-se um estudo sobre as consequências do sistema nacional de avaliação de professores implementado de forma obrigatória no Chile desde 2005 e baseado no padrão de desempenho profissional. O ponto central da pesquisa é as consequencias da avaliacáo, em nível municipal, tanto as esperadas como as não esperadas, de onde se aguardava que esta avaliação informasse a respeito da contratação e demissão de professores, do desenvolvimento profissional docente e das ações de reconhecimento. Tais consequências foram analisadas por meio de entrevistas a 19 autoridades comunitárias do setor educacional, em 10 comunidades. Resultados indicam que a avaliação tem alcançado parcialmente a maioria de seus objetivos, servindo principalmente para fonte de reconhecimento dos docentes melhores avaliados, para dar de apoio para aqueles que apresentam dificuldades, para o uso desses resultados na tomada de decisoes em nível local e para a promoção da colaboração entre pares. Reportaram-se também importantes consequencias náo esperadas, tais como o questionamento da legitimidade do sistema de avaliação e a resistência dos professores em participar da referida avaliação.
Palavras chave: avaliação de professores, avaliação de desempenho, avaliações associadas à conseqüências, validade conseqüencial.
1. INTRODUCCIÓN
El objetivo de este estudio de investigación es explorar la medida en que el Sistema Nacional de Evaluación de Desempeño Profesional Docente, obligatorio desde 2005, ha tenido las consecuencias que pretendían quienes participaron en su diseño e implementación y también considerar posibles consecuencias no intencionales. Este artículo se enfoca en las consecuencias a nivel municipal (local). La municipalidad es la unidad administrativa más pequeña responsable de administrar escuelas públicas, incluyendo sus recursos financieros, humanos y pedagógicos. Es similar en tamaño a un distrito de escuela local en los Estados Unidos.
El estudio se basa en una investigación anterior sobre la teoría implícita del programa y las suposiciones que tenían los grupos de actores que participaron en el diseño e implementación del Sistema Nacional de Evaluación de Desempeño Profesional Docente (Taut, Santelices, Araya y Manzi, 2010). Este sistema es el resultado de un acuerdo entre los tres grupos de interés más importantes que tradicionalmente tienen visiones políticas distintas y hasta el día de hoy han tenido acuerdos y desacuerdos sobre el programa. El estudio se centra en si esas suposiciones y expectativas guardan cualquier relación con lo que actualmente ocurre a nivel municipal y cuáles son las consecuencias no intencionadas de este sistema de evaluación de acuerdo al reporte de aquellas personas que toman decisiones con respecto a la educación municipal.
La Sección 2 del artículo entrega una descripción del sistema educacional chileno y del Sistema Nacional de Evaluación de Desempeño Profesional Docente. La Sección 3 presenta la teoría subyacente del programa usada como base para el presente estudio y la Sección 4 describe brevemente la literatura relevante. La Sección 5 entrega las preguntas de investigación que guiaron el estudio, mientras que la Sección 6 entrega detalles de la muestra y los métodos usados. Las Secciones 7 y 8 repasan los resultados y la discusión de los hallazgos. La Sección 9 presenta las conclusiones.
2. DESCRIPCIÓN DEL SISTEMA DE EDUCACIÓN EN CHILE Y EL SISTEMA NACIONAL DE EVALUACIÓN DE PROFESORES
El sistema educacional chileno consta de tres tipos de escuelas: municipales (públicas), privadas con subsidio y privadas sin subsidio. En 2008 habían aproximadamente 11.907 escuelas en Chile, 49% de las cuales eran escuelas municipales, 44% privadas subvencionadas y 6% privadas no subvencionadas (Ministerio de Educación, 2009). Las municipalidades administran las escuelas municipales, mientras que los grupos de interés privados (ya sean individuos o instituciones privadas) administran tanto escuelas privadas con subsidio como privadas sin subsidio.
En 2008, Chile tenía alrededor de 176.500 profesores de aula de los cuales 55% trabajaban en escuelas municipales (Ministerio de Educación, 2010). Actualmente, los profesores no tienen que aprobar un examen de licenciatura en pedagogía que les permita comenzar su práctica como profesores. En las escuelas municipales, los salarios de los profesores están relacionados al sueldo mínimo indicado por el Estado, antigüedad, bonos por capacitación adicional, ubicación geográfica y responsabilidades administrativas, así como bonos que dependen de la acreditación de excelencia de las escuelas (Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales Subvencionados, SNED), y una certificación de excelencia de los individuos (Asignación de Excelencia Pedagógica, AEP).
El Sistema de Evaluación del Desempeño Profesional Docente (SNEP) o Evaluación Docente, fue introducido por el Ministerio de Educación en 2003 y desde 2005 es obligatorio para los profesores de escuelas municipales a nivel nacional. La evaluación distingue entre desempeño "destacado", "competente", "básico" e "insatisfactorio". Los estándares de desempeño que guían la evaluación han sido definidos, oficialmente respaldados, publicados y ampliamente divulgados como el "Marco Para la Buena Enseñanza" (Ministerio de Educación, 2004; Ministerio de Educación, Departamento Legal, 2004).
En el discurso oficial se ha resaltado de forma explícita el carácter formativo del sistema de evaluación. Sin embargo, al mismo tiempo, la Evaluación Docente es un sistema de evaluación obligatorio, con altas consecuencias, que es usado para recompensar y sancionar a los profesores de escuelas públicas: aquellos profesores que califican como competentes o destacados son elegibles para un aumento de sueldo, mientras que los profesores con calificación básica o insatisfactoria están obligados a tomar cursos de desarrollo profesional y, si son evaluados como "insatisfactorios" durante tres años consecutivos, pierden su empleo.
Los métodos de evaluación incluyen: 1) portafolio de evaluación que incluye una parte escrita y una clase en video, 2) evaluación del supervisor, 3) entrevistas con pares, y 4) auto-evaluación. En el portafolio se les pide a los profesores que describan la planificación, material didáctico y de evaluación para un conjunto de clases específicas y predefinidas, así como reflejar su uso en la sala de clases. Una clase (45 minutos) de cada profesor es grabada por un contratista externo. Dos supervisores (generalmente el director de la escuela y el profesor a cargo de la llamada Unidad Técnica Pedagógica) completan un cuestionario de evaluación sobre cualidades profesionales del profesor evaluado. La entrevista por el par docente es realizada por otro profesor (no de la misma escuela, pero que enseña la misma materia y en el mismo grado) según un protocolo de entrevista estructurado que contiene preguntas sobre conocimiento pedagógico y práctica. Finalmente, la auto-evaluación es un cuestionario en donde se le pide al profesor que reflexione críticamente sobre su desempeño profesional.
Los profesores evaluados reciben un informe descriptivo en donde se detallan sus resultados para las diferentes dimensiones del portafolio, se describen sus fortalezas y debilidades y se incluye su puntaje final. El director de la escuela y el jefe de la autoridad municipal en educación también reciben informes de las categorías finales de desempeño de los profesores evaluados en esa escuela o municipalidad y los resultados promedio para todos esos profesores para cada sección del portafolio. Los resultados de la Evaluación Docente del 2009 muestran que la mayoría de los profesores evaluados (63,1%) obtuvieron la categoría de desempeño de "competente", mientras que 28,9% fueron evaluados con desempeño "básico". Sólo 6,5% fue considerado como "destacado" y un 1,5% se consideró como "insatisfactorio". En años anteriores se observó una distribución similar del SNEP. Para más detalles sobre el desarrollo del sistema de evaluación de profesores y sus características ver Ávalos y Assael (2007) o Manzi, González y Sun (2011).
Los cursos de desarrollo profesional (llamados Planes de Superación Profesional o PSP) son un componente clave de la Evaluación Docente y constituyen una de las consecuencias intencionadas desde su diseño a nivel municipal. Los PSP1 se definen como un conjunto de acciones que buscan mejorar las debilidades de los profesores evaluados como "básicos" o "insatisfactorios" por la Evaluación Docente.2 Desde 2005 cada autoridad municipal en educación es responsable de diseñar los cursos de desarrollo profesional según las debilidades indicadas por el informe anual de resultados de la Evaluación Docente y, según las reglas que los rigen, el diseño debe considerar el conocimiento, competencias, habilidades, campos y criterios definidos en los estándares de enseñanza profesional (resumido como Marco para la Buena Enseñanza, Ministerio de Educación, 2004). El financiamiento se entrega como una cantidad fija por año por cada profesor evaluado que obtuvo un nivel de desempeño "básico" (aproximadamente US$100) o "insatisfactorio" (US$300). Desde 2007 el PSP se administra por medio de una plataforma electrónica llamada PSP-online que permite diseñar, registrar y monitorear las actividades realizadas.
Los profesores que obtuvieron niveles de "competente" o "destacado" en la Evaluación Docente pueden postular a un bono salarial si se desempeñan lo suficientemente bien en una prueba de conocimiento pedagógico y de la disciplina. El bono, conocido como Asignación Variable por Desempeño Individual o AVDI, varía entre el 5% y el 25% del salario mensual bruto y la cantidad que se entrega depende del desempeño tanto en la prueba como en la Evaluación Docente.
3. TEORÍA DE ACCIÓN DE LA EVALUACIÓN DOCENTE
Esta sección presenta una investigación anterior sobre la teoría de acción del programa que se inició con el análisis documental y se profundizó con la información entregada por los actores que participaron de su diseño y puesta en práctica (para detalles, ver Taut et al., 2010). Los documentos legales y de política educacional (Artículo 19.96, 2004; Ministerio de Educación Departamento Legal, 2004) describen el sistema nacional chileno de evaluación de profesores, estandarizado y basado en estándares, como una combinación de incentivos para motivar a los profesores a mejorar su desempeño de forma autónoma y por medio de oportunidades de desarrollo profesional institucionalizadas. Se espera que las nuevas capacitaciones sean más efectivas que las tradicionales, dado que, al momento de diseñarlas, las autoridades de educación a nivel local habrían tomado en consideración las debilidades de sus profesores de acuerdo a lo identificado en el proceso de evaluación. Las autoridades de educación a nivel local también serían capaces de utilizar la información de la evaluación en las decisiones de contratación y despido de personal, además de ofrecer reconocimientos y políticas de incentivos más focalizadas. En el largo plazo, los documentos apuntan a que la Evaluación Docente ayude a profesionalizar la carrera del profesor, vincule los salarios de los profesores a su desempeño real y, en último término, mejore la calidad educacional de modo observable en el aprendizaje del alumno.
Según esta descripción inicial del programa, se exploraron las consecuencias intencionadas de acuerdo a la perspectiva de distintos grupos de actores relevantes. Así, se entrevistó a catorce profesionales relacionados con los cuatro grupos de interés activamente involucrados en la discusión, diseño e implementación de la Evaluación Docente. Los cuatro grupos de interés identificados fueron: (1) la institución implementadora, el Centro de Medición MIDE UC perteneciente a la Escuela de Psicología de la Universidad Católica, (2) el Ministerio de Educación, (3) el Colegio de profesores y (4) la Asociación de Municipalidades. Usando un diagrama que ilustraba el primer borrador de teoría de acción de la Evaluación Docente, de acuerdo a los documentos legales que la definían, se les pidió a los entrevistados que describieran su propia apreciación de la teoría del programa. Los entrevistados diferenciaron entre las consecuencias intencionadas a nivel individual (profesor) y a nivel municipal (local) y entre aquellas que se esperaba ocurrieran en el corto y largo plazo. Por medio de estas entrevistas se reconstruyó la teoría personal de cada entrevistado y luego se consolidaron estas teorías individuales en una sola teoría para cada grupo de interés. Las teorías de los diferentes grupos se compararon entonces con el fin de establecer puntos en común.
Dado que no era posible examinar cuatro teorías de programas (una para cada grupo de interés) debido a limitaciones de tiempo y presupuesto, se decidió incluir en el estudio aquellas consecuencias intencionadas que se presentaban en al menos dos de los cuatro grupos de interés. Las consecuencias a corto plazo compartidas a nivel municipal o local son: (1) ofrecer reconocimiento social a las buenas prácticas de enseñanza, (2) entregar un diagnóstico del desempeño docente para informar las decisiones sobre administración educacional de las autoridades municipales, (3) fortalecer las capacidades pedagógicas en profesores con deficiencias, (4) informar la selección de nuevos profesores y la salida de profesores insatisfactorios, (5) entregar una base para el diálogo entre pares sobre buenas prácticas docentes, (6) mejorar las perspectivas laborales de los profesores por medio de incentivos. Se observó una consecuencia a largo plazo de la Evaluación Docente, compartida por todos los entrevistados: (7) mejorar el aprendizaje del estudiante.
4. REVISIÓN BIBLIOGRÁFICA
Existe hoy un debate aún en desarrollo sobre la pertinencia y necesidad del estudio de las consecuencias de programas o mediciones educacionales como parte de la evidencia de validez, sin embargo hay consenso general sobre la necesidad de documentar e investigar las consecuencias reales de estos instrumentos y sistemas de evaluación (Linn, 1997; Messick, 1989; Popham, 1997; Shepard, 1997). Los Estándares de evaluación educacional y psicológica [Standards for Educational and Psychological Testing] indican que el uso de evaluaciones generalmente conlleva presunciones sobre consecuencias y beneficios intencionados que van incluso más allá de los usos directos de los puntajes, y que estas presunciones deberían ser examinadas en caso de ser fundamentales para la implementación de la medición o evaluación (AERA, APA & NCME, 1999).
La historia relativamente corta de los sistemas de evaluación de desempeño de profesores basados en estándares explica la poca investigación sobre sus consecuencias intencionadas y no intencionadas. Más aún, la falta de investigación sobre cómo se supone que funcionan estos sistemas y cuáles son las expectativas reales versus las expectativas esperadas y sobre sus efectos en los profesores, estudiantes, escuelas y distritos, dificultan la elaboración de un marco conceptual para este estudio, más allá de la visión de los grupos de interés sobre la teoría de acción subyacente al programa, ya descrita en la sección anterior.
Un ejemplo prominente de una evaluación de profesores basada en estándares es el programa norteamericano de certificación, National Board for Professional Teaching Standards (NBPTS). Este programa, sin embargo, es voluntario y tiene por objetivo certificar excelencia y no evaluar el desempeño de la totalidad de los docentes. Pese a esta diferencia, las suposiciones subyacentes indicadas por el National Research Council (2008) sobre los efectos intencionados y los efectos observados del NBPTS a nivel del profesor, escuela y sistema educacional, entregan un punto de comparación para el presente estudio. Estas suposiciones incluyen que el NBPTS (a) va a influenciar la formación y el desarrollo profesional de profesores en práctica y en ejercicio activo, (b) los procesos de preparación del proceso de certificación mejorarán la práctica de los profesores principiantes, (c) los profesores certificados serán mentores y colaborarán con otros profesores, mejorando así su práctica, (d) los profesores certificados ayudarán a profesionalizar el campo de la enseñanza, (e) los profesores certificados serán recompensados con más responsabilidades y un salario más alto, y (f) obtendrán reconocimiento, lo que a su vez aumentará su satisfacción laboral. Estas suposiciones son similares a las que mencionaron los grupos de interés con respecto a la Evaluación Docente implementada en Chile, correspondiendo los profesores "competentes" y "destacados" a los profesores certificados por el NBPTS.
La literatura sobre los sistemas de evaluación de desempeño de profesores basados en estándares se ha concentrado principalmente en estudiar las consecuencias intencionadas y no intencionadas para profesores y escuelas, y no tanto a nivel de distrito o municipio. Los investigadores han estudiado este tema entrevistando y encuestando a profesores y directores sobre los sistemas de evaluación, su validez y equidad (Kimball & Milanowski, 2009), su efectividad con respecto a la mejora de la práctica de la enseñanza (Hakel, Koenig, & Elliot, 2008; Heneman III, Milanowski, Kimball, & Odden, 2006) y el uso de retroalimentación de la evaluación (Kimball, 2002). Los estudios también investigan las variables que pueden tener un papel mediador en los efectos de estas iniciativas, tales como percepciones pre-existentes, conocimiento y tradiciones institucionales (Halverson, Kelley, & Kimball, 2004). Por ejemplo, Heneman III, Milanowski, Kimball y Odden (2006) resumieron sus investigaciones con respecto a la implementación de sistemas de evaluación de profesores basadas en estándares, realizadas en cuatro condados de los Estados Unidos (Cincinnati, Vaughn, Washoe y Coventry). Los autores estudiaron las diferencias en los efectos en estos distritos usando principalmente entrevistas y encuestas a los grupos de interés y concluyeron que hacer pruebas piloto del sistema, proveer múltiples oportunidades de capacitación para los profesores y administradores e implementar el monitoreo eran clave para la instalación exitosa del sistema. Asimismo, encontraron que la reacción más positiva y homogénea de los profesores y directores se relacionaba con los estándares de desempeño que subyacían a los sistemas de evaluación. Las reacciones a otras características de los sistemas, tales como la exactitud de la evaluación, retroalimentación y ayuda para mejorar, variaban más entre los profesores y directores.
Pocos estudios han examinado las consecuencias a nivel de distrito de los sistemas de evaluación de desempeño de los profesores, o la importancia de variables a nivel local en las consecuencias percibidas. Los sistemas de evaluación de profesores a nivel estatal implementados, por ejemplo, en Texas (Setliff, 1989) y Carolina del Norte (Bradshaw, 2002) durante los años ochenta, difieren del sistema chileno al no estar asociados a estándares profesionales ni combinar diferentes instrumentos, ni incluir tanto componentes sumativos como formativos (desarrollo profesional) en sus resultados.
Un estudio sobre el impacto de los profesores certificados por el NBPTS en las escuelas encontró que el apoyo entregado a la evaluación docente a nivel de distrito era un requisito importante para obtener efectos beneficiosos (Koppich, Humphrey, & Hough, 2006). Por ejemplo, en Cincinnati, el distrito desarrolló un escalafón para la carrera pedagógica que incluía a profesores guía que asumían más responsabilidades mientras seguían en la sala de clases. La certificación NBPTS no era formalmente una condición para ser profesor guía, pero tener esta credencial incrementaba las oportunidades de un profesor para recibir esta distinción. Otro ejemplo es el de Carolina del Sur, donde se observó que el apoyo del distrito (o municipio) era crucial para obtener efectos positivos beneficiosos en los profesores certificados. El superintendente del distrito era un gran promotor del sistema e incorporó la certificación NBPTS a la estrategia de mejora de las escuelas del distrito. El distrito organizaba reuniones de información general, sesiones de apoyo mensuales para los candidatos, premiaba a los candidatos con una estadía en un hotel y una invitación a una cena, y se pretendía que aquellos profesores que obtuvieran la certificación tuviesen roles de liderazgo en el distrito.
Al estudiar investigaciones sobre los efectos de políticas educacionales de evaluación y rendición de cuentas tales como No Child Left Behind (NCLB) [Que Ningún Niño se Quede Atrás], se encuentran pocas investigaciones enfocadas en el nivel de distrito o nivel nacional (Stecher, 2002). Esto tal vez esté relacionado con el hecho de que tradicional-mente se ha pensado que los distritos tenían un rol débil en las reformas educacionales. Sin embargo, Opfer, Henry y Mashburn (2008), presentaron una revisión de evidencia basada en casos que muestra que los distritos, en realidad, pueden tener un impacto en la enseñanza y en el aprendizaje. En un estudio sobre las respuestas de los distritos a políticas de rendición de cuentas con consecuencias [high stakes accountability] en seis estados de Estados Unidos, los autores describen las reacciones adaptadas contextualmente de los distritos frente a estas políticas e hipotetizan por qué, de forma contra-intuitiva, en el sistema más maduro (Carolina del Norte) los distritos escolares fueron los menos comprometidos. Hamilton et al. (2007) sugieren que los distritos no sólo implementaron sistemas de rendición de cuentas a nivel de distrito, sino que también desarrollaron nuevas políticas y programas para ayudar a los estudiantes, profesores y escuelas a cumplir con las demandas que el sistema les imponía. Por ejemplo, entregaban recursos adicionales e implementaban métodos de desarrollo profesional para ayudar a los líderes de las escuelas y a los profesores a traducir las políticas del estado en prácticas de aula, o se involucraban en la toma de decisiones utilizando la información disponible.
En un estudio sobre la implementación del NCLB en tres estados norteamericanos (California, Georgia y Pennsylvania) entre 2004 y 2006, Stecher et al. (2008) concluyeron que con el tiempo los estados construyeron la mayor parte de la infraestructura necesaria para sostener la responsabilidad basada en estándares, pero al mismo tiempo presentaban una capacidad variable para responder a las demandas adicionales del NCLB. Los superintendentes, autoridades a nivel local, informaron que el financiamiento inadecuado y la falta de tiempo hacían más difícil cumplir con las expectativas del NCLB en sus distritos. Sin embargo, en general los educadores comenzaron a desarrollar actitudes positivas con respecto a las políticas de responsabilidad y se redujo la preocupación sobre el ánimo de los profesores. En general, las opiniones fueron más positivas en el distrito en que se logró mayor éxito en el cumplimiento de las expectativas del NCLB y aquel en que se percibía que el apoyo técnico fue suficiente (Georgia).
A un nivel todavía más general, al estudiar el rol de los distritos escolares en la reforma educacional, Spillane y Thompson (1997) apuntan al rol crucial de la capacidad a nivel local y proponen tres dimensiones de la capacidad del distrito escolar, o municipio, que interactúan de forma compleja con el fin de impactar la enseñanza y el aprendizaje: (1) el capital humano y el compromiso del personal del distrito para aprehender nuevas prácticas; (2) el capital social, que incluía el desarrollo de normas que promueven la confianza, colaboración y redes para compartir información; (3) la capacidad física, incluyendo la entrega de recursos para cubrir gastos en personal, tiempo y materiales. Al estudiar los efectos de la política de certificación del NBPTS en el sistema educativo en general, el National Research Council (2008) también enfatizó el papel del compromiso del distrito escolar en la mayor permanencia de los efectos beneficiosos de la certificación, específicamente, la necesidad de que existan administradores a nivel de distrito que le den credibilidad al NBPTS, muestren liderazgo en la enseñanza y aprendizaje, y compartan el compromiso de cambiar la cultura de enseñanza en las escuelas.
5. PREGUNTAS DE LA INVESTIGACIÓN
El presente estudio intenta responder las siguientes preguntas de investigación:
1. ¿Perciben los actores locales algunas de las consecuencias intencionadas de la Evaluación Docente?
2. ¿Perciben los actores locales consecuencias no intencionadas de la Evaluación Docente? ¿Cuáles?
3. ¿Varían las consecuencias observadas según los recursos económicos de cada municipalidad?
6. MUESTRA Y MÉTODOS
Esta sección describe la muestra de municipalidades, el protocolo de entrevistas, el tipo y número de los entrevistados y, por último, las estrategias usadas para analizar la información recolectada.
Muestra: se seleccionaron diez municipalidades considerando una serie de indicadores municipales con el fin de tener variedad en la capacidad de recursos humanos del departamento de educación de la comuna y en los recursos financieros disponibles para ser usados en educación. Se seleccionaron ocho municipalidades urbanas y dos municipalidades rurales. Se escogieron municipalidades que hubieran participado en la Evaluación Docente durante al menos 2 años, cuyos profesores tuvieran un amplio rango de resultados y cuyas escuelas mostraran una gama de resultados de éxito estudiantil según la evaluación nacional estandarizada de logro SIMCE (ver Tabla 1).
|
Entrevistas y Entrevistados: se realizaron entrevistas semi-estructuradas a los directores del departamento municipal de educación, así como a la persona a cargo de coordinar la Evaluación Docente dentro de la municipalidad. En promedio se entrevistaron a dos representantes por municipalidad aunque el número efectivo de entrevistados varía por municipio (para mayor detalles ver Apéndice 1). En algunas municipalidades había sólo una persona familiarizada con las actividades relacionadas con la Evaluación Docente y por tanto sólo se realizó una entrevista.
El protocolo de entrevista semi-estructurada se desarrolló con el objetivo de captar las consecuencias intencionadas y no intencionadas según la percepción de las autoridades locales de educación. Las entrevistas se iniciaban con una pregunta amplia relativa a las consecuencias de la Evaluación Docente que habían observado. Esta pregunta amplia permitió evaluar la relevancia de los temas que los entrevistados mencionaban de forma espontánea. El resto de la entrevista, de una hora de duración, se estructuraba según las consecuencias intencionadas mencionadas por los grupos de interés, pero las preguntas evitaban insinuar una respuesta. Se tuvo especial cuidado de que las preguntas iniciales fueran lo más abiertas posibles, con el fin de obtener consecuencias no intencionadas. Como frecuentemente se hace en investigación cualitativa, los protocolos de entrevista se adaptaron según la experiencia adquirida en las primeras entrevistas. Las entrevistas se realizaron entre mayo y noviembre de 2008 y se grabaron y transcribieron para su análisis posterior.
Análisis de datos: cada entrevista fue analizada de forma individual con ATLAS. ti por al menos dos investigadores usando un libro de códigos especialmente diseñado para ello. La primera versión del libro de códigos se desarrolló según los resultados de la investigación de la teoría de acción de la Evaluación Docente. A través de los análisis se expandió el número de códigos y se profundizó la comprensión de los ya desarrollados. Inicialmente dos investigadores codificaron cada entrevista por separado usando ATLAS.ti. Las ideas importantes se identificaron y resaltaron usando uno de los códigos en el libro de códigos. Los miembros del equipo revisaron la codificación de la entrevista hasta llegar a un consenso en todos los códigos usados. Las entrevistas codificadas para una misma municipalidad se integraron en un resumen a nivel de municipio. También se analizaron las ideas "salientes", es decir, aquellas que se mencionaron en primer lugar cuando se preguntó por las consecuencias de la Evaluación Docente, dado que algunos investigadores cualitativos creen que estas tienen una importancia especial (Miles & Huberman, 1994). Después, se desarrollaron matrices para graficar la "fuerza", existencia o ausencia de las consecuencias intencionadas o no intencionadas para cada municipalidad. Se evaluó la "fuerza" (presencia fuerte, presencia o ausencia) según la naturaleza del discurso, por ejemplo, en base al número y especificidad de los ejemplos informados por los entrevistados. El siguiente ejemplo muestra citas para "presencia fuerte" y "presencia" de "Entregar una base para el diálogo entre pares sobre buenas prácticas". Ver Apéndice 2 para más ejemplos.
Presencia fuerte de "Entregar una base para el diálogo entre pares sobre buenas prácticas":
|
"La escuela nos dice que hay mucho trabajo en equipo y redes, que hay coordinadores técnicos, por ejemplo, que dan apoyo directo a los profesores en sus escuelas, que hablan entre ellos y trabajan juntos, se están apoyando entre ellos (ID: 8)." Presencia de "Entregar una base para el diálogo entre pares sobre buenas prácticas": "Creo que funciona... o sea, nosotros como municipalidad hemos tratado de motivar el trabajo en equipo. Todavía tenemos mucho que hacer principalmente porque no tenemos suficiente tiempo (ID: 2)". |
Limitaciones: Es importante reconocer que las consecuencias aquí presentadas sólo reflejan la percepción de los actores municipales. Esta es una limitación del presente estudio dado que lo ideal sería triangular la información con respecto a la presencia o ausencia de consecuencias intencionales o no intencionales. A futuro, esta investigación recolectará datos primarios de líderes de escuelas y profesores. El tamaño limitado de la muestra y el hecho de usar una muestra intencionada también limitan la generalizabilidad de los resultados.
7. RESULTADOS
Esta sección presenta las consecuencias intencionadas y no intencionadas reportadas por los actores que participaron en el estudio. En principio, se describen las ideas salientes por municipalidad. Luego, se hace referencia a la percepción de los actores municipales3 sobre las consecuencias intencionadas de la Evaluación Docente sobre sus propias actividades, y finalmente se informa sobre las consecuencias no intencionadas percibidas por los entrevistados.
7.1 ANÁLISIS DE IDEAS SALIENTES
Al inicio de la entrevista se preguntó sobre las consecuencias del Sistema de Evaluación Docente en cada una de las municipalidades visitadas, y los entrevistados mencionaron numerosos efectos positivos y negativos. Los efectos positivos incluían: (1) apoyo a los profesores que participan en la Evaluación Docente y a aquellos que han obtenido malos resultados (mencionado en 4 municipalidades), (2) el uso de la información entregada por la Evaluación Docente como diagnóstico de las fortalezas y debilidades de los profesores y como referencia para el proceso de evaluación interno de la escuela (mencionado en 3 municipalidades), (3) el hecho de que los resultados de la Evaluación Docente no hayan tenido consecuencias punitivas para los profesores que resultaran mal evaluados (mencionado en 3 municipalidades) y (4) el aumento de las responsabilidades profesionales de los profesores (mencionado en dos municipalidades). Los efectos negativos que más frecuentemente se informaron fueron: (1) emociones negativas de los profesores asociadas a la Evaluación Docente (mencionado en 8 municipalidades), (2) la resistencia de los profesores a la evaluación (mencionado en 6 municipalidades), (3) la falta de legitimidad de la Evaluación Docente tiene a ojos de los profesores dado que los instrumentos no capturan apropiadamente el día a día de la práctica pedagógica (mencionado en 3 municipalidades).
Los entrevistados también mencionaron la tensa relación con el Colegio de Profesores y los conflictos explícitos que surgieron especialmente durante los primeros años de la implementación de la Evaluación Docente (mencionado en 3 municipalidades), y la falta de mejoras observadas en el aprendizaje de los estudiantes (mencionado en 2 municipalidades).
7.2. CONSECUENCIAS INTENCIONADAS
En base a la teoría de acción subyacente del programa según los grupos de interés, se examinaron seis consecuencias intencionales a nivel local. Los resultados se resumen en la Tabla 2.
 |
7.2.1. Ofrecer Reconocimiento Social a las Buenas Prácticas de Enseñanza
Esta consecuencia se observa en ocho de las diez municipalidades, al menos en su forma débil (las excepciones son Santiago y San Fernando), pero estas ocho municipalidades difieren en la medida en la que se entrega el reconocimiento social. El ejemplo más débil es una municipalidad que sólo envía una carta a los profesores destacados. Por otra parte, siete de las diez municipalidades organizan una ceremonia y entregan a los profesores un regalo para reconocer su desempeño sobresaliente. En al menos cinco de las diez municipalidades se le da una importancia especial al reconocimiento de los profesores destacados y esto se hace por medio de actividades en las escuelas, oportunidades de desarrollo profesional y apreciación de los colegas.
En tres de las diez municipalidades (Melipilla, Lo Espejo y Maipú) el reconocimiento era especialmente fuerte y combinaba seis formas diferentes o manifestaciones a diferentes niveles institucionales. Estas manifestaciones incluían ceremonias municipales, regalos, reconocimiento en la escuela, un discurso fuerte sobre la apreciación del profesor, reconocimiento de los pares y oportunidades de desarrollo profesional.
En cuatro de estas diez municipalidades los entrevistados mencionaron que los profesores se sentían reconocidos, orgullosos y satisfechos con los resultados obtenidos, lo que reforzaba su autoestima, la evaluación de su propio valor profesional y la importancia de su práctica pedagógica (Santiago, Paine, Melipilla, La Ligua). En dos de las municipalidades restantes hay algunos ejemplos de reconocimiento de profesores con buenas prácticas y reacciones positivas de profesores con buenos logros, pero en cuatro municipalidades no hay evidencia de esto.
7.2.2 Entregar un diagnóstico del desempeño docente para informar las decisiones de las autoridades municipales sobre administración educacional4
En cuatro de las diez municipalidades existía un extenso y profundo uso de la información entregada por la Evaluación Docente para decidir sobre temas educacionales a nivel escolar y/o municipal, tales como la asignación de profesores a tareas dentro de las escuelas o transferirlos a diferentes escuelas dentro de la misma municipalidad, entrega de recursos educacionales, e iniciativas de apoyo al profesorado, entre otras. En otras cuatro municipalidades se observó uso de información entregada a nivel escolar y/o municipal, pero no de forma extendida o en profundidad. En dos de las municipalidades no se encontró evidencia de que se usara la información entregada por el sistema nacional de evaluación de profesores para tomar decisiones relacionadas con educación a nivel local.
Otras áreas de administración de educación, tales como desarrollo profesional y decisiones sobre contratación y despido, son comentadas de forma más explícita por los entrevistados y se presentan por separado más abajo.
7.2.3 Fortalecer las capacidades pedagógicas en profesores con deficiencias (por medio del programa PSP)
Todos los municipios reportaron usar la información entregada por la Evaluación Docente para diseñar actividades tendientes a fortalecer las capacidades de profesores con deficiencias. Los entrevistados afirmaron que la información agregada sobre el desempeño del profesor en áreas de fortalezas y debilidades se usa para diseñar programas de superación profesional (PSP). Estos PSP se diferencian de programas de capacitación anteriores en su enfoque más intensivo en las necesidades locales y, en general, su impacto sobre las prácticas docentes era evaluado positivamente (seis de diez municipalidades).
Uno de los desafíos enfrentados para entregar este apoyo fue la asistencia de los profesores. Aunque las regulaciones de la Evaluación Docente establecen que la asistencia a estas capacitaciones profesionales es obligatoria, las municipalidades no tienen autoridad legal para forzar la participación en el programa. Frente a este vacío, los actores municipales se declararon satisfechos con el nivel actual de asistencia: siete de diez municipalidades informaron un porcentaje de asistencia de 50% o más. Los entrevistados de seis municipalidades mencionaron la falta de herramientas legales para asegurar la asistencia como una limitante a su efectividad.
Los participantes de tres municipalidades también se refirieron a dificultades al implementar las capacitaciones profesionales (La Granja, San Fernando y La Ligua). Estos se quejaron del lapso entre el momento en que debían pagarle a la persona u organización que entrega la capacitación y el momento cuando finalmente llega el financiamiento. También mencionaron que la cantidad de fondos no era suficiente para contratar instituciones externas de alta calidad y que los estudiantes perdían clases porque los profesores debían abandonar la escuela para asistir a las sesiones de capacitación.
Entrevistados de cinco municipalidades (Paine, Melipilla, La Granja, San Fernando y La Ligua) también comentaron sobre la calidad, oportunidad y accesibilidad a nivel municipal de los informes de la Evaluación Docente. Aunque reconocen mejoras en los informes del último ciclo de evaluación, los participantes expresaron su interés en recibir una descripción más completa del perfil de cada profesor con el fin de informar de su desempeño docente a quienes toman decisiones de recursos humanos, en tener acceso en línea a los informes y en que estén disponibles para los padres y directores antes, idealmente a fines del año en que se realizó la evaluación, de modo que puedan ser usados en la planificación del año siguiente.
En dos de las diez municipalidades (Paine y La Ligua) los entrevistados afirmaron que habían observado cambios positivos importantes en el comportamiento de profesores con prácticas débiles como resultado del proceso de evaluación de profesores. En otras cinco municipalidades hubo alguna mención de cambios positivos como resultado de la evaluación. En las restantes tres municipalidades no se mencionó que la evaluación de profesores haya generado algún cambio individual. Los cambios de comportamiento positivos tienen que ver con el aumento del profesionalismo como resultado del proceso de evaluación que se estaba realizando (por ejemplo, actualización del vocabulario profesional de los profesores), las consecuencias positivas asociadas a estar expuesto a estándares profesionales (por ejemplo, leer e implementar el Marco para la buena Enseñanza) y asistir a cursos de desarrollo profesional que provocaban, principalmente, que los profesores mejoraran la planificación de sus clases y reflexionaran sobre su propio ejercicio profesional.
Cuando se les preguntó más específicamente sobre el efecto de los programas PSP, representantes de cuatro municipalidades (Santiago, Paine, La Granja y Maipú) informaron sobre signos de mejora en el siguiente ciclo de evaluación de profesores. Actores de tres de las municipalidades restantes (Cerro Navia, San Fernando y La Ligua), sin embargo, dijeron que su programa ideal duraría más de lo que ellos actualmente eran capaces de costear y pidieron más recursos. Tres municipalidades afirmaron no tener suficiente información para hacer un juicio técnico sobre los efectos de los PSP (La Ligua, Paine y Puente Alto). También es importante mencionar que en cuatro del total de diez municipalidades (Santiago, Paine, Melipilla y La Ligua) los entrevistados acotaron que algunos profesores percibían los programas de desarrollo profesional como un castigo y que veían su participación como una experiencia muy estigmatizante.
Finalmente, representantes de cuatro del total de diez municipalidades (Paine, Melipilla, Lo Espejo y Maipú) dieron usos adicionales a la información entregada por la Evaluación Docente: la integraron con otras fuentes de información educacional de la municipalidad demostrando una visión de más a largo plazo de la Evaluación Docente y de la planificación educacional.
7.2.4 Informe de selección de nuevos profesores y salida de profesores insatisfactorios
Sólo una de las diez municipalidades usó la información entregada por el sistema de evaluación docente para contratar profesores. Ninguna usó esta información para decidir cuándo despedir profesores. Los entrevistados de dos municipalidades (Paine y San Fernando) hablaron acerca de restricciones legales para considerar realmente esta información al hacer decisiones contractuales.
7.2.5 Entregar una base para conversaciones sobre buenas prácticas entre pares
Sólo en tres de las diez municipalidades los entrevistados observaron efectos positivos en términos de aumento de la colaboración entre pares. En seis de las municipalidades restantes los entrevistados entregaron una mezcla de efectos positivos y negativos: aumento de la colaboración junto con un incremento de la rivalidad. En una municipalidad esta consecuencia intencional se encuentra ausente del discurso del entrevistado.
7.2.6 Mejora del Aprendizaje del Estudiante
Actores de cuatro de las diez municipalidades mencionaron esta consecuencia intencional a largo plazo. Sin embargo, ningún entrevistador informó haber observado realmente el aumento el aprendizaje de los estudiantes como resultado del nuevo proceso de evaluación. Más aún, en dos municipalidades los actores locales fueron más categóricos y afirmaron que las expectativas de mejorar el aprendizaje no se habían cumplido.
7.3. CONSECUENCIAS NO INTENCIONADAS
Los entrevistados permitieron identificar seis consecuencias no intencionadas: tres positivas y tres negativas.
7.3.1. Confianza y Apoyo a Nivel Local
En tres de las diez municipalidades (Santiago, Melipilla y Maipú) los entrevistados hablaron acerca de los esfuerzos que realizaban para apoyar a los profesores con las demandas adicionales y desafíos que enfrentaban debido a la Evaluación Docente. Este apoyo es una expresión del aprecio de las autoridades educacionales municipales por el trabajo de los profesores y se materializó en esfuerzos sistemáticos por potenciar las capacidades de los docentes, su autoestima y motivación laboral, y por entregarles oportunidades de desarrollo profesional y asegurarles un buen ambiente laboral. En estas tres municipalidades hay una fuerte retórica acerca de la confianza y el respeto hacia los profesores por parte de las autoridades educacionales.
En otras cinco municipalidades (Paine, Puente Alto, La Granja y Lo Espejo) hay algo de retórica y acciones que muestran el aprecio, confianza y apoyo pero no son tan coherentes y/o consistentes como en las primeras tres municipalidades. En las dos municipalidades restantes no se mencionó este tema. En la última municipalidad no se observó este tipo de consecuencia no deseada.
7.3.2 Desarrollo Profesional como Apoyo Psicológico
Tres de las diez municipalidades (Melipilla, La Granja y San Fernando) usaron el financiamiento disponible para cursos de desarrollo profesional en profesores de bajo rendimiento con el fin de entregar apoyo psicológico, por ejemplo, contratando un psicólogo. En cinco de las municipalidades restantes (Santiago, Paine, Lo Espejo, Maipú y La Ligua) hay algún esfuerzo por entregar este tipo de apoyo pero no siempre se logra. En las dos municipalidades restantes no se mencionaron dichas actividades.
7.3.3 Preparación para la Evaluación Docente
Cuatro de las diez municipalidades afirmaron que implementaban talleres especiales, distintos de los cursos de desarrollo profesional, diseñados para preparar a los profesores para el proceso de evaluación. En estos talleres se repasa el proceso de evaluación y se explican en detalle sus instrumentos.
7.3.4 Aumento de la Carga Laboral de Actores municipales y Profesores
Los actores locales reportaron quejas sobre la carga laboral asociada al proceso de Evaluación Docente en la mitad de las municipalidades estudiadas (Santiago, Puente Alto, Cerro Navia, Lo Espejo y San Fernando). Esta queja se refería al esfuerzo adicional, tiempo y recursos que requería la implementación y administración del proceso de evaluación a los profesionales municipales. En dos de las municipalidades los entrevistados pensaban que los actores educacionales locales deberían recibir un pago formal en compensación por el trabajo extra asociado al proceso de evaluación docente.
En forma similar a los actores de la educación municipal, los entrevistados afirmaron que los profesores se quejaban de la carga laboral adicional asociada al proceso de evaluación docente en siete de las diez municipalidades. Los efectos de esta carga adicional producían niveles más altos de estrés en los profesores evaluados, así como tensiones entre colegas o con los directivos de las escuelas. Los entrevistados informaron el deseo de los profesores de recibir un pago por las horas extras asociadas al trabajo relacionado con la evaluación, algo que podría ayudar a aumentar su aceptación entre los profesores.
7.3.5 Resistencia y Negación Activa a Participar en la Evaluación Docente
En todas las municipalidades se presentó una reacción negativa hacia la Evaluación Docente, en al menos una parte de los profesores, pero en sólo tres municipalidades esta actitud fue fuerte, sostenida en el tiempo y con consecuencias en el clima de trabajo de la municipalidad (Puente Alto, Lo Espejo y Maipú). Los profesores en estas tres municipalidades expresaron su actitud negativa rehusándose a ser evaluados durante el primer o los siguientes años de la implementación.5 Otra forma de resistencia, más sutil, fue el uso de resquicios legales para evitar someterse a la evaluación, mencionados en seis de las diez municipalidades. Hubo tres factores mencionados como causas de la reacción negativa de los profesores hacia la evaluación: la influencia del Colegio de Profesores en la municipalidad, el hecho de que el sistema se impuso por ley a los profesores y la falta de conocimiento sobre el sistema de evaluación. En seis de las diez municipalidades, los entrevistados mencionaron que entregar información sobre el proceso de evaluación había ido disminuyendo gradualmente los niveles de resistencia y ansiedad entre los profesores.
7.3.6 Cuestionamiento de la Legitimidad de la Evaluación Docente por Actores Municipales y por Profesores
En tres de las diez municipalidades (San Fernando, Maipú y La Granja) los entrevistados cuestionaron el sistema de evaluación de profesores dada la falta de consistencia entre el resultado de la Evaluación Docente y la apreciación de los actores locales sobre el desempeño de los profesores. Esta percepción generalmente provenía del desempeño de los estudiantes de estos profesores en las pruebas estandarizadas. Los entrevistados municipales también criticaron los instrumentos usados en el proceso de evaluación. Todos los instrumentos y el proceso mismo fueron criticados por igual. Existió algún grado de cuestionamiento del sistema de evaluación en las otras seis municipalidades. Es importante recalcar, sin embargo, que en nueve municipalidades la intención de los comentarios fue constructiva y buscaba mostrar cómo el sistema de evaluación podía mejorar. Solo en una municipalidad los entrevistados no expresaron críticas.
En tres de diez municipalidades (Melipilla, Lo Espejo y Maipú) los entrevistados también afirmaron que sus profesores cuestionaban el proceso de evaluación y en cuatro municipalidades solo había evidencia débil del cuestionamiento. En tres municipalidades no se presentaron objeciones.
Además, los entrevistados informaron que en todas las municipalidades, salvo tres, había evidencia de que algunos profesores sentían que los resultados de la Evaluación Docente no se correspondían con la propia percepción que tenían sobre su desempeño. Este hecho sólo se observa con profesores que obtuvieron malos resultados en su evaluación. La reacción negativa hacia los malos resultados provenía de su propia percepción de eficiencia, de los buenos resultados de sus estudiantes en las pruebas estandarizadas o del desempeño de la clase en conjunto. Según los entrevistados municipales, la mayor parte de las veces las percepciones de los profesores sobre su desempeño eran apoyadas por otros miembros de la comunidad escolar.
Por último, en todas las municipalidades se hizo mención al hecho de que los profesores sufrían estrés emocional debido al proceso de evaluación docente, pero en ocho de ellas los sentimientos se describieron de forma especialmente intensa. Los entrevistados mencionaron que los profesores experimentaban angustia, inseguridad, rabia, miedo y depresión como consecuencia directa de someterse a un proceso de evaluación obligatorio, de cumplir con los requerimientos de la evaluación y de recibir malos resultados. En tres de las diez municipalidades se mencionó que había profesores nerviosos sobre su futuro profesional como resultado de la implementación del proceso de evaluación docente, lo que estaba relacionado con un posible resultado "insatisfactorio". Se afirmó, además, que las emociones negativas asociadas a la evaluación disminuían en intensidad a medida que los profesores se exponían más al sistema de evaluación, pero que habían sido muy importantes durante los primeros cinco años de implementación.
8. DISCUSIÓN
La evidencia empírica de este estudio muestra que todas las consecuencias intencionadas de la Evaluación Docente, salvo una, se encuentran presentes en las diez municipalidades estudiadas. Sin embargo, nunca hubo más de cuatro de las diez municipalidades que mostraran resultados contundentes con respecto a estas consecuencias intencionadas. Los resultados contundentes observados fueron: desarrollar las capacidades de profesores con debilidades, informar a quienes toman decisiones educacionales a nivel local, reconocer socialmente a los buenos profesores y promover la colaboración entre pares.
Con respecto a la formación de capacidades en los profesores, las bases de datos administrativas (PSP en línea) que registran la asistencia a los cursos de desarrollo profesional entregan información adicional que no siempre respalda la imagen positiva que se desprende de las entrevistas con actores a nivel municipal (Cortes, Taut, Santelices & Lagos, 2011; Taut, Santelices & Valencia, 2009).
Los análisis de estas bases de datos para el período 2007-2009 para las diez municipalidades que participaron en este estudio muestran6 que alrededor del 50% de los profesores que están obligados a asistir estos cursos no participan en ellos.7 El desarrollo profesional generalmente se ofrece por medio de talleres o seminarios (84% de las actividades) de aproximadamente 25 horas de duración. Las tutorías pedagógicas o la consultoría on site se usa de forma mucho menos frecuente (16% de las actividades)8 a pesar de haber sido identificadas en la literatura como las actividades de desarrollo profesional más efectivas (Mc Kinsey & Company Social Sector Office, 2007; Organisation for Economic Co-Operation and Development, 2005; Villegas-Reimers, 2003). La meta de estas capacitaciones declarada más frecuentemente por actores de las diez municipalidades es fortalecer las habilidades de planificación de clases del profesor, seguida por el diseño y uso de la evaluación en el aula. Sin embargo, los contenidos declarados de los cursos dicen poco acerca de qué tópicos en particular se tratan. De hecho, los resultados de la Evaluación Docente indican que los profesores generalmente obtienen los resultados más bajos en la dimensión del portafolio referida a sus habilidades de evaluación en el aula.
En resumen, la información de la base de datos administrativa del PSP no apoya de forma categórica la suposición de que los PSP efectivamente estén formando las capacidades de los profesores en las áreas débiles según el diagnóstico de la Evaluación Docente. Siguiendo esta línea, Heneman III et al. (2006: 7) informan que el desarrollo profesional en cuatro distritos escolares en los Estados Unidos no estaba especialmente enfocado en las prácticas educativas medidas por los sistemas de evaluación. Más aún, los hallazgos de Colby, Bradshaw y Joyner (2002) muestran que el sistema de evaluación obligatorio de Carolina del Norte tuvo poco o ningún impacto en el desarrollo profesional de los profesores.
Con respecto al efecto intencional de informar a quienes toman decisiones educacionales a nivel local, una encuesta nacional9 a los actores municipales involucrados en la implementación de la Evaluación Docente muestra una imagen positiva: 70% de los encuestados afirmaron que ésta había ayudado a monitorear el proceso educacional local, y 67% afirmó que entregó información para la administración educacional a nivel local. Además, en general, la encuesta muestra que estos actores tienen una visión positiva de los efectos de la Evaluación Docentre sobre el fortalecimiento de la profesión docente (89% están "muy acuerdo" o "de acuerdo" con tal afirmación) (Docentemás, 2007).
El efecto intencionado de usar los resultados de la Evaluación Docente para informar la contratación y despedido a nivel local se encuentra virtualmente ausente de las diez municipalidades estudiadas. Hasta 2011, los profesores que trabajaban en escuelas públicas tenían un estatus legal especial y, entre otros beneficios, no podían ser despedidos por las municipalidades a menos que hubiese una acción legal.
Las consecuencias no intencionadas jugaron un rol crucial en este estudio. Es interesante observar que a nivel local se informaron tanto consecuencias positivas como negativas. Una consecuencia no intencional, pero positiva, a nivel municipal es la estructura de apoyo que se entramó en las municipalidades para los profesores que estaban siendo evaluados. Esto incluía promover un ambiente respetuoso y confiable, ofreciendo cursos preparatorios sobre la evaluación, y conceptualizando el desarrollo profesional como un medio para elevar la moral y entregar apoyo psicológico a los profesores con bajo rendimiento. La encuesta nacional ya mencionada indica que a nivel país este tipo de mecanismos de apoyo son comunes: 85% de los encuestados informaron que su municipalidad ofrecía reuniones informativas sobre el proceso de evaluación a los profesores y/o líderes de la escuela, y 54% afirmó que su municipalidad realizaba talleres sobre cómo hacer el portafolio (Docentemás, 2007).
Entre las consecuencias negativas a nivel municipal se incluye la carga de trabajo adicional enfrentada por los actores municipales y profesores, la resistencia que mostraron estos últimos hacia la evaluación y el cuestionamiento de los instrumentos de evaluación y procesos por parte de los profesores y actores municipales. El aumento de la carga laboral se condice con el hallazgo de Stecher et al. (2008) con respecto a la responsabilidad e involucramiento directos de los actores locales para construir la estructura necesaria para responder a evaluaciones de gran escala como el SNEP en Chile y el NCLB en Estados Unidos.
Es importante notar que la mayoría de las consecuencias no intencionadas a nivel municipal, tanto positivas como negativas, tendieron a ser fuertes en dos de las cuatro municipalidades donde también se observó una presencia más fuerte de las consecuencias intencionadas (Melipilla and Maipú). Esto podría indicar que estos entrevistados eran más elocuentes y/o mejores observadores, o alternativamente podría indicar que la Evaluación Docente gatilló más reacciones, atención y actividad en estas municipalidades, cosa que en este estudio se traduce como mayor número de consecuencias intencionadas y no intencionadas (tanto positivas como negativas). Asimismo, muestra que las consecuencias intencionadas pueden lograrse y que al menos una forma de consecuencia no intencionada estuvo presente en todas las municipalidades.
Hay cuatro municipalidades donde la presencia de las consecuencias intencionadas es más frecuente y fuerte (Maipu, Melipilla, Paine y Lo Espejo)10 pero no es posible establecer un patrón claro entre esas cuatro municipalidades y las variables socio-demográficas usadas para la estratificación de la muestra. Las cuatro municipalidades variaban de forma significativa en términos de ingreso, ruralidad y tamaño. Los resultados educacionales de las cuatro municipalidades, en términos de pruebas estandarizadas, también variaron.
Se exploró el rol de los recursos financieros y la ruralidad para explicar la prevalencia de las consecuencias intencionales a nivel local, pero se encontró que no ayudaban a entender la presencia o fuerza de este tipo de consecuencias. Sin embargo, a partir de la literatura (Spillane & Thompson, 1997; Koppich, Humphrey & Hough, 2006; Bradshaw, 2002) y del análisis cualitativo en profundidad desarrollado por la presente investigación, se pudieron derivar algunas hipótesis, que deberán ser confirmadas en un estudio representativo en el futuro. Estas hipótesis sostienen que la fuerza y la prevalencia de las consecuencias intencionadas están relacionadas con: (1) cómo los actores municipales han sido capaces de superar la resistencia y hostilidad de los profesores hacia la Evaluación Docente y hacer uso efectivo de las oportunidades asociadas a esta, así como también (2) hasta qué punto otras consecuencias negativas no intencionadas, distintas a la resistencia de los profesores, también fueron observadas (por ejemplo, el cuestionamiento de los profesores sobre la legitimidad de la Evaluación Docente).11 Las municipalidades en donde se observaron de forma más marcada las consecuencias intencionadas fueron capaces de proveer un ambiente positivo para los profesores que enfrentaban en la Evaluación Docente: los actores municipales parecían más dispuestos a comprometerse con un discurso de aprecio y apoyo a sus profesores, dispuestos a usar la capacitación profesional con el fin de ofrecer apoyo psicológico y pedagógico a profesores de bajo rendimiento y, además, dispuestos a entregarles a todos los profesores actividades de preparación para la Evaluación Docente. La capacidad de generar este ambiente positivo para los profesores podría estar relacionada con la cantidad, experiencia y compromiso de los profesionales contratados por la municipalidad.
9. CONCLUSIONES
Este estudio exploró la existencia de consecuencias intencionadas y no intencionadas de la Evaluación Docente a nivel municipal, siguiendo los Estándares de Medición Psicológica y Educacional [Standards for Educational and Psychological Testing] (AERA, APA & NCME, 1999) y la perspectiva de Kane (2006), Herman and Baker (2006) así como la de Lane, Park y Stone (1998) sobre la importancia de considerar las consecuencias de un sistema de evaluación de altas consecuencias como parte de la validez argumentativa de una evaluación. Los documentos legales y de políticas, así como las percepciones de los grupos de interés del programa se usaron como base para la definición de consecuencias intencionadas. La importancia de las autoridades educacionales locales en la generación de las condiciones necesarias para cumplir con las demandas que los sistemas de responsabilidad imponen al sistema y en la formación de la enseñanza-aprendizaje ha sido apoyada por el trabajo de Opfer, Henry y Mashburn (2008), Hamilton et al. (2007) y Stecher et al. (2008).
En resumen, las autoridades locales informaron acerca de la presencia de todas, salvo una, de las consecuencias intencionadas en diez municipalidades estudiadas. No se observó la meta a corto plazo de entregar información para las decisiones de contratación y despido ni tampoco la meta a largo plazo de mejorar el aprendizaje de los estudiantes. Sin embargo, los entrevistados describieron la presencia fuerte de alrededor de la mitad de las consecuencias intencionadas en sólo un tercio de las diez municipalidades. Las consecuencias más prevalentes fueron (1) el desarrollo de las habilidades pedagógicas en profesores con debilidades, (2) uso de los resultados de evaluación para decidir a nivel local en materias que no fueran la contratación y despido, (3) ofrecimiento de refuerzos para prácticas de buena enseñanza, y (4) entrega de las bases para el diálogo entre pares sobre buenas prácticas. El apoyo entregado por medio de capacitación profesional, sin embargo, no ha llegado a todos los profesores que están obligados por ley a participar y los formatos escogidos no son los respaldados por la literatura sobre desarrollo profesional docente efectivo. No se pudo establecer una relación entre las características socio-demográficas de las municipalidades y la presencia más o menos fuerte de consecuencias intencionadas. Las consecuencias no intencionadas, tanto positivas como negativas, se observaron en la mayoría de las municipalidades. Las consecuencias negativas no intencionadas consistiero en la resistencia que debían enfrentar las municipalidades, especialmente durante los primeros dos años de implementación, así como el aumento de la carga de trabajo que los actores municipales tuvieron que asumir. Las consecuencias positivas no intencionadas se refieren a los mecanismos de apoyo que las municipalidades han puesto en práctica para ayudar a los profesores a enfrentar el proceso de evaluación.
Es interesante notar la heterogeneidad de las consecuencias de la Evaluación Docente en las distintas municipalidades. Tal característica puede estar relacionada con los recursos humanos disponibles en cada municipalidad, los que en Chile pueden ser heterogéneos.
Actualmente, la investigación está expandiéndose para estudiar las consecuencias intencionadas y no intencionadas de la Evaluación Docente de acuerdo a la percepción de directivos de las escuelas y profesores. Esta información también servirá como una forma de triangular los resultados recolectados a nivel municipal. En dicho estudio se están realizando entrevistas individuales con directivos escolares y focus groups con profesores evaluados como "básicos", "competentes" o "destacados". También se entrevistaron a profesores que se rehusaron a tomar parte en la Evaluación Docente y a profesores calificados como "insatisfactorios".
La presencia de la mayoría de las consecuencias intencionadas en las municipalidades en estudio, aunque de forma débil, así como algunas consecuencias positivas y negativas no intencionadas a nivel municipal, son hallazgos importantes con respecto la Evaluación Docente. Estos hallazgos, en conjunto con los de las entrevistas con directivos escolares y profesores, darán una imagen general del grado en el que estos sistemas de evaluación con altas consecuencias están cumpliendo las metas deseadas a corto y largo plazo. La relación entre las consecuencias observadas en este estudio y las variables que pueden ser influenciadas por las políticas, tales como la información disponible para los actores locales y la capacidad de las autoridades educacionales locales, ayudarán a entender cómo potendiar los efectos intencionados de los sistemas de evaluación docente.
APÉNDICE
 |
     |
| * El número entre paréntesis se refiere al código de la municipalidad |
NOTAS
1 Los cursos de desarrollo profesional, o PSP, se crearon mediante una ley (19.961) y son parte de las normas especiales que regulan la Evaluación Docente (decreto 192).
2 Los profesores que se evalúan como "insatisfactorios" porque no entregaron sus portafolios (rebeldes), no están obligados a tomar estos cursos.
3 En este artículo no informamos acerca de la consecuencia de "Mejorar la perspectiva laboral de los profesores por medio de la entrega de incentivos" dado que ésta apunta a la percepción individual de los profesores y no se relaciona directamente con las actividades de los actores municipales.
4 Esta sección se refiere a las decisiones administrativas de educación diferentes al desarrollo profesional docente y contratación y despido de profesores dado que aquellos se presentan en más detalle en las próximas dos secciones.
5 Los profesores que se rehusaron a ser evaluados en 2005 fueron numerosos y prácticamente no hubo consecuencias para ellos. A partir de 2006 los profesores que se rehusaban a ser evaluados eran calificados inmediatamente como "insatisfactorios".
6 Se realizaron análisis primero a nivel nacional y luego considerando solo las municipalidades que participaron en el estudio y el resultado fue muy similar.
7 La tasa de participación no varía en las áreas rurales con respecto a las urbanas o en municipalidades con diferentes sistemas de administración. Además, hay fluctuaciones importantes en la tasa de participación en cada información entregada por la municipalidad, lo que sugiere que los datos sobre asistencia tal vez no sean completamente confiables.
8 Estas municipalidades no usaron la modalidad de lecturas asignadas y observación en el aula.
9 Ver Informe Cuestionario Coordinaciones Comunales 2007 para más detalles (Docentemás, 2007). Tasa de Respuesta: N=361 respuestas de un total de 342 municipalidades en Chile, entonces, en promedio 1,1 respuestas por municipalidad.
10 Se observaron 3 ó 4 consecuencias intencionadas fuertes.
11 La sola presencia y fuerza de la resistencia de los profesores con respecto a la Evaluación Docente no parece explicar por sí misma las diferencias en las consecuencias intencionales entre municipalidades. La resistencia fue mayor en aquellas municipalidades que también mostraban más consecuencias intencionales.
REFERENCIAS BIBLIOGRÁFICAS
American Educational Research Association, American Psychological Association, y National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington, D.C.: AERA.
Artículo 19.96. (2004). Ley 19.96 sobre Evaluación Docente, 2004. Web: http://www.docentemas.cl/docs/Ley_19961.pdf.
Ávalos, B., y Assael, J. (2007). Moving from Resistance to Agreement: The Case of the Chilean Teacher Performance Evaluation. International Journal of Educational Research, n. 45, 254-266.
Bradshaw, L. (2002). Local District Implementation of State Mandated Teacher Evaluation Policies and Procedures: The North Carolina Case. Journal of Personnel Evaluation in Education, vol. 16, n. 2, 113-127.
Colby, S., Bradshaw, L., y Joyner, R. (2002). Perception of Teacher Evaluation Systems and Their Impact on School Improvement, Professional Development and Student Learning. Paper presentado en la Reunión Annual de la American Educational Research Association.
Cortes, F., Taut, S., Santelices, M. V. y Lagos, M. J. (2011). Mejorando el Desempeño Docente a través de la Formación Profesional Continua Obligatoria: Fortalezas y Debilidad de los Planes de Superación Profesional en Chile a la luz de la Evidencia Internacional. Paper presentado en el "Segundo Encuentro de la Sociedad de Políticas Públicas", Santiago, Chile.
Docentemás. (2007). Informe sobre el Cuestionario por Encargados Municipales de la Evaluación Docente. Santiago: MIDE UC.
Hakel, M., Koenig, J., y Elliot, S. (2008). Assessing Accomplished Teaching. Advanced-Level Certification Programs. Washington D.C.: The National Academies Press.
Halverson, R., Kelley, C., y Kimball, S. (2004). Implementing Teacher Evaluation Systems: How Principals Make Sense of Complex Artifacts to Shape Local Instructional Practice. En W. K. Hoy and C. G. Miskel (Eds.), Educational Administration, Policy and Reform: Research and Measurement Research and Theory in Educational Administration, Vol. 3. Greenwich, CT.: Information Age Press. 2004.
Hamilton, L., Stecher, B., Marsh, Sloan McCombs, Robyn, Russell, et al. (2007). No Child Left Behind. Experiences from Teachers and Administrators in Three States. Santa Monica, CA: RAND.
Heneman III, H., Milanowski, A., Kimball, S., y Odden, A. (2006). Standards-Based Teacher Evaluation as a Foundation for Knowledge- and Skill-Based Pay. Philadelphia: CPER Policy Brief.
Herman, J., y Baker, E. (2006). Assessment Policy. En R. Brennan (Ed.), Educational Measurement. Fourth Edition (pages). Westport: Westport.
Kane, M. (2006). Validation. En R. Brennan (Ed.), Educational Measurement (pp. 17-64). Westport: Praeger Publisher.
Kimball, S. (2002). Analysis of Feedback, Enabling Conditions and Fairness Perception of Teachers in Three School Districts with New Standards-Based Evaluation Systems. Journal of Personnel Evaluation in Education, vol. 16, n. 4, 241-268.
Kimball, S., y Milanowski, A. (2009). Examining Teacher Evaluation Validity and Leadership Decision-Making within a Standards-Based Evaluation System. Educational Administration Quarterly, vol. 45, 34-70.
Koppich, J., Humphrey, D., y Hough, H. (2006). Making use of what teachers know and can do: Policy practice, and national board certification. Education Policy Analysis Archives, vol. 15, n. 7, 1-30.
Lane, S., Park, C. S., y Stone, C. A. (1998). A framework for evaluating the consequences of assessment programs. Educational Measurement: Issues and Practice, vol. 17, n. 2, 24-28.
Linn, R. L. (1997). Evaluating the Validity of Assessments: the Consequences of Use. Educational Measurement: Issues and Practice, vol. 16, n. 2, 14-16.
Manzi, J., Gonzalez, R., y Sun, Y. (eds.) (2011). La Evaluación Docente en Chile. Santiago, Chile: PUC.
Mc Kinsey y Company Social Sector Office. (2007). How the world's Best-Performing School Systems Come Out On Top. Web: http://www.mckinsey.com/locations/ukireland/publications/pdf/Education_report.pdf
Messick, S. (1989). Validity. En R. L. Linn (Ed.), Educational Measurement. Tercera edición (pp. 13-103). Washington, D. C.: American Council on Education y National Council on Measurement in Education.
Miles, M. B., y Huberman, A. M. (1994). Qualitative data analysis (2nd ed.). CA: Thousand Oaks. Sage.
Ministerio de Educación. (2004). Marco Para La Buena Enseñanza. Santiago: MINEDUC.
Ministerio de Educación. (2009). Estadísticas de la Educación 2008. Departamento de Estudios y Desarrollo de la División de Planificación y Presupuesto del Ministerio de Educación de Chile. Web: http://centroestudios.mineduc.cl/index.php?t=96&i=2&cc=2036&tm=2 (24/12/2010).
Ministerio de Educación. (2010). Departamento de Estudios y Desarrollo de la División de Planificación y Presupuesto del Ministerio de Educación de Chile. Sistema de Información de Estadísticas Educativas SIEE. Web: http://centroestudios.mineduc.cl/index.php?t=96&i=2&cc=2036&tm=2 (24/12/2010).
Ministerio de Educación. (2004). Reglamento sobre Evaluación Docente. Santiago de Chile: MINEDUC.
National Research Council. (2008). Assessing Accomplished Teaching. Advanced-Level Certification Programs. Washington D. C.: The National Academies Press.
Opfer, V. D., Henry, G. T., y Mashburn, A. J. (2008). The district effect: Systemic responses to high stakes accountability. The American Journal of Education, vol. 114, n. 2, 299-332.
Organisation for Economic Co-operation and Development. (2005). Teachers Matter: Attracting, Developing and Retaining Effective Teachers. Web: www.oecd.org
Popham, J. (1997). Consequential Validity: Right Concern-Wrong Concept. Educational Measurement: Issues and Practice, vol. 16, n. 2, 9-12.
Setliff (1989). The Effects of the Texas Teacher Appraisal System on the Climate of Six Small School Systems. Tesis doctoral. Lubboc, TX: Texas Tech University.
Shepard, L. (1997). The Centrality of Test Use and Consequences for Test Validity. Educational Measurement: Issues and Practice, vol. 16, n. 2, 5-8.
Spillane, J., y Thompson, C. (1997). Reconstructing conceptions of local capacity: The local education agency's capacity for ambitious instructional reform. Educational Evaluation and Policy Analysis, vol. 19, n. 2, 185-203.
Stecher, B. (2002). Consequences of large-scale, high-stakes testing on schools and classroom practice. En L. Hamilton, Stecher, B. y Klein, S. (Ed.), Making Sense of Test-Based Accountability in Education (pp. 79-100). Santa Monica, CA: RAND Publications.
Stecher, B., Epstein, Hamilton, L., Marsh, Robyn, Sloan McCombs, et al. (2008). Pain and Gain. Implementing No Child Left Behind in Three States, 2004-2006. Santa Monica, CA: RAND.
Taut, S., Santelices, M. V., y Valencia, E. (2009). Relación entre los Resultados de la Evaluación Docente y los Planes de Superación Profesional: Estudio Descriptivo. Santiago: MIDE UC.
Taut, S., Santelices, M. V., Araya, C. y J. Manzi (2010). The Theory Underlying a National Teacher Evaluation Program. Evaluation and Program Planning, n. 33, 477-486.
Villegas-Reimers, E. f. (2003). Teacher professional development: an international review of the literature. Web: http://unesdoc.unesco.org/images/0013/001330/133010e.pdf.