INVESTIGACIONES
IOC, un instrumento para cualificar desempeño docente en aula: Su generación y validación*
IOC, an instrument for the qualification of teaching performance in the classroom: Generation and validation
IOC, um instrumento para qualificar desempenho docente em sala de aula: Sua geração e validação
Inés Contreras Valenzuela,a Sylvia Rittershaussen Klaunig,b Enrique Correa Molina,c Cristina Solís Zañartu,d Claudio Núñez Vega,e Nelson Vásquez Laraf
a
Pontificia Universidad Católica de Chile, Santiago - Chile. Telf.: 56 2 3545386.
Correo electrónico: icontrev@uc.cl
b Pontificia Universidad Católica de Chile,
Santiago - Chile. Telf.: 56 2 3545399. Correo electrónico: sritters@uc.cl
c Universidad de Sherbrooke, Sherbrooke
- Canadá. Correo electrónico: Enrique.Correa.Molina@usherbrooke.
d Pontificia Universidad Católica de Chile,
Santiago - Chile. Telf.: 56 2 3565382. Correo electrónico: csolisz@uc.cl
e Pontificia Universidad Católica de Chile,
Santiago - Chile. Telf.: 56 2 3545359. Correo electrónico: cnunezv@uc.cl
f Pontificia Universidad Católica de Valparaíso,
Valparaíso - Chile. Telf.: 56 32 2273211. Correo electrónico: nvasquez@ucv.cl
* Estudio Financiado por Proyecto Fondecyt N°
1100771
RESUMEN
Este trabajo se enmarca en una investigación que estudia en qué medida la formación práctica influye en el desempeño de los profesores que inician su ejercicio profesional. Este artículo da cuenta del proceso de generación y validación de un instrumento de evaluación que permita establecer, a partir de la observación en aula, el nivel de desempeño evidenciado por profesores principiantes, en tareas de conducción y evaluación de procesos de enseñanza aprendizaje. Los resultados permiten establecer que el instrumento presenta validez de contenido, en cuanto posee un lenguaje apropiado al contexto nacional y de fácil comprensión, fidelidad con el instrumento original, coherencia con los propósitos del estudio y solidez técnica. La validación empírica, además de establecer la consistencia en las mediciones entre observadores, permitió establecer la factibilidad de uso del instrumento en el contexto nacional e identificar dificultades en su aplicación que pudieran vulnerar la objetividad de la información producida.
Palabras clave: cualificación de niveles de desempeño docente, desempeño en tareas de conducción y evaluación en procesos de enseñanza aprendizaje, evaluación por desempeño.
ABSTRACT
This work is framed in an investigation that studies to what extent the practical formation influences professors' performance when initiating their professional exercise. This article reports the creation and validation process of an evaluation instrument which allows establishing, starting from classroom observation, the performance level shown by inexperienced professors in tasks of conducting and evaluating teaching-learning processes. The results demonstrate that the instrument is valid in its content as it has an appropriate language according to the national context, and of easy understanding, fidelity with the original instrument, coherence with the study's intentions and technical solidity. The empirical validation, in addition to establish the measurements' consistency between observers, allowed to establish the instrument's usage feasibility in the national context and to identify its application difficulties that could harm the produced information's objectivity.
Key words: teaching performance qualification levels, performance in tasks of conducting and evaluating teaching-learning processes, performance evaluation.
RESUMO
Enquadra-se em uma investigação que estuda em que medida a formação prática influencia o desempenho dos professores que iniciam sua prática profissional. Dá conta do processo de geração e validação de um instrumento de avaliação que permite estabelecer, a partir da observação em sala de aula, o nivel de desempenho evidenciado por professores principiantes em tarefas de condução e avaliação dos processos de ensino-aprendizagem. Resultados permitem estabelecer que tal instrumento apresenta validade de conteúdo por ter uma linguagem de fácil compreensão e adequada ao contexto nacional, fidelidade ao instrumento original, coerência com os propósitos do estudo e solidez técnica. A validação empírica, além de estabelecer a consistência das medições entre observadores, permitiu estabelecer a viabilidade da utilização do instrumento no contexto nacional e identificar as dificuldades em sua aplicação que poderiam prejudicar a objetividade da informação produzida..
Palavras chave: qualificação dos niveis de desempenho docente, desempenho em tarefas de condução e avaliação nos processos de ensino-aprendizagem, avaliação por desempenho.
1. INTRODUCCIÓN
En este artículo se da cuenta de las acciones y procesos ejecutados para disponer del instrumento requerido para establecer, a partir de la observación en aula, el nivel de desempeño evidenciado por los profesores novatos, en tareas de conducción y evaluación de procesos de enseñanza aprendizaje.
En Chile, durante los últimos quince años la formación inicial de los profesores ha sido una preocupación prioritaria, por lo que las universidades han recibido aportes económicos importantes para renovar y fortalecer la formación de estos profesionales. Entre las innovaciones implementadas por las universidades, ha destacado la inserción temprana y progresiva de los profesores en formación al sistema escolar, a través de un número mayor de actividades de práctica. Estas prácticas se han entendido como un eje articulador de todas las actividades curriculares de la formación docente, como el espacio natural para vincular teoría y realidad escolar y como un proceso gradual de aproximación de los futuros profesores al desempeño profesional y al rol docente. No obstante, ante tales esfuerzos aún no se puede establecer su nivel de impacto. Aun cuando existe mayor claridad sobre las competencias docentes que el sistema escolar requiere, no se ha recogido sistemáticamente información sobre los logros de la formación práctica, ni tampoco hay evaluaciones del impacto de modelos alternativos que orienten los diseños de los programas de formación inicial de profesores.
El presente trabajo se inserta en el contexto de un proyecto de investigación financiado por el Fondo Nacional de Desarrollo Científico y Tecnológico del estado chileno (Proyecto Fondecyt N°1100771), cuyo propósito es aportar antecedentes empíricos que permitan a las universidades diseñar e implementar programas de formación que contribuyan a mejorar la calidad de la formación inicial de los profesores. Esta investigación postula que a mayor cantidad y calidad de oportunidades para asumir responsabilidades en la conducción y evaluación de procesos de enseñanza aprendizaje durante la formación práctica, mejor debería ser el desempeño de los profesores novatos en su primer año de inserción laboral.
Una de las interrogantes que se abordó en el proyecto fue cómo detectar y analizar el desempeño en aula para establecer cuán bien enseñan los profesores principiantes. Una primera revisión de la bibliográfica permitió detectar los aspectos y ámbitos claves del desempeño docente en las áreas de conducción y evaluación del proceso de enseñanza aprendizaje. Esta exploración permitió establecer como focos de convergencia lo relativo a manejo de aula, estilos de interacción, la capacidad de comprometer a los alumnos en el aprendizaje, los apoyos y mediaciones para un aprendizaje de calidad y monitoreo del aprendizaje (Darling-Hammond, 1999 y 2001; Edwards & Protheroe, 2003; Marcelo, 2008; Westerman, 1991; Tang, 2004). Una segunda revisión posibilitó identificar un estudio realizado por Henry Yeng-Chang Tsang (2003), cuyo producto fue un conjunto de rúbricas para la observación de clases. Este instrumento utilizado y validado, por Good (2006), fue considerado como una buena alternativa tanto por ser consistente con los focos que la literatura ha relevado, como por ser coherente con los principios de buenas prácticas asumidos por nuestro contexto, pues toma como referencia los estándares de desempeño docente planteados por Danielson (1996), cuya propuesta fue también se constituyó en los planteamientos bases para el proceso de elaboración del Marco para la Buena Enseñanza (Mineduc, 2003) y de los Estándares de Formación Inicial de Docentes (Mineduc, 2001) que orientan y regulan las prácticas docentes y la formación de profesores en Chile. De acuerdo a estos antecedentes la primera fase de esta investigación abordó las tareas de: a) Adaptar al contexto chileno el instrumento Tsang-Hester Observation Rubric (THOR), para evaluar el desempeño en aula de profesores y b) Validar el instrumento de observación adaptado y modificado para determinar niveles de desempeño en aula de profesores en la realidad nacional.
2. DESCRIPCIÓN DEL INSTRUMENTO BASE: TSANG-HESTER OBSERVATION RUBRIC (THOR)
El instrumento original Tsang-Hester Observation Rubric permite medir el desempeño de los profesores en tres dimensiones: (a) evaluación de los aprendizajes, (b) conducción de la enseñanza y (c) manejo de la clase. Cada una de las dimensiones contempla un conjunto de criterios, para cada uno de los cuales se presenta una rúbrica de cinco niveles, de los que se describen tres, los niveles 1, 3 y 5. En el Cuadro 1 se muestran las dimensiones y los criterios considerados en el instrumento THOR y en el Cuadro 2 un ejemplo de criterio con su rúbrica.
|
3. PROCESO DE GENERACIÓN Y DE VALIDACIÓN DEL INSTRUMENTO DE OBSERVACIÓN DE CLASES.
3.1. ADAPTACIÓN DEL INSTRUMENTO THOR
La adaptación del instrumento de base implicó procesos de solicitud de autorización al autor para su uso, traducción, revisión y ajuste.
Con la autorización del autor se procedió a traducirlo del inglés al español. La versión traducida fue revisada por un experto en el idioma inglés, con el propósito de verificar la calidad de la traducción y la mantención del sentido de los diversos criterios y niveles de la rúbrica, según la versión original. Con la versión traducida del instrumento original, el equipo de investigación procedió a revisar el instrumento para realizar su adaptación en función de los siguientes criterios: a) que el lenguaje utilizado fuese comprensible en el contexto nacional, b) que lo expresado en los niveles de las rúbricas de cada criterio fuese realmente susceptible de ser observado.
|
En este proceso se mantuvieron los siguientes aspectos del instrumento original: • tres dimensiones • cinco niveles de desempeño de la rúbrica • todos los criterios en la dimensión Manejo de la Clase • todos los criterios en la dimensión Conducción de la Enseñanza. Y se modificó lo siguiente: • nombre de la dimensión Evaluación de aprendizajes por Evaluación • reducción de los cinco criterios de la dimensión Evaluación a dos, derivado de la factibilidad de ser observados en clase. • reordenamiento de las dimensiones, quedando: Manejo de clase, Conducción de la Enseñanza y Evaluación. |
El instrumento adaptado recibe el nombre de "Instrumento de Observación de Clases" (IOC).
3.2. VALIDACIÓN DEL INSTRUMENTO DE OBSERVACIÓN DE CLASES
El instrumento Observación de Clases a ser utilizado con profesores novatos se validó en cuatro instancias y desde dos procedimientos: dos Juicio de experto y dos aplicaciones piloto.
La primera Evaluación por juicio de expertos permitió confirmar la coherencia y pertinencia de las dimensiones, de los criterios y de los niveles descritos en la rúbrica. Además posibilitó optimizar la graduación entre los distintos niveles de la rúbrica. Este proceso fue realizado por un experto con amplia experiencia en procesos de producción de datos para estudios acerca de la formación y evaluación del desempeño de profesores. A partir de las sugerencias de este experto se generó la segunda versión del instrumento.
La primera validación empírica se realizó a través de la aplicación piloto de la segunda versión del instrumento con profesores novatos, de cada una de las seis carreras y modelos de formación involucrados en el estudio. Egresados de las carreras que estuviesen en su primer o segundo año de inserción profesional fueron invitados a participar de este proceso en forma voluntaria. En la Tabla 1 se muestra la conformación del grupo de profesores novatos con que se desarrolló este pilotaje.
 |
A cada profesor novato se le efectuaron dos observaciones de clases de 90 minutos cada una. Estas fueron realizadas por dos investigadores, siendo uno de ellos especialista en el subsector de aprendizaje correspondiente a la clase observada. Una vez finalizado el trabajo de observación en terreno y de evaluación de las actuaciones de los profesores, se hizo un análisis de la experiencia de uso del instrumento para la observación, registro y puntuación del desempeño de los profesores novatos en cuanto a su factibilidad y las dificultades surgidas.
Este proceso, evidenció la necesidad de contar con algunas herramientas complementarias para la aplicación del instrumento, dando lugar a la implementación de tres nuevos dispositivos. El primero, una pauta de entrevista para ser realizada antes del proceso de observación que permite recabar información relevante acerca de las características de los alumnos del curso y del foco de aprendizaje de la clase, con el fin de disponer de referentes contextuales para la observación. El segundo dispositivo es una matriz para consignar las notas de campo, con especificación de las dimensiones, criterios y descripción del nivel de desempeño mayor. Este complemento apoya por una parte la observación, teniendo siempre a la vista el foco de observación de cada dimensión y sus criterios y, por otra, apoya la evaluación del desempeño del profesor observado, por cuanto se constituye en el registro de los aspectos relevantes de su actuación que permitirá ubicarlo en uno u otro nivel de la rúbrica. El tercer apoyo consiste en una hoja para registrar las puntuaciones en cada dimensión y criterios otorgadas en las clases observadas, en función de la rúbrica.
Además, fueron analizadas las puntuaciones otorgadas en los diferentes casos para estudiar la concordancia entre observadores en la cualificación del desempeño del profesor observado. En este aspecto, el análisis de las puntuaciones otorgadas por los pares observadores presentó coincidencia total en aproximadamente un 70% del instrumento. En un 20% de los ítems se observaron diferencias entre los pares observadores de un punto y en el 10% restante se presentaron discrepancias mayores. Estos resultados permiten estimar preliminarmente que el instrumento ofrece confiabilidad para cualificar el desempeño docente, no obstante, evidenció la necesidad de analizar el comportamiento de las rúbricas en el momento de asignar puntaje al desempeño de los profesores, con el fin de identificar el origen de las discrepancias.
A partir de los resultados de estas discusiones se realizaron los siguientes ajustes al instrumento de observación:
• precisión en el lenguaje para denominar los criterios, por ejemplo de "Interacciones de alumnos con otros alumnos" a "Interacciones de alumnos".
• clarificación y precisión en el lenguaje utilizado tanto en la denominación de los criterios, como en algunas descripciones de los niveles de las rúbricas, de tal forma que el texto permita que los observadores le otorguen el mismo valor semántico y no se presenten dificultades de comprensión.
• desagregación de los componentes de algunos criterios, llevando a la incorporación de uno en la dimensión "Conducción de la enseñanza" relativo a la variedad y complejidad de las actividades de aprendizaje, y de cuatro en la dimensión "Evaluación" relacionadas con la variedad y pertinencia de los procedimientos evaluativos utilizados durante la clase, la calidad de los procedimientos para discriminar el nivel de aprendizaje de los alumnos, las oportunidades informales para que los alumnos verifiquen su aprendizaje y el uso de la evaluación de los aprendizajes para la toma de decisiones.
A partir de estos ajustes se obtuvo la tercera versión del Instrumento.
La segunda evaluación por juicio de experto fue realizada a esta tercera versión del instrumento. En esta oportunidad participó un experto extranjero, quien apoyó la revisión de este instrumento en cuanto a su comprensión, a la pertinencia de los ajustes realizados al instrumento original para su contextualización a nivel nacional y a la calidad de la graduación de los niveles descritos en las rúbricas. Con las sugerencias y comentarios de este experto fue posible consensuar la cuarta versión del instrumento.
La segunda aplicación piloto se llevó a cabo durante el desarrollo de la capacitación en el uso de las rúbricas en procesos de observación de clase para el conjunto de futuros observadores-entrevistadores que contempla la investigación. En esta aplicación empírica, las siete personas que estarían a cargo del proceso de recolección de información (4 investigadores más tres supervisores de práctica), luego de un proceso de inducción y familiarización con el instrumento de los tres docentes que se incorporaron, observaron una misma clase registrada en video y evaluaron, con la cuarta versión del instrumento, el desempeño del profesor que la realizó.
Al analizar las puntuaciones otorgadas al desempeño docente de la clase observada se pudo visualizar el nivel de convergencia o de dispersión de éstas en cada uno de los criterios. En once de los 25 ítems del instrumento hay un 72% de coincidencia en la cualificación del desempeño atribuida al profesor observado. En un ítem se presenta un 86%y en otro el 100% de coincidencia En ocho ítems se dan un 57% de coincidencia y en 4 ítems se presenta una dispersión mayor. Además del análisis cualitativo de las puntuaciones otorgadas, se desprende que el instrumento presenta una buena coherencia interna. Los observadores puntúan generalmente en los mismos niveles de las rúbricas que componen el IOC y si hay diferencias éstas se sitúan en el mismo rango, es decir si uno puntúa en el nivel 3, otro lo hace en el nivel 2. Incluso en los 4 ítems con mayor dispersión, las puntuaciones se dan en valores contiguos, es decir en los niveles 1, 2 y 3 ó 2, 3 y 4.
La dinámica de desarrollo del proceso de capacitación, dentro del cual se llevó a cabo esta aplicación piloto, permitió contar con información relevante para mejorar el instrumento en términos de su grado de coherencia, de algunos aspectos menores de comprensión y, principalmente, en cuanto a la graduación de las rúbricas, dado que se detectó en algunas de ellas el traslape de las descripciones de los niveles al no ser mutuamente excluyentes. Esto constituía una fuente de discrepancia en la cualificación del desempeño observado. Con estos aportes se realizó un nuevo proceso de ajuste que dio paso a la quinta y última versión del instrumento de observación IOC. En el Cuadro 3 se presenta la conformación de dimensiones y criterios de la versión final de este instrumento.
 |
A modo de ejemplo, en el Anexo 1 se presentan las rúbricas correspondientes a la dimensión "Manejo de la clase" que compone el instrumento IOC, que se utilizará en la investigación para establecer el nivel de desempeño de los profesores principiantes que participarán en el estudio.
4. DISCUSIÓN Y CONCLUSIONES
Observar la acción profesional requiere una preparación previa no sólo del instrumento sino también de las personas que asumen ese rol. En cuanto al instrumento, recordamos que éste se basa en el estudio de Tsang (2004) cuya versión original ha sido ya evaluada y validada por Good (2006). El trabajo que hemos realizado ha conducido a una versión adaptada del instrumento de Tsang (2004) para nuestro contexto nacional y cuyo proceso de validación hemos presentado en el presente texto.
En cuanto a los observadores que participaron de este proceso y que tendrán la responsabilidad de utilizar el instrumento con los docentes nóveles, podemos decir que, de acuerdo a la experiencia vivida en las dos capacitaciones, éstos deben ser capaces de diferenciar el rol que deben asumir en este proyecto respecto al que asumen en las distintas tareas de su vida profesional: profesores, supervisores. Ellas cuenten con una experiencia profesional ligada a la educación y por ende comparten una misma misión: la formación docente, manejan un lenguaje común y poseen un conocimiento de la labor del docente. Sin embargo, esto mismo puede transformarse en una desventaja si no se hace una toma de conciencia y un trabajo personal para evitar que su observación sea filtrada por la identidad profesional que poseen (profesores, investigadores, formadores, supervisores) y que observen al docente novel de acuerdo a esas funciones.
Si bien decimos que es necesario asumir una postura de "observador neutro", ponemos esto último entre comillas porque es imposible evitar el filtro de información que cada individuo ha construido en base a sus experiencias personales y profesionales. No obstante, la preocupación de objetividad debe primar y para ello es necesario desarrollar la capacidad de autoevaluar su postura en el momento de la observación. Esto será particularmente exigente para las personas que tienen una experiencia de supervisión, porque la observación de la acción docente y el juicio profesional forman parte de su quehacer normal (Correa Molina, 2008). De hecho, fue éste uno de los puntos abordados durante las sesiones de capacitación. Otro aspecto a considerar es el trabajo personalizado que pareciera ser necesario con algunos de los observadores que presentan una gran divergencia respecto a las puntuaciones realizadas por sus pares. Que exista divergencia entre un nivel y el siguiente, 1 y 2 por ejemplo, en la puntuación de los observadores es en cierto sentido esperable, pero es un problema cuando en el equipo el rango de dispersión de algunos miembros difiere completamente de la tendencia manifestada por el resto de sus pares observadores.
Finalmente, independientemente de los aspectos recién mencionados, y que por el momento constituyen parte de los límites del estudio, podemos afirmar que el uso del instrumento es factible para el contexto nacional. Así, conscientes de esos límites, en colaboración con los expertos, se diseñaron procedimientos e instrumentos complementarios para facilitar la observación, su registro y la puntuación del desempeño, como son la hoja de registro y el resumen de puntuaciones. Surgió también la inquietud que dice relación con el disponer, a partir de los instrumentos elaborados, sólo de una visión fragmentada del desempeño y no de una visión integradora de éste. Es por ello que, junto con un experto en medición de desempeño de profesores estamos actualmente trabajando sobre una rúbrica complementaria que permita emitir un juicio global de la actuación docente observada. En artículos posteriores daremos detalles de todos estos instrumentos complementarios.
ANEXO
Instrumento Observación de Clases (IOC), adaptado de "Revised Tsang-Hester Observation Rubric. Rúbricas dimensión "Manejo de Aula", Instrumento Observación de Clases, IOC. Proyecto Fondecyt N°1100771
1. Manejo de la clase
 |
 |
 |
 |
REFERENCIAS BIBLIOGRÁFICAS
Correa Molina, E. (2008). Les superviseurs de stage : des qualités pour un rôle formateur. En E. Correa Molina, C. Gervais y S. Rittershaussen (dir.), Vers une conceptualisation de la situation de stage: explorations internationales. Sehrbrooke: Éditions du CRP.
Darling-Hammond, L. (2001). El derecho de aprender. Crear buenas escuelas para todos. Barcelona: Ariel.
Darling-Hammond, L. (1999). Teaching quality and student achievement: Are view of state policy evidence. Seattle, WA: Center for the Study of Teaching and Policy, University of Washington.
Danielson, C. (1996). Enhancing professional practice: A framework for teaching. Alenxadria. VA: Association for Supervision and Curriculum Development.
Edwards, A., & Protheroe, L. (2003). Learning to see in classrooms: What are student teachers learning about teaching and learning while learning to teach in schools? British Educational Research Journal, vol. 29, n. 2, 227-242.
Good, T.; McCaslin, M.;Tsang, H.;;Zhang, J.; Wiley, C.; Brozack , A.; Hester, W. (2006). How well do lst-year teachers teach: Does type of preparation make a difference? Journal of Teacher Education, vol. 57, n. 4, 410 - 430.
Marcelo, C. (Coord.) (2008). El profesorado principiante. Inserción a la docencia. Barcelona: Ediciones Octaedro.
Mineduc (2001). Estándares de desempeño para la formación inicial de docentes. Santiago de Chile: MINEDUC.
Mineduc (2003). Marco para la Buena Enseñanza. Santiago de Chile: MINEDUC.
Tsang, H., (2003). Using standardized performance observations and interviews to assess the impact of teacher education. Unpublished Doctoral Dissertation. Tucson, AZ: University of Arizona, Tucson.
Tang, S. Y.F. (2004). The dynamics of school-based learning in initial teacher education. Research Papers in Education, vol. 19, n. 2, 185-204.
Westerman, D. (1991). Expert and Novice Teacher Decision Making. Journal of Teacher Education, vol. 42, n. 4, 292-305.
