donde x = 0,1 denota, respectivamente, fracaso o éxito.

5.1. ALGUNOS ASPECTOS HISTORICOS

En muchos sistemas educativos se da la necesidad de disponer de un mecanismo para evaluar la adquisición de conocimiento de los alumnos, algo fundamental para identificar el éxito o fracaso en el proceso de aprendizaje. Los tests son probablemente hoy en día el modo más habitual de efectuar dicha tarea, pudiendo estar ligado a diferentes contextos educativos (Cortada de Kohan, N., 2003).

Históricamente, la primera teoría fue la que hoy se conoce como Teoría Clásica de los Test (T.C.T), que surgió a comienzos del siglo XX. Si bien no recibió su forma axiomática hasta mediados de los 60, la TCT se fundamenta en el denominado modelo clásico que establece una relación lineal entre el nivel del rasgo del examinado y la puntuación obtenida en el test realizado (López, J.; T. Pérez & A. Armendáriz, 2004).

Este modelo se expresa en términos de la puntuación empírica del test, el elemento central sobre el que gira toda la teoría. Concretamente, se considera que la puntuación empírica del sujeto, esto es, el valor observado en el test, es igual a la suma de dos componentes hipotéticos y desconocidos a priori: la puntuación verdadera o nivel del rasgo real del evaluando y un determinado error de medida (Muñiz, J., 1997).

La principal limitación de la TCT es que en su contexto las características del test y las del examinado son dependientes, es decir, las mediciones obtenidas dependen por lo general de la naturaleza del test utilizado; y a la inversa, las propiedades de los test dependen de los sujetos a los cuales se aplica. Así, para la TCT, el nivel del rasgo del alumno se mide mediante el número de respuestas acertadas en el test realizado. Por lo tanto, los resultados estarán siempre relacionados con el test administrado: si las preguntas son difíciles, el nivel del rasgo de los examinados resultará ser bajo porque habrá pocos que la respondan correctamente; y viceversa. Así, la dificultad estimada de un test según la TCT dependerá de quién lo realice: si los examinados son muy listos, responderán correctamente a las preguntas y, por tanto, el test será considerado fácil. Estas dependencias entre test y examinados supone que las medidas obtenidas en la TCT no se pueden utilizar en otros contextos de manera generalizada, y por tanto comparar individuos que hayan hecho exámenes distintos resultará muy difícil (Hambleton, R., 1990).

La Teoría de Respuesta al Item supera esta limitación, pues propone modelos matemáticos orientados a las preguntas (que en este contexto reciben el nombre de ítem), en contraposición a la TCT, para el cual la evaluación de conocimientos gira en torno al test como unidad. Se trata de una teoría relativamente joven, data de comienzos de los años 60, habiendo sido implementada por primera vez durante los 80 (López, J.; T. Pérez, & A. Armendáriz, 2004).

Dicho de paso, la Psicometría y Edumetría se ocupan de los problemas de medición en Psicología y Educación, utilizando la estadística como pilar básico para la elaboración de teorías y para el desarrollo de métodos y técnicas específicas de medición (Olea, J., V. Ponsoda, F. Abad, J. Revuelta, B. Gil & C. García, 2004).

5.2. VISION GENERAL DE AMBAS TEORIAS

En este apartado se analizarán dos de las principales teorías que se utilizan en el ámbito de la medición educacional: La Teoría Clásica (TC) y la Teoría de Respuesta al Item (TRI).

Primero que todo, se hace necesario definir algunos términos. Distintas pruebas miden diferentes características de los examinados, por ejemplo: conocimiento matemático, razonamiento científico, capacidad de memorización, vocabulario, etc. En medición educacional, por “Rasgo” se entenderá a la característica del examinado que va a ser medida a través de la prueba y, por consiguiente, ésta se utiliza para representar de manera genérica cualquiera de esas características. Por otro lado, en lo que respecta a los ítems de una prueba, hay parámetros (o descriptores) que permiten describir sus atributos particulares. Los parámetros de un ítem que suelen ser más frecuentemente utilizados y, por consiguiente estimados son:

a) Nivel de Dificultad.
b) Nivel de Discriminación de un Item.
c) Efectos del Azar.

Teoría Clásica

Una forma de medición que se utiliza con mucha frecuencia en pruebas de gran escala, como las de admisión a la universidad (por ejemplo, en el SAT de Estados Unidos y en la PSU en Chile), es la llamada Teoría Clásica (TC). En teoría clásica, el indicador del rasgo de un estudiante corresponde al puntaje que se obtuvo en la prueba, construido a partir del número de respuestas correctas (o número de respuesta correctas netas) que obtuvo. Como indicador de la dificultad de una pregunta, en este sistema se utiliza la razón entre el número de personas que acertaron correctamente el ítem y el total de alumnos que dieron una respuesta a éste. Por otra parte, el índice de discriminación de un ítem se calcula como la correlación entre el puntaje de la respuesta a éste y el puntaje en la prueba total. Además, en los test formados por ítem de opción múltiple, en las que sólo una alternativa es la correcta, podemos sobrestimar la puntuación directa de una persona dado que alguno de sus aciertos ha podido producirse por azar. El problema entonces consiste en establecer un procedimiento para descontar del número total de aciertos que se han producido por azar. Si se asume que no se conoce la respuesta correcta a un ítem, todas las alternativas de respuesta son equiprobables y la probabilidad de acertar al azar ese ítem se puede establecer como: ¹/_n, donde n es el número de alternativas del ítem.

Estos descriptores de los ítems pueden calcularse ya sea en el contexto de una prueba piloto o experimental, o en la prueba definitiva u operacional.

Como se puede apreciar, en la TC el grado del rasgo de una persona depende del grupo de ítems (vale decir, de sus diferentes parámetros) que contiene la prueba. Por ejemplo, si la prueba es fácil, un mismo alumno tendrá un puntaje mayor que si la prueba es difícil. Con esto resulta difícil hacer comparaciones entre estudiantes que han rendido pruebas diferentes. A su vez, la estimación de los parámetros depende del grupo de personas a las cuales se aplicó el test. Así, un mismo ítem puede ser catalogado como fácil si el grupo que rindió la prueba es excepcionalmente hábil, pero como difícil si el grupo que rindió la prueba es desaventajado. Con respecto a la discriminación, un ítem puede aparecer muy discriminativo en el contexto de un grupo con nivel heterogéneo del rasgo, pero poco discriminativo si el grupo que rindió la prueba es homogéneo (es decir, si todos los estudiantes tienen un nivel del rasgo similar). Esta debilidad, que se genera en la estimación del rasgo de los examinados y los parámetros de los ítems, ha llevado a buscar un método que permitiese una medida del rasgo que sea independiente de los ítems a los que estos se han enfrentado, una caracterización de los ítems independiente de la población a la que se aplica, y al mismo tiempo una medida más fiel de la precisión con que se está midiendo el rasgo.

La satisfacción de estos requerimientos se ha intentado encontrar en la Teoría de Respuesta al Item o TRI.

Teoría de Respuesta al Item

Los modelos de la TRI se centran en los ítems e intentan establecer, para cada uno de ellos, la probabilidad de ser respondidos correctamente. Esta probabilidad depende del rasgo del examinado y de ciertas características de los ítems, entre las que se encuentra el grado de dificultad, discriminación y la probabilidad de ser respondido correctamente por azar por una persona de bajo nivel del rasgo. Hay varios modelos en TRI de distinta complejidad. El modelo más simple es aquel que sólo diferencia los ítems según su grado de dificultad. Sin embargo, otros modelos permiten además incluir otros parámetros de los ítems, como su grado de discriminación y la probabilidad de responderlo correctamente al azar.

Aparte de lo anterior, la TRI hace posible conocer el nivel de precisión que un ítem aporta a la estimación para cada nivel del rasgo. En términos técnicos, esto es, lo que se conoce como Información de Fischer, que contextualizado se llama Información del Item. Mientras mayor es la información que aporta el ítem a un determinado nivel del rasgo, mayor es la precisión en la estimación de ese nivel.

La principal ventaja teórica de la TRI es que mediante su utilización se lograría que un estudiante obtuviese siempre la misma estimación de su nivel del rasgo, independientemente de las preguntas que le tocó responder. También, con la TRI un ítem tendría siempre los mismos parámetros que lo describen (dificultad, discriminación, azar), independientemente del grupo que rindió la prueba. Esta notable propiedad se llama invarianza, siendo ésta la principal ventaja que distingue a la TRI de la Teoría Clásica. Sin embargo, es preciso destacar que la invarianza se cumple siempre y cuando se satisfagan ciertos supuestos y requisitos que se enunciarán a continuación.

Supuestos de la TRI

1. Unidimensionalidad: este supuesto consiste en que en una prueba todos los ítems están midiendo uno y sólo un rasgo en los examinados.
2. Independencia Local: postula que, dado un nivel del rasgo, las respuestas a los ítems no pueden estar correlacionadas entre sí.
3. Igualdad de Educación: que todos los alumnos que rindan la prueba hayan tenido experiencias educacionales similares.
4. Que la prueba no haya sido apurada, es decir, que los tiempos de estimados en el desarrollo de la prueba se respeten.
5. Efectos de Contextos no controlados: se refiere a que algunas preguntas se comportan de modo diferente según la posición que tengan en la prueba.

Ventajas y Desventajas de la TRI

La Teoría de Respuesta al Item presenta una serie de potenciales ventajas sobre la teoría clásica. La principal de ellas es la invarianza de los puntajes de la prueba y de las características de las preguntas. También surge, gracias a las curvas de información, herramienta exclusiva de la TRI, la posibilidad de optimizar el proceso de selección de preguntas según el objetivo que se busca.

Todas las ventajas anteriores se pierden cuando los supuestos y requisitos de la TRI no se cumplen. Para que haya invarianza, principal ventaja de la TRI sobre la TC, es fundamental que exista, como se señalaba anteriormente, unidimensionalidad e independencia local. Sin embargo, en muchas ocasiones la naturaleza de las disciplinas mismas les impide someterse a tales restricciones. Es por ello que en la práctica los supuestos y requisitos de la TRI se transgreden (Dussaillant, F. 2003) a menudo. Este incumplimiento de los supuestos lleva no sólo a perder la invarianza sino que afecta directamente a la estimación del rasgo e introduce errores en aplicaciones secundarias de la teoría.

6. CONCEPCION DE LA INVESTIGACION

Este nuevo parámetro tiene como postulados de la propuesta las siguientes relaciones:

• Si en un ítem se requiere de mayor tiempo para su respuesta implicará mayor dificultad para el alumno.
• Si en un ítem se requiere de mayor tiempo para su respuesta implicará mayor discriminación.

6.1. PROPUESTA

La propuesta metodológica que se presenta tiene su sustento en la Teoría de Respuesta al Item.

La propuesta se basa en el hecho de poder cuantificar el tiempo de emisión de respuesta, desde el momento que la persona recibe el ítem hasta que emite una respuesta, este tiempo será caracterizado por t_ij, que representa el tiempo que demora la persona j-ésima en emitir una respuesta al ítem i del test.

La incorporación de este nuevo parámetro permitirá desarrollar un enfoque de la teoría de los test hacia las pruebas computarizadas, cuyas consecuencias serán el poder diferenciar a dos personas que tradicionalmente se encuentran en igual condición.

Considerando bi = 0, a_i = 1 y ci = 0 parámetros de dificultad, discriminación y azar respectivamente en el modelo logístico de tres parámetros, se propone el siguiente modelo, denominado Modelo Logístico Reacondicionado, que incorpora el parámetro temporal t_ij, como:

Gráficamente, es posible verificar los efectos t_ij sobre los parámetros clásicos de dificultad y discriminación en el modelo logístico de uno y dos parámetros, esto es:

Es posible observar que a medida que aumenta el parámetro temporal, es decir, el tiempo que transcurre desde que la persona recibe el ítem hasta que emite una respuesta, se producen perturbaciones respecto de los parámetros de dificultad y discriminación, estableciéndose una relación proporcional en forma directa.

Analíticamente, se define al parámetro temporal t_ij como un parámetro de localización y de escala, a partir del cual se definen una familia de densidades que indizan a t_ij , esto es:

 

 

Notemos que

 

satisface lo siguiente:

Es decir, la libertad temporal nos permite recuperar el modelo original de tres parámetros, gráficamente se tiene:

El gráfico anterior muestra la convergencia de las densidades, ante variaciones del parámetro temporal, a la densidad independiente de éste (Curva de color negro).

Modelo Logístico Temporal

Este modelo representa la probabilidad de que la persona j acierte al ítem i, con un nivel de competencia θ, condicionado a un tiempo de respuesta t_ij .

Debemos notar, que en este modelo no se presentan los parámetros de dificultad, discriminación y azar, con el objetivo de resaltar la influencia del tiempo de respuesta en el modelo.

Una vez caracterizado el parámetro temporal, el siguiente paso es aplicar las pruebas, registrar el tiempo de respuesta y estimar el nivel de competencia de cada estudiante a través de la estimación máximo verosímil.

7. SIMULACIONES

Para este proceso simularemos las respuestas, el tiempo de respuesta y los parámetros de cada ítem, en 3 estudiantes para ejemplificar.

Ahora supongamos que las pruebas fueron suministradas y los resultados son los siguientes:

• Alumno 1. Obtuvo lo siguiente:

• Alumno 2. Obtuvo lo siguiente:

Estimación Persona 1:

Observemos que el nivel de Competencia que hace más probable el patrón de respuestas de la persona 1 es θ ₁ = -0.1.

Estimación Persona 2:

Observemos que el nivel de Competencia que hace más probable el patrón de respuestas de la persona 2 es θ₂ = —1.0. Además es un nivel notoriamente menor a la persona 1.

Estimación Persona 3:

Observemos que el nivel de Competencia que hace más probable el patrón de respuestas de la persona 3 es θ₃ = 0.2. Además es un nivel notoriamente superior a las dos personas anteriores.

En el siguiente gráfico se presentan las variaciones de los niveles de competencia de las tres personas en estudio, claramente se observa la superioridad en la competencia en estudio de la persona 3 respecto de las otras dos.

8. ANALISIS A POSTERIORI Y EVALUACION

Es posible visualizar en las tablas de las simulaciones [Tabla 1, Tabla 2 y Tabla 3], que los tiempos de respuesta son menores en la persona número 3, que gráficamente en el proceso de estimación del nivel de competencia reflejan su efecto en la forma de la distribución, hacia una asimetría de tipo negativa, es decir, el máximo de la función de verosimilitud tiende a presentarse en torno a valores altos en comparación con sus pares, dicho efecto se potencia ante la utilización del parámetro temporal. Si utilizamos el modelo en evaluación de procesos en el tiempo, nos permitirá capturar pequeños incrementos y cambios en tiempos distintos y evaluar procesos de intervención pedagógica.

9. CONCLUSIONES

Preocupados por la educación, la calidad y la precisión en los procesos de medición, el equipo Lab[e]saM propone esta metodología de trabajo y la variación del Modelo Logístico, que en este caso sólo se está considerando el tiempo de respuesta como un factor diferenciador entre las puntuaciones de los alumnos.

Vivimos en el siglo de las tecnologías, y no nos debemos de extrañar cuando comience la masificación de pruebas rendidas por medio de computadores y, bajo esa perspectiva, debemos rescatar de ello toda la información posible, de tal manera de precisar y diferenciar el nivel de competencia de cada uno de nuestros alumnos.

Por otro lado, hemos considerado el tiempo de respuesta en el proceso de diferenciación, pues se está transformando en un factor importante a la hora de tomar decisiones respecto de la resolución de problemas, además de ser un reflejo de la calidad de la construcción de un saber para reaccionar ante un determinado estímulo.

10. AGRADECIMIENTOS

Paula Sofía Ponce Grenet
Manuel Freire del Pozo

NOTAS

¹ La Teoría de Respuesta al Item (IRT) se atribuye al trabajo del matemático danés Georg Rasch (1960), aunque se encuentran también importantes semejanzas en el trabajo de Louis Leon Thurstone, 1912 y Alfred Binet, 1905

11.  BIBLIOGRAFIA

Brousseau, G. (2004). Théorie des Situations Didactiques (Didactiques des Mathématiques 1970-1990). (2ª edición), Grenoble, Francia: La Pensée Sauvage, Editions.

Chevallard, Y. (1991). La transposition didactique. Du savoir savant au savoir enseigné. (2ª edición en colaboración con Marie-Alberte Joshua), Grenoble, Francia: La Pensée Sauvage, Editions.

Cortada de Kohan, N. (2003). Posibilidad de integración de las teorías cognitivas y la psicometría moderna. (pp. 08-23). Argentina: Revista Argentina de Neuropsicología.

Dussaillant, F. (2003). Técnicas de medición en pruebas de admisión a las universidades. Santiago, Chile. C.E.P.

Hambleton, R. (1990). Fundamentals of Item Response Theory. (pp. 15-31). Educational Measurement.

López, J., T. Pérez y A. Armendáriz (2004). Evaluación Mediante Test, Departamento de Lenguas y Sistemas Informáticos. Universidad del País Vasco, España. Revista Iberoamericana de Educación.

López, J., T. Pérez y A. Armendáriz (2004). Evaluación Mediante Test, Departamento de Lenguas y Sistemas Informáticos. Universidad del País Vasco, España. Revista Iberoamericana de Educación.

Mabille, A. & V. Albert (1994). Profils de profs: Portarait et styles d’enseignants en sciences. (2ª edición). Louvain-la-Neuve, Bélgica: De Boeck Université.

Muñiz, J. (1997). Teoría Clásica de los Test. (pp. 26). Universidad de Oviedo, España. Editorial Pirámide.

Olea, J.,V. Ponsoda, F. Abad, J. Revuelta, B. Gil y C. García (2004). Introducción a la Psicometría, Teoría Clásica de los Test y Teoría de la Respuesta al Item. Madrid, España: Edición interna de la Universidad Autónoma de Madrid.