RESUMEN

Las evaluaciones de carácter cuantitativo-sumativo acostumbran a prestar muy poca atención a la organización del conocimiento evaluado. Sin embargo, dicha organización es tanto o más importante que la cantidad de información recordada a la hora de describir el aprendizaje realizado y, especialmente, el uso que del mismo se puede realizar. Por otro lado, las evaluaciones tradicionales suelen implicar mecanismos de respuesta muy indirectamente relacionadas con el aprendizaje, como el descarte de opciones o la repetición de textos memorizados. El empleo de las TIC permite ir más allá de los datos fragmentarios y analizar estructuras de conocimiento completas. En concreto, la herramienta informática List-Link, plantea su evaluación a partir de la relación entre dos listas de conceptos: una que contiene conceptos generales (habitualmente de moderada extensión) y otra que contiene conceptos más específicos que pueden relacionarse con los anteriores. El procesamiento de estos datos no sólo permite hacer emerger la estructura de conocimiento, sino que también permite proporcionar feedback preciso de la manera de optimizarla.

Palabras clave: evaluación, aprendizaje, estructuras de conocimiento, TIC, mapas de conocimiento.

ABSTRACT

Quantitative-summative assessment usually devotes not much attention to the organisation of knowledge, though it is a dimension as or more important than the amount of retrieved information for describing the accomplished learning and, particularly, the possible use of it. These traditional systems of assessment commonly involve response procedures that are only indirectly related with a comprehensive learning, such as discarding options in multiple response exams or repeating memorized texts.
ICT provides means for reaching beyond fragmentary data and analyse full knowledge structures. Specifically, the computer project ListLink assesses knowledge through the links established between two lists of concepts: A short list of general concepts and a larger list of more specific ones. Once processed this data makes existing knowledge structures emerge and also provides precise feedback in order to optimise them.

Keywords: assessment, learning, knowledge structures, ICT, knowledge maps

RESUMO

As avaliações quantitativas, sumativas, tendem a prestar muita pouca atenção à organização do conhecimento avaliado. Contudo, a organização é tão ou mais importante do que a quantidade de informação recordada, quando se descreve a aprendizagem feito e especialmente a sua utilização. Por outro lado, as avaliações tradicionais geralmente envolvem mecanismos de resposta muito indiretos relacionados com a aprendizagem, tais como o descarte de opções ou a repetição de textos memorizados.
A utilização das TIC pode ir além dos dados fragmentarios e analisar estruturas de conhecimento completas. Específicamente, a ferramenta informática List--Link, permite a avaliação a partir da relação entre dois listas de conceitos: uma contendo conceitos gerais (geralmente de extensão moderada) e uma outra que contém os conceitos mais específicos que podem estar relacionados com aqueles. O processamento destes dados permite não só trazer a estrutura de conhecimento, mas também permite o feedback necessário na optimização dela.

Palavras chave: avaliação, aprendizagem, estruturas de conhecimento, TIC, mapas de conhecimento.

En el ámbito educativo, las TIC son herramientas computacionales e informáticas que procesan, sintetizan, recuperan y presentan información representada en diferentes formatos. Como instrumentos, contribuyen a la construcción de conocimiento y la facilitación del aprendizaje tanto en el contexto educativo como fuera del mismo.

Las principales funcionalidades de las TIC en los centros educativos están relacionadas con: alfabetización digital de los estudiantes (aunque habitualmente ya se han familiarizado con estas tecnologías fuera del contexto escolar, mientras que suele ser bastante más necesaria para profesores o padres); acceso a la información, comunicación, gestión y proceso de datos; y uso didáctico para complementar los procesos de enseñanza y aprendizaje.

Uno de los objetivos centrales en el proceso de enseñanza-aprendizaje es establecer una relación entre los objetos, eventos y fenómenos del mundo real y las teorías y modelos que permiten su interpretación al estudiante (Martinand, 1992; Beaufils, 2000). Las TIC se encuentran en el espacio intermediario, que puede facilitar la puesta en relación de la realidad con representaciones más formales (Barberá y Sanjosé, 1990), es decir, entre lo concreto y lo abstracto (Valente y Neto, 1992).

Las tecnologías de la información y comunicación (TIC) están teniendo un considerable arraigo instruccional. Su empleo en el mundo de la Educación ha propiciado algunos cambios cualitativos en la misma, especialmente en lo que afecta a la ilustración de contenidos a través de material audiovisual. Por ejemplo, la posibilidad de visualizar -y repetir- una intervención quirúrgica con el nivel de detalle que se quiera, supera ampliamente las posibilidades de aprendizaje de aspectos como el punto de incisión o los pormenores anatómicos, que una intervención en directo ofrecería (en la cual los gestos del cirujano se ejecutan una sola vez y no siempre de manera explícita). Otro ámbito de elevado impacto lo constituyen las simulaciones por ordenador, las cuales permiten reproducir situaciones reales evitando costes y, en ocasiones, peligros asociados a las mismas; y, de nuevo, con amplias facilidades de repetición y modificación de parámetros.

Asimismo, estos programas permiten simular fenómenos físicos, químicos o sociales, incluso en formatos 3D, de manera que los estudiantes pueden experimentar con ellos y así comprenderlos mejor. La simulación, pues, es un instrumento que permite la manipulación de modelos, lo cual facilita la adquisición de conocimientos conceptuales y procedimentales (Andaloro et al., 1991).

Otras ventajas del uso de las TIC en la Educación que justifican su implantación serían: aprovechamiento de recursos, puesto que con la tecnología se pueden estudiar fenómenos sin necesidad de reproducirlos en el aula ni acudir a su entorno natural; fomento del interés y la motivación, pues los alumnos acostumbran a asociar las tecnologías de la información con actividades agradables (de carácter lúdico) lo que activa estados emocionales positivos ante la mera presencia del aparataje tecnológico; estímulo del aprendizaje autónomo; facilitación del acceso a información de todo tipo, por ejemplo, vía Internet (Cladellas y Castelló, 2010).

A pesar de las interesantes propiedades citadas, estas tecnologías también han sido adoptadas, al menos en parte, por motivos de validez aparente. Esto es: se tiende a considerar que cualquier tipo de aprendizaje en el que se ha utilizado tecnología es más eficiente. En cambio, son numerosas las situaciones en las que el uso, mejor dicho, el abuso de éstas, dificulta el propio proceso de aprendizaje. A modo de ejemplo, en el estudio realizado por Cladellas et al. (2013), un grupo de alumnos a los que se evaluó unos contenidos presentados con PowerPoint obtuvo peores resultados que otro grupo equivalente, al cual los mismos contenidos habían sido presentados a través del discurso oral del profesor y sin el empleo de PowerPoint. Estos autores concluyen que la subordinación de recursos docentes a la mecánica de ciertas TIC, conlleva la pérdida de flexibilidad en la función docente.

El debate no está tanto en si se deben usar las TIC en el proceso de enseñanza-aprendizaje, pues el uso de éstas puede tener una incidencia muy positiva en el aprendizaje, tal y como se ha apuntado en párrafos anteriores. Por el contrario, el núcleo de interés reside en si su empleo se adecua a las circunstancias propias de aprendizaje que se pretende conseguir y si no comporta el sacrificio de recursos eficientes y flexibles por una confianza ciega en el recurso tecnológico (Cladellas y Castelló, 2010). Un tipo de uso todavía poco explotado de las TIC's se relaciona con la evaluación de aprendizajes, particularmente aprendizajes de alto nivel cualitativo. En este tipo de aprendizajes es común encontrar un conjunto elevado de conceptos y relaciones entre los mismos que no siempre se pueden sistematizar y analizar de manera eficiente. Sin duda existen mecanismos no tecnológicos tradicionalmente empleados para hacer emerger este tipo de conocimiento, como la redacción de documentos extensos o los mapas conceptuales. No obstante, el análisis manual de estos materiales es complejo y, con frecuencia, se concreta en un proceso holístico en el que se omiten detalles precisos. En cambio, cuando este conjunto de conceptos y conexiones se sistematiza informáticamente, los análisis en profundidad se llevan a cabo de manera natural y eficiente por el propio programa, obteniéndose más información y de manera más precisa. Con estos datos, el direccionamiento del proceso de aprendizaje puede realizarse aludiendo a conceptos específicos y relaciones perfectamente delimitadas, lo que da soporte a situaciones de devolución (feedback) que redundan en la optimización del aprendizaje del alumno. Este trabajo tiene como objetivo principal analizar el papel que desempeñan las TIC en la evaluación de procesos de alto nivel, o aprendizaje significativo.

En los siguientes apartados se presenta una breve descripción de algunos de los aspectos cognitivos del aprendizaje y, paralelamente, se considera el desplazamiento de la evaluación desde los fines relacionados con la cualificación de personas hacia la obtención de información relevante sobre el proceso de aprendizaje realizado (hasta ese momento) y la toma de decisiones orientadas a su mejora para, finalmente, presentar una concreción tecnológica de este planteamiento: los programas ListLink (Castelló, 2009a y LinkCenter (Castelló, 2009b) los cuales operativizan este tipo de aproximación y permiten ilustrarla.

2. SISTEMAS TRADICIONALES DE EVALUACIÓN

Los sistemas tradicionales de evaluación suelen estar inspirados en una serie de principios implícitos. En primer lugar, consideran que el aprendizaje es algo que ocurre como consecuencia de la acción educativa y que, de producirse, tiene la misma forma en cada persona (ya que ha sido "causado" por la misma acción). En segundo lugar, las eventuales deficiencias en este aprendizaje suelen atribuirse al alumno (falta de esfuerzo o dedicación, habitualmente) por lo que la evaluación del aprendizaje se identifica con la evaluación de las personas que han aprendido. En tercer lugar, se suele considerar como prueba de aprendizaje el recuerdo de información, asumiéndose que, una vez que la información se deposita en la memoria, despliega todas sus propiedades, es perfectamente comprendida y puede utilizarse para solucionar problemas o ser aplicada a nuevas situaciones (Alonso-Tapia, 2002).

Bajo este marco conceptual, la evaluación no se considera como un mecanismo para mejorar el proceso de aprendizaje que el alumno ha llevado a cabo hasta ese momento. Por ejemplo, es muy común que no se provea más feedback que la propia calificación (sea cuantitativa o cualitativa) y, de manera semejante, suele asumirse que el "nivel" alcanzado es proporcional a la nota obtenida. Así, se consideraría habitualmente que si dos personas han obtenido, digamos un 7, tienen el mismo nivel de aprendizaje. Sin embargo, en una prueba de 10 preguntas en la que cada una vale un punto, existen 120 maneras de obtener un 7 (es decir, las combinaciones de diez elementos tomados de siete en siete o 10! / 7! • 3!). Ciertamente, ambos casos han resuelto correctamente el 70% del material evaluado, pero ello no comporta que tengan el mismo conocimiento.

Siguiendo con el ejemplo anterior ¿cuál sería la recomendación para estas personas? ¿"Estudiar más", quizá? Sin duda, podría utilizarse el examen para indicarles los ítems fallados, lo que supondría un feedback más preciso y, a bien seguro, más aprovechable. Si se generaliza este razonamiento, el feedback sería todavía mejor si se pudieran relacionar los ítems entre ellos en una única estructura de conocimiento, pero esto ya no es tan inmediato de conseguir sin el soporte informático adecuado (ni suele haber demasiado interés en ir más allá desde los planteamientos tradicionales de la evaluación). Sin embargo, preguntarse si los elementos fallados corresponden a conceptos centrales de la estructura de conocimiento o bien a elementos periféricos tiene consecuencias muy importantes: de ser elementos centrales, el uso del conjunto de conocimiento estará penalizado, mientras que los conceptos periféricos tendrán una incidencia escasa (o nula) en el resto de la estructura.

Una consecuencia indirecta del poco interés por la mejora del aprendizaje ha sido que la tecnología no se ha considerado como un recurso que pudiera mejorar el procedimiento evaluativo. A lo sumo, los recursos tecnológicos se han empleado para facilitar el proceso de corrección de pruebas de respuesta múltiple, pero los métodos habituales se han mantenido en tecnología de lápiz y papel. El uso de tecnología informática, en cambio, permite acceder a una serie de datos que suelen quedar obviados en los formatos de papel: tiempo de respuesta, corrección de eventuales errores o secuencia de respuesta, entre otros. Además resulta una plataforma adecuada para integrar toda la información aportada en la respuesta en forma de estructuras complejas de conocimiento, facilitando un análisis detallado del estado de dichas estructuras en cada caso.

3. ASPECTOS COGNITIVOS DEL APRENDIZAJE

Los procesos de aprendizaje de contenidos, o de conceptos en general, producen un conjunto de efectos cognitivos que se concretan en los cambios acaecidos en las estructuras de conocimiento que maneja la persona que lleva a cabo el aprendizaje (Novak y Cañas, 2006; Glasser, 1984). Dichas estructuras son las que darán soporte al recuerdo de la información y, de manera mucho más importante, establecerán el significado de esos conceptos para la persona que los maneja a partir de dos caminos. El primero es el conjunto de nodos activados simultáneamente. Como ilustración, si el concepto "agua" se encontrara vinculado a "sed" y a "lavar" (utilizando la representación verbal de estos conceptos, para facilitar la ilustración, pero en absoluto asumiendo que las representaciones se identifican con el lenguaje) el significado de agua estaría definido por estas conexiones, quedando fuera del mismo las propiedades químicas o físicas del agua (como los átomos que la componen, su densidad o la energía cinética asociada a su desplazamiento, entre muchas otras propiedades). Ciertamente, un niño (u otra persona) que dispusiera de la primera de las estructuras citadas podría asignar cierto significado a "agua" (o, en términos de lenguaje común, podríamos decir que sabe qué es el agua) aunque resulta obvio que estructuras distintas aportarían significados igualmente distintos al mismo concepto. En general, de cuantas más conexiones (verídicas) disponga el concepto mayor será la profundidad del significado del mismo para esa persona. Los mapas conceptuales (Ifenthaler, 2010; Alfageme y Miralles, 2009; Cálad, 2009) permiten visualizar este tipo de conexiones entre conceptos.

El segundo camino para otorgar significado hace referencia a los recursos representacionales utilizados para representar cada uno de los nodos. El tipo de representación determina el tipo de manipulación que puede hacerse de la misma, comportando una dimensión del significado que suele omitirse: la manera en que cada persona aprehende los objetos de conocimiento. Así, ante un determinado objeto, personas distintas pueden capturar diferentes propiedades objetivas del mismo, dependiendo de sus recursos representacionales, es decir, de la manera particular en que su cerebro responde ante dicho objeto. Las representaciones soportadas por cada cerebro son siempre significativas para los mismos, en la medida en que corresponden a estados de activación que pueden ser transformados, siendo dicha transformación de estados la manera de operar sobre la representación. El significado proviene, en este caso, de lo que el sistema puede hacer con la representación de un objeto. Véase Scandura (2007) como ilustración de diferentes maneras de construir representaciones de conocimiento.

Consecuentemente, el significado de cualquier objeto (concepto, información) no es una propiedad estable del mismo, sino que incluye componentes individuales de representación originados en cada arquitectura cerebral (Scardamalia y Bereiter, 2006). El número de propiedades efectivamente representadas tendría una correspondencia con la constelación de representaciones interconectadas (nodos). Así, las unidades de información en las estructuras de conocimiento no son necesariamente objetos individuales, sino cada representación de características o propiedades de los mismos. Cuanto más extenso es el número de elementos representados -o de propiedades representadas- más completa es la representación del objeto, aunque dicha completitud siempre se encuentra limitada por las posibilidades representacionales de cada cerebro. En consecuencia, la representación de objetos que se puede encontrar en las estructuras de conocimiento de personas distintas no tiene por qué coincidir completamente, a pesar de poder resultar suficiente para cada caso, tanto en términos de conocer el objeto como para dar soporte a la interacción con el mismo.

Esta variabilidad en los contenidos, conexiones y significado de las estructuras de conocimiento comporta que la evaluación de las mismas no sea una tarea inmediata. El recuerdo puede aportar cierta información, pero ésta es muy pobre ya que sólo constata la presencia de dicha información en la estructura de conocimiento, diciendo muy poco o nada de sus conexiones y formato representacional. En cambio, la información acerca de la organización de la estructura es un aspecto clave para valorar la importancia de los materiales que contiene y aproximarse al significado de los mismos.

4. EVALUACIÓN DE ESTRUCTURAS DE CONOCIMIENTO

Tanto el significado como las posibilidades de razonar a partir de una estructura de conocimiento se debe buscar en los vínculos o relaciones, no en la lista de informaciones o conceptos que componen la estructura (Ribino et al., 2011). De manera general, las conexiones entre elementos de las estructuras de conocimiento pueden hacerse emerger a partir de actividades en las que el recuerdo no es el objetivo de evaluación, sino las circunstancias en que la persona que responde debe tomar decisiones basadas en su propio conocimiento (Mustafa, 2012).

Una de estas actividades consiste en la presentación de un conjunto de conceptos que la persona evaluada debe conectar entre ellos. Evidentemente, este tipo de situaciones permite un número muy elevado de combinaciones de conexiones, dependientes de que el conjunto de elementos sea de cierta extensión (digamos que más de quince). La clave del proceso reside en que las relaciones entre los elementos solo puedan establecerse desde un marco de conocimiento determinado. Así, los elementos "agua", "alcohol" y "gasolina" establecerán conexiones distintas con conceptos como "nutrición", "combustible" y "disolvente", si se implican estructuras de conocimiento diferenciadas. En este sentido, la estructura de conocimiento que se esté empleando es la que permite determinar si, por ejemplo, el alcohol puede relacionarse con nutrición (o con cualquiera de las otras dos categorías). Lo importante es que quien responde debe usar su propio conocimiento (es decir, deba razonar) para determinar qué conexiones tienen sentido y cuáles no, con lo cual las respuestas permiten hacer inferencias sobre el conocimiento existente.

Normalmente, en situaciones educativas, es posible definir objetivamente (y, por lo tanto, de manera justificada) una estructura de conexiones que puede considerarse óptima, del mismo modo que también se pueden asignar valores cuantitativos a dichas conexiones: por ejemplo, valores positivos, proporcionales a la importancia de la relación entre dos conceptos, y valores negativos, también proporcionales a la magnitud del error, en el caso de conexiones incorrectas. Por lo tanto, cualquier solución puede contrastarse con un referente estable, evaluando las coincidencias, discrepancias y ausencias, en lo que sería una aproximación cualitativa, a la vez que se puede estimar la importancia de los conceptos y relaciones en términos cuantitativos. La detección de errores (información o conexiones incorrectas) en las estructuras de conocimiento es una virtud de esta metodología de evaluación, característica que no puede encontrarse en la evaluación basada en el recuerdo: que se recuerde información correcta no aporta indicios acerca de la existencia de información incorrecta o de conexiones inadecuadas.

Los estímulos presentados (el conjunto de conceptos) no aportan información sobre el tipo de vínculos ni otras pistas que puedan guiar la respuesta. La consecuencia de ello es que la persona deberá razonar, basándose en su conocimiento, para deducir qué conexiones son correctas y cuáles no. En el caso de las informaciones erróneas, la posibilidad de identificarlas como tales depende de que, o bien no formen parte de las estructuras de conocimiento de la persona, o bien formen parte de las mismas pero debidamente marcadas como información incorrecta (cosa que puede ser consecuencia de la acción formativa llevada a cabo, o bien de la propia experiencia de errores cuando se empleaban esas informaciones). Si no se cumplen ninguna de estas dos condiciones, implica que la persona considera esa información como "buena", por lo que es bastante probable que dichos elementos aparezcan en la estructura final, poniendo de manifiesto la presencia de materiales "contaminantes" en la misma.

El formato de este tipo de actividades puede adoptar distintas modalidades, desde un único grupo de conceptos a interconectar (tarea característica de la generación de mapas conceptuales, aunque también se puede pedir que se formen grupos), que es la modalidad más abierta, hasta la conexión de dos listas de conceptos, normalmente la primera de las cuales está compuesta por conceptos más generales y la segunda por elementos más específicos (como en el ejemplo del agua, el alcohol y la gasolina, que serían los conceptos específicos a vincular con los más generales de nutrición, combustible y disolvente).

Las relaciones entre conceptos también se pueden especificar (por ejemplo, "es causa de", "es una condición necesaria de", etcétera) aunque este nivel de precisión aumenta la complejidad del proceso, ya que añade una tercera dimensión a los pesos de las conexiones. Ahora bien, el uso de un solo tipo de conector resultaría adecuado para la mayoría de los casos, ya que simplifica tanto el proceso de respuesta como el de análisis, reservándose los conectores específicos para aquellas ocasiones en que sea necesario un nivel muy elevado de precisión (Sterelny, 2005).

5. PROTOCOLO DE EVALUACIÓN DEL LISTLINK

Las ideas expresadas en los anteriores epígrafes nos llevaron al desarrollo de un procedimiento de evaluación con soporte informático que denominamos "ListLink" (Castelló, 2009a) en el que se adoptó la modalidad de una lista de (unos pocos) conceptos generales y una segunda lista (bastante más extensa) de conceptos específicos, tal y como se puede observar en la Figura 1. El procedimiento de respuesta consiste en conectar los conceptos de la primera lista con los de la segunda, utilizando una conexión genérica (no hace falta especificar qué tipo de relación tienen). Un programa complementario, denominado "LinkCenter" (Castelló, 2009b) permite configurar las listas, establecer la matriz de pesos (valores cuantitativos) de cada conexión y, posteriormente, gestionar y explotar las respuestas.

6. APORTACIONES DEL LISTLINK

El análisis de los resultados obtenidos a partir del "ListLink" (Castelló, 2009a) con la aplicación "LinkCenter" (Castelló, 2009b), permite la obtención de algunos aspectos muy útiles para la evaluación de estructuras de conocimiento. A continuación se describirán algunos de ellos.

6.1. MAPAS INDIVIDUALES

Las conexiones establecidas por cada persona son reconstruidas por el programa de manera que se obtiene un mapa de conceptos que refleja la estructura de conocimiento manejada por esa persona. Dicho mapa permite observar la forma global de la estructura de conocimiento (estructura única o disgregada, centralidad de los conceptos, densidad de conexiones, etcétera) y detectar la presencia de conceptos o conexiones erróneas en la misma. Las Figuras 2 y 3 muestran las estructuras resultantes en dos personas distintas.

En el primer caso (Figura 2) se observa que el conocimiento se organiza en dos estructuras separadas, mientras que la persona B (Figura 3) lo integra en una única estructura. Por otra parte, los círculos de color rojo presentes en la estructura de la persona A ponen de manifiesto la presencia de informaciones erróneas, las cuales abundan en su conocimiento, mientras que la persona B solamente presenta información errónea en un solo caso, predominando claramente los nodos de color verde.

Este conjunto de informaciones describe el estado actual del conocimiento de cada persona en relación a los contenidos evaluados, con lo cual, aparte de cuantificar en una nota la evaluación, que es el propósito menos relevante, se puede estimar el grado de comprensión de los mismos y, de manera especial, las directrices de mejora.

6.2. COMPARACIÓN DE MAPAS

Al comparar los mapas de dos o más personas se consigue establecer las diferencias de comprensión entre las mismas. Por ejemplo, las Figuras 2, 3 y 4 presentan los mapas resultantes de las respuestas de tres personas distintas, ante las mismas listas de elementos. Los nodos, por tanto, son idénticos, aunque resulta evidente que las conexiones y la organización global de la estructura es muy distinta. El algoritmo de generación de mapas implementado garantiza que un mismo conjunto de nodos y conexiones propiciará siempre el mismo mapa y, por el contrario, conexiones distintas generarán imágenes igualmente diferenciadas.

6.3. ANÁLISIS DE NODOS

El programa permite la visión parcial del mapa, activando solamente los nodos que se encuentran a uno, dos o tres pasos (conexiones) de distancia de un nodo dado. De este modo, es posible realizar una estimación de la facilidad de tránsito de unos nodos a otros, así como de la activación general que se obtendría a partir de nodos específicos (es decir, de la profundidad del significado del nodo de partida).

Las Figuras 5 y 6, corresponden a una visión parcial del mapa de conocimiento presentado por la persona C (figura 4). En concreto, la Figura 5 muestra las conexiones directas del concepto general número 1 y la Figura 6 las conexiones directas del concepto general número 0. Como puede observarse, el primer caso exhibe una abundante relación con conceptos específicos correctos, lo que da muestras de una buena comprensión del concepto y de la profundidad y complejidad del significado que asigna al mismo, mientras que el concepto general 0 (Figura 6) está poco conectado y, además, con conceptos específicos erróneos.

Esta situación es perfectamente factible cuando se está describiendo conocimiento: una misma persona tiene determinados objetos muy bien representados y otros con representaciones incompletas o incluso erróneas. Nótese también que una información estrictamente cuantitativa no permitiría establecer este tipo de valoración. Por ejemplo, una persona que obtiene un 80%, ¿domina el 80% de las conexiones de todas las informaciones o bien domina a la perfección el 80% de las mismas? La realidad suele ser más compleja, como se ha ilustrado con los dos conceptos en la estructura de conocimiento de la persona C.

7. CONCLUSIONES

El proyecto ListLink (Castelló, 2009a) no responde solamente a una tecnología de evaluación, sino que plantea un cambio profundo en el enfoque de la misma. El aspecto teórico fundamental es que el interés de la evaluación se desplaza del recuerdo de informaciones a la comprensión de las mismas. Tal como se ha descrito, este desplazamiento enfatiza las dimensiones funcionales del aprendizaje que se realiza, considerándolo una base para el razonamiento o la aplicación posterior, más que un proceso de depósito estático de información en la memoria.

De la misma manera, este desplazamiento tiene una clara incidencia en la preparación e impartición de las clases. El modelo de clases en las que un docente se limita a leer los contenidos expuestos en PowerPoint y que, como vimos en la introducción de este trabajo, tan malos resultados tienen a efectos de aprendizaje (Cladellas et al., 2013), resulta incongruente con un formato de evaluación en la que se piensa en términos de comprensión y significado. De este modo, la evaluación orientada a las estructuras de conocimiento propicia que en las clases se busque la concordancia con la misma, abundando en la explicitación de relaciones y justificación de las mismas, más que en la enunciación de contenidos.

La construcción de un procedimiento de evaluación de este tipo es también mucho más exigente para el docente (o la persona responsable de la evaluación) ya que obliga a razonar, explicitar y justificar la presencia de los conceptos que se utilizarán, así como su estructura óptima (Mustafa, 2012). Esta situación no es, ni mucho menos, negativa para el desarrollo de la acción docente y para la integración de la misma con el proceso de evaluación. Por un lado, evita la disociación del proceso de aprendizaje del de evaluación, ya que plantea la segunda en términos de contenidos importantes (y no como un procedimiento aleatorio) y pone de manifiesto el tipo de conexiones que se espera que el alumnado sea capaz de realizar al final del proceso de instrucción. Por otro lado, pone encima de la mesa las tres condiciones que interactúan en la consolidación de aprendizajes: actividad del alumno (tiempo dedicado, reflexión, elaboración), actividad del docente (facilitación del aprendizaje mediante la aclaración de puntos críticos, selección de actividades, ilustración y ejemplificación, etcétera) y pertinencia curricular (relevancia de los contenidos y probabilidad de que sean efectivamente comprendidos en ese momento del proceso de aprendizaje). Este último punto es crucial dentro del proceso de facilitación, ya que puede perfectamente darse que ciertos contenidos que son importantes en términos de conocimiento experto no sean alcanzables, de manera significativa, por el alumnado en esas condiciones de aprendizaje (quizá por falta de tiempo, por competir con elementos muy arraigados y contradictorios o por una inadecuada facilitación) (Koponen y Pehkonen, 2010). Así, al acceder a dicha información, el docente puede replantear la organización del curso y, en situaciones extremas, la pertinencia de ciertos contenidos dentro del mismo.

Por otro lado, el hecho de trabajar con una actividad de evaluación de conocimiento situada en contexto instruccional puede introducir ciertos sesgos en las respuestas, propias de lo que se ha denominado "observación de segundo orden". En otras palabras, no se accede directamente al conocimiento sino que se infiere éste de las respuestas aportadas por el alumno. Por ello, deben siempre considerarse posibles planteamientos conservadores, evitando declarar relaciones que sí pensaba la persona pero que dudaba de si satisfarían los criterios del docente; sesgos por aquiescencia, situación en la cual se responde lo que se cree que espera oír quien formula la pregunta (la actividad, en este caso); u otros ajustes de las respuestas a las expectativas del contexto académico.

A pesar de que estas limitaciones se pueden aplicar a cualquier procedimiento de evaluación, la aproximación a través de listas relacionadas atenúa notablemente alguno de los efectos. Así, aunque no permite controlar las actitudes de excesiva prudencia en la respuesta, caso en el cual el conocimiento real sería mayor que el manifestado, sí que hace muy difícil la respuesta coalescente y la selección de aquella que mejor pueda cuadrar con las expectativas docentes. Téngase en cuenta que la persona que realiza la actividad no puede saber cuantos conceptos secundarios están relacionados con cada concepto principal, con lo cual no es posible "descartar" relaciones por ya haber encontrado otra u otras. Por otro lado, si la lista de conceptos secundarios se ha escogido con cuidado, debería incluir elementos que, de existir, pusieran de manifiesto conceptos o relaciones incorrectas. A modo de ilustración, si el docente conoce que suele ser una explicación (incorrecta) muy frecuente, que las estaciones se deben a la distancia de la Tierra al Sol, coincidiendo el verano con una mayor proximidad y el invierno con una mayor lejanía (cosa que sólo sería cierta para el Hemisferio Sur, y no permite explicar más que un 5% de las diferencias térmicas), este concepto debería aparecer junto con la explicación correcta (la inclinación del eje Norte-Sur en más de 23°) u otros factores verídicos relacionados con las estaciones. En ese contexto, si la persona efectivamente cree que la distancia es el principal argumento, muy difícilmente podrá excluirlo de la respuesta, cosa que delatará contradicciones en el conocimiento manejado. En cambio, en un ítem de respuesta múltiple, en el que sólo una opción es correcta, el descarte de dicha opción es más probable, aplicando los condicionantes de la respuesta a evaluaciones antes mencionados.

La única referencia a la que puede apelar el alumno es a su propio conocimiento, por lo que es de esperar que el resultado, aunque no sea exhaustivo, sí que se aproxime razonablemente al mismo; en todo caso será algo más corto que el conocimiento real. Por supuesto, lo que va a dar mayores garantías de veracidad es que la selección de conceptos se haya llevado a cabo de manera juiciosa, incluyendo tanto conceptos que sólo están relacionados con uno de los conceptos principales, como conceptos que lo estén con varios de dichos nodos principales. Por el contrario, si los conceptos secundarios se deben repartir entre los principales y sólo pueden estar conectados con uno de los mismos, las técnicas como el "descarte" pueden enmascarar notablemente la estimación del conocimiento real. De manera semejante, si se ha dedicado suficiente tiempo a valorar positivamente las relaciones correctas y negativamente las incorrectas (y se han incluido conceptos que reflejan los errores más habituales, como se indicó anteriormente) las conexiones al azar devienen una actividad poco aconsejable, con lo cual obtener un resultado mejor que el conocimiento efectivo es muy poco probable.

Al situar el aprendizaje comprensivo (no la memorización) como objetivo principal del proceso de evaluación, también se amplían los objetivos de la misma: más allá de cualificar a las personas evaluadas, el análisis detallado de sus estructuras de conocimiento se orienta a la corrección o modificación de los posibles errores y enfatiza la pertinencia de los sistemas de facilitación utilizados. Se evalúa el proceso al completo y su producto en forma de estructura de conocimiento, no solamente al alumno (Kinchin, 2011; Acosta y Boscán, 2009).

El soporte informático del proceso de evaluación es una manera de concretar las operaciones y cálculos que harían muy poco viable el procedimiento por medios manuales, así como de facilitar la implementación del mismo y la explotación de las respuestas (Sterelny, 2005). Esta tecnología no substituye, sin embargo, los núcleos de la aproximación: el aprendizaje basado en la comprensión, más que en la cantidad de recuerdo, y la orientación a la optimización del mismo, más que a la evaluación de alumnos.

REFERENCIAS BIBLIOGRÁFICAS

Acosta, S. y Boscán, A. (2009). Estrategias cognoscitivas para la promoción del aprendizaje significativo de la Biología, en la escuela de Educación. TELOS. Revista de Estudios Interdisciplinarios en Ciencias Sociales, vol.14, n.2, 175-193.

Alfageme, M.B. y Miralles, P. (2009). Instrumentos de evaluación para centrar nuestras enseñanzas en el aprendizaje de los estudiantes. Iber. Didáctica de las Ciencias Sociales, Geografía e Historia, vol.60, 8-20.

Alonso-Tapia, J. (2002). Knowledge assessment and conceptual understanding. En M. Limón y L. Mason (Eds.), Reframing the processes of conceptual change (pp. 389-413). Dordrecht: Kluwer.

Andaloro, G., Donzelli, V. y Sperandeo-Mineo, R.M. (1991). Modelling in Physics teaching: the role of computer simulation. International Journal of Science Education, vol.13, n.3, 243-254.

Barberá, O. y Sanjosé, V. (1990). Juegos de simulación por ordenador: un útil para la enseñanza a todos los niveles. Enseñanza de las Ciencias, vol.8, n.1, 46-51.

Beaufils, D. (2000). Les logicieles de simulation comme supports de registres de representation pour les a pprentissages en psysique. Journées Internationales d'Orsay sur les Sciences Cognitives.

Cálad, M.H. (2009). Los mapas conceptuales como estrategia de enseñanza en la asignatura ingeniería del conocimiento. Revista Iberoamericana de Inteligencia Artificial, vol.9, n.27, 101-113.

Casas, L.M., Luengo, R., Canchado, M. y Torres, J.L. (2013). Una experiencia de representación del conocimiento en Educación Infantil mediante el uso de redes asociativas Pathfinder. RED. Revista de Educación a distancia, vol.36, 1-17.

Castelló, A. (2009a). Programa informático ListLink. Bellaterra.

Castelló, A. (2009b). Programa informático LinkCenter. Bellaterra.

Cladellas, R. y Castelló, A. (2010). Aportes y perjuicios de las TIC's a la educación. Sevilla: Congreso Internacional Alfabetización mediática y culturas digitales.

Cladellas, R., Castelló, A., Badia, M. y Cirera, M. (2013). Effects of the PowerPoint methodology on content learning. Intangible Capital, vol.9, n.1, 184-198.

García-Marco, F. J. (2011). La pirámide de la información revisitada: enriqueciendo el modelo desde la ciencia cognitiva. El profesional de la información, vol. 20, n. 1, 11-24.

Glasser, R. (1984). Education and thinking: The role of knowledge. American Psychologist, vol.39, 93-104.

Ifenthaler, D. (2010). Relational, structural, and semantic analysis of graphical representations and concept maps. Educational, Technology Research and Development, vol.58, n.1, 81-97.

Kinchin, I. M. (2011). Visualising knowledge structures in biology: discipline, curriculum and student understanding. Journal of Biological Education, vol.45, n.4, 183-189.

Koponen, I. T. y Pehkonen, M. (2010). Coherent knowledge structures of physics represented as concept networks in teacher education. Science and Education, vol.19, 259-282.

Liu, P.L., Chen, C.J. y Chang, Y.J. (2010). Effects of a computer-assisted concept mapping learning strategy on EFL college student's English reading comprehension. Computers & Education, vol.54, n.2, 436-445.

Martinand, J.L. (1992). Enseignement et apprentissage de la modélisation en sciences. Paris: Institut National de Recherche Pédagogique.

Mustafa, K. (2012). Pedagogical knowledge representation through concept mapping as a study and collaboration tool in teacher education. Australasian Journal of Educational Technology, vol.28, n.4, 656-670.

Novak, J.D. y Cañas, A.J. (2006). The theory Underlying Concep Maps and How to Construct Them (Technical Report No. IHMC Cmap Tools 2006-01). Pensacola, FL: Institute for Human and Machine Cognition.

Ribino, P., Augello, A., Lo Re, G. y Gaglio, S. (2011). A knowledge Management and Decision Support Model for Enterprises. Advances in Decision Sciences. doi: 10.1155/2011/425820

Scandura, J.M. (2007). Introduction to knowledge representation, construction methods, associated theories and implications for advanced tutoring/learning systems. Technology, Instruction, Cognition and Learning, vol.5, n.2/4, 91-99.

Scardamalia, M. y Bereiter, C. (2006). Knowledge building: Theory, pedagogy, and technology. In K. Sawyer (Ed.), Cambridge Handbook of the Learning Sciences (pp. 97-118). New York: Cambridge University Press.

Sterelny, K. (2005). Externalism, Epistemic Artefacts and the Extended Mind. En R. Schantz (Ed.), The Externalist Challenge. New Studies on Cognition and Intentionality (pp. 239-254). Berlin: de Gruyter.

Valente, M. y Neto, A.J. (1992). El ordenador y su contribución a la superación de las dificultades del aprendizaje en mecánica. Enseñanza de las ciencias, vol.10, n.1, 80-85.