INVESTIGACIONES
La evaluación en el Aprendizaje Basado en Problemas (ABP). Resultados de una experiencia didáctica en los estudios universitarios de Bellas Artes
Assessment in Problem-Based (PBL). Results of a teaching experience in fine arts university studies
A avaliação na Aprendizagem Baseada em Problemas (ABP). Resultado de uma experiência didática nos estudos universitários de Belas Artes
Gregori Giralt, Evaa; Menéndez Varela, José Luisb
a
Universidad de Barcelona, Barcelona, España. Correo electrónico: gregori@ub.edu
b
Universidad de Barcelona, Barcelona, España. Correo electrónico: menendez@ub.edu
RESUMEN
El Aprendizaje Basado en Problemas (ABP) se ha convertido en los últimos años en una de las metodologías didácticas más prometedoras. Junto con una nueva figura de estudiante, el ABP potencia una educación basada en competencias que exige un nuevo modelo de evaluación. Sin embargo, son todavía pocas las investigaciones dedicadas a reflexionar acerca de cómo debe ser una evaluación acorde con los principios del ABP y pocas también las que muestran los resultados académicos de su aplicación. Este trabajo analiza las calificaciones obtenidas por 247 estudiantes de los primeros semestres de la titulación de Bellas Artes que elaboraron una carpeta de aprendizaje asociada a un entorno de ABP. Los resultados obtenidos permiten argumentar los beneficios educativos del ABP, la congruencia entre ABP y la carpeta de aprendizaje, y las posibilidades de extender el modelo aplicado al conjunto de la titulación.
Palabras clave: Aprendizaje Basado en Problemas (ABP), carpeta de aprendizaje, competencias, evaluación, Bellas Artes.
ABSTRACT
In recent years, Problem-Based Learning (PBL) has emerged as a very promising teaching methodology. Along with a new conception of the student, PBL promotes an approach to competency-based learning that requires a new assessment model. To date, however, very few studies have reflected on how assessments should be carried out in accordance with the principles of PBL, and fewer still have presented the academic results of their application. This paper analyses the grades of 247 students in the first semesters of the Fine Arts degree who elaborated a learning portfolio associated with a PBL learning environment. The results demonstrate the educational benefits of PBL, the congruence between PBL and the learning portfolio, and the possibilities of extending the model to the degree course as a whole.
Key words: Problem-Based Learning (PBL), learning portfolio, competencies, assessment, Fine Arts.
RESUMO
A Aprendizagem Baseada em Problemas (ABP), nos últimos anos, tornou-se um dos métodos didáticos mais promissores. Junto com um novo perfil de estudante, a ABP potencializa uma educação baseada em competências que exige um novo modelo de avaliação. Entretanto, ainda são poucas as investigações de como deve ser uma avaliacáo de acordo com os principios da ABP bem como os resultados académicos de sua aplicação. Analisam-se as qualificações obtidas por 247 estudantes dos primeiros semestres da Graduação de Belas Artes que elaboraram um portfolio de aprendizagem associado á ABP. Resultados obtidos permitem sustentar os beneficios educativos da ABP, a relação entre ABP e portfolio de aprendizagem e as possibilidades de extensão do modelo aplicado para todas as graduações de Belas Artes.
Palavras chave: Aprendizagem Baseada em Problemas (ABP), portfolio de aprendizagem, competencias, avaliação, Belas Artes.
1. INTRODUCCIÓN
1.1. MARCO TEÓRICO
La educación superior ha estado trabajando en los últimos años con la idea de que los estudiantes tienen que graduarse con una mayor capacidad para integrarse en su entorno disciplinar y construir conocimiento acerca del propio desempeño (Jones, 2010; Taylor, 2011) . Lo que caracteriza a cualquier profesional es su habilidad para resolver problemas nuevos, analizar, enjuiciar y tomar decisiones y participar en la investigación respecto de su propia práctica con el objetivo de mejorarla (Jones, 2010; Manriquez Pantoja, 2012) . En este sentido, si la educación superior se dirige a la formación de profesionales competentes debe orientar sus estrategias hacia el impulso de esta reflexión concerniente con la acción, y ello implica replantear el aprendizaje y la evaluación e interpretar la segunda como una actividad significativa, justa y transparente (Admiraal, Hoeksma, van de Kamp & van Duin, 2011).
Esta visión del aprendizaje que afecta a todas las etapas del sistema educativo ha empezado a calar hondo en la institución universitaria europea a raíz del denominado proceso de Bolonia. La universidad ha tenido que afrontar dos grandes retos. Primero, la dificultad de identificar y definir los resultados de aprendizaje más relevantes en un mundo en constante transformación. Segundo, cómo promover una participación más profunda y responsable del estudiante en la construcción de su proceso de aprendizaje a lo largo de la vida y en la aplicación del conocimiento en los diferentes entornos del mundo real (Taylor, 2011).
Lograr el justo término entre tutelar el aprendizaje, centrarlo en hechos que acontecen dentro y fuera del aula, despertar el interés de los estudiantes y respetar y potenciar la singularidad de cada uno de ellos es posiblemente el eje alrededor del cual se ha concebido el nuevo perfil de estudiante y el nuevo concepto de evaluación formativa (Knight, Hakel & Gromko, 2008; Peacock, Gordon, Murray, Morss & Dunlop, 2010). La participación del estudiante en el proceso de evaluación, el uso de múltiples medidas capaces de reflejar y estimular las también múltiples capacidades cognitivas y el impulso de una evaluación auténtica integrada en el propio proceso de aprendizaje son algunas de las líneas de fuerza que concretan el nuevo paradigma de evaluación que está arraigando en la educación superior (Baeten, Dochy & Struyven, 2008).
Como señalaron entre otros Withaus (2002), Orzoff, Peinovich & Riedel (2008), o Graham & Sims-Gunzenhauser (2009), la evaluación no solo tiene que intentar reflejar la capacidad del estudiante para producir artefactos propios de un ámbito disciplinar determinado, sino que debe plantearse como un auténtico reto para que aquel pueda tomar conciencia del aprendizaje construido. Valorar hasta qué punto un proceso evaluador que exige negociación, realimentación y consideración del contexto concreto en el que se produce no reclama asimismo una participación destacada del estudiante es algo delicado. Y no únicamente en el sentido de que ello significa transformar el rol del docente, del discente y de la institución educativa en su conjunto, sino también en el sentido de que esto sucede en la última etapa del proceso formativo: precisamente en el momento en el que se construye al profesional a punto de ejercer.
Ante tales retos, es urgente un enfoque curricular integral en el que el aprendizaje autónomo y la capacidad de los estudiantes para resolver problemas se sitúen al centro de la acción educativa. El Aprendizaje Basado en Problemas (ABP en adelante) constituye un ejemplo de este nuevo enfoque; de hecho, surgió en la década de los años setenta del siglo XX para afrontar los nuevos desafíos que planteaba la medicina (Font Ribas, 2004; Bermejo y Pedraza, 2008). Su rápida extensión por los Estados Unidos y poco después por Europa logró dejar atrás las reticencias iniciales (Branda, 2009) y postularse como una de las innovaciones más radicales en el entorno académico de las ciencias de la salud (Boud & Feletti, 1998). El principio del ABP sitúa al estudiante en el centro del proceso de aprendizaje, desplaza la figura del profesor hasta convertirle en un tutor facilitador y plantea una situación problemática que el primero debe resolver con el apoyo del segundo (van Berkel & Schmidt, 2000; Dolmans & Ginns, 2005; Woltering, Herrler, Spitzer & Spreckelsen, 2009).
En 1986, Barrows elaboró una taxonomía del ABP ante el crecimiento exponencial de iniciativas que coincidían en algún u otro aspecto con las bases de esta modalidad didáctica. Habían transcurrido apenas diez años desde que el mismo Barrows demostrase el éxito de su experiencia de 1971. Este dato es suficientemente revelador de la proliferación del ABP en múltiples contextos educativos: entre 1974 y 2009 el incremento de las publicaciones incluidas en una de las bases de datos de educación más prestigiosas (ERIC: Education Resources Information Center) fue de más del 1.000% (Oculto). A pesar de ello, la investigación dedicada exclusivamente a cuestiones de evaluación del ABP ha sido y es todavía escasa. MacDonald (2005) apuntó que la falta de estudios relativos a procedimientos de evaluación asociados al ABP ha provocado la utilización de sistemas de evaluación tradicionales que no reflejan los resultados de aprendizaje propios de esta nueva metodología didáctica y, por tanto, no rinden cuentas de sus beneficios educativos.
Si las primeras iniciativas de ABP descartaron el empleo de exámenes finales porque estos no servían para estimar las habilidades propias de las prácticas clínicas (Dochy, Segers y Dierick, 2002), la observación del tutor utilizada por aquel entonces como herramienta única de estimación no podía considerarse suficiente (Pallie & Carr, 1987). Diversas investigaciones han venido planteando la necesidad de diseñar una evaluación específica del ABP y congruente con el modelo de enseñanza-aprendizaje que este impulsa. Son destacables en este campo las reflexiones de Boud & Feletti (1998), Schwartz, Mennin & Webb (2001), Duch, Groh & Allen (2001) y Savin-Baden y Howell Major (2004). Sin embargo, fueron MacDonald & Savin-Baden (2004) quienes establecieron los requisitos y las características generales de una evaluación acorde con el ABP. En su opinión, había que proponer una evaluación basada en el contexto real de la profesión y adecuada a los conocimientos previos de los estudiantes; que contribuyera a fomentar la reflexión y la autoevaluación; que familiarizara al estudiante con los asuntos principales del ejercicio de dicha profesión; y que armonizara los objetivos, los métodos y los resultados de aprendizaje (ver también Bermejo y Pedraza, 2008).
El problema de semejante consideración es su grado de generalidad. ¿Acaso no es atribuible a cualquier metodología didáctica que tenga como centro la figura del estudiante? ¿Cómo aplicarla al ABP, y más específicamente, cómo concretarla en sus múltiples modalidades y entornos académicos? Cuando en 1971 la McMaster University puso en marcha las primeras experiencias en ABP, los objetivos fueron principalmente dos: el desarrollo de la resolución de problemas y el impulso del aprendizaje autónomo; objetivos que se consideraron fundamentales en la formación de un profesional de la Medicina. Con la extensión del ABP a otras titulaciones, los objetivos se fueron adaptando a las particularidades de las diferentes disciplinas, pero siempre se mantuvo la idea de que el buen profesional debe ser capaz de resolver problemas propios de su ámbito y de reflexionar respecto del proceso, el resultado y los recursos utilizados para conseguirlo. En este sentido, Barrows & Tamblyn (1980) remarcaron la conexión entre la promoción del pensamiento crítico y la construcción del aprendiz autónomo.
En realidad ni siquiera está completamente demostrado que el ABP aporte mejores resultados, y mucho menos que lo haga en el terreno de los conocimientos de tipo declarativo. Para Albanese & Mitchel (1993) y Vernon & Blacke (1993), lo único que puede demostrarse es que los estudiantes que han trabajado de forma regular con el ABP mejoran su competencia de resolución de problemas clínicos respecto de aquellos otros que siguen un método tradicional de aprendizaje. Parece clara la necesidad de reflexionar acerca del diseño y los resultados de sistemas de evaluación específicos del ABP, con el fin de valorar su contribución particular al nuevo paradigma educativo (Jofré y Contreras, 2013).
Este estudio se incluye en dicha línea de trabajo. Parte de la consideración general de que el sistema de evaluación debe ajustarse a los principios de aprendizaje autónomo y de la resolución de problemas que han sido destacados como las señas de identidad del ABP. Se concreta en el entorno disciplinario de los estudios universitarios de las artes, desde la constatación de que se trata de uno de los ámbitos menos representados en la literatura especializada. Finalmente, examina los resultados académicos obtenidos por grupos de estudiantes con el sistema de aprendizaje y evaluación propuesto. Las preguntas de investigación que guiaron este trabajo fueron las siguientes: a) ¿cuál fue la incidencia del ABP en el aprendizaje de los estudiantes?; b) ¿cuál fue el papel del sistema de evaluación en dicha incidencia?, y c) ¿existe alguna evidencia de que el modelo propuesto pueda ser transferido más allá de su contexto de aplicación?
1.2. UNA PROPUESTA DE ABP PARA LOS ESTUDIOS DE BELLAS ARTES
El modelo de ABP objeto de este estudio fue implantado por dos profesores del (Oculto) de la Universidad de (Oculto) como una experiencia piloto en la titulación de Bellas Artes en un momento en el que las titulaciones estaban siendo adaptadas a una educación basada en competencias. El diseño del modelo fue el resultado de un trabajo previo relacionado con la distribución que las competencias transversales tendrían en el nuevo plan de estudios. A partir de aquí se seleccionaron aquellas que mejor encajaban en las asignaturas involucradas en la experiencia tras considerar la materia que les resultaba propia y el lugar que ocuparían en el currículo de la titulación. Acto seguido se estudió el despliegue de dichas competencias en los objetivos y las actividades de aprendizaje en función del perfil de los estudiantes. Aunque en aquella fase de transición se trataba de estudiantes de asignaturas obligatorias de los dos primeros cursos de Bellas Artes, era necesario poner el acento en aquellos aspectos fundamentales de unos aprendizajes que deberían ser consolidados en el transcurso de toda la titulación. El quid del asunto era conseguir un equilibrio entre unos aprendizajes que fuesen relevantes desde el punto de vista profesional, que supusieran un reto cognitivo para los estudiantes y que pudieran ser alcanzados al final del semestre, y que fueran significativos para estudiantes de reciente ingreso o con poca experiencia en la educación superior.
Bajo estos presupuestos, (Oculto) decidió abordar las competencias transversales de búsqueda, selección e integración de información relevante; comprensión y expresión oral; trabajo en grupo; y formulación, diseño y gestión de proyectos. Los objetivos y las actividades de aprendizaje se establecieron en consideración de que la construcción del conocimiento entraña también una dimensión colectiva. Por ello, profesores y estudiantes participaron, con diferentes grados de responsabilidad, en la guía, la realimentación y la valoración de las actividades de documentación, elaboración de los proyectos y defensa pública de los mismos, a fin de impulsar la metacognición respecto de los procesos y el progreso del aprendizaje.
El planteamiento del curso tuvo su origen en cuatro situaciones problemáticas que reflejaban los cuatro ejes temáticos de las asignaturas participantes. Los estudiantes debían elegir uno de estos cuatro problemas e integrarse en el grupo que lo asumía como propio de principio a final de semestre con el objetivo de elaborar un proyecto artístico que diera respuesta a la situación planteada. Debido al volumen de estudiantes matriculados en cada grupo-aula, hubo que optar por una modalidad de ABP en grupos de trabajo grandes de entre 13 y 15 estudiantes. La actividad en el aula ocupó 56 horas distribuidas en 28 horas de sesiones expositivas (50%), 24 de tutorías de ABP (42,85%) y 4 de exposiciones orales (7,14%). En virtud de que en las sesiones de tutoría actuaron dos tutores facilitadores, cada grupo de trabajo mantuvo 12 horas de tutoría en el semestre. Las sesiones expositivas de dos horas de duración y de periodicidad semanal fueron conducidas por un profesor experto. Con ellas se pretendió que el estudiante adquiriera una visión general de los problemas y los ejes rectores de la materia de la asignatura, en sintonía con las situaciones problemáticas que los estudiantes trataron en las tutorías de ABP. En dichas tutorías, también de periodicidad semanal, se siguió el proceso de trabajo típico del ABP. En las dos primeras sesiones se entró en contacto con la situación problemática, se aclararon los conceptos allí contenidos, se detectaron y definieron los principales aspectos del problema, se interpretó el caso desde el conocimiento previo y se establecieron los objetivos de aprendizaje. En las siguientes, se aplicó de un modo recurrente el esquema que sigue: recordatorio del problema identificado y del plan de trabajo trazado al respecto, examen de la información recopilada por el grupo de forma autónoma, discusión de la organización de las nuevas ideas propuesta por el grupo y verificación de la resolución del problema. De este modo, el grupo fue construyendo y discutiendo el marco teórico y el proceso de ejecución del proyecto plástico a fin de preparar la exposición pública del mismo.
La asistencia a dichas sesiones de tutoría semanales fue obligatoria para todos los miembros del grupo de trabajo. Sin embargo, esa fue la única condición exigida por la asignatura en lo que al funcionamiento del grupo respecta. Las normas que regularon el trabajo mancomunado de los integrantes del equipo fueron responsabilidad de todos y cada uno de sus miembros y hubieron de ser consensuadas y debidamente registradas en un acta levantada en las sesiones de tutoría iniciales. También se levantó acta para cada sesión de tutoría en la que el grupo dejó constancia de los asuntos tratados, los acuerdos alcanzados y el plan de trabajo previsto para la sesión de tutoría siguiente.
La culminación del trabajo realizado por el grupo de estudiantes se concretó en la presentación oral de un proyecto de investigación plástica resultante del análisis y el estudio de la situación problemática elegida por el grupo de trabajo. Por medio de la exposición oral, los grupos de estudiantes defendieron su proyecto en el aula, frente al resto de compañeros y los profesores, mostrando sus fundamentos teóricos y los pasos seguidos para su consecución. Las sesiones de exposición oral tuvieron lugar al final de la asignatura y fueron obligatorias para el conjunto del grupo-aula ya que en ellas no solo los ponentes afrontaban una actividad de aprendizaje; también el resto de compañeros desempeñaron un papel activo en su condición de evaluadores.
Para la evaluación de los resultados, el ABP se acompañó de una carpeta de aprendizaje estructurada en lo que se refiere a sus apartados, tipos de artefactos y períodos de entrega. En la carpeta, el desarrollo del proyecto artístico se pautó en diferentes fases, cada una de ellas adquirió el formato de taller en el que todos los estudiantes intervinieron en la mejora de todas las actividades realizadas por los compañeros. Así, se propuso a cada uno de los grupos de trabajo la realización de un taller de documentación bibliográfica, un taller de documentación gráfica y un último de exposición oral. Los dos talleres de documentación pretendían que el estudiante tomase conciencia de su conocimiento respecto de los interrogantes y debates abiertos por la situación problemática. A partir de aquí, que se iniciase en las principales fuentes y tipos de documentos, estrategias e instrumentos de búsqueda, y resolviese los problemas inherentes a la selección de la información que debía ayudarle en el desarrollo y fundamentación de su proyecto de creación plástica. El resultado de estos talleres fueron sendos listados razonados de bibliografía e imágenes y dos informes metacognitivos en los que el grupo de trabajo señalaba el proceso de depuración de los criterios de selección, los problemas y las soluciones halladas en el mismo y una valoración crítica de lo aprendido. Los listados y los informes fueron valorados y comentados por otro grupo de trabajo siguiendo las mismas pautas con las que los evaluaba el profesor.
El taller de exposición oral tenía como finalidad que los estudiantes trasladaran el resultado de su proyecto artístico y una reflexión de los avatares que rodearon su concepción y ejecución. Simultáneamente se trataba de que el conjunto de los estudiantes asumiera la responsabilidad de valorar el trabajo de sus compañeros en una línea similar a lo que habían hecho en los dos talleres anteriores con la documentación escrita. Por último, la carpeta de aprendizaje se cerraba con la elaboración de un cuestionario de respuestas de opción múltiple. En esta actividad, el estudiante debía preparar semanalmente una pregunta con tres respuestas posibles -de las cuales solo una podía ser verdadera- de acuerdo con alguno de los temas tratados en la asignatura. De esta manera se intentó que cada estudiante mantuviese un contacto regular con la materia impartida, llevase a cabo una tarea de síntesis de los aspectos principales de la asignatura y considerase una información directamente relacionada con los problemas desarrollados mediante los respectivos proyectos de ABP. Además, estas preguntas se incluían en una base de datos electrónica que sería puesta a disposición de los estudiantes de cursos sucesivos como recurso de autoevaluación.
En los dos talleres de documentación se valoró la adecuación de la información recopilada a la naturaleza de la situación problemática, su grado de actualidad y diversidad, la utilización de fuentes fiables y la justificación de cada uno de los documentos seleccionados. En el taller de exposición oral se juzgó la adecuación de la ponencia a los temas de investigación derivados de la situación problemática seleccionada por los estudiantes, la claridad expositiva, la coherencia de los materiales utilizados, la elocución y la actitud de los ponentes frente al auditorio. En cuanto al proyecto propiamente dicho, se consideró la solución propuesta por el grupo para hacer frente al problema planteado y su argumentación, la descripción del proceso seguido por sus miembros en el desarrollo del proyecto y la discusión de los puntos sólidos y débiles de dicho proceso y de los resultados obtenidos. Por último, en la actividad del cuestionario se estimó la profundización del estudiante en la materia de la asignatura, la claridad y la precisión de las preguntas y las respuestas, y la reflexión que la selección de la respuesta adecuada exigía del lector.
Con la excepción del cuestionario, que era individual y se hallaba al margen del formato de taller, el resto de actividades de aprendizaje ofrecía a los estudiantes un doble punto de vista: el del evaluado y el del evaluador. Cada uno de los estudiantes formaba parte de su grupo de trabajo en la medida en que hacía una propuesta para cada uno de los talleres y colaboraba con sus compañeros en la que había sido definitivamente seleccionada dentro del grupo; del grupo-aula en tanto que intervenía en la consideración y mejora de los talleres de los otros grupos de trabajo; y de la titulación porque colaboraba en la generación de recursos para las nuevas generaciones de estudiantes. El asunto quedaba reforzado con la organización de las actividades. Para que un grupo de trabajo pudiese defender públicamente su proyecto al terminar el semestre tenía que haber valorado los talleres de documentación de otro grupo de compañeros, y ello solo era posible si antes había sometido sus propios talleres a consideración de los demás y sus evaluadores habían informado positivamente su trabajo.
El profesor desempeñó un doble cometido. Por un lado participaba en el seguimiento del trabajo de los grupos en las sesiones semanales de tutoría de ABP, de manera queen su rol de tutor-facilitador conocía la evolución de los diferentes proyectos y el funcionamiento de los grupos de trabajo. Por el otro, supervisaba en un segundo plano el proceso de valoración recíproca desempeñado por los estudiantes en los distintos talleres. La impresión transmitida era que el profesor no comenzaba a evaluar los resultados de cada grupo mientras este no recibiera el visto bueno del otro grupo de estudiantes encargado de su seguimiento. Lo destacable de este modelo se hallaba en el sentido y el valor del aprendizaje y la evaluación entre iguales, y la disolución de los roles tradicionales de discentes y docentes mediante la dislocación de una de las funciones tenidas por exclusivas del profesor: la evaluación.
Por último, el esquema de puntuación de la carpeta trató de resolver el conflicto entre la conveniencia de favorecer las actividades de proceso -en este caso los talleres de documentación y el cuestionario- frente a las de producto -el proyecto artístico y la exposición oral-, y el hecho de que la experiencia educativa de los estudiantes los mueve a priorizar el producto acabado de su trabajo. El proyecto artístico y el taller de exposición oral acumularon cada uno 35% de la calificación final y superaron así a los dos talleres de documentación y a la actividad del cuestionario, que acumularon el 30% restante. Sin embargo, ningún grupo podía defender públicamente su proyecto si antes no había presentado sus talleres de documentación, evaluado los de otros compañeros y recibido de estos la aprobación correspondiente. Con ello se intentó que, manteniendo la apariencia de que el proyecto y la exposición eran más importantes -porque eran los resultados del semestre-, los estudiantes asumieran que ningún producto podía elaborarse sin un buen proceso de ejecución.
2. METODOLOGÍA
2.1. MUESTRA
La muestra estuvo constituida por 247 estudiantes de primer ciclo de la titulación de Bellas Artes de la Universidad de (Oculto) que estaban cursando las asignaturas obligatorias de Teoría del Arte o de Historia del Arte I. Dichos estudiantes eran mayoritariamente mujeres (69,79%) con un promedio de edad de 25 años (y moda de 21) que en 57,87% de los casos se dedicaba exclusivamente a los estudios. No hubo ningún criterio de selección muestral; se contempló la totalidad de los estudiantes oficialmente matriculados en una asignatura de primer año y en una asignatura de segundo año que presentaban dos particularidades comunes. La primera es que se trataba de asignaturas con un marcado carácter teórico a ojos del estudiantado y que pertenecían a un área de conocimiento minoritaria en la titulación. La segunda es que, por la misma razón, un número significativo de estudiantes las consideraban alejadas de sus expectativas de realizarse profesionalmente como artistas. Es importante señalar que la experiencia piloto supuso la introducción del ABP y de la carpeta de aprendizaje en la facultad. De este modo, a la percepción de novedad que experimentan todos los estudiantes en su ingreso en la educación superior, se añadió la provocada por un entorno didáctico del que nunca antes habían tenido noticia.
2.2. DISEÑO METODOLÓGICO
Se realizó un estudio empírico transversal de las calificaciones obtenidas por estudiantes que participaron en un entorno didáctico cuyos ejes rectores fueron el ABP y una carpeta de aprendizaje. Partiendo de la base de que los resultados académicos son una representación de los aprendizajes construidos, la investigación se orientó en un doble sentido. Por un lado, a describir el detalle de las calificaciones finales mediante su distribución porcentual, los estadísticos básicos, un análisis de frecuencias relativas y acumuladas y un estudio acerca del grado de dispersión en torno a la media. Por el otro, a estimar la consistencia interna de las puntuaciones obtenidas en cada una de las actividades que integraron la carpeta de aprendizaje. Para esto último se calculó el Alpha de Cronbach de los grupos-aula por separado y del conjunto de las dos asignaturas. De este modo se pretendió examinar si los objetivos de aprendizaje planteados en las asignaturas se habían alcanzado y si la experiencia didáctica era transferible a otros contextos educativos similares.
Los datos fueron cedidos por los dos profesores responsables de la evaluación de dichas asignaturas y se organizaron en tres matrices diferentes: una para cada grupo-aula participante y una última conjunta. En dichas matrices se eliminó cualquier referencia que permitiera identificar a los estudiantes y se siguió un doble procedimiento de cálculo en todas las estimaciones estadísticas presentadas con el fin de verificar la calidad de los resultados obtenidos. Para ello se utilizaron dos paquetes estadísticos: SPSS en su versión 19.0 y Minitab en su versión 15. En total se trabajó con 1.235 puntuaciones correspondientes a las cinco actividades realizadas por los 247 estudiantes matriculados. La escala de medición empleada fue del 0 al 10 sin valores negativos, de acuerdo con el sistema universitario español.
3. RESULTADOS
En primer lugar, la Tabla 1 muestra la distribución porcentual de las calificaciones finales obtenidas por los estudiantes tras realizar el conjunto de actividades que componían la carpeta de aprendizaje.
Tabla 1. Distribución porcentual de las calificaciones finales
La curva que representan estas calificaciones muestra una distribución normal; algo que podría sorprender, ya que el ABP y la carpeta de aprendizaje constituyeron una novedad, tanto por afectar a los estudiantes de los primeros semestres de la titulación -y, por consiguiente, con poca experiencia todavía en la educación superior- como porque la propuesta didáctica no formaba parte de la tradición académica de la facultad. De esta distribución se puede inferir que el modelo aplicado salvó las dificultades y el desconcierto que suelen acompañar la introducción de un nuevo entorno de enseñanza y aprendizaje. La posibilidad de que sus beneficios educativos hubiesen sido escasos queda descartada tras considerar que los objetivos perseguidos entrañaban procesos de aprendizaje de alto nivel cognitivo. Que casi 84% de estudiantes noveles haya adquirido al final del semestre un aprendizaje satisfactorio respecto de aprendizajes fundamentales vinculados con las competencias seleccionadas en las asignaturas es un dato positivo que, además, queda remarcado tras comprobar que más de 39% de los estudiantes obtuvieron buenas calificaciones. El detalle de los intervalos de clase con sus respectivas frecuencias relativas y acumuladas ofrece una visión más ajustada de lo acontecido.
La Tabla 2 confirma que las calificaciones con mayor frecuencia fueron, por este orden, el 5, el 6, el 8, el 7, el 9 y el 4; es decir, las que se hallan en la parte media de la distribución normal con un pequeño sesgo hacia la izquierda, por lo que tienden ligeramente hacia los valores altos. Los análisis presentados en la Tabla 3 reafirman lo dicho.
Tabla 2. Frecuencias de las calificaciones
Tabla 3. Estudios estadísticos de las calificaciones finales
Tanto los estadísticos básicos como el estudio de la varianza refuerzan la tendencia hacia la zona intermedia de la distribución normal. La desviación tipo ligeramente por encima del 2 y una varianza de 4,31 muestran que los resultados académicos fueron moderados, pero de un modo bastante heterogéneo entre los estudiantes. Esto mismo se concluye al observar que la media alcanza un valor moderado-alto (6,45) mientras que la moda (5,54) sitúa los aprendizajes en la zona central de la escala. Estos valores son congruentes con la distribución de los porcentajes de las calificaciones de la Tabla 1 y con las distribuciones de las calificaciones mayores e iguales o menores de 7 de la Tabla 3. Todo parece indicar que la novedad del entorno didáctico y los objetivos de aprendizaje establecidos supusieron un desafío que fue mayoritariamente resuelto por los estudiantes, si bien de forma desigual. Este hecho es un indicador de la complejidad de los objetivos de aprendizaje y, al mismo tiempo, de que su dificultad fue adaptada de manera adecuada al perfil del estudiante.
De la Tabla 3 se desprende también una prospectiva de qué sucedería si se aplicara el mismo modelo en el futuro sobre los mismos estudiantes o estudiantes del mismo perfil y en un contexto educativo similar. A partir del análisis de la varianza, el error de la media y el error muestral es posible sostener que con el 95% de fiabilidad, futuras aplicaciones del modelo didáctico seguirían situando el promedio de las calificaciones entre el 6,19 y el 6,71. Si estos datos se cruzan con el hecho de que las evaluaciones obtenidas se disponen en una línea de regresión, puede sugerirse que las notas de estos estudiantes mostrarían una tendencia ascendente si el modelo fuese mantenido en el tiempo.
Para reforzar esta hipótesis se estimó la consistencia interna de las puntuaciones de cada una de las actividades que conformaron la carpeta de aprendizaje -y a partir de las cuales se obtuvo la calificación final- y se compararon los coeficientes de las dos asignaturas involucradas en el estudio.
La Tabla 4 muestra que, aunque hay una cierta diferencia entre el Alpha de Cronbach de Teoría del Arte y de Historia del Arte I, todos los coeficientes calculados se hallan dentro de los márgenes considerados elevados por los especialistas. Se puede afirmar que la carpeta de aprendizaje presentó un grado de homogeneidad notable y que la consistencia interna del modelo didáctico fue lo suficientemente sólida. El hecho de que el coeficiente más alto fuese el de Historia del Arte I puede explicarse del siguiente modo. En primer lugar, porque aun siendo una asignatura de primer ciclo, no se programó durante el primer año de la titulación. En segundo, porque parte de los estudiantes de Historia del Arte I había cursado previamente Teoría del Arte, y si bien no estaban familiarizados con la metodología del ABP, sí lo estaban con un determinado modelo de carpeta de aprendizaje. Los resultados académicos por asignatura que recoge la Tabla 5 arrojan un poco más de luz acerca de la cuestión.
Tabla 4. Consistencia interna de las actividades
Tabla 5. Distribución porcentual de las calificaciones finales por asignatura
La Tabla 5 presenta un incremento en el volumen de aprobados y notables y un descenso considerable en el volumen de suspensos entre las dos asignaturas. Mientras el 90,1% de estudiantes superó la asignatura en el caso de Historia del Arte I, el 79% lo hizo en el caso de Teoría del Arte. El valor más favorable de esta última asignatura se halla en el porcentaje de sobresalientes que prácticamente duplica el de Historia del Arte I. Este mayor grado de disparidad que presentan sus calificaciones -mayor volumen de suspensos y mayor volumen de sobresalientes- podría apuntar hacia un impacto también mayor del modelo de aprendizaje planteado sobre el estudiante. Recuérdese que la asignatura de Teoría del Arte era impartida en los dos primeros semestres de la titulación, mientras que Historia del Arte I lo era en el tercer y cuarto semestre. Se podría argumentar que, en el caso de los estudiantes de reciente ingreso, confluyó una triple inexperiencia: respecto de lo que supone la educación superior, sobre el modelo de ABP y sobre la realización de una carpeta de aprendizaje. En cambio, los estudiantes de Historia del Arte I solo tuvieron que afrontar la novedad que les supuso el ABP. Esta circunstancia tuvo que ser determinante y, en consecuencia, halló reflejo en la distribución de las calificaciones.
4. DISCUSIÓN
La primera pregunta que condujo este estudio pretendió dilucidar la incidencia de la propuesta de ABP sobre el aprendizaje de los estudiantes. Las calificaciones finales (84% de los estudiantes superó la asignatura y 39% con notas destacadas) mostraron que el entorno didáctico tuvo una influencia positiva en el aprendizaje. Naturalmente, este dato merece consideración siempre que se hayan cumplido dos condiciones: que los resultados de aprendizaje fueran de alto nivel cognitivo y que la aplicación del sistema de evaluación haya sido correcta. La primera condición queda demostrada por el tipo de aprendizajes que determinaron las actividades realizadas por los estudiantes. La asociación entre el modelo de ABP y la carpeta de aprendizaje incluyó por fuerza un conocimiento declarativo y procedimental, pero se centró en la movilización integrada de los recursos que iban siendo incorporados por los estudiantes. Estos no solo tuvieron que conocer aspectos propios de la gestión de la información, entender los aspectos principales y los puntos críticos de una exposición oral, los apartados de un proyecto del campo de las artes, o demostrar un conocimiento suficiente de la materia de las asignaturas. El énfasis se puso en que los estudiantes debían utilizar todos estos recursos y hacerlo de un modo reflexivo, con el fin de identificar y comprender la sucesión de problemas que iban encontrando en la elaboración de los proyectos para luego planificar las soluciones más adecuadas. Así, la propuesta se orientó hacia la resolución de problemas y el aprendizaje autónomo; aspectos destacados ya en los textos fundacionales como la seña de identidad del ABP (Barrows, 1971), y sobre los que el ABP ha demostrado sus beneficios educativos (Albanese & Mitchel, 1993; Vernon & Blacke, 1993).
Esta faceta reflexiva fue específicamente promovida de tres modos: en cada actividad, mediante la descripción de los procesos, los problemas y soluciones planteadas, y en la justificación de las acciones realizadas; en la discusión de cómo el proyecto propuso una solución a la situación problemática de partida; y en la responsabilidad de proceder a una evaluación entre iguales del trabajo de los compañeros. La literatura ha suscitado dudas acerca la relación existente entre el ABP y el pensamiento crítico, como se observa en los estudios de Kamin, O'Sullivan, Younger & Deterding (2001), Day & Williams (2002), Wessel & Williams (2004), Sanderson (2008), Dehkordi & Hedarnejard (2008), Schell & Kaufman (2009) y Antequera Gallego (2011). No obstante, en la medida en que la dimensión metacognitiva apunta directamente a un enfoque profundo del aprendizaje (Birenbaum, 1996), la reflexión se presenta como el primer fundamento del aprendizaje autónomo y del pensamiento crítico. Si la reflexión fue el núcleo del modelo propuesto y el hilo conductor del trabajo de los estudiantes, es posible concluir la adecuación de los objetivos de aprendizaje al nivel exigido en los estudios universitarios. Los valores arrojados por la media aritmética (6,45) y la moda (5,54) de las calificaciones finales, así como de la heterogeneidad de las mismas demostrada por la desviación tipo (2,08) y la varianza (4,31), ilustran que la consecución de los resultados de aprendizaje no fue fácil para los estudiantes, como su complejidad hacía previsible.
La otra condición supone considerar la incidencia del sistema de evaluación en el logro de los aprendizajes establecidos, lo que constituye el objeto de la segunda pregunta de investigación. La implantación de una educación basada en competencias ha sido un factor determinante en la reconsideración del papel de la evaluación. El desafío que supone la noción de competencia en su faceta educativa ha provocado un reforzamiento de las funciones de seguimiento, realimentación e impulso de nuevos aprendizajes de la evaluación, hasta el punto de convertirla en el eje de los procesos de enseñanza y aprendizaje, en la línea expuesta por Biggs (1996) y Wiggins (1998). Manríquez Pantoja (2012) destacó la importancia de que la evaluación atienda a la realización de productos debidamente contextualizados y de que el proceso de evaluación se fundamente en criterios e indicadores identificables y comprensibles por los estudiantes. Al fin y al cabo, el evaluador -que en el ejemplo analizado es el profesor y el estudiante- no solo mide y describe sino que también organiza e interpreta (Stake, 2006). Es en estas circunstancias en las que el paradigma de la evaluación del desempeño y la evaluación auténtica adquiere todo su sentido. MacDonald & Savin-Baden (2004) remarcaron que una evaluación congruente con el ABP debía ajustarse tanto al contexto real de la profesión como al contexto educativo en el que la evaluación tiene lugar. Las críticas respecto de la inadecuación de los exámenes finales a la metodología didáctica del ABP (por ejemplo, Dochy, Segers & Dierick, 2002) obligan a explorar otros sistemas de evaluación más coherentes con este entorno de aprendizaje y con los resultados de aprendizaje que se derivan. La carpeta de aprendizaje es una alternativa que merece especial atención. Primero, porque se ha vinculado estrechamente con la educación basada en competencias (Admiraal et al., 2011) y la evaluación del desempeño cuando la observación directa no es posible (Meeus, Van Petegem & Van Looy 2006). Segundo, porque su mayor utilidad se produce en el terreno metacognitivo (Baume, Yorke & Coffey, 2004; Bahous, 2008; Admiraal et al., 2011); justamente en el impulso de esa reflexión crucial para el desarrollo del aprendizaje autónomo y la resolución de problemas destacada en el ABP. La carpeta de aprendizaje recoge no solo evidencias seleccionadas por el propio estudiante acerca de su trabajo, sino también una justificación de las mismas y una valoración concerniente a las decisiones tomadas en el proceso de realización. Estas son las razones por las que, a juicio de los autores de este estudio, la carpeta se presenta como un instrumento de evaluación afín en términos conceptuales con el ABP.
Si hay argumentos para defender la idoneidad de la carpeta de aprendizaje en estrecha relación con el ABP, queda por justificar que esta idoneidad se concretó en la propuesta objeto de este estudio. En lo concerniente a la resolución de problemas, las situaciones problemáticas propuestas abordaron los ejes de las asignaturas y exigieron la realización de un proyecto artístico en el que las fases de ideación, documentación y análisis de los procesos y productos se abordaron de un modo pautado pensando en estudiantes que acababan de entrar en la universidad. El desarrollo de un proyecto supuso que ninguna de las situaciones problemáticas tuviera una solución única y clara y que cada una de las fases de elaboración estuviese presidida por el conflicto cognitivo desencadenado por la sucesiva identificación de problemas, la toma de conciencia de que el conocimiento disponible no era suficiente para la resolución de los mismos y la construcción de un conocimiento de mayor calidad dentro del grupo de trabajo. La diferenciación progresiva y la reconciliación integrativa citadas por Manríquez Pantoja (2012) tuvieron que presentarse como un común denominador en los proyectos que, además, fue aumentada por la novedad del entorno didáctico. El estudiante tuvo que afrontar el doble reto de actuar emulando un profesional del arte y de resolver el desconcierto que le provocaron las nuevas exigencias de un marco de trabajo que no se adecuaba a su experiencia educativa.
El aprendizaje autónomo fue promovido por medio de tres estrategias. En primer lugar, por la retirada parcial del profesor a un segundo plano. Si bien este tuvo a su cargo las funciones del experto en las sesiones expositivas, estas se destinaron a discutir los aspectos fundamentales y puntos críticos de la materia de la asignatura, y nunca pudieron resolver los problemas particulares que iban surgiendo en cada uno de los proyectos. Por esta misma razón, los diferentes grupos de trabajo tuvieron que realizar el esfuerzo de valorar qué parte de la información les resultaba útil para sus proyectos y cómo había que adaptarla. Este trabajo de debate colectivo acerca de la materia de la asignatura pudo trasladarse después a la actividad del cuestionario. La segunda estrategia fue el desempeño del rol del tutor-facilitador en las sesiones de tutoría de ABP; un papel en el que los profesores se esforzaron por eliminar un enfoque directivo. Por lo general, actuaron como impulsores de la discusión grupal del trabajo realizado y de la planificación de las fases siguientes, insinuaron asuntos clave cuando estos no emergían del grupo de estudiantes, supervisaron con cautela y discreción las dinámicas internas de los grupos y ponderaron los buenos resultados cada vez que se alcanzaron. La tercera estrategia fue la importancia que cobró la evaluación entre iguales. Primero, mediante los talleres de documentación y exposición oral, funcionó como la correa de transmisión entre la discusión dentro de los grupos de trabajo y la que se realizó en el aula. Segundo, porque profundizó en la transformación del rol del discente invitándolo a responsabilizarse de actividades atribuidas tradicionalmente al profesor. Tercero, porque la valoración del trabajo ajeno contribuyó a una mejor comprensión de los criterios y los procedimientos de evaluación que, al serles aplicables igualmente a ellos, debía asegurar mejores resultados de aprendizaje y una ratio esfuerzo-logro más favorable. Para ello, los estudiantes tuvieron acceso a toda la información relativa al sistema de evaluación desde el principio del curso, utilizaron esta información durante todo el semestre para la planificación de su trabajo y, en idénticas condiciones que el profesor, valoraron a sus compañeros con el mismo sistema de evaluación con el que ellos mismos fueron evaluados.
La utilización de un instrumento de evaluación coherente con los objetivos y el entorno de aprendizaje debe venir acompañada de un uso adecuado del mismo. Por ello, el estudio incorporó un análisis de la consistencia interna de las puntuaciones obtenidas por los estudiantes. Aunque no es posible hablar de un examen de la fiabilidad en toda regla, porque falta una valoración de la fiabilidad entre evaluadores e intraevaluadores y del grado de acuerdo, los coeficientes Alpha de Cronbach en las dos asignaturas (0,83 y 0,91) y el coeficiente conjunto (0,87) demostraron una correcta aplicación del sistema de evaluación por los dos profesores. Por lo demás, a pesar de la heterogeneidad que mostraron la desviación tipo (2,08) y la varianza (4,31), es factible preguntarse si esta heterogeneidad reflejó en toda su amplitud los efectos del alto número de estudiantes matriculados, del hecho que eran de reciente ingreso o con escasa experiencia en la educación superior, del desconcierto que les provocó un escenario nuevo como fue el ABP -y para los estudiantes de primer curso también la carpeta de aprendizaje- y del hecho de que dos profesores realizaron independientemente la evaluación de las carpetas. Si se concluye que dicha heterogeneidad hubiera podido ser más elevada ante los factores antedichos, la explicación de los datos obtenidos hay que buscarla en la consecución de los resultados por parte de los estudiantes -por tanto, en el éxito del modelo de ABP- y en un procedimiento de evaluación acertado.
La última pregunta de investigación examinó las posibilidades de transferencia del modelo más allá de las asignaturas en las que fue implantado. En este terreno, se evitó el término "generalización" porque tiene un significado específico en la investigación educativa que no estuvo al alcance del estudio en virtud de sus limitaciones. Knight (2006) argumentó la imposibilidad de generalizar los resultados de los aprendizajes debido a que las evaluaciones son juicios situados en la medida en que se generan en contextos educativos particulares y no pueden ser entendidos sin un conocimiento suficiente de las circunstancias en las que se han producido. La complejidad característica de los resultados de aprendizaje de alto nivel cognitivo obliga a plantear evaluaciones multidimensionales, realizadas en diferentes momentos por diferentes evaluadores respecto de criterios consensuados y claramente definidos. Sin embargo, no basta con que esas características se cumplan en los sistemas de evaluación de una asignatura. La complejidad de los logros educativos impide su generalización pero exige también su extensión al contexto educativo inmediato, entendiendo por tal un área disciplinar o el marco de una titulación. De este estudio se desprenden algunos indicadores acerca de la posibilidad de extender la asociación entre el ABP y la carpeta de aprendizaje a escala de la titulación, haciendo viable una evaluación longitudinal de los aprendizajes. En primer lugar, la distribución normal de las calificaciones mostró que el modelo propuesto se adecuó al perfil del estudiante hasta el punto de superar incluso la novedad que supuso. En segundo, los elevados Alphas de Cronbach mostraron que fue posible aplicar de manera consistente el sistema de evaluación por dos profesores. En tercero, la línea de regresión en las que se organizaron las puntuaciones obtenidas sugiere que las calificaciones de estos estudiantes seguirían mejorando con el mantenimiento del sistema de evaluación en el tiempo. A pesar de que existen opiniones contrarias (Dochy, Segers, van den Bossche & Gijbels, 2003), todo ello refuerza la conveniencia de imprimir al modelo un cambio de escala siguiendo el ejemplo de la McMaster University (Barrows & Tamblyn, 1976) o de la Maastricht University (Moust, Bouhuijs & Schmidt, 2007).
El estudio no estuvo exento de limitaciones. Problemas de representatividad se desprenden del tamaño de la muestra. Aunque se trabajó con cinco grupos-aula correspondientes a la totalidad de los grupos que los dos profesores participantes en la investigación tenían asignados en la Facultad de Bellas Artes, es innegable que la experiencia no se extendió al conjunto de estudiantes de reciente ingreso y que ello disminuyó el alcance de las conclusiones extraídas. Además, fue imposible comparar los resultados de los estudiantes que trabajaron en el entorno de ABP y aquellos matriculados en los otros grupos de la asignatura. Aun cuando la materia de la asignatura fue la misma, la disparidad de los objetivos de aprendizaje impidió este tipo de estudio. Por el hecho de que era la primera vez que se introducía el ABP en el centro de estudios, tampoco pudo realizarse un estudio longitudinal. Examinar la evolución de las calificaciones de los mismos estudiantes en años sucesivos hubiese aportado más elementos de juicio para enriquecer el debate y mejorar la propuesta actual. El mayor problema para la ampliación del modelo a otras asignaturas no únicamente radica en su novedad y en la necesidad de que el profesorado se introduzca en los aspectos centrales del diseño de las situaciones problemáticas y de la función de la tutoría. El volumen excesivo de estudiantes matriculados en cada grupo-aula exigió un mayor esfuerzo a los profesores. Además, obligó a constituir grupos de trabajo demasiado grandes que, por fuerza, disminuyen los beneficios educativos del ABP. Estos factores contextuales no ayudaron a disminuir las reticencias manifestadas por otros colegas.
Las líneas de investigación futura son de tres tipos. En este estudio se reflexionó con relación a la coherencia conceptual del modelo propuesto con los principios del ABP y de la carpeta de aprendizaje y se valoraron sus beneficios educativos mediante un examen de las calificaciones de los estudiantes como representaciones de sus resultados de aprendizaje. Es importante, primero, fortalecer este estudio preliminar con un estudio específico pertinente a la validez. Segundo, el estudio acerca de la consistencia interna del sistema de evaluación tiene que completarse con un análisis de la fiabilidad inter- e intraevaluador y del grado de acuerdo alcanzado. Este estudio debería incluir también las puntuaciones que los estudiantes asignaron a sus compañeros. Por último, hay que valorar las percepciones de los estudiantes por medio de un estudio descriptivo de poblaciones mediante encuestas y cambiando el enfoque cuantitativo por el cualitativo, mediante un estudio etnográfico acerca de los informes metacognitivos que acompañaron cada actividad y los comentarios que los estudiantes se intercambiaron en la valoración de sus trabajos respectivos.
5. CONCLUSIONES
La investigación realizada pretende aportar elementos de juicio y discusión en un terreno, el del diseño de sistemas de evaluación acordes con el ABP, todavía poco desarrollado por la comunidad científica. Y pretende hacerlo, además, desde uno de los campos menos representados en la literatura especializada respecto del particular: el de los estudios universitarios de las artes. La mayor parte de las experiencias llevadas a cabo afectan al conjunto de una titulación por ser el resultado de una reflexión concerniente al perfil profesional del egresado y del consiguiente replanteamiento del currículo. Esta tarea está aun por hacerse en el terreno de las artes. Naturalmente, el modelo descrito es susceptible de mejoras y así fue considerado por los miembros de (Oculto) que, a partir de la experiencia empezaron a trabajar en dos líneas fundamentales. Por un lado, en la línea más estrictamente metacognitiva, se intentó que los estudiantes profundizaran en las cuestiones centrales de la disciplina enfatizando una reflexión continuada en la que se conjugaran las contribuciones individuales y colectivas. Por el otro, en la línea de favorecer la construcción de la identidad del profesional mediante de la elaboración de entornos de simulación en donde los estudiantes debiesen afrontar retos característicos del especialista. Ante la objeción de que tales exigencias pudiesen resultar quizás excesivas para estudiantes de reciente ingreso, debe recurrirse de nuevo a la investigación realizada e insistir en la necesidad de ofrecer al estudiante ocasiones y entornos propicios para que pueda construir su identidad como estudiante, primero, y como profesional, después.
REFERENCIAS BIBLIOGRÁFICAS
Admiraal, W., Hoeksma, M., van de Kamp, M.-T. & van Duin, G. (2011). Assessment of teacher competence using video portfolios: Reliability, construct validity, and consequential validity. Teaching and Teacher Education, vol. 27 (6), 1019-1028.
Albanese, M. A. & Mitchel, S. (1993). Problem-based learning: A review of literature on its outcomes and implementation issues. Academic Medicine, vol. 68 (1), 52-81.
Antequera Gallego, G. (2011). La promoción del pensamiento crítico en el Aprendizaje Basado en Problemas (ABP). Un análisis a partir de los instrumentos de medición. Observar, (5), 68-94.
Baeten, M., Dochy, F. & Struyven, K. (2008). Students' approaches to learning and assessment preferences in a portfolio-based learning environment. Instructional Science: An International Journal of the Learning Sciences, vol. 36 (5-6), 359-374.
Bahous, R. (2008). The self-assessed portfolio: A case study. Assessment & Evaluation in Higher Education, vol. 33 (4), 381-393.
Barrows, H. S. (1986). A taxonomy of problem-based learning methods. Medical Education, vol. 20 (6), 481-486.
______ . & Tamblyn, R. M. (1980). Problem-based learning. An approach to medical education. New York: Springer Publishing Company.
______ . (1976). An evaluation of problem-based learning in small groups utilizing simulated patient. Journal of Medical Education, vol. 51 (1), 52-54.
______ . (1971). Simulated patients. Springfield: Charles C. Thomas.
Baume, D., Yorke, M. & Coffey, M. (2004). What is happening when we assess, and how can we use our understanding of this to improve assessment? Assessment & Evaluation in Higher Education, vol. 29 (4), 451-477.
Bermejo, F. y Pedraza, M. J. (2008). La evaluación de competencias en el ABP y el papel del portafolio. En J. García-Sevilla (Coord.), El aprendizaje basado en problemas en la enseñanza universitaria (pp. 91-111). Murcia: Ediciones de la Universidad de Murcia.
Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, vol. 32 (3), 347-364.
Birenbaum, M. (1996). Assessment 2000: Towards a pluralistic approach to assessment. In M. Birenbaum & F. Dochy (Eds.), Alternatives in assessment of achievements, learning processes and prior knowledge. Evaluation in education and human services (pp. 3-29). Boston, MA: Kluwer Academic.
Boud, D. & Feletti, G. (1998). Changing in problem-based learning. Introduction to the second edition. In D. Boud & G. Feletti (Eds.), The challenge of problem-based learning (pp. 1-14). London: Kogan Page.
Branda, L. A. (2009). El aprendizaje basado en problemas. De herejía artificial a res popularis. Educación Médica, vol. 12 (1), 11-23.
Day, R. A. & Williams, B. A. (2002). Development of critical thinking through problem-based learning: A pilot study. Journal on Excellence in College Teaching, vol. 11 (2-3), 203-226.
Dehkordi, A. H. & Hedarnejard, M. S. (2008). The effects of problem based learning on the development of Iranian nursing students' critical thinking. Pakistan Journal of Medical Sciences, vol. 24 (5), 740-743.
Dochy, F., Segers, M., van den Bossche, P. & Gijbels, D. (2003). Effects of problem-based learning: A meta-analysis. Learning and Instruction, vol. 13 (5), 533-568.
______ . y Dierick, S. (2002). Nuevas vías de aprendizaje y enseñanza y sus consecuencias: Una nueva era de evaluación. Boletín de la Red Estatal de Docencia Universitaria, vol. 2 (2), 13-31.
Dolmans, D. H. J. M. & Ginns, P. (2005). A short questionnaire to evaluate the effectiveness of tutors in PBL: Validity and reliability. Medical Teacher, vol. 27 (6), 534-538.
Duch, B. J., Groh, S. E. & Allen, D. E. (Eds.). (2001). The power of problem-based learning. Virginia: Stylus.
Font Ribas, A. (2004). Las líneas maestras del aprendizaje por problemas. Revista Interuniversitaria de Formación del Profesorado Universitario, vol. 18 (1), 79-95.
Graham, M. A. & Sims-Gunzenhauser, A. (2009). Advanced placement in studio art and secondary art education policy: Countering the null curriculum. Arts Education Policy Review, vol. 110 (3), 18-24.
Jofré, M. C. y Contreras, H. F. (2013). Implementación de la metodología ABP (Aprendizaje Basado en Problemas) en estudiantes de primer año de la carrera de Educación Diferencial. Estudios Pedagógicos, vol. 39 (1), 99-113.
Jones, E. (2010). Personal theory and reflection in a professional practice portfolio. Assessment & Evaluation in Higher Education, vol. 35 (6), 699-710.
Kamin, C. S., O'Sullivan, P. S., Younger, M. & Deterding, R. (2001). Measuring critical thinking in problem-based learning discourse. Teaching and Learning in Medicine, vol. 13 (1), 27-35.
Knight, W. E., Hakel, M. D. & Gromko, M. (2008). The relationship between electronic portfolio participation and student success. Annual Forum of the Association for Institutional Research (pp. 1-16). Chicago, IL, United States.
Knight, P. T. (2006). The local practices of assessment. Assessment & Evaluation in Higher Education, vol. 31 (4), 435-452.
MacDonald, R. (2005). Assessment strategies for enquiry and problem-based learning. In T. Barrett, I. M. Labhrainn & H. Fallon (Eds.), Handbook of enquiry and problem-based learning: Irish case studies and international perspectives (pp. 85-93). Galway: CELT.
______ . & Savin-Baden, M. (2004). A briefing on assessment in problem-based learning. York: Learning and Teaching Support Network (LTSN).
Manríquez Pantoja, L. (2012). ¿Evaluación por competencias? Estudios Pedagógicos, vol. 38 (1), 353-366.
Meeus, W., van Petegem, P. & van Looy, L. (2006). Portfolio in higher education: Time for a clarificatory framework. International Journal of Teaching and Learning in Higher Education, vol. 17 (2), 127-135.
Moust, J. H. C., Bouhuijs, P. A. J. & Schmidt, H. G. (2007). El aprendizaje basado en problemas: Guía del estudiante. Cuenca: Publicaciones de la Universidad de Castilla La Mancha.
Orzoff, J. H., Peinovich, P. E. & Riedel, E. (2008). Graduate programs: The wild west of outcomes assessment. Assessment UPDate, vol. 20 (3), 1-2.
Pallie, W. & Carr, D. H. (1987). The McMaster medical education philosophy in theory, practice and historical perspective. Medical Teacher, vol. 9 (1), 59-71.
Peacock, S., Gordon, L., Murray, S., Morss, K. & Dunlop, G. (2010). Tutor response to implementing an ePortfolio to support learning and personal development in further and higher education institutions in Scotland. British Journal of Educational Technology, vol. 41 (5), 827-851.
Sanderson, H. (2008). Comparison of problem based learning and traditional lecture instruction on critical thinking, knowledge, and application of strength and conditioning. PhD Thesis. Greensboro: University of North Carolina at Greensboro. Retrieved March 14, 2013 from http://libres.uncg.edu/ir/uncg/f/Sanderson_uncg_0154D_10031.pdf
Savin-Baden, M. & Howell Major, C. (2004). Foundations of problem-based learning. Buckingham: SRHE-Open University Press.
Schell, R. & Kaufman, D. (2009). Critical thinking in a collaborative online PBL tutorial. Journal of Educational Computing Research, vol. 41 (2), 155-170.
Schwartz, P., Mennin, S. & Webb, G. (2001). Problem-based learning: Case studies, experience and practice. London: Routledge.
Stake, R. E. (2006). Evaluación comprensiva y evaluación basada en estándares. Barcelona: Grào.
Taylor, S. H. (2011). Engendering habits of mind and heart through integrative learning. About Campus, vol. 16 (5), 13-20.
Van Berkel, H. J. M. & Schmidt, H. G. (2000). Motivation to commit oneself as a determinant of achievement in problem-based learning. Higher Education, vol. 40 (2), 231-242.
Vernon, D. T. & Blacke, R. L. (1993). Does problem-based learning work? A meta-analysis of evaluative research. Academic Medicine, vol. 68 (7), 550-563.
Wessel, J. & Williams, R. (2004). Critical thinking and learning styles of students in a problem-based, master's entry-level physical therapy program. Physiotherapy Theory and Practice, vol. 20 (2), 79-89.
Wiggins, G. (1998). Educative assessment: Designing assessment to inform and improve student performance. San Francisco, CA: Jossey-Bass.
Withaus, C. (2002). Electronic portfolios and critical pedagogy. Annual Meeting of the National Council of Teachers of English. Atlanta, United States.
Woltering, V., Herrler, A., Spitzer, K. & Spreckelsen, C. (2009). Blended learning positively affects students' satisfaction and the role of the tutor in the problem-based learning process: Results of a mixed-method evaluation. Advances in Health Sciences Education: Theory and Practice, vol. 14 (5), 725-738.