Estudios Pedagógicos, Nº 28, 2002, pp. 47-67
DOI: 10.4067/S0718-07052002000100003

INVESTIGACIONES

HACIA UN MODELO PARA EVALUAR LA FORMACION TECNICA DE NIVEL SUPERIOR^*

Towards a model to evaluate the training of technicians in higher education

Profs. Jaime Millán H. ¹, Marilú Rioseco G. ², Hernán Peredo L. ³, María José Fernández Díaz ⁴

¹ Facultad de Ciencias Forestales, Universidad de Concepción, casilla 160-C, Concepción, Chile. E-mail: jmillan@udec.cl;
² Facultad de Educación, Universidad de Concepción, casilla 160-C (F3), Concepción, Chile. E-mail: mrioseco@mi-mail.cl;
³ Instituto de Silvicultura, Facultad de Ciencias Forestales, Universidad Austral de Chile, casilla 567, Valdivia, Chile. E-mail: hperedo@uach.cl;
⁴ Universidad Complutense de Madrid, C/Rector Royo Villanova s/n, Ciudad Universitaria, 28040 Madrid, España. E-mail: mjfdiaz@edu.ucm.es
* Proyectos FONDECYT 1010850 y 7010850.

Resumen

En este artículo se describen, en líneas generales, los planteamientos teóricos que subyacen la búsqueda de un modelo para evaluar la formación técnica de nivel superior, poniendo el énfasis en la metodología empleada para configurar un conjunto de indicadores de pertinencia, considerando dos dimensiones esenciales: la eficiencia interna del proceso de formación y su productividad externa.

Palabras claves: Carreras técnicas, evaluación curricular, sistema de indicadores.

Abstract

This paper describes the theoretical aspects which guide the search of a model to evaluate the training of technicians in higher education in Chile, and presents the method to obtain a set of indicators for its pertinence, considering two main dimensions: the internal efficiency of the training process and its external productivity.

Key words: Technical training, curriculum evaluation, indicators’ system.

INTRODUCCION

Hoy en día, la globalización de la economía plantea desafíos importantes en la formación de profesionales que conforman una familia ocupacional: la formación de personal técnico de nivel medio, de nivel superior y profesional debe estar articulada, de forma que su posterior desempeño en el campo ocupacional permita estructurar los grupos de trabajo que hoy requieren los procesos productivos.

En el área de la ingeniería, considerada como una familia de ocupaciones, el campo ocupacional estaba en un comienzo restringido a funciones muy específicas. De un cierto momento en adelante, las funciones comienzan a diversificarse y surgen relaciones de tipo vertical que llevan a la creación de las carreras de Ingenieros de Ejecución, de Técnicos y de Prácticos. Poco a poco, sin embargo, las delimitaciones claras de las funciones y relaciones comienzan a hacerse más complejas. Se producen zonas de traslape y superposición, y no existe una clara delimitación en las funciones que corresponden a uno u otro profesional.

Existe, además, un desequilibrio en la demanda por formación en carreras que conducen al título de Ingeniero, de Ingeniero de Ejecución y de Técnico de Nivel Superior. Por ejemplo, en el área silvoagropecuaria, en el año 2001 la matrícula en dichas carreras está en la relación 12 : 1,3 : 1, respectivamente. Esto significa que por cada Técnico de Nivel Superior, se forman 1,3 Ingenieros de Ejecución y 12 Ingenieros. Para el año 2002, la oferta fue de 900 vacantes para carreras de Ingeniería Forestal y solamente de 190 para carreras de Tecnología Forestal.

Si se mantiene esta tendencia, el impacto social se centraría a futuro en la distribución del trabajo, con severos costos para los profesionales y técnicos y para la economía global del país. Se llega, así, a la necesidad de abordar en un estudio exhaustivo y más global la formación de técnicos de nivel superior y de analizar en detalle su campo ocupacional para orientar la formación.

Lo ideal, para enfrentar esta tarea, es relacionar el currículo de formación con su producto, esto es, el profesional formado, considerando metas externas que son generadas desde las demandas del medio profesional. Este proceso se inicia con la evaluación intrínseca, y culmina con la evaluación del desempeño profesional. La evaluación intrínseca permitirá determinar la eficiencia interna y la extrínseca se dirige hacia la determinación de la productividad externa.

En esta perspectiva, los responsables de la formación de profesionales necesitan tener una percepción realista de las necesidades de la sociedad y de cómo éstas pueden ser satisfechas, disminuyendo así el riesgo de impartir a dicho proceso orientaciones poco apropiadas o incluso irrelevantes. Por esto, es indispensable que las instituciones formadoras vinculen el proceso educativo con las actividades productivas.

En este artículo se describirá cómo se ha ido abordando el diseño de un sistema de indicadores que permita evaluar la pertinencia de los procesos formativos, a partir de aquellos aspectos en que las instituciones formadoras deben centrar su atención con el fin de lograr mayor eficiencia interna para el proceso de formación y, además, establecer relaciones entre las características de la formación y las demandas del sector laboral, con el fin de que ésta tenga una mayor productividad externa.

1. FAMILIA OCUPACIONAL Y ARTICULACION, CONCEPTOS CLAVES PARA EVALUAR LA FORMACION DE TECNICOS DE NIVEL SUPERIOR

El desarrollo económico de los países, hoy fuertemente marcado por las transformaciones tecnológicas, se apoya en gran medida en la familia ocupacional de las ingenierías.

A este respecto, debe señalarse que una familia ocupacional se entiende como el conjunto amplio de ocupaciones que, por estar asociadas al proceso de producción de un bien y/o servicio, mantienen una singular afinidad formativa y un significado en términos de empleo. Así, el eje articulador de estas ocupaciones no es su pertenencia a un determinado sector de actividad, sino la convergencia de saberes conceptuales, actitudinales y procedimientos exigidos para el desempeño en las mismas (Salazar, GTZ 2000). Así, forman parte de la familia ocupacional de las ingenierías los profesionales del sector agropecuario forestal, eléctrico y electrónico, minero, de telecomunicaciones, entre otros, los cuales aportan de manera importante al desarrollo económico del país.

El concepto de familia ocupacional sería, sin embargo, limitado, si se incluyera en él solamente a los profesionales de un solo nivel de formación. En nuestra forma de verlo, forman parte de una familia ocupacional todos aquellos que en su quehacer laboral hacen uso, en mayor o menor grado, de saberes conceptuales comunes y se caracterizan por abordar sus tareas con actitudes y procedimientos también comunes. De esta forma, en la familia ocupacional de las ingenierías, a que nos hemos referido, debemos incluir no solamente a los ingenieros, sino también a los ingenieros de ejecución, a los técnicos de nivel superior, a los técnicos formados en la educación media y, ¿por qué no?, a los obreros calificados, todos los cuales comparten una singular afinidad formativa y un claro significado en términos de empleo.

Ahora bien, este concepto tan amplio carecería de sentido si no le agregáramos un condicionante, la articulación. Esto significa que el quehacer de todos quienes pertenecen a una familia ocupacional debe estar articulado, de modo que exista coordinación de diversas competencias para el logro de un propósito común por medio de adecuadas relaciones verticales entre los distintos niveles de la familia. Esto significa también, y esto es lo más importante, que la formación profesional debe impartirse en niveles claramente definidos a través de las competencias específicas, pero en forma articulada, que asegure la profesionalidad de cada uno y de todos los niveles. El concepto de competencia se entiende aquí como un conjunto de saberes articulados, un complejo e integrado de conocimientos, habilidades, actitudes y destrezas que las personas ponen en juego en situaciones reales de trabajo para resolver los problemas que ellas plantean, de acuerdo con los estándares de profesionalidad y los criterios de responsabilidad social propios de cada área profesional. La profesionalidad se define, a su vez, en términos de autonomía, de asumir responsabilidades, de trabajo en grupo y de capacidad de aprender a aprender. Es una profesionalidad que ya no se define exclusivamente por los conocimientos técnicos, sino por la capacidad de discutir, de reflexionar, de tomar decisiones para la resolución de problemas (Salazar, GTZ 2000).

Ahora bien, dentro de una familia ocupacional, tal como se la ha definido, la articulación de los distintos niveles de formación se sustenta en una jerarquía ocupacional. En ésta, lógicamente los distintos niveles tienen, a su vez, objetivos que los distinguen. Al respecto, el análisis hecho de la familia ocupacional forestal, empleada como caso de estudio, y validado para toda la familia de las ingenierías (Rioseco, Millán 1998), concluye en la necesidad de tres niveles cuyas respectivas responsabilidades son las que se describen a continuación:

Organizada así una familia ocupacional en niveles, el conocimiento de los desempeños laborales indica que los niveles jerárquicos deben, a su vez, constituir una pirámide, con una base amplia que dé sustento operativo a los niveles superiores. Esto significa que la pirámide ocupacional debe contar con un numeroso contingente de técnicos, que apoye operativamente a los ingenieros de ejecución e ingenieros en sus respectivas funciones.

Si centramos ahora nuestra atención en el sistema de educación superior chileno, vemos que la oferta de formación de ingenieros, ingenieros de ejecución y técnicos debería también reflejar esta estructura jerárquica piramidal. Sin embargo, los datos de los últimos años muestran que no existe tal pirámide. De hecho, la matrícula en los Centros de Formación Técnica, instituciones a quienes la Ley Orgánica Constitucional de Educación entrega específicamente la formación de técnicos de nivel superior, ha disminuido, entre los años 1990 y 2000, en un 31,4% y cerca de un 40% de las vacantes ofrecidas para Primer Año no se llenan.
A su vez, según información publicada en Internet por el Mineduc y el Consejo Superior de Educación, para el año 2000, la matrícula en las Universidades es 280.187 alumnos, mientras que en los Institutos Profesionales es 79.904, cifra que incluye, junto a los técnicos, a los ingenieros de ejecución; en los Centros de Formación Técnica es 53.354. La relación de matrícula en los tres tipos de instituciones de educación superior, para las áreas relacionadas con la familia ocupacional de las ingenierías, se muestra en tabla 1, a continuación:

Igualmente, para el año 2000, la matrícula en primer año en Ingeniería, en estas mismas dos áreas, era de 17.123 alumnos, en Ingeniería de Ejecución era 15.819 y en carreras técnicas era 13.931. Estas cifras indican que por cada 8 alumnos que ingresan a formarse como técnicos, ingresan 11 para formarse como ingenieros de ejecución y 12 para formarse como ingenieros.

Esta situación es preocupante, pues, como señala Castro (2002), existe amplio consenso acerca de que la educación ha sido un factor productivo crítico, y que su importancia ha aumentado con las transformaciones tecnológicas que han afectado al mundo globalmente, ya que se la ve como complemento natural para generar capital humano. Las inversiones realizadas en la creación de numerosos centros formadores, como parte de las políticas de desarrollo de los países, no tendrán, sin embargo, el efecto esperado si no se logra sintonizar la formación de técnicos con la demanda que de ellos existe en el sector productivo. Según este autor, las transformaciones económicas hacen de la formación un pilar fundamental del desarrollo. Afirma, sin embargo, que es difícil compaginar los procesos formativos con los nuevos y más rigurosos requerimientos del mundo del trabajo. Las empresas líderes en el cambio tecnológico, señala, se han vuelto ávidas productoras y compradoras de formación. Las industrias tradicionales enfrentan la amenaza de las fronteras abiertas, la internacionalización y la feroz competencia; sin mejoras significativas en la calidad de su fuerza de trabajo, requeridas para la modernización, se arriesgan a ser barridas del mercado, como ha sucedido en muchos casos. Las nuevas formas de organización que permitirían sobrevivir a esas empresas requieren trabajadores con niveles de educación y formación mucho más altos (Castro 2002).

Si hay acuerdo en que ellos son necesarios, ¿por qué no se forman más técnicos? Los formadores responden que no hay demanda por este tipo de formación. Los egresados de estas carreras responden que no hay demanda por este tipo de profesional. Castro (2002) sugiere que tenemos que preguntarnos si es simplemente una falta de demanda de formación, o se trata una falta de demanda para el tipo de formación especializada que se ofrece. Plantea si habría sido capaz de mejorar la situación otra combinación de formación, o si la falta de demanda de formación estaba causada por la no muy brillante situación de ingresos de las personas económicamente activas empleadas en el sector relacionado con esta formación. Se pregunta, así mismo, si no estaría causada por el bajo prestigio de las carreras en las que se formaba o si su causa se encontraba en la baja calidad de la formación en áreas específicas. Estas preguntas, sugiere, señalarían que la baja demanda de formación podría deberse a otras causas que a la baja demanda genuina de formación. Afirma que analizando las causas, se podría encontrar también deficiencias en las instituciones formadoras para adaptarse a una situación dada.

La respuesta a estas interrogantes está ciertamente ligada a la evaluación de la pertinencia de los procesos de formación de profesionales: es necesario evaluar periódicamente su desarrollo a fin de verificar si los frutos obtenidos son los esperados y, en caso de no serlo, buscar formas para lograrlo.

2. EFICIENCIA INTERNA Y EFECTIVIDAD EXTERNA: Dos dimensiones de la pertinencia de un sistema de formación

Una primera forma de realizar una evaluación curricular, es enfrentarla en dos planos, el interno, donde se analizan la estructura misma del currículo y la interrelación entre todos sus elementos (evaluación intrínseca), y el externo, relacionando el sistema “currículo universitario” con otros sistemas externos, como son, entre otros, el medio en que se desempeña el profesional, las exigencias que le plantea dicho medio y las relaciones con otros profesionales (evaluación extrínseca), como se ilustra en la figura 1 (Millán, Rioseco 1981).

Figura 1 Esquema general del modelo de evaluación curricular

Un aspecto clave en este proceso de evaluación es la identificación de las competencias deseadas, tanto en el ámbito de conocimiento conceptual como de destrezas y habilidades, cuyo logro debe ser también considerado en el currículo, de modo que se satisfagan las necesidades sectoriales (Copeland y Gill 1983). A este aspecto de la satisfacción de las necesidades sectoriales se le conoce con el nombre de pertinencia del currículo. Este implica contemplar la satisfacción de necesidades reales y objetivas y considerar las expectativas de los usuarios y otros agentes sociales involucrados, directa o indirectamente, en los procesos educativos (Ledermann 1990). En el caso de la formación de profesionales, un currículo sería pertinente cuando contiene los elementos relevantes o importantes para un posterior desempeño eficiente en la profesión. Adicionalmente, además de pertinencia, es necesario mantener la vigencia de la calidad reconocida por el mercado.

Así, lo que se denomina pertinencia del currículo es una característica que asocia el aspecto educativo con las necesidades e intereses de los beneficiarios, de modo que el currículo combine el dominio en el campo cognitivo con la satisfacción de necesidades y aspiraciones de la comunidad, lo que se logra con la cooperación de ésta.

Ahora bien, el esquema presentado en la figura 1 es, en cierto modo, unidimensional y se va realizando linealmente en el tiempo. Sin embargo, el análisis de pertinencia del currículo puede ser abordado en una forma global siguiendo los lineamientos dados por Heitmann (1995, 1996; GTZ 1995), quien ha desarrollado y aplicado un modelo en el ámbito de la formación de técnicos.

Este modelo emplea un análisis tipo portafolio, que culmina en la elaboración de una matriz bidimensional. Dicha matriz permite determinar la pertinencia del sistema de formación en relación con las orientaciones del mercado laboral utilizando dos variables, o dimensiones, denominadas eficiencia interna, que se relacionaría con las condiciones del sistema dentro del proceso de formación, y productividad externa, que reflejaría la efectividad de la formación proporcionada por el sistema con relación a las demandas del mercado ocupacional. Estas dos dimensiones de la pertinencia llevan a considerar el sistema curricular bajo estudio como si estuviera estructurado en dos subsistemas, la formación profesional propiamente tal y el desempeño profesional. Una combinación adecuada de indicadores para ambos subsistemas permite la cuantificación de lo que hemos definido como pertinencia (figura 2).

Figura 2 Esquema de matriz bidimensional para evaluar la pertinencia

Ahora bien, ubicar el sistema curricular bajo análisis, en este caso la educación técnica, en una celda de esta matriz bidimensional, permite identificar la dirección en la que deben introducirse modificaciones, y cuáles son las acciones estratégicas requeridas. Vemos aquí que los sistemas curriculares A, B y C presentan distintas condiciones de Eficiencia Interna y Productividad Externa. El sistema A se ubica en una situación muy favorable, pues en ambas variables muestra valores altos. Mientras que el sistema B, a pesar de tener Eficiencia Interna alta, muestra baja Productividad Externa. Estos dos casos ilustran lo que muestra la experiencia. Por un lado, existen sistemas de formación que, paradojalmente, podrían tener una alta eficiencia interna, produciendo excelentes logros de aprendizajes, pero con el contenido curricular incorrecto, produciendo así graduados con excelentes calificaciones, para los cuales, sin embargo, no existe demanda en el sistema empleador: la productividad externa sería muy baja. Por otra parte, existen sistemas con alto nivel de productividad externa y alto nivel de eficiencia interna, los que habrían mostrado grandes ventajas.

De este modo, la información que da la matriz puede indicar, por ejemplo, que es necesario adoptar una estrategia que permita mejorar la eficiencia interna, modernizando elementos sobre los cuales se tiene control (calificación de los instructores, revisión de los currículos, reemplazo de equipos obsoletos, fortalecimiento de los sistemas de administración, etc.). También podría indicar que es necesario adoptar una estrategia para mejorar la productividad externa, atacando elementos que están principalmente fuera del sistema en estudio (actitud de las empresas hacia la educación técnica, participación de la empresa privada en la gestión educacional, etc.).

La recopilación de información en estos dos ámbitos, el de la eficiencia interna y el de la productividad externa, se realiza mediante procedimientos que permiten identificar las condiciones sociales, económicas, pedagógicas y sociopolíticas, tanto internas como externas, que constituyen el marco de referencia dentro del cual se sitúa el sistema educativo bajo consideración. Estos procedimientos permiten también determinar las funciones o roles que cumple dicho sistema dentro del ámbito socioproductivo.

Debe destacarse que en este modelo se entiende el concepto de portafolio de una forma similar a la empleada en el ámbito económico. En éste, el término portafolio se refiere a un grupo de valores que mantiene o posee un individuo o una institución financiera para propósitos de inversión (Glossary of Financial Terms 2000). Un portafolio de un inversionista contiene, por ejemplo, acciones, participaciones en sociedades y diversos tipos de títulos. Un portafolio eficiente sería aquel que tiene el menor riesgo para un nivel dado de ganancia esperada o, también, la mayor ganancia esperada para un nivel dado de riesgo (Gastineau 1996). Lo que se propone aquí es adaptar esta acepción económica al ámbito educativo, considerando que los sistemas de formación profesional deben producir ganancias, en términos del profesional formado; ello debe hacerse bajo ciertas condiciones de riesgo que estarían dadas por la incerteza respecto de las condiciones y demandas del sector ocupacional en el largo plazo. Esto implica que los procesos formativos deben dar cuenta del desarrollo de capacidades que permitan a los sujetos afrontar los niveles de incertidumbre y complejidad que les proponen los nuevos contextos productivos. Así, se requiere pensar en términos de capacidades, dejando de lado los desempeños aislados y focalizando la atención en los procesos mentales que movilizará a futuro el sujeto en su desenvolvimiento eficiente en contextos productivos diversos. Garantizar el desarrollo futuro de las capacidades cognitivas nos permite pensar la profesionalidad de los sujetos en términos de autonomía (para desenvolverse en contextos socioproductivos diversos), de responsabilidad, de resolución de problemas, de evaluación de las decisiones y de aprender a aprender (Salazar, GTZ 2000).

Este modelo presenta, por tanto, gran potencial para el análisis del problema de la educación técnica chilena, que aquí se discute, especialmente porque permite representar el resultado cuantificado mediante un solo concepto global, que sería la pertinencia. Al mismo tiempo, permite analizar en forma combinada lo que sucede al interior del sistema (evaluación intrínseca), en términos de eficiencia, y la forma en que este sistema se relaciona con el medio externo (evaluación extrínseca), en términos de productividad.

3. DISEÑANDO UN SISTEMA DE INDICADORES PARA EVALUAR EL PROCESO DE FORMACION

Los procesos de evaluación de programas de formación de profesionales, como todo proceso de evaluación, exigen la aplicación de distintos diseños o modelos, los que se desarrollan a lo largo de una serie de fases, claramente secuenciadas y dirigidas a dar respuestas válidas a los problemas y obtener información suficiente que fundamente bien la generalización de resultados, la toma de decisiones o los planes de actuación o de mejoramiento, en su caso.
Un primer paso para el desarrollo de un modelo como el propuesto anteriormente contempla una descripción detallada de la situación dentro de la cual opera el currículo de formación, lo que se logra mediante la cuantificación de diversos indicadores.

Los indicadores son señales reveladoras del logro de ciertos objetivos y, en este caso, representarían la expresión operacional de aspectos teóricos de la calidad, de la eficiencia interna y de la productividad externa. Los indicadores cumplen una función descriptiva y otra valorativa. Se los concibe como una magnitud asociada a una actividad que permite, por comparación con los estándares, evaluar periódicamente diversas unidades operativas. En la literatura especializada se da una gran cantidad de definiciones de estos indicadores y se ilustra su uso (Universidad de Québec 1996; PNUD/BID, citado por Itzcovitz, Fernández Polcuch y Albornoz 1998).

Es en la década de los sesenta cuando se comienza a considerar importantes a los indicadores educativos; ellos surgen como reacción a los indicadores económicos que guiaron las políticas de los gobiernos de principios de esta década. Así empiezan a adquirir importancia los indicadores sociales y también los educativos. Fueron organismos internacionales, como la UNESCO y la OCDE (Organisation for Economic Cooperation and Development) quienes fomentaron el desarrollo de indicadores como elementos fundamentales para la evaluación. Este último organismo sigue publicando actualmente, con cierta periodicidad, numerosos textos sobre indicadores y sistemas de determinación de los mismos como base para el desarrollo de estudios internacionales, fundamentalmente orientados a evaluar rendimiento.

En dicho ámbito internacional se han realizado desde hace algunos años trabajos en evaluación de sistemas educativos, diseñando diversos indicadores. Algunos de los trabajos se han centrado en el desarrollo de indicadores financieros. Otros se preocupan de la calidad de la docencia y persiguen establecer un ranking de las instituciones. Entre estos trabajos podemos mencionar a Barro (1997); De la Orden (1997); Escudero (1997); Thompson and Morse (1998), citado por Clarke (2002), quien analiza diversas formas de cuantificar la calidad.

En Chile, el Ministerio de Educación señala que los indicadores educativos son valores representativos de un conjunto de variables que muestran diversas características de una población, tales como aspectos educativos, sociales, psicológicos y físicos (MINEDUC 2000).

El Consejo Superior de Educación, a su vez, para orientar a los estudiantes en la búsqueda de una buena opción de formación profesional, propone un total de 22 indicadores para las Universidades e Institutos Profesionales: matrícula de primer año, % de alumnos con Aporte Fiscal Indirecto (AFI), matrícula total, número total de docentes, docentes jornada mayor a 25 horas, % docentes jornada mayor a 25 horas, número de docentes con grado de doctor y magíster, % de doctores y magíster, alumnos por docente con jornada mayor a media, número de proyectos Fondecyt, monto de proyectos (millones $), año de inicio, presupuesto anual (millones $), valorización activos fijos a diciembre (millones $), metros construidos, metros construidos por alumno, número de libros, número de títulos, suscripciones a revistas, libros por alumno, número de laboratorios, avalúo de laboratorios (millones $). Con respecto a los Centros de Formación Técnica, sugiere considerar como indicadores la fortaleza y desarrollo institucional, el ejercicio de la docencia, los recursos humanos, los estudiantes, la administración, la infraestructura física y equipamiento (Consejo Superior de Educación 1996).

En relación al uso de indicadores, adquiere especial relevancia la obtención de información que permitirá cuantificar finalmente la pertinencia de la formación de profesionales. No siempre se le concede la relevancia necesaria a esta fase del proceso. En muchos casos el interés se centra en la información que se desea obtener, en la obtención de gran cantidad de datos que parecen engrandecer o incrementar la importancia de la evaluación; en otros se muestra interés, por ejemplo, por el uso de determinadas técnicas que parecen estar en una línea con mayor eco en determinados ámbitos.

Son muchos y diversos los problemas que se plantean en esta fase fundamental pero, en definitiva, las decisiones que se tomen deben referirse a los datos o información a obtener y a la mayor o menor fiabilidad de los resultados, ya que esta última condicionará la calidad de los mismos y también las conclusiones y medidas que de ellas se deriven.

Lógicamente los indicadores deben reunir ciertos requisitos. Algunas características y elementos a tener en cuenta cuando se diseña indicadores son los siguientes:

Resumiendo, los indicadores deben ser significativos, relevantes, accesibles, adecuados, verificables, y aceptados o consensuados. Siempre que sea posible, conviene que sean sometidos a validación por expertos.

Esto exige seleccionar, de entre los múltiples indicadores susceptibles de evaluación del programa o centro, aquellos que realmente sean más importantes desde un punto de vista valorativo, en función de los objetivos y desde el punto de vista de las acciones de mejoramiento o cambio que se deban introducir teniendo a la vista los resultados obtenidos. Una evaluación exhaustiva y prolija de todos los elementos o unidades mínimas de información susceptibles de ser evaluadas de cualquier rasgo o variable, nos llevaría a procesos evaluativos excesivamente largos, que dificultarían la retroalimentación inmediata y, en la mayoría de los casos, no mejorarían la evaluación. En consecuencia, es preciso evaluar los elementos relevantes, para asegurarse que estén bien justificados y relacionados con los objetivos y el objeto de evaluación.

Debe tenerse también presente que el desarrollo de indicadores viene determinado no solamente por cuestiones de tipo técnico, sino también de orden político. En su sentido más amplio, viene determinado por el sistema de valores de la institución o incluso de quienes realizan la selección de los mismos, así como por la misión institucional, el tipo de profesional que se pretende formar y otros elementos a tener en cuenta. En cualquier caso, el modelo que subyace al conjunto de indicadores debe ser explícito y conocido, de tal forma que los criterios de selección sean claros y relativos a dicho modelo.

En un proceso de diseño de indicadores se parte inicialmente de los objetivos del estudio y del objeto acerca del cual se requiere recoger información. Esto es el referente básico del proceso posterior y permite diseñar procedimientos o técnicas que exigen un cierto grado de estructuración; permite también sentar las bases de la elaboración de cualquiera de los instrumentos.

Este proceso se basa en la determinación del contexto en que se llevará a cabo la evaluación. Es así que se procede, en primer lugar, a identificar los componentes del programa, centro, o currículo, de carácter más amplio, más genérico, es decir, de primer nivel de generalidad. Se pasa luego a concretar componentes de mayor nivel de concreción, coherentes con el anterior, y se llega, en último término, a las unidades de información más pequeñas, susceptibles de ser observables directa o indirectamente. Este modelo respondería, por tanto, a un esquema general que permite ir determinando con coherencia los elementos que configuran el objeto de evaluación para concluir, en último término, en una selección razonada de unidades de información mínima, fundamentada y coherente con dicho objeto.
Se debe, por tanto, identificar en primer lugar los ámbitos o componentes de carácter más general y genérico que se van a evaluar y, en consecuencia, medir. Ellos representan el primer nivel de concreción.

Luego se identifican los elementos, que son las partes o componentes en que podemos subdividir un ámbito. Ellos son componentes más concretos, y representan un segundo nivel de generalidad, pero todavía son demasiado generales como para ser considerados como conductas observables directamente. Permiten, sin embargo, ver la estructura de la información que se pretende recoger. Estos elementos se pueden y deben justificar teóricamente en función de los objetivos del estudio evaluativo y del interés del responsable que ha decidido incluir unos componentes y probablemente ha dejado de lado otros que, para otro estudio e incluso para otro responsable, pudieran haber sido de interés. Aunque tienen un carácter de mayor concreción todavía sería difícil evaluarlos directamente, ya que se ponen de manifiesto a través de conductas o elementos más concretos.

En el tercer nivel de concreción se identifican los indicadores para cada uno de los elementos. Así como, en general, en cada ámbito se pueden diferenciar varios elementos, en cada elemento se pueden identificar varios indicadores donde cada uno de ellos representa unidades más pequeñas de información, relativas al elemento concreto, y susceptibles de ser observables directamente y medibles por medio del instrumento para el que van a servir de base a través de las preguntas o ítemes que lo componen.

Los indicadores así diseñados constituyen la base para la obtención de los datos de naturaleza cuantitativa o cualitativa que permiten valorar un objeto y tomar decisiones o diseñar acciones futuras de mejoramiento.

Un modelo general, como el recién descrito, sirve de base para la elaboración de instrumentos de recolección de información, y permite la determinación de indicadores o unidades de información coherente y consistente con los objetivos de la evaluación y con el rasgo o componente del programa evaluado. A partir de él se puede llegar a un modelo particular que permita adaptarse al contexto y objeto analizado, y proceder de una manera integrada a la identificación de componentes en diversos niveles de generalidad, hasta llegar a las unidades mínimas de información que son los indicadores.

Siguiendo este modelo general, se ha abordado en nuestro estudio el diseño de un sistema de indicadores que permitan evaluar la pertinencia del proceso de formación de Técnicos de Nivel Superior en sus dos dimensiones, eficiencia interna y productividad externa. Para ello se ha procedido por etapas, iniciándose dicho diseño por la caracterización del contexto en que se sitúa el sistema de formación de técnicos para la familia ocupacional forestal y de la madera, utilizada como caso de estudio.

Dicha caracterización requiere no solamente obtener un conocimiento profundo de las instituciones formadoras, sino también del sector empleador y de los técnicos de nivel superior, a los que genéricamente denominamos formadores, empleadores y egresados respectivamente. Esto es especialmente importante, porque el modelo de evaluación de pertinencia previsto para este estudio considera la bidimensionalidad de eficiencia interna y productividad externa descritas anteriormente.

La caracterización de los egresados, conjuntamente con la de los formadores y de los empleadores, se lleva a cabo mediante la realización de entrevistas estructuradas y aplicación de cuestionarios especialmente diseñados para ello, lo que conduce a la identificación de elementos críticos en el proceso de formación, paso necesario para proceder a la siguiente etapa, que es el diseño preliminar de indicadores.

Mediante un análisis de contenido de la información recopilada en la etapa de caracterización del contexto, se ubican todos aquellos elementos que van sugiriendo aspectos claramente potenciados en los egresados por el proceso de formación y que producen satisfacción tanto en los empleadores como en los propios egresados. También se ubican aquellos elementos que apuntan hacia aspectos que no han sido debidamente desarrollados y que, por tanto, producen problemas e insatisfacción en empleadores y en egresados.

La observación y análisis detallado de los procesos formativos y del contexto que ellos tienen lugar, lograda a través de la caracterización de los formadores, permite, a su vez, ubicar aquellos elementos que contribuyen a lograr la eficiencia interna del sistema de formación de técnicos, o a inhibirla.

Una vez que se han identificado estos elementos críticos, se puede proceder desde un diseño preliminar de indicadores a una tercera etapa, que es la validación del sistema de indicadores. Para lograr esta validación se recurre a una Conferencia Curricular.

Una Conferencia Curricular es una metodología diseñada para validación de acciones curriculares trabajando en comisiones, comités o grupos ad hoc. Sus bases están contenidas en la teoría general del currículo. Esta metodología, propiciada y fundamentada por Frey (1981), ha sido diseñada especialmente para abordar problemas curriculares en el marco de la discusión centrada en un tema, con participación de personas que se desempeñan en diversos ámbitos, las que aportan a la discusión sus puntos de vista personales y su experiencia. Conceptualmente es un medio rápido para lograr la legitimación de una acción curricular. La metodología de Conferencia Curricular ha sido adaptada y aplicada en diversas oportunidades por Rioseco (1987, 1988, 1989); Millán, Rioseco, Peredo (1990, 1997), resultando novedosa y motivadora para los expertos invitados a participar, quienes han concluido que es una forma eficiente y rápida para validar o legitimar acciones curriculares. Por sus características y por los resultados alcanzados en su aplicación a diversos problemas curriculares, se ha estimado que ella es una forma indicada para validar (o legitimar) el sistema de indicadores destinado a evaluar la pertinencia de la formación de técnicos de nivel superior.

Los participantes en la mencionada Conferencia Curricular se seleccionan buscando, en primera instancia, que su campo de experiencia se relacionara, de algún modo, con la formación o desempeño laboral del técnico de nivel superior, procurando, además, que ellos provengan de diversos ámbitos del quehacer educativo u ocupacional, aumentando así la gama de opiniones que enriquecerían la discusión.

La interacción entre los participantes en esta actividad permitió, finalmente, llegar a una propuesta de Ámbitos, Elementos e Indicadores adecuados a la contextualización hecha del sistema de formación de técnicos de nivel superior, que se presenta en Anexo.

Esta propuesta es la que sirve de base para diseñar los procedimientos y construir los instrumentos necesarios para recopilar la información requerida y evaluar la pertinencia del sistema de formación en términos de su eficiencia interna y de su productividad externa.

Resumiendo, al avanzar por etapas bien definidas se pudo llegar a un Sistema de Indicadores. La forma operativa del modelo para llegar a dicho sistema que permitirá la evaluación de la pertinencia se ilustra en forma esquemática en la figura 3.

La Primera Etapa consiste en la caracterización del contexto, que se desarrolla principalmente por medio de la aplicación de cuestionarios construidos específicamente para este efecto y también mediante la realización de entrevistas estructuradas. El análisis de contenido de las respuestas permitió identificar los elementos críticos relacionados con el proceso de formación, tanto internamente en cuanto a sistema formador, como externamente en relación al sector empleador. A continuación, a partir de dichos elementos críticos, en la Segunda Etapa se procedió al diseño preliminar de indicadores. Finalmente, en la Tercera Etapa, se abordó la validación del sistema de indicadores, utilizando la metodología de Conferencia Curricular. El resultado final es una propuesta de Ambitos, Elementos e Indicadores, a que ya se hizo referencia.

Figura 3 Flujograma de las actividades para el diseño de un Sistema de Indicadores

Respondiendo a la pregunta respecto de cuáles son los principales ámbitos relacionados con el proceso de formación de Técnicos de Nivel Superior en los que se reflejaría la eficiencia de los centros formadores, la propuesta validada en la Conferencia Curricular establece, en un primer nivel de generalidad, dos ámbitos para evaluar cada una de las dos dimensiones de la pertinencia del proceso de formación. En el caso de la eficiencia interna se identifica el ámbito del Currículo y el ámbito de la Gestión; en relación a la productividad externa, el ámbito del Entorno y el ámbito del Producto.

Avanzando hacia el segundo nivel de generalidad, y analizando cuáles serían los elementos de estos ámbitos que deberían incorporarse en la evaluación de la eficiencia, la propuesta establece siete para el ámbito del currículo, cuatro para el ámbito de la gestión y dos para cada uno de los ámbitos relacionados con la productividad externa del sistema de formación, como se detalla en tabla 2.

Finalmente, en el nivel de mayor detalle, se identifican los indicadores para cada uno de los elementos. Cada uno de ellos representa las unidades más pequeñas de información relacionadas con estos elementos y que serán medidas por medio de instrumentos apropiados.

En el caso del ámbito curricular, los indicadores propuestos parten del supuesto de que un currículo con orientaciones claramente formuladas; generado y actualizado mediante procedimientos expeditos y transparentes; con contenidos permanentemente actualizados y acordes con las necesidades actuales y previstas para el futuro desempeño laboral de los egresados; que posee la infraestructura adecuada para su puesta en práctica; que considera las condiciones de entrada de los alumnos y pone en juego metodologías apropiadas para el desarrollo de las competencias requeridas por el sector ocupacional, a través de la acción de un cuerpo docente idóneo para tales fines, permitirá que el proceso de formación se desarrolle en forma internamente eficiente y se logren resultados inmediatos de calidad.

En relación al ámbito de la gestión, el supuesto tras la formulación de indicadores es que el proceso de formación será internamente eficiente si, tanto en la función de dirección y administración como en la de docencia, los procedimientos son flexibles y orientados a facilitarlo; si se ponen los recursos necesarios a disposición del proceso de formación; y si se persigue que las organizaciones estudiantiles contribuyan a que éste se desarrolle en la mejor forma posible.

En cuanto al ámbito del entorno, los indicadores propuestos se formulan a partir del supuesto de que una buena relación de la institución formadora con el sector empleador y con la comunidad es un reflejo de un proceso de formación externamente productivo. Igualmente lo sería si los técnicos formados en la institución evolucionan bien en sus empleos, son laboralmente bien considerados y, además, personal y profesionalmente se sienten satisfechos.

La valoración hecha de cada uno de los indicadores que se presentan en Anexo, en la situación real de cada centro formador, expresará la medida en que el elemento representado por dicho indicador está efectivamente contribuyendo a la eficiencia interna, o la productividad externa del proceso de formación del técnico de nivel superior en ese determinado centro.

CONCLUSIONES

El modelo presentado aquí para diseñar un sistema de indicadores tiene características que vale la pena destacar. En primer lugar, no se parte, como podría haberse hecho, de una simple adecuación de los indicadores a la realidad del sistema educacional chileno, sino que se contextualiza el diseño mismo a través del conocimiento exhaustivo del sistema formador bajo consideración. Esto es lo que se ha hecho, empleando la familia ocupacional forestal como caso de estudio, lo que ha permitido identificar exactamente aspectos críticos para la evaluación.

En segundo lugar, el modelo es transferible a cualquier otro sistema de formación. Es justamente la contextualización que se realiza en la primera etapa la que llevará a decidir, dentro de cada uno de los ámbitos y elementos identificados, cuáles de los indicadores son los que se deben mantener, cuáles modificar y cuáles descartar.

El modelo presenta también un gran potencial, puesto que separa claramente los ámbitos y elementos que corresponden a la eficiencia interna de aquellos que corresponden a la productividad externa y sus correspondientes indicadores, transformándose así en un apoyo valioso para la gestión de los procesos formativos.

BIBLIOGRAFIA

BARRO, S. (1997). El desarrollo de indicadores financieros educacionales comparables a nivel internacional: la experiencia de la OCDE y sus implicaciones para el Mercosur. Programa de Promoción de la Reforma Educativa en América Latina y el Caribe, Nº 13.

CASTRO, C. DE MOURA, K. SCHAACK, R. TIPPLET. (Eds.). (2002). Formación profesional en el cambio de siglo. CINTERFOR/OIT.

CLARKE, M. (2002, March 20). Quantifying Quality: What can the U.S. News and World Report rankings tell us about the quality of higher education? Education Policy Analysis Archives, 10 (16). Retrieved [date] from http://epaa.asu.edu/epaa/v10n16/.

CONSEJO SUPERIOR DE EDUCACION. (1996). Boletín Oficial Normas Generales. Mayo.

COPELAND, E., D.G. GILL. (1983). Specifications and model format for curriculum products in vocational education. Illinois Board of Education.

DE LA ORDEN, A. (1997). “Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación”, Revista Electrónica de Investigación y Evaluación Educativas. Vol. 3, Nº 1-2.

ESCUDERO, T. (1997). “Enfoques modélicos y estrategias en la evaluación de centros educativos”. Revista Electrónica de Investigación y Evaluación Educativas. Vol. 3, Nº 1-1.

GASTINEAU, G.L. (1996). The Dictionary of Financial Risk IFCI RISK WATCH. http://risk.ifci.ch/glossary.htm

GLOSSARY OF FINANCIAL TERMS. (2000) http://www.hemscott.com/EQUITIES/GLOSS.HTM#Portfolio. http://www.nasd.com/glossary/p.html

HEITMANN, W. (1995). Development of a portfolio concept in strategic technical education and vocational training planning. GTZ Regional Study on Labour Market Oriented Training. Documentation of the Conference on Labour Market Oriented Training; Heidelberg (Germany) June, 1995.

HEITMANN, W. (1996). Development of a portfolio concept in strategic technical and vocational training planning. Presentation to the Annual Convention 1996 of the International Vocational Education and Training Association Conference. Cincinnati, December 1996.

GTZ. (1995). Regional Study on Labor Market Oriented Training – Summary of the 9 Monographs - Technical Education and Vocational Training.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the State of Israel.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the Lebanese Republic.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the Kingdom of Saudi Arabia.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the Republic of Yemen.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the Kingdom of Jordan.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the Kingdom of Morocco.

GTZ. (1995). Regional Study on Labor Market Oriented Training. Country Monograph - Technical Education and Vocational Training in the Arab Republic of Egypt.

SALAZAR, I. (2000). Análisis comparado de las metodologías para establecer perfiles profesionales o normas de competencias laboral INET-GTZ, http://www.oei.org.co/iberfop/limaconalep/index.htm

ITZCOVITZ, V., E. FERNANDEZ POLCUCH, M. ALBORNOZ. (1998). Propuesta Metodológica sobre la Medición del Impacto de la CyT sobre el Desarrollo Social (I) “Segundo Taller sobre Indicadores de Impacto de la Ciencia y Tecnología en el Desarrollo Social”, La Cumbre, Córdoba.

LEDERMANN, J. (1990). Diseño y operacionalización de un modelo para evaluar la pertinencia de programas escolares orientados a la vida del trabajo en el contexto de comunidades rurales. Tesis para optar al Grado de Magíster en Educación, Mención Evaluación. Universidad de Concepción.

MILLAN, J., M. RIOSECO. (1981). “Un modelo para la evaluación de los currículos en la Universidad de Concepción”, Serie de Estudios Nº 9: 153-155. CPEIP.

MILLAN, J., M. RIOSECO. (1981). “Hacia un modelo de evaluación curricular”. Cuadernos N° 13: 4-14 (Consejo de Rectores de las Universidades Chilenas), p. 4-14.

RIOSECO, M., J. MILLAN. (1998). “Proyecciones curriculares de un modelo de análisis ocupacional: el caso de la familia forestal”. Boletín de Investigación Educacional 13: 170-189.

THOMPSON, J. J., R. J. MORSE. (1998). An explanation of the U.S. News rankings: Putting the numbers into context. U.S. News and World Report America’s Best Colleges 1998, p. 66-68. (citado por Clarke, M. 2002).