En los últimos años se ha incrementado en las instituciones educativas mexicanas el interés por la evaluación docente y el uso de sus resultados para la toma de decisiones. Este interés se refleja en el diseño de sistemas de evaluación que tradicionalmente consisten en un cuestionario administrado a los estudiantes al final de un curso.

El uso de cuestionarios administrados a estudiantes es también una práctica muy conocida en varios países. De acuerdo con Seldin (1993), 86% de las instituciones de educación superior en Norteamérica utiliza cuestionarios que registran la opinión de los estudiantes sobre la enseñanza de sus profesores. Por su parte, Braskamp y Ory (1994) indican que todas las grandes universidades estadunidenses colectan estos cuestionarios para la evaluación de sus docentes.
La práctica de usar cuestionarios administrados a estudiantes aunque positiva –porque los involucra en el proceso de evaluación– presenta problemas porque, en muchas ocasiones, no incluye otras fuentes de información ni otras evidencias del trabajo docente. Asimismo, varios de los instrumentos de evaluación utilizados piden a los estudiantes que hagan inferencias sobre aspectos para los cuales no siempre están en la mejor posición para juzgar (Braskamp y Ory, 1994; Stake y Cisneros-Cohernour, 2000).

Una alternativa ante esta tendencia empezó a desarrollarse con mayor fuerza en algunos países industrializados desde finales de los ochenta y principios de los noventa. Esto ha representado un cambio de la evaluación tradicional a la basada en resultados de desempeño. De acuerdo con sus principios, este tipo de valoración enfatiza la inclusión de más de una forma de evaluar. Se espera que proporcione un entendimiento más profundo de las competencias de los sujetos, que tome en cuenta sus conocimientos previos y evalúe la producción de conocimiento en lugar que su reproducción. Con base en lo anterior, el evaluador puede juzgar el desempeño del sujeto al observarlo mientras demuestra que posee las habilidades o competencias siendo evaluadas o por medio de productos tangibles que proveen evidencia de las mismas. Otro aspecto fundamental es que debe llevarse a cabo de forma integrada, no fragmentada. En otras palabras, no sumando puntajes de diversos productos o demostraciones de desempeño, sino en forma holística.

El instrumento que, de acuerdo con la literatura de investigación, facilita el llevar a cabo este tipo de evaluación integral es conocido como portafolio y es el conjunto de trabajos de una persona que constituyen la evidencia de las actividades y sus logros en el desempeño de las mismas.

En el área de evaluación del personal académico, algunos autores como Seldin (1991 y 1993); Seldin y Annis (1990), Martin-Kniep (2001) y Banta (2003), proponen el uso del portafolio de enseñanza como instrumento de evaluación y reflexión docente.

En esta ponencia se examinan los resultados de la experiencia de un grupo de investigadores de la Universidad Autónoma de Yucatán que utilizaron el portafolio para la evaluación y detección de necesidades de desarrollo de docentes de preparatoria (Cisneros-Cohernour, Barrera, Canto Herrera, Alonzo y Torre (2003). Los resultados del estudio fueron utilizados para el diseño de un programa de desarrollo con la intención de mejorar la calidad de la enseñanza en estos centros. La investigación contó con financiamiento de la Secretaría de Educación del Gobierno del Estado y de la Universidad Autónoma de Yucatán.

1. OBJETIVOS

Los objetivos del estudio fueron:

1. determinar el nivel de conocimientos de los profesores acerca de los aspectos pedagógicos que se requieren para el planeamiento, desarrollo y evaluación del aprendizaje de sus estudiantes;
2. evaluar las habilidades docentes de los profesores; e
3. identificar los intereses y necesidades de desarrollo profesional de los profesores.

2. METODOLOGÍA

Para detectar las necesidades de formación y capacitación del personal docente de los núcleos básico, propedéutico y de capacitación para el trabajo, se utilizaron portafolios de enseñanza que fueron seleccionados porque, de acuerdo con Williams, et al. (2003), proveen una manera de compilar los logros auténticos del conocimiento y habilidades del candidato, en este caso del profesor. De acuerdo con Mokhari y Yellin (1996), los portafolios pueden usarse para tener un récord acumulativo del progreso del docente en diferentes aspectos.

Estuvieron integrados por los siguientes elementos:

a) resultados del cuestionario de conocimientos de constructivismo;
b) resultados del inventario de autoanálisis; y
c)  análisis y evaluación de una muestra de materiales y artefactos didácticos de los docentes y de los instrumentos que usan para evaluar a sus estudiantes.

TABLA 1. ASPECTOS POR EVALUAR Y COMPONENTES DE EL PORTAFOLIOS DE LOS PROFESORES

La revisión y análisis de materiales y artefactos didácticos utilizados por el profesor en su enseñanza incluyeron el programa del curso, planes de clase y pruebas elaboradas por el instructor, así como tareas de los estudiantes del profesor seleccionado en la muestra.

2.1. Elementos del portafolios

a) Cuestionario de conocimientos acerca del constructivismo es un instrumento que consta de 70 reactivos de opción múltiple, que se diseñó para medir los conocimientos que tienen los docentes acerca del planeamiento del desarrollo y de la evaluación del aprendizaje de sus estudiantes bajo un modelo constructivista, dado que este es el modelo educativo adoptado por el sistema estudiado. Cada uno de estos aspectos es medido por las 7 secciones del instrumento:

TABLA 2. ASPECTOS DE ENSEÑANZA EVALUADOS POR EL CUESTIONARIO DE
CONOCIMIENTOS DE CONSTRUCTIVISMO

b) Inventario de autoanálisis. Su objetivo es obtener una autoevaluación de sus habilidades docentes, con el propósito de identificar sus necesidades e intereses de desarrollo profesional. Fue adaptado y traducido con permiso de Orell (2001). El inventario de autoanálisis consta de tres secciones: la de datos personales y laborales, una sección de autorreporte y, finalmente, una de preguntas relacionadas con la participación de los profesores en actividades de desarrollo profesional.

En la primera sección se solicita a los docentes sus datos personales, tales como su género, edad y máximo grado de estudios, así como sus laborales (núcleo a los que pertenece, horas, así como el nombre de los cursos que imparte y el horario de trabajo).

La segunda sección corresponde al autorreporte, consta de 52 enunciados integrados por las habilidades docentes distribuidas en ocho secciones. Los docentes deben marcar las habilidades que utilizan, las que necesitan y les interesa mejorar. Las diferentes habilidades docentes incluidas en el autorreporte son las siguientes:

• interacción (maestro-alumno)
• interacción (alumno-alumno)
• enseñanza (aprendizaje activo)
• enseñanza (retroalimentación en tiempo y forma)enseñanza ( tiempo dedicado a la tarea)
• enseñanza (altas expectativas)
• enseñanza (respeto a la diversidad de talentos y de las diferentes formas de aprendizaje)
• actuación docente.

La tercera sección del inventario de autoanálisis solicita a los profesores interesados en participar en actividades de desarrollo profesional que indiquen cuáles serían los días y horarios más convenientes para participar en estas actividades.

Tanto el Cuestionario de conocimientos de constructivismo como el Inventario de autoanálisis fueron sometidos a una prueba piloto, previamente a su administración a los profesores del sistema educativo estudiado, con el objetivo de determinar su validez de contenido y su confiabilidad. Asimismo, estos instrumentos fueron sometidos a la revisión de expertos en las áreas de currículo y constructivismo.

c) Artefactos y materiales de enseñanza. Para llevar a cabo la evaluación de las habilidades docentes se le pidió a cada profesor que enviase una prueba y un material didáctico o artefacto que hubiese diseñado para su trabajo. Asimismo, se le solicitó la copia de la libreta de uno de sus estudiantes y un trabajo que éstos hubiesen desarrollado.

Los artefactos y materiales de enseñanza enviados por los docentes que participaron en el estudio son: pruebas; apuntes del profesor, material didáctico, libretas de los estudiantes, y trabajos de los estudiantes. Por cada uno de estos materiales y artefactos se elaboró un instrumento de evaluación. Los aspectos evaluados y los resultados se describen en el capítulo de resultados

2.2. Participantes

De una muestra representativa de 236 docentes, 206 participaron en el estudio. Éstos trabajan en centros educativos ubicados en cuatro áreas de acuerdo con la distancia a la que están de la ciudad de Mérida: (área 1) planteles cercanos (área 2) extensiones cercanas, (área 3) planteles lejanos y (área 4) extensiones lejanas.

El 48% de los sujetos fueron hombres y el 52% mujeres. La mayor parte de los profesores tiene estudios de licenciatura (77.2%) y una experiencia promedio como docente de 7 años.

3. Resultados

El análisis de los resultados se hizo tanto de manera individual como grupal. De forma individual permitió retroalimentar a los docentes sobre sus fortalezas y debilidades. De forma grupal se analizaron los resultados por componente del portafolio con la finalidad de identificar necesidades grupales de formación o actualización profesional:

Los resultados del Cuestionario de Conocimientos de Constructivismo indican que los profesores del subistema estudiado necesitan mejorar sus conocimientos acerca de este enfoque de enseñanza. De acuerdo con los resultados del análisis de este cuestionario, un alto porcentaje de los docentes pueden identificar ejemplos de diferentes tipos de conocimientos (83%) y más de la mitad posee conocimiento de estrategias de enseñanza que promueven aprendizaje significativo (62%), y de los diferentes tipos de evaluación (62%). Sin embargo, los docentes poseen un dominio menor de 40% en otros elementos del constructivismo como son la conceptuación del mismo, las características de los tipos de conocimiento constructivista y la evaluación de los efectos del aprendizaje de sus estudiantes.

Se observó también que los docentes poseen un bajo dominio de conocimientos en relación con las tres etapas del proceso: estrategias que promueven aprendizaje constructivista (48%); evaluación del aprendizaje (51%), y de planeamiento (53%). Esto se refleja en el puntaje obtenido en cuanto a su dominio global de conocimientos de constructivismo, que es de 50.5%, muy bajo si se considera que el constructivismo es, precisamente, el enfoque educativo promovido por el subsistema educativo. En virtud de que estos resultados son similares entre los diferentes tipos de planteles y extensiones del subsistema educativo, se recomienda impartir a los docentes al menos un curso acerca del constructivismo. Este curso o cursos deberán enfatizar tanto el conocimiento como el desarrollo de habilidades para el planeamiento, desarrollo y evaluación del aprendizaje bajo este enfoque de enseñanza.

Los resultados del Inventario de autoanálisis denotan que utilizan más las habilidades relacionadas con su actuación docente (74%), entre las que se encuentran ser puntuales, exponer sus ideas con claridad, controlar a sus grupos, ser entusiastas, etc. A pesar de esto, los docentes que respondieron el cuestionario consideran que estas habilidades son las menos necesarias para su trabajo docente; perciben que las más necesarias, son aquellas que se relacionan con el respeto que el docente debe tener acerca de la diversidad de talentos de sus estudiantes y de las diferentes formas de aprendizaje (26%). Pero las habilidades más importantes son las que se relacionan con fomentar altas expectativas en los estudiantes (64.8%). Por lo anterior es evidente la necesidad de impartir a los docentes cursos sobre estrategias para educar estudiantes con diversidad de talentos que además promuevan diferentes tipos de aprendizaje. Asimismo, se sugiere proveer a los docentes con estrategias para fomentar altas expectativas en sus estudiantes, sin descuidar su preparación en cuanto a cómo mejorar sus habilidades de actuación porque éstas están altamente vinculadas con el aprendizaje de sus alumnos.

El análisis de los materiales y artefactos de enseñanza también permitió identificar otras necesidades de desarrollo profesional de los docentes. A pesar que no se encontró diferencia significativa en la calidad de los trabajos y tareas enviados, los trabajos recibidos de planteles cercanos fueron de un poco mayor calidad que los enviados por los docentes de los planteles alejados. Resultados similares se encontraron en cuanto a materiales didácticos, por lo que parecen existir mayores necesidades de desarrollo profesional en cuanto a la elaboración de materiales y artefactos didácticos para los planteles lejanos que para los planteles cercanos. Por lo anterior se recomienda impartir un curso de elaboración de material y artefactos didácticos, dando prioridad a los docentes de los planteles y extensiones lejanos de la ciudad de Mérida.

El análisis de trabajos y tareas por asignatura no encontró diferencia significativa en la calidad de los trabajos y tareas de los distintos cursos básico, propedéutico y del trabajo. Sin embargo, en virtud de que la calidad de los trabajos y tareas no es la óptima, y se presentan problemas en cuanto a ortografía y redacción, se concluye que los profesores necesitan capacitación para diseñar trabajos y tareas para sus estudiantes con calidad, especialmente en cuanto a la elaboración de textos, transparencias y rotafolios.

En cuanto a software y videos educativos, se encontró que sólo unos cuantos profesores parecen utilizarlos pero los materiales enviados no fueron elaborados por ellos. Esto podría ser evidencia de que los profesores o no utilizan este tipo de materiales o necesitan entrenamiento en su elaboración.

En general se observó que algunos de los diferentes tipos de material didáctico, artefactos y trabajos, así como las libretas de los estudiantes presentan problemas en cuanto al uso de la ortografía, el lenguaje y la escritura. Asimismo, el análisis de las libretas indicó que la mayor parte de los docentes no las revisan por lo que es necesario proveerlos con estrategias para retroalimentar efectivamente a sus alumnos, a fin de que promuevan en sus estudiantes una mejor organización del contenido que están estudiando, y enfaticen el uso y aplicación del conocimiento y de los valores, además del aprendizaje de hechos. En general, el análisis de las libretas de los estudiantes indica que los docentes no promueven el conocimiento actitudinal valoral (sólo lo hace 17%), pero sí enfatizan la memorización (87%).

En cuanto a las pruebas, se encontraron serios problemas que indican la necesidad de mejorar la preparación de los docentes en esta área. El principal problema se refiere al desconocimiento de los diferentes tipos de conocimientos y aprendizajes. Asimismo los docentes necesitan aprender a elaborar reactivos que midan los conocimientos: declarativo, procesal y actitudinal valoral. El enfocarse únicamente en el declarativo en las pruebas podría ser un indicador de que los docentes promueven una enseñanza que enfatiza la memorización de hechos en el salón de clases.

Más aún, se encontró que existen problemas en cuanto la estructuración de los reactivos de las pruebas, es decir, los docentes utilizan distintos tipos de reactivos (opción múltiple, correspondencia, alternativa constante, de ensayo, etc.) pero no los elaboran correctamente. Los incluidos en las pruebas más bien parecen estrategias de enseñanza, por ello se sugiere proporcionar a los profesores al menos un curso acerca de los diversos tipos de contenidos curriculares bajo el enfoque constructivista, pues de manera general, en las pruebas se observa más que la utilización de este enfoque, una tendencia tradicionalista. Asimismo, es importante que este curso se lleve a cabo en forma de taller para que los docentes tengan la oportunidad de mejorar el diseño y construcción de pruebas de aprovechamiento. La inclusión de un curso que tenga estos propósitos es indispensable para que se incremente la probabilidad de que las pruebas se constituyan en elementos que orienten mejor los procesos de enseñanza y de aprendizaje.

En relación con el análisis de los planes de clase, se encontraron evidencias del esfuerzo de los docentes por realizar planeamiento didáctico de su enseñanza, aún cuando no exista en el sistema un patrón o criterio general para su elaboración. La variedad de documentos encontrados denota esfuerzos de planeamiento y control, sin embargo sería conveniente identificar el propósito específico de los diferentes documentos, ya que algunos contienen elementos repetidos, de tal forma que se estandaricen herramientas de planeamiento comunes para todos los planteles con base en las necesidades y objetivos del programa.

De acuerdo con la cédula y ponderaciones utilizadas para el análisis de los planes de clase, el promedio general obtenido por los docentes fue de 2.019, que en la escala se puede ubicar como deficiente, por lo que es necesario proveer a los docentes con, al menos, un curso acerca del planeamiento didáctico.

En cuanto a los apuntes del profesor, es importante señalar que los 132 documentos enviados bajo este rubro tuvieron características muy diversas, tanto en su cantidad como en su calidad. De acuerdo con la cédula y ponderaciones utilizadas, el promedio general obtenido es de 2.307, que en la escala se puede ubicar como deficiente, por lo que también se recomienda un curso en la elaboración de material académico.

En cuanto al análisis de los intereses y necesidades de desarrollo profesional, los docentes indican que las habilidades en las que más les interesa mejorar son las relacionadas con el respecto y la diversidad de talentos y las diferentes formas de trabajo. Sin embargo, el porcentaje de profesores interesados en mejorar sus habilidades docentes es menor de 40%, por lo que se sugiere un curso de motivación para la docencia.

Los días identificados por los docentes como ideales para recibir desarrollo profesional son los sábados, aunque los de planteles y extensiones cercanas también indicaron que podrían participar todos los días de la semana. En cuanto al horario, la mayoría de los profesores que manifestaron interés en recibir capacitación seleccionó el horario matutino. Por lo anterior se recomienda iniciar las actividades de desarrollo profesional los sábados en horario matutino, y dependiendo de la demanda ofrecer otras actividades varios días por semana para docentes de planteles y extensiones cercanas a Mérida.

4. REFLEXIONES ACERCA DEL USO DEL PORTAFOLIOS EN LA EVALUACIÓN DOCENTE

Tal como reportan los resultados descritos anteriormente, el portafolio fue un instrumento útil tanto para detectar necesidades globales de los docentes del subsistema educativo que fueron evaluados, como las individuales de desarrollo profesional. Entre las ventajas del uso del portafolio, se encuentra su flexibilidad y cobertura. Esto se debe a que permitió seleccionar los elementos más apropiados dadas las necesidades del subsistema educativo, como también proveer una amplia gama de aspectos de la calidad del desempeño docente de los profesores.

Asimismo, dadas las limitaciones presupuestales y la necesidad de que los resultados del estudio sirvieran de base para un programa de desarrollo que debía tener lugar antes del inicio del siguiente ciclo escolar, el uso del portafolio permitió realizar un estudio de evaluación de alto impacto y bajo costo en un tiempo limitado en comparación con un estudio que se hubiese llevado a cabo con observaciones en el aula.

Sin embargo, encontramos que en más de un caso los profesores evaluados, preocupados por el uso de los resultados, contrataron a otras personas que hicieran material didáctico para incluir en sus portafolios. En otras palabras, ellos no elaboraban ningún tipo de material y ante nuestra solicitud de materiales y recursos hicieron que sus alumnos u otras personas lo elaboraran para que se incluyeran como parte de su evaluación, por lo cual las necesidades de desarrollo profesional de algunos de los docentes pueden ser mayores que las reportadas en el estudio.

Así que aunque el estudio puso en evidencia el valor del portafolio, es necesario que los resultados de la evaluación se verifiquen por medio de seguimientos realizados en el contexto real en el que trabaja el docente, dado que si esto no se lleva a cabo, no es posible verificar cómo utiliza los materiales didácticos y productos incluidos en el dossier. Esto permitirá examinar, con mayor detenimiento, el porqué de los resultados de las evaluaciones y la forma en que el contexto del aula provee valiosa información para determinar qué tan apropiados son los productos o materiales incluidos en el portafolio. Sólo por medio de estos estudios puede determinarse en qué medida la práctica docente refleja las competencias que se aprecian en el portafolio.

El análisis de la literatura de investigación acerca de la calidad de la enseñanza muestra claramente que, a medida que avanza la comprensión de los procesos de enseñanza-aprendizaje, los investigadores han transitado de enfoques simplistas a otros más complejos que permiten evaluar la enseñanza, pero sin desvincularla del contenido y del contexto en que ésta se imparte. Como afirman Stake y Cisneros-Cohernour (2000), más que realizar comparaciones entre maestros para determinar la calidad del desempeño de un docente en particular, debemos centrarnos en examinar con mayor profundidad qué tan bueno es el desempeño del docente para enseñar tal contenido con determinadas características en un contexto con circunstancias particulares. Por esta razón, una evaluación por portafolios requiere del seguimiento por medio de estudios más profundos del contexto de la enseñanza. Los resultados de estos estudios pueden ser también parte del portafolio.

REFERENCIAS BIBLIOGRÁFICAS

Adams, T. L. (1995). A paradigm for portfolio assessment in teacher education. Education, 115 (4), pp. 568-570.

Banta, T. W. (2003). Portfolio assessment: uses, cases, scoring and impact. Assessment update collection. San Francisco: Jossey-Bass.

Braskamp, L.A. y Ory, J.C. (1994). Assessing Faculty Work. San Francisco: Jossey-Bass.

Cisneros-Cohernour, E. J.; Barrera, M. E.; Canto, P. J.; Alonzo, C. G. y Torre L. (2003). Utilizando portafolios en la evaluación de personal docente de los núcleos básico, propedéutico y de formación de un subsistema de educación media superior. Informe de Investigación. Mérida: Facultad de Educación-Universidad Autónoma de Yucatán.

Martin-Kniep, G. O. (2001). Portafolios del desempeño de maestros,profesores y directivos: La sabiduría de la práctica. Quilmes, Argentina: Paidós.

Mokhari, D. y Yellin, D. (1996). “Portfolio assessment in teacher education: Impact on preservice teachers’knowledge and attitudes”, Journal of Teacher Education, 47 (4), pp. 245-248.

Orrell, J. (2001). Self-evaluation inventory. Adaptado de Gamson, Z. y Chickering, A. (1997). Seven Principles for good practice in undergraduate education. AAHE Bulletin, pp. 5-10.

Seldin, P. (1991). The teaching portfolio: A practical guide to improve performance and promotion/tenure decisions. Boston: Anker Publishing Company.

Seldin, P. (1993). How colleges evaluate professors: 1983 versus 1993. AAHE Bulletin, pp. 6-8.

Seldin, P. y Annis, L. (1990). “The teaching portfolio”, Journal of Staff, Program and Organizational Development, 8, pp. 197- 201

Stake, R. y Cisneros-Cohernour, E. (2000). Situational evaluation of teaching on campus. En Ryan (ed.) Evaluating teaching in higher education: A collective vision for the future, San Francisco: Jossey-Bass.

Williams, S.C.; Davis, M. L.; Metcalf, D., y Covington, V. M. (2003). The evolution of a process portfolio as an assessment system in a teacher education program. Current issues in Education. Recuperado de http://cie.edu/volume6/number1/