1. La evaluación de la docencia en educación superior

2. Características de la evaluación docente

Una revisión de la investigación acerca de la evaluación de la calidad de la docencia muestra que las valoraciones tradicionales en instituciones de educación superior definen este constructo como un conjunto de características o conductas. En la práctica, la efectividad de la práctica docente es medida de manera global, calificando ciertas características percibidas como sinónimos de efectividad. Este paradigma tradicional implica que la docencia es un tratamiento y su evaluación indica la efectividad de este tratamiento. Un alto nivel de inferencia causal es ampliamente supuesto, y pocas personas objetan la inferencia de que el desempeño de un buen estudiante es resultado de buena enseñanza. La evaluación de la docencia usualmente se lleva a cabo al final de un semestre o año académico utilizando encuestas a estudiantes. Los resultados se utilizan para comparar a los profesores con base en estándares personales o colectivamente a lo largo de los departamentos y facultades.

Resultados reportados en las principales revisiones de la literatura durante los últimos treinta años apoyan la confiabilidad de los resultados de las evaluaciones obtenidos por medio de cuestionarios aplicados a estudiantes (Marsh, 1987; Centra, 1993; Costin, Greenough y Menges, 1971; Cashin, 1988, 1995). Marsh y Bailey (1993) describen los puntajes obtenidos de estas evaluaciones como “muldimensionales, confiables, estables y relativamente válidos en contra de una variedad de indicadores de enseñanza efectiva”. Algunos estudios han encontrado que los resultados de estas evaluaciones son influidos por el tipo de curso, la disciplina, la carga de tareas y las calificaciones (Brodie, 1988, 1989). Por otro lado es escasa la investigación sobre otras fuentes de información para evaluar la docencia, tales como pares, observadores externos, exalumnos, etc. Sin embargo, hay razones para creer que podemos esperar diferentes puntos de vista de diversas fuentes aunque algunos autores también indican que las opiniones de los estudiantes pueden influir en otros actores.

En América Latina, el interés por evaluar la calidad de la docencia en educación superior se inicia en los años ochenta con la creación de sistemas de recompensas para el personal académico implementados como base para obtener apoyo económico adicional (Rueda, 2004). En México, la evaluación del personal académico utilizando cuestionarios de opiniones de estudiantes comenzó desde los años sesenta. Al principio el uso de estos cuestionarios se llevó a cabo en instituciones privadas y más adelante en se extendió a instituciones públicas, particularmente a la Universidad Nacional Autónoma de México. En los ochenta esta forma de evaluación de la docencia fue adoptada en la mayor parte de las universidades mexicanas (García Garduño, 2001).

Pocas investigaciones se han llevado a cabo sobre la validez conceptual, sustantiva y de consecuencias de las evaluaciones basadas en opiniones de estudiantes (Ory y Ryan, 2001; Stake y Cisneros-Cohernour, 2004). Existe la necesidad de examinar en qué medida estos puntajes representan la calidad de la enseñanza dentro del contexto en que ésta tiene lugar y cómo los resultados de evaluación son utilizados para la toma de decisiones y su validez de consecuencias.

3. Competencias

En estudios educativos y psicológicos, una competencia ha sido definida como una combinación de aptitudes (incluyendo destrezas, conocimientos, actitudes e inclinaciones) necesarias para el desempeño de tareas y actividades en el mundo real. Para que las competencias tengan un uso práctico, las tareas y actividades deben ser identificadas. Ellas pueden estar relacionadas con cualquier dominio de vida, aunque típicamente están ligadas al desempeño en el trabajo y el logro social en un nuevo ambiente. Las competencias involucran mucho más que utilizar el conocimiento o las destrezas, se dirigen a satisfacer requerimientos complejos utilizando recursos psicosociales, destrezas y actitudes en condiciones específicas (ocde, 2005).

En años recientes, los enfoques basados en competencias en la evaluación educativa se han incrementado en el mundo, usualmente promovidos por organizaciones internacionales.

Las competencias son potenciales. Cuando contratamos a las personas; los potenciales no son tan valiosos para evaluar el trabajo realizado. Para evaluar el trabajo, tener competencias no es tan importante como el saber cómo las personas han ejercido las competencias.

El desempeño es usualmente más importante. El desempeño es la acción realizada en cierta situación. Para calificar a una persona con base en su desempeño en una situación particular usualmente debe ser con base en la comprensión de la calidad del trabajo que ha tenido lugar y tomando en consideración cuánto podría haber mejorado. La efectividad y la productividad son aspectos del desempeño más significativos cuando la situación ha sido identificada.

El desempeño es la base intencional para las evaluaciones tradicionales de la instrucción realizadas por estudiantes. Las preguntas globales son un enunciado general de la calidad de la enseñanza y las preguntas específicas son usadas para evaluar una tarea de desempeño, un deber, o cuando el docente enfrenta un problema. Muchas preguntas indicarán aspectos de la enseñanza y de la situación de la enseñanza, tales como las exposiciones, la organización de las discusiones, el mantener recursos en línea, calificar y hacer acomodaciones para los diferentes estilos individuales de aprendizaje.

4. Evaluando competencias docentes

Un ejemplo del enfoque llamado: Evaluación del personal académico basado en competencias es el Programa docentia de la Agencia Nacional de Evaluación de la Calidad y Acreditación (aneca, 2006) (tabla 1). Incluye las competencias de planeación, operación y resultados. Si estas son características de la docencia que alguien va a evaluar, reflejando lo que el maestro hizo durante el semestre o curso, muchos de nosotros podríamos llamar a esto desempeños. Está bien, es solo una selección de palabras. Pero la diferencia importante es que las características no se basan en lo que el docente es capaz de hacer sino lo que el maestro hizo.

Tabla 1. Dimensiones, fuentes y procedimientos de evaluación de
la docencia en educación superior

5. Fuentes y Procesos de Evaluación

Las competencias o desempeños pueden y deberían ser especificados más analíticamente que las tres competencias identificadas en este programa. La literatura profesional sobre la enseñanza identifica muchas tareas, deberes, obligaciones que los docentes pueden desempeñar, así como los errores que ellos pueden cometer. Éstos pueden ser incluidos dentro de un protocolo de evaluación más comprehensivo.

Para entender tal protocolo, se necesita conocer las circunstancias de enseñanza y las del puntaje, incluyendo las instrucciones exactas que fueron dadas a quienes calificaron. Estas circunstancias deberían ser también  especificadas por el administrador de la forma de evaluación. Debe haber un espacio en la forma para las descripciones que se necesiten, incluyendo la fecha, lugar, propósito, curso, y algunas veces el nombre del instructor. Deben seguirse reglas de confidencialidad por supuesto, pero la interpretación de los resultados dependerá de conocer cuáles fueron las condiciones de la enseñanza.

Debería notarse que muchos de los ítems de desempeño están realmente incluidos en las formas tradicionales de evaluar a los estudiantes. Incluir en la evaluación a los pares y administradores es una gran etapa hacia adelante. Y, la validación del enfoque de evaluación de la docencia basada en competencias de desempeño continúa esperando ser estudiada.

Referencias Bibliográficas

aneca (2006). docentia (Programa de apoyo para la evaluación de la actividad docente del profesorado universitario). Modelo de evaluación. Available online: http://acucm.es/files/docentia_files/pr_00006_docentia_modelo_070302.pdf

Brodie, D. A. (1998). “Do students report that easy professors are excellent teachers?”, Canadian Journal of Higher Education, 23, 1, 1-20.

Brodie, D. A. (1999). Has publication bias inflated the reported correlation between student achievement and ratings of instructors? Paper presented at the Annual Meeting of the American Educational Research Association, Montreal Canadá.

Cashin, W. E. (1988). “Student ratings of teaching: A summary of the research”, idea núm. 20. Manhattan, ks: Kansas State University, Center for Faculty Evaluation and Development.

Cashin, W. E. (1995). “Student ratings of teaching: The research revisited”, idea, núm. 32. Manhattan, ks: Kansas State University, Center for Faculty Evaluation and Development.

Centra, J. A. (1993). Reflective faculty evaluation: Enhancing teaching and determining faculty effectiveness. San Francisco, CA: Jossey-Bass Inc.

Costin, F.,  Greenough y Menges, R. J.  (1971). “Student ratings of college teaching: reliability, validity, and usefulness”, Review of Educational Research, 41, 5, 511-535.

Cisneros-Cohernour, E.J. (1997). Trade-offs: The use of student ratings results and its possible impact on instructional improvement. University of Illinois:  Unpublished report.

Cisneros-Cohernour, E. J. (2004). Challenges in Assessing the Quality of Teaching with Technology A research case study. Ponencia presentada en el congreso annual de la Asociación Education and Information Systems, Technologies and Applications eista. Orlando, Fl.

Cisneros-Cohernour, E. J., Pech, S. J. y Barrera, M. E. (2005). “Multiculturalismo y sus implicaciones en la evaluación, desarrollo y formación de profesores”, Educación y Ciencia. 9, núm. 17, pp. 23-30.

García Garduño, J. M. (2001). “Diez consejos para hacer fracasar la implantación de un sistema de evaluación de la docencia”, en M. Rueda, A. Díaz Barriga y M. Díaz, Evaluar para comprender y mejorar la docencia en la educación superior (pp. 104-111). México: Universidad Autónoma Metropolitana-Universidad Nacional Autónoma de México-Universidad Autónoma Benito Juárez de Oaxaca.

Gutiérrez, O. (2005). “Educación y entrenamiento basados en el concepto de competencia: Implicaciones para la acreditación de los programas de Psicología”. Revista Mexicana de Psicología, 22, número monográfico especial, pp. 253-270.

Licata, C. M. (1986). Post-tenure faculty evaluation: Treat or opportunity? Washington, Dc: Ashe-Eric.

Marsh, H. W. (1987). “Student’s evaluations of university teaching: Research findings, methodological issues, and directions for future research”, International Journal of Educational Research, 11, pp. 253-388.

Marsh, H. W. y Bailey, M. (1993). “Multidimensional students' evaluations of teaching effectiveness”. Journal of Higher Education, 64, pp. 1-18.

McKeachie, W. J. (1971). Research on college teaching: Memo to the faculty. Ann Arbor Michigan, MI: Center for research on Learning.

ocde (2005). Problem Solving for Tomorrow's World  First Measures of Cross-Curricular Competencies from pisa 2003. París: ocde.

Ory, J. y Ryan, K. (2001). “How do student ratings measure up to a new validity framework?”, New Directions in Institutional Research, 109, San Francisco : Jossey-Bass Inc., Publishers.

Rueda, M. (2004). “La evaluación de la relación educativa en la universidad”, Revista Electrónica de Investigación Educativa (redie), 6, 2,  http://redie.uabc.mx/contenido/vol6no2/contenido-rueda.pdf
Stake, R. E. y Cisneros-Cohernour, E. J. (2004). “The quality of teaching in higher education”, Lithuanian Journal of Higher Education, vol. 1, pp. 94-107.

Youmons, R. J. y Lee, B. D. (2007). “Fudging the numbers: Distributing chocolate
influences student evaluations of an undergraduate course”, Teaching of Psychology. vol. 34, núm. 4, 245-247.

Whitman, N. y Weiss, E. (1982). Faculty evaluation: The use of explicit criteria for promotion, retention and tenure (Higher Education Report núm. 2). Washington, dc: aahe-eric.

ANEXOS

Estudio de Caso 1{2}

Les leeré uno de los casos que Edith, mi colega, recabó cuando trabajamos juntos en Illinois. Ella estudió a un profesor que fue informado por su jefe y por sus alumnos que no era buen maestro y él mismo lo sabía.

El profesor George Alderman había recibido muchas quejas sobre sus clases; pertenecía al departamento de ciencias, con 20 años de experiencia. Recibía evaluaciones de sus alumnos que oscilaban entre adecuado y pobre. George tenía poco dando un curso de matemáticas que era requisito para todos los estudiantes en la facultad. Por lo general los estudiantes evalúan más bajo a los maestros en cursos que son requisitos que los de los cursos que ellos mismos elijen.

Anteriormente, George estaba impartiendo un curso cada semestre a grupos muy grandes y sus evaluaciones eran bajas. Esta vez, el director del Departamento dividió a los estudiantes entre tres profesores, en grupos de 45 cada uno. Las clases eran dos veces por semana. Después de un semestre uno de los profesores recibía muy buenas evaluaciones de sus alumnos. George y el otro recibieron malas evaluaciones. George pidió ayuda al departamento de Desarrollo de la Enseñanza. Los otros dos maestros decidieron trabajar juntos.

El siguiente semestre, sólo George tuvo evaluaciones bajas; eran peores, en parte, porque siguió el consejo de requerir más trabajo en equipo de sus estudiantes. Puso a sus alumnos a calificar entre ellos sus trabajos; uno de sus estudiantes le acusó formalmente de calificar en forma caprichosa. El director del Departamento le envió una carta donde le exigía mejoría. En entrevistas, el director habló de una necesidad general de mejorar la enseñanza y reconoció que el Departamento no había dado retroalimentación directa a los profesores sobre la calidad de sus clases.

Un colega de George, Frank Edwards dijo: “Las evaluaciones de estudiantes no miden la efectividad de la enseñanza. Yo apoyo a la observación por compañeros, no sólo ayudaría al profesor nuevo a desarrollar sus habilidades de enseñanza más rápido, sino también recibiríamos más retroalimentación sobre la calidad de nuestras clases. Sin embargo, las observaciones toman mucho tiempo. Los profesores no son tan bien pagados como los investigadores, entonces algunos piensan que no les conviene observar clases”. El director del departamento estuvo de acuerdo y dijo: “Nos gustaría usar varias fuentes como ex-alumnos o compañeros para evaluar las clases, además de estudiantes actuales, pero esto no es posible. Usamos a estudiantes porque ellos son accesibles”.

George describió así al especialista enviado por la División de Desarrollo de Enseñanza para ayudarle: “La considero la única fuente disponible de retroalimentación significativa para mejorar mi enseñanza”.En otras palabras, no había ninguna “comunidad de práctica” para ayudar a George a dar mejores clases. Él y sus colegas están de acuerdo en que la evaluación entre pares podría ser una fuente valiosa de retroalimentación pero insisten que la ayuda debe ser individual en vez de colectiva.

Bill Wilson, un amigo de George dijo: En, al menos, cuatro ocasiones he pedido a un colega sentarse en mi clase y proporcionar retroalimentación. A veces la retroalimentación es útil; a veces no. En mi experiencia la retroalimentación de un compañero es más útil cuando la proporcionan en privado (lo cual significa que el Director no fue informado del problema o el esfuerzo para solucionarlo).

Frank dijo: En este departamento, las tutorías formales no existes. Es bastante común, sin embargo, tener una tutoría informal, donde un miembro de la facultad ayuda a otro. George dijo: La retroalimentación de un colega puede funcionar si varios profesores enseñan la misma materia, se observan uno al otro y luego tienen una plática informal. Pero esto tiene que ser como una consulta y no implicar que los profesores escriban evaluaciones formales para la administración.

El caso de George es un ejemplo de un Departamento que expresamente comunicó sus intenciones de mejorar la enseñanza. Pero sin el apoyo de la Dirección, George y los otros profesores sufrían de falta de apoyo. Muchos querían retroalimentación. Sus esfuerzos para mejorar la enseñanza no incluyeron una decisión sobre la responsabilidad de cada profesor de ayudar a los demás a mejorarse. Esto se vio como una responsabilidad individual.

A pesar de que en la Dirección de la facultad no se habían dado cuenta de la necesidad de una comunidad de práctica, era claro que había disponibilidad de algo de ayuda entre compañeros. Muchos consideramos que es responsabilidad de la Dirección cambiar los sistemas y ya no depender de un sistema estelar (star system) tanto en la investigación como en la enseñanza, para estimular la colaboración. Situaciones como ésta son comunes en Estados Unidos, incluyendo a los estudiantes de posgrados que dan clases. Hay muy poca ayuda disponible para que mejoren sus clases.

ESTUDIO DE CASO 2{3}        

Alexander Davis era un profesor-investigador que recientemente empezó a desempeñarse como administrador. Tenía un doctorado en Ciencias en Psicología Educativa. Debido a su interés en cuestiones sociales trabajó muchos años en la operación de programas de prevención de ausentismo y deserción a nivel estatal. Después de trabajar por el Departamento de Educación por 17 años, comenzó en la Midwestern University.

Cuando Alexander comenzó a trabajar para la universidad, le ofrecieron impartir un curso en el departamento de educación especial. Como asociado de investigación y ahora administrador, no tiene la obligación de dar clases pero él pidió esta oportunidad porque disfruta enseñando y porque cree que su práctica docente le ayuda a continuar aprendiendo y mejorando sus habilidades profesionales:

Me ofrecí de voluntario para impartir esta clase porque disfruto enseñar, especialmente a jóvenes, brillantes, futuros estudiantes. También pienso que cuando enseñas aprendes más. Deseaba aprender las bases fundamentales de la educación especial y la naturaleza de varias discapacidades y quería mejorar mis habilidades docentes.

1. Tradicionalmente, el curso tiene de 40-60 estudiantes inscritos. Alexander tenía experiencia como maestro y una reputación de ser un excelente expositor. Él usualmente recibe evaluaciones de sus estudiantes por encima del promedio. Sin embargo, en la primavera de 2001 su curso fue seleccionado como un requerimiento para todos aquellos que, al graduarse, estaban interesados en obtener una certificación como docentes por parte del Estado. Muchos estudiantes no estaban conscientes de que ellos necesitaban llevar el curso y se inscribieron para cumplir con el requisito.  Ese semestre, Alexander comenzó a participar en la Iniciativa del Campus para utilizar tecnología en el aula; llevó dos talleres y estaba listo para utilizar la plataforma Blackboard  como herramienta tecnológica en su enseñanza.
2. Ese semestre, el tamaño de clase se incrementó de 60 estudiantes inscritos al semestre anterior a 255. El 95% eran mujeres, principalmente caucásicas. El 5% eran hombres. Los estudiantes de ascendencia afroamericana, asiática o hispanos, principalmente de Puerto Rico constituían 10% de todos los que asistieron al curso. Los estudiantes estaban en diferentes grados en sus programas de estudios, desde los de primero a último año de licenciatura a estudiantes de posgrado. Lo que tenían en común es que todos esperaban aplicar a la certificación estatal como docentes.
3. Para ayudar a Alexander con su clase, había cuatro asistentes de enseñanza, todos ellos de ascendencia diversa; poseían un alto dominio del idioma inglés y estaban en un nivel avanzado de sus estudios doctorales. Todos tenían un acento que identificaba que el inglés era su segunda lengua pero esto no era obstáculo para que se comunicaran con otros. Dos de los asistentes eran asiáticos, uno de China y el otro de Corea.  Los otros dos asistentes eran de India y de Puerto Rico.
4. Alexander les dio a los estudiantes esta oportunidad de interactuar con los ayudantes de enseñanza porque pensó que para la mayoría de sus estudiantes esta era una de las pocas ocasiones en la que ellos podrían interactuar con una persona de otra cultura. Cada semana después de clases, Alexander se reunía con todos sus asistentes a calificar los trabajos de los estudiantes para asegurarse de que hubiera consistencia y precisión en las revisiones de los trabajos. Él también utilizaba esta reunión como una reflexión acerca de la clase. Por su cuenta, Alexander dedicaba más de 10 horas por semana preparando la clase, creando materiales, preparando copias de sus presentaciones para los estudiantes y trabajando con uno de sus asistentes en el desarrollo del sitio del curso. Él también dedicaba tiempo extra planeando un examen de práctica, comunicándose con sus estudiantes vía correo electrónico y reuniéndose con los estudiantes fuera de clase para revisar los contenidos del curso antes del examen final

 

Impartiendo el curso

1. Debido al incremento en el tamaño de clase, el curso de Alexander se cambió a un auditorio. Durante el curso expuso apoyándose con transparencias y películas, analizando casos e historias para enseñar a sus estudiantes acerca de las cuestiones críticas históricas y legales en la educación de personas con necesidades especiales y para incrementar su conocimiento y entendimiento de los procesos de los programas educativos individuales y los tipos de discapacidad. Organizó algunas actividades en equipo dentro de las limitaciones del arreglo físico del aula.
2. También invitó a dos personas a su clase, uno de ellos fue un estudiante ciego que habló sobre sus experiencias como discapacitado. La otra habló de las relaciones entre la familia y la escuela y sus experiencias como madre de una niña sorda. A los estudiantes parecieron gustarles las presentaciones de los invitados y le sugirieron a Alexander que contase con más invitados en el futuro. Durante las sesiones de clase, constantemente preguntó a los estudiantes por retroalimentación acerca del curso y de su aprendizaje. Fue sensible a las necesidades de sus estudiantes y revisó el especio para los dos estudiantes con necesidades especiales, inscritos en el curso.
3. Contrario a sus expectativas, los alumnos de Alexander tuvieron un uso limitado del sitio del curso. Muchos se basaron en materiales que él les entregó durante las clases y sólo revisaron el sitio cuando faltaban a una sesión. Sólo uno con discapacidades usó el chat del sitio para preguntar si podría traer alguna comida al examen de práctica porque era diabético. Para la segunda sesión de clases, las quejas de los estudiantes del tiempo que requería bajar la información del sitio fue tal, que motivó a Alexander a cambiar su curso de la plataforma de la universidad a un nuevo sitio. Éste era menos elaborado en la forma en que presentaba la información pero era más fácil de acceder para los estudiantes. Sin embargo, la decisión de cambiar de una plataforma a otra requirió más tiempo para el desarrollo del nuevo sitio.
4. Lo que los estudiantes realmente utilizaron ese semestre para comunicarse con Alexander fue el correo electrónico. Generalmente, hicieron preguntas acerca de las fechas de entrega de trabajos, o a quién debían entregar sus tareas. Los estudiantes utilizaron el correo electrónico para comunicarse con los asistentes de enseñanza a quienes se les había asignado revisar sus escritos y retroalimentarlos sobre las tareas. Sólo dos estudiantes pidieron una cita adicional después de clase, a lo cual él accedió.

Evaluando la clase de Alexander

1. La docencia de Alexander era evaluada usando un cuestionario administrado a sus estudiantes dos semanas antes del examen final. El cuestionario incluía dos ítems globales y un conjunto de ítems específicos para evaluar su instrucción; los dos primeros eran utilizados con propósitos sumativos y el conjunto de ítems específicos con propósitos de mejora (comparación a nivel del departamento).
2. De acuerdo con los resultados de la evaluación, ese semestre Alexander obtuvo puntajes más bajos que el promedio al compararlo con sus pares a nivel de departamento y del campus. Los comentarios hechos por los estudiantes en la parte posterior del cuestionario indicaban que uno de los problemas que enfrentaron fue la cantidad de lectura del curso, especialmente de documentos relativos a la legislación. Además, siete se quejaron de los asistentes de enseñanza; de ellos tres criticaron la habilidad de los asistentes de comunicarse en inglés; uno indicó que en su opinión los asistentes no sabían inglés y que a ella no le agradaba que ninguno revisara sus escritos. Algunos escribieron en la forma de evaluación que se sentían incómodos haciendo un juicio del curso y de los procedimientos de evaluación del instructor antes de que hubieran recibido sus calificaciones.
3. Los resultados de las respuestas a los ítems específicos de la evaluación de Alexander mostraron que los estudiantes percibían que hubo consistencia entre los objetivos del curso y en lo que se enseñó y que Alexander fue entusiasta en su enseñanza. Algunos también indicaron que el profesor parecía bien preparado para impartir sus clases. Menos acuerdo existía en relación con los ítems que preguntaban acerca de cuán apropiadas eran las lecturas seleccionadas, la cantidad de tarea asignada y si los escritos asignados y examen reflejaban el material cubierto en clases.
4. Aunque la evaluación proveyó a Alexander con información importante de cómo sus estudiantes se sentían acerca de su curso, ésta presentaba algunos problemas.  Primero, el uso de un promedio para calcular los puntajes enmascara diferencias entre los estudiantes y no refleja las percepciones de los estudiantes minoritarios (afroamericanos, asiáticos e hispanos). Al calcular un promedio, la opinión de éstos desaparece en la masa de datos de la evaluación. En segundo lugar, la evaluación falló en representar la actitud negativa de los estudiantes ante el curso. Durante las primeras sesiones, varios expresaron su descontento con tener que llevar el curso. Alexander preguntó a sus estudiantes por qué estaban inscritos, si deseaban cursarlo y si pensaban que éste sería útil para su futura práctica docente.  Sólo cinco de los doscientos cincuenta indicaron que se inscribieron porque deseaban llevar el curso, los otros doscientos cincuenta dijeron que si hubiesen tenido elección nunca se hubieran inscrito. Alrededor de 40 estudiantes dijeron que no esperaban enseñar en una escuela donde asistieran estudiantes con necesidades especiales o de diversa herencia étnica y cultural.
5. Esta actitud negativa hacia el curso no se reflejó en los resultados de la evaluación, ya que sólo 13 de estos estudiantes expresaron tener una opinión negativa antes de llevar el curso en el cuestionario de evaluación docente. Tercero, la evaluación de la clase de Alexander utilizando un procedimiento estandarizado establecido por el campus, no refleja que algunos de estos estudiantes tenían actitudes negativas y estaban renuentes a interactuar con los ayudantes de enseñanza. De hecho, seis de siete que reprobaron, hubieran podido obtener suficientes puntajes si se hubieran reunido con los asistentes de enseñanza y hecho las correcciones indicadas a su primer escrito, pero ellos decidieron no hacerlo.{4}  Una joven estudiante caucásica, que fuertemente criticó al instructor por tener asistentes de enseñanza que carecían de dominio del idioma inglés, demostró una actitud agresiva hacia los asistentes quienes discutieron su conducta entre ellos y con Alexander. Mei-Yeh, la estudiante de China responsable por calificar los escritos de esa estudiante comentó que tenía problemas redactando las críticas de los artículos asignados en el curso. La estudiante resumía muy bien los artículos pero fallaba al no redactar una crítica de ellos, su trabajo no llegaba al nivel esperado en el curso. Aunque Mei-Yeh le había escrito recomendaciones para que mejorara las críticas de sus artículos, la estudiante continuaba ignorando las recomendaciones y consecuentemente perdió algún puntaje de su calificación.
6. Suparna, la asistente de enseñanza de India, también percibía que los estudiantes estaban ignorando sus sugerencias para mejorar sus trabajos. Ella cría que la posible razón de la negativa actitud de los estudiantes hacia el curso se debía a sus expectativas previas:
7. […] pienso que algunos estudiantes se inscribieron a este curso porque dura sólo 8 semanas y es un requisito para graduarse si desean tener una certificación del Estado. Ellos probablemente pensaron que iba a ser un curso más fácil que los otros cursos que han llevado antes por su duración. De lo que no se dieron cuenta es que tiene las mismas demandas que cualquier otro curso de Licenciatura.”
8. Kim, el otro ayudante de enseñanza, compartía la percepción de Suparna acerca de la motivación de los estudiantes acerca del curso. La actitud negativa de los estudiantes hacia los asistentes de enseñanza no era de todo el grupo de estudiantes; había quienes expresaron en sus críticas a los artículos que ellos realmente apreciaban la oportunidad de leer y aprender acerca de estudiantes con necesidades especiales y reconocieron que no estaban enterados del alto porcentaje de estudiantes minoritarios (afroamericanos y de ascendencia hispana) que estaban ubicados indebidamente en salones de educación especial. Los estudiantes que llevaban a cabo sus prácticas fueron los más abiertos y positivos en su apreciación del curso y al instructor.
9. Además de la actitud negativa de los estudiantes hacia el curso y en algunos casos hacia los asistentes de enseñanza, los resultados de la evaluación pueden erróneamente dar la impresión de que Alexander está empeorando como maestro o que el uso de la tecnología está reñido con altas evaluaciones docentes. Cuando él impartió el curso por primera vez obtuvo un puntaje de 3.9 de 5 puntos por su enseñanza. El año siguiente obtuvo 4 de 5 puntos. Pero, ese semestre, Alexander obtuvo 3.5 de 5 puntos. Lo que aquí no se toma en cuenta es que cuando él impartió el curso por primera vez tenía sólo 25 estudiantes en el aula y la mayoría llenaron las formas de evaluación; al año siguiente, el número de estudiantes se incrementó a 60 de los cuales 50 llenaron las formas de evaluación; pero ese año la clase tuvo 255 estudiantes de los cuales 130 completaron las formas de evaluación.
10. Además del tamaño de clase y el número de estudiantes que llenaron las formas de evaluación, las condiciones del aula donde Alexander impartió el curso y las características de los estudiantes fueron diferentes. Cuando obtuvo los puntajes más altos por su docencia, él estaba impartiendo la clase en un salón más pequeño que permitía mayor interacción y actividades con los estudiantes. Cuando impartió el curso a 255 estudiantes, lo hizo en un gran auditorio con inadecuada acústica y el arreglo físico del salón limitaba la interacción entre los estudiantes.
11. Más aún, los estudiantes que se inscribieron al curso eran diferentes. En años anteriores, quienes escogieron llevar el curso como optativo fueron muchos más, así como sus características ya que entonces se inscribieron estudiantes que tenían diferentes antecedencias y experiencias previas con discapacitados.  Los estudiantes que estaban llevando a cabo sus prácticas docentes al momento del curso y que habían tenido oportunidad de interactuar con personas con necesidades especiales en el aula tuvieron una actitud más positiva acerca del curso y del instructor. Una llevó un diario, que compartió con Alexander, donde escribió cómo el conocimiento adquirido en el curso se relacionaba con sus experiencias trabajando con un estudiante con problemas de aprendizaje en su salón de clase.
12. Aún más, el sistema de evaluación estandarizado se basaba únicamente en los puntajes otorgados por los estudiantes en la forma de evaluación pero era incapaz de capturar otros aspectos importantes de la docencia de Alexander. Por ejemplo, su estilo de enseñanza, su preocupación por proveer a sus estudiantes con oportunidades de adquirir conocimientos y destrezas, la forma en que retaba las preconcepciones sociales sobre las minorías o de necesidades especiales dándoles la oportunidad de interactuar con estudiantes diferentes a ellos. La evaluación también falló en reconocer el enorme compromiso de tiempo necesario para desarrollar el sitio del curso y el hecho de que, por sí misma, la tecnología no puede mejorar la enseñanza; es sólo una herramienta y su utilidad y beneficios dependen de la habilidad del maestro y los estudiantes y la disposición de ambos para usarla.
13. Además algunos ítems incluidos en la forma de evaluación pueden no ser apropiados para ser respondidos por estudiantes. Por ejemplo, los utilizados para comparar profesores en el Departamento se centran en aspectos que los estudiantes pueden no ser la fuente de información más apropiada porque tienen poco conocimiento del contenido del curso, de las lecturas disponibles ni sobre cuán apropiados son pedagógicamente para ser incluidos en el curso: ¿Estaba preparado el instructor para impartir el curso? ¿Fueron las lecturas del curso bien seleccionadas?

Braskamp y Ory afirman que los estudiantes son buenas fuentes para evaluar la enseñanza y pueden proveer con una importante perspectiva para describir o juzgar la relación profesor-estudiantes, la carga de trabajo del curso, lo que ellos han aprendido, la forma en que el profesor evalúa el curso y su habilidad de comunicarse claramente. Ellos no son una fuente de información apropiada cuando la evaluación les pide hacer un juicio de los aspectos que directa o indirectamente “juzgan la calidad del contenido del curso o cuán conocedor es el docente o su habilidad como investigador”(p.99).

ESTUDIO DE CASO 3{5}

El tercer caso se desarrolló alrededor de Daniel Weldy, en proceso de obtener una plaza definitiva como profesor asociado en una universidad en el suroeste de Estados Unidos. El profesor Weldy es de mediana edad, de alrededor 40 años, con un gran interés por cuestiones étnicas y de diversidad cultural en Norteamérica. Ésta era precisamente su área de especialidad de investigación, ya que sus estudios se enfocaban en las implicaciones sociales y de equidad del multiculturalismo en educación superior, particularmente en el caso de los estudiantes afroamericanos.

El doctor Weldy trabajaba para Southwestern University,{6} una institución centrada en la investigación que tenía también una buena reputación por la calidad de su enseñanza y su producción científica. La población estudiantil de la universidad estaba constituida principalmente personas de raza blanca de ascendencia anglosajona o asiáticos. Aún cuando la universidad estaba localizada en una zona en la que vivía un alto porcentaje de hispanos, su porcentaje en la universidad era muy pequeño comparado con el de los otros grupos, aunque en general el porcentaje de estos estudiantes estaba entre los más altos en relación con la mayoría de las universidades norteamericanas. La universidad estaba haciendo un esfuerzo muy grande por reclutar tanto estudiantes como docentes de grupos minoritarios, para contar con una planta docente y estudiantil que reflejara mejor la realidad multicultural de la sociedad norteamericana.

El interés por ofrecer a los estudiantes múltiples perspectivas y una mayor comprensión de diferentes culturas y su impacto en su desempeño profesional era también una preocupación de la facultad y particularmente del departamento de Educational Administration and Policy (Administración y Política Educativa), donde había sido contratado el doctor Weldy. El Departamento impartía cursos de licenciatura y posgrado en estas temáticas. Los estudiantes de licenciatura de otros departamentos podían cursar algunos de estos cursos para cubrir los requisitos establecidos por el currículo general de licenciatura; de hecho, este Departamento tenía una buena reputación por contar con personal altamente calificado interesado en estudios multiculturales. Al igual que el doctor Weldy que se especializaba en estudios afroamericanos, otros de sus colegas estaban interesados en estudios hispano-americanos, de inmigrantes asiáticos de origen hindú, de políticas y sus implicaciones para grupos minoritarios en Norteamérica, entre otros.

El doctor Weldy impartía tanto cursos de posgrado, como uno de licenciatura titulado Multicultural Issues in American Education (Aspectos Multiculturales en la Educación Americana), que los estudiantes de este nivel podían cursar para cubrir los requisitos del currículo general. Aunque la mayor parte de los estudiantes que se inscribían a los cursos que impartía el doctor Weldy eran afroamericanos, en el curso de licenciatura, por lo general se apuntaban además otros estudiantes de grupos minoritarios.

Enseñando acerca de multiculturalismo

El doctor Weldy tenía estudios de historia y sociología además de su doctorado en Política Educativa (Educational Policy), y aunque no había llevado una formación específica en enseñanza, trataba de utilizar los principios de su investigación acerca de multiculturalismo en el aula. Como profesor tenía una alta preocupación por fomentar el análisis crítico en sus estudiantes.

Los estudiantes afroamericanos que llevaban el curso “Multicultural Issues in American Education”, tenían opiniones muy positivas acerca de la calidad de la enseñanza y aprendizaje en los cursos del doctor Weldy. Una gran mayoría de estos estudiantes afirmaban que tenían intenciones de volver a llevar otro curso impartido por el doctor Weldy. Sin embargo, estos resultados positivos no se reflejaban en las evaluaciones de la calidad de la enseñanza del profesor.

De acuerdo con los resultados de las evaluaciones semestrales, el doctor Weldy obtenía puntuaciones bajas en la evaluación que sus estudiantes hacían de su enseñanza. Un análisis más profundo de su enseñanza reflejaba una diferencia significativa entre las percepciones de los diferentes estudiantes inscritos en su curso. Mientras que los afroamericanos le otorgaban puntuaciones muy altas en todas las categorías de la evaluación, los de origen mexicano y asiáticos le otorgaban las puntuaciones más bajas. De hecho estos últimos tendían a desertar en mayor número de su curso.

Al observar las clases impartidas por el doctor Weldy uno podía apreciar cuál era el problema que motivaba que diferentes estudiantes tuviesen percepciones completamente opuestas acerca de la calidad de su enseñanza. Aún cuando su voz era adecuada, su contacto visual apropiado, su manejo de usos y recursos didácticos también era adecuado, el estilo de enseñanza del doctor Weldy era sumamente asertivo. Era un profesor muy directo que hablaba con voz muy firme y discutía asertivamente las fundamentaciones y argumentaciones sobre el multiculturalismo en el aula. Este estilo de enseñanza que su jefe de departamento llamaba estilo “in your face” (en tu cara), o sea, directo y confrontador, era percibido por los estudiantes hispanos como un estilo agresivo e intimidante. Esta misma percepción era compartida por los asiáticos, que se sentían sumamente incómodos. Aún cuando el doctor Weldy no se lo proponía, su estilo de enseñanza era culturalmente apropiado para los afroamericanos, pero no así para los otros estudiantes que afirmaban no tener el menor interés de llevar otro curso con un profesor como el doctor Weldy.

 

{1} Continúa la preocupación por los factores que pueden influir en las evaluaciones basadas en opiniones de estudiantes (Youmons y Lee, 2007).

{2} Cisneros-Cohernour, E.J. (1997).

{3} Cisneros-Cohernour, E. J. (2004).

{4} Alexander les dio la oportunidad de recuperar puntos perdidos en la evaluación de la tarea si se reunían con los asistentes de enseñanza para revisar la tarea y corregían los errores previos.

{5} Cisneros-Cohernour, E. J., Pech, S. J. y Barrera, M. E. (2005).

{6} Es importante recalcar que todos los nombres de los participantes en el estudio de caso, así como de las instituciones fueron cambiados. Algunas características del contexto son omitidas para poder proteger la confidencialidad de los datos