¿Cuál es la mejor información para evaluar la calidad docente? La selección de la misma, la identificación de los mejores informantes o las mejores fuentes de información -indicadores de calidad del profesorado-, es un problema recurrente.

En este marco, las fuentes principales que se han considerando son: el alumnado (sus opiniones, o sus niveles de rendimiento), la evaluación por pares, los auto-informes y las opiniones de directivos (Arreola, 1979). Entre ellos, quizás la que mayor uso ha ido consiguiendo es la evaluación del profesorado a partir de opiniones de estudiantes. Sin embargo, también es cierto que la consideración del rendimiento del alumnado como expresión del impacto que tiene la actuación del profesorado sobre el aprendizaje de aquellos, ha sido y es una, de las formas que ha concitado mayor atención e incluso controversia.

En cualquier caso, desde el punto de vista de su uso evaluativo, la utilización de las medidas de rendimiento de los estudiantes como forma de evidencia de la calidad docente es un tema muy polémico, cuestionándose cómo son y qué miden los exámenes o qué se expresa, en definitiva, en las calificaciones (Tejedor, Jato y Minguez, 1987; Jornet, Villanueva, Suarez y Alfaro, 1987), y que se ha ido manifestando, con mayor o menor presencia en los enfoques de evaluación, a lo largo de los años.

En el ámbito de la investigación del rendimiento como producto educativo y como forma de evaluación del profesor, como indica González Such (1998), Tejedor y otros (1987) diferenciaban varias tendencias:

• Relacionar destrezas, habilidades o capacidades del profesor como variable independiente y el rendimiento de los estudiantes como variable dependiente;
• Analizar como variable dependiente el nivel de logro alumno, tomando dos variables independientes, estructurales y dinámicas, o bien una variante, con variables situacionales y
• Analizar la relación entre rendimiento de los alumnos y variables antecedentes de la actuación del profesor.

A esas tendencias, por la evolución metodológica, se han ido añadiendo las aportaciones del enfoque de valor añadido o agregado (Murillo, 2011), de forma que se intenta analizar el impacto deferencial que tiene el rol del profesorado en el nivel de aprendizaje que logran los estudiantes.

Aunque los estudios que se han ido realizando, fundamentalmente en los últimos treinta años, no son concluyentes acerca del peso que en definitiva tiene la acción docente sobre el nivel de logro de los estudiantes, en la actualidad se observa una tendencia creciente a considerar los resultados de aprendizaje como un indicador útil para la evaluación del profesorado.

Este fenómeno se ha dado tanto en el marco de la evaluación universitaria, como pre-universitaria; y en relación a evaluar el funcionamiento de titulaciones y/o carreras y/o universidades –como instituciones-, como para la evaluación personal del profesorado.

En el ámbito de su uso en la evaluación de titulaciones universitarias, en el enfoque de Evaluación Institucional (Tejedor, 1985, 1995, 1997; Salvador, 1997) se utiliza con un carácter globalizador, colectivo, de manera que la unidad a evaluar no era el docente (Tejedor y Jornet, 2008). Para ello se utilizan diferentes indicadores de tasas o ratios, referidas al éxito total –o egreso- en materias y/o titulaciones, y en su caso para la detección de conjuntos de alumnado rezagado en algunas materias de las titulaciones. Su utilidad, en este caso, es evidente, pues ayuda a gestionar de manera más eficiente el desarrollo de titulaciones universitarias, orientando a los responsables de las mismas para identificar las materias disonantes en cuanto a un ritmo coherente de avance en el conjunto de la titulación. Ello permite observar los problemas internos de logro en una titulación y, en consecuencia, establecer intervenciones internas para la mejora de la misma.

Este criterio se ha trasladado también como referencia para evaluar al profesorado de manera individual. Por ejemplo, en el programa Docentia de la Agencia Nacional de evaluación y calidad (ANECA, 2008) se plantea como un criterio a incorporar en la evaluación del profesorado. En cuanto a resultados se orienta en que se pueden considerar tanto los derivados de calificaciones directas (expresadas en tasas, ratios…), como las opiniones de los estudiantes acerca de la docencia recibida.

En los niveles educativos pre-universitarios (desde la Educación Infantil a la Secundaria), en diversos países se han ido incorporando los resultados de aprendizaje como una información clave para evaluar al profesorado. Las informaciones derivadas de estudios internacionales de evaluación de sistemas educativos en los que se aportan indicios acerca del importante papel que tiene la calidad del profesorado, conduce hacia esta conclusión. Los países en los que se cuida de forma más precisa y completa la formación del profesorado, aquellos en los que el valor social de la educación, y en consecuencia la imagen social del profesorado es mejor, también suelen ser los que obtienen mejores resultados en las pruebas a gran escala (Niemi, H. y Juku-Sihvomen, R., 2009). Así, tal como señala Valdés (2000):

“Hoy se aprecia un cierto consenso en la idea de que el fracaso o el éxito de todo sistema educativo depende fundamentalmente de la calidad del desempeño de sus docentes”.

Estas apreciaciones están a la base de que en diversos países e instituciones educativas consideren los resultados de aprendizaje de los alumnos como un criterio clave para la evaluación de la docencia individual. Incluso, en algunas situaciones, constituye una parte sustancial sobre la que se basa la evaluación de los docentes. Este hecho, además de constituir un problema técnico importante, también implica otros de carácter ético, que no deben ser eludidos al analizar este enfoque.

En este trabajo, presentamos algunas reflexiones al respecto, así como intentamos aportar propuestas de solución a la problemática planteada. Para ello nos centramos preferentemente en el ámbito de la docencia universitaria.

1. INDICADORES DE RESULTADOS DE DESEMPEÑO DEL ALUMNADO PARA LA EVALUACIÓN DEL PROFESORADO

La tipología de indicadores referidos al logro o desempeño del alumnado para evaluar al profesorado, no es muy extensa. Se pueden clasificar en dos grandes grupos –ver figura 1-:

1.1. Objetivos

Son aquéllos referidos al logro observado en el alumnado, y se pueden sintetizar en los siguientes:

1.1.2. Individuales

Serían los que se expresan a través de la calificación obtenida por cada estudiante:

• Nota que asigna el profesorado. Es el más frecuente, si bien ésta se puede entender que puede estar, en parte condicionada o sesgada, por diversos factores personales (tanto del alumnado, como del profesorado) o por la relación entre ambos. En cualquier caso, las calificaciones que otorga el profesorado suelen ser producto de considerar diversos factores, tanto relativos al nivel de aprendizaje real al que llega cada estudiante, como otros relativos al esfuerzo del alumnado, sus actitudes a lo largo del proceso de enseñanza-aprendizaje, etc.
• Calificación obtenida en una prueba estandarizada. Es menos frecuente, dada la complejidad y esfuerzo para obtener la información, pues se debe disponer de una prueba bien calibrada, normalmente de carácter externo. No obstante, se trataría de la opción más objetiva, si bien –al estar diseñada por agentes externos- puede estar alejada de las oportunidades de aprendizaje reales que se hayan dado en la materia. No obstante, esta última consideración también es controvertida, pues hay autores que apoyan la externalización de la evaluación como opción más fiable y válida (Scriven, 2011), frente a otros que entienden que ello constituye un problema que afecta a la validez de la evaluación.

Figura 1. Mapa conceptual de indicadores de resultados del alumnado para evaluar la calidad de la docencia.

2. CONSIDERACIONES METODOLÓGICAS Y ÉTICAS RESPECTO A LOS INDICADORES DE RESULTADOS

La premisa que está a la base de identificar los resultados de aprendizaje como expresión de la calidad docente es que el logro del alumnado depende en gran medida de la actuación del profesorado.

El valor diferencial de las fuentes de información para evaluar la calidad docente del profesorado ha sido objeto de atención especial entre los investigadores de este ámbito. Así, incluso se ha abordado el problema desde diferentes perspectivas y enfoques, aportándose incluso diversos meta-análisis. De este modo, en un estudio de meta-análisis, que puede considerarse ya clásico como fue el de Cohen (1981) se intentó resumir la investigación disponible hasta el momento acerca de la relación existente entre los resultados de aprendizaje y las valoraciones de los estudiantes emitidas a partir de encuestas de opinión. Observó que la correlación media entre las puntuaciones globales que emitían los estudiantes acerca del profesorado y los niveles de rendimiento de aquéllos era de 0,43, y entre la puntuación global de un curso y el rendimiento ascendía a 0,47.

En el mismo estudio, como señala González Such (1998), Cohen puso de manifiesto que, no obstante, existían algunas dimensiones de la actuación docente evaluada por el alumnado, en las que se observaba mejor relación con el rendimiento, como por ejemplo, las destrezas y habilidades pedagógicas y la forma de estructuración de la docencia. Asimismo, encontró algunos efectos de variables contextuales y relaciones con otras variables. En este caso, los estudios  pretendían establecer una relación entre el nivel de aprendizaje (criterio: lo que aprende el alumnado) y la evaluación realizada a partir de encuestas de opinión a los estudiantes (predictor). Los resultados del estudio de Cohen se interpretaron, en consecuencia, en el sentido de que constituían una evidencia de validez acerca de las encuestas de opinión para la evaluación docente.

Por otra parte, los datos aportados por García Valcárcel (1991, 1992) y Tejedor (2003) demuestran que existe una relación importante entre el nivel de desempeño que obtiene el alumnado y sus valoraciones del profesorado a través de encuestas de opinión. En especial, estas relaciones son más importantes en algunas dimensiones, relacionadas con la claridad con que se transmiten los objetivos de la materia, el entusiasmo del profesorado –y su capacidad para motivar al alumnado-, el papel del profesorado para relacionar su materia con otras (aspecto que apunta a un fenómeno que se reclama actualmente en el ámbito de formación de competencias, como es el de desfragmentación de la enseñanza), y la adaptabilidad y flexibilidad del profesorado para atender las necesidades del alumnado.

En un estudio más reciente, Clayson (2009), también desde una perspectiva de  validación, analiza la relación entre ambas variables: resultados de aprendizaje y  opiniones sobre el profesorado recabadas a partir de encuestas de opinión al alumnado. La revisión de las investigaciones, a partir de un meta-análisis, pone de manifiesto que la relación entre ellas es media y, en todo caso, tiene una fuerte dependencia situacional, y por tanto no es  aplicable a todo el profesorado, materias o niveles de docencia. Adicionalmente, el autor señala que cuanto más objetivamente se evalúa el nivel de rendimiento o aprendizaje del alumnado, su relación con la evaluación del profesorado a partir de opiniones de estudiantes es menor. Lo que pone de manifiesto que las calificaciones emitidas por el profesorado, sin duda incluyen, otros factores más allá de los que hacen estrictamente referencia al nivel de aprendizaje real obtenido por los estudiantes.

En cualquier caso, y siguiendo a diversos autores (Millman, 1981; De la Orden, 1990; Rueda, 2009; González Such, 1998, 2003; Tejedor, 2003; Murillo, 2011), si bien es obvio que la actuación del docente es un elemento fundamental para que el alumnado consiga niveles de aprendizaje adecuados, también es cierto, que basar la evaluación del profesorado únicamente en los resultados de aprendizaje, como poco, es una práctica deficiente a nivel técnico.
Como señala De la Orden (1990), el producto educativo, o rendimiento de los estudiantes, es consecuencia de un conjunto de factores, es decir, es de carácter multidimensional. Las calificaciones que obtienen los estudiantes son una función de:

• Las características de los estudiantes.
• Las condiciones de enseñanza (tamaño clases, tipo de disciplina, carácter obligatorio u optativo de la misma, ciclo y curso que imparte, etc.).
• Características del profesor (experiencia docente, producción investigadora, amplitud y profundidad de conocimientos y métodos de enseñanza).
• Personalidad.

Por ello, el carácter multidimensional que envuelve el logro de aprendizajes adecuados (en el que se involucran factores individuales –personales del alumnado y del profesorado-, y situacionales), requiere un enfoque de evaluación más globalizador, en el que se integren diversas fuentes y evidencias acerca de la actuación docente.

Desde un punto de vista positivo, constituye un reconocimiento del rol del profesorado, de forma que se entiende que su intervención es clave –o incluso la clave- para que los estudiantes alcancen los niveles de desempeño previstos en el programa de aprendizaje. Esta posición, sin duda, reclama un incremento del compromiso docente con los resultados de aprendizaje individuales y colectivos, así como  un mayor reconocimiento acerca de la imagen y consideración social del profesorado –ver figura 2-.

Por el contrario, como aspectos negativos, podemos comentar al menos los siguientes:

• El alumnado no puede considerarse como un ser pasivo, consecuencia únicamente de la intervención docente. Sus características personales y sus circunstancias –personales y sociales-, así como los elementos situacionales, condicionan de forma clara sus resultados.
• Desde un punto de vista institucional, es obvio que cuando se organiza en función de resultados (por ejemplo, teniendo en cuenta tasas de éxito) se condiciona al profesorado en su función evaluadora, haciéndolo alejarse de procesos criteriales de valoración del desempeño, y acercándolo a posiciones normativas. Desde un punto de vista metodológico, es claro que la forma más adecuada de evaluar el logro académico es el que toma como referencia criterios absolutos de calidad del desempeño (¿qué competencia real tiene el alumnado?), y no posiciones relativas al funcionamiento del grupo de clase (¿en una materia se tiene más o menos éxito que en otras de la misma titulación?). Estas consideraciones es importante realizarlas, dado que asumir las tasas como referencia puede afectar directamente a  la libertad docente, máxime cuando se vinculan las mismas a modelos de financiación institucional, o a recompensas salariales o de promoción individual del profesorado.

Por otra parte, hay que ser consciente de que puede darse una variabilidad real entre las tasas de diversas disciplinas de una misma titulación y/o nivel que no necesariamente se deban a la acción docente. Pueden deberse a múltiples factores; sin embargo, mencionaremos aquellos que nos parecen más relevantes y que se observan en la práctica habitual de la docencia, aunque no formen parte de estudios habituales en este sector:

1. Diferencias en los intereses del alumnado respecto a una materia y/o a su ajuste al perfil general del alumnado de la titulación. Por ejemplo, es un fenómeno habitualmente constatado que en titulaciones del área de CC. Sociales y/o de Humanidades, materias de tipo técnico-instrumental (vgr. Estadística, Metodología de investigación, Medición, Aplicaciones informáticas…), se ajustan menos al perfil de intereses del alumnado, por lo que suelen tener tasas de éxito menores que otras vinculadas a contenidos de las disciplinas genéricas y/o aplicadas a las que se dirigen las titulaciones.
2. Asimismo, la experiencia en evaluación institucional pone de manifiesto que se da una gran influencia de elementos situacionales y/o contextuales, tanto de aquellos que pueden considerarse definitorios de las condiciones físicas (medios, horarios, materiales disponibles en las clases…) en que se desarrolla la docencia, como de otros referidos a elementos acerca de la coherencia teórico-metodológica-práctica de las materias. Por ejemplo, es difícil que en una titulación como Pedagogía, si en las materias de contenidos teóricos la tendencia global del profesorado se alinea con una posición epistemológica de tipo cualitativo (e incluso anti-cuantitativo, tal como se observa desgraciadamente con frecuencia), es difícil que en otras materias, como las de metodología cuantitativa (vgr. Estadística Aplicada a la Educación), se pueda llegar a tasas de éxito similares a las del conjunto de las materias de contenidos teóricos, teniendo probablemente las materias metodológicas menor nivel de éxito en la titulación. Un elemento contextual como el que hemos descrito puede resultar un condicionante decisivo para el ejercicio de la docencia en las materias metodológicas, y en consecuencia perjudicaría al profesorado de las materias metodológicas si se les evalúa en función de los resultados del alumnado.
3. Asimismo, está constatado que se dan diferentes niveles de exigencia entre instituciones. La cultura de exigencia institucional también condiciona en gran medida, los niveles de desempeño que el profesorado acaba exigiendo. Un comportamiento disonante (más indulgente o más exigente), en este sentido, además de problemas organizacionales, sin duda conllevan consecuencias -positivas o negativas- para el profesorado que se aparta de lo convencional. Por ello, la imputación de resultados de aprendizaje al profesorado es siempre un riesgo metodológico, que puede incluir sesgos importantes, y a la par se puede convertir en un problema ético.
• En otro orden de cosas, cuando nos referimos a los indicadores subjetivos (satisfacción en el alumnado), se basa en la percepción del alumnado (y/o profesorado y otros agentes) acerca de la aportación del profesorado al logro de objetivos formativos. El alumnado es probablemente un buen agente (aunque no para todas las dimensiones de la misma) como observador directo de la acción docente, y tiene una aprovechable posición para informar acerca de la actuación del profesorado, dado que mantiene una relación permanente durante el desarrollo de la materia con el docente (González-Such, Jornet, Pérez Carbonell y Ferrández, 1994).

Ya hemos comentado anteriormente la relación media constatada entre las evaluaciones basadas en opiniones de estudiantes, y sus resultados de aprendizaje. Como elementos negativos de esta opción, se pueden señalar los siguientes:

1. En cualquier caso, también es cierto que existen suficientes evidencias acerca de que el alumnado tiende a evaluar al profesorado de manera global, de forma que la satisfacción con la formación recibida puede ser no sólo expresión de las adquisiciones reales que el alumnado aprecie que ha obtenido en el proceso de enseñanza-aprendizaje, sino también de otros factores que se dan en el proceso. Las fuentes de sesgo también son múltiples.
2. En este sentido, la incidencia de factores psico-socio-afectivos en la relación profesor/alumno está constatado que constituyen un influjo importante, que influye directamente en la valoración que el estudiante realiza a través de las escalas usuales de evaluación de profesorado.
3. Finalmente, señalar que el hecho de considerar este tipo de indicadores de opinión de estudiantes, puede inducir al profesorado a establecer estrategias de recompensa en calificaciones; es decir, ante las dificultades encontradas en un grupo, el profesorado puede aportar mejores calificaciones, para dulcificar la evaluación que el alumnado realice de su actividad, o bien, puede castigar al grupo imponiéndoles mayores niveles de exigencia.

Figura 2. Síntesis de elementos positivos y negativos acerca del hecho de considerar los resultados de aprendizaje para la evaluación del profesorado

3. ALTERNATIVAS PARA EL USO DE INDICADORES DE RESULTADOS DE DESEMPEÑO DEL ALUMNADO PARA LA EVALUACIÓN DEL PROFESORADO

En este apartado aportamos algunas reflexiones acerca de posibles alternativas metodológicas que puedan utilizarse para integrar de una manera más positiva los resultados de aprendizaje en la evaluación del profesorado. Para ello, haremos mención a algunas consideraciones derivadas de la introducción de los estudios de valor añadido en la investigación educativa, y posteriormente, presentaremos una reflexión acerca del concepto de contextualización, como referencia para identificar criterios de utilización de los niveles de desempeño como indicador, y una propuesta de fases de actuación para su implementación en un enfoque de evaluación.

3.1. De la investigación a la evaluación: las aportaciones del enfoque de valor añadido

Murillo (2011) presenta un trabajo esclarecedor acerca de los componentes de la enseñanza eficaz. Entre otras cuestiones, señala que…

“los factores del contexto nacional o regional (la formación inicial y permanente, las condiciones económicas y laborales, las posibilidades de desarrollo profesional, las características del centro en el que desarrolla su trabajo el docente (el clima escolar, la dirección o la participación de las familias), así como sus características, conocimientos y valores inciden en su comportamiento y, con ello en el aprendizaje de los estudiantes. Desde esa perspectiva lógica, parece claro que los resultados brutos de los estudiantes no aportan información ni sobre la eficacia del docente, y mucho menos las calificaciones que ellos otorgan.”

De este modo, se resalta el influjo situacional y contextual, como un elemento clave para la actuación docente y, en consecuencia, para el logro de resultados de aprendizaje. Este hecho no quiere decir que no deban considerarse en absoluto los resultados en relación a la intervención docente. Desde una perspectiva de investigación, el mismo autor sugiere las aportaciones que pueden realizarse desde la perspectiva de análisis del valor añadido, que ha ido irrumpiendo en los estudios de sistemas educativos, como un marco conceptual y metodológico que pudiera aportar mejor información acerca de los factores asociados al aprendizaje. Así, Murillo (2011) señala:

“Habría que caminar hacia una lógica del valor añadido (Gordon, Kane y Staiger, 2006; Martínez Arias, 2009; Murillo, 2010), en la que se considere, entre otros aspectos, la aportación real del docente al aprendizaje teniendo en cuenta no sólo las condiciones de partida del alumno, sino también el contexto político, social y escolar en el que desarrolla su trabajo. De ahí la importancia de que el aprendizaje de los estudiantes sea en todos los aspectos de su personalidad, es decir, impacte en su desarrollo integral y que una enseñanza es eficaz si consigue que todos y cada uno de sus alumnos aprendan. Incluso, se espera que ese valor añadido pueda contribuir a la Justicia Social”.

Esta línea que señala Murillo (2011) está ya siendo objeto de investigación, a la par que se incrementa el interés acerca del uso de resultados de aprendizaje de los alumnos para evaluar al profesorado de manera individual, tanto en niveles pre-universitarios (Primaria y Secundaria) como universitarios.

De hecho, en Estados Unidos de Norteamérica (USA) el enfoque de valor añadido para evaluar al profesorado está teniendo un fuerte impacto. Las expectativas que crean los análisis de valor añadido, reavivan la posibilidad (conveniente o inconveniente) de considerar los resultados de aprendizaje de los alumnos para evaluar al profesorado.Así, se observa por un lado el interés político por incorporar estos avances, junto a posiciones científicas que reclaman la cautela acerca de su uso, en especial para la toma de decisiones sumativas (como por ejemplo, la promoción, el incremento o revisión salariales, etc…). En este sentido, en una entrevista concedida recientemente al Washington Post, Susan H. Fuhrman, Presidenta de la National Academy of Education y del Teachers College, Columbia University, señala el interés de la Administración del Presidente Barak Obama en el Blueprint for Reform, para que se incluyan los resultados de aprendizaje para evaluar a los profesores de educación primaria y secundaria. Así, S.H. Fuhrman indica que la Administración norteamericana respalda esta propuesta precisamente en el papel que pueden aportar los análisis de valor añadido, dado que puede ser muy importante para poder llegar a controlar las diferencias en el rendimiento atribuibles a la acción docente y diferenciarlas de las que puedan ser efecto de otros factores ajenos al profesorado.

Sin embargo, también como S.H. Fuhrman manifiesta no es lo mismo utilizar el enfoque de valor añadido para analizar factores asociados al rendimiento en el marco de un propósito investigador, que para el uso evaluativo, y más con carácter sumativo. Ya en 2008 el National Research Council presentó un informe (financiado por la Carnegie Corporation of New York) al respecto, alertando de los posibles factores que incidían en la falta de adecuación de aplicaciones del enfoque de valor añadido para evaluar al profesorado. Revisaban varios factores. Entre ellos, el más delicado es el que se refiere al hecho de que analizar el valor añadido que puede aportar la actuación docente hace falta utilizar como referencia una evaluación externa, basada en pruebas estandarizadas convenientemente diseñadas y calibradas, de manera que puedan constituir un elemento indudable de referencia para comparar los niveles de rendimiento del alumnado que proviene de diferentes contextos. Si en un contexto como el estadounidense, en el que las pruebas estandarizadas constituyen un objeto de estudio importante para investigadores y especialistas, se alerta acerca de esta problemática, si se quisiera aplicar en otros países con menos tradición en medición, aún sería necesario tomar con mayor cautela estas consideraciones que realiza buena parte de la comunidad científica.

De hecho la tendencia política de considerar los resultados de aprendizaje para evaluar al profesorado se ha extendido de manera alarmante, y en especial en contextos socio-educativos en los que las pruebas que se podrían utilizar como referencia para este tipo de usos no están desarrolladas –o aplicadas- con el mismo nivel de control de calidad. Nos referimos, a países iberoamericanos (por ejemplo, México) o a España, en los que la existencia de algunas pruebas censales ha abierto a los políticos esta posibilidad de uso. El problema en estos casos es que, aunque las pruebas técnicamente puedan estar bien diseñadas, y metodológicamente muy bien estudiadas, su aplicación para usos evaluativos no tiene suficientes garantías en aspectos sustanciales para el aprovechamiento de la información; por ejemplo, si no se asegura una información recogida con las máximas garantías de objetividad (por medio de aplicadores experimentados y especializados) es difícil pensar que se puedan utilizar para evaluar al profesorado. En cualquier caso, si las pruebas censales que se han ido desarrollando para ofrecer información acerca del sistema educativo y que no tienen un alto grado de control en su aplicación, se llegaran a utilizar para evaluar al profesorado, se introduciría un factor importante que podría promover el mal uso de las pruebas pervirtiendo en definitiva el procedimiento y rebajando su validez. Por ejemplo, sería muy difícil controlar que el profesorado no preparara a sus alumnos para responder a las pruebas, o incluso que no influyera directamente en los resultados; se tendrían que extremar las medidas de control en la recogida de información, lo cuál es un aspecto altamente complejo y conlleva un elevado coste en la logística de administración de las pruebas censales.

De manera adicional, existen otros factores cuyo efecto no es posible estudiar, o bien no es factible identificar, a partir de esta metodología. Nos referimos, por ejemplo, a: el papel diferencial de la motivación de los estudiantes, el efecto que en el desempeño en una materia hayan podido contribuir las intervenciones de otro profesorado de otras materias diferentes, el influjo diferencial de los estilos educativos familiares, la influencia del grupo de iguales, etc…Identificar, a partir de este tipo de análisis, lo que aporta un solo profesor para el incremento en el aprendizaje de sus estudiantes es aún un deseo, no una realidad.

A ello hay que añadir problemas técnicos de los propios análisis. Aunque están siendo objeto de atención por buena parte de los mejores investigadores de la disciplina, ciertamente todavía existen muchos puntos oscuros, preguntas por responder:

• ¿La unidad de análisis de la prueba estandarizada –el reactivo, o la puntuación total- hasta qué punto es isomórfica respecto a la variación cualitativa del aprendizaje que pretenden reflejar?
• ¿El tamaño del efecto que se observa a partir del análisis –que supuestamente refleja el incremento en aprendizaje de los alumnos- podemos interpretarlo igual con independencia del tamaño del grupo, o del tipo de alumnado?
• ¿En qué medida afectan defectos habituales que se observa en pruebas estandarizadas, como por ejemplo los denominados efectos de techo o suelo, para detectar el cambio?
• ¿Con qué resultado nos quedamos cuando, por ejemplo, observamos a partir de dos o más procedimientos de análisis de valor añadido que se identifican diferentes niveles de impacto (valor añadido) atribuibles a un mismo profesor en el mismo grupo de alumnos?
• ¿Cómo podemos interpretar el hecho de que un mismo profesor pueda mostrar diferencias en sus niveles de efecto en diferentes grupos, o en años consecutivos,  en la misma materia y contexto escolar…?

Este tipo de dudas ya han sido planteadas por otros investigadores a partir de estudios realizados al efecto (McCaffrey, Sass y Lockwood, 2008, Briggs, Weecks y Wiley, 2008, Board on Testing and Assessment –BOTA-, 2009).

De forma adicional, existen factores determinantes que afectan a la validez de cualquier evaluación y que deberán ser considerados si se pretende utilizar esta metodología para evaluar al profesorado. Así, por ejemplo, se requiere –como señalamos anteriormente- que exista una prueba bien diseñada y analizada en sus fuentes de error (en este caso debería apoyarse especialmente en estudios basados en Teoría de la Generalizabilidad), una logística de la evaluación que ofrezca garantías suficientes acerca de la calidad de los datos recogidos, un operativo de análisis suficientemente preparado y riguroso como para poder extraer la información atribuible al profesorado con suficiente fiabilidad y validez.

Las ventajas que pueden aportarnos los enfoques de análisis de valor añadido en la investigación educativa para la identificación de factores de eficacia escolar, y en consecuencia para el diseño de programas e instituciones más eficaces, pueden ser muy importantes y abren el campo estudio hacia líneas de investigación que sin duda resultarán más fructíferas (Murillo, 2011; Martínez Arias, Gaviria y Castro, 2008).

Sin embargo, aprovechar esta metodología no es, al menos de momento, posible: no está suficientemente desarrollada para que pueda integrarse en evaluaciones de profesorado, máxime cuando se pretende tomar a partir de ellas decisiones de alto impacto para las personas. Por desgracia, es fácil comprobar que en muchas ocasiones la posible utilidad o rentabilidad política de muchas metodologías, atraen a políticos y administradores a forzar su utilización. En este sentido, es la comunidad científica la que debe comprometerse –debemos comprometernos- en señalar los límites y usos, para que no hayan aplicaciones que atenten contra la justicia y equidad que, en definitiva, debe aportarse desde cualquier hecho evaluativo.

Entonces… ¿nos olvidamos de los resultados de aprendizaje para evaluar al profesorado? Creemos que no. Sería negar el rol y la importancia que tiene el profesorado, pero su integración debe realizarse en un enfoque multidimensional de indicadores, en el que tenga un peso relativo y, pueda basarse, en cualquier caso, en indicadores que estén adecuadamente contextualizados. Por ello, para concluir esta presentación haremos alguna referencia a factores que debemos tener en cuenta para contextualizar la información de resultados de aprendizaje, si se pretende integrar esta información en la evaluación del profesorado.

3.2. Contextualizar para evaluar

El criterio general que puede apoyar una utilización adecuada de este tipo de indicadores para la evaluación docente es la contextualización; es decir, en cualquier caso no se deberían utilizar como indicadores aislados, pues cada asignatura está sujeta a contextos docentes diferenciados que inciden directamente en los niveles de logro del alumnado. De este modo, deben diseñarse los elementos contextuales que permitan interpretar de forma adecuada estos indicadores; es decir, para utilizar indicadores de desempeño de los estudiantes en la evaluación del profesorado, es necesario que estén siempre convenientemente contextualizados en función de otros indicadores que sean la base para interpretar de forma adecuada los logros o desempeños que muestran los estudiantes. Como criterios generales de contextualización, podemos señalar los siguientes:

3.2.1. Organizacionales

Los indicadores que pongan de manifiesto la cultura de exigencia institucional, como por ejemplo: medias, tasas y/o ratios relativas a:

• La materia o disciplina que se evalúa, estudiada respecto a la titulación, tipología de materia (por ejemplo, obligatoria/optativa, tipología de contenido –teórico/práctico; teórica/instrumental o metodológica/aplicada-…).
• Condiciones en que se imparte la docencia: ratio nº alumnos/profesor, adecuación de medios materiales en las aulas para su impartición, horario, etc…

3.2.2. Del alumnado

Nivel de desempeño del alumnado en la materia en relación con su historial de logro, en la titulación en general, en otras materias similares en cuanto a consideraciones organizacionales (tipología de materia, condiciones en que se imparte, etc…).

3.2.3. Del profesorado

1. La experiencia docente constituye un indicador de referencia con el que comparar la evaluación del profesorado con la de sus grupos de iguales. Se pueden identificar distintos tipos de indicadores, desde la expresión de la experiencia en función del número de años dedicados a la docencia en el nivel en que se le valora (pre-universitario/ universitario), hasta otros que pueden tener incidencia en lo que podríamos denominar como Calidad de la Experiencia, que podría reflejarse a partir de: la formación pedagógica que ha recibido cada profesor, su status o categoría docente, el número de materias de la misma especialidad (o diferentes) que haya impartido el profesorado en su historial académico, relación de su especialización investigadora con la materia impartida, implicación en procesos de innovación, desarrollo de materiales y actividades especialmente diseñadas para la mejora de la docencia, etc…No se trata de basarnos en el hecho de que estar muchos años ejerciendo como docente asegura la calidad, sino en que hayan sido buenos los años que se ha estado ejerciendo como docente.
2. Otro elemento que puede ayudar a contextualizar los niveles observados son:
   • Historia de logro en la asignatura: se trata de analizar la estabilidad o variabilidad de los niveles de desempeño obtenidos por el alumnado en un periodo de años determinado (por ejemplo, el rendimiento en los últimos 5 años),
   • Análisis diferencial de los niveles de desempeño observados en el alumnado, en la misma disciplina impartida por profesorado diferente. Este indicador no siempre es posible de considerar, dado que únicamente en grandes universidades es posible que se den materias por diferentes profesores.

Más allá de los criterios mencionados, estimamos que considerar el desempeño del alumnado como indicador de la calidad del profesorado puede asumirse si se integra en un proceso de evaluación mixta (formativa/sumativa). Se trata de considerar la evaluación no sólo como un hecho administrativo que finaliza emitiendo un juicio de valor acerca de la calidad del profesorado, sino que se integra en un conjunto de acciones de carácter institucional, que aporten el valor agregado del uso de la información para la mejora del profesorado individual y colectivo de la institución. Actualmente, considerando las aportaciones de las nuevas tecnologías de información es posible utilizar mejor la información, integrando mayor número de indicadores en los procesos de evaluación, y facilitando el uso de la misma para diferentes propósitos (Jornet, González-Such y García Bellido, 2012).

El proceso a desarrollar, para la evaluación docente integrando como indicador el desempeño del alumnado (en cualquiera de las expresiones de indicadores que hemos comentado), puede estructurarse la siguiente manera:

1. Identificación empírica de Casos Extremos (Outliers). Se trata de identificar al profesorado que se aparta de la norma de exigencia de la titulación, considerando, a su vez, los criterios de contextualización que hemos comentado anteriormente. Para ello, es necesario:
   • Establecer rangos (basados en diversos niveles de probabilidad –por ejemplo, al 0.05 y 0.01) para identificar aquellos profesores con los que los niveles de desempeño estén por encima o por debajo de lo habitual en el contexto de la cultura de exigencia institucional descrita en función de los criterios mencionados.
   • Análisis longitudinal intra-asignatura e inter-asignaturas. Este tipo de aproximación, puede ayudar a completar la contextualización que hemos venido comentando, al permitir observar si los niveles observados en una asignatura se pueden considerar estables o variables a lo largo del tiempo, y si tienen un carácter diferencial especifico respecto a algunas asignaturas de la misma o diferente tipología.
2. Estudio cualitativo de casos extremos. Una vez identificados los profesores que puede entenderse que sus estudiantes presentan desempeños fuera de la cultura de exigencia institucional, se trata de investigar los posibles motivos o causas que puedan explicarlos. Habitualmente este tipo de informaciones se suele recabar, en un enfoque administrativo de evaluación, mediante auto-informe del profesorado. No obstante, entendemos que el valor formativo de este tipo de información se maximiza si se analizan las desviaciones observadas por parte de un asesor/a de evaluación o en su caso de un comité (evaluador, especialistas asignatura…) en colaboración con el profesor/a implicado. Ello no sólo ayuda a mejorar los elementos explicativos, sino que puede coadyuvar a establecer un plan de intervención que permita abordar medios de mejora de la situación.

En síntesis, la metodología de identificación, se basa en:

• comités de especialistas, que…
• trabajan a partir de información empírica, pero establecen las puntuaciones de corte de modo criterial, para llegar a un…
• consenso intersubjetivo
3. Integración de esta información en la evaluación docente. En cualquier caso, los niveles de desempeño observados en el alumnado pueden considerarse una parte de la información que se utilice para evaluar la calidad docente del profesorado, pero nunca la única información. Su peso, variable, según lo establezca la institución universitaria, sin embargo, no debería ser superior a otros componentes de evaluación que informen acerca del proceso con que el profesorado desarrolle su tarea.

4. NOTAS FINALES

Si bien la inclusión de resultados de aprendizaje como indicador de la calidad de la docencia que imparte el profesorado es un planteamiento que podemos catalogar en un enfoque economicista, derivado de modelos de evaluación institucional, también es cierto que el rol del profesorado es importantísimo como elemento para asegurar la calidad del aprendizaje a que llegue el alumnado. Este aspecto, no puede obviarse. En cualquier caso, ha de asumirse como un elemento de valorización de la acción docente.

Sin embargo, en la actualidad, en la que las presiones políticas y sociales enfatizan el uso de los niveles de rendimiento del alumnado para evaluar al profesorado, es preciso adoptar una posición abierta y crítica, respecto a la capacidad científico-técnica de la que hoy disponemos para trasladar los avances que se han ido realizando en el ámbito de la metodología de la investigación educativa, para usos evaluativos. No se puede trasladar sin una profunda reflexión y análisis técnico de las condiciones y modos en que se utiliza para la evaluación del profesorado. Hay que tener en cuenta que las decisiones que se quieren sustentar políticamente, en la mayor parte de las veces, se refieren a las personas, el profesorado, y afectan directamente a su salario, mantenimiento y promoción en la carrera docente. Son decisiones de gran trascendencia, para las que los especialistas de evaluación debemos comprometernos ofreciendo lo mejor que científica y metodológicamente se pueda aportar, pero siempre desde un marco ético, que debe situarse por delante de cualquier otra consideración. No podemos ser cómplices de malos –o deficientes- usos. Así, téngase en cuenta que considerar los resultados de aprendizaje como efecto únicamente imputable al profesorado, atenta contra dos principios básicos de la evaluación:

• Justicia: La responsabilidad final del resultado educativo es multicausal (depende de diversos factores, circunstancias, y situaciones, que deben ser convenientemente consideradas).
• Equidad: las condiciones con que el profesorado de una región, país o Estado, -o incluso en una misma institución- ejerce la docencia, no son iguales. Existen fuertes diferencias que condicionan el logro de objetivos. Este hecho también debe ser considerado.

Por ello, sólo en el rigor con que se utilicen los medios disponibles, y en la prudencia y cautela en su uso para la toma de decisiones, podremos basar el desarrollo de evaluaciones verdaderas, y contribuir con ello, como señalaba Murillo (2011), a mejorar la justicia social.

 

REFERENCIAS BIBLIOGRÁFICAS

ANECA (2008). Docentia. Programa de apoyo para la evaluación de la actividad docente del profesorado universitario. Consultado en: http://www.aneca.es/var/media/165852/docentia_2008_convocatoria_080229.pdf.
Arreola, R.A. (1979): Essential Components of a Faculty Evaluation System. Tallahassee: Florida State University.

BOTA (2009). Letter Report to the U.S. Departament of Education on the Race to the Top Fund. Consultado en la web de The National Academies Press: http://www.nap.edu/catalog.php?record_id=12780.

Briggs, D. C., Weeks, J. P. y Wiley. E. (2008) The Impact of Vertical Scaling Decisions on Growth Projections. Encuentro Annual de The National Council for Measurement in Education Annual Conference, Nueva York, 26 de marzo.

Clayson, D. (2009). Student Evaluations of Teaching: Are They Related to What Students Learn? A Meta-Analysis and Review of the Literature. Journal of Marketing Education. 31(1), pp. 16-30.

Cohen, P. (1981). Student ratings of instruction and student achievement: A meta-analysis of multisection validity studies. Review of Educational Research. 51(3), pp. 281-309.

De la Orden, A. (1990). Evaluación, selección y promoción del profesor universitario. Revista Complutense de Educación., 1(1), pp. 11-29.

García Valcárcel, A. (1991). El comportamiento de los profesores universitarios en el aula. Studia Pedagógica. 23, pp. 135-153.

García-Valcárcel, A. (1992). Características del buen profesor universitario según estudiantes y profesores. Revista de Investigación Educativa. 19, pp. 31-50.

González Such, J. (1998). Evaluación de la Docencia Universitaria. Valencia: Universitat de València.

González Such, José (2003). Modelos, procedimientos e instrumentos de evaluación de la actividad docente. Educación Médica, 6 (3), pp. 20-21.

González Such, J., Jornet, J.M., Pérez Carbonell, A. y Ferrández, M.R. (1994): Factores intervinientes en la valoración del profesor por parte del estudiante. Revista de Investigación Educativa, 23, pp. 292-300. Consultado en: http://www.uv.es/gem/archivos/RIE231994a.pdf.

Gordon, R., Kane, T.J. y Staiger, D.O (2006). Identifying Effective Teachers Using Performance on the Job. Washington, DC: The Brookings Institution.

Jornet, J., González-Such, J. y García-Bellido, M.R. (2012): La investigación evaluativa y las Tecnologías de la Información y la Comunicación (TIC): Revista Española de Pedagogía, año LXX, (251), pp. 93-110.

Jornet, J., Villanueva, P., Suarez, J. y Alfaro, I. (1987): Proyecto de Implantación de un sistema de Evaluación del Profesorado en la Universidad de Valencia. En Varios (eds.), Consideraciones Metodológicas sobre Evaluación y mejora de la docencia universitaria. Valencia: Servei de Formació Permanent. Universitat de València.

Martínez Arias, R. (2009). Usos, aplicaciones y problemas de los modelos de valor agregado en educación. Revista de Educación. 348, 217-250.

Martínez Arias, R., Gaviria, J. y Castro, M. (2008). Concepto y evolución de los modelos de valor añadido en educación. Revista de Educación. 348, pp. 15-45. Consultado en: http://www.revistaeducacion.mec.es/re348/re348_01.pdf.

McCaffrey, D.F., Sass, T.R., and Lockwood, J.R. (2008). The intertemporal effect estimates. Ponencia presentada en el National Conference on Value-Added Modeling, Madison, 22-24 de abril.

Millman, J. (Ed.) (1981). Handbook of Teacher Evaluation. Beverly Hills, Calif.: Sage.

Murillo, F.J. (2010). ¿Quiénes son los Responsables de los Resultados de las Evaluaciones?: Hacia un Planteamiento de Valor Agregado en Educación. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 8 (4), pp. 3-9.

Murillo, F.J. (2011). Hacer de la Educación un ámbito basado en evidencias científicas. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. 9 (3), pp. 1-11.

Niemi, H. y Jukku-Sihvomen, R. (2009). El currículo en la formación del profesorado de Educación Secundaria. Revista de Educación, 350, pp. 173-202. Consultado en: http://www.revistaeducacion.mec.es/re350/re350_08.pdf.

Rueda, M. (2009). La evaluación del desempeño docente: consideraciones desde el enfoque por competencias. Revista Electrónica de Investigación Educativa, 11 (2). Consultado en: http://redie.uabc.mx/vol11no2/contenido-rueda3.html.

Salvador, L. (1997). Evaluación institucional universitaria en Europa y América Latina. Revista Española de Pedagogía, 208, pp. 429-444.

Scriven, M. (2011). Evaluation evaluations: a meta-evaluation checklist. Consultado en la web de Michael Scriven: http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf.

Tejedor, F. J. (1985). Problemática de la enseñanza universitaria. Revista de Investigación Educativa, 6, pp. 322-337.

Tejedor, F. J. (1995). La evaluación de la calidad de la enseñanza en el marco de la evaluación institucional. Ponencia presentada en el Congreso sobre Evaluación Educativa, Facultad de Humanidades, La Coruña, España.
Tejedor, F. J. (1997). La evaluación institucional en el ámbito universitario. Revista Española de Pedagogía, 208, pp. 413-428.

Tejedor, F. (2003). Un modelo de evaluación del profesorado universitario. Revista de Investigación Educativa. 21(1), pp. 157-182.

Tejedor, F. J. y Jornet, J. M. (2008). La evaluación del profesorado universitario en España. Revista Electrónica de Investigación Educativa, Especial. Consultado el 5 de septiembre de 2011, en: http://redalyc.uaemex.mx/pdf/155/15511127005.pdf.

Tejedor, F., Jato, E. y Minguez, C. (1987). Evaluación del Profesorado Universitario por los alumnos en la Universidad de Santiago. En Consideraciones Metodológicas sobre la Evaluación y Mejora de la Docencia Universitaria. Valencia, Servei de Formació Permanent, Universitat de València.

Valdés, H. (2000). Evaluación del Desempeño docente. Ponencia presentada en el Encuentro Iberoamericano sobre Evaluación del Desempeño docente. México, 23 al 25 de mayo. Consultado en: http://www.campus-oei.org/de/rifad01.htm.