El contenido de esta página requiere una versión más reciente de Adobe Flash Player.

Obtener Adobe Flash Player

El contenido de esta página requiere una versión más reciente de Adobe Flash Player.

Obtener Adobe Flash Player

       
.2012 - Volumen 5, Número 2
 
     
Evaluación de la Actividad Docente Universitaria Considerando la Percepción que los Estudiantes tienen de sus Compañeros
 

Ma. Isabel Dorta-González y Pablo Dorta-González

 

Es indudable que la educación tiene gran influencia en el desarrollo económico y social de los países. Sin embargo, los recursos que pueden destinarse son limitados, de ahí la necesidad de evaluar la actividad docente y sus resultados. En este proceso de evaluación, los cuestionarios de satisfacción de los estudiantes constituyen una herramienta fundamental (Harvey, 2003), de los que existen modelos recientes (Frick y otros, 2009; Kember y Leung, 2009). Aunque el principal propósito de la evaluación es la mejora del proceso de enseñanza y aprendizaje, se emplea también de forma creciente en la promoción, reconocimiento y remuneración del profesorado (Denson y otros, 2010).

Aunque la evaluación de la docencia por parte de los estudiantes es un tema ampliamente estudiado (ver revisiones de Algozzine y otros, 2004; Clayson, 2009; Wachtel, 1998), no existe consenso acerca de la validez del proceso (Clayson, 2009; Kogan y otros, 2010). Algunos autores señalan la necesidad de cambiar el procedimiento anónimo por otro confidencial (Kogan y otros, 2010; Wright, 2006). Según estos autores, en un procedimiento anónimo los estudiantes no son responsables de sus evaluaciones y no es posible contrastar los resultados. Por ejemplo, no hay forma de establecer si los estudiantes que dieron evaluaciones más bajas estuvieron presentes en la mayor parte de las clases y tuvieron un buen aprovechamiento de las mismas. Por el contrario, en un procedimiento confidencial si es posible contrastar los resultados.
La evaluación de la actividad docente universitaria se viene desarrollando en España desde mediados de los ochenta. Esta evaluación se realiza a través de dos enfoques centrados en el criterio de eficacia docente, utilizando indicadores de rendimiento y cuestionarios para conocer la opinión de los estudiantes, y en el criterio de excelencia docente, que considera los procesos de mejora e innovación introducidos por el profesorado. Sin embargo, la existencia de varios enfoques para evaluar la actividad docente oculta la falta de consenso respecto a los mejores indicadores para medir el impacto de la actividad del profesorado.

En este contexto de evaluación de la docencia universitaria surge la siguiente pregunta, ¿por qué no utilizar las encuestas de satisfacción para estimar también la competencia de los estudiantes como evaluadores, y poder medir, de forma fiable, el impacto de una acción docente?

Desde el punto de vista estadístico, tiene interés la identificación y corrección del sesgo producido por aquellos datos que se alejan del promedio (outliers). Por otro lado, es razonable pensar que la opinión de dos estudiantes pueda tener diferente valor estadístico. Por estos motivos, como alternativa a la satisfacción media, que es el indicador que suele emplearse como resultado de las encuestas, en este trabajo se propone un indicador de satisfacción ponderada, que utiliza la propia opinión de los encuestados para determinar el peso del resultado de cada encuesta.

Esta metodología es viable desde el punto de vista técnico. Las aplicaciones informáticas que suelen emplearse con este propósito, pueden desplegar también los nombres de todos los estudiantes matriculados en la asignatura. No sería costoso para los encuestados, marcar un número indeterminado de estas casillas. Este nuevo ítem preguntaría a los encuestados sobre qué estudiantes considera competentes para valorar la acción docente en base, entre otros, a criterios como la asistencia regular a clase (en el caso de la educación presencial), el buen aprovechamiento de la misma, etc.

1. PONDERACIÓN DE EVIDENCIAS Y EVALUACIÓN DEL DESEMPEÑO DOCENTE UNIVERSITARIO EN ESPAÑA

La Ley de Reforma Universitaria (LRU) de 1983 estableció que la evaluación del desempeño docente era competencia de cada universidad. En 1989 se aprobó la normativa que consideraba un componente por méritos docentes en el complemento específico, para aquellos profesores evaluados positivamente (tramo docente o quinquenio). Sin embargo, esta evaluación no llegó a incentivar al docente en la mejora de su desempeño y acabó convirtiéndose en un mero formalismo por el que todos obtenían la evaluación positiva.

La Ley Orgánica de Universidades (LOU) de 2001 otorga a las agencias del Estado (ANECA, CNEAI y ANEP) y de las Comunidades Autónomas las funciones de evaluación, certificación y acreditación. Mantiene como complemento económico los tramos docentes, aunque éstos se obtienen simplemente al cumplir cinco años de docencia. La evaluación del desempeño docente es promovida por la  ANECA a través del Programa de Apoyo a la Evaluación de la Actividad Docente del Profesorado (Docentia). La mayoría de las universidades ha dirigido sus procedimientos de evaluación a la mejora de la actividad docente y promoción del profesorado. En algunos casos, se vincula además con la obtención de complementos retributivos autonómicos.

El papel del estudiante como fuente de información, a la hora de evaluar la acción docente del profesorado, normalmente adopta dos formas: una indirecta, utilizando su rendimiento; y otra directa, solicitando explícitamente su opinión al respecto. En el ámbito de la universidad, la primera forma es considerada excesivamente simplista, ya que el rendimiento académico de un alumno universitario depende de múltiples variables y sólo algunas de ellas se ven afectadas por la acción docente. De esta forma, la solicitud expresa de la opinión del estudiante, sin estar exenta de controversia, constituye la opción más utilizada, entendiendo que los estudiantes universitarios son capaces de identificar y valorar las dimensiones más relevantes del proceso de enseñanza y aprendizaje.

Sin embargo, algunos docentes manifiestan cierta desconfianza y resistencia a ser evaluados por los estudiantes (Muñoz y otros, 2002). Este hecho es especialmente relevante porque la eficacia en la mejora del proceso depende, en gran medida, de su aceptación y del grado de implicación del profesorado. Esta desconfianza proviene, al menos en parte, de la variabilidad en los resultados de las encuestas, y del hecho, bastante frecuente, de observar un número de encuestados que se alejan demasiado de la valoración promedio del grupo.

La influencia sobre la media aritmética de puntuaciones sesgadas puede llegar a ser muy importante, como se pone de manifiesto en la Tabla 1. La media aritmética de un vector de puntuaciones 1 viene dada por 2 Considerando una escala Likert pentanivel, un 20% de encuestas con sesgo pueden reducir la puntuación promedio en una quinta parte. Por tanto, la identificación y corrección de las puntuaciones sesgadas es un problema relevante.

Por otra parte, la valoración media de los estudiantes no tiene en cuenta la competencia de éstos a la hora de emitir dichas valoraciones. Sin embargo, es razonable asumir que una valoración sea más significativa si corresponde a estudiantes bien valorados por sus compañeros.

El problema de la ponderación de las evidencias, en la búsqueda de un indicador fiable, ha sido apuntado en diferentes contextos. El empleo de las citas indirectas en la evaluación de revistas científicas ha sido propuesto por Pinski y Narin (1976). Brin y Page (1998) utilizan esta idea en el diseño del algoritmo PageRank del buscador de Google, donde la relevancia de una página web viene determinada por el número de hiperenlaces que recibe desde otras páginas, así como por la relevancia de dichas páginas. Finalmente, Bergstrom (2007) emplea también esta idea para definir el Eigenfactor, una medida de la influencia de una revista, recientemente introducida en el Journal Citation Reports de Thomson Reuters, que pondera las citas recibidas por la influencia de la revista citante.

Tabla 1. Efecto sobre la puntuación promedio de hasta un 20% de encuestas sesgadas

Nº de encuestas

Puntuación sin sesgo

Puntuación con sesgo

Número de encuestas con sesgo

Promedio sin sesgo

Promedio con sesgo

Error cometido

N=10

3

1

2

3

2,60

10,00%

1

3

2,80

5,00%

4

1

2

4

3,40

15,00%

1

4

3,70

7,50%

5

1

2

5

4,20

20,00%

1

5

4,60

10,00%

N=30

3

1

6

3

2,60

10,00%

3

3

2,80

5,00%

2

3

2,87

3,33%

1

3

2,93

1,67%

4

1

6

4

3,40

15,00%

3

4

3,70

7,50%

2

4

3,80

5,00%

1

4

3,90

2,50%

5

1

6

5

4,20

20,00%

3

5

4,60

10,00%

2

5

4,73

6,67%

1

5

4,87

3,33%

N=50

3

1

10

3

2,60

10,00%

5

3

2,80

5,00%

4

3

2,84

4,00%

3

3

2,88

3,00%

2

3

2,92

2,00%

1

3

2,96

1,00%

4

1

10

4

3,40

15,00%

5

4

3,70

7,50%

4

4

3,76

6,00%

3

4

3,82

4,50%

2

4

3,88

3,00%

1

4

3,94

1,50%

5

1

10

5

4,20

20,00%

5

5

4,60

10,00%

4

5

4,68

8,00%

3

5

4,76

6,00%

2

5

4,84

4,00%

1

5

4,92

2,00%

2. INDICADOR PONDERADO DE SATISFACCIÓN DOCENTE

Sea N el número total de estudiantes que cumplimentan la encuesta de satisfacción de una determinada acción docente. Sea además 1 el vector de valoraciones recibidas por el docente según algún sistema de puntuación.

Denotemos por 2 la matriz de valoración de competencias entre estudiantes. Esta matriz cuadrada está compuesta de ceros y unos, donde 3 indica que el estudiante j es competente para valorar al docente según la opinión del estudiante i. El caso contrario, esto es 4 indica que j no es competente según i, o que no se ha valorado la competencia de j, ya sea porque i no tiene una opinión formada o porque decide no rellenar esta parte del cuestionario. No se consideran autovaloraciones por parte de los estudiantes, por lo que 5

Consideramos la siguiente notación para la suma de las filas y las columnas de la matriz de competencias. Sea 1 el número de valoraciones positivas emitidas por el estudiante i, y el número de valoraciones positivas recibidas por el estudiante j. Se tiene que dado que la diagonal principal de la matriz está compuesta de ceros.


Debido a que cada encuestado puede valorar competente a un número indeterminado de estudiantes, se considera la matriz normalizada de valoración de competencias 10, donde
11
La suma de los elementos de cualquiera de las filas de la matriz D es 0 ó 1, de forma que cada estudiante divide su ponderación en partes iguales entre todos aquellos a los que considera competentes. Esto es así para no penalizar la percepción de aquellos encuestados más exigentes, que declaran un número reducido de estudiantes competentes.

La suma total de los elementos de la matriz D es un número natural comprendido entre 0 y N. Dicha suma coincide con el número de valores 12, esto es, el número de encuestados que han valorado positivamente a algún estudiante. Se tiene que 13 cuando 14 En lo sucesivo supondremos que 15 ya que, de lo contrario, ningún estudiante sería valorado competente por algún encuestado y, por tanto, este procedimiento carecería de sentido.

Como se verá a continuación, la suma de cada una de las columnas de la matriz D constituye un factor de ponderación de la relevancia de la opinión de cada encuestado según la percepción del resto de los estudiantes.

Definición 1. Sea 16  el vector de pesos normalizados dado por 17
Resultado 1. El vector de pesos normalizados 18 verifica las siguientes propiedades:

i) 20
ii) 21.
La demostración del resultado anterior es directa teniendo en cuenta que:
i) 22 es suma y cociente de valores no negativos.
ii) Se cumple que 24
El parámetro 23 tiende a cero si el estudiante j es valorado competente por un número reducido de estudiantes que, a su vez, valoran positivamente a muchos otros. Se tiene que 25 cuando j no es valorado competente por ningún estudiante. Será tanto mayor al ser valorado competente por un gran número de estudiantes o por aquellos más exigentes que lo hacen a un número reducido de compañeros.

Definición 2. Dado un vector de valoraciones de la acción docente por parte de los estudiantes 26 el indicador ponderado de satisfacción docente viene dado por 27 donde 19 es el vector de pesos normalizados.

Al tratarse de una combinación lineal convexa, este indicador tiene la misma escala que S. Elimina las valoraciones de estudiantes que no son declarados competentes por otros. Además, el factor de ponderación 6 es discriminante, en el sentido que crece si aumenta el número de estudiantes que valoran positivamente a j, y se reduce si alguno de ellos considera competente a un mayor número de estudiantes.

3. EJEMPLOS Y SIMULACIONES

3.1. Ejemplo con N=4

En la media aritmética, empleada generalmente como indicador, los pesos asociados a cada estudiante son idénticos, esto es (0.25, 0.25, 0.25, 0.25). Consideremos las siguientes matrices donde el estudiante i=4, no competente para la evaluación según sus compañeros, provoca un sesgo hacia j=3,

1

La suma de las columnas en D es (1, 1, 2, 0) y el vector de pesos normalizados es, por tanto, W = (0.25, 0.25, 0.50, 0). Por tanto, en este caso w4 = 0, lo que significa que el indicador ponderado eliminará la valoración del estudiante i=4.

Supongamos ahora que el estudiante i=4 no declara competente a ningún otro, esto es,

2

En este caso, la suma de las columnas en D es (1, 1, 1, 0) y el vector de pesos normalizados W = (1/3, 1/3, 1/3, 0). Por tanto, nuevamente w4 = 0.

3.2. Simulaciones con N=10

Sea una escala de valoración tipo Likert pentanivel, donde 5 indica muy satisfecho con la acción docente, y 1 nada satisfecho con ella. Se han simulado diferentes escenarios, variando tanto el vector de valoraciones sobre el docente, como la matriz de competencias declaradas entre estudiantes. Se consideran sesgos de una a dos valoraciones significativamente diferentes a la media del grupo, que representan el 10% y el 20% de los estudiantes encuestados, respectivamente.

Las Tablas 2 a la 5 muestran los resultados obtenidos para los pesos normalizados y para el indicador ponderado de satisfacción de la acción docente. Como puede observarse, para el conjunto de los 48 escenarios analizados, el indicador está próximo a la valoración media del grupo excluyendo el sesgo. En todos los escenarios analizados, las estimaciones son mejores para el indicador ponderado de satisfacción que para la satisfacción media global, como puede observarse en la Tabla 6, que compara los errores absolutos cometidos en cada uno de los escenarios considerados. Además, el error total cometido, en el conjunto de todos los escenarios analizados, es cuatro veces inferior en el caso del indicador ponderado de satisfacción.

En estas simulaciones se pone de manifiesto la robustez del indicador ponderado de satisfacción, al verse poco afectado por las valoraciones de aquellos encuestados poco competentes según la percepción del resto de sus compañeros.

Tabla 2. Parte A. Simulaciones, variando fila y columna 8, con sesgos del 10% (1) y 20% (3,2) significativamente por debajo de la media
23

Tabla 2. Parte B. Simulaciones, variando fila y columna 8, con sesgos del 10% (5) y 20% (20,6) significativamente por debajo de la media
24
Tabla 3. Parte A. Simulaciones, variando fila y columna 8, con sesgos del 10% (1) y 20% (3,2) muy por debajo de la media

1

Tabla 3.  Parte B. Simulaciones, variando fila y columna 8, con sesgos del 10% (9) y 20% (22,10) muy por debajo de la media

1

Tabla 4. Parte A. Simulaciones, variando fila y columna 8, con sesgos del 10% (13) y 20% (28,14) significativamente por encima de la media31

Tabla 4. Parte B. Simulaciones, variando fila y columna 8, con sesgos del 10% (13) y 20% (28,14) significativamente por encima de la media
32
Tabla 5. Parte A. Simulaciones, variando fila y columna 8, con sesgos del 10% (15) y 20% (29,16) muy por encima de la media
33
Tabla 5. Parte B. Simulaciones, variando fila y columna 8, con sesgos del 10% (17) y 20% (30,18) muy por encima de la media
34
Tabla 6. Parte A. Errores absolutos respecto de la media sin sesgo
35
Tabla 6. Parte b. Errores absolutos respecto de la media sin sesgo
36

4. CONCLUSIONES

Para que las encuestas de satisfacción del alumnado puedan contribuir a la mejora del sistema universitario, es necesario que el profesorado se identifique con la metodología empleada y acepte que los resultados proceden de fuentes de información objetiva y fiable. Sin embargo, tratar estadísticamente resultados de encuestas que están muy distantes de la media del grupo no contribuye a este objetivo, ni a la correcta interpretación de los resultados. Es necesario, por tanto, establecer sistemas de control que garanticen la validez de las valoraciones de los estudiantes y minimicen el efecto de aquellos encuestados cuyos objetivos no están alineados con los del sistema de evaluación docente.

Este trabajo ofrece una aproximación a este problema y propone un nuevo indicador de satisfacción docente basado en las percepciones que los estudiantes tienen entre sí. Partiendo del hecho que los estudiantes universitarios tienen capacidad para evaluar la actuación del docente, es razonable asumir que también lo serán a la hora de evaluar la capacidad de sus compañeros como evaluadores.

El proceso de identificación y eliminación de observaciones anómalas no es sencillo de sistematizar de forma automática. Sin embargo, es posible reducir el efecto de estos sesgos en relación a la probabilidad de que se trate de un dato anómalo. En este trabajo se propone un sistema de ponderación en base a esta probabilidad, de acuerdo con las percepciones que tienen los encuestados del resto de estudiantes. Se muestra, en un amplio conjunto de simulaciones realizadas, que el resultado obtenido mediante esta metodología de evaluación es un buen estimador de lo que se obtendría si fuera posible identificar y eliminar los datos anómalos.

Por otra parte, la propia existencia de mecanismos de control puede servir además como inhibidor de este tipo de conductas que no están alineadas con el objetivo último de mejora de la calidad docente. Finalmente, consideramos que la implementación de este proceso de evaluación de la docencia universitaria, en el que los estudiantes opinan sobre sus compañeros, es viable desde el punto de vista técnico y ofrece información relevante para el docente.

 

Referencias bibliográficas

Algozzine, B., Beattie, J., Bray, M., Flowers, C., Gretes, J., Howley, L., Mohanty, G. y Spooner, F. (2004). Student evaluation of college teaching: A practice in search of principles. College Teaching, 52(4), pp.134–141.

Bergstrom, C. (2007). Eigenfactor: Measuring the value and prestige of scholarly journals. C&RL News, 68(5), pp.314–316.

Brin, S. y Page, L. (1998). The anatomy of a large-scale hypertextual web search engine. Computer Networks and ISDN Systems, 30, pp.107–117.

Clayson, D.E. (2009). Student evaluations of teaching: Are they related to what students learn? A meta-analysis and review of the literature. Journal of Marketing Education, 31(16), pp.16–30.

Denson, N., Loveday, T. y Dalton, H. (2010). Student evaluation of courses: What predicts satisfaction? Higher Education Research and Development, 29(4), pp.339–356.

Frick, T.W., Chadha, R., Watson, C., Wang, Y. y Green, P. (2009). College student perceptions of teaching and learning quality. Educational Technology Research and Development, 57, pp.705–720.

Harvey, L. (2003). Student feedback. Quality in Higher Education, 9(1), pp.3–20.

Kember, D. y Leung, D.Y.P. (2009). Development of a questionnaire for assessing students’ perceptions of the teaching and learning environment and its use in quality assurance. Learning Environments Research, 12, pp. 15–29.

Kogan, L.R., Schoenfeld-Tacher, R., and Hellyer, P.W. (2010). Student evaluations of teaching: Perceptions of faculty based on gender, position, and rank. Teaching in Higher Education, 15(6), pp.623–636.

Muñoz, J.M., Ríos, M.P. y Abalde, E. (2002). Evaluación docente vs. evaluación de la calidad. Revista Electrónica de Investigación y Evaluación Educativa (RELIEVE), 8(2), pp.103–134.

Pinski, G. y Narin, F. (1976). Citation influence for journal aggregates of scientific publications: Theory, with application to literature of physics. Information Processing and Management, 12(5), pp. 297–312.

Wachtel, H.K. (1998). Student evaluation of college teaching effectiveness: A brief review. Assessment & Evaluation in Higher Education, 23(2), pp.191–211.

Wright, R.E. (2006). Student evaluations of faculty: Concerns raised in the literature, and possible solutions. College Student Journal, 40, pp. 417–422.

 

El contenido de esta página requiere una versión más reciente de Adobe Flash Player.

Obtener Adobe Flash Player