El título de este texto corresponde al de una estrategia de evaluación de la docencia implementada en la Universidad de Los Andes orientada, por un lado, a promover entre los profesores la reflexión sobre la coherencia de su práctica docente y, por otro lado, a recoger de manera sistemática información que permita alimentar el sistema de evaluación de la efectividad de los programas educativos en la universidad.

Este documento representa un intento por sistematizar la experiencia de diseño y puesta en marcha de la estrategia en mención, con el fin de hacer de los procesos de acreditación internacional auténticos procesos de evaluación para el mejoramiento de la docencia. Este propósito responde a la desconfianza que existe en ciertos sectores de la comunidad educativa hacia la capacidad de los procesos de acreditación en general para aportar algo sustancial al mejoramiento de la calidad de la educación que día a día se lleva a cabo en las aulas y demás ambientes de aprendizaje de la universidad. Desde esta perspectiva resulta razonable distinguir entre los propósitos de la evaluación para la acreditación (obtener la acreditación) frente a la evaluación para el mejoramiento (identificar fortalezas y debilidades). Aunque los dos propósitos pueden articularse y ese es uno de los propósitos buscados por los procesos de acreditación, existe una tensión natural entre los dos que a menudo se resolverá a favor de obtener la acreditación.

Por otra parte, la desconfianza también se funda en que, comparados con otros modelos de evaluación de programas, los procesos de acreditación dependen de manera excesiva del componente de autoevaluación, lo cual facilita su sesgo a favor de quienes controlan el proceso, es decir, los administradores y, junto con la poca posibilidad que tienen los evaluadores externos de llegar a un conocimiento profundo del programa, se puede prestar y sabemos que a menudo se presta, para distraer a los evaluadores externos de los aspectos más problemáticos del mismo (Daniel L. Stufflebeam, 2001; Daniel L Stufflebeam & Shinkfield, 2007).

Sin embargo, la anterior crítica no debe entenderse en el sentido de que los procesos de acreditación no sean útiles para el mejoramiento de las instituciones. Por el contrario, al establecer unos estándares mínimos que deben ser alcanzados por las instituciones que desean ser acreditadas, estos procesos mueven muchas cosas en la universidad y, gracias a ellos, se han tomado decisiones estratégicas importantes que la han ido transformando y profesionalizando la universidad. En el caso de Uniandes, por ejemplo, se ha fortalecido el programa de apoyo a la formación disciplinar de los profesores, se han hecho importantes inversiones en libros y otros recursos electrónicos y se ha creado una vicerrectoría de investigaciones. La percepción de los profesores y de los estudiantes, sin embargo, es que otra acreditación no hará gran diferencia para su día a día, más allá de la sobrecarga de trabajo representada por las múltiples encuestas y documentos que hay que hay que diligenciar.

A pesar de lo anterior, uno de los efectos positivos que tuvo iniciar el proceso de acreditación, por ejemplo, fue el reconocimiento de la necesidad de poner en marcha un sistema de evaluación de la efectividad de los programas académicos a nivel institucional en Uniandes. Ello redundó en la creación de un comité de evaluación encargado de diseñar el sistema a nivel institucional. El CIFE es el asesor técnico de dicho comité y  ello nos ha permitido, como centro especializado en educación y, particularmente desde el Centro de Evaluación, ejercer una labor hasta cierto punto “pedagógica” con miembros del comité acerca de temas como evaluación formativa, evaluación para el mejoramiento, evaluación del desempeño, evaluación auténtica, matrices de evaluación, portafolios de docencia, etc.

En el contexto de dicho comité es donde surge la iniciativa de trabajar en la evaluación de las evaluaciones, como una forma de promover procesos de reflexión sobre la práctica y, con suerte, de transformación de las prácticas como consecuencia de ellos. El gran reto era y sigue siendo, cómo aprovechar este proceso de acreditación para promover de manera auténtica el mejoramiento de la docencia (Menges, 2000).

En las próximas páginas daremos cuenta del proceso de exploración y puesta a prueba de la estrategia.

1. DESARROLLO

1.1. Preguntas previas

Para presentar la experiencia de evaluar las evaluaciones, voy a seguir las preguntas formuladas por Guevara y Rueda (2010) en las reflexiones fruto del primer coloquio de la RIIED.  Los autores proponen a las instituciones y a los países preguntarse ¿Qué es ser un buen docente? ¿Qué aspectos se destacan? En función de las respuestas dadas a estas preguntas se deberían diseñar las políticas, los programas e instrumentos de evaluación.  En cuanto a los sistemas de evaluación, proponen que nos preguntemos cosas del tipo: ¿Cómo se genera la información? ¿A dónde va la información generada? ¿Quién la utiliza? ¿Con qué propósitos? A continuación abordaré cada una de ellas.

1.2. El nuevo perfil del docente

Refiriéndose al caso colombiano, Toro (2006) ve con optimismo el comienzo de la superación de la división que durante muchos años existió en nuestras universidades entre profesores orientados a la investigación y profesores orientados a la docencia. Esta superación sería el resultado de  procesos intensivos de formación docente promovidos entre otras cosas por los procesos de acreditación nacional e internacional, que hacen que el cuerpo profesoral de la universidad esté cada vez más compuesto por profesores con nivel de doctorado, es decir, con las competencias necesarias para  adelantar investigación de punta en sus respectivas disciplinas (p. 6).

Lejos de sentir desconfianza hacia los efectos negativos que el énfasis de los nuevos docentes hacia la investigación pueda llegar a tener sobre la docencia, Toro, en la misma línea de quienes promueven el trabajo académico sobre enseñanza y aprendizaje en las universidades de investigación (Becker & Andrews, 2004; Hutchings, 2004) describe el nuevo docente con las siguientes características:

En primer lugar, es un profesor investigador, creativo, para quien el conocimiento es una progresión  inductiva que él ha recorrido y ahora ayuda a recorrer al estudiante. … Quien haya recorrido caminos genuinos de indagación,  estará en condiciones de construir los escenarios adecuados para la propia indagación de sus alumnos. … Quien ha aprendido siguiendo los caminos del descubrimiento científico esta simultáneamente desarrollando un saber y un saber hacer. …Los caminos del descubrimiento científico son genuinos procesos de construcción, no solo de entendimiento (pp. 16-17).

Finalmente, añade: “ninguna de estas competencias son posibles sino se cuenta con personas autónomas y sin la autonomía no hay forma de ejercer plenamente la libertad. Libertad para dudar, libertad para disentir, libertad de los dogmas y sus fanatismos, libertad para entender, crear y construir. Si este último derecho se ha coartado, se ha perdido al hombre y todo propósito de la educación”.

Este perfil nos plantea varios retos. El primero surge de reconocer que, a pesar del optimismo, la desconfianza acerca de la competencia que la investigación puede representar para la docencia de calidad es fundada ya que esa ha sido la experiencia de los docentes y estudiantes en muchas de las universidades de investigación (Hannan & Silver, 2005). De hecho, muchos de los esfuerzos de los académicos asociados a SOTL (The Scholarship of Teaching and Learning) y a ICED (The International Consortium for Academic Development) parecen orientados precisamente a tratar de modificar esa tendencia (Becker & Andrews, 2004, p. 1; Boyer, 1990; Brew, 2010).

En segundo lugar está el reto de cómo promover el que los profesores conviertan sus aulas de clase en ambientes para la indagación y el descubrimiento. Si bien el investigador tiene las competencias para investigar, no necesariamente sabe cómo generar dichos ambientes en sus aulas de clase (Brew, 2010).  Finalmente, surge la pregunta por cómo orientar el trabajo de los profesores universitarios hacia cierto tipo de docencia sin restringir en el camino su libertad de pensamiento y de acción, base de la vida académica y base de la universidad misma (Brew, 2010; Hutchings, 2004).

A continuación, describo el proceso que hemos adelantado para realizar una evaluación de la docencia que promueva ambientes de aprendizaje más centrados en la indagación, respetando al mismo tiempo la autonomía de los docentes.

1.3. Las encuestas de estudiantes

El primer elemento del sistema que tuvimos que revisar con este propósito fue la encuesta de estudiantes que realiza la universidad. Aparte de las limitaciones típicas de este tipo de instrumento asociadas, entre otras cosas, al hecho de que se trata de una encuesta de opinión  (Luna Serrano, 2000), y en las que no puedo profundizar en este escrito, encontramos que esta tenía problemas asociados al hecho de estar centrada exclusivamente en las acciones del profesor, lo cual representa un sesgo hacia una visión del profesor como transmisor del conocimiento y del estudiante como receptor pasivo de lo que el profesor hace: Ejemplo de ellos son las preguntas acerca de si las presentaciones del profesor son claras, si responde todas las preguntas del estudiante, si el material de lectura está disponible, etc.

A partir del reconocimiento de dichos sesgos, se inició un proceso de revisión, ajuste y validación del instrumento en el segundo semestre del 2009. Esta revisión y ajuste tuvo como resultado una nueva encuesta caracterizada por la reducción del número de preguntas a aquellas de las que el estudiante pudiera dar buena cuenta desde su percepción (se eliminó la pregunta acerca de “si el profesor conoce la materia”, por ejemplo) y buscó reducir  los sesgos –algunos dirán que introdujimos unos sesgos más acordes con nuestra visión de la enseñanza y el aprendizaje, pero hicimos un esfuerzo consciente para que ese no fuera el caso. O por lo menos sólo hay un caso que podría leerse en términos de querer mover a los profesores hacia cierto tipo de práctica, una que promueva el  “compromiso” o “engagement” de los estudiantes. Se trata de la pregunta acerca de si “este curso promueve mi compromiso –esfuerzo y dedicación– al tema de estudio”.  Sin embargo, dicha inclusión se justifica desde la propia declaración misional de la universidad, según la cual la institución “desarrolla y pone en práctica metodologías de avanzada en la docencia y la investigación, orientadas a que el estudiante sea el principal agente de su formación” (Universidad de Los Andes, 2010).

El nuevo instrumento fue validado utilizando un diseño mixto simultáneo basado en estrategias de pensar en voz alta, grupos focales, y encuestas en línea a estudiantes y profesores, llegando a niveles bastante satisfactorios de validez del mismo (López & Fernández, 2010).  De todas maneras, teniendo en cuenta las limitaciones del instrumento, y que produce información útil sobre lo que el estudiante percibe acerca del curso pero no sobre lo que aprende, seguimos trabajando en el desarrollo de un sistema de evaluación (García Garduño, 2000) que nos permitiera una mejor aproximación a evaluar la docencia de una manera más comprensiva.

Siguiendo la sugerencia de Ryan y Johnson (2000) este sistema debería partir de los objetivos educativos propuestos por la unidad académica, debería contener un estándar contra el cual establecer de manera inicial el nivel de logro de dichos objetivos y debería orientarse hacia el mejoramiento continuo de práctica.  Con esos lineamientos en mente, comenzamos su desarrollo del sistema que se describe a continuación.

1.4. El nuevo sistema de evaluación

Para describir el sistema de evaluación, voy a continuar con las preguntas de Reyes y Rueda (2010): ¿Cómo se genera la información? En el nuevo sistema, la información es generada por el profesor a la manera de un portafolio docente (Seldin, 1997). Más allá del programa del curso, hemos querido recoger cuáles son sus propósitos educativos, a través de una entrevista, o un cuestionario que se diligencia en una sesión presencial, un ejemplo de los instrumentos que él utiliza para evaluar el aprendizaje de sus estudiantes (un examen, un caso, tarea), la matriz de evaluación del grado de alineación entre sus objetivos, actividades de enseñanza y sus evaluaciones diseñada por el CIFE y, eventualmente, un plan de mejoramiento, que surgiría como resultado del análisis anterior.

Con el fin de propiciar la reflexión crítica sobre la práctica docente, la matriz es diligenciada por un “par crítico” (Handal, 2008)en una sesión de taller en la que el par entrevista a su colega acerca de los aspectos mencionados anteriormente y va diligenciando la matriz. Este diálogo es la estrategia más importante para promover la reflexión y superar la práctica de “diligenciar formatos”.

Además de la idea del par crítico, para comprender el significado de esta estrategia me viene muy bien una metáfora extraída de la historia mexicana. Se trata de la imagen del  “espejo horadado” (Huarte Cuéllar, 2010). Huarte,  citando a Perez Portilla, nos habla del Tlamatini, sabio o filósofo-pedagogo-psicólogo-maestro náhuatl descrito como un “espejo horadado”:  

Aquel que permite que el rostro del otro pueda adquirir una apariencia a   través   del rostro propio, de nuestro rostro; pero horadado, “agujereado por ambos lados”, perforado, porque a través de este rostro, nuestra propia cara puede verse en los otros, en el mundo. Es una doble vía que permite que los otros se   reconozcan en uno y uno se reconozca en los otros. Re-conocerse es conocersE de vuelta. Conocer de vuelta es identificar rasgos que había olvidado que eran       míos. También implica que los otros identifiquen rasgos en mí.

1.5. Primer piloto

Así bien, en este diálogo ha habido dos momentos, importantes de señalar. En el primer piloto (2009) quien hizo las veces del espejo horadado fue la propia investigadora. Se trató de un diálogo desestructurado pero apoyado en distintas herramientas para promover la reflexión tales como las taxonomías de objetivos de aprendizaje y de preguntas de evaluación más conocidas y utilizadas en educación superior (Bloom, 1969; Krathwohl, Bloom, & Masia, 1964). Se buscaba que en torno a ellas, los profesores se preguntaran qué tan consistentes eran sus objetivos educativos con respecto a sus estrategias de enseñanza y, especialmente, con respecto al nivel y tipo de conocimiento evaluado en las preguntas que hacían en sus pruebas y exámenes (Biggs, 1999; Webb, Alt, Ely, Cormier, & Vesperman, 2005). 

He aquí una de las reflexiones resultado del piloto:

• La escala de evaluación está en el mismo orden de complejidad que se requiere para realizar las pruebas por parte del profesor. Luego hay una inevitable tendencia a realizar pruebas del primer nivel –declarativo- y una inmensa dificultad para realizar o calificar pruebas del último nivel –estratégico (Toro, 2010).
• En ciencias e ingeniería una buena parte de las clases se usan para exponer la teoría, lo cual suena apropiado si dicha herramienta lo solucionan todo. Sin embargo, después tan solo examinamos el uso de unas componentes mínimas y descontextualizadas. Esto último lo hacemos  porque es lo más fácil que podemos hacer.  Por supuesto que para el estudiante hemos desestimulado completamente la importancia de “pasearse” por la teoría (Toro, 2010).

1.6. Segundo piloto

En un segundo momento trabajamos con los colegas de la Facultad de Derecho en un taller en el que, bajo mi supervisión, se revisaron 20 cursos.  En este evento el espejo horadado fue un par disciplinar (otro profesor de Derecho) y el diálogo se dio en torno a una matriz más estructurada que tiene como base para su construcción los mismos elementos que habían orientado el diálogo en el primer piloto (taxonomías de objetivos, de preguntas y su alineación). Se trató de una sesión muy participativa en la que los profesores compartieron sus visiones acerca de la enseñanza y el aprendizaje, sus propósitos educativos, y se dieron cuenta que no siempre sus mejores propósitos educativos se veían reflejados en sus prácticas y, sobretodo, en sus evaluaciones.

Como observadora de esta actividad puedo decir que los profesores trabajaron con entusiasmo pero no fueron muy buenos pares críticos de sus colegas. Mejor dicho, fueron buenos pares pero no buenos críticos: Aunque en muchos casos las evidencias mostraran lo contrario, los profesores diligenciaban la matriz con base en lo que su colega les decía que era su intención y no con base en lo que el documento permitía evidenciar. A pesar de el exceso de comprensión, sin embargo, el resultado del diálogo fue el reconocimiento de que hay aspectos para mejorar en el diseño y desarrollo de los cursos,  por lo que el proceso terminó con un plan de mejoramiento elaborado primero por cada profesor de manera individual y posteriormente de manera colectiva por el área disciplinar a la que cada profesores pertenece.  Los resultados generales pueden observarse en la Tabla 1.

Tabla 1. Resultados Generales  Segundo piloto

Un rápido análisis de los resultados por parte del grupo que coordinaba la actividad (junto conmigo, dos profesores a cargo del programa de formación docente de los profesores de la Facultad de Derecho, denominado Programa Sócrates) permitió identificar oportunidades de mejoramiento en relación con la alineación general de los cursos. También, y a pesar de la mirada empática de los profesores sobre el trabajo de sus colegas, pudimos identificar que muy pocos cursos de los analizados están orientados al desarrollo de otras competencias profesionales (aparte de las cognitivas, que quedan naturalmente incluidas en los tipos 1 a 4), actitudes y valores.  Por un lado, solo en  seis de los cursos el tipo de conocimiento referido a competencias y valores está presente de manera consistente en los objetivos, actividades de enseñanza y evaluación. En otros cinco cursos, este tipo de conocimiento aparece dentro de los objetivos y se evalúa, pero no necesariamente las actividades de enseñanza y aprendizaje lo desarrollan. Finalmente, hay tres casos en los que el profesor no lo presenta en los objetivos, no propone actividades para su desarrollo y, sin embargo, lo evalúa.

Este es un resultado que llama la atención ya que la Facultad de Derecho hace énfasis en que sus estudiantes desarrollen habilidades de investigación, autoaprendizaje, análisis, capacidad para resolver problemas, argumentar; sean profesionales competentes, críticos y comprometidos con la sociedad; y se desempeñen idóneamente en distintas facetas de la profesión.

1.7. Tercer piloto

Recientemente terminamos un tercer momento en el que se realizó un escalamiento de la estrategia para evaluar las evaluaciones de más de 30 cursos en 4 facultades. Para ello, hicimos ajustes a la matriz,  desestructurándola un poco para evitar ciertas rigideces de la alineación que resultaron problemáticas en la primera versión pero corriendo el riesgo de hacer difícil más difícil la tabulación y la compilación de los resultados (Anexo 2).

Tabla 2. Resultados preliminares del Tercer piloto.

	Alta	Medio alta	Medio baja	Baja	N.A.
Alineación de objetivos curso vs objetivos programa	6	11	5	5	3
Alineación general	8	11	10	1
Alineación de la evaluación	10	14	7
	Tipo 1	Tipo 2	Tipo 3	Tipo 4	Tipo 5
Tipo de conocimiento	21	10	8	5	2
TC Ciclo avanzado (9)	5	2	4	3	2
TC Ciclo básico (13)	9	6	3	1	0
TC Servicios (6)	5	3	1	0	0
TC CBU (2)	2	0	0	1	0

Resultados: La información recaudada muestra innumerables oportunidades de mejoramiento y de reflexión acerca de la forma en que se formulan los objetivos de formación de los programas, la coherencia entre los objetivos de algunos de los cursos y los propósitos del ciclo de la carrera al que pertenecen, el énfasis de un gran número de cursos en promover y evaluar conocimiento de tipo declarativo, y el desconocimiento de muchos profesores acerca de cómo desarrollar y evaluar otros tipos de conocimientos, actitudes y valores distintos a los declarativos y procedimentales. Además de lo anterior, que ya representa un logro desde el punto de vista de la riqueza de la información recaudada frente a la que tradicionalmente se obtiene por medio de encuestas, los evaluadores concluyeron de manera casi unánime que “lo más relevante de la actividad fue que los profesores tuvieron la oportunidad de reflexionar sobre su curso y sobre el sistema de evaluación” (López Mendoza, 2010).

En cuanto a las preguntas de Reyes y Rueda (2010) ¿a dónde va?, ¿quién la utiliza? y ¿con qué propósitos? Ya han sido respondidas parcialmente. En primer lugar, la información que se produce con este proceso va al propio docente, ya que la reflexión y el plan de mejoramiento, cuando existe, es suyo. Dado que nos encontramos en una etapa exploratoria, y aún no ha habido aún una decisión institucional de atar la entrevista a un plan de mejoramiento por ahora hemos recogido las reflexiones espontáneas de los profesores como resultado del proceso con el fin por un lado de recibir su retroalimentación sobre la utilidad del mismo, y en segundo lugar, de explorar de manera preliminar si habría voluntad de realizar acciones de formación o u otro tipo acciones orientadas al mejoramiento del nivel de alineación de cada curso. En estos dos sentidos los resultados fueron bastante positivos, pues también la mayoría de los profesores vieron la entrevista como una oportunidad útil para reflexionar sobre su práctica docente y algunos identificaron oportunidades claras de mejoramiento en el diseño y desarrollo de sus cursos y unos cuantos más identificaron necesidades de formación en relación con estos temas. A continuación presento algunas citas de las entrevistas que  ilustran lo anterior:

• La entrevista como oportunidad de reflexión:

  “Creo que el ejercicio no me lleva a pensar en cosas nuevas, pero si me lleva a mirar en forma unificada y ordenada todo lo que implica el curso en términos de evaluación, objetivos y preparación de los estudiantes”.

  “Para el profesor fue interesante tener la oportunidad de poner en orden los propósitos de aprendizaje en su curso, pues no aparecen explícitos en los documentos, y desde allí se preguntó hasta qué punto él verdaderamente hacia seguimiento de esos propósitos en todos sus alumnos”.  (24)

• Oportunidades de mejoramiento:

  Es deseable que el curso sea más activo y promueva que los estudiantes construyan sus propios modelos, sin embargo, falta tiempo y tecnología para poder llevarlo a cabo, algo que si se puede hacer, aunque demanda mucho tiempo del docente es hacer un proyecto y ejercicios durante el semestre.

  “A partir del ejercicio, el profesor piensa que debería ser más explícito en la formulación de los objetivos ya que la descripción actual es muy vaga”.
  Necesidades de formación: “La profesora quiere saber más sobre matrices de evaluación y rúbricas para el ensayo”.

En segundo lugar, el portafolio debería quedar a disposición tanto del profesor como de los comités de evaluación y de ordenamiento, como un instrumento enriquecido para la toma de decisiones. Sin embargo, aún hay que trabajar en cómo procesar la información que contiene el portafolio de manera que resulte manejable por los comités. Mientras tanto,  el comité encargado del diseño del sistema ha recibido para su estudio la información en la forma de resultados agregados de las matrices de análisis. Estas son muy fáciles de compilar y podrían en el futuro alimentar el sistema de información de los programas para la toma de decisiones.

Finalmente, a la pregunta sobre ¿quién debe ser el evaluador? respondimos que deberían ser profesionales del CIFE, es decir, personas con formación en educación pero cercanas a la disciplina que el profesor enseña. Por una parte, a partir de las dos experiencias anteriores, consideramos que tanto la reflexión como la información obtenida por medio del par disciplinar resultaba de menor calidad en comparación con la obtenida por el experto en educación. El nivel de alineación de los cursos, en general, resultó superior en el ejercicio desarrollado por los docentes de la Facultad de Derecho que en las entrevistas realizadas por los profesionales del centro de evaluación. Esto nos indicaría que se requiere un conocimiento profesional en educación para entablar un diálogo auténticamente crítico con los profesores de las distintas profesiones y disciplinas, con el fin de ayudar al profesor a ir más allá de los lugares comunes de su conocimiento disciplinar y de sus intuiciones pedagógicas.

Sin embargo, el conocimiento pedagógico y curricular por si solo tampoco resulta suficiente. Un conocimiento de la disciplina o la comprensión al menos en un nivel básico de la misma, parece jugar también un rol en la capacidad de interrogar críticamente a los profesores.  Así, pues, reconociendo la relevancia de promover el conocimiento pedagógico específico sobre la disciplina (Shulman, 1987, 1993) consideramos necesario organizar un equipo interdisciplinario conformado por profesores y asistentes graduados del CIFE que contaran con formación disciplinar igual o cuando menos afín a la de los programas cuyos profesores irían a entrevistar.

2. CONCLUSION

En este artículo hemos presentado un primer intento de sistematización de la experiencia de diseño y puesta en marcha de la estrategia denominada “evaluación de las evaluaciones”. Dicha estrategia se orienta a promover entre los profesores la reflexión sobre la coherencia de su práctica docente y a recoger información que permita alimentar el sistema de evaluación de la efectividad de los programas educativos en la Universidad de Los Andes.

Los resultados parciales de la experiencia de evaluar las evaluaciones indican que la estrategia diseñada resulta útil para promover la reflexión de los profesores sobre su práctica docente y el diseño de sus cursos. Sin embargo, quedan planteados interrogantes acerca de la utilidad de la herramienta para desarrollar procesos de evaluación sumativa acerca del grado en el que se están logrando los objetivos de aprendizaje en los cursos.

Este sistema se encuentra en pleno desarrollo y por eso este texto más que con conclusiones termina con nuevas preguntas y reflexiones acerca de los retos que representa el proceso de acreditación sobre las que seguiremos investigando en los próximos años: ¿cómo convertirlo en evaluación para el mejoramiento?, ¿qué tipo de información se produce y para la toma de cuáles decisiones?, ¿para todos estos propósitos es mejor promover un diálogo desestructurado (es decir más reflexivo) o estructurado (es decir, más sistemático)?, ¿cuáles son los alcances y límites de la matriz de alineación?, ¿cuáles son las calidades requeridas por el “espejo”, es decir, puestos a escoger debemos preferir un experto en educación o un par disciplinar?, ¿cómo aplicar de manera masiva un instrumento diseñado para la reflexión y que se basa en la posibilidad de diálogo uno a uno entre el docente y un par crítico?

REFERENCIAS BIBLIOGRÁFICAS

Becker, W. E., & Andrews, M. L. (Eds.). (2004). The Scholarship of Teaching and Leaning in Higer Education: Contributions of Research Universities. Bloomington: Indiana University Press.

Biggs, J. B. (1999). Teaching for Quality Learning at University: What the Student Does. Buckingham: Open University Press.

Bloom, B. (Ed.). (1969). Taxonomy of educational objectives. New York: David McKay Co.

Boyer, E. L. (1990). Scholarship reconsidered : priorities of the professoriate. New York: The Carnegie Foundation for the Advancement of Teaching.

Brew, A. (2010). Transforming academic practice through scholarship. International Journal for Academic Development, 15(2), 105-116.

García Garduño, J. M. (2000). Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de evaluación de la docencia: síntesis de investigación internacional. In M. Rueda Beltrán & F. Díaz Barriga Arceo (Eds.), Evaluación de la docencia (pp. 41-62). México D.F.: Paidós.

Handal, G. (2008). Identities of academic developers: Critical friends in the academy? In R. Barnett & R. D. Napoli (Eds.), Changing identities in higher education: Voicing perspectives (Vol. 55–68). London: Routledge.

Hannan, A., & Silver, H. (2005). La innovación en la enseñanza superior: enseñanza, aprendizaje y culturas institucionales. Madrid: Narcea.

Huarte Cuéllar, R. (2010). Pasado y presente: dos visiones indígenas de la filosofía de la educación. Paper presented at the 12° Congreso de la Red Internacional de Filósofos de la Educación.

Hutchings, P. (Ed.). (2004). Teaching as Community Property: Essays on Higher Education / Lee S.Shulman. San Francisco: Jossey Bass.

Krathwohl, D. R., Bloom, B. S., & Masia, B. B. (1964). Taxonomy of educational objectives: Handbook II: Affective domain. New York David McKay Co.

López, A. A., & Fernández, M. A. (2010). Estudio de validez del instrumento de evaluación de cursos y profesores de la Universidad de los Andes. Bogotá: Universidad de los Andes.

López Mendoza, A. (2010). Entrevistas de alineación. In J. M. Vargas (Ed.). Bogotá.

Luna Serrano, E. (2000). Aspectos implícitos sobre la enseñanza reflejados en los cuestionarios de evaluación de la docencia. In M. Rueda Beltrán & F. Díaz Barriga Arceo (Eds.), Evaluación de la docencia (pp. 63-83). México D.F.: Paidós.

Menges, R. J. (2000). Shortcomings of Research on Evaluating and Improving Teaching in Higher Education. New Directions for Teaching and Learning, 83(Fall), 5-11.

Reyes Guevara, P. M., & Rueda Beltrán, M. (2010). La Evaluación de la Docencia Universitaria y no Universitaria: Retos y Perspectivas. Revista Iberoamericana de Evaluación Educativa, 3(1), 4-9. Retrieved from http://rinace.net/riee/numeros/vol3-num1_e/presentacion.html.

Ryan, K., & Johnson, T. D. (2000). A Comprehensive Approach to the Evaluation of College Teaching. New Directions for Teaching and Learning, 83(Fall).

Seldin, P. (1997). The Teaching Portfolio: A Practical Guide to Improved Performance and Promotion/Tenure Decisions. Boston, Mass.: Anker.

Shulman, L. S. (1987). Knowledge and Teaching: Foundations of the New Reform. Harvard Educational Review, 57(1), 1-21.

Shulman, L. S. (1993). Teaching as Community Property: Putting an End to Pedagogical Solitude. Change: Transformations in Education, 25(6), 6-7.

Stufflebeam, D. L. (2001). Evaluation Models. New Directions for Evaluation, 89(Spring).

Stufflebeam, D. L., & Shinkfield, A. J. (2007). Evaluation Theory, Models, & Applications. San Francisco: Jossey Bass.

Toro, J. R. (2006). Los nuevos roles del docente universitario.

Toro, J. R. (2010). Escala de pinchao. In J. Montoya Vargas (Ed.) (e-mail message ed.). Bogotá. Universidad de Los Andes. (2010). Misión. from http://www.uniandes.edu.co/la_universidad/informacion_general/mision.php.

Webb, N. L., Alt, M., Ely, R., Cormier, M., & Vesperman, B. (2005). The WEB Alignment Tool: Development, Refinement, and Dissemination: Council of Chief State School Officers.