1. LA EVALUACIÓN INSTITUCIONAL EN EL REINO UNIDO

El proceso de evaluación institucional en el Reino Unido ha ido evolucionando, desde un sistema de acreditación basado en indicadores cuantitativos y centrado en titulaciones hasta centrado en la actuación global de la institución, bajo la filosofía de que si una institución es capaz de demostrar que tiene y pone en práctica los mecanismos necesarios para asegurar la calidad de su oferta educativa, no es necesario descender a niveles inferiores de análisis. Esta evolución ha venido dada por una serie de hechos que hicieron plantearse a las autoridades la necesidad de simplificar el modelo existente (JM Consultng, 2005).

De esta manera, el sistema existente, fue reemplazado en 2001 por un marco para la garantía de calidad (QAF: Quality Assurance Framework) basado no ya en titulaciones (Subjects), sino en lo podríamos denominar Áreas (Disciplines), en un intento de simplificación del sistema (HEFCE, 2005) (ver Figura 1).

FIGURA 1. ESQUEMA ILUSTRATIVO DEL CAMBIO EN EL FOCO DE LA EVALUACIÓN INSTITUCIONAL
EN EL REINO UNIDO ENTRE LOS AÑOS 2000 Y 2004

Pero además surge un cambio aún de mayor trascendencia, necesario, a mi modo de ver por la ampliación del punto de mira de la evaluación. Este cambio hace que los indicadores cuantitativos pasen a un segundo plano, centrando toda la atención en una serie de documentos elaborados a partir de la experiencia acumulada y el consenso de todas las instituciones de HE. Estos documentos, en su conjunto, se denominan Infraestructura Académica (AI: Academic Infrastructure) (ver QAA, 1999, 2000, 2001, 2004a, 2004b, 2004c, 2004d, 2004e, 2006a, 2006b, 2006c, 2006d, 2007a, 2007b) que junto con las estadísticas cuantitativas (TQI: Teaching Quality Information) (ver HERO, 2007a y TQI, 2007) y los resultados sobre la encuesta nacional de estudiantes (NSS: National Students Survey) (ver HERO, 2007b) se han convertido en la base de información con la que cuentan los evaluadores para poder elaborar sus juicios.

Sin embargo, el modelo basado en Disciplinas, también ha sido revisado en los últimos años (QAA, 2006e) y el nuevo sistema de auditoría se centra ya no en los procesos singulares, sino que atienden hacia macroprocesos, es decir, hacia cómo organiza y gestiona la institución la calidad de su oferta y sus niveles académicos, de tal modo que si se demuestra su capacidad, y los resultados, comparando con los diferentes documentos de contraste (AI, TQI, NSS) se mantienen o mejoran, no hay por qué dudar de que los procesos singulares son también de calidad. De esta forma, la responsabilidad de la calidad de los títulos no depende necesariamente de agentes externos sino que depende directamente de las instituciones (ver figura 2), que deberán poner en marcha los mecanismos suficientes para que los criterios de calidad establecidos se cumplan.

FIGURA 2. ESQUEMA ILUSTRATIVO DEL CAMBIO EN EL FOCO DE LA EVALUACIÓN INSTITUCIONAL
EN EL REINO UNIDO A PARTIR DE 2005

2. LA EVALUACIÓN INSTITUCIONAL EN ESPAÑA

Dentro de nuestro contexto la primera experiencia en Evaluación Institucional promovida por el Consejo de Universidades (Consejo de Universidades, 1992, 1994) tiene lugar durante el curso 93-94, mediante un plan piloto que se desarrolló ya en fase no experimental durante el curso 96-97 (Consejo de Universidades, 1995, 1996a, 1996b, 1997a, 1997b) y que volvió a ponerse en marcha durante el curso 98-99 (Consejo de Universidades, 1998a, 1998b), continuando con el II Plan de Calidad de las Universidades y en la actualidad el Plan de Evaluación Institucional (PEI) coordinado e impulsado desde la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA, 2007a). Todos estos planes, basados en el sistema de revisión por pares siempre han tenido una finalidad encaminada a la promoción de la cultura de la calidad y la mejora continua y el nivel de análisis se ha centrado en las titulaciones o programas si bien se realizaban algunas aproximaciones hacia procesos generales de la institución en cuanto que algunos de los servicios ofertados, por ejemplo la biblioteca, no podían limitarse a un programa concreto.

Con una finalidad más centrada en la rendición de cuentas y bajo la perspectiva de la Convergencia Europea, simultáneamente al Plan de Evaluación Institucional gestionado por la ANECA, aparece también el Plan Piloto de Acreditación de títulos así como distintos programas de Certificación de Servicios como las Bibliotecas o la Mención de Calidad de los Programas de Doctorado. Todas estas iniciativas igualmente centran su atención en procesos singulares cercanos al esquema estructural mostrado en primera parte de la Figura 1 que ejemplificaba la primera etapa del sistema británico.

Sin embargo, y al igual que ocurría en el Reino Unido así como en otros países europeos, la polémica sobre la utilidad y justificación del elevado coste de un sistema de aproximación a la calidad institucional basado en títulos y servicios o procesos aislados individuales ha sido un punto continuo de debate, que si bien en el Reino Unido se ha solventado, en este momento con una ampliación del foco hacia la institución como una unidad, en nuestro contexto, sin embargo continúan apareciendo iniciativas que no acaban de decidirse hacia una opción clara.

Así, en el mes de junio de este año, ha aparecido una nueva alternativa; el Programa audit. (ANECA, 2007b) cercano a la filosofía mostrada ya en el sistema británico en el que el punto de interés cambia desde el proceso en sí hacia cómo se gestiona dicho proceso, es decir, lo importante ya no es sólo lo que se hace, sino que se pretende ir más allá evaluando lo que se hace para controlar y mejorar lo que se hace, es decir pasamos de una evaluación de procesos hacia una evaluación de la gestión de los procesos, lo que sigue sin quedar claro a partir de los documentos publicados hasta ahora es el foco de atención, que en algunos casos hace clara referencia hacia los títulos, a veces hacia los centros y en otros casos hacia la institución.
Las siguientes secciones de este artículo van a ir detallando el funcionamiento del sistema británico así como los principales elementos que lo integran y se irá comparando, en la medida de lo posible, con la propuesta española a partir de la documentación existente sobre dicho proceso.

Asimismo, dado que el modelo de Auditoría Institucional británica lleva algunos años en funcionamiento, en aquellos elementos en los que se considere adecuado o pertinente se hará referencia a las repercusiones concretas a nivel institucional que dicho sistema está conllevando a partir del estudio de un caso realizado durante los meses de mayo y junio sobre la Universidad Metropolitana de Leeds{1}

Debe tenerse presente, además, que el Programa Audit está en una fase inicial, habiéndose publicado hasta el momento únicamente tres documentos que pretenden iniciar en la filosofía de la gestión de la calidad a las instituciones universitarias que aún no lo han hecho. Además presenta una serie de herramientas y guías que pretenden ilustrar a las instituciones cómo elaborar y diseñar sus sistemas de garantía de calidad. Pero además, estos documentos presentan la utilidad de unificar sistemas de manera que, las agencias de calidad puedan llevar a cabo el reconocimiento y evaluación de éstos. Éste último punto resulta de sumo interés, bajo mi punto de vista puesto que ha sido, y está siendo uno de los grandes problemas existentes en el Reino Unido. Las instituciones tienen serios problemas para recoger las evidencias necesarias para demostrar el funcionamiento de sus mecanismos de gestión de la calidad dado que al evolucionar de un sistema basado en Disciplinas a un sistema global, no estaban estructuralmente preparadas para ello.

3. AUDITORÍA INSTITUCIONAL

3.1. Los fines y objetivos

Los fines principales de este sistema de evaluación se centran tanto en el control como en la mejora. En el control por cuanto persiguen del cumplimiento de determinados elementos establecidos, como son el ajuste de los títulos y calificaciones al documento marco creado para tal fin (FHEQ: The Framework for Higher Education Qualifications in England, Wales and N. Ireland) (ver QAA, 2000; 2006e). Mediante este control se espera que las instituciones proporcionen a sus estudiantes la oportunidad de obtener un aprendizaje de calidad en todos sus programas.

Pero además, también existe una finalidad formativa. Puesto que se espera que este proceso impulse la mejora de la calidad al basarse en “información obtenida a través de la evaluación, revisión interna y externa y feedback de los evaluadores” (QAA, 2006e:3).

En cuanto a los objetivos concretos, encontramos que se relacionan con la evaluación de la gestión para asegurar el mantenimiento de los niveles académicos de manera que los usuarios del sistema tengan plena confianza en el mismo, así como la rendición de cuentas ante la administración que financia. Pero además, resulta destacable el objetivo de controlar la mejora, es decir, el sistema no se conforma con el mantenimiento de dichos niveles mínimos, que sería el propio de un sistema meramente acreditativo, sino que busca controlar que se establezcan y pongan en marcha los mecanismos necesarios para la mejora continua de los procesos institucionales (QAA, 2006e:3).

La propuesta española del programa Audit parece responder a un objetivo muy semejante (ANECA, 2007:4) si bien se está trabajando en los documentos que desarrollarán la evaluación final de dichos mecanismos (procesos de verificación y de certificación (ANECA, 2007:5) por lo que en este momento no puede pormenorizarse más a este respecto.

3.2. El punto de mira: Los criterios de evaluación

Se comentaba en la primera sección de este artículo que este proceso, en el Reino Unido, se dirige al análisis de macroprocesos, es decir, hacia cómo organiza y gestiona la institución la calidad de su oferta y sus niveles académicos. La premisa de dicho análisis reside en que si la institución es capaz de demostrar su capacidad de gestión, y los resultados, comparando con los diferentes documentos de contraste (AI, TQI, NSS) así lo verifican, no hay por qué dudar de que los procesos singulares sean también de calidad.

De este modo, la auditoría institucional centra su atención en seis criterios que abarcan la totalidad de las actuaciones referidas a la enseñanza (QAA 2006e:4-5):

El programa Audit presenta siete criterios que en algunos casos pueden resultar semejantes aunque en otros, los diferentes marcos normativos hacen que se marquen diferencias (ANECA, 2007b):

3.3. La información necesaria: Evidencias

Para llevar a cabo el proceso auditor, al igual que en cualquier otro proceso de revisión por pares, la institución debe proporcionar información sobre sus acciones. En este caso, las evidencias son la parte fundamental del proceso y que, mientras en el caso británico está proporcionando grandes problemas a las instituciones por la poca sistematización existente a este respecto{3}, parece adivinarse que en la propuesta española, esa sistematización, comienza desde los primeros documentos publicados (ANECA, 2007, Documentos 02 y 03)

En el sistema británico, el equipo auditor utiliza la técnica del “trailing” para seleccionar y recoger las evidencias de una manera organizada de documentos y reuniones sobre los procesos y procedimientos institucionales (las auditorías no se detienen en titulaciones o disciplinas específicas, si no que el enfoque se realiza sobre el proceso de decisión e implementación institucional y sus resultados). Esta técnica consiste en la recogida de una muestra de los documentos que ejemplifican o evidencias cómo se llevan a cabo los diferentes procesos. Estos fragmentos de seguimiento (sampling trails) se utilizan para examinar los procedimientos o políticas que utiliza la institución y probar su eficacia. Se trata de un recorrido a través de la implementación y resultado de políticas y procedimientos desde el nivel de programación institucional.

La finalidad de las auditorías es trabajar con la documentación ya existente en la institución, es decir, que la institución no necesita producir ningún documento adicional. De hecho, este tipo de fragmentos de seguimiento los construye la propia institución para sus procesos de revisiones internas periódicas (QAA, 2006e:13). No obstante, debo hacer constar a este respecto, que al realizar diversas entrevistas con los responsables de procesos clave de la Leeds Metropolitan University, todos coincidieron en que este punto no era realista, puesto que todos los procesos de revisión internos afectan a unidades menores (facultades, titulaciones, etc.) por lo que, al ser el proceso de auditoría un proceso institucional, se ven obligados a construir dichos fragmentos desde el punto de vista global de toda la institución.

En la propuesta española (ANECA, 2007b, Documento 02:5-11), se define claramente como construir dichas evidencias para cada uno de los siete criterios mencionados en el apartado 3.2. Sin duda, este hecho es de gran ayuda para la elaboración u homogeneización de dichas evidencias, y además resulta más realista que el sistema británico. Por supuesto la redacción de dichos procesos no debe confundirse con las evidencias en sí, que se trataría no de la descripción de un procedimiento de gestión de la calidad para un proceso determinado, sino el demostrar que ese procedimiento se ha llevado a cabo.

3.4. Criterios de contraste: los indicadores

Una vez se ha visto cuáles son los criterios y qué información debe presentar la institución, se precisa conocer los elementos de contraste. El equipo auditor debe emitir un juicio de valor sobre los diferentes procesos clave identificados en la sección anterior. Estos juicios se emiten tras el contraste de las evidencias con una serie de indicadores que, en el caso británico, no solo van a hacer referencia a resultados como ocurría en los sistemas anteriores a 2001 (ver Ferrández, 1999) sino que el cambio que se ha producido radica en que los juicios se van a emitir sobre procesos

Para ello, los criterios seguidos son, por una parte, de corte cualitativo, centrados en una serie de documentos agrupados bajo el nombre de Academic Infrastructure (AI) (cuatro en total: Código de Prácticas; Descripción de títulos; Especificidad de títulos y Criterios de calificación) elaborados a partir de la experiencia recogida en todos los años de trayectoria evaluadora y bajo el consenso de todas las instituciones de Educación Superior del Reino Unido.

Por otra parte, como apoyo para la emisión del juicio, se cuenta, adicionalmente con una serie de datos cuantitativos: Teaching Quality Information (TQI) y National Student Survey (NSS)
Dado que en nuestro país no existe, hasta el momento, ningún documento de estas características, y considerando que se trata de elementos imprescindibles para ayudar en la elaboración de los juicios, considero oportuno realizar una breve descripción de los mismos, no con el espíritu de imitación, pero sí como descripción de buenas prácticas en el sentido de que se trata de documentos contextualizados y elaborados sobre elementos que las instituciones han acordado, consensuado y considerado valiosos,

3.4.1. Código de prácticas. (Code of Practice)

En este código se identifican una serie de principios/preceptos del sistema que cubren temas relacionados con la gestión de la calidad y niveles académicos en la Educación Superior. Está formado por 10 secciones que proporcionan un punto de referencia a las instituciones para asegurar consciente, activa y sistemáticamente la calidad y niveles académicos de sus títulos y calificaciones. No se trata de una normativa de corte legal sino que se trata de una mera referencia. Se asume que las instituciones se aseguran de cumplir con la legislación.
Las secciones son:

La estructura de este código, en cada una de sus secciones incluye preceptos y explicaciones de éstos:

3.4.2. Descripción de títulos (“Subject” Benchmarks) (QAA, 2004a)

Son un medio para proporcionar la comunidad académica la descripción de la naturaleza y características de los títulos en un área específica. Representan también las expectativas generales sobre los niveles exigidos para otorgar el título con una determinada calificación (honor, master…). Describen lo que proporciona coherencia e identidad a una disciplina, y definen lo que se espera de un titulado en términos de habilidades y destrezas necesarias para el desarrollo de su labor dentro de dicha área.

No se trata de un currículo nacional para un área determinada sino de un marco conceptual establecido por la comunidad académica de dicho área. Se han diseñado para ayudar a los que diseñan, ejecutan y evalúan un título. También pueden ser de interés para los estudiantes y empleadores potenciales, puesto que les permite obtener información sobre la naturaleza y niveles de un título en un área determinada.

3.4.3. Especificidad de títulos (Programme specifications) (QAA, 2006a)

Se trata de descripciones concretas sobre los resultados de aprendizaje esperados de un título de HE, y el medio por el que dichos resultados son logrados y demostrados.

Este documento, lo que pretenden es mostrar como se han combinado las materias en un programa determinado de una institución, pero no se trata sólo de eso, le da un valor añadido unificando las expectativas del “Subject” Benchmarks y las cualificaciones del HE quality standards estableciendo los resultados esperados si se finaliza con éxito un programa determinado. Son una fuente de información más específica, particularmente para futuros y actuales estudiantes.

En resumen, una especificación de título se puede utilizar para explicar los objetivos y resultados de aprendizaje que se pretenden con un programa, demostrando que puntos de referencia se han utilizado para diseñarlo y cuáles son los resultados de aprendizaje esperados.

3.4.4. Criterios de Cualificación (HE Qualification standards (Statements)) (QAA, 2000)

Pretende ayudar a los empleadores, escuelas, padres, estudiantes, etc. a entender los logros y atributos representados por los principales certificados de conocimiento acreditado (títulos). El esquema tiene cinco niveles, tres pregraduados y dos postgraduados. La Tabla 1 resume los principales criterios de cada una de las certificaciones académicas válidas.

TABLA 1. RESUMEN DE LAS PRINCIPALES CUALIFICACIONES OTORGADAS EN LA
EDUCACIÓN SUPERIOR DEL REINO UNIDO

3.4.5. Información Cuantitativa: Teaching Quality Information (TQI), National Student Survey (NSS), e informes públicos de los examinadores externos. (HERO, 2007a; 2007b)

Se trata de una base de datos oficial en la que se encuentra ubicada la información en cifras sobre los resultados de la Educación Superior financiada con fondos públicos en el Reino Unido, de manera que dicha información sea accesible a la sociedad en general.

También proporciona una serie de informes e información publicada por las instituciones sobre la calidad y niveles de sus cursos.

Todos los datos actualizados incluyen información sobre las calificaciones de entrada, cuántos continúan los estudios, cuántos graduados y con qué calificación y qué tipo de empleo o estudios posteriores han seguido.

3.5. El juicio

Por último, y aunque tampoco contamos, de momento, con el sistema completo, recuérdese que faltan por definir los procesos de verificación y certificación, faltaría, en este recorrido, cerrar el ciclo de la auditoría y para ello, definir como se construye el jucio.

Así, en el sistema británico, en su forma global, puede decirse que el proceso de auditoría sigue el formato de una revisión por pares, si bien, se presentan algunas salvedades, como son el alto grado de sistematización y planificación de todos los pasos (ver QAA, 2006e anexo A); el número de personas de dentro de la institución afectadas directamente durante el periodo de las visitas, que se reduce, normalmente a los encargados de los procesos clave y los estudiantes y; el número de visitas que recibe la institución antes de la firma del informe final, que son un mínimo de tres: la reunión preliminar; la visita documental (Briefing visit) y la auditoría propiamente dicha (Audit Visit).

Una vez contrastada la información de la institución con los criterios expuestos anteriormente, el equipo auditor emitirá unos juicios de valor categorizados en tres niveles: confianza, confianza limitada y no confianza, así como una serie de recomendaciones también categorizadas en tres niveles: esenciales, aconsejables, recomendables. Todos ellos van encaminados hacia la confianza que razonablemente puede tenerse en la adecuación de la gestión de los niveles académicos de los títulos y en la adecuación de la gestión de las oportunidades de aprendizaje disponibles para los estudiantes tanto en el momento en el que se emite el juicio como en un futuro próximo (QAA, 2006e). Es decir, el juicio no se basa en los resultados obtenidos, sino en el modo en el que la institución asegura el mantenimiento y mejora de esos niveles:

El juicio de los equipos auditores no se centra en los niveles en sí, sino en el modo en el que la institución se asegura de que sus niveles académicos están asegurados mediante el trabajo de sus examinadores, internos y externos, comparados con los niveles de referencia del Academic Infrastrucure. Tampoco se trata del juicio sobre las oportunidades de aprendizaje en sí, sino en el modo en el que la institución asegura que estas oportunidades son de una adecuada calidad, en contraste con el Academic Infrastructure. (p.7)

Cerrado el proceso, y transcurridos normalmente 3 años después de la auditoría se lleva a cabo un seguimiento para evidenciar los progresos llevados a cabo por la institución desde que la auditoría tuvo lugar.

4. DISCUSIÓN

El sistema de evaluación institucional británico tiene una gran tradición e historia, y ha resultado modelo de referencia obligado para todos los sistemas de evaluación de la calidad de la educación superior que se han ido instaurando en los diversos países, sobre todo europeos.

Sin embargo, lejos de tratarse de un modelo estático, parece quedar claro que ha ido evolucionando como fruto del análisis de esa trayectoria, y esa evolución ha derivado en una simplificación del sistema, lo que no significa una relajación en los objetivos de control, sino que más bien parece responder a una adaptación de las nuevas circunstancias. Es decir, después de casi 15 años de trayectoria (las primeras evaluaciones acreditadas a nivel nacional datan de 1993) las universidades ya contaban con una infraestructura suficiente que le permitía abordar el tema de la calidad desde su propio seno. Por lo que parece lógico que el sistema se desarrolle hacia el aseguramiento de que esa infraestructura funciona adecuadamente.

En este sentido, en nuestro país también podemos hablar de evolución, pero únicamente en términos de mejora del proceso de evaluación y en la aparición de nuevos procesos, que añaden elementos nuevos, pero en ningún momento parecen sustituir a los sistemas existentes, por lo que este nuevo programa Audit, podría convertirse en un programa más, y creo que el riesgo de sobrecarga de las instituciones debería empezar a plantearse. Con ello no quiero decir que en otros sistemas como el británico, analizado aquí, no se lleven a cabo otros procesos de evaluación, sino que esos procesos se han dejado en manos de las propias universidades que deciden quién y como se han de evaluar{4}, y son objeto de análisis en la auditoría institucional. La ventaja de este acercamiento es que es la evaluación deja de verse como algo impuesto, sino que es algo necesario dentro del sistema.

En segundo lugar, debe destacarse la evolución del punto de vista en el control, que ya no pasa únicamente por la comparación de resultados a partir de indicadores de rendimiento cuantitativos. Sino que se hace una incursión hacia los procesos clave en forma de criterios de comparación de corte cualitativo. Es decir, si cualquier evaluación de calidad debía tener en cuenta los objetivos de la institución (Ginés-Mora, 1998; IBHE, 2003; Johnes y Taylor, 1990b; Moravscik, 1986; Tejedor, 1997) en el caso británico, en la actualidad, las instituciones han consensuado cuáles son esos objetivos valiosos comunes a todas ellas y a partir de ahí se han elaborado los diferentes documentos a los que se ha denominado Academic Infrastructure que sirven de base a los auditores para emitir sus juicios.

Aquí es donde considero que tenemos nuestra gran asignatura pendiente, hasta la fecha no ha aparecido ningún documento ni hay iniciativa conocida aparte de las que estén relacionadas con los planes de estudio, que anime a la discusión conjunta sobre qué consideramos valioso en nuestras instituciones de tal manera que del resultado de dicho debate pueda construirse un modelo de referencia para la evaluación.

Por último, un tercer elemento digno de mención, y que considero que deberíamos tener presente a la hora de establecer alguna modificación en los sistemas existentes es el del control del cambio, es decir, aun tratándose de un sistema de rendición de cuentas, sin lugar a dudas, la auditoría institucional en el sistema británico no se conforma con el aseguramiento de los mínimos exigidos, sino que se controla la planificación y ejecución del planes de mejora con un sistema de seguimiento más propio de una evaluación continua de corte formativo que de una evaluación final de corte meramente sumativo.

Sin embargo, la evolución de todos estos aspectos no ha ido exenta de problemas y resistencias por parte de las instituciones, que han visto como en pocos años, cinco, para ser exactos, el sistema ha dado un giro radical que ha obligado y está obligando a reestructurar la infraestructura existente para adaptarla a los nuevos cambios.

Así, el primer cambio necesario es el de la centralización de procesos, con los sistemas anteriores, centrados en titulaciones o áreas, cada unidad era la responsable del aseguramiento de sus niveles académicos y su oferta. Con el sistema basado en la Institución las Facultades pierden autonomía, y con ello la oportunidad de resaltar aquellos aspectos de sus programas que podrían considerarse como puntos fuertes.

El segundo cambio, y como consecuencia del anterior, radica en la necesidad de unificar los diferentes procesos. Resulta altamente complicado construir una evidencia documental de ámbito institucional cuando cada facultad ha desarrollado procesos diferentes para asegurar su calidad. De hecho, en el estudio particular realizado en la Universidad Metropolitana de Leeds, que será objeto de una auditoría centrada en la Institución en el año 2009, las facultades están en este momento inmersas en un proceso de identificación de evidencias (algunas utilizan la técnica de Brainstroming para ello) de los diferentes procesos de tal manera que puedan localizarse aquellas comunes a todas ellas y construir de este modo la historia global de cada proceso clave.

Llegados a este punto, y ya dentro de nuestro contexto, en los últimos años, sobre todo desde la puesta en marcha de la LOU en 2001 y la creación de la Agencia Nacional (ANECA) y con el telón de fondo de la Convergencia Europea, el debate se ha centrado en la necesidad de establecer un sistema de acreditación de calidad en cuanto a si ésta debería focalizarse hacia titulaciones o hacia instituciones.

Por supuesto no voy aquí a proporcionar una respuesta a este debate, simplemente, considerando la experiencia en este tema de un país como el Reino Unido con una tradición e historia muy superior a la nuestra, plantearé una serie de presupuestos que podrían ayudar a redirigir éste hacia otros puntos de interés.

En primer lugar, nuestras infraestructuras de calidad se encuentran básicamente centralizadas, en cuanto a que en todas las universidades existen Oficinas de Calidad o equivalentes, al mismo tiempo que las evaluaciones realizadas, aunque basadas en titulaciones, siempre han contado con estas oficinas como facilitadotas del proceso. Este hecho parecería avalar la conveniencia u oportunidad de una auditoría a nivel institucional. Las ventajas de esta opción ya se han mencionado a lo largo de este artículo y al no contar con los inconvenientes surgidos en Gran Bretaña parece la opción más obvia.

Dejando a un lado el foco de la auditoría, otro punto a nuestro favor se ubicaría en la unificación de los procedimientos para recabar las evidencias que sin duda alguna, mejora el inexistente procedimiento británico.

Sin embargo, en contrapartida, la tarea pendiente sería la del consenso, es decir, lejos de debatir la importancia o no de que las titulaciones sean las mismas o equivalentes, lo que no puede dejar lugar a dudas es la necesidad de determinar cuáles son los elementos básicos de calidad que toda institución debe garantizar, es decir, cuáles son los objetivos clave comunes a todas las universidades y, a partir de ahí consensuar los criterios para su evaluación.

En el programa Audit, aun sin quedar claro el nivel de análisis, y siguiendo la línea anterior de otros programas como el de evaluación institucional o el de acreditación (ANECA, 2007a), se enmarcan una serie de criterios básicos que, sin dudar de su importancia, se reducen, básicamente a una lista de elementos que basta señalar si existen o no. Es decir, hasta ahora están faltos de contenido, falta el consenso entre las instituciones que dé un significado exacto a cada uno de los criterios junto con un conjunto de buenas prácticas asociadas a cada uno de ellos, de tal manera que el propio documento se convierta en una herramienta útil de trabajo para la mejora continua de la calidad de nuestras universidades, además de proporcionar una base sólida para el aseguramiento de la calidad.

Por último, una preocupación y una cuestión en el aire ¿Qué ocurre con la investigación? En ambos sistemas, el británico y el propuesto en nuestro país se hace referencia explícita a los grupos de interés, pero en ningún caso esos grupos de interés parecen mostrar preocupación alguna por la investigación. Dentro del sistema británico la filosofía está claramente definida (ello no quiere decir que yo la comparta) es el organismo que financia el que evalúa, y para ello tienen la RAE (Research Assessment Exercise) En nuestro país, tradicionalmente la investigación ha sido siempre incluida en los planes de evaluación de las titulaciones ¿Es posible que no exista un espacio para ella en el programa audit.

REFERENCIAS BIBLIOGRÁFICAS

Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2007a). Plan de Evaluación Institucional. http://www.aneca.es/active/active_ense_pei.asp/

Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2007b). Programa Audit. Documentos de trabajo 1, 2 y 3. http://www.aneca.es/active/active_audit.asp/

Consejo De Universidades (1992). Programa Experimental de Evaluación. (versión 0). Madrid: Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Consejo De Universidades (1994). Programa Experimental de Evaluación de la Calidad del Sistema Universitario. (Documento 13). Madrid: Ministerio de Educación y Ciencia, Comité Técnico de la Secretaría General del Consejo de Universidades.

Consejo De Universidades (1995). Programa de Evaluación Institucional de la Calidad de las Universidades. Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Consejo De Universidades (1996a). Plan Nacional de Evaluación de la Calidad de las Universidades. Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Consejo De Universidades (1996b). Plan Nacional de Evaluación de la Calidad de las Universidades. Guía de Evaluación. Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Consejo De Universidades (1997a). Plan Nacional de Evaluación de la Calidad de las Universidades. Guía de los evaluadores externos. Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Consejo De Universidades (1997b). Evaluación de la Calidad de las Universidades. Informe. Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Consejo De Universidades (1998a). Plan Nacional de Evaluación de las Universidades. Jornada de formación del 15 de julio 1998.

Consejo De Universidades (1998b). Plan Nacional de Evaluación de la Calidad de las Universidades. Guía de Evaluación. Ministerio de Educación y Ciencia, Secretaría General del Consejo de Universidades.

Ferrández, R. (1999). Indicadores de calidad en evaluación institucional universitaria. Análisis de un indicador para la universitat Jaume I. Valencia:Servicio de Publicaciones de la Universitat de Velència.

Ginés-Mora, J. (1998). Evaluación Institucional de la Universidad. Revista de Educación, 315. pp. 29-44.

Higher Education and Research Opportunities (HERO) (2007a). Education Quality and standards: Teaching Quality Information. (última visita el 30 de mayo de 2007).

Higher Education and Research Opportunities (HERO) (2007b). Education Quality and standards: National Students Survey. (última visita el 30 de mayo de 2007).

Higher Education Funding Council for England (HEFCE) (2005) Review of the Quality Assurance Framework. (Burslem Report). Phase one outcomes. London: HEFCE.

Illinois Board of Higher Education (IBHE) (2003) Establishing Performance Indicators to Assess Progress toward meeting the goals of the Illinois Commitment. Final recommendations. Educational Resources of Information Center (ERIC).

Johnes, J. y Taylor, J. (1990). Performance Indicators in Higher Education. Higher Education, 23(2), pp. 209-210.

JM Consulting (2005). The costs and benefits of external review of quality assurance in higher education.

Ling, P. (2005). Autonomy versus accountability: Measuring university teaching performance. En: Association for Teacher Education in Europe (ATEE), 30e Conférence annuelle de l'ATEE, Amsterdam, 22-26 octubre 2005

Moravscik, (1986). Assessing the Methodology for Finding a Methodology for Assessment. Social Studies of Science, 26, pp.534-39.

Quality Assurance Agency for Higher Education (QAA) (1999). Section 3: Students with disabilities. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2000). The framework for higher education qualifications in England, Wales and Northern Ireland. http://www.qaa.ac.uk/academicinfrastructure/FHEQ/EWNI/default.asp

Quality Assurance Agency for Higher Education (QAA) (2001). Section 8: Career education, information and guidance. En: Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2004a). Foundation Degree qualification benchmark.

Quality Assurance Agency for Higher Education (QAA) (2004c). Section 1: Postgraduate research programmes. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2004d). Section 2: Collaborative provision and flexible and distributed learning (including e-learning). En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2004e). Section 4: External examining. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2005). Handbook for academic review: For review of directly funded higher education in further education colleges.

Quality Assurance Agency for Higher Education (QAA) (2006a). Guidelines for preparing programme specifications.

Quality Assurance Agency for Higher Education (QAA) (2006b). Section 10: Admissions to higher education. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2006c). Section 6: Assessment of students. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2006d). Section 7: Programme design, approval, monitoring and review. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2006e). Handbook for institutional audit: England and Northern Ireland.  

Quality Assurance Agency for Higher Education (QAA) (2007a). Section 5: Academic appeals and student complaints on academic matters. En Code of practice for the assurance of academic quality and standards in higher education.

Quality Assurance Agency for Higher Education (QAA) (2007b). Section 9: Placement Learning. En Code of practice for the assurance of academic quality and standards in higher education.

Tejedor, F.J. (1997) Informes de Evaluación Institucional. En Revista Española de Pedagogía, 208. pp. 471-498.

{1} Este estudio se realizó mediante una estancia de investigación subvencionada por la Consellería de Empresa Universitat i Ciencia de la Generalitat Valenciana.