La evaluación de la calidad de la educación superior ha sido objeto de análisis y debate desde hace más de una década en España. Distintos programas desarrollados a nivel estatal y por las agencias autonómicas han impulsado la implantación de procesos de evaluación de la calidad. Aún así, la evaluación de la calidad de la educación superior ha entrado con cierto retraso y escaso interés en algunos sectores universitarios.
Actualmente se acepta de forma generalizada la necesidad de evaluación de la educación superior, aunque las tendencias varían en función del concepto de calidad subyacente. De la Orden et al. (1997) advertía de los riesgos de proyectar de forma acrítica la evaluación desarrollada en el ámbito económico a la evaluación de la universidad, considerándola únicamente un caso particular de la producción de bienes y servicios, lo que supone poner énfasis en los indicadores de eficiencia y productividad. No vamos a profundizar aquí sobre el concepto de calidad aunque sí queremos hacer hincapié en la existencia de tendencias en su concepción, cada una de las cuales tiene consecuencias distintas en la evaluación de la educación superior. Harvey y Green (1993, citados por De la Orden et al., 1997) analizan cinco concepciones de calidad y su relevancia para la educación superior.
En primer lugar, el concepto de calidad como fenómeno excepcional, como excelencia, y se concreta en la superación de altos estándares. Por ello hay que asegurar un sistema de exámenes externos que impulsen la calidad y faciliten la comparación entre instituciones. En segundo lugar, la calidad entendida como perfección o coherencia se centra en los procesos y establece las especificaciones que hay que cumplir. Supone una cierta democratización de la excelencia puesto que cualquier institución puede planificar unos procesos y cumplirlos. El concepto está vinculado a la “cultura de la calidad” y asume que todos los miembros de una organización son responsables de su calidad. Otra tendencia concibe la calidad como ajuste a un propósito. La perfección de los procesos, por sí sola, no garantiza la calidad; hay que tener en cuenta también si la institución cumple objetivos. Es una definición funcional que pone énfasis en la satisfacción del cliente. Otro concepto, el de calidad como relación coste-valor tiene relación con la idea de eficiencia económica. La calidad se mide a través de un sistema de indicadores de rendimiento que sirven para rendir cuentas a quien financia la institución. Finalmente, la calidad entendida como transformación cuestiona la noción de calidad centrada en el producto, especialmente cuando nos referimos a servicios como la educación superior. En la educación “el proveedor (profesor-institución) no hace algo para el cliente (estudiante) sino que hace algo al cliente, le transforma. La calidad radica en desarrollar las capacidades del estudiante y facilitarle una formación que le permita influir en su propia transformación. Se trata de un concepto de calidad como “valor añadido”. (De la Orden et al., 1997:5)
El concepto de calidad es, pues, un concepto relativo que depende, en gran parte, del punto de vista de quién lo utiliza. En el nuevo escenario de la educación superior, marcado por el proceso de convergencia europea, se incrementan los procesos de reflexión sobre el concepto y los procesos de garantía de la calidad de las universidades. Por un lado, los trabajos impulsados por el E4 Group{1} (formado por la ENQA, ESIB{2}, EUA{3} y EURASHE{4}) que, con la organización de encuentros que reúnen a todos los agentes a nivel europeo (agencias de garantía de calidad, instituciones de educación superior y estudiantes), y en los que se debaten cuestiones de calidad en el contexto de cambio de la educación superior, pretende fomentar la cultura de la calidad en las universidades{5}. Por otro lado, la European Association for Quality Assurance in Higher Education (ENQA), elabora indicadores y orientaciones sobre la evaluación de la calidad en las universidades europeas. El documento European Standards and Guidelines enfatiza que la responsabilidad primera de la evaluación de calidad es de las propias instituciones de educación superior y que el control externo será menor si el proceso interno es suficiente (Beso, Bollaert et al., 2008). No obstante, la tendencia es incorporar la garantía interna de calidad, como responsabilidad de las universidades, con procesos de garantía externa de calidad, que son responsabilidad de las agencias de evaluación.
En las universidades españolas, una de las consecuencias visibles de todo este desarrollo ha sido la exigencia de explicitar el sistema de garantía de calidad prevista para cada titulación en las memorias de los títulos de grado que se someten a la aprobación de la Agencia Nacional de Evaluación de la Calidad (ANECA). Con el fin de orientar y facilitar la definición de sus sistemas internos de garantía de la calidad de los centros universitarios ANECA desarrolla el programa AUDIT, en colaboración con agencias de algunas comunidades autónomas. Según el documento del programa (ANECA, 2007) los aspectos contemplados en él deberán formar parte de los requisitos establecidos en el programa VERIFICA, al que deberán someterse periódicamente las titulaciones universitarias para dar cuenta del logro de los objetivos previstos y proponer modificaciones pertinentes. El programa podrá autorizar las modificaciones o bien proponer la supresión de la titulación. Por lo tanto, en el momento de redactar las memorias de planificación de las titulaciones, desde las agencias de evaluación se promueve claramente que los procedimientos de garantía de la calidad de cada titulación formen parte de la propia planificación de la titulación.
En este artículo nos planteamos las posibilidades que conlleva la integración del sistema interno de evaluación de la calidad en el funcionamiento ordinario de las titulaciones como elemento indispensable para desarrollar la cultura de la calidad en el contexto universitario. En primer lugar, se expone el contexto actual de la evaluación interna de la calidad en las universidades españolas y, a continuación, se presenta el sistema de evaluación de la calidad diseñado para el Grado de Educación Social de la Universitat de Girona{6}. A partir de la experiencia en la implementación de este sistema de evaluación se plantean los principales retos a los que se enfrenta la evaluación de una titulación, el desarrollo de sistemas internos de evaluación de la calidad de las enseñanzas universitarias y la integración del sistema de calidad en el funcionamiento ordinario de las titulaciones.
1. LA EVALUACIÓN DE LA CALIDAD EN LAS UNIVERSIDADES ESPAÑOLAS
A pesar de la existencia en España de algunos antecedentes sobre evaluación de la calidad de la educación superior como fueron el Programa de Evaluación de la Calidad Docente (1980) y el Programa Experimental de Evaluación de la Calidad del Sistema Universitario (1993-94), en el marco de la Ley de Reforma Universitaria (LRU), el inicio de la preocupación por la evaluación de la calidad se sitúa a principios de los años 90 con el Programa Experimental de Evaluación de la Calidad del Sistema Universitario con el que se pretendía poner a prueba la metodología de evaluación institucional (Buendía y García, 2000). El Plan Nacional de Evaluación de la Calidad de las Universidades (1996-2000) siguió este mismo enfoque.
Durante muchos años la evaluación de la calidad en el ámbito universitario fue sinónimo de evaluación de la docencia. Muñoz Cantero et al (2002) planteaban la existencia de dos grandes corrientes en lo que ha venido siendo la evaluación de la docencia universitaria. La tendencia mayoritaria, y vía “tradicional” en la evaluación de la calidad docente se ha llevado a cabo mediante el uso de cuestionarios para obtener datos de diferentes dimensiones asociadas a la tarea docente. A través de los Planes de Calidad de las Universidades (1ª y 2ª convocatorias) se intentó substituir esta vía tradicional por una corriente más actual, basada en modelos de evaluación que parten de la autoevaluación como un proceso reflexivo y participativo, implicando a todos los miembros en la mejora de la calidad. Este modelo de evaluación institucional pretendía incorporar al profesorado activa y positivamente en el proceso de evaluación, intentando superar las limitaciones –y reticencias- del primer sistema.
La acreditación y la evaluación institucional son las dos estrategias utilizadas por las universidades españolas (De Miguel, 2001). La diferencia entre ellas radica en que la primera evalúa una institución o un programa académico en función de unas normas de calidad establecidas por agencias u organismos externos autorizados, mientras que la evaluación institucional se dirige a valorar y emitir juicios sobre la adecuación de los procesos y la calidad de una institución en función de los objetivos previstos. Dentro de este contexto, debemos preguntarnos cuál es el papel que se otorga a la evaluación de las titulaciones. Mora (2001) defendía la necesidad de establecer un sistema de acreditación para calificar las titulaciones. Esta medida, junto con el establecimiento de un sistema de información pública sobre las titulaciones y de un mecanismo financiero que compensase por resultados estimularía, en las universidades y su profesorado, actitudes de preocupación por la calidad de los resultados y, en definitiva, el desarrollo de la cultura de la calidad.
Sin embargo, los sistemas de acreditación de las titulaciones plantean interrogantes, tal como señala Vidal (2006). Según el autor, teóricamente, un modelo de acreditación a nivel europeo tiene sentido cuando su objetivo es buscar un reconocimiento internacional, con el propósito de aumentar la influencia que Europa tiene en el mundo, no un sistema competitivo entre los países de la propia UE. En España la Ley Orgánica de Universidades (LOU) plantea un sistema de acreditación de títulos con el objetivo de revisar los previamente aprobados, y no con el objetivo de buscar un reconocimiento internacional. Se trata, según Vidal (2006) de un sistema de acreditación de mínimos que, además, puede tener consecuencias negativas, como es la supresión de un derecho adquirido, es decir, la supresión de una titulación de grado o máster que se venía impartiendo. Ello no parece demasiado adecuado para lo que es un sistema de acreditación, que debería servir para controlar que se están haciendo las cosas bien y, en todo caso, suponer algún beneficio para aquél que lo supera. Esta vertiente de la acreditación, la de control, también genera dudas en cuanto a qué es lo que debe controlarse a través de este sistema. Las universidades públicas españolas tienen escaso nivel de autonomía{7}; como consecuencia hay que ser prudentes sobre cuáles son los aspectos que quedan para la acreditación. El autor se pregunta si sería posible un modelo mixto de acreditación de enseñanzas-instituciones, de manera que algunos criterios pudieran ser evaluados a nivel de centro o de institución universitaria (definición de objetivos, información a los estudiantes, sistemas de orientación, recursos y servicios, personal académico, etc.) y otros, como el desarrollo de la enseñanza y sus resultados de aprendizaje, a través de la evaluación de la titulación.
En Cataluña{8}, la Agencia per la Qualitat del Sistema Universitari de Catalunya (AQU), en convenio con el Ministerio de Educación y Ciencia, y basándose en el modelo diseñado por el Comité Técnico del Consejo de Universidades, establece en un primer momento un plan de evaluación institucional que considera como objeto de evaluación la enseñanza o titulación. Los informes emitidos por AQU a partir de la evaluación de 230 titulaciones desde el año 1995, señalan la necesidad de integrar el proceso de evaluación en el seno de los planes estratégicos propios de cada universidad, de movilizar más a las personas, sobre todo a estudiantes y al personal de administración, de dinamizar su participación en la evaluación de las titulaciones y de aumentar el conocimiento que las diferentes audiencias tienen del autoinforme de evaluación. Romero (2008:200-201), a partir de la experiencia de evaluación institucional de las universidades andaluzas, señala también algunas dificultades en la realización de este tipo de evaluación: la dificultad de mantener los comités de autoevaluación, la falta de convencimiento de su utilidad, la falta de reconocimiento de las tareas de participación en este tipo de comités, la falta de sistemas de información potentes que generen datos con agilidad y la complejidad de las guías de evaluación.
Más recientemente¸ en Cataluña, AQU (2010) propone una integración de los sistemas de verificación de títulos, de seguimiento y de acreditación. Establece que las universidades son las responsables del seguimiento de las titulaciones que ofrecen, a través de sus sistemas de evaluación interna de la calidad. Proponen que los sistemas de garantía interna de la calidad de las universidades analicen anualmente sus enseñanzas generando un informe de seguimiento. La agencia realizará evaluaciones externas de los centros universitarios (facultades y escuelas) y evaluará a la vez todas las titulaciones de un mismo centro. Los informes de seguimiento emitidos por las universidades así como las auditorías serán evidencias tomadas en consideración por la agencia, para llevar a cabo el proceso de acreditación de las titulaciones de grado y máster.
El debate pues, en torno a los procesos de evaluación institucional y de acreditación de las instituciones, y el papel que dentro de este contexto debe tener la evaluación de la calidad de las titulaciones, no está en absoluto cerrado. Sin duda, estas experiencias han contribuido a desarrollar y avanzar en la cultura de la evaluación, aunque también ponen de manifiesto las dificultades y riesgos de la evaluación de la calidad. Aún así, debemos tener presente que en el contexto europeo actual existe un cierto consenso, visualizado a partir de la Declaración de Bolonia y especialmente de la Conferencia de Berlín (2003) sobre la necesidad de realizar evaluaciones institucionales que contribuyan no sólo a la mejora de la titulación sino también a la evaluación externa de las mismas o acreditación (Rauret, 2004).
Construir un sistema de evaluación interna de las enseñanzas que permita avanzar en la mejora de la titulación y que sea percibido de utilidad por parte de los diferentes colectivos implicados, es ahora mismo un reto importante. Que además este sistema sea útil para informar procesos de evaluación institucional y procesos de acreditación es importante. Y hay que evitar el riesgo de que la relación que se establezca entre la evaluación de las titulaciones y la evaluación de la institución convierta a la primera en un proceso exclusivamente burocrático y orientado a la rendición de cuentas. Desde nuestro punto de vista el reto que se plantea es organizar un sistema interno de evaluación de la calidad que se integre en el marco de la evaluación de la universidad y a la vez, que constituya un sistema que permita avanzar en la mejora de la titulación y que sea percibido de utilidad por parte de los diferentes colectivos implicados en la titulación: profesorado, estudiantes y personal de administración.
2. SISTEMA DE GARANTÍA DE CALIDAD DE LA TITULACIÓN DE GRADO DE EDUCACIÓN SOCIAL DE LA UDG
Uno de los apartados de las memorias de planificación de las titulaciones de grado exige que cada titulación exponga su sistema de garantía de calidad. La información evaluativa obtenida mediante este sistema debe ser la base para la posterior acreditación de la titulación. El sistema de garantía interna de la calidad de la titulación debe especificar los objetivos de la evaluación de dicha calidad y desarrollar los procedimientos y estrategias con los que llevar a cabo dicha evaluación. A continuación explicamos cuáles han sido los criterios que hemos tenido en cuenta para desarrollar el sistema de garantía de la calidad de la titulación de Grado de Educación social de la Universitat de Girona.
2.1. Criterios para desarrollar el sistema de garantía de la calidad de la titulación
2.1.1. La integración del sistema de garantía la calidad de la titulación en el marco del sistema de garantía interna de la institución
Algunas universidades han llevado a cabo el desarrollo de planes estratégicos con posterioridad a la elaboración de las memorias de los títulos de grado en los que se exigían la descripción del sistema de garantía de calidad, pensamos que debemos tener presente este aspecto y tratar por tanto de vincular algunos de los objetivos de calidad de la titulación a los de la institución. Los objetivos de calidad deben ser claros y coherentes con los objetivos de calidad de la universidad, pero sin olvidar los objetivos propios de la titulación.
2.1.2. El desarrollo de la cultura de la calidad, integrando la evaluación de la calidad en la dinámica de funcionamiento de la titulación la calidad
Beso, Bollaert et al. (2008) señalan que los sistemas de evaluación de la calidad se han tendido a utilizar de arriba hacia abajo, externamente más que internamente, y esto es una equivocación puesto que no se percibe la calidad como parte del proceso de mejora de la experiencia de aprendizaje. Hemos diseñado el sistema procurando que los procesos de evaluación se integren en la planificación de la titulación, de manera que se vayan desarrollando en la medida en que se van implantando los cursos del grado, o sea que la evaluación de la calidad forme parte de la propia dinámica de funcionamiento de la titulación. Se busca que la evaluación cumpla con los requisitos de un sistema de garantía de la calidad y sirva tanto a la institución como a los propios implicados en la titulación. De hecho, se trata de desarrollar un sistema que contribuya a su vez a desarrollar la cultura de la calidad.
2.1.3. La participación de los distintos colectivos implicados en los procesos de evaluación y en la toma de decisiones
Fomentar la cultura de la calidad pasa por movilizar más a los distintos colectivos, sobre todo a estudiantes y personal de administración, y dinamizar su participación en los procesos de evaluación. Esta participación no puede quedar relegada al hecho de ser informantes, respondiendo cuestionarios sobre la docencia. Entre los mecanismos y procesos de evaluación previstos debe considerarse la participación de estos colectivos en las comisiones de calidad o en otros órganos de decisión, y hacerlos participar en la valoración de los informes de evaluación.
2.1.4. La sistematización de la recogida de información como base para llevar a cabo la evaluación de la titulación
Rodríguez Sabiote y Gutiérrez Pérez (2003) analizan las debilidades de la evaluación de la calidad en la universidad española en la situación previa al desarrollo del Espacio Europeo de Educación Superior (EEES) entre las cuales señalan la ausencia de un método sistemático de recopilación de datos para sustentar la evaluación, o la falta de mecanismos de análisis y validación de la información recogida. La propuesta trata de cuidar la organización de la recogida de información por su repercusión en la justificación de los resultados de la evaluación. Las propuestas de mejora y de modificación de una titulación deben ir acompañadas por datos y evidencias que las apoyen. Las fuentes de información deben ser variadas, así como los instrumentos y estrategias para llevar a cabo la recopilación de datos, y hacer posible la triangulación de datos. Una buena organización y sistematización de la información facilita un seguimiento a lo largo de los cursos, la posibilidad de llevar a cabo comparaciones dentro de la titulación y de observar la evolución de ciertos indicadores, de realizar análisis sobre temas específicos, etc.
2.1.5. La evaluación de la calidad como estrategia de desarrollo y mejora de la titulación
Sin olvidar que la evaluación de la titulación debe tener presente tanto los objetivos relacionados con la acreditación como aquéllos vinculados a la mejora de la titulación, entendemos que para que la evaluación pueda contribuir al desarrollo y mejora de la enseñanza es necesario tomar en consideración las diferentes dimensiones de la titulación relacionadas con su planificación, su desarrollo y sus resultados. Tradicionalmente, el énfasis en los resultados como elemento clave para la evaluación ha prevalecido, así como la evaluación por referencia a la satisfacción del cliente. Definir la calidad de una titulación únicamente como satisfacción del alumnado, o como satisfacción de los empleadores, no es suficiente para impulsar la mejora de la enseñanza. Así, el funcionamiento de los módulos y asignaturas, las estrategias docentes, los sistemas de evaluación de los estudiantes, los programas de movilidad, las prácticas externas, los recursos disponibles, etc. deberán tenerse en cuenta en la evaluación, junto con los resultados de la titulación y los niveles de satisfacción de los estudiantes.
2.2. Sistema de evaluación de la calidad
Tomando como base estos criterios describimos a continuación el sistema de evaluación de la calidad que hemos planificado para el Grado de Educación social de la Universitat de Girona. Concretamente, presentamos los objetivos de la evaluación, las dimensiones de dicha evaluación, las fuentes de información y las estrategias de evaluación.
Tabla 1. Dimensiones y objetivos de calidad de la titulación de Grado de
Educación social de la UdG{9}
Planificación de la titulación
|
Dimensiones |
Objetivos de calidad de la titulación de Grado de Educación social de la UdG |
Conocimiento del contexto social |
2. Asegurar que el perfil profesional que ofrece la titulación de grado se ajusta a la demanda social de educadores sociales.
4. Mejorar los sistemas de recogida de información sobre las características de acceso de los estudiantes al grado con la finalidad de tener información sistematizada que permita ajustar la planificación de los estudios a dichas características. |
Establecimiento de objetivos y finalidades |
2. Asegurar que el perfil profesional que ofrece la titulación de grado se ajusta a la demanda social de educadores sociales.
7. Potenciar la participación de los estudiantes en la valoración de la enseñanza: objetivos, actividades formativas, los sistemas de evaluación. |
Planificación de los cursos, módulos y asignaturas |
3. Velar para que la implantación de cada uno de los cursos de nuevo grado se realice en base al plan propuesto, se establezcan los mecanismos de coordinación necesarios para su despliegue y se realicen los ajustes necesarios para mejorar su planificación.
8. Garantizar los mecanismos necesarios para que todo el profesorado que imparte docencia en los estudios pueda participar en su planificación y evaluación.
10. Mejorar la planificación de los módulos y asignaturas de cada curso, así como su desarrollo, en los aspectos que colectivamente se determinen como prioritarios. |
Desarrollo de la enseñanza
|
Dimensiones |
Objetivos de calidad de la titulación de Grado de Educación social de la UdG |
Coordinación del plan de estudios |
3. Velar para que la implantación de cada uno de los cursos de nuevo grado se realice en base al plan propuesto, se establezcan los mecanismos de coordinación necesarios para su despliegue y se realicen los ajustes necesarios para mejorar su planificación.
13. Garantizar la coordinación dentro de cada módulo, y dentro de cada uno de los cuatro cursos del grado. |
Desarrollo de los módulos o asignaturas |
10. Mejorar la planificación de los módulos y asignaturas de cada curso, así como su desarrollo, en los aspectos que colectivamente se determinen como prioritarios. |
Acciones de apoyo a los estudiantes |
6. Seguir desarrollando y mejorar las acciones de apoyo a los estudiantes, tanto las relativas a la acogida de los nuevos estudiantes como a las acciones de apoyo a su proceso de aprendizaje. Garantizar que los módulo “Aprendizaje de los estudiantes en la universidad” en el primer y segundo cursos del grado, se desarrollen de acuerdo con esta perspectiva. |
Programas de movilidad e intercambio |
5. Mejorar la información que se proporciona a los estudiantes de nuevo ingreso, así como sobre los programas de movilidad. |
Desarrollo de las prácticas externas |
11. Establecer los sistemas necesarios para garantizar un buen desarrollo de las prácticas externas: los centros de prácticas, la supervisión de los estudiantes, la coordinación entre tutores de la universidad y profesionales-tutores. |
Desarrollo del Trabajo de Fin de Grado |
12. Organizar los mecanismos adecuados de apoyo a la realización del trabajo de fin de grado. |
Evaluación de la enseñanza |
7. Potenciar la participación de los estudiantes en la valoración de la enseñanza: objetivos, actividades formativas, los sistemas de evaluación.
8. Garantizar los mecanismos necesarios para que todo el profesorado que imparte docencia en los estudios pueda participar en su planificación y evaluación. |
Información a los estudiantes |
1. Garantizar que los estudiantes que acceden a la titulación de grado tienen un conocimiento suficientemente amplio y correcto sobre la finalidad y objetivos de la titulación.
5. Mejorar la información que se proporciona a los estudiantes de nuevo ingreso, así como sobre los programas de movilidad.
9. Garantizar que los estudiantes tienen toda la información necesaria sobre la planificación de la enseñanza: objetivos, actividades formativas, sistemas de evaluación, para cada uno de los módulos y asignaturas.
14. Asegurar una correcta información a los estudiantes sobre los sistemas de evaluación de los módulos y asignaturas, hacer públicos los resultados de aprendizaje que se esperan de los estudiantes y garantizar los ajustes necesarios que permitan mejorar la vinculación de los sistemas de evaluación y los resultados de aprendizaje. |
Sistema de evaluación de los estudiantes |
14. Asegurar una correcta información a los estudiantes sobre los sistemas de evaluación de los módulos y asignaturas, hacer públicos los resultados de aprendizaje que se esperan de los estudiantes y garantizar los ajustes necesarios que permitan mejorar la vinculación de los sistemas de evaluación y los resultados de aprendizaje. |
Formación del profesorado |
16. Impulsar y, en su caso, desarrollar las acciones de formación del profesorado relacionadas con las necesidades de formación detectadas a partir de la implantación del estudio de grado. |
Resultados/satisfacción
|
Dimensiones |
Objetivos de calidad de la titulación de Grado de Educación social de la UdG |
Rendimiento de los estudiantes y resultados de la titulación |
15. Realizar un seguimiento sistematizado de los indicadores de rendimiento de los estudiantes, por cursos y por asignaturas. |
2.2.1. Los objetivos de calidad
En el momento de plantear el sistema de garantía de calidad de la titulación de Educación Social, la Universitat de Girona estaba en fase de debate y planificación de su marco de calidad, que debía permitir, en el ámbito en la docencia, garantizar la correcta definición y despliegue de las nuevas titulaciones adaptadas al Espacio Europeo de Educación Superior. Cada 6 años la titulación deberá seguir un proceso de verificación en que se comprobará si cumple los requisitos establecidos en el programa AUDIT. La UdG participa en este programa y para la definición del sistema se han identificado 22 procesos clave agrupados en siete bloques: Política y objetivos de calidad, diseño de la oferta formativa, que incluye la planificación de las titulaciones, desarrollo de las enseñanzas, personal académico y de apoyo, recursos materiales y servicios, resultados/satisfacción, e información pública. En la Tabla 1 se pueden leer los objetivos de calidad, relacionados con los distintos aspectos a evaluar.
2.2.2. Las dimensiones a evaluar
Formulamos 16 objetivos de calidad que en la Tabla 1 se pueden ver organizados en tres bloques: planificación de la titulación, desarrollo de la enseñanza, y resultados, que incluyen distintos aspectos o dimensiones. Algunos objetivos hacen referencia a más de un aspecto a evaluar.
2.2.3. Los sistemas de recogida de información
La información a recoger debe ser útil para objetivos relacionados con la acreditación, y para objetivos de mejora de la titulación En este sentido, el sistema de evaluación prevé utilizar los clásicos indicadores de resultados junto con otros datos y evidencias, tanto cuantitativos como cualitativos, que ayuden a valorar las distintas dimensiones de la titulación, especialmente, el desarrollo de la enseñanza. Estos datos incluyen valoraciones y opiniones de los participantes sobre los distintos aspectos de la planificación, desarrollo y sistemas de evaluación de la enseñanza, y sobre su grado de satisfacción.
2.2.4. Las fuentes de información
El sistema elaborado ha tenido en cuenta la necesidad de recoger, para un mismo aspecto o dimensión, información de distintas fuentes: estudiantes, profesorado, documentación, servicios de administración de la universidad, empleadores y profesionales en ejercicio, etc. para favorecer el contraste de la información. Entendemos que una evaluación que persiga un cierto grado de credibilidad necesita recoger no sólo datos sino también los puntos de vista y apreciaciones de los distintos grupos implicados en la titulación.
2.2.5. Dimensiones del compromiso
El planteamiento de las estrategias de evaluación ha tomado en consideración la necesidad de participación de los distintos colectivos: estudiantes, profesorado y PAS, no únicamente como fuentes de información sino también como participantes en la toma de decisiones. Asumimos que, en la medida en que se favorezca la participación de los distintos colectivos implicados en la titulación en los procesos de evaluación, más positivo será el proceso, tanto para fomentar la cultura de la evaluación como para la propia mejora de la calidad de la enseñanza. La participación de estos colectivos en los consejos de estudios, como órgano de toma de decisiones en el marco de la titulación, y en la comisión de calidad de la titulación será imprescindible para hacer partícipes a todos en la toma de decisiones.
Las estrategias de evaluación han de implicar una recogida sistemática de información que debe, a la vez, ser útil y manejable. El sistema ha de ser útil para organizar la información, facilitar su utilización y el análisis de datos, y favorecer la comunicación de estos procesos a los implicados. Por ello hemos puesto especial atención en el tipo de instrumentos a utilizar, en los protocolos de recogida de datos y en la identificación de las personas responsables de cada tipo de información. Entre estos instrumentos se incluyen cuestionarios, actas de reuniones de profesorado, actas de reuniones con los estudiantes, resúmenes de las reuniones con los delegados de curso, entrevistas individuales con los estudiantes, protocolos de valoración de los módulos y asignaturas, informes de la coordinación de estudios sobre aspectos relativos a la planificación y a la información a los estudiantes sobre la titulación, etc.
Para cada uno de los 16 objetivos hemos planificado qué información debemos obtener, las fuentes de información, los instrumentos y estrategias previstos para recogerla. Hemos previsto cuándo debemos recoger la información y quién es el responsable. A modo de ejemplo, en la Tabla 2 hemos detallado la planificación de los sistemas de recogida de información referentes al objetivo de calidad 10 sobre el desarrollo de los módulos y asignaturas.
Tabla 2. Planificación de la evaluación del objetivo 10: desarrollo de los módulos y asignaturas
| Objetivo |
Información (Datos, indicadores, evidencias) |
Fuente |
Instrumento/estrategia |
Cuando se recoge la información |
Responsable/s |
10. El desarrollo de los módulos y de las asignaturas |
Opinión sobre el desarrollo de módulos y asignaturas |
Profesorado |
Reuniones periódicas del profesorado |
Una por semestre, mínimo |
Coordinación de estudios |
Informe del profesorado responsable de cada módulo |
Estudiantes |
Reuniones periódicas de los representantes de los estudiantes con la coordinación de estudios |
Una por semestre |
Coordinación de estudios |
Resultados de los estudiantes |
Profesorado |
Informe del profesorado responsable de cada módulo |
Un mes después de la finalización del módulo |
Profesorado responsable de cada módulo |
Satisfacción sobre la docencia |
Profesorado |
Informe del profesorado responsable de cada módulo |
Un mes después de la finalización del módulo |
Profesorado responsable de cada módulo |
Opinión sobre los cambios que se estiman necesarios |
Profesorado
|
Informe del profesorado responsable de cada módulo |
Un mes después de la finalización del módulo |
Profesorado responsable de cada módulo |
Estudiantes |
Cuestionario |
Al final de cada módulo |
Profesorado responsable de cada módulo |
Desde el curso 2009-10 elaboramos un documento para cada instrumento o estrategia prevista, en el que se incluye la información que figura en la Tabla 3. La tabla presenta un ejemplo del trabajo realizado para el instrumento “Informe de valoración del módulo”.
Tabla 3. Ficha para cada instrumento o estrategia.
Ejemplo sobre el informe de valoración de los módulos por parte del profesorado
| Nombre del instrumento/estrategia |
INFORME DE VALORACIÓN DE LOS MÓDULOS POR PARTE DEL PROFESORADO |
Objetivo/s de calidad al que hace referencia
Se especifican cuál o cuáles de los 16 objetivos de calidad debe cubrir el instrumento. |
8, 10, 14 y 15 |
Objetivos del instrumento/estrategia
El instrumento tienen unos objetivos de recogida de información que se concretan en este apartado |
- Tener información sobre la programación del módulo (programa, materiales, actividades, organización de las clases, coordinación del módulo)
-Obtener datos sobre si el módulo se ha desarrollado según el calendario previsto y si el horario y la distribución de espacios ha sido adecuada.
-Valorar si las tutorías han resultado satisfactorias.
-Valora el grado de satisfacción de los resultados obtenidos por los estudiantes.
-Valorar si las actividades presenciales y de trabajo dirigido han sido útiles para ayudar a los estudiantes a lograr los resultados de aprendizaje.
-Valorar los sistemas de evaluación empleados y si estos se adecuan a la adquisición de las competencias asignadas al módulo. -Recoger información sobre el grado de satisfacción global con el desarrollo del módulo |
Procedimiento de aplicación
Cuando es necesario se dan indicaciones sobre el procedimiento a seguir para la aplicación del instrumento. |
Un mes después de finalizar el módulo los equipos de profesorado hacen llegar a la coordinación de estudios el informe. Para realizarlo, el profesorado deberá tener en cuenta la opinión de los estudiantes. Para poder tener una visión completa del módulo debe realizarse el informe una vez ya se tengan los resultados de los estudiantes. |
Temporalización
Se indica en qué momento del curso o del grado debe aplicarse el instrumento |
Febrero (módulos del primer semestre); Junio (módulos anuales y de segundo semestre) |
Responsable/s de la aplicación
Se especifica quién es el responsable o responsables de la recogida de la información. El responsable último de la evaluación es, como se ha dicho, el Consejo de Estudios y la coordinación de estudios. |
Profesorado de cada módulo |
El curso 2009-10 se inició el Grado de Educación social en la UdG y empezamos a introducir el sistema que hemos descrito. La experiencia nos permite confirmar que el planteamiento sobre el proceso a seguir resulta adecuado para obtener una información relevante que revierte en la mejora del curso. El sistema constituye una guía para recoger la información de forma sistemática y organizarla, para visualizar quiénes son las responsables de llevar a cabo el proceso y recoger los datos. Aunque la implantación del sistema de evaluación interna de la calidad es reciente, salen a la luz algunos elementos que, a nuestro entender, constituyen retos a tener en cuenta en la implementación y mejora de estos sistemas. Los comentamos a continuación.
3. RETOS, DILEMAS Y LOGROS. REFLEXIONES A PARTIR DE LA EXPERIENCIA EN LA IMPLEMENTACIÓN DEL SISTEMA DE EVALUACIÓN INTERNA DE LA CALIDAD EN LA UNIVERSIDAD
La evaluación de la calidad de las titulaciones universitarias presenta dificultades derivadas de la complejidad de la definición del concepto de calidad en educación superior, y de los procedimientos a realizar. Fueyo (2004) aporta algunas de las principales críticas que, de forma general, hacen referencia al hecho de que los sistemas propuestos para ser aplicados en la enseñanza superior parten de modelos gerencialistas de calidad, importados de los ámbitos empresariales, y vinculados a enfoques de rendición de cuentas y de control, orientados a la evaluación de productos, e impulsados y realizados por evaluadores externos, en vez de potenciar una evaluación a partir de la reflexión del profesorado sobre la propia práctica.
Habrá que observar cómo se configuran los sistemas de garantía de calidad de las universidades y su relación con los sistemas externos de evaluación. Labreve experiencia con estos sistemas en nuestra universidad nos pone en alerta sobre los temas a los que Fueyo hace referencia puesto que observamos un énfasis considerable en los procesos de rendición de cuentas y control.
A continuación presentamos algunas reflexiones sobre los aspectos que constituyen retos para la articulación de los sistemas de evaluación interna de la calidad de las titulaciones y sobre los que habrá que trabajar en los próximos años.
3.1. Combinar acreditación con evaluación para la mejora
Los procesos de evaluación de la calidad de la educación superior impulsados por las agencias de calidad en España tratan de combinar, al menos a nivel teórico, la evaluación como acreditación y como estrategia para la mejora de la formación. La evaluación interna de la calidad se halla entre estos dos enfoques. Como señalan Michavila y Zamorano (2008) la evaluación interna de la calidad, además de estar al servicio de la acreditación o evaluación externa, con una relación evidente con la rendición de cuentas y la financiación de las universidades, constituye un procedimiento necesario para la adecuación del sistema de formación previsto a las necesidades que se evidencian en la medida que se implementa la formación.
Así, el sistema de acreditación de titulaciones obliga a proporcionar datos sobre indicadores cuantitativos, enfocados hacia el control, la rendición de cuentas y la satisfacción del cliente. La acreditación sirve para justificar las modificaciones substanciales de la titulación o bien conlleva la extinción del título. Sirve además a objetivos de comparación entre titulaciones y entre universidades. Este tipo de evaluación está vinculado a la toma de decisiones por parte de la administración. Sin embargo, existe también la necesidad de evaluar para la mejora de la formación que se imparte y de las prácticas docentes, promoviendo la cultura de la calidad y de la evaluación.
Existe pues una cierta tensión entre los objetivos de la evaluación para la acreditación y los objetivos de evaluación para la mejora. Por un lado, se supone que las titulaciones deberán someterse a un proceso de verificación por parte de las agencias externas. Algunas de éstas, sin embargo, empiezan a sugerir que su función no es evaluar todas y cada una de las titulaciones sino evaluar a las universidades y comprobar que éstas disponen de sistemas de garantía de calidad establecidos que aseguren el desarrollo de los procesos adecuados para evaluar las titulaciones. Por otro, los sistemas de acreditación exigen trabajar con indicadores cuantitativos mientras que la evaluación con fines de mejora necesita, además, otro tipo de datos que permita a las personas y colectivos implicados realizar un ejercicio de reflexión orientado a la mejora continua.
Esta tensión, trasladada al terreno del funcionamiento cotidiano de las titulaciones, puede tener, a nuestro entender, dos respuestas. Una, optar por cumplir básicamente los requisitos que exige el proceso de acreditación, recogiendo la información sobre los indicadores –principalmente cuantitativos- y la realización de informes para cumplir con las exigencias de la institución y de las agencias externas. Y dos, intentar combinar las dos estrategias y tratar de dar respuesta a los dos requisitos. En el primer caso, el proceso de evaluación interna de la titulación puede convertirse en un proceso excesivamente burocratizado y contribuye poco a fomentar la cultura de la calidad. En el segundo, el riesgo és aumentar la presión sobre los implicados (profesorado, estudiantes y personal de administración) y pueden ver la evaluación como un conjunto de exigencias (de proporcionar información, de realización de informes, de valoración de los datos, etc.) difíciles de cumplir.
El contexto actual muestra un peso importante de los procesos de acreditación. En el grado de Educación social de la UdG hemos optado por no renunciar a la segunda. Por ello es de suma importancia pensar bien la estrategia a seguir en la evaluación interna de la calidad. En la medida en que los procesos se incorporan en el funcionamiento cotidiano de la titulación, probablemente sea más factible pensar en los objetivos de mejora de la formación ofrecida a los estudiantes. El primer año de implantación del Grado nos muestra que es posible organizar unos procesos que favorezcan el análisis del funcionamiento de la titulación aspectos que conducen a mejorar las prácticas.
Otro aspecto a tener en cuenta es que los procesos de evaluación tienen sentido si la detección de problemas puede permitir solucionarlos. A veces en la institución universitaria resulta difícil resolver de forma rápida y eficaz determinado tipo de problemas, puesto que implican decisiones a nivel de política universitaria que tienen sus tiempos y sus procedimientos. No obstante, una evaluación interna de la calidad en el marco de la titulación permite detectar los aspectos óptimos de su funcionamiento y los problemas que surgen en el quehacer cotidiano. La existencia de procedimientos en que pueden participar profesorado y alumnado de la titulación acerca la evaluación a todos los participantes y contribuye a desarrollar la cultura de la evaluación.
3.2. Integrar la evaluación de las titulaciones y la evaluación de la institución
En el momento en que se planifican los sistemas de garantía de calidad de las titulaciones exigidos en las memorias de los títulos de grado no todas las universidades disponen de sistemas de garantía de la calidad implantados. Ésta es la situación de la UdG. Por consiguiente, el marco en el que debe insertarse el sistema de evaluación interna de la titulación de grado de educación social no está bien definido. La identificación de los objetivos de calidad de la titulación se hace teniendo en cuenta marcos generales pero resulta difícil articular estos sistemas con el sistema institucional.
En los últimos años, además, las agencias externas de evaluación de la calidad también se replantean, como hemos dicho, cuál debe ser su papel. Si bien en un primer momento parece claro que las titulaciones deben someterse al programa VERIFCA cada 6 años (ANECA) ahora es posible hacer modificaciones de la planificación inicial cada dos años. La agencia catalana redefine su papel como agencia de evaluación externa, que pasa a ser el de garantizar que la universidad disponga de procesos para asegurar la calidad de la formación que ofrece y que desarrolla estos procesos correctamente. Aunque algunos de estos cambios de enfoque puedan ser defendibles (uno se pregunta cómo y con qué recursos económicos se pretendían verificar todas y cada una de las titulaciones que imparten las universidades españolas), el escenario cambiante en cuanto a criterios y procedimientos hace que los procesos de evaluación interna de titulaciones se encuentren con incertidumbres que en los próximos años habrá que concretar, aclarar y precisar.
3.3. Desarrollar la cultura de la evaluación
Los diferentes implicados en el desarrollo del sistema de garantía de la calidad de una titulación deben poder percibir estos procesos como algo útil y con consecuencias sobre la mejora de sus prácticas, no únicamente como un conjunto de tareas que deben realizarse en aras al control y la rendición de cuentas. Aunque podemos afirmar que el profesorado en general admite la necesidad de evaluación interna, la puesta en práctica del sistema pone de manifiesto que existen ciertas dificultades. Por ejemplo, la recogida sistemática de información puede resultar engorrosa si no se hace con sistemas sencillos e integrados en el funcionamiento cotidiano. Además, hay que tener posibilidades de análisis de la información que permita un retorno a los colectivos implicados de las conclusiones obtenidas y de las consecuencias prácticas de los resultados de la evaluación. Es lo que puede fomentar la participación de los distintos implicados. Finalmente, el incremento de tareas a realizar es significativo, haciéndose necesario implicar a distintas personas para poder llevar a cabo la evaluación. Es necesario un trabajo en equipo entre el profesorado y los responsables de la gestión de las titulaciones. La creación de las comisiones de calidad de la titulación, con participación de personas de los distintos colectivos, puede ser una buena herramienta, así como lo es el consejo de estudios de la titulación que también debe velar por la calidad de la formación.
3.4. La evaluación interna como innovación
Incorporar las dinámicas de evaluación interna en la gestión de las titulaciones choca, en estos momentos iniciales de despliegue de los grados, con los procesos establecidos y habituales de funcionamiento de las titulaciones y de los centros. Podemos considerarlo una innovación que necesita un grado de motivación suficiente por parte de los implicados, especialmente por parte del profesorado. La motivación razonada para participar plenamente en esos procesos constituye un reto para la institución. La formación del profesorado universitario en técnicas y procedimientos relacionados con su participación activa en los sistemas de evaluación interna y en el establecimiento de criterios de calidad se configura como un elemento básico para facilitar el éxito de estos procesos.
La experiencia iniciada en el curso 2009-10 en el grado de Educación social de la UdG nos permite afirmar que, más allá de las dificultades y complejidades señaladas, la integración del sistema de evaluación interna de la calidad en las universidades conlleva elementos positivos. En primer lugar, se observa una mayor concienciación del conjunto del profesorado hacia la necesidad de incorporar los procesos de evaluación como instrumento clave para la mejora de la calidad. En consecuencia, se produce un incremento en la implicación del profesorado en los procesos de coordinación dirigidos a la implantación del sistema de evaluación interna. Aunque en los primeros momentos se percibió como una tarea de enorme complejidad, que añadiría carga de trabajo con poco efecto en la práctica docente, paulatinamente el profesorado va asumiendo e incorporando, aunque con distintos ritmos, el lenguaje y los procedimientos como parte integrante de su actividad como docentes. En segundo lugar, se dispone de información sobre el funcionamiento del curso procedente de distintas fuentes y con distintos procedimientos que nos permite disponer de “fotografías situacionales” del funcionamiento a partir de las cuales se detectan problemáticas y se articulan propuestas de mejora. Finalmente, pensamos que uno de los elementos positivos es que se ha diseñado el sistema de evaluación interna de la calidad sobre la base de estructurar procedimientos y estrategias ya existentes, sistematizándolas y reordenándolas para que puedan formar parte del proceso general de evaluación y añadiendo aquéllas que se estiman necesarias.
REFERENCIAS BIBLIOGRÁFICAS
Agència per l’Avaluació de la Qualitat del Sistema Universitari de Catalunya (AQU) (s.d.). Procés d’avaluació de la qualitat del sistema universitari de Catalunya. Informes desde el año 1998 hasta 2006. Consultado el 14 mayo 2010 en http://www.aqu.cat/publicacions/informes_avaluacio.html.
Agència per l’Avaluació de la Qualitat del Sistema Universitari de Catalunya (AQU) (2010). Proposta de marc per a la verificació, el seguiment, la modificació i l’acreditació de titulacions oficials. Barcelona: Generalitat de Catalunya. Consultado el 13 de Octubre de 2010 en http://www.aqu.cat/universitats/mvsma/index.htm.
Agencia Nacional de Evaluación de la Calidad (ANECA) (2007). Programa Audit. Guía para el diseño de sistemas de garantía interna de calidad de la formación universitaria. Consultado el 14 de mayo de 2010 en http://www.aneca.es/media/166338/audit_doc01_guidiseno_070621.pdf.
Beso, A., Bollarert, L., Curvale, B., Toft Jensen, H., Harvey, et al. (editors) (2008). Implementing and using quality assurance: strategy and practice. A selection of papers from the 2nd. European Quality Assurance Forum. European University Association. Consultado el 21 de Julio de 2010 en http://www.eua.be/eua-work-and-policy-area/quality-assurance/qa-forum/qa-forum-2010.aspx.
Bollaert, L., Brus, S., Curvale, B., Harvey, L., Helle, E., et al. (editors) (2007). Embedding Quality culture in Higher Education. A selection of papers from the 1st. European Forum for Quality Assurance. European University Association. Consultado el 21 de Julio de 2010 en http://www.eua.be/eua-work-and-policy-area/quality-assurance/qa-forum/qa-forum-2010.aspx.
Bollaert, L., Carapinha, B., Curvale, B., Harvey, L., Helle, E. et al. (editors) (2009). Trends in quality assurance. A selection of papers from the 3rd. European Quality Assurance Forum. European University Association. Consultado el 21 de Julio de 2010 en http://www.eua.be/eua-work-and-policy-area/quality-assurance/qa-forum/qa-forum-2010.aspx.
Buendía, L., García, B. (2000). Evaluación institucional y mejora de la calidad en la enseñanza superior. En: González, T. (Coord). Evaluación y Gestión de la Calidad Educativa. Un enfoque metodológico. Archidona: Aljibe.
De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J. M. y Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativa, 3 (1) Consultado el 25 de julio de 2010 en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm.
De Miguel, M. (2001). Modelos académicos de evaluación y mejora de la enseñanza superior. Revista de Investigación Educativa, 19 (2), pp. 397-400.
European Association for Quality Assurance in Higher Education (2005). Criterios y directrices para la Garantia de Calidad en el Espacio Europeo de Educación Superior. Consultado el 21 de julio de 2010 en http://www.enqa.net/bologna.lasso.
Fueyo, A. (2004). Evaluación de titulaciones, centros y profesorado en el proceso de Convergencia Europea: ¿de qué calidad y de qué evaluación hablamos? Revista Interuniversitaria de Formación del Profesorado, 18 (3), pp. 207-219.
Michavila, F. y Zamorano, S. (2008). Panorama de los sistemas de garantía de calidad en Europa: una visión trasnacional de la acreditación. Revista de Educación, núm. extraordinario, pp. 235-263.
Mora, J.G. (2001). El marco español y europeo en las políticas de calidad. Revista de Investigación Educativa, 19 (2), pp. 389-395.
Muñoz, J.M., Ríos, M.P. y Abalde, E. (2002). Evaluación docente vs. Evaluación de la Calidad. Revista Electrónica de Investigación y Evaluación Educativa. 8 (2), pp. 103-134. Consultado el 21 de julio de 2010 en http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm.
Rauret, G. (2004). La acreditación en Europa. Revista Interuniversitaria de Formación el Profesorado. 18 (1), pp. 131-147.
Rodríguez, C. y Gutiérrez, J. (2003). Debilidades de la evaluación de la calidad en la universidad española. Causas, consecuencias y propuestas de mejora. Revista Electrónica de Investigación Educativa, 5 (1), pp.1-25.
Romero, P. (2008). La evaluación institucional en el contexto universitario. Huelva: Universidad de Huelva.
Vidal, J. (2006). Acreditación de instituciones vs enseñanzas. V Foro Aneca “Acreditación de Instituciones vs Titulaciones”. Madrid: Agencia Nacional de Evaluación de la Calidad y Acreditación. Consultado el 15 de septiembre de 2010 en http://www.aneca.es/publicaciones/publicaciones-del-foro-aneca.aspx.
{1} En el año 2005 este grupo propone a los ministros de los países que firmaron el Tratado de Bolonia la idea de celebrar anualmente un foro para debatir los aspectos de la garantía de la calidad. A partir de 2006 este foro se dedica cada año a un eje temático específico. El primero se centró en los procesos de calidad interna de las universidades, el segundo en la implementación y utilización de la garantía de calidad, y el tercero en las tendencias en la Garantía de Calidad (2009).
{2}European Students Union.
{3}European University Association.
{4}European Association of Institutions in Higher Education.
{5}Los documentos resultantes de estos foros se pueden consultar íntegramente en la página web de ANECA.
{6}La Universitat de Girona se encuentra en Cataluña, una de las comunidades autónomas del norte de España.
{7}Vidal (2006) señala que en estos momentos las universidades públicas españolas no son autónomas para diseñar sus programas, ni para decidir cuándo empezar a impartir las enseñanzas, ni cuántos alumnos van a aceptar por titulación. Tampoco pueden decidir sobre las tasas, ni la selección de profesorado. Todos estos aspectos vienen regulados externamente. Algunos aspectos de la organización de las universidades y de los procesos y órganos de toma de decisiones también están regulados externamente. La pregunta es, por tanto, cuáles deben ser los aspectos que se pueden someter a un proceso de acreditación cuando las universidades tienen poco poder de decisión sobre ellos.
{8}Cataluña es la comunidad autónoma en la que se encuentra la Universidad de Girona que es, a su vez, la institución donde se realiza la experiencia que presentamos en el apartado 3 del artículo.
{9}Los objetivos están numerados según figuran en la memoria de planificación de la titulación. En la tabla aparecen relacionadas con las dimensiones que señala la univesidad. Por ello la numeración no es correlativa.