Día a día, miles de vuelos están siendo operados en todo el mundo de una forma que no para de sorprendernos, por lo que implica el sustentar en el aire a un vehículo de varias toneladas de peso y poderlo operar a lo largo del día bajo distintas condiciones atmosféricas. Buena parte de que los viajes por avión tengan un alto índice de seguridad se debe al uso de instrumentos de control, que proporcionan al piloto un conjunto de indicadores de muy distinta especie: un indicador de rumbo o giroscopio direccional para indicar la dirección que lleva el avión, un indicador de velocidad aerodinámica o anemómetro para medir la velocidad del avión, un altímetro para conocer la altitud a la cual está volando el avión, un indicador de las reservas de combustible con que cuenta la aeronave y muchos más. Cada indicador lleva consigo un propósito y le proporciona al piloto información valiosa que le permite conducir la aeronave en forma segura y llegar a su destino siguiendo una ruta óptima.

La descripción anterior sirve para proponer una analogía con el trabajo que realizan los diversos cuadros directivos de una institución: rector, vicerrectores, directores de escuelas o divisiones, jefes de departamento y coordinadores de área, entre otros. Así como un piloto de aviones cuenta con un conjunto de instrumentos para poder operar su nave, los directivos de una institución educativa deben contar también con instrumentos que les permitan tomar decisiones para mejorar la gestión de la institución y cumplir con metas que sean congruentes con la misión y visión institucional. La responsabilidad que el director tiene para conducir su escuela o universidad es similar a la de un piloto de avión: mientras que el segundo lleva consigo la responsabilidad de realizar un viaje en forma segura, el primero tiene también una gran responsabilidad: coadyuvar a la calidad de vida de los estudiantes, en términos de la educación que están recibiendo. En ambos casos, la responsabilidad no es exclusiva de los "capitanes": así como el piloto depende de todo un equipo de tierra y aire para que el avión opere sin falla alguna, el director de una institución educativa cuenta con un equipo de profesores y personal académico y administrativo para brindar a los alumnos una educación que aspira a ser de calidad.

Aunque el término calidad educativa elude una definición precisa, parece existir cierto consenso sobre la naturaleza multifactorial de este constructo; esto es, la educación de calidad depende de múltiples variables como podrían ser el correcto diseño de planes y programas de estudio, la exigencia en los procesos de enseñanza, el empleo de buenos recursos didácticos, un medio ambiente que sea auténtico promotor del aprendizaje, la atinada gestión de la institución educativa, etc. De entre todas estas variables, este artículo pone especial atención al tema de la gestión escolar, entendida ésta en términos del trabajo que los diversos cuadros directivos realizan para apoyar el trabajo de alumnos, profesores y otros muchos actores del proceso educativo. Desde la implementación de un programa innovador, hasta la operación diaria de la institución, cada decisión que los directores llegan a tomar tiene un impacto en esa calidad. Y cada decisión que es preciso tomar debe, por principio de cuentas, tratar de ser una decisión informada; esto es, una decisión que esté basada en principios teóricos y evidencia empírica que apunte a aquellas líneas de acción que aseguren, hasta donde es posible, una mayor efectividad en el logro de las metas institucionales y una mayor eficiencia en el aprovechamiento de los recursos con los que se cuenta. En ese sentido, la evaluación de instituciones educativas juega un papel fundamental para proveer de información completa, fidedigna y oportuna a quienes toman decisiones y están a cargo de la gestión en la institución.

El artículo que aquí se presenta tiene por objetivo presentar los resultados de un proyecto de investigación titulado Modelo sistémico de evaluación institucional para el mejoramiento de la calidad educativa, el cual se desarrolló en el marco de una convocatoria del Fondo Mixto de Fomento a la Investigación Científica y Tecnológica del Consejo Nacional de Ciencia y Tecnología (CONACYT) y del Gobierno del Estado de Guanajuato, en México. El modelo propuesto estuvo delimitado por el contexto particular de instituciones públicas de educación media-superior y de educación superior del Estado de Guanajuato. Sin embargo, a pesar de que el modelo partió de un marco contextual dado por las condiciones de dicha convocatoria, los aprendizajes de este trabajo bien pueden ser empleados en otro tipo de instituciones educativas; y no sólo para el contexto de Guanajuato o México, sino inclusive de otros países Iberoamericanos.

En este artículo, los autores inician con un Marco teórico que sirve de base para el modelo de evaluación propuesto. A continuación, presentan el Método con una descripción de las distintas etapas que se siguieron para el desarrollo del modelo. Bajo el apartado de Resultados, se presenta una descripción del modelo propuesto, así como el trabajo de validación que fue realizado al poner a prueba el modelo en diversas instituciones educativas. En las Conclusiones se plasman las lecciones aprendidas en este proyecto y se reflexiona sobre la trascendencia del modelo propuesto en el contexto de las instituciones que lo lleguen a emplear.

1. Marco Teórico

Gestión, toma de decisiones, información, evaluación institucional e indicadores son algunos conceptos que se exploraron en esta investigación. Comencemos con el primero. Más que verla como un área disciplinaria, nos interesa en este artículo delimitar la gestión como las acciones de la dirección (en sus distintos niveles) orientados al manejo de los procesos propios de las instituciones educativas. El término de gestión educativa es preferido en los contextos europeos, pero equivale al de administración educativa que es más usado en Estados Unidos y Canadá (Bush, 2003). Contrasta con el concepto de liderazgo en el sentido de que este último va más orientado al manejo del cambio, mientras que el de gestión se orienta a operaciones relativamente rutinarias dentro de la institución (Bush, 2008).

La gestión educativa es un proceso continuo de toma de decisiones. Los directivos de instituciones educativas toman decisiones desde las fases de planeación hasta las de evaluación, pasando por procesos intermedios de organización, asignación de recursos, implementación de procesos, etc. Y también hay directivos que evaden tomar decisiones. El panorama es amplio y, sin pretender ser exhaustivos, podríamos apreciar cuatro grandes tipos de gestión educativa, tal y como se observan en la Figura 1. En forma ideal, pensamos en un tipo de gestión informada en la que los cuadros directivos toman decisiones partiendo de datos, información y estudios serios sobre la situación y problemática por atender. Desafortunadamente, también llegamos a ver otros casos de lo que podríamos denominar gestión de "ensayo y error", donde las decisiones son tomadas en forma más intuitiva, pero sin contar con información suficiente que permita tener conciencia sobre las probabilidades de éxito y el impacto de las decisiones tomadas. Aunque se reconoce que el no tomar decisiones es una forma de decidir, cuando esto ocurre con demasiada frecuencia nos lleva a gestiones ineficientes o ausentes. En la Figura 1, hemos denominado a la gestión ineficiente como aquella en la que, a pesar de contar con información, el directivo la pone de lado y no la usa para tomar decisiones. ¡Cuántos informes no hay archivados y desperdiciados porque algunos directivos simplemente no los leen! El peor caso lo tenemos con la gestión ausente en donde ni se cuenta con información ni se toman decisiones.

FIGURA 1. CUATRO TIPOS DE GESTIÓN EDUCATIVA EN FUNCIÓN A LA TOMA DE DECISIONES
Y A LA INFORMACIÓN CON QUE SE CUENTA

Desde luego, los procesos de toma de decisiones dependen, más que de la información disponible, de una gran cantidad de factores tales como la centralización, formalización y estandarización en la toma decisiones; cuestiones de índole política; la influencia del equipo y del medio ambiente; las condiciones bajo las que se toman las decisiones (de certidumbre, de incertidumbre, de riesgo y de conflicto); la velocidad con la que hay que tomar decisiones; la justicia del proceso de toma de decisiones, etc. (Pedraja, Rodríguez y Rodríguez, 2006).

Dentro de esta amplia gama de factores que intervienen en la toma de decisiones, un factor que toma especial importancia en este artículo es el relativo a la información con la que cuentan los directivos. Son muchas las fuentes de información a las que un directivo tiene acceso. En ocasiones, la información le llega de manera natural, mientras que en otros casos debe implementar mecanismos concretos para generarla como parte de sus funciones de gestión. Es aquí donde entran los conceptos de evaluación educativa y de evaluación institucional, en particular.

Cuando hablamos de evaluación educativa, ésta se entiende, por lo general, como el grado en el que un proceso educativo favorece el logro de las metas para las que fue creado. Desde luego, hay muchos tipos de evaluación educativa y se usa este término como el gran "paraguas" que cubre o incluye la evaluación del aprendizaje, la evaluación del proceso de enseñanza-aprendizaje, la evaluación curricular y la evaluación de las institución educativas, entre otras. Por evaluación institucional se entiende aquel tipo de evaluación en el que se determina la efectividad y eficiencia de una institución educativa, como centro de trabajo y como prestadora de servicios a la sociedad (Valenzuela, 2004). El término de evaluación institucional contrasta con el de acreditación, en el sentido de que el primero se enmarca en una corriente de evaluación formativa, mientras que el segundo por lo general tiene una naturaleza sumativa. La evaluación institucional es una práctica educativa que basa sus juicios en documentos, estadísticas e información interna de la unidad evaluada (Aiello, 2007).

Sobre evaluación educativa se ha escrito mucho, mas no así sobre la evaluación institucional en particular. Ciertamente, hay un buen número de libros que se orientan a estudiar diversos componentes de las instituciones educativas, como pueden ser la evaluación del aprendizaje (e.g., Kubiszyn y Borich, 2003; y Carey, 2001), los programas educativos (e.g., Fitzpatrick, Sanders y Worthen, 2004) o, incluso, los espacios arquitectónicos (e.g., Salmerón, 1992). Hay otro buen número de libros orientados a evaluación organizacional, pero con un enfoque empresarial que pone énfasis en temas de diagnóstico (e.g., Rodríguez, 1999), en temas de gestión (e.g., Kaplan y Norton, 1997) o en temas de evaluación del personal (e.g., Edwards y Ewen, 1996). Por otra parte, también existen algunos libros que hablan de la evaluación educativa en general y que dedican sólo un capítulo a la evaluación institucional (e.g., Domínguez, 2000; y Mayor, 1998). Hay también libros orientados a la evaluación en general (e.g., Isaac y Michael, 1995; Rossi, Lipsey y Freeman, 2004; y Weiss, 1997), pero sin un enfoque específico a la educación y mucho menos a las instituciones educativas. Y, eventualmente, sí se llegan a encontrar libros que abordan sólo el tema de la evaluación institucional, pero que lo hacen de manera muy focalizada (e.g., Ruiz, 1998, aborda la evaluación de un conjunto particular de centros educativos españoles; Loría, 2002, propone un modelo de evaluación basado en índices que permiten generar rankings entre universidades públicas mexicanas; y Díaz-Barriga, 2008, quien estudia el impacto de diversos programas y mecanismos de evaluación en la educación superior mexicana). Dos ejemplos de libros con una orientación específica al tema de evaluación de instituciones educativas son los que  proponen Tejedor y Rodríguez (1996) y Valenzuela (2004). Estas referencias sirvieron de antecedentes teóricos para la elaboración del modelo de evaluación que aquí se propone.

¿Cuáles son las premisas teóricas que se consideraron para la generación del modelo? Al revisar literatura para el proyecto, uno de los primeros aspectos que tuvieron que ser definidos fue la naturaleza de la evaluación que se estaría realizando a través del modelo. Según Valenzuela (2004), existen cuatro dimensiones de la evaluación: evaluación basada en teoría vs. evaluación empirista; evaluación holística vs. evaluación atomista; evaluación objetivista vs. evaluación subjetivista; y, evaluación cuantitativa vs. evaluación cualitativa. El modelo aquí propuesto debía ubicarse en distintas posiciones de estas dimensiones, dependiendo de aquello que se deseaba medir. Sin que el modelo asuma posiciones inamovibles, se partió de la premisa que debía equilibrar una evaluación basada en teoría con evidencia empírica del contexto del cual se partía (esto es, instituciones públicas de nivel medio-superior y superior del Estado de Guanajuato, en México). Por otra parte, se decidió que el modelo partiría, en un principio, de una postura atomista, ya que la meta era definir un conjunto de indicadores institucionales, pero con el eventual acercamiento a una visión holística de toda la institución, al tratar de vincular cada indicador particular, con una misión y una visión institucional. Adicionalmente, se estableció que el modelo debía privilegiar un enfoque objetivista sobre uno subjetivista, no porque éste último se considere poco importante, sino por la forma en que se pensaba colectar y procesar información de manera relativamente simple y, de ser posible, un tanto automatizada. Finalmente, se decidió que el modelo de evaluación tendría un enfoque predominantemente cuantitativo; aunque el modelo debía poner especial énfasis en la importancia de saber interpretar la cualidad que hay detrás de cada cantidad.

Esta breve síntesis de referencias consultadas sirvió de marco teórico para el desarrollo de un modelo de evaluación para instituciones educativas. La teoría debía enfrentarse a la realidad, y fue así como se definió un proyecto que permitiera colectar evidencia empírica para construir y validar el modelo en cuestión.

2. Método

Esta investigación partió del problema de identificar cuáles son las características que debe tener un modelo de evaluación que proporcione información a los cuadros directivos de una institución educativa para mejorar los procesos de toma de decisiones, la gestión de la institución y, eventualmente, la calidad del servicio educativo que ofrece. El problema así planteado llevó a los investigadores a proponer un proyecto consistente en tres etapas: (1) un diagnóstico de necesidades de evaluación institucional; (2) la propuesta y validación del modelo de evaluación institucional; y (3) la transferencia del modelo a través de procesos de formación de evaluadores, así como la difusión de los resultados. Estas tres etapas se describen en los apartados siguientes.

2.1. Etapa 1: Diagnóstico de necesidades de evaluación institucional

El propósito de la primera etapa del proyecto de investigación fue el de realizar un diagnóstico sobre las necesidades de evaluación institucional en el contexto del Estado de Guanajuato, México. Buscando saber que "tierra pisaban", los investigadores se dieron a la tarea de identificar: (1) las prácticas de evaluación institucional que se estaban llevando a cabo en las instituciones públicas de educación media-superior y superior del Estado de Guanajuato; (2) aquellos aspectos que no se estaban evaluando o que podrían evaluarse mejor; (3) el vínculo que podría tenerse entre la información resultante de un trabajo de evaluación, el proceso de toma de decisiones, la mejora en la gestión de la institución y la eventual mejora de su calidad educativa; y (4) aquellos factores que afectaban la posibilidad de realizar una evaluación institucional vinculada a la gestión. Para lograr sus objetivos, cuatro fueron las tareas que se realizaron en esta primera etapa:

2.1.1. Desarrollo de un marco contextual

¡Desarrollo de un marco contextual. Aunque el modelo de evaluación institucional tiene un rango de aplicación muy amplio, el estudio se circunscribió en el contexto de las instituciones públicas de educación media-superior y superior del Estado de Guanajuato. Para ello, una primera tarea fue construir un marco contextual que proporcionara información general del Estado de Guanajuato, información particular sobre su sistema educativo e información específica sobre los niveles de educación media-superior y superior.

Aunque por restricciones propias de la publicación de este artículo no es posible abundar mucho sobre este punto, sí hay algunos datos que conviene proporcionar para que el lector pueda situarse en el contexto del estudio. El Estado de Guanajuato debe su nombre al vocablo tarasco quanashuato compuesto de las palabras quanas que significa ranas y huuato, algo montuoso. Por lo tanto quanashuato expresa un lugar montuoso donde abundan las ranas (Gobierno del Estado de Guanajuato, 2008a). El Estado de Guanajuato cuenta con una superficie de 30,460 kilómetros cuadrados, que representan el 1.54% del territorio de México; y se encuentra ubicado en el centro del país colindando con los estados de San Luis Potosí al norte, Querétaro al este, Michoacán al sur y Jalisco al oeste (Gobierno del Estado de Guanajuato, 2008b). Según datos del II Conteo de Población y Vivienda 2005, el Estado de Guanajuato tenía 4,893,812 habitantes, que representa el 4.7% de la población total de México (Instituto Nacional de Estadística, Geografía e Informática, INEGI, 2005). En cuanto al sistema educativo, el INEGI (2005) reporta que, en el 2005, el 93.1% de la población de 6 a 14 años asistía a la escuela (la media del país es 94.2%), mientras que tan solo el 41.1% de la población entre 15 y 19 años hacía lo mismo (la media del país es 52.9%); el promedio de escolaridad de la población de 15 años y más era de 7.2 años (la media del país es 8.1); y la tasa de analfabetismo de la población de 15 años y más en Guanajuato era de 10.4% (la media del país es de 8.4%). Por otra parte, la Secretaría de Educación Pública (2008) marca que, para el Estado de Guanajuato, la matrícula en el nivel de Bachillerato para el año escolar 2005-2006 era de 124,484 estudiantes, los cuales eran atendidos por 9,229 profesores en 605 centros escolares; y, en el nivel licenciatura, la matrícula era de 66,106 estudiantes, atendidos por 7,123 profesores en 153 centros escolares. Estos datos excluyen los niveles de profesional técnico, normal y posgrado que, si fueran de interés del lector, se podrían consultar en la misma página Web de la SEP. Con esta muy breve descripción del Estado de Guanajuato, se presenta parte del contexto donde se llevó a cabo la investigación.

2.1.2. Entrevistas con informantes clave

La segunda tarea que se realizó en esta primera etapa fue la de concertar entrevistas con 16 informantes (considerados relevantes para el diagnóstico del estudio), ubicados en cuatro ciudades (Guanajuato, León, Irapuato y Silao) del Estado de Guanajuato. Entre las personas entrevistadas se tuvieron al director del Consejo de Ciencia y Tecnología del Estado de Guanajuato (CONCYTEG) como representante de una de las entidades apoyando la realización de este proyecto. También se entrevistaron personas de organismos gubernamentales (estatales y federales) vinculados con la educación media-superior y superior, como fue el caso de la Dirección de Formación de Profesionales de la Educación de Guanajuato, la Dirección General de Educación Tecnológica Industrial (DGETI) y el Subsistema de Videobachillerato (VIBA). Desde luego, al tener como objetivo el diagnosticar las necesidades de evaluación institucional, otras personas entrevistadas fueron algunos directores de instituciones educativas. Así, se entrevistaron a cuatro directores de instituciones de educación media-superior y a cuatro directores de instituciones de educación superior, incluyendo una escuela normal. Finalmente, se realizaron también entrevistas a directivos de la Confederación Patronal de la República Mexicana (COPARMEX) y de la Cámara Nacional de la Industria de Transformación (CANACINTRA), por la representatividad que tienen de empresas que reciben a los egresados de las instituciones educativas.

Para la realización de las entrevistas, se diseñó un cuestionario de preguntas abiertas que sirviera de guía para una entrevista semiestructurada. Las preguntas estaban directamente asociadas con los objetivos de este diagnóstico y sólo se hacían adecuaciones en la forma de plantearlas dependiendo de la persona entrevistada. Al inicio de cada entrevista, se le planteó al informante el propósito de la misma y se le solicitó autorización para poder grabar las respuestas. En todos los casos hubo anuencia por parte de los informantes. Las grabaciones fueron posteriormente transcritas para su análisis.

2.1.3. Encuestas a participantes en un Seminario internacional de evaluación de
instituciones   Educativas

Al inicio del proyecto, los investigadores organizaron un Seminario internacional de evaluación de instituciones educativas en las instalaciones del Tecnológico de Monterrey, Campus León. En el Seminario se contó con la participación de siete conferencistas y 120 participantes de diversas instituciones del Estado de Guanajuato. El objetivo del Seminario era doble: por una parte, contribuir en la formación de recursos humanos en el tema de interés de este proyecto; y, al mismo tiempo, aprovechar la congregación que se estaba realizando en el Seminario para recopilar información de las instituciones de Guanajuato de una manera más eficiente. En este evento se aplicaron tres instrumentos para conocer las experiencias de evaluación en las instituciones educativas, así como el interés de las instituciones por participar en etapas subsiguientes del proyecto. De los 120 participantes que asistieron al Seminario, al provenir varios de ellos de una misma institución educativa, se pudieron colectar datos de 31 instituciones educativas y organismos gubernamentales, los cuales constituyeron una valiosa fuente de información.

Para la colección de datos, se diseñaron tres instrumentos que se aplicaron al término de cada uno de los tres paneles que se tuvieron en el Seminario. Los temas sobre los que versaron los paneles fueron: la evaluación en la gestión educativa, indicadores de evaluación institucional y evaluación para mejorar la calidad educativa. Cada tema fue abordado por un grupo de dos o tres panelistas (para ver información sobre el desarrollo y las ponencias del Seminario, consultar el sitio Web http://www.ruv.itesm.mx/convenio/modelo/desarrollo/homedoc.htm). Los instrumentos fueron encuestas estructuradas de preguntas abiertas y cerradas, que cada participante debía responder en no más de 30 minutos por instrumento. Las respuestas proporcionadas fueron posteriormente transcritas en una tabla que concentrara toda la información.

2.1.4. Sesión de grupo focal

Aprovechando la invitación que se hizo a siete expertos sobre el tema a participar como conferencistas en el Seminario internacional de evaluación de instituciones educativas, se organizó con ellos una sesión de grupo focal. Los expertos provenían tres de España, uno de Portugal, uno de Argentina y dos de México.

Para la colección de datos del grupo focal se les plantearon a los expertos los objetivos y el contexto del proyecto de investigación para que, de manera libre, se llevara a cabo la discusión. El grupo focal se dio en una sesión de tres horas, en la que los expertos invitados dieron sus opiniones y recomendaciones sobre el proyecto de investigación. Preguntas de clarificación eran eventualmente solicitadas por los investigadores, quienes actuaron como moderadores. Las opiniones fueron registradas de manera escrita.

Las cuatro tareas realizadas en esta Etapa 1 fueron fundamentales para sustentar el trabajo de la Etapa 2. En la sección de resultados de este artículo se habla brevemente sobre los hallazgos de esta primera etapa, dado que se consideró que ésta fue "instrumental" para el desarrollo del modelo de evaluación institucional. Sin embargo,  información específica sobre los hallazgos de esta etapa pueden ser encontrados en Valenzuela (2007) y Valenzuela y Ramírez (2008).
Algo que conviene señalar respecto al trabajo de esta primera etapa es que otra actividad que fue desarrollándose en paralelo, extendiéndose también a las Etapas 2 y 3, fue la construcción de una página Web para documentar el trabajo realizado. El URL de la página del proyecto es: http://www.ruv.itesm.mx/convenio/modelo/homedoc.htm

2.2. Etapa 2: Propuesta y validación de un modelo de evaluación institucional

El propósito de la segunda etapa del proyecto de investigación fue el de generar propiamente el modelo de evaluación institucional y ponerlo a prueba con instituciones educativas interesadas en participar en el proyecto. Para lograr sus objetivos, dos fueron las tareas que se realizaron en esta segunda etapa:

2.2.1. Diseño de un modelo de evaluación institucional

A partir de los datos recopilados en la Etapa 1, así como de la revisión de literatura relevante para este proyecto, los investigadores procedieron al diseño de un modelo de evaluación institucional especificando cuestiones sobre la naturaleza del objeto por evaluar, el propósito que tendría el modelo de evaluación, el tipo de evaluación que se estaría realizando, los alcances y limitaciones del modelo propuesto, las premisas de las que se debe partir para su empleo, los componentes propiamente dichos del modelo, sus definiciones, los indicadores vinculados a cada componente y la forma de emplear dichos indicadores para lograr ciertas metas institucionales.

2.2.2. Validación del modelo de evaluación institucional

Un ejercicio de escritorio para generar el modelo no tendría sentido si éste no se pone a prueba. La idea de validar el modelo propuesto implicaba ver qué tanto éste estaba sirviendo para las funciones que fue diseñado. El proceso de validación se realizó seleccionando una muestra de seis instituciones educativas dispuestas a participar en el estudio. Las instituciones educativas se encontraban localizadas en cuatro entidades del Estado: Silao, León, Guanajuato y San Luis de la Paz. A representantes de dichas instituciones se les aplicó un cuestionario que serviría para recopilar información sobre la institución educativa y sobre cada uno de los indicadores que se debían calcular. Para cada indicador, las preguntas planteadas a los informantes fueron: (1) ¿cuál es el valor del indicador en su institución educativa y cómo lo está calculando?; (2) ¿de qué otra forma se puede calcular este indicador o, dicho de otra manera, que otra definición de ese indicador tendría mejor sentido para la situación particular de esta institución educativa que se está evaluando?; (3) ¿podría describir paso a paso el mecanismo (proceso) que seguiría usted en esta institución para generar el indicador solicitado?; (4) ¿qué dificultades (o posibilidades) vería usted para calcular este indicador de manera periódica? (pensando en el tiempo de obtención de datos, el costo de obtenerlos o la falta de personal que haga el trabajo, como posibles dificultades); (5) ¿qué tanto este indicador ha sido tomado en cuenta anteriormente en esta institución educativa y qué han hecho con él?; (6) ¿con qué frecuencia se debería calcular este indicador o, dicho de otra manera, cuál frecuencia sería la óptima?; (7) ¿qué personas o instancias (departamentos, áreas), dentro de la institución serían las indicadas para pasarle al director el valor de este indicador y qué tanto dichas personas o instancias ven actualmente esta tarea como parte de sus obligaciones?; (8) teniendo usted este indicador, ¿qué cosas cree que podría hacer para mejorar la institución a su cargo?; (9) ¿qué tanto considera que este indicador es importante y útil para el trabajo que desempeña como director?; y (10) ¿hay alguna observación adicional acerca de este indicador?

Aunque no estaba originalmente considerado en este proyecto, los investigadores decidieron ampliar la muestra de instituciones educativas a entidades fuera del Estado de Guanajuato con la finalidad de dar seguimiento a esta línea de investigación más allá de las metas propuestas en la convocatoria que originó el proyecto. Esto se hizo a través de tres cursos en la línea de evaluación institucional, donde participaron estudiantes de posgrado de todo México y de algunos países de Latinoamérica. A través de ellos se colectaron 1,833 entradas de información que, considerando un total de 54 indicadores, daba un promedio de 33.94 entradas por cada indicador que significó la participación promedio de igual número de instituciones educativas. Toda esta información sirvió de base para afinar el modelo.

2.3. Etapa 3: Transferencia del modelo a través de procesos de formación de evaluadores, así como la difusión de los resultados

El propósito de la tercera etapa del proyecto de investigación fue el de promover la transferencia del modelo de evaluación institucional por medio de procesos de formación de evaluadores y, al mismo tiempo, difundir los resultados de la evaluación en congresos y revistas arbitradas. Para lograr sus objetivos, dos fueron las tareas que se realizaron en esta tercera etapa:

2.3.1. Impartición de un curso de formación de evaluadores
De los tres cursos que se mencionaron al hablar en la Etapa 2, uno de ellos estuvo directamente vinculado con instituciones educativas del Estado de Guanajuato: el de Competencias básicas para el evaluador institucional. Este curso se impartió en la modalidad de e-learning, y en él participaron 30 personas de cinco instituciones educativas. Este curso implicó a los participantes una dedicación total de 40 horas. El ofrecimiento de este curso fue una forma de dar un valor agregando al proyecto, respondiendo a una necesidad manifestada por muchas instituciones: la de formar evaluadores institucionales en lo que implica la correcta aplicación del modelo propuesto.
Como parte del diseño de este curso, se incorporaron algunos foros de discusión asincrónica que permitieran a los participantes compartir sus experiencias y reflexionar sobre tres grandes temas:

2.3.2. Difusión de resultados
Como cierre de esta Etapa 3 y de todo el proyecto, se establecieron las bases para difundir los resultados en congresos y revistas científicas especializadas.

3. Resultados

La descripción metodológica que antecede a esta sección nos da una idea de la magnitud del proyecto realizado. Tal como ya antes se comentó, sería complejo presentar en un solo artículo los hallazgos de las distintas etapas. Tan solo la etapa del diagnóstico de necesidades de evaluación institucional o la documentación de la experiencia de formación de evaluadores proporcionan material suficiente para la elaboración de dos tesis de estudiantes de maestría que estuvieron apoyando en este proyecto (ver Lafón, 2008; y Meymar, 2009). Para los propósitos de este artículo, los resultados que los autores quieren compartir van en dos líneas: (1) por una parte, el mayor aporte de este proyecto es el modelo de evaluación mismo; y, (2) por otra parte, se presentan los hallazgos en el proceso de validación del modelo. Estos dos puntos se presentan a continuación.

3.1. Descripción del modelo

El objetivo fundamental del proyecto era identificar cuáles son las características que debe tener un modelo de evaluación que proporcione información a los cuadros directivos de una institución educativa para mejorar los procesos de toma de decisiones, la gestión de la institución y, eventualmente, la calidad del servicio educativo que ofrece. En los siguientes puntos se describen las características del modelo propuesto:

3.1.1. Objeto por evaluar

El modelo tiene como objeto por evaluar a las instituciones educativas, concretamente, instituciones de educación media-superior y superior. El modelo, con las adecuaciones pertinentes, puede ser aplicado a cualquier institución educativa, en sus diferentes niveles. La evaluación de la institución educativa implica un "ir y venir" entre una perspectiva atomista, evaluando los componentes de la institución; y una perspectiva holista, evaluando a la institución en conjunto o de manera integral. La primera perspectiva asume que una institución educativa es demasiado compleja y requiere, para su comprensión, ser estudiada por partes; mientras que la segunda perspectiva parte del principio Gestalt de que "el todo es más que la suma de las partes". El modelo propuesto considera que un buen sistema de evaluación implica que el evaluador se mueva a lo largo de esta dimensión que va de lo atomista a lo holista y viceversa

3.1.2. Propósito

El propósito de este modelo es poder generar información acerca de distintos componentes de una institución educativa, que permita tomar decisiones para mejorar la gestión educativa y, por consecuencia, la calidad del servicio que la institución presta. El modelo de evaluación debe verse no como un fin último, sino como un medio para llegar a un fin. El fin es mejorar la calidad del servicio que ofrece la institución educativa. El modelo de evaluación es muy importante pero tampoco es el único medio con el que cuenta el director. A través de la evaluación, el director puede tomar decisiones más fundamentadas, pero es importante dejar claro que el proceso de gestión de la calidad es mucho más complejo. Dicho proceso implica una visión a corto, mediano y largo plazo de la institución; una planeación de la tarea educativa; una propuesta de estrategias innovadoras; una alineación de la tarea educativa con las necesidades de la sociedad; entre otras. Del modelo propuesto, las instituciones educativas pueden cumplir con otros propósitos; por ejemplo: contar con un sistema que permita el registro de información relevante de la institución educativa; establecer registros que permitan la comparación de resultados a lo largo del tiempo; establecer comparaciones entre los logros de distintas instituciones educativas; etc. La Figura 2 ilustra los elementos fundamentales del modelo propuesto.

3.1.3. Alcances y limitaciones

El modelo aquí propuesto va orientado a valorar información relevante de las instituciones de educación media-superior y superior. El modelo reconoce que, dentro de estos niveles educativos, hay una gran heterogeneidad de instituciones. Desde luego, un bachillerato es muy distinto a una universidad; una institución privada tiene diferencias importantes respecto a una institución pública; un bachillerato tecnológico es muy distinto a uno propedéutico que prepare a sus estudiantes para una institución de educación superior; y una universidad orientada a la docencia es muy distinta a otra orientada a la investigación. Cada institución educativa podría tener un modelo propio. Sin embargo, para los propósitos de este proyecto, la idea de los autores fue generar un modelo relativamente general que pudiera aplicarse a instituciones educativas de distinta naturaleza y en distintos contextos, de una manera tal que cada institución pueda tomar del modelo aquello que sea más significativo para su realidad concreta. No se propone un modelo encaminado a generar rankings, aunque puede ser usado para tal fin. Tampoco se propone un modelo orientado a asegurar acreditaciones o certificaciones de instituciones educativas, aunque puede servir para tal fin. Como ya se ha indicado en el propósito, la idea de este modelo es apoyar la toma de decisiones del trabajo de gestión, a través de proveer información valiosa acerca de la institución educativa. Finalmente, cabe señalar que el modelo propuesto no se concibió como un modelo rígido, sino como uno que pueda actualizarse de acuerdo a las necesidades de cada institución. Tal y como aquí se propone, el modelo incluye varios indicadores, pero es mucho más que una mera colección de éstos. Los indicadores que hoy pueden ser importantes, mañana podrán ser sustituidos por otros.

FIGURA 2. REPRESENTACIÓN GRÁFICA DEL MODELO DE EVALUACIÓN INSTITUCIONAL

 

3.1.4. Premisas

El modelo de evaluación propuesto parte de las siguientes premisas:

3.1.5. Componentes

Para definir los componentes del modelo, se comenzó por definir un conjunto de metas vinculadas a las instituciones educativas. Esas metas fueron denominadas como "axiomáticas", por ser un tanto obvia (sin mayor necesidad de demostración o justificación) su importancia para la institución. Desde luego, las metas tienen distinta importancia relativa en cada institución educativa. Una institución de educación media-superior puede no ver la meta de la investigación como una de sus prioridades, pero esto no la exime de qué sus profesores puedan llevar a cabo esta actividad. Así, de entrada, se propusieron 10 metas axiomáticas que sirvieran como brújula para dar dirección a las acciones de la institución y al modelo de evaluación mismo. A partir de estas metas, se definieron 10 componentes para configurar el modelo educativo: (1) formación integral y calidad, (2) capital humano, (3) capital social, (4) investigación, (5) consultoría, (6) servicio social, (7) promoción cultural, (8) patrimonio físico, (9) prestigio social y (10) sustentabilidad económica. Vinculados a estos 10 componentes, se propuso un total de  54 indicadores, en términos de su relevancia para proveer de información a los cuerpos directivos y alinear sus acciones al logro de las metas axiomáticas.

El modelo propuesto pretende vincular claramente a cada componente con los distintos procesos de gestión de la institución. Aunque no se trata de un modelo de gestión de calidad (en un sentido ortodoxo del término), sí se tuvo en mente que el modelo permitiera a los directivos implementar estrategias orientadas al mejoramiento de la calidad del servicio educativo y al logro de las metas axiomáticas antes establecidas. El detalle de los componentes, sus definiciones, los indicadores, las estrategias de gestión y las metas axiomáticas se muestra en la Tabla 1.

TABLA 1. COMPONENTES DEL MODELO DE EVALUACIÓN INSTITUCIONAL

 3.2. Validación del modelo
La validación de un modelo como el aquí propuesto implica el poner a prueba el modelo y estimar el grado en el que éste cumple las funciones para las que ha sido creado. En este sentido, la información recabada para la validación del modelo fue muy rica y se resume en los siguientes puntos:

4. Algunas conclusiones

El proyecto de investigación aquí descrito permitió muchos aprendizajes sobre la forma de concebir la evaluación institucional y los procesos de gestión de instituciones educativas. Uno de los aspectos que afloró desde la primera etapa del proyecto fue la enorme heterogeneidad estructural en las instituciones de educación media-superior y superior del Estado de Guanajuato. Los contrastes se hacen palpables tanto por el número de alumnos, como por los recursos con los que cuentan, las orientaciones curriculares para la formación, entre otros muchos factores. Esta misma heterogeneidad que se observa en el tamaño e infraestructura de las instituciones, se manifiesta también en las prácticas de evaluación y en los sistemas con los que cuentan para tal fin. Desde luego, también se observan coincidencias entre las instituciones cuando, al hablar de evaluación, se mencionan la que se hace del aprendizaje (internamente o mediante tests estandarizados a nivel nacional) o de los profesores (a través de encuestas aplicadas a los alumnos). Asimismo, hay muchas coincidencias en cuanto a las evaluaciones no realizadas, como podría ser la que implica un seguimiento a egresados (son contadas las instituciones que manifestaron estudios en esta línea). Fuera de estas coincidencias, la diversidad de formas de evaluar es palpable. Desde esta perspectiva, era preciso proponer un modelo de evaluación que retomara las prácticas recurrentes de evaluación, pero que también viera la forma de integrar al modelo las "ausencias" detectadas.

Un patrón recurrente de las instituciones educativas fue que no existen prácticas que sistemáticamente vinculen a la evaluación con los procesos de gestión. Esto no implica que se carezca de evaluaciones. Por el contrario, existen muchos esfuerzos para realizarlas. A veces se llevan a cabo simplemente para cumplir con registros estadísticos que se le solicitan a la institución; y a veces por un deseo de contar con una acreditación como institución o en alguno de sus programas. Sin embargo, estas evaluaciones son "puntuales" y no se llevan a cabo de una manera continua en que se aprecie un vínculo claro con los procesos de toma de decisiones y de gestión. En ese sentido, el modelo propuesto pretendió establecer precisamente ese vínculo entre la información que se genere de los procesos de evaluación y los procesos de gestión asociados con la calidad educativa.

Por último, conviene señalar que el modelo de evaluación aquí propuesto implica mucho trabajo adicional al que se ha reportado hasta el momento en este artículo. Así, por ejemplo:

Este trabajo tiene la expectativa de servir de marco de referencia para futuras iniciativas que busquen explorar características de modelos de evaluación acordes a distintos contextos y vincular los resultados de evaluación con estrategias de mejora. Quedan muchos caminos por recorrer en el área de evaluación institucional: en promover una cultura de evaluación en cada institución, en desarrollar sistemas tecnológicos que faciliten la colección, procesamiento y análisis de información... Sirva este artículo como una invitación para seguir recorriendo estos caminos.

REFERENCIAS BIBLIOGRÁFICAS

Aiello, M. (2007). Algunas consideraciones para diseñar un modelo de evaluación institucional. Ponencia presentada en el Seminario Internacional de Evaluación de Instituciones Educativas, León, Guanajuato, México. Consulta realizada el 14 de mayo de 2008, en http://ftp.ruv.itesm.mx/apoyos/conacyt/gto/guanajuato/desarrollo/material/maiello.pdf

Bush, T. (2003). Theories of educational leadership and management (3a. ed.). Londres, Inglaterra: SAGE.

Bush, T. (2008). From management to leadership: Semantic or meaningful change? Educational Management Administration and Leadership, 36 (2), 271-288.

Carey, L. M. (2001). Measuring and evaluating school learning (3a. ed.). Boston: Allyn and Bacon.

Díaz-Barriga, Á. (Coord.). (2008). Impacto de la evaluación en la educación superior mexicana: un estudio en las universidades públicas estatales. México: UNAM, ANUIES y Plaza y Valdés.

Domínguez, G. (2000). Evaluación y educación: Modelos y propuestas. Buenos Aires: Fundec.

Edwards, M. R. y Ewen, A. J. (1996). 360° feedback: The powerful new model for employee assessment & performance improvement. New York: American Management Association.

Fitzpatrick, J. L., Sanders, J. R. y Worthen, B. R. (2004). Program evaluation: Alternative approaches and practical guidelines (3a. ed.). Boston: Pearson.

Gobierno del Estado de Guanajuato. (2008a). Orígenes de Guanajuato. Consulta realizada el 14 de mayo de 2008, en http://www.guanajuato.gob.mx/index.php?option=com_content&task=view&id=59&Itemid=116

Gobierno del Estado de Guanajuato. (2008b). Mapa de ubicación. Consulta realizada el 14 de mayo de 2008, en http://www.guanajuato-travel.com/como_llegar.html

Instituto Nacional de Estadística, Geografía e Informática. (2005). II Conteo de Población y Vivienda 2005. Consulta realizada el 14 de mayo de 2008, en http://www.inegi.gob.mx/est/contenidos/espanol/proyectos/conteos/conteo2005/sintesis.pps

Isaac, S. y Michael, W. B. (1995). Handbook in research and evaluation: A collection of principles, methods, and strategies useful in the planning, design, and evaluation of studies in education and the behavioral sciences (3a. ed.). San Diego: EdITS.

Joint Committee on Standars for Educational Evaluations, The. (1988). The personnel evaluation standards: How to assess systems for evaluating educators. Newbury: Corwin Press.

Joint Committee on Standars for Educational Evaluations, The. (1994). The program evaluation standards: How to assess evaluations of educational programs (2a. ed.). Thousand Oaks: Sage.

Kaplan, R. S. y Norton, D. P. (1997). El cuadro de mando integral: The balanced scorecard. Barcelona: Gestión 2000.

Kubiszyn, T. y Borich, G. (2003). Educational testing and measurement: Classroom application and practice (7a. ed.). Hoboken: Wiley.

Lafón, M. R. (2008). Detección de necesidades de evaluación institucional en educación media-superior y superior. Tesis de maestría inédita, Tecnológico de Monterrey, Ciudad Juárez, Chihuahua, México.

Loría, E. (2002). La competitividad de las universidades públicas mexicanas: Una propuesta de evaluación. Distrito Federal, México: Universidad Autónoma del Estado de México y Plaza y Valdés.

Mayor, C. (1998). La evaluación como estrategia de mejora: Evaluación de programas, centros y profesores. Sevilla: Kronos.

Meymar, O. A. (2009). Formación de evaluadores para la evaluación institucional a través de una modalidad de e-learning. Tesis de maestría inédita, Tecnológico de Monterrey, León, Guanajuato, México.

Pedraja, L., Rodríguez, E., Rodríguez, J. (2006). Transformational and transactional leadership: A study of their influence in small companies. Ingeniare (14), 159-166.

Rodríguez, D. (1999). Diagnóstico organizacional (3a. ed.). Distrito Federal: Alfaomega.

Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (2004). Evaluation: A systematic approach (7a. ed.). Thousand Oaks: Sage.

Ruiz, J. M. (1998). Cómo hacer una evaluación de centros educativos (2a. ed.). Madrid: Narcea.

Salmerón, H. (1992). Evaluación de los espacios arquitectónicos escolares. Granada, España: Universidad de Granada.

Secretaría de Educación Pública. (2008). Estadística histórica por estados del Sistema Educativo Nacional. Consulta realizada el 14 de mayo de 2008, en http://www.sep.gob.mx/work/appsite/xestados/index.htm

Tejedor, F. J. y Rodríguez, J. L. (Eds.). (1996). Evaluación educativa II. Evaluación institucional: Fundamentos teóricos y aplicaciones prácticas. Salamanca: Universidad de Salamanca (Instituto Universitario de Ciencias de la Educación).

Valenzuela, J. R. (2004). Evaluación de instituciones educativas. Distrito Federal: Trillas.

Valenzuela, J. R. (2007, mayo). Evaluación institucional para la mejora de la calidad educativa. Ponencia presentada en el I Congreso Nacional de Investigación y Gestión Educativas, Monterrey, Nuevo León, México.

Valenzuela, J. R. y Ramírez, M. S. (2008, abril). Needs assessment of evaluation of educational institutions: First phase in the development of an evaluation model of educational institutions for the improvement education quality. Poster presentado en la IV Conferencia Internacional de Barcelona sobre Educación Superior, Barcelona, España.

Weiss, C. H. (1997). Evaluation (2a. ed.). Upper Saddle River: Prentice Hall.

Anexo 1: Ejemplo del análisis de un indicador

Componente
5. Consultoría

Indicador
5.1. Número de proyectos de consultoría de distintas áreas en los que participan los profesores.

Definición del indicador
Este indicador puede medirse directamente mencionando cuántos proyectos de consultoría por área son atendidos por los profesores de una universidad. Así, pues, una institución puede simplemente indicar que, a lo largo del año escolar 2005-2006, sus profesores participaron en 48 proyectos de consultoría; mientras que en el año escolar 2006-2007, sus profesores participaron en un total de 64 proyectos, un 33.33% más que en el año anterior.

Formas alternativas de calcular el indicador
El solo número de proyectos, si bien importante, nos proporciona poca información que pueda ser de utilidad para fines de una evaluación institucional. Cuando las instituciones educativas evalúen este rubro, pueden buscar otras formas alternativas de medirlo con mayor precisión. Así, por ejemplo, algunas variantes pueden ser las siguientes:

1. En función del tiempo, el indicador se puede dar en forma anual, semestral o mensual, si hubiera un número significativos de proyectos en los que se estuviera trabajando. En cualquiera de los casos, es preciso que las instituciones definan con claridad las fechas de inicio y de término de cada período, con el fin de poder hacer comparaciones sistemáticas de un período a otro. Así, si el número se proporciona para períodos anuales, es necesario establecer si esto se refiere a un período que va a lo largo de un año calendario (por ejemplo, del 1 de enero al 31 de diciembre de 2007 se participó en 64 proyectos de consultoria) o lo que se conoce en algunos países como "año escolar" (por ejemplo, del 1 de agosto de 2006 al 31 de julio de 2007 se participó en 64 proyectos de consultoria).
2. En función del área, el indicador puede abarcar a toda la institución educativa o a divisiones, departamentos o escuelas en lo particular. Esto va a depender del número de proyectos que los profesores-consultores estén atendiendo, así como de la importancia relativa que la institución educativa ponga a cada una de sus instancias académicas a participar en este tipo de proyectos. Así, por ejemplo, el indicador puede precisarse para indicar que de un total de 64 proyectos de consultoría en el año escolar 2006-2007, 27 de ellos fueron atendidos por la Escuela de Ingeniería, 32 de ellos por la Escuela de Administración, 4 de ellos por la Escuela de Derecho y sólo uno de ellos por la Escuela de Humanidades.
3. En función de la fuente de los recursos, el indicador puede establecerse señalando la cantidad de proyectos en función del tipo de instancia que solicita el servcio de consultoría. Así, pues, algunos proyectos pueden ser solicitados internamente, por la misma institución educativa; mientras que otros pueden ser requeridos por organismos externos que acuden a la universidad para proyectos específicos; y, dentro de los organismos externos, éstos a su vez pueden clasificarse por ser organismos nacionales o internacionales, de gobierno o del sector privado, etc. Este desglose más fino sirve para medir, hasta cierto punto, la interrelación que la institución educativa está teniendo con la sociedad en que está inserta.

Posibles mecanismos para generar el indicador
Al hablar de este tipo de indicadores, se parte de la premisa de que la institución educativa cuenta, previamente, con políticas claras sobre cómo manejar este tipo de proyectos, por lo que implica la asignación de tiempo del personal al frente del proyecto, la forma de gestionar los recursos del proyecto y la posibilidad de asignar bonos a aquellos profesores que hayan conseguido el proyecto para la institución educativa. No en pocas ocasiones, las instituciones se enfrentan a situaciones en que los profesores manejan "por fuera" los proyectos de consultoría que atienden, con el fin de asegurar las ganancias del proyecto para ellos mismos. Cuando esto ocurre, puede suceder que el trabajo de consultoría se lleve a cabo en horarios que el profesor debía destinar a sus funciones dentro de la institución educativa y que, hasta cierto punto, el nombre y prestigio de la institución sean usados indebidamente para que el profesor-consultor gane el proyecto. Este tipo de prácticas llegan a presentarse por mero interés económico de los profesores, pero también por la ausencia de políticas institucionales que regulen la participación de los profesores en proyectos que lleven el respaldo institucional. En general, son aquellos proyectos que llevan un respaldo institucional los que deben registrarse para fines de establecer indicadores de desempeño. Cada institución educativa, dentro de sus áreas de extensión (bien sea que estén centralizadas o descentralizadas en cada división, departamento o escuela), debe llevar un registro de aquellos proyectos de consultoría que sus profesores están atendiendo. Más allá del mero registro de proyectos, el control de los mismos sirve para fines de gestión de los recursos humanos y materiales de la institución.

Posibilidades y dificultades en el cálculo del indicador
Como con cualquier tipo de indicador, una definición precisa es lo que evita variedad en las formas de cálculo y diversidad en sus interpretaciones. Así como ya antes se dijo que era importante definir con precisión las fechas de inicio y de término que sirvan de referencia para contabilizar el número de proyectos, otro aspecto por precisar es la forma de contabilizar proyectos que se extiendan por más de un año o que, aunque duren menos de un año, abarquen dos períodos de referencia. ¿Qué hacer en estos caso? ¿Entran dentro del conteo mientras se esté ejecutando? ¿Sólo se contabilizan una vez, bien sea al inicio o al cierre del proyecto? Estas cuestiones deben quedar bien establecidas al momento de definir un indicador, no sólo para calcularlo con precisión, sino también para saber cómo interpretarlo.