|
||||||||||||||||||||||||||||||||||||||||||||||||||||||
.2008 - Volumen 1, Número 1
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||
Aportes y Desafíos en la Evaluación de Políticas y Programas de Mejoramiento Educativo. Reflexiones desde Nuestra Práctica de Evaluación en Chile |
||||||||||||||||||||||||||||||||||||||||||||||||||||||
Dagmar Raczynski y Daniel Salinas | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
1. FORTALECIMIENTO DE LA INVESTIGACIÓN Y LA EVALUACIÓN DE POLÍTICAS Y PROGRAMAS En el año 1993 José Sulbrandt planteaba un severo diagnóstico del estado de la evaluación de políticas sociales en América Latina, al afirmar que “la mayoría de las políticas y programas sociales en la región no reciben ninguna evaluación y en los casos en que ésta se ha aplicado se ha llevado a efecto de una manera que no satisface plenamente los requisitos de una investigación profesional” (Sulbrandt, 1994:310). Además, afirmaba que muchas veces los informes de evaluación realizaban “un deliberado ocultamiento de todos aquellos puntos que puedan servir para formular algún juicio técnico desfavorable al programa”, y que “salvo casos muy excepcionales, no ha existido relación alguna entre las evaluaciones realizadas y los procesos de gestión de los programas respectivos” (Sulbrandt, 1994:311). Quince años después, podemos decir que hoy día en América Latina y en Chile estamos bastante mejor que lo que denota esa descripción. En estos años se ha avanzado en la institucionalización y profesionalización de la evaluación de políticas públicas en distintas áreas, incluida la de educación. Las evaluaciones de programas y proyectos se han multiplicado, las hay de distinto tipo: procesos, resultados, impacto, costo y costo-efectividad, satisfacción. Junto con ello se dispone de más y mejores diagnósticos de las realidades concretas y de segmentos sociales afectados por una problemática. Como consecuencia, las decisiones de política se apoyan y fundamentan en mayor medida que en el pasado en evidencia empírica. No obstante, permanece la tendencia de buscar hallazgos e información que sean coherentes con la postura de quién toma una decisión y la solución que prefiere y a la cual ha optado a priori, dejando de lado evidencia que cuestiona la solución. Los factores que han facilitado o empujado la mayor disponibilidad, uso y análisis de información empírica, son varios y se listan e ilustran, a modo de ejemplo, en la Tabla 1. De un lado, está la importancia que la evaluación ha adquirido en los organismos internacionales y los esfuerzos que éstos han puesto en generar indicadores comparativos entre países. Este trabajo se ha visto facilitado por la disponibilidad de instrumentos y técnicas de medición (en particular en el ámbito de aprendizaje) y el menor costo relativo que recientemente tiene la recolección y el procesamiento de información. Por último, a nivel nacional, destaca la voluntad política de invertir esfuerzos y recursos en medir resultados y evaluar los programas por parte del poder ejecutivo, legislativo y el mundo privado. La formación de un acumulado de información, estudios e investigaciones sobre variados temas de la educación, incluyendo evaluaciones de programas de mejoramiento educativo ha llevado a reconocer las importantes insuficiencias existentes en la implementación de la política y reforma educacional chilena. Adicionalmente, el reconocimiento de esas insuficiencias y límites plantea nuevos desafíos temáticos y metodológicos a la propia evaluación educativa, que debe perfeccionarse para contribuir a entender y superar los límites de la reforma. Es en torno a estos nuevos desafíos que se estructura este artículo, basado en nuestra experiencia en realizar evaluaciones y estudios sobre programas de mejoramiento educativo y sus efectos en los establecimientos educacionales{1}. La sección 2 del artículo define el contexto de reforma educativa y los desafíos temáticos que han ido surgiendo, entre ellos la importancia de profundizar las evaluaciones de procesos, que es el tema de la sección 3. La sección 4 y 5 plantean algunos de los desafíos metodológicos que se enfrentan al identificar y medir los procesos escolares claves que inciden sobre los aprendizajes de los estudiantes, delimitando las dimensiones claves de observación. Las secciones 6, 7 y 8 se detienen en tres temas de política educativa: el difícil balance entre un diseño estructurado y al mismo tiempo flexible para lograr un “empalme” fructífero de lo que trae el programa con la dinámica de la unidad educativa; la importancia de evaluar políticas y no sólo programas; y la urgencia de acercar los hallazgo de las evaluaciones y estudios a los tomadores de decisiones de política. TABLA 1. FACTORES QUE HAN CONTRIBUIDO A FORTALECER LA EVALUACIÓN EDUCATIVA EN CHILE
2. LÍMITES DE LA REFORMA EDUCACIONAL CHILENA: AUSENCIA DE UN ENFOQUE DE ACTORES Y DE UNA MIRADA A LOS PROCESOS Y PRÁCTICAS QUE IMPERAN EN LA UNIDAD EDUCATIVA Los cuatro Gobiernos de la Concertación de Partidos por la Democracia, que se suceden a partir de 1990, han realizado esfuerzos contundentes por cumplir con su promesa de mejorar la calidad y equidad en la distribución social de los aprendizajes{2}. En pos de esa meta hubo incrementos graduales significativos en el gasto público en educación; se formuló e implementó un nuevo currículo para los distintos niveles de enseñanza; se amplió la oferta de cursos de perfeccionamiento docente; se extendió la jornada escolar; se invirtió fuertemente en infraestructura y equipamiento (textos para niños y profesores, bibliotecas de aula, recursos didácticos, computadores e internet, laboratorios, bibliotecas, etc.); mejoraron los salarios de los profesores; se incrementaron los beneficios asistenciales para los estudiantes en situación de vulnerabilidad social (alimentación, salud, útiles escolares, becas de retención y para minorías); se pusieron en marcha varios mecanismos de incentivo al buen desempeño de las escuelas y liceos y para profesores individuales y un proceso de evaluación de desempeño docente; se diseñaron e implementaron diversos programas de mejoramiento educativo que representan acciones en las unidades educativas dirigidas a mejorar el trabajo de los profesores en el aula, la gestión escolar y la convivencia. Pese a estos y otros esfuerzos, los resultados de aprendizaje a nivel agregado no mejoraron y la brecha de aprendizaje por nivel socioeconómico de los estudiantes no ha disminuido significativamente. Este resultado no significa que la reforma educacional de los años 90 y hasta el presente no tuvo efectos ya que ha habido avances significativos en acceso, cobertura y permanencia de los estudiantes en el sistema; mejoras significativas en las condiciones básicas y materiales en las cuales ocurre la enseñanza-aprendizaje, incluyendo mejoras en las condiciones laborales de los docentes. Lo que flaquea son los avances en resultados de aprendizaje y la distribución social de ellos. ¿Por qué, a pesar de todos los esfuerzos e inversiones realizadas, el sistema educativo no ha logrado constituirse en una fuente de desarrollo y de distribución equitativa de las oportunidades? Las evaluaciones y estudios apuntan a dos grupos de factores que han sido gravitantes. En primer lugar están los factores que dependen casi exclusivamente de la escuela{3}: la gestión directiva y técnico-pedagógica, la interacción profesor-alumno y el trabajo de los docentes en el aula, la estructuración del tiempo escolar, el clima organizacional y compromiso de la comunidad escolar con la escuela. Por otra parte, hay factores exógenos a la unidad educativa, que no dependen de ella y que con frecuencia se denominan “variables estructurales”. Encontramos acá elementos como la formación inicial docente, la estructura administrativa del sistema educativo, el marco regulatorio que lo rige, la modalidad de financiamiento. Los estudios verifican la presencia de factores de ambos tipos y que modificaciones en los factores estructurales por sí mismo no conducen al resultado esperado de mejores aprendizajes. Para que ello ocurra es indispensable poner en el centro de la política a la escuela, esto es, enfocar la escuela como organización o sistema y trabajar con el conjunto de los actores involucrados en ella, no aisladamente uno del otro, sino que en su mutua relación. Es la dinámica entre los actores y las prácticas escolares imperantes la que debe comprenderse, para a partir de ellas identificar los nudos centrales que dificultan que la escuela mejore y a partir de ahí identificar claves que permitan que los actores en ella inicien una senda que los lleve a procesos de mejora continua. Encarar este desafío no es tarea sencilla. Requiere de un enfoque y modalidad de trabajo, insuficientemente desarrollado hasta hoy, que identifique, conozca y comprenda la lógica de acción de y entre los actores, y construya desde ellos y con ellos caminos de cambio. 3. NECESIDAD DE PROFUNDIZAR EL ESTUDIO Y EVALUACIÓN DE PROCESOS ESCOLARES EN LAS UNIDADES EDUCATIVAS Distintos observadores de la educación (desde especialistas hasta actores políticos y la opinión pública) tienden muchas veces a reducir todo análisis del fenómeno educacional a los resultados de aprendizaje y sus tendencias agregadas de variación (caída, estancamiento, mejora a nivel país). En Chile, esto se da porque la información más estandarizada y comparable con la que se cuenta sobre el sistema educativo completo es la que ofrece el SIMCE, la prueba que mide aprendizajes cognitivos en tres niveles educativos (al cuarto, octavo y décimo año de enseñanza) y en algunos sub-sectores del currículum obligatorio. Desde la perspectiva de la evaluación educativa, esto se ha traducido en la preponderancia que a la hora de evaluar las políticas educativas (estrategias, intervenciones, programas de mejoramiento, etc.) es otorgada a la medición del impacto en los resultados de aprendizaje según la prueba SIMCE. El desarrollo de esta prueba ha sido aporte fundamental a la educación del país. No obstante, desde el punto de vista de los policy-makers de la educación, es decir, de las autoridades políticas y técnicas encargadas de elaborar e implementar las políticas educativas, la información de impacto tiene una utilidad limitada. Permite saber qué efectividad han tenido una iniciativa, pero dice muy poco respecto de los factores que explican los buenos o malos resultados obtenidos: no ofrece una mirada en profundidad al cómo funcionan las cosas en la práctica cotidiana de las unidades educativas, cómo es que los actores interpretan y se apropian de los apoyos externos, etc. Esto es lo que permiten las evaluaciones de procesos. Poco a poco las autoridades han ido comprendiendo que, para tomar decisiones, necesitan de esta información, que la mayor parte de las veces es cualitativa, se fundamenta en estudios de casos, entrevistas abiertas, grupos focales y de discusión, observación in situ, por nombrar las técnicas principales. Importantes reflexiones teóricas concuerdan en esta conclusión. En Development as Freedom, Amartya Sen aborda el tema de la evaluación y llama a no perder de vista el proceso de instalación de capacidades y competencias en los actores beneficiarios, de modo tal que éstos puedan actuar con autonomía y de un modo sustentable en el tiempo en la definición de sus objetivos, estrategias y acciones (Sen, 1999:54-86). Cada vez más estudios en el área de la educación plantean evidencia en la misma dirección (Fullan, 2005, 2006; Elmore, 2004). La evaluación de procesos implica observar de qué manera cada una de las partes que componen la organización escolar –y en especial directivos, docentes, alumnos y apoderados– se nutren de la mejora institucional a través de innovaciones en sus propias prácticas de trabajo, ya sea al nivel de la gestión escolar y pedagógica como de la enseñanza directa en el aula o la interacción escuela-familia. El estudio de estos tópicos obligan a adentrarse en la “caja negra” de las escuelas. 4. LOS ACTORES ESCOLARES SON LOS MEJORES INFORMANTES, PERO NO SIEMPRE LO QUE DICEN ES CONFIABLE: ES NECESARIO COMPARAR Y CONTRASTAR LAS MIRADAS INTERNAS CON UNA EXTERNA Reconocer la necesidad de abrir esa “caja negra” que es el aula y también la escuela, con sus procesos institucionales claves, desde el punto de vista de la evaluación implica el tremendo desafío de producir una reconstrucción de la realidad de la escuela que equilibre adecuadamente las miradas internas de los actores escolares (sostenedores, directivos, profesores, estudiantes, apoderados) y la mirada externa de los propios investigadores (categorías de análisis, información previa, etc.). El desafío metodológico es grande y las dificultades se manifiestan en varios frentes: Las visiones de los distintos actores de una comunidad escolar no sólo son distintas, sino que a veces no son consistentes entre sí. Los distintos estamentos y personas que la integran tienen versiones propias, distintas y muchas veces contradictorias sobre los procesos claves y las prácticas pedagógicas en ella. Por ejemplo, el déficit de aprendizaje de un determinado curso, que para un profesor se debe al peso de los factores de vulnerabilidad social-familiar, para un apoderado puede deberse a la falta de expectativas que el docente ha puesto en las capacidades de los alumnos, para un directivo al exceso burocrático de programas ministeriales ineficaces que entorpecen la gestión técnica de la escuela, o para un jefe técnico pedagógico a las debilidades en las competencias de los profesores. El discurso de cada estamento tiende a acomodarse ad-hoc a las características de su rol en la escuela, y el investigador queda en la difícil situación de conciliar esas interpretaciones heterogéneas y derivar de ellas conclusiones sobre los procesos institucionales en una escuela, dónde están los nudos y porque se producen e identificar potenciales claves de mejora. En el contexto chileno –donde a nivel de los actores escolares, especialmente en el sector público, existe una sensación dominante de estancamiento en materia de calidad y equidad– los actores tienden a tener un discurso defensivo que atribuye la responsabilidad de los resultados siempre a otros actores o factores. La reticencia de los profesores frente a las evaluaciones externas sobre su desempeño es sintomática en este sentido. Muchas veces las entrevistas a directivos o sobre todo a docentes se convierten en pequeñas catarsis en las que éstos descargan sus frustraciones cotidianas, a través de discursos caracterizados por la victimización frente a las condiciones adversas. Más allá de lo efectivamente duras que son las condiciones de la docencia en contextos de vulnerabilidad, desde el punto de vista metodológico se enfrenta la necesidad de ir más allá de ese discurso aprendido y cerrado, que no informa sobre el núcleo de lo que el investigador busca aprehender, esto es, la realidad concreta del establecimiento escolar. La escuela está cruzada por una serie de relaciones de poder e interés entre sus miembros que hacen que muchas veces los entrevistados opten por responder según el “deber ser” o por la respuesta más “conveniente” según su posición. Los cuestionarios y encuestas muchas veces se prestan más a este tipo de distorsión que las entrevistas co-presenciales. No es descartable la hipótesis de que esta tendencia de los directivos y docentes a responder según la “deseabilidad social” esté relacionada con la falta de expectativas en la posibilidad de cualquier clase de cambio radical en el sistema, producto del condicionamiento que experimentan cotidianamente frente a una realidad educativa injusta “contra la que nada se puede hacer”. Adaptan deseos y expectativas –y por lo tanto sus respuestas– a lo que les parece factible. Las preguntas de satisfacción (tales como ¿qué nota le pondría usted a tal o cual proyecto? ¿cómo calificaría la asesoría brindada a la escuela?, etc.) son, por lo general, engañosas: “cualquier aporte está bien” en medio de una realidad tan difícil. Muchas veces los actores suben sus evaluaciones calculando que una nota negativa podría desembocar en la interrupción del apoyo y “siempre es mejor algo que nada”. Por razones de este tipo, los actores no son fuentes de información transparentes de su propia práctica, pero al mismo tiempo son una de las principales fuentes de información de la que dispone la evaluación educativa. Al mismo tiempo, se sabe que la autoevaluación es un momento indispensable y clave en los procesos de mejora. A la hora de evaluar procesos, la mirada externa del investigador consiste precisamente en poner en relación los discursos de los distintos actores para ver más allá de lo que cada uno de ellos ofrece explícitamente, y triangular esa realidad particular con el saber previo que ha producido la literatura y que ofrece las categorías a partir de las cuales se han definido las variables de observación y con su propia observación de la realidad. En nuestros evaluaciones hemos aprendido que las preguntas más informativas son las que remiten a las prácticas efectivas; que hay que preguntar y simultáneamente observar distintas situaciones, por ejemplo, conversaciones espontáneas en las salas de profesores, las entradas y salidas del recinto escolar, la presencia del director, el uso de los espacios y equipamiento, las reuniones con padres, de profesores, del equipo directivo, las salas, la conformación grupos, etc. Los profesores informan con más honestidad sobre las prácticas del director que lo que este señala sobre sus propias prácticas, del mismo modo que los alumnos dicen más sobre las prácticas docentes que éstos. Lo que queremos decir es que en determinados temas las respuestas de algunos informan más que las de otros que, por su posición o cargo, responden siguiendo sus percepciones del “deber ser” y deseabilidad social. 5. CONCRETIZANDO EL DESAFÍO: EVALUACIÓN COMPRENSIVA DE LOS ESTABLECIMIENTOS EDUCACIONALES En nuestros trabajos hemos desarrollado una metodología de “estudios de casos” que representan una evaluación comprensiva de una muestra de establecimientos escolares, centrada en procesos institucionales claves y la identificación de actitudes, expectativas y conductas de los actores involucrados. A través de un trabajo eminentemente cualitativo reconstruimos la realidad y dinámica del establecimiento, cubriendo dimensiones como las que lista la Tabla 2. Nuestros estudios en Chile en escuelas en sectores de pobreza nos han llevado a identificar una jerarquía entre las características relevantes de los establecimientos que obstaculizan la efectividad escolar y procesos de mejora. Identificamos un piso de condiciones sin las cuales resulta casi imposible avanzar, que denominamos “normalización” y que refiere al funcionamiento básico de la organización escolar. Abarca dimensiones como existencia y cumplimiento de horarios y normas de funcionamiento, división del trabajo y roles, disciplina, convivencia y respeto de la persona, aseo, mantención e higiene, etc. Supone la existencia de insumos mínimos: infraestructura, equipamiento básico, personal directivo y docente, etc. TABLA 2. DIMENSIONES MÍNIMAS PARA UNA EVALUACIÓN COMPRENSIVA
Fuente: Elaboración de los autores. Otra dimensión constitutiva de la efectividad escolar es la capacidad para adecuarse a los cambios que enfrenta desde el exterior e internamente. En estas escuelas los problemas, tanto internos como del entorno, se reconocen y solucionan. Directivos y docentes se preocupan por identificar y reflexionan sobre los cambios que la afectan, considerándolos al momento de tomar decisiones. En este plano, la información sobre alumnos y profesores y el entorno se constituyen en insumos claves para construir un diagnóstico sobre la escuela, sus desafíos, sus fortalezas y debilidades, y definir cursos de acción concretos para avanzar y funcionar de modo mas fluido y de esta forma apuntar a mejorar los resultados de aprendizaje. La escuela efectiva busca y procesa información sobre su entorno. A la normalización y la gestión pedagógica centrada en el aprendizaje se suman otras características que facilitan la efectividad, pero cuya existencia por si mismo no la aseguran. Estas son dos:
En términos de evaluación desde nuestro punto de vista realizar evaluaciones comprensivas de los establecimientos educacionales en dos o más puntos en el tiempo, por ejemplo, cada 3 años, es una alternativa real para identificar avances y retrocesos en los procesos escolares. Si estas mediciones se combinan con resultados de aprendizaje, y mejor, estimaciones de valor agregado, se contaría con una fuente de información potente para evaluar establecimientos educacionales e identificar oportunidades u obstáculos para sus procesos de mejora. No obstante, previamente habría que “codificar” y definir una métrica para cualificar los procesos. A modo de ilustración se incluye en el Anexo un primer intento en esa dirección. 6. DESAFÍOS PARA LA POLÍTICA EDUCATIVA 6.1 El difícil balance entre estructuración y flexibilidad. Los límites de intervenciones rígidas y altamente estandarizadas Los programas ministeriales, casi sin excepción, son intervenciones estandarizadas en el sentido que su diseño predefine las acciones a desarrollar en la escuela, los tiempos y secuencia de las mismas, la modalidad de trabajo, etc. Este molde deja escaso espacio para acoger la situación especifica de cada escuela, dificultando una adecuado “empalme” entre lo que trae el programa y las necesidades, fortalezas y problemas de cada escuela. La literatura sin excepción revela que la mejora en aprendizaje de los estudiantes sólo tiene éxito si se construye desde dentro de la escuela. No cabe duda que las escuelas requieren de apoyo externo para mejorar. Sin embargo, este apoyo no logra resultados sostenibles sino se entrelaza con liderazgos y voluntad interna de asumir el desafío del cambio, darle vida y liderarlo. Esto es, si el apoyo externo se transforma en una mejora depende de elementos en el plano subjetivo: compromiso, expectativas, mística, voluntad de cambio y creencia de que es posible. La escuela debe “endogenizar” los apoyos que recibe, hacerlos suyos y transformarlos en su proyecto. Lo anterior sugiere la necesidad de diferenciar en el momento de diseñar un programa entre un diseño de primer y segundo orden. El diseño de primer orden corresponde a las decisiones macrosociales y políticas (propósitos y objetivos que se buscan, orientaciones estratégicas y principios que se espera orienten las acciones, por ejemplo integralidad o participación) mientras que el de segundo orden corresponde al diseño que elaboran los “operadores locales” del programa en el marco del diseño general. El diseño de segundo orden corresponde así a los responsables de implementar la política, categoría que en general es vista como “ejecutor” sin ingerencia en el diseño. Rescatar su papel y responsabilidad en el diseño y prepararlos para esta tarea es un reto importante para la política. La evidencia de nuestros estudios verifica que diseños rígidos y altamente estandarizados dificulta que las escuelas le den un sentido propio al cambio y se apropien de él, negociando para adaptar el programa a su realidad y así aprovecharlo mejor. En este sentido, las políticas de mejoramiento educativo deben cuidar que el cambio educativo que buscan sea vivenciado y comprendido desde la escuela y demandado por ésta. Desde los programas se requiere de una modalidad de trabajo abierta, menos estandarizada, con mayores opciones para la escuela, más a la medida de ésta. Entre otros, esto requiere la llegada e invitación a participar en un programa o acción ministerial considere una conversación con el equipo directivo (y sostenedor) sobre su proyecto educativo, las iniciativas en curso y los aportes que en ese contexto haría el programa, y las responsabilidades que ellos asumen en la implementación del programa. Como complemento a esta conversación, se debería contar con una evaluación comprensiva del establecimiento: la forma en que se está desempeñando, sus fortalezas y debilidades, sus planes y capacidad de mejora, poniendo atención en los procesos y condiciones institucionales y diseñando un plan de mejora con la escuela. El punto anterior plantea tremendos desafíos al diseño y gestión de la política educativa. En general en nuestros países se detecta una multiplicación de programas y medidas que llegan y/o afectan a la escuela en distintos tiempo, con reglas distintas, con actividades parcialmente superpuestas. A modo de ejemplo, en Chile hay programas de desarrollo profesional docente y al mismo tiempo los programas de mejoramiento e innovación pedagógica implementan acciones de capacitación y perfeccionamiento; está el programa de distribución de textos escolares y diversos programas a su vez distribuyen textos y material didáctico; varias iniciativas incluyen apoyos en gestión y solicitan al establecimiento la formulación de planes de acción concretos, los que se superponen; todos los programas solicitan información a los establecimientos parte de la cual se repite, pero la solicita en momentos del tiempo y con formatos distintos. Esta modalidad y forma de trabajo del Ministerio ha ido en desmedro de una visión integral de la unidad educativa y sus necesidades concretas y particulares. La bajada de la política por programas debe privilegiar un enfoque que conjugue la diversidad de las ofertas ministeriales con las necesidades y posibilidades del establecimiento, sus directivos, profesores y alumnos, para un mejor empalme entre ambos. Se plantea así nuevamente un rol de primera importancia para los responsables de implementar la política. 6.2 Evaluar políticas y no sólo programas En nuestros países existe una tendencia de confundir políticas con programas y de evaluar los programas más que la política. Los avances en el tema de evaluación se han expresado en la evaluación de medidas programáticas y rara vez en la evaluación de la política o del conjunto de programas y medidas que son parte de una política. Evaluar la política, entre otras cosas, implica preguntar por la coherencia de los instrumentos programáticos y otros, tanto a nivel de su concepción como en cuanto a su implementación (instrumentos, tiempos, sinergias, competencia). En esta perspectiva, las preguntas de evaluación refieren no a programas individuales sino a cómo el conjunto de los programas “aterrizan” y “empalman” con la situación y dinámica de la unidad educativa. Evaluar políticas así mismo implica hacer meta-análisis de las evaluaciones de programas específicos poniendo atención en sus fortalezas y debilidades, amenazas y oportunidades comunes, y las que son específicas a programas particulares. 6.3 Fortalecer el vínculo entre evaluación y sus resultados y el policy-making Uno de los principales argumentos a favor de las evaluaciones de procesos es la utilidad práctica que éstas tienen para los policy-makers y tomadores de decisiones, pues les permite comprender en detalle dónde están los problemas de implementación, qué situaciones no fueron anticipadas en el diseño y, en general, hacer sentido sobre lo que está pasando con las políticas educativas a un nivel micro. Sin embargo, la relación entre evaluación y toma de decisiones ha sido siempre un territorio incierto. Veíamos en un comienzo que José Sulbrandt observaba una completa desconexión entre los resultados de las evaluaciones con los procesos de gestión y toma de decisiones de los programas y políticas educacionales. ¿Cuánto se ha avanzado en este sentido? Hoy en día no existe en Chile un estudio que se haya propuesto observar qué función cumple o qué influencia tiene la evaluación educacional en las decisiones de gobierno y del Ministerio de Educación. Aún así, es razonable pensar que ya no cabe hablar de una “completa desconexión”, y en el proceso de estrechar ese vínculo los propios investigadores han comenzado a reconocer que no corresponde simplemente sentarse a esperar a que los escuchen sino más bien tomar ellos mismos ciertas iniciativas. El principal desafío de los estudios de evaluación, es sin dudas, el de la rigurosidad metodológica y la capacidad de ofrecer información y conclusiones válidas. No obstante, el “evaluador” a nuestro entender debiera asumir también otras responsabilidades. Entre ellas, la más importante es realizar todos los esfuerzos posibles para que los hallazgos de los estudios efectivamente permeen las estructuras existentes de toma de decisiones entre los gestores. Cuatro elementos son importantes: a) dedicar tiempo a comprender en detalle la demanda del que contrata la evaluación, el por qué y para qué de la demanda, qué le preocupa respecto al programa o la política, y cuáles son las hipótesis que maneja sobre sus resultados y procesos; b) asimilar el marco de referencia y lenguaje de los responsables del programa / política, y plantear los hallazgos y recomendaciones en ese marco; c) asegurar un trabajo que implique contactos periódicos con la contraparte en los cuales se ocurran acciones de retroalimentación, esto es, se plantean hipótesis sobre resultados preliminares, fortalezas y debilidades, dificultades en la evaluación, etc., para asegurar que la información producida sea adecuadamente procesada e internalizada por los mismos que implementan los programas; d) preparar e insistir en la importancia, una vez terminada la evaluación, de difundir los resultados de modo de que otros actores sociales legítimamente interesados en los programas evaluados (incluyendo a los beneficiarios y destinatarios de los mismos) conozcan las evaluaciones y puedan participar y aportar al análisis crítico de las políticas.
REFERENCIAS BIBLIOGRÁFICAS Asesorías para el Desarrollo y Santiago Consultores (2000). Evaluación del Programa de Mejoramiento de la Calidad de las Escuelas Básicas de Sectores Pobres, P-900. Santiago: MINEDUC. Bellei, C., L. M. Pérez, D. Raczynski y G. Muñoz (2004). ¿Quién dijo que no se puede? Escuelas Efectivas en Sectores de Pobreza. Santiago: UNICEF. Cox, C. (editor) (2003). Políticas educacionales en el cambio de siglo. La reforma del sistema escolar de Chile. Santiago: Editorial Universitaria. Elmore, R. (2004). School Reform from the incide out. Cambridge: Harvard Education Press. Fullan, M. (2005). Leadership & Sustainability – System Thinkers in Action. California: Corwin Press, Thousand Oaks. Fullan, M. (2001). Leading in a culture of change. Jossey-Bass, San Francisco, California, USA García-Huidobro, J.E. (editor) (1999). La Reforma Educacional Chilena. Madrid: Editorial Popular. PNUD-Asesorías para el Desarrollo (2004). Sistematización y evaluación del Plan de asistencia técnica a escuelas críticas de la Región Metropolitana. Informe Final para el Ministerio de Educación. PNUD-Asesorías para el Desarrollo (2008). Monitoreo, seguimiento y evaluación de la Estrategia de Apoyo a Establecimientos Prioritarios. estudio en curso. Raczynski, D. y G. Muñoz (2005). Supervisión educacional en Chile. Experiencias públicas y privadas. Santiago: Ministerio de Educación. Raczynski, D. y G. Muñoz (2005). Efectividad Escolar y Cambio Educativo en Condiciones de Pobreza en Chile. Santiago: Ministerio de Educación. Raczynski, D. y G. Muñoz (2007). Chilean educational reform: the intricate balance between a macro and micro policy. W.T. Pink and G. W. Noblit (Eds.). International Handbook of Urban Education. Springer: 2007. Sen, A. (1999). Development as Freedom. New York: Anchor Books. Sulbrandt. J. (1994). La evaluación de los programas sociales: una perspectiva crítica de los modelos usuales. En: Kliksberg, B. Pobreza, un tema impostergable . México: Fondo de Cultura Económica.
{2}Son muchos los trabajos que analizan la reforma educacional chilena. Entre ellos destacan la colección de artículos en Cox (2003) y García-Huidobro (1999). Una visión sintética y más actualizada puede verse en Raczynski y Muñoz (2007). {3} En el texto se utilizan indistintamente los términos escuela, colegio, establecimiento educacional, aludiendo a unidades educativas de la enseñanza básica y media. {4} Sen han formulado adecuadamente los límites de lo que llama el “consecuencialismo”, esto es una perspectiva que sólo juzga las decisiones o proyectos por los resultados que generan. Decir que “sólo los resultados importan”, argumenta Sen, implica valorar una acción únicamente por sus consecuencias, excluyendo la consideración de que existen ciertos principios o derechos que son importantes o valorables con independencia de sus resultados (al margen de que muchas veces el resguardo de estos derechos sea además funcional a los resultados de calidad y equidad deseados en el caso de la política educativa). De la misma manera, Sen toma distancia de una postura que se centra enteramente en los principios y pierde de vista la importancia del logro de resultados. En ambos casos, la evaluación de políticas públicas estaría restringiendo su base de información posible (“informational base”) sin considerar o deliberadamente excluyendo a todo un conjunto adicional de hechos significativos. Sen llama a integrar ambas perspectivas y a no perder de vista el proceso de instalación de capacidades y competencias en los actores beneficiarios, de modo tal que éstos puedan actuar con autonomía y de un modo sustentable en el tiempo en la definición de sus objetivos, estrategias y acciones (Sen, 1999:54-86). {5} Los profesores y directivos creen en el potencial de sus alumnos y transmiten sus expectativas a ellos, haciéndolas públicas, motivándolos a superarse, a aprender. La motivación de los alumnos es una de las principales preocupaciones del profesor en clase. No se escuchan opiniones que indican que el principal problema de su enseñanza es la falta de motivación de los niños. Más bien sostienen que la motivación es una variable que depende del profesor y de la escuela y ellos son responsables de activarla. Las expectativas altas están presente no solo en la relación profesor – alumno sino que también en los directivos y líderes pedagógicos respecto al potencial profesional de los docentes. Existe en las escuelas efectivas una visión de la escuela como una “que puede más” y que se esfuerza por superarse. Directivos y profesores proyectan una visión positiva del futuro de la escuela.
ANEXO Propuesta de operacionalización de las variables que contribuyen a la efectividad escolar La tabla a continuación lista las variables, define indicadores y entrega una definición operacional de las mismas. La definición operacional se traduce en una escala de puntuación que fluctúa entre 1 y 5, donde 1 representa el valor más bajo, la ausencia total de señales que apuntan a la presencia de la variable y 5 una presencia decidida y fuerte de la variable en cada uno de sus indicadores. Las fuentes de información son variadas, entrevistas, documentos (libros de clase, actas, proyecto educativo, reglamentos, etc.), encuestas, registros estadísticos, observación directa.
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||