1. INTRODUCCIÓN

La evaluación cobra creciente importancia en todos los ámbitos de la vida pública. Al mismo tiempo, desde hace años se viene discutiendo por qué el diseño de políticas, especialmente en el campo de la educación, no presta mayor atención a los resultados de investigación. Con distintas denominaciones, se hace referencia a esta necesidad: Política basada en evidencia, lecciones aprendidas, transferencia de políticas, entre otras (Evans, 2004).

El diseño de políticas educacionales tiene complejidades adicionales a otros campos de la política por dos motivos a lo menos. Por una parte, la relativa ausencia de recomendaciones claras y unívocas para emprender acciones, ha hecho posible que muchas veces los políticos desdeñen los resultados de la investigación en ciencias sociales, tachándolas de teóricas o poco prácticas. Por otra, la relación entre investigación y diseño de políticas en el caso de la educación está mediada por una opinión pública que en cualquier caso, se considera a si misma ilustrada y conocedora de la realidad. Esto obedece a que todos tenemos experiencias directas con la educación, sea como alumnos o como apoderados, y adicionalmente se reconoce que la educación tiene una gran relevancia en la vida personal y para la sociedad en su conjunto.

Concretamente, nos referiremos a la experiencia del Sistema de Medición de la Calidad de la Educación (SIMCE) en Chile. El SIMCE entrega información sobre logros de aprendizaje de los estudiantes y sobre factores que permitan contextualizar y/o explicar sus diferencias. El tipo de información que recogen y entregan los sistemas de evaluación, se relaciona con el enfoque político y el uso que se le quiera dar desde el sistema educacional en cada momento histórico.

Lo que pretendemos mostrar aquí, es cómo la evidencia producida por la evaluación estandarizada de los aprendizajes, incide en la política de una manera tal vez lenta e indirecta, pero decisiva.

En la siguiente sección describiremos brevemente el Sistema de Evaluación en Chile y el tipo de información que recoge, para contextualizar una tercera parte, donde haremos referencia explícita al análisis de factores asociados y su incidencia en la política educacional, así como los condicionantes que aparentemente gatillan el éxito de esta relación. En una última sección, se describen los proyectos en curso tendientes a perfeccionar la evidencia proporcionada por  el SIMCE para incidir en el diseño de política.

2. EL SISTEMA DE EVALUACIÓN DE APRENDIZAJES EN CHILE

2.1. Historia y características de la participación en evaluaciones estandarizadas

La evaluación en Chile tiene una larga data. Comienza en los años 60, con la participación en el estudio  internacional comparativo de la IEA, denominado “Six Studies” en referencia al número de áreas del conocimiento que cubrió. En los 70, se intentó usar pruebas estandarizadas al final de la Educación Básica como certificación de los aprendizajes alcanzados en este nivel, pero esta iniciativa duró un corto período.

Entre los años 1982 y 1985, se aplicó el Programa de Evaluación del Rendimiento (PER), a cargo de la Universidad Católica de Chile. Mediante este sistema, se buscaba que los establecimientos y autoridades, al enfrentarse a  los datos de la evaluación, reaccionaran modificando o reforzando las prácticas educativas. Finalmente, en 1988 se inaugura el Sistema de Medición de la Calidad de la Educación (SIMCE) que por un tiempo estuvo a cargo de la Universidad Católica y cuyos objetivos serán expuestos en esta sección.

TABLA 1. SÍNTESIS HISTÓRICA DE EVALUACIONES ESTANDARIZADAS DE APRENDIZAJE

El SIMCE surge en el Gobierno Militar como un elemento complementario a la privatización y municipalización de la educación, consonante con la economía de mercado que se imponía en ese momento. Bajo los supuestos que los padres buscarían la mejor educación para sus hijos, que tendrían libertad para cambiarlos de establecimiento educacional y que serían ampliamente informados sobre los resultados en la prueba SIMCE, se esperaba que el mercado, provisto de información para todos los actores, regulara por sí mismo la calidad de la educación. La expectativa era que los establecimientos, para no perder financiamiento, movilizarían acciones de promoción de calidad: Por ejemplo, al no querer perder matrículas y sus respectivas subvenciones, y, en la búsqueda de aumentar sus ingresos, harían lo posible por mejorar la calidad de los aprendizajes y retener a los estudiantes. 

Contradictoriamente, en los inicios del SIMCE, no se entregó información pública de los resultados de escuelas individuales, que es la información requerida por el mercado para operar. Más que describir y explicar la diversidad de rendimientos entre las escuelas, el interés era hacer un diagnóstico de los resultados lo más acabado posible para entregar información a la comunidad escolar. Los resultados de la escuela, se le entregaban a ella en privado, aunque se suponía que la escuela debía compartirlos con el resto de la comunidad. En los primeros reportes, se entregaba muchísima información respecto a distintos aspectos y a logros de los estudiantes, tanto académicos como de su desarrollo personal{1}. A modo de ejemplo, se puede citar el primer informe de resultados desarrollado por el SIMCE en 1988, donde se dedica un volumen completo a los indicadores de “desarrollo personal” y “aceptación de la labor educativa” (SIMCE, 1988).

FIGURA 1. INDICADORES DE LA CALIDAD DE LA EDUCACIÓN MEDIDIOS POR EL SIMCE EN 1988

En la Figura 1, se muestran los indicadores de calidad de la educación evaluados en 1988, donde los objetivos académicos representan los contenidos propios del Currículum de la época{2}; Desarrollo personal y Aceptación de la labor educativa corresponden a factores afectivos que pueden incidir sobre el rendimiento académico o ser considerados como logros en un sentido amplio; eficiencia escolar a la medición anual de tasas de aprobación, reprobación, retiro y retención de estudiantes en cada establecimiento; y cobertura alude al nivel de cobertura curricular declarada por los profesores.

En 1990, un día antes de asumir el gobierno democrático, se promulgó en Chile la Ley Orgánica Constitucional (LOCE) que obligaba a los gobiernos posteriores a evaluar el aprendizaje de los estudiantes y a hacer públicos los resultados de las escuelas (no de los alumnos). Junto con esta exigencia, se aseguraba el financiamiento del sistema nacional de evaluación de aprendizajes, que pasó a formar parte del Ministerio de Educación.

El Ministerio, una vez en democracia, reconoce la importancia de la evaluación, pero también comprende que el mercado por sí solo no mejoraría la calidad de la educación, por lo que al enfoque informativo, se incorporan iniciativas de apoyo a las escuelas. El Estado refuerza su rol subsidiario, con programas de mejoramiento universal de las escuelas y focalizando apoyos en aquellas con menores rendimientos. Así, por ejemplo, surge, el Programa P-900 para ayudar a las escuelas con más bajos rendimientos (Meckes y Carrasco, 2006).

En los informes SIMCE de los primeros años en democracia, se mantienen con fuerza los mensajes sobre indicadores del área afectiva, expresados de manera reiterada en los reportes de resultados. En la Tabla 2, se observa que durante sus primeros siete años, el SIMCE reportó mediciones sobre dos variables afectivas que pueden influir el aprendizaje de los estudiantes: Desarrollo personal, evaluado mediante cuestionarios a alumnos, y Aceptación de la Labor Educacional, para lo cual se aplicaron cuestionarios a alumnos, apoderados y docentes. Por otra parte, la Eficiencia Escolar era medida a través de un instrumento aplicado a todos los establecimientos al final de cada año académico, por el Ministerio de Educación.

TABLA 2. INDICADORES DE CALIDAD DEL RENDIMIENTO REPORTADOS POR EL SIMCE 1988-1997

Para recoger información sobre las variables afectivas que influyen en el rendimiento académico, se emplearon instrumentos que, al no tener continuidad ni un marco de referencia común entre años, fueron perdiéndose en el tiempo. Si bien había un marcado interés en variables afectivas y de percepción de alumnos, padres y docentes (desarrollo personal y aceptación de la labor educativa), no se mantuvo una estrategia común clara, en la medición de éstas.

Desde principios de los 90, se impulsa en Chile una importante reforma al currículum, apostando principalmente en ello, el progreso del sistema educacional. Por su parte, los instrumentos de evaluación aplicados por el SIMCE no experimentaron cambios de gran envergadura hasta una vez que se inició la implementación del nuevo currículo.

Al inicio de los noventa, la primera señal de apoyo a los establecimientos es utilizar los resultados del SIMCE, para la detección de escuelas con requerimientos de apoyos específicos, realizando una labor de discriminación positiva.

En el año 1992, los reportes del SIMCE a cada escuela introdujeron una asociación entre los puntajes y la dependencia administrativa de los establecimientos. En 1993, los resultados comienzan a presentarse asociados al nivel socioeconómico de los establecimientos.

En 1995, por primera vez se dan a conocer en un inserto de prensa, los resultados por escuela, donde además se enviaba un mensaje público sobre la importancia de focalizar los recursos en los establecimientos con menor rendimiento. En 1996, los resultados del SIMCE comenzaron a estar disponibles en el sitio Web del Ministerio de Educación. La entrega pública de los resultados, se asume como una ganancia en transparencia y permite responsabilizar y controlar a las escuelas. Por lo mismo, se quiere también dar más apoyo y empieza un movimiento en búsqueda de retroalimentar a cada establecimiento con los logros de sus estudiantes, a fin de que pueda mejorar este proceso de enseñanza aprendizaje.

En el transcurso entre la creación del SIMCE y el segundo quinquenio de los 90, se percibe un doble movimiento. Por una parte, la medición se concentra en los resultados de aprendizaje, abandonando la medición de variables socio-afectivas. Por otra, se mueve hacia la entrega de información más precisa y retroalimentación a los establecimientos. De esta manera se complementa la información dirigida al funcionamiento del mercado, con apoyos para mejorar la calidad educativa desde “adentro” de la escuela. En este sentido, la revisión de los reportes de resultados generados por SIMCE a través de los años, permite observar un formato y redacción, cada vez más amigables y enfocados a sus públicos objetivos.

A partir de 1997, pero ya más concretamente en 1998, cambia el tipo de información recogida por los cuestionarios del SIMCE, los cuales son aplicados cada año a padres y apoderados y a docentes. En pocas ocasiones, también se aplicaron a directores y estudiantes. En esta nueva etapa, desde 1998 hasta la fecha,  se ha dado especial relevancia a la recolección de información de variables familiares, especialmente nivel socio-económico de la familia, que permite hacer comparaciones más justas entre escuelas.

En la Tabla 3, se muestran los factores asociados que actualmente, mide y reporta el SIMCE.

En la actualidad, el SIMCE tiene como misión contribuir al mejoramiento de la calidad y equidad de la Educación en Chile, para lo cual se encarga de proveer información acerca de los resultados de aprendizaje a nivel nacional y de establecimientos educacionales. Los actuales propósitos del SIMCE son (Informe MINEDUC, 2003):

TABLA 3. FACTORES ASOCIADOS Y FUENTES DE INFORMACIÓN PARA LA ENTREGA DE
RESULTADOS DEL SIMCE

Para cumplir estos objetivos, el SIMCE ha trabajado en aumentar y mejorar la precisión de la información que distribuye, orientándola además, a un mayor número de públicos. Los resultados del SIMCE se informan anualmente a través de la prensa, con los datos de cada establecimiento del país; en el Informe de Resultados a Profesores y Directivos se entrega información individualizada de cada escuela; y en el Informe de Resultados a Padres y Apoderados, se presentan los datos de la escuela en una versión simplificada. Además, se elabora un Informe Nacional que entrega los datos del país y por regiones.

Por otra parte, se ha hecho un gran esfuerzo en la construcción y continuo mejoramiento de la página Web, donde se incluyen todos los reportes de resultados generados por el SIMCE, informes de estudios internacionales, bases de datos y una herramienta de análisis de resultados. En general, cada tipo de información está especialmente diseñado para un perfil de usuario (educador, investigador o apoderado).

Desde fines de los 90, Chile se incorporó de manera sistemática en evaluaciones de aprendizaje internacionales, las que presentan un nuevo panorama de posibilidades metodológicas, influyendo en el tipo de cuestionarios aplicados por el SIMCE a nivel nacional y en el mejoramiento de la metodología de elaboración y análisis de las pruebas cognitivas.
Las evaluaciones internacionales permiten tener información sobre los resultados de aprendizaje de los estudiantes chilenos con relación a otros países y de algunos factores posiblemente asociados a los resultados, contrastados con referentes internacionales.

TABLA 4. ESTUDIOS INTERNACIONALES EN LOS QUE CHILE HA PARTICIPADO DESDE LA DÉCADA DE LOS ‘90

En los párrafos anteriores, se puede observar cómo el SIMCE ha profundizado en su rol de informar sobre los aprendizajes de los estudiantes en Chile, a la vez que se ha ido acompañando de manera creciente, por políticas educacionales de apoyo al rendimiento de las escuelas.

Actualmente, el SIMCE busca cada vez más apoyar a las escuelas con información que sea relevante para ellas y que les permita diseñar acciones para mejorar el aprendizaje de sus estudiantes. En este sentido, se ha ampliado y diversificado la comunicación de los resultados del SIMCE, a la vez que la recolección y análisis de la información se ha hecho en forma cada vez más rigurosa, tanto de las pruebas de evaluación de aprendizaje como de los cuestionarios de contexto. Si bien durante este último período los cuestionarios se han ido desarrollando en base a requerimientos contingentes, cabe destacar que, actualmente, el SIMCE impulsa un proyecto con el objetivo de mejorar estos instrumentos, elaborando un marco de referencia posible de proyectarse en el mediano y largo plazo, con un plan de análisis que seguirá una determinada racionalidad.

Como ya se ha señalado, la forma en que se analicen y entreguen los resultados de la evaluación, incide fuertemente en las consecuencias que esta tenga tanto para los actores, como para la política educacional en general.

Habiendo descrito la evolución de la información que se recoge y analiza en el SIMCE, en el punto siguiente analizaremos el rol que han jugado los factores asociados con esta evolución.

2.2. Recolección y análisis de los factores asociados

Entre los factores asociados que se miden y analizan con relación a los resultados en pruebas estandarizadas, hay factores internos y externos a las escuelas. Los factores internos son aquellos que dependen del manejo propio de la escuela, tales como rotación de profesores, capacitaciones docentes, manejo curricular, gestión y organización, entre otros. Por otra parte, los factores externos a las escuelas, se caracterizan porque esta no los puede alterar por sí misma. En este grupo, tiene gran injerencia el nivel socio económico, cuyo análisis en Chile, demuestra históricamente una asociación importante con el rendimiento académico de los estudiantes. También aquí se encuentran variables como género, área urbano – rural, entre otras. Los factores externos permiten  hacer comparaciones de rendimiento más justas, ya que a partir de ellos se puede categorizar escuelas semejantes según una o más variables que no dependen de la gestión del establecimiento.

Para recoger información sobre factores asociados, hemos visto que el SIMCE administra cuestionarios autoaplicados a apoderados y docentes, los cuales se distribuyen en conjunto con los instrumentos de evaluación de aprendizajes. También las evaluaciones internacionales contemplan este tipo de cuestionarios, dirigidos a alumnos, apoderados y directores de escuela.

Estas herramientas recogen la información censal, en el caso de las pruebas nacionales, o muestral en estudios específicos y evaluaciones internacionales.

Al interior del SIMCE, los equipos técnicos se encargan de sistematizar y analizar la información recopilada en los cuestionarios, la cual posteriormente, es puesta a disposición de investigadores para que realicen los análisis que estimen pertinentes.

El análisis de factores asociados consiste en identificar formas de elevar el aprendizaje, a través de la alteración de dichos factores. Estos análisis, en general, no pretenden determinar causalidad en el sentido más estricto, pero sí se espera aislar el impacto de distintas variables y buscar aquellas que son posibles de modificar a través de políticas o medidas tomadas a distintos niveles de decisión{3}. Esto exige una tremenda cautela para no tomar medidas y decisiones en base a información sesgada.

Con la publicación de los resultados obtenidos el año 2000, se empezó a entregar información por “grupos comparables” según nivel socio económico. Con esto se buscaba hacer una entrega más justa de resultados, ya que así se podría comparar el rendimiento académico de establecimientos con características internas y de entorno, semejantes. Además, se buscaba posicionar el tema en la opinión pública, donde hasta ese entonces, se asignaba fuerte relevancia al efecto de la dependencia administrativa sobre los resultados académicos, empañando la importancia del nivel socio económico de los estudiantes (Meckes y Carrasco, 2006).

Los “grupos comparables” se forman categorizando a los establecimientos en función de las siguientes variables:  

Con estos datos, se establecen cinco grupos socioeconómicos, que permiten comparar establecimientos que entre sí tienen una composición socioeconómica de su alumnado similar.

Los factores asociados permiten observar los contextos en los cuales se enmarcan los resultados de aprendizaje, así como establecer variables que acompañan al mejor o peor rendimiento de los estudiantes. En general, estos análisis se cuidan de caer en determinismos difíciles de establecer en ciencias sociales y, consecuentemente, se habla de “factores asociados” en oposición a causales o determinantes. Sin embargo, se sabe que el interés es conocer qué se puede hacer para incrementar el aprendizaje de los estudiantes, qué es lo que funciona. Algunos autores advierten este riesgo, enfatizando la necesidad de utilizar métodos experimentales y otros consideran la necesidad de refrendar las conclusiones con distintos métodos, antes de considerar que las conclusiones de las investigaciones son evidencia para el diseño de políticas (Cook y Gorard, 2007).

En la medida que los sistemas de evaluación quieren mejorar los resultados de aprendizaje y fomentar la responsabilidad de la comunidad escolar en estos logros, intentarán entregar información que sea útil tanto para diseñar políticas a nivel nacional o local y/o para orientar las prácticas de docentes y directores.

3. CONSTRUCCIÓN DE EVIDENCIA PARA POLÍTICA

Apartir de los datos obtenidos por el SIMCE, se espera promover la generación de políticas educacionales específicas, coherentes con la evidencia, que tiendan a solucionar, mejorar y/o promover las situaciones observadas, tanto a nivel de las escuelas como del sistema educacional en su conjunto.

La evidencia puesta a disposición de la comunidad escolar, investigadores y políticos, debe ser robusta, clara y accesible. La validez y confiabilidad de los datos están a la base del éxito de cualquier intento por intervenir la Educación de manera informada. La certeza sobre lo que se está comunicando, constituye un compromiso ético y es parte de la cultura laboral con que se trabaja en el SIMCE, como debería ser en cualquier sistema de medición. Además, los sistemas de medición deben hacerse cargo de informar cómo se cumplen los requisitos técnicos de la medición, con fines de documentación y de difusión a los especialistas que, seguramente, querrán examinar la información con todo detalle. La credibilidad y legitimidad del sistema es uno de los bienes más preciados que hay que resguardar y desarrollar.

Por otra parte, es necesario que la información presentada, haga sentido en el ámbito de la opinión pública, que tenga “face validity”. Es problemático ir contra el sentido común de la gente o intentar posicionar en la agenda pública, un tema cuyos componentes sean demasiado técnicos y complejos. Aunque sea redundante, la evidencia debe ser “evidente” para muchos.

Considerando la importancia que juega la opinión pública como mecanismo de coacción hacia el mundo político y el interés del Sistema por impulsar políticas basadas en la evidencia de evaluaciones estandarizadas, es necesario un esfuerzo por simplificar los mensajes comunicacionales, de modo que estos puedan ser absorbidos por un máximo de personas: internas y externas al campo de la educación, pero también entre los que están a favor y en contra del gobierno. Como se señalaba al principio de este artículo, cada persona y sociedad tiende a tener una postura crítica frente al sistema educacional. En la medida que esta crítica sea más informada, se convierte  en un mecanismo de presión más valioso y efectivo para la generación de nuevas y mejores prácticas educacionales.

En la Figura 2, se muestran dos posibles mecanismos de generación de políticas educacionales a partir de la evidencia. Hacia la derecha, creemos que se refleja la demanda y conquista de iniciativas políticas de gran envergadura que, la gran mayoría de las veces, son mediadas por la opinión pública. Por otra parte, también existe una forma de generación de políticas con influencia más directa desde la evidencia, lo que podría ejemplificarse en el impacto del SIMCE sobre programas de otras unidades del Ministerio de Educación. En general, es difícil que una iniciativa de política educacional no sea mediatizada, antes de su puesta en marcha.

Se puede constatar que, a pesar de las constantes críticas al sistema de medición por sus posibles efectos no deseados, finalmente, a la larga, la información entregada va permeando a la opinión pública y llega a constituir evidencia, contribuyendo así al diseño de políticas más coherentes con la realidad.

La teoría de redes sociales, habla de “hacer puentes” (brokerage) mediante intermediarios que vinculen actores dentro de una misma o varias estructuras. En el caso que revisamos, significaría vincular el conocimiento que puede surgir a partir de la evidencia, con la toma de decisiones políticas.

FIGURA 2. MECANISMOS DE GENERACIÓN DE POLÍTICAS A PARTIR DE LA EVIDENCIA

La OCDE ha demostrado interés por el estudio y promoción del brokerage entre investigadores y tomadores de decisiones políticas en distintos ámbitos. En un estudio enfocado específicamente al ámbito de la Educación (OCDE, 2003), se señala que  la política educacional basada en evidencia enfrenta principalmente, las siguientes dificultades:

El diseño de política basado en evidencia (evidenced informed policy) es el uso conciente y explícito de la evidencia al tomar decisiones o al elegir entre políticas alternativas (OCDE, 2007). Davies (2004), contrasta esta forma de hacer política con el diseño de política basado en la opinión, que usa evidencia selectivamente, o en puntos de vista individuales. La política basada en evidencia requiere una búsqueda sistemática de información, de una evaluación crítica de los estudios identificados y una comprensión equilibrada de las fortalezas y debilidades de la evidencia entregada por la investigación.

En este artículo no se pretende insinuar que toda la información recogida y/o difundida por el SIMCE constituya evidencia para política, de acuerdo al señalado enfoque. Ni siquiera que haya habido una acción sistemática e intencionada en esa dirección. Para constituir evidencia para el diseño de políticas,  la información, además de robusta y clara, debe estar disponible de manera fácil y oportuna. Creemos que esto último sí se ha cumplido crecientemente en el caso de la información entregada por SIMCE, pero aún no se ha hecho el procesamiento requerido de juntar y complementar resultados de otras investigaciones.

En un afán por aumentar su llegada al público, el SIMCE ha avanzado en la ampliación de la información entregada y en la generación de bases de datos válidas, que puedan ser útiles para los investigadores. Aún cuando el SIMCE forma parte del Ministerio de Educación, permanece el desafío de promover una mejor gestión de la información generada por esta unidad, de modo de vincular más directamente los resultados de la evaluación y la toma de decisiones políticas.

Habiendo dicho lo anterior, queremos señalar que, la información entregada por este sistema de evaluación puede, debe y, en ocasiones, ha entregado evidencias ampliamente consideradas en el diseño de algunas políticas.

Lo que postulamos y queremos ejemplificar en las siguientes secciones, es que al no haber intermediario oficial, como los brokerage que menciona Burns y Schuller (2007) o los que existen en Gran Bretaña (Davies, 2004), la opinión pública y los medios de comunicación pueden ser un canal útil para articular el mundo de la investigación y de los datos (incluido el SIMCE) con el mundo político.

Para lograr posicionar un tema en la agenda pública, creemos que hay aspectos del sistema de evaluación que inciden. La duración en el tiempo, la credibilidad, y la rigurosidad del sistema de evaluación (Meckes y Carrasco, 2006) son características claves que posibilitan la recepción de la información evaluativa tanto por parte de la opinión pública como del mundo político.

Consideraremos tres tipos de variables que han tenido distinto peso y desarrollo en la historia del SIMCE y cuya influencia en la política nacional ha variado. Estas son: nivel socioeconómico, prácticas de enseñanza y género.

3.1. Grupos de escuelas según nivel socioeconómico

Como ya se ha señalado, el nivel socioeconómico es el factor asociado que se ha trabajado por más tiempo y con insistencia.

A partir de los resultados del año 2000, los resultados por escuelas han sido entregados públicamente contextualizados según el nivel socioeconómico, de tal modo que es posible comparar los rendimientos de las escuelas, teniendo en cuenta estas características.

Los datos SIMCE han entregado evidencia de grandes inequidades en la calidad de la educación y de las diferencias en los aprendizajes de los estudiantes, con lo cual se ha ayudado a crear consenso sobre la importancia del contexto socioeconómico en los aprendizajes. Indiscutiblemente la equidad educativa está posicionada como un hito ineludible de la agenda pública y el SIMCE ha contribuido a ello.

Con los resultados de PISA 2000 (MINEDUC/UCE, 2007), se hipotetiza que algunos establecimientos pueden lograr un rendimiento superior al que se esperaría según su condición socioeconómica.

Luego, en el Informe Nacional SIMCE 2006 se comprueba con información censal la hipótesis anterior y además se entrega evidencia de las características diferenciales de los establecimientos con rendimiento sobre y bajo lo esperado dentro de su grupo socioeconómico.

Se demuestra así que a partir de sus decisiones y gestión interna, las escuelas pueden impulsar el aprendizaje de sus estudiantes, sin estar determinadas por su nivel socioeconómico.

Recientemente, los resultados de PISA 2006 entregan evidencia adicional sobre la inequidad, lo cual permitirá seguir profundizando este tema en el tiempo.

El efecto de esta evidencia en las políticas educacionales se puede apreciar en el diseño e implementación de políticas educativas que promueven la equidad a nivel nacional.

Posterior al “Programa de las 900 escuelas”, que también utilizó información SIMCE, se implementó el programa de Escuelas Prioritarias, Liceo para Todos y el Sistema Nacional de Evaluación del Desempeño de los Establecimientos Educacionales Subvencionados (SNED), entre otros. El SNED entrega un premio al 35% de los establecimientos con mejores desempeños entre aquellos que son comparables, considerando tipo de enseñanza, región, niveles impartidos y nivel socioeconómico.

El proyecto de ley sobre Subvención Escolar Preferencial, la cual es aún discutida en el Senado, busca que las escuelas que atiendan alumnos con mayores carencias socioeconómicas, reciban un bono adicional a la subvención común. Con esto, al igual que con la exigencia que todo establecimiento subvencionado incluya en su matrícula al menos un 15% de niños vulnerables, se estimula a los establecimientos a fomentar la integración social.

El gran movimiento social denominado de los “Pingüinos”, desarrollado en 2006, sirve para graficar cómo el conjunto de evidencias de inequidad, proveniente del SIMCE y de otras fuentes, se cristalizó en acciones que obligaron al país en general a buscar nuevas propuestas y acuerdos en educación. Así el país ha sido testigo de la discusión sobre la Ley de Subvención Escolar Preferencial y la reforma a la Ley General de Educación, donde la equidad ha estado al centro del debate con medidas como la no selección de alumnos y la supresión del lucro.

3.2. Factores asociados relativos al proceso de enseñanza y aprendizaje

Estos factores serían de los más potentes, pero tienen complejidades inherentes que dificultan las certezas de las conclusiones a las que se puede llegar. Por una parte, las fuentes de información con que cuenta el SIMCE son cuestionarios autoaplicados y la información es, en cierta medida, de carácter subjetivo ya que las personas responden de acuerdo a sus propias percepciones.  Por otra parte, aunque se tenga información censal y un gran número de casos, es difícil controlar todas las variables intervinientes en un proceso de tal complejidad que involucra relaciones humanas y asuntos cognitivos en contextos que pueden ser muy diversos.

Es aquí donde mejor se ejemplifica la necesidad de recopilar y procesar evidencia proporcionada por distintas investigaciones y fuentes, así como de ratificarla con diversas metodologías. Frente a estos mayores requerimientos, debemos reconocer que no se ha trabajado con una intensidad equivalente.

Sin embargo, en un esfuerzo por apoyar la labor docente, los informes de resultados en los últimos años han señalado la asociación entre el rendimiento de las escuelas y los siguientes factores internos a la escuela:

Con este tipo de análisis y la evidencia que ellos arrojan, se busca informar a las escuelas en la forma más clara y explícita posible, para afectar tanto sus políticas, como las prácticas docentes.

A través de estudios específicos, el SIMCE analiza el impacto de la información que llega a las escuelas, lo que permite determinar en qué medida se logran transmitir mensajes comprensibles y útiles, a la vez que entrega pistas sobre cómo se podría mejorar la comunicación para incidir más, tanto en la gestión de las escuelas, como en sus prácticas pedagógicas.

3.3. Género

Este factor ha sido el menos analizado y ejemplifica una preocupación incipiente, surgida de análisis parciales, en distintas mediciones y según distintas fuentes.

En un análisis realizado por el SIMCE{4} sobre la asociación entre el rendimiento de los estudiantes y el género, se resumen los siguientes resultados:

Actualmente, los resultados de PISA 2006 han impactado aún más, ya que las  diferencias por género en Chile difieren a los resultados de otros países. En la mayoría de los países el rendimiento en Ciencias o bien no se diferencia por género o la diferencia es a favor de las mujeres. Chile está entre los pocos países con una diferencia importante e inferior en el rendimiento en Ciencias de las mujeres. Además, la diferencia a favor de los hombres en el aprendizaje de Matemáticas, en Chile, es mayor que en todos los otros países evaluados en PISA. Finalmente, en Lectura la diferencia es a favor de las mujeres y la brecha se ha acortado en relación a PISA 2001.

Para llegar a una evidencia que permita fundamentar el diseño de políticas, habrá que desarrollar análisis más profundos para especificar dónde y en qué casos se genera esta inequidad y si es posible establecer a qué factores se asocia y determinar si hay o no discriminación por género.
Con estos ejemplos se ha querido mostrar que a medida que más se informe y se vuelva sobre los temas, los medios de comunicación y la opinión pública más se apropian de las ideas, las que luego se transforman en demanda social por políticas educacionales que favorezcan los rendimientos.

Entre los avances y progresos que están desarrollándose en el SIMCE, en la siguiente sección, señalaremos aquellos que nos ayudarán a comunicar y mostrar mejor la evidencia recogida por el SIMCE.

4. PROYECTOS EN CURSO

4.1. Valor Agregado

Actualmente, se encuentra en desarrollo el proyecto de valor agregado, el cual pretende ser un gran paso en la línea de caracterizar el trabajo de los establecimientos, manteniendo bajo control las variables externas.

La forma actual de entregar resultados de aprendizaje (puntajes promedios y niveles de logro), permite mostrar una “fotografía” del rendimiento de los estudiantes en un momento determinado del tiempo. Sin embargo, el rendimiento de los estudiantes es influenciado por las “diferencias de entrada”, o mejor dicho por el bagaje cultural que traen los estudiantes desde su familia. Por lo tanto, las diferencias de puntaje entre establecimientos no sólo responden a diferencias en la calidad de la enseñanza impartida y resulta más justo responsabilizar a las escuelas por lo que efectivamente aportan.

En este contexto, nace y cobra relevancia el proyecto de “valor agregado”, mediante el cual se busca realizar comparaciones más justas y válidas de los resultados de las escuelas, evaluando el progreso de los estudiantes y la agregación de valor por parte de sus establecimientos.

Desarrollar medidas de este tipo, pone el foco en la equidad, al reconocer las diferencias de los estudiantes al inicio de la vida escolar. Así se destacan y valorizan las escuelas que logran superar las posibles desventajas de sus estudiantes y no ser reproductoras de las condiciones con que llegan los estudiantes.

Con el proyecto sobre valor agregado se espera avanzar en los siguientes aspectos:

El proyecto de valor agregado plantea al SIMCE el desafío de comunicar de manera sencilla, una metodología compleja, tanto a la comunidad escolar, como a las autoridades y la opinión pública.
Herramienta de análisis fue inaugurada recientemente en la Página Web  www.simce.cl Esta herramienta permite obtener fácilmente distintas estadísticas asociadas al puntaje, con el objetivo de fomentar el uso de los datos provistos por el SIMCE e incrementar las fuentes de evidencia para política{5}.

5. CONCLUSIONES

En este artículo hemos mostrado cómo la información desarrollada por el SIMCE ha constituido insumo para las políticas educacionales en el país.

Si bien este ha sido un proceso lento y probablemente no planificado con anterioridad, el solo hecho que exista información y se haga disponible hace que los medios y la opinión pública tengan un conocimiento más sofisticado de las restricciones y posibilidades  de la política educacional.

En un contexto de gran visibilidad de los resultados de aprendizaje y de centralidad de la educación, la formación e información a la opinión pública puede constituirse en un mecanismo poderoso para promover políticas educacionales, como ha quedado ejemplificado en Chile con el “movimiento de los pingüinos”.

El Ministerio debe enfrentar el desafío de entregar más y mejor información. La tarea pendiente para la sociedad en su conjunto, es desarrollar un mecanismo de procesamiento científico de la evidencia donde esta pueda ser contrapuesta, analizada, evaluada y complementada a fin de avanzar con mayor rapidez y certeza hacia una mejor educación.

REFERENCIAS BIBLIOGRÁFICAS

Burns, T. y Schuller, T. (2007). The evidence agenda.En Evidence in Education. Linking research and policy. Paris: CERI/OECD.

Cook, T. y Gorard, S. (2007). What counts and what should counts as evidence.  En Evidence in Education. Linking research and policy. Paris: CERI/OECD.

Davies, P. (2004). Is evidence-based government possible? 4th Annual Campbell Collaboration Colloquium. Washington D.C.

Evans, M. (2004). At the interface between theory and practice – policy transfer and lesson drawing. En Learning from comparative public policy: a practical guide. New York: Routledge.

Meckes, L. y Carrasco, R.  (2006). SIMCE: Lessons from the Chilean Experience in National Assessment Systems of  Learning Outcomes. World Bank Conference on Latin American Lessons in Promoting Education for All, Cartagena de Indias, Colombia.

MINEDUC (2003). Evaluación de Aprendizajes para una Educación de Calidad. Comisión para el Desarrollo y Uso del Sistema de Medición de la Calidad de la Educación. Santiago de Chile: MINEDUC.

MINEDUC/UCE (2007). PISA 2006: Rendimientos de los estudiantes de 15 años en Ciencias, Lectura y Matemática. Resumen ejecutivo. Santiago de Chile: Ministerio de Educación, Unidad de Currículum y Evaluación.

OECD. (2003). Literacy Skills for the World of Tomorrow. Further results from PISA 2000. Paris: OECD/PISA.

OECD/CERI (2003). New challenges for educational research. Paris: OECD.

OECD/CERI. (2007). Evidence informed policy. Linking research and policy. Executive Summary. Paris: OECD.

SIMCE/Ministerio de Educación (1988). Manual de interpretación de resultados y orientaciones pedagógicas. Santiago: MINEDUC.

SIMCE/Ministerio de Educación (1990).  Manual de orientaciones pedagógicas. Santiago: MINEDUC.

SIMCE/Ministerio de Educación (1991).  Manual de interpretación de resultados. Santiago: MINEDUC.