Los comités de evaluación del aprendizaje escolar pueden ser estudiados como un fenómeno sociocultural en el cual las personas involucradas interactúan entre sí en determinados espacios y momentos, dentro de un marco de consideraciones de la evaluación como una cuestión técnica con connotaciones de forma y contenido permisibles. Este marco de consideraciones sin embargo, no es un monolito sino que en las prácticas cotidianas de evaluación se pueden identificar tanto los mecanismos de control, como puntos de ruptura y oportunidades que fomentan la producción de significados plurales de la evaluación, por un lado, y la posibilidad de ampliar la cultura ciudadana desarrollando competencias de información, de investigación, y de diálogo que contribuye a la resolución no violenta de conflictos en el campo educativo.

En este trabajo argumentaré que en medio de las tensiones sociales que se viven en torno a la evaluación de la calidad de la educación en México{1} la comprensión de los comités de evaluación educativa como fenómeno sociocultural permite:

Para fundamentar esta idea presento el caso de los comités del Instituto Nacional de Evaluación Educativa (INEE){2} de México, como una práctica contextualizada que entrelaza la participación social y la rendición de cuentas en el campo de la educación, como una política pública que cobra vida en acciones que socializan el conocimiento generado, que construyen valores comunes, que asumen compromisos y acuerdos con los demás, que fomentan relaciones de complementariedad y de colaboración, dentro de ciertos límites y posibilidades.

En resumen se trata de una práctica social compleja que presenta paradojas que influyen en  la reconfiguración del espacio público de la educación, sus límites y posibilidades, con elementos de uno de los diversos aspectos de la problemática de la calidad de la educación: el desarrollo de competencias ciudadanas para la participación social y la rendición de cuentas inteligente y comprometida.

El artículo se estructura en seis partes. La primera parte presenta información básica general sobre la fecha de creación del INEE y su función social, y sobre la conformación de cada uno de los comités que operan en el Instituto. La segunda parte trata sobre la situación de comunicación de los comités, en él se describen las posiciones que ocupan los participantes en los comités y las características de sus interrelaciones apoyadas en las rutinas institucionalizadas, sus contenidos y formas, así como los elementos emergentes por el carácter singular de cada grupo.

En los apartados siguientes se habla de los discursos, los objetos y prácticas de los comités de evaluación que en conjunto conforman un lenguaje de contención que opera como marco de referencia para vivir a través de y actuar hacia los ordenamientos sociales del campo de la educación.

En la última parte se sistematizan las paradojas encontradas, y se puntualiza cómo en el estudio de caso del INEE, las prácticas de los comités de evaluación como fenómeno sociocultural de participación social y rendición de cuentas, contribuyen a la reconfiguración del espacio educativo como una cuestión de interés público.

1.  LA ESTRUCTURA Y FUNCIONAMIENTO DE LOS COMITÉS DEL INEE

El Instituto Nacional de Evaluación Educativa (INEE) fue creado en México por decreto Presidencial publicado en el Diario Oficial de la Federación el 8 de agosto de 2002 para ofrecer a las autoridades educativas y al sector privado herramientas idóneas para la evaluación de la educación básica (preescolar, primaria y secundaria) y media superior. El propósito es conocer el rendimiento académico de los estudiantes a nivel estatal y nacional, y los factores de contexto que lo explican.

Una de sus funciones es diseñar pruebas nacionales alineadas al currículo de las asignaturas de matemáticas, español, ciencias sociales, ciencias naturales, a través de un proceso donde el aspecto central es el trabajo colegiado en el que participan diversos especialistas, grupos de asesores, comités de expertos y personal técnico de la Dirección de Pruebas y Medición del INEE.

Son cinco tipos de comités que intervienen en el proceso de diseño, implementación y apreciación de los resultados obtenidos con los Exámenes de la Calidad y el Logro Educativo (Excale) a nivel nacional:

Hay un Comité Académico de cada prueba: matemáticas, español, civismo, ciencias naturales, y grado corres­pondiente{3}, el cual analiza el currículo y elabora una retícula de la asignatura con la estructura de los contenidos curriculares y la  importancia relativa de cada uno de ellos. Este comité integra una tabla de contenidos de la prueba y explicita las áreas temáticas y habilidades intelectuales a evaluar, así como el enfoque de evaluación.

El Comité de Elaboración de Especificaciones de Reactivos de cada prueba conoce a profundidad el currículo de la asignatura a la que se dirige el Excale correspondiente y el dominio a evaluarse (conocimientos, habilidades, competencias). Debe precisar los aspectos teóricos y metodológicos del contenido a evaluar, su ubicación en el currículum, su importancia, la habilidad intelectual requerida al alumno, así como las características específicas que debe tener cada reactivo.

Los miembros del Comité de Constructores de Reactivos formulan de manera independiente tres reactivos para cada especificación  de un contenido a evaluar,  con base en las especificaciones y la normatividad del INEE. Estos reactivos son probados en una muestra pequeña de estudiantes y son revisa­dos por otros especialistas para asegurar que cada uno de los reactivos represente la parte del currículo para la cual se especificó, es decir que tenga congruencia con la especificación, que el lenguaje que utiliza sea adecuado y que el formato sea pertinente (opción múltiple, respuesta corta, ensayo, entre otros ejemplos de formatos).

En el Comité de Validez y Sesgo, de manera independiente cuando menos dos profesores revisan cada reactivo en re­lación con su contenido y sesgos culturales y de género; y proponen recomendaciones para mejorar los reactivos o justifican su eliminación. En él participan docentes en ejercicio de las 32 entidades federativas del país, que representan a los diversos estratos y modalidades educativas.

El Comité de niveles de logro participa en el análisis e interpretación de resultados de los Excale asociados a variables de contexto, y establece los niveles de competencia alcanzados: por abajo del básico, básico, medio, avanzado. No se tienen puntuaciones por alumno ni por escuela, se conocen los contenidos que dominan las y los estudiantes y los que no.

Uno de los aportes más importantes del trabajo conjunto que realizan los comités de evaluación es establecer una línea base de medición y puntos consecutivos de comparación en el tiempo. Estas cuestiones son estratégicas para que los procesos de evaluación sean válidos, confiables, consistentes y coherentes.

Una característica de la estructura de los comités es la necesidad de multidisciplinariedad, que se logra con la contratación de los servicios de expertos externos de disciplinas específicas afines a los contenidos a evaluar (matemáticas, español, civismo, ciencias naturales) y de otras disciplinas ligadas a las ciencias de la educación y a los tópicos temáticos a tratar (psicólogos educativos, sociólogos, pedagogos, historiadores, filósofos, biólogos, licenciados en educación básica, entre otros); y la supervisión del desempeño bajo el criterio de calidad, oportunidad y costo adecuado. La participación en los comités tiene una visibilidad social que contribuye a dar legitimidad a las acciones que realiza: se acredita la personalidad de los participantes, se firma un contrato de trabajo por obra determinada con honorarios profesionales, se extiende una constancia de participación.

Los comités están conformados por un grupo promedio de 10 personas invitadas por el INEE que participan por proyectos según el tipo de comité de que se trate. El proyecto y la vigencia de un comité inicia en una reunión presencial donde los participantes se presentan, comunican su escolaridad, experiencia en el campo de la educación, interés en participar; se desarrolla de acuerdo a un plan del trabajo encomendado en espacios y tiempos presenciales y/o virtuales; y termina el proyecto y el comité al entregar los resultados esperados.

Entre las características del perfil de los integrantes de los comités están las siguientes: algunas personas colaboran con instituciones de educación superior e investigación, otras con instituciones gubernamentales del campo educativo, o son maestras y maestros en funciones dentro del sistema educativo nacional, algunas personas son autores de libros de texto, hay quienes forman parte de una organización de la sociedad civil orientada a la educación. La escolaridad mínima de los miembros de un comité es licenciatura, aunque en promedio la mayoría de los integrantes tienen estudios de posgrado. Dentro de los comités participa también personal especializado del INEE y actúa como moderador y mediador de la tarea de los comités.

Los lineamientos establecidos por el INEE, concretados en planes de trabajo de los proyectos encomendados a cada comité, determinan de manera precisa los momentos y espacios donde intervienen los comités, la metodología que deben seguir para desempeñar su función y los formatos donde deben sistematizar los resultados de su trabajo. En conjunto estos elementos de organización contribuyen a darle estructura al grupo de trabajo teniendo como referente principal la tarea encomendada al comité y la orientación a resultados.

Las características del proceso de trabajo de los comités exigen la aplicación de competencias de información, de investigación y de diálogo. En el Cuadro 1. Competencias de los comités de evaluación, se resumen las categorías e indicadores de los conocimientos, habilidades y actitudes puestos en escena durante el tiempo que se desempeñan los miembros de un comité en los procesos de diseño, construcción y validación de los Excale. Estas competencias se relacionan con  comportamientos, habilidades y actitudes propios de un ámbito de trabajo colegiado y de los aspectos técnicos directamente relacionados con la tarea bajo su responsabilidad.

Cuadro 1. Competencias de los comités de evaluación

Fuente: elaborado por la autora con base en las notas del Diario de Campo

Al interrelacionarse los miembros de un comité, su desempeño sirve como referente para ajustar los comportamientos propios y de los otros, y para mejorar el nivel de competencia grupal. La precisión sobre el producto esperado a ser construido con los otros y el procedimiento para llevar a cabo la tarea son factores que influyen de manera positiva en la interacción, contribuyen a mantener: una administración eficiente del tiempo,  la claridad del enfoque de la tarea que los ocupa, una orientación a resultados válidos y confiables. La disposición de los participantes para hacer un alto y revisar y especificar sus puntos de vista motiva un clima de intercambio abierto de información. Hay situaciones en las que los puntos de vista difieren e incluso pueden llegar a oponerse, pero la responsabilidad de entregar los resultados comprometidos fomenta una disposición a escuchar y establecer acuerdos que permitan cumplir el objetivo común.

El resultado obtenido en colectivo satisface las expectativas instituidas, como mínimos indispensables asegurados por la mediación del representante del INEE. La mediación se orienta hacia el logro de una mayor comunicación e interacción, desde las relaciones (presenciales o virtuales) entre los actores participantes y desde los procesos de producción de los productos esperados (textos impresos, digitalizados). Las reglas establecidas por sí mismas no pueden generar los productos de la evaluación, sino los procesos de los comités de evaluación, en los cuales pueden surgir elementos que irrumpen lo establecido y lo transforman agregando valor con modificaciones o incluso innovaciones. De estos elementos “instituyentes” se trata el siguiente apartado sobre la situación de comunicación de los comités.

2. LA SITUACIÓN DE COMUNICACIÓN DE LOS COMITÉS

Para entender los rasgos relevantes de la situación de comunicación de los comités de evaluación en el caso de estudio hay que remitirse a las posiciones que ocupan cada uno de los participantes y las características de las interrelaciones que establecen.

En cuanto a las posiciones que ocupan las personas miembros del comité, todas tienen voz y voto en las decisiones que se toman para generar los resultados esperados. La autoridad relativa de cada persona está respaldada en principio por el reconocimiento de su capacidad profesional al haber sido invitado al comité, por la narrativa de su trayectoria con el que se presenta en la fase introductoria de los trabajos del comité, pero sobre todo por el fondo y la forma de argumentar durante las intervenciones, de carácter libre, durante las reuniones colectivas. En general el propio grupo se autorregula para que se respeten los turnos para tomar la palabra, o no alargarse mucho en una argumentación; en caso de que no se llegue a acuerdo entre todos los miembros del comité, el representante del INEE en su calidad de mediador ofrece opciones para buscar el consenso, por ejemplo a través de una votación.

El ambiente de la situación de comunicación inicial es adecuado para orientarse hacia la tarea y contener las relaciones interpersonales, los miembros del comité se relacionan con los demás sin estar sometido a presiones, es un tiempo reconocido como valioso, y su desempeño está remunerado. La dinámica del ambiente de la situación de comunicación es cambiante en función de la reacción de cada persona frente a lo que hacen los demás. Si la tarea se enfrenta a obstáculos por falta de información el mediador interviene para prevenir que se pierda el sentido de lo que están haciendo; esto se logra procurando acceder a la información necesaria de manera oportuna, como parte de la capacidad de planeación y organización del Instituto. En el caso de observar un ambiente turbulento por el enfrentamiento de posiciones opuestas entre los participantes al elegir vías de acción contrapuestas para conseguir los resultados buscados, es muy importante la flexibilidad y versatilidad de los participantes para identificar recursos y opciones capaces de cambiar el rumbo de los acontecimientos, disminuir la tensión en las relaciones interpersonales, centrarse en la tarea y alcanzar los resultados esperados.

En este aspecto otro factor decisivo es la motivación hacia el logro, actitud orientada a la resolución no violenta de conflictos y el nivel de aspiración a demostrar ser profesionales de valía para la labor encomendada que cada participante tiene. Esta motivación está relacionada por un lado con el reconocimiento de capacidad técnica que se obtiene al incluir en el currículo profesional la participación en los comités del INEE, y por otro lado, la posibilidad de ser invitado para formar parte de otros comités, de ejercer influencia para intensificar el interés público en la educación,  de obtener una remuneración por los servicios profesionales prestados.

En cuanto a las características de las interrelaciones que establecen los miembros de un comité, durante las reuniones de los comités cada persona se comunica con los demás a partir de los referentes preexistentes individuales, de acuerdo a su formación disciplinar, su trayectoria profesional, su carácter, su ciclo de vida, su género, entre otros factores. Estos referentes configuran los mapas asociativos de cada participante, mismos que van compartiendo a lo largo de las jornadas del comité que puede durar entre 3 y 5 días de trabajo presencial en las instalaciones preparadas por el Instituto (salas de juntas internas o extramuros) y períodos variables de trabajo individual virtual en tiempos y espacios diferenciales ya que pueden trabajar fuera de las instalaciones del Instituto en horarios variables y comunicarse a través del Sistema Integral de Administración de Excale – SIAE que opera como administrador de documentos que hayan sido redactados, corregidos o revisados por los miembros de los comités y que deben ser enviados al INEE y recibidos del INEE únicamente por medio del sistema, lo que contribuye a asegurar que el trabajo se mantiene organizado, que está documentado el proceso de trabajo con las versiones actualizadas de los formatos llenados con los resultados individuales y colectivos de los comités.

Para que los miembros del comité puedan interconectar los mapas asociativos se requiere de un acoplamiento entre ellos, el cual se construye sobre las bases de rutinas institucionalizadas a través de un conjunto de actos y comportamientos estandarizados en la situación de comunicación de los comités, que  facilitan el encuentro entre personas distintas, sin que medien grandes esfuerzos, adquiere cierto carácter ritual y se sostiene de manera durable con el apoyo del aparato institucional: agenda, horarios, documentos, servicios.

En el caso del INEE la acción de evaluación educativa comprende un proceso con una fisonomía administrativa característica: se planea el diseño, la construcción, la aplicación y la validación de los Excale. Cada una de las fases de este proceso considera el uso racional de recursos humanos, financieros y materiales; se supervisan las acciones para que se cumplan de acuerdo a lo estipulado; se estimula la participación de quienes han sido convocados y se justifica toda diferencia entre lo planeado y lo alcanzado.

La documentación del proceso del trabajo de los comités es un apoyo básico para verificar que se cuenta con los insumos, con los resultados, las interrelaciones entre acciones, la distribución de espacio y tiempo. En el Cuadro 2 las columnas señalan las categorías del proceso de diseño, construcción y validación de los Excale, cuándo, quiénes, cómo, qué; en las filas se especifican las fases de la administración del proceso, desde la planeación hasta la validación. La visualización del proceso en esta tabla es un instrumento que facilita la ubicación y colaboración entre los miembros de los distintos comités, y permite una comprensión general del sentido del mismo.

Cuadro 2. Proceso de diseño, construcción y validación de los exámenes de calidad
y el logro educativos Excale del INEE

Fuente: Resumen de la Tabla del mismo nombre del Manual técnico de especificaciones de reactivos de marzo 2008, elaborado por la autora.

En el estudio de caso los involucrados experimentan un tipo de metacognición en la medida que toman conciencia de los lineamientos, estándares, metodología, los internalizan y  amplían la comprensión de los factores que explican los resultados de su actividad, sean positivos o negativos. En este proceso de hacer conciencia, se exhibe la capacidad de autorregulación y control de las actividades de evaluación, desde la planeación, la puesta en marcha, hasta el seguimiento y control del proceso de trabajo del comité en su conjunto.

El resultado de este proceso de metacognición es una transformación de un habitus{4}, es decir desarrollan un conjunto de esquemas de percepción, de comprensión, de decisión y de acción durables.

Las rutinas tienen un efecto positivo porque se asocian a comportamientos saludables dada su fundamentación en investigaciones científicas, porque  contribuyen a elevar la eficiencia o desempeño personal, por estar vinculadas a normas de organización individual, adecuado empleo y distribución del tiempo, métodos de planificación y control de metas y actividades, etc. en la realización de una tarea que presenta desafíos por su complejidad y dinamismo.  El conjunto de elementos influye para que se propicie el apego a las rutinas.

Sin embargo, un segundo efecto del proceso de metacognición se refiere a la capacidad potencial de que los miembros del comité puedan seleccionar, valorar o intersectar componentes de formas simbólicas de otros contextos independientes a la  evaluación educativa, que  reflejen la experiencia acumulada y estructurada y las visiones del mundo que cada uno tiene. A pesar de los beneficios que las  rutinas institucionalizadas muestran, hay desventajas, en tanto pueden disminuir el interés, opacar la creatividad e impedir intentar estrategias, emplear métodos o abordajes novedosos y más productivos en determinadas áreas o actividades.

Bajo esta perspectiva en la situación de comunicación de los comités se  da lugar a adaptaciones contingentes de las buenas prácticas transmitidas o incluso a innovaciones que pueden generar significados emergentes.

Un ejemplo es la relevancia de la perspectiva de equidad de género que tiende a aumentar en la medida que los participantes integran en su mapa asociativo los derechos humanos, la perspectiva de equidad, la consideración de la población vulnerable. Se observa entonces que en las prácticas de los comités hay la reiteración de una política de comunicación que impida la  masculinización de los enunciados, lo cual se refleja en la documentación generada por el comité en cuestión, donde la narrativa subraya el uso de artículos femeninos y masculinos como producto de un acuerdo grupal. Vgr. “las y los estudiantes”. Esto no era parte de los lineamientos o metodología establecida institucionalmente, pero termina por modelar el comportamiento del grupo, e incluso con la posibilidad de extenderse a otros grupos que se expongan al contacto con este tipo de acuerdos grupales.

En la medida que los puntos de conexión entre los agentes sociales en situación de comunicación y  los mapas cognitivos asociativos de las prácticas de evaluación se expanden en escala, densidad y complejidad -ya que el diseño de los Excale es a nivel nacional, cubre diferentes dominios de conocimiento y habilidades- la información acumulada sobre la evaluación educativa se vuelve una cuestión abierta a toda la red de relaciones que tejen los miembros de los comités hacia fuera de la institución.

El esquema de percepción que se construye conforma un juicio sobre el objetivo de la educación y sobre la manera que creen es más conveniente para cumplir tal objetivo. Los mapas asociativos compartidos tienen referentes comunes en un lenguaje de contención sobre la evaluación educativa más allá de lo instituido por el entorno inmediato del INEE.

Este lenguaje se modela a través de un conjunto de discursos{5}, de objetos y de acciones, cuyos contenidos y formas constituyen un sistema de convenciones compartidas que posibilitan las interconexiones, identificaciones, distinciones, la asignación de atributos de las situaciones en las que se participa.

A continuación expongo algunos aspectos relevantes de los discursos, objetos y acciones del lenguaje de contención de los comités del INEE, que permiten ampliar la comprensión sobre la evaluación educativa como fenómeno socio cultural. 

3. EL DISCURSO SOBRE LA EVALUACIÓN EDUCATIVA

El lenguaje de contención de la evaluación educativa está fuertemente influenciado por los discursos oficiales de las autoridades en el campo educativo que cuentan con el respaldo del marco jurídico mexicano que tematiza la evaluación educativa. El Cuadro 3 resume las leyes, los acuerdos, los programas y los derechos principales que constituyen este marco jurídico. Disponer de  una  normativa específica y de un presupuesto asignado para llevar las acciones consecuentes, son indicios del nivel de institucionalización que ha adquirido el tema de la evaluación educativa y su importancia relativa en la agenda de políticas públicas.

El referente aprobado para nombrar y actuar en el terreno de la evaluación educativa son un conjunto de enunciados que se interrelacionan en un sistema conceptual y axiológico. Este referente junto con otras convenciones implícitas en el comportamiento cotidiano al realizar evaluaciones educativas se ligan{6} configurando un esquema de percepción sobre la calidad educativa en general y la evaluación educativa en particular, como un medio para verificar el cumplimiento del derecho público a la educación y proporcionar información valiosa para superar las fallas que impiden que las personas ejerzan este derecho elemental.

 Cuadro 3. Resumen del marco jurídico mexicano sobre evaluación educativa

Fuente: Cuadro elaborado por la autora con base en la información INEE (2004) “2.Marco Normativo, principios y orientaciones” en Documentos Institucionales del Plan Maestro de Desarrollo 2004-2012, pp. 112-124.

De manera directa la Ley General de Educación Art. 50 define la unidad de análisis de la evaluación educativa: “la medición en lo individual de los conocimientos, las habilidades, las destrezas y, en general, del logro de los propósitos establecidos en los planes y programas de estudio”.  Y señala la obligación de las instituciones de informar periódicamente a educandos y padres de familia los resultados y calificaciones de exámenes y observaciones sobre el desempeño que permita mejorar su aprovechamiento.

A partir del análisis de discurso con enfoque semiótico del marco normativo se elaboró el Mapa conceptual 1 que registra el sentido práctico{7} de la evaluación en las fuentes normativas, que la establecen como estrategia para contrarrestar las condiciones que han provocado “fallas”. En los discursos la situación actual de la educación es una distorsión o “anormalidad”, de donde se infiere que hay un presupuesto: existe una condición adecuada o normal del sistema educativo nacional que es la Calidad educativa.

La calidad educativa es entendida en términos de gestión institucional, donde la eficiencia del proceso y de los resultados educativos es apreciada por la evaluación con mecanismos rigurosos y confiables, independiente de las autoridades, y la información obtenida será difundida y utilizada para el mejoramiento del sistema educativo nacional.

Mapa 1. Marco conceptual de la evaluación educativa

Fuente: elaborado por la autora.

Por un efecto de espejo, la evaluación educativa en el discurso oficial es también una manera de cuestionar a las administraciones públicas pasadas y a las condiciones asociadas con una cultura de irresponsabilidad e impunidad{8}. Como parte de las propuestas de solución se establece que la responsabilidad de la calidad educativa no es monopolio del gobierno, sino que supone la intervención de otros agentes sociales, entre los cuales juega un importante papel las instituciones académicas como el agente social investido de los atributos de rigor y confiabilidad científica que dan legitimidad a la información obtenida a través de  indicadores de carácter universal, promovidos por las instituciones financieras internacionales tales como el Banco Mundial y la Organización para la Cooperación y el Desarrollo Económico, con los cuales se mide la eficiencia del sistema educativo.

El discurso oficial sobre la evaluación educativa, deja de circunscribirse a la evaluación tradicional de los alumnos como una práctica individual de los maestros orientada a la aprobación o no de los alumnos, para ser sustituida o complementada por otras formas de hacer en donde la aplicación de pruebas estandarizadas es una característica dominante. Una cultura de evaluación educativa con este enfoque coloca la evaluación como un aspecto clave del principio de rendición de cuentas y participación social  que guía a la política pública de desarrollo social y humano.

Las responsabilidades del INEE que aparecen resumidas en el Cuadro 4, exhiben  el carácter operativo y normativo conferido al Instituto. Al relacionar los enunciados del discurso del marco jurídico sobre la evaluación educativa se aprecia que este contenido se describe como una cuestión técnica, válida y científica. El análisis del sentido de este supuesto permite observar una cadena de ideas asociadas que parte de una matriz dicotómica: lo científico y lo que no lo es, acreditando a unos agentes portadores de lo primero, entre quienes está el INEE y sus comités de expertos, y desacreditando a otros agentes portadores de lo segundo, quienes elaboran y aplican exámenes cuyo proceso y resultados no están documentados ni son difundidos.

Cuadro 4. Responsabilidades del INEE

Fuente: Elaborado por la autora con base en los documentos publicados en la página WEB del INEE www.inee.edu.mx

El discurso de la evaluación educativa sigue un principio de disyunciones, por ejemplo desigualdad contra equidad, conveniente contra no conveniente, pero no aclara que la situación que guarda actualmente la evaluación educativa es resultado de condiciones sociales e históricas donde se viven conflictos y acuerdos en un proceso con una dinámica cambiante a través de la cual se hace institucionalizable, organizable, regulable, administrable un esquema de percepción donde el referente “científico” no se utiliza sólo con el propósito de ampliar el conocimiento sino que también representa un arma para imponer una actitud autoritaria cimentada en “la verdad del conocimiento científico”, lo cual es opuesto al espíritu científico que reconoce que todas las afirmaciones, incluso las basadas en criterios experimentales, conllevan una dosis de incertidumbre.

El proceso y resultados de los comités de evaluación del INEE representan una oportunidad de avanzar hacia una comprensión razonable del aprendizaje y su contexto, con la posibilidad de esquivar imperativos dogmáticos en la medida que los procedimientos técnicos sean documentados y problematizados, no estereotipados como fuentes de conocimiento sino como estrategias para detectar y eliminar errores, a sabiendas que la precisión absoluta es inasequible{9} y carece de propósito si no aporta valor para responder a la problemática educativa.

4.  LOS OBJETOS DE LA EVALUACIÓN CUALITATIVA

Se ha descrito la dinámica del trabajo colegiado de los comités para que el INEE cumpla una de sus funciones principales: el  diseñar pruebas nacionales de aprendizaje. El resultado del proceso, es decir  los Exámenes de la Calidad y el Logro Educativos (Excale) representan en sí mismos una influencia importante para modelar el sentido social y cultural que tiene la evaluación educativa en México actualmente. Estos exámenes son instrumentos para conocer el tipo de habilidades y conocimientos que dominan los estudiantes, su inserción en el currículum nacional, la importancia cognoscitiva para el aprendizaje de algunas  asignaturas que se consideran fundamentales; permiten establecer una tipología de preguntas y la dificultad que tiene el contenido para los distintos grupos de estudiantes del Sistema Educativo Nacional.

En el Cuadro 5. Cobertura de los Excale, se precisa el alcance de este objeto de la evaluación educativa, los cuales forman parte de la agenda de la política educativa, demandan recursos altos para disponer del trabajo y de información de especializada, de manera sistemática a través del tiempo; para poder dar una respuesta muy sensible a cambios curriculares que imponen un realineamiento de examen mediante una acción permanente de los comités que analizan el currículo nuevo, elaboran nuevas especificaciones, crean nuevos reactivos y pruebas empíricas que validen los modelos de examen adecuados.

Estos objetos de evaluación educativa se presentan como la concreción de metodologías con un alto grado de complejidad técnica basada en el paradigma de la ciencia experimental y en el grupo de expertos que la diseñan y desarrollan, entre los cuales se cuentan los miembros de los comités. Bajo estas condiciones los exámenes se asumen como productos profesionales, neutrales y deseables. La racionalidad del proceso de diseño, desarrollo y aplicación de estos objetos  proporciona confiabilidad y validez a la información generada.

Cuadro 5. Cobertura de los Excale

Fuente: Resumen de la información publicada en la página WEB del INEE www.inee.edu.mx consultada en 15 febrero 2009, elaborado por la autora.

El enfoque de esta racionalidad considera el uso de la estadística para el análisis e interpretación de los resultados de los Excale como el referente principal para construir la imagen de que los niveles de competencia alcanzados miden racional y objetivamente, con una base empírica y según una lógica deductiva, la problemática educativa. En el Cuadro 5 se muestra el alcance de los Excale.

El método utilizado se apega a categorías que apoyan su carácter universal en las rutinas referidas en la situación de comunicación de los comités, subrayando el seguimiento de lineamientos y estándares precisos de acuerdo a diferentes asociaciones especializadas: American Educational Research Association (AERA), American Psychological Association (APA), National Council on Measurement in Education (NCME){11}, Standards for Educational and Psychological Testing de AERA; Estándares de Calidad para Instrumentos de Evaluación Educativa del Centro Nacional de Evaluación de México CENEVAL{12}, Referenced  National Examinations for Certification and Selection of Students de la Asociación para el Estudio de la Evaluación Educativa en Sudáfrica (ASSESA). Lo mismo pasa con el modelo de construcción de pruebas, de tipo cri­terial alineado al currículum, que a nivel internacional y nacional es dominante.

Frente al carácter universal de estos objetos de la evaluación educativa de gran escala, en los comités se subraya el carácter complejo del objeto de estudio de los Excale: el aprendizaje. El aprendizaje es un proceso que debe contextualizarse para tener una comprensión clara. Los resultados obtenidos y difundidos son las medias, los índices, coeficientes, que son abstracciones que responden a las categorías e indicadores determinados con base en los lineamientos y estándares mencionados. El tratamiento cuantitativo de la información cumple con un principio de economía de la investigación, al priorizar resultados generalizables a todo el universo de estudio, estos resultados se integran a la contabilidad social para medir y ubicar aciertos y errores de las políticas educativas y apreciar sus alcances: por abajo del básico, básico, medio, avanzado, como datos exteriores sin sesgos de carácter partidistas, personales, o de cualquier otra índole.

El criterio técnico de eficacia de los Excale es el apego al currículo establecido en el sistema educativo nacional, pero este criterio influye para que los objetos de la evaluación educativa mantengan los referentes tradicionales enciclopedistas consignados en el currículo, que poco tienen que ver con la trayectoria de las niñas y los niños y jóvenes estudiantes como lectores y escritores. Las obras leídas, las opiniones personales, las conversaciones, el acceso al contexto de la producción, la construcción de sentido de cada persona se aleja mucho del currículo  determinado por las instituciones educativas. En el Cuadro 6 se pueden apreciar las diferencias en la caracterización de las prácticas de escritura de las niñas, los niños y jóvenes (prácticas vernáculas), y la caracterización de las prácticas dominantes en el currículo escolar.

Cuadro 6. Prácticas de escritura de niñas, niños y jóvenes en la era digital

Fuente: Elaboración propia a partir de los resultados de la etnografía y sondeo de percepción de estudiantes de 1ero.,  3º  y 6º de la primaria pública Escuela Catorce de Abril de la ciudad de México realizado en 2007.

Más allá de la contabilidad social, los Excale relevan información valiosa para mirar más profundamente aspectos clave del proceso de aprendizaje,  aspectos ligados con las competencias para la vida y con la construcción de la ciudadanía, alineados con el enfoque de las políticas públicas. Este tipo de información complementaria a la estandarizada, se acumula, pero su organización, mantenimiento, clasificación y análisis es costosa, requiere de una significativa inversión de tiempo del personal del INEE que debe cumplir con otras responsabilidades, y el procesamiento de información exige competencias técnicas especializadas y considerar no sólo las prioridades derivadas de entender a la educación como un fenómeno de gestión pública, sino como un fenómeno de construcción de identidades relacionadas con las prácticas lectoras y escritoras que han variado en la era digital, porque cambian los espacios en los que tienen lugar, los soportes materiales, los contenidos y la manera de abordarlos para leerlos y/o producirlos por parte de las niñas, los niños y jóvenes de asisten a la escuela pero que aprenden significativamente en el entorno extraescolar.

Esta situación obstaculiza el aprovechamiento práctico de las lecciones aprendidas de la operación de la evaluación y limita la efectividad del principio de participación social y rendición de cuentas, por la falta de una gestión del conocimiento. El costo por desinformación puede llevar a: una comprensión limitada al currículo de las condiciones y dinámica de la calidad educativa, una imposibilidad de ampliar la masa crítica de conocimientos para tomar decisiones fundamentadas y mejorar la política educativa.

Las niñas, los niños y jóvenes que estudian el nivel básico del sistema educativo nacional, sí leen y escriben, pero lo hacen de una manera no apegada al currículo escolar. Sus prácticas son de carácter informal dentro de las comunidades de práctica a las que pertenecen: chats, foros, fotologs, mensajes telefónicos, entre otros, cuyo propósito es expresarse, divertirse, conocerse mejor, sin un interés académico, integran su capacidad de ser autores de escritos, fotografías, ortotipografías{13} y de lecturas que se integran a la dinámica vivencial de estar acompañados en diferentes tipos de comunidades.

El análisis de las “evidencias” de las respuestas de los Excale, bajo un tratamiento cualitativo de casos permitiría rescatar elementos de las prácticas de las niñas, los niños y jóvenes, siguiendo la línea de investigación de Daniel Cassany{14},  para identificar: el nivel de complejidad; el nivel de consistencia y coherencia que ayudara a problematizar la idea de que a los niveles bajos de rendimiento corresponden respuestas caóticas o simples; caracterizar el sentido de la  identidad estudiantil. Estos objetos de evaluación educativa pueden proporcionar indicios sobre las formas en que se interrelacionan las prácticas propias de las niñas, los niños y jóvenes, con las dominantes en la escuela, lo cual representa una oportunidad de encontrar opciones para fortalecer el aprendizaje significativo de la lectura y escritura, como parte fundamental de las competencias ciudadanas.

Los objetos de evaluación educativa se conforman al currículo y paradójicamente guardan elementos de aspectos ignorados políticamente porque no se asigna presupuesto para sistematizarlos y difundirlos, que tienen que ver con las prácticas no escolares de las niñas, los niños y jóvenes como espacios de aprendizaje. Los Excale son objetos utilizados hasta ahora para determinar  el nivel de logro en función de salir bien en un examen, pero también abonan elementos para fortalecer el  proyecto educativo más allá del ajuste a los estándares nacionales e internacionales establecidos sino implican una estrategia para mejorar sustancialmente el proceso de aprendizaje con propuestas innovadoras que rescaten elementos de prácticas cotidianas y significativas para mediar el currículo. La construcción de los Excale está en un camino donde la integración de las tecnologías de información y computación, el desarrollo de multitareas multimodales significativas para las y los estudiantes en el contexto de la era digital, serán parte de su reto.

5.  LAS ACCIONES DE EVALUACIÓN EDUCATIVA

Una de las acciones claves para asegurar el funcionamiento efectivo y eficiente del proceso de diseño, construcción y validación de los Excale es la capacitación dirigida a los comités de especialistas y docentes que participan en el proceso. Se trata de una  estrategia de profesionalización para calibrar competencias técnicas y una estrategia de participación en el proyecto de evaluación. La capacitación se proporciona con las conferencias que inauguran los trabajos de los comités y los talleres  para refinar las competencias técnicas con base en la adopción de principios formalizados y estandarizados a nivel internacional.

Aunque la duración de la capacitación es corta, la capacidad de fijación de los contenidos y formas de evaluar se potencia en la medida que la información transmitida está preservada en manuales que pueden ser usados posteriormente.

Durante la capacitación la forma y contenido de la evaluación se presenta como algo dado desde la autoridad que confiere el prestigio internacional del INEE al realizar  pruebas de aprendizaje a gran escala bajo parámetros internacionalmente convenidos. La capacitación recibida se convierte en un signo de distinción en el curriculum vitae de los participantes que los apoya como estrategia de promoción del profesionalismo y especialización.

El flujo de información que sigue el proceso de capacitación combina la comunicación unidireccional desde los representantes del Instituto hacia los miembros de los comités, con una interconexión entre los mismos derivada de la puesta en común de problemáticas compartidas en las experiencias personales en el campo educativo, que propiciará la formación de comunidades con capacidad de influencia en el interés público.

El manual de los comités proporciona las herramientas necesarias para llevar a cabo la tarea comprometida, con un enfoque técnico altamente estructurado que delimita el qué y por qué, el cómo, el cuándo, el cuánto, el quién. El manual integra en un único mecanismo los elementos constitutivos del tema de manera concisa, con una redacción precisa de acuerdo a regulaciones y tendencias convencionales a nivel internacional y con una presentación que garantiza el rápido acceso a la información específica, a través de subáreas temáticas bien definidas y la comprensión sistemática del público destinatario mediante la utilización de esquemas como diagramas de flujo, árboles de decisión, entre otros. La fundamentación de su pertinencia es la forma participativa y consensuada, dentro del sector de especialistas sobre las propiedades claves de las buenas prácticas evaluativas.

El manual incluye la definición de conceptos y procedimientos, los pasos clave en la aplicación de métodos. Contiene un conjunto de anexos para ampliar el conocimiento, los términos de referencia y ejercicios de aplicación. El manual se caracteriza por una alta fijación en la memoria por su durabilidad y por la capacidad de guardar información para preservarla y usarla posteriormente; y una participación selectiva de los individuos que emplean el medio. Para usar el manual se aplican diferentes habilidades, facultades y recursos para codificar y decodificar los contenidos y su forma.

Otra acción relevante de los comités es el proceso de argumentación a través del cual realizan la tarea encomendada, la cual es su razón de ser. La existencia de los comités es efímera, su nombramiento dura el tiempo que tarden en elaborar los productos esperados. Para cumplir su objetivo los miembros del comité tienen que seguir unas reglas establecidas por el INEE y otras construidas en la situación de comunicación específica. Reconocer, seguir y valorar las reglas de argumentación implica un descentramiento de la posición que cada uno de sus integrantes sostiene, un escuchar con atención la exposición de información ampliada, más allá de lo que se transmite a través de los medios técnicos institucionalizados.

En la medida que son tan diversos los tipos de agentes en contacto, la cultura de evaluación no sigue un patrón lineal repetitivo impuesto unidireccionalmente, sino que la cooperación prevalece en la medida que haya una articulación con los intereses de los integrantes y las estructuras a las que pertenecen, que van más allá de la cultura de evaluación.

A través de las prácticas del comité se define su identidad, permeada por el lenguaje de contención que conecta con el papel prescrito de los comités en el marco normativo, por los atributos que los otros miembros del comité otorgan a cada uno de sus integrantes en la situación de comunicación, y por la autopercepción. Un rasgo común de la identidad de los miembros del comité es que tienen la responsabilidad de:

1. superar sus desacuerdos y de llegar a  puntos de convergencia;
2. sostener lo que acuerdan ya que los productos entregados por un comité son firmados por todos y cada uno de sus integrantes;
3. satisfacer la mayoría de sus intereses;
4. quedar en condiciones de repetir la experiencia y ser invitados a formar parte de otro comité en futuras oportunidades.

Estas prácticas retan a los integrantes a mantener el interés, controlar la inquietud de exteriorizar lo que piensan, saben o han vivido, frente a la regla de respetar turnos para tomar la palabra, disentir sin que deje de apreciarse el valor de las necesidades e intereses del otro; aclarar los paradigmas e incluso prejuicios personales que pueden obstaculizar el llegar a un enfoque colectivo. Este asunto es parte de asegurar la confiabilidad y validez de que los productos elaborados son  consistentes y reproducibles.

Como resultado se experimentan diferentes niveles de cambio en la autopercepción y en la consideración institucional, de lo cual de manera  hipotética se puede inferir que el aprendizaje generado por las prácticas del comité, las competencias, podrían ser transferibles hacia otros contextos.

6.  LECCIONES APRENDIDAS

La evaluación del aprendizaje escolar es un fenómeno complejo  que constituye un tejido de interacciones, determinaciones, azares, difíciles de comprender sin hacer asociaciones o separaciones a priori, a menos que pensemos bajo los tres principios epistemológicos sugeridos por Edgar Morin: el principio dialógico que nos recuerda que la dualidad mantiene a la unidad; el principio de recursividad que nos invita a reconocer que cada elemento de un fenómeno es producido y al mismo tiempo, productor; y el principio hologramático que ayuda a mediar la idea de que cada una de las partes del fenómeno están en el todo y que el todo está en cada parte.
A manera de síntesis y conclusiones de la reflexión en torno a las prácticas de los comités del INEE como fenómeno sociocultural de participación social y rendición de cuentas en el campo educativo se enuncian y describen las siguientes paradojas que pretenden distinguir y conjuntar las características descritas, en una aproximación no determinista, sino atenta y responsable.

Paradoja 1

La estructura de los comités de evaluación del estudio de caso refleja por un lado, una regulación estricta de su actuación, es decir es algo ya instituido; y por otro lado la intervención de todos y cada uno de los miembros de los diferentes comités imprime una dinámica específica que rebasa lo instituido con elementos emergentes – instituyentes.

Paradoja 2

La situación de comunicación de los comités presenta una paradoja entre la ilusión{15} de que lo instituido es lo natural, la “ilusión de transparencia” como un “debe ser así”, para que la evaluación sea un ejercicio técnico de calidad, y la actualización de valores y símbolos que vinculan a los participantes más allá de las premisas técnicas hacia intereses públicos que se intensifican, que no son naturales sino que están social y históricamente determinados.

Paradoja 3

La paradoja del discurso sobre la evaluación educativa es que se articula con la objetivación del proceso de trabajo de los comités, con los documentos producidos  y puestos en circulación, la opción de establecer distancia sobre lo que ocurre en la situación de comunicación particular, y ampliar la visión sobre el fenómeno evaluativo para comprender los mecanismos para producir los resultados de evaluación y cómo aprovecharlos en otros espacios y tiempos. Estos dos componentes se estructuran en una suerte de espiral de crecimiento donde la evaluación abre la posibilidad de ser evaluada ella misma (meta evaluación más allá de los procedimental), y con ello ser  problematizada y generar aprendizajes significativos para los miembros del comité de evaluación y para otros agentes sociales involucrados, que van más allá de sólo repetir lo transmitido.

Paradoja 4

Los objetos de los comités en su contenido y forma, contribuyen a dar credibilidad al esquema de percepción dominante sobre la evaluación educativa. Sin embargo en situaciones  de tensión entre grupos de interés, tales como la asignación de presupuestos a las escuelas con base en los resultados de la evaluación del aprendizaje, o ligar los estímulos al desempeño docente, entre otros mecanismos, se pone de manifiesto una dimensión que el discurso y los objetos de evaluación educativa soslayan: el campo de fuerzas donde los involucrados en el campo educativo ocupan posiciones distintas que representan un acceso diferencial a recursos económicos, políticos y de reconocimiento social.

Paradoja 5

La dinámica de las acciones del comité incluye cooperación para  lograr entregar un resultado consensuado, y también cierto grado de competencia al convivir  perspectivas individuales diferentes ante una tarea interdependiente.

Las paradojas de los comités de evaluación educativa como fenómeno sociocultural donde se encuentran representadas muchas voces, enlazan tanto mecanismos de control como puntos de ruptura y oportunidades que fomentan la producción de significados plurales de la evaluación, sin dogmatismo totalizadores, como una cuestión técnica pero también como una cuestión sociocultural de participación social y rendición de cuentas,  que permiten pensar en:

• explorar, contrastar, intercambiar y alimentar propuestas de aproximaciones particulares hacia la mejora de la educación, que hacen de las acciones y los datos instrumentos tangibles que posibilitan la comprensión de la realidad, sin caer en dogmatismos totalizadores ni simplistas; 
• abrir opciones de gestión educativa como un asunto de interés público, no como un hecho dado, sino como un proceso que cambia y se intensifica, a lo largo de un proceso de negociación de sus significados sociales;
• nutrir un horizonte ético para crear influencia y establecer relaciones de equidad en el campo educativo como una responsabilidad y exigencia moral de tener que responder para construir condiciones de vida buena.

REFERENCIAS BIBLIOGRÁFICAS

Backhoff, E.; Monroy, L.; Peon, M.; Sánchez Moguel, A.; y Tanamachi M. L.  (2005). Exámenes de la Calidad y el Logro Educaativos (l aprendizaje del Español y las Matemáticas en la educación básica en México. Sexto de primaria y tercero de secundaria. México: INEE.

Andrade, A. (2006). Evaluación de impacto y política social l. México Universidad Iberoamericana: Instituto de Desarrollo Social, Fundación ProEmpleo A.C.

Andrade, A. (2008). Diálogo en el aula. Revista Didac, 51, Primavera 2008, pp.27-31.

Bourdieu, P. (1975). El Oficio de sociólogo. México: Siglo XXI.

Bourdieu (1972). Structures, habitus et pratiques. Esquisse de’une theorie de la pratique. pp.174-189. París: Droz.

INEE (2008). Manual técnico de especificaciones de reactivos. México: INEE.

INEE (2004). 2. Marco Normativo, principios y orientaciones. Documentos Institucionales del Plan Maestro de Desarrollo 2004-2012, http://www.inee.edu.mx consultado el 19-02-2009.

INEE (2005). Plan General de Evaluación del INEE 2005-2016, http://www.inee.edu.mx consultado el 19-02-2009.

Mora Pizano, M. G. (2002). Retos y Expectativas de la Universidad. Tercer Congreso Nacional y Segundo Internacional, México, Universidad Autónoma del Estado de México, http://www.congresoretosyexpectativas.udg.mx/Congreso%203/Mesa%201/Mesa1_11.pdf consultado el 19-02-2009.

Morin, E. (2001). Introducción al pensamiento complejo. Madrid: Gedisa.

Roseberry, W.(1994). Language of contention. En Joseph y Nugent (editors), Everyday forms of state formation, pp.355-366. Durhman: Duke University Press.