El Instituto Nacional para la Evaluación de la Educación (INEE) fue creado  en México por decreto presidencial el 8 de agosto de 2002. Su existencia obedece a la necesidad de contar en el país con evaluaciones externas (esto es, realizadas por instancias independientes de la Secretaría de Educación Pública) del Sistema Educativo Nacional en su conjunto.

Entre otras actividades, el INEE es el encargado de coordinar las pruebas de logro educativo internacionales de la OCDE (PISA) y de la Oficina Regional de Educación de la UNESCO para América Latina y el Caribe en México, edita anualmente el Panorama Educativo de México en el que se incluye un conjunto de indicadores educativos organizados coherentemente, lleva a cabo estudios sobre recursos y  procesos educativos y diseña, construye, aplica y analiza las pruebas nacionales Excale (INEE, 2005a). Todo esto para ofrecer a los tomadores de decisiones información de buena calidad que permita conocer y comprender de mejor manera la educación básica y media superior{1} del país.

Unas de las líneas fundamentales de trabajo del INEE, la de Evaluación de la calidad del sistema educativo,  incluye la sub línea de Evaluación de los resultados educativos, centrándose en los resultados del aprendizaje de los alumnos, aunque reconociendo que los productos de la educación son más amplios (INEE, 2006).

Para evaluar los resultados del aprendizaje de los alumnos con referencia a lo que el currículo nacional indica que debe aprenderse, se han desarrollado desde 2004 las pruebas Excale (Exámenes de la Calidad y el Logro Educativos), aplicadas por primera vez en junio de 2005. Los resultados de los Excale ayudan a construir una visión general de lo que los estudiantes aprenden como resultado de su escolarización formal; conocer los puntos débiles y fuertes del currículo nacional, atendiendo variables como grado, asignatura, modalidad educativa, género, entidad y establecer comparaciones en el tiempo que pueden mostrar tendencias de aprendizaje nacionales y desagregadas a partir de variables como las señaladas. No se ofrecen resultados por alumno, ni por grupo, ni por escuela, dado que los Excale están diseñados para la evaluación del Sistema Educativo Nacional en su conjunto.

Estas pruebas se aplican a niños de tercero de preescolar (que tienen alrededor de cinco años de edad), tercero de primaria (alrededor de 8 años), sexto de primaria (alrededor de 11 años) y tercero de secundaria (alrededor de 14 años), en las asignaturas de Español, Matemáticas, Ciencias naturales y Ciencias sociales{2}. La elección de las áreas curriculares que se evalúan con las pruebas Excale obedece a la necesidad de limitar el marco de trabajo. Todas las asignaturas que establece el currículo nacional tienen importancia para el desarrollo de los estudiantes y por lo tanto son susceptibles de ser tomadas en cuenta para desarrollar una visión de conjunto que permita conocer el estado de la educación en México; sin embargo, ante la imposibilidad de desarrollar simultáneamente pruebas de buena calidad de todas las asignaturas, se decidió elegir las instrumentales (Español y Matemáticas), que por ayudar al desarrollo de lenguajes permiten al estudiante seguir aprendiendo a partir de libros y otros medios de información, y las que agrupan grandes áreas curriculares, como son las Ciencias naturales y las Ciencias sociales.

Actualmente, ya se han realizado cuatro aplicaciones de las pruebas Excale. Los resultados de cada aplicación se presentan en una publicación anual llamada La Calidad de la Educación Básica en México. Además, se producen reportes puntuales para analizar algunas de las características de los resultados, como Factores escolares y aprendizaje en México. El caso de la educación básica (Backhoff y col. 2007c). También se hacen públicas las bases de datos completas de cada aplicación, junto con la documentación necesaria para utilizarlas para hacer análisis específicos. Todo esto permite obtener elementos para la reflexión en torno a los resultados, ya sea de manera general o a partir de selecciones de los resultados para analizar diferentes temáticas, como podrían ser los distintos estratos educativos muestreados, los diferentes años de aplicación, el género de los participantes, una entidad en particular o una asignatura. Este último caso es el que corresponde con este escrito, cuyo objetivo es hacer una breve nota a “vista de pájaro” sobre el logro educativo en Matemáticas de años recientes en educación básica, en México, a partir de los resultados de las pruebas Excale. En primer lugar se mostrará el plan de pruebas que existe para la aplicación de los Excale a lo largo de los años. En un segundo apartado se describen las características principales de los Excale de Matemáticas. El tercer apartado explica brevemente cómo se construyen y aplican las pruebas Excale. En el cuarto, se muestran algunos resultados de cada una de las aplicaciones que se han hecho desde 2005 de las pruebas Excale de Matemáticas{3}. En el quinto apartado se ofrecen las conclusiones de trabajo.

1.  Distribución de la aplicación de pruebas excale en el tiempo

Una característica interesante de las pruebas Excale es que no se aplican a todos los grados y asignaturas que son de su competencia cada año. Las pruebas se dosifican en un arreglo basado en los ciclos escolares, de tal modo que una serie de pruebas se aplican cuando el año escolar está a punto de concluir, sólo a una muestra representativa de la población y sólo refiriéndose a algún grado escolar. El siguiente esquema muestra el plan de aplicación de pruebas que se tiene hasta el año 2016.

Tabla 1. Plan de aplicación de pruebas Excale para Educación básica

Tomada de Backhoff y col. 2005:20.

En la tabla, E significa Español; M matemáticas; N Ciencias naturales y S Ciencias sociales. Puede observarse, por ejemplo, que en 2007 se aplicó la prueba de tercero de preescolar de Español (Lenguaje y comunicación) y Matemáticas (Pensamiento matemático). El arreglo no es caprichoso; un mismo grado se evalúa cada cuatro años, para poder hacer comparaciones horizontales en el tiempo; se puede hacer un seguimiento de cohortes a partir de 2007, pues las aplicaciones coinciden con una misma generación de estudiantes que va cambiando de grado escolar; finalmente, puede tomarse un punto cualquiera tras una serie de aplicaciones y mirar lo que se sabe de los diferentes grados y asignaturas, que es precisamente lo que se hace en la parte de resultados de este trabajo: considerar los resultados de los Excales reportados hasta el 2008, incluyendo los resultados de sexto de primaria y tercero de secundaria (2005), tercero de primaria (2006) y tercero de preescolar (2007).

2. LAS PRUEBAS EXCALE DE MATEMÁTICAS

Los Excale dee Matemáticas, al igual que las de otras asignturas, tienen tres características fundamentales:

Además, los Excale de Matemáticas tienen algunas particularidades con respecto a otras pruebas: todas sus preguntas son de opción múltiple con cuatro opciones, no se requiere calculadora u otras herramientas para resolverse, además de un lápiz.

Por otra parte, la estructura de los Excale de matemáticas está basada en líneas de evaluación.

Las líneas de evaluación son contenidos relacionados en términos de relaciones de servicio, es decir, un contenido más simple sirve como elemento facilitador para el aprendizaje de otro más complejo, facilitando su comprensión o ejecución. Si un estudiante es capaz de resolver un reactivo que implica conocimientos y habilidades de varios tipos (por ejemplo, el algoritmo de la suma, el de la resta, la interpretación correcta de la solicitud del problema y sus datos), sabemos que puede operar con todos estos conocimientos y habilidades; pero cuando un estudiante responde incorrectamente a un reactivo cuya solución implica todos estos conocimientos y habilidades, no tenemos claro qué es lo que no sabe. Pudiera ser que no domine ninguno de los conocimientos y habilidades que se ponen en juego en el reactivo, o que no sepa sólo uno de ellos, así como cualquier otra posibilidad intermedia. Las pruebas Excale, además de reactivos que implican varios conocimientos y habilidades, incluyen reactivos más simples, que combinan menos conocimientos y habilidades con respecto al reactivo complejo (por ejemplo, un reactivo que incluyera solamente el algoritmo de la suma, sin contexto ni datos que interpretar), de manera que pueda analizarse hasta qué punto se han adquirido los contenidos curriculares, cuyos elementos finales tienden a ser integraciones de los contenidos previos, para el caso del currículo mexicano de Matemáticas en Educación básica.

Veamos un ejemplo ilustrativo, sacado de la prueba de sexto de primaria. Cuando la tarea requiere resolver problemas que impliquen una suma de fracciones, un 26 % de los estudiantes logra realizarla. ¿Qué pasa con las tres cuartas partes restantes de los estudiantes? ¿qué es lo que no saben hacer y, tal vez más importante, ¿qué es lo que sí saben hacer? Bueno, si la tarea requiere  sumar dos fracciones con diferente denominador pero no en el contexto de un problema, 30% de los estudiantes logran resolverla. Si se requiere sumar fracciones, pero con el mismo denominador sin el contexto de un problema, el 52 % de los estudiantes lo realizan correctamente. Resolver problemas que impliquen una suma de números naturales en su significado de unir es algo que el 67% de los alumnos logran (datos obtenidos de la tabla que se encuentra en Backhoff y col., 2006:295-297).

Así, a partir de una línea de evaluación que va desde la resolución de problemas más sencillos (en este caso, que impliquen sumar números enteros), hasta la resolución de problemas que incorporan más elementos que deben conocerse (aquí, que impliquen sumar números fraccionarios), podemos darnos cuenta de los elementos que causan mayores dificultades (en este caso, el uso de fracciones con distinto denominador), y los elementos que son dominados por la mayor parte de los estudiantes (en el ejemplo, el reconocer que el problema implica sumar los elementos).

3. Construcción y aplicación de pruebas

Los Excale tienen una metodología rigurosa para su proceso de diseño, construcción, aplicación y validación, adaptando el modelo planteado por Nitko (1994) para desarrollar pruebas nacionales. Un elemento fundamental de dicha metodología es el trabajo colegiado de especialistas en educación incluyendo profesores frente a grupo, directores, investigadores educativos, autores de libros de texto y diseñadores de currículo y autoridades educativas. El trabajo colegiado se organiza en comités sucesivos que tienen tareas específicas, y que basan su trabajo en los productos de los comités anteriores. Para ser breves, se presenta en la tabla 2 un resumen del proceso (éste se encuentra desglosado en Backhoff y col. 2005).

Tabla 2. Resumen del proceso de diseño, construcción y validación de los Excale

Tras estos procesos, los reactivos son piloteados y a partir de los resultados del piloteo se hacen los ajustes necesarios a la prueba para su aplicación. La aplicación definitiva se hace a muestras representativas de la población nacional, y en muchas ocasiones a muestras representativas a nivel de las 32 entidades en que se divide el país. Las muestras también representan a los diferentes estratos educativos de los que se hablará en la sección de Resultados y análisis. Los resultados que se ofrecen en la siguiente sección no son los resultados de la muestra, sino los estimados para la población, que tienen un error de aproximadamente +/- 1 %.

Las puntuaciones de las pruebas Excale, incluyendo las de Matemáticas, se calculan utilizando el modelo de Rasch y estableciendo una escala que va de 200 a 800 puntos, con una media de 500 y una desviación estándar de 100. Las aplicaciones sucesivas de una misma escala utilizan los parámetros originales, por lo que su media se desplaza del 500 cuando hay variaciones en el aprendizaje, o cuando existen errores de medición importantes. Para el segmento de los resultados utilizado en este trabajo, no se utiliza la escala descrita, debido a que se prefirió analizar los resultados en términos de la cantidad de estudiantes que se encuentran en los niveles de logro definidos para estas pruebas. Desde nuestro punto de vista, conocer y comparar niveles de logro aporta mucho más a la reflexión que conocer y comparar puntos únicos en una escala, por las siguientes razones:

Las pruebas Excale han ofrecido sus resultados desde 2006 de varias maneras, buscando no sobresimplificar la realidad educativa nacional (lo cual podría ocurrir si se reportaran sólo promedios y otros datos numéricos desligados de información cualitativa). Por las razones mencionadas arriba, uno de los formatos, que nos parece particularmente útil para examinar los resultados educativos en conjunto, es el uso de niveles de logro. En el INEE utilizamos cuatro niveles de logro, que tienen una expresión general, que puede leerse en la tabla 3, y una expresión particular a cada grado y asignatura.

Tabla 3. Niveles generales de logro para expresar los resultados de las pruebas Excale
Tomada de Backhoff y col. (2007).

Los niveles de logro son establecidos utilizando el procedimiento conocido como Bookmark, en el que un comité de especialistas “define las categorías y niveles de logro de los estudiantes de acuerdo a 1) la ejecución que presuntamente se esperaría de ellos y 2) los resultados reales en la prueba respectiva” (Backhoff y col., 2005:18).

4.  RESULTADOS Y ANÁLISIS

Tomando en cuenta lo anterior, se presentarán resultados de las pruebas Excale de Matemáticas de tercero de secundaria (2005), sexto de primaria (2005), tercero de primaria (2006) y tercero de preescolar (2007), en términos de los niveles de logro que alcanzan los niños que se encuentran en estos grados escolares. La intención fundamental es la de mostrar una breve panorámica de lo que la mayoría de los niños de estos grados es capaz de hacer con respecto a lo que el currículo de matemáticas indica que deberían hacer. Ya se ha visto, siguiendo el plan de pruebas, que los Excale no han sido aplicados en orden cronológico ascendente por grados escolares. Los dos primeros Excale que se aplicaron fueron los de sexto de primaria y tercero de secundaria.

Considerando cuál sería la mejor manera de presentar los resultados de varios años de aplicación de los Excale de matemáticas para este trabajo, una primera idea fue la de presentar los resultados en orden por su año de aplicación. No obstante, parece mejor mostrar los resultados siguiendo el orden ascendente de los grados escolares, de manera que pueda percibirse el aumento de exigencia de las escalas, así como los cambios en la distribución de los resultados. Debido a este cambio, es importante aclarar que los resultados de los diferentes grados escolares no se refieren a una misma población, ni a muestras consecutivas tomadas de una misma generación de estudiantes. Otra decisión que se ha tenido que tomar para la presentación de resultados en este trabajo es la de elegir algunos de los resultados reportados extensamente en los informes institucionales. Con la intención de utilizar algunos de los más elocuentes, nos hemos decidido por utilizar fundamentalmente el porcentaje de estudiantes que se encuentra en los cuatro niveles de logro previamente mencionados.

Debido a que sería engorroso en este breve espacio enumerar todos los niveles de logro particulares de los diferentes grados evaluados con los Excale de Matemáticas, hemos decidido incluir en este trabajo sólo la descripción del nivel en que se encuentre la mayoría de alumnos de un grado específico, a manera de ilustración. Las descripciones completas, con ejemplos, de todos los niveles de logro específicos pueden encontrarse en Backhoff y col. (2006), (2007) y (2008). En estos mismos documentos pueden encontrarse datos sobre la evaluación de otras asignaturas, así como información más pormenorizada de las pruebas utilizadas y de los resultados obtenidos.

4.1. Tercero de preescolar

La evaluación del aprendizaje en este grado está alineada al Programa de Educación Preescolar 2004, que es el currículo de aplicación nacional actualmente. Para el área de Pensamiento matemático, este programa incluye ocho competencias, divididas en dos aspectos: Número y Forma, espacio y medida. El Excale de preescolar incluye tareas que evalúan aspectos relevantes de cada una de ellas.

En la ilustración 1 puede observarse el porcentaje de alumnos en el país que se encuentra en cada uno de los cuatro niveles de logro. También se muestran los porcentajes en que se encuentran los niños de cuatro estratos educativos que atienden a porcentajes elevados de la matrícula: Cursos comunitarios, Escuela rural pública, Escuela urbana pública y Escuela Privada{4}.

Ilustración 1. Porcentaje de alumnos por nivel de logro educativo y estrato escolar en
Excale de pensamiento matemático (tercero de preescolar, aplicación 2007)



Tomada de Backhoff y col. (2008).

Puede observarse que la mayor parte de los niños (49 %) se encuentran en el nivel básico. Ya que los niveles de logro son acumulativos, los niños de nivel Básico pueden hacer lo que se describe para el nivel Por debajo del básico y lo que se describe para el nivel Básico. Así,  los niños que se encuentran en dicho nivel “son capaces de decir la serie numérica empezando por el uno, y hasta el que saben (máximo treinta); enumerar de manera oral objetos desde el uno y hasta el que saben (máximo veinte), siguiendo el orden de la serie numérica; identificar los usos de los números en situaciones cotidianas; y escribir en orden un tramo de la serie numérica convencional (máximo treinta) o números que se les dictan”, “son capaces de utilizar números para representar cantidades menores de siete; contar colecciones de objetos, hasta treinta; comparar colecciones de objetos y establecer relaciones de igualdad y desigualdad; registrar la cantidad de elementos en tablas y gráficas, con ayudas como categorías establecidas y ejemplos; identificar en tablas o gráficas la colección en la que hay más o hay menos elementos; identificar la colección faltante en una serie de colecciones con patrón de crecimiento n + 1; construir la colección que sigue en una serie de colecciones con patrón de crecimiento n + 1”, “reconocer un objeto que se les presenta gráficamente, desde distintos puntos espaciales; e identificar de manera perceptual propiedades medibles contrastantes de los objetos (lleno-vacío, alto-bajo, largo-corto…)” e “identificar semejanzas entre un cuerpo geométrico y un objeto del entorno; identificar posiciones de objetos respecto a otros objetos, en una representación gráfica; comparar de manera perceptual la longitud de objetos: más corto que…, mas largo que…; resolver problemas que impliquen estimar longitudes; y distinguir el instrumento apropiado para medir el peso” (Backhoff y col. 2007:47-48).

Por otro lado, podemos conocer también lo que los niños del nivel básico no logran adquirir del currículo: los elementos que están consignados en la descripción de los niveles de logro más elevados. Conocerlos es importante, puesto que son cosas que la mayoría de los niños del país (todos los que se encuentran en el nivel básico y también en el nivel por debajo del básico) no logran hacer. Así pues, el 58% (49% +9%) de los niños de tercero de preescolar no logran “utilizar números para representar cantidades menores de 13; identificar y representar numerales hasta treinta; emplear los números para identificar hasta la cuarta posición de un elemento en una serie ordenada; resolver problemas que implican combinar el valor de monedas de cincuenta centavos, uno y cinco pesos; identificar patrones diseñados en función de un criterio de repetición de dos o tres elementos; y resolver problemas que implican agregar, igualar, comparar, quitar o repartir cantidades de una o más colecciones de hasta nueve objetos con o sin el apoyo de la  representación gráfica”, ni “utilizar números para representar cantidades hasta veinte”. (Op. Cit.:46-47) en cuanto al aspecto de número.

En relación con el aspecto de Forma, espacio y medida, el 58% de los niños de tercero de preescolar no ‘reconocen figuras geométricas que comparten atributos; identifican figuras semejantes a una de muestra; identifican los cambios que ocurren en una figura geométrica al combinarla con otras; no resuelven problemas que implican medir longitudes tomando en cuenta una unidad de medida no convencional; no identifican el orden de puntos de referencia espacial en un trayecto representado gráficamente; ni establecen o identifican la secuencia de imágenes que representan las relaciones temporales antes-después-al final’; tampoco logran ‘trazar trayectos a partir de puntos de referencia espaciales que incluyen direccionalidad (desde, hacia, hasta) ni ubicar los días de la semana a partir de las actividades que realizan’ (Op. Cit.:46-47).{5}

Mirar lo que pueden y no pueden hacer los niños que se encuentran en el nivel básico, sabiendo que son la mayoría a nivel nacional, tiene un sabor agridulce: por una parte, no es desdeñable la cantidad de habilidades que los niños con este nivel de logro demuestran, sobre todo considerando que el programa de preescolar de 2004 era aún muy novedoso, en muchos casos podríamos decir desconocido, para las educadoras y las directoras de preescolar para el 2006, año en que se aplicó la prueba.

Por otra parte, hay un nueve por ciento de niños a nivel nacional que se encuentran en el nivel Por debajo del básico, que si bien en términos de porcentajes puede parecer poco, en la realidad nacional significa más de doscientos mil niños que no están adquiriendo las competencias fundamentales para seguir aprendiendo matemáticas, es decir, niños que ingresarán a la educación primaria con una desventaja inicial importante. Además, cuando examinamos a las poblaciones desfavorecidas (Cursos comunitarios y Escuelas rurales públicas) este porcentaje aumenta mucho. Además, la cantidad de contenidos curriculares que la mayoría de los niños de este grado no logra hacer es muy considerable.

Es importante enfatizar que, tanto en el análisis de resultados de este grado como en los posteriores, cuando hablamos de estratos educativos como Cursos comunitarios, Escuelas rurales públicas, Escuelas privadas, etcétera, no es posible inferir de los datos presentados que el tipo de escuela al que está asociado el estrato es causante del nivel de logro; estudios realizados por el INEE a partir de los cuestionarios de contexto que se aplican junto con los Excale han mostrado que los alumnos que asisten a estos tipos de escuelas se diferencian de quienes asisten a otros tipos en una serie de variables sociales, culturales y económicas, y que éstas influyen en mayor o menor medida en el logro escolar (Backhoff y col., 2007b; Backhoff y col., 2007c).

Queremos comentar sobre otros resultados de los Excale que nos parecen especialmente interesantes y útiles para comprender el aprendizaje del logro matemático en la educación básica en México, aunque en este espacio no será posible más que presentarlos de manera fragmentada, y sin mayor análisis: cada reporte extenso de resultados Backhoff y col. (2005), (2006) y (2007) incluye tablas en que se describe cada reactivo de los Excale en términos de lo que evalúa y se indica la dificultad relativa de cada reactivo con respecto a los demás de la escala, así como el porcentaje de aciertos por estrato educativo y a nivel nacional. Esta información es útil para tener elementos sobre el dominio que tienen los estudiantes de los diferentes contenidos escolares. En ocasiones, el nivel de dificultad de algunos contenidos es muy distinto al que supondría la intuición y la experiencia de los profesores, los diseñadores de currículo y otros lectores de los resultados; en estos casos la información sistematizada de los Excale es especialmente útil. La tabla 4 es un fragmento, a modo de ejemplo, de este esquema para los reactivos de Pensamiento matemático de preescolar. Existen datos similares para los otros grados evaluados por los Excale de Matemáticas.

Tabla 4. Porcentaje de aciertos por reactivo (indicador).
Excale de Pensamiento matemático, Preescolar (Fragmento)

 

Tomada de Backhoff y col. 2008:55.
 

4.2. Tercero de primaria

La evaluación del aprendizaje en este grado, así como la de sexto de primaria está alineada a los Planes y programas para la educación primaria de la Secretaría de Educación Pública de 1993, que son los vigentes en toda la nación actualmente. Estos planes y programas contemplan seis ejes temáticos, de los cuales cuatro son evaluados por la prueba Excale de tercero: Los números, sus relaciones y sus operaciones, Medición, Geometría y Tratamiento de la información. De los dos restantes, uno no se estudia hasta cuarto grado (Procesos de cambio) y otro incluye para tercero de primaria sólo nociones tan elementales que se decidió no incluirlo sino hasta el Excale de sexto grado (Predicción y azar).

Ilustración 2. Porcentaje de alumnos por nivel de logro, por estrato educativo.
Excale de Matemáticas, tercero de primaria, aplicación 2006

Tomada de Backhoff y col. 2007:39.

En la ilustración 2 puede observarse el porcentaje de alumnos en el país que se encuentra en cada uno de los cuatro niveles de logro. También se muestran los porcentajes en que se encuentran los niños de cuatro estratos educativos que atienden a porcentajes elevados de la matrícula: Educación indígena, Escuela rural pública, Escuela urbana pública y Escuela Privada{6}.
Como puede verse, en tercero de primaria, el nivel Por debajo del básico es el que agrupa una mayor cantidad de niños (40 %) a nivel nacional. Los alumnos de este nivel “pueden leer y escribir números de tres cifras; calculan sumas sin transformación mediante el algoritmo convencional y resuelven problemas aditivos (sencillos) con números naturales, utilizando procedimientos informales. También identifican objetos cotidianos desde diferentes perspectivas; comparan longitudes y superficies de manera perceptual y utilizando unidades no convencionales, y responden preguntas referidas a la frecuencia a partir de información contenida en tablas” (Backhoff y col., 2007:142).

Por otro lado, estos niños no logran ‘identificar el antecesor y el sucesor de un número de tres cifras; ordenar y comparan números de tres cifras; leer y escribir números de cuatro cifras sin cero intermedio; calcular sumas con transformación y restas sin transformación mediante el algoritmo convencional; además no resuelven problemas aditivos hasta de tres cifras cuya solución implica una suma con incógnita en el estado final, ni realizan repartos equitativos con ayuda gráfica, utilizando modelos continuos y discretos. Por otro lado, no identifican figuras básicas (círculos, triángulos, cuadrados y rectángulos) en composiciones; no comparan ni miden longitudes utilizando el centímetro, no resuelven problemas utilizando la hora y el minuto como unidades de tiempo, ni leen o interpretan pictogramas sencillos ni gráficas de barras’{7} (Backhoff y col., 2007:142). Los niños del nivel Por debajo del básico tampoco cuentan con los conocimientos y habilidades de los niveles Medio y Avanzado{8}.

Los conocimientos y las habilidades de estos niños son todavía incipientes, e insuficientes para afrontar el aprendizaje de la asignatura en grados superiores. En estratos escolares de poblaciones desfavorecidas el porcentaje de niños en esta situación es, lamentablemente, aún mayor: 72 % en Educación indígena y 52 % para el estrato Rural público.

4.3. Sexto de primaria

La evaluación del aprendizaje en este grado está alineada, como se comenta arriba, a los planes y programas de educación básica de la SEP, de 1993, que son los vigentes actualmente en el país. El Excale de sexto de primaria de Matemáticas incluye contenidos de los seis ejes temáticos del currículo.

En la ilustración 3 puede observarse el porcentaje de alumnos en el país que se encuentra en cada uno de los cuatro niveles de logro. También se muestran los porcentajes en que se encuentran los niños de cinco estratos educativos que atienden a porcentajes elevados de la matrícula: Escuela urbana pública (UP),  Escuela rural pública (RP), Escuelas indígenas (EI), Cursos comunitarios (CC) y Escuela Privada (UPV).

Ilustración 3. Porcentaje de estudiantes por nivel de logro, por estrato educativo.
Excale de Matemáticas, sexto de primaria, aplicación 2005.

Tomada de Backhoff y col. 2006:69.

En este grado, a nivel nacional, la mayoría de los niños (52 %) está en el nivel básico. Los niños de este nivel “resuelven problemas con una operación que implique sumas o restas con números de hasta cuatro cifras; además comparan decimales con el mismo numero de cifras. Asimismo, calculan el promedio de números naturales en contextos conocidos”; “leen, ordenan y comparan números naturales; además resuelven problemas sencillos con números naturales, decimales y fraccionarios que impliquen una operación en contextos conocidos. Adicionalmente, calculan perímetros y áreas de triángulos y cuadriláteros dentro de una retícula. Asimismo, interpretan información contenida en gráficas y tablas sencillas” (Backhoff y col., 2006:68).

Por otra parte, estos niños no ‘leen, comparan ni ordenan números decimales, ni fraccionarios, ni resuelven con ellos problemas sencillos de suma o resta; además no logran resolver problemas con números naturales que impliquen dos o tres operaciones. No clasifican figuras con base en sus propiedades geométricas; no calculan áreas mediante el uso de formulas, ni calculan volúmenes de figuras mediante el conteo de unidades cúbicas; no identifican puntos en croquis, planos y mapas, así como puntos en el primer cuadrante de un plano cartesiano. Asimismo, no interpretan información contenida en graficas y tablas que contienen datos; no resuelven problemas sencillos de probabilidad que no implican realizar análisis combinatorio; ni resuelven problemas de proporcionalidad{9}’ (Backhoff y col., 2006:68). Tampoco pueden hacer lo señalado en la misma página para el nivel Avanzado.

Aunque esta descripción nos permite constatar un avance con respecto a lo que puede hacer la mayoría (relativa) de los niños de tercero de primaria, los conocimientos y habilidades descritos son apenas suficientes para seguir aprendiendo en secundaria. Además, debe tomarse en cuenta que un 17 % de los niños de sexto no están adquiriendo ni siquiera las habilidades y conocimientos de este nivel. No pretendemos ser pesimistas; por supuesto que también podría ponerse énfasis en los porcentajes de niños que están logrando una cantidad adecuada de conocimientos y habilidades curriculares (el nivel medio) o los que prácticamente adquieren todos los contenidos curriculares (nivel avanzado). Es importante notar que hay buenas proporciones de niños que están llegando a estos niveles, pero para este trabajo aún más importante nos parece hacer notar que hay niños que requieren más apoyo para lograrlo, especialmente en las poblaciones desfavorecidas: en sexto de primaria, un 43 % de niños de Educación indígena y un 28 % de los que están en Cursos comunitarios están en el nivel Por debajo del básico.

4.4. Tercero de secundaria

La evaluación del aprendizaje de este grado está alineada al plan y programas de estudios de secundaria de 1993, puesto que éstos eran vigentes en el momento de la aplicación del Excale de Matemáticas de tercero de secundaria (2005). El currículo de este nivel define cinco áreas temáticas: Aritmética, Álgebra, Geometría, Presentación y tratamiento de la información y Probabilidad; todas ellas fueron evaluadas en la prueba. La distribución de los estudiantes en niveles de logro, tanto nacionalmente como a partir de cuatro estratos educativos{10} se presenta en la Ilustración 4.

Ilustración 4. Porcentaje de estudiantes por nivel de logro, por estrato educativo.
Excale de Matemáticas, tercero de secundaria, aplicación 2005

Tomada de Backhoff y col. 2006:121.

Como puede observarse, a nivel nacional el nivel de logro en que se agrupan más estudiantes es Por debajo del básico. En este nivel los alumnos “resuelven problemas que implican una adición o una sustracción con números naturales, enteros, decimales o fraccionarios, así como problemas de multiplicación y división con números naturales. Así mismo, establecen relaciones entre una tabla de valores y su gráfica, en funciones lineales o cuadráticas. Adicionalmente, identifican figuras o cuerpos geométricos a partir de sus elementos (lados, caras, etcétera). Finalmente, estiman y comparan la probabilidad de eventos simples” (Backhoff y col. 2006:120).

Por otra parte, estos alumnos no ‘resuelven problemas que implican dos o mas operaciones (adición, sustracción, multiplicación, división y potenciación) con números naturales y enteros. No identifican  situaciones de proporcionalidad. No Suman ni restan polinomios, ni resuelven ecuaciones de primer grado con una incógnita, así como sistemas de ecuaciones con dos incógnitas. Igualmente, no utilizan las propiedades de las Figuras (por ejemplo: ángulos, lados y diagonales) en la resolución de problemas de medición. Tampoco calculan el perímetro ni el área de Figuras básicas (triángulos, cuadriláteros y polígonos regulares) ni el volumen de cuerpos geométricos{11}’ (Backhoff y col., 2006:120). Tampoco pueden realizar las tareas descritas para los niveles Medio y Avanzado en la misma página.

Una vez más, aunque la descripción nos permite ver un avance en las habilidades y conocimientos con respecto a los que tenía el grueso de los alumnos de los grados escolares anteriores evaluados, reconocemos claramente que los contenidos que dominan los estudiantes de este grado son insuficientes para seguir aprendiendo matemáticas sin dificultades en los siguientes niveles educativos. Además, esta situación es más grave para los estudiantes de Telesecundaria, puesto que en dicho estrato educativo es de 62 el porcentaje de estudiantes en el nivel Por debajo del básico.

Todo esto sin dejar de reconocer que casi una quinta parte de los estudiantes de tercero de secundaria (unos 370,000 alumnos) alcanzan un buen nivel de dominio de los contenidos matemáticos.

4.5. Análisis a lo largo de la educación básica

Utilizando solamente los datos ya proporcionados sobre los porcentajes de los niños en los diferentes niveles de logro a través de los distintos grados escolares pueden hacerse algunas reflexiones interesantes. En la tabla 5 se presenta un concentrado de los porcentajes de alumnos en cada nivel de logro, por grado escolar, para la población nacional; éstos son tomados directamente de los reportes anuales, puesto que cada grado escolar ha sido evaluado una sola vez a la fecha{12}. Junto al grado escolar se muestra, entre paréntesis, el año de medición.

Se puede observar que el mayor porcentaje de estudiantes cambia, entre grados escolares, del nivel Por debajo del básico al Básico. Esto puede deberse al nivel de exigencia de la escala de cada prueba, lo que a su vez se encuentra asociado con el nivel de exigencia del currículo de los distintos grados. Sin embargo, es claro que la mayoría de los alumnos no arriban a los niveles de logro que quisiéramos para todos los mexicanos. La última columna muestra la suma de los dos niveles de logro más bajos. Los datos de ésta nos muestran que a mayor grado escolar, mayor es también el porcentaje de alumnos que se encuentran en los dos niveles de logro más bajos.

Por otro lado, puede verse también que para el caso del nivel Avanzado, es decir, aquel en que los niños alcanzan a adquirir prácticamente todo lo que indica el currículo, a mayor grado escolar es menor el porcentaje de alumnos que lo alcanzan.

Tabla 5. Porcentaje de alumnos por nivel de logro, por grado escolar,
población nacional. Excale de Matemáticas

Ahora, al construir una tabla similar a la anterior pero referida a las poblaciones más desfavorecidas, de entre las evaluadas en cada aplicación del Excale, encontramos lo siguiente:

Tabla 6. Porcentaje de alumnos por nivel de logro, por grado escolar, población más
desfavorecida en cada caso (se indica junto al grado escolar). Excale de Matemáticas

Puede observarse que la tendencia observada en la tabla de datos nacionales se reproduce aquí, pero con números más alarmantes: a mayor grado educativo, mayor porcentaje de alumnos en los dos niveles más bajos, con excepción del tercero de secundaria en telesecundaria, que tiene un porcentaje cercano al de sexto de primaria en educación indígena, pero ligeramente inferior.

Debe considerarse que en esta tabla se está refiriendo la población más desfavorecida de cada grado evaluado, y que éstas no necesariamente son equivalentes para esta comparación. Sin embargo, los datos que señalan la necesidad de establecer políticas que apunten específicamente a mejorar los niveles de logro educativo de las poblaciones más desfavorecidas son elocuentes. El Sistema Educativo Mexicano debe plantearse seriamente el reto de comprender a fondo las razones de estas tendencias, para aspirar a revertirlas.

A partir de los datos presentados en este trabajo, podemos plantear algunas hipótesis que buscan explicar la disminución del porcentaje de estudiantes en los niveles superiores al aumentar el grado escolar:

De ser ciertas estas hipótesis, debe notarse que las ocasiones para bajar a los dos niveles de logro inferiores son más que las de mejora, de tal suerte que, metafóricamente, se conforma una especie de agujero negro de la educación, que tira hacia abajo cuando no hay una oportunidad de acceso real al conocimiento, o cuando ésta es desigual.

5.  CONCLUSIONES

Las pruebas Excale, que cuentan ya con resultados para cada uno de los grados de educación básica para los cuales están previstas, permiten hacer análisis sobre los niveles de logro de dicho nivel educativo en Matemáticas, ofreciendo un panorama sobre el aprendizaje de esta disciplina en México.

Como puede observarse en el plan de pruebas, los Excale tienen la intención de ofrecer comparaciones en el tiempo que puedan mostrar tendencias del aprendizaje en un mismo grado a lo largo de los años, en varios grados a partir de un corte transversal (como hace este trabajo) o incluso siguiendo cohortes de estudiantes. Los Excale han tenido una breve vida todavía, y por ello no es posible mostrar series de tiempo aún. Sin embargo, una intención fundamental de estas pruebas es llegar a ello, con el rigor técnico que permita obtener conclusiones sólidas sobre la evolución del logro educativo en México.

Uno de los elementos que brindan las pruebas Excale y que podrían aumentar nuestra comprensión de las deficiencias matemáticas de los estudiantes de educación básica son los datos en que se indican los porcentajes de acierto de los estudiantes por cada contenido evaluado. Dado que los contenidos evaluados se estructuran en líneas de evaluación, su análisis por parte de especialistas en didáctica de las matemáticas podría mostrar elementos para mejorar las propuestas curriculares, los materiales didácticos, los cursos de actualización y los programas específicos de mejora educativa.

Encontramos que la mayor parte de los estudiantes en el país no alcanzan, al finalizar los grados escolares evaluados, un dominio adecuado de los contenidos del currículo nacional.  Es posible, a partir de la información completa de los reportes de resultados de los Excale, analizar a profundidad los temas en los que los estudiantes tienen menor dominio, posibilitando acciones focalizadas a reforzar la enseñanza y el aprendizaje de éstos; pero más allá de lo escolar, sabemos que diversos factores extraescolares, sociales y familiares influyen en los resultados.

En el presente trabajo no se profundizó a este respecto, aunque algunos indicios se pueden encontrar en el hecho de que, para el caso de las primarias, los estratos Escuela pública urbana y Escuela pública rural son en realidad una misma modalidad educativa, en dos tipos de localidades diferentes, y a pesar de ello, muestran resultados de logro escolar muy distintos a lo largo de los grados escolares evaluados. 

Conocer los niveles de logro de los estudiantes del país es sólo un primer paso para trabajar por la mejora de la educación. La situación de la educación matemática básica presenta importantes retos para el Sistema Educativo Mexicano, especialmente en las poblaciones socialmente desfavorecidas. Resulta útil recalcar aquí que varios estudios cuyos resultados no ha sido posible presentar en este trabajo (Backhoff y col. 2007b, 2007c) muestran cómo diversas variables de contexto, incluyendo algunas que no tienen relación con la escuela, influyen poderosamente y de manera decisiva en los resultados educativos. Resulta así fundamental considerar políticas integrales que afronten simultáneamente diversos elementos de la realidad escolar y contextual de los estudiantes para poder lograr cambios significativos.

Trazamos en los resultados una tendencia a que haya más estudiantes en los niveles de logro más bajos conforme se avanza en grados escolares. Esto puede deberse fundamentalmente a que quien se encuentra en una situación de no haber adquirido los suficientes aprendizajes en un grado escolar, difícilmente podrá aprovechar correctamente las clases en grados posteriores, creándose una situación de aprendizajes deficientes que sólo podría resolverse incidiendo directamente sobre ella, con la intención específica de remontar el deterioro del logro. Las dificultades personales, familiares y escolares, la complejidad creciente de los currículos (cuando no es acorde con la adquisición creciente de conocimientos y habiliades) y las mayores dificultades de las familias y comunidades educativas con bajos niveles socioeconómicos para apoyar correctamente el aprendizaje escolar son otros elementos que podrían estar tirando hacia abajo el nivel de logro de los estudiantes.

Sería necesario llevar a cabo investigación focalizada en estos elementos para constatar si actúan de la manera en que se indica. Para ello tendrían que llevarse a cabo estudios de factores asociados al aprendizaje y de seguimiento de políticas educativas, basados en evaluaciones de gran escala; pero también una gran cantidad de estudios puntuales, con pequeñas poblaciones y de corte más cualitativo, que den cuenta de los elementos más sutiles de la relación que guarda el logro escolar con las circunstancias personales, familiares y escolares de los alumnos. Los meta análisis que sinteticen las experiencias de diferentes grupos de investigación con este interés serían una vía importante para comprender el deterioro del logro y tomar decisiones de política educativa y de gestión de programas remediales mejor fundamentados.

Es la visión de quienes trabajamos en estas pruebas, que cada vez más profesores, investigadores, autoridades educativas y grupos ciudadanos con interés en la educación miren la buena cantidad de información que se ofrece a partir de los resultados de los Excale para guiar y retroalimentar sus decisiones, de manera que la evaluación sistemática y oportuna se convierta finalmente en un elemento constante del diseño curricular, el análisis y la implementación de políticas educativas nacionales, estatales, regionales y sectoriales, la reflexión informada de la ciudadanía y la discusión colegiada de los especialistas. Creemos que sólo entonces la evaluación educativa de gran escala estará justificando su existencia.

REFERENCIAS BIBLIOGRÁFICAS

Backhoff, E.; Monroy, L.; Peon, M.; Sánchez Moguel, A.; y Tanamachi M. L.  (2005). Exámenes de la Calidad y el Logro Educativos (l aprendizaje del Español y las Matemáticas en la educación básica en México. Sexto de primaria y tercero de secundaria. México: INEE.

Backhoff, E.; Andrade, E.; Sánchez Moguel, A.; Peon, M.; Bouzas, A.  (2006). El aprendizaje del Español y las Matemáticas en la educación básica en México. Sexto de primaria y tercero de secundaria. México: INEE.

Backhoff, E.; Andrade, E.; Sánchez Moguel, A.; Peon, M. (2007). El aprendizaje en tercero de primaria en México. Español, Matemáticas, Ciencias naturales y Ciencias sociales. México: INEE.

Backhoff, E.; Bouzas, A.; Hernández, E.; García, M. (2007b). Aprendizaje y desigualdad social en México. Implicaciones de política educativa en el nivel básico. México: INEE.

Backhoff, E.; Bouzas, A.; Contreras, C.; Hernández, E.; García, M. (2007c). Factores escolares y aprendizaje en México. El caso de la educación básica. México: INEE.

Backhoff, E.; Andrade, E.; Sánchez Moguel, A.; Peon, M. (2008). El aprendizaje en tercero de preescolar en México. Lenguaje y comunicación. Pensamiento matemático. México: INEE.

Backhoff, E.; Andrade, E.; Sánchez Moguel, A.; Peon, M. (2008). Estudio comparativo del aprendizaje en sexto de primaria en México 2005 – 2007: Español y Matemáticas. México: INEE.

Instituto Nacional para la Evaluación de la Educación (2005a). ¿Qué es el INEE? Sus fines y estrategias al servicio de la sociedad. México: INEE.

Instituto Nacional para la Evaluación de la Educación (2005b). Excale. Exámenes de la Calidad y el Logro Educativos. Proceso de construcción y características básicas. México: INEE.

Instituto Nacional para la Evaluación de la Educación (2006). Plan maestro de desarrollo 2007-2014. México: INEE.

Nitko, A. (1994). A model for developing curriculum-driven criterion-referenced and norm-referenced national examinations for certification and selection of students. Ponencia presentada en la Conferencia Internacional sobre Evaluación y Medición Educativas, de la Asociación para el Estudio de la Evaluación Educativa en Sudáfrica (ASSESA).