El principal objetivo de este artículo es presentar los resultados obtenidos en la estimación del ‘efecto escuela’ en la educación primaria y secundaria de Argentina. Se utilizan como variables-criterio a los resultados en las pruebas estandarizadas de matemática y de lengua aplicadas a alumnos de ambos niveles educativos en ocasión de dos operativos censales de evaluación realizados por el Ministerio de Educación de la Nación. El interés se centra en la comparación entre los dos niveles educativos y las dos materias curriculares, matemática y lengua.
En el siguiente apartado se especifica el concepto de ‘efecto escuela‘, objeto de análisis, y su diferencia con la idea de ‘eficacia escolar’. A seguir se presentan algunos estudios realizados anteriormente en Argentina y los objetivos específicos del presente artículo. En el punto 3 se presentan los principales aspectos metodológicos del estudio, seguidos por el análisis de los resultados obtenidos (punto 4). Finalmente, se exponen las principales conclusiones.
1. EFICACIA ESCOLAR Y EFECTO ESCUELA
Ante el interrogante empírico acerca de por qué un alumno cualquiera consigue un determinado nivel de aprendizaje en la escuela, es muy común encontrar respuestas que remiten a multi-causalidades, con factores muy diferentes, individuales o agregados, situados en diferentes niveles de la realidad social, algunos posibles de ser identificados y analizados, otros inaccesibles al conocimiento. Pero, si se demanda que tal interrogante sea respondido con base en alguna constrastación empírica, sea cual sea su lógica, entonces, será necesario acotarlo, definir conceptos operacionales implicados, proponer hipótesis explicativa, fundamentarlo teóricamente, y explicitar la metodología apropiada para construir una respuesta posible.
Los estudios de Coleman et. al. (1966) y Jencks (1972) son referencias clásicas de un enfoque particular, acotado, para abordar aquel interrogante. En ellos, el aprendizaje se mide a través de las respuestas dadas a tests estandarizados alineados al currículo de determinadas materias, se distingue entre factores escolares (características de la escuela, del aula, del maestro, etc.) y extraescolares (sexo, origen social, etnia, inteligencia, etc.), y se adoptan metodologías ‘correlacionales’ (cuantitativas) con las cuales es posible evaluar la importancia relativa de ambos tipos de factores. Son estudios cuantitativos de gran escala, con gran cantidad de alumnos y escuelas, orientados a obtener conclusiones que se puedan generalizar a todo el sistema educativo. La principal conclusión de estos estudios fue que una vez considerados todos las mediciones relativas a los determinantes extra-escolares, la escuela no aporta significativamente a la explicación de las diferencia de rendimiento entre los alumnos.
En las décadas siguientes los estudios con este tipo de enfoque proliferaron y se desdoblaron a su vez, en diversos senderos particulares de investigación. Una de esas líneas se ha mostrado particularmente productiva. Sus estudios se identifican bajo el nombre genérico de investigación de la eficacia escolar (school effectiveness reasearch - SER). En términos generales, el principal objetivo de tales investigaciones ha sido demostrar que la escuela sí puede hacer una diferencia y que es posible identificar los factores subyacentes específicos que explican tal efecto. Además, se pretende que las conclusiones a que se arribe deben ser generalizables al conjunto del sistema educativo, condición para incidir en las políticas e innovaciones educativas tendientes a mejorar el nivel de aprendizaje, especialmente de los alumnos provenientes de los sectores socioeconómicos menos aventajados (Scheerens y Bosker, 1997).
Entonces, la constatación que se busca en respuesta al interrogante inicial es que el nivel de aprendizaje de cualquier alumno en el sistema educativo depende, en gran parte, de características propias de la escuela a la que asiste. Ello supone que con anterioridad, se haya determinado cuánto le es debido a los factores extra-escolares y por tanto, cuánto podría ser hipotéticamente atribuido a los propiamente escolares.
Empíricamente, tal objetivo puede abordarse a través de dos conceptos operacionales: el ‘efecto escuela’, una estimación situada a nivel del sistema educativo como un todo, y la ‘eficacia escolar’, aplicada específicamente a la institución escolar. A los fines de este artículo, parece pertinente aclarar el alcance de ambos conceptos.
1.1. Eficacia escolar
En términos generales y de acuerdo al uso más frecuente actual, cualquier unidad de cualquier nivel del sistema escolar es eficaz si el conjunto de sus alumnos, en un período dado, progresa en los resultados de aprendizaje más allá de lo que debería esperarse de acuerdo a determinados factores no-escolares individuales y grupales (‘composición’) condicionantes de tal progreso. Subyacen a esta definición un conjunto de supuestos.
- La eficacia puede predicarse respecto de cualquier unidad de los niveles o instancias organizacionales del sistema (aula, escuela, municipio, provincia); cuando la unidad de referencia es la escuela, entonces, se habla de ‘eficacia escolar’.
- La variable-criterio de la eficacia puede ser cualquier resultado pasible de ser atribuido a la escuela. Se pueden incluir, entonces, resultados cognitivos o no cognitivos (actitudes, valores, auto-estima, etc.), destreza y habilidades o competencias.
- El resultado escolar del alumno debe ser una medición estandarizada, permitiendo de esta forma, la comparación válida entre todas las unidades implicadas;
- La eficacia es relativa, comparativa, no absoluta. Se determina comparando resultados reales con valores estimados (parámetros) para un número suficientemente amplio de unidades escolares (valores promedio esperados) y no con valores absolutos preestablecidos. La decisión se basa en la significación estadística de la distancia entre esos valores.
- El ‘valor esperado’ resulta de ‘ajustar’ el valor promedio observado por el logro previo del alumno y los factores extra-escolares individuales y grupales (equidad). Entonces, la medición del progreso relativo en el tiempo (longitudinal) requiere una medición previa y homóloga al resultado escolar investigado, e indicadores de factores extra-escolar (género, etnia, nivel socioeconómico, etc.), definidos para los diferentes niveles del sistema escolar;
- La técnica estadística debe permitir las estimaciones (i) de las correlaciones entre la variable-criterio y los factores extra-escolares, y (ii) de los ‘residuos’ (varianza no-explicada por esos factores) para cada escuela;
- Dado que la eficacia puede predicarse respecto de las unidades de cualquier nivel o instancia organizacional del sistema (aula, escuela, municipio, provincia), la técnica estadística debe ser adecuada a esa diferenciación de niveles;
1.2. Efecto escuela
Este concepto, objeto del presente estudio, se ubica en el nivel ‘escuela’, es decir, se refiere al conjunto total de escuelas, pero a ninguna de ellas en particular. Desde el punto de vista operacional, el “efecto escuela” consiste en el ‘residuo’ (o varianza no explicada) en el nivel ‘escuela’, una vez que los puntajes han sido ajustados por el logro previo del alumno y los factores extra-escolares individuales y grupales. Si el residuo se expresa como proporción de la variación total de la variable-criterio (resultado escolar), entonces, el ‘efecto escuela’ indica la importancia relativa que tiene el conjunto de las escuelas en la determinación del nivel y distribución del resultado escolar analizado.
En términos generales, los supuestos expuestos anteriormente respecto de la idea de eficacia también son pertinentes aquí. Pero, si se adopta el criterio de la equidad, el análisis del ‘efecto escuela’ debe adicionar dos definiciones operacionales. Además del ‘ajuste’ por los factores extra-escolares, es necesario conocer las variaciones de (i) el ‘efecto escuela’ entre los diversos grupos socioeconómicos, étnico o de género y (ii) el grado de inequidad entre las escuelas, entendido como la intensidad con que cualquier factor extra-escolar (individual) se correlaciona con algún resultado escolar del alumno en cada una de las escuelas. En consecuencia, la técnica estadística utilizada debe producir tanto la estimación de las varianzas de las correlaciones entre los resultados escolares y los factores extra-escolares, como los ‘residuos’ por grupos de alumnos (géneros, etnias, nivel socioeconómico) en cada uno de los niveles del sistema educativo.
Metodológicamente, entonces, el análisis de la ‘eficacia escolar’ y del ‘efecto escuela’ se sitúan entre los estudios de corte cuantitativo probabilísticos y por tanto, requiere de la aplicación de técnicas estadísticas adecuadas, con estimación del grado de confiabilidad para la generalización. De acuerdo a lo expuesto, entonces, ambos conceptos están operacionalmente vinculados, pero son claramente distinguibles.
En el presente estudio se aborda solamente el ‘efecto escuela’. Con base en los criterios expuestos anteriormente, se analizan y comparan los datos de dos operativos censales, uno en primaria y el otro en secundaria, los cuales incluyeron las evaluaciones de matemática y lengua. De las dos variables de (in)equidad – efectos por grupos de alumnos y variación de las correlaciones – sólo se aborda ésta última.
2. ANTECEDENTES DE INVESTIGACIÓN Y OBJETOS ESPECÍFICOS
La investigación en esta área ha demostrado que la estimación del ‘efecto escuela’ se encuentra especialmente afectada por (i) el nivel educativo de referencia (primaria, secundaria), (ii) la materia curricular de análisis (matemática, lengua, etc.), (iii) el número de niveles de agregación especificado (aula, escuela, municipio, provincia, etc.), (iv) la diversidad, confiabilidad y calidad de indicadores sobre el origen social del alumno, (v) la medición del nivel de logro previo del alumno y (vi) la inclusión de indicadores de ‘composición’ socioeconómica y académica del alumnado{1}. También el grado de inequidad en el nivel escuela puede variar de acuerdo a estos factores. Por esta razón, parece particularmente relevante evaluar si los ‘efecto escuela’ y los grados de (in)equidad de ambas materias están correlacionados o no.
En Argentina, diversos estudios han estimado el ‘efecto escuela’ y otros parámetros relacionados. Con datos del nivel secundario, se ha estimado el efecto de cada uno de los niveles de agregación y entre ellos, el nivel escuela, en los resultados de matemática y lengua (Cervini, 2006). En este estudio, sin embargo, no se realizó ninguna comparación con el nivel primario y además, el análisis de ambas materias se realizó por separado, lo cual impide que se estimen integradamente las correlaciones entre los ‘efecto escuela’ en ambas materias, y entre los grados de inequidad en ese nivel institucional. En un estudio posterior (Cervini, 2009a), relativo a datos de la educación primaria, se especificaron modelos de 5 niveles (alumno, aula, escuela, municipio, provincia), lo cual permitió una mayor precisión en la estimación del ‘efecto escuela’ específico. Sin embargo, sólo se refirió a matemática y además, no consideró la educación secundaria. En un trabajo reciente (Cervini, 2009b) publicado en este revista, se puso el énfasis en la comparación de resultados relativos a matemática y lengua en la educación primaria y secundaria. No obstante, en los modelos estimados se obvió el nivel aula y las estimaciones correspondientes a cada materia fueron calculadas separadamente.
En resumen, en ninguno de los estudios referidos se ha realizado una comparación completa e integrada entre los niveles educativos – primaria/secundaria – y las materias curriculares básicas – matemática/lengua.
El presente trabajo pretende dar un paso en ese sentido, pero centrándose solamente en el ‘efecto escuela’. Este objetivo se desdobla en objetivos específicos. Se pretende estimar o evaluar:
- el ‘efecto escuela bruto’ (sin ajuste) y la incidencia que tiene el número de niveles de agregación especificado;
- la asociación entre los ‘efecto escuela bruto’ en matemática y lengua;
- el efecto de las características (extra-escolares) personales del alumno;
- la variación de los grados de inequidad en ambas asignaturas;
- la existencia de correlación entre los grados de inequidad en ambas asignaturas;
- la validez de las notas precedentes como ‘proxy’ de la medición de logros previos;
- el ‘efecto escuela neto’ incluyendo indicadores individuales del alumno y grupales del conjunto de alumno en la escuela;
- la correlación entre los ‘efecto escuela’ en matemática y lengua.
3. METODOLOGÍA
3.1. Datos
Los datos provienen de las pruebas estandarizadas de Matemáticas y de Lengua, y del cuestionario del alumno aplicados en dos evaluaciones censales realizadas por el Ministerio de Cultura y Educación de Argentina: el Censo Nacional de Finalización del Nivel Secundario - 1998{2}y el Operativo Nacional de Evaluación de la Calidad Educativa – 2000{3}, este último referido a los alumnos de 6º año de la educación primaria. Todos los instrumentos fueron autoaplicados. El objetivo propuesto para este trabajo es alcanzable porque en ambos cuestionarios se incluyeron las mismas mediciones para algunos factores extraescolares.
En el presente análisis se incluyen sólo los alumnos con información de ambas pruebas y del cuestionario, atendiendo simultáneamente a los siguientes criterios en la matriz de datos: (ii) en primaria: 10 o más estudiantes con información válida por aula; al menos 2 aulas por escuela; dos escuelas por Municipio y dos municipios por provincia; (ii) en secundaria: se mantienen las mismas condiciones pero, dado que en este nivel no se cuenta con la especificación del Municipio, la última condición es 2 escuelas por Provincia. Bajo estas condiciones, la cantidad de unidades por nivel educativo y según niveles de agregación es la siguiente:
|
Primaria |
Secundaria |
Provincias |
22 |
25 |
Municipio |
372 |
--- |
Escuelas |
6.478 |
1.446 |
Aulas |
17.330 |
4.320 |
Alumnos |
399.790 |
99.282 |
3.2. Variables
Las variables criterio o dependientes son los puntajes obtenidos por el alumno en pruebas estandarizadas de Matemática y Lengua. Las variables independientes para ambos niveles educativos son: género, repitencia escolar, disponibilidad de bienes de uso durable y servicios en el hogar, nivel educativo del padre y de la madre, y libros en el hogar. Para el nivel primario se cuenta además, con el promedio de notas del alumno en el año inmediato anterior. Salvo género y repitencia (‘dummies’), todas las variables se asumen intervalares y han sido estandarizadas. Las variables de ‘composición’ (‘contexto’) consisten en el porcentaje (género y repitencia) o el promedio de cada variable en la escuela.
3.3. Técnica de análisis
Para el análisis de las relaciones entre el rendimiento y las diferentes variables se utilizó el programa MLwiN (Goldstein et al., 1998), basado en el método de análisis estadístico por niveles múltiples o modelos jerárquicos lineales (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1995).
Esta técnica es adecuada para analizar variaciones en las características de los individuos (por ejemplo, el rendimiento del alumno) que son miembros de un grupo (aula) que a su vez, forma parte de otra agregación (escuela), que participa en un conjunto mayor (Municipalidad), que a su vez integra otro nivel de agregación (Provincia). Se trata, entonces, de mediciones que forman parte de una estructura anidada jerárquicamente. La técnica descompone la varianza total del rendimiento del alumno en sus componentes dentro del grupo (intra-aula, intra-escuela; intra-Municipalidad, intra-Provincia) o entre grupos (inter-aula, inter-escuela; inter-Municipalidad, inter-Provincia) y estima las asociaciones entre variables en esos diferentes niveles de agregación. El modelo se compone de una parte fija, conlos parámetros que definen una línea promedio para todos los alumnos, bajo el supuesto de que la intensidad de las correlaciones es constante en todas las unidades de cada nivel, y una parte aleatoria, donde se estima, en cada nivel de agregación, la variación de los parámetros determinados en la parte fija, en particular, la variación de los logros alrededor del promedio general (por ejemplo, los rendimiento promedios de las escuelas en torno al rendimiento promedio general de todas las escuelas). Entonces, la técnica modela simultáneamente los diferentes niveles de variación (alumno, aula, escuela, Municipalidad y Provincia), permitiendo, por tanto, saber (i) qué proporción de la variación del logro escolar se debe principalmente a características del alumno, del aula, de la escuela, de la Municipalidad y de la Provincia. Finalmente, y (ii) si la fuerza de relación o interacción entre el logro escolar y los factores estudiados (pendiente β) varían en los diferentes niveles de agregación.
3.4. Estrategia de análisis y modelos empíricos
La principal característica de la estrategia de análisis adoptada es la focalización en el nivel ‘escuela’. Tal perspectiva conlleva la elección de ciertos caminos de análisis y la omisión de otros. Más allá de este criterio general, dos aspectos caracterizan el camino de análisis adoptado.
El primer aspecto de la estrategia refiere al tratamiento conjunto y simultáneo de los dos indicadores de resultado (puntajes en matemática y en lengua). En vez de analizar cada indicador de resultado separadamente en dos modelos multinivel univariados o de combinar y resumir ambos en un solo índice, se utilizan modelos multinivel multivariados, definidos como aquellos que contienen dos o más variables-respuestas para cada unidad de análisis. En este tipo de modelo, cada indicador de resultado se trata como parte de un sistema único de ecuaciones, a través del cual se pueden estimar, en cada uno de los niveles de anidamiento (alumno, aula, escuela, Provincia), las correlaciones entre ellos y de ellos con cada uno de los factores extra-escolares considerados, pudiéndose de esta forma, realizar una comparación directa de los coeficientes estimados. Es decir, proporciona matrices de covarianza residual en los diferentes niveles de agregación, permitiendo la estimación de las correlaciones entre ambos logros escolares en cada nivel, antes y después de ‘controlar’ por los factores extra-escolares considerados.
El segundo aspecto a tener en cuenta es la cantidad de niveles de agregación a ser considerados. Los datos de primaria y secundaria permiten definir modelos con 5 niveles. A los puntajes en matemática y en lengua (indicadores de resultado) se los considera el nivel más bajo de la jerarquía (nivel 1), anidados dentro del alumno (nivel 2), los cuales se agrupan en aulas (nivel 3) que pertenecen a escuelas (nivel 4) situadas en las diferentes Provincias (nivel 5). El nivel 1 sólo sirve para definir la estructura bivariada y por tanto, dentro de ese nivel no hay variación.
Por otra parte, en lo datos de primaria es posible especificar un nivel adicional, el ‘Municipio’, ausente en la matriz de datos de la educación secundaria. Además de esta falta de homología en ambas estructuras de datos, el programa utilizado para los procesamientos no permite especificar más de 5 niveles. En consecuencia, se decide obviar este nivel con el objeto de poder comparar los resultados de primaria y secundaria. Sin embargo, y sólo con la finalidad de evaluar las posibles consecuencias de omitir el nivel ‘municipal’, en el nivel primario se presentan modelos iniciales de descomposición de la varianza con ‘provincia’ y con ‘municipio’ como niveles superiores de agregación alternativos.
El análisis se desarrolla en 5 pasos. Se comienza con la partición inicial de la varianza de los puntajes (matemática y lengua) con diferentes modelos que difieren entre sí por el/los nivele/s de agregación omitidos (1º paso: Modelos ‘vacíos’). El ordenamiento particular de tales modelos se orienta a mostrar los cambios en la estimación correspondiente al nivel ‘escuela’. En este paso se estiman también las correlaciones entre los puntajes de matemática y lengua en los diferentes niveles de agregación. A seguir, se modelan las correlaciones entre el rendimiento y todos los indicadores individuales del alumno (sexo, repitencia, nivel socioeconómico familiar) y se calcula la varianza residual en todos los niveles de agregación (2º paso: modelo nse). En primaria, a este modelo se le adiciona el promedio de notas obtenidas por el alumno el año anterior (3º paso: modelo nota), con el objeto de evaluar el efecto propio de este predictor. El 4º paso consiste en la evaluación de la variación del efecto de cada uno de los indicadores del alumno sobre los rendimientos en ambas materias y en la estimación de las correlaciones de esos efectos en matemática y en lengua. Estas operaciones se realizan sólo en el nivel ‘escuela’. Finalmente, se incluyen los indicadores de ‘composición’ en el nivel ‘escuela’, con el objeto de conocer el ‘efecto contextual’ del espacio institucional y estimar la variación ‘residual’ en cada nivel y materia (5º paso: modelo composición). Para estimar la significación del efecto de las variables se usa el test de la razón de máxima verosimilitud. Los análisis comparativos entre ambos tramos educativos (primaria y secundaria) y entre ambas materias (Matemática y Lengua) se basan principalmente en el análisis de los ‘residuos’. Se asume normalidad en ambas variables de respuesta.
3.5. Modelos multinivel bivariados
Para definir la estructura bivariada, donde cada alumno (nivel 2) tiene dos variables respuesta (nivel 1: matemática y lengua), se crean dos variable ‘dummy’ que indican cuál de las dos variables-respuesta está presente (z1: 1=lengua; 0 = matemática; z2: 1 - z1).
La Parte fija del modelo multinivel bivariado, sin ningún predictor (modelo “vacío”), se especifica así:
, donde resp1jklm refiere al puntaje de lengua estandarizado (variable respuesta) del alumno j, en el aula k de la escuela l de la provincia m; resp2jklm refiere al puntaje estandarizado de matemática, con similar denotación para los cuatro niveles;
cons.zlen es una constante = 1 para cada puntaje de lengua y β0jklm es un parámetro asociado a cons.zlen, compuesto por el logro promedio estimado ß0 (Parte fija), y por g0m, ƒ0lm, ν0klm y μ0jklm, "residuos" en los niveles provincia, escuela, aula y alumno, respectivamente, o sea, cantidades aleatorias, no correlacionadas, normalmente distribuidas, con media = 0 y cuyas varianzas respectivas (s2g0, s2ƒ0, s 2ν0 y s2m0) han de estimarse;
De la misma forma, cons.zmat es una constante = 1 para cada puntaje de matemática y β1jklm es un parámetro asociado a cons.zmat, compuesto por el logro promedio estimado ß1 (Parte fija), y por g1m, ƒ1lm, ν1klm y μ1jklm, "residuos" en los niveles provincia, escuela, aula y alumno, respectivamente, o sea, cantidades aleatorias, no correlacionadas, normalmente distribuidas, con media = 0 y cuyas varianzas respectivas (s2g1, s2ƒ1, s 2ν1 y s2m1) también han de estimarse;
La Parte aleatoria del modelo se especifica ajustando la matriz de covarianza por matemática y lengua en los tres niveles. Formalmente:
, donde sg01, sƒ01,s ν01 y sm01 son las covarianzas entre lengua y matemática en el nivel Provincia, escuela, aula y alumno, respectivamente. Es decir, se estiman los mismos tres términos aleatorios en los cuatro niveles superiores: las dos varianza (matemática y lengua) y la covarianza entre ambas materias. En el nivel 2 (alumno), las varianzas y la covarianza son las varianzas (residuales) ‘inter-alumno’. Con base en las covarianzas se estiman los coeficientes de correlación entre los puntajes de matemática y lengua en los niveles provincias, escuela, aula (promedios) y alumno (individual).
El significado de cada uno de los parámetros a ser estimado cuando se incluyen predictores en las partes fija y aleatoria del modelo bivariado será explicado junto con la exposición de los resultados obtenidos.
4. RESULTADOS
4.1. Modelos vacíos
El Cuadro 1 contiene la descomposición porcentual inicial de las varianzas totales de ambas asignaturas en modelos con diferentes números de niveles de agregación especificados y sin ningún predictor.
Los resultados confirman que la estimación del ‘efecto escuela’ está significativamente afectada por la cantidad de niveles especificados en el modelo. Si se consideran sólo los niveles ‘alumno’ y ‘escuela’, la variación de los rendimientos promedio de las escuelas de primaria en torno del rendimiento promedio global representa más del 30% de la variación total de ambos rendimientos. Los valores estimados para secundaria son notablemente mayores, tanto en lengua como en matemática (37,8% y 43,3%, respectivamente)
Al especificar el nivel inmediato superior (provincia), la importancia relativa de la escuela desciende en ambas asignaturas, aunque más nítidamente en la secundaria; es decir, la desigualdad en los rendimientos promedios provinciales es más acentuada en la secundaria que en la primaria.
Si se especifica el nivel ‘aula’ y se omite la provincia, los resultados son más variados. En primer lugar, mientras la importancia relativa del ‘efecto escuela’ desciende en primaria respecto del modelo anterior, particularmente en matemática, en el secundario sube, también más acentuadamente en matemática. En contrapartida, la variación ‘intra-aula’, es decir, las diferencias de rendimiento entre los alumnos en el aula, desciende más nítidamente en secundaria y especialmente, en matemática. Estos descensos se deben a que el aula es un nivel inmediato superior más cercano al alumno que la instancia ‘escuela’. Entonces, la especificación del nivel ‘aula’ tiene efectos no sólo sobre la estimación del ‘efecto escuela’ sino también sobre la estimación de la variación ‘inter-alumno’, delimitando más claramente el peso relativo de las características extra-escolares propias del alumno individual.
Finalmente, el modelo ‘vacío’ completo (alumno, aula, escuela, provincia) ofrece una estimación más precisa y ajustada del efecto relativo de las características de la institución escolar sobre las variaciones en el rendimiento del alumno. En ambos niveles educativos y asignaturas, la importancia relativa de la escuela gira en torno de 23%. Si bien este valor representa, en general, un descenso abrupto de esa importancia relativa en ambos niveles educativo, es en el nivel secundario donde se experimenta con mayor intensidad. Mientras que en primaria, la nueva estimación del efecto escuela implica caídas del 27% (matemática) y del 25% (lengua), en secundaria representa disminuciones del 45% (matemática) y del 40% (lengua).
Cuadro 1. Descomposición (%) de la varianza inicial del rendimiento en lengua y matemática
de primaria y secundaria, según niveles de agregación omitidos
Niveles educativos y de agregación |
Modelos multinivel ‘vacíos’ según niveles de agregación omitidos |
Lengua |
Matemática |
Primaria |
Provincia |
--- |
5,2 |
--- |
5,2 |
--- |
--- |
5,0 |
--- |
5,0 |
--- |
Municipio |
--- |
--- |
--- |
|
7,0 |
--- |
--- |
--- |
--- |
6,9 |
Escuela |
30,7 |
27,8 |
26,6 |
23,1 |
20,5 |
32,3 |
29,3 |
27,4 |
23,7 |
20,8 |
Aula |
--- |
--- |
11,6 |
11,6 |
11,6 |
--- |
--- |
14,4 |
14,4 |
14,4 |
Alumno |
69,3 |
70,7 |
63,6 |
63,6 |
63,6 |
67,7 |
68,9 |
60,2 |
60,2 |
60,2 |
Secundaria |
Provincia |
--- |
6,1 |
--- |
6,2 |
--- |
--- |
6,1 |
--- |
9,3 |
--- |
Escuela |
37,8 |
28,6 |
33,5 |
22,9 |
--- |
43,3 |
30,4 |
38,6 |
23,7 |
--- |
Aula |
--- |
--- |
13,4 |
13,4 |
--- |
--- |
--- |
16,0 |
16,1 |
--- |
Alumno |
62,2 |
64,5 |
55,9 |
55,9 |
--- |
56,7 |
59,3 |
48,9 |
48,9 |
--- |
Nota: la suma de los porcentajes no es igual a 100 debido a fluctuaciones de muestreo y errores de redondeo. |
Estos resultados permiten inferir que (i) cuanto más alto sea el nivel educativo en cuestión, mayor efecto tendrá la omisión de los niveles de agregación especificados; (ii) existe una leve tendencia a que la especificación incompleta en la estimación del efecto escuela afecte más a matemática que a lengua, y (iii) la especificación del nivel aula es de suma importancia para obtener una estimación más ajustada de las variaciones inter-alumno, campo de influencia de los factores individuales extra-escolares. Existen indicios de que esta última conclusión sea más relevante para el nivel secundario que para el primario.
Adicionalmente, los datos de primaria permiten especificar el nivel ‘municipio’. Si el nivel ‘provincia’ se substituye por ‘municipio’, la estimación del efecto escuela vuelve a disminuir, tanto en matemática como en lengua, quedando ambas en torno del 20% de la variación total de cada rendimiento. Debe tenerse en cuenta que las estimaciones del nivel municipio son más confiables que las de ‘provincia’ debido a que en este último nivel, el número de las unidades involucradas (22 provincias) es extremadamente menor a las incluidas en el nivel ‘municipio’ (372). Por tanto, el sobre dimensionamiento del efecto escuela estimado inicialmente para primaria es alrededor de un tercio en ambas asignaturas.
Finalmente, en esta etapa del análisis también se pueden estimar, en cada nivel, la covarianza de matemática y lengua y de allí, calcular la correlación entre sus puntajes. En los niveles agregados (aula, escuela, provincia), el concepto se refiere a los puntajes promedio. En el nivel escuela la covarianza resulta altamente significativa. Los coeficientes de correlación entre los puntajes en cada nivel de agregación, se presentan en el Cuadro 2.
Se observa que la asociación entre los puntajes promedios de ambas materias en las escuelas si bien no es perfecta, es muy estrecha. A medida que se asciende en el nivel de agregación, la intensidad de esa asociación aumenta. Por el contrario, la correlación entre los promedios de las aulas es notablemente más baja (en torno de .60). En principio, entonces, podría aceptarse que el ‘efecto escuela’ no se altera significativamente según sea la materia seleccionada para tal calificación. Esta conclusión provisoria es válida para ambos niveles educativos.
Cuadro 2. Coeficientes de correlación entre rendimientos promedios de lengua y matemática en los diferentes niveles del sistema educativo
Niveles |
Primaria |
Secundaria |
Provincia |
.942* |
.954 |
Municipio |
.930 |
--- |
Escuela |
.917 |
.913 |
Aula |
.603 |
.605 |
Alumno |
.463 |
.440 |
(*) Estimación con Provincia como más alto nivel; en este caso, la estimación para ‘Escuela’ es .920. |
4.2. Características individuales del alumno
Se pretende ahora estimar la magnitud y forma del efecto de las características individuales del alumno (factores extra-escolares). Si bien no se plantea como objetivo realizar un análisis pormenorizado de tales efectos, algunos resultados serán brevemente informados.
La operación consiste en incorporar las variables sexo y repitencia escolar, junto con los indicadores del nivel socioeconómico familiar, a los modelos vacíos completos anteriormente estimados. Los resultados se ajustan a lo esperado de acuerdo a estudios anteriores. En primaria, los hombres obtienen mejores resultados que las mujeres, pero esta distancia es notablemente menor que la constatada en lengua a favor de las mujeres. La repitencia escolar predice más bajos rendimiento, con la misma intensidad en ambas asignaturas. Mayores bienes y servicios en el hogar (económico), más libros (cultural) y más alta educación de los padres (económico-cultural) predicen más altos rendimientos. En lengua, el efecto del nivel educativo de los padres se ‘superpone’ (colinealidad) con ‘libros en el hogar’, y resulta prescindible.
En secundaria, el género sigue la misma tendencia que en primaria, pero la distancia a favor de los hombres en matemática es aún menos acentuada. La distancia de rendimiento promedio entre repetidores y no-repetidores, en cambio, es muy similar a la observada en primaria. La educación de los padres aquí se mantiene significativa en ambas asignaturas. Ahora es el indicador de status económico (bienes y servicios) el que se torna prescindible en lengua por ‘colinealidad‘ con los otros dos indicadores de nivel socioeconómico.
En la columna ‘nse’ del Cuadro 3 se aprecian los ‘residuos’ dejado sin explicar por este conjunto de indicadores individuales. El mayor efecto relativo se produce en el nivel escuela. Ello refleja un alto grado se segmentación socioeconómica de la red institucional en ambos niveles educativos {4}. Consistentemente, la varianza no-explicada del nivel alumno desciende levemente, aún cuando este es el nivel donde tales variables deberían acusar el mayor efecto.
Cuadro 3. Varianza “residual” por niveles educativos y de agregación, según diferentes
modelos ‘multinivel’ – Lengua y Matemática
Niveles educativos y de agregación |
LENGUA |
MATEMATICA |
Vacío |
nse |
+ nota |
+ comp |
Vacío |
nse |
+ nota |
+ comp |
Primaria |
Provincia |
5,2 |
3,9 |
4,3 |
1,8 |
5,0 |
3,8 |
4,1 |
2,7 |
Escuela |
23,1 |
18,2 |
18,2 |
8,4 |
23,7 |
18,3 |
18,3 |
9,4 |
Aula |
11,6 |
10,7 |
10,4 |
10,5 |
14,4 |
13,6 |
13,3 |
13,3 |
Alumno |
63,6 |
60,0 |
56,2 |
56,3 |
60,2 |
57,9 |
53 ,9 |
53,9 |
Secundaria |
Provincia |
6,2 |
5,4 |
--- |
2,9 |
9,3 |
8,4 |
--- |
6,0 |
Escuela |
22,9 |
17,0 |
--- |
8,1 |
23,7 |
18,4 |
--- |
8,7 |
Aula |
13,4 |
12,0 |
--- |
12,0 |
16,1 |
14,8 |
--- |
14,8 |
Alumno |
55,9 |
52,9 |
--- |
52,9 |
48,9 |
47,8 |
--- |
47,8 |
4.3. Las calificaciones precedentes
En otros trabajo (Cervini y Dari, 2008; Cervini, 2009a;2009b) se ha propuesto utilizar las notas obtenidas por el alumno en el año anterior al de la evaluación analizada, como una forma de superar parcialmente el obstáculo que supone contar con resultados de un test estandarizado precedente (logro inicial) para cada alumno a fin de estimar el valor agregado. En los casos de relevamiento censal sería muy difícil satisfacer tal requisito. Como un proxy, se cuenta con un promedio de las calificaciones precedentes obtenidas por el alumno en 4 asignaturas {5}.
La operación consiste en incorporar la variable ‘nota’ en el modelo anterior. Los resultados indicaron que este es un fuerte predictor de los puntajes obtenidos por el alumno en ambas pruebas. Más aún, el nivel educativo de los padres se torna prescindible en este nuevo modelo. Anteriormente, se ha demostrado también que este indicador de antecedentes académicos es tan potente como el conjunto de indicadores relativos al origen social del alumno (Cervini, 2008).
En la columna ‘+ nota’ se presentan los resultados relativos a los ‘residuos’ estimados para cada nivel de agregación. La constatación más interesante es que las calificaciones precedentes del alumno explican una proporción importante de la variación ‘inter-alumno’, aún cuando los efectos de las otras características del alumno estén controlados. Por lo tanto, parece provechoso incluir este tipo de mediciones, de bajo costo y mayor eficacia explicativa en el nivel alumno que los indicadores tradicionales de nivel socioeconómicos.
4.4. Aleatoriedad
Los modelos anteriores suponían que las intensidades de asociación entre logros escolares y características individuales del alumno eran similares en todas las escuelas. Pero de hecho, esas intensidades pueden variar. Para evaluar esa posibilidad se aleatoriza el coeficiente de cada factor en el nivel escuela, es decir, se permite que la correlación varíe (aleatorización) a nivel escuela. En este caso, la estimación de cada coeficiente en la parte aleatoria es la varianza del efecto de la variable en cada escuela alrededor del efecto promedio estimado para la totalidad de las escuelas. En el modelo multinivel bivariado esta operación adquiere una forma particular dado que también incluye la estimación de la covarianza de los efectos de ambas materias.
A modo de ejemplo, se exponen los resultados de la aleatorización de la variable ‘muda’ repitente (no-repitente = 0) en el nivel escuela del secundario. Se parte del modelo ‘nse’ (ver Cuadro 3), donde la variable referida a repitencia escolar ya ha sido incluida en la Parte Fija y su coeficiente ha resultado estadísticamente significativo, es decir, los alumnos repitentes obtienen puntajes en matemática y lengua muy inferiores a los no repitentes. A partir de allí, se introduce repitente como coeficiente aleatorio en el nivel escuela y se procede a calcular la matriz de covarianza. Se excluyen las covarianzas entre el puntaje promedio en una disciplina y el efecto de repitente sobre la otra disciplina, dado su poco interés interpretativo. Los resultados son los siguientes:
, donde con.z_lengua es el intercepto de lengua; con.z_matema es el intercepto de matemática; rep.z_lengua es el efecto de la repitencia sobre lengua y rep.z_matema es el efecto de esa variable sobre matemática.
No se constatan diferencias en los tres términos ya estimados en el modelo anterior, indicando que no hay diferencias en las variaciones de los puntajes promedios de alumnos repitentes y no-repitentes en el nivel escuela. La correlación entre puntajes promedios de matemática y lengua en el nivel escuela (= 0,901) tampoco difiere del estimado anteriormente y por tanto, él ‘control’ por las características del alumno individual no afecta esa concomitancia.
Las nuevas estimaciones indican que la variación inter-escuela de la distancia entre repetidores y no-repetidores es significativa, tanto en lengua (0,018) como en matemática (0,016). Entonces, las escuelas difieren notablemente respecto de la capacidad para compensar la incidencia de los episodios de repetición de año en el secundario. Por otro lado, las variaciones en ambas disciplinas son concomitantes. El término de covarianza (0,011) es positivo y significativo: en cualquier escuela, la intensidad de la relación entre repitencia y puntaje en una materia predice la intensidad de la relación con la otra disciplina. Si bien la correlación estimada es estadísticamente significativa (0,628), esta predicción no es perfecta.
Finalmente, las covarianzas entre la distancia remitente/no-repitente, por un lado, y los puntajes de lengua y matemática, por el otro, resultan no significativos. Por lo tanto, no existe asociación entre el nivel de rendimiento promedio en la escuela, sea en matemática o en lengua, y el efecto de la repitencia escolar.
Con la misma lógica, se evaluó a cada uno de los indicadores considerados en este estudio. Los resultados son presentados en el Cuadro 4. Con las excepciones de bienes en secundaria y educación en primaria, se puede generalizar y concluir que las escuelas difieren notablemente respecto de la capacidad para compensar la intensidad con que distintos factores extra-escolares inciden en la distribución de los aprendizajes, es decir, las escuelas difieren en cuanto al grado de (in)equidad educativa.
Por otra parte, el grado de consistencia entre las incidencias de cada factor sobre los logros en matemática y en lengua también varía, de acuerdo tanto al indicador como al nivel educativo de que se trate. Así por ejemplo, la distancia entre géneros en una materia de la educación primaria predice de forma bastante ajustada esa distancia en la otra asignatura. En secundaria, en cambio, esta conclusión no es aplicable; es decir, la probabilidad de que una distancia alta entre géneros respecto de los puntajes promedios en matemática en una escuela esté acompañada por una distancia también relativamente alta en lengua, es más bien baja.
En resumen, el grado de inequidad educativa institucional varía entre las escuelas y dentro de ellas, entre materias, dependiendo del nivel educativo de referencia.
Cuadro 4. Variación y correlación entre los efectos de las variables en el nivel escuela,
según nivel educativo y materia
Variables |
Variación |
Correlación |
Primaria |
Secundaria |
Lengua |
Matemática |
Lengua |
Matemática |
Primaria |
Secundaria |
repitencia |
* |
* |
* |
* |
.633 |
.628 |
femenino |
* |
* |
* |
* |
.843 |
.500 |
bienes |
* |
* |
ns |
ns |
.725 |
ns |
educación |
ns |
ns |
* |
* |
.871 |
.727 |
libros |
* |
* |
* |
* |
.839 |
.312 |
notas |
* |
* |
--- |
--- |
.824 |
--- |
ns: no significativo. |
4.5. Composición del alumnado
Finalmente, los indicadores del contexto o ‘composición’ (socioeconómica, académica y de género) de la escuela, referidos a las características individuales del alumno que resultaran significativas en los modelos anteriores, fueron incluidos en el modelo ‘nse’ (secundaria) y ‘+nota` (primaria), recalculándose todas las estimaciones.
Dado que las variables individuales correspondientes permanecen incluidas en el modelo, los cambios que ocurran en las estimaciones pueden ser entendidos como indicativos de la magnitud del ‘efecto composición’ correspondiente (efecto contextual). Así por ejemplo, si la proporción de repitentes en la escuela (‘composición académica’) resulta estadísticamente significativo y de signo negativo, puede inferirse que cuanto menor sea esa proporción, mayor serán los puntajes promedios obtenidos por los alumnos, aún después de haber considerado la repitencia como variable individual del alumno. No sólo los repitentes logran más bajos rendimientos, sino que además, la mayor proporción de ellos en el aula deprime el rendimiento promedio de todos los alumnos. Entonces, de dos alumnos no-repitentes, aquel que se encuentre en una escuela con mayor proporción de alumnos repitentes tendrá mayor probabilidad de obtener puntajes más bajos en ambas materias.
En el presente estudio, sin embargo, no interesa realizar un análisis pormenorizado del comportamiento de estos indicadores. El objetivo, más bien, es evaluar el efecto conjunto estimando los ‘residuos’ (varianza dejada sin explicar) en cada uno de los niveles de agregación. En la columna ‘+comp’ del Cuadro 3 se exponen estos nuevos valores estimados.
La constatación más relevante es la caída abrupta de las varianzas de los promedios de las escuelas y de las provincias, respecto del modelo inmediato anterior. Ahora, el ‘efecto escuela’ no llega al 10% de la variación total de los puntajes, tanto de lengua y de matemática, como en el nivel primario y secundario. Es decir, más allá de las características propias de la matriz de coeficientes de cada nivel educativo y de cada asignatura, el efecto global de la ‘composición’ del alumnado en la escuela explica la mayor parte de las diferencias registradas entre los puntajes promedios de las escuelas.
Dada esta modificación en las estimaciones, se observa que ahora, la variación inexplicada de los puntajes promedios de las aulas, dentro de las escuelas, es superior al ‘residuo’ dejado en el nivel escuela, en ambos niveles educativos y materias. En matemática del secundario es donde se observa la distancia más notable. Podría aducirse que la composición a nivel escuela no tendría porqué incidir en la variación ‘inter-aula’. Para que ello fuera posible, el indicador de ‘composición’ debería estar definido en el nivel aula. Sin embargo, en un estudio anterior (Cervini, 2006), centrado en matemática y lengua del secundario, se ha demostrado que aún cuando el indicador de ‘composición’ analizado se refiera al aula, no se registran cambios en ese nivel, sino en el nivel inmediato superior, “lo cual sugiere homogeneidad contextual de las aulas dentro de la escuela, es decir, las aulas no implican selectividad “intra-escuela” respecto de los indicadores analizados” (Cervini, 2006:85-86).
Es pertinente ahora registrar los cambios sucedidos en la magnitud estimada de la ‘responsabilidad’ de la institución escuela, en relación con el modelo inicial ‘vacío’ (‘efecto escuela bruto’). El número de niveles de agregación especificado, primero, y la incorporación al análisis de las características extra-escolares tanto individuales del alumno como grupales de la escuela, en segundo lugar, han arrojado una estimación del ‘efecto escuela neto’ muy inferior a aquella estimación inicial. En promedio, se ha conseguido ‘explicar’ alrededor del 60% de la variación de los puntajes promedio de las escuelas, y como consecuencia, el nivel ‘aula’ se torna ahora, tan o más importante que la escuela, respecto de la variación total ‘inexplicada’ final de los logros en matemática y lengua de ambos niveles educativos.
Finalmente, se calculan las covarianzas y las correlaciones entre los puntajes promedios de ambas asignaturas en el nivel escuela. Ahora, tales correlaciones son 0,801 y 0,783 en el nivel primario y secundario, respectivamente, valores inferiores a los correspondientes estimados en los modelos vacíos iniciales - .917 y .913 (Cuadro 3). Entonces, cuando las estimaciones surgen de un modelo con mayor cantidad de niveles especificados y están ‘ajustadas’ por los factores extra-escolares, tales correlaciones disminuyen notablemente. Por lo tanto, la consistencia entre los juicios acerca del ‘efecto institucional’ basados en los dos criterios diferentes analizados (matemática y lengua) tiene mayor probabilidad de alterarse si esos factores son tenidos en cuenta.
5. CONCLUSIONES
Hacia finales de los años noventa, la revisión de numerosos estudios internacionales arrojaban la idea de que el ‘efecto escuela neto’ sobre las diferencias de rendimiento de los alumnos, en promedio, gira en torno del 8% (Sammons, 2001). En los países del Tercer Mundo esa cifra sería notablemente mayor. Sin embargo, el análisis de los datos de Argentina muestra que en realidad, la magnitud del efecto escuela es muy próxima a la estimada para los países desarrollados.
La estimación del efecto escuela en cualquier estudio está condicionada por algunos aspectos metodológicos claves, y ellos determinan la comparabilidad entre regiones o países. En primer lugar, sólo son comparables entre sí los estudios que utilicen modelos jerárquicos lineales o ‘multinivel’.
En segundo lugar, el número de niveles de agregación especificados en tales modelos afecta fuertemente las estimaciones. Si se desea obtener una estimación confiable del ‘efecto escuela’, es necesario especificar al menos, un nivel de agregación inferior (aula) y uno superior (municipalidad, provincia o estado) al nivel escuela. Cuanto mayor sea el número de unidades en el nivel superior, más confiable serán las estimaciones. Si no se cumplen estas condiciones seguramente se estará sobredimensionando el ‘efecto escuela’.
Sin embargo, tales condiciones son difíciles de cumplir. La extensión de la mayoría de los estudios no permite la especificación de todos esos niveles con un número de unidades suficiente para lograr estimaciones confiables en cada uno de ellos. Sólo las evaluaciones censales o investigaciones de gran aliento ofrecen esas condiciones. Por tanto, las estimaciones del ‘efecto escuela’ basadas en datos que no permiten especificar más que 2 o 3 niveles, incluido el alumno, deben ser consideradas sobredimensionadas, y por tanto, provisorias e indicativas, sujetas a confirmación posterior.
En tercer lugar, la disponibilidad de variados y buenos indicadores sobre el origen socioeconómico y cultural del alumno individual es otra condición clave. La variedad de indicadores ayuda a maximizar la medición del efecto de los factores familiares extra-escolares. Ello es particularmente relevante cuando el estudio se refiere a alumnos del nivel primario, dada la menor confiabilidad de las mediciones obtenidas con instrumentos auto-aplicados por tales alumnos.
Sobre la base de estos indicadores individuales, se debe construir mediciones de ‘composición’ del alumnado en la escuela e incluirlas en al análisis, una de las maneras eficaces de “controlar” el efecto del contexto institucional. Esta operación es esencial para distinguir la proporción de la variación de los rendimientos promedios de las escuelas debida a factores escolares y extra-escolares (“efecto escuela bruto”) de aquella que podría ser causada por características propias de la institución escuela (“efecto escuela neto”). La validez y confiabilidad de estas mediciones, sin embargo, dependen de la calidad de las mediciones incluidas a nivel individual (alumno).
Finalmente, la evaluación del ‘efecto escuela’ requiere contar con indicadores del desempeño académico precedente de cada alumno, preferentemente obtenidos con suficiente antelación al momento de la evaluación que se esté analizando. Sin embargo, en los estudios censales o de muestras extendidas, esta tarea es muy difícil de lograr y requiere recursos importantes. En este estudio se incluyeron las notas del alumno en el año anterior como un proxy. Esta variable se mostró con buena capacidad explicativa respecto de la variación inter-alumno (`’intra-aula’) en ambas materias, superando a los indicadores de nivel socioeconómico del alumno individual. Agregado a nivel escuela (‘composición’), la medición tiende a superponerse (‘colinealidad’) con los indicadores del contexto socioeconómico. Entonces, si bien no ayuda directamente en la reducción del ‘residuo’ del nivel escuela, contribuyen significativamente a la bondad de ajuste de los modelos analizados.
El análisis de los datos censales de Argentina permitió explicitar los efectos de todos estos aspectos metodológicos en los resultados finales. En primer lugar, el “efecto escuela bruto” cae abruptamente según la cantidad de niveles especificados. Así por ejemplo, cuando se refiere a matemática del nivel primario, el “efecto escuela bruto” cae de 32,3% cuando se lo estima con un modelo de dos niveles (alumno, escuela), a 20,8% cuando se lo estima con un modelo de 4 niveles de agregación. En segundo lugar, la inclusión de variables de ‘composición socioeconómica’ en el modelo, reduce esa magnitud a 9,4%. En ninguno de los otros modelos finales esta estimación supera el 9%.
Estas últimas estimaciones deberían considerarse aproximaciones al máximo valor posible del “efecto escuela neto”. En realidad, una parte de este ‘residuo’ del nivel escuela podría aún deberse a factores extra-escolares no medidos o medidos de forma no totalmente ajustada.
De estas últimas constataciones, sin embargo, no se debería inferir que el sistema educativo no afecta diferencialmente el nivel y la distribución de los aprendizajes. Los resultados indican que la variación ‘inter-aula’ (“intra-escuela”) oscila entre 10,4% con lengua de primaria a 14,8% en matemática de secundaria. Es decir, el ‘efecto aula neto’ sería superior al ‘efecto neto escuela’ y de esta forma, contribuiría significativamente a la explicación de las desigualdades producidas por el sistema educativo. Dado que no se detectó una incidencia significativa de los factores de ‘composición socioeconómica’ sobre la variación ‘inter-aula’ inicial, es muy probable que tal variación esté vinculada a factores típicamente educacionales, tales como métodos didácticos, prácticas de aprendizaje, organización de las interacciones maestro-alumno, etc.
Por otra parte, la variación de los niveles de equidad institucional (correlación entre factores extraescolares y rendimiento del alumno) encontrado durante el análisis de los datos en Argentina, sugieren que este aspecto debe también ser incluido para lograr un a medida mejor ajustada del ‘efecto escuela’. Finalmente, las posibilidades de análisis que ofrecen los modelos multinivel multivariados aconsejan su uso en esta tarea.
Finalmente, una observación metodológica. Todas estas conclusiones se basan en análisis alineados al enfoque tradicional de los estudios de eficacia escolar, donde las estimaciones se refieren a posiciones relativas de las unidades de análisis (en este caso, escuelas). Trabajos recientes han propuesto el uso de una metodología particular, apropiada para medir los efectos ‘absolutos’ de la escuela, en vez de los efectos relativos (Luyten, Tymms y Jones, 2009; Sammons y Luyten, 2009). Con base en un diseño de discontinuidad-regresión (regresión discontinua), se propone estimar los efectos de la edad sobre el logro de los alumnos en grados consecutivos, comparando los resultados de alumnos con fechas de nacimiento próximas pero que han sido ubicados en grados consecutivos diferentes. Los resultados indican que la mitad de la diferencia de logros entre los grados es debida a la edad y la otra mitad, al efecto ‘grado’, interpretable como el efecto absoluto de un año de escolarización adicional.
Esta metodología produce una estimación del efecto escuela notablemente superior al basado en el análisis de la varianza total del logro de los alumnos. Su gran ventaja es la aplicabilidad en estudios transversales, no requiriendo el control por el logro anterior del alumno. Pero por otro lado, la aplicabilidad de esta metodología dependen de la inexistencia de un sesgo sistemático en cómo son asignados los alumnos a los grados. Si existe ‘repetición’ de grado, entonces, el método exigiría excluir los alumnos repitentes. Por tanto, si tal repetición es elevada, la estrategia metodológica se torna poco confiable. En términos generales, la existencia de cualquier otro criterio de asignación diferente a la edad afecta la interpretación de los resultados. Además, los datos deben referirse a dos grados adyacentes y las pruebas aplicadas deben ser comparables (escala común) (Luyten, Tymms y Jones, 2009). Entonces, a pesar de su indudable atractivo como método alternativo a las estimaciones relativas, esta propuesta encontrará muchos obstáculos técnicos en países donde la asignación a los grados está afectada por diversos factores, que a su vez, influyen sobre los logros de aprendizaje.
Referencias bibliográficas
Aitkin, M. y Longford, N. (1986) :Statistical modelling issues in school effectiveness. Journal of the Royal Statistical Society A, 149, pp. 1-42.
Bryk, A. y Raudenbush (1992). Hierarchical Linear Models for Social and Behavioral Research: Applications and Data Analysis Methods. Newbury Park, CA:Sage
Cervini, R. (2005). The relationship between school composition, school process and mathematics achievement in secondary education in Argentina. International Review of Education, 51(2) 173-200. Institute for Education.
Hamburg: UNESCO. ISSN 0020-8566. (Consultado 15 de Julio de 2009) http://www.springerlink.com/content/x365g225k234887u/?p=8ca34e88c9fe40d39fbe44834799c35a&pi=4
Cervini, R. (2006). Los Efectos de la Escuela y del Aula sobre el Logro en Matemática y en Lengua de la Educación Secundaria - Un modelo multinivel. Perfiles Educativos, XXVIII (12), 68-97. Centro de Estudios sobre la Universidad. México: Universidad Nacional Autónoma de México. ISSN 0185-2698. (Consultado 15 de Julio de 2009). <http://redalyc.uaemex.mx/redalyc/src/inicio/ArtPdfRed.jsp?iCve=13201204>
Cervini, R. (2009a). Class, School, Municipal, and State Effects on Mathematic Achievement in Argentina: A Multilevel Analysis, School Effectiveness and School Improvement, 20(2), International Congress for School Effectiveness and Improvement, Lisse: Routledge (próxima publicación). (Consultado 15 de Julio de 2009) ISSN 0020-8566. http://www.informaworld.com/smpp/content~db=all~content=a910351349
Cervini, R. (2009b). Comparando la inequidad en los logros escolares de la educación primaria y secundaria de argentina: un estudio multinivel comparativo. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 7(1), 5-21. ISSN 1696-4713. http://www.rinace.net/reice/numeros/arts/vol7num1/art1.pdf. Consultado 22 Enero 2009
Cervini, R. y Nora, D. (2008). Algunos problemas metodológicos en los estudios de eficacia escolar: una ilustración empírica. En: Eficacia escolar y factores asociados en América Latina y el Caribe, Varios autores, pp.49–60, OREALC/UNESCO Santiago - Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE). ISBN 978-956-8302-97-9.
Coleman, J., Campbell, E., Hobson C., McPartland, J., Mood, A., Weinfeld, F. y York, R. (1966). Equality of Educational Opportunity, U.S. Department of Health, Education and Welfare, Office of Education. Washington: Government Printing Office
Goldstein, H. (1995). Multilevel statistical models. Londres: Edward Arnold.
Goldstein, H. Rasbash, J., Plawis, I., Draper, D., Browne, W., Yang, M., Woodhouse, G. y Healy, M. (1998). A user Guide to MlwinN. Londres: University of London.
Jencks,C. et.al.(1972), Inequality: a reassessment of the effects of family and schooling in America Basic, New York.
Luyten, H. Tymms, P. y Jones, P. (2009). Assessing school effects without controlling for prior achievement?. School Effecttiveness and School Improvement, 20(2), pp. 145-165.
Sammons, P. (2001) Fairer Comparisons of schools: The role of school effectiveness research in Promoting improvement. Trabajo presentado en The Meaning of Quality in Education Conference, 2-4 Abril 2001, Karlstad.
Sammons, P. And Luyten, H. (2009). Editorial article for special issue on alternative methods for assessing school effects and schooling effects. School Effecttiveness and School Improvement, 20(2), pp. 133-143.
Scheerens, J. y Bosker, R. (1997). The Foundation of Educational Effectiveness. Oxford:Pergamon.
{1} Para una revisión del ‘efecto composición’, ver Cervini (2005).
{2} Datos en: http://diniece.me.gov.ar/diniece/bases/Bases.php?codmenu=090102, consultado el 20 de Abril de 2005. Para el análisis, el Estado de Buenos Aires se divide en Gran Buenos Aires (Conurbano) y resto del Estado. En el relevamiento no fueron incluidos los siguientes Estados: Córdoba, Entre Ríos, Formosa, La Pampa y La Rioja.
{3} Datos en: http://diniece.me.gov.ar/concurso2006/basededatos.html, consultado el 30 de Noviembre, 2006.
{4} En general, se espera que las variables afecten principalmente a la varianza del nivel en el que están definidas. Las variables individuales del alumno deberían afectar principalmente la varianza del nivel alumno. Sin embargo, cuando la composición de los grupos (por ejemplo, en la escuela) respecto de esas variables individuales no es igual en todos ellos, se producirá también una caída de la varianza relativa a esos grupos (inter-escuela). Entonces, las variables explicativas del nivel individual (alumno) explicarán parte de la varianza individual y parte de la grupal (escuela).
{5} Obviamente, estas mediciones no poseen el mismo grado de confiabilidad que las obtenidas a través de pruebas objetivas estandarizadas aplicadas con anterioridad a los datos que están siendo analizados. Por ello, sólo pueden ser consideradas como ‘proxies’. |