.2013 - Volumen 6, Número
2
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
APLICACIÓN DE UN PROCEDIMIENTO PARA LA OPTIMIZACIÓN DE LA MEDIDA DE LA CONVIVENCIA ESCOLAR{1} |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
INTRODUCCIÓN Existe un acuerdo más o menos generalizado en concebir la convivencia escolar como el conjunto de prácticas de inclusión o de segregación, de participación o de subordinación, de solución pacífica o violenta, de las diferencias entre las personas, y de las adjetivaciones posibles que adquiere la convivencia, en una escuela singular y en un tiempo determinado (Fierro, 2013). No obstante los marcos conceptuales del que se desprende este constructo suelen contraponerse, traslaparse e incurrir en contracciones, dificultando con ello todo ejercicio de operacionalización y medición de este constructo. Parte de estas limitaciones trascienden al terreno idiomático observándose errores en su traducción que hacen aún más complejo su estudio y comprensión. Ante este panorama, el marco conceptual propuesto por UNESCO ha sido muy útil para precisar la naturaleza teórico conceptual de este constructo (Hirmas y Carranza, 2009). A su vez, ha inspirado el desarrollo de cuerpos del conocimiento que contribuyen a clarificar su entramado conceptual sentando las bases para el diseño y desarrollo de instrumentos que permitan la medición de la convivencia en contextos educativos. Así, dado el valor y trascendencia que ocupa en la agenda educativa internacional el tema de la convivencia escolar, resulta imprescindible contar con instrumentos de medición que permitan caracterizar este fenómeno de manera objetiva. La medición apropiada de este constructo contribuiría a establecer las bases para el diseño e implementación de intervenciones específicas y la definición de políticas públicas orientadas a erradicar las diversas expresiones de exclusión, inequidad, falta de participación y violencia, que se observan en el contexto escolar. A este respecto, recientemente Fierro y Tapia (2012, 2012b), con base en la integración de un modelo que concibe a la convivencia escolar como un proceso intersubjetivo, institucional y sociocultural, y que reconoce en su conformación las dimensiones de inclusión, democracia y paz, identificaron un conjunto de indicadores que sirvieron como insumo al diseño, desarrollo y validación del Cuestionario de Convivencia Escolar (Chaparro, Caso y Fierro, 2012). La aplicación del Cuestionario de Convivencia Escolar (CCE) a una muestra conformada por 1,259 estudiantes de educación secundaria, permitió conocer las propiedades psicométricas de sus ítems y del instrumento. Si bien la totalidad de los ítems de las tres dimensiones se ajustaron a la expectativa del modelo Rasch-Masters en cuanto a sus valores de dificultad, discriminación, correlación punto biserial y ajuste próximo y lejano, el análisis factorial exploratorio dejó fuera a un número considerable de ítems, arrojando una versión reducida del instrumento (inclusión k=45; democracia k=20; paz k=44), con índices de consistencia interna y niveles de varianza explicada aceptables (Chaparro, Caso, Fierro y Díaz, en prensa). Si bien esta versión del instrumento, conformada por 109 ítems, posibilita la medición y caracterización del constructo en evaluaciones a gran escala, buena parte de las evaluaciones a gran escala consideran indispensable la recolección de información de un conjunto más amplio de variables en un mismo momento, mediante la aplicación de los comúnmente denominados cuestionarios de contexto, lo que sugiere la necesidad de instrumentar metodologías orientadas a la reducción de dichos instrumentos. El uso de metodologías para la optimización de la medida de constructos complejos propone la construcción de micro-instrumentos de medida a partir de instrumentos diseñados para un constructo específico. El conjunto de procedimientos en que se sustenta permite identificar los ítems clave que aporten información suficiente, con un elevado grado de confiabilidad y validez, similar a la que se produciría con la totalidad del cuestionario o escala (Jornet, González-Such y Perales, 2012). En resumen, esta metodología busca seleccionar los ítems de la escala que mejor permitan mantener las características métricas de la misma. El objetivo es ir reduciendo el instrumento, eliminando aquellos ítems que tengan un comportamiento menos claro o aporten menos información. Lo anterior permite obtener una mayor cantidad de información con el menor número de ítems así como reducir la extensión de los instrumentos, el tiempo y número de sesiones de aplicación, a la vez de identificar los ítems con mayor poder de discriminación y disminuir el número de no respuestas (López-González, Tourón y Tejedor, 2012), condiciones deseables en evaluaciones que exigen el empleo de estos cuestionarios de contexto. A fin de contar con una versión reducida del Cuestionario de Convivencia Escolar que permita la medición y caracterización de este constructo en estrategias evaluativas más amplias, se propuso aplicar los procedimientos indicados en la metodología para la optimización de constructos complejos propuesta por Jornet y colaboradores (2012), a la versión original de este instrumento. 1. MÉTODO 1.1. Participantes Participaron 1259 estudiantes (49.8% hombres y 50.2% mujeres) de primero (34.1%), segundo (36.1%) y tercer año (29.8%) de educación secundaria, de ambos turnos (79.1% matutino y 20.9% vespertino), con edades fluctuando entre los 11 y 16 años, procedentes de tres municipios del estado de Baja California, México (Tabla 1). Tabla 1. Características de la muestra
Fuente: elaboración propia 1.2. Instrumento Se aplicó la versión original del Cuestionario de Convivencia Escolar (Chaparro, Caso y Fierro, 2012) conformada por 183 reactivos con cuatro opciones de respuesta (nunca, pocas veces, frecuentemente y siempre), agrupados en las dimensiones de Inclusión, Democracia y Paz. Dichas dimensiones registran índices de consistencia interna de .94, .90 y .94, y porcentajes de varianza explicada del orden de 49.33%, 48.29% y 40.73%, respectivamente (los procedimientos asociados con el diseño, desarrollo y validación de este instrumento se encuentran disponibles en http://uee.uabc.mx/uee/documentos/estudiosYproyectos/UEERT12-004.pdf). 1.3. Procedimiento Los datos correspondientes a la muestra de estudiantes que respondieron la versión original del Cuestionario de Convivencia Escolar fueron tratados en apego a la metodología documentada por Jornet y colaboradores (2012), para la optimización de la medida de constructos complejos. El procedimiento consta de seis fases: (a) Fase 1: Exploración del comportamiento de los reactivos de la escala original; (b) Fase 2. Análisis de valores perdidos y decisiones sobre imputación; (c) Fase 3: Selección de reactivos a partir de su contribución a la confiabilidad de la escala; (d) Fase 4: Estimación del puntaje total de la versión reducida; (e) Fase 5: Exploración de la calidad de la versión reducida; y (f) Fase 6: Reducción y validación final del micro-instrumento. El procedimiento de optimización de la medida fue aplicado a las tres dimensiones de la versión original del Cuestionario de Convivencia Escolar. A continuación se presentan los resultados registrados en cada una de sus fases. 2. RESULTADOS Fase 1. Esta fase permitió identificar aquellos ítems que registraron escasa variabilidad de manera tal que aquellos elementos con una distribución atípica se eliminaron. Así, se identificaron aquellos ítems que presentaron más del 80% en un extremo de la escala, lo que permitió ubicar 29 reactivos con escasa variabilidad que al eliminarse arrojaron una nueva versión del instrumento de 154 ítems (Inclusión k=55, Democracia k=41 y Paz k=58). Fase 2. En esta fase se analizaron los valores perdidos con la expectativa de que su presencia fuera aleatoria y no respondiera a un patrón sistemático de no respuesta. Por ello, se procedió a sustituir con la mediana los valores perdidos para la versión de 154 ítems, lo que permitió además mantener el tamaño de la muestra. Fase 3. En esta fase se seleccionaron reactivos según diversos criterios de calidad métrica. Se obtuvieron índices de consistencia interna, se seleccionaron los elementos que mejor se relacionaron con el puntaje total del cuestionario y se eliminaron los elementos redundantes. Atendiendo estos criterios se detectaron 3 ítems de la dimensión Paz que al eliminarse incrementaron de forma considerable el índice de consistencia interna de esta dimensión. De igual forma se detectaron y eliminaron 14 ítems de las tres dimensiones que registraron una correlación punto biserial inferior a .30, y se eliminaron 5 ítems que presentaron una correlación mayor a .50 con otros elementos. Concluida esta fase se obtuvo una nueva versión del instrumento constituida por 132 ítems (Inclusión k=52, Democracia k=38 y Paz k=42). Fase 4 y 5. Se estimó la puntuación total del instrumento a través de la suma total de puntuaciones de los ítems y se exploró la calidad de la versión reducida mediante el índice de confiabilidad global para poder corroborar el tamaño de la pérdida en confiabilidad de la versión resultante de la fase anterior. Se atendieron los procedimientos siguientes: (a) se determinó la discriminación de los ítems mediante la prueba t contrastando las medias de cada ítem entre los grupos extremos (33% superior e inferior); (b) se analizaron los ítems considerando la pérdida en el coeficiente de confiabilidad si se elimina el ítem; (c) se obtuvo el índice de homogeneidad corregido de los ítems; y (d) se analizó el poder discriminativo de cada reactivo mediante árboles de segmentación. Posteriormente se ordenaron los ítems en función de estos indicadores, estableciendo los rangos para cada indicador y un rango promedio, el cual sirvió como referencia para el proceso iterativo de validación posterior. Fase 6. Con base en los resultados de la fase anterior se redujo el instrumento en el que se comprobó la calidad global de la información en tres niveles: (a) uso de la puntuación total; (b) calidad del instrumento para clasificar a los alumnos; y (c) mantenimiento de las características sustantivas (teóricas o de calidad métrica) del instrumento. Al atender este procedimiento la versión final quedó conformada por 31 ítems (Inclusión k=12, Democracia k= 9; y Paz k=10), registrándose correlaciones del orden de .938, .932 y .932 entre las dimensiones de inclusión, Democracia y Paz, y de .968 entre las versiones de 183 y 31 reactivos (Tabla 2). Tabla 2. Correlaciones entre las dimensiones del micro-instrumento (k=31) y la versión original (k=183) del Cuestionario de Convivencia Escolar
Fuente: elaboración propia Tabla 3. Porcentaje de clasificación de grupos de estudiantes con alto y bajo puntaje del micro-instrumento (k=31) y la versión original (k=183) del Cuestionario de Convivencia Escolar
Fuente: elaboración propia Por su parte, las dimensiones de Inclusión, Democracia y Paz del micro-instrumento registraron índices de consistencia interna de .930, .907 y .919, respectivamente, y explican en conjunto el 45.301% de la varianza (Tabla 4), valores aceptables de acuerdo con diversos sistemas de referencia. Tabla 4. Índices de consistencia interna y porcentaje de varianza explicada del micro-instrumento (k=31) y la versión original (k=183) del Cuestionario de Convivencia Escolar
Fuente: elaboración propia Finalmente, en la tabla 5 se presentan los 31 ítems que conforman la versión final del micro-instrumento, así como sus descriptivos asociados. Tabla 5. Medias, desviación estándar y distribución de las frecuencias de los ítems de la versión reducida(micro-instrumento) del Cuestionario de Convivencia Escolar (k=31)
Fuente: elaboración propia A manera de síntesis se presenta la siguiente tabla, la cual ilustra el proceso de reducción de ítems del Cuestionario de Convivencia Escolar (Tabla 6). Tabla 6. Proceso de reducción de ítems del Cuestionario de Convivencia Escolar
Fuente: elaboración propia 3. DISCUSIÓN El presente trabajo forma parte de un esfuerzo colectivo de un grupo de especialistas interesados en el estudio de la convivencia escolar en México. El diseño, desarrollo y validación del Cuestionario de Convivencia Escolar permitirá, en el corto plazo, caracterizar a muestras considerables de estudiantes mexicanos y realimentar la situación que guardan los centros escolares en esta materia. El contar con un modelo explicativo de referencia, con la definición de los constructos implicados y la selección rigurosa de los indicadores que emergen de dicho marco, respaldan la validez de las inferencias que de su uso se desprendan, componentes comúnmente ausentes en la medición de constructos complejos en contextos educativos. Por su parte, contar con una versión reducida de este instrumento, contrarresta en gran medida las limitaciones asociadas con el uso de este tipo de instrumentos en la evaluación a gran escala. El apego a una metodología robusta que acompañe el proceso de reducción del instrumento permite mantener las cualidades sustantivas del constructo evaluado y asegurar la correspondencia y representatividad de las dimensiones que lo constituyen, por lo que resultan ser más eficaces, eficientes y funcionales (Jornet y colaboradores, 2012). Los índices de consistencia interna y porcentajes de varianza explicada observados en el micro-instrumento, la consistencia entre los índices de correlación y los porcentajes de clasificación observados entre versiones, y las implicaciones de orden práctico asociadas con la reducción de la extensión de los instrumentos, así lo sugieren. Con todo y lo alentador de estos resultados, quedan aún acciones por realizar. En primera instancia, resulta de vital importancia documentar las propiedades psicométricas del instrumento en muestras más amplias y en que solamente se incluyan los reactivos que conforman el micro-instrumento. En segundo lugar, se requiere del empleo de técnicas estadísticas que permitan, por un lado, conocer la estructura que subyace al micro-instrumento, y por otro, confirmar el modelo de medida propuesto. Finalmente, requiere proponerse el diseño de investigaciones que documenten la validez de criterio del Cuestionario de Convivencia Escolar. En lo particular, se propone la aplicación simultánea de instrumentos válidos y confiables orientados a la medición y caracterización de este constructo o de constructos afines. La Escala de Convivencia Escolar (Caso, Chaparro, Díaz y Urias, 2012), el Cuestionario de Violencia Escolar – R (Álvarez-García, Núñez, Rodríguez, Álvarez y Dobarro, 2011) y el Cuestionario de Exposición a la Violencia (Orue y Calvete, 2010), representan alternativas viables para dicho propósito. REFERENCIAS Álvarez-García, D., Núñez, J. C., Rodríguez, C., Álvarez, L. y Dobarro, A. (2011). Propiedades Psicométricas del Cuestionario de violencia escolar Revisado (CUVE-R). Revista de Psicodidáctica, 16(1), 59-83. Recuperado de: http://www.ehu.es/ojs/index.php/psicodidactica/article/view/1146 Caso, J., Chaparro, A., Díaz, C. y Urias, E. (2012, enero-octubre). Propiedades psicométricas de las escalas, cuestionarios e inventarios de la Estrategia Evaluativa Integral 2011: Factores Asociados al Aprendizaje. UEE RT 12 - 002. Universidad Autónoma de Baja California. México. Chaparro, A., Caso, J., Fierro, C. y Díaz, C. (2013, en prensa). Diseño, desarrollo y validación del Cuestionario de Convivencia Escolar. Chaparro, A., Caso, J. y Fierro, C. (2012). Validación psicométrica de indicadores de convivencia democrática, inclusiva y pacífica. CONCYTEG. Reporte de resultados 1ª y 2ª etapas. Fierro, C. (2013). Convivencia inclusiva y democrática. Una perspectiva para gestionar la seguridad escolar. Sinéctica, 40. Recuperado de: Fierro, C. y Tapia, G. (2012a). Una aproximación al concepto de convivencia escolar. México: COMIE. Fierro, C. y Tapia, G. (2012b). Hacia un concepto operacional de convivencia escolar. Hirmas, C. y Carranza, G. (2009, noviembre). Matriz de indicadores sobre convivencia democrática y cultura de paz en la escuela. III Jornadas de Cooperación Iberoamericana sobre Educación para la Paz, la Convivencia Democrática y los Derechos Humanos. San José de Costa Rica. López-González, E., Tourón, J. y Tejedor, F. J. (2012). Diseño de un micro-instrumento para medir el clima de aprendizaje en cuestionarios de contexto. Bordón, 64(2), 111-126. Jornet, J., González-Such, J. y Perales, M. J. (2012). Diseño de cuestionarios de contexto para la evaluación de sistemas educativos: optimización de la medida de constructos complejos. Bordón, 64(2), 89-108. Orue, I. y Calvete, E. (2010). Elaboración y validación de un cuestionario para medir la exposición a la violencia en infancia y adolescencia. International Journal of Psychology and Psychological Therapy, 10(2), 279-292 ----------------- {1} La versión inicial de este artículo fue presentada y publicada en las memorias del I Congreso Iberoamericano de Violencia Escolar celebrado del 12 al 14 de junio de 2003, en Santiago de Chile |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||