1. Antecedentes

Este documento describe el desarrollo y proceso de validación inicial de nuevos instrumentos creados para medir atributos que complementan la prueba cognitiva estandarizada usada actualmente para la admisión de pregrado en Chile. Específicamente, los resultados de esta investigación influirán en el proceso de toma de decisiones en cuatro universidades que en la actualidad están considerando el potencial uso de estos instrumentos en sus procesos de admisión de alumnos de pregrado.

Los instrumentos desarrollados son:

(a) un Formulario Ampliado de Postulación, que solicita información académica en profundidad, información sobre participación en actividades extracurriculares, honores y premios recibidos, y puestos de liderazgo
(b) una Reflexión Personal
(c) un Ensayo de Pensamiento Crítico
(d) tres cuestionarios estandarizados, que evalúan estrategias metacognitivas, habilidades sociales y proactividad

Estas autoevaluaciones, instrumentos de recolección de información biográfica y ensayos fueron desarrollados con el propósito de medir los siguientes constructos: (1) motivación para el desarrollo personal, social y académico, y (2) pensamiento crítico. Todos estos son atributos considerados relevantes por un panel de de autoridades de la universidad y representantes de las facultades y de los estudiantes, quienes se reunieron durante el año 2007 para decidir cuáles eran las características de interés más importantes en un postulante.

Se espera que el desarrollo de estos nuevos instrumentos, y su futuro uso en admisión, disminuyan algunas de las bien conocidas ventajas dadas por los indicadores académicos tradicionales a los estudiantes de mayor nivel socioeconómico. Además, estos instrumentos enviarán una señal clara a los establecimientos educacionales sobre los atributos que éstos deberían ayudar a desarrollar, expandiendo así el curriculum anual de los estudiantes de último año de enseñanza secundaria, el cual actualmente está enfocado en la preparación de la prueba estandarizada de admisión a las universidades. El desarrollo de los instrumentos descritos en este documento da la oportunidad de considerar las múltiples dimensiones de inteligencia que son relevantes para el logro del éxito universitario y profesional. Los resultados además servirán de referencia para esfuerzos similares que se están realizando en otras partes del mundo.

En Chile existen actualmente 61 universidades, 25 de las cuales reciben directamente financiamiento público, en tanto que las otras 36 son instituciones privadas. Las instituciones que reciben fondos del Estado conforman el Consejo de Rectores de las Universidades Chilenas (CRUCH), creado en el año 1954, y entre cuyas principales funciones está la definición de  los criterios y procedimientos de postulación y selección a estos planteles de educación superior.

A partir del año 1967, el CRUCH estableció un mecanismo de admisión común, basado en atributos de carácter cognitivo: las calificaciones obtenidas por el alumno durante su enseñanza secundaria y su desempeño en pruebas estandarizadas diseñadas para el proceso de selección{1}. Desde el año 1967 hasta el año 2002, las pruebas estandarizadas de admisión fueron la Prueba de Aptitud Académica (PAA), y la Prueba de Conocimientos Específicos (PCE). La PAA consistía de dos instrumentos (PAA Verbal y PAA Matemáticas), y fue diseñada para medir la capacidad académica de los egresados de la educación secundaria, centrándose en las habilidades del estudiante. Por otro lado,  en las PCE, los contenidos evaluados provenían del currículo oficial de la enseñanza secundaria.

En el año 2003, la PAA y las PCE fueron sustituidas por la Prueba de Selección Universitaria (PSU), un conjunto de pruebas  desarrollada y administrada por el Departamento de Evaluación, Medición y Registro Educacional (DEMRE){2}. La PSU consiste en cuatro instrumentos de evaluación cognitiva que miden la capacidad de razonamiento de los postulantes egresados de la enseñanza secundaria, teniendo como referente el currículo común de primero a cuarto año de enseñanza secundaria. Estas pruebas son: Lenguaje y Comunicación, Matemática, Historia y Ciencias Sociales, y Ciencias. Esta última prueba incluye un módulo común y otro a elección entre Biología, Física y Química. Los candidatos deben rendir en forma obligatoria la prueba de Lenguaje y Comunicación y la de Matemática, y pueden elegir entre la prueba de Historia y Ciencias Sociales y la de Ciencias (para mayor información revisar el sitio www.cruch.cl).

En la actualidad, la Pontificia Universidad Católica de Chile (PUC) está liderando un estudio que busca complementar los criterios utilizados actualmente en la admisión a la educación superior, evaluando la posibilidad de incluir la medición de atributos no cognitivos y la capacidad de pensamiento crítico de los postulantes. La  PUC es una de las dos instituciones de educación superior más prestigiosas del país, siendo reconocida tanto por la calidad de sus programas de pregrado y postgrado, como por su investigación. Cada año esta universidad recibe alrededor de 21.000 postulaciones, seleccionando alrededor de 3.300 estudiantes.

Durante el año 2008, se sumaron a esta investigación otros planteles de educación superior pertenecientes al CRUCH: la Universidad de Concepción, la Universidad de Santiago y la Universidad Técnica Federico Santa María. La participación de estas universidades en el estudio, junto a la de 20 establecimientos de educación secundaria, aumentó de manera significativa la validez de los resultados obtenidos.

2. Revisión bibliográfica

La literatura estadounidense sobre el proceso de admisión a las instituciones de educación superior da cuenta de que un gran número de colleges y universidades han decidido complementar los indicadores académicos tradicionales con indicadores de atributos personales relevantes para cada institución. Esta incorporación se ha hecho a la luz de las misiones institucionales y como una manera de disminuir las diferencias que han existido entre grupos socioeconómicos al utilizarse criterios académicos tradicionales (Breland, Maxey, Gernand, Cumming, & Trapani, 2001; Geiser & Santelices, 2007; Rigol, 2003; Zwick & Grief Greene, 2007).
Aunque ha sido un ejercicio común entre las instituciones privadas desde hace mucho tiempo, las cifras de la Encuesta de Prácticas de Admisión (Breland et al., 2001; 2000) sugieren que también se ha extendido a las instituciones públicas. Las decisiones de admisión consideran diferentes dimensiones del postulante dependiendo de la misión y filosofía institucional (Perfetto, 1999). Por ejemplo, algunas instituciones ponderan en un mayor porcentaje los indicadores académicos, mientras otras le dan un mayor valor al potencial que tiene el postulante para contribuir a la institución. Este alineamiento entre la misión institucional y los criterios de admisión tiene una importancia fundamental y su consistencia debería ser monitoreada constantemente (College Board, 2002).

Desde un punto de vista teórico, además, la medición y consideración de múltiples atributos en los postulantes a una institución de educación superior se fundamenta en al menos dos paradigmas de la psicología de la intelegencia: (1) el paradigma de las inteligencias múltiples (Gardner, 1983) y (2) el paradigma de la inteligencia emocional (Goleman, 1996). Gardner enfatiza que cada inteligencia  es un sistema en sí mismo, que éstas son independientes entre si pero que a la vez interactúan. Goleman por su parte considera que la inteligencia emocional es una metahabilidad que determina el éxito con que podemos utilizar otras habilidades (Rosas, Boetto, & Jordan, 2004).

La evidencia ha confirmado la importancia de las habilidades no cognitivas para lograr el éxito tanto en las escuelas de postgrado como en la vida laboral (Heckman & Rubinstein, 2001; Kyllonen, 2005). Dada esta importancia, el College Board, ETS y ACT han estado realizando varios proyectos enfocados en el desarrollo de evaluaciones no cognitivas, con una variedad de propósitos y en diversos contextos educacionales (Camara, 2007; Kyllonen, 2005; Robbins, Lauver, Le , Davis, Langley, & Carlstrom, 2004).

El College Board junto con investigadores de la Universidad del Estado de Michigan han estado desarrollando instrumentos que combinan preguntas de  juicio situacional y de información biográfica para evaluar los constructos que hay detrás de la declaración de misión de 35 instituciones de educación superior de Estados Unidos.  Hace un par de años se terminó un primer estudio, realizado con aproximadamente 2.000 estudiantes y 10 instituciones, y posteriormente se inició otro de mayor envergadura (8.000 estudiantes y 15 instituciones). Esta iniciativa ha abordado, entre otras cosas,  el falseamiento de la información, especialmente de la información biográfica (P. Kyllonen 2007), y los costos y políticas de implementación. Para mayor información ver: http://iopsych.msu.edu/cbstudy/index.htm. 

Por otro lado, ETS estrenó en julio de 2009 la carta de recomendación estandarizada. El Personality Potential Index (PPI) es un sistema de calificación en línea en el cual los evaluadores califican los futuros estudiantes de postgrado, complementando así el puntaje obtenido por éstos en el GRE. El PPI fue desarrollado a partir de investigación en profundidad sobre los atributos más importantes para lograr el éxito y ha sido piloteado con practicantes de verano del ETS (Liu, Minsky, Ling, & Kyllonen, 2009). Este índice proporciona una imagen del candidato que va más allá de las calificaciones y de los puntajes en las pruebas, enriqueciendo el proceso de evaluación y permitiendo a los estudiantes dar evidencia de un amplio rango de capacidades (http://www.ets.org/ppi).

Robert Sternberg también ha dirigido importantes esfuerzos en el desarrollo e implementación de evaluaciones no cognitivas, basados en décadas de investigación acerca de su “teoría de la inteligencia triárquica” (práctica, creativa y analítica) (Sternberg, 1999, 2003). Su primer proyecto tuvo lugar en la Escuela de Negocios de la Universidad de Michigan, en donde experimentó con mediciones de inteligencia práctica, incluyendo ítems de juicio situacional y problemas de caso. El Proyecto Arcoiris (Rainbow Project), patrocinado por el College Board, fue su segundo intento e involucró admisiones de pregrado en un grupo de universidades. Los instrumentos de evaluación no cognitiva fueron de tres tipos: (1) Creativo – Interpretando caricaturas; escribiendo ensayos,  (2) Analítico- Mediciones tradicionales de habilidad, y (3) Práctico -  Pruebas de juicio situacional. La iniciativa más reciente de Sternberg, el Proyecto Caleidoscopio (Kaleidoscope Project), también trabajó con procesos de admisión de pregado y se desarrollo en la Universidad Tufts. Las mediciones incluyeron ensayos optativos, evaluados por su creatividad (“qué pasa si”), capacidad práctica y sabiduría, usando una rúbrica de corrección.

También en Estados Unidos, Robbins, Allen & Sawyer (2007) estudiaron la capacidad del Inventario de Preparación del Estudiante (STI) para predecir el promedio de notas y la persistencia en primer año de universidad. El STI fue desarrollado por investigadores de ACT (Le, Casillas, Robbins, & Langley, 2005) y tuvo como objetivo medir motivación, hábitos de estudio, auto control y participación social. Oswald et al. (2004) estudiaron la validez de un instrumento de medición de datos biográficos y de un inventario situacional en una muestra de 600 estudiantes de college. Los autores basaron el desarrollo de los instrumentos en doce constructos relevantes para la admisión, agrupándolos en tres dimensiones (cognitiva, personal e interpersonal) e indagaron en la capacidad de estas mediciones para predecir la asistencia a clases durante el primer año de universidad y el  promedio de notas del alumno. Estos dos estudios en particular sirvieron como modelo para el diseño y la metodología de la investigación presentada en este artículo.

Durante los últimos años, en Europa han comenzado una serie de proyectos de evaluación no cognitiva. Algunas universidades alemanas y austriacas están implementando autoevaluaciones para  ayudar a los estudiantes a elegir apropiadamente sus carreras (ver EAPA Symposium, 2007), reduciendo así la tasa de deserción. Las nuevas mediciones incluyen evaluación  de la personalidad, inventarios de interés y test cognitivos.

Los estudios que han explorado la validez de estos instrumentos en las universidades han arrojado que sólo contribuyen moderadamente a predecir los resultados académicos de corto y/o largo plazo como las calificaciones, pero que pueden mejorar la predicción de definiciones más amplias de éxito universitario (incluyendo liderazgo y participación cívica), así como también la predicción de la persistencia y de las tasas de graduación. La consideración de estos atributos también tiene como consecuencia menores diferencias en el desempeño de estudiantes de distintos grupos socio-demográficos (Camara, 2005; Cliffordson & Askling, 2006; Willingham, 1985).

2.1. Preguntas de investigación

Este artículo tiene las siguientes preguntas de investigación:

1) ¿Cuál es la validez y confiabilidad de los nuevos instrumentos?
2) ¿Cuál es la relación entre el desempeño en los nuevos instrumentos y las características sociodemográficas de los estudiantes?
3) ¿Cuál es la relación entre el desempeño en los nuevos instrumentos y el desempeño de los estudiantes en los indicadores de admisión actual?

3. Instrumentos, muestra, corrección y metodología

La siguiente sección presenta detalles sobre los instrumentos y su proceso de desarrollo, la muestra de estudio y las pautas de corrección. Por su parte, la sección de metodología explica el análisis realizado.

3.1. Instrumentos y su proceso de desarrollo

Los cuatro tipos de instrumentos de esta investigación fueron desarrollados en base a un perfil de postulante, el cual fue definido por un comité formado tanto por  autoridades de la Pontificia Universidad Católica de Chile, como por estudiantes y representantes de las facultades. Este perfil incluyó una serie de atributos personales, interpersonales y académicos de los cuales se escogieron aquellos más factibles de ser evaluados de forma estandarizada y que pudiesen ser interesantes para otras universidades. En base a la literatura de medición de estas habilidades,  se decidió poner foco en la evaluación de pensamiento crítico y de la motivación para el desarrollo académico, personal y social{3}. Las evaluaciones fueron desarrolladas en base a la definición de constructos encontrada en la literatura y el proceso incluyó el desarrollo de ítems por el equipo del proyecto, los aportes de los colegios participantes, la asesoría de miembros de las facultades y de un experto internacional del ETS, entrevistas en profundidad con estudiantes universitarios y una aplicación de pre-pilotaje. La tabla 1 muestra los constructos de interés y sus instrumentos.

Tabla 1. Dimensiones e instrumentos

3.1.1. Ensayo de Pensamiento Crítico

Se desarrolló un ensayo para medir pensamiento crítico, entendido como una habilidad de pensamiento reflexivo y cuestionamiento que se expresa a través de la capacidad de argumentación. Los estudiantes recibieron aleatoriamente uno de dos temas disponibles, los cuales presentaban dos posiciones opuestas en relación a un tópico general. Se pidió a los estudiantes analizar los argumentos que fundamentaban cada una de las posiciones, elegir una posición y explicar su decisión. La pauta de corrección del Ensayo de Pensamiento Crítico constó de diez sub-dimensiones teóricamente divididas en dos grupos: (1) el contenido o calidad de la argumentación y (2) aspectos formales. La dimensión de contenido incluyó la calidad del análisis de los argumentos dados, la presencia y calidad de la tesis, la formulación de argumentos, la coherencia de la argumentación en contra de uno o más contra-argumentos, la existencia y calidad de la conclusión, y la reflexión acerca de su propio punto de vista. Por otro lado, la sub-dimensión de aspectos formales incluyó la evaluación de la ortografía, el vocabulario, la cohesión textual, el uso de párrafos y una evaluación general.

3.1.2. Formulario Ampliado de Postulación

Se desarrollaron dos instrumentos con el objetivo de evaluar el nivel de motivación para el desarrollo personal, la participación social y cívica, y el desarrollo académico. El primero fue el Formulario Ampliado de Postulación, el cual se enfocó en la manifestación conductual de la motivación, recogiendo datos biográficos a través de preguntas cerradas agrupadas en tres sub-secciones: (1) participación en actividades extracurriculares, (2) honores y premios y (3) liderazgo. Además, el formulario tenía una pregunta final que solicitaba dar una explicación a los estudiantes que no habían participado en ninguna actividad durante su enseñanza secundaria. Cada estudiante podía reportar hasta un máximo de cinco actividades extracurriculares, tres premios y un cargo de liderazgo. Además, se solicitó la información de contacto de las personas o instituciones relacionadas con el desarrollo de esas actividades, con el fin de evaluar, en una muestra aleatoria, la veracidad de la información entregada por los estudiantes y disuadirlos de entregar información falsa{4}.

3.1.3. Reflexión Personal

El segundo instrumento desarrollado para medir motivación fue el ejercicio de Reflexión Personal, en el cual se solicitó a los estudiantes utilizar hasta tres actividades que fueran interesantes para ellos con el fin de ejemplificar (1) cómo encaran la dificultad, (2) cuánto perseveran, (3) cuál es su percepción de la autoeficacia, (4) describir su locus de control y (5) su capacidad para aprender desde la experiencia y proyectarse hacia el futuro. Aunque se trató de un ejercicio escrito, no se revisaron aspectos como ortografía y vocabulario.

3.1.4. Cuestionarios estandarizados

Se administraron tres cuestionarios cortos de alternativas múltiples, con el fin de evaluar proactividad, estrategias metacognitivas y habilidades sociales. Estos cuestionarios son mucho más fáciles de administrar y corregir que los ensayos, y por lo tanto su desempeño tuvo un especial interés para procesos de admisión de pregrado que podrían incluir entre 5.000 y 150.000 postulaciones. Estos cuestionarios ya habían sido desarrollados, y las alternativas de respuesta consistían en es escalas Likert cuyas opciones varían desde “totalmente de acuerdo” a “totalmente en desacuerdo”.

3.1.5. Otros instrumentos

Además de los cuatro tipos de instrumentos descritos anteriormente, se administraron dos instrumentos adicionales, sólo como parte del estudio y sin intención de usarlos en el proceso de admisión. Estos instrumentos fueron el Cuestionario del Profesor y el Cuestionario de Deseabilidad Social (que es la traducción al español de la escala de Marlowe-Crowne). En el caso de este último instrumento, su incorporación tuvo como objetivo monitorear el grado de influencia de la deseabilidad social en las respuestas dadas por los alumnos, un problema recurrente en las mediciones no cognitivas. Este cuestionario consistía en ítems con respuestas de opción múltiple y fue administrado a los estudiantes junto con los instrumentos descritos arriba.

Por otro lado, el Cuestionario del Profesor fue desarrollado especialmente para este estudio, siendo  distribuido y completado durante las dos semanas previas a la aplicación de instrumentos en las escuelas. Los profesores llenaron una página con preguntas cerradas por cada estudiante del curso. Se pidió a los profesores calificar a cada estudiante en constructos no cognitivos tales como: motivación por aprender, autoeficacia, visión de futuro, liderazgo, responsabilidad social, participación en actividades extracurriculares, entre otros. La escala de respuesta fue de cuatro puntos y la evaluación del alumno siempre estuvo referida a su relación con el resto de la clase. El Cuestionario del Profesor también incluyó preguntas relacionadas con el tiempo que el profesor conocía al estudiante y la profundidad de ese conocimiento, de manera de excluir del análisis aquellos casos en que el profesor no tenía suficiente información para caracterizar adecuadamente a los alumnos. Este instrumento fue administrado con el objetivo de recolectar información de una tercera persona que permitiese la triangulación de la información auto-reportada por el alumno, lo cual permite analizar la validez de las mediciones que se han estado desarrollando.

3.2. Muestra

La recolección de datos fue realizada durante el año 2008, sin consecuencias para los estudiantes que participaron del estudio. La batería de instrumentos fue administrada a una muestra de aproximadamente 1.400 estudiantes de primer año de varias carreras en cuatro instituciones de educación superior (ver tabla 2), todas miembros del CRUCH, y aproximadamente 1.600 estudiantes de último año de enseñanza secundaria de colegios particulares pagados, particulares subvencionados y municipalizados (los tres tipos de dependencia administrativa predominantes en el país). Se incluyeron estos dos grupos con el objetivo de obtener datos lo más parecidos posibles a los de un postulante universitario. Si bien el escenario ideal habría sido evaluar a los postulantes al mismo tiempo que rendían la prueba estandarizada para la admisión a la universidad (PSU), en esas circunstancias los estudiantes habrían tenido pocos incentivos para participar en el ejercicio, y aquellos que hubiesen participado podrían no ser necesariamente representativos de la población estudiantil.

En vez de esto, se decidió evaluar a los estudiantes en ambientes educacionales formales en los que podrían ser encontrados más fácilmente y evaluados de forma estandarizada. Cabe señalar al respecto que los estudiantes de último año de enseñanza secundaria se asemejan mucho a los postulantes universitarios, especialmente a finales de su último año, y los estudiantes de primer año de universidad son también parecidos a  los postulantes, especialmente a comienzos del primer año de universidad, cuando aún no han sido modificados por la experiencia universitaria{5}. En base a estas consideraciones, la información de los estudiantes de primer año de universidad fue recogida entre abril y julio de 2008{6} y para la muestra de escolares de último año fue recolectada entre septiembre y octubre de 2008. Todos los participantes firmaron un consentimiento formal para participar. Adicionalmente, los estudiantes de último año de enseñanza secundaria que eran menores de edad al momento de contestar los instrumentos, contaron con un consentimiento firmado por sus apoderados legales.

La muestra de universitarios incluyó estudiantes de tres universidades no públicas: la Pontificia Universidad Católica de Chile (n=586), la Universidad de Concepción (n=283) y la Universidad Federico Santa María (n=176), además de una universidad pública, la Universidad de Santiago (n=398). Respecto a su ubicación, dos de estas instituciones están localizadas en la capital del país y dos están fuera del área metropolitana de Santiago, pero en zonas que también son densamente pobladas. En relación a sus procesos de admisión, estas instituciones presentan diferencias en sus grados de selectividad: mientras las tres primeras están dentro de las más selectivas del país, la cuarta admite a casi todos sus postulantes{7}.

Las carreras seleccionadas para participar en la investigación fueron elegidas con el propósito de tener una adecuada representación de (1) áreas y disciplinas, (2) selectividad y (3) características de los estudiantes, tales como género, rendimiento académico y perfil socioeconómico (ver tabla 2). Los estudiantes incluidos en la muestra presentaron diferencias tanto en sus características socioeconómicas como académicas.

Las escuelas secundarias participantes en el estudio representaron a los tres tipos existentes en el sistema educacional chileno (particular, particular subvencionado y municipal), y la mayoría es representativa de las escuelas cuyos estudiantes han estado tradicionalmente en la lista de espera de la Pontificia Universidad Católica de Chile (en otras palabras, los puntajes de sus egresados han estado tradicionalmente cerca del punto de corte en sus respectivas carreras){8},{9},{10}. La inclusión de tres colegios municipales y dos particulares subvencionados, de especial interés para algunas de las universidades participantes del estudio, amplían significativamente las características académicas de la muestra de estudiantes.

Es importante destacar que la participación de las instituciones en el estudio fue voluntaria, pero motivada por miembros de cada una de las escuelas y universidades. Para motivar la participación, el equipo de investigación hizo presentaciones acerca del estudio en algunas de las escuelas y universidades, reuniéndose con los estudiantes y/o profesores. Además de esto, tanto los estudiantes de último año de enseñanza secundaria como los universitarios de primer año que contestaron todos los instrumentos participaron en el sorteo de 300 reproductores portátiles de música. Además, en el caso de los universitarios, se ofreció un incentivo alimenticio.

La administración de las pruebas se realizó durante el horario de clases, con una duración promedio de 3 horas y con una tasa de participación del 50% de los alumnos, aproximadamente. Todos los instrumentos fueron administrados por un equipo capacitado, siguiendo un protocolo estandarizado de administración. Sólo fueron considerados en la muestra final los estudiantes que se graduaron de la enseñanza secundaria en el año 2002 o posteriormente, y que comenzaron la universidad en el año 2007 ó 2008. Los estudiantes de la muestra final tenían en promedio 18,5 años de edad, 52% eran hombres y  aproximadamente un tercio provenía de escuelas públicas (34%), un tercio de escuelas particulares (32%) y un tercio de escuelas particulares subvencionadas (31%).

Tabla 2. Características demográficas de la muestra de
universitarios por universidad y carrera{11}

Tabla 3. Características demográficas de la muestra de alumnos de último año
de enseñanza secundaria por tipo de escuela

3.3. Pauta y proceso de corrección

Se desarrollaron pautas de corrección para cada uno de los instrumentos de respuesta abierta (Ensayo de Pensamiento Crítico, Reflexión Personal y Formulario Ampliado de Postulación), a través de de un proceso multi-etápico. Un primer bosquejo de la rúbrica se hizo desde una perspectiva puramente teórica;  este bosquejo fue posteriormente aplicado a una muestra de 20 evaluaciones por un corrector experimentado, proponiéndose cambios en base a la capacidad de las pautas de corrección de discriminar y a la factibilidad de su aplicación. En base a este proceso,  se desarrollaron pautas específicas para cada instrumento siguiendo una aproximación analítica, es decir, fueron diseñadas para evaluar sub-dimensiones específicas dentro de cada instrumento, en oposición a una evaluación holística.

La corrección se realizó en dos procesos: los instrumentos aplicados en la Pontificia Universidad Católica de Chile, al estar disponibles antes,  fueron evaluados en junio de 2008 y el resto de la muestra, administrada más tarde,  fue evaluados en octubre de 2008. El Ensayo de Pensamiento Crítico y la Reflexión Personal fueron corregidos por correctores entrenados. En el caso del Formulario Ampliado de Postulación, las preguntas abiertas también fueron evaluadas, mientras que las preguntas cerradas fueron registradas directamente en una base de datos especialmente diseñada para ello. Las respuestas de los cuestionarios estandarizados, el Cuestionario  de Deseabilidad Social y el Cuestionario del Profesor también fueron digitados directamente.

En el primer proceso de corrección trabajaron dos equipos diferentes de correctores a tiempo completo, reunidos en un mismo lugar físico durante diez días de trabajo. El primer equipo estuvo formado por 9 psicólogos y evaluó la Reflexión Personal y el Formulario Ampliado de Postulación. El segundo equipo, compuesto de 4 profesores de lingüística con experiencia en la evaluación de instrumentos similares, trabajó en el Ensayo de Pensamiento Crítico. Cada equipo contó con un supervisor y tuvo un día completo de entrenamiento.

El segundo proceso de corrección también tomó dos semanas, desarrollándose en el mismo espacio físico, y tuvo un equipo de correctores a tiempo completo por cada instrumento (tres equipos en total): 17 evaluadores corrigieron el Ensayo de Pensamiento Crítico, 8 corrigieron el Formulario Ampliado de Postulación y 14 evaluaron la Reflexión Personal. Cada uno de estos equipos tuvo un supervisor, el perfil de los correctores fue similar al descrito para el primer proceso de corrección, y todos recibieron una capacitación similar. Además, todos los correctores firmaron un compromiso de confidencialidad.

En ambos casos el entrenamiento consistió en una revisión detallada de la rúbrica de evaluación, presentación y discusión de respuestas tipo para cada nivel de la rúbrica y discusión grupal de un primer caso evaluado.

El nivel de acuerdo entre evaluadores fue monitoreado a través de la doble corrección de todos los ensayos de pensamiento crítico y reflexiones personales, y de un 20% de las preguntas abiertas del Formulario Ampliado de Postulación. Diferencias de puntaje de más de un punto se consideraron “inconsistentes”, siendo necesaria una tercera evaluación, otorgada por el equipo supervisor, en tanto que los evaluadores discrepantes tuvieron un re-entrenamiento sobre la pauta de corrección (las escalas de cada instrumento se muestran en la tabla 5).

3.4. Metodología

La validez y confiabilidad de los instrumentos fue medida a través de indicadores de consistencia interna, dificultad relativa de los ítems, confiabilidad entre jueces y análisis factorial.  Se estudió la correlación entre el auto-reporte del estudiante y el reporte del profesor jefe, así como la correlación de puntajes de los nuevos instrumentos con el Cuestionario de Deseabilidad Social, las notas de enseñanza secundaria y los puntajes en pruebas estandarizadas. La relación entre desempeño y variables socioeconómicas fue analizada observando la diferencia de medias de los puntajes estandarizados y la proporción de la varianza explicada en el puntaje estandarizado.

4. Resultados

Esta sección presenta un resumen de los resultados por tipo de instrumento, y la relación entre los nuevos instrumentos y variables de interés tales como el puntaje en la prueba cognitiva estandarizada usada actualmente para la admisión (PSU), el Cuestionario de Deseabilidad Social y el Cuestionario del Profesor. Se analizaron también las diferencias en el impacto de las nuevas medidas.

4.1. Descriptivos por instrumento

La tabla 4 muestra el rendimiento promedio en cada ítem de cada instrumento. En el Ensayo de Pensamiento Crítico, los estudiantes obtuvieron altos puntajes en la calidad de los argumentos dados y en la presentación de su propia tesis, y menores puntajes en la evaluación de su propio punto de vista y en ítems como vocabulario y ortografía. Estos resultados son consistentes con los observados en la aplicación de pruebas similares en estudiantes chilenos en edad escolar (Manzi & Flotts, 2006). El análisis factorial de los ítems confirma la presencia de dos sub-dimensiones: una que evalúa contenido y otra que evalúa la forma en que escriben los estudiantes (ver Apéndice 1 para detalles). El puntaje final ha sido  propuesto como un promedio ponderado en el que la dimensión de contenido pesa un 70% y los aspectos formales un 30%.{12}
Los resultados presentados en la tabla 4 indican que la Reflexión Personal fue el instrumento más difícil de todos. En particular, los alumnos tuvieron dificultades para presentar evidencia que les permitiera sustentar sus proposiciones. Junto con esto, pudo observarse la existencia de un mejor desempeño en los ítems que aparecieron primero en la página de instrucciones (Ej. perseverancia y esfuerzo). El análisis factorial exploratorio realizado confirmó la presencia de 1 factor (ver el Apéndice 2). El puntaje final para este instrumento ha sido propuesto como un promedio simple de todas las sub-dimensiones.

En el Formulario Ampliado de Postulación, los estudiantes reportaron un promedio de 2.4 actividades, pero sólo 1.4 de esas actividades fueron motivadas por el deseo de lograr desarrollo personal, académico o social. Los estudiantes de colegios particulares mostraron una mayor participación en actividades extracurriculares que los provenientes de colegios municipales o particulares subvencionados. Para evitar la existencia de algún sesgo derivado del tipo de colegio (municipal, particular subvencionado o particular pagado) en  estos resultados, la participación en actividades extracurriculares fue ajustada por el número de actividades disponible en cada tipo de escuela.{13}

Tabla 4. Desempeño en los ítems de los instrumentos

La mayoría de los estudiantes reportaron en el formulario la participación en actividades deportivas (31%) y académicas (17%). En relación a las razones esgrimidas para realizar estas actividades, un 22% señaló una motivación académica, un 21% una motivación personal, un 18% una motivación social y un 38% reportó otros tipos de motivación{14}. Sólo una pequeña proporción de estudiantes que no reportó participación en actividades extracurriculares mencionó variables de contexto (es decir, que están fuera de su control) como razón para no realizar actividades, no existiendo cambios significativos en la proporción según el tipo de escuela (20 de 100 en escuelas públicas versus 8 de 54 en escuelas privadas).

Los estudiantes podían reportar un máximo de tres premios cada uno, pero en promedio reportaron sólo uno. En relación al tipo de premio, cerca de un 80% del total estuvieron relacionados con deportes o actividades académicas; respecto a su procedencia, un 75% de los premios fueron entregados por escuelas, especialmente escuelas privadas (42%). El puntaje dado en este ítem fue asignado en base a cuál fue el premio reportado de mayor nivel (Ej. si el premio fue a nivel de escuela, a nivel municipal, a nivel regional o internacional), y no en base al número de premios.

Cerca de la mitad de los estudiantes que participaron en el estudio reportó haber tenido un puesto de liderazgo durante la enseñanza secundaria (48,9%). De ellos, 42% describió actividades tales como la conducción o monitoreo de una o más personas orientadas a la misma tarea (el nivel más básico de liderazgo evaluado), mientras que un 12% refirió a niveles más complejos de liderazgo{15}. El puntaje general de liderazgo consideró tanto el tipo de liderazgo como la efectividad en el logro de objetivos del rol de liderazgo, según lo descrito por el estudiante. El puntaje final del Formulario Ampliado de Postulación dio un 40% de peso a la participación en actividades extracurriculares (consideradas como un indicador de motivación), 20% a la perseverancia en esas actividades, 20% a los premios y reconocimientos y 20% al puntaje de liderazgo.{16}

En relación a la confiabilidad de los instrumentos,  existen algunos matices. La Reflexión Personal arrojó un coeficiente Alfa de Cronbach de 0.8,  mientras que el Ensayo de Pensamiento Crítico mostró un menor Alfa de Cronbach, alcanzando un valor de 0,57. En tanto, los cuestionarios estandarizados arrojaron valores Alpha de Cronbach de 0.76 para el Cuestionario de Habilidades Sociales, 0.83 para el Cuestionario de Habilidades Metacognitivas y 0.66 para el Cuestionario de Proactividad.

Tabla 5. Tasa de acuerdo entre jueces: Número de casos con diferencias
de puntaje de 1 ó 0.5 puntos por instrumento

La tabla 5 muestra el acuerdo entre jueces por instrumento y el proceso de corrección. Se puede observar que más del 85% de los instrumentos doblemente  corregidos obtuvieron puntajes totales con una diferencia de 0.5 o menos. La única excepción es el segundo proceso de corrección de la Reflexión Personal, en donde un 77% del total de puntajes en los instrumentos presentaron esta diferencia.

4.2. Relación entre instrumentos
Esta sección presenta la relación de los instrumentos del Estudio Piloto de Admisión entre ellos mismos y con otras variables de interés, a saber, los instrumentos actualmente usados para admisión (pruebas PSU y notas de enseñanza secundaria), el Cuestionario de Deseabilidad Social y la Encuesta del Profesor.

4.2.1. Correlación entre los nuevos instrumentos

En general hay bajas correlaciones entre las sub-dimensiones del Ensayo de Pensamiento Crítico, la Reflexión Personal y el Formulario Ampliado de Postulación, lo que puede interpretarse como indicador de que los instrumentos miden atributos diferentes. La mayor correlación es de 0.17 (p<0.001) observada entre la Reflexión Personal y la subsección de contenido del Ensayo de Pensamiento Crítico. Excepto por esto, y aunque son estadísticamente significativas, la mayoría de las otras correlaciones no excede el 0.10.

Tabla 6. Correlación entre instrumentos

Se observan mayores correlaciones entre los puntajes de los Cuestionarios Estandarizados, las que persisten después de controlar por el puntaje del Cuestionario de Deseabilidad Social{17}. La correlación entre el Cuestionario de Proactividad y el Cuestionario de Estrategias Metacognitivas es de 0.36 (p<0.001), al igual que la correlación entre el Cuestionario de Proactividad y el Cuestionario de Habilidades Sociales (r=0.36, p < 0.001). Por otra parte, la relación entre el Cuestionario de Proactividad y el Cuestionario de Habilidades Sociales es de 0.42 (p<0.001). Estos resultados parecen indicar cierto grado de redundancia entre los tres cuestionarios estandarizados{18}.

4.2.2. Relación con los indicadores actuales de admisión

La correlación entre los nuevos instrumentos y los indicadores actuales de admisión es baja, aunque la mayoría es estadísticamente significativa. La actual prueba estandarizada de matemática se correlaciona débilmente con las sub-dimensiones del Ensayo de Pensamiento Crítico (r=0.21, p<0.001 y r=0.21, p<0.001), así como también lo hacen las notas de enseñanza secundaria (r=0.21, p<0.001 y r=0.22, p<0.001). Las notas de enseñanza secundaria también se correlacionan débilmente con el puntaje en el Cuestionario de Estrategias Metacognitivas (r=0.26, p<0.001). Correlaciones algo mayores se observan entre los nuevos instrumentos y la prueba estandarizada de Lenguaje y Comunicación, especialmente con las dos sub-dimensiones del Ensayo de Pensamiento Crítico (r=0.28, p<0.001 y r=0.28, p<0.001) y el Formulario Ampliado de Postulación (r=0.20, p<0.001), pero estas correlaciones siguen siendo pequeñas en magnitud.

Tabla 7. Correlación con los instrumentos actuales de admisión

Cabe destacar que existen algunas diferencias en estos resultados si es que distinguimos entre la muestra de escolares y la de universitarios. Para el caso de la muestra de escolares, las correlaciones presentes entre los instrumentos de admisión tradicionales y los nuevos instrumentos alcanzan valores mayores a los presentados para la muestra de universitarios. La razón que podría explicar la menor asociación entre ambos tipos de instrumentos en la muestra de universitarios es la menor varianza existente en los puntajes de estos alumnos en las pruebas de selección actual, debido a que al momento de participar en el estudio, ya habían sido parte de un proceso de selección basado en esas pruebas.

Considerando esto, es posible hipotetizar que en una eventual aplicación real de los instrumentos,  la asociación con las pruebas de selección tradicional muestre un comportamiento más similar al observado en la muestra de escolares, al tratarse de individuos que no han pasado por un proceso de selección universitaria. Tomando en cuenta estos datos, de todas formas es posible concluir que los nuevos instrumentos propuestos evalúan mayoritariamente atributos distintos a los incluidos en los procesos de admisión a las universidades chilenas.

4.2.3. Relación con el Cuestionario de Deseabilidad Social

Los resultados arrojan correlaciones moderadas y estadísticamente significativas entre el Cuestionario de Deseabilidad Social y el puntaje en el Cuestionario de Habilidades Sociales (p=0.39, p<0.001), el puntaje en el Cuestionario de Estrategias Metacognitivas (p=0.33, p<0.001) y el puntaje en el Cuestionario de Proactividad (p=0.25, p<0.001). Las correlaciones del Cuestionario de Habilidades Sociales con el resto de los instrumentos incluidos en el estudio son menores que 0.1 y la mayoría de ellas no son significativas en un nivel de confianza del 1%.

Tabla 8. Correlación con el Cuestionario de Deseabilidad Social

Referencias Bibliográficas

Breeland, H., Bridgeman, B., & Fowles, M. (1999). Writing Assessment in Admission to Higher Education: Review and Framework (No. 99-3). New York: College Board.

Breland, H., Maxey, J., Gernand, R., Cumming, T., & Trapani, C. (2001). Trends in College Admission 2000. A Report of a Survey of Undergraduate Admissions Policies, Practices, and Procedures.: ACT., Inc., Association for Institutional Research, The College Board, Educational Testing Service, The National Association for College Admission Counseling.

Camara, W. J. (2005). Broadening Criteria of College Success and the Impact of Cognitive Predictors. In W. J. Camara & E. W. Kimmel (Eds.), Choosing Students: Higher Education Admissions Tools for the 21st Century. Mahwah, New Jersey: Lawrence Erlbaum Associates, Publishers.

Camara, W. J. (2007). Thinking Outside the Box: New Admissions Tools. Non-Cognitive Forum. Paper presented at the Presentation at the National Council of Measurement in Education, Chicago.

Cliffordson, C., & Askling, B. (2006). Different Grounds for Admission: Its Effects on Recruitment and Achievement in Medical Education. Scandinavian Journal of Educational Research, 50(1), 45-62.

College Board. (2002). Best Practices in Admissions Decisions. A Report on the Third College Board Conference on Admission Models., New York.

Gardner, H. (1983). Frames of Mind: The Theory of Multiple Intelligences. New York: Basic.

Geiser, S., & Santelices, M. V. (2007). Validity Of High-School Grades In Predicting Student Success Beyond The Freshman Year: High-School Record vs. Standardized Tests as Indicators of Four-Year College Outcomes. CSHE Research and Occasional Paper Series(CSHE.9.07).

Goleman. (1996). La Inteligencia Emocional: ¿por qué es más importante que el CI? Buenos Aires: Javier Vergara Eds.

Heckman, J., & Rubinstein, Y. (2001). The Importance of Noncognitive Skills: Lessons from the GED Testing Program. The American Economic Review, 91(2), 145-149.

Kyllonen, P. C. (2005). The Case for Noncognitive Assessments. Princeton: ETS.

Le, H., Casillas, A., Robbins, S. B., & Langley, R. (2005). Motivational and Skills, Social, and Self-managment Predictors of College Outcomes: Constructing the Student Readiness Inventory. Educational and Psychological Measurement, 65(3).

Liu, L., Minsky, J., Ling, G., & Kyllonen, P. (2009). Using the Standardized Letters of Recommendation in Admissions: Results from a Multidimensional Rasch Model. Educational and Psychological Measurement, 69(3), 475-492.

Rigol, G. W. (2003). Admissions-Making Model. How US Institutions of Higher Education Select Undergraduate Students. New York: College Board.

Robbins, S. B., Lauver, K., Le , H., Davis, D., Langley, R., & Carlstrom, A. (2004). Do Psychosocial and Study Skill Factors Predict College Outcomes? A Meta-Analysis. Psychological Bulletin, 130(2), 261-288.

Rosas, R., Boetto, C., & Jordan, V. (2004). Introducción a la Psicología de la Inteligencia. Santiago: Ediciones Universidad Católica de Chile.

Sternberg, R. J. (1999). A Triarchic Approach to the Understanding and Assessment of Intelligence in Multicultural Populations. Journal OF School Psychology, 37(2), 145-159.

Sternberg, R. J. (2003). Our Research Program Validating the Triarchic Theory of Successful Intelligence: Reply to Gotfredson. Intelligence, 31, 399-413.

Willingham. (1985). Success in College. The Role of Personal Qualities and Academic Ability. New York: College Board.

Zwick, R., & Grief Greene, J. (2007). New Perspectives on the Correlation of SAT Scores, High School Grades and Socioeconomic Factors. Journal of Educational Measurement, 44(3), 23-45.

 

{1} El desarrollo del test y su administración son centralizados y el proceso a nivel  nacional fue delegado por el CRUCH a la Universidad de Chile, una de las universidades miembros.

{2} Organismo encargado de de la creación de pruebas y la administración del proceso de admisión y selección de alumnos para las Universidades del Consejo de Rectores desde el año 1996.

{3} El perfil del postulante incluyó las siguientes características: (1) persistencia/superación de metas/resiliencia, (2) desarrollo personal /estudiantes reflexivos, (3) tolerancia, (4)creatividad, (6) motivación, (7) solidaridad, (8) conocimiento del area de interés y (9) concordancia con la misión de la institución.

{4} Se realizó un proceso aleatorio de verificación como parte de esta investigación y también está contemplado como parte fundamental de la implementación operacional de estos instrumentos. La incorporación del “método de advertencia” ha sido exitosa en investigaciones anteriores (P. Kyllonen, Walters & Kaufman, 2005).

{5} Es importante recordar que el año académico en Chile comienza en marzo y termina en diciembre.

{6} La idea original era recolectar la información de las universidades entre abril y mayo de 2008, pero fue imposible debido a le existencia de protestas por temas legales y financieros en las escuelas y universidades.

{7} En el año 2007 la PUC aceptó a un 39% de sus postulantes, la Universidad de Concepción a un 63%, la Universidad Federico Santa María a un  68% y la  Universidad de Santiago a un 95%.

{8} Además fueron invitados a participar estudiantes del programa PENTA UC, de la PUC, y de 3 escuelas  municipales de bajo rendimiento, con las cuales la Universidad de Santiago trabaja de cerca. El programa PENTAUC está diseñado para reforzar la enseñanza y aprendizaje de estudiantes talentosos provenientes de entornos desfavorecidos.

{9} Aunque el Ministerio de Educación chileno fija los lineamientos pedagógicos, y define y provee los recursos para las escuelas del país, la autoridad municipal administra las escuelas públicas localmente. Actores privados, sean individuos o instituciones,  administran tanto las escuelas particulares pagadas como las particulares subvencionadas. En el año 2007 había aproximadamente 11,800 escuelas trabajando en el sistema, 50% de las cuales eran municipales, 43% particulares subvencionadas y 6% particulares pagadas (Ministerio de Educación 2009). Aproximadamente un 45% de los estudiantes en edad escolar asisten a escuelas municipales, 46% a particulares subvencionadas y sólo un 7% asiste a escuelas particulares pagadas.  En general, los estudiantes de nivel socioeconómico más bajo asisten a escuelas públicas, mientras que los de mayor nivel socioeconómico asisten a escuelas particulares.

{10} Esta selección fue hecha en base al análisis de datos de tres años (2004-2007) y considerando una distancia de 10 y 20 puestos por arriba y por abajo del puntaje de corte. La PSU de matemática y la de lenguaje y comunicación tiene un rango de puntajes de 200 a 850 puntos. Un total de 243,575 estudiantes rindieron la PSU de Lenguaje y Comunicación, y 242,483 la PSU de Matemáticas. Para ambas pruebas la media es ajustada para estar en los 500 puntos y la desviación estándar es de 109 puntos.

{11} Fuente: archivos de datos 2008 y  2009  de los estudiantes inscritos para tomar la PSU, del DEPARTAMENTO DE EVALUACIÓN, MEDICIÓN Y REGISTRO EDUCACIONAL (DEMRE).

{12} Esta ponderación se sugiere como una forma de considerar aspectos formales en el puntaje final preservando la mayor parte de la ponderación para aspectos de contenido. Los ponderadores podrían ser revisados en una eventual implementación o reanálisis de los datos.

{13} Si bien  este ajuste tiene por objetivo corregir por diferencias en la disponibilidad de actividades entre establecimientos de distinta dependencia, pueden aun existir diferencias por lugar de residencia y/o nivel socioeconómico de los alumnos.

{14} 31% de estos estudiantes reportó hacer actividades  “para entretenerse”.

{15} Estos niveles más altos de liderazgo incluyen la coordinación de personas trabajando en distintas tareas, responsabilidad de toma de decisiones, la supervisión y evaluación del trabajo de otros y/o la representación de los  intereses u opiniones de un grupo.

{16} Los ponderadores asignados tienen por objetivo relevar la información que es objetiva y más fácilmente verificable (participación en actividades extracurriculares) entregando igual ponderación a los ítemes restantes.

{17} Las correlaciones parciales controlando por los puntajes en el Cuestionario de Deseabilidad Social pueden revisarse en el Apéndice 3.

{18} Se exploró la hipótesis de que esta redundancia podría deberse al hecho de que los tres instrumentos tuvieran un formato de respuesta múltiple, pero no se encontró evidencia para sustentarla (ver Apéndice 4).

{19} Estos análisis fueron realizados estandarizando el desempeño de los estudiantes en cada muestra por separado (universitarios y muestra de estudiantes) y los resultados obtenidos eran similares a los presentados arriba.