Por: Antonio Magriñá / Director de la División de Desarrollo de Pruebas, Psicometría e Investigación del College Board, Oficina de Puerto Rico y América Latina
Recientemente el College Board ha realizado múltiples análisis correlacionales de los resultados de las Pruebas de Aptitud Académica (PAA) del Programa de Evaluación y Admisión Universitaria (PEAU), administradas en los grados 11 ó 12, con los resultados en las pruebas PIENSE (Prueba de Ingreso y Evaluación a Nivel Secundario), Nivel II, tomadas por los mismos estudiantes en los grados 9 ó 10.
Se desarrolló un archivo común de datos en el cual se identificaron 1,814 candidatos de los grados 11 ó 12 que se examinaron entre los años 2000 y 2001 en las pruebas de admisión universitaria (PAA y Aprovechamiento) y que tomaron las pruebas de PIENSE II dos o tres años antes, en su noveno o décimo grado. El 93% de los candidatos utilizados para esta investigación estaba en escuela privada al momento de tomar las pruebas. Esto último es consecuencia de que PIENSE se administra mayormente en escuelas privadas; la participación de escuelas públicas en el programa PIENSE es limitada. El pareo de los resultados de PIENSE II y las Pruebas de Admisión Universitaria PAA, permitió el desarrollo de múltiples análisis estadísticos para examinar la relación de ambas baterías de pruebas.
Este artículo resume brevemente algunos de los resultados de estos análisis de correlación y provee una tabla de expectativas de puntuaciones en las pruebas de Razonamiento Verbal y Matemático en función de los resultados en PIENSE.
La Tabla 1 provee un resumen de los promedios en las pruebas de PIENSE y PAA para la población examinada:
Las correlaciones simples de la Prueba de PIENSE con las Pruebas de Admisión fueron las que muestran la Tabla 2.
En la Tabla 2 se observa una correlación mayor de las prueba de Habilidad con las pruebas de Razonamiento y Aprovechamiento Matemático (.72 y .69 respectivamente). En las pruebas de aprovechamiento, se observa la correlación más alta entre las pruebas de Inglés (.78), seguida de Matemáticas (.75) y Español (.71). Todas estas correlaciones son estadísticamente significativas (p<.001).
Además de las correlaciones simples que se informan en la tabla 2, se obtuvieron correlaciones múltiples (R) de la batería de PIENSE con la PAA Verbal de .74 y con la PAA Matemática de .801.
Se realizaron análisis factoriales con el fin de determinar si las pruebas definían factores comunes de acuerdo con lo esperado y especificado en sus contenidos. También se realizaron análisis multidimensionales ("multidimensional scaling") a partir de las distancias relativas de las diversas pruebas. La Tabla 3 resume el resultado de uno de los análisis factoriales realizados. Como se observa en la Tabla 3, las pruebas de matemáticas de PAA y PIENSE definen al primer factor ; las pruebas de Español y Razonamiento Verbal definen al segundo factor y las pruebas de Inglés de PIENSE y PAA constituyen el tercer factor. Resulta interesante que la Prueba de Habilidad de PIENSE correlaciona con los primeros dos factores (Verbal y Matemático).
Los resultados de éstos y otros análisis adicionales se informarán con mayor detalle en los próximos meses en una publicación del College Board (Cuadernos de Investigación).
Finalmente, luego de los análisis anteriores, se crearon tablas de expectativas de puntuación en las pruebas de admisión universitaria (Razonamiento Verbal y Matemático de la PAA) en función de los resultados observados en las Pruebas de PIENSE Nivel II. Las Tablas 4 y 5 resumen estas expectativas.
Como se señala al pie de las Tablas 4 y 5, es de suma importancia que el usuario considere los errores de medición de las pruebas y los errores de predicción al examinar o utilizar las mismas. Estos errores de predicción de PIENSE II son de aproximadamente 68 puntos para la PAA Verbal y de 70 puntos para la prueba de Razonamiento Matemático de la PAA, en la escala de 200 a 800 puntos del College Board. Los errores de predicción indican que con las pruebas de PIENSE II se puede obtener un estimado preliminar de las puntuaciones en las pruebas de admisión que fluctuará alrededor de 70 puntos más o menos en la escala de 200 a 800 puntos en que se informan los resultados de las pruebas de admisión universitaria del College Board. Por ejemplo: un estudiante que obtiene 54 puntos en la Prueba de Habilidad de PIENSE, se espera que obtenga, 2 o 3 años después, puntuaciones que fluctúan entre 431 y 567 puntos en la Prueba de Razonamiento Verbal del programa de admisión universitaria. Un estudiante que obtiene 70 puntos en la prueba de Español de PIENSE II tiene una probabilidad alta de que su puntuación fluctúe entre los 600 y 740 en la Prueba de Razonamiento Verbal de la PAA que tomará 2 o tres años después de haberse examinado en PIENSE II.
No obstante lo anterior, se observan casos extremos en los cuales las puntuaciones son mucho más altas o mucho más bajas que las expectativas que se observan en las tablas, de tal forma que, obviamente, median otros factores.
Las Tablas 4 y 5 proveen estimados de expectativas de puntuaciones, con los errores que se indican, para más del 90% de los estudiantes examinados en esta investigación. No obstante, hay variables que pueden afectar la ejecución de muchos estudiantes. Debe considerarse que aunque las pruebas de PIENSE y PAA obtienen altos niveles de confiabilidad, tienen también, como todo instrumento de medición, errores de medición: 4 puntos de error en las escalas de PIENSE que se extienden desde 20 hasta 80 puntos, y aproximadamente 30 puntos de error en las escalas de la Prueba de Aptitud Académica que se extienden de 200 a 800 puntos. Al factor de los errores de medición de las pruebas hay que añadir otros factores: tiempo entre administraciones (tiempo entre las pruebas de PIENSE y las PAA); tiempo lectivo; impacto del currículo y cursos en el tiempo transcurrido entre ambas baterías de pruebas; factores de motivación al tomar las pruebas que pueden afectar la ejecución en las mismas; factores de desarrollo humano que incluyen diferencias de edad al momento de tomar PIENSE (en 9no o 10mo grado) y PAA (a fines de grado 11mo o 12mo).
Es de suma importancia, al utilizar los resultados que se proveen en las tablas de expectativas (Tablas 4 y 5) que los factores anteriores, y muchos otros que los educadores conocen, se ponderen y consideren en cualquier uso o aplicación operacional que se haga de las mismas. Las tablas proveen expectativas, y las expectativas, según los propios datos nos indican, NO se cumplen para todos los casos.
