Notas sobre el Informe Pisa

En vísperas de que se haga público el Informe PISA de la OCDE, escuchamos rumores sobre los pobres resultados obtenidos por los alumnos de nuestro país. Para poder valorar mejor los resultados y formarnos opinión sobre el alcance de los mismos, propongo la lectura de los dos recortes de prensa que hay a continuación.

ENTREVISTA: ANDREAS SCHLEICHER Responsable del Informe PISA de la OCDE
"España ha mejorado su educación muy rápido, pero aún está retrasada"

J. A. A.
EL PAÍS - Madrid - 03/12/2007

El físico alemán, director de los tres estudios que han sacudido la educación de muchos países al compararlos entre sí, admite los progresos de España en sólo dos generaciones, pero asegura que necesita mejorar mucho más

Comenzaron 30 países en 2000 a comparar lo que sabían sus alumnos de 15 años. El maremoto llegó al año siguiente con los resultados del primer Informe PISA de la OCDE. Desde entonces, el enorme interés despertado (en 2006 han participado 57 países) y la influencia que tiene en la opinión pública y en los gobiernos no ha dejado de crecer. España es uno de los países que se agita irremediablemente con cada nueva sacudida, ya que sus mediocres resultados están muy lejos de lo que la sociedad espera. Andreas Schleicher (Hamburgo, Alemania, 1964), responsable de PISA, prefiere no hablar mucho de los resultados de la prueba de 2006, que se presentan mañana, pero avanza algunas conclusiones sobre España.

"El español es uno de los sistemas más dinámicos de Europa"

"Los resultados de hoy no se pueden valorar sólo con criterios del pasado"

Pregunta. ¿Qué opina del sistema educativo español?

Respuesta. Es incuestionable que los alumnos españoles quedan muy retrasados respecto a los países con mejores resultados de la OCDE, que marcan la calidad que se puede alcanzar. Por otro lado, España es un país que ha mejorado su educación muy rápidamente. Si miramos el porcentaje de personas que han logrado la enseñanza obligatoria, o el porcentaje de los que han conseguido titulaciones superiores, podemos ver que en las últimas dos generaciones los logros educativos en España han mejorado mucho más rápido que la media de la OCDE.

Hay gente que cree que si hay más población cualificada es porque la exigencia ha tenido que bajar, pero eso no suele estar basado en la evidencia. Las competencias que ayudarán al progreso de nuestros hijos en el mundo de mañana son diferentes de las que nos ayudaron a nosotros o a nuestros padres y por eso no podemos valorar los resultados educativos de hoy sólo con criterios del pasado.

P. ¿Y cuáles son los nuevos criterios?

R. Por ejemplo, la anterior generación sabía muy bien cómo reproducir hechos científicos, pero lo que cuenta hoy es si los alumnos pueden aplicar los conocimientos adquiridos en nuevos escenarios, si tienen la motivación y la capacidad para crear nuevos conocimientos, para explicar fenómenos científicos y dibujar conclusiones basadas en evidencias. También necesitarán estar atentos a cómo la ciencia y la tecnología configuran nuestro entorno material, intelectual y cultural. Los resultados de PISA 2006 sugieren que España tendrá que seguir avanzando para conseguir todo esto, pero veo el suyo como unos de los sistemas más dinámicos y ambiciosos de Europa.

P. ¿El informe PISA ha cambiado el modo en que los gobiernos encaran la educación?

R. En muchos países ha marcado una gran diferencia. Han usado PISA para estudiarse a sí mismos a la luz de lo que consiguen otros países, para identificar sus fortalezas y debilidades, optimizar sus sistemas y, quizá más allá, revisar algunos de sus paradigmas anteriores. PISA ha demostrado que la calidad y la equidad son posibles y que los sistemas más exitosos trabajan con notables diferencias respecto al modelo tradicional de escuela, convirtiéndola en una preocupación de sociedad y gobiernos, pasando del mero control de los recursos y los contenidos a poner el foco en los resultados, de un sistema uniforme a atender la diversidad y a la enseñanza individualizada, de hablar de la equidad a hacerla posible.

P. ¿Cree que hay algunos malentendidos con PISA?

R. Definitivamente. Por ejemplo, algunas personas -y algunos gobiernos también- están limitando su uso a hacer un ranking de países o para señalar fallos y problemas. Pero el verdadero valor de PISA es que nos muestra que hay soluciones incluso para los mayores retos educativos, no sólo en otros países, sino a veces doblando la esquina, en nuestro propio país, de maneras que nunca habíamos imaginado.

P. ¿Qué nos enseña PISA?

R. Quizá lo más importante es que resultados muy buenos en las competencias clave son posibles. Tanto en Asia (Japón o Corea), como en Europa (Finlandia) o Norteamérica (Canadá), muchos países muestran extraordinarios resultados globales, pero, igualmente importante, que los pobres resultados escolares no son consecuencia irremediable de la procedencia socioeconómica. Por último, pero no menos importante, algunos países han demostrado que el éxito se puede convertir en un resultado consciente y predecible del sistema: En Finlandia, las diferencias de resultados entre las distintas escuelas son del 5%, con lo que los padres pueden confiar en cualquier colegio que elijan.

Por supuesto, PISA por sí sola no puede identificar las relaciones entre causa y efecto, pero sí puede ayudar a identificar algunas claves comunes de los países con mejores resultados.


TRIBUNA: JULIO CARABAÑA

Avisos para no quedar en evidencia comentando PISA

JULIO CARABAÑA
EL PAÍS - 03/12/2007

Realizado durante el año 2006, el tercer estudio PISA permite comparar los aprendizajes en Ciencias Naturales de los alumnos de 57 países, todos los de la OCDE más otros muchos, tan dispares como Rusia, Chile, Tailandia o Kirguistán. En los dos estudios anteriores, la publicación de los resultados suscitó gran variedad de comentarios y tomas de posición. Por desgracia, muchos fueron simplemente apresurados y poco informados, si no, además, interesados y partidistas. Estos defectos, que en los dos primeros informes pudieron pasar sin grave quebranto para el prestigio y la credibilidad de sus autores, tendrían más difícil disculpa si se repitieran a propósito del tercero, aunque solo fuera por lo mucho que puede aprenderse con el estudio de sus predecesores. A evitar tan indeseable reiteración de errores están dirigidos estos avisos, que pretenden ser útiles tanto a autores como a lectores.

Las diferencias menores de cinco puntos pueden deberse a errores aleatorios

Aviso 1. La puntuación media de los países de la OCDE en PISA se establece por definición en 500, y la desviación típica en 100. Con esa métrica, diferencias de 10 y hasta 20 puntos son diferencias pequeñas. Además, el tamaño de las muestras es tal que las diferencias menores de cinco puntos pueden deberse a errores aleatorios. Por último, conviene tener en cuenta que la puntuación media de los alumnos de la OCDE no es de 500, sino de 491.

Se avisa de evitar, por tanto, expresiones como "España a la cola", "el sistema español, un desastre" y otras semejantes que se usaron harto a la ligera cuando los informes anteriores. Si los resultados españoles están a 12 puntos de la media de los países y a tres puntos de la media de los alumnos, lo prudente es decir que estamos al nivel medio de la OCDE. Y también al de países con cuya compañía ni soñamos en otros ámbitos, como Estados Unidos, Francia, Suecia, Dinamarca, Noruega o Luxemburgo.

Huelgan, por tanto, las recetas para salvar al sistema educativo español de ningún desastre, porque el nivel de España ni es ni ha sido desastroso, sino bueno. Si se proponen remedios, conviene cuidar que sean de los que perfeccionan lo que ya está bien, no de los que mejoran lo que está muy mal.

Aviso 2. Las puntuaciones de los países en las pruebas PISA son muy estables. La mayor parte de los países repitieron puntuaciones en el año 2003 y parece que en 2006 (las variaciones de hasta cinco puntos son atribuibles al error de vínculo). Algunos países han subido o bajado unos 10 puntos, pero otros han bajado. Sólo tres o cuatro variaron más de 15 puntos, arriba unos y abajo otros. La misma estabilidad que los países muestran las regiones (más grandes algunas que algunos países).

Tengan pues muy presente quienes se duelan del estancamiento de España que repetir es la norma; y quienes se tomen la libertad de proponer fórmulas de mejora, mejor las envuelvan en siquiera un somero informe sobre si han sido ensayadas por los pocos países o regiones que han mejorado, por los pocos países o regiones que han empeorado o, lo que es más probable, por aquellos países (o regiones) que no han registrado variación. No vale, desde luego, proponer la fórmula finlandesa, sin aclarar cuál es y explicar por qué nadie más la aplica.

Aviso 3. Lo que los alumnos aprenden tiene poca o nula relación con el gasto en enseñanza. Esta es una de las proposiciones más y mejor confirmadas por los estudios de Economía y Sociología de la Educación desde su formulación en 1966 por el Informe Coleman. Es también uno de los hallazgos menos discutibles de los dos estudios PISA, el de 2000 y el de 2003 (ver figura 2.20, p. 102 de la edición Santillana). Así, España tiene resultados iguales a los de Estados Unidos, y algo mejores que Italia, países que gastan dos veces más que nosotros por alumno.

Cuidado, pues, con proponer gastar más para mejorar los resultados. Podría parecer que no hemos leído los anteriores informes PISA, o que no los hemos entendido, o que nos dan lo mismo. Quien proponga gastar más en España, que diga el uso que se debe dar al dinero y demuestre su eficacia. No vaya a ser que doblemos el gasto por alumno y nos quedemos donde Italia o los Estados Unidos (es decir, donde estamos; cosa que, por cierto, quizás hemos hecho ya dos veces en los últimos cuarenta años). Igualmente, quien proponga gastar más a las comunidades autónomas debería asegurarse de que su inversión va a resultar al menos algo más eficaz que la vasca.

Aviso 4. Los resultados de PISA no tienen relación con la organización de los sistemas educativos. Tampoco tienen relación con los cambios legislativos. En los últimos años muchos países han promulgado leyes cambiando la ordenación de sus sistemas educativos para descentralizar (España, Argentina, Brasil, México), centralizar (Inglaterra, Estados Unidos), diversificar (los antiguos países socialistas), o simplemente cambiar. En general, las evaluaciones realizadas no registran huella alguna de estos cambios en los resultados de los alumnos.

Se advierte, pues, contra la tendencia a atribuir culpa o mérito a las leyes de ordenación educativa, LOE, LOCE o LOGSE, ésta en particular, porque hayan descentralizado, diversificado o unificado o simplemente cambiado el sistema. No tiene base que la sustente. Más peligroso aún sería que alguien exhumara las dos evaluaciones oficiales de la pasada Reforma de las Enseñanzas Medias, ninguna de las cuales pudo otorgar ventaja ni desventaja a la Reforma ni a lo reformado.

Aviso 5. Los resultados PISA no dependen del color o la tendencia de los partidos políticos en el poder, y menos del partido en el poder cuando los resultados se publican. Conviene recordar, en todo caso, que todos hemos mandado durante los 10 años que los alumnos de 15 llevan en la escuela, pero el PP un poco más. En el año 2000, los alumnos de 15 años habían estudiado seis años con el PSOE y cuatro con el PP. En el año 2003 habían estudiado con el PP los últimos siete años y con el PSOE solo los 3 primeros; y en 2006, los ministros han sido del PSOE los dos últimos años y del PP los ocho anteriores.

Y, si nos vamos de los ministros a los consejeros, en Castilla-León ha gobernado el PP, igual que en Valencia, Murcia y (casi) Baleares, que deben de estar por debajo de la media; en Andalucía el PSOE, igual que en Asturias y a Aragón, y en Cataluña o el País Vasco gobiernos nacionalistas, como en Canarias. En general, se advierte contra el uso de los resultados de PISA como arma electoral a quienes tengan escrúpulos, incluso pocos, ante la demagogia.

Aviso 6. No caer en la desesperación tras los avisos anteriores. Hay muchas cosas cuya ineficacia no está aún totalmente demostrada, como ver menos televisión, pasar más tiempo con los padres, dar más prestigio a los profesores, aumentar la popularidad de los empollones o instruir deleitando. Y aunque no haya fórmulas simples y generales para alcanzar a Finlandia, siempre podemos hacer mejor lo que ya estamos haciendo.

Julio Carabaña es catedrático de Sociología de la Educación en la Universidad Complutense