lunes, 9 de diciembre de 2013
¿Es Pisa fundamentalmente defectuoso?
Son las tablas de clasificación de educación más confiables del mundo. Pero los académicos dicen que el Programa para la Evaluación Internacional de Alumnos rankings se basan en un "profundo error conceptual". Así deben ser los países basando reformas en ellos?
En menos de cinco meses, se publicará el conjunto más influyente de los resultados de pruebas de educación que el mundo haya visto jamás. Los líderes de los países más poderosos de la Tierra estarán esperando ansiosamente para ver cómo les ha ido en el último Programa para la Evaluación Internacional de Alumnos (Pisa).
En el mundo cada vez más interconectado de hoy, donde el conocimiento está suplantando la industria tradicional como la clave para la prosperidad futura, la educación se ha convertido en el evento principal en la "carrera global". Y Pisa, la evaluación llevada a cabo por la Organización para la Cooperación y el Desarrollo Económico (OCDE) cada tres años, ha llegado a ser visto como el más reconocido y confiable medida de la educación.
Los políticos de todo el mundo, como el secretario de educación de Inglaterra Michael Gove, han basado su caso de reformas radicales, polémicas sobre el hecho de que los rankings Pisa de sus países han "caído en picado". Mientras tanto, las historias de la parte superior del ranking de éxito como Finlandia se han convertido en términos paralelos internacional para la excelencia educativa, con otros países ambiciosos haciendo cola para ver cómo se han conseguido.
Pisa 2012 - que se publicará el 3 de diciembre de 2013 - va a crear más estrellas, causar aún más angustia y persuadir a más gobiernos a gastar más millones en las reformas que sugiere la encuesta han tenido más éxito.
Pero lo que si hay "graves problemas" con los datos de PISA? ¿Qué pasa si las técnicas estadísticas utilizadas para compilarlo son "completamente equivocado", y sobre la base de un "profundo error conceptual"? Supongamos que toda la idea de ser capaz de clasificar con precisión tales sistemas educativos diversos es "sin sentido", "locura"?
¿Qué pasa si usted aprendió que las comparaciones de Pisa no se basan en una prueba común, pero en diferentes estudiantes contestan preguntas diferentes? ¿Y si el cambio en torno a estas preguntas conduce a enormes variaciones en los rankings de suma importancia en Pisa, con el Reino Unido de terminar en cualquier lugar entre el 14 y el 30 y en Dinamarca entre el quinto y el 37o? ¿Qué pasa si estas clasificaciones - que tanta reputación y miles de millones de libras dependen, que tienen tanto impacto en los estudiantes y profesores de todo el mundo - de hecho son "inútiles"?
Esta es la realidad preocupante de Pisa, según varios académicos que están llegando de forma independiente algunas conclusiones condenatorias acerca de las tablas de clasificación de educación popular del mundo. En lo que a ellos respecta, el emperador está desnudo.
Quizás tan preocupante son las respuestas proporcionadas al TES puso argumentos de los académicos a la OCDE. Sobre la cuestión clave de si los sistemas educativos de los distintos países se clasifican correctamente por Pisa, y si estos rankings son fiables, la respuesta es menos tranquilizador.
Los datos de las muestras utilizadas significan que hay "incertidumbre", la OCDE reconoce. Como resultado, la "gran variación en un solo (país) posiciones en el ranking es probable", añade.
La organización siempre ha argumentado que Pisa proporciona un análisis mucho más profundo y matizado que simples clasificaciones, ofreciendo puntos de vista en el que las políticas de educación funcionan mejor. Pero la verdad es que, para muchos, el ranking de titulares son el comienzo y el final de Pisa y es ahí donde radica gran parte de su influencia.
En otras cuestiones importantes, tales como la existencia de un "error matemático insoluble fundamental" en el corazón del modelo estadístico utilizado para Pisa, la OCDE ha ofrecido ninguna respuesta.
Las preocupaciones acerca de Pisa se han planteado públicamente antes. En Inglaterra, las reiteradas referencias de Gove para el país que caían de la matemáticas en Pisa, la lectura y la clasificación de la ciencia entre los años 2000 y 2009 han dado lugar a un estrecho control de los resultados del estudio.
El año pasado, el secretario de Educación recibió una reprimenda oficial de la Autoridad de Estadística del Reino Unido para citar las "problemáticas" cifras del Reino Unido desde 2000, que la propia OCDE ya había ingresados fueron estadísticamente inválida porque no hay suficientes escuelas participaron.
El organismo de control de estadísticas también destacó otras críticas hechas por el Dr. John Jerrim, profesor de economía y estadísticas sociales en el Instituto de Educación, Universidad de Londres. Señala que Pisa caída de Inglaterra en desgracia fue contradicha por las cuentas del país en las tendencias rivales en Internacional de Matemáticas y Ciencias, que se levantó entre 1999 y 2007. El artículo de Jerrim también sugiere que las variaciones en la época del año que los estudiantes de Inglaterra tomaron las pruebas Pisa entre 2000 y 2009 podrían haber sesgado los resultados.
La OCDE dice TES que esto equivale a la especulación, y que Jerrim sólo consideró las pruebas en el Reino Unido y no abordaba el objetivo principal de Pisa, que es proporcionar una "comparación instantánea" entre el 15-años de edad en los diferentes países.
Pero es la naturaleza "instantánea" de Pisa - el hecho de que se ve en otra cohorte de 15 años de edad, cada tres años - que es una de las principales críticas al programa por Harvey Goldstein, profesor de estadísticas sociales a la Universidad de Bristol, en el suroeste de Inglaterra.
"Yo estaba recomendando hace 10 años a la OCDE que debería tratar de incorporar los datos longitudinales, y simplemente no ha hecho eso", dice Goldstein TES. A él le gustaría ver Pisa sigue una cohorte en el tiempo, ya que la base de datos de la pupila del gobierno en Inglaterra hace, de modo que más relaciones causales podrían ser estudiados.
Ahondando
Críticas al alcance de Pisa son importantes. Pero los desafíos metodológicos más profundos que se están realizando son probablemente aún más importante, aunque más difícil de penetrar.
No debe ser ninguna sorpresa que han surgido. Una comparación justa entre más de 50 sistemas educativos diferentes que operan en una gran variedad de culturas, lo que permite proceder a su clasificación precisa sobre medidas comunes simples, siempre iba a ser enormemente difícil de administrar en una forma que todo el mundo está de acuerdo.
Goldstein señala la preocupación de que las preguntas utilizadas en las pruebas de Pisa han sido sesgadas culturalmente o lingüísticamente hacia ciertos países. Pero, explica que cuando la OCDE ha tratado de abordar este problema descartando preguntas sospechosas de parcialidad, puede tener el efecto de "suavizar" las diferencias fundamentales que existen entre los países.
"Eso está dejando fuera muchas de las cosas importantes", advierte. "Ellos simplemente no se les comentaron. Lo que estás viendo es algo que pasa a ser común. Pero (es) vale la pena mirar? Resultados de Pisa se toman por su valor nominal de proporcionar algún tipo de norma común entre los países. Pero tan pronto como se empieza a deshacer, creo que todo se desmorona ".
Para Goldstein, las preguntas que Pisa termina con garantizar la comparabilidad puede tender hacia el mínimo común denominador.
"Existe el riesgo de que," admite Michael Davidson, jefe de la división de las escuelas de la OCDE. "En cierto modo, no se puede ganar, ¿verdad?" Sin embargo, Pisa aún encuentra "grandes diferencias" entre los países, dice, a pesar de "eliminar a lo que sospechamos son preguntas culturalmente sesgadas".
Davidson también reconoce que algunas de las preguntas que sobreviven todavía "se comportan" de manera diferente en diferentes países. Y, como veremos más adelante, esta cuestión se encuentra en el corazón de algunos de los mayores reclamos contra Pisa.
Imperfección simple
Las clasificaciones Pisa son como las tablas de la liga en la educación que ejercen una enorme influencia, pero debido a su simplicidad necesaria son imperfectos. ¿Dónde se podría argumentar que lo que difieren es en la falta de conciencia acerca de estas limitaciones.
Los riesgos también son altos en las tablas de rendimiento interno de Inglaterra, con la propia existencia de algunas escuelas que descansan sobre sus resultados. Pero en Inglaterra la medida título escogido - el porcentaje de alumnos que han alcanzado cinco A *-C GCSE, incluyendo Inglés y matemáticas - es fácilmente comprensible. Sus deficiencias - que viene en ninguna parte cerca de capturar todo lo que hacen las escuelas y fomenta un enfoque desproporcionado en los estudiantes en el límite de la calificación CD - también son ampliamente conocidos.
Pisa, en comparación, es efectivamente un cuadro negro, con poco conocimiento del público acerca de lo que sucede en el interior. Los países están clasificados por separado en la lectura, las matemáticas y la ciencia, de acuerdo con las puntuaciones basadas en los logros de sus alumnos en las pruebas especiales de Pisa. Estos son representativos en lugar de las puntuaciones reales, ya que se han ajustado para adaptarse a una escala común, donde el promedio de la OCDE es siempre 500. Así que en la evaluación PISA 2009, por ejemplo, Shanghai terminó primero en la lectura con 556, los EE.UU. se correspondía con la media de la OCDE, con 500 y Kirguistán acabó último con 314.
Se podría pensar que para lograr una comparación justa - y teniendo en cuenta que las preguntas sesgadas culturalmente han sido "eliminados" - se les ha pedido a todos los estudiantes que participan en Pisa para responder a las mismas preguntas.
Pero sería un error. Por ejemplo, en Pisa 2006, aproximadamente la mitad de los alumnos participantes se les pidió no alguna pregunta sobre la lectura y la otra mitad no fueron probados en absoluto en las matemáticas, aunque se produjeron el ranking completo para ambos temas. La ciencia, el foco principal de Pisa ese año, fue el único tema que todos los alumnos participantes fueron probados en.
Profesor Svend Kreiner, de la Universidad de Copenhague, Dinamarca, ha examinado los resultados de la lectura para el año 2006 en detalle y señala que otro 40 por ciento de los estudiantes participantes se pusieron a prueba en tan sólo 14 de las 28 preguntas de lectura utilizados en la evaluación. Así que sólo aproximadamente el 10 por ciento de los estudiantes que participaron en Pisa se pusieron a prueba en todas las 28 preguntas de lectura.
"Esto en sí mismo es ridículo", dice Kreiner TES. "La mayoría de la gente no sabe que la mitad de los estudiantes que participan en Pisa (2006), no responden a ningún elemento de la lectura en absoluto. A pesar de eso, Pisa asigna puntuaciones de lectura para estos niños ".
Las personas también pueden no ser conscientes de que la variación en las preguntas no es sólo entre los estudiantes dentro de un mismo país. También hay diferencias entre los países.
Por ejemplo, ocho de las 28 preguntas de lectura utilizados en Pisa 2006 se eliminaron del análisis final en algunos países. La OCDE dice que esto se debía a que eran considerados como "poco fiable" y "tenía malas propiedades psicométricas en un país en particular". Sin embargo, en otros países los datos de estas preguntas han contribuido con sus puntuaciones Pisa.
En resumen, las preguntas de la prueba utilizados varían entre los estudiantes y entre los países que participan de la misma evaluación Pisa.
La OCDE ofrece TES la siguiente explicación para este escenario aparentemente poco probable: "Es importante reconocer que Pisa es una evaluación a nivel de sistema y el diseño de la prueba se crea con ese objetivo en mente. La evaluación Pisa no genera calificaciones de los individuos, sino que calcula los valores plausibles para cada estudiante con el fin de proporcionar magnitudes del sistema ".
A continuación hizo referencia a una explicación en un informe técnico de Pisa, que señala: "Es muy importante reconocer que los valores plausibles no se ponen a prueba las puntuaciones y no deben ser tratados como tales. Son números aleatorios extraídos de la distribución de las puntuaciones que se podrían asignar razonablemente a cada individuo. "En otras palabras, una gran parte de la clasificación de Pisa no se basa en el desempeño real del estudiante en todo, pero en los" números aleatorios ".
Para el cálculo de estos "valores plausibles", la OCDE utiliza algo llamado el modelo de Rasch.Alimentando puntuaciones reales de estudiantes en esta estadística "modelo de escala", los administradores de Pisa tienen como objetivo elaborar una versión plausible de lo que las puntuaciones habrían sido si todos los estudiantes de todos los países habían respondido a las mismas preguntas.
Dentro de la caja negro
El modelo de Rasch está en el centro de algunas de las críticas más fuertes que se están realizando de Pisa. También es el cuadro negro dentro de la caja negro de Pisa: exactamente cómo funciona el modelo es algo que pocas personas entienden completamente.
Pero Kreiner hace. Él era un estudiante de Georg Rasch, el estadístico danés que dio su nombre al modelo, y ha trabajado personalmente con él durante 40 años. "Conozco bien ese modelo", dice Kreiner TES. "Sé exactamente lo que pasa allí." Y es por eso que está preocupado por Pisa.
Dice que para el modelo de Rasch para trabajar por Pisa, todas las preguntas utilizadas en el estudio tendrían que funcionar exactamente de la misma manera - igualmente difícil - en todos los países participantes. Según Kreiner, si las preguntas tienen "diferentes grados de dificultad en los distintos países" - si, en términos técnicos, no hay funcionamiento diferencial del ítem (DIF) - Rasch no se debe utilizar.
"Eso fue lo primero que me puse a buscar y encontré extremadamente fuerte evidencia de DIF", dice. "Eso significa que (Pisa) comparaciones entre países no tienen sentido."
Por supuesto, como ya se ha dicho, la OCDE no pretende "eliminar a" las preguntas que se polarizan hacia los países en particular. Pero, como admite Davidson de la OCDE, "hay alguna variación" en la forma en que las cuestiones de trabajo en diferentes países, incluso después de que eliminar a. "Por supuesto que lo es", dice. "Sería ridículo esperar que cada artículo (pregunta) se comporte exactamente igual. Lo que nosotros trabajamos para hacer es minimizar esa variación ".
Pero la investigación de Kreiner sugiere que la variación es aún demasiado para permitir que el modelo de Rasch para que funcione correctamente. En 2010, tomó los datos de la prueba de lectura de PISA 2006 y les dio de comer a través del modelo de Rasch a sí mismo. Él dijo que los reclamos de la OCDE no se ponen de pie, porque el ranking de los países varían considerablemente en función de las preguntas utilizadas. Eso significaba que los datos eran inadecuados para Rasch y, por tanto, Pisa era "no es fiable en absoluto."
"Yo no soy realmente capaz de encontrar dos artículos en las pruebas de Pisa, que funcionan exactamente de la misma manera en diferentes países", dijo Kreiner en 2011. "No hay un solo elemento que es el mismo en todos los 56 países. Por lo tanto, no puede utilizar este modelo ".
La OCDE respondió con un documento de ese mismo año, escrito por uno de sus asesores técnicos, Ray Adams, quien argumentó que el trabajo de Kreiner se basaba únicamente en el análisis de las preguntas en pequeños grupos seleccionados para mostrar la mayor variación. La organización sugiere que cuando se utilizó un gran número de preguntas, cualquier variación en el ranking se nivelan.
Pero Kreiner respondió con un papel nuevo este verano que rompió las preguntas de lectura 2006 en las mismas agrupaciones utilizadas por Pisa. No incluyó las ocho preguntas que los admite la OCDE eran "poco fiables" para algunos países, pero aún así encontró grandes variaciones en el ranking de los países en función de los cuales se utilizaron grupos de preguntas.
Además de las variaciones del Reino Unido y Dinamarca ya mencionadas, las diferentes preguntas hicieron que el Canadá podría haber terminado en cualquier lugar entre la segunda y 25 y Japón entre el octavo y 40mo. Es, dice Kreiner, más evidencia de que el modelo de Rasch no es adecuado para Pisa y que "lo mejor que podemos decir sobre el ranking PISA es que son inútiles".
Según la OCDE, no todos los expertos están de acuerdo con la posición de Rasch de Kreiner que el modelo no se puede utilizar cuando el DIF está presente. También sostiene que no existe un modelo estadístico se ajusta exactamente con los datos de todos modos, a la que Kreiner responde: "Es cierto que todos los modelos estadísticos son erróneas. Sin embargo, algunos modelos son más malo que otros modelos y no hay razón para usar el peor modelo ". Kreiner acusa aún más la OCDE de no presentar ninguna prueba para demostrar que sus rankings son robustos.
La organización dice que los investigadores pueden solicitar los datos. Pero, más significativamente, ahora ha admitido que hay "incertidumbre" en torno a la clasificación Pisa país y que "gran variación en las posiciones de ranking individuales es probable".
Atribuye esto a "datos de ejemplo" en lugar de la falta de adaptación de su modelo estadístico. Pero la variación de posibles clasificaciones citadas por la OCDE, aunque más pequeño que Kreiner de, todavía puede levantar las cejas. En 2009, la organización dijo que el ranking del Reino Unido fue de entre 19 y 27 para la lectura, entre los días 23 y 31 de matemáticas, y entre 14 y 19 para la ciencia.
Serias preocupaciones sobre el modelo de Rasch También se han planteado por el Dr. Hugh Morrison de la Universidad Queen de Belfast en Irlanda del Norte. El matemático no se limita a pensar que el modelo no es adecuado para Pisa - está convencido de que el modelo en sí es "completamente equivocado".
Morrison sostiene que en el corazón de Rasch, y otras modelos estadísticos similares, se encuentra un error matemático fundamental, insoluble que hace que la clasificación de Pisa "sin valor" y significa que el programa "no va a funcionar".
Él dice que el modelo insiste en que cuando los estudiantes de la misma capacidad de responder a la misma pregunta - en perfectas condiciones, cuando todo lo demás es igual - algunos estudiantes siempre contestar correctamente y algo de manera incorrecta. Pero Morrison sostiene que, en estas circunstancias, los estudiantes serían, por definición, todos dar una respuesta correcta o estarían todos dar una respuesta incorrecta, porque todos tienen la misma capacidad.
"Este es mi problema fundamental, que nadie puede resolver por lo que yo puedo ver porque no hay manera de resolverlo", dice el académico, que quiere dar a otros la oportunidad de refutar su argumentación matemática. "Yo soy un matemático bastante cautelosos y estoy seguro de que esto no se puede responder."
Morrison también impugna Rasch porque él dice que el modelo hace la afirmación "imposible" de ser capaz de medir la capacidad de forma independiente de las preguntas que los estudiantes respondan."Considera un candidato GCSE que marque 100 por ciento en matemáticas fundación GCSE", dice a TES."Si Einstein fuera a tomar el mismo papel, parece probable que él también anotaría 100 por ciento.¿Hemos de suponer que Einstein y el alumno tienen la misma capacidad matemática? ¿No lo siguiente, la afirmación más conservadora, estar más cerca de la verdad: que Einstein y el alumno tienen la misma matemática capacidad relativa a la prueba de matemáticas fundación "?
Cuando TES ponen preocupaciones de Morrison a la OCDE, que respondió repitiendo su refutación de los argumentos de Kreiner. Pero Kreiner hace un punto diferente y argumenta en contra de la idoneidad de Rasch para Pisa, mientras que Morrison afirma que el modelo en sí es "totalmente incoherente".
Después de ser remitido un breve resumen del caso de Morrison, Goldstein dice que él destaca "un importante problema técnico", en lugar del "profundo error conceptual" reclamada por el académico de Belfast. Pero los dos están de acuerdo en su opinión, de la respuesta de la OCDE a la crítica. Morrison ha puesto sus puntos a varias personas de alto nivel en la organización, y dice que fueron recibidos con "silencio absoluto". "Me sorprendió lo reticente que eran", dice. "Eso me hace sospechar."
Goldstein publicó por primera vez sus críticas de Pisa en 2004, pero dice que aún no se han abordado."Pisa rotundamente ignorado muchos de estos temas", dice. "Todavía estoy preocupado."
La OCDE dice TES que: "El material técnico sobre Pisa que se produce en cada ciclo pretende ser transparentes acerca de los métodos de Pisa. Pisa siempre estará dispuesto a mejorar en eso, llenar los vacíos que se perciben de existir, o eliminar las ambigüedades y discutir estas metodologías públicamente ".
Pero Kreiner está convencido: "Uno de los problemas que todo el mundo ha de Pisa es que ellos no quieren discutir las cosas con la gente criticar o hacer preguntas acerca de los resultados. No querían hablar conmigo en absoluto. Estoy seguro de que es porque no pueden defenderse a sí mismos ".
¿Cuál es el problema?
"(Pisa) se ha utilizado de forma inapropiada y algo de la culpa de que se encuentra consigo misma Pisa.Creo que tiende a decir mucho de lo que puede hacer y que no tiende a dar a conocer el negativo o los aspectos más débiles ". Profesor Harvey Goldstein de la Universidad de Bristol, Inglaterra
"Estamos tan transparente como creo que podemos ser."
Michael Davidson, jefe de la división de las escuelas de la OCDE
"El punto principal es, no es hasta el resto del mundo para demostrar que (la OCDE) están equivocados.Depende de Pisa para demostrar que tienen razón. Ellos afirman que están haciendo algo y que están recibiendo una gran cantidad de dinero para hacerlo, y deben apoyar sus demandas. "Profesor Svend Kreiner, de la Universidad de Copenhague, Dinamarca
"Hay muy pocas cosas que se pueden resumir con un número y, sin embargo Pisa afirma ser capaz de capturar todo el sistema educativo de un país en tan sólo tres de ellos. No puede ser posible. Es una locura ". Dr. Hugh Morrison, la Universidad Queen de Belfast, Irlanda del Norte
Otras lecturas
- Papeles por el profesor Svend Kreiner: bit.ly / SvendKreiner y
- bit.ly / PisaScaling
- Artículo y un enlace a papel por el Dr. John Jerrim: bit.ly / EnglandPerformance
- Papel del profesor Harvey Goldstein: bit.ly / HarveyGoldstein
- Papel por el asesor técnico de la OCDE Ray Adams: bit.ly / RayAdams
- Papel por el Dr. Hugh Morrison: bit.ly / MorrisonBelfast .
Suscribirse a:
Entradas (Atom)
Comentario (11)