El relato tiene ese problema irresoluble... la realidad.
El deterioro de la credibilidad de las pruebas de desempeño estudiantil en Argentina ha pasado desapercibido. Esto no es accidental, sino el resultado de múltiples decisiones deliberadas de parte del gobierno para dificultar el acceso a información que permita entender el estado y progreso del aprendizaje de los estudiantes. Los datos sobre el desempeño estudiantil en Argentina no están al servicio de los ciudadanos, sino de la clase política actual.
Fuente http://ar.bastiondigital.com/notas/el-indec-educativo
El deterioro de la credibilidad del Índice de Precios del Consumidor (IPC) de la Argentina, publicado por el Instituto Nacional de Estadística y Censos (INDEC), ha generado un sinfín de respuestas—incluyendo la creación en el 2007 de un centro de investigación en el Massachusetts Institute of Technology avocado a proveer estimaciones alternativas de la inflación en el país, la creación en el 2011 del índice propio de algunos miembros del Congreso, la decisión delEconomist en el 2012 de dejar de publicar las estadísticas oficiales, y la amenaza en el 2013 del Fondo Monetario Internacional de expulsar al país del organismo si no reformaba sus dudosos números.
Por el contrario, el deterioro de la credibilidad de las pruebas de desempeño estudiantil en Argentina, llamadas Operativos Nacionales de Evaluación (ONE), y realizadas por la Dirección Nacional de Información y Evaluación de la Educación (DiNIECE), ha pasado completamente desapercibido. Esto no ha sido accidental, sino el resultado de múltiples decisiones deliberadas de parte del gobierno nacional para dificultar que la sociedad civil pueda tener acceso a información confiable que le permita entender el estado y progreso del aprendizaje de los estudiantes argentinos.
Las evaluaciones son cada vez menos frecuentes
En los últimos 12 años, se ha disminuido la frecuencia de las evaluaciones estudiantiles en múltiples ocasiones. Cuando fueron creados en 1993, los ONE eran anuales. En el 2001, se suspendieron por la “crisis económica y político institucional” que atravesaba el país (DiNIECE 2005, p. 11). Los ONE 2003 tardaron dos años en realizarse, del 2002 al 2003 (DiNIECE 2005, p. 11). En el 2003, se oficializó el retraso mediante la Resolución N° 201/03 del Consejo Federal de Educación (CFE) (en el punto 4.2 de su anexo), que hace que los ONE sean bianuales. Los ONE 2007 también tardaron dos años en realizarse, del 2007 al 2008 (DiNIECE 2008, p. 7). En el 2009, el Ministro de Educación Nacional Alberto Sileoni suspendió los ONE argumentando que se había perdido demasiados días de clase debido a la “gripe A,” y en el 2010 se institucionalizó este retraso adicional en la Resolución N° 99/10 del CFE (en el punto 2 de su anexo), dictando que desde ese año en adelante los ONE sean trienales.
Paradójicamente, fue en la celebración de los 20 años de los ONE que la Directora de la DiNIECE, Liliana Pascual,defendió la menor frecuencia de las evaluaciones argumentando que “los cambios educativos son lentos” y que “medir todos los años como se hacía en la década de los noventa no implica lograr cambios en los resultados.”
Lo que la Dra. Pascual no mencionó es que las evaluaciones nacionales de otros países latinoamericanos son mucho más frecuentes que las argentinas. Brasil evalúa múltiples grados y materias todos los años desde 1990 (ver p. 27 de esteinforme), Chile desde 1998 (ver calendario de evaluaciones aquí), Perú desde el 2007 (ver resultados de evaluación de segundo grado aquí), y Colombia desde el 2009 (navegar las evaluaciones aquí). En Chile y Colombia, se agregaron aún más evaluaciones en los últimos años.
Se publican los resultados con un retraso de dos años
La DiNIECE actualmente está incumpliendo con la Resolución N° 166/10, que en su anexo requiere que elabore informes sobre los resultados de los ONE “en el año inmediatamente posterior a la aplicación de los mismos” (artículo 9). Los últimos ONE se realizaron en el 2013 y, aún en el 2015, los resultados todavía no están disponibles. (Aquíincluyo una foto de pantalla por si los resultados se publican luego de la salida de este artículo).
Lo que más llama lo atención no es que los resultados de los ONE 2013 no estén listos (los resultados de los ONE 2007 también se publicaron con dos años de retraso), sino que la DiNIECE ya publicó sus recomendaciones para maestros en base a los resultados. En estos documentos, se citan cifras específicas de las tasas de respuesta a cada pregunta (por ejemplo, en la página 10 de este informe), evidenciando que los resultados ya están.
Lo que sugiere que la DiNIECE sabe que está violando la Resolución N° 166/10 es que, desde el 2010, los informes de los ONE ya no tienen fecha. En ninguna parte de sus páginas se indica el año de publicación del informe (ver por ejemplo, el del 2010 y compararlo con el del 2007).
Peor aún que se retrasen los resultados de los ONE es que nunca se anuncien las fechas en las que se publicarán (al menos, no en el sitio web de la DiNIECE). Esto abre la puerta a que el gobierno nacional los publique cuando le convenga políticamente.
Se eliminan reportes de evaluaciones anteriores
Si bien en su sitio oficial, la DiNIECE resalta que los ONE se realizan desde 1993, solamente incluye informes de resultados desde el 2003. Además, aún entre los años que incluye este sitio, para algunos de ellos (como por ejemplo, el 2005), sólo se incluyen las recomendaciones para maestros, habiendo en este caso quitado los resultados que allí estaban previamente. (Nuevamente, aquí incluyo una foto de pantalla, en el caso de que la DiNIECE elija rectificar este hecho).
(Para aquellos que quieran acceder a los resultados del 2005 que la DiNIECE quitó de su sitio web, por suerte tengo un amigo precavido que bajó los informes en su computadora. Pueden acceder a los resultados aquí).
Se realizan cambios que impiden comparar en el tiempo
Desde 1995 al 2003, los resultados de los ONE podían compararse a través del tiempo. En sus últimas cuatro páginas, el informe del 2003 mostraba que el desempeño de los estudiantes de último año de la secundaria en lengua y matemática estaba estancado desde 1995 (ver gráfico con y sin ajustes para hacer que los resultados sean comparables a través del tiempo, usando la metodología “Teoría de Respuesta al Ítem” o TRI).
Fuente: DiNIECE (2005).
Desde el 2005 en adelante, se realizaron dos cambios técnicos en los ONE que imposibilitaron las comparaciones a través del tiempo. Primero, se empezaron a realizar pruebas referidas a criterio, que en vez de medir cuánto de una prueba puede contestar un estudiante, miden cuánto más (o menos) sabe este estudiante con respecto a un par promedio hipotético. Segundo, se empezó a utilizar la metodología basada en la TRI para procesar los resultados (p. 13 de los ONE 2005 que la DiNIECE sacó de su sitio web).
Lo lamentable no es que la DiNIECE haya cambiado los aspectos técnicos de los ONE, sino que lo haya hecho sin re-analizar los datos del 2005 en adelante para no perder la serie de tiempo. En Estados Unidos, cuando el National Assessment for Educational Progress (NAEP), que se realiza desde 1970, cambió su metodología en 1991, creó dos versiones de los resultados—el nuevo Main NAEP, comparable del ‘91 en adelante, y el Long-Term Trend NAEP, una versión que recalculaba los nuevos puntajes para hacerlos comparables desde el ‘70. Sin ir más lejos, cuando el Laboratorio Latinoamericano de la Evaluación de la Calidad Educativa (LLECE) de la UNESCO utilizó diferentes metodologías en el Segundo y Tercer Estudios Regionales Comparativos y Explicativos (conocidos como SERCE y TERCE), recalculó los puntajes del TERCE del 2013 para que se puedan comparar con los del SERCE del 2006. Esto se pudo haber hecho; la DiNIECE simplemente eligió no hacerlo.
Se prohíbe la diseminación de datos por escuela, docente, o alumno
Ya he dicho y escrito en varias ocasiones que, en su artículo 97, la Ley de Educación Nacional (LEN) del 2006 prohíbe la diseminación de los resultados de los ONE por escuela, docente, o alumno. A este artículo se le suman el artículo 10 de la Ley Nro. 17.622, el artículo 14 del Decreto 3110/70 del Instituto Nacional de Censos y Estadísticas (INDEC), y elartículo 13.4 de la Disposición Nro. 176/99 del INDEC.
En su discurso, la Dra. Pascual admite que a ella “le ha tocado estar presente en reuniones latinoamericanas con representantes de Chile, o de Colombia, donde no entienden esta lógica, porque ellos están acostumbrados a que los resultados se hacen públicos”. Esto no se limita a estos dos países. Por ejemplo, en Brasil, en el sitio web del Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), la contraparte de la DiNIECE en ese país, se puede comparar el Índice de Desenvolvimento da Educação Básica (IDEB) (que aúne resultados de las pruebas de desempeño estudiantil con tasas de aprobación de grado) de cualquier grupo de escuelas simplemente seleccionando el estado, municipio, dependencia administrativa, región geográfica (urbano o rural), y tipo de comunidad (indígena, correccional, etc.) (Aquí incluyo una foto de pantalla como ejemplo). Para cada escuela, se puede acceder a indicadores de gestión escolar, práctica pedagógica, infraestructura, insumos, organización, resultados de pruebas nacionales, y comparación con otras escuelas. (Aquí otra foto como ejemplo).
La Dra. Pascual justificó el artículo 97 de la LEN diciendo que “impide que se formen los rankings – los rankings que desconocen contextos, desconocen historias.” Sin embargo, en los ONE 2005, la DiNIECE rankea a las provincias por su desempeño (ver, por ejemplo, p. 30 del informe) y lo hace nuevamente en los ONE 2007 (p. 26 del informe).
La Dra. Pascual anunció que en el 2010 se difundieron los resultados de los ONE de finalización de secundaria a las escuelas, junto al “promedio jurisdiccional y el promedio nacional.” Pero ¿qué le dice a un director que se desempeñó mejor o peor que su provincia o país? ¿No sería más útil ofrecer algunas escuelas de características similares como comparación? Además ¿qué pasa si el director (por cualquier razón) decide no compartir los resultados con el maestro? O peor aún ¿qué pasa si los directores de las escuelas con mayores recursos lo hacen pero las de menores recursos no? Una política que se presenta como remedio a la estigmatización puede estar perpetuando las mismas inequidades que son orígenes de estos estigmas.
No se reportan las tasas de respuesta de las pruebas
Algunas evaluaciones de desempeño estudiantil se administran a todos los estudiantes (se las llama “censales”); otras a una muestra representativa de los estudiantes (se llaman “muestrales”). En ambos casos, es esencial que quienes fueron seleccionados para ser evaluados realicen la evaluación. De lo contrario, se termina con una muestra sesgada en la que los más motivados (que suelen tener mejores resultados) realizan la evaluación, los menos motivados (que suelen tener peores resultados) no la realizan, y los resultados son más favorables que si todos los seleccionados hubiesen realizado la evaluación.
La última vez que la DiNIECE incluyó las tasas de respuesta (es decir, qué porcentaje de escuelas y alumnos seleccionados para ser evaluados realizaron la evaluación) fue en el 2003 (el sitio web de la DiNIECE no publica informes de años anteriores). Sin embargo, aún en esta ocasión, sólo se publicó la tasa de “cobertura” nacional (ver p. 43 del informe 2003). Qué significa esta tasa es un enigma: ¿la tasa de cobertura de la muestra nacional? ¿la tasa de cobertura de la población matriculada? ¿la tasa de cobertura de los jóvenes de edad escolar? El Programa Internacional de Evaluación de Alumnos (PISA, por sus siglas en inglés) reporta las tres tasas (ver p. 268 de este informe). Aún más importante, no se publican las tasas de cobertura a nivel provincial, que pueden haber variado ampliamente. Por ejemplo, los ONE 2003 tuvieron una cobertura del 80.1% en lengua de segundo año ¿cuán baja fue la tasa de respuesta de alguna provincia para llegar a esa cifra? ¿hubo provincias que no tuvieron una muestra representativa? No se especifica.
En el 2005, ya no se incluyen las tasas de respuesta. El informe de ese año sólo se limita a decir que “La muestra garantiza una precisión relativa de más/menos 2% con una confianza del 95% para la estimación del rendimiento de matemática” (ver p. 12). ¿Cómo es que la garantiza? ¿Y para las otras materias qué pasó? No se detalla la cobertura ni siquiera a nivel nacional. La única mención que se hace de la cobertura en los ONE 2005 es para advertir que Neuquén no participó. ¿Por qué? Nunca se dice.
En el 2010, ni se menciona la representatividad de la muestra. Esto es particularmente preocupante dado que la DiNIECE dice que los ONE 2010 fueron censales (es decir, que evaluaron a “todos los estudiantes del último año de la escuela secundaria” según la página 6 de su informe), pero los números no dan. En la página 9 del informe, se dice que se evaluó a 277.959 estudiantes cursando el último año de la secundaria. Sin embargo, según el Anuario 2010 de la DiNIECE, en ese año habían 361.690 estudiantes cursando el último año de la secundaria (ver columna del 12° año de estudio en el cuadro 2.C.4 del anuario). ¿A quiénes se excluyó o se autoexcluyeron y por qué? ¿Qué consecuencias tiene en términos de los resultados? ¿Rindieron los de más alto o bajo desempeño? No se explicita.
La única mención que se hace de la cobertura en los ONE 2010 es para advertir que Mendoza no participó y que la cobertura de 2do y 3er año de la secundaria en Neuquén y Tierra del Fuego fue menor al 50%. ¿Cómo entonces se pueden tomar los resultados como comparables en el tiempo? ¿Por qué no comparar los resultados nacionales excluyendo a provincias con cobertura baja?
Yo no dudo que la DiNIECE sepa las tasas de respuesta y que las haya documentado en algún “informe técnico” no publicado en su sitio web. (Por ejemplo, aquí parece haber un informe técnico para los ONE 2010 de finalización de secundaria, pero por alguna razón no está subido al sitio web de la DiNIECE). Tan sólo menciono que esas cifras deben incluirse en los informes de resultados para permitir su correcta interpretación.
Se registran mejoras “increíbles”
Algunas de las materias y grados evaluados en los años en los que la DiNIECE mantiene que los resultados son comparables en el tiempo resultan poco creíbles. Por ejemplo, en lengua, del 2005 al 2010, el porcentaje de estudiantes de tercer grado en el nivel bajo se redujo 25 puntos porcentuales. Del 2007 al 2010, el porcentaje de estudiantes de tercer grado y 5to o 6to año en el nivel bajo se redujo más de 20 puntos (ver gráficos). Esta mejora radical se da en un contexto donde el gobierno dice estar incluyendo a los alumnos más desaventajados al sistema, por lo cual se esperaría una trayectoria opuesta.
Fuente: DiNIECE (2005, 2007, 2010).
Curiosamente, si bien los resultados de los ONE 2005 y 2007 son comparables en el tiempo (lo dice la DiNIECE en el punto 1.2 de este informe), el informe de los ONE 2007 no compara los resultados del 2005 y 2007, y el ONE 2010 sólo compara los resultados del 2007 y el 2010. ¿Qué pasaría si se incluyesen los del 2005? En tercer grado de ciencia, se daría un patrón intrigante (ver gráfico): el porcentaje de alumnos en el nivel bajo se duplicó en dos años y luego casi se redujo por la mitad en tres años.
Fuente: DiNIECE (2005, 2007, 2010).
No se publican informes de pruebas internacionales
La DiNIECE también está incumpliendo con otra disposición de la Resolución N° 166/10, que en su anexo requiere que elabore “informes propios sobre los resultados obtenidos en lo estudios internacionales de evaluación en que participe la Argentina” (artículo 10). En el sitio web de la DiNIECE, aún en el 2015, no se han subido los informes internacionales ni de PISA 2012 ni de TERCE 2013. (Nuevamente, aquí incluyo una foto de pantalla, en el caso de que la DiNIECE elija rectificar este hecho).
Cuando se publican estos informes, carecen de auto-crítica alguna. La última vez que la DiNIECE publicó un informe nacional de PISA (en el 2009), la Argentina había tenido la caída más amplia en lectura desde 2000 de todos los países participantes en la prueba. (Para un excelente gráfico que documenta esta caída, ver p. 28 de este informe de CIPPEC). Sin embargo, en un “resumen ejecutivo,” (el informe que se resume aquí no está en el sitio web de la DiNIECE) ni siquiera se menciona este dato. En cambio, se compara el puntaje de Argentina en el 2009 con el del 2006, desde cuando se registra una mejora (ver p. 4 del resumen).
A modo de contraste, es interesante visitar el sitio web del Instituto Nacional de Evaluación Educativa (INEE) de España para ver que no sólo se publican los resultados de evaluaciones internacionales junto a una serie de investigaciones de expertos nacionales e internacionales utilizando sus resultados, sino también las bases de datos de las evaluaciones nacionales e internacionales en múltiples formatos.
Se critican las evaluaciones internacionales
Las pruebas internacionales presentan un problema para el gobierno, ya que periódicamente proveen datos sobre el desempeño de los estudiantes argentinos que permiten comparaciones en el tiempo y con otros países. Gracias en parte a las agencias que administran estas pruebas, y a los medios que las difunden, los ciudadanos ya se han acostumbrado a ellas, por lo que no seguir participando a esta altura sería muy costoso políticamente para el gobierno.
Por esto, el Prof. Sileoni y la Dra. Pascual han decidido continuar administrando las pruebas mientras las critican. (Para ejemplos de críticas de Sileoni ver aquí, aquí, y aquí; para ejemplos de críticas de Pascual, ver la página 4 del discurso ya mencionado).
El ministro y la directora de la DiNIECE argumentan que la prueba no se adapta a la cultura argentina y latinoamericana. Esto es objetable por múltiples razones. Primero, desafío a que el lector responda estos ítems liberados de matemática y me diga por qué son inapropiadas culturalmente; éstas son habilidades que todos los jóvenes de 15 años deben tener para participar plenamente de la sociedad. Segundo, si las pruebas PISA son tan inapropiadas para América Latina, ¿cómo es posible que Brasil, Chile, Perú, y México estuvieron entre los países que más mejoraronen el mundo? Tercero, si el gobierno requiere adaptaciones locales ¿por qué no se suscribe a PISA for Development, una versión de la prueba con cuestionarios adicionales adaptados a países en vías de desarrollo, a la que ya se suscribieron Ecuador, Paraguay, y Guatemala?
Cuarto, y aún más importante, los ONE, el TERCE, y las PISA dicen muchas veces lo mismo. Si se compara el porcentaje de alumnos de tercer y sexto grados en el nivel bajo de los ONE 2010 con el porcentaje de alumnos de los mismos grados en el nivel 1 o por debajo de éste en el TERCE 2013, son muy similares. Lo mismo sucede si se compara el porcentaje de alumnos de 2do o 3er año de la secundaria en el nivel bajo de los ONE 2010 con el porcentaje de alumnos de 15 años en el nivel 1 o por debajo de éste en las pruebas PISA (que en su mayoría están en 2do o 3er año).
El gráfico de abajo muestra algunas de las coincidencias más claras. Si las pruebas internacionales son inapropiadas para los estudiantes argentinos ¿por qué suelen resultar en un diagnóstico del aprendizaje similar al de las pruebas nacionales?
Fuente: DiNIECE (2010); PISA (2013); LLECE (2014).
Quizás aún más importante, la información que recolectan las pruebas de desempeño estudiantil internacionales a través de sus cuestionarios de contexto permiten un análisis más profundo sobre los factores que están asociados al mejor desempeño. (Ver aquí un ejemplo de un estudio que realicé para Proyecto Educar 2050). Los análisis de factores asociados de la DiNIECE son más limitados, tanto porque los ONE recolectan menos información de contexto (por ejemplo, la DiNIECE no encuesta a alumnos y docentes sobre ausentismo), como porque esas variables no son necesariamente comparables con las de otros países, como porque sólo muestran el porcentaje de estudiantes con diferentes características en cada nivel de desempeño, tratando a estudiantes que obtuvieron el peor y mejor desempeño posible dentro de un nivel como iguales. (Ver aquí un ejemplo del estudio de factores asociados de los ONE 2010 de finalización de secundaria).
La culpa es tuya y mía
¿Por qué no ha habido la misma respuesta al deterioro de los ONE como al del IPC? Se me ocurren varias razones. Primero, porque las acciones del gobierno han sido exitosas en distanciar la discusión del aprendizaje estudiantil de la sociedad civil. Es decir, el deterioro de los ONE en parte perpetúa el silencio sobre el deterioro de los ONE.
Segundo, porque a algunos renombrados expertos de educación les da miedo (o no les conviene) mostrar cuando las cosas no se hacen bien, prefiriendo alentar lo que se hace bien. Esta pasividad (o complicidad) de estos expertos le ha dado al gobierno y a la DiNIECE una carta blanca para hacer con los ONE lo que deseen. El hecho de que los expertos sean tan pocos hace aún más fácil la tarea del gobierno de cooptarlos.
Tercero, porque nos falta en Argentina una masa crítica (en ambos sentidos de la palabra) de “psicometristas”—los psicólogos que usa métodos estadísticos para medir conocimientos y habilidades. Hay gente muy bien entrenada tanto en universidades públicas y privadas, como en ministerios nacionales y sub-nacionales. En la misma DiNIECE, me consta que hay expertos excelentes, algunos de los cuales tuve el placer de conocer personalmente. Pero muy frecuentemente, estos técnicos trabajan para líderes con poco o nulo entrenamiento en psicometría que responden a intereses políticos.
Y finalmente, porque el bajo desempeño estudiantil no impacta el día a día de tu vida y de la mía de la misma forma que los precios del almacén o supermercado. Es difícil de observar; y aún cuando se observa, es difícil de medir; y aún cuando se mide, es difícil de discernir cuáles son sus efectos. Sé que nos cuesta admitirlo, pero en parte esto también es tanto culpa tuya como mía, que no reclamamos mejor información.
No me cabe ninguna duda que el gobierno, el ministerio, y la DiNIECE responderán a esta nota refutando los puntos en los que puedan defenderse con algún dato enterrado en un apéndice o informe técnico, omitiendo lo indefendible, y resaltando sus logros. Esto probará, una vez más, que los datos sobre el desempeño estudiantil en Argentina no están al servicio de los ciudadanos, sino de la clase política actual.
