Exposición de Andrés Peri en el marco del Panel sobre Nuevas Evaluaciones en el Foro de Innovaciones Educativas por los 10 años del Plan Ceibal
Fecha: 10 de Mayo de 2017 Hora: 13:30-14:30
Integrantes: Andrés Peri (ANEP); Mariano Palamidessi (INEED); Juan Bravo (Agencia de Calidad de la Educación-Chile).

 

 

 

Dinámica: Cada ponente dispondrá de 5 minutos para dar su visión sobre cada tema-línea de discusión propuesta.

 

  • Tema 1: Tecnologías digitales en educación y nuevas métricas ¿De qué manera el nuevo contexto y las nuevas tecnologías digitales están transformando la evaluación educativa? ¿Cuáles son las nuevas métricas relevantes a desarrollar en el nuevo contexto y cómo se acoplan con el sistema actual de evaluación? ¿Qué pueden aportar los nuevos enfoques que utilizan analíticas del aprendizaje?

A nosotros nos tocó presenciar un hecho histórico: la transformación de las evaluaciones del papel a digital. Cuando cada niño tiene una computadora, con conexión a internet, el desafío era leer el nuevo contexto escolar y plantear una evaluación que tomara partido de las ventajas del mundo digital. En el 2006 habíamos hecho una evaluación censal en papel en primer grado en lectura y escritura en acuerdo con la Inspección Técnica.  La valoración de la experiencia fue tan positiva, que redoblamos la apuesta para el año siguiente: no solo evaluar lengua, sino también matemática para segundo grado. Cuando elevamos el presupuesto de hojas a imprimir 50.000 niños, por 10 hojas cada prueba, por 2 aéreas, nos daba 1.000.000 de hojas a imprimir. Cuando los contadores nos dijeron que no alcanzaba el presupuesto de impresión, Sebastián de Almeida, -el ingeniero que trabajaba con nosotros-, dijo: “¿Y si no imprimimos? Comenzaba el plan ceibal, y empezamos a analizar la posibilidad de aplicar la primera evaluación en línea.

Ese año en el 2007 hicimos un piloto en Valdense y Tarariras en Colonia ya que aun no se había culminado la distribución de computadoras en todo el país. Cuando vimos que podíamos transformar la evaluación a realizarla en línea con las “ceibalitas” nos dimos cuenta que no solo cambiaba la forma de administración, sino que se abría un nuevo universo. Tres elementos me gustaría destacar:

En primer lugar, era posible devolver resultados en tiempo real: cuando el último niño culminaba la evaluación, el maestro tenía en su portal los resultados para analizar los resultados. Ya no era necesario esperar meses de recoger pruebas, digitarlas, analizarlas, para luego devolver los informes. El desafío consistió en proponer una evaluación de calidad alineada al programa escolar que permitiera el análisis situado en cada escuela.

En segundo lugar, se podían desplegar los resultados con valor agregado. Se incorporaron visualizaciones nuevas que permitían al docente ver los resultados por estudiante o por actividad y tener una visión de las fortalezas y debilidades del grupo.

En tercer lugar, se transforma la forma de gestión de información. La información ya no sube ni baja de la centralidad a las escuelas, sino que cada actor en el mismo proceso recibe la información apropiada para su nivel de responsabilidad. Se podía simultáneamente saber cómo le fue a cada clase, a cada escuela, a cada departamento y a los 43.000 estudiantes que realizaron la prueba durante ese año.

Eso llevó a que se desarrollara el sistema de evaluación de aprendizajes en línea SEA, una plataforma que permitía que docentes, directores, inspectores y estudiantes tuvieran acceso a información relevante. La plataforma administra ahora evaluaciones autónomas formativas, permite a los docentes crear su propia prueba (a partir del banco de actividades liberado) y realizar evaluaciones adaptativas donde a medida que contesta el estudiante, el sistema va seleccionando actividades propias de su nivel de habilidad (como ya se está haciendo con la evaluación adaptativa de inglés en 4°,5°, 6° y expandiéndose para media).

Para tener una idea de la importancia del cambio, nosotros desarrollamos la primera evaluación masiva en línea en el 2009, en segundo grado, y PISA se realizó íntegramente por computadora recién 6 años después. La primera evaluación nacional de aprendizajes en línea se realizó en el 2013 gracias al apoyo de Ceibal a los pocos centros privados que no contaban con equipos y conectividad.

La evaluación en línea logró transformar formas tradicionales de evaluación, suplantando la evaluación que se hacía a mitad de año por una instancia formativa que servía a los colectivos docentes a identificar “lagunas de conocimiento” al decir de Agustín Ferreiro y ofrecía una situación nueva (siguiendo al mismo autor), para poder seguir enseñando. No sustituye las evaluaciones de proceso que hace el maestro en el aula, sino que las complementa al permitir una mirada institucional, ya que comparten los resultados en la sala de reflexión por escuela.

 

  • Tema 2: Cultura evaluativa Si consideramos la evaluación como parte del proceso continuo de aprendizaje y enseñanza, y teniendo en cuenta que cada vez más las evaluaciones son administrados en línea ¿qué conocemos y cuáles son las evidencias sobre las formas y canales por los que se dan estos procesos de retroalimentación a partir de los datos de las evaluaciones?. En ese sentido, ¿cómo se utiliza la información proveniente de las evaluaciones?; ¿existen desafíos en los diferentes actores educativos (docentes; institución educativa; sistema en su conjunto) para la gestión y la toma de decisiones a partir de los datos y de las analíticas, de forma de personalizar intervenciones para la mejora del aprendizaje y de la enseñanza?

La conversión al mundo digital, permite hacer cosas que antes eran impensables. La posibilidad de realizar autónomamente 450,000 evaluaciones en un lapso de 3 semanas, era casi imposible en papel. Pero devolver información oportuna durante el año lectivo para que permita el feedback a los docentes fue la verdadera hazaña. El sistema fue diseñado de forma que cuando termina de hacer la evaluación el último niño de la clase, el docente ya tiene los resultados en el portal docente y puede corregir, -siguiendo la pauta-, las respuestas abiertas. Los directores van viendo la información de su centro a medida que los grupos van culminando sus evaluaciones, mientras que los inspectores acceden a ver la información consolidada de su jurisdicción o región que se actualiza cada semana. Esto permite al sistema enfocarse en algunas cuestiones fundamentales, dialogar entre distintos actores utilizando una información común y relevante y generar ámbitos de discusión y análisis de resultados en cada centro. La evaluación en línea contribuyó a la necesidad de crear salas de reflexión pagas en Primaria en cada centro, para permitir un análisis compartido de los resultados de las evaluaciones.

La plataforma SEA permitió además desarrollar un sistema de encuestas que luego de cada ciclo capta la voz de los docentes para ajustar las evaluaciones y la plataforma a sus necesidades. Por ejemplo, las encuestas que realizábamos luego de cada ciclo permitieron mostrar como crecía la proporción de docentes que respondía que analizó los resultados con otros docentes y no solo. Michael Fullan plantea que debemos avanzar hacia al “colectivización de la enseñanza” de manera que deje de ser una profesión que se ejerce en soledad, sino cada vez más a través de acuerdos docentes ya que cada docente solo participa en una etapa de un proceso muy largo que va de inicial hasta el fin de la educación media (que como el buen whiskey requiere 12 años de añejado).

Por ejemplo luego del primer ciclo de evaluación , realizamos una consulta a los docentes sobre cómo usaban la evaluación formativa y nos comentaron:

La evaluación me pareció excelente, de muy buen nivel, me ayudó a reflexionar sobre mis practicas educativas, las propuestas de la misma fueron muy significativas despertando el interés de los niños, se ha de destacar el entusiasmo y placer con que realizaban las actividades durante la evaluación. Otro aspecto a destacar es la inmediatez y el procesamiento de datos, así como la excelente presentación de los resultados, lo que facilito una visión general y particular del aprendizaje de los alumnos”.

El desafío es avanzar como sistema, en una cultura de análisis de datos y generar aprendizajes institucionales en cada ciclo de evaluación.  Tiendo a desconfiar de los sistemas “automáticos”, donde la inteligencia artificial ordena la enseñanza. Confío más en sistemas que generan información de calidad y que al convertirse en instrumento de diálogo entre docentes, habilitan la reflexión compartida sobre los aprendizajes.

Fullan et al. (2008)[1] hacen especial énfasis en la importancia de personalizar la educación y salir del modelo de “un solo talle para toda la clase” que ha prevalecido en la enseñanza. Paradójicamente, instancias de evaluación estandarizadas pueden contribuir a comprender el nivel de dispersión de aprendizajes de un grupo y favorecer un tratamiento diferenciado según las necesidades de cada alumno.

Estos autores muestran la importancia de lo que denominan sistemas expertos, donde el docente es quien sugiere acciones personalizadas en función de indicadores objetivos de desempeño de los alumnos. Algo similar sucede en Cuba con la enseñanza de la lectura, donde han pautado los estadios de desarrollo de las distintas competencias y proponen actividades a los niños de acuerdo a su grado de avance[2].

Uruguay tiene una solida tradición de evaluación desarrollada en los últimos 20 años con énfasis en la evaluación para la mejora, siempre preocupado por devolver información relevante a los distintos actores del sistema. Creo que es hora de avanzar con la evaluación adaptativa con un banco de actividades calibradas en la misma métrica en parte del ciclo escolar. Esto permite monitorear la evolución del aprendizaje por grado, lo que puede contribuir a tener una ficha escolar más precisa que la que contamos ahora.

 

  • Tema 3: Efectividad docente Existe acumulación de diferentes trabajos empíricos que muestran la importancia del docente a la hora de explicar los logros de los alumnos. Los estudios sobre calidad docente reflejan que las características observables de los maestros, como su formación, experiencia, puntajes de evaluaciones y salarios, entre otros, se relacionan débilmente con la calidad docente. El foco parece estar en las prácticas que los docentes realizan y las interacciones con sus estudiantes. En esa línea, ¿cuáles son los puntos de vista y enfoques sobre el tema? ¿Qué desafíos se presentan desde la evaluación?

John Hattie, un investigador neo zelandés, realizó un meta-análisis de más de 800 investigaciones lo que le permitió ordenar distintas intervenciones según el nivel de impacto en los aprendizajes de los alumnos. Entre las intervenciones que más impactaban el aprendizaje de los alumnos, se destacaba la evaluación formativa y la retroalimentación  a los alumnos.

Michael Fullan, un investigador canadiense, argumenta que debemos avanzar hacia sistemas inteligentes donde el foco no debe estar en la rendición de cuentas, sino en la mejora de la pedagogía. Cada vez más, hay consenso de parte de los investigadores, sobre la importancia de crear comunidades de aprendizaje que permitan visualizar qué intervenciones son más eficaces y para ello es necesario tener una visión de progreso educativo para cada alumno.

Más cercano a nosotros, pero más lejano en el tiempo Agustín Ferreiro[3] se preguntaba sobre cómo identificar las lagunas de conocimiento de sus alumnos, si el maestro tenía la tendencia a evaluar aquello que había enseñado y a mantenerse en sus moldes o esquemas. La evaluación en línea, al proponer una actividad de evaluación que no fue propuesta por el docente, le brinda a éste la oportunidad de ver cómo se desempeñan sus estudiantes en una actividad nueva que es central al programa oficial. Tal vez esta sea la “situación nueva” que mencionaba Ferreiro que permitía que emerjan las lagunas de conocimiento que aun resta identificar.

Estos autores nos muestran la importancia de contar con espacios de análisis y reflexión sobre las prácticas en los centros educativos. Primaria ha avanzado en la extensión de salas de reflexión por escuelas, educación media tiene espacios instituidos pero que no son aprovechados cabalmente. Para poder lograr proyectos institucionales de mejora continua se precisa continuidad de planteles docentes (cambiar el régimen de elección de horas anuales), espacios de desarrollo profesional en la jornada laboral, y liderazgo del director en temas educativos. A nivel de educación primaria, se ha venido desarrollando una cultura de evaluación donde cada año hay evaluaciones formativas para identificar lagunas de conocimiento de parte de los estudiantes y potenciar el trabajo colaborativo con instrumentos comunes de parte del plantel docente.

En 2012, en un congreso en Brasil sugerí la necesidad de desarrollar un sistema que permita una combinación sinérgica entre sistemas de verificación del aprendizaje (rendición de cuentas) y sistemas formativos de retroalimentación para mejorar la enseñanza.

Con el surgimiento del INEEd, se firma un acuerdo de trabajo donde éste asume la responsabilidad de las evaluaciones nacionales (que pasan de la DIEE al INEEd) y la DIEE mantiene la responsabilidad sobre las evaluaciones formativas. En una frase muy citada Bernard Shaw planteaba “Hay quienes se imaginan la realidad como jamás ha sido y se preguntan ¿por qué no?” Uruguay tiene la posibilidad de trabajar en la elaboración de un Sistema Nacional de Evaluación Interinstitucional que potencie el trabajo realizado y lo lleve a la próxima frontera.

 

 

[1] Michael Fullan, Peter Hill, Carmel Crévola  (2006) Breakthrough: Corwin Press

[2] Héctor Valdez, comunicación personal con los inspectores generales de primaria 2007.

[3] Citado en el Marco Teórico de la Evaluación En Línea.  “III Sobre conductas didácticas” en Algunas páginas inéditas de Agustín Ferreiro. Servicio de Ayudas audiovisuales y Material. Didáctico, C.E.P., Montevideo, 1973, pág. 27 y 28