Más allá del certificado:
qué medir realmente en un programa de educación con impacto social
La pregunta no es cuántas personas terminaron el curso. La pregunta es qué cambió en sus vidas — y cómo puedes probarlo.
El número de graduados no le dice casi nada a nadie. Las métricas que más importan rara vez son las que se reportan primero.
Cuando una organización social lanza un programa educativo, la primera métrica que reporta suele ser la misma: número de graduados. Es un número limpio, fácil de comunicar y visualmente poderoso en una presentación. El problema es que no le dice casi nada a nadie.
No le dice si las personas aprendieron algo. No le dice si lo que aprendieron cambió su comportamiento. No le dice si el programa fue diseñado para quienes realmente lo necesitaban, o para quienes ya tenían todas las condiciones para completarlo.
En La Teacher llevamos años diseñando y midiendo programas de educación por WhatsApp para poblaciones vulnerables en América Latina. Y hemos aprendido que las métricas que más importan rara vez son las que se reportan primero.
Por qué el número de graduados no le dice nada a un donante exigente
Imagina dos programas. El primero gradúa al 90% de sus participantes. El segundo, al 40%.
¿Cuál es mejor?
La respuesta instintiva es el primero. Pero si el primero atendió a estudiantes universitarios con acceso estable a internet y tiempo disponible — y el segundo atendió a mujeres rurales con labores de cuidado, baja conectividad y un celular compartido — la comparación no tiene ningún sentido.
Nosotros hemos vivido esta diferencia en carne propia. Un 95% de terminación en un curso de normas APA para el CESA era de esperarse. Un 40% en un curso de finanzas personales para mujeres emprendedoras rurales es un gran logro. Son contextos radicalmente distintos.
Un donante exigente — una fundación, un gobierno o una empresa con agenda de impacto social — sabe esto. Y cuando lo sabe, empieza a hacer preguntas incómodas: ¿Quiénes no terminaron? ¿Por qué? ¿El diseño del programa tuvo algo que ver?
Si no tienes respuestas para esas preguntas, el número de graduados se convierte en ruido.
Dos tipos de métricas: las que miden el éxito y las que te enseñan
Hay una distinción que nos parece fundamental y que pocas organizaciones hacen explícita: la diferencia entre las métricas que demuestran el éxito de un programa y las métricas que te enseñan cómo mejorarlo.
Para reportar y rendir cuentas
- Tasa de terminación — siempre entendida en contexto.
- Mediciones pre y post de los conceptos clave. ¿Lo sabían antes? ¿Lo aplican ahora?
- Satisfacción de los estudiantes. ¿Responde a lo que necesitaban?
Para mejorar el programa
- Puntos de deserción dentro de la conversación.
- Horarios de activación — revelan la vida real de las personas.
- Calidad de las respuestas abiertas. Aquí está la verdadera riqueza.
💡 Las métricas de éxito son necesarias. Pero no son suficientes. Sin las métricas de aprendizaje, no puedes saber qué mejorar — y el programa se repite igual, con los mismos problemas, ciclo tras ciclo.
El dato más poderoso: lo que las personas dicen con su propia voz
En los programas de educación por WhatsApp, hay un dato que no existe en ninguna plataforma de e-learning tradicional: la posibilidad de escuchar, literalmente, a los estudiantes.
En La Teacher, casi el 50% de las respuestas a preguntas abiertas nos llegan en formato de audio. Las personas no escriben — hablan. Y en esos audios hay una riqueza cualitativa que ningún número puede capturar: la duda que no se atrevían a formular por escrito, la conexión entre lo que aprendieron y algo que les pasó esa semana, la emoción al entender algo que antes les parecía inalcanzable.
Analizar esas respuestas — con criterio pedagógico, con tiempo y con respeto — es lo que permite entender si el programa realmente está tocando algo profundo, o si solo está transmitiendo información.
Los datos cualitativos son los que más incomodan en una presentación de métricas porque no se pueden poner en una gráfica de barras. Pero son los que más le dicen a un equipo de diseño instruccional sobre qué está pasando realmente.
Lo que los datos revelan sobre quién aprende — y quién no estaba siendo atendido
Una de las cosas más valiosas que ha hecho el análisis de datos en La Teacher es revelarnos algo que no buscábamos pero que era imposible ignorar:
Ese hallazgo habla de tres cosas simultáneamente:
Del dolor — las mujeres tienen necesidades de formación urgentes y poco atendidas. De la disposición — están dispuestas a invertir tiempo en educarse, incluso en condiciones adversas. De las barreras — otros formatos de educación virtual no funcionan para ellas porque no contemplan sus realidades: las labores de cuidado, la brecha digital, la falta de tiempo continuo.
WhatsApp, en cambio, se adapta a su vida. No al revés.
Ese tipo de hallazgo — el que emerge del análisis honesto de los datos — es el que permite a una organización tomar decisiones de diseño con propósito real, y no solo replicar lo que ya existe.
El punto de partida: una teoría de cambio clara
Todo lo anterior — las métricas, los datos cualitativos, los hallazgos — solo tiene sentido si existe una teoría de cambio clara desde el inicio del diseño del programa.
¿Qué cambio queremos lograr
en la vida de las personas?
No en el curso. En la vida.
La magia no sucede cuando alguien termina un módulo. Sucede cuando lo que aprendió lo usa después. Cuando cambia una decisión, un hábito, una posibilidad.
Cuando una mujer que tomó un curso de finanzas personales logra diferenciar sus gastos necesarios de sus gustos, construye su primer presupuesto y define un ahorro mensual — eso es impacto. Cuando alguien que aprendió liderazgo empieza a aplicar esas herramientas en su comunidad — eso es impacto.
Medir ese impacto requiere ir más allá del curso: hacer seguimiento, construir indicadores de cambio de comportamiento, y tener la paciencia de esperar resultados que a veces no llegan en el mismo trimestre en que se reportan.
Una última reflexión
Medir el impacto real de un programa educativo es difícil. Requiere honestidad para definir qué cambio se quiere lograr, rigor para diseñar indicadores que capturen ese cambio, y valentía para publicar los números aunque no sean los más convenientes.
Pero es el único camino hacia programas que funcionen para las personas que más los necesitan. No para las que ya tenían todas las condiciones. Esa es la diferencia entre contar graduados y medir impacto.