Chile gasta miles de millones de dólares al año en políticas públicas: subsidios, transferencias, programas de capacitación, bonos. ¿Cuántas de ellas sabemos que realmente funcionan?
La respuesta honesta es: pocas. No porque las políticas sean malas, sino porque evaluar si una política causó un cambio es mucho más difícil de lo que parece.
El problema fundamental: el contrafactual
El problema central de cualquier evaluación de impacto es que nunca observamos qué habría pasado si la política no hubiera existido.
Imagina que el Ministerio de Economía lanza un programa de capacitación laboral. Un año después, el 70% de los participantes tiene trabajo. ¿Funciona el programa?
No lo sabes. Porque no sabes cuántos de ellos habrían encontrado trabajo de todas formas — sin el programa.
Este "¿qué habría pasado?" es el contrafactual. Y construirlo bien es el corazón de la evaluación de impacto.
Las tres trampas más comunes
1. Comparar antes y después
"Las ventas de las PYMES inscritas en ChileCompra subieron un 15% después de la ley." Suena bien. Pero si la economía también creció un 15% ese año, el programa no añadió nada.
2. Comparar participantes con no participantes
"Los que tomaron el curso tienen mejores salarios que los que no." Claro — porque los que tomaron el curso ya eran más motivados, con más redes, con más herramientas. El problema se llama sesgo de selección.
3. Tomar la historia de éxito como evidencia
El caso emblemático, el testimonio del beneficiario que cambió su vida. Es real. Pero es una observación. No nos dice nada sobre el efecto promedio.
Las herramientas que funcionan
La econometría moderna tiene varias formas de construir un buen contrafactual:
Experimentos Aleatorios (RCTs)
La solución más limpia: asignar aleatoriamente quién recibe el tratamiento y quién no. Si la asignación es verdaderamente aleatoria, los dos grupos son comparables en todo — lo observado y lo no observado.
Es el estándar de oro. También el más caro y el que más controversia genera políticamente.
Diferencias en Diferencias (DiD)
Cuando no hay experimento, comparamos la evolución de quienes reciben la política con la evolución de quienes no la reciben — antes y después. El supuesto clave: que, sin la política, ambos grupos habrían seguido tendencias paralelas.
Regresión Discontinua (RDD)
Si la política se asigna según un umbral (ingresos menores a X reciben el bono, mayores a X no), podemos comparar a quienes quedan justo sobre y bajo ese umbral. Son casi idénticos, excepto por el tratamiento.
Control Sintético
Para políticas que afectan a una región o país completo — donde no hay grupo de control natural — construimos un "Chile sintético" combinando países o regiones similares para estimar cómo habría evolucionado la variable de interés sin la política.
Un ejemplo reciente: la Ley 21.634 y las PYMES
La Ley 21.634 cambió el sistema de licitaciones de ChileCompra para facilitar el acceso de las PYMES. ¿Funcionó?
Para saberlo con rigor, necesitamos comparar la participación y ventas de las PYMES afectadas por la ley con las que habrían participado sin ella. Un análisis de DiD o RD puede hacerlo — si los datos están disponibles y la variación es explotable.
Este es exactamente el tipo de pregunta que estamos evaluando en mi proyecto con Paul Gertler (UC Berkeley) y Marcelo Olivares.
Conclusión
Evaluar políticas públicas con rigor no es un lujo académico. Es una necesidad para gastar bien los recursos públicos.
Chile tiene la infraestructura administrativa para hacerlo — registros nacionales, bases de datos fiscales, capacidad técnica en el Estado. Lo que falta es la cultura de evaluación sistemática, y la voluntad política de someterse a ella.
José Arenas R. es microeconomista aplicado en la Universidad de Chile, especializado en experimentos de campo y evaluación de impacto. Esta columna es parte del blog "Conversaciones Causales".