Qué es la evaluación de impacto, cómo separa causalidad de correlación y qué ventajas tiene para diseñar políticas públicas, con el ejemplo de TECHO. Informe de marzo de 2016.
In itself, every word is neutral. But we feed them, we give them meaning, in the debate we seek to convince and come out convinced. And we also act.
Sobre la base de los discursos se toman decisiones individuales, y en el plano de lo público se diseñan políticas. Muchas veces hay palabras que se ponen de moda, hasta el punto de que pasan a perder sus límites, o –diplomáticamente hablando– pasan a obtener múltiples significados. Tantos que ya no se puede llegar a saber qué es lo que definen, sino indagando caso por caso.
Una idea de moda: la evaluación de impacto
Para quienes siguen de cerca los debates sobre la formulación de políticas públicas, una palabra –o en todo caso, una frase– que se ha puesto de moda, y que cada vez está obteniendo más fuerza, es la noción de Impact evaluation.
In very general terms, political decision makers are interested in determining what the impact of this or that measure will be.
After all, the effectiveness in the application of a public policy is expected to leave a mark on the electoral base of each candidate and, obviously, on the general well-being of the population affected by the measure.
Sin embargo, no parecería haber un consenso generalizado que –por el momento– vaya más allá de la idea difusa sobre la necesidad de conocer el impacto de “algo” en términos socioeconómicos.
Afortunadamente, y a diferencia de otras palabras que se pusieron de moda, como ocurrió con “globalización”, la evaluación de impacto es un conjunto de técnicas con un objetivo bien definido.
Además, el conocimiento que se puede derivar de su aplicación es sumamente interesante, tanto para quienes formulan políticas como para la ciudadanía. Veamos de qué se trata.
Why evaluate?
La evaluación de impacto busca establecer la causal relationship que se establece entre la aplicación de una política y una serie de resultados. Al ser estos últimos cuantificables, la aplicación de esta técnica brinda información sobre cuán efectiva ha sido una medida en términos de bienestar.
In other words, it is a technique that allows us to establish whether the applied program is actually the cause of the changes observed in the population that participates in it, and not any other factor in the environment, or the behavior of the agents themselves under study.
In general, there is a misreading of the results produced by the application of a program or, more specifically, a public policy.
La falacia más utilizada a la hora de interpretar los datos es la de creer que correlation implies causation. What do you mean by that?
Correlación no es causalidad: educación e ingresos
Tomemos por ejemplo la relación entre educación y nivel de ingresos. El gráfico muestra el nivel de ingresos de la población con nivel de estudios universitarios completos para el Aglomerado Gran Rosario, separado por deciles.
Por convención, el decil más bajo muestra el menor nivel de ingresos, en tanto que el X decil muestra el nivel de ingresos más alto.
Es evidente la concentración de profesionales universitarios en los deciles más altos de ingreso. Pero, en el análisis, se incurriría en un serio error si se concluyera, sin mayor evidencia que la expuesta, que “a mayor educación, mejores ingresos”.
Even worse would be the design of public policies that, no matter how well-intentioned, are based on false premises. Now, why could the above be a wrong conclusion?
La principal razón es la siguiente: que dos fenómenos se desarrollen en paralelo no implica que uno sea causa del otro. Bien podría estar ocurriendo que exista una tercera causa que explique ambas.
Por ejemplo, podría postularse que individuos inteligentes (con todas las dificultades que tienen el uso y la aplicación de este término) logren alcanzar altos niveles de educación, como así también altos niveles de ingresos. De manera que, en este caso, la inteligencia sería la causa de los otros dos.
Pero también podría utilizarse otra hipótesis para explicar lo mismo. Los individuos que provienen de hogares ricos logran mayor nivel de ingresos futuros, por el capital social que implica pertenecer a esa familia. Esto también facilita que logren terminar sus estudios universitarios.
In general, the evidence indicates that the relationship between education and income is only a reflection of other causes, which cause both phenomena to run in parallel.
Grupo de control y grupo de tratamiento
Las técnicas de evaluación de impacto lidian con este tipo de problemas, organizando la información que se deriva de la aplicación de un programa. Tratan de emular estadísticamente condiciones de laboratorio. Las mismas que se requieren, por ejemplo, para testear la efectividad de un medicamento.
How does it generally work? At least two groups of individuals are created: a control group and a treatment group, and these groups are compared. The control group is given a placebo, and the treatment group receives the policy measure (the medication).
La diferencia en el promedio de ambos grupos de una variable identificable provee una medida de la efectividad del tratamiento.
Por supuesto que la historia es más compleja. Por ejemplo, debe asegurarse de que todos los participantes tengan las mismas posibilidades de participar en el programa, independientemente del grupo para el que fueron seleccionados (por ejemplo, mediante un sorteo).
Asimismo, el análisis va a ser más complejo cuando se observe que las personas cambien de grupo, o simplemente desaparezcan de la muestra.
The list of difficulties is more complete, and includes not only econometric analysis, but also analysis of the behavior of agents in behavioral terms.
Sin embargo, el núcleo del problema se mantiene, y es sencillo de entender. Se trata de lograr comparar dos grupos estadísticamente semejantes, que se diferencien en una única cosa: si fueron beneficiarios -o no- de una medida.
El diseño experimental en las políticas sociales
In the case of the application of social policies, se puede generar un diseño experimental en la implementación de un programa. Ese diseño permite generar una estructura de información de la que pueda derivarse la efectividad del programa.
Por supuesto que, más allá de las distintas técnicas econométricas que puedan existir para atacar un tipo de problema, cada evaluación debe hacerse acorde a las necesidades de la población objetivo y de las capacidades de control, logística, medición, seguimiento y auditoría de la agencia que lo aplica.
Several points arise from the above:
- That impact evaluation can be expensive.
- That not every program is worth evaluating.
- That these types of studies are intensive in the use of disaggregated statistical information. That is, administrative statistical information, such as that provided by organizations such as INDEC, can rarely be used.
On the other hand, in the positive aspects, the impact evaluation allows:
- Determine if a program is having the desired effects on the target population.
- Identify which components of a program are most important to produce an impact.
- Test alternative programs to establish which one has the greatest impact on the target population.
- Determine if the results of a program can be replicated in different contexts.
- Efficiently implement the use of the resources allocated to the program, especially if the financing comes from agencies that tend to manage their organization through results.
De esta forma, con el uso de esta técnica se busca responder preguntas tales como:
- Does the intervention have the expected effects on the beneficiaries?
- Are some beneficiary groups more affected by the intervention than others?
- To what extent did the problem improve?
- Are there unplanned adverse effects?
- Are the effects maintained over time?
An example: NGO TECHO
The NGO CEILING trabaja en asentamientos precarios, para generar soluciones concretas a la problemática de la pobreza. Específicamente, los procesos de desarrollo comunitario que emprende la ONG consisten en la construcción participativa de viviendas de emergencia, en las que se involucran tanto voluntarios como familias de la comunidad.
The idea behind TECHO is to provide housing that constitutes a concrete and achievable solution in the short term, with an impact on the quality of life of families.
Recientemente, el Abdul Latif Jameel Poverty Action Lab (J-PAL) midió los efectos de estas acciones sobre sus beneficiarios. En el estudio se analizó a 896 familias en México, 698 en El Salvador y 779 en Uruguay.
Two groups were considered, a control group that maintained its precarious housing (given that there was excess demand) and a treatment group, which was able to obtain emergency housing.
La investigación se extendió entre 18 y 27 meses por país y consideró dos periodos de encuestamiento y otras pruebas, para identificar el impacto que podría alcanzar en los siguientes aspectos: materialidad de la vivienda, satisfacción con la calidad de vida y percepción de seguridad, así como salud, acceso a bienes e ingresos.
Thus, the objective was to measure the impact on aspects such as satisfaction with quality of life and perception of security, as well as health, access to goods and improved income.
In the first case, satisfaction with quality of life increased significantly, according to the surveys carried out, between 21,1% and 41,7% compared to the control group.
Sin embargo, según el mismo estudio, no se detectó ningún efecto en ingresos de la familia, ni en acumulación de activos. Tampoco se pudo concluir de forma robusta que haya efectos en mejoras de la salud.
What are the practical advantages of evaluation?
En el punto anterior, queda más que claro que un buen estudio de impacto permite generar conocimiento sumamente útil en términos sociales. ¿Pero qué motiva su aplicación para el formulador de un programa, además de la obtención de conocimiento?
Actualmente, gran parte de la literatura económica aplicada se basa en el uso de estas técnicas, ya sea mediante la identificación de experimentos naturales o bien, por el diseño de los mismos para testear hipótesis de investigación.
Básicamente, el uso de estas herramientas econométricas se ha convertido en el estándar internacional de buenas prácticas. Por esa razón, la aplicación de un proyecto que contemple estas características jerarquizaría al mismo al ponerlo dentro del mapa de la producción académica.
Es decir, llama la atención de investigadores que, con los mismos datos, podrían hacer un aporte novedoso.
Qué ganan el Estado y la ciudadanía
From the point of view of Status, disponer de este tipo de estudios permitiría acumular conocimiento sobre aquello que funciona y sobre aquello que no, en las áreas de interés público.
En especial en aquellas consideradas sensibles y que requieren de un trabajo continuo y perseverante, pero también de resultados. Un ejemplo de lo anterior son los programas de lucha contra la pobreza.
Al respecto, a nivel local, se ha avanzado mucho en una concepción multidisciplinaria del problema. Pero no ha quedado muy en claro cuáles de todas las medidas que se toman desde múltiples enfoques son las que funcionan y cuáles no.
From the point of view of citizenship, la contribución de estos estudios indudablemente favorece el mejoramiento de la transparencia del proceso democrático, al brindar una medida robusta de la aplicación de los recursos del erario público. La ciudadanía tendría acceso a una mejora en la calidad de la información.
Using the previous example, a management could publish an advertisement that does not just say something like: “10.000 homes were built.” Alternatively, it could be published: "the construction of the homes has represented a % improvement in the quality of life of the awarded families, although other measures are still required to achieve improvements in their health."
Finalmente, estas prácticas representan una oportunidad. A pesar de que los programas de evaluación de impacto sean una de las áreas más relevantes en los sistemas de monitoreo y evaluación de políticas públicas en los países de América Latina, el déficit todavía es grande.
To know a bit more…
The list of publications that use this type of techniques is simply abundant. An extremely fun introduction to the econometric techniques on which these works are based (something that is not easy to achieve with these topics) is the popular book by Angrist and Pischke, not yet translated from English, “Mastering Metrics. “The Path From Cause to Effect”.
Otro libro de difusión, que apunta a explicar los resultados obtenidos en trabajos de evaluación de impacto aplicados en temas de la lucha contra la pobreza, es el libro de Banerjee y Duflo, “Repensar la Pobreza. Un giro radical en la lucha contra la desigualdad global”. En el mismo, los autores muestran los resultados de aplicar este enfoque en temáticas tales como educación, salud, microahorro, microcréditos y emprendedurismo.
Para escuchar a la misma Duflo hablando de estos temas, puede consultarse la siguiente charla TED:
At the local level , we also have our references, for example, Walter Sosa Escudero explains the fundamentals for thinking about causality in statistics.
Finally, hay una miríada de trabajos académicos que testean sus hipótesis bajo técnicas no experimentales.
We will cite two works that share the characteristic of having been carried out by Argentine authors and that deal with Argentine issues. Unfortunately, the lack of statistical information means that this is not more common.
The first study busca responder una pregunta con una respuesta para nada obvia. ¿Contribuye la presencia policial en la calle a disminuir la tasa de crímenes? He second ha sido objeto de debate un par de años atrás. Contesta a la siguiente pregunta: el servicio militar obligatorio, ¿ha favorecido a mayores niveles de criminalidad?
- Rafael Di Tella and Ernesto Schargrodsky (2004). “Do Police Reduce Crime? Estimates Using the Allocation of Police Forces after a Terrorist Attack.” American Economic Review 94, 115-133.
- Sebastián Galiani, Martín Rossi, and Ernesto Schargrodsky (2011). “Conscription and Crime: Evidence from the Argentine Draft Lottery.” American Economic Journal: Applied Economics 3, 119-136.
Open access, for use and citation
The report is available freely and without charge, under a Creative Commons license (CC BY-NC-SA 4.0):
- 📄 Full report (PDF): Download the report
- 🗄️ UNR Hypermedia Repository (RepHip): https://hdl.handle.net/2133/14526
- 📚 More reports from the Observatory: Index of Reports
Políticas públicas, ¿cómo saber que funciona (y qué no)? Informes del Observatorio UNR N.º 22 — Serie Puente Académico N.º 7, marzo de 2016. ISSN 2683-9067 / 2683-9091. Autor: Germán A. Tessmer.