Basar la intervención social en evidencias: la evaluación de impacto

¿Qué es la evaluación de impacto?

La evaluación de impacto, de la que ahora se habla mucho, es una evaluación específica que pretende adentrarse en averiguar en qué medida una política o intervención ha tenido efectos a medio y largo plazo. No solo sobre las personas o colectivos beneficiarios directos, sino sobre la sociedad, sobre el entorno, estableciendo relaciones de causalidad.

La evaluación de impacto ahora mismo es bastante popular porque cada vez más necesitamos replantear las políticas, los proyectos, sobre la base de evidencias. Lo que permite la evaluación de impacto es precisamente eso: generar evidencias de que lo que estamos haciendo lo estamos haciendo bien.

¿Por qué deberíamos hacer evaluación de impacto?

Las razones por las cuales la Administración Pública y las entidades sociales tienen esa motivación a la hora de abordar una evaluación de impacto son similares, pero también existen diferencias:

• En el caso de la Administración Pública es indudable que es un ejercicio de transparencia para la ciudadanía. Al final somos todos contribuyentes que nos gusta ver que las políticas tienen un resultado.
• Este tipo de evaluación ayuda a mejorar todos los procesos e incorporarlos y, en esa misma línea, para las entidades sociales ocurre algo similar: la evaluación de impacto primero pone en valor el trabajo que realizan, esa aportación a la sociedad, pero también es un ejercicio de rendir cuentas para aquellos financiadores, para aquellas personas que están interesadas, los stakeholders que quieren saber cómo se gastan, los recursos que se invierten.

¿En qué consiste la evaluación de impacto?

La cuestión que diferencia la evaluación de impacto de otras evaluaciones, y eso es lo que lo que da ese valor añadido, es definir bien la causalidad.  Por eso se implementan un conjunto de metodologías muy específicas:

• Las metodologías de carácter experimental: Normalmente se plantean antes de comenzar el proyecto y consisten en elegir un grupo experimental, un conjunto de personas (que son las que a las que se va a aplicar el tratamiento) y un grupo de control. Se les va siguiendo a lo largo del tiempo para ver qué resultados se están teniendo en aquellas personas a las que se ha aplicado una política. Se sigue también a las que no han participado de esta política y, finalmente, lo que se hace es comparar los resultados.

Por ejemplo, en Fresno estamos ahora mismo llevando a cabo dos tipos de evaluaciones de carácter experimental. Uno de ellos consiste en medir los resultados de la aplicación de una metodología Housing First. En él se ha elegido a un grupo de personas que van a participar y otro que no, y se les va a hacer seguimiento durante dos años (porque la evaluación de impacto tiene también esa perspectiva de medio a largo plazo).

• No siempre tenemos la posibilidad de elegir un grupo antes de empezar la política o el proyecto. Sin embargo, sí existe la posibilidad de aplicar metodologías (que se denominan “cuasi experimentales”) a posteriori, es decir, una vez que ya se ha aplicado en ese tratamiento. En este caso, ya se ha puesto en marcha el proyecto o la política, pero hay posibilidad de hacer el mismo estudio de evaluación con diferentes técnicas econométricas. Por ejemplo, en  la evaluación de la iniciativa de empleo juvenil lo que hicimos fue analizar todos los datos de los jóvenes que habían participado. Creamos un grupo de control posterior de jóvenes que no habían participado y, con toda esa información y con la aplicación de técnicas diferentes (diferencias en diferencias,   propensity margin score…) conseguimos aislar cuál es el efecto de la participación de los jóvenes en esta iniciativas.

¿Qué debe tener una evaluación de impacto?

• A la hora de plantearse una evaluación de impacto es muy importante tener unos objetivos claros y saber qué es lo que se está buscando con esa evaluación y,
• una vez se tienen los objetivos, hay que plantearse con qué equipo contar, lógicamente, porque se trata de una evaluación de carácter específico que requiere unos recursos humanos adecuados.
• Otro de los aspectos que hay que tener claro es la metodología que se va a llevar a cabo. Para hacer una buena evaluación de impacto hay que ser rigurosos con respecto a qué técnicas se van a aplicar, y ser consecuentes con la disponibilidad de datos que se tienen, ya que se necesitan unos datos claros, precisos, de buena calidad para abordar un proceso de evaluación de impacto.
• Otro elemento también que deberíamos tener en cuenta es cuál es el punto de partida. Es importante a la hora de hacer este tipo de evaluación tener un baseline, es decir, un escenario cero de donde parten las personas antes de aplicar esta intervención o llevar a cabo esa política.
• También es necesario tener una toma de datos adecuada,
• Y tener clara la motivación y ser consciente de qué es lo que te puede aportar la evaluación de impacto.

¿Un consejo para empezar?

Realmente, para orientar las políticas y para tener evidencias, también para priorizar los recursos, una evaluación de este tipo tiene un valor añadido. Entonces, el primer punto es tener claro para qué nos puede servir.

También, por supuesto, evaluar qué implicación y qué compromiso va a suponer para la organización o para la administración el afrontar un proceso de este tipo.

En tercer lugar, es muy importante elegir qué es lo que se va a evaluar, si nos dedicamos un proyecto concreto, una política, algo muy específico o menos específico y…, bueno, yo creo que ponerse a trabajar: una vez que se toma la decisión, ¡a por ello!