Artículos
La Teoría del Cambio: una herramienta clave para la evaluación y la planificación de programas sociales
“Políticas públicas basadas en evidencia”, “planificación basada en resultados”, “indicadores”, “desempeño”, “impacto”, “calidad”: son algunas de las palabras que seguramente habrás escuchado una y otra vez en los medios de comunicación, en los programas de gobierno, o en tu propia organización. En cualquiera de estos ámbitos, nos importa cada vez más conocer el valor de una determinada acción, bien para mejorarla, bien para entender mejor cómo funciona, bien para saber si hemos invertido bien nuestros recursos.
Eso es lo que llamamos evaluación.
¿POR DÓNDE EMPEZAMOS?
Lo primero que tenemos que hacer
cuando planificamos una evaluación, es saber qué queremos evaluar.
En función de nuestro propósito y de nuestras necesidades informativas, de
hecho, podemos decidir evaluar uno u otro elemento de una determinada
intervención: su diseño, la puesta en práctica, sus resultados y los impactos,
o todos estos elementos a la vez, si adoptamos un enfoque sistémico. Esta
decisión determinará el tipo de evaluación que realicemos. Por tanto,
constituye un paso clave en la planificación de nuestra evaluación.
Pongamos un ejemplo: una
intervención dirigida a jóvenes sin empleo y con baja cualificación. Se trata
de un programa de inmersión laboral en empresa, que mejorando las competencias
y aumentando la autoestima y la motivación de las personas participantes
pretende facilitar su acceso al empleo o su retorno educativo.
Como podemos ver, dependiendo del
elemento que queramos poner en el centro de nuestro análisis, realizaremos uno
u otro tipo de evaluación.
- Evaluación de necesidades y evaluación de diseño: si queremos evaluar el contexto en el que pensamos actuar, y/o la pertinencia de las actividades planificadas para abordar las problemáticas identificadas en el contexto, nos centraremos en las necesidades o problema de partida.
- Evaluación de procesos: si nos interesa determinar el valor de la implementación, nos centraremos en las actividades realizadas y los productos generados.
- Evaluación de resultados e impacto: si pensamos realizar una evaluación de impacto, nos centraremos en los cambios observados en las personas participantes, esperados, no esperados, de corto, medio y largo plazo.
En el gráfico hemos articulado visualmente los componentes de la intervención. Ese modelo de gráfico se denomina Teoría del Cambio.
Elementos y usos de la Teoría del Cambio
La Teoría del Cambio constituye el esquema teórico de la intervención: explica cómo se entiende que las actividades del proyecto produzcan una serie de resultados que contribuyen a lograr los impactos finales previstos.
Los elementos principales de una Teoría del Cambio, como hemos visto, son:
- Las necesidades a las que la intervención pretende hacer frente.
- Las actividades contempladas para conseguir los cambios esperados y los recursos para ello.
- El producto directo de estas actividades.
- La situación que se pretende alcanzar, los efectos a corto y medio plazo de los productos del proyecto (resultados e impactos).
Además de los mecanismos de cambio, que hacen que la intervención funcione, por ejemplo, las creencias, deseos, cogniciones y otros procesos de toma de decisiones que influyen en las elecciones de comportamiento y acciones que determinen los resultados e impactos.
Dicho de otra manera, la Teoría del Cambio es una descripción exhaustiva e ilustrada de los cambios sucesivos que tienen que ocurrir durante y después del proceso de la implementación para que se logren los objetivos del programa.
La forma de leer una Teoría del Cambio es a través de cláusulas condicionales. Volviendo a nuestro ejemplo, podemos leerla así:
Si jóvenes con baja cualificación y sin empleo reciben un acompañamiento social personalizado y participan en un itinerario de inmersión laboral ajustado al mercado, entonces mejorarán sus competencias y fortalecerán su autoestima y motivación, incrementando así su empleabilidad, las posibilidades de inserción laboral y/o su retorno educativo.
A la hora de realizar una evaluación, plasmar la Teoría del Cambio resulta de gran utilidad, porque permite identificar y comprender esa cadena de causas y efectos, el encadenamiento de hipótesis que conectan las intervenciones con los resultados deseados. Tener claridad sobre los «minipasos» que deben darse para alcanzar un resultado a largo plazo no solo facilita la tarea de evaluar una iniciativa compleja, sino que aumenta la probabilidad de que se examinen todos los factores importantes relacionados con el objetivo a largo plazo.
La Teoría del Cambio consiste precisamente en esto: es una forma de describir el conjunto de supuestos que explican tanto los “minipasos” que conducen al objetivo a largo plazo como las conexiones entre las actividades de políticas o programas y los resultados que se producen en cada paso del camino.
¿Sabías que...?
El término Teoría del Cambio se debe a Carol Weiss, una de las máximas figuras de referencia de la investigación evaluativa. Destacada socióloga y analista política, hizo contribuciones significativas a la comprensión de cómo la investigación y el conocimiento influyen en las políticas públicas. Además, bajo su liderazgo como decana de 1977 a 1989, la Escuela de Gobierno de Harvard, se ha convertido en una de las principales escuelas de políticas públicas.
Carol Weiss se dio cuenta de que una de las razones principales de la dificultad de evaluar programas y políticas complejas es que los supuestos en los que se basan son escasamente articulados. Ella argumentó que los distintos actores implicados en intervenciones complejas a menudo no tienen claro cómo se desarrollará el proceso de cambio y, por lo tanto, prestan poca atención a los cambios a corto y medio plazo que deben producirse para alcanzar un objetivo a largo plazo.
Fuente de la imagen: Freshspectrum
Volviendo a nuestro ejemplo: a la hora de evaluar el programa de inmersión laboral, contrastaremos en la realidad si se cumple cada una de las condiciones esperadas, eso es, “contrastaremos nuestras hipótesis” hasta el resultado final. De esta manera, podremos comprobar si hemos obtenido el cambio esperado, y debido a qué. La Teoría del Cambio nos indicará los elementos sobre los que tendremos que buscar informaciones y datos (evidencia):
- Jóvenes con baja cualificación y sin empleo: ¿las personas beneficiarias corresponden al grupo meta esperado? (necesidades)
- Reciben un acompañamiento social personalizado:
- ¿El apoyo social está diseñado en base a las características y circunstancia de cada joven participante? (actividades)
- ¿Las personas participantes asisten a todas las sesiones de acompañamiento previstas? (productos)
- Participan en un itinerario de inmersión laboral ajustado al mercado:
- ¿Las empresas colaboradoras proceden de sectores dinámicos en el mercado laboral? (actividades)
- ¿Las personas participantes realizan las prácticas laborales previstas? ¿Asisten a las sesiones de mentoría y tutorización? (productos)
- Mejoran sus competencias: ¿se observa una adquisición o mejora de las competencias en las personas participantes? (resultados)
- Fortalecen su autoestima y motivación: ¿se observa una mejora en la autoestima y motivación en las personas participantes? (resultados)
- Acceden a empleo: ¿las personas participantes son dados de alta en la Seguridad Social? ¿Cuántos días? ¿Con qué tipo de contrato? (impacto)
- Se reincorporan en el sistema educativo: ¿las personas participantes se matriculan en algún ciclo de formación? (impacto)
La evidencia recogida visibilizará qué ha funcionado y qué no en el programa que implementamos, y qué tenemos que modificar: si las actividades y los procesos (fallos en la implementación), o el planteamiento, la teoría y los mecanismos causales que pensábamos provocarían el impacto deseado (fallos en la teoría), o si el planteamiento se ha demostrado correcto en la práctica (si hemos contrastado la teoría), como se puede apreciar en el diseño siguiente.
Así, la evaluación nos permitirá tener mayor conocimiento respecto a los mecanismos causales subyacentes a la intervención y mejorar el programa, conociendo sus debilidades de implementación o de diseño.
LA TEORÍA DEL CAMBIO COMO APROXIMACIÓN EVALUATIVA
Además de una herramienta clave para cualquier tipo de evaluación, la Teoría del Cambio es también el instrumento principal de un tipo específico de evaluaciones: las Evaluaciones Basadas en la Teoría (TBE, por sus siglas en inglés). En este caso, el objeto de nuestra evaluación será el conjunto de la teoría del cambio, y no una parte de ella, sobre cuya base construiremos unas hipótesis teóricas.
Metodológicamente, la evaluación tendrá el objetivo de valorar el éxito de un programa comparando la teoría con la aplicación real. Una vez plasmada la teoría del programa (o Teoría del Cambio) de nuestro interés, identificaremos de cada dimensión (insumos, actividades, productos, resultados) los aspectos clave que deberían ser medidos para cubrir toda la lógica de la intervención, para después comprobar las relaciones causales que asume el programa. Para poner a prueba las relaciones causales, o “testear la teoría”, se pueden utilizar métodos cuantitativos, cualitativos o mixtos.
Entre los métodos cuantitativos más utilizados encontramos la modelización estadística, que correlaciona los diferentes elementos, controlando las posibles variables intervinientes, o modelos menos ambiciosos, a través de medidas de asociación, como el estadístico chicuadrado y tablas de contingencia. Entre los métodos cualitativos, se pueden reconstruir las teorías a través del discurso, las historias de vida o presentación de casos individuales.
A diferencia de las evaluaciones de impacto, que se centran en los efectos de un determinado proyecto o programa y se preguntan si funciona, cuánto funciona y en qué medida su impacto se debe al programa (lo que denominamos atribución), las evaluaciones basadas en la teoría se interrogan sobre su razón de ser, por qué funcionan y según qué lógica, y en qué medida contribuyen a los efectos observados.
Son evaluaciones basadas en la teoría las evaluaciones realistas, los análisis de contribución, las evaluaciones de impacto de corte cualitativo como el process tracing y el QCA (Qualitative Comparative Analysis), y los estudios de caso, como se puede apreciar en la esclarecedora infográfica de Lemire (en amarillo, las evaluaciones basadas en la teoría, la “Theory Line”).
La Teoría del Cambio para la planificación
Por todo lo anterior, la Teoría del Cambio es también una herramienta clave para planificar. La planificación de intervenciones sociales, bien sean políticas, programas o proyectos implica la identificación de problemas y necesidades sociales, el diseño de intervenciones específicas y la asignación de recursos para lograr los resultados esperados.
Por ello, como apunta Michel Q. Patton, otro gran teórico de la evaluación de políticas públicas, la Teoría del Cambio se presenta como una herramienta poderosa para guiar este proceso, proporcionando una “hoja de ruta” que describe cómo se espera que una intervención cause un cambio específico a través de una serie de resultados intermedios.
La Teoría del Cambio, así, permite a las personas responsables de la toma de decisiones, alcanzar al menos, tres aspectos relevantes:
- Entender las interconexiones entre diferentes intervenciones y resultados, facilitando la optimización de recursos.
- Definir de manera más clara los objetivos.
- Desarrollar estrategias más sólidas para alcanzar dichos objetivos.
En este sentido, este enfoque ha sido ampliamente reconocido por su capacidad para mejorar la efectividad y la eficiencia de las intervenciones sociales, al proporcionar una base para la toma de decisiones informadas, ya que se centra en la evidencia y la lógica subyacente detrás de cada intervención. Como señala Carol Weiss, una buena Teoría del Cambio facilita la identificación de los factores críticos que pueden afectar el éxito de las políticas sociales, lo que ayuda también a mitigar posibles riesgos.
Cinco recomendaciones para elaborar una buena Teoría del Cambio
- Céntrate en el panorama general. Una teoría del cambio debe articular la visión y los objetivos a largo plazo para los que se está trabajando, no solo las actividades a corto plazo. Comunica claramente el propósito general y el potencial de cambio.
- Utiliza un lenguaje sencillo y claro. Evita la jerga y los términos técnicos. Explica la teoría del cambio utilizando un lenguaje sencillo que sea fácil de entender para cualquier persona. Un buen formato es: «SI hacemos estas actividades, ENTONCES este cambio ocurrirá, DEBIDO a esta lógica causal».
- Hazlo visual. Acompaña la teoría escrita del cambio con un diagrama visual o «mapa de resultados» que muestre las conexiones entre las estrategias, los resultados y los impactos. Usa colores, formas y espaciado para que la imagen sea atractiva y fácil de seguir.
- Resalta los elementos clave. Describe claramente los componentes centrales de una teoría del cambio: la visión a largo plazo, las condiciones previas y los resultados necesarios para llegar allí, las estrategias y actividades para lograr esos resultados, y los supuestos sobre cómo y por qué se desarrollará el proceso de cambio.
- Considérala una herramienta flexible y viva. Presenta la teoría del cambio como un modelo de trabajo que se probará, evaluará y perfeccionará con el tiempo a medida que aprendas de tus resultados. Pon en evidencia que es una guía para la acción, no un plan rígido. Motiva a las partes interesadas para comprometerse con la teoría del cambio y adaptarla según sea necesario.
Desde Fresno, a través de distintas metodologías participativas de investigación social, realizamos estudios y evaluaciones orientados a conocer las necesidades sociales y a recoger evidencias que permitan diseñar mejores políticas, servicios, proyectos o programas sociales.
Recursos para trabajar con la Teoría del Cambio
Bibliografía
Crespo, R. et al. (2021). Educación para la justicia Global y cambio social. Nuevos relatos para la planificación y la evaluación: nada tan práctico como una buena teoría. Ajuntament de Barcelona. [Consulta: 05-04-2024]. Recuperado de: https://ajuntament.barcelona.cat/relacionsinternacionalsicooperacio/sites/default/files/educacio_per_la_justicia_cast_def.pdf
European Commission. EVALSED Sourcebook: Method and Technique. EC. 2013.
Ligero Lasa, J. A. (2011). Dos Métodos de Evaluación: Criterios y Teoría del Programa. CEU Ediciones. [Consulta: 05-04-2024]. Recuperado de: https://magisterevaluacion.es/attachments/category/25/Ligero_Dos%20Metodos%20Evaluacion.pdf
Rogers, Patricia (2016). La teoría del cambio, Methodological Briefs, no. 2E, UNICEF Office of Research – Innocenti, Florence. [Consulta: 05-04-2024]. Recuperado de: https://www.unicef-irc.org/publications/803-la-teor%C3%ADa-del-cambio.html
Web
Better evaluation. Manager’s Guide to Evaluation. Describe the Theory of Change. https://www.betterevaluation.org/frameworks-guides/managers-guide-evaluation/scope-evaluation/describe-theory-change
Herramientas
Klein H, (2018). Changeroo: the heart and mind of social organisations. Retrieved from: https://changeroo.com/ Theory of Change Academy: https://changeroo.com/toc-academy
Powell, S. (2016). Theory Maker [Website]. Retrieved from http://theorymaker.info
Barbara Branchini
Project Manager en el área de Estudios, Evaluación y Estrategias
Especializada en evaluación de políticas públicas y procesos de participación ciudadana.
Ver más
