Artículos
9 recomendaciones clave para plantear una evaluación de resultados de proyectos y políticas sociales útil
Una vez más estás delante del formulario de la subvención a la que te presentas todos los años. Has notado que, esta vez, han añadido un apartado sobre evaluación y no sabes por dónde empezar.…
En este post, nuestra compañera Joy González te explica algunos conceptos clave que conviene saber sobre la evaluación de resultados, sus objetivos y los diferentes enfoques que existen. Además, te ofrece 9 recomendaciones que te pueden servir a la hora de plantear una evaluación de resultados.
La importancia de medir los resultados de un proyecto social es ampliamente reconocida entre las Administraciones Públicas y las entidades del Tercer Sector de Acción Social, debido a que este tipo de evaluación permite verificar y dimensionar si realmente estamos haciendo la diferencia frente a problemáticas sociales cronificadas o emergentes. La evaluación de resultados genera un conocimiento valioso acerca de los posibles caminos de mejora de los proyectos y sobre los cambios sociales que efectivamente estos están generando en la población.
Existen diversas aproximaciones metodológicas que permiten identificar ese aporte específico de los proyectos en la mejora de la calidad de vida de las personas. Sin embargo, frecuentemente se confunde los resultados de un proyecto con sus actividades, sus productos, sus costes y su impacto indirecto. Esta confusión puede hacer que se deje de lado la necesaria reflexión sobre la eficacia de las acciones propuestas para lograr cambios sociales evidentemente atribuibles a los proyectos. La existencia de esta confusión pocas veces advertida deja a las entidades y Administraciones Públicas ante tres riesgos fundamentales:
- Ejercicios evaluativos centrados en indicadores cuantitativos de asistencia, realización de actividades y justificación de gastos.
- Indicadores que miden la obtención de productos y no de resultados.
- Conclusiones apresuradas sobre el impacto indirecto de las acciones del proyecto en las personas que, en muchos casos, no pueden atribuirse de manera clara al proyecto social evaluado.
Imaginemos un proyecto de educación sexual para adolescentes que pretende disminuir el número de embarazos no deseados entre esta población. Si quisiéramos evaluar sus resultados, no podemos conformarnos con saber cuántas personas asistieron a los talleres de educación sexual o cuántos dispositivos para la prevención del embarazo han sido repartidos entre la población. Lo primero, es un indicador de actividad y lo segundo, el indicador de producto. Ninguno de los dos por sí solos pueden ser considerados evidencia de que efectivamente se haya logrado el propósito de disminuir los embarazos adolescentes entre la población. Afirmar esto, sería sacar una conclusión precipitada sobre los impactos de nuestras acciones. Incluso si comprobamos que los embarazos no deseados entre adolescentes están disminuyendo, todavía es necesario demostrar que ese cambio se debe al proyecto.
Para evitar estos riesgos es indispensable comprender la especificidad y la relevancia de la evaluación de resultados para comprobar los auténticos efectos de los proyectos y las políticas en el cambio social. Por esto, este post revisa la particularidad de este tipo específico de evaluación, así como sus objetivos principales. Además, presenta algunos enfoques metodológicos clave y aspectos centrales para tener en cuenta a la hora de garantizar una evaluación de resultados funcional a los proyectos y a las poblaciones a las que están dirigidos.
¿Qué significa evaluar los resultados de un proyecto social?
Un resultado es básicamente un cambio que se genera en las personas gracias a las acciones del proyecto. Según la Oficina de Evaluación del PNUD (2002), estos aparecen una vez se han obtenido los productos planificados y antes de poder dimensionar el impacto social más amplio y duradero.
La diferencia entre estos tres elementos que se derivan de un proyecto social -productos, resultados e impacto- resulta fundamental para el diseño de estrategias de evaluación efectivas.
En primer lugar, los impactos a largo plazo son cambios sociales que se presentan tras finalizar las acciones del proyecto, por lo que resulta más difusa y compleja la posibilidad de atribuirlos a proyectos puntuales.
Pensemos en este ejemplo para entender qué son los impactos de un proyecto:
Imaginemos una comunidad en la que se evidencia claramente un fortalecimiento continuo de la economía local. Imaginemos ahora que años antes, una entidad del Tercer Sector había desarrollado en esa misma comunidad un programa de capacitación laboral dirigido a jóvenes estudiantes de Formación Profesional con el propósito de mejorar sus índices de acceso a empleo y, a largo plazo, mejorar la calidad de vida de toda la comunidad. ¿Puede establecerse una conexión evidenciable entre el programa de capacitación para el empleo y el impacto a largo plazo en una economía local fortalecida y sostenible? Tendemos a pensar que la conexión es evidente, pero necesitaremos comprobarlo debido a que otros factores pueden estar influenciando la ebullición de una economía local fortalecida: la acción de otros proyectos, las organizaciones sociales locales u otras iniciativas comunitarias, por ejemplo.
Por su parte, los productos de un proyecto social son frutos concretos -tangibles o intangibles- tales como la instalación de una tecnología o la implantación de un servicio específico. Los productos y actividades son elementos cuya medición no expresa plenamente la diferencia que el proyecto está haciendo en la mejora en la calidad de vida de las personas.
Pensemos en este ejemplo para entender qué son los productos de un proyecto
En el programa de capacitación para el empleo, un producto podría ser la instalación de un evento anual de una feria de empleo para acercar a las empresas del entorno a los centros educativos. Para obtener este producto, se tendrán que realizar diversas actividades entre las cuales habrá reuniones con empresarios clave.
A diferencia de los impactos y los productos, los resultados se refieren precisamente a los efectos directos que se pretenden generar con los productos y las actividades en la población. Dichos efectos se expresan como cambios institucionales, en las relaciones sociales, en las personas, en las comunidades, en las condiciones de vida, etc.
Reflexionemos sobre estas preguntas para entender qué son los resultados de un proyecto:
¿Podemos considerar la sola existencia de una feria anual de empleo, gracias a un proyecto, como una evidencia de que se mejoraron los índices de acceso a empleo? ¿La asistencia a la primera versión de la feria del 95% de las personas participantes de un programa de capacitación laboral puede tomarse como evidencia de mejora de los índices de acceso a empleo?
Focalizar la evaluación de un proyecto social en sus resultados permite obtener aproximaciones realistas a los efectos que las acciones están generando en la población objetivo. En una evaluación de resultados, el énfasis del ejercicio evaluativo recae sobre los resultados mismos y no sobre los procesos o las actividades. Sin embargo, las conclusiones obtenidas permiten la construcción de conocimiento valioso en la toma de decisiones sobre los procesos y las actividades de proyectos en etapa de ejecución.
Es sabido que los cambios en las poblaciones no son consecuencia única de los proyectos y políticas sociales, sino que están influenciados por una amplia variedad de factores externos y acciones de otros actores de cambio (otros proyectos, circunstancias estructurales, legislaciones, acciones comunitarias de base, movimientos sociales, organizaciones de la sociedad civil, etc.).
Teniendo esto en cuenta, la evaluación de resultados se preocupa por establecer la relación existente entre, por un lado, los cambios evidenciados en la población y el contexto objetivo y, por otro, las acciones ejecutadas en el marco de los proyectos sociales. De esta manera, la evaluación de resultados no necesita esperar al final de la intervención social para ponerse en marcha. Esta puede iniciarse en etapas intermedias de las intervenciones para facilitar la obtención de información en tiempo real.
Objetivos de una evaluación de resultados
Para entender el valor añadido que ofrece la evaluación de resultados de un proyecto social, es de gran ayuda recoger brevemente algunos de sus objetivos principales. En concreto, lo que pretendemos hacer con una evaluación de resultados es:
- Identificar cuáles son los resultados que queremos producir en la población objetivo, y verificar si estamos haciendo avances significativos para conseguirlos durante y después de la ejecución del proyecto.
- Valorar si los aportes del proyecto a la población objetivo están realmente influyendo en los cambios positivos de la calidad de vida de las personas.
- Reflexionar acerca de los elementos que han causado esos cambios positivos, provengan o no del proyecto.
- Revisar las formas de trabajo propuestas y desarrolladas en el proyecto. Una valoración detallada de los resultados nos sirve para pensar si estamos trabajando bien; es decir, permite saber si las formas de coordinación, comunicación y colaboración están aportando lo suficiente a la mejora de la calidad de vida de las personas. Siguiendo lo expresado por Leticia Henar, consultora senior en Fresno, una evaluación de resultados también implica una reflexión sistemática y continua sobre el diseño mismo del proyecto.
Metodologías para la evaluación de resultados de un proyecto social
Los equipos evaluadores de proyectos echan mano de diversas metodologías para la evaluación de resultados de los proyectos sociales. Unas de las más utilizadas hasta ahora han sido el paradigma del Marco Lógico -enfocado en la identificación de objetivos y los avances conseguidos en su consecución- o la evaluación criterial -basa en criterios de enjuiciamiento que valoran de manera aislada los resultados y las acciones-.
Estas metodologías presentan falencias a la hora de evaluar los resultados de un proyecto porque no valoran la relación entre las acciones y los resultados y plantean objetivos demasiado ambiciosos, lo cual repercute en el diseño de indicadores de evaluación desajustados a la realidad de las intervenciones. Por eso, a continuación, recomendamos algunos otros enfoques de evaluación innovadores, rigurosos y eficaces para la evaluación de resultados.
Evaluación basada en resultados
Este enfoque metodológico se concentra en la valoración de los resultados concretos que el proyecto ha generado en la comunidad o grupo objetivo. Con este objetivo, se diseñan indicadores de resultados cualitativos y cuantitativos que permiten identificar el grado de cumplimiento de los cambios previstos. La evaluación basada en resultados está directamente relacionada con la Gestión de proyectos basada en resultados (RBM) debido a que las conclusiones de la primera repercuten en la toma de decisiones sobre el diseño, los recursos y la ejecución de los programas en tiempo real.
Evaluación participativa
El enfoque de evaluación participativa involucra en el proceso de manera directa a la población objetivo, los equipos profesionales y otros actores implicados o interesados en el proyecto. Este tipo de evaluación de resultados pretenden recoger las experiencias, preocupaciones, recomendaciones y conocimiento acumulado de todos los actores para construir una visión general, compleja y detallada de los cambios que se están consiguiendo gracias a las intervenciones.
Además, este enfoque propicia la generación de lazos de confianza de la población con las las entidades y/o Administraciones Públicas que gestionan y ejecutan los proyectos porque facilita la rendición de cuentas y la transparencia en la ejecución de las acciones. La participación en la evaluación, asimismo, habilita la creatividad y la innovación en estrategias de aprendizaje colectivo.
Evaluación basada en teoría del cambio
Este enfoque metodológico está enfocado en la elaboración de una teoría que explicite cómo se espera que el proyecto genere resultados y tenga un impacto en la comunidad. Cuando se aplica este enfoque en la evaluación de resultados, se ofrece una reflexión acerca de los mecanismos causales que generan que las acciones del proyecto mejoren la problemática de partida produciendo cambios significativos y evidenciables en la población objetivo. Además, la Teoría del Cambio previene el riesgo de evaluar los resultados de manera aislada.
Evaluación con enfoque realista
Este enfoque es especialmente apropiado en el caso de proyectos estatales o que se desarrollan en contextos sociales que presentan cambios significativos permanentes. Como todos los enfoques de evaluación de resultados anterior, la evaluación con enfoque realista pretende comprender cómo y por qué un proyecto social produce resultados significativos en una población y contexto específicos. Esta metodología pone en el centro la comprensión de los mecanismos causales que afectan los resultados, pero, a diferencia de la Teoría del Cambio, lo hace reflexionando de manera más profunda en el contexto en el que se desarrolla el proyecto. Por lo general, los datos cuantitativos que recopila la evaluación versan sobre el contexto y los resultados, dejando los datos cualitativos para construir conocimiento acerca de los mecanismos causales que generan los cambios.
Finalmente, es importante destacar la popular evaluación de impacto. Esta metodología se centra en medir el impacto social y los cambios a largo plazo generados por el proyecto. Se utiliza para evaluar el efecto real del proyecto en la comunidad o grupo objetivo, más allá de los resultados inmediatos. La evaluación de impacto utiliza métodos rigurosos, como estudios comparativos y análisis estadísticos, para determinar la contribución del proyecto a los cambios observados.
Tips para tener en cuenta en una evaluación de resultados
La evaluación de resultados en proyectos sociales es un proceso continuo y debe realizarse de manera periódica para monitorear el progreso y realizar ajustes si es necesario. Algunos aspectos centrales para tener en cuenta al momento de planificar y ejecutar la evaluación de resultados de un proyecto social son los siguientes:
- Tomar el resultado como punto de partida. Las evaluaciones de resultados no empiezan analizando la calidad del diseño y la ejecución de los proyectos debido a que esto no proporciona información que permita comprender lo que se está generando a nivel de resultados. Contrario a esto, toman el resultado evidenciado en la población y el contexto como su línea de base para, a partir de allí, evaluar la serie de variables que los generan, incluyendo el diseño y la ejecución del proyecto.
- Cuidar el tipo de indicadores. Debido a que se focalizan en los resultados, los indicadores que se diseñan y utilizan en este tipo de evaluación miden variables asociadas a los resultados y no a las actividades. Estos indicadores deben permitir dar respuesta a preguntas como, ¿se han realizado avances evidenciables y significativos hacia los resultados previstos por el proyecto?, ¿cuál ha sido la contribución directa y específica de las acciones del proyecto dicho avance?, ¿cómo es que ha sido posible conseguir esos resultados?
- No subestimar la información cualitativa. Para evaluar los resultados del proyecto, es necesario recopilar datos relevantes. Un error común en la planificación de las evaluaciones es asumir que los únicos datos relevantes que pueden recogerse sobre los cambios generados por un proyecto en la población objetivo y su contexto son cuantitativos. Sin embargo, las herramientas de investigación cualitativa -como las entrevistas semiestructuradas o en profundidad, los grupos de discusión, la observación y otras técnicas participativas- arrojan información valiosa para una comprensión más profunda de los resultados de un proyecto. La mayoría de las veces, plantear indicadores cualitativos es lo único que da acceso a los equipos evaluadores de proyectos a la experiencia directa de la población objetivo, sus preocupaciones y recomendaciones sobre el proyecto mismo en un grado de profundidad y complejidad que no permiten las encuestas. Asimismo, las herramientas cualitativas de evaluación de proyectos funcionan de manera eficaz en la identificación de situaciones relevantes que se presentan durante la ejecución de los proyectos, cuyo análisis puede arrojar conocimiento fundamental para la toma de decisiones y la innovación.
- Aprovechar las potencialidades que brindan los diferentes enfoques metodológicos. Además de seleccionar las herramientas metodológicas que mejor se ajustan a cada proyecto, el rigor y la confiabilidad de la evaluación puede garantizarse a través de la combinación coherente de diversos enfoques metodológicos. Es posible, por ejemplo, realizar una evaluación de resultados con enfoque realista utilizando una metodología participativa.
- Propiciar la participación de la población objetivo. Es indispensable involucrar a todos los actores relevantes del proyecto en su evaluación, pero es de especial importancia que las personas que se benefician de las acciones del proyecto participen. Las personas no son receptoras pasivas de las intervenciones. Sus experiencias con el proyecto generan en ellas reflexiones que deben ser tomadas como conocimiento experto de primera mano acerca de la problemática que se pretende abordar. Por lo tanto, el conocimiento que tiene la población debe reconocerse como tal y ponerse en valor como elemento fundamental para la toma de decisiones.
- Considerar los factores externos al proyecto y el contexto mismo en que se desarrollan sus acciones. Diversos aspectos no controlados por el marco del proyecto pueden estar y, de hecho, estarán influyendo en los resultados. Aspectos sociales, políticos, culturales, económicos, institucionales o legales no sólo limitan la ejecución de los proyectos, sino que también coadyuvan a un mayor o menor avance hacia sus resultados. Por eso, es indispensable identificarlos y analizarlos si se quiere verificar con rigurosidad y transparencia cuál es la diferencia que aporta el proyecto.
- Analizar los resultados. Una vez recopilados los datos, es importante analizarlos con una perspectiva crítica y comparativa que permita extraer aprendizajes utilizables en la mejora de las intervenciones.
- Evaluar la sostenibilidad de los resultados. Algunos de los resultados directamente atribuibles a la intervención pueden ser temporales, mientras que otros pueden permanecer en el tiempo convirtiéndose en impactos a largo plazo. Por eso, la evaluación de los resultados debe incluir un análisis detallado de su sostenibilidad, de tal manera que las conclusiones permitan establecer medidas que garanticen la continuidad de los efectos positivos del proyecto.
- Comunicar los resultados. Muchas veces reducida a un evento o una página web, la comunicación de resultados es un aspecto fundamental para el contraste de las acciones y efectos del proyecto con la población objetivo, los equipos profesionales que ejecutan el proyecto y otros actores involucrados. Por eso, es importante encontrar formas accesibles, creativas y claras de hacer públicos los resultados de los proyectos y, por tanto, las conclusiones de la evaluación.
Si se quieres saber a ciencia cierta si un proyecto social está haciendo la diferencia, es la evaluación de resultados el mejor camino a emprender. La elección de la metodología dependerá de los objetivos del proyecto, los recursos disponibles y las necesidades específicas de evaluación. Además, es importante adaptar la metodología seleccionada a las características y contexto del proyecto para obtener resultados relevantes y significativos.
Desde Fresno brindamos asesoría en el proceso de identificación de la metodología que mejor se ajusta a cada proyecto social y, por supuesto, también ofrecemos asistencia técnica en la planificación, ejecución y comunicación de la evaluación de resultados. Si con la lectura de este post han surgido dudas o reflexiones sobre la evaluación de resultados en proyectos sociales, compártelas con Fresno.
Recursos adicionales
- Leticia Henar. (2022, septiembre 20). Evaluación de proyectos sociales como clave de aprendizaje en el Tercer Sector. https://www.fresnoconsulting.es/blog/evaluacion-de-proyectos-sociales-como-clave-de-aprendizaje-en-el-tercer-sector/
- González-Güeto, J. H., & Ruiz, L. (2022). Proceso Participativo Cliente Misterioso. Diputación de Castellón y Sociedad Española de Evaluación de Políticas Públicas. https://www.dipcas.es/uploads/dipcas/ficheros/1/627a18a3df4149730855138.pdf
- (2018). Manual para Gestión Basada en Resultados y la Agenda 2030 para el Desarrollo Sostenible. ONU. https://www.unodc.org/documents/SDGs/UNODC_Handbook_on_Results_Based_Management_Espanol.pdf