Evaluación de proyectos sociales como clave de aprendizaje en el Tercer Sector

Son muchas las dudas y los obstáculos que pueden asaltar a las entidades del Tercer Sector cuando deciden poner en marcha un nuevo proyecto. Además, teniendo en cuenta que los proyectos sociales nacen orientados al cambio y a la mejora de la calidad de vida de las personas en riesgo de exclusión social, conocer si lo que se está haciendo está dando sus frutos y contribuye a la mejora de la sociedad es una pregunta crucial que debe estar presente durante todo el ciclo de nuestro proyecto.

Por ello, resulta de gran utilidad e importancia diseñar e implementar sistemas de evaluación de proyectos. Tener una hoja de ruta que permita ir comprobando cómo se desarrollan los diferentes acontecimientos ayudará a superar estos obstáculos, evitar problemas y tomar mejores decisiones.

Por último, considerando que los proyectos no son elementos aislados dentro de las organizaciones, sino que forman parte de ellas y conforman su estructura y su funcionamiento, un buen sistema de evaluación de un proyecto también dará pistas y claves que guiarán a la entidad en otros pasos que dé en el futuro.

Evaluar proyectos en el Tercer Sector

La evaluación es una valoración y reflexión sistemática sobre el diseño, los procesos, los resultados e impacto de proyectos que aún no se han puesto en marcha, proyectos en ejecución o proyectos ejecutados, empleando metodologías de investigación social (cuantitativas y cualitativas).

Como tal, es un proceso integral que permite profundizar en el conocimiento sobre el ciclo del proyecto, su gestión y conocer los efectos y lecciones aprendidas de él. Las evaluaciones se utilizan para dar respuesta a cuestiones específicas, usualmente relacionadas con el diseño, la ejecución, los resultados e impacto de un proyecto.

Las características principales de la evaluación son:

Es útil y práctica, ya que contribuye a la mejora de la intervención y la toma de decisiones.
Es sistemática y rigurosa.
Responde a plazos temporales
Realiza un análisis valorativo.
Se lleva a cabo en las distintas fases del ciclo de vida del proyecto.
Implica a todos los agentes clave en la intervención, especialmente a la población usuaria.

Medir el éxito y extraer aprendizajes gracias a la evaluación

La evaluación nos va a permitir responder a las preguntas clave de la intervención que realizamos: ¿Qué hemos hecho realmente? ¿Hemos sido eficaces y hemos conseguido los objetivos propuestos? ¿Qué efectos ha tenido el proyecto? ¿Cuánto ha costado y ha sido eficiente el uso de los recursos? ¿Qué efectos ha tenido en las personas beneficiarias? Gracias a la evaluación, entre otras cosas, va a ser posible analizar el grado de consecución de los resultados y de los objetivos del proyecto, así como el impacto que se genere. Este seguimiento va a permitir contar con información valiosa para valorar el éxito del proyecto o, por lo contrario, del fracaso. De este modo, la medición también va a arrojar luz sobre planes futuros, ya que los aprendizajes extraídos mediante ella podrán ser incorporados en el ciclo de los siguientes proyectos.

La evaluación de un proyecto dispone de distintos instrumentos que pueden utilizarse para verificar y mejorar la calidad, la eficiencia y la efectividad de los proyectos en las distintas etapas del ciclo. Si este proceso lo llevamos a cabo de manera exhaustiva, las conclusiones obtenidas se convierten en aspectos fundamentales para:

Contribuir al diseño de las intervenciones actuales y futuras.
Mejorar la calidad y el impacto de las intervenciones.
Contribuir a una mejora en la asignación de los recursos.
Notificar los logros de la intervención.
Rendir cuentas a las personas beneficiarias, a las financiadoras y a las demás personas involucradas en el proyecto.
Identificar buenas prácticas y factores de éxito que contribuyen a la obtención de resultados positivos para replicarlos en un futuro.

¿Cuándo evaluar?

La evaluación no solo hay que ponerla en marcha una vez finalizado el proyecto, sino que ya en la fase de diseño y de planificación se debe tener en cuenta, de manera que se aseguren todos los mecanismos necesarios para poder ejecutar una medición eficaz. Para ello, existen diferentes herramientas como la Matriz de Marco Lógico o la Teoría del Cambio que resultan de gran utilidad para diseñar la intervención, planificar los medios y recursos para lograr los objetivos, hacer seguimiento y evaluar el proyecto.

La evaluación puede hacerse en diferentes momentos de tiempo, según cuando se aborde es posible formular distintas conclusiones y la definición de estos hitos vendrá marcada por lo formulado en la fase de diseño del propio proyecto. De este modo, las evaluaciones pueden realizarse:

Evaluación ex ante: se realiza durante la fase de diseño y evalúa el contexto socioeconómico e institucional. En este momento se identifican problemas, necesidades, población objetivo, insumos disponibles y estrategias de acción. Además, permite fijar las hipótesis de partida.
Evaluación simultánea: se lleva a cabo durante la ejecución del proyecto. Busca evaluar el grado de ejecución del proyecto, detectar oportunidades de mejora, ajustes a implementar de acuerdo con el contexto y analizar los resultados tempranos.
Evaluación final: se desarrolla una vez finalizado el proyecto y tiene por objetivo valorar de manera global y extraer las enseñanzas más destacadas. Se centra en la eficacia, la eficiencia, la pertinencia, los impactos, la viabilidad y la replicabilidad de nuestros proyectos, así como en los efectos previstos o imprevistos.
Evaluación ex post: se realiza tiempo después de la finalización del proyecto, meses o incluso años más tarde. Sirve para evaluar resultados e impactos tanto directos como indirectos y estudia en profundidad las repercusiones de la intervención, el cumplimiento de los objetivos y la sostenibilidad de los beneficios.

¿Qué tipos de evaluación existen?

Dependiendo del objetivo, del alcance y de las preguntas que nos hagamos sobre el proyecto, tendremos que seguir un tipo de evaluación u otra.

Según el agente que evalúe encontramos dos tipos: la evaluación interna o la evaluación externa. La evaluación interna se lleva a cabo por responsables de gestión y ejecución del proyecto, quienes se encargan de recolectar y analizar la información. Suele ir asociada a la evaluación simultánea. Por otro lado, la externa es aquella realizada por agentes ajenos a la gestión y ejecución del proyecto y sirve para garantizar la independencia y el grado de objetividad.

Según su función, la evaluación puede ser sumativa o formativa. La evaluación sumativa es aquella que se ejecuta con la intención de recibir conclusiones sobre un proyecto o mejorar futuros programas, por lo que en ella se emiten juicios sobre aspectos críticos. Normalmente se realiza tiempo después de la finalización del programa. Por su parte, la evaluación formativa es aquella que establece los medios que permiten realizar modificaciones durante el ciclo del proyecto.

Según sus fases o contenidos:

Conceptual o de diseño: va orientada al análisis del diseño, evaluando la claridad de los objetivos, la calidad de los instrumentos o técnicas por las cuales se va a obtener la información, el plan de acción y los recursos destinados.

Proceso: busca analizar el funcionamiento del proyecto, identificando posibles diferencias entre la ejecución real y la prevista, revisando si se siguen las pautas para el desarrollo del proyecto, identificando los factores que influyen en el correcto funcionamiento, etc.

De resultados: con este tipo de evaluación se pretende determinar el grado en el que se han alcanzado los objetivos previstos, determinando hasta qué punto los logros obtenidos se deben a nuestro proyecto.
De impacto: con la evaluación de impacto se aspira a identificar los cambios o transformaciones directamente atribuibles a un proyecto o programa, introduciendo la dimensión de causa-efecto.

Fases para llevar a cabo una buena evaluación

Una vez que ya conocemos lo que es una evaluación, la importancia que tiene para nuestra entidad, cuándo podemos hacerla y los tipos que existen, tenemos que centrarnos en cómo ejecutarla. Se distinguen tres fases:

1. Planificación de la evaluación. Las etapas previas a la ejecución del proyecto son esenciales, ya que definen la situación actual del proyecto, la situación deseada y los mecanismos de medición y evaluación que nos permitirán comprobar si estamos cumpliendo los objetivos previstos.

Establecer y definir el propósito mediante hipótesis.
Formular objetivos claros, concisos, realistas y medibles.
Establecer indicadores, líneas de base y metas para cada objetivo.
Definir el sistema y los mecanismos de evaluación, indicando las actividades, la frecuencia, los métodos y fuentes de recolección de información, la coordinación con actores clave y el tipo de evaluación que se espera realizar.
Asignar recursos humanos, económicos y materiales.

2. El proceso de la evaluación. Normalmente, una evaluación suele construirse siguiendo este proceso: diseño, términos de referencia y ejecución.

–>Diseño

Esta fase va a consistir en definir qué es lo que vamos a evaluar y para qué. Para ello, debemos formular las hipótesis que dan significado a los hechos, plantear preguntas a las que se dará respuesta a través de la evaluación y definir el tipo de evaluación más idónea.

También es importante establecer los métodos de investigación a aplicar, identificar a las personas clave, definir qué papel van a tener en la evaluación y el plan de acción que deberán seguir las personas responsables.

–>Términos de Referencia (TdR)

Si elegimos una evaluación externa, elaborar los Términos de Referencia de la evaluación es un paso fundamental para que los posibles equipos proveedores se ajusten a nuestros requisitos.

Los TdR deben contener los antecedentes del proyecto, el objetivo y el propósito de la evaluación, el ámbito de aplicación y los métodos a seguir, las cuestiones que se van a abordar, cómo va a ser el equipo evaluador y un cronograma detallado. Además, es importante incluir los actores a los que se podrá recurrir para consultar durante y al final del trabajo de campo, los diferentes plazos que hay para realizar tanto la versión preliminar como el informe final, y el presupuesto que se va a necesitar.

–>Ejecución

En este tercer punto destacan tres ideas: la realización de un estudio de gabinete, la ejecución del propio trabajo de campo y la redacción del informe de evaluación. El estudio de gabinete va a consistir en un análisis y una reconstrucción de la lógica de la intervención por parte del equipo evaluador. Por otro lado, se va a ejecutar el trabajo de campo, algo para lo que va a ser una pieza fundamental contar con un buen planteamiento previo. Y, por último, llega el momento de la redacción del informe de evaluación que consiste en procesar, contrastar y presentar los datos que hemos ido obteniendo a través de las fases anteriores.

3. Difusión de los resultados

Como se ha recordado al principio de este post, evaluar no solo es importante para un proyecto concreto, lo es para la propia entidad en su conjunto y para los posibles pasos que esta dé en un futuro. Además, esta relevancia va mucho más allá de la propia entidad, hay que tener en cuenta que las conclusiones y los resultados que obtengamos también pueden servir a otras entidades y organizaciones para poner en marcha proyectos innovadores y de mayor calidad, algo que nos beneficia a todas las personas como sociedad.

Por todo esto, es importante cuidar la difusión y comunicación de los resultados que hemos obtenido en la evaluación, ya no solo para rendir cuentas a las personas participantes en el proyecto, sino también para maximizar el impacto a una escala mucho más amplia, por lo que resulta indispensable crear un plan de difusión.

Algunas ideas respecto a la difusión de los resultados pueden ser:

Celebrar un seminario con personas clave y organizaciones afines para exponer los resultados, los aprendizajes y las perspectivas de futuro.
Redactar un comunicado de prensa y envío a distintos medios.
Publicar el informe obtenido en la web de la entidad y de los agentes implicados.
Seleccionar los apartados más importantes y difundirlos a través de micro contenidos como posts de redes sociales, entradas de blog, vídeos…
Realizar vídeos y contenidos testimoniales en los que las personas beneficiarias del proyecto expongan los logros identificados.
Destacar las buenas prácticas y los factores de éxito en los distintos canales de comunicación.

La importancia de la solidez de los indicadores

Si lo que queremos es completar con éxito el seguimiento y la evaluación de un proyecto, necesitaremos elaborar un sistema de indicadores sólido que nos permita medir adecuadamente los resultados.

Los indicadores son el punto de referencia y la carta de navegación que va a orientar las actividades de gestión, seguimiento y evaluación del proyecto, son herramientas que nos van a permitir clarificar y definir de forma precisa los objetivos e impactos de nuestro proyecto. Si contamos con indicadores vamos a poder contar con un estándar o línea de base con la que evaluar, estimar o demostrar el progreso frente a las metas iniciales.

Hay varios tipos de indicadores y su selección dependerá de la dimensión del proyecto que queramos evaluar: diseño, procesos, resultados o impacto. Además, los indicadores se clasifican en dos tipos: cuantitativos y cualitativos.

Es importante recordar la necesidad de encontrar un balance entre los indicadores de proceso y lo más estratégicos, ya que con frecuencia se tiende a seleccionar indicadores de proceso que no informan realmente sobre los cambios que está produciendo nuestro proyecto, sino que se limitan a tratar la gestión del programa sin entrar en lo que es verdaderamente importante, sus efectos y aprendizajes.

Con la intención de que esto no se produzca, os dejamos algunas recomendaciones generales para tener en cuenta a la hora de seleccionar los indicadores:

Simplificar y ordenar los indicadores.
Asegurar que estén alineados con las actividades.
Confirmar que los indicadores de resultado estén directamente relacionados con los objetivos.
Dejar claro cómo se va a medir cada indicador.
Comprobar si se cuenta con información disponible o se puede recolectar fácilmente para completar el indicador.
Valorar si es un indicador tangible y se puede observar.

Y, finalmente, para comprobar que nuestros indicadores están bien diseñados podemos recurrir a la técnica SMART, que expone que estos deben ser específicos, medibles, atribuibles, realistas y estar correctamente focalizados. Siguiendo todas estas pautas, los indicadores deben ofrecernos información fiable sobre el desarrollo, los cambios y el impacto que ha generado nuestro proyecto.

Evaluar es indispensable tanto para no repetir los mismos errores y perder parte de nuestro tiempo replicando modelos erróneos, como para poder seguir innovando en el ámbito social y contribuyendo de manera más enfocada y eficaz a un cambio positivo en la sociedad.

Si quieres profundizar en herramientas de planificación y evaluación como la Matriz del Marco Lógico o la Teoría del Cambio, te recomendamos que consultes estas guías:

Edgar Ortegón, Juan Francisco Pacheco, Adriana Prieto (2005) Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. CEPAL https://repositorio.cepal.org/bitstream/handle/11362/5607/S057518_es.pdf

Patricia Rogers (2014) La Teoría del Cambio. UNICEF https://www.unicef-irc.org/publications/pdf/Brief%202%20Theory%20of%20Change_ES.pdf