Tejiendo redes por las buenas prácticas en evaluación de políticas

Septiembre de 2020 Afi, ISEAK, Ivie y KSNET han constituido la Red por las Buenas Prácticas en Evaluación (REDEV), una iniciativa que pretende contribuir al incremento del análisis empírico en nuestro país e impulsar la evaluación de políticas, tanto en el sector público como en el ámbito privado.

Es imposible disociar la necesaria (y hasta ahora, prácticamente inexistente) costumbre de evaluar las políticas públicas con la importancia del Estado de bienestar como materialización del contrato social que hemos acordado como sociedad democrática y avanzada. Contrato social que cristaliza en un entramado complejo de instituciones que precisan una adecuada gobernanza y gestión para garantizar su legitimidad, propósito y resultados.

Las exigencias de buena gobernanza, tanto en el sector público como en el privado, se rigen cada vez más por principios de transparencia, apertura, democracia, participación, responsabilidad, eficacia y coherencia. Principios que han de articular cualquier tipo de medida que busque la mejora del bienestar.

La coyuntura actual con la crisis sanitaria ha hecho aún más evidente la ausencia de información ordenada en momentos en los que la toma rápida de decisiones, así como la necesidad de realizar ensayos de prueba y error está siendo primordial. En el campo sanitario, la falta de conocimiento preciso sobre el personal adscrito a cada centro de atención primaria, y por tanto la demanda potencial de cada centro, dificulta sin duda la planificación de los recursos. En el campo laboral, los bloqueos en la gestión de los ERTES, o de ayudas a empresas y autónomos que se han visto obligados a cerrar, son también buenos ejemplos de colapsos debidos a la falta de modernas estructuras interconectadas de información y gestión.

Además, por su gravedad, la crisis ha llevado tanto al sector público como privado a movilizar gran cantidad de recursos para implementar medidas que suavicen el shock económico y nos eviten caer en una larga recesión. Y es vital que estas medidas alcancen el mayor nivel de eficiencia posible, en un entorno donde los recursos son escasos y, quizá, puedan llegar condicionados desde la Unión Europea.

La evaluación es una oportunidad al alcance de todos

Ante este reto, se nos presenta la oportunidad de implementar medidas diseñadas a través de un enfoque integral, que aborde desde la identificación clara de los retos hasta una rigurosa evaluación de las medidas adoptadas. Este enfoque permitiría no sólo mejorar la gestión, sino también adaptarse con rapidez a nuevas necesidades a las que nos enfrentemos como sociedad.

La combinación de factores tanto estructurales como coyunturales hace más urgente que nunca:

1. Ser pertinente, es decir, realizar un diagnóstico adecuado de las necesidades.
2. Ser eficaz, que no es otra cosa que ser capaz de dar respuesta adecuada a las necesidades detectadas.
3. Ser eficiente, utilizando adecuadamente los recursos existentes para los fines perseguidos.

Además de lo anterior, las técnicas modernas de evaluación permiten (i) la trazabilidad y comparabilidad en el tiempo, siguiendo a cada una de las personas o unidades a las que se les ha aplicado la medida; (ii) analizar su sostenibilidad en el tiempo; y (iii) responder al principio de transparencia y rendición de cuentas.

Todos estos elementos son indispensables para maximizar el impacto de las medidas implementadas y el bienestar social y empresarial de nuestra sociedad.

¿Qué es REDEV?

En este contexto, Afi, ISEAK, Ivie y KSNET han constituido la Red por las Buenas Prácticas en Evaluación (REDEV), una iniciativa que pretende contribuir al incremento del análisis empírico en nuestro país e impulsar la evaluación de políticas, tanto en el sector público como en el ámbito privado.

Para ello, REDEV ofrece un marco integral de evaluación, que consta de 5 elementos básicos:

1. La detección de problemas o necesidades
2. La definición de objetivos
3. El diseño del programa o política
4. El protocolo para la recogida de información, y
5. El análisis de evaluación.

La recogida y análisis de datos es un elemento clave en cada una de estas fases (la sección Escuela está dedicada a este particular), y es la suma de todas ellas la que permite hacer recomendaciones para la toma de decisiones en un proceso dinámico ya que, la retroalimentación en base a las recomendaciones obtenidas, permite seguir mejorando el diseño e implementación de programas y políticas.

Para ello, es preciso contar con protocolos adecuados para la recogida y gestión de datos desde el principio de los trabajos, que incluirían información detallada sobre qué variables es necesario medir, cómo se deben medir, cada cuanto tiempo, etc., algo en lo que REDEV también puede acompañar a aquellos organismos interesados.

Con este marco integral de evaluación las instituciones dispondrán de una herramienta que trasciende el control de la gestión, lo que les permitirá ser precisos al proponer e implementar políticas. Algo que, por otro lado, es una exigencia a la hora de gestionar o recibir recursos, por ejemplo, de fuentes europeas.

Tipos de evaluación

Este marco integral de evaluación contempla tres momentos clave en los que es adecuado realizar un análisis de evaluación.

En su diagnóstico y diseño previo (evaluación ex - ante). Por ejemplo, puede ser necesario llevar a cabo una evaluación de las necesidades de una política o programa, en base a la detección de un problema. Esta evaluación de necesidades puede ayudar, por ejemplo, a focalizar los servicios hacia las necesidades reales de la población o a mejorar la distribución territorial de recursos.

Asimismo, para determinados programas o políticas, también puede ser de interés realizar un análisis coste-beneficio, que permita determinar la conveniencia de implementarlos, en base a la comparación de los beneficios esperados con sus costes; o incluso comparar distintas intervenciones alternativas, para determinar cuál de ellas es más coste-efectiva.

Una segunda fase para abordar la evaluación sería durante la implementación de la actuación para medir resultados y corregir posibles fallos de diseño o errores de ejecución (evaluación intermedia).

Cuando ya lleva unos años aplicándose una política, es oportuno desarrollar un trabajo de evaluación intermedia para verificar qué resultados se están consiguiendo, si los objetivos que se habían marcado se están alcanzando, y en qué condiciones. Contemplará el análisis de las razones por las que se producen desviaciones respecto a las metas intermedias definidas para poder corregir posibles errores de implementación o de diseño de la intervención.

Una vez implementada por completo la intervención, y tras los posibles cambios que se pudieran realizar derivados de las recomendaciones de la Evaluación intermedia, será el momento de analizar su impacto, extraer lecciones sobre su eficacia y rendir cuentas sobre el uso de los recursos empleados. Es lo que se conoce como evaluación ex - post.

Para analizar este impacto normalmente se requiere que exista un contrafactual, esto es, un escenario alternativo e «idéntico» sin intervención, con el fin de ver qué hubiera pasado si no se hubiesen aplicado las políticas.

Los resultados obtenidos en la evaluación del programa o política permiten retroalimentar la toma de decisiones, en el sentido de que los mismos programas o políticas se pueden ir mejorando a raíz de las conclusiones obtenidas, y se pueden potenciar aquellos que ofrecen mayores impactos, o viceversa.