Evaluación de políticas públicas: una asignatura pendiente en España

En una época en la que todos los representantes políticos se están subiendo al carro de la transparencia, aunque algunos muy a pesar suyo, parece que va siendo necesario hablar de la forma en la que se realiza la evaluación de las políticas públicas que se desarrollan en nuestro país, que es de todo menos transparente.

La transparencia supone que los ciudadanos tengan acceso a la información pública, resultado del reconocimiento del llamado “derecho a saber” o “derecho de acceso a la información pública”, e implica que los ciudadanos tengan derecho a conocer cómo se prioriza, gestiona y administra el dinero público.

La evaluación de políticas públicas consiste en una serie de técnicas orientadas a valorar, de forma objetiva y fiable, cómo de efectiva y eficiente es, o se estima que será, una intervención pública.

La Comisión Europea define la evaluación como  “juicio o dictamen sobre las intervenciones de acuerdo con sus resultados, impactos y las necesidades que se pretendían satisfacer” y destaca que sus principales objetivos son aportar conocimiento útil para la definición de las acciones, incluyendo el establecimiento de prioridades políticas, valorar la eficiencia de las inversiones, mejorar la calidad de las intervenciones e informar sobre los logros de la intervención con el fin de cumplir con la rendición de cuentas exigible a los poderes públicos.

Bajo estas premisas, parece evidente que una evaluación que realmente persiga dichos fines debería cumplir una serie de requisitos:

  • La evaluación debería ser realizada por una entidad o institución independiente del organismo público que ha diseñado y puesto en marcha la política pública.

  • La evaluación no sólo debe realizarse al finalizar la política pública (evaluación ex  post), sino también antes de definir dicha política (evaluación ex ante) con la finalidad de entender correctamente el problema que se pretende corregir y decidir (lo que los anglosajones denominan knowledge based decision-making) qué intervención es la más adecuada para resolver el problema. Incluso, si la política pública se desarrolla en un espacio temporal amplio, es necesario realizar evaluaciones intermedias que permitan analizar posibles desviaciones del objetivo.

  • La evaluación debe realizarse utilizando técnicas y herramientas de recogida de información y de análisis contrastados (encuestas a los colectivos afectados por la política, análisis de coste-beneficio, etc.). La disponibilidad de datos es, por tanto, un prerrequisito imprescindible para la evaluación. Una evaluación debe ser replicable y verificable por terceros por lo que tanto los datos como las técnicas utilizadas deben ser públicas y accesibles.

Así, las “Finantial Regulations” de la Unión Europea, que establece los principios básicos de funcionamiento y normas de gestión de todo el presupuesto de la Unión Europea, exige que todos los programas o actividades de la Unión que supongan un gasto considerable deben ser objeto de evaluaciones ex ante y ex post, y que estas evaluaciones deben ser difundidas entre el resto de instituciones de la Unión, incluyendo el Parlamento. Pero no se evalúan únicamente los programas y acciones que implican un gasto público, sino que la actividad legisladora es también objeto de evaluación con el fin de mejorar la calidad normativa y legislativa.

En el caso estadounidense hay un elemento importante añadido al esfuerzo gubernamental por implementar la evaluación como parte integrante de los procesos de diseño y ejecución de políticas públicas y es el papel de la sociedad civil y los denominados think tanks. En el mundo anglosajón, además de una sociedad civil fuertemente articulada, existe una cultura de la evaluación muy arraigada en la que los think tanks tienen un papel muy relevante ya que son – en principio – entidades independientes que aúnan los enfoques académico y pragmático.

¿Podemos decir lo mismo en el caso de España? Mucho nos tememos que no es así.

En primer lugar veamos quién tiene la responsabilidad de evaluar las políticas públicas en España. En 2006 se creó la AEVAL (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios), responsable de evaluar las políticas públicas y la calidad de los servicios de la Administración General del Estado, y de aquellas Comunidades Autónomas que así lo decidiesen mediante la firma de un convenio. En la exposición de motivos de la Ley 28/2006 mediante la cual se creó la AEVAL se declara que un aspecto capital que se incorpora a la gestión de servicios públicos a través de las Agencias Estatales es la profundización en una nueva cultura de gestión que ha de apoyarse en el cumplimiento de objetivos claros, medibles y orientados hacia la mejora en la prestación del servicio, con las consiguientes ventajas para los usuarios y para los contribuyentes.

Aunque el legislador español ha reconocido la necesidad de mejorar la gestión pública a través de la creación de objetivos claros y medibles y de juzgar su cumplimiento, la falta de independencia de la AEVAL del poder ejecutivo restringe seriamente su papel evaluador. Tal y como se recoge en los estatutos de la AEVAL, sus órganos directivos (Presidente y Consejo Rector) son designados por el Consejo de Ministros y su personal es dependiente del Ministerio de Hacienda y Administraciones Públicas. ¿Es posible que un organismo cuya dirección es nombrada directamente por el mismo poder ejecutivo que diseña y pone en marcha las políticas públicas a nivel estatal las evalúe de forma independiente y con rigor? Ciertamente nos parece muy difícil. Para evitar esta dependencia organismos como la Unión Europea convocan periódicamente concursos públicos abiertos en régimen de concurrencia competitiva para que instituciones independientes lleven a cabo la evaluación de sus políticas públicas. Esto por no mencionar el número y tipo de evaluaciones que realiza, que darían para un post nuevo y hasta para un libro. Sólo les sugerimos que revisen las evaluaciones publicadas (las últimas de 2011) y vean el Plan anual 2013, donde se le encomienda para este año evaluar 5 temas, entre ellos uno de los más interesantes la evaluación de la calidad de los servicios prestados por los Centros de Vacunación Internacional.

En segundo lugar vamos a ponerles un ejemplo del tipo de evaluaciones se realizan en España para los grandes planes de actuación que muestra el déficit de nuestro país en materia de evaluación de políticas públicas. Se trata de la evaluación del denominado Plan Avanza. Este plan, lanzado en 2005, cuya finalidad era impulsar el desarrollo de la Sociedad de la Información y del Conocimiento en España, supuso una dedicación presupuestaria en su primera fase (2005-2008) de 5.076 millones de euros. En el primer año de su segunda fase (2009) el presupuesto ascendió a 1.516 millones de euros. Pues bien, ante cifras tan destacadas, la única evaluación disponible es una serie de presentaciones descriptivas del reparto del presupuesto ejecutado en el marco del plan. Y es que nuestros políticos confunden evaluar con describir, y eso siendo muy optimistas. Pero dado que en España no es ni remotamente posible acceder a información completa, relevante y veraz de lo que sucede y de cómo se gasta nuestro dinero, no es de extrañar que la evaluación esté lejísimos de las prioridades de nuestros gobernantes, que se limitan a realizar someras descripciones de la ejecución de sus políticas. Y esto es especialmente grave en un momento de políticas de contracción del gasto y aumento de los impuestos, y de cambios regulatorios muy relevantes, ya que no tenemos ni la más remota idea de los efectos reales de estas reformas, no sabemos si están alcanzando los objetivos para los que fueron diseñadas, si hay alternativas mejores o cómo podrían mejorarse.

En la era del conocimiento los políticos tomas decisiones guiados por la ideología en el mejor de los casos o por el interés personal en el peor de ellos. O si no pongamos como último ejemplo el misterioso informe previo de evaluación sobre la privatización de la sanidad madrileña –sobre este tema les recomendamos este artículo de 2012 -. Todos los madrileños estamos deseando leerlo y si verdaderamente es tan clarificador, ¿no ayudaría a que los ciudadanos apoyasen la medida? ¿O es que no somos los ciudadanos lo suficientemente inteligentes como para discernir, ante datos objetivos y claros, lo que es mejor para nosotros?

16 comentarios
  1. Juan
    Juan Dice:

    La evaluación de las políticas públicas siempre ha sido una asignatura pendiente en España. Hemos superado la evaluación basada únicamente en el gasto, pero poco más. Nunca se realizan evaluaciones con rigor. La AEVAL ha dilapidado rápidamente las expectativas. ¿Dónde está la evaluación del Plan E? ¿O de los programas de subvenciones que se reparten en todas las áreas? Como comenta el post, es difícil tomar buenas decisiones si no se sabe lo que ha funcionado o no, y por qué.
    Al menos lo que si parece que se ha mejorado, es que antes de lanzar cualquier programa, se realiza el benchmarking internacional. A priori el trabajo ha mejorado. A posteriori, parece que se prefiere no sabe nada, o no poner nada por escrito. Gracias por el post.

    • Juan Pablo Villar
      Juan Pablo Villar Dice:

      Gracias por el comentario Juan.
      Efectivamente, la AEVAL se ha convertido en un caso paradigmático de esa falta de cultura de la evaluación de nuestro país. La elegimos como claro ejemplo de una institución que desde su constitución no ha hecho honor a su nombre, fundamentalmente por su falta de independencia. Y así nos va, dilapidando dinero público en programas que nunca sabremos si han cumplido los objetivos previstos…
      Es cierto que parece existir una incipiente tendencia a realizar evaluaciones ex-ante, aunque creo que es más por obligaciones externas (por ejemplo en la gestión de fondos europeos, en la que tienes que justificar a priori el problema que pretendes resolver) que por propio convencimiento de los gestores públicos.

  2. Antonia Fuentes Moreno
    Antonia Fuentes Moreno Dice:

    Excelente pots y que tendrían que leer nuestros legisladores antes de aprobar la Ley de Transparencia ya que esta norma debería incluir un titulo con “evaluación de políticas públicas”. Votamos y hasta dentro de cuatro años no volvemos a participar en la actividad política.

    La rendición de cuentas es un elemento absolutamente necesario para saber si el programa electoral con el que se presentan los partidos políticos ha sido ejecutado y en que grado una vez que han llegado al gobierno.

    Es absolutamente imprescindible que el órgano evaluador sea INDEPENDIENTE, no vale “yo me lo guiso yo me lo como”. Muchas veces vemos como se encarga la evaluación a órganos gubernamentales. ¿Como se soluciona esa bicefália? ¿Ahora me pongo el gorro de evaluador ahora me pongo el gorro de administración?

    Me recuerda la leyenda del hombre lobo, hombre de día, lobo cazador por la noche….que pena que no estemos en Paris

    • Juan Pablo Villar
      Juan Pablo Villar Dice:

      Pues sí Antonia, la transparencia sin rendición de cuentas a través de procesos de evaluación de las políticas que se ponen en marcha es totalmente irrelevante. Sería necesario que los gestores públicos pusieran a disposición de la sociedad civil los conjuntos de datos que permitieran realizar las evaluaciones de forma independiente. Sin embargo, aún queda mucho para esto, a pesar de la corriente de apertura de datos que parece recorrer nuestra Administración…

  3. Fernando Gomá Lanzón
    Fernando Gomá Lanzón Dice:

    Gracias a los dos y bienvenidos a este blog, pequeño think tank hispano. La palabra clave en este post, como en el ¡Ay, Derecho! de este mismo día, es la siguiente: independencia. En el análisis de las políticas públicas o en la composición del CGPJ. NADA escapa al control de los partidos, y en España se estima incluso que es antidemocrático o hasta “peligroso” y atentatorio contra la soberanía nacional el que se pongan límites, cortapisas, escrutinios, a lo que se hace con nuestro dinero.

    Un organismo independiente no es que no se quiera, es que directamente no son capaces de concebir su existencia, porque estiman que si no está a su servicio, entonces estará al servicio de otro poder cualquiera. Porque no se puede admitir que haya personas que vayan a hacer lo que su conciencia y profesionalidad les dicte. Eso queda para esos raros anglosajones…

    • Carlota Tarín
      Carlota Tarín Dice:

      Bueno, a este respecto me gustaría en primer lugar distinguir entre las dos labores de AEVAL, la de evaluar políticas y la de supervisar la calidad de los servicios públicos, que no son exactamente lo mismo. Esta iniciativa que mencionas está en el segundo grupo, donde parace que la AEVAL ha sido un poquito más activa que en la primera, lo que no es decir mucho. AEVAL ha desarrollado un sistema de calidad para el sector público basado en el EFQP en que llava años certificando a distintas organizaciones de nuetras AAPP. De hecho la Comisión lo ha analizado como una iniciativa innovadora (er: http://ec.europa.eu/enterprise/policies/innovation/files/psi-studies/psi-case-study-aeval-spain_en.pdf)… Qué cosas! Para no extenderme basta decir que esto sería algo como obtener un certificado de calidad ISO 9001, vamos, que sólo sirve para colgarlo en la pared porque de la calidad real de los servicios no dice absolutamente nada.

  4. Luis Villameriel
    Luis Villameriel Dice:

    Tras leer el post veo que sus autores trabajan en una firma privada de consultoría, ante lo cual admito dicho post como un puro alegato de parte, dado que es usual recusar a los jueces por tener “interés manifiesto” pero no a los abogados.
    Dicho esto, postular que la evaluación de las políticas públicas deben hacerla firmas privadas de auditoría o consultoría porque la administración pública no sabe, o no puede, o no quiere hacerla, pues es una afirmación en primer lugar no demostrada, y en segundo lugar interesada. Lo de interesada no lo digo en plan peyorativo, sino descriptivo. Desde el sector privado (y más en épocas de crisis) se analizan con lupa todas las partidas del presupuesto público para detectar cuáles de ellas pueden terminar en el sector privado. Para justificar el trasvase se hace también un poco de ideología, que la contabilidad sin algo de ideología queda como muy descarnada.
    Todo esto responde a la lógica del mercado, pero me gustaría consumir un turno en defensa de lo público.
    La creación de la AEVAL fue una buena iniciativa. Podemos discutir si actualmente cumple bien o no su misión, pero no puede afirmarse que la administración tenga capacidad para diseñar sus políticas públicas pero no tenga capacidad para auditarlas. ¿Por qué?
    La explicación de los autores es que la AEVAL “depende” del Gobierno, y que al carecer de “independencia” carece de eficacia, o de credibilidad. El mantra de la independencia es eso, un mantra, pero nada más. La Intervención General del Estado funciona en general muy bien, y por supuesto que depende del Gobierno, que nombra y cesa a su director. Si les parece sacamos a concurso la función interventora, y la asistencia jurídica al Estado, y la función consular, y ya puestos la defensa nacional, que el Estado Mayor no es independiente del Gobierno.
    También critican los autores que el personal de la AEVAL es dependiente del Ministerio. Claro, como todos los funcionarios públicos, que no son independientes. Pero tampoco son independientes, que yo sepa, los empleados de las firmas privadas, que suelen obedecer a su Consejo de Administración.
    Finalmente, un poco de autocrítica en el sector privado y su pretendida eficacia y eficiencia evaluadora no iría tampoco mal. No me extenderé sobre las críticas que han recibido las agencias de calificación de riesgos, y tampoco hace falta recordar que la mitad de nuestro sistema financiero se ha hundido con un ladrillo al cuello sin que quienes lo auditaban señalaran nada raro horas antes del hundimiento.

    Saludos.

    • Juan
      Juan Dice:

      Estimado Luis, creo que tergiversas bastante la interpretación de la palabra independencia. Por empezar por lo sencillo, la afirmación de que los funcionarios no son independientes no la he leido en el post. Se entiende que los “privliegios” que se obtienen al acceder a una posición de funcionario (estabilidad en el empleo), los concede la sociedad justamente para garantizar que esos funcionarios sean independientes del poder político. Con lo cual, el planteamiento que haces creo que tergiversa el sentido del post.
      Sobre el nombramiento del director de la AEVAL, si quieres evaluar una política, y quieres poder decir que los resultados han sido malos, el nombramiento tiene que cumplir ciertos requisitos. Obviamente a cualquier cargo público de alto nivel de este tipo, al final lo nombra el gobierno o el ministerio. Pero para unos se busca una persona de solvencia y prestigio que avale los resultados de ese organismos, y para otro se busca una persona que no digan nada inconveniente. El gobernador del banco de españa lo nombra el gobierno (el rey a propuesta del presidente del gobierno), como en todos los países. Pero en unos hacen un concurso para conseguir alguien de prestigio, y en otros nombran según afinidades y amistades. Esa es la diferencia. Todavía estamos esperando que la AEVAL diga algo inconveniente en una evaluación, con lo cual se podría deducir que la elección de su director se hace no en función de su valía, sino en función de su no independencia.
      El que la evaluación sea privada, obviamente no es garantía de nada. La Unión Europea lo hace de forma que lo que se juega la empresa es su prestigio, porque los informes son públicos, y la gente puede leer y comprobar si es o no independiente.
      Si el organismos es público, le tienes que otorgar independencia, validada por el nombramiento de sus cargos directivos, los medios para trabajar, que hagan que cumplan su labor con solvencia, y rendición de cuentas, de forma que si su trabajo es malo, se les destituya. Sin estos tres principios no hay independencia. Ninguno de ellos aplica a la AEVAL.
      Como comentas la intervención del estado FUNCIONABA muy bien. El uso del tiempo presente es más dudoso a la vista de los casos de corrupción que asolan este país, que seguro han pasado por la mesa de los interventores. Y en efecto, su buen funcionamiento se basaba en que el interventor era independiente, y no presionable por el poder político.
      La demagogia con la independencia nos llevará a decir que el nombramiento del CGPJ tampoco es para tanto, porque aunque los elige el gobierno, los jueces son muy independientes. Como el director de la AEVAL. Igualito.
      Me parece particularmente grave la comparación con el consejo de administración de una empresa. Un empleado de una empresa pública se debe a su empresa. Un funcionario no se debe a su ministro, ni al consejo de ministros. Esa demagogia tergiversa la misión de la función púbica.

    • Carlota Tarín
      Carlota Tarín Dice:

      Gracias Luis por tu comentario. Creo que no hemos debido de expresarnos muy bien porque en ningún momento hemos dicho que la evaluación deba hacerla una empresa privada, de hecho hemos dicho que debe ser una institución independiente. En el mundo anglosajón es común que las evaluaciones las realicen organizaciones de la sociedad civil sin ánimo de lucro o instituciones académicas, que pueden ser universidades públicas, por ejemplo. De hecho nos gustaría preparar otro post sobre los llamados Think Tanks y su posible papel en este tema (para más adelante). Este organismo también podría ser un organismo de la administración pero, y lamentamos insistir en el “mantra”, independiente. Y es que nosotros aún nos creemos mantras como “división de poderes”. Y respecto al sector privado, existen en él excelentes profesionales que creemos que podrían hacer un gran trabajo, por supuesto, faltaría más, pero no era el mensaje principal del post.

  5. Elisa de la Nuez Sánchez-Cascado
    Elisa de la Nuez Sánchez-Cascado Dice:

    gracias por el post y bienvenidos al blog con un tema muy interesante y que tratamos por primera vez pero no por última..Yo creo que la pena es que la AEVAL se ha convertido en un organismo totalmente irrelevante al menos desde el punto de vista de los ciudadanos. Parece que ha centrado sus esfuerzos en difundir la buena nueva entre los propios organismos y funcionarios afectados y en cambio ha olvidado hacer una evaluacion seria de políticas públicas(tanto normativas como no normativas) sensibles para los Poderes Públicos por motivos que desconozco pero que me temo tienen que ver con su posición dentro de la AGE. En cuanto al premio a la Inspección del CGPJ del que habla jurista parece una tomadura de pelo, más que nada porque o esa inspección es muy paquete o el TS es muy corporativista, porque tumba todas las sanciones a Jueces. A lo mejor las dos cosas son ciertas. En fin, en todo caso es un premio que resulta muy sorprendente desde el punto de vista de los ciudadanos y demuestra una vez más el problema de excesiva endogamia, falta de independencia y algo peor, falta de sentido de la realidad.

    • Próspero
      Próspero Dice:

      Un pequeño matiz. El premio a la Inspección del CGPJ no “parece” sino que es una brutal tomadura de pelo, pero no porque el TS tumbe muchas sanciones (la Inspección no instruye ni decide los expedientes sancionadores) sino porque sus integrantes, que deberían ser -me parece a mí- magistrados reconocidos y de gran experiencia, son usualmente todo lo contrario, inexpertos y bisoños en la aplicación del Derecho, pero hábiles en el noble arte de no volver a poner una sentencia en su vida. Como es natural, son elegidos por libérrima designación. Por cierto, la actual Jefa de la Inspección también es “cónyuge de”. La “famiglia” ante todo.

  6. Elisa de la Nuez Sánchez-Cascado
    Elisa de la Nuez Sánchez-Cascado Dice:

    Nos indican (Luis Villameriel) que se han perdido algunos comentarios a este post por el problema que tuvimos el lunes con el servidor. Nuestras disculpas porque el debate era muy interesante, pero no se preocupen que sobre políticas públicas seguiremos hablando y habrá ocasión de comentar y comentar..

Los comentarios están desactivados.