qConocimiento

Conocimiento de gestión aplicado

EVAM (Evaluación, Aprendizaje y Mejora en la Administración Pública)

Por AEVAL Departamento de Calidad en los Servicios Edición: 2

¿Qué es?

Es una herramienta para el diagnóstico organizacional de una Administración Pública. Supone un examen global, sistemático y regular de las actividades y los resultados de una organización comparados con un modelo de excelencia.

El Modelo EVAM constituye una metodología propia de la Agencia de Evaluación y Calidad desarrollada en base a las experiencias acumuladas en procesos de autoevaluación y Modelos de referencia aplicados en la Administración Pública (EFQM, CAF, ISO, etc.).

La aplicación del Modelo EVAM puede realizarse en cualquier organización pública, en especial en los periodos iniciales de desarrollo de un sistema de calidad.

¿Para qué sirve?

Permite realizar un diagnóstico organizacional (puntos fuertes, áreas de mejora, etc.) y además asociar actuaciones concretas para favorecer la mejora continua y valorar la madurez organizativa para planificar las líneas de actuación futuras teniendo en cuenta los distintos grados de madurez de las organizaciones.

  • Promover el proceso de autoevaluación en la organizaciones de las administraciones Públicas
  • Facilitar su incorporación gradual al proceso de evaluación externa
  • Disponer de un instrumento inicial de evaluación para favorecer los primeros pasos en la mejora y el camino a la Excelencia
  • Suministrar a estas organizaciones las metodologías y acciones a seguir que permitan el avance en la mejora de la gestión
  • Realizar, en su caso, una evaluación externa de las organizaciones

Explicación

La autoevaluación debe formar parte del sistema de gestión de las organizaciones públicas, ya que constituye una herramienta vital para la mejora continua de sus servicios y, para hacer ésta posible, es preciso conocer la situación de las unidades que los prestan.

"... la autoevaluación conforme a modelos de excelencia presenta dificultades para las organizaciones de la administración pública, ya que se trata de herramientas complejas para cuya utilización práctica están poco habituadas, conceptual y metodológicamente, por lo que se considera conveniente contar con modelos más adaptados y sencillos ..." (ref. Foro de Expertos, Cedett 2007) . En este contexto se sitúa el Modelo de Evaluación, Aprendizaje y Mejora (EVAM).

MATERIAL DEL MODELO EVAM

El material publicado del EVAM esta disponible en https://www.mptfp.gob.es/portal/funcionpublica/gobernanza-publica/calidad.html y consta de:

1.- Una GUÍA que incluye la estructura del Modelo EVAM, la descripción del proceso y la metodología para la evaluación, así como la propuesta de actividades asociadas para favorecer el desarrollo de los diversos aspectos que componen el Modelo EVAM

2.- Un CUESTIONARIO DE AUTOEVALUACIÓN - EVALUACIÓN, para ser utilizado durante la evaluación con el Modelo EVAM.

3.- Un DOCUMENTO MARCO DE ACTUACIÓN, que recoge el orden lógico de los pasos que debiera seguir una organización para la implantación del Modelo EVAM.

4.- Un conjunto de MANUALES DE ACTUACIÓN, documentos de carácter breve y práctico que guiarán a la organización en el desarrollo de las recomendaciones de algunas actividades en función de los resultados obtenidos en la evaluación.

ESTRUCTURA DEL MODELO EVAM:

El Modelo EVAM se ha estructurado para ser utilizado en la evaluación de los aspectos de gestión y los resultados de una organización conforme al siguiente esquema:

1.– EJES: Son los factores críticos básicos en el funcionamiento de una organización.

Contempla cinco ejes principales (planificación, procesos, personas, alianzas/recursos y resultados) y uno transversal (comunicación interna).

2.– ASPECTOS DE EVALUACIÓN: Son 16 subdivisiones contenidas en cada uno de los ejes que a su vez se evalúan mediante el uso de cuestiones a analizar.

3.– CUESTIONES: 34 propuestas orientativas de evidencias a analizar durante la evaluación, contenidas en un cuestionario de evaluación, herramienta utilizada durante la autoevaluación.

El Modelo EVAM incluye, asimismo unas recomendaciones, consistentes en propuestas de actividades concretas asociadas para favorecer el desarrollo de las diversos aspectos que componen el Modelo EVAM, cuya formulación resulta de gran utilidad, tanto para la evaluación como para la fase de mejora.

APLICACIÓN DEL MODELO EVAM A LA EVALUACIÓN DE ORGANIZACIONES PÚBLICAS

El proceso de evaluación se realiza mediante cuestionario, cumplimentado por el equipo de evaluación, que estará integrado por personal de la organización asistido por órganos externos o por miembros del personal propio especializados en materia de calidad (inspectores de servicios, responsables de calidad, en su caso, etc.)

Se ha previsto la aplicación del Modelo EVAM de forma gradual para organizaciones que no han tenido un contacto previo con el mundo de la calidad. Dado que algunos aspectos, pueden resultar difíciles de evaluar en organizaciones con pocos datos de medición de resultados o con escaso grado de madurez organizativa.

Se podrían citar las siguientes etapas:

1.-Sensibilización del personal sobre el papel de la Administración Pública como servicio a los ciudadanos y la sociedad. Formación en gestión de calidad e información de la necesidad de conocer las percepciones de los usuarios de sus servicios, de las personas que integran la organización y de la sociedad en general, los indicadores internos de medición y seguimiento, etc.

2.-Compromiso y liderazgo de los responsables de cada organización contando con una implicación visible de los directivos de la organización y un liderazgo efectivo para la autoevaluación y la mejora continua.

3.- Generar un equipo facilitador del proceso, integrado por personal de órganos externos a la organización o por miembros del personal propio especializados en materia de calidad (inspectores de servicios, responsables de calidad, en su caso, etc.) designados por su equipo directivo

4.- Constitución y formación del equipo de evaluación al que han de incorporarse siempre algunos directivos de la organización. Designar coordinador/a. Recibir formación en EVAM.

5.- Aproximación a la auto evaluación: Para cada uno de los Ejes de evaluación se evaluarán las Cuestiones básicas del “Cuestionario de Aproximación a la Evaluación”. El hecho de contestar negativamente a la mayoría de las cuestiones de esta Aproximación a la evaluación implicará que no se evalúe, por el momento, a la organización conforme a la siguiente etapa. En este caso el equipo de evaluación dará a la organización recomendaciones para la mejora de los Ejes correspondientes. Esta primera aproximación orienta y prepara a la organización en los temas que se van a analizar posteriormente.

6.- Preparación a la auto evaluación: diseñar el esquema a seguir en el proceso y recopilar la información necesaria para agilizar la auto evaluación.

7.- Auto evaluación con el Modelo EVAM: el equipo de evaluación deberá recabar de la organización las evidencias necesarias conforme al esquema definido en el cuestionario de evaluación en cada uno de los Ejes de evaluación conforme a la estructura recogida en el “Cuestionario de Evaluación”.

Además, para cada una de las cuestiones, se asignará una puntuación, según las pautas contenidas en el propio Cuestionario (esquema de puntuación EVAMED).

Finalmente el equipo de evaluación consensuará y presentará a la organización un informe de evaluación que contenga:

• Puntuación de resultados alcanzados (diagnóstico de situación) por la organización para cada uno de los Ejes de evaluación.

• Áreas de Mejora y Puntos Fuertes detectados.

• En función de los resultados obtenidos en la evaluación, el equipo evaluador realizará recomendaciones a desarrollar por la organización para garantizar la mejora de los resultados obtenidos (Documento Marco y Manuales de Actuación).

8.- En función de los resultados obtenidos tras la evaluación, cuando no se han aportado evidencias en el cuestionario se proponen, en los Manuales de Actuación, los pasos a seguir estructurados en tres etapas para que las organizaciones inicien sus actuaciones de mejora de forma secuencial y organizada. Las tres etapas pueden ser:

8.1. ETAPA INICIAL

Incluye las primeras actuaciones a abordar, cuya responsabilidad corresponde a los directivos/responsables de la organización. Estas primeras actividades están alineadas con el eje “Política, planificación y estrategia a través del liderazgo” del Modelo EVAM.

8.2. ETAPA INTERMEDIA

En la etapa intermedia se pueden articular las acciones a llevar a cabo por la organización en relación con:

• La gestión de sus procesos.

• La gestión de sus recursos, tanto materiales como personales.

8.3. ETAPA FINAL

En la etapa final se pueden presentar diversas actuaciones a realizar simultáneamente con el fin de:

• Implicar a las personas de la organización a través de la comunicación.

• Identificar y gestionar otros grupos de interés para proporcionar un valor añadido a la organización: alianzas.

• Articular el enfoque a resultados y la mejora continua a través del establecimiento de mediciones.

También se puede utilizar la matriz de prioridades de mejora incluida en la Guía EVAM, así como los formatos de seguimiento de las mismas.

CERTIFICACIÓN DE ORGANIZACIONES EVALUADAS CON EL MODELO EVAM

En el marco general para la mejora de la calidad en la Administración General del Estado se regula el reconocimiento a la excelencia, consistente en la certificación, por parte de la Dirección General de Gobernanza Pública, de las organizaciones que hayan realizado su correspondiente autoevaluación conforme a modelos de gestión de calidad reconocidos, y la concesión de un sello, según el nivel de excelencia comprobado.

Existe una Guía que orienta a las organizaciones públicas que solicitan la certificación de su nivel de excelencia y la emisión de un Sello basado en el Modelo EVAM, después de obtener una puntuación igual o superior a 200 puntos en una Autoevaluación con el Modelo EVAM.

BIBLIOGRAFÍA

-Ruiz, J. et alt. (2006); Guía de Autoevaluación para la Administración Pública. Modelo EFQM de Excelencia. Ministerio de Administraciones Públicas, Madrid. 

-Ruiz, J. (2005): Adaptación del Modelo Iberoamericano a la Administración Pública, X Congreso Internacional del CLAD, Santiago de Chile, 2005. Ruiz, J. et alt. (2006); Guía de Evaluación. Modelo EVAMP ® P; Ministerio de Administraciones Públicas, Madrid. 

-Jiménez, M. J.; Casals E.; Ruiz, J. (2007); CAF, El Marco Común de Evaluación. Ministerio de Administraciones Públicas, Madrid. 

-Hidalgo, C.; Jiménez, M. J.; Ruiz, J. (2006); Guía de Reconocimiento a la Excelencia. Ministerio de Administraciones Públicas, Madrid. 

Si quiere conocer otros conceptos de gestión, puede acceder a la plataforma abierta y gratuita http://sugestion.quned.es/ que es un proyecto de Responsabilidad Social Intelectual de la Cátedra de Calidad de la Universidad Nacional de Educación a Distancia (UNED).

Ejemplos prácticos

Se pueden ver algunos formatos de trabajo propios del modelo EVAM

- Ejemplo de aplicación del modelo EVAM a la Tesorería del Ayuntamiento de Santiago de Compostela

http://cv.inap.es/web/banco-practicas-gobiernos-locales/areas-de-gestion

- Página Web donde aparecen las organizaciones públicas españolas que han recibido la certificación del nivel de excelencia con el Modelo EVAM después de aplicarlo:

https://funcionpublica.hacienda.gob.es/gobernanza-publica/calidad/reconocimiento/certificaciones/organizaciones.html

-Ejemplo de buena práctica de reforma organizativa, tras EVAM, en Ayuntamiento de Candelaria

http://femp.femp.es/files/120-151-CampoFichero/BP%20Ayuntamiento%20de%20Candelaria.pdf 

-Ejemplo de guía de autoevaluación EVAM (ref. Dirección General de Gobernanza Pública, 2019)

https://funcionpublica.hacienda.gob.es/dam/es/portalsefp/gobernanza-publica/calidad/Metodolog-as-y-Guias/Guia_EVAM_2019_v_1_0.pdf.pdf

Aplicaciones y soportes frecuentes

REDERAlgunas AplicacionesAlgunos Soportes Observables
REstablecimiento de objetivos a conseguir (ej. mejoras, diagnóstico, certificación, implicación de personas, plazos,…)Plan de Acción de la Organización
EOrganizar el calendario de actividades y generar un equipo facilitador del procesoModelo y guía EVAM, cronograma de trabajo, ficha del equipo evaluador
DEvaluar las cuestiones básicas de funcionamientoCuestionario de Aproximación a la Evaluación
Evaluación en cada uno de los Ejes del EVAMCuestionario de Evaluación, tabla de puntuación
EAnálisis de resultados, puntos fuertes y áreas de mejora, recomendaciones a desarrollarInforme de la evaluación, documento Marco y Manuales de Actuación
RRealización de mejoras identificadasPlan de mejora, registros de equipos de mejora

Cuestiones clave para autoevaluar Puede valorar la idoneidad de su práctica (máxima = 100)

¿Los responsables de la organización conocen el modelo EVAM, su utilidad y beneficios?
¿Existe un claro compromiso y liderazgo de los responsables de la organización?
¿Se ha realizado la sensibilización y formación necesaria a las personas de la organización?
¿Se ha llevado a cabo la formación específica a los miembros del equipo evaluador?
¿Se dispone de todas las cuestiones básicas señaladas en el “Cuestionario de Aproximación a la Evaluación”?
¿Se han recabado las evidencias necesarias conforme al esquema definido en el cuestionario de evaluación en cada uno de los Ejes del EVAM?
¿Se han identificado claramente los resultados alcanzados, puntos fuertes y áreas de mejora en cada uno de los Ejes del EVAM?
¿Se han realizado recomendaciones oportunas a desarrollar relacionadas con el Documento Marco y los Manuales de Actuación?
¿Se ha obtenido una puntuación acorde con el nivel de madurez en la gestión de la Organización?
¿Se han puesto en marcha acciones de mejora como consecuencia del análisis del informe de recomendaciones?

Información adicional del autor

Autor: AEVAL Departamento de Calidad en los ServiciosCargo:
Empresa/organización: Agencia de Evaluación y Calidad
Actividad: Calidad en la Administración PúblicaContacto: www.aeval.es