Download Sin título de diapositiva

Curso Internacional
Políticas presupuestarias y gestión por resultados:
Santiago de Chile
20 de Noviembre al 1 de Diciembre 2006
Evaluación de Resultados:
Metodologías
Marianela Armijo
Consultora
Área de Políticas Presupuestarias y Gestión
Pública
ILPES/CEPAL
Marianela.armijo@cepal.org
1
EVALUACION GUBERNAMENTAL EX POST
DISEÑO Y FORMULACIÓN DE
POLÍTICAS Y PROGRAMAS
POLITICAS, PROGRAMAS
EVALUACION
TOMA DE
DECISIONES
DESEMPEÑO, GESTION
EJECUCIÓN E IMPLEMENTACIÓN
2
EVALUACION Y GESTION POR
RESULTADOS
TIPO DE ACCION
GUBERNAMENTAL
QUE SE EVALUA
METODOLOGIA
Estrategias Nacionales
Metas nacionales
Proceso Político
Ciudadanía, Encuestas,
Escrutinio Público
Políticas
Metas sectoriales
Comités Científicos de
Evaluación, Paneles de
Expertos
Operativa-Instituciones
Cumplimiento de
metas de gestión y
resultados finales
Indicadores de
Eficiencia, Eficacia,
Calidad, Economía
Sistema de Indicadores de
Desempeño
Programas
Resultados,
gestión, impacto
Marco Lógico
Evaluación de Impacto
Inversiones
Rentabilidad Social
Costo-Beneficio
Evaluación costo-beneficio
3
ex-ante
Cuadro de Mando Integral
TIPOS DE EVALUACIONES
Evaluaciones de Programas Gubernamentales (EPG)




Evaluación de consistencia en diseño, gestión y resultados
Basado en la metodología de marco lógico
Realizadas por paneles de 3 expertos independientes, seleccionados por
concurso público
Informe Final en 6 meses
Evaluación de Impacto (EI)




Evaluación de los resultados finales de programas en base a mediciones
de impacto
Metodología considera recolección de datos, técnicas de medición más
sofisticadas (“Matching”, LATE), grupos de control
Realizadas por consultoras privadas, universidades, seleccionadas a través
de licitación pública
Informe Final en 1-1/2 años
Evaluación Comprehensiva del Gasto (ECG)


Evaluación del diseño y gestión institucional y resultados y uso de
recursos en la provisión de los productos estratégicos.
Se evalúa la posible existencia de duplicidades, inconsistencias,
oportunidades para generar sinergías y ahorros
4
EVALUACION DE PROGRAMAS
OBJETIVOS DE LA EVALUACION
METODOLOGIA
USO DE LA EVALUACION Y
CONSECUENCIAS PARA EL
PRESUPUESTO
5
OBJETIVOS DE LA EVALUACION
Apoyar la gestión, el análisis y toma de decisiones de
asignación de recursos públicos.
Mejorar la gestión a través del aprendizaje institucional de los
administradores o encargados de implementar las políticas y
programas
Generar aprendizajes derivados del desarrollo de la evaluación
y análisis de los resultados, contribuyendo así al objetivo de
eficiencia operacional del sistema presupuestario.
Contribuir a la transparencia y accountability o rendición de
cuentas.
6
Ambitos de la evaluación
Justificación del Programa
Diseño.
Organización y Gestión..
Resultados: Eficacia, Eficiencia, Economia,
Calidad
Sostenibilidad/Continuidad.
Conclusiones y Recomendaciones.
7
8
Metodología: Marco Lógico
9
USO DE LA EVALUACION DE PROGRAMAS
RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS
FONDO DE PROMOCIÓN DE EXPORTACIONES (FPE) – PROCHILE
(evaluación año 2002)
DESCRIPCIÓN
El FPE financia proyectos y actividades de promoción de exportaciones que permiten aumentar y
diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en
Chile, además de promover el desarrollo exportador de las regiones y ampliar las oportunidades
de exportación de las pequeñas y medianas empresas.
RESULTADOS Y EFECTOS
El FPE ha ha beneficiado a más de 2.500 empresas en el período 1996-2001 a través del
cofinanciamiento de proyectos de promoción de exportaciones.
La evaluación no muestra resultados significativos del programa sobre el volumen de
exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo
de control.
Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para el año 2004,
incluyéndose también una reestructuración de las partidas presupuestarias y la elaboración de
compromisos en materia de gestión interna para asegurar un mejor desempeño.
10
UTILIZACION DE LA EVALUACION DE PROGRAMAS EN EL
PRESUPUESTO Y EN EL MEJORAMIENTO DE LOS PROGRAMAS
11
12
Costo de la evaluación
13
Evaluación Comprehensiva del
Gasto
Objetivos
Evaluar el diseño institucional, la gestión de los
procesos claves, y los resultados y uso de recursos
en la provisión de los productos estratégicos (bienes
y servicios).
Utiliza como información base las prioridades
gubernamentales, las definiciones estratégicas
institucionales,
las
estadísticas
de
los
beneficiarios/usuarios/clientes respecto de cada uno
de los productos estratégicos, los indicadores que
dan cuenta del desempeño de éstos, y los gastos
asociados a la provisión de dichos productos.
.
15
Modelo de Evaluación Comprehensiva
del Gasto
Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia
Chilena. 2005
16
EVALUACION DE IMPACTO
ESTRUCTURA DE LA EVALUACION DE
IMPACTO: CASO CHILE
INTEGRAN LA EVALUACION DE LOS
RESULTADOS DE CORTO, MEDIANO Y
LARGO PLAZO DE LOS PROGRAMAS
(EFICACIA), CON LOS PRINCIPALES
ASPECTOS DE EFICIENCIA Y
ECONOMIA EN EL USO DE LOS
RECURSOS.
18
PREGUNTAS QUE SE HACE LA
EVALUACION DE IMPACTO
Efectos de mediano y largo plazo sobre la población beneficiaria
que espera obtener el Programa
¿Cuáles serán los beneficios con que quedará la población
beneficiaria una vez que concluya su participación en el
programa?



Incremento en el nivel de remuneraciones
Reducción de la tasa de morbilidad de menores
beneficiados con un programa de vacunación
Aumento del rendimiento escolar de los alumnos
participante en un programa de reforzamiento educativo
19
OBJETIVOS
Conocer si el programa produjo los efectos
deseados en los beneficiarios.
Conocer si los cambios observados en los
beneficiarios, pueden asociarse a los efectos
del programa (causalidad).
¿Cómo debiera mejorarse el programa para
maximizar sus beneficios en las variables de
impacto?
20
METODOLOGIAS
Diseño experimental tradicional y
aleatorio
Método de doble diferencias
Métodos de comparaciones
Pareadas (matching)
Selección de modelos ( variables
instrumentales)
Evaluaciones cualitativas
21
METODOLOGIAS
Requiere de la aplicación de técnicas, que
permitan conocer lo que habría ocurrido en
caso de que el programa no se hubiese
puesto en marcha.
Identificar las VARIABLES QUE DEBEN SER
MEDIDAS para determinar si el Programa ha
generado realmente los beneficios o
resultados finales o impacto esperados
22
El impacto del programa es:
La diferencia en la variable resultado (Y) que
registra el individuo (i) con y sin la intervención
del programa
αi = Y1i − Yoi
αi
es el impacto del programa (tratamiento) sobre la persona i,
Yoi es resultado potencial que registraría el individuo i sin el
tratamiento,
Y1i es el resultado potencial que registraría el individuo i con el
tratamiento.
23
Problema fundamental de
identificación
No es posible observar Yoi e Y1i, para
un mismo individuo en un momento del
tiempo.
Un individuo i en un momento del
tiempo puede presentar solo uno de los
dos estados posibles:


Intervención en el programa
No intervención en el programa
24
Problemas metodológicos de la medición
Medir el impacto esperado o promedio del programa
sobre el conjunto de los individuos.
Sesgo de selección: Selección de los individuos que
participan en el programa responde a ciertos criterios
de focalización u otros. Programa de Capacitación,
Ingresos beneficiarios menores antes de la
capacitación. En ausencia del Programa los ingresos
potenciales de los beneficiarios serán menores a los
de los no beneficiarios en el mismo período
25
METODOLOGIAS
Se requiere disponer de información para el
llamado grupo de control o de comparación.
Estos grupos deben seleccionarse de manera
aleatoria, de la misma población de la que
provienen los participantes.
Ambos grupos deben tener las mismas
características
26
METODOLOGIAS
Un grupo de control es básicamente un segmento de
no beneficiarios que son parte de la población
objetivo, es decir, un grupo que comparte las
características sociales, económicas, educacionales,
etc, del grupo beneficiario. (dos grupos
estadísticamente idénticos entre sí)
La única diferencia entre los individuos del grupo de
control y los beneficiarios efectivos debe ser su
participación en el programa.
27
Diseño experimental o aleatorio
Aislar los efectos que tienen sobre la variable resultado (Y)
factores externos al Programa
Selección de individuos beneficiarios del programa sea
independiente de sus resultados potenciales. Selección aleatoria
de los individuos que se beneficien del programa
La medición de impacto consiste en cuantificar, una vez
transcurrido el tiempo pertinente de intervención del programa,
la(s) variable(s) de impacto,tanto para el grupo de tratamiento y
como para el grupo de control – en ambos simultáneamente y
para el mismo período de tiempo – para luego analizar las
diferencias que existen entre ambos.
28
Grupo de control aleatorio entre la
población de individuos elegibles,
garantizándose que en el inicio ambos
grupos son estadísticamente iguales en
términos de sus características como de
sus respectivas distribuciones
29
Diseño experimental o aleatorio
n1=número de individuos en el grupo de tratamiento
N0=número de individuos en el grupo de control.
Principal distorsión: posibles cambios del grupo de control
Durante el período de evaluación (abandono área geográfica en
ese lapso=Grupo de control contaminado.
Viabilidad política de excluir de la cobertura de un programa
aleatoriamente a un grupo de beneficiarios elegibles y como
tal
30
necesitan los beneficios del programa
Diseño cuasi experimental
Selección de beneficiarios no es aleatoria, se basa en
criterios de elegibilidad y focalización que establecen
diferencias observables como no observables, entre el
grupo de tratamiento y los no beneficiarios (grupo de
control)
Diferencias observables: responden a los criterios de
selección del programa
Diferencias no observables: características de la población que
afectan su participación pero para la cual no hay información
(habilidad individual, voluntad de participar, procesos subjetivos y
no formales que determinan que una persona acceda a los
beneficios del programa
31
Diseño cuasi experimental
El impacto del programa no podrá ser estimado a través de la
simple diferencia de medias entre la variable resultado del grupo
de tratamiento y el grupo control ya que las diferentes
características observables y no observables de los beneficiarios y
no beneficiarios implicará la existencia de sesgo de selección, la
medición del impacto del programa resultará sesgada.
Solución: diseño cuasi-experimental, que permita controlar por las
distintas características que posee el grupo de beneficiarios del
programa (tratamiento) respecto de los no beneficiarios (grupo
control) que pudiesen afectar el resultado o impacto del programa.
32
Metodología
Construcción de dos escenarios.
Un escenario prefactual, es decir,la identificación y medición de las
condiciones del grupo de beneficiarios y no beneficiarios (control)
antes de la ejecución del programa(construcción de la línea de
base o situación sin programa) y un escenario contrafactual, que
implica la medición del cambio en las condiciones del grupo
beneficiario y grupo control, de modo de estimar lo ocurrido como
consecuencia directa de la intervención del programa.
¿Cuál sería la situación actual de estos beneficiarios si no hubieran
participado en el programa?, comparando los resultados finales del
programa en los beneficiarios con respecto a un grupo de no
beneficiarios de características similares (grupo control), de modo de
aislar los efectos de otros factores externos al programa?
33
Condiciones
Existencia de una base de datos (o varias bases que permitan
formar una común) de beneficiarios y no-beneficiarios, que
contenga para ambos grupos información sobre los criterios de
elegibilidad del programa:

Condición socioeconómica, tamaño de la familia, escolaridad,
ubicación geográfica o cualquier otra característica que se haya
utilizado para seleccionar a los beneficiarios) e información sobre
las variables que permitirán medir los resultados finales o impactos
esperados de la intervención (por ejemplo: nivel de ingresos,
condición laboral, nivel de salud, etc.).
34
Metodologías cualitativas
Evaluación participativa: incorpora a ls
beneficiarios en el diseño, la ejecución
y la evaluación de un programa.
Focus group
Entrevistas a informantes claves
35
USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO
RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS
PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004)
DESCRIPCIÓN
El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables
para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas.
RESULTADOS Y EFECTOS
VARIABLES DE
IMPACTO
La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población
objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector
público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los
módulos del programa, lo que se evalúa positivamente.
El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso
y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en
98% en el año 2003.
Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura
del programa en relación a acciones educativas, preventivas y curativas de atención dental.
36