Download Institutional Frameworks for the Evaluation of Public Policies

Marcos Institucionales Para
la Evaluación de Políticas Públicas
Seminario “Políticas de Cuidados de la Primera Infancia en Chile:
Diseño, Implementación y Evaluación”
Universidad Diego Portales, Santiago, Chile
15 de octubre de 2010
Lorenzo Moreno, Ph.D., M.Sc.
Temas de la Presentación
Marcos institucionales para la
evaluación de programas y
estrategias sociales
Lecciones aprendidas y posibles
sinergias
2
Mi Perspectiva y Posibles Sesgos
Mathematica
Experiencia de 20
años
Diseño de estudios
experimentales y
no experimentales
Mis
convicciones
Princeton
University
Mis
antecedentes
Enseño evaluación
de programas y
políticas
Capacitación de
evaluadores
altamente
calificados
Estadístico, pero
economista por
“osmosis”
MPA y MPP
Evaluación para la
asignación de
recursos públicos
Casi 28 años
fuera de mi lugar
de nacimiento
Programas
domésticos de
servicios de salud
Programas
internacionales de
desarrollo
3
Estrategias Sociales y Evaluación
4
Una Clara y Simple Estrategia… (Y Así Nos Va)
5
Programa versus Estrategia
Programa
••Intervención
aplicadaaauna
unapoblación
población
Intervenciónespecífica
específica aplicada
enen
ununárea
áreaespecífica
específica
••Su
preguntasmuy
muyparticulares:
Suevaluación
evaluaciónresponde
responde aa preguntas
particulares:
– ¿Es el Programa de Inversión Urbana en Chile
• ¿Es
el Programa
de Inversión
Urbanapatrimonial?
en Chile
efectivo
en regiones
con alta pobreza
efectivo en regiones con alta pobreza patrimonial?
Estrategia
Conjuntode
de programas
programas yy acciones
unun
••Conjunto
accionespara
pararesolver
resolver
problemahistórico,
histórico, nacional,
problema
nacional,ooregional
regional
Suevaluación
evaluación responde
responde aapreguntas
••Su
preguntasamplias:
amplias:
–
¿Se
ha
reducido
la
desigualdad
histórica
• ¿Se ha reducido la desigualdad históricaen
en
pobreza?
pobreza?
6
Progresa/Oportunidades: Tres Pilares…
Estrategia Contra La Pobreza en
México
Desarrollar
capacidades
básicas
Incrementar
las
oportunidades
generadoras
de ingresos
Mejorar la
infraestructura
en regiones
marginadas
Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico’s Progresa-Oportunidades Program. Brookings Institution, 2006.
7
Progresa/Oportunidades: … Y Muchos Programas
Principales Programas Sociales
Contra la Pobreza
CAPACIDADED BASICAS
Progresa-Oportunidades
Programa de Apoyo
Alimentartio (PAL)
Programa Jornaleros
Agrícolas
Programa 70 y más
OPORTUNIDADES DE
INGRESOS
Programa de Empleo
Temporal (PET)
Programa Opciones
Productivas
Programa Estancias
Infantiles para Apoyar a
Mujeres Trabajadoras
Fuente: Adaptación de Levy, 2006.
8
MEJORAS A LA
INFRASTRUCTURA
Hábitat
Programa para el Desarrollo
de Zonas Prioritarias (PDZP),
antes Microregiones
Apoyo para Regularizar
Asentamientos Irregulares
Programa Espacios Públicos
Programa 3x1 para
Migrantes
Progresa/Oportunidades: Gran Impacto Social
Incentivos para tomar acciones personales
para salir de la pobreza
El programa más evaluado en México, Latino
América y posiblemente el mundo
Gran contribución en la formación de
capacidades técnicas en México y a nivel
mundial
• Identificación e implementación de diseños estadísticos
• Uso de métodos econométricos para estimar impactos con alta
confiabilidad y mínimo sesgo
Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico’s Progresa-Oportunidades Program. Brookings Institution, 2006.
9
¿Por Qué Se Evalúan las Estrategias y
los Programas Sociales?
Responder al uso de los recursos
públicos (bienes públicos)
Mejorar las decisiones administrativas y
de presupuesto de los diversos niveles
de gobierno
Brecha Crónica entre Estrategia y Evaluación
Estrategia
Evaluación
11
Marcos Institucionales para la
Evaluación Rigurosa y de Alta Calidad
de Estrategias y Programas de Política
Social
12
Proceso para la Evaluación de Estrategias
Marco Institucional
Marco Lógico
Marco Técnico
• Mandato legal
• Unidad de evaluación establecida
• Regulación en el uso de evaluaciones e incentivos para su uso
• Normas sobre transparencia
• Coordinación entre unidades administrativas
• Selección de indicadores adecuados
• Capacitación de evaluadores
• Metodología para la estimación de impactos
• Implementación y administración de evaluaciones
• Capacitación de evaluadores
Fuente: Adaptación de Gonzalo Hernández Licona. “Building a Monitoring & Evaluation System: A Public Policy Challenge with Technical
Elements.” Presented to the Planning Commission, Government of India, 2009.
13
Avenida Providencia
14
Los Leones
En Chile
Dirección de Presupuestos,
Ministerio de Finanzas
• Identificación de indicadores de desempeño desde 1993
• Definición de estrategias a partir de 2001
• Inclusión de programas en el presupuesto a partir de 2001
• Evaluaciones de impacto requeridas a partir de 2001
• Evaluaciones de agencias requeridas a partir de 2002
• 155 programas o agencias serán evaluadas entre 2006-2010
• Fondo de modernización de la administración pública a partir de 2008
• Evaluación de nuevos programas a partir de 2009
Fuente: Adaptación de Heidi Berner H. “System of Evaluation and Management Control Results-Based Budgeting. The Chilean Experience.”
Ministerio de Finanzas, Octubre 2008.
En México
Consejo Nacional de Evaluación de
la Política Social (CONEVAL)
•
•
•
•
•
•
•
•
Preparación de marcos lógicos para 520 programas
Evaluación anual de 130 programas
Identificación de indicadores de resultados
Análisis de resultados de evaluación externa de 85
programas; síntesis de resultados 2006-2007
Preparación de un marco normativo
Identificación de los criterios para un sistema de
evaluación del desempeño
Estimación de indicadores de pobreza 1992-2008 a
nivel nacional, estatal y municipal
Análisis de la estrategia de alimentación y nutrición
Fuente: CONEVAL. Informe de Evaluación de la Política de Desarrollo Social en México en 2008. México, DF: CONEVAL 2008, p. 84.
16
En los Estados Unidos
Experiencia limitada:
• El Congreso, no el Ejecutivo, elabora las estrategias
sociales
• La Oficina de Administración y Presupuesto (OMB) está
enfocada en el presupuesto más que en estrategias
sociales
• Las evaluaciones de impacto son más “sexys”
Pese a esto, hay esfuerzos en:
• Política federal en educación
• Política federal de tecnología de la información en salud
• Bill & Melinda Gates Foundation: Programas educativos y
de salud
Mathematica participa en estas evaluaciones
• Otros actores: Abt Associates, American Institutes of
Research, Brookings Institution, MDRC, RAND, RTI
International, Urban Institute
17
Principales Retos para Evaluaciones de Calidad
Evaluaciones anuales limitan el pensamiento
estratégico sobre las inversiones en evaluación
No hay muchas instituciones locales con extensa
experiencia evaluando políticas sociales fuera de
los Estados Unidos
Faltan incentivos formales para usar los
resultados de las evaluaciones
Falta un vínculo entre las evaluaciones y el
proceso de presupuesto
Faltan evaluaciones de la evaluación
Fuente: D. Levy, comunicación personal, Agosto, 2010, y adaptación de Moreno, Lorenzo, Larissa Campuzano, Dan Levy, and
Randall Blair. “Toward Closing the Evaluation Gap Lessons from Three Recent Impact Evaluations of Social Programs in
Latin America and the Caribbean.” Well-being and Social Policy, vol 5, no. 2, second semester 2009, pp. 1-24.
Otros Retos Para la Evaluación
Mayores retos en países con una cultura
incipiente de evaluación
Hay oposición endémica a diseños
experimentales en Latinoamérica
Hay individuos con altas cualificaciones para
diseñar evaluaciones y dirigirlas, pero se
desaprovechan sus talentos
Hay barreras culturales e ideas preconcebidas
sobre los intereses y motivos de muchos
evaluadores extranjeros
Fuente: Adaptación de Moreno, Lorenzo, Larissa Campuzano, Dan Levy, and Randall Blair. “Toward Closing the Evaluation Gap
Lessons from Three Recent Impact Evaluations of Social Programs in Latin America and the Caribbean.” Well-being and
Social Policy, vol 5, no. 2, second semester 2009, pp. 1-24.
¿Evaluar Programas o Estrategias?
La respuesta
depende de cada
sociedad según
momento
económico y político
El marco institucional
es clave para no
evaluar lo que no
necesita ser evaluado
Requerimientos
técnicos y
capacidades son
muy diferentes
Decisión
depende de las
necesidades de
política social
Fuente: Desarrollo propio; y D. Levy, comunicación personal, Agosto, 2010.
20
Posibles Contribuciones a la
Evaluación de Estrategias
21
Sinergias
Capacitación de evaluadores para
monitorear estrategias y programas
Desarrollo y uso de sistemas de
evaluación y monitoreo locales
Asegurar la transparencia y
credibilidad de los indicadores
Considerar:
•
•
•
•
Top Tier Initiative - Coalition for Evidence-Based Policy
Policy Group - Poverty Action Laboratory (MIT)
Bill & Melinda Gates Foundation
Mathematica
Fuente: Desarrollo propio en base a CONEVAL, 2008; y D. Levy, comunicación personal, Agosto, 2010.
22
Posibles Contribuciones de Mathematica
Cultura de
evaluación bien
establecida y en
crecimiento
Reputación de
independencia y
objetividad
Experiencia
sintetizando
resultados de
evaluaciones de
impacto
Experiencia en la
comunicación a
tomadores de
decisiones
Experiencia
capacitando
evaluadores
23
Como Los Viajes Ilustran, Aquí Me Detengo…
24
Para Información Adicional
• Investigador Senior
– lmoreno@mathematica-mpr.com
– +1.609.936.2766
• Profesor Visitante de Asuntos Públicos e
Internacionales, Woodrow Wilson School, Princeton
University
– lmoreno@princeton.edu
– +1.609.933.9106
25