Download Institucionalizando la evaluación de impacto

www.coneval.gob.mx
Contenido
I. Antecedentes
II. La creación del CONEVAL
III. El sistema de evaluación en México
IV. Nuevos productos
V. Resultados de la evaluación
VI. Autonomía
www.coneval.gob.mx
I. Hay factores en el pasado que ayudaron
Institucionales
• Democracia y rendición de cuentas (2000)
• Presupuesto de Egresos de la Federación (2001 a la fecha)
• Ley General de Desarrollo Social (2004)
Coordinación y
Capacitación
• Nexos con presupuesto (SHCP) y con planeación
(Presidencia)
• Seminarios de sensibilización
• Talleres para servidores públicos sobre técnicas de M&E
Monitoreo y
Evaluación
Desarrollo Social
•
•
•
•
Ejercicios aislados de evaluación (Oportunidades, Liconsa)
Impulso a indicadores de gestión y eficiencia gubernamental
Apoyo de los bancos (BID, BM)
Requisitos mínimos de evaluación en PEF
• Se crea la oficina de evaluación en la SEDESOL
• Ejemplos de evaluaciones (piso firme)
• Variantes de la evaluación
www.coneval.gob.mx
I. La evaluación se fue fortaleciendo
Creación de la
Auditoría Superior
de la Federación
Reforma a la Ley de Coordinación
Fiscal/ Ramo 33 (adiciona fondos
para educación, seguridad y municipios)
1997
1998
PROGRESA
Legislación
sobre ROP
1999
2000
PEF mandata
evaluaciones
externas a programas
Cambio de
Administración
Federal
2004
Ley General de
Desarrollo Social
2005
2006
Inicio de
operación del
CONEVAL
Ley de Transparencia y
Acceso a la Información
2001
SEDESOL crea la
Subsecretaría de Prospectiva,
Planeación y Evaluación
Ley de Presupuesto y
Responsabilidad
Hacendaria
2007
Lineamientos
generales para la
evaluación y PAE
www.coneval.gob.mx
2002
2003
Se crea la
Secretaría de la
Función Pública
(antes Contraloría)
I. El diagnóstico al inicio, 2006
Aspectos positivos
Retos
 Democracia y transparencia
 Cultura de la evaluación
 Evaluaciones exitosas:
Oportunidades
 Académicos son evaluadores y
tomadores de decisión
 Actores relevantes con voluntad
para participar: Congreso, SHCP,
SFP
 Reformas normativas que
respaldaron la
institucionalización del monitoreo
y evaluación
 Resultados no eran una
prioridad:
 Objetivo general y poco claro
 Indicadores de producto
 No hay diagnósticos
 Metas sin planeación
 Limitado seguimiento a
resultados
 Percepción de evaluación como
fiscalización
 Falta de coordinación entre
actores
 Poco uso de la información
www.coneval.gob.mx
II. La creación del CONEVAL
Ley General de
Desarrollo Social
(2004)
Organismo público descentralizado con
autonomía técnica y de gestión
Atribuciones



Establecer los criterios para la
definición, identificación y medición
de la pobreza (nacional, estatal y
municipal)
Normar y coordinar la evaluación de
la política y los programas de
desarrollo social
Objetivo
Estratégico
Misión
Aprobar los indicadores de
resultados, gestión y servicios
Visión

Emitir sugerencias y
recomendaciones
www.coneval.gob.mx
Brindar a quienes toman las decisiones y
a quienes hacen la política social el
análisis y recomendaciones sobre el
estado del desarrollo social.
Medir la pobreza y evaluar los
Programas y la Política de Desarrollo
Social para mejorar sus resultados y
apoyar la rendición de cuentas
Somos una institución reconocida por su
credibilidad y rigor técnico para generar
información objetiva y útil que contribuye a
la mejora de la Política de Desarrollo
Social.
II. La creación del CONEVAL: Su estructura
Comité Directivo
• Titular de la SEDESOL
• 6 Académicos
• Representante de la SHCP
Órgano técnico
auxiliar
Comisión Ejecutiva
•6 Académicos
• Secretario Ejecutivo
• que sean o hayan sido miembros del
Sistema Nacional de Investigadores
• con amplia experiencia en la materia
• que colaboren en instituciones de
educación superior y de investigación
Secretaría
Ejecutiva
Dirección General
Adjunta de
Administración
Dirección General
Adjunta de
Análisis de la
Pobreza
Dirección General
Adjunta de
Evaluación
En total de 121 funcionarios
www.coneval.gob.mx
Dirección General
Adjunta de
Coordinación
II. El objetivo del CONEVAL
FIN
Contribuir a mejorar el desempeño y la rendición
de cuentas de la política de desarrollo social
¿Para qué?
PROPÓSITO
Brindar a los tomadores de decisión y hacedores de la
política social el análisis y recomendaciones sobre el
estado del desarrollo social
¿Cómo?
Estrategias para alcanzar el propósito del Coneval
1.
2.
3.
4.
5.
Realizar mediciones de pobreza
Coordinar la evaluación de las políticas y los programas de desarrollo social
Emitir normas y lineamientos en materia de evaluación y medición de la pobreza
Realizar análisis integrales y recomendaciones en materia de desarrollo social
Impartir asesoría técnica y capacitación en materia de evaluación y medición de la
pobreza
6. Divulgar los productos del CONEVAL
www.coneval.gob.mx
II. El Coneval desde su creación ha
generado diferentes productos
Medición y Análisis de la
Pobreza

Medición Multidimensional de la Pobreza
(a nivel Nacional, Estatal y Municipal)
o
o
o
o
o
o
o
o




Ingreso
Rezago educativo
Acceso a los servicios de salud
Acceso a la seguridad social
Calidad y espacios de vivienda
Acceso a los servicios básicos en la vivienda
Acceso a la alimentación
Grado de cohesión social
Índice de rezago social
Índice de Tendencia Laboral de la
Pobreza (ITLP)
Mapas de Pobreza
Medición de la Pobreza por Ingreso
Evaluación de Programas Sociales











Programa Anual de Evaluación
Marco Lógico: Programas
Evaluaciones de Consistencia y
Resultados
Evaluación de Impacto
Evaluaciones Complementarias
Evaluaciones de Desempeño
Inventarios de Programas de
Desarrollo Social (nacional y estatal)
Evaluaciones Temáticas
Evaluación de Políticas
Documento para consideraciones
presupuestarias
Seguimiento a Recomendaciones
Ver información de evaluación
Ver información de monitoreo
Ver información de pobreza
www.coneval.gob.mx
III. El sistema de evaluación en México
Lineamientos Generales de Evaluación
CONEVAL- SHCP-SFP
Evaluación
Planeación y Monitoreo
Programa Anual de Evaluación
Planeación nacional
Resultados:
Planeación sectorial y
transversal
Medir si un programa
resuelve
el (los) problema(s)
por los que se creó
Programas públicos
Matriz de Indicadores
Evaluación de Consistencia y
Resultados
Evaluación de Procesos e
Indicadores
Evaluación de Impacto
Evaluación de Políticas
Evaluaciones Estratégicas
Seguimiento a Recomendaciones
www.coneval.gob.mx
III. El sistema de evaluación en México
Existen diferentes tipos de evaluaciones
Diseño
Consistencia y
Resultados
Procesos
Consistencia y
lógica interna de
los programas
Diagnóstico de la
capacidad
institucional para
alcanzar
resultados
Análisis de los
procesos
operativos y su
contribución al
propósito
Indicadores
Impacto
Complementarias
Estratégicas
Pertinencia y
alcance de los
indicadores de un
programa
Medir los efectos
netos del
programa
Profundizar sobre
aspectos
relevantes del
desempeño
Valoración de las
políticas y
estrategias de
desarrollo social
Matriz de Marco
Lógico y
aprobación de
indicadores
III. El sistema de evaluación en México
¿Qué evalúa el CONEVAL?
Políticas
Programas y Acciones
Evaluación Estratégica
sobre Mortalidad
Materna en México
Evaluación estratégica
anexo 10: Igualdad entre
mujeres y hombres
Evaluación Estratégica de
Protección Social
www.coneval.gob.mx
Instituciones
III. El sistema de evaluación en México
Actores involucrados en materia de evaluación
3.Secretaría de la
Función Pública
(SFP)
4.Las unidades de
evaluación de las
dependencias
2. Secretaría de
Hacienda y
Crédito Público
(SHCP)
1. Consejo
Nacional de
Evaluación de la
Política de
Desarrollo Social
(CONEVAL)
5.Las unidades
responsables de la
operación de los
programas
Sistema de
Evaluación
en México
www.coneval.gob.mx
6.Evaluadores
externos
III. El sistema de evaluación en México
Marco normativo complementario
Constitución Política de los Estados Unidos Mexicanos
Arts. 26 y 134
Ley General de
Desarrollo Social
Arts. 72 - 80
Políticas,
programas,
sociales
Ley Federal de
Presupuesto y
Responsabilidad
Hacendaria
Arts. 110 y 111
Ley de
Coordinación
Fiscal
Programas
Presupuestales
Entidades y
municipios
Matriz de Indicadores
Tipos de evaluación
Seguimiento a recomendaciones
Planeación de las evaluaciones (PAE)
Entes públicos
CONAC
Norma para establecer el formato para
la difusión de los resultados de las
evaluaciones de los recursos federales
ministrados a las entidades federativas
Lineamientos Generales de Evaluación
CONEVAL- SHCP-SFP
•
•
•
•
Ley de
Contabilidad
Gubernamental
Art. 79
• Elaboración de objetivos estratégicos
• Publicación del PAE
• Diagnóstico de programa nuevo, ampliación o
modificación
• Registro de erogaciones para evaluaciones
• Seguimiento a los aspectos susceptibles de mejora
• Publicación de las evaluaciones
www.coneval.gob.mx
Programa Anual de Evaluación
Evaluaciones coordinadas solo por el CONEVAL
TIPOS DE EVALUACIÓN
2007
2008
2009
2010
2011
2012
Consistencia y Resultados
106
-
-
-
141
-
-
-
247
Diseño
11
20
26
11
24
5
2
-
99
Impacto
3
6
3
2
1
2
-
-
17
Específicas
6
2
9
-
-
-
-
-
17
Específica de Desempeño
-
131
127
133
-
137
-
-
528
Procesos
-
-
5
-
-
3
3
-
11
Complementarias
2
16
19
9
16
19
-
-
81
Evaluaciones Integrales
-
-
-
19
21
10
22
-
72
Evaluaciones Estratégicas
2
1
3
1
2
-
1
-
10
Fichas de M&E
-
-
-
-
-
258
185
-
443
Diagnóstico
-
-
-
-
-
-
-
24
24
133
178
217
228
254
270
258
210
210
Matriz de indicadores
/1 Evaluaciones
recibidas al 30 de junio de 2014.
/2MIR
2013 2014/1 TOTAL
/2
de los programas de desarrollo social a 2014 reportadas en el PASH.
Más de 1,750 de los instrumentos de M&E de desarrollo social son
generados por el CONEVAL
Ver Matrices
www.coneval.gob.mx
Ver
evaluaciones
Programa Anual de Evaluación
Evaluaciones coordinadas por CONEVAL, SHCP y SFP
TIPOS DE EVALUACIÓN
2007
2008
2009
2010
2011
2012
Consistencia y Resultados
106
-
-
-
148
8
-
-
262
Diseño
13
22
34
19
45
12
25
-
170
Impacto
3
6
3
2
1
2
-
-
17
Específicas
6
2
9
2
-
1
3
-
23
Específica de Desempeño
-
131
129
134
-
137
-
-
531
Procesos
-
-
5
7
3
8
3
-
26
Complementarias
2
16
20
9
16
19
-
-
82
Evaluaciones Integrales
-
-
-
19
21
10
22
-
72
Evaluaciones Estratégicas
2
1
3
1
2
-
1
-
10
Fichas de M&E
-
-
-
-
-
258
185
-
443
Diagnóstico
-
-
-
-
-
-
-
45
45
133
178
217
228
254
270
258
210
210
Matriz de indicadores
2013 2014/1 TOTAL
/1 Evaluaciones
recibidas al 30 de junio de 2014. /2MIR de los programas de desarrollo social a 2014 reportadas en el PASH.
Nota: los números en verde corresponden a instrumentos de M&E coordinados únicamente por el CONEVAL.
Mas de 1,890 instrumentos de M&E de desarrollo social.
El 93% corresponde a instrumentos coordinados por el CONEVAL
www.coneval.gob.mx
/2
IV. Innovación en evaluación
Estrategias para fomentar el uso
1
Entrega a
actores
relevantes
•Congreso
•SHCP
•Presidencia
•Estados
+ Reuniones explicativas
3
Difusión a
prensa y
sociedad civil
Página
electrónica
Prensa
Sociedad civil
•Congreso:
Comisión de
Presupuesto
•SHCP
2
Información
para proceso
presupuestario
+ Reuniones con diputados
4
Documentos de
trabajo
Seguimiento a
recomendaciones
www.coneval.gob.mx
IV. Se han generado nuevos productos
Instrumentos para la toma de decisiones,
rendición de cuentas y transparencia
Específicas de
Desempeño
• Valoración
sintética de la
información del
programa en el
Sistema de
Evaluación del
Desempeño
Integrales
• Valoración
general del
desempeño de
los programas
que conforman
una temática
específica.
www.coneval.gob.mx
Fichas de
monitoreo y
evaluación
• Síntesis de
información clave
de todos los
programas y
acciones de
desarrollo social
del gobierno
federal
IV. Se han generado nuevos productos
Instrumentos para la toma de decisiones,
rendición de cuentas y transparencia
Valoración integral del desempeño de los programas
sociales, EED 2012-2013
Resultados
relacionados
con los
objetivos del
programa
(impacto y
avances)
Ver
evaluaciones
• Avances de entrega de bienes y
servicios, metas e indicadores
• Cobertura
• Eficiencia
• Porcentaje de avance respecto a
recomendaciones Resultados
relacionados con los objetivos del
programa
De la Evaluación Específica
de Desempeño:
• Fortalezas
• Retos y recomendaciones
• Conclusiones del
evaluador
www.coneval.gob.mx
• Cumplimiento
presupuestal
• Resultados de la
revisión MIR
• Derecho social
asociado
• Incidencia
distributiva
IV. Innovación del CONEVAL
Instrumentos para la toma de decisiones,
rendición de cuentas y transparencia
Fuente: http://www.coneval.gob.mx/Evaluacion/IPM/Paginas/derechos_Entidades.aspx
www.coneval.gob.mx
•
Herramienta que integra y
sistematiza información
relevante de los
programas y de las
acciones de desarrollo
social
•
Permite conocer cuáles
son las intervenciones del
gobierno en cada ámbito.
•
Proveer información para
la toma de decisiones que
contribuye a mejorar la
política pública.
IV. Innovación del CONEVAL
La política se fortalece con la evaluación
Intervenciones para combatir la desnutrición crónica infantil
¿Cuál es el problema?
¿Por qué se genera?
www.coneval.gob.mx
IV. Innovación del CONEVAL
La política se fortalece con la evaluación
Intervenciones para combatir la desnutrición crónica infantil
¿Cuáles intervenciones funcionan y cuáles no?
Para consultar mayor información sobre las Intervenciones para combatir la desnutrición crónica infantil dar click en:
http://www.coneval.gob.mx/Evaluacion/ESEPS/Paginas/Guias_mejorar_politica_publica.aspx
www.coneval.gob.mx
IV. También en medición de pobreza se
han generado nuevos productos
Ley General de
Desarrollo Social
Población
Ingreso
Bienestar
Periodicidad
Estados y Nacional (2 años)
Municipios (5 años)
6
5
4
3
2
1
Carencias
0
Derechos sociales
•
•
•
•
•
•
•
Ingreso corriente
Educación
Salud
Seguridad social
Vivienda
Servicios básicos
Alimentación
V. Resultados de la evaluación
Cambios en la política social derivados de
las evaluaciones
La leche
fortificada reduce
26% la anemia
infantil
Piso Firme:
reducción de 19%
en anemia y
parásitos en niños
menores de 5 años
La leche fortificada se está
promoviendo en otros
programa sociales y se
vende al público
Una de las acciones
sociales más importantes
es hacer pisos firmes
Incremento de 24%
en matriculación de
niñas y de 12% en la
estatura infantil
Los efectos en áreas
urbanas han sido
marginales.
Incorporación del
componente educativo a
nivel secundaria
Se ha modificado el diseño en
áreas urbanas.
www.coneval.gob.mx
V. Resultados de la evaluación
Cambios en la política social derivados
del uso de la información del CONEVAL
El CONEVAL ha identificado más de 2,900 usos de su información en la mejora de la
política social, de los que destacan:
 La SEDESOL redefinió los criterios de la distribución presupuestal del FAIS para que los
estados y municipios que mejores sus indicadores de pobreza reciban más recursos.
 La SEDESOL seleccionó los municipios de la Cruzada contra el Hambre con base en la
medición de la pobreza y las recomendaciones emitidas por el CONEVAL..
 La SAGARPA rediseñó el Programa PROAGRO Productivo (antes PROCAMPO) para
reducir la regresividad del Programa.
 Para la asignación de los programas de subsidios del Ramo 20 Desarrollo Social se da
prioridad a la población en condiciones de pobreza, en condiciones de vulnerabilidad,
rezago y de marginación de acuerdo con los criterios que define el CONEVAL.
 El Programa Oportunidades actualiza los montos bimestrales que se entregan a los
beneficiarios del programa Oportunidades, con base en el índice de tendencia laboral
de la pobreza del CONEVAL.
 El Ejecutivo Federal sustentó la Ley del Seguro de Desempleo
conforme a la información de carencias sociales del CONEVAL.
www.coneval.gob.mx
VI. Autonomía del CONEVAL
Poder
Judicial
Poder
Ejecutivo
Presidencia
Poder
Legislativo
Órganos
Autónomos
Congreso
de la Unión
Hacienda
Función
Pública
Salud
Educación
Desarrollo
Social
Agricultura
Órgano Constitucional Autónomo a
partir de la Reforma Político-Electoral
del 10 de febrero de 2014
Órgano sectorizado a la Secretaría de Desarrollo
Social con autonomía técnica y de gestión
www.coneval.gob.mx
Autonomía técnica, de gestión,
presupuestaria y sectorial
VI. Autonomía del CONEVAL
Cambios en su autonomía
Actualmente
 Autonomía de Gestión. Los resultados de la medición de pobreza y evaluaciones son
públicos. La institución es independiente y no obedece a intereses particulares.
 Autonomía Técnica. Independencia técnica para generar información objetiva sobre la
situación de la política social y la medición de la pobreza en México.
Autonomía constitucional
 Autonomía Presupuestal. El tener autonomía financiera y presupuestaria contribuirá a
institucionalizar el monitoreo y la evaluación en el país.
 Autonomía Sectorial. La separación total como organismo sectorizado de la Secretaría
de Desarrollo Social (SEDESOL) contribuirá a fortalecer la legitimidad de las tareas que
lleva a cabo, ya que al otorgarle independencia, sus observaciones y recomendaciones
continuarán sumando objetividad ante los ojos de la ciudadanía.
www.coneval.gob.mx
VII. Autonomía del CONEVAL
Retos a considerar en la Ley
 Conservar el perfil técnico y académico de los Consejeros evitar politización de los Consejeros del CONEVAL.
 Utilizar la autonomía financiera y presupuestaria para
institucionalizar el monitoreo y la evaluación en el país.
 Coordinación con el Poder Ejecutivo para el uso de
información de los programas y políticas de desarrollo
social.
 Fortalecer el proceso de uso de las recomendaciones del
CONEVAL para la mejora de la política social.
www.coneval.gob.mx
Gracias por su atención
edgar.martinez@coneval.gob.mx
www.coneval.gob.mx
www.coneval.gob.mx