Download (Microsoft PowerPoint - Helia Molina, Evaluaci\363n y monitoreo

Evaluación un imperativo ético y técnico en las políticas planes y
programas para la infancia temprana
Reunión Hemisférica sobre Evaluación e la Primera Infancia
Asunción 31 de Agosto 2011
Dra. Helia Molina Milman
Departamento de Salud Pública
Universidad Católica de Chile
Evaluar es hoy día una actividad ineludible en el
área de las políticas públicas y en la gestión
moderna, constituye un imperativo ético cuándo
se están utilizando recursos públicos
generalmente escasos y se están
implementando estrategias de intervención en
niños, familias y comunidades.
Porque es importante evaluar la calidad de
las políticas planes y programas integrales y
educativos en la infancia temprana?
PORQUE ES UN DERECHO
ES EL MOMENTO PRECISO
ES COSTO EFECTIVO
APORTA A LA EQUIDAD Y REDUCCION DE LA
POBREZA
00-011
Periodos Críticos del
Desarrollo Temprano
período
crítico
período
crítico se debilit
Visión binocular
Sistema Auditivo Central
Control Emocional
Hábitos de respuesta
Habilidades sociales
Lenguaje
Capac
Cognitiva
:
Símbolos
Cantidades relativas
0
1
2
3
4
5
6
edad
7 (años)
¿Por qué invertir en los primeros años?
¿Por qué invertir en los primeros años?
Fuente: Carneiro & Heckman, 2006
p.1902
Desarrollo del SNC: Oportunidad e Inversión
Sinaptogénesis y desarrollo
Intensidad
del
desarroll
o cerebral
Maleabilidad
neuronal
Gasto
Público
Nacimiento
Concepción
Gasto en Salud,
Educación, Servicios
sociales, Crimen
Edad
Entorno del desarrollo infantil
Niños
niñas
Familia
Comunidad
Políticas Públicas
Los niños y niñas
La familia
La comunidad
Requieren de servicios
que apoyen directamente el
despliegue de habilidades,
destrezas y competencias, en
todas las áreas de su desarrollo
Requiere apoyo para que
cuenten con herramientas
que faciliten el
cumplimiento de su rol.
Requiere apoyo para la
generación de condiciones
favorables al desarrollo de
niños, niñas y sus familias
Políticas Públicas dirigidas a la primera infancia
……….
Salu
dy
DIN
Salu
dy
DIN
y
Salud
DIN
Todos los niños, sin excepción, tienen derecho a
una educación inicial y primaria de calidad. A pesar
de ello, en el marco de las desigualdades de los
Países de la Región de LAC y el Caribe y de la falta de
eficacia de las políticas de equidad, el imperativo para el
ejercicio de este derecho es más urgente en los sectores
más vulnerables: sectores de pobreza crítica,
urbanomarginales,rurales, de emigración, de frontera,
desplazados, etc.
autores como J. Casassus (1999) y Peter
Moss (1994) aducen que la “calidad es un concepto
relativo, no una realidad objetiva”, y agregan que
las “definiciones de calidad reflejan los valores y
creencias, las necesidades y agendas, influencias y
autoridades de varios grupos de decisión, que
tienen
interés en estos servicios”.
(Engle et al., 2007)
» Componentes recomendados para el éxito de
intervenciones en primera infancia:
(a)la integración de la salud, la nutrición, la
educación y el desarrollo social,
(b)amplia intensidad y duración;
(c)un comienzo temprano, y
(d)formación sistemática y continua para el
personal, con una fuerte supervisión.
Conceptualización
• Evaluación:Proceso por el cual se determina el
valor o éxito de un programa en el
cumplimiento de los objetivos
predeterminados.
• La evaluación mide el grado con que un
programa alcanza sus metas , asi como
examina el impacto de los elementos
esenciales del programa considerando el
contexto.
Evaluación: implica determinar la
relevancia y cumplimiento de objetivos:
Eficacia:
Grado por el que un programa o intervención especifica produce
un resultado favorable en condiciones ideales
Efectividad:
Grado en que un programa o intervención especifica realizada
en condiciones reales logra resultados positivos en una
población definida.
Eficiencia:
Es una razón recursos versus resultados
Consenso claro
• Monitoreo: es una función CONTINUA que utiliza la
recolección sistemática de datos para construir
indicadores específicos para proveer información a
los actores relevantes (SH) sobre el grado de
progreso de una iniciativa y logro de objetivos, como
también sobre cómo se usan los recursos.
Cómo va la política que estamos implementando
(ahora y en el tiempo), con relación a metas y
resultados esperados
¿Cuál es el propósito de la evaluación?
Proporcionar información de la cual
se deriven criterios útiles para la
toma de decisiones en relación con su
administración y desarrollo.
Orientar el proyecto de acción en
sus distintos componentes a través
del análisis crítico de sus:
objetivos, procesos, resultados e
impacto
Modelo de evaluación
Este debe ser diseñado simultáneamente con el
diseño del programa
ES UN TRAJE A LA MEDIDA
Para que evaluar?
PARA MEJORAR
• Evaluacion Formativa
La evaluación formativa se refiere a la evaluación de procesos o resultados parciales e
intermedios en el curso del desarrollo de un proyecto o programa y permite
generar insumos a la conducción y gestión para ir modificando y mejorando si así
se requiere.
• Evaluacion Sumativa:
La evaluación sumativa se realiza al término de un proyecto o de un período de un
programa y corresponde a la evaluación del cumplimiento de los objetivos y
obtención de los resultados e impactos esperados. Este tipo de evaluación aporta
elementos claves para la toma de decisiones en relación a continuar, suspender o
modificar un programa.
Además de las características formativas y sumativas
debemos considerar la evaluación para cumplir una
función sicológica y/o socio política, es decir la
evaluación puede facilitar procesos de toma de
conciencia, motivación, abogacía, elementos básicos
para la obtención de recursos ya sean
gubernamentales o no, además de los aspectos éticos
involucrados
Existen estándares universales que todo modelo o
proceso evaluativo debe cumplir.
a)
b)
c)
Criterio de utilidad: la evaluación debe cumplir estándares de utilidad
que aseguren que la evaluación aportará la información necesaria a los
usuarios de ella
Criterios de factibilidad: la evaluación debe ser factible de realizar,
realística, adecuada en los niveles de intensidad y costo, a las
características del objeto de evaluación .
Criterios de propiedad: Estos estándares tienen que ver con la seguridad de
que una evaluación será conducida correctamente desde el punto de vista legal
y ético
d)
Criterios de precisión: la evaluación debe cumplir con estándares que aseguren
la entrega de una información correcta, adecuada y justa en sus juicios de
valor.
FUENTE: The joint Committee on standars for educational evaluation.James Saners
Preguntas evaluativas
• Durante la planificación: Que recursos
tenemos? Que condiciones internas y
externas podrían afectar el proyecto?
Es el proyecto factible con esos recursos y
condiciones?
• Durante el monitoreo: Estamos haciendo lo
programado? Si no es así cual es la razón?
Debemos modificar los procesos Como?
Continuación
• Evaluación de efectividad: esta el proyecto
avanzando hacia el logro de los objetivos? Si
no es así Porque?
• Evaluación de resultados e impacto: Cuales
son los resultados? Se lograron los cambios
esperados con el proyecto?
Continuación
• Evaluación de efectividad: esta el proyecto
avanzando hacia el logro de los objetivos? Si
no es así Porque?
• Evaluación de resultados e impacto: Cuales
son los resultados? Se lograron los cambios
esperados con el proyecto?
USO DE INDICADORES
¿Para quién evaluar?
Existen variadas audiencias a quienes va dirigida una
determinada evaluación:
- Financiadores.
- Políticos
- Gerentes
- Adversarios
- Beneficiarios
- Equipo
- Comunidad
¿Qué debemos evaluar? :
• Estructuras, procesos y resultados e impacto.
Estructura :recursos, organización, políticas, leyes,estrategias (inputs)
Procesos : están referidos a las actividades
Resultados: tiene que ver con los outputs o salidas del sistema y que se
materializan en productos. El impacto es el objetivo cumplido.
Análisis Económico: se requiere la mayor transparencia y racionalidad en el
uso de los recursos sectoriales por lo cual adquieren especial relevancia
los estudios de costo efectividad, costo beneficio y costo utilidad.
Este tipo de análisis tiene diversos grados de dificultad en las áreas de
salud y educación donde cuesta identificar el valor monetario de los
beneficios
Quien debe evaluar?
• Evaluacion Interna
• Evaluacion externa
La evaluación puede ser interna, es decir planificada y ejecutada por miembros del
equipo de trabajo o externa, situación en la cual un evaluador externo planifica y
ejecuta la evaluación.
La evaluación interna es necesaria y útil para el equipo de trabajo en la visualización
crítica de la marcha del proyecto o programa. La realizan quiénes más saben del
objeto de evaluación y por lo tanto enfatizarán en los aspectos más cruciales, lo
cual podrá sin embargo aportar ciertos grados de parcialidad en los argumentos y
juicios.
La evaluación externa es aquélla ejecutada por personas que no han participado en el
programa ni en su formulación ni ejecución, le aporta objetividad y credibilidad al
proceso. Lo más recomendable sería una combinación, interna en lo formativo y
externa en lo sumativo.
Necesidades de Registros y Sistemas
de Informacion
• Acompañar la trayectoria del desarrollo de los
niños/as implica detectar oportunamente
situaciones de riesgo y/o factores de
vulnerabilidad que afectan tanto a los
niños/as como a sus familias; generar las
alertas que activen las prestaciones tanto de
salud como del ámbito social, derivar y
monitorear, caso a caso, las prestaciones
mínimas para atender las distintas situaciones
de vulnerabilidad presentes .
Pasos a seguir
La cadena evaluativa sería:
• Objeto de evaluación (proceso, resultado,
cumplimiento de objetivos, etc)
• Pregunta evaluativa
• Criterio evaluativo
• Indicador
• Datos necesarios
• Fuente de información
• Metodología para obtener la información
• Emisión de juicio evaluativo
Indicadores
• Estructura: recursos per cápita, recursos humanos
por beneficiarios, estrategias explicitas, normas,
marcos legales, etc.
• Procesos: acciones ejecutadas versus programadas,
materiales producidos, beneficiarios participantes,
etc.
• Resultados: cambios en actitudes , adherencia al
programa, aceptacion del programa, adquisición de
conocimientos.
• Impacto: cambio en los indicadores basales
Evaluacion cualitativa : Metodologias
• Grupos focales
• Entrevistas en profundidad
• Observación participante
• Análisis etnograficos
• Análisis de contenidos
• análisis de politicas
¿Qué es un estudio de caso?
• “La esencia de un estudio caso, es que trata de iluminar una
decisión o un conjunto de decisiones: por qué se tomaron,
cómo se implementaron y con qué resultado” (Schramm,
1971)
• Es una investigación empírica que pregunta por fenómenos
contemporáneos en su contexto real, especialmente cuando las
fronteras entre el fenómeno y el contexto no son claramente
evidentes.
– No divorcia el contexto del fenómeno bajo estudio.
– Requiere de múltiples formas de recolección de datos y de
estrategias de análisis.
TIPOS DE DISEÑOS
Unidad de análisis
(individual/grupal)
Temporalidad*
(retrospectivo
/prospectivo)
DISEÑO
Posición del
investigador
(observación
/intervención)
Forma de Recolección de información
(retrospectiva/hoy/prospectiva)
*¿se seleccionó la muestra antes o después de ocurrido el daño o outcome?¿El criterio de
Inclusión en el estudio fue la Vi, la Vd o ninguna de ellas?
POSICIÓN DEL INVESTIGADOR
• Observacionales
– Descriptivos
– Analíticos
• Ecológicos
• Transversales
• Casos y Controles
• Cohorte
• Experimentales
– Ensayos clínico controlado
– Ensayos de campo
– Ensayos comunitarios
Según la pregunta, el tipo de diseño más apropiado
• Evaluación de impacto (efectividad)
– Diseños experimentales
– Diseños observacionales, de cohortes únicas o de cohortes no
concurrentes.
– Diseños de casos múltiples o casos únicos de carácter
analítico/explicativo.
• Evaluación de eficacia
– Diseño experimental, muestras pequeñas, para analizar con alto
control sobre la intervención.
Modelo de Evaluacion
Chile Crece Contigo :objetivos
• Proveer informacion de corto mediano y largo
plazo que apoye la toma de decisiones
• Generar antecedentes relevantes y
pertinentes para el seguimiento de lo avances
y logro de metas
• Analizar procesos de implementacion
• Monitoreo continuo de calidad
• Medicion de Impacto
Evaluaciones integrales
Estas evaluaciones se hacen con fondo comun intersectorial
1. Encuesta Nacional de Implementación Programa de Apoyo al
Desarrollo Biopsicosocial 2008 – 2009 (octubre 2008 -primera
aplicación/Octubre 2009 -segunda aplicación).
2. Análisis Cualitativo Programa de Apoyo al Desarrollo Biopsicosocial
(Noviembre 2008 - Abril 2009).
3. Estudio de Satisfacción de Usuarias del Sistema Chile Crece Contigo
Junio – Agosto 2010.
4. Análisis Cuantitativo y Cualitativo Redes Comunales Chile Crece
Contigo (Noviembre 2008 – Julio 2009).
5. Evaluación Modalidades de Apoyo al Desarrollo Infantil (Agosto
2008/Agosto 2009)..
cont
6. Levantamiento y Análisis de Información sobre Desarrollo Infantil y sus
Principales Determinantes Sociales y Económicos, en el Contexto del
Sistema Chile Crece Contigo.
7. Evaluación de Impacto De Corto Plazo Programa De Apoyo Al
Desarrollo Biopsicosocial. (Noviembre 2009 – Agosto 2010: en
ejecución)
Diseño cuasi experimental : El Programa impacta en el desarrollo
infantil?
Existen efectos positivos o negativos asociados?
8. Costo efectividad : cuanto vale si es eficaz?
Indicadores
• Estructura: recursos per cápita, recursos humanos
por beneficiarios, estrategias explicitas, normas,
marcos legales, etc.
• Procesos: acciones ejecutadas versus programadas,
materiales producidos, beneficiarios participantes,
etc.
• Resultados: cambios en actitudes , adherencia al
programa, aceptacion del programa, adquisición de
conocimientos.
• Impacto: cambio en los indicadores basales
COMUNIDADES
AUMENTO DEL PRESUPUESTO
Subtítulo 21: Gasto en Personal
Subtítulo 22: Bienes y servicios de consumo
Subtítulo 24: Transferencias corrientes
Subtitulo 29: Adquisición de Activos no
financieros.
¿A QUIENES ESTAMOS LLEGANDO?
Controles entregados a gestantes acompañadas
por pareja o persona significativa durante el primer semestre (DEIS, 2009)
21,1%
En 136.548
controles
prenatales la
gestante ha
asistido con la
pareja o
acompañante, los
cuales representan
el 21,1% de l total
de los controles
prenatales.
AUMENTO DEL PRESUPUESTO
Subtítulo 21: Gasto en Personal
Subtítulo 22: Bienes y servicios de consumo
Subtítulo 24: Transferencias corrientes
Subtitulo 29: Adquisición de Activos no
financieros.
¿A QUIENES ESTAMOS LLEGANDO?
Controles entregados a gestantes acompañadas
por pareja o persona significativa durante el primer semestre (DEIS, 2009)
21,1%
En 136.548
controles
prenatales la
gestante ha
asistido con la
pareja o
acompañante, los
cuales representan
el 21,1% de l total
de los controles
prenatales.
Nacimientos con apego precoz
de al menos 30 minutos (DEIS, 2009)
25,3
%
El contacto inicial piel a piel
fomenta el reconocimiento
mutuo entre
el recién nacido(a) y su
padre/madre puede
contribuir a aumentar la
lactancia materna exclusiva
y generar un intenso vinculo
emocional en la familia.
El nacimiento es siempre un
evento familiar y un no un
procedimiento medico.
Atenciones a niños y niñas entre 0 a 4 años de edad
Visitas Domiciliarias realizadas a familias con niños y niñas con riesgo
psicosocial (DEIS, 2007, 2008 y 2009)
Se considera las visitas motivadas por familias con niño o niña en riesgo
vincular afectivo, menor de 7 meses, presenta déficit en su desarrollo
psicomotor, mal nutrido, recién nacido(a) y prematuro(a)
Estudio de satisfacción del PADBP.
Satisfacción general con ChCC
Evalúan:
Conocedoras/es
Sistema
ChCC
(1271)*
Base →
100%
Categoría Usuaria
Gestante
Madre/ Padre/
Responsable
(1271)
(619)
(652)
Categoría Usuaria
Satisfacción Neta:
% Excelente
TOTAL
NACIONAL
- % Deficiente
Base →
TOTAL
NACIONAL
(1271)
Gestante
Madre/ Padre/
Responsable
(619)
(652)
100%
80%
81%
Excelente (6+7)
86%
78%
82%
60%
73%
Deficiente (1 a 4)
40%
68%
20%
0%
-20%
-8%
-5%
-10%
0%
*Se excluyen los No Sabe/ No Contesta
volver
La satisfacción con el Sistema ChCC es de excelencia en el 81% de los
casos, en tanto la satisfacción neta corresponde al 73%. Una mejor
evaluación poseen las gestantes.
Comparación de resultados ENIM 2008 – 2009
Variación porcentual 2008-2009 del Índice
Condiciones de Implementación País
Planta física
Recursos Humanos
Insumos
Procedimiento
50%
40%
30%
20%
41,3%
21,6%
14,5%
22,4%
10%
23,1%
0,0%3,1%
0%
-10%
5,0% 6,9%
15,0%
5,8%
0,0%
APS
17,6%
8,5%
Servicios de
Maternidad
0,0%
Servicios de
Neonatologia
Servicios de Pediatría
volver
-9,1%
Evaluación cualitativa de la instalación
del Programa de Apoyo al Desarrollo
Biopsicosocial
“A una le dedicaron mucho tiempo, yo creo que estuve más de
media hora la primera vez cuando traje mi diagnóstico cuando
supe que estaba embarazada, con la matrona y después con la
asistente social es harto lo que a una le dedican. Uno no se
siente ni apurada ni que "tengo que ir a hacer otra cosa", no
para nada.
(…)”. (Usuaria Consultorio Cardenal Raúl Silva Enríquez,
Quillota, Región de Valparaíso)
Testimonio de Usuaria, Estudio Cualitativo de la Implementación del
Programa de Apoyo al Desarrollo Biopsicosocial, 2008.
volver
“Es importante porque te enseñan del principio el
proyecto, en los talleres me dieron un folleto de guía del
embarazo, diapositivas, muchas cosas audiovisuales
con folletos, de todo, de todo súper dinámico y súper
bueno para que uno aprenda las cosas.” (Usuaria,
Centro de Salud Familiar Reina Isabel II, Valparaíso,
Región de Valparaíso)
Testimonio de Usuaria, Estudio Cualitativo de la
Implementación del Programa de Apoyo al Desarrollo
Biopsicosocial, 2008.
Evaluaciones de CHCC
Evaluación cuasiexperimental del
PADBP (cohortes no
concurrentes en el
tiempo), ya realizada
la medición de base.
Estudio de satisfacción del
PADBP.
Estudio de satisfacción y
usabilidad del PARN.
Evaluación experimental de
tres brazos del Taller
grupal de habilidades de
crianza “Nadie es
Perfecto”.
Encuesta Nacional de
Implementación (condiciones de
eficiencia para la
implementación del PADBP).
Evaluación cuanti-cuali de las redes comunales de Chile
Crece Contigo.
Estudio de seguimiento de casos de usuarias de CHCC.
Evaluación cualtitativa de la
instalación del Programa de
Apoyo al Desarrollo
Biopsicosocial.
Lo cuantitativo versus lo cualitativo
No todo lo que puede ser contado cuenta
y no todo lo que cuenta puede ser contado
- Albert Einstein
MUCHAS GRACIAS