Download Presentación

DISEÑO Y EVALUACIÓN DE PROGRAMAS Y
PROYECTOS SOCIALES
“Evaluar para la transformación”
Dagmar Raczynski y Pablo Villatoro
Jornada Comunidad Organizaciones Solidarias
16 de noviembre 2007
Contenidos
Contenidos

El ciclo de “intervención social” (programa, proyecto) y el lugar de la evaluación

La evaluación supone y requiere de un adecuado diseño del programa o proyecto.
Elementos básicos del diseño de un programa o proyecto.

El proceso de evaluación. Tipos de evaluación, sus preguntas y abordajes
metodológicos.

El diseño de una evaluación
Modalidad de trabajo

Exposición y trabajo grupal de aplicación de los contenidos vistos a a nuestra labor,
compartiendo nuestros aprendizajes.
Nota de precaución:

No existe manual o receta para evaluar de forma universal todo tipo de proyecto o
programa, sí lineamientos sobre criterios y procesos requeridos y orientaciones para
encarar una evaluación

Distintas temas, criterios, enfoques y técnicas de evaluación de programas y
proyectos y ninguna alternativa es optima por se, respuesta depende de las preguntas
que se desean responder, el contexto y viabilidad de la evaluación, el para qué de
ella, la información disponible, los tiempos, plazos y recursos de la evaluación, entre
otros.
Distintos niveles y unidades de evaluación:
políticas, programas, proyectos
 Ejemplos: evaluar apoyos al sistema educativo, cambios incorporados
al funcionamiento de un servicio de salud, una escuela, un consultorio,
una organización comunitaria, una política, un programa, un proyecto,
el servicio brindado por una organización o por un conjunto de
organizaciones a determinado segmento poblacional.
 Programa y proyecto social son intervenciones planificadas
destinadas a responder a un problema y obtener determinados
resultados en un segmento de la población o una organización, sistema
o servicio.
La diferencia entre ambas es en escala y duración: Programa conjunto
de actividades integradas con continuidad temporal; Proyecto: una
unidad menos compleja, de duración limitada y atiende a una demanda
o necesidad puntual.
 Política: un fin o propósito mayor en el cual se insertan y al cual
concurren varios programas y proyectos
Política / Programa / Proyecto
Conjunto especificado de acciones humanas y recursos
materiales diseñados e implantados organizadamente
(planificados) en determinada realidad social, con el
propósito de resolver algún problema que atañe a un
conjunto de personas, una organización o una realidad
social especifica.
El Ciclo de intervención social y lugar de la evaluación
DIAGNOSTICO/
NECESIDADES
OBJETIVOS Y
METAS
REPLANTAMIENTO
DECISIONES
VALORES
IDEOLOGÍA DOMINANTE
POLÍTICA
EVALUACIÓN
ALTERNATIVAS DE
INTERVENCIÓN
CIENCIA/CONOCIMIENTO
IMPLANTACIÓN
DISEÑO DE
PROGRAMA
Lugar de la evaluación de programas y proyectos
sociales en el ciclo de la intervención social
 La evaluación no es una parte inicial o final del proceso de
creación u operación de un proyecto o programa social
sino que es un elemento constitutivo e inseparable del
mismo. Planificación, ejecución, evaluación son un todo o
momentos del todo en continua interacción
 Diseño y planificación miran hacia delante / la evaluación
mira hacia atrás (aprender de lo hecho, los aciertos y los
errores, para recomendar giros o refuerzos en la acción
futura).
 La ausencia de sistematicidad en el diseño del programa y
claridad en su modalidad de gestión y ejecución dificulta la
definición de objetivos y características de una evaluación.
Requerimientos técnicos para una evaluación
rigurosa
 Que el proyecto o programa sea una intervención




sistemática y estructurada
Tenga claridad en objetivos y en destinatarios
Tenga claridad en su hipótesis (estrategia) de
intervención (unidad de intervención, qué hacer y
cómo)
Disponga de una forma de organización de los recursos
y agentes involucrados, una modalidad definida de
gestión
Claridad en preguntas a las cuales se espera responda
la evaluación (el qué y para qué de la evaluación)
Diseño de un programa y proyecto:
Elementos cruciales del diseño
 Diagnóstico del problema (recorte y descripción de una realidad)
– Identificación del problema y las necesidades / situaciones en que se expresa y
consecuencias que tiene para el grupo humano. Priorización y dimensión de el o
los problemas y a quiénes afecta. Dimensión del problema.
– Causas principales y factores condicionantes y efectos del problema (árbol de
problemas y árbol de posibilidades).
– Identificación de factores sobre los cuales es posible y no es posible actuar
 Diseño del programa
– Fin y propósito: qué se desea conseguir
– Objetivos y sub-objetivos: Qué resultados se espera obtener (definición clara,
específicos, factibles, medibles, insertos y coherente con fin y propósito),
expresados en metas y plazos.
– Grupo objetivo o destinatarios: a quien o quienes se dirige
– Principios orientadores tras el programa: asistir, invertir en capital humano,
expandir capital social, fomentar la participación social y ciudadana (control
social), abrir oportunidades
– Camino de solución: teoría tras el programa e hipótesis/estrategia de intervención
(operar el cambio), descarte de caminos alternativos.
Diseño de un programa y proyecto:
Elementos cruciales / mínimos

Diseño del programa
– Componentes y acciones y sus productos (qué hace)
– Metodología de trabajo (cómo lo hace)
– Modalidad de gestión: ¿con quiénes? Actores involucrados, funciones y
responsabilidades, organización entre ellos
– Financiamiento y recursos materiales
– Diseño para el monitoreo y evaluación del programa (sistema de información)
 Implantación o ejecución
– Plan de trabajo: actividades y cronograma
– Insumos: recursos humanos, materiales y financieros
– Monitoreo o seguimiento de aspectos financieros y uso de recursos, de
actividades, de procesos y resultados (productos)
 Evaluación para hacerlo mejor, aprender, transformar
ejemplo
Diseño de un programa y proyecto:
Ejemplo: Diagnóstico y Diseño
Altos niveles de consumo de alcohol y drogas entre los
jóvenes
Bajo nivel de autoestima entre los jóvenes
Bajas expectativas personales
Mala convivencia al interior de la familia
Hacinamiento
Dependencia económica y precariedad habitacional
Alto nivel de desempleo entre jóvenes de 18 a 24 años residentes en la población X de la
comuna Y.
Falta de conocimiento y escasez de
oportunidades laborales dentro de la comuna
Bajo nivel de competencias laborales entre los
jóvenes
Poca motivación y oportunidades para los jóvenes
Bajos niveles de escolaridad de los jóvenes
Alto nivel de deserción escolar
Bajo nivel educacional de los padres
Herramienta para evaluar el diseño de un
programa o proyecto: Matriz de marco lógico
 Instrumento de diseño y de evaluación del diseño de un programa
– Fin del programa (no implica que el programa en si mismo será suficiente para
lograr el fin, si debe contribuir al mismo)
– Propósito del programa: resultado directo a ser logrado y en quiénes
– Componentes del programa: productos y/o servicios que entrega el programa y la
modalidad de entrega
– Actividades del programa: tareas que debe cumplir para el logro de cada uno de los
componentes y organización y gestión del programa
– Insumos y recursos necesarios
 En relación con los 5 elementos se definen indicadores (especificaciones
cuantitativas que verifican la presencia /ausencia o nivel de logro de cada
elemento), medios de verificación (como se obtiene la información sobre el
indicador) y supuestos (acontecimientos fuera del control directo del programa
que deben ocurrir para lograr la implementación de los productos y servicios,
el propósito y el fin del programa).
 Facilita realizar una análisis lógico de coherencia del diseño del programa,
identifica a los actores involucrados y los supuestos sobre su conducta respecto
al programa.
ejemplo
Ejemplo
FIN
Bajo Consumo de alcohol entre jóvenes
PROPÓSITO
Jóvenes con competencias laborales
PRODUCTO 1
Cursos de capacitación accesibles
ACTIVIDADES
1. cursos de capacitación para jóvenes en
horarios vespertinos
2. becas da capacitación
3. …..
PRODUCTO 2
Talleres familiares habilitados
ACTIVIDADES
1. Taller de dinámica familiar
2. Actividades recreativas familiares
3. ……
Comentarios y preguntas sobre el diseño de
programas sociales
 ¿Cuándo se termina el diseño de un programa?
¿Quiénes hacen el diseño? Importancia de la
acción de los implementadores directos en terreno.
 Cercanía – distancia entre diseño e
implementación. Papel fundamental de la
implementación
 Estandarización - flexibilidad del diseño
 Cambios o modificaciones al diseño del programa
(metas, modalidad de trabajo, organización,
aspectos operativos, colaboración con otros).
Trabajo grupal 1: grupos según cargo en la
institución a que pertenecen (45 minutos
aproximado)
DEFINICIONES DE EVALUACIÓN DE PROGRAMAS
SOCIALES
 Conjunto ordenado y sistemático de procedimientos que permiten
establecer un juicio u opinión sobre el mérito o valor de un
programa para tomar decisiones sobre él, que apunten a su
mejoramiento.
 Aplicación de métodos y técnicas de las ciencias sociales para
levantar juicios relativos a la utilidad y eficacia de las acciones
implementadas.
 Acto de juzgar el mérito o valor de alguna intervención social, en
algún momento del tiempo (por ej., en alguna fase del ciclo de
programación social; antes, durante o después de la intervención
social), de acuerdo a un conjunto de criterios (que pueden ser preestablecidos o no) y con propósitos de generar algún tipo de
transformación social.
 Actividad programada de reflexión sobre la acción, basada en
procedimientos sistemáticos de recolección, análisis e interpretación de
información, con la finalidad de emitir juicios valorativos
fundamentados y comunicables sobre las actividades, resultados e
impactos de un proyecto o programa y formular recomendaciones para
tomar decisiones que permitan ajustar la acción presente y mejorar la
acción futura
Elementos definitorios de una evaluación
 Tarea rigurosa y programada
 Reflexión sobre la acción basada en procedimientos
sistemáticos en base a información, mediciones y
comparaciones (rigor metodológico)
 Adopta un punto de vista o criterio que orienta el análisis y
que es necesario explicitar
 Como resultado, emite un juicio de valor sobre un
proyecto, programa o política
 Formula recomendaciones para perfeccionar la acción
(resultados se utilizan para la toma de decisiones)
¿Para qué evaluar? Evaluación =
aprendizaje y transformación
 Evaluación no es control de unos actores sobre otros, no es
fiscalización
 Es aprendizaje compartido entre quienes participan de las
gestiones de los programas y proyectos, de modo de
provocar transformaciones en las situaciones
insatisfactorias y en los modos de actuar para su resolución
– Modificar situaciones de adversidad, inequidad,
vulnerabilidad
– Da cuenta de la manera en que las acciones
desplegadas resultan o no adecuadas
– Dar cuenta de la eficiencia y eficacia en el uso de
recursos
– Sugerir cambios que es aconsejable introducir
¿Qué queremos evaluar? Tipos y
temas de
evaluación
 Criterios de clasificación
– Momento en que se realiza la evaluación: antes,
durante o después
– Quiénes intervienen en la evaluación y son
responsables de ella (interna o externa)
– Aspecto a evaluar del programa o proyecto
ASPECTOS QUE SE EVALÚAN
 Etapas del ciclo de un programa: antes, durante, ex -
post
– Antes: Evaluación del diseño del programa: si debe implementarse
o no en función de una estimación de su eficacia, pertinencia,
coherencia interna, factibilidad y rentabilidad económica
– Durante: Evaluación como instrumento de gestión (monitoreo o
seguimiento). Mira aspectos operativos y procesos. Si se cumple el
proyecto de acuerdo a la propuesta inicial. Genera información
sobre procesos, actividades y los productos y los compara con las
metas formuladas. Identifica aspectos no esperados.
– Ex - .post: evaluación de resultados a nivel de efectos e impacto e
identificación de factores que contribuyen a producir estos
resultados. Elemento central : línea base (diagnostico situación
inicial y control de variables relevantes externas a la intervención).
¿conviene seguir implementando el proyecto?, en caso afirmativo,
¿qué aspectos pueden mejorarse a futuro?.
Temas que se evalúan
 Evaluación de insumos, incluye evaluación
económica
 Evaluación de procesos y productos
(dinámica institucional, política y
organizacional de la implementación)
 Evaluación de efectos e impacto, esperados
y no esperados
 Evaluación estratégica o integral
Según atributos del programa que se evalúan








De pertinencia, medida en la cual una política o programa, sus opciones
metodológicas y su lógica de intervención, responden a las necesidades de la
población.
De focalización, se refiere a la medida en que una política o programa llega a su
población objetivo.
De cobertura, a cuántos de sus posibles beneficiarios un programa entrega sus
beneficios.
De proceso, se refiere a las actividades y procedimientos que se realizan durante la
implantación de la política o programa para determinar cómo éste está actuando.
De eficiencia, determinando si los resultados que se obtienen son adecuados a los
medios utilizados. Costo de oportunidad de asignar recursos a un programa en
relación con otro
De eficacia, se refiere a la medida en la cual existen pruebas de que los objetivos de
la política o programa se han logrado. Costo - eficacia de la evaluación.
De efectividad, medida en que una política o programa ha alcanzado el conjunto de
efectos sobre la población objetivo que se habían previsto.
De satisfacción, entendida como el sentimiento subjetivo por parte de los
beneficiarios respecto de la política o programa.
Otras distinciones
–
–
–
–
Evaluación sumativa y formativa
Evaluaciones participativas
Externa - interna
Metodologías y técnicas cuantitativas y
cualitativas
VENTAJAS E INCONVENIENTES DE LA EVALUACION
DENTRO/FUERA
VENTAJAS
Evaluación desde dentro
-Optimiza la mejora del
programa.
-Minimiza la reactividad de los
sujetos.
-Menos costosa.
-Mayor influencia sobre el
programa.
Evaluación desde fuera
-Maximiza la objetividad.
-Maximiza la utilización de
tecnología dura (diseño,
instrumentos).
-Maximiza la credibilidad
social de la evaluación.
-Maximiza la utilización de
estándares.
INCONVENIENTES
-Minimiza la objetividad.
-Minimiza la credibilidad
social de la evaluación.
-Minimiza la utilización de
estándares y tecnología dura.
-Minimiza las posibilidades de
mejorar el programa.
-Maximiza la reactividad de
los sujetos.
-Más costosa.
-Menor influencia sobre el
programa.
EVALUACION CUANTITATIVA Y
EVALUACION CUALITATIVA
Evaluación cuantitativa
Evaluación cualitativa
Paradigma positivista/empírico
Paradigma fenomenológico y
constructivista
Predominio de la deducción
Predominio de inducción, comprensión,
interpretación
Diseño experimental y cuasiexperimental
Investigación naturalista
Perspectiva desde fuera (observador
externo)
Perspectiva desde dentro (actores
involucrados)
Lenguaje numérico
Aspectos objetivos, observables,
cuantificables
Lenguaje verbal y observación de
conductas
Captación y comprensión de actitudes,
valores, motivaciones,
Análisis estadístico
Estudios de casos, desarrollo de procesos
Resultados generalizables
estadísticamente
Resultados limitados en su generalización
Diseños y herramientas para
realizar la evaluación
 Evaluación de efectos e impacto (grupo de control,
línea base, análisis contrafactual, diseños
experimental, cuasiexperimental, natural, de
control de variables)
 Seguimiento de procesos, análisis de actores,
estudios de caso, etc.
 Análisis económicos de costos y costo- eficacia
 Técnicas de evaluación (recolección de
información)
Requerimientos político institucionales de una evaluación
 Usuario de la evaluación y sus expectativas
 Independencia de la evaluación
 Clima político abierto a la evaluación y a
incorporar los resultados
 Oportunidad de los resultados (momento)
 Lenguaje en que se expresan y comunican
los resultados
Trabajo 2: parte individual
(15 minutos, entregar por escrito)
Trabajo 2: parte grupal
(40 minutos aproximado)
Propuesta de trabajo / tarea inter- sesión
Fecha de entrega informe:
lunes 26 de Noviembre o antes; enviar por correo
electrónico a taller@fundacionemmanuel.cl
Referencia Bibliográfica
 José Sulbrandt "La evaluación de los programas
sociales. Una Perspectiva Crítica de los Modelos
Usuales ", pág. 309-350. Bernardo Kliksberg
(compilador), en “Pobreza. Un Tema
Impostergable. Nuevas Respuestas a Nivel
Mundial”, Fondo de Cultura Económica, México,
primera edición 1993.