Download Evaluación Experimental De principio a fin

TRANSLATING RESEARCH INTO ACTION
Evaluación Experimental
De principio a fin
Claudia Martínez A.
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
Agenda del Curso
1. Evaluaciones de impacto: ¿Qué son? ¿Por qué
hacelas? ¿Cuándo hacerlas?
2. Marco lógico, indicadores y medición del impacto
3. ¿Por qué aleatorizar?
4. ¿Cómo aleatorizar?
5. El tamaño muestral 6. Implementar una evaluación
7. Análisis e inferencia
8. Evaluación Experimental: De Principio a Fin
• Investigación en progreso: “Investing in (secondary) schooling in Chile” (Taryn Dinkelman, Claudia Martínez A.).
Contexto: Educación en Chile I
• País con ingreso medio, alta desigualdad, baja mobilidad.
• Educación primaria: matrícula universal. ✔
• Educación secundaria: obligatoria, matrícula < universal
– Fuerte aumento de la tasa de graduación: 46% (1995) to 75% (2005)
Contexto: Educación en Chile II
• Educación post‐secundaria: – Universidades/institutos técnicos, pública y privada, cara
– Uno de cada tres adultos tiene educación post‐
secundaria
• Expansión reciente de ayuda financiera (2000s)
• 2 programas de créditos, múltiples becas
• Difícil acceso(OECD 2009)
• Elegibilidad asociada a notas de educación secundaria y resultado en PSU
Contexto: Educación en Chile III
• Alto retorno a la educación  mecanismo para superar la pobreza
Source: Chilean LFS, June 2007
Source: Chilean LFS, June 2007
¿Por qué los niños/jóvenes no se educan? • Hipótesis:
– Alto costo de oportunidad: CCT
– Restricciones al crédito: proveer crédito económico/eliminar aranceles
– Retornos a la Educación mal percibidos: proveer información
– Altos costos de información: asistir con las aplicaciones
Preguntas de Investigación
•
Clave: entender cuál es la pregunta
– Evaluación de impacto de un programa existente: ¿Funciona el programa?. Importancia de entender los mecanismos.
– Si Ud. Diseña la intervención: libertad en la pregunta a responder. Evitar las cajas negras.
• De todas las alternativas, ¿qué es relevante?, ¿qué se puede hacer?.
Preguntas de Investigación
• ¿Cuál es el impacto de entregar información
sobre ayuda financiera para educación post‐
secondaria a niños antes de que entren a educación secundaria?
• ¿Cuál es el efecto adicional de que los padres, además de los niños, reciban esta
información?
Motivación Teórica
• ¿Cuál es el impacto de entregar información sobre ayuda financiera para educación post‐
secondaria?
– Hay un problema de información?
• ¿Cuál es el efecto adicional de que los padres, además de los niños, reciban esta información?
– Modelos de capital humano: ¿quién es el agente?
Motivación Práctica
• ¿Cuál es el impacto de entregar información sobre ayuda financiera para educación post‐
secondaria?
– Afectar el esfuerzo y escolaridad de ls niños.
• ¿Cuál es el efecto adicional de que los padres, además de los niños, reciban esta información?
– ¿Se debe intervenir en las escuelas o en las familias?
Definición de Tratamientos
• Identificar el problema y proponer una solución
– Visitas en terreno.
– Focus groups.
– Discusiones con profesores, directores, investigadores.
• Identificar a los principales interesados:
– Trabajo de Campo
– Donantes
• Hacer pilotos
Definición de Tratamientos II
• “Abre la Caja” , DVD de 15 minutos con información
estandarizada sobre oportunidades de ayuda
financiera (becas y créditos) y criterios de elegibilidad.
• Testimonio de 13 personas • Mensaje: El esfuerzo en la escuela ahora
afecta tu elegibilidad para becas y
créditos en el futuro. Definición de Tratamientos III
• Refuerzo del mensaje con una página web con acceso controlado.
Definición de Tratamientos IV
• ¿Cuál es el impacto de entregar información
sobre ayuda financiera?
– Tratamiento: Dar información en el DVD
• ¿Cuál es el efecto adicional de que los padres, además de los niños, reciban esta
información?
– Tratamiento 1: Dar información en la escuela
– Tratamiento 2: Dar información en la familia
Definición de Tratamientos V
Tratamiento 1 “Estudiantes”
Tratamiento 2 “Familia”
Grupo de Control
Diseño de Intervención • Diseño de la estrategia de aleatorización
– Marco muestral
– Unidad de aleatorización
– Estratificación
– Cálculo de Poder
Diseño de Intervención I • Marco Muestral: Establecimientos en la Región Metropolitana (Vulnerables, urbanos)
• Unidad de Aleatorización: Un curso en cada establecimiento educacional
• Externalidades
• Correlación Intra Cluster
Diseño de Intervención II
• Estratificación: Quintiles de resultados en test estandarizados anteriores.
• Cálculo de Poder Número de establecimientos necesarios.
Diseño de Intervención III
Establecimientos Vulnerables Región Metropolitana (220)
Tratamiento 1 “Estudiantes” (55)
Tratamiento 2 “Familia” (55)
Grupo de Control (110)
Implementación de la Intervención •
•
•
•
Documentar.
Manuales de Campo exhaustivos.
Entrenamientos exhaustivos.
Obtener aprobación de IRB.
Implementación de la intervención II
1. Contacto con directores de establecimientos (Call Center)
2. Visitas para obtener carta de aceptación en participar.
3. Aleatorización.
4. Coordinación línea base y tratamiento.
5. Visitas retiros cuestionarios.
6. Coordinación línea salida.
7. Visita retiro de cuestionarios.
Datos I: Encuestas
• Planificar datos a recolectar.
• Línea base:
– Chequeo de aleatorización
– Entender decisión de take‐up
– Medidas pre‐intervención:
• Efectos heterogéneos.
• Persistencia.
Datos I: Encuestas
• Línea de salida:
– “¿Cuánto debería esperar?”
– Consideraciones operacionales deben ser balanceadas. No hay una respuesta estandarizada.
– Se debe esperar lo suficiente para asegurarse que los impactos se materialicen.
– Recolectar buenos datos de contacto en la línea base permite tomar varias líneas de salida (en la medida que haya recursos y sea interesante)
• La planificación del terreno y diseño de cuestionario toma tiempo!
Datos II: Datos administrativos
• Utilizar datos administrativos:
– Test estandarizados
– Elección de establecimientos
– Asistencia
– Notas
• Recolección de datos administrativos (establecimientos, unidades centrales)
• Generar datos administrativos: uso de página web
Escuelas que aceptan: aleatoriamente asignar
Línea Base (mediados 2009)
Línea Salida (fines 2009)
Datos administrativos (al menos a Marzo 2010)
Tratamiento 1: Estudiantes
Tratamiento 1: Estudiantes
Tratamiento 1: Estudiantes
Tratamiento 2: Familia
Tratamiento 2: Familia
Tratamiento 2: Familia
Control
Control
Control
Timing de encuestas y fuentes de datos
Tratamiento Tratamiento
Escuelas
Estudiantes: Familia: Grupo de DVD Entrega de Control: mostrado en DVD en No DVD
la línea base línea base
Línea base, mediados Encuesta a estudiantes
2009
Estudiantes: encuesta de corto
plazo
Encuesta a los padres
Establecimientos: Notas de 7º
X X X X X X X X X Línea salida, fines 2009 Encuesta a estudiantes
X X X Encuestas a los padres
Escuelas: Ausentismo
X X X X X X [X] [X] [X] [X] [X] [X] Línea salida, Agosto
2010
Ministerio of Ed: Notas 8º, nuevo
establecimiento, absistencia
Test estandarizados (SIMCE)
X Implementación Práctica
• Se contactaron 400 establecimientos aprox.
• 227 aceptaron participar:
– 56 Tratamiento estudiantes
– 56 Tratamiento familia
– 115 grupo de control
• Línea base: 6,233 estudiantes. (Línea salida: 5,009)
Análisis de Resultados: Estrategia Empírica
yij =  + 1Estudiantej + 2Familiaj + ij
• Se estratifica por el quintil de la escuela de SIMCE
• 1 = ITTEstudiante , impacto directo de proveer la información de ayuda financiera en estudiantes en la escuela yij
• 2 = ITTFamilia, impacto directo de proveer la información de ayuda financiera a las familias en su hogar en yij
Resultados
• Efectos “familia” más grandes, pero no distintos al tratamiento “estudiantes”
• Financiamiento:
– Aumento conocimiento créditos y becas
– Disminuyen los que “no saben”
• Efecto en expectativas.
– No hay efecto en expectativas de estudiar después de secundaria o años de estudio
– Efecto del tratamiento familia en la probabilidad de estudiar en la universidad.
Resultados II
• Ausentismo: Disminuye el ausentismo autoreportado y reportado por las escuelas.
Resultados: Interpretación
• ¿Es la intención de tratamiento lo que queremos analizar?
– Efecto de entregar el DVD vs
– Efecto de ver el DVD
• Un 70% de los estudiantes en el grupo de tratamiento vieron el DVD.
• Intención de Tratamiento: efecto de entregar el DVD
Resultados: Interpretación (II)
• ¿Cuál es el efecto de ver el DVD?
– ITT entrega esta respuesta para el grupo de estudiantes. (ITT=ATE).
– ITT no entrega esta respuesta para el grupo de familia.
• Alternativas:
– Instrumentar en el grupo familiar el ver el DVD por la asignación del tratamiento. (TOT)
– Reponderar el grupo de estudiantes para hacerlo similar al grupo que vio el DVD en el grupo familia
Resultados: Interpretación (III)
• Grupo “familia” tiene el mismo efecto que grupo “estudiantes”
Conclusión
• Entrega de información tiene efectos en expectativas, planeación de financiamiento y asistencia escolar.
• Entregar la información en el hogar no es distinta a entregarla en la escuela.
– ¿Por qué los padres no tienen efecto adicional?
• Gracias!
BONUS: Efecto de Corto Plazo
• En el grupo “estudiantes”
– Financiamiento: •
•
•
•
Con becas: 20% aumento Con créditos: 100% aumento
No saben : disminución de 7,6%
Finaciamiento familia: 0
– Expectativas:
• Estudiar después de secundaria: aumento en 3.4% (base: 75%)
Resultados: Financiamiento
Becas
Créditos
Familia
No sabe
Tratamiento 1 (Estudiantes)
‐0,009
(0,017)
0,037***
(0,011)
0,000
(0,018)
‐0,006
(0,020)
Tratamiento 2 (Familia)
0,037*
(0,022)
0,030***
(0,011)
0,021
(0,018)
‐0,051**
(0,020)
Errores estándard en paréntesis, cluster a nivel de establecimiento. Incluye efectos fijos
de estrato.
Resultados: Expectativas
¿Crees que
estudiarás
después de secundaria?
¿Cuántos años ¿Crees que
después de estudiarás en la secudaria crees Universidad?
que
estudiarás?
Tratamiento 1 (Estudiantes)
0,016
(0,020)
‐0,041
(0,114)
0,005
(0,020)
Tratamiento 2 (Familia)
0,007
(0,019)
0,123
(0,103)
0,037*
(0,020)
Errores estándard en paréntesis, cluster a nivel de establecimiento. Incluye efectos fijos
de estrato.
Resultados: Ausentismo
Autoreportado
Ausente la semana
pasada
Datos de la escuela
Número de días ausente
Ausente la semana
pasada
Número de días ausente
Tratamiento 1 ‐0,029
(Estudiantes)
(0,026)
‐0,15*
(0,078)
‐0,064
(0,05)
‐0,656
(0,416)
Tratamiento 2 ‐0,023
(Familia)
(0,028)
‐0,144*
(0,077)
‐0,128**
(0,051)
‐0,719
(0,440)
Errores estándard en paréntesis, cluster a nivel de establecimiento. Incluye efectos fijos
de estrato.