Download Por qué y cuándo evaluar y Teoría del Cambio

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Resultados educacionales en
sectores de bajos ingresos:
Evidencia de dos evaluaciones
aleatorias en Chile.
Francisco Gallego
PUC-Chile y J-PAL LAC
povertyactionlab.org
Motivación
• ¿Cómo mejorar resultados de educación en escuelas de bajo rendimiento?
• Probablemente uno de los temas más debatidos en educación. Dos puntos
de vista:
– Intervenciones deben ser tempranas, duraderas y multidimensionales
(eg. Carneiro & Heckman, 2003).
– Intervenciones cortas, fuertes y enfocadas también pueden funcionar
(Banerjee et al, 2007; Banerjee & Duflo, 2011).
– Tal vez ambos puntos estén correctos: El primero considera que las
escuelas operan en la frontera de tecnología y el segundo que operan
dentro de la frontera.
• Mirada simple de datos de Chile
• Discuto dos evaluaciones aleatorias de programas que se encuentran bajo
este segundo punto de vista: en un caso usando una intervención
enfocada en el lado de la demanda y otra enfocada en el lado de la oferta.
Motivación
• Intervención I (Lado de la oferta): Servicio País en Educación
(SPE), junto a Verónica Cabezas, PUC-Chile, y José I. Cuesta, JPAL.
–
–
–
–
–
Implementada por una ONG local con fondos del MINEDUC.
Tutorías en grupos pequeños para estudiantes de cuarto grado.
Tutores son estudiantes universitarios “voluntarios.”
Objetivo: Impactar resultados cognitivos y no-cognitivos en lectura.
Detalles:
• 3 meses (12 sesiones)
• 2 regiones (RM y VIII)
• 39 escuelas intervenidas
• 2,797 estudiantes intervenidos.
Motivación
• Preguntas de la evaluación:
– ¿Puede SPE, una intervención corta y tardía,
mejorar habilidades cognitivas y no-cognitivas
relacionadas a la lectura? ¿Efectos heterogéneos?
– ¿Existe una relación entre estos tipos de
habilidades?
– ¿Es el programa costo-efectivo?
Motivación
• Intervención II (lado de la demanda): Proveer información a padres de
familias de bajos ingresos (junto a Ryan Cooper, J-PAL; Francisco Lagos,
MINEDUC; Yael Stekel, USC).
– Implementado por nosotros para “graduandos” de la Fundación
Integra, el segundo proveedor más grande de educación pre-escolar
en Chile en vecindarios de bajos ingresos (el 98% de nuestra muestra
viene de los tres primeros quintiles de ingresos).
– Nuestra muestra son los últimos años de pre-escolar en:
• Las tres regiones más grandes del país: Santiago, Valparaíso y
Biobío, ubicadas en áreas urbanas (criterio de Integra).
• Con una competencia “suficiente” de escuelas:
– Por lo menos 10 escuelas dentro de 2 km.
– Municipalidades en las que escuelas primarias, pre-escolares ≥ 2
Fuente: Cortes et al. 2009
• 143 centros pre-escolares, 118 en Santiago, 15 en Biobío y 10 en
Valparaíso.
• Dos tratamientos:
– Tratamiento 1: en reuniones regulares, entregamos reportes
sobre escuelas (desarrollados y pre-testeados en Cortés et al.,
2009). Los reportes incluyen información sobre el rendimiento
de las escuelas y otros factores valorados por padres,
incluyendo precio, tamaño y tipo (privada o pública).
• Sólo para escuelas cerca del centro pre-escolar y limitado a 30
escuelas debido a límites de espacio.
• Reportes acompañados de mapas para localizar escuelas.
• Reunión: cada padre recibió una copia del reporte y el mapa, se
explicó públicamente y hubo tiempo para hacer preguntas sobre el
reporte.
Tratamiento
• Tratamiento 2: Reporte + Video basado en tres testimonios de personas de
background similares (modelos a seguir; Nguyen, 2008).
– Madre que decidió cambiar a su hijo de escuela entre el primero y segundo grado
para matricularlo en un colegio de alto rendimiento (puntajes estandarizados).
– Joven que fue a un colegio de alto rendimiento, lo cual le permitió ir a una
universidad y que se encuentra terminando estudios de ingeniería.
– Mujer que fue a un colegio de alto rendimiento que le permitió estudiar una carrera
vocacional y ahora tiene un trabajo en un banco.
• También dimos información sobre retornos de la educación universitaria en
Chile (en promedio, aquellas personas con grados universitarios tienen ingresos
3 veces mayores que aquellas personas con grados de escuela secundaria).
• Grupo de comparación: reunión para discutir el fin del año escolar.
• Notar que todos los grupos recibieron los “semáforos educacionales” mal
implementados.
Motivación
• Preguntas de la evaluación:
– ¿Puede información simple sobre resultados de aprendizaje cambiar
las decisiones de los padres de familias de bajos ingresos sobre dónde
enviar a sus hijos a la escuela? ¿Es el hecho que la calidad sea un
atributo inferior (Gallego & Hernando, 2009) consecuencia de la falta
de información?
– ¿Existen efectos adicionales si los padres están informados sobre los
retornos de la calidad de las escuelas?
– ¿Existe algún efecto en resultados de aprendizaje de los estudiantes
que se cambiaron de su escuela escogida? (Aún no hay datos
disponibles).
Avance de los Resultados
Intervención del lado de la oferta:
• El programa tuvo, en promedio, impactos significantes marginales.
• Se observan impactos significantes en varias sub-muestras. La magnitud
de estos impactos es relevante económicamente – entre 0.12σ y 0.18σ
para comprensión de lectura. En otras variables el impacto es aún más
alto.
• Enlace interesante entre los impactos en habilidades cognitivas y nocognitivas.
• No hay evidencia de externalidades, aún cuando el programa substituyó
otras clases.
• Costo-efectividad: en un rango similar a otros programas (más caro que
programas a base de incentivos, pero más barato que JEC).
Avance de los Resultados
Intervención del lado de la demanda:
• Los reportes tienen efectos estadística y económicamente significativos en
puntajes de exámenes, distancia, y precio de la escuela escogida.
Incrementó la selección de escuelas a base de puntajes, pero disminuyó la
enseñanza de valores y otros aspectos.
– No se observaron efectos en estudiantes ya matriculados en escuelas cuando
se hizo la intervención (estos estudiantes no son diferentes a los no
matriculados en cuanto a ingresos, pero si asisten a mejores colegios, más
caros y ubicados a distancias más largas).
– El video no tuvo efectos adicionales aparte de aquellos de los reportes y
parece que redujo un poco los retornos esperados de asistir a la universidad.
No hay evidencia que esto afectó la selección de escuelas.
Avance de los Resultados
Interpretación
• Ambas intervenciones sugieren que se puede mejorar resultados
educacionales en vecindarios pobres con intervenciones simples.
Resultados son similares a los de Banerjee y Duflo (2010) y de muchas
otras intervenciones de J-PAL.
• Mi interpretación es que varias escuelas operaban dentro de su frontera
debido a la falta del buen uso del tiempo, presiones de competencia, etc.
• Ambas intervenciones sugieren que la implementación es clave.
– Efectos de SPE dependen en implementación
– Grupo de control en experimento de información.
• Como siempre, efectos heterogéneos: políticas generalizadas vs.
Intervenciones personalizadas.
Literatura Relacionada: SPE
• Dos áreas relevantes de la literatura:
1. Programas de educación remedial
•
•
•
•
•
Balsakhis en India: mejorías de 0.14σ después de un año y de 0.28σ
después de dos años (Banerjee et al., 2000).
SMART (tutorías, lectura): programa en Oregon con mejorías de entre
0.30σ a 0.40σ (Baker et al., 2000).
Programas de tutoría en India (voluntarios, lectura): mejoraron en un 2640% el rendimiento en lectura (Banerjee et al., 2010).
Programa de tutorías Howard Street en Chicago: mejorías de entre 0.40σ
y 1.77σ (Morris et al., 1990).
School Volunteer Development Project en Florida: mejoró resultados de
lectura por 0.50σ después de un año (Wasik, 1998).
• SPE es diferente ya que es mucho más corto que estos programas (a
excepción de Banerjee et al., 2010) y trata a todos los estudiantes en la
clase.
2. Intervenciones cortas que afectan el rendimiento:
– Amenaza de cerrar escuelas de bajo rendimiento en NYC:
mejorías de 0.05σ en tan sólo unos meses.
– Una campaña de lectura de un mes en Filipinas mejoró el
rendimiento en lectura de estudiantes de cuarto grado por
0.12σ (0.06σ) después del programa (3 meses después).
(Abeberese et al., 2010).
– Tutorías de tres meses en India (discutido anteriormente;
Banerjee et al., 2010).
Literatura Relacionada: Información
• Dos áreas relevantes:
1. Modelos de selección de escuelas semi o estructurales
(también hay evidencia de modelos de forma reducida)
– Chumacero, Gómez y Paredes (2011): padres en Chile dispuestos a viajar
largas distancias cuando mejora la calidad de las escuelas.
– Gallego y Hernando (2009): la calidad es un atributo superior comparado a la
distancia de las escuelas.
– Chumacero, Meneses, Paredes, Urzua (2009) resultados similares.
– Varias investigaciones fuera de Chile: Hastings et al. (2009), Bayer y McMillan
(2010), Carneiro (2010) para Pakistán.
2. Intervenciones de Información (sólo RCTs)
– Reportes sobre escuelas: Hastings y Weinstein (2007) para los EEUU, Andrabi et al
(2010) para Pakistán.
– Información sobre retornos de educación (no de la calidad…): Jensen (2010), Nguyen
(2008).
• Varias intervenciones relacionadas a dar información
sobre retornos de tecnologías desconocidas (Banerjee y
Duflo, 2010; website de J-PAL).
Esta intervención combina la provisión de información en
dos dimensiones: calidad de escuela y retornos de la
calidad de la escuela.
El Programa: SPE
• Implementado por la Fundación para la Superación de la Pobreza con
apoyo del Ministerio de Educación.
• 15 sesiones de tutorías en grupo durante tiempo de clases.
• Tutores son voluntarios universitarios.
• Grupos de ~6 estudiantes por tutor.
• Enfoque en escuelas de bajo rendimiento.
• Comienza en Sept. 2010, finaliza en Nov. 2010.
• Objetivos:
– Impacto en actitudes hacia lectura
– Impacto en comprensión lectora
– Impacto en voluntarios.
• Sólo evaluamos 1 y 2.
Diseño Experimental
• Lista de colegios elegibles construida usando criterios de FSP
–
–
–
–
Escuelas de bajo rendimiento
Set limitado de condados
Escuelas o grupo de escuelas con más de 100 estudiantes.
Dependencia de las escuelas en algunos condados.
El programa es asignado aleatoriamente al nivel de la escuela.
La aleatorización es estratificada por condado, grupo socioeconómico y
puntajes en prueba SIMCE.
Se hizo una lista de escuelas de reemplazo ex-ante para reemplazar
escuelas rechazadas.
Recolección de Datos
• Aplicamos dos instrumentos, tanto en línea de base como en línea final:
1. Comprensión lectora y producción de textos (CLPT, Medina y Gajardo, 2010): se
enfoca en 3 habilidades cognitivas:
1.
2.
3.
Comprensión lectora
Uso de lenguaje
Producción de texto
2. Gusto por lectura (GPL, construcción propia basado en McKenna y Kear, 1990;
McKenna et al., 1995; Ow, 2004): enfocado en 4 habilidades no cognitivas:
1.
2.
3.
4.
Auto-percepción como lector.
Gusto de leer
Interés por la lectura
Percepción de lectura en escuelas
3. Procesamos información de la operación del programa.
4. Datos administrativos del MINEDUC
El Programa: Información
• Trabajamos con Fundación Integra – segundo proveedor de
educación pre-escolar más grande de Chile.
• Trabaja con 72,000 estudiantes en todo el país en sus 1,000
centros pre-escolares gratis, enfocado en zonas de bajos
ingresos.
• Nuestra muestra son los últimos años de pre-escolar en:
• Las tres regiones más grandes del país: Santiago,
Valparaíso y Biobío, ubicadas en áreas urbanas (criterio
de Integra).
• Con una competencia “suficiente” de escuelas:
– Por lo menos 10 escuelas dentro de 2 km.
– Municipalidades en las que escuelas primarias, pre-escolares ≥ 2
La Muestra
Aleatoriamente asignamos cada centro pre-escolar al grupo T1,
T2, o Control; estratificando por región, nivel final, y dos criterios
de competencia.
Entre Agosto y Diciembre de 2010, se contactó a cada centro pre-escolar y se les
preguntó si tenían alguna reunión con padres planificada (por Independencia, fin del
año, etc.).
Si no, se les pidió que organizaran una. Lo importante era que la reunión no fuera
sobre la provisión de información.
De los 143 centros, tuvimos reuniones en 133.
Centros sin reuniones son diferentes en ciertas dimensiones.
Información sobre Procesos: SPE
• La implementación del programa parece ser relevante desde
la perspectiva de los estudiantes.
• Estimamos correlaciones entre las evaluaciones del programa
hechas por los estudiantes y medidas de implementación del
programa.
Resultados
• Presentamos resultados por cada habilidad evaluada.
• Discutimos correlaciones entre habilidades cognitivas y no
cognitivas.
• No hay impacto estadísticamente significante, en promedio.
• Estimamos el impacto en sub-muestras por:
–
–
–
–
Región
Vulnerabilidad del estudiantes
Rendimiento académico del estudiante
Estas sub-muestras están balanceadas en todas las variables.
Impactos económica y estadísticamente significantes en ciertas
sub-muestras.
Habilidades Cognitivas
Resultados
• Impacto significativo en comprensión lectora
– Impacto de 0.085σ, en promedio.
– Impacto de 0.18σ en escuelas de VIII región.
– Impacto de 0.125σ en escuelas vulnerables de VIII región.
• Uso de Lenguaje similarmente impactado:
– Impacto de 0.28σ en escuelas vulnerables de VIII región
– Impacto de 0.38σ en escuelas de bajo rendimiento de VIII región.
• Implementación parece ser relevante.
• Impactos enfocados en escuelas relativamente pobres.
Habilidades No-Cognitivas
• Auto-percepción como lector y percepción de lectura
en escuelas son las dimensiones más cercanas a las
habilidades cognitivas.
• El tamaño de los efectos es grande.
• Mecanismo o efecto?
• Otras dimensiones muestran algunos efectos, pero
difícil de interpretar.
Externalidades
• ¿Tiene el programa efectos en otras áreas aparte de lectura?
• Estimamos el impacto del programa en notas
• Datos administrativos de notas en: puntajes promedios, arte,
inglés, historia, lenguaje, educación física, educación
tecnológica.
– Las agrupamos en categorías: humanidades, ciencias, etc.
• Resultados no muestran externalidades negativas pero sí
ciertas externalidades positivas en las humanidades.
Costo-efectividad
Resultados: Información
• Resultados principales relacionados con
escuela seleccionada (datos administrativos),
pero también preguntamos a los padres sobre
las razones detrás de sus decisiones.
Conclusiones
• Ambas intervenciones sugieren que se puede mejorar resultados
educacionales en vecindarios pobres con intervenciones simples.
Resultados son similares a los de Banerjee y Duflo (2010) y de muchas
otras intervenciones de J-PAL.
• Mi interpretación es que varias escuelas operaban dentro de su frontera
debido a la falta del buen uso del tiempo, presiones de competencia, etc.
• Ambas intervenciones sugieren que la implementación es clave.
– Efectos de SPE dependen en implementación
– Grupo de control en experimento de información.
• Como siempre, efectos heterogéneos: políticas generalizadas vs.
Intervenciones personalizadas.
¿Para dónde seguir?
• J-PAL tiene un conjunto amplio de
evaluaciones experimentales que sugieren
que ALGUNAS intervenciones bien pensadas
pueden mejorar los resultados educativos en
zonas pobres de un modo no trivial y a costos
moderados.
Algunas Políticas Exitosas
Evidencia basada en evaluaciones aleatorias
Políticas para aumentar calidad
–
–
–
–
–
–
–
–
–
Incentivos a profesores, alumnos y padres
Trabajo con padres
Información sobre calidad de la educación
Tamaño de la sala de clases
Tracking/Efecto pares
Computadores
Tutorías
Aspectos de management
Aspectos no-cognitivos
Incentivos a profesores
• Escuelas en India rural (Karthik Muralidharan y Venkatesh
Sundararaman, 2011)
– Entrega de premios individuales aumenta resultados de
pruebas estandarizadas en >0.20 desviaciones estándar
respecto del grupo control. Premios individuales efecto
más altos especialmente luego del segundo año.
– Estos resultados son mayores que los que logran
programas de entrega de recursos (efecto en torno a
0.10 desviaciones estándar).
– No es aprendizaje de la prueba:
• Efectos positivos en pruebas no incluidas en la evaluación, en
componentes conceptuales y mecánicos de las pruebas.
Incentivos a profesores
• Israel: Lavy (2002, 2005), tipo torneo con colegios comparables (tipo
SNED)
– Efectos del mismo orden de magnitud. En estos trabajos se encuentra
que los efectos son más grandes en estudiantes más pobres y más
desaventajados.
• India: Duflo, Hanna, Ryan (2007)
– Efectos grandes de premiar la asistencia de los profesores a los colegios
(tiempo efectivo de clases)
• PERO:
– Fryer (2011): Efecto 0 de plan grupal de incentivos docentes manejado
por sindicatos de profesores en USA. Cuidado con los detalles.
– Kremer et al. (2010): Efectos que no se mantienen en el tiempo en Kenia
de una intervención corta. ¿No basta con poco tiempo?
Incentivos a alumnos y padres
• Berry (2010): Experimento en India ofrece incentivos a padres y a
niños de primaria por rendimiento académico
– Efectos grandes pero depende del contexto. Para padres (más) educados
mejor incentivos a padres, para resto mejor incentivos a niños.
– Más evidencia sobre incentivos a niños: estudiantes secundarios en Israel
(Angrist y Lavy, 2009), niñas primarias en Kenia (Kremer et al., 2005) y
estudiantes primarios en Ohio (Bettinger, 2010)
• PERO: Fryer en serie de papers sobre incentivos a niños:
– Efecto 0 a afro-americanos en USA cuando se premia resultados, efecto
positivo cuando se premia «prácticas adecuadas» (eg, hacer tareas vs sacar
buenas notas)
• Entendiendo las Transferencias Condicionadas (¿es transferencia?
¿condicionalidad? ¿ambas?)
– Barrera-Osorio et al. (2011) en Colombia. Momento importa.
– Baird et al. (2009, 2011) en Malawi. Condicionalidad importa
Trabajo con padres (parenting)
• Avvisati et al. (2010) en colegios marginales de
Francia:
– Reuniones para informar a padres en participación de sus hijos
en educación, organización del colegio, etc.
– Aumenta asistencia y aprendizaje y efectos en padres que
asistieron a reuniones y en otros alumnos
• Línea muy promisoria, sin ir a la familia es muy costoso
hacer mejoras en calidad.
• Falta más investigación
– Proyecto PAF con Fundación CAP en curso en Chile…
Información sobre resultados
• Hastings y Weinstein (2009) en USA
– Entrega de información comparada simple aumenta la
ponderación que dan los padres a la calidad al momento de
elegir, más fuerte en padres menos educados.
• Andrabi et al. (2009) en Pakistán, considera efectos de
equilibrio general al hacerse a nivel de villas. Aumenta
calidad y efectos en precios (sistema con un sector
privado muy alto)
• Pero Banerjee (2010) en India: sólo entregar información
de resultados generales no mejora manejo de consejos
escolares en India y resultados de colegios no cambian.
Tracking/Efecto Pares/Tamaño sala de
clases
• Duflo et al. (2007, 2008, 2010): Kenia interacciones entre
tracking, incentivos y tamaño de sala de clases
–
–
–
–
Disminuir tamaño de sala por si mismo no mejora resultados
Disminuir tamaño de sala con incentivos a profesores mejora resultados
Efecto positivo de tener mejores pares…
…pero tracking beneficia a los más desaventajados porque los profesores
se ajustan mejor a sus necesidades
• Área clave: mucha mitología (¿ideología?) de que el efecto de los
pares es lineal en medias y de que salas más pequeñas mejoran
resultados
– En tema de salas evidencia de política muy poco costo-efectiva.
Computadores
• Banerjee et al. (2007) para India:
– Uso de software que se ajusta al alumno y que implica que aumenta el
tiempo de dedicación del alumno a trabajar mejora resultados
significativamente
– Clave hacer atractivo usar tiempo en aprender. También consistente con
resultados de experimentos para pre-escolares en India y lenguaje (He et al.,
en progreso)
•
•
Leigh Linden en serie de papers: Si computadores sustituyen al profesor:
efectos negativos
Barrow et al. (2009): efecto positivo de software de enseñanza en
matemáticas especialmente vía disminuir efectos negativos de la
varianza en la sala de clases. Interpretación: permite ajustar mejor el
alumno a su ritmo de aprendizaje
– Consistente con resultados de He et al. (en progreso) para India:
computadores no afectan igual a niños de diferentes capacidades.
Tutorías
• Banerjee et al. (2004) para India:
– Uso de Balsakhis (mujeres para-docentes) que apoyan a estudiantes
retrasados con sesiones en que se sacan fuera de la clase. Efectos
positivos y significativos.
• Banerjee et al. (2010) para India:
– Voluntarios de villas capacitados en pocas sesiones aumentan
resultados de niños de modo significativo
• Cabezas et al. (en progreso): Servicio País en Educación en
Chile. Estudiantes universitarios ~10 sesiones de apoyo en
lectura a cuarto básico: mejoras significativos en algunos
grupos (más pobres, vulnerables) y mejora gusto por la lectura
– Intervención de corto plazo con efectos positivos
– Intervención en niños pobres y no tan jóvenes
– Espacio para mejoras
Aspectos de Management I
• Angrist et al. (2002, 2006) para Colombia:
– Entrega de vouchers a niños para asistir a colegios privados tiene
efectos significativos en asistencia, aprendizajes e ingresos en el
largo plazo. Bettinger et al. (2010)
• Abdulkadiroglu et al. (2011) para Boston: efectos
positivos y grandes de charter schools. Efectos de pilot
schools (similares a los charters pero manejados por la
ciudad de Boston y sujetos a restricciones de manejo)
efecto cero.
Aspectos de Management II
• Burden y Linden (2010) para Afganistan:
– Colegios basados en villas (community schools) mejoran asistencia y
aprendizajes significativamente, especialmente para niñas.
• Duflo et al. (2010) y Nguyen y Lassibill (2008) para
Madagascar:
– Más eficiente decentralización de manejo de colegios que manejo desde
gobierno central.
Interacción No-Cognitivo/Cognitivo
• Un ejemplo: Evidencia en USA para colegios con modelos “No Excuses” y
“Kids in Power Program”.
– Un componente no menor de la intervención es cambio en
expectativas de profesores, padres y estudiantes: TODOS PUEDEN
APRENDER!
• Implica cambio curricular, más tiempo efectivo de enseñanza, aspectos
disciplinarios, etc.
– Experimental: Dobbie y Fryer (2011) en Harlem, Abdulkadiroglu et al.
(2011) y Angrist et al. (2011) para Boston
– Cuasi-Experimental: Fryer (2011) para Houston.
• Costo marginal anual por alumno: ~US$2,000
• Gran limitación: oferta de profesores que crean en el modelo “No
Excuses”
• Extremadamente relevante para nuestro país.
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
¡¡¡Gracias!!!
Francisco Gallego
PUC-Chile y J-PAL LAC
povertyactionlab.org