Download Leveling the Playing Field in Education: Why and how to address

COLOQUIO MIDE UC
Evaluación Docente y SIMCE
Desempeño escolar y dimensiones de
formación docente
MOTIVACION
Calidad y Equidad de la Educación
• Docentes son considerados como el actor
clave en el aprendizaje escolar
• La manera como un sistema distribuye
sus capacidades docentes afecta la
distribución de oportunidades de
aprendizaje
“De qué te quejas? Si estamos compitiendo en una cancha
pareja…”
Implicancias de política educativa
• Qué dimensiones docentes enfatiza dicha
política para fortalecer capacidades docentes.
• Cómo se distribuyen esas capacidades
docentes en función de factores de pobreza,
ruralidad, otros.
• …Para mejorar calidad y equidad en función
de las prioridades del sistema educativo.
ACOTANDO EL PROBLEMA
Las interrogantes a abordar
• ¿Cuánto afectan los docentes el aprendizaje de
los alumnos?
• ¿Qué factores docentes (observables) se asocian
más fuertemente al aprendizaje de los alumnos?
• ¿Existen efectos diferenciados según situación
socioeconómica de los alumnos?
• ¿Se observan diferencias en la distribución
docente en términos de los factores
considerados?
ANTECEDENTES
Antecedentes
• Chile cuenta con un sistema interesante de
evaluación docente:
– Construido como un acuerdo nacional.
• Gobierno, Docentes, Sostenedores Municipales, otros.
– Que aborda dimensiones claves de la preparación
docente
– Que incluye múltiples actores evaluativos
– Que tiene una trayectoria de más de 10 años
• Chile cuenta también con un sistema de
evaluación escolar de más de 25 años
Antecedentes de Literatura
• Internacionales:
– Profesores hacen una gran diferencia en los aprendizajes
• Hanushek 1971, Aaronson et al. 2003, Rockoff, 2004, etc.
– Poco acuerdo de cuáles son los factores que hacen que un
profesor logre mayores aprendizajes:
• Experiencia se asocia favorablemente a aprendizaje.
– Primeros años de servicio hacen gran diferencia:
• Otros factores se asocian favorablemente:
– Conocimiento de las materias
• Profesores tienden a distribuirse de manera desigual en cuanto a
antecedentes.
• Alguna evidencia de efecto diferenciados por características de los
alumnos.
• Evaluaciones capturan poco del efecto docente
Antecedentes de Literatura
• Nacionales:
– Experiencia se asocia positivamente con nivel de
desempeño escolar
– Hay otros factores se asocian positivamente.
– Resultados de evaluación docente se asocia
positivamente con resultados de aprendizaje.
– Profesores con mejores cualificaciones de egreso
e instituciones más selectivas no se distribuyen
equitativamente por dependencias
administrativas.
APROXIMACIÓN CONCEPTUAL
Aproximación conceptual
Manejo de
Aula
Desempeño
Escolar
Conocimiento
Disciplinar
Conocimiento
Pedagógico
Mediadores
Shulman, 1986
Ball et al, 2008
Características
de la Escuela
Características
de los alumnos
y familias
APROXIMACIÓN METODOLÓGICA
Identificación de variables a analizar
• Cómo aproximarse a los distintos factores
involucrados:
– El nivel de aprendizaje.
– Las condiciones contextuales
• Cómo aproximarse a los factores docentes:
– El manejo de herramientas pedagógicas
– El manejo de aula
– El conocimiento disciplinar.
Identificación de variables a analizar
• Indicadores de nivel de aprendizaje:
– Simce de matemáticas (10º y 8º)
• Indicadores de manejo de herramientas pedagógicas.
– Portafolio docente
– Uso de componentes principales.
• Indicadores de manejo de aula:
– Clase grabada
– Componentes principales
• Indicadores de manejo disciplinar:
– AVDI
• Indicadores de contexto:
– NSE: encuestas de padres
– Bases de datos Mineduc
Aproximación Estadística
• Para establecer relaciones entre factores:
– El estándar ideal:
• Aproximaciones experimentales.
– El estándar más “realista” (aproximaciones cuasiexperimentales):
• Enfoque de valor agregado:
• Para calcular efecto docente:
– Valor agregado
– Métodos correctivos:
• Métodos de ajuste
• Efectos fijos.
Aproximación Estadística
Modelos de valor agregado:
At = f (EDt ,EDt-1 ,…, EDK , C)
At = a0 + a1 EDt + a2 EDt-2 + … + a2 EDK + Ci + eit
At = a0 + a1 EDt + a2 At-1 + Ci + eit
Ait - Ai t –t´ = D Ait = a0 + a2´ Ai t –t´ + Cit + EDit+ eit
10o grado (2006):
>50.000 estudiantes, >1.000 profesores, controlando por nivel de
desempeño en 8o grado (2004)
Methodological Approach
Modelos de valor agregado:
Ait = a0 + EDit+ Epi(t-1) + Cit + a3 Ai t –2´ + eit
Ait = a0 + a1 FDit+ a2 FDi(t-1) + a3 Ai t –2´ + Cit + eit
10o grado (2006):
>50.000 estudiantes, >1.000 profesores, controlando por nivel de
desempeño en 8o grado (2004)
INTERROGANTE 1:
“EFECTO” DOCENTE
Aproximación Metodológica
Modelos de valor agregado:
Ait = a0 + a3 Ai t –t´ + Cit + EDit+ eit
• Métodos correctivos:
– Corrección de varianza general
– Ajuste de varianza por tamaño muestral
ED2
ED1
Resultados
• Efecto docente:
– 0,20 DE de puntaje SIMCE (entre 0,10 y 0,30 DE,
dependiendo de metodología)
– Similar a lo encontrado en literatura internacional
1DE
ED
INTERROGANTE 2:
RELACIÓN CON FACTORES DOCENTES
Methodological Approach
Modelos de valor agregado:
Ait = a0 + a1 FDit+ a2 FDi(t-1) + a3 Ai t –2´ + Cit + eit
10o grado (2006):
>50.000 estudiantes, >1.000 profesores, controlando por nivel de
desempeño en 8o grado (2004)
Identificación de variables a analizar
• Indicadores de manejo de herramientas
pedagógicas.
– Indicador agregado en base a:
• Portafolio docente
• Uso de componentes principales.
• Indicadores de manejo de aula:
– Indicador agregado en base a:
• Indicadores de clase grabada
• Componentes principales
• Indicadores de manejo disciplinar:
– Indicador binario:
• En base a niveles de logro AVDI
Resultados
• Resultados:
– Explican, en conjunto, aproximadamente 1/3 del
“efecto docente”
– Peso relativo de cada uno comparable en
magnitud
– Efectos robustos según distintas metodologías
INTERROGANTES 3 Y 4:
EFECTOS DIFERENCIADOS Y
DISTRIBUCIÓN DOCENTE
Resumen Resultados
• Efecto docente:
– 0,20 DE (entre 0,10 y 0,30 DE, dependiendo de metodología)
– Similar a lo encontrado en literatura internacional
• Factores evaluados:
– En conjunto, explican aproximadamente 1/3 del efecto docente
– Peso relativo comparable en magnitud
– Efectos robustos según distintas metodologías
• Efectos diferenciales
– No se encuentran efectos diferenciales por NSE
• Distribución de docentes:
– Programas HC presentan mayores niveles de manejo
pedagógico que docentes TP.
DISCUSIÓN
Discusión de resultados
• Docentes presentan impacto importante en el
desempeño escolar.
• Dimensiones evaluadas de conocimiento
disciplinar, manejo pedagógico y manejo de aula
son explicativas de ese impacto.
• No se observan efectos diferenciales por NSE.
• En la educación municipal, los profesores se
distribuyen relativamente parejos en cuanto a
antecedentes observables, NSE y tipo de
educación (evidencia distinta para PP y PS).
Discusión de resultados
• Se corrobora intuición de que factores docentes claves
están relacionados con desempeño escolar.
• Potencial de mejoramiento de calidad:
– Áreas de mejoramiento continuo.
– Áreas de mejoramiento formación inicial.
• Potencial de mejoramiento de la equidad:
– Distribución de docentes con mayor preparación en estas
áreas en escuelas más vulnerables.
– Dificultades de “contraculturalidad”.
– Efectos limitados => combinación con otras políticas
• Potenciamiento de áreas de evaluación docente.
– Conocimiento disciplinar.