Download Recomendaciones finales

Labor Intermediation and
Training Programs of the
STPS/México
Maximo Torero (IFPRI/ GRADE) y
Miguel Robles (UCLA)
Temas a analizar





Programas y documentos analizados
Objetivos y descripción de los programas
Evaluaciones de impacto
Evaluaciones de impacto teoría
De la Teoría a la práctica el caso de los
programas analizados



Aspectos positivos
Aspectos por mejorar
Recomendaciones finales
Programas y documentos
analizados
Programas y documentos analizados
Programas
PROBECAT
SICAT
SAEMLI
SAEMLE
SAEBE
PAC
CIMO
PIP
Documentos
Evaluación del Programa de Becas de Capacitación para
Desempleados (Agosto 1995)
Evaluación del Impacto del Sistema de Capacitación para el
Trabajo- 2003
Estudio para Evaluar el Impacto del Sistema de Apoyos
Económicos a la Movilidad Laboral Interna - 2003
Evaluación del Impacto del Sistema de Apoyos Económicos a la
Movilidad Laboral al Exterior -2003
Estudio para Evaluar el Impacto del Sitema de Apoyos Económicos
a Buscadores de Empleo - 2003
Programa de Apoyo a la Capacitación (Evaliación PAC Dic. 2002,
2003)
Programa de Calidad Integral y Modernización (Evaluación 1995)
Estudio para Evaluar el Impacto de Proyectos de Inversión
Productiva - 2002
Objetivos y Descripción de
los Programas
Objetivos y Descripción de Programas
PROBECAT
(Programa de Becas de Capacitación para Desempleados)
► Capacitación, recalificación y elementos de instrucción básica a la
Objetivo General población desempleada con el fin de elevar sus competencias y facilitar
su inserción o reincorporación al empleo
Individuos desempleados y en búsqueda activa de empleo (registrados
Población Objetivo
en el SEE) entre 18 y 55 años con primaria completa
Programa
► Cursos de capacitación
► Becas monetarias equivalentes al salario mínimo
► Ayuda para el transporte
Efectos
Mensurables
► Formación laboral en competencias: capacitación en empresas con
miras a otorgar certificación al beneficiario… las empresas se obligan a
contratar al 70% de los beneficiarios
► Formación laboral en la práctica: capacitación en micro y pequeñas
empresas a desempleados o subempleados entre 16 y 30 años
Tratamiento
Escala
SICAT
(Sistema de Capacitación para el Trabajo)
► Incorporar a la población desempleada y subempleada a cursos de
capacitación de corto plazo para que obtenga calificación y/o certificación;
asi mejorar el acceso al empleo
Desempleados y subempleados
► 651,180 beneficiarios entre 1984 y 1994
► Capacitación escolariza: duración media 3.1 meses, costo unitario
$380.6
► Capacitación mixta (en la empresa): 1.8 meses, costo unitario $274.2
► Duración del desempleo
► Salario por hora
► Horas por semana
► Capacitación para el autoempleo: capacitación para formulación de
proyectos de inversión
► Formación productiva: capacitación en habilidades técnicas y
administrativas a auto-empleados
► 216,163 becas otorgadas en el 2002
► 16,825 cursos impartidos en el 2002
► Presupuesto Ejercido 2002: $898.6 millones
► Probabilidad de conseguir empleo
► Ingresos
Objetivos y Descripción de Programas
SAEMLI
SAEMLE
SAEBE
(Sistema de Apoyos Económicos a la Movilidad Laboral Interna) (Sistema de Apoyos Económicos a la Movilidad Laboral Externa)(Sistema de Apoyos Económicos a Buscadores de Empleo)
► Apoyar a jornaleros agrícolas mediante la vinculación entre ► Facilitar el proceso de incorporación al PTAT de trabajadores ► Facilitar la inserción en el mercado laboral de la población
oferentes y demandantes de mano de obra ubicados en
que no tenían acceso debido a los costos de la tramitación
desempleada del sector formal
Objetivo General
► Antecedente: Programa de Trabajadores Agrícolas
Temporales México Canadá (PTAT)
Jornaleros agrícolas desempleados (con dependientes)
Trabajadores que participan por 1era vez en el PTAT; entre 23 Desempleados del sector formal y que se encuentran en
y 40 años; casados, unión libre o madre solteras; con al menos proceso de búsqueda de empleo
Población Objetivo
tercero de primaria
Programa
Tratamiento
Escala
Efectos
Mensurables
► Capacitación y/o apoyos económicos para traslado de zona
► Ayuda económica, $1800/ beneficiario. Principalmente
► Ayuda económica para que los candidatos al PTAT cubran destinada a costos de traslado, llamadas telefónicas,
de origen hacia zonas receptoras y viceversa
los gastos de alimentación y hospedaje en que incurren cuando sostenimiento
► Capacitación (1 mes) en zona de origen y zona receptora + efectúan sus trámites en la Ciudad de México (o en el Servicio
Estatal de Empleo SEE correspondiente)
beca igual a 1 salario mínimo
► Acceso a información y orientación sobre vacantes
► Traslado de salida (hasta $1,200)
► $3,000 por beneficiario
► Traslado de regreso (hasta $600)
► 9,700 beneficiarios en el 2003
► 1,974 trabajadores asignados (20% del PTAT) en el 2003
► 24,604 beneficiarios entre enero y julio 2003
► $6 millones en el 2003
► $ 41.7 millones en el 2003
► Inversión de $44.4 millones entre enero y julio 2003
► Probabilidad de conseguir empleo
► Dispersión (concentración) geográfica de beneficiarios
► Probabilidad de conseguir empleo
► Intensidad en el empleo
► Tasas de repatriación prematura (duración laboral)
► Ingresos
Objetivos y Descripción de Programas
Programa
Objetivo General
Población Objetivo
PAC
(Programa de Apoyo a la Capacitación)
► Realizar acciones en materia de capacitación y mejora
continua, que contribuyan al desarrollo de los trabajadores en
activo y empleadores de las micro, pequeñas y medianas
Trabajadores y empleadores de las micro, pequeñas y
medianas empresas
► Cursos de capacitación
(Capacitación y Asistencia Técnica en la Micro, Pequeña y
Mediana Empresa)
► Fomentar y formar la cultura de la capacitación en las micro,
pequeñas y medianas empresas
► Impulsar la agrupación e integración de empresas
► Favorecer la flexibilización de la oferta de capacitación
Micro, pequeña y mediana empresa
NO HAY INFORMACION
Escala
► Al nivel del trabajado: Ingresos
► Al nivel de la empresa: Productividad, Formalidad,
Accidentes de trabajo, Horas de trabajao y Capacitación en la
empresa.
PIP
(Proyectos de Inversión Productiva)
► Impulsar las iniciativas de la población que buscan crear o
consolidar proyectos de inversión productiva
Desempleados o subempleados uqe quieran crear o consolidar
un proyecto productivo; sin acceso a crédito; ingreso menor a 2
salarios mínimos; mínimo de 16 años e edad; con 2 años de
residencia en su localidad; y experiencia en el ramo de
actividad
► Co-financiamiento de capacitación a trabajadores y empleados
► El Servicio Estatal de Empleo (SEE) entrega en comodato
► Inicialmente el gobierno aportó el 70%, en 1994 sólo el 35% maquinaria, equipo, herramientas y otros bienes para que los
beneficiarios puedan desarrollar o fortalecer su proyecto
(excepto en microempresas, aporta el 70%)
productivo
► Servicios de consultoría y acceso a bancos de datos
especializados (gobierno cubre el 70% de los costos)
Tratamiento
Efectos
Mensurables
CIMO
► 23,279 empresas beneficiadas para 1994
► 79,445 trabajadores capacitados para 1994
► 15,930 beneficiadas con otros servicios para 1994
► Aportaciones financieras gobierno en 1994: $ 26.3 millones
► Aportaciones financieras empresas en 1994: $ 28.2 millones
► Productividad de la empresa
► Horas trabajadas de la empresa
► Asignaciones por número de socios
1 socio à máximo $25,000
2 socios à máximo $50,000
3 socios à máximo $75,000
4 socios à máximo $100,000
5 o más à máximo $125,000
► 1,073 proyectos beneficiados (543 fortalecidos, 530 nuevos)
entre Julio y Diciembre 2002
► 5,409 personas beneficiadas entre Julio y Diciembre 2002
► Presupuesto asignado (Jul-Dic 2002): $69.7 millones
► Presupuesto ejercido (Jul-Dic 2002): $63.3 millones
► Ingreso personal
Evaluaciones de Impacto
Evaluaciones de Impacto

La evaluación de impacto típica incluye:



Evaluación Operativa
Efectos “Tratamiento”
Análisis Económico Costo-Beneficio

Problemas potenciales en cómo estimar los efectos
“tratamiento”

Establecidos los efectos “tratamiento” no hay mayor
controversia en cómo realizar el análisis costobeneficio
Efectos “tratamiento”

Revisión de metodologías empleadas para
determinar estos efectos:







Línea de Base (Inexistente en todos los casos)
Determinación Grupo Beneficiarios
Determinación Grupo Control
“Matching” de “support” en X
“Outcome” analizados
Análisis estadístico/econométrico
Efectos (en tratados) econtrados
Evaluaciones de Impacto
Programa
Beneficiarios
Controles
Matching
Outcomes Evaluados
Modelo
Efectos Estimados
PROBECAT
Egresados Mayo-Agosto
1993; Encuesta de
Seguimiento de Egresados (ESEP) Agosto; 2,787
encuestados
SICAT
Encuesta sobre el Nivel de Colocación de los ex-becarios
del SICAT a los 3 meses de egreso (ENCOPE) - 2002
Capta información antes y después del tratamiento y
situación actual
3 modalidades: Mixta, Mypes y Autoempleo
34,097 observaciones disponibles
Fuente: Encuesta Nacional de Empleo Urbano (ENEU) – Panel 80 mil hogares, trimestralmente sustituye al 20%.
Fuente: Encuesta Nacional de Empleo (ENE) 2002
Criterios:
Sólo contiene información actual
Desempleados e Inactivos en el 1er trimestre de 1993: se tiene información para 4 trimestres
Criterios: Estar desempleado actualmente o haber
1,187,172
(no queda claro si son cifras
conseguidoindividuos
empleo recientemente
expandidas)
671 individuos
Probit para participación en PROBECAT
No
Se hace “matching” empezando por la variable más significativa
Quedan 1914 beneficiarios, 581 controles
Tiempo promedio para encontrar 1er empleo
Probabilidad de empleo, ingreso
Probabilidad de empleo a los 3,6,9 y 12 meses
Ingreso medio mensual, horas, ingreso por hora
Modelo Probit con sesgo de selección “Heckman”
Modelo de riesgos proporcionales de Cox (MLE)
Modelo de sesgo de selección de “Heckman”
Modelo de sesgo de selección de “Heckman”
Ingresos Mensuales: Δ log(ingresos)
Tiempo para 1er empleo (significancia)
Probabilidad de empleo: + 0.2420 (.2420 en mujeres, 0.0
Hombre x Modalidad Mixta: -37.9% (11%)
Hombre x Modalidad Mixta: 187% (0.001%)
en hombres)
Hombre x Modalidad Escolarizada: -10.2% (0.001%)
Hombre x Modalidad Escolarizada: 192% (0.001%)Ingresos: + $1,594 (+$1,608 hombres, +1,546 mujeres)
Mujer x Modalidad Mixta: -30.3% (0.2%)
Mujer x Modalidad Mixta: -48% (8%)
Mujer x Modalidad Escolarizada: -54.0% (0.001%)
Mujer x Modalidad Escolarizada: -38% (14.1%)
Evaluaciones de Impacto
Programa
SAEMLI
Muestra : 600 entrevistas a jornaleros beneficiados
SAEMLE
Fuente: Base de Datos del Sistema de Información de Migrantes
a Canadá (SIMICA) - Aquellos con reporte de retorno al 15 de
Muestra: trabajadores PTAT con reporte de retorno y apoyo del
Beneficiarios
SAEMLE:
1,289 en el 2002
998 antes del 15 de Nov 2003
Fuente: Módulo Agropecuario de la Encuesta Nacional de Empleo Criterios:
Se seleccionan 1,811 controles (no es clara la selección final)
Beneficiarios del PTAT sin SAEMLE
Criterios:
Con múltiples salidas 2002: 6,766
1era salida sin SAEMLE 2002: 1,096
Trabajadores agropecuarios que laboran en actividades
Controles
Con múltiples salidas 2003: 4,261
agrícolas como jornaleros y empleados y cuyo lugar de
residencia pertencece a estados expulsores
Propietarios de tierra cuya segunda opción laboral fue haberse
empleado como jornalero o empleado agrícola
Matching
No
No
Outcomes
► Probabilidad de empleo
► Retorno prematuro
► Intensidad en el empleo (proxy para horas)
► Conceptualmente no es claro qué evaluar
Evaluados
► Una regresión por mes (nov, dic,…,mar)
► Se incluyen regresiones equivocadas:
► Modelo Probit con sesgo de selección “Heckman” (Heckprob)
Log(ingreso) = F( pagoxhora, duración real del período laboral,…)
Modelo
► Modelo de sesgo de selección de “Heckman” (Treatreg)
Período real = F(período planeado,…=
Mes de salida = F(…. )
► Modelo Probit para retorno prematuro
► Probabilidad de empleo:
+ 0.366 (Nov)
► Probit sólo con beneficiaros de 1era vez (significancia):
► Intensidad en el empleo:
-0.688 (Nov)
Dummy SAEMLE 2002:
- 0.9% (0.29)
Efectos Estimados
Dummy SAEMLE 2003:
+ 2.0% (0.08))
Evaluaciones de Impacto
Programa
Beneficiarios
Controles
Matching
Outcomes
Evaluados
Modelo
SAEBE
CIMO
PIP’s
Fuente: Empresas que recibieron apoyos de forma integral
Muestra: 107 beneficiarios, tomando en cuenta regiones,
Fuente: Registro de Beneficiarios del SAEBE
proyectos nuevos y fortalecidos y actividad económica
Muestra: Selección de 600 beneficiarios de un universo de 27,813 (trabajo continuo por el promotor UPC)
Muestra: 248 empresas beneficiadas en 1991/1992 (universo 442
empresas 92/93)
Fuente: Listado de Empresas del Servicio Estatal de Empleo sin
Fuente: Bases de Datos de la Secretaría del Trabajo y Previsión Fuente: Directorios Actualizados de los Censos Económicos
Encuesta sobre Desempeño Empresarial (EDE) a 326 empresas apoyo del PIP
Social (STPS)
Selección de 600 beneficiarios apoyados por Bolsa de Trabajo Criterio:
66 observaciones
en los Sistema de Vinculación de Empleo (SISNE) Universo de Sub-sector
Criterio:
139,627
Tamaño
3 o menos años de actividad
Selección de 400 personas en situación de desempleo abierto
Región
Mismas localidades que muestra beneficiarios
(universo de 1,147,500)
Mismas actividades económicas
Criterios:
Están o estuvieron desempleadas al menos una semana entre
enero y julio del 2003.
Similar lugar de residencia a beneficiario
No
No
No
► Productividad
► Ingreso mensual neto de socio entrevistado
► Probabilidad de empleo (y duración del desempleo)
► Horas-hombre
► Ingresos
► Modelo Probit con sesgo de selección “Heckman” (Heckprob) ► Pruebas de Homogeneidad y Test de Medias para asegurar
► Modelo de sesgo de selección de “Heckman” (Treatreg)
► Modelo de sesgo de selección de “Heckman” (Treatreg)
compatibilidad de muestras beneficiarios y controles
► Probabilidad de empleo (regresiones separadas)
SAEBE vs. SISNE:
+0.14
SAEBE vs. DPA:
+0.32
Efectos Estimados
► Ingresos
SAEBE vs. SISNE:
+ $ 362.8
SAEBE vs. DPA:
+ $528.4
► Dada compatibilidad de muestras se estiman Diferencias en
Diferencias:
► Reportes de efectos son poco transparentes
Productividad:
+ 8.08%
Horas-hombre:
+10%
► Ingreso mensual neto:
+ $ 441
Evaluación de Impacto
(Treatment Effects)
TEORIA
Treatment Effects: teoría

Objetivo general



¿Qué población?


Comparar la situación de los miembros de una población “con” el programa
versus su situación “sin” el programa
No nos interesa “per se” la situación “antes” y “después” del programa
Típicamente nos enfocamos en los beneficiarios del programa
¿Qué es la “situación”?

Definir la o las variables que miden los logros esperados del programa:




Ingreso por hora
Horas trabajadas
Duración del desempleo
Productividad laboral, etc.
Treatment Effects: teoría

Formalmente…

Efecto tratamiento para el participante i…
Gi  (Y1i  Y0i | Pi  1)

Esta es una variable aleatoria… en principio nos interesa el primer
momento o valor esperado…
G  E (Y1i  Y0i | Pi  1)  E (Y1i | Pi  1)  E (Y0i | Pi  1)

El potencial dolor de cabeza….missing data !!!

¿Cuál es el “outcome” esperado del participante i de no haber
recibido “tratamiento”? Imposible observarlo… pero no
necesariamente imposible estimarlo…
E (Y0i | Pi  1)
Treatment Effects: teoría


Se hace necesario contar con un grupo de control que no recibe
el “tratamiento” del cual poder inferir “missing data”
Queremos minimizar potencial “SESGO de selección”…

Lo que podemos estimar es…
D  E (Y1i | Pi  1)  E (Y0i | Pi  0)

Lo que queremos estimar es
G  E (Y1i | Pi  1)  E (Y0i | Pi  1)

El sesgo potencial es
D  G  E (Y0i | Pi  1)  E (Y0i | Pi  0)
Treatment Effects: teoría


Métodos para identificar “treatment effects”
1) Métodos experimentales

“Randomization”: la gran ventaja es que para el grupo de
control:
E (Y0i | Pi  0)  E (Y0i | Pi  1)

2) Métodos Cuasi - Experimentales:

“Matching”: Buscar un grupo de control con características tales
que



Hubieran participado en el programa
Determinan el “outcome” de manera similar a los participantes
Permite corregir “selección” en variables observables
Treatment Effects: teoría


“Reflexive Comparison” (Antes y después)
 El grupo de control se forma con “línea de base” de los
participantes
Doble Diferencias ( “Difference in Difference”)




Se tiene información antes y después para el grupo de participantes y para
el grupo de control
Se compara al grupo de participantes y de control (primera diferencia),
antes y después del programa (segunda diferencia)
Permite corregir el componente invariante en el tiempo del sesgo de
selección en no observables
Método de variables instrumentales


Se requiere de una variable (instrumento) que este correlacionada con la
decisión de participar pero que no influya en el “outcome”
Potencialmente permite corregir sesgo en observables y no observables
La experiencia internacional y la teoría nos
dicen…

Combinar “Matching” con Doble Diferencias…

¿Qué se necesita?

Grupo de control



Por lo menos asegurar que cumplan los requisitos del programa
Idealmente usar mismos cuestionarios y encuestadores para
recoger esta información
Grupo de beneficiarios

Muestra representativa
La experiencia internacional y la teoría nos
dicen…

¿Qué se necesita?

Información antes y después del programa para ambos grupos




Características que determinan la participación
Características que determinan el “outcome”
EL IDEAL: tener historias completas del antes y del después…
Hacer el “matching” en características y asegurar “common
support”

Se recomienda usar “propensity scores” para el “matching” usando
la información antes del programa
De la teoría a la práctica
El caso de los programas analizados
Las evaluaciones estudiadas nos dicen que…(aspectos
positivos)
Existe conciencia de que lo importante es comparar el “con” y
el “sin” programa…
1.
Los evaluadores son ahora agentes externos (no queremos
casos de juez y parte)…
2.

En PROBECAT 1995 y CIMO 1995 las evaluaciones fueron
hechas por la propia STPS

En todas las otras evaluaciones (2002 y 2003) se contratan
agentes externos
Las evaluaciones estudiadas nos dicen que…(aspectos
positivos)
3.
Dada la información disponible los evaluadores externos
apuntan a atenuar los sesgos de selección…


4.
5.
En 5 casos se utilizan métodos de variables instrumentales
(Heckprob, Treatreg)
En 2 casos se intenta “matching”
En algunos casos se utiliza mismo cuestionario para recolectar
información de beneficiarios y controles… CIMO y PIPs
Evaluaciones operativas y análisis costo-beneficio
conceptualmente bien diseñados
Las evaluaciones estudiadas nos dicen que…(aspectos
por mejorar)
1.
La evaluación de impacto no forma parte del diseño de los
programas…



2.
En ningún caso se cuenta con línea de base
Los grupos de control se buscan ex-post
En los casos de contar con información del “antes”
corresponde a información retrospectiva (introduce sesgo)
A veces es necesario precisar mejor el “outcome” a estudiar…

Casos en que se estudia el Ingreso Mensual… se
recomineda separar el Ingreso x Hora y el Número de Horas
Las evaluaciones estudiadas nos dicen que…(aspectos
por mejorar)

Separar “efecto empleo” del “efecto ingreso”



Si la variable dependiente es “Cambio en log
Ingreso”… habran muchas observaciones con valores
extremos… que pasan de cero ingresos
(desempleado) a ingreso positivo… (Ejemplo: esto
sucede en PROBECAT)
CIMO lo hace correctamente…
¿Cuál es el “outcome” relevante para un programa
como el SAEMLE (movilidad externa)?


Recordar que el programa ayuda a trabajadores que
por primera vez salen a Canadá de zonas alejadas…
Pero es claro que alguien se perjudica… porque el
número de vacantes es fija…
Las evaluaciones estudiadas nos dicen que…(aspectos
por mejorar)
3.
Hay que ser cuidadosos con el “matching” en variables
observables…



Ejemplo, CIMO sólo verifica “common support” en tres
variables: sector(manufactura vs. otro), tamaño, ubicación…
PERO… sin duda otras variables pueden explicar la
participación en el programa y sobre la productividad
laboral… ejemplo: antiguedad de la empresa, rama…
SAEBE hace “matching” para “estar desempleado” y “lugar
de residencia”… Y además usa regresión con variable
instrumental… (esto va en la dirección correcta…)
Las evaluaciones estudiadas nos dicen que…(aspectos
por mejorar)
4.
5.
Controlar por el mayor número de variables observables
relevantes

Ej. PIPs… regresión para explicar ingreso neto del
entrepreneur… pero no controla por tamaño de empresa !!!
Procurar información del “antes”… ejemplo cuando ésta no
existe…

En SICAT… se usa la ENE 2002 para armar grupo control
bajo el siguiente criterio:


Haber conseguido empleo recientemente…
Estar actualmente desempleado  PROBLEMA: incluye a
gente que estuvo empleada “antes”… no hubiera sido
elegible para el programa !!!
Las evaluaciones estudiadas nos dicen que…(aspectos
por mejorar)
6.
7.
Hay que ser consistentes con la metodología de evaluación…

En PROBECAT se utiliza un Probit para hacer “matching”
entre grupos de beneficiarios y de control… supone querer
controlar por observables en participación…

PERO luego se usa variables instrumentales… para
instrumentar participación !!!... NO sería necesario…
Hacer uso correcto de la econometría

Por ejemplo correr…



Ingreso Bruto contra Ingreso por Hora, Número de Horas, y
Gratificación… NO INFORMA NADA
Período trabajado contra período planeado, dummy para
regreso prematuro, mes de salida… NO INFORMA NADA
Usar OLS cuando la variable dependiente es “mes de
salida” (incorrecto !!!)
Recomendaciones Finales
Algunas recomendaciones

La evaluación de impacto debe formar parte del
diseño de los programa





Importante identificar como incorporarla en los programas que
ya existen
Una adecuada inversión en el diseño de nuevos programas
Desde el inicio del programa es necesario precisar el
“outcome” a estudiar y el grupo control
La metodología de impacto a utilizar debe ser
homogénea
Sería ideal contar con un laboratorio de evaluación,
con autonomía y evaluación externa.
Importancia de un sistema de evaluación
de impacto
Sistemas de información y diseminación
Línea de
Base
Indicadores
intermedios
Encuesta
final
Indicadores
de Output
Project
Implementation
Implementación
Replicabilidad
de proyecto
Inicio de
Proyecto
Acciones correctivas
Stakeholders
Fin de cada fase y del
proyecto
Flujo de información
Fuente: Nopo, Hugo, Miguel Robles y Jaime Saavedra (2002)