Download análisis de variabilidad en las predicciones

EL TRATAMIENTO DE LA VARIABILIDAD EN LAS PREDICCIONES
SOBRE EL CRECIMIENTO ECONÓMICO
MORENO CUARTAS, Blanca
morenob@correo.uniovi.es
LÓPEZ MENÉNDEZ, Ana Jesús
anaj@correo.uniovi.es
UNIVERSIDAD DE OVIEDO (Dpto. de Economía Aplicada)
RESUMEN
El estudio de la evolución futura de la economía es un tema de considerable interés para los
diversos agentes económicos, por lo que cada vez son más numerosos los organismos dedicados
a la elaboración de predicciones sobre el crecimiento económico.
Las predicciones pueden realizarse tanto desde un enfoque objetivo (técnicas estadísticoeconométricas de análisis de series temporales) como subjetivo (encuestas de opinión
empresarial, panel de expertos). Así pues, existirá diversidad de resultados entre los organismos
dedicados a la realización de predicciones, puesto que cada método empleado y agente
implicado pueden capturar diferentes aspectos de la información, de ahí que una combinación
de predicciones pueda mejorar la precisión al aprovechar toda la información disponible.
Como consecuencia de estas consideraciones, en este trabajo tras describir algunas de las
fuentes y organismos dedicados a la elaboración de predicciones sobre el crecimiento
económico en España, analizamos algunos de los métodos de combinación de predicciones.
Asimismo, se estudiará la variabilidad entre predicciones sobre crecimiento efectuadas por
distintos organismos y/o individuos, analizando dos aspectos diferenciados: por una parte el
sesgo entre predicciones (es decir, la tendencia a dar consistentemente valores mayores o
menores) y por otra, la concordancia entre predicciones, es decir, hasta qué punto estas
coinciden, y si no lo hacen en qué medida se diferencian.
Si además se tiene en cuenta que algunos organismos renuevan sus predicciones de acuerdo con
los diferentes estadios de la información disponible, el análisis de variabilidad puede ser
ampliado, incorporando también los cambios entre las predicciones intermedias y la final.
Finalmente a partir de predicciones sobre la evolución del PIB en España tanto de carácter
cuantitativo (aportadas por organismos internacionales y nacionales) como cualitativo
(obtenidas a partir de la Encuesta de Coyuntura Industrial del Ministerio de Ciencia y
Tecnología) presentamos una aplicación en la que analizaremos dichos aspectos de la
variabilidad.
Area temática: crecimiento, empleo y distribución de la renta
INTRODUCCIÓN
La realización de predicciones sobre el crecimiento económico es una actividad
imprescindible en la mayoría de los procesos de toma de decisiones, por lo que son
numerosas las instituciones que elaboran predicciones sobre el comportamiento futuro
de la economía. Además, gracias al importante desarrollo de las nuevas tecnologías de
la información y la comunicación (TIC) en las últimas décadas hemos asistido a una
mejora significativa en la difusión de estos resultados.
Dado que existen diferencias tanto en la metodología como en la información utilizada
por los distintos organismos, las predicciones disponibles para una misma variable
económica pueden ser muy diversas. De ahí que algunas instituciones elaboren
predicciones de consenso que aprovechan mejor la información contenida en las
predicciones individuales, incluyendo tanto los resultados cuantitativos como las
valoraciones basadas en opiniones de empresarios.
Si consideramos además que las predicciones se revisan de acuerdo con los diferentes
estadios de la información disponible, la tarea predictiva se convierte en un proceso de
permanente actualización y revisión de expectativas.
Este trabajo analiza desde distintas perspectivas el riesgo inherente a las predicciones
económicas y ha sido estructurado en cuatro apartados, el primero de los cuales incluye
una breve descripción de las fuentes e instituciones que elaboran predicciones sobre el
crecimiento económico en España.
En el segundo apartado describimos brevemente algunos de los métodos de
combinación de predicciones, con el propósito de justificar el uso de la predicción de
consenso en los estudios sobre la evolución futura de la economía.
En el tercer apartado realizamos un análisis del riesgo o variabilidad inherente a las
predicciones económicas, teniendo en cuenta la naturaleza cuantitativa o cualitativa de
la predicción.
Estos análisis se ilustran mediante las aplicaciones recogidas en la cuarta parte, que
incluyen un análisis de la variabilidad de las predicciones de crecimiento del PIB
nacional elaboradas por diferentes instituciones y de los Indicadores de Clima Industrial
obtenidos a partir de la las Encuesta de Coyuntura Industrial que elabora Ministerio de
Ciencia y Tecnología.
El trabajo concluye con una recopilación de referencias bibliográficas.
FUENTES DE PREDICCIÓN ECONÓMICA
El indudable interés que tiene para los distintos agentes económicos disponer de
predicciones sobre el crecimiento económico futuro ha impulsado a numerosos
organismos e instituciones a elaborar periódicamente informes de prospectiva.
La difusión de estos resultados ha mejorado sustancialmente gracias al desarrollo de las
TIC, encontrándose en la actualidad muchas de estas predicciones disponibles en
Internet1.
Existe una considerable heterogeneidad entre las predicciones económicas elaboradas
por las distintas instituciones, producida tanto por la metodología empleada como por la
1
Una recopilación de instituciones que publican sus predicciones en Internet junto con las
correspondientes direcciones puede verse en Pulido (2001a).
información considerada, resultando habitual la distinción entre predicciones de tipo
cuantitativo (elaboradas generalmente a partir de extrapolación de datos pasados) y de
tipo cualitativo (obtenidas a partir de valoraciones de las expectativas por parte de los
agentes económicos).
Por lo que se refiere al primer tipo de predicciones, en España existen numerosos
organismos tanto públicos como privados que realizan regularmente predicciones
cuantitativas sobre variables macroeconómicas. Así, entre las instituciones públicas
oficiales se encuentran el Ministerio de Economía, la Dirección General de Previsión y
Coyuntura o el Banco de España, mientras los centros privados abarcan tanto entidades
financieras nacionales (FUNCAS2, BBV, Banesto, Argentaria, La Caixa, Caja Madrid,
etc) como otras vinculadas a organizaciones financieras internacionales (J.P.Morgan,
Morgan-Stanley, Goldman-Sachs) o empresariales (CEOE, Consejo Superior de
Cámaras de Comercio, IEE, AFI, ...). A ambos tipos de organismos debemos añadir
también algunas iniciativas ligadas a centros universitarios o de investigación como
CEPREDE, Hispalink, ICAE o el Instituto Flores de Lemus.
Cabe por último señalar que, además de estos organismos nacionales, existen numerosas
instituciones
internacionales
que
realizan
predicciones
sobre
variables
macroeconómicas para un conjunto de países entre los que está España. Entre ellas se
encuentran organismos
oficiales
(FMI, Comisión
Europea, OCDE), centros
universitarios o de investigación (Proyecto Link de Naciones Unidas3) y recopilaciones
difundidas en publicaciones de ámbito internacional (The Economist, Consensus
Economics, ..).
2
La Fundación de Cajas de Ahorros Confederadas para la Investigación Económica y Social (FUNCAS)
publica un panel de previsiones sobre la economía española que unifica y consensúa las cifras de trece
instituciones españolas, tanto públicas como privadas, incluyendo ocho financieras, tres centros
universitarios y dos centros empresariales.
3 El Proyecto Link proporciona predicciones macroeconómicas a partir de un panel de 80 centros
mundiales de predicción.
Además de las predicciones de tipo cuantitativo es necesario tener presente las
valoraciones que de su entorno realizan los distintos agentes económicos. En este
sentido las Encuestas Cualitativas de Empresarios y Consumidores constituyen un
instrumento muy útil para el seguimiento y análisis de las tendencias de la actividad
económica al proporcionar una información contextual para seguir los ciclos
económicos, determinar puntos de inflexión y realizar pronósticos4.
Dentro de este tipo de encuestas en España hay que hacer referencia a la Encuesta de
Coyuntura Industrial (ECI), que elabora con carácter mensual y trimestral el Ministerio
de Ciencia y Tecnología (MCYT) con el objetivo de captar opinión de los gestores de
las empresas industriales acerca de una serie de variables importantes para el
seguimiento de la situación industrial y para la elaboración de predicciones.
En concreto, el formulario va dirigido al personal gerencial de las empresas industriales
y recopila básicamente información cualitativa referida a los niveles actuales de la
cartera de pedidos y de la producción y a la tendencia de los precios de venta, el empleo
y la producción para los próximos meses. Las alternativas válidas para las posibles
respuestas son: alta, normal o baja si reflejan el nivel actual y aumentar, mantenerse o
disminuir si prevén la tendencia inmediata.
A partir de la información anterior es posible elaborar el Indicador de Clima Industrial
(ICI)5 que proporciona una visión global del estado de confianza empresarial en relación
a la evolución coyuntural de la actividad industrial, y se elabora como media aritmética
de los saldos de la cartera de pedidos, de las expectativas de la producción y, cambiado
de signo, del nivel de stocks de productos terminados. Los análisis disponibles indican
4
En Schönborn (1997) se puede encontrar una descripción detallada del conjunto de encuestas de este
tipo enmarcadas dentro del programa de Encuestas Cualitativas de Empresarios y Consumidores
armonizadas para toda la Unión Europea.
5
Puesto que la ECI agrupa las empresas industriales por subsectores en función de la actividad productiva
(única o principal) de acuerdo con la clasificación de actividades CNAE-93, es posible elaborar otros
indicadores climáticos por sectores. Así, a partir de la Encuesta de Coyuntura para la Construcción se
elabora el Indicador Climático de Construcción (ICC).
que el ICI es un indicador útil para el diagnóstico de la coyuntura futura del sector
industrial, dado que las variables que contienen son indicadores adelantados de la
actividad empresarial (cuando el saldo de la cartera de pedidos y la producción previstas
sean elevados el indicador reflejará una previsión positiva de la actividad industrial y
cuando el ICI tome valores negativos reflejará una tendencia depresiva en la economía).
Si bien la Encuesta de Coyuntura Industrial es la principal fuente de predicción
cualitativa sobre el crecimiento económico en España, existen otras estadísticas de
interés como la Encuesta de Coyuntura Laboral elaborada por el Ministerio de Trabajo
y Asuntos Sociales y la Encuesta sobre Expectativas de Inversión en la Industria
elaborada por el Ministerio de Ciencia y Tecnología. Por su parte, el Centro de
Investigaciones Sociológicas (CIS) elabora encuestas sobre diversas cuestiones de la
esfera económica, que pueden ser de interés para el seguimiento del ciclo económico.
Dado el amplio abanico de fuentes y la heterogeneidad de las mismas, cada predicción
captura diferentes aspectos de la información disponible y en consecuencia una
combinación de predicciones podría mejorar la precisión de cada pronóstico
individual6, por lo que resulta frecuente calcular predicciones de consenso mediante
síntesis de predicciones individuales.
COMBINACIÓN DE PREDICCIONES
La combinación de predicciones es una práctica muy extendida, existiendo diversos
métodos alternativos para llegar a una predicción de consenso partiendo de las
predicciones efectuadas por distintos organismos y/o individuos.
6
Así, por ejemplo una predicción de la actividad industrial basada únicamente en la extrapolación de
datos pasados podría ser menos precisa que aquélla que tiene en cuenta las opiniones de los agentes
económicos, precisamente porque las decisiones adoptadas por dichos agentes económicos no siempre
presentan continuidad con los datos anteriores.
Durante los últimos años han aparecido numerosas aplicaciones macroeconómicas de la
combinación de pronósticos tanto cuantitativos como cualitativos7. Estos trabajos
asumen que no es posible identificar mediante un modelo el proceso subyacente en una
serie y que cada modelo de predicción es capaz de capturar diferentes aspectos de la
información disponible para la predicción, por lo que una combinación de las
predicciones efectuadas según distintas técnicas será la predicción más precisa.
Si consideramos además que hay información contextual acerca del crecimiento
económico que únicamente perciben los empresarios, parece conveniente examinar las
combinaciones de estas valoraciones que, además, pueden completar la predicciones
cuantitativas.
En este epígrafe estudiamos la combinación de predicciones bajo el enfoque clásico 8,
que consiste básicamente en generar una predicción a partir de la media ponderada de
combinaciones efectuadas por distintos organismos o individuos. De este modo, si para
predecir el valor de una magnitud en un horizonte h cualquiera (Yt+h) deseamos
combinar las predicciones de N diferentes instituciones o gerentes empresariales que


resumimos en un vector ŷ t h ,t  Ŷt1h ,t , Ŷt2h ,t ,...ŶtNh ,t , la combinación de predicciones
C
vendrá dada por Ŷt h ,t  ŷ t h ,t  , donde α es el vector (Nx1) de ponderaciones, que
serán constantes para la media aritmética simple y dependerán de la precisión relativa
de las predicciones individuales para la media ponderada.
Los pioneros en explorar esta posibilidad fueron Bates y Granger (1969) quienes
obtienen las ponderaciones minimizando la varianza del error de la predicción
7
A modo de ejemplo cabe citar los trabajos de Deutsch, Granger y Teräsvirta (1994) y Castaño y Melo
(2000) para la tasa de inflación, de Min y Zellner (1993) para la tasa de crecimiento y de Elton, Gruber y
Gultekin (1981) y Conroy y Harris (1987) para ganancias de corporaciones. Por su parte, la combinación
de predicciones en base a información subjetiva o cualitativa aparece en los trabajos de Bunn y
Mustafaoglu (1978), Asthon y Asthon (1985).
8 En Moreno y López (2001) se describe la metodología bayesiana aplicada a la combinación de
predicciones, empleando dicha metodología para la elaboración de predicciones combinadas a partir de
las valoraciones subjetivas aportadas en las Encuestas de Opiniones Empresariales de Asturias de SADEI.
combinada. Esta metodología fue posteriormente ampliada por Newbold y Granger
(1974) para el caso de más de dos predicciones, mientras Makridakis y Winkler (1983)
analizan el impacto del número de predicciones incluidas en la combinación.
Por su parte, Granger y Ramanathan (1975) muestran que el vector óptimo de pesos9
tiene una interpretación como vector de coeficientes de la proyección lineal de Yt+h a
partir de las predicciones de efectuadas por las N instituciones o individuos:
Ŷt  h , t  1Ŷt1 h , t  ...   N ŶtN h , t
Si bien en el caso de que las ponderaciones sumen la unidad, y los pronósticos
individuales sean insesgados es posible garantizar la coincidencia con los resultados de
Bates y Granger (1969), en general no existen razones para asegurar el insesgamiento de
todas las predicciones10. Sin embargo Granger y Ramanathan (1984) muestran que la
predicción combinada obtenida mediante una regresión en la que los pesos no están
restringidos a sumar la unidad es insesgada aun siendo las predicciones individuales
sesgadas.
La estimación eficiente de las ponderaciones de la combinación dependerá del
cumplimiento de los supuestos del modelo lineal de regresión por lo que el
incumplimiento de algunos de ellos o la presencia de problemas muestrales en el
modelo conllevará la utilización de técnicas que permitan mejorar la estimación de las
ponderaciones11.
9
Al desconocer el verdadero valor de Yt+h los pesos se obtienen a partir de las observaciones pasadas de
realizaciones y predicciones.
10 De hecho, Dicks y Burrel (1994) ponen de manifiesto que cuando la combinación se realiza para
predicciones dadas por diferentes agentes, la condición de predicciones insesgadas no suele ocurrir
debido a la aversión al riesgo de desviarse de la visión convencional y perder credibilidad.
11 Así por ejemplo, la existencia de dependencia entre los pronósticos individuales puede producir una
sobreestimación de los errores estándar de los coeficientes de regresión e inestabilidad en dichos
coeficientes, mientras que la presencia de multicolinealidad puede aconsejar el empleo de técnicas
alternativas de estimación tal y como recogen Castaño y Melo (2000). Por otra parte, cuando en la
regresión de la combinación surgen errores correlacionados es adecuado permitir que la correlación serial
en la regresión capture la dinámica, no explicada por las distintas predicciones, en la variable que va ser
pronosticada tal y como recoge Diebold (1988).
La posibilidad de realizar combinación de predicciones considerando ponderaciones no
constantes a lo largo del tiempo ha sido considerada en distintos trabajos que
contemplan opciones como la regresión con las observaciones más recientes o el empleo
de mínimos cuadrados ordinarios ponderados. Por su parte, Deutsch, Granger y
Teräsvirta (1994) proponen dos métodos de combinación usando modelos de transición
de regímenes (que permiten cambios inmediatos en las ponderaciones cuando hay un
cambio de régimen económico) y modelos de transición suave (en los que las
ponderaciones cambian gradualmente).
Si bien la variedad de combinaciones de predicciones es muy amplia, numerosos
estudios empíricos concluyen que los mejores resultados aparecen asociados al uso de la
media aritmética12.
Así pues, pueden considerarse apropiadas para el estudio del
crecimiento económico las predicciones de consenso publicadas por algunos paneles de
predicción, que se obtendrían como ŶtCh ,t 
ŷ t h ,t l
N
, donde l es un vector unitario).
En el caso de las encuestas de opiniones empresariales, donde no se tienen en cuenta las
opiniones neutrales, la combinación de las valoraciones de los empresarios para cada
variable se calcularía como:
ŶtC h , t  1Ŷt1 h , t   2 Ŷt2 h , t
donde Ŷt1h ,t e Ŷt2h ,t son variables que reflejan las opciones de aumentar y disminuir en
las respuestas con valores 1 y –1 respectivamente y donde α1 es el vector de unos (rx1)
12
Entre los trabajos que muestran que la media aritmética proporciona mejores resultados que otras
reglas más complejas, avalando por tanto el empleo de predicciones de consenso basadas en esta regla,
cabe citar los de Granger y Newbold (1975), Makridakis y Hibon (1979), Winkler y Makridakis (1983),
Winkler (1984), Moreno, López y Landajo (2000), En este último trabajo se estudian diferentes métodos
de combinación para predicciones relativas a la economía asturiana, obteniendo que el trade-off
precisión-complejidad aconseja en la mayoría de los casos estudiados la utilización de la media
aritmética.
asociado a los r gerentes que consideran que la economía va a aumentar y α2 es el vector
de unos (px1) asociado a los p gerentes que consideran que la economía va a decrecer13.
ANÁLISIS DE VARIABILIDAD EN LAS PREDICCIONES
Además de calcular predicciones de consenso puede ser interesante analizar la
variabilidad que existe entre las predicciones individuales y entre éstas y la predicción
de consenso, así como la volatilidad asociada a las predicciones realizadas con los
diferentes estadios de la información disponible.
Entre la amplia batería de medidas que permiten el análisis de la variabilidad entre las
predicciones y las realizaciones sobre variables económicas nos centraremos en aquellas
alternativas más adecuadas para su aplicación a la información estadística disponible.
Así, sobre las predicciones cuantitativas el estudio abordará los efectos que los estadios
de la predicción tienen sobre las predicciones individuales en cuanto a sesgo y
desviación respecto al consenso, mientras que en el caso de las predicciones subjetivas
estudiaremos algunos tests relevantes para analizar la calidad de las predicciones.
Comenzando por la evaluación de predicciones cuantitativas, si llamamos Ŷtjh ,t a la
predicción realizada en t para un instante t+h, por un organismo j (j=1, ..., N), y dicha
predicción puede revisarse a medida que se dispone de nueva información, entonces
para un instante t+h podremos disponer de distintas predicciones de acuerdo con los
distintos estadios de la predicción que denominaremos s (s=1,.., h-2, h-1, h).
13
Las respuestas suman 100 y el resultado ofrecido para cada variable es el saldo o diferencia entre las
opciones extremas. Así, el saldo obtenido puede oscilar entre +100 (situación totalmente optimista) y –
100 (situación pesimista) y en los indicadores no se refleja, por tanto, la posición intermedia de los
empresarios.
Así pues, para t+h dispondremos de distintas predicciones, tanto individuales ( Ŷtj h ,t s )
como de consenso ( ŶtC h ,t s ), de acuerdo con el instante s en el que nos situemos, siendo
esperable que la predicción mejore a medida que se acerca el evento a predecir 14 y que
cuando s=h la predicción coincida con la realización.
Por otra parte, tal y como recogen Gallo, Granger y Leon (1999), cuando se lleva a cabo
una combinación de predicciones efectuadas por distintos organismos la correlación
entre expertos hace que sea muy difícil apreciar las predicciones individuales (se
converge a una predicción media). Para corroborar este hecho, estos autores proponen
un modelo que explica cómo cada individuo u organismo genera su predicción cuando
hay más expertos y canales de información entre ellos:
Ŷtj h , t s    w 1j Ŷtj h ,t s1  w 2j ŶtC h , t s1  w 3j  t  h , t s1  u tj h ,t s
donde la predicción del organismo j en un momento t+s ( Ŷtj h ,t s ) dependerá de la
convicción que éste tiene en su predicción previa ( Ŷtj h , t s 1 ), de la predicción de
consenso anterior ( ŶtC h , t s 1 ) y la dispersión entre el resto de organismos observada en
el estadio anterior  t h ,t s1 . El último término de la regresión corresponde al error de
predicción u tjh ,t s , siendo de suponer que a medida que se avanza en el proceso de
predicción, los organismos tiendan a converger en sus predicciones, de una parte por el
efecto a imitar al resto y de otra porque al disponer de más información más precisa será
la predicción.
O’Connor, Remus y Griggs (2000) tratan de separar la reacción derivada de la información pasada de la
derivada de la nueva información incorporada a la pasada y se preguntan en qué medida la reacción
también puede ser debida a información contextual.
14
En el análisis de las predicciones cualitativas examinaremos tanto el sesgo como la
concordancia.
Uno de los análisis más comúnmente empleados para el estudio del sesgo y su
corrección en futuras predicciones es el propuesto por Theil a partir de una regresión de
las realizaciones ( Yt ) sobre las predicciones efectuadas en los periodos pasados ( Ŷt ):
Yt    Ŷt  u t
t=1, ..., T
Los coeficientes estimados ̂ y ̂ permiten analizar el sentido y la magnitud del sesgo,
así como corregir las predicciones para periodos sucesivos t+h ( Ŷt  h ,t ) estimando una
predicción corregida Ŷt* h ,t  ˆ  ˆ Ŷt  h , t . Si las predicciones fuesen insesgadas se
debería de cumplir 
ˆ  0 , ˆ  1 , requisito que Holden y Peel (1990) han demostrado
que es condición suficiente pero no necesaria de insesgadez. Estos autores proponen
estimar el modelo e t  v   t , donde e t  y t  ŷ t es el error de predicción y v es su
valor medio. El contraste del supuesto de insesgadez equivale entonces a contrastar la
nulidad del valor medio v, por lo que un rechazo de esta última hipótesis nos llevaría a
concluir que las predicciones son sesgadas, indicando el parámetro estimado el signo y
la magnitud del sesgo15.
Existen también algunos procedimientos no paramétricos para contrastar la hipótesis de
insesgadez de las previsiones a través de una función que indica si el error de predicción
es positivo:
15
f (e t )  1
et  0
f (e t )  0
et  0
Si por ejemplo el valor estimado es positivo y significativamente diferente de cero, las previsiones
efectuadas son inferiores a los valores finales de la magnitud, y por tanto habría que hacer una revisión al
alza en posteriores previsiones.
La hipótesis de insesgadez supondría que los errores se distribuyen simétricamente con
T
media nula y bajo este supuesto el estadístico definido como S   f (e t ) sigue una
t 1
distribución binomial B(T, 0,5), que para muestras grandes puede ser aproximada a un
T
2  N(0,1) .
T
4
S
modelo Normal:
Este test conducirá al rechazo de la hipótesis de insesgadez de las predicciones si el
número de observaciones con error de predicción positivo es significativamente distinto
al número de observaciones con error de predicción negativo.
En cuanto a la concordancia entre predicciones y realizaciones con datos de tipo
categórico, una de las medidas más empleadas es el índice kappa, propuesto
inicialmente por Cohen (1960). Si disponemos de una muestra (T) de observaciones
pasadas de predicciones y realizaciones que se puedan clasificar en las mismas
categorías nominales, la clasificación conjunta se puede recoger en una tabla de
contingencia:
REALIZACIONES
1
2
m
PREDICCIONES Y Y ... Y Total
Ŷ1
n11 n12 ... n1m n1.
Ŷ 2
n21 n22 ... n2m n2.
.
Ŷ
... ... ... ...
m
Total
donde cada valor nij
...
nm1 ... ... nmm nm.
n.1 n.2 ... n.m
T
representa el número de observaciones clasificadas para la
predicción en la categoría Ŷ i y para la realización en la categoría Y j (i,j=1, .., m).
Desde un punto de vista típicamente estadístico es más adecuado pensar en términos de
la población de la que se supone que ha sido extraída dicha muestra y por tanto los
valores nij de cada celda se modifican por las probabilidades conjuntas, que
denotaremos por pij. Entonces, el índice kappa,  , se define como:
m

m
 p ij   p i. p . j
i , j1
i , j1
m
1   p i. p . j
i , j1
expresión para la que se obtiene el valor  = 1 en el caso de máxima concordancia.
A la hora de interpretar el valor de  es útil disponer -a pesar de su arbitrariedad- de una
escala como la siguiente:
Valoración del Índice Kappa
Valor de 
Fuerza de la concordancia
< 0,20
Pobre
0,21 – 0,40
Débil
0,41 – 0,60
Moderada
0,61 – 0,80
Buena
0,81 – 1,00
Muy buena
El valor de kappa es una función de las probabilidades, que al ser desconocidas deberán
de ser estimadas a partir de las proporciones muestrales correspondientes: p̂ ij 
p̂ i. 
n i.
T
p̂ . j 
n.j
T
n ij
T
,
.
Por su parte, la variabilidad puede ser relevante tanto en la formulación de contrastes de
hipótesis como en la construcción de intervalos de confianza. La distribución asintótica
del estimador cuando el verdadero valor de  es cero viene dada por la expresión:
2
m
 m

p i. p . j    p i. p . j    p i. p . j p i. p . j 

i , j1
i , j1
 i , j1

 2 ( ) 
m
0
2
m


1   p i . p . j  T


 i , j1

cuyo valor muestral que denotaremos por S 02 ( ) se obtiene reemplazando las
probabilidades teóricas, que desconocemos, por las proporciones muestrales.
Estos resultados se emplean para contrastar:
utilizando como estadístico del contraste
H0 :   0
H1 :   0

S 02 ( )
con distribución normal estándar.
Otra alternativa consiste en asignar un peso a las diferentes posibilidades de desacuerdo,
de tal manera que se considere como más importante un desacuerdo entre categorías
alejadas que entre las próximas. Este peso variará entre 0 (acuerdo, misma categoría) y
1 (desacuerdo con categorías extremas) y la idea del índice ponderado es asignar a cada
celda de la tabla un peso wij comprendido entre 0 y 1 que represente la importancia del
desacuerdo. El peso máximo corresponde al acuerdo perfecto, y se obtienen pesos
proporcionalmente menores según la importancia del desacuerdo ( w ii  1 y
0  w ij  1 ), siendo los pesos más comúnmente utilizados los lineales y los
bicuadrados16.
Por su parte los tests denominados de “calibración de probabilidad” evalúan la
probabilidad o credibilidad que un individuo tiene en las predicciones que realiza.
Denominamos C t  h , t a un indicador de la credibilidad17 que un individuo tiene acerca
16
Los pesos lineales serían w ij  1 
i j
y los pesos bicuadrados w ij  1 
(i  j) 2
.
m 1
(m  1) 2
17
Siguiendo a Savage (1971), cuando los sucesos son excluyentes la creencia puede ser tomada como una
probabilidad y en concreto como una probabilidad frecuencialista.
de los posibles valores que puede tomar una variable en el futuro (en concreto sólo
puede tomar dos valores y generamos una variable R t  h , t con valor unitario si el evento
ocurre con valor Yt1 h y con valor nulo en otro caso. En esta situación una medida
cuadrática de evaluación de la probabilidad o credibilidad propuesta por Brier (1950) es:
PS 
1 T
 2(C t h ,t  R t h ) 2
T t 1
donde PS 0,2 indicando valores más pequeños predicciones más precisas18.
No obstante, debemos tener presente que C t  h , t no es la predicción del evento (el cual
puede tomar valores 0 y 1) sino la probabilidad o grado de creencia asignada a esos
valores por lo que otra manera de evaluar la credibilidad o confianza es comparar esas
probabilidades C t  h , t con las frecuencias relativas observadas en las realizaciones, lo
que se llama calibración. Una medida de calibración es el sesgo global cuadrático:
GSB  2(C  R ) 2
medida comprendida en los mismos límites que PS y con la misma orientación.
APLICACIONES
En este apartado presentamos aplicaciones de los métodos anteriormente expuestos al
análisis de predicciones para el crecimiento económico español en los últimos años,
considerando en primera instancia las previsiones cuantitativas realizadas por diversos
organismos para el crecimiento anual del PIB y analizando a continuación las
predicciones cualitativas aportadas por los Indicadores de Clima Industrial elaborados
por el Ministerio de Ciencia y Tecnología.
18
Dado que las predicciones y realizaciones no se conocen, el análisis se realiza a partir de los valores
pasados de R t y C t .
Análisis de predicciones de crecimiento del PIB nacional
Las perspectivas de crecimiento nacional en España vienen recogidas por las
previsiones y revisiones sobre las tasas reales de crecimiento interanual del PIB
elaboradas por distintos organismos y que aparecen recogidas en los Informes
Semestrales de Perspectivas Económicas y Empresariales publicados por CEPREDE y
el Instituto L.R.Klein.
Más concretamente, analizaremos el periodo 1994-2001, considerando los dos informes
semestrales publicados cada año (Junio y Diciembre) donde se difunden las
predicciones que las instituciones dan para el año en curso y el siguiente. Así, para la
previsión de la tasa del PIB de un año t dispondremos de dos previsiones efectuadas el
año anterior, y de otras dos publicadas en los informes semestrales del año t (y que
indicaremos respectivamente con t-IV, t-III, t-II y t-I de acuerdo con cada estadio en que
se publica cada predicción ). Por tanto para cada año t cada institución j tendrá 4
predicciones correspondientes a los cuatros estadios s (s=-IV, -III, -II, -I),


Ŷ j t ,t s  Ŷtj,t IV , Ŷtj,t III , Ŷtj,t II , Ŷtj,t I , y en cada estadio (s) habrá un conjunto de

predicciones realizadas por las N instituciones ŷ t ,t s  Ŷt1,t s , Ŷt2,t s ,...ŶtN,t s

t
Además de cada predicción individual, en cada informe se publica el promedio de todas
ellas que llamamos ŶtC, t s . Si tenemos en cuenta la información publicada en su
conjunto, para cada año t tendremos un panel de predicciones formado por las
predicciones la todas las instituciones y la predicción de consenso en los cuatro estadios
Ŷ
1
t , t s
, Ŷt2,t s ,..., ŶtN,t s , ŶtC,t s

t
que es una matriz (N+1x4)
Con la información proporcionada en cada panel es posible estudiar la revisión de las
predicciones individuales y la convergencia de estas predicciones individuales con la
predicción de consenso, así como sus sesgos al compararlas con las realizaciones, dadas
por las tasas publicadas por el INE. A la vista de los comentarios recogidos en los
apartados previos, es de prever tanto una disminución en los sesgos de las predicciones
individuales (y por tanto en la de consenso) como en la dispersión de los diferentes
organismos a medida que se incorpora información más reciente o avanzamos en el
estadio de predicción.
Para nuestra aplicación disponemos de 8 paneles19 correspondientes a los años del
periodo 1994-2001. Para cada panel anual se ha calculado en cada estadio de la
información la predicción de consenso, el sesgo cometido por cada institución y por el
consenso y la dispersión entre instituciones. Un resumen de los resultados aparece
recogido en la siguiente tabla:
Sesgo
Desviación estándar
Año
Predicción de
consenso inicial
Predicción de
consenso final
Predicciones
iniciales
Predicciones
finales
1994
-0,89
-0,88
0,61
0,35
1995
-0,33
0,29
0,32
0,16
1996
0,98
-0,17
0,44
0,12
1997
-0,95
-0,75
0,20
0,16
1998
-1,31
-0,51
0,18
0,05
1999
-0,95
-0,75
0,16
0,12
2000
-0,60
-0,30
0,35
0,18
2001
0,58
-0,08
0,29
0,13
Fuente: Elaboración propia a partir de datos CEPREDE- L.R. Klein
Los resultados del análisis realizado muestran que, tal y como cabía esperar, el sesgo
disminuye a medida que avanzamos en el estadio de predicción y también la dispersión
entre las predicciones de los diferentes organismos se reduce a medida que nos
acercamos al instante para el que se predice.
Por su parte, el análisis de las predicciones de cada institución no permite concluir que
ninguna de ellas sea significativamente superior a las restantes ni que las predicciones
19
No existe homogeneidad en las instituciones consideradas en cada panel, por lo que la base considerada
para el periodo 1994-2001 incluye un numero de instituciones comprendido entre 9 y 21.
realizadas por las instituciones nacionales conlleven menor sesgo que las de
instituciones internacionales.
Análisis de la coyuntura industrial
Para esta aplicación hemos considerado como predicción cualitativa del crecimiento
económico el Indicador Climático de la Industria, elaborado mensualmente por el
Ministerio de Ciencia y Tecnología a partir de la información suministrada por la
Encuesta de Coyuntura Industrial. En concreto se ha investigado el período 1990.012001.12, calculando el ICI como la media de los saldos de opiniones empresariales
referidas al nivel de la cartera de pedidos total, las existencias de productos terminados
cambiados de signo y la tendencia de la producción desestacionalizada.
Para comparar en este caso el sesgo y la concordancia de las predicciones (ICI) se han
considerado como realizaciones las tasas interanuales del Índice de Producción
Industrial mensual elaborado por el INE. En concreto, tal y como muestra el gráfico
siguiente, elaborado a partir de las series suavizadas del ICI y de la tasa interanuales del
IPI, el ICI de un mes se puede considerar como una predicción de la tasa del IPI del mes
siguiente (TIPI).
Fuentes: Ministerio de Ciencia y Tecnología e INE
A partir de estos indicadores hemos estudiado diferentes aspectos de la variabilidad.
Así, para el sesgo se ha realizado el análisis de Theil y el test S, obteniendo en ambos
casos que el ICI es un predictor sesgado del IPI.
El modelo estimado para la tasa de crecimiento del IPI a partir del Indicador de Clima
Industrial ha sido:
^
TIPI t 1  4,97  0,31 ICI t
(0,47) (0,03)
que muestra cómo los empresarios tienden a valorar al alza las expectativas sobre
crecimiento económico.
La existencia de sesgo en las opiniones empresariales es corroborada por el test S, ya
que a partir de la información muestral se obtiene una discrepancia observada
d Ŝ / H  10,5 que conduce, con un nivel de significación   0,05 , al rechazo de la
0
hipótesis nula.
Para las medidas de concordancia, es necesario clasificar las observaciones del ICI e
TIPI en categorías, por lo que se ha llevado a cabo una clasificación en intervalos 20 tal y
como recoge el gráfico siguiente:
20
La clasificación considerada distingue tres categorías para cada indicador. En el caso de las tasas del
IPI dichas categorías se han definido de forma simétrica mientras que para el ICI, hemos considerado una
clasificación que incluye parte del recorrido negativo en la categoría “Mantenerse”, teniendo en cuenta la
propensión de los empresarios a sobrevalorar la tendencia que, como ya hemos señalado, introduce un
cierto sesgo al alza.
Categorías
ICI
TIPI
[-100, -30)
(-  , -8)
Decrecer
Mantenerse
[-30,0)
(-8,8)
Crecer
(0, 100]
(8,   )
Fuente: Elaboración propia
La información muestral disponible proporciona como resultado un índice   0,43 que
lleva asociado un nivel de concordancia moderado entre predicciones (ICI) y
realizaciones (TIPI) (0,45 para el caso de ponderaciones lineales y 0,5 para las
ponderaciones bicuadráticas) y conduce al rechazo de la hipótesis nula del contraste
H0 :   0 .
Para aplicar los test de calibración de la probabilidad necesitamos una medida del grado
de creencia o fiabilidad en las predicciones C
t h ,t
, que podría venir proporcionada por
las expectativas que sobre la producción tienen los gerentes industriales 21. En este caso
valoramos únicamente la precisión en los puntos de inflexión, por lo que C
t h ,t
1
cuando el saldo a la pregunta sobre la tendencia en la producción sea positivo y
C
t h , t
 0 en caso contrario, obteniendo resultados de PS=0,79 y GBS=0,011, que
permitirían calificar la precisión de moderada.
21
Moreno y López (2001), comprueban que cuando se combinan las valoraciones de los empresarios
empleando la metodología bayesiana, las frecuencias a las tres posibles respuestas se pueden tomar como
grados de creencia respecto al futuro inmediato de la economía.
BIBLIOGRAFÍA
ALCAIDE, J. (2001): “Expectativas económicas 2001-2002: Fuentes privadas”, Revista
Fuentes Estadísticas, nº 60, www.fuentesestadisticas.com
ASTHON, A.H. y ASTHON, R.H. (1985): “Aggregating subjetive forecast: Some empirical
results”, Management Science, Vol. 31 nº12, 1499-1508.
BATES, J.M. y GRANGER, C.W.J. (1969): “The Combination of Forecasts”, Operational
Research Quarterly Vol. 20, nº 4, 451-468.
BRIER, G.W. (1950): "Verification of forecast expressed in terms of probability", Monthy
Weather Review, Vol. 78 nº 1, 1-3.
BUNN, D.W. y MUSTAFAOGLU, M.M. (1978): “Forecasting political risk”, Management
Science, Vol. 24 n1º 15, 1557-1567.
CASTAÑO, E. y MELO, L.F. (2000): “Métodos de combinación de pronósticos: Una
aplicación a la inflación colombiana”, Lecturas de Economía, nº 52.
CEPREDE/L.R. KLEIN (Varios años): Perspectivas Económicas y Empresariales, Informes
Semestrales .
COHEN, J.E. (1960): A coefficient of agreement for nominal scales, Educational Psychology
Measures, nº 20, 37-47.
CONROY, R. y HARRIS, R. (1987): “Consensus forecast of corporate earnings: Analysts’
forecast and time series methods”, Management Science, Vol. 33 nº 6, 725-738.
DEUTSH, M.; GRANGER, C.W.J. Y TERÄSVIRTA, T. (1994): "The combination of forecast
using changing weigths", International Journal of Forecasting, 10, 47-57.
DICKS, G. y BURRELL, A. (1994): “Forecasting in practice”, Applied Economic Forecasting
Techniques, Stephen Hall, London.
DIEBOLD, F.X. (1988): “Serial correlation and the combination of forecast”, Journal of
Business and Economic Statistics, 6, 105-111.
DIEBOLD, F.X. y PAULY, P. (1987): “Structural change and the combination of forecast”,
Journal of Forecasting, Vol. 6, 21-40.
ELTON, E.J.; GRUBER, M.J. y GULTEKIN, M. (1981): “Expectations and share prices”,
Management Science, Vol. 27 nº 9, 975-987.
GALLO, G.M.; GRANJER, C.W.J. y JEON, Y. (1999): "The impact of the use of forecast in
information sets", Discussion paper 99-18, University of California, San Diego.
GRANGER, C.W.J y RAMANATHAN, C. (1984): “Improved Methods of Combining
Forecast”, Journal of Forecasting, Vol. 3, 197-204.
GRANGER, C.W.J. y NEWBOLD, P. (1975): “Economic Forecasting: The Atheist´s
Viewpoint”, Modelling the Economy, Ed. G.A. Renton, London. 131-147.
GREER, M. (2001): “Directional accuracy test of long-term interest rate forecast”, International
Journal of Forecasting, www.elsevier.com
HERREA, G. (2001): “La Encuesta de Coyuntura Industrial, fuente adelantada de información
sobre la evolución de la industria”, Revista Fuentes Estadísticas, nº 60.
HERRERO, A. (1997): Encuesta de Coyuntura Industrial. Seminario sobre la Metodología de
los Indicadores Económicos (dirección: Gustavo Matías Clavero). Madrid.
HOLDEN, K. y PEEL, D.A. (1990): “On testing for unbiasedness and efficency of forecast”,
The Manchester School, Vol. LVIII nº 2, 120-127.
INE (Varios años): Boletín Mensual de Estadística, www.ine.es
LABORDA, A. (2001): “Panel FUNCAS de previsiones económicas para España”, Revista
Fuentes Estadísticas, nº 55, www.fuentesestadisticas.com
MAKRIDAKIS, S. y HIBON, M. (1979): “Accuracy of Forecasting: An Empirical Investigation
(with Discussion)”, J. R. Statistical Society, Series A, 142, Part. 2, 97-145.
MAKRIDAKIS, S. y WRINLER, R.L. (1983): "Averages of forecast: Some empirical results",
Management Science, Vol. 29, nº 9, 987-998.
MARTINEZ, P. (2001): “Datos de opinión acerca de cuestiones económicas”, Revista Fuentes
Estadísticas, nª 60, www.fuentesestadisticas.com.
MIN, C. y ZELLNER, A. (1993): “Bayesian and non-Bayesian methods for combining models
and forecasts with applications to forecasting international growth rates”, Journal of
Econometrics, nº 56, 89-118.
MINISTERIO DE CIENCIA Y TECNOLOGÍA (Varios años): Encuesta de Coyuntura
Industrial. Secretaría General del Ministerio de Ciencia y Tecnología, www.mcyt.es
MORENO, B. y LOPEZ, A.J. (2001): “La combinación de predicciones subjetivas. Aplicación
a las encuestas de opiniones empresariales.” Anales de Economía Aplicada, Actas XV
Reunión ASEPELT-España, La Coruña.
MORENO, B., LÓPEZ. A.J. y LANDAJO, M (2000): “Comparación y combinación de
predicciones. Aplicación a las series temporales”. Actas XIV Reunión ASEPELTEspaña, Oviedo.
NEWBOLD, P. Y GRANGER, C.W.J. (1974): “Experience with Forecasting Univariate Time
Series and the Combination of Forecast”, Journal of the Royal Statistical Society, Serie
A, 137. Part. 2, 131-165.
NOVELL, J. y SOLE, A (2000): Racionalidad de las previsiones presupuestarias y
comportamiento estratégico. El caso español, Actas III Encuentro de Economía
Aplicada, Valencia.
O’CONNOR, M.; REMUS, W. y GRIGGS, K. (2000): “Does updating judgmental forecast
improve forecast accuracy?”, International Journal of Forecasting 16, 101-109.
PEREZ, M.A. (2001): “La opinión de los empresarios ante diversas expectativas de futuro”,
Revista Fuentes Estadísticas, nº 60, www.fuentesestadisticas.com.
PESARAN, M.H. y TIMMERMANN, A. (1992): "A simple nonparametric test of predictive
performance", Journal of Business & Economic Statistics, Vol. 10, nº 4, 461-465.
PULIDO, A. (2001a): “Fuentes internacionales y nacionales en predicción económica”, Revista
Fuentes Estadísticas, nº 55, www.fuentesestadisticas.com.
PULIDO, A. (2001b): “Consenso de predicciones”, Revista Fuentes Estadísticas, nº 60,
www.fuentesestadisticas.com.
SCHNADER, M.H. Y STEKLER, H.O.(1990): "Evaluating predictions of change", Journal of
Business, Vol. 63 nº 1, 99-107.
SCHÖNBORN, F. (1997): “Las encuestas cualitativas reflejan los planes y expectativas de
empresarios
y
consumidores”,
Revista
Fuentes
Estadísticas,
nº
55,
www.fuentesestadisticas.com.
SAVAGE L. J. (1971): “Elicitacion of personal probabilities and Expectations”, Journal of the
American Statistical Association, vol 66, nº 336. 783-801.
WINKLER, R.L. (1984): “Combinig Forecasts”, The Forecasting Accuracy of Major Time
Series Methods, John Wiley & Sons, 289-295.
WINKLER, R.L. y MAKRIDAKIS, S. (1983): “The Combination of Forecast”, Journal of the
Royal Statistical Society, Serie A, 146. Part. 2, 150-157.