Download Redes neuronales artificiales: The Self

Cuadernos de Estadı́stica Aplicada
Enero - Junio de 2014, Vol. I, No. 1
Redes neuronales artificiales: The Self-Organizing
Maps (SOM) para el reconocimiento de patrones.
Artificial Neural Networks: The Self-Organizing Maps (SOM) for
pattern recognition.
Ana M. Gómez1
Recibido: septiembre 19 de 2013.
Revisado: septiembre 24 de 2013.
Aprobado: diciembre 17 de 2013.
Resumen
Una herramienta exitosa para agrupar y visualizar datos n-dimensiones provenientes
de fuentes distribuidas y autónomas son las redes neuronales artificiales(ANN) por
sus siglas en inglés. Las ANN son vectores de cuantización (VQ-ANN) eficaces para
estudios con fines de clasificación, agrupación y reducción de dimensionalidad dado
que permiten describir la estructura topológica del espacio original del conjunto de
datos inicial, seleccionando las similitudes más importantes y representándolas como
relaciones espaciales entre las neuronas vencedoras en los datos de salida Salas et
al.(2011). La red neuronal SOM (Self Organizing Map), también conocida como los
mapas auto-organizados de Kohonen se creó con el fin de simular la abstracción sensorial de la información del entorno en los seres humanos de manera bidimensional. En
este documento se presentan los mapas auto-organizados que se obtienen cuando se
implementa una red SOM a través del toolbox nntraningtool de Matlab a un conjunto
de datos de contaminación del aire del 2011, en la ciudad de Santiago en Chile, junto
con la interpretación de las salidas sobre las asociaciones obtenidas por las neuronas
vencedoras.
Palabras clave: VQ-ANN, ANN, SOM, modelo neuronal, entrenamiento, estructura, toolbox.
Abstract
A successful tool to group and display data from n- dimensional distributed and
autónomous sources are artificial neural networks, Artificial Neural Network. The
1 Docente
de tiempo completo, Departamento de Ciencias Básicas, Institución Universitaria Los Libertadores. Bogotá, Colombia. E-mail: amgomezl01@libertadores.edu.co
27
28
Ana M. Gómez
ANN are effective vectors for studies for classification, clustering and dimensionality
reduction quantization that allow to describe the topological structure of the original
space of the initial data set, selecting the most important similarities and representing
them as spatial relations between neurons in winning output data Salas et al.(2011).
The neural network SOM (Self Organizing Map), also known as self-organizing maps
of Kohonen was created in order to simulate the abstraction of sensory information from the environment in humans dimensional way. This paper presents the selforganizing maps which are obtained when implements a network SOM through the
toolbox nntraningtool from Matlab to a data set of 2011 air pollution in the city
Santiago of Chile, along with the interpretation of the outputs of the associations
obtained by the winning neurons.
Keywords: VQ-ANN, ANN, SOM, Neuronal Model, Training, Structure, Toolbox
1.
Introducción
Los avances sobre el aprendizaje de máquinas han permitido el desarrollo de
herramientas para el análisis y procesamiento de información debido al crecimiento tecnológico para la recolección y almacenamiento de datos de forma
distribuida y autónoma. Particularmente, disciplinas como la estadı́stica y la
informática encuentran solución o respuestas en diversos estudios aplicando
técnicas basadas en algoritmos evolutivos con el objeto de apoyar la toma de
decisiones o simplemente poder describir un fenómeno.
El desarrollo de las redes neuronales artificiales o ANN, por sus siglas en inglés, surge de las intenciones de simular el comportamiento de seres vivos. El
funcionamiento de las redes neuronales artificiales se basa en su arquitectura
y regla de aprendizaje fundamentada en un algoritmo adaptativo. La tarea
de clasificación y agrupación es una de las actividades más importantes en el
análisis de datos, la asignación o relación de objetos dentro de un conjunto de
categorı́as, establecidas o no, teniendo en cuenta las correlaciones, patrones o
similitudes entre ellos Salas et al.(2011).
La red SOM es un algoritmo evolutivo de aprendizaje competitivo no supervisado, muy útil para problemas en los que hay búsqueda e identificación de
estructuras (patrones o jerarquı́as entre los datos) o la reducción de la dimensionalidad sin perder información, dado su proceso de medir distancias entre
los datos formando grupos o conglomerados (clústers) a través del encuentro
de un representante o centroide por cada grupo.
Institución Universitaria Los Libertadores
Departamento de Ciencias Básicas
Redes neuronales artificiales...
29
Los datos de contaminación del aire son datos obtenidos de manera autónoma
y almacenados en fuentes distribuidas, es decir, la naturaleza de estos datos
difiere de las caracterı́sticas de centralización deseables para realizar un análisis clásico. Por tal motivo, la implementación de la red neuronal artificial SOM
es interesante para desarrollar un estudio de reconocimiento de caracterı́sticas
que permitan apoyar estudios sobre episodios de contaminación del aire Salas
et al.(2011).
En este documento se presenta de manera formal y descriptiva la estructura y el
aprendizaje de una red SOM y su aplicación a un conjunto de datos referidos a
lacontaminación del aire de la ciudad de Santiago, Chile. En la primera sección
se presenta de manera formal conceptos teóricos sobre el modelo neuronal
SOM, en la segunda sección se caracteriza la estructura y entrenamiento de la
red SOM con un enfoque descriptivo, en la tercera sección se exponen algunas
caracterı́sticas de los datos aplicados y aspectos de implementación del toolbox
de Matlab nntraningtool y en la cuarta y quinta sección se presentan y discuten
los resultados obtenidos de la implementación.
2.
Self-Organizing Maps (SOM)
Kohonen (1982) propuso el modelo neuronal de la red SOM con el objetivo de
demostrar que a partir de estı́mulos externos o datos de entrada de espacios
multidimensionales, la estructura propia de la red artificial puede describir
y proyectar la información abstraı́da en los estı́mulos, organizando datos de
salida en un mapa bidimensional. Un modelo SOM está compuesto por dos
capas de neuronas. La capa de entrada (formada por N neuronas, una por
cada variable de entrada) se encarga de recibir y transmitir a la capa de salida
la información procedente del exterior. La capa de salida (formada por M
neuronas) es encargada de procesar la información y formar el mapa de rasgos
de Palmer (2002), la figura 1 representa de manera intuitiva la estructura del
modelo de la Red (SOM).
Figura 1: Estructura de la Red SOM.
Cuadernos de Estadı́stica Aplicada, Enero - Junio de 2014, Vol.I No.1
30
Ana M. Gómez
De manera descriptiva, el modelo de red SOM posee un algoritmo que caracteriza inicialmente los datos otorgando pesos wi j con valores muy pequeños
y aleatorios, ası́ presenta una entrada en forma de vector, notado como W̃ ,
donde cada componente serán números reales W̃ = (w1 j , w2 j , ...wi j ).
Cuando los datos ingresan a la red, esta analiza sus correlaciones, es entonces cuando las neuronas de la red reciben una señal representada por
X̃ = (x1 , x2 , ...xi )T . Ası́ las neuronas de la red empiezan a competir y la neurona
ganadora será aquella que tenga el valor más parecido a los pesos iniciales,
esto se obtiene calculando la distancia entre los
usualmente se usa la
vectores,
√
métrica Euclidea definida como d = (X̃, W̃ ) = X̃ − W̃ = ∑ni=1 (xi − wi j )2 .
Con la neurona ganadora se obtiene una vecindad, luego se reajustan los pesos
y se repetirá nuevamente el proceso. Las veces que la neurona vencedora es
reajustada se dedermina con la tasa de aprendizaje, la cual es una magnitud
de cambio entre 0 y 1 decreciendo en cada iteración. Comúnmente, esta magnitud se representa y se actualiza con la siguiente función α (t) = α0 +(α f − α0 ) ttα .
Donde, α f es la razón de aprendizaje final y tα es el número de iteraciones máxima para alcanzar α f . Durante el proceso de aprendizaje en el tiempo t los
vectores de referencia son cambiados iterativamente según la siguiente regla
de adaptación en Salas et al.(2011), donde W j (t + 1) = w j (t) + hc ( j,t)[xi (t) −
wi j (t)]; j = 1...M con hc ( j;t) será el Kernel asociado al clúster, generalmente
viene dado por una función gaussiana.
La red SOM tiene un aprendizaje competitivo no supervisado, el cual le permite ser muy útil para problemas en los que hay búsqueda e identificación
de estructuras (patrones de organización o jerarquı́as entre los datos) o la reducción de dimensionalidad sin perder información, con aras de encontrar el
ajuste del mejor modelo obtenido en cada iteración del algoritmo. Dado que
su proceso de medir distancias entre los datos forma grupos o conglomerados
(clúster), el encuentro de un representante por cada grupo (neurona vencedora) es el enlace a la proyección de un mapa de menor dimensión sin cambiar o
perturbar la estructura topológica de los datos de entrada de la red.
3.
Estructura y entrenamiento de una red SOM
La funcionalidad de los mapas auto-organizados de Kohonen o red SOM esta
en descubrir la estructura subyacente al conjunto de datos introducidos en la
red con fines de estudio. A continuación de forma descriptiva se presenta la
Institución Universitaria Los Libertadores
Departamento de Ciencias Básicas
Redes neuronales artificiales...
31
estructura y el entrenamiento de una red SOM :
Estructura
Matriz de neuronas: las neuronas de la red se distribuyen sobre un campo
o rejilla de dos dimensiones, esta puede ser rectangular, hexagonal entre
otras, de tal manera en la que se van identificando los grupos o clústers.
Espacio de entrada: el conjunto de datos de entrada se identifican como
un vector de N componentes, por cada atributo o correlación, determinado ası́ la dimensión del vector de pesos de inicialización.
Espacio de salida: corresponde al conjunto de datos de salida de la red
neuronal SOM en un mapa de menor dimensión al conjunto de entrada,
suele ser bidimensional.
Relación topológica entre neuronas: entre las neuronas existe una relación
de vecindad, la cual es subyacente al conjunto de datos debido a su estructura topológica natural. Lo más importante de esta relación es definir
la regla de asociación en la inicialización y aprendizaje de la Red Neuronal SOM.
Entrenamiento
En cada paso del entrenamiento de la red neuronal SOM, se introduce un
vector de datos de entrada y otro vector aleatorio correspondiente a los pesos de inicialización de cada neurona, se cuantifica la disimilitud entre ellos,
y la neurona vencedora será aquella que se encuentre más cerca a esa medida, formando clústers con las demás neuronas que se aproximen a la neurona
vencedora. En relación a este proceso, intuitivamente la aplicación en un software, la figura 2 es un mentefacto que representa el entrenamiento de una red
SOM.
Figura 2: Representación del entrenamiento de un red SOM.
Cuadernos de Estadı́stica Aplicada, Enero - Junio de 2014, Vol.I No.1
32
3.1.
Ana M. Gómez
Los mapas auto-organizados de Kohonen en el análisis de datos
La definición y las caracterı́sticas de los mapas auto-organizados de Kohonen
forman un especial atractivo por las dos aplicaciones principales, la agrupación
y la reducción de dimensionalidad. Estas aplicaciones permiten que la visualización de los datos forme parte importante del análisis de datos. La red SOM,
además, posee las siguientes ventajas: la implementación es relativamente fácil,
el modelo es flexible y adaptable lo cual le permite ser mejorado y optimizado.
Dado su proceso de comparación de vectores el proceso de la red SOM permite
hacer una extracción muy clara de la naturaleza de los datos de entrada y
permite además que la misma técnica sea implementada en un gran variedad
de problemas, sin estar sujeta a cambios en la aplicación base.
La facilidad de fusión con otras técnicas, debido a su naturaleza abstracción
de información topológica subyacente en los datos de entrada. Los tres formas
básicas que se aplican para la visualización de datos en la red SOM se determinan por la visualización de las neuronas de entrada, la visualización de los
pesos de inicialización y la visualización de la matriz de distancias; estas formas también se pueden combinar entre si dotando al proceso de visualización
de más precisión y mejor calidad en los resultados.
4.
Aplicación SOM a datos de contaminación del aire
A continuación se presenta la caracterización de los datos de contaminación
del aire en la ciudad de Santiago de Chile y la estructura que define la red
SOM implementada.
4.1.
Datos de contaminación del aire en la ciudad de Santiago,
Chile
Para obtener el nivel de contaminación en el aire y ver sus efectos, el gobierno
de Chile maneja un sistema de seguimiento de las condiciones meteorológicas
y de calidad del aire a través del almacenamiento de datos registrados en las
estaciones de monitoreo del sistema de pronóstico MACAM − 3 para material
particulado y condiciones de ventilación, la cual está supervisada y dirigida
por el Ministerio del Medio Ambiente del gobierno de Chile.
Los datos de contaminación del aire son de libre acceso a través de la red
MACAM − 3 se pueden encontrar en dos tipos de categorı́as:
Institución Universitaria Los Libertadores
Departamento de Ciencias Básicas
Redes neuronales artificiales...
33
Datos crudos: corresponde a la información recibida en lı́nea, de forma
automática, desde las estaciones de monitoreo
Datos validados operacionalmente: corresponden a datos monitoreados
que han pasado por un proceso de validación por parte del operador de la
estación o la red de monitoreo, pero no constituye información ratificada
por la autoridad ambiental competente.
Se aplicó una red neuronal SOM para identificar patrones en datos de contaminación del aire en la estación de monitoreo de la comuna Las Condes,
ubicada en Santiago, Chile en relación a los 9 inputs (entradas) o parámetros
contaminantes. Los datos utilizados son de categorı́a validados operacionalmente, obtenidos de la página oficial del Ministerio del Medio Ambiente de
Chile (http://sinca.mma.gob.cl), con un total de 1.080 datos correspondientes
a los promedios diarios en el periodo de invierno, del 21 de junio al 21 de septiembre del 2011. La figura 3 de Santiago de Chile y la ubicación de la estación
de monitoreo Las Condes.
Figura 3: Ubicación de la estación de monitoreo Las Condes en Santiago, Chile.
La base de datos asocia los 120 dı́as correspondientes al periodo mencionado,
en relación a nueve parámetros considerados contaminantes en unidades ppb
(partes por billón), para los estudios de control de calidad del aire de Santiago
de Chile. Por lo tanto, la base de datos consta de 120 de datos por nueve
parámetros contaminante. Cada parámetro contaminante es un input, es decir
es un vector de entrada a la red identificados como:
Cuadernos de Estadı́stica Aplicada, Enero - Junio de 2014, Vol.I No.1
34
Ana M. Gómez
Entrada:
Input1:
Input2:
Input3:
Input4:
Input5:
Input6:
Input7:
Input8:
Input9:
Nombre del parámetro contaminante.
Dı́oxido de azufre
Monóxido de nitrógeno
Dı́oxido de nitrogeno
Monóxido de carbono
Ozono
Metano
Óxidos de carbono
Hidrocarburos no metánicos
Material particulado respirable PM10
Tabla 1: Relación número Inputs con los parámetros contaminantes.
4.2.
Implementación de la red (SOM)
La estructura de la red SOM utilizáda está formada por una rejilla de 30 × 15
con topologı́a hexagonal y distancia Linkdist en la primera capa y en la segunda
capa una rejilla 8 × 8 con topologı́a hexagonal y distancia linkdist, la cual se
implementó a través del toolbox nntraningtool del software Matlab.
5.
Resultados de la aplicación
En el reconocimiento de los datos la red SOM genera un gráfico, ver figura
4, bidimensional de los pesos dominantes representados en los ejes X e Y.
Este reconocimiento de los datos es expresado por un grafo donde los nodos
(puntos grises) son los centroides de los clústers identificados y las lı́neas rojas
conectan neuronas vecinas. Es interesante observar como de forma natural la
red SOM relaciona la similitud entre los valores promedios correspondientes al
tamaño de las partı́culas de cada uno de los nueve parámetros contaminantes
y el tiempo en los cuales se obtuvo la información.
Figura 4:
Salida bidimensional donde se relacionan el número de dı́as de la recolección de los
datos y los centroides de los clústers que representa los diámetros aerodinámicos por
partı́cula.
Institución Universitaria Los Libertadores
Departamento de Ciencias Básicas
Redes neuronales artificiales...
35
La figura 5 presenta la visualización o mapeo de los datos de entrada en la
primera capa. Se muestra que a mayor oscuridad del gráfico se obtienen las
neuronas o conglomerados con más concentración de datos asociados por la
mı́nima distancia de los pesos iniciales de la red (SOM). Se puede apreciar
cómo la red SOM presenta el mapeo de cada uno de los nueve parámetros
contaminantes indicando de una manera espacial que los mapas se están relacionando por su tipo de conglomerado, observar los input 1,2,3 y 6 sombreando
el sector izquierdo de la rejilla y el sector izquierdo sur en los inputs 8 y 9 .
Figura 5: Visualización de los pesos de cada input o parámetro contaminante.
Finalmente como respuesta la red SOM entrega 64 neuronas vencedoras, debido a que la rejilla de la segunda capa fue de 8 × 8, que nos indican cuántos
datos del conjunto de entrada están asociados a cada una de ellas. En la figura
6 se presenta un mapa que identifica la rejilla mencionada y cuanto más oscuro
Cuadernos de Estadı́stica Aplicada, Enero - Junio de 2014, Vol.I No.1
36
Ana M. Gómez
es el tono de gris en la neurona, más datos relaciona. Cada una de las neuronas presenta como etiqueta un número que representa la cantidad de datos
asociados.
Figura 6: Identificación de las neuronas vencedoras.
En la gráfica anterior observemos que las neuronas vencedoras con los datos
asociados de los 9 inputs o parámetros de contaminación se encuentran en
el sector centro izquierdo del mapa, lo cual coincide con lo observado en el
sombreado de los mapeos individuales por cada input o parámetro de contaminación.
Cada neurona contiene la información de cuántos datos se asocian por el
Institución Universitaria Los Libertadores
Departamento de Ciencias Básicas
Redes neuronales artificiales...
37
tamaño del diámetro aerodinámico, input al que pertenecen y al dı́a de recolección. Para etiquetar las neuronas vencedoras se enumeran en secuencia numérica de izquierda a derecha desde la parte inferior a la superior. A continuación
se presenta una tabla donde se relacionan los resultados de la neurona número
18 y se describen las caracterı́sticas que tienen los 13 datos asociados en ese
grupo o clúster.
Dato
1
2
3
4
5
6
7
8
9
10
11
12
13
Input
7
8
9
1
3
2
4
5
6
3
3
2
1
Diámetro (ppb)
47.67
37.95
42.70
56.90
49.86
48.68
42.67
47.87
49.98
43.48
39.86
55.62
47.6
Tabla 2: Descripción resultados neurona número 18.
Ası́ como se obtuvieron los datos asociados a la neurona 18, anteriormente
descrita (tabla 2), se puede analizar cada una de las neuronas de la figura 6 con
el fin de realizar interpretaciones más relevantes. Lo interesante fue observar
cómo a través de la implementación de una red SOM se pueden reconocer
patrones.
5.1.
Discusión de resultados
En este documento se presentan las interpretaciones sobre los resultados gráficos obtenidos de la implementación de una red SOM a un conjunto de datos de
contaminación del aire. La figura 6 es la más interesante debido a que contiene
la información de cuáles especı́ficamente son esos datos que se relacionan con
el diámetro aerodinámico de la partı́cula y al input al que pertenecen.
Para trabajos futuros se puede comparar los dı́as asociados en neuronas que
sean catalogadas como importantes con el fin compararlos con los dı́as que
Cuadernos de Estadı́stica Aplicada, Enero - Junio de 2014, Vol.I No.1
38
Ana M. Gómez
declarados como preemergencia o emergencia por el Ministerio del Medio Ambiente de Chile. Es decir, se puede proyectar esta técnica como una herramienta
útil en el apoyo en las tecnicas de análisis de episodios de alta contaminación
y su influencia.
Referencias
Kohonen, T. (1982), “Self-organized formation of topologically correct feature
maps”. Biological Cybernetics, vol. 43, pp. 59 - 69
Palmer A. (2002), “Metodologı́a de las ciencias del comportamiento”. Universitat de les Illes Belears. Technical Report.
Salas R. , Saavedra C., Allende H. (2011), “Machine Fusion to Enhance the
Topology Preservation of Vector Quantization Artificial Neural Networks”. Pattern Recognition Letters, Elsevier. vol. 32, issue 7, pp. 962972.
Institución Universitaria Los Libertadores
Departamento de Ciencias Básicas