1
Download Redes Neuronales Convolutivas
Document related concepts
no text concepts found
Transcript
Seminario DLPLN 2016, InCo REDES NEURONALES CONVOLUTIVAS CONVOLUCIÓN Convolución • Caso continuo: • Propiedades: • asociativa • conmutativa • distributiva frente a la suma • ... Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 3 Convolución Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 4 Convolución • Caso discreto: • Con t=1: Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 5 Convolución • Media móvil: sirve para calcular tendencias Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 6 Convolución • Media móvil: sirve para calcular tendencias Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 7 Convolución 1 1 1 -4 1 1 -2 -1 -1 Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 1 1 1 2 8 CONVOLUCIÓN + REDES = CNN: Reconocimiento de dígitos • 12 ejemplos de16x13 bits de cada dígito, dibujados con un ratón. Cada ejemplo se coloca en 4 posiciones horizontales: 480 casos de 16x16. • Conjunto de entrenamiento: 32 ejemplos aleatorios de cada dígito • Pruebas con 5 redes distintas, todas con entrenamiento on-line Elements of Statical Learning, Hastie et al. (01) Generalization and Network Design Strategies, Le Cun (89) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 10 Net-1 y Net-2 • Net-1: 10 16x16 0 ocultas, 2570 links • • 10 unidades sigmoides de salida • completamente conectada. • ajusta muy rápido (7-5 épocas) • 70%-80% en test • superposición ponderada de entradas 3084 links Net-2: • +12 unidades (¿sigmoides?) ocultas • completamente conectada • ajusta muy rápido (6 épocas) • 87% test • sobreparametrizada Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 16x16 130 links 12 10 12 ocultas, 3214 links 11 Net-3 640 links 170 links 416 links 4x4 8x8 10 16x16 80 ocultas, 1226 links • 2 capas ocultas, H1 de 8x8 y H2 de 4x4. • H1 y H2 con conexión local: subsampleo de la entrada • capa de salida completamente conectada • 88,5% test Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 12 Net-4 1280 links 146 pesos 816 links 816 pesos 170 links 170 pesos 8x8 d 4x4 10 16x16 8x8 144 ocultas, 2266 links, 1132 pesos • H1 de 8x8x2 y H2 de 4x4. • H1 y H2 con conexión local • En cada mapa de H1 se comparten los pesos (¡convolución!) • 94% test Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 13 Net-5 650 links 650 pesos 3264 links 264 pesos 1280 links 146 pesos 10 16x16 8x8 4x4 192 ocultas, 5194 links, 1060 pesos • H1 de 8x8x2, H2 de 4x4x4. • H1 y H2 convoluciones • 98,4% test (con picos de 100%) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 14 Resultados Redes neuronales convolutivas, Seminario DLPLN 2016, InCo links pesos performance Net-1 2570 2570 80,0% Net-2 3240 3240 87,0% Net-3 1226 1226 88,5% Net-4 2266 1132 94,0% Net-5 5194 1060 98,4% % 15 LeNet-5 Neuronas Links Pesos C1 4704 122304 156 S2 1176 5880 12 C3 1600 151600 1516 S4 400 2000 32 C5 120 48120 48120 F6 84 10164 10164 Redes neuronales convolutivas, Seminario DLPLN 2016, InCo Gradient-based learning applied to document recognition, Le Cun et al. (98) 16 LeNet-5 Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 17 Características • Grandes cantidades de neuronas pero pocas conexiones que disminuyen el sobreajuste debido a la sobreparametrización. • Distintos tipos de capas: • convolutiva (feature map): las neuronas están conectadas localmente y comparten pesos; extraen características locales y son invariantes respecto al espacio. • subsampleo/agrupación (pooling): condensan salidas de capas anteriores, aplicando subsampleo y alguna función de reducción (máximo, k-máximo, media, etc.); reducen el espacio. • completamente conectadas: al estilo clásico, normalmente son la última capa. Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 18 Características • Se puede entrenar con backpropagation con alguna pequeña modificación. • A tener en cuenta: • cantidad de capas convolución / subsampleo • tamaño de los filtros y separación entre zonas de recepción (stride) • función de agrupamiento • Hay conocimiento del dominio detrás de estas elecciones. Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 19 ¿PROFUNDO? Who put the D in Deep? ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky et al. (12) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 21 Who put the D in Deep? GoogLeNet, Szegedy et al. (14) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 22 Who put the D in Deep? Deep Residual Learning for Image Recognition, He et al. (15) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 23 ImageNet Challenge • 1,2 millones de imágenes en 1000 categorías. ImageNet Large Scale Visual Recognition Challenge, Russakovsky et al (15) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 24 ¿PLN CONVOLUCIONA? CNLP • Convolución, sí. Profunda, no. Convolutional Neural Networks for Sentence Classification, Yoon Kim (14) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 26 CNLP Convolutional Neural Networks for Sentence Classification, Yoon Kim (14) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 27 CNLP A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification, Zhang & Wallace (16) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 28 CNLP • ¿Existe el mejor conjunto de vectores? • ¿Tamaño de los filtros? • ¿Cantidad de mapas de características? • ¿Función de agrupamiento? • ¿Regularización? • ¿Con cuáles parámetros quedarse? A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification, Zhang & Wallace (16) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 29 ¿Y ? CNLP Natural Language Processing (Almost) from Scratch, Collobert et al. (11) Redes neuronales convolutivas, Seminario DLPLN 2016, InCo 31 GRACIAS (PROFUNDAS)
