Download Redes_Neuro

Emulando el modo de
computación humano
Informática y Ciencias de la Vida
Ernesto Cortés
neto_144@unistmo.edu.mx
1
Computación
 Computación:
– Encontrar la solución a un problema desde unas
entradas dadas por medio de un algoritmo
– Hace uso de:
• Métodos simples o primitivos
• Métodos complejos, en base a combinar métodos
simples
– La teoría de la computabilidad estudia que
problemas son resolubles mediante algoritmos:
• Problemas decidibles
• Problemas indecidibles
2
Modelos de Computación
p
-o
e ra
n
c io
al
ma
tem
át
Z1 a ENIAC
arquitectura
von Neumann
Hilbert (1926)
Ackermann(1928)
Kleene, Church(1936)
Computabilidad
autómat
r
Turing (1936)
John von
Neumann
c
p
om
a
c
e
l ul a
utado
ic
o
lóg
ic
o
– Históricamente han sido definido múltiples modelos
de computación
r
McCulloch/Pitts(1943)
Wiener(1948)
red neuronal
Teoría de la información
Shannon(1940-49)
3
Modo de computación humano
 Sistema
Nervioso
– Sistema Nervioso Periférico
• Sistema Sensorial
• Sistema Motor
– Sistema nervioso somático
– Sistema nervioso autónomo
– Sistema Nervioso Central
• Encéfalo
– Cerebro, ...
• Médula espinal
4
Sistema sensorial
– Sistema visual
– Sistema auditivo
– Sistema gustativo
– Sistema olfatorio
– Sistema táctil
– Sistema somestésico
5
Ilusiones ópticas (2D)
6
Ilusiones ópticas (3D)
7
Cerebro
“Entender el cerebro y emular su potencia”
– Gran velocidad de proceso
– Tratamiento de grandes cantidades de
información procedentes de:
• Los sentidos
• Memoria almacenada
– Capacidad de tratar situaciones nuevas
– Capacidad de aprendizaje
8
Evolución del cerebro (I)
 Reptiles
– 300 mill. de años
– Instinto, movimiento, olfato, vista...
– Cerebelo y tallo cerebral humano
• SN autónomo
• Movimiento básico
9
Ilusiones ópticas (desapariciones)
10
Ilusiones ópticas (grises)
11
Ilusiones ópticas (color)
12
Evolución del cerebro (II)
 Antiguos
mamíferos
– 200 mill. de años
– Memoria y comportamiento emocional
– Sistema límbico humano
• Memoria
• Emociones
13
Ilusiones ópticas (movimiento I)
14
Ilusiones ópticas (movimiento II)
15
Ilusiones ópticas (movimiento III)
16
Evolución del cerebro (III)
 Humano
moderno
– 1,5 mill. de años
– Crecimiento notable en capas
– Asimetrías funcionales
– Corteza humana
• Pensamiento
• Lenguaje
17
Sistema motoro
 Problemas
de coordinación
del sistema motoro
– Posición sentado
– Haz círculos con el pie
derecho en el sentido de la
agujas del reloj, sin tocar el
suelo
– Mientras tanto, dibujar el
número “6”, empezando por
arriba
18
Síndrome de la mano ajena
– Cuerpo calloso comunica ambos hemisferios
– Lesiones en él genera fenómeno de no pertenencia
de la mano izquierda (hemisferio no dominante)
• Ejecuta movimientos de forma autónoma
• No puede identificar un objeto tomado con la mano
izquierda
• Falta de coordinación entre manos: comer, atar zapatos
• Al intentar abrir una puerta la izquierda la cierra
• La derecha abotona una camisa y la izquierda desabotona
• Creen que su mano está dominada por otra persona
– Cerebro como dos mentes que el cuerpo calloso
ponde de acuerdo
19
Capacidades lingüísticas (I)
 Reconocimiento
de textos: Leer rápido
Sgeun un etsduio de una uivenrsdiad ignlsea, no
ipmotra el odren en el que las ltears etsan
ersciats, la uicna csoa ipormtnate es que la
pmrirea y la utlima ltera esten ecsritas en la
psiocion cocrrtea. El rsteo peuden estar
ttaolmnte mal y aun pordas lerelo sin
pobrleams. Etso es pquore no lemeos cada ltera
por si msima preo la paalbra es un tdoo.
Pesornamelnte me preace icrneilbe...
20
Capacidades lingüísticas (II)
 Reconocimiento
de textos: Contar rápidamente
las “F”
FINISHED FILES ARE THE RESULT OF YEARS OF SCIENTIFIC STUDY COMBINED WITH THE
EXPERIENCE OF YEARS
21
Capacidades lingüísticas (III)
 ¿Resultado
correcto?: 6
FINISHED FILES ARE THE RESULT OF YEARS OF SCIENTIFIC STUDY COMBINED WITH THE
EXPERIENCE OF YEARS
22
Áreas corticales
– Efectos de lesiones en áreas espcíficas
• Lesión en región frontal → Incapacidad de expresión
verbal → Área motora del lenguaje
– Frenología
• Cartografía cerebral. Área de la superficie del cerebro para
cada función y cualidad humana
– Observaciones in vivo
– EEG: Electroencefalografía
– TAC: Tomografía Axial
Computerizada
– IRM: Imágenes de
Resonancia Magnética
– TEP: Tomografía por
Emisión de Positrones
23
Imágenes cerebrales
Ver
Pensar
Recuerdos
Escuchar
música
Escuchar
música y letra
Deporte
24
Capacidades lingüísticas (IV)
 Tratar
de leer dicendo los colores, no las
palabras:
AMARILLO AZUL NARANJA
NEGRO ROJO VERDE
VIOLETA AMARILLO ROJO
NARANJA VERDE NEGRO
AZUL AMARILLO VIOLETA
25
Caso Phineas Gage
– 1848 sufre un grave accidente
• Graves trastornos de
personalidad
– De: amable y tranquilo
– A: agresivo y socialmente
inadaptado, perdió trabajo y
familia
• Lesiones en región frontal del
cerebro, parte media y basal
– Relacionadas con:
• Sociablidad
• Emociones
• Planificación y toma de
decisiones
26
Áreas corticales
– Otras enfermedades:
•
•
•
•
Acromatopsia: Incapacidad para distinguir los colores
Agnosia visual: Incapacidad para identificar lo visto
Prosopagnosia: Incapacidad para reconocer caras
Negligencia hemisférica: Deterioro de los centros visuales
de un lado del cerebro
• Ceguera al movimiento
• Síndrome del acento extranjero
– La evolución nos ha dotado con áreas con
potencialidades plásticas para distintas tareas →
Requieren un proceso de aprendizaje para operar
– Conocimiento sobre fisiología del SN es aún
fragmentario e insuficiente
27
Mito del 10%
– Creencia popular de que sólo usamo el 10% de
nuestro cerebro
– Sirve como justificación de capacidades
paranormales o para lograr ventajas competitivas
– IRM y TEP muestran claramente que la mayor parte
del cerebro no permanece inactiva
– Si fuera así dañar partes “no usadas” no supondría
graves trastornos
• “La bala sólo daño el 90% del cerebro, que no usaba”
– Origen del mito:
• Un científico lo dijo...
• Sólo el 10% del cerebro ha sido “mapeado”
• La mente consciente usa del 10% al 20% del tiempo
28
Tareas cerebrales
 Comunes
– Reconocimiento de
formas
• Visuales
• Sonoras
– Control
• Del propio cuerpo
• De dispositvos
– Planificación
– Intuición
– Sentido común
 No
tan comunes
– Cálculos mátemáticos
• Potencias
• Raices cuadradas
• Cálculo de fechas
– Memorización de gran
cantidad de datos
– Lectura rápida
– Determinados juegos
• Ajedrez
• Go
29
Memoria y aprendizaje
– Memoria sensorial o inmediata
• Almacena información captada por nuestros sentidos
• Muy breve, milisegundos
– Memoria a corto plazo
• Almacenamiento breve de información
• Capacidad limitada
• Duración de unos 30 segundos si no es reforzada
– Memoria a largo plazo
• Almacenamiento a largo plazo: días, semanas, años
• Se nutre de la memoria a corto plazo
• Capacidad ilimitada, pero necesita un tiempo para
almacenarse (15 horas, sueño paradógico)
• Produce cambios estructurales en el cerebro
• Se divide en procesal, semántcia y episódica
30
Enmascaramientos (I)
31
Enmascaramientos (II)
32
Características SN
– Inclinación a adquirir
conocimiento desde la
experiencia
– Conocimiento
almacenado en
conexiones sinápticas
– Gran plasticidad neuronal
– Comportamiento
altamente no-lineal
– Alta tolerancia a fallos
(muerte neuronal)
– Apto para
reconocimiento,
percepción y control
33
Nivel Neuronal
 Neuronas:
– Árbol dendrítico de
entradas
– Un axón de salida
– Sobre de104 sinapsis
– Comunicación mediante
Potenciales de Acción
– Periodo refractario de10-3
segundos entre PAs
 Red
Neuronal Biológica:
– de 1010 a 1011 neuronas
– 1015 sinapsis
34
Transmisión Neuronal
– Impulso eléctrico que
viaja por el axón
– Liberación de
neurotransmisores
– Apertura/cierre de
canales iónicos
– Variación potencial en
dendrita
– Integración de entradas
en soma
– Si se supera umbral de
disparo se genera nuevo
potencial de acción
35
Similaridades cerebro-ordenador (I)
– Función:
• Ambos se utilizan para almacenar información, procesar
información y ejecutar tareas
– Papel en la sociedad
• Ambos juegan un importante papel en la sociedad,
negocios, entretenimiento y ciencia
– Combinación de componentes
• Ambos combinan la labor de varios componentes y partes
para llevar a cabo sus tareas
– Uso de señales eléctricas
• Usan la transmisión se señales eléctricas entre sus
componentes como comunicación
36
Similaridades cerebro-ordenador (II)
– Actualización y evolución
• Ambos cambian con el tiempo
– Capacidad de memoria
• Ambos pueden incrementar su capacidad de
almacenamiento
– Auto-mantenimiento
• Ambos dispones de sistemas de backup o formas de ser
reparados
– Degradación con el tiempo
• Ambos se deterioran con la edad
copyright of Team: C001501 ::: C001501@thinkquest.org
37
Diferencias cerebro-ordenador (I)
– Manera de trabajar
• El cerebro utiliza transmisión electroquímica y enzimática.
Los ordenadores utilizan conductores
– Sentido común
• Difícilmente los ordenadores tienen sentido común o
intelecto real
– Evolución
• Mientras que en el cerebro está prácticamente parada los
ordenadores evolucionan muy rápidamente
– Modelo de memoria
• Uno utiliza el refuerzamiento de conexiones sinápticas y
otro el añadido de chips
copyright of Team: C001501 ::: C001501@thinkquest.org
38
Diferencias cerebro-ordenador (II)
– Emoción vs lógica
• El cerebro no puede actuar sin emociones y el ordenador
sólo actúa basádo en la lógica
– Mantenimiento
• La reparación de los ordenadores es relativamente simple
comparada con la cirugía cerebral
– Horas de trabajo
• Los ordenadores se puede apagar y encender múltiples
veces, los cerebros no, pero necesitan descansar.
– Imaginación y creatividad
• Es difícil que los ordenadores por si solos innoven e
inventen nuevas ideas
– Complejidad
• Aún el cerebro es más complejo que el ordenador
39
Red Neuronal Artificial
 Una
red neuronal artificial (RNA) es un sistema
de procesamiento de información que tiene
ciertas aptitudes en común con las redes
neuronales biológicas:
– El procesamiento de información ocurre en muchos elementos
simples llamados neuronas.
– Las señales son transferidas entre neuronas a través de
enlaces de conexión.
– Cada conexión tiene un peso asociado, el cual, típicamente,
multiplica a la señal transmitida.
– Cada neurona aplica una función de activación (usualmente
no lineal) a su entrada de red (suma de entradas pesadas)
para determinar su salida.
Laurene Fausett
40
Áreas de Trabajo
Procesamiento de Señales
Análisis de Datos
Reconocimiento de Patrones
Control
Inteligencia Artificial
Desarrollo de aplicaciones
basadas en técnicas
conexionistas
Aplicaciones
Informática
Implementaciones
Sicología
Arquitectura y Teoría de RN
Matemáticas
Construcción de modelos
neuronales
Proponer y validar modelos de
funcionamiento de arquitecturas
neuronales
Neurofisiología
Física
41
Modelado Neuronal
 Neurona
–
–
–
–
Artificial:
Grupo de entradas (x)
Pesos sinápticos (w)
Función suma (net)
Función de activación
(act)
– Una única salida (y)
– Funcionamiento en modo
aprendizaje o ejecución
x1
x2
w1,j
w2,j
wn,j
xn
función
suma

función
de activación
netj(t)
xj(t)
j
umbral (bias)
42
Modelado Neuronal
 Arquitecturas
Neuronales:
– Según e/o/s
• Número y tipo de entradas
• Elementos ocultos
• Elementos de salida
– Según conectividad entre
capas
Monocapa feedforward
Capa de
entrada
Capa de
salida
Multicapa feedforward
• Feedforward (hacia
adelante)
• Redes Recurrentes
• Estructuras Enrejadas
(Lattice)
Capa de
entrada
Capa
oculta
Capa de
salida
Multicapa feedforward
parcialmente conectada
Capa
oculta
Capa de
salida
43
Modelado Neuronal
 Arquitecturas
Neuronales:
– Según conexión entre
capas
Recurrente con
interconexiones
laterales
• Totalmente conectados
(full-conexión)
• Parcialmente conectados
• Conexión uno a uno
– Sincronía (actualización de
valores)
• Simultánea
• Aleatoria
• Según orden topológico
Salidas
Recurrente con
neuronas ocultas
Entradas
44
Modelado Neuronal
 Aprendizaje:
– Estimulación de la RN por el entorno
– Cambios en la RN debido a estimulación
– Nueva forma de responder debido a cambios de la
estructura interna de la RN
45
Modelado Neuronal
 Paradigmas
de aprendizaje:
– Aprendizaje Supervisado
– Aprendizaje por Reforzamiento
– Aprendizaje Auto-organizado (No Supervisado)
– Precalculado o prefijado
46
Implementaciones
 Medio
biológico vs. medio silicio
– Velocidad:
• Neuronas: 10-3 s., Puertas lógicas: 10-9 s.
– Tamaño:
• Neuronas 5 ó 6 órdenes de magnitud menores
– Eficiencia energética:
• Cerebro: 10-16 J/op./s., mejores ordenadores: 10-6
– Fan-In:
• Promedio de 10.000 sinapsis por neurona, mucho mayor
que en silicio
47
Implementaciones
 Neurosimuladores:
– Software:
• Flexibles
• Económicos
– Hardware:
• Eficientes
48
Implementaciones
 Tipos
Neurosoftware:
– Programación directa
– Librerías
– Entornos de desarrollo
 Características
deseables:
–
–
–
–
Facilidad de uso
Potencia
Eficiente
Extensibilidad
49
Implementaciones
 Neurohardware:
–
–
–
–
–
–
VLSI analógico
Opto-Electrónicos
Neuro-Chips (VLSI Digital)
Neuro-Tarjetas
Neuro-Computadora
Máquinas paralelas de
propósito general
– Biochips
 Objetivo:
– Acelerar fases de aprendizaje
y ejecución
50
Implementaciones
 Biochips
51
Aplicaciones
 Fases
de desarrollo:
Selección de
la arquitectura
neuronal
Selección del
conjunto de
aprendizaje
Selección del
conjunto de
validación
Fase de
aprendizaje
Fase de
validación
¿OK?
Implantar en
aplicación
52
Aplicaciones
 Tipos
de problemas abordables:
– Asociación
– Clasificación de Patrones
– Predicción
– Control
– Aproximación
– Optimización
 En
general:
– Difícil describir conocimiento/forma de resolverlos
– Se dispone de una gran cantidad de ejemplos
53
Problemas de Asociación
– NETalk (Sejnowski & Rosemberg):
• A partir de textos escritos genera
gonemas correspondientes. Mejoras
durante aprendizaje
– Tratamiento de imágenes:
• Ruido placas matrículas
• Restitución
– Compresión de Imágenes:
54
Problemas de Clasificación de
Patrones
– Conteo de células:
• Clasificación de glóbulos
blancos
– Inspección visual:
– Seguimiento de pupila
55
Problemas de Predicción
– Airline Marketing Tactician (AMT):
• Monitoriza y recomienda la reserva de
plazas
– Neuralstocks:
• Servico de predicciones financieras a
corto plazo
56
Problemas de Aproximación
– Aproximación de funciones
utilizando RBFs
Problemas de
Optimización
– Optimización de rutas:
• TSP
57
Problemas de Control
– Control de robots:
• Cinemática inversa
• Dinámica
– ALVINN:
• Conducción de
vehículo
58
Singularidad tecnológica
– Fenómeno al que se acerca la humanidad cuando
logre construir ordenadores o organismos vivientes
cuya inteligencia supera a la inteligencia humana
Vernor Vinge, escritor de ciencia ficción
– Caminos:
• Desarrollo de ordenador que alcance y supere el nivel de
inteligencia humana (IA)
• Redes de ordenadores que se comporten como
superneuronas de un celebro distribuido
• Desarrollo de elementos de interacción con ordenadores
que permitan a un humano comportarse como ser
superinteligente
• Manipulaciones biológicas que permitan mejorar en
algunos seres el nivel de inteligencia humano
59
Singularidad tecnológica, ¿cuándo?
– En el 2020 un ordenador personal de $1000 tendrá
la capacidad de computación del cerebro humano
Raymond Kurzweil
• Generalizando la ley de Moore
• Cambios tecnológicos
exponenciales
• 22 horas para asimilar el
conocimiento de la era moderna
60
Pero tal vez aún nos falte ...
– ¿Tal vez algunos parámetros de nuestros modelos
son erroneos?
– ¿Tal vez no disponemos de la suficiente potencia
informática?
– ¿Tal vez nuestros modelos no han alcanzado la
suficiente complejidad?
– ¿Tal vez nos falta en nuestros modelos algún
concepto fundamental?
61