TICS-579-Deep Learning
Clase 10: Mecanismos de Atención
Datos de Texto
Los datos de texto corresponden a un caso particular de datos secuenciales. En este caso, dependiendo del idioma, las dependencias pueden venir tanto del pasado como del futuro. Consideramos texto libre como una secuencia de Strings, el cuál es inteligible para seres humanos pero no necesariamente para un computador.
Es probablemente el tipo de dato más abundante, aunque también uno de los más sensible al ruido (variabilidad, idioma, tono, formalidad, etc.).
Para poder manipular texto dentro de un modelo será necesario un pre-procesamiento que permita transformar el texto en datos numéricos que un modelo pueda entender.
La disciplina encargada de desarrollar modelos asociado a lenguaje/texto es conocida como Procesamiento de Lenguaje Natural (NLP en inglés).
Tareas asociadas a NLP
Proceso de Tokenización y Embedding
Embeddings
¿Por qué es tan importante el uso de Embeddings?
- Primero porque son entrenables. Es decir la red puede aprender cuál es la mejor manera de representar palabras.
- Existen embeddings pre-entrenados, es decir, se puede hacer transfer learning de embeddings.
- La red puede aprender relaciones semánticas entre palabras, algo imposible utilizando otras representaciones.
Problema de las RNN
A pesar de las habilidades de las RNN, estas no son suficientes para distintas tareas de NLP.
Las RNN inicialmente toman cada elemento de una secuencia y generan un output para cada entrada. Esto potencialmente genera ciertas limitantes. Una de ellas es el proceso llamado Machine Translation.
Este es un ejemplo de Modelamiento seq2seq en el que se utiliza una secuencia de entrada pero se espera también una secuencia de salida.
Soluciones: Redes Convolucionales
Una potencial solución se puede dar por medio de Redes Convolucionales de 1D. En este caso las redes convolucionales tienen la ventaja de poder mirar tanto al pasado como al futuro de manera móvil.
Ventajas
- Pueden tomar contexto desde el inicio y desde el final.
Desventajas
- Su campo receptivo es mucho más acotado y depende del número de capas y el largo del Kernel lo cual repercute directamente en el número de parámetros del modelo.
- No tienen estado latente (o memoria) que almacena contexto.
- No es útil para modelos de generación (ya que ve contexto desde el futuro).
Soluciones: Arquitecturas Encoder-Decoder
- Encoder
- Corresponde a una arquitectura que permitirá tomar datos de entrada y codificarlos en una representación numérica (normalmente como hidden states o como embeddings).
- Decoder
- Corresponde a una arquitectura que toma una representación codificada de datos (normalmente generado por un encoder) y la transforma nuevamente en una salida con un formato comprensible y no solamente una “simple etiqueta”.
Este tipo de arquitecturas son quizás las más populares hoy en día y tienen aplicaciones en distintos dominios.
Soluciones: Arquitecturas Encoder-Decoder
Una arquitectura Encoder-Decoder convolucional permite devolver una imagen como salida. Este ejemplo se conoce como Segmentación Semántica.
Soluciones: Arquitecturas Encoder-Decoder
Una arquitectura recurrente permite devolver una secuencia como salida. La cual puede utilizarse para generación o traducción de texto.
Soluciones: Arquitecturas Encoder-Decoder
Entrenamiento de una Arquitectura Encoder-Decoder
Inferencia de una Arquitectura Encoder-Decoder
Problema
- Pensar que todo el contexto se puede almacenar en el último hidden state es un poco ingenuo.
- El último hidden state tiene más influencia de las palabras más cercanas y menos de las palabras iniciales (debido al problema de vanishing/exploding gradients).
Mecanismo de Atención (Bahdanau et al, (2015))
- Atención
- Se refiere a cualquier mecanismo en el que los hidden states se ponderan y combinan para poder utilizarlos como contexto. En otras palabras, el mecanismo busca a qué inputs iniciales debe poner más “atención” para poder generar la predicción.
\[c_i = \sum_{t=1}^T a_{i,t} \cdot h_t\]
Donde \(c_i\) corresponde al contexto para la predicción del output \(i\) y \(a_{i,t}\) (que van entre 0 y 1) corresponden a cuánta atención le presta el output \(i\) al token \(t\).
Ojo
En el paper original, se interpreta \(a_{i,t}\) como cuánto se “alínea” o se parece el estado \(h_t\) con \(S_{t-1}\).
Atención de Bahdanau
\[a_{i,t} = align(h_t, S_{i-1})\] 
\[[a_{i,1},...,a_{i,T}] = Softmax([\tilde{a_{i,1}},...\tilde{a_{i,T}}])\]
Transformers: Arquitectura
- Transformer
- Corresponde a la Arquitectura más avanzada que tenemos hoy en día. Está basada en distintos mecanismos de atención.
Transformers: Self y Multihead Attention
Transformers: Causal Self Attention
Transformers: Cross Attention
Y… estamos por hoy
