TICS-579-Deep Learning
Clase 1: Preliminares
¿Por qué estudiar Deep Learning?
Principalmente porque es el Estado del Arte en las aplicaciones más Impresionantes en la Inteligencia Artificial.
Alexnet (2012)
AlphaGo (2016)
Transformers (2017)
GPT (2019)
¿Por qué estudiar Deep Learning?
Principalmente porque es el Estado del Arte en las aplicaciones más Impresionantes en la Inteligencia Artificial.
GPT-3 (2021)
AlphaFold (2021)
Stable Diffussion/Dalle (2022)
LLMs (2023) (ChatGPT/Llama)
¿Por qué estudiar Deep Learning?
El nacimiento de las Redes Neuronales
Las redes neuronales artificiales (ANN), son modelos inspirados en el mecanismo cerebral de sinapsis. Su unidad más básica es una Neurona.
El nacimiento de las Redes Neuronales
Las redes neuronales artificiales (ANN), son modelos inspirados en el mecanismo cerebral de sinapsis. Su unidad más básica es una Neurona.
Este tipo de nomenclatura está sumamente pasada de moda.
- Este cálculo se puede representar como:
\[ y = \phi(w_1 \cdot x_1 + w_2 \cdot x_2 + ... + w_5 \cdot x_5)\] \[ y = \phi(w^T \cdot x)\]
donde \(w = [w_1, w_2, w_3, w_4, w_5]\) y \(x = [x_1, x_2, x_3, x_4, x_5]\).
- ¿Qué pasa si \(\phi(.)\) vale la función identidad?
- Tenemos una Regresión Lineal.
- ¿Qué pasa si \(\phi(.)\) vale la función sigmoide?
- Tenemos una Regresión Logística.
Arquitectura de una Red
Estructura más común
(Probablemente tampoco seguiremos esta nomenclatura)
- Nodos o Neuronas
- Edges o Conexiones
- Capas
¿Cuántas capas tiene esta red?
Depende
- Normalmente todas las neuronas de una capa anterior se conectan con las de una capa posterior (Hay excepciones).
- Dependiendo de la forma en la que se conecten, cada Arquitectura recibe un nombre.
Ejemplo: Softmax Regression
- Softmax Regression
-
Corresponde la versión multiclase de una Regresión Logística. También se le llama una
Shallow Network.
Consideremos un problema de clasificación multiclase de \(k\) clases tal que:
- Datos de Entrenamiento: \(x^{(i)}, y^{(i)} \in {1,...,k}\) para \(i=1,...,m\).
- \(n\): Es el número de Features.
- \(m\): Es el número de puntos en el training set.
- \(k\): Es el número de clases del problema.
Vamos a tener en total \(n \times k\) parámetros o pesos que actualizar.
Loss Function: Softmax/Cross-Entropy Loss
La salida de nuestra Shallow Network retornará valores reales.
Para poder tener una mejor interpretación del significado de cada una aplicaremos la función Softmax lo cual permitirá normalizar los resultados y llevará los resultados a una “distribución de probabilidad” (valores positivos que sumen 1).
Formalmente definiremos la función Softmax como:
\[s_i = p(label = i) = \frac{exp(h_i(x))}{\sum_{j=1}^k exp(h_j(x))}\]
\[s = \begin{bmatrix} &s_1&\\ & \vdots & \\ &s_k&\\ \end{bmatrix}\]
Gradient Descent
Se define el gradiente como la matriz que contiene las derivadas parciales de una función \(f\). Se denota como:
\[\nabla_\theta f(\theta) \in \mathbb{R}^{n \times k} = \begin{bmatrix} \frac{\partial f(\theta)}{\partial \theta_{11}} & \cdots & \frac{\partial f(\theta)}{\partial \theta_{1k}} \\ \cdots & \ddots & \cdots \\ \frac{\partial f(\theta)}{\partial \theta_{n1}} & \cdots & \frac{\partial f(\theta)}{\partial \theta_{nk}} \end{bmatrix}\]
\(\theta_{ij}\) corresponde al parámetro que une el nodo/feature \(i\) con el nodo/predicción \(j\).
El gradiente apunta a la dirección de máximo crecimiento de la función \(f\).
Gradient Descent: Regla de Actualización
Para minimizar la función, la idea es descender iterativamente por el trayecto en contra del gradiente. La regla de actualización se define como:
\[\theta := \theta - \alpha \nabla_\theta f(\theta) = \theta - \frac{\alpha}{m}\nabla_\theta l_{ce}(X\theta,y)\]
con \(\theta \in \mathbb{R}^{n \times k}\) y \(\alpha > 0\) corresponde al step size o learning rate.
En nuestro caso \(f\) corresponderá a nuestro \(l_{ce}\) calculado anteriormente. El problema es, ¿cuánto vale el gradiente del Cross Entropy Loss?
Calculando el Gradiente a mano
Simplifiquemos el problema a calcular para un sólo vector \(x\).
\[\theta := \theta - \alpha \nabla_\theta l_{ce}(\theta^Tx,y) \]
¿Cuánto vale el Gradiente?
- No es tan sencillo, ya que derivamos respecto a \(\theta\) que es una matriz.
- Pero derivamos a \(\theta^T x\) que es un vector.
- Para ello, lo correcto es utilizar Calculo Diferencial Matricial, Jacobianos y Productos de Kroenecker (que probablemente no han visto en ningún curso).
- SPOILER: Yo tampoco lo he visto en ningún curso.
- Usaremos un truco (sumamente hacky 😱) que jamás deben revelar y que avergonzaría a cualquier profesor de Cálculo.
- Pretenderemos que todos los valores son escalares y corregiremos las dimensiones al final.
Conclusiones
- Acabamos de entrenar una Shallow Network, sin definir ningún concepto Fancy que es propio del área.
- No hemos hablado ni de:
Forward PassEpochsBackpropagationAdamActivation Functions- etc.
- Aplicando esta simple regla se puede obtener cerca de un 8% de error clasificando dígitos en MNIST.
- Se puede programar en pocas líneas en Python.
Pero, ¿qué pasa con arquitecturas más complejas?
¡¡Eso es todo!!
Multiplicación Matricial
- Donde \(B_{*,i}\) corresponde a la columna \(i\) de B.
- Donde \(A_{i,*}\) corresponde a la fila \(i\) de A.
