Comprender las Redes Neuronales Profundas

Parte 1 – Conceptos de Aprendizaje Profundo y DNN

Introducción a la IA, el Aprendizaje Automático y el Aprendizaje Profundo

• Historia, conceptos básicos y aplicaciones habituales de la inteligencia artificial, más allá de las fantasías que rodean a este dominio.
• Inteligencia Colectiva: agregación de conocimiento compartido por muchos agentes virtuales.
• Algoritmos genéticos: evolución de una población de agentes virtuales mediante selección.
• Máquina de Aprendizaje Habituale: definición.
• Tipos de tareas: aprendizaje supervisado, aprendizaje no supervisado, aprendizaje por refuerzo.
• Tipos de acciones: clasificación, regresión, clustering, estimación de densidad, reducción de dimensionalidad.
• Ejemplos de algoritmos de aprendizaje automático: regresión lineal, Naive Bayes, Random Tree.
• Aprendizaje automático VS Aprendizaje Profundo: problemas para los cuales el aprendizaje automático sigue siendo el estado del arte hoy en día (Random Forests & XGBoosts).

Conceptos Básicos de una Red Neuronal (Aplicación: perceptrón multicapa)

• Repaso de las bases matemáticas.
• Definición de una red de neuronas: arquitectura clásica, activación y
• ponderación de activaciones previas, profundidad de la red.
• Definición del aprendizaje de una red de neuronas: funciones de costo, retropropagación, descenso de gradiente estocástico, máxima verosimilitud.
• Modelado de una red neuronal: modelado de datos de entrada y salida según el tipo de problema (regresión, clasificación...). Maldición de la dimensionalidad.
• Distinción entre datos multifuncionales y señal. Elección de una función de costo según los datos.
• Aproximación de una función por una red de neuronas: presentación y ejemplos.
• Aproximación de una distribución por una red de neuronas: presentación y ejemplos.
• Aumento de Datos (Data Augmentation): cómo equilibrar un conjunto de datos.
• Generalización de los resultados de una red de neuronas.
• Initialización y regularización de una red neuronal: regularización L1 / L2, Normalización por Lote (Batch Normalization).
• Algoritmos de optimización y convergencia.

Herramientas Estándar de ML / DL

Se planifica una presentación simple con ventajas, desventajas, posición en el ecosistema y uso.

• Herramientas de gestión de datos: Apache Spark, Herramientas Apache Hadoop.
• Aprendizaje Automático: Numpy, Scipy, Sci-kit.
• Marcos de alto nivel para DL: PyTorch, Keras, Lasagne.
• Marcos de bajo nivel para DL: Theano, Torch, Caffe, Tensorflow.

Redes Neuronales Convolucionales (CNN).

• Presentación de las CNNs: principios fundamentales y aplicaciones.
• Operación básica de una CNN: capa convolucional, uso de un kernel,
• relleno (padding) y paso (stride), generación de mapas de funciones, capas de pooling. Extensiones 1D, 2D y 3D.
• Presentación de las diferentes arquitecturas CNN que introdujeron el estado del arte en clasificación.
• Imágenes: LeNet, Redes VGG, Network in Network, Inception, Resnet. Presentación de las innovaciones introducidas por cada arquitectura y sus aplicaciones más globales (Convolución 1x1 o conexiones residuales).
• Uso de un modelo de atención.
• Aplicación a un caso de clasificación común (texto o imagen).
• CNNs para generación: super-resolución, segmentación pixel a pixel. Presentación de
• Estrategias principales para aumentar los mapas de funciones para la generación de imágenes.

Redes Neuronales Recurrentes (RNN).

• Presentación de las RNNs: principios fundamentales y aplicaciones.
• Operación básica de la RNN: activación oculta, retropropagación a través del tiempo, versión desplegada.
• Evoluciones hacia las Unidades Recurrentes con Puerta (GRUs) y LSTM (Memoria de Corto y Largo Plazo).
• Presentación de los diferentes estados y las evoluciones traídas por estas arquitecturas.
• Convergencia y problemas de gradiente desvaneciente.
• Arquitecturas clásicas: predicción de una serie temporal, clasificación....
• Arquitectura de tipo Codificador-Decodificador RNN. Uso de un modelo de atención.
• Aplicaciones de NLP: codificación de palabras / caracteres, traducción.
• Aplicaciones de Video: predicción de la próxima imagen generada de una secuencia de video.

Modelos Generativos: Autoencoder Variacional (VAE) y Redes Antagónicas Generativas (GAN).

• Presentación de los modelos generativos, vínculo con las CNNs.
• Auto-encoder: reducción de dimensionalidad y generación limitada.
• Auto-encoder Variacional: modelo generativo y aproximación de la distribución de un dato dado. Definición y uso del espacio latente. Truco de reparametrización. Aplicaciones y límites observados.
• Redes Antagónicas Generativas: Fundamentos.
• Arquitectura de Red Dual (Generador y discriminatorio) con aprendizaje alternativo, funciones de costo disponibles.
• Convergencia de una GAN y dificultades encontradas.
• Convergencia mejorada: Wasserstein GAN, Began. Distancia de Movimiento de Tierra.
• Aplicaciones para la generación de imágenes o fotografías, generación de texto, super-resolución.

Aprendizaje Profundo por Refuerzo.

• Presentación del aprendizaje por refuerzo: control de un agente en un entorno definido
• por un estado y posibles acciones.
• Uso de una red neuronal para aproximar la función de estado.
• Deep Q Learning: reproducción de experiencia, y aplicación al control de un videojuego.
• Optimización de la política de aprendizaje. On-policy && off-policy. Arquitectura Actor Crítico. A3C.
• Aplicaciones: control de un solo videojuego o un sistema digital.

Parte 2 – Theano para Aprendizaje Profundo

Básicos de Theano

• Introducción
• Instalación y Configuración

TheanoFunctions

• entradas, salidas, actualizaciones, givens

Entrenamiento y Optimización de una red neuronal usando Theano

• Modelado de Red Neuronal
• Regresión Logística
• Capas Ocultas
• Entrenamiento de una red
• Cálculo y Clasificación
• Optimización
• Pérdida Logarítmica (Log Loss)

Pruebas del modelo

Parte 3 – DNN usando Tensorflow

Básicos de TensorFlow

• Creación, inicialización, guardado y restauración de variables de TensorFlow
• Alimentación, lectura y precarga de Datos en TensorFlow
• Cómo usar la infraestructura de TensorFlow para entrenar modelos a escala
• Visualización y Evaluación de modelos con TensorBoard

Mecánica de TensorFlow

• Preparación de los Datos
• Descarga
• Entradas y Placeholders
• Construcción de los Grafos
  • Inferencia
  • Pérdida (Loss)
  • Entrenamiento
• Entrenamiento del Modelo
  • El Grafo
  • La Sesión
  • Bucle de Entrenamiento
• Evaluación del Modelo
  • Construcción del Grafo de Evaluación
  • Salida de Evaluación

El Perceptrón

• Funciones de activación
• Algoritmo de aprendizaje del perceptrón
• Clasificación binaria con el perceptrón
• Clasificación de documentos con el perceptrón
• Limitaciones del perceptrón

Del Perceptrón a las Máquinas de Vectores de Soporte

• Kernels y el truco del kernel
• Clasificación de margen máximo y vectores de soporte

Redes Neuronales Artificiales

• Fronteras de decisión no lineales
• Redes neuronales artificiales de antelación y retroalimentación
• Perceptrones multicapa
• Minimización de la función de costo
• Propagación hacia adelante
• Retropropagación
• Mejora de la forma en que las redes neuronales aprenden

Redes Neuronales Convolucionales

• Objetivos
• Arquitectura del Modelo
• Principios
• Organización del Código
• Lanzamiento y Entrenamiento del Modelo
• Evaluación de un Modelo

Introducciones Básicas a ser dadas a los siguientes módulos (Introducción breve a ser proporcionada según disponibilidad de tiempo):

Tensorflow - Uso Avanzado

• Hilos (Threading) y Colas (Queues)
• TensorFlow Distribuido
• Escritura de Documentación y Compartición de tu Modelo
• Personalización de Lectores de Datos
• Manipulación de Archivos de Modelo de TensorFlow

TensorFlow Serving

• Introducción
• Tutorial Básico de Serving
• Tutorial Avanzado de Serving
• Tutorial de Serving del Modelo Inception