PySpark y Aprendizaje Automático

PySpark y Aprendizaje Automático 

Módulo 1: Fundamentos de Big Data y Spark

• Resumen del ecosistema de Big Data y el papel de Spark en las plataformas de datos modernas
• Comprensión de la arquitectura de Spark: controlador, ejecutores, gestor de clústeres, evaluación perezosa, DAG y planificación de ejecución
• Diferencias entre las APIs RDD y DataFrame y cuándo utilizar cada enfoque
• Creación y configuración de SparkSession y comprensión de los fundamentos de la configuración de aplicaciones

Módulo 2: DataFrames en PySpark

• Lectura y escritura de datos desde fuentes y formatos empresariales (CSV, JSON, Parquet, Delta)
• Trabajo con DataFrames en PySpark: transformaciones, acciones, expresiones de columnas, filtrado, uniones y agregaciones
• Implementación de operaciones avanzadas como funciones de ventana, manejo de marcas de tiempo y trabajo con datos anidados
• Aplicación de controles de calidad de datos y escritura de código PySpark reutilizable y mantenible

Módulo 3: Procesamiento eficiente de grandes conjuntos de datos

• Comprensión de los fundamentos del rendimiento: estrategias de particionamiento, comportamiento de shuffle, almacenamiento en caché y persistencia
• Uso de técnicas de optimización, incluidas uniones por broadcast y análisis del plan de ejecución
• Procesamiento eficiente de grandes conjuntos de datos y mejores prácticas para flujos de trabajo de datos escalables
• Comprensión de la evolución del esquema y los formatos de almacenamiento modernos utilizados en entornos empresariales

Módulo 4: Ingeniería de características a escala

• Realización de ingeniería de características con Spark MLlib: manejo de valores faltantes, codificación de variables categóricas y escalado de características
• Diseño de pasos de preprocesamiento reutilizables y preparación de conjuntos de datos para pipelines de Aprendizaje Automático
• Introducción a la selección de características y manejo de conjuntos de datos desequilibrados

Módulo 5: Aprendizaje Automático con Spark MLlib

• Comprensión de la arquitectura de MLlib y el patrón Estimador/Transformador
• Entrenamiento de modelos de regresión y clasificación a escala (Regresión Lineal, Regresión Logística, Árboles de Decisión, Bosque Aleatorio)
• Comparación de modelos e interpretación de resultados en flujos de trabajo de Aprendizaje Automático distribuido

Módulo 6: Pipelines completos de ML

• Construcción de pipelines completos de Aprendizaje Automático que combinan preprocesamiento, ingeniería de características y modelado
• Aplicación de estrategias de división entre conjuntos de entrenamiento, validación y prueba
• Realización de validación cruzada y ajuste de hiperparámetros utilizando búsqueda en cuadrícula y búsqueda aleatoria
• Estructuración de experimentos reproducibles de Aprendizaje Automático

Módulo 7: Evaluación de modelos y toma de decisiones prácticas en ML

• Aplicación de métricas de evaluación apropiadas para problemas de regresión y clasificación
• Identificación de sobreajuste y subajuste, así como toma de decisiones prácticas sobre la selección de modelos
• Interpretación de la importancia de las características y comprensión del comportamiento del modelo

Módulo 8: Prácticas en producción y entornos empresariales

• Persistencia y carga de modelos en Spark
• Implementación de flujos de trabajo de inferencia por lotes sobre grandes conjuntos de datos
• Comprensión del ciclo de vida del Aprendizaje Automático en entornos empresariales
• Introducción a la versionado, conceptos de seguimiento de experimentos y estrategias básicas de pruebas

Resultado práctico

• Capacidad para trabajar de forma autónoma con PySpark
• Capacidad para procesar grandes conjuntos de datos de manera eficiente
• Capacidad para realizar ingeniería de características a escala
• Capacidad para construir pipelines escalables de Aprendizaje Automático