Temario del curso
Revisión de los Conceptos Básicos de Apache Airflow
- Conceptos principales: DAGs, tareas y operadores
- Arquitectura y componentes de Airflow
- Repaso de casos de uso y flujos de trabajo comunes
Optimización del Rendimiento de los Flujos de Trabajo
- Identificación de cuellos de botella en las tuberías de Airflow
- Técnicas de optimización a nivel de tarea
- Aprovechamiento de reintentos de tareas, paralelismo y concurrencia
Gestión de Dependencias Complejas
- Definición de dependencias dinámicas en los flujos de trabajo
- Manejo de flujos de trabajo condicionales y ramificados
- Uso efectivo de grupos de tareas y sub-DAGs
Características Avanzadas en Apache Airflow
- Creación de operadores personalizados y conectores (hooks)
- Implementación de sensores para activaciones externas
- Integración de servicios y complementos de terceros
Escalado de los Despliegues de Apache Airflow
- Enfoques de escalado horizontal y vertical
- Uso de Ejecutores Celery para ejecución distribuida
- Mejores prácticas para el escalado en entornos de nube
Monitorización y Depuración de Flujos de Trabajo
- Configuración de registros y alertas para la monitorización de flujos de trabajo
- Uso de la interfaz gráfica (UI) y línea de comandos (CLI) de Airflow para la resolución de problemas
- Identificación y solución de problemas comunes en los despliegues de Airflow
Seguridad de Apache Airflow
- Autenticación y control de acceso en Airflow
- Protección de datos sensibles y configuraciones del entorno
- Implementación de registros de auditoría para los flujos de trabajo
Casos de Uso Empresariales y Mejores Prácticas
- Diseño de flujos de trabajo robustos para entornos de producción
- Aprovechamiento de Airflow para ingeniería de datos y tuberías ETL
- Exploración de estudios de casos reales sobre despliegues escalables de Airflow
Resumen y Próximos Pasos
Requerimientos
- Conocimientos básicos de Apache Airflow
- Familiaridad con la programación en Python y conceptos de orquestación de flujos de trabajo
- Experiencia en gestión e implementación de aplicaciones en entornos Linux
Público Objetivo
- Ingenieros de datos
- Profesionales DevOps
- Desarrolladores de software
Reseñas (1)
El instructor adaptó la formación al nivel de los participantes y respondió a todas las preguntas. Fue muy comunicativo y resultó fácil interactuar con él. Apreciei mucho el formato de la formación, que incluía muchos ejercicios prácticos. En general, fue una sesión muy entretenida y bien organizada.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curso - Apache Airflow: Building and Managing Data Pipelines
Traducción Automática