Kafka para Administradores

Aspectos esenciales de la administración de Kafka

• Dónde se integra Kafka en una plataforma de datos moderna y las responsabilidades productivas típicas
• Conceptos clave para operadores: brokers, temas, particiones, desplazamientos (offsets), grupos de consumidores
• Fundamentos de replicación: líderes y seguidores, réplicas sincronizadas, compensaciones en disponibilidad
• Puntos destacados operativos de Kafka y terminología común utilizada en los manuales de operación (runbooks)

Modo KRaft y diseño del clúster

• Conceptos básicos de KRaft: controladores, quórum de metadatos, elecciones y por qué es importante operativamente
• Planificación del despliegue: dimensionamiento para capacidad de procesamiento (throughput), particiones, retención y crecimiento
• Roles y distribuciones de nodos: controladores combinados vs. dedicados, consideraciones de dominios de falla
• Laboratorio: inspección de metadatos de KRaft, validación del estado del quórum e interpretación de registros del controlador

Instalación, configuración y operaciones diarias

• Enfoques de instalación (paquetes, archivo tar, contenedores) y qué estandarizar en entornos empresariales
• Configuración central del broker que impacta la confiabilidad: listeners, replicación, directorios de registro, retención
• Operaciones seguras del servicio: orden de inicio, apagado graceful y verificaciones de validación
• Laboratorio: implementación de un clúster multinodo, verificación del registro del broker y confirmación básica de producción y consumo

Gestión de temas, particiones y ubicación de datos

• Ciclo de vida del tema usando la CLI de Kafka: crear, describir, actualizar configuraciones, eliminar
• Elección de factores de partición y replicación para cargas de trabajo reales, incluyendo antipatrones comunes
• Reasignaciones y balanceo: cuándo mover particiones y cómo verificar el progreso de manera segura
• Laboratorio: creación de temas, activación de una reasignación de partición, simulación de una falla en un broker y confirmación de recuperación

Seguridad de Kafka para producción

• TLS para tráfico de clientes e inter-brokers: certificados, cadenas de confianza y pasos de validación
• Autenticación con SASL: selección de mecanismos comunes y evitación de configuraciones incorrectas
• Autorización con ACLs: patrones de privilegio mínimo para administradores, productores y consumidores
• Laboratorio: habilitar TLS y SASL, validar la conectividad del cliente y aplicar ACLs para roles de aplicación

Observabilidad, confiabilidad y solución de problemas

• Aspectos esenciales del monitoreo: salud del controlador, particiones infrareplicadas, latencia de solicitudes, saturación de disco y red
• Registros y métricas: lectura de registros del broker y exposición de métricas mediante JMX exporter a pilas comunes de observabilidad
• Manuales operativos (playbooks): reinicios en cascada, cambios seguros de configuración, manejo de problemas de disco lleno e ISR
• Laboratorio: construcción de un conjunto mínimo de alertas, diagnóstico de un clúster degradado y restauración de replicación saludable

Actualizaciones y preparación para recuperación ante desastres

• Planificación de actualizaciones para Kafka: verificaciones de compatibilidad, etapas y enfoque de reversión
• Expectativas de copias de seguridad y recuperación: qué se puede respaldar, qué no, y conceptos básicos de recuperación de configuración
• Visión general de replicación entre clústeres y cuándo utilizar MirrorMaker 2 para recuperación ante desastres y migraciones
• Cierre: lista de verificación operativa, artefactos de entrega y próximos pasos para el lanzamiento en producción