Ponte en Contacto

Temario del curso

Introducción a LLMOps

  • LLMOps vs MLOps: desafíos únicos al operar LLMs
  • Ciclo de vida de la aplicación LLM: prompt, evaluar, desplegar, monitorear
  • Lista de verificación de preparación para producción de aplicaciones GenAI

Gestión y Versionado de Prompts

  • Sistemas de plantillas de prompts e inyección de variables
  • Versionado semántico de prompts con pruebas de regresión automatizadas
  • Registros de prompts y flujos de trabajo de colaboración

Evaluación de LLM a Escala

  • Dimensiones de evaluación: precisión, relevancia, seguridad, fundamentación
  • Métricas de tipo 'LLM como juez' y pipelines de evaluación humana
  • Frameworks de evaluación automatizados: RAGAS, DeepEval y evaluadores personalizados
  • Puertas de calidad en CI/CD para despliegues de LLM

Salvaguardas de Seguridad y Gobernanza de Contenido

  • Salvaguardas de entrada y salida: NeMo Guardrails y Guardrails AI
  • Detección de PII, filtrado de toxicidad y límites temáticos
  • Estrategias de defensa contra jailbreaks e inyección de prompts
  • Pruebas de penetración (red-teaming) de aplicaciones LLM para garantizar la seguridad

Observabilidad y Monitoreo de LLM

  • Telemetría: uso de tokens, latencia, costos y métricas de calidad
  • Detección de deriva en salidas de LLM y espacios de embedding
  • Trazabilidad a nivel de sesión para conversaciones de agentes multi-turno
  • Paneles de control (dashboards) y alertas con LangSmith, Arize y OpenTelemetry

Gateway de IA y Orquestación de Modelos

  • Ruteo multi-proveedor con LiteLLM y Portkey
  • Estrategias de respaldo (fallback), lógica de reintento y disyuntores (circuit breakers)
  • Selección de modelos consciente del costo y balanceo de carga
  • Limitación de tasa, gestión de cuotas y gobernanza de claves de API

Optimización del Rendimiento

  • Caché semántico con almacenes vectoriales y estrategias de coincidencia exacta
  • Aplicación de salida estructurada con decodificación restringida
  • Patrones de agrupamiento (batching), streaming y concurrencia
  • Optimización de latencia entre proveedores de modelos

Gobernanza, Cumplimiento y Auditoría

  • Rastros de auditoría de LLM: registros de prompts, registros de respuestas y procedencia de decisiones
  • Consideraciones de residencia de datos y privacidad para APIs de LLM
  • Políticas como código (Policy-as-code) para el uso de LLM dentro de las organizaciones
  • Construcción de un manual interno de operaciones de LLM

Requerimientos

  • Experiencia construyendo o integrando aplicaciones potenciadas por LLM.
  • Familiaridad con Python y APIs REST.
  • Comprensión básica de los conceptos de ingeniería de prompts.

Audiencia objetivo

  • Ingenieros de ML y practicantes de MLOps que se están transitando hacia operaciones de LLM.
  • Ingenieros de plataforma responsables de la infraestructura de LLM.
  • Líderes técnicos que gestionan despliegues de GenAI en producción.
 14 Horas

Número de participantes


Precio por participante

Reseñas (2)

Próximos cursos

Categorías Relacionadas