Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a Mistral a Gran Escala
- Vista general de Mistral Medium 3.
- Compromisos entre rendimiento y costo.
- Consideraciones a escala empresarial.
Patrones de Despliegue para LLMs
- Topologías de servicio y decisiones de diseño.
- Despliegues on-premise versus en la nube.
- Estrategias híbridas y multi-nube.
Técnicas de Optimización de Inferencia
- Estrategias de agrupación (batching) para alto rendimiento.
- Métodos de cuantización para reducción de costos.
- Uso de aceleradores y GPUs.
Escalabilidad y Confiabilidad
- Escalar clústeres de Kubernetes para inferencia.
- Carga balanceada y enrutamiento de tráfico.
- Tolerancia a fallos y redundancia.
Marco de Ingeniería de Costos
- Medición de la eficiencia del costo de inferencia.
- Dimensionamiento adecuado (right-sizing) de recursos de cómputo y memoria.
- Monitoreo y alertas para optimización.
Seguridad y Cumplimiento en Producción
- Seguridad de despliegues y APIs.
- Consideraciones sobre gobernanza de datos.
- Cumplimiento regulatorio en ingeniería de costos.
Casos de Estudio y Mejores Prácticas
- Arquitecturas de referencia para Mistral a gran escala.
- Lecciones aprendidas de despliegues empresariales.
- Tendencias futuras en inferencia eficiente de LLMs.
Resumen y Próximos Pasos
Requerimientos
- Sólido conocimiento sobre el despliegue de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Conocimiento sobre estrategias de ajuste de rendimiento y optimización de costos.
Audiencia Objetivo
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
14 Horas
