Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Fundamentos de Tencent Hunyuan en Producción
- Resumen de escenarios de servicio de modelos Tencent Hunyuan.
- Características de producción de modelos grandes y MoE.
- Cuellos de botela comunes de latencia, rendimiento y costos.
- Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia.
Arquitectura de Implementación y Flujo de Servicio
- Componentes principales de una pila de inferencia en producción.
- Elección entre modelos de implementación con contenedores, on-premise y en la nube.
- Fundamentos de carga de modelos, enrutamiento de solicitudes y asignación de GPU.
- Diseño para fiabilidad y simplicidad operativa.
Optimización de Latencia en la Práctica
- Uso de motores de inferencia optimizados como TensorRT, según corresponda.
- Conceptos del caché KV y ajuste práctico del caché.
- Reducción de la sobrecarga de inicio, calentamiento (warmup) y respuesta.
- Medición del tiempo hasta el primer token y la velocidad de generación de tokens.
Rendimiento, Agrupación (Batching) y Eficiencia de GPU
- Estrategias de agrupación continua y agrupación de solicitudes.
- Gestión de la concurrencia y comportamiento de colas.
- Mejora del uso de GPU sin perjudicar la experiencia del usuario.
- Gestión de solicitudes de contexto largo y cargas de trabajo mixtas.
Cuantización y Control de Costos
- Por qué la cuantización es importante para el servicio en producción.
- Compromisos prácticos entre FP16, INT8 y otras opciones de precisión comunes.
- Equilibrio entre calidad del modelo, latencia y costos de infraestructura.
- Construcción de una lista de verificación simple para la optimización de costos.
Operaciones, Monitoreo y Revisión de Listo para Producción
- Disparadores de autoescalado para servicios de inferencia.
- Monitoreo de latencia, rendimiento, uso del caché y salud de la GPU.
- Fundamentos de registro (logging), alertas y respuesta a incidentes.
- Revisión de un caso de implementación de referencia y creación de un plan de mejoras.
Requerimientos
- Comprensión básica de la implementación y los flujos de trabajo de inferencia de modelos de lenguaje grandes (LLM).
- Experiencia con contenedores, infraestructura en la nube o on-premise, y servicios basados en API.
- Conocimientos prácticos de Python o tareas de ingeniería de sistemas.
Audiencia
- Ingenieros de ML que implementan LLMs en producción.
- Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
- Arquitectos de soluciones que diseñan plataformas escalables de servicio de IA.
