Modelos de toma de decisiones para autoalojamiento: Servicio, cuantización, latencia y operaciones

Opciones de despliegue

• Compromisos entre API alojada y autoalojamiento
• Patrones en las instalaciones, en el borde y entornos aislados
• Modelo único frente a portafolio de modelos
• Comparación del costo por decisión

Tamaño de hardware y capacidad

• Huella de memoria según el número de parámetros
• Solo CPU frente a aceleración con GPU
• Planificación de concurrencia y rendimiento (throughput)
• Respaldo para el crecimiento de la longitud de la tarea

Stacks de servicio (serving)

• Opciones de vLLM y SGLang
• Ejecución con llama.cpp y GGUF
• Ollama para desarrollo local
• Selección basada en la forma de la carga de trabajo de decisión

Cuantización sin perder calibración

• Formatos de precisión y ahorro de memoria
• Medición de la pérdida de calidad y calibración
• Variantes por tensor y basadas en importancia
• Pruebas de aceptación después de la cuantización

Ingeniería de latencia

• Latencia mediana frente a latencia de cola (tail)
• Crecimiento de la latencia con la longitud del contexto
• Inicio en caliente (warm start) y caché de modelos
• Agrupación (batching) de múltiples preguntas de decisión

Entornos de borde y restringidos

• Modelos de decisión pequeños en CPU
• Despliegue en Apple Silicon y dispositivos embebidos
• Operación sin conexión y estrategia de actualización
• Distribución de pesos en entornos aislados

Contenedorización y escalado

• Diseño de imágenes para el servicio de modelos
• Gestión de volúmenes y caché
• Escalado horizontal y enrutamiento
• Límites de recursos y compartición de GPU

Observabilidad

• Métricas de solicitudes, latencia y errores
• Monitoreo de la distribución de confianza
• Seguimiento de resultados de decisiones y escalaciones
• Alertas por deriva de calibración

Versionado y despliegue

• Versionado de modelos y adaptadores
• Despliegue en sombra y canario
• Archivos de modelos fijados (pinned) para auditoría
• Procedimientos de reversión (rollback)

Seguridad y multiinquilinato

• Autenticación y limitación de tasa (rate limiting)
• Aislamiento de inquilinos para prompts y registros
• Aislamiento de red y control de egreso
• Registro de auditoría de decisiones