Flujos de trabajo de LLM multimodal en Vertex AI

Introducción a los LLM multimodales en Vertex AI

• Visión general de las capacidades multimodales en Vertex AI
• Modelos Gemini y modalidades compatibles
• Casos de uso en empresas e investigación

Configuración del entorno de desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales
• Trabajo con conjuntos de datos a través de distintas modalidades
• Laboratorio práctico: configuración del entorno y preparación de los datos

Ventanas de contexto largas y razonamiento avanzado

• Comprensión de flujos de trabajo con contexto largo
• Casos de uso en planificación y toma de decisiones
• Laboratorio práctico: implementación del análisis con contexto largo

Diseño de flujos de trabajo entre modalidades

• Combinación del análisis de texto, audio e imagen
• Cadenas de pasos multimodales en canalizaciones
• Laboratorio práctico: diseño de una canalización multimodal

Uso de los parámetros de la API de Gemini

• Configuración de entradas y salidas multimodales
• Optimización de inferencia y eficiencia
• Laboratorio práctico: ajuste de los parámetros de la API de Gemini

Aplicaciones e integraciones avanzadas

• Agentes y asistentes interactivos multimodales
• Integración de APIs externas y herramientas
• Laboratorio práctico: construcción de una aplicación multimodal

Evaluación e iteración

• Pruebas del rendimiento multimodal
• Métricas de precisión, alineación y deriva (drift)
• Laboratorio práctico: evaluación de flujos de trabajo multimodales

Resumen y próximos pasos