Contacta con nosotros

Temario del curso

Introducción a los modelos multimodales

  • Visión general del aprendizaje automático multimodal.
  • Aplicaciones de los modelos multimodales.
  • Desafíos en el manejo de múltiples tipos de datos.

Arquitecturas para modelos multimodales

  • Exploración de modelos como CLIP, Flamingo y BLIP.
  • Comprensión de los mecanismos de atención entre modalidades.
  • Consideraciones arquitectónicas para escalabilidad y eficiencia.

Preparación de conjuntos de datos multimodales

  • Técnicas de recopilación y anotación de datos.
  • Preprocesamiento de entradas de texto, imágenes y vídeo.
  • Equilibrio de conjuntos de datos para tareas multimodales.

Técnicas de ajuste fino para modelos multimodales

  • Configuración de pipelines de entrenamiento para modelos multimodales.
  • Gestión de la memoria y las limitaciones computacionales.
  • Manejo de la alineación entre modalidades.

Aplicaciones de los modelos multimodales ajustados finamente

  • Respuesta a preguntas visuales.
  • Generación de leyendas para imágenes y vídeos.
  • Generación de contenido utilizando entradas multimodales.

Optimización del rendimiento y evaluación

  • Métricas de evaluación para tareas multimodales.
  • Optimización de la latencia y el rendimiento para la producción.
  • Garantizar la robustez y la consistencia entre modalidades.

Implementación de modelos multimodales

  • Empaquetado de modelos para su implementación.
  • Inferencia escalable en plataformas en la nube.
  • Aplicaciones e integraciones en tiempo real.

Casos de estudio y laboratorios prácticos

  • Ajuste fino de CLIP para la recuperación de imágenes basada en contenido.
  • Entrenamiento de un chatbot multimodal con texto y vídeo.
  • Implementación de sistemas de recuperación entre modalidades.

Resumen y próximos pasos

Requerimientos

  • Habilidad en programación con Python.
  • Comprensión de los conceptos de aprendizaje profundo.
  • Experiencia con el ajuste fino de modelos preentrenados.

Audiencia

  • Investigadores de IA.
  • Científicos de datos.
  • Profesionales del aprendizaje automático.
 28 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas