Optimización del rendimiento de redes neuronales con CANN SDK

Resumen de las capacidades de optimización de CANN

• Cómo se maneja el rendimiento de inferencia en CANN
• Objetivos de optimización para sistemas de IA en el borde y embebidos
• Comprensión de la utilización de AI Core y la asignación de memoria

Uso del Graph Engine para el análisis

• Introducción al Graph Engine y la línea de ejecución
• Visualización de grafos de operadores y métricas de tiempo de ejecución
• Modificación de grafos computacionales para optimización

Herramientas de perfiles de rendimiento (profiling) y métricas de rendimiento

• Uso de la herramienta de perfiles de rendimiento (CANN Profiling Tool) para el análisis de cargas de trabajo
• Análisis del tiempo de ejecución de kernels (núcleos) y cuellos de botella
• Perfiles de acceso a memoria y estrategias de teselado (tiling)

Desarrollo de operadores personalizados con TIK

• Resumen de TIK y el modelo de programación de operadores
• Implementación de un operador personalizado utilizando DSL de TIK
• Pruebas y medición de rendimiento de operadores

Optimización avanzada de operadores con TVM

• Introducción a la integración de TVM con CANN
• Estrategias de autoajuste (auto-tuning) para grafos computacionales
• Cuándo y cómo cambiar entre TVM y TIK

Técnicas de optimización de memoria

• Gestión del diseño de memoria (layout) y la colocación de búferes
• Técnicas para reducir el consumo de memoria en el chip
• Mejores prácticas para la ejecución asincrónica y la reutilización

Implementación del mundo real y estudios de caso

• Estudio de caso: ajuste de rendimiento para la línea de flujo de cámaras de ciudades inteligentes
• Estudio de caso: optimización de la pila de inferencia de vehículos autónomos
• Directrices para perfiles de rendimiento iterativos y mejora continua

Resumen y próximos pasos