Clasificación de Audio y Detección de Eventos con ML

Fundamentos de la Clasificación de Audio

• Tipos de eventos sonoros: ambientales, mecánicos, generados por humanos.
• Resumen de casos de uso: vigilancia, monitoreo, automatización.
• Clasificación vs. detección vs. segmentación de audio.

Datos de Audio y Extracción de Características

• Tipos de archivos y formatos de audio.
• Tasa de muestreo, ventaneo y consideraciones sobre el tamaño de cuadro (frame size).
• Extracción de MFCC, características cromáticas y espectrogramas mel.

Preparación y Anotación de Datos

• Conjuntos de datos UrbanSound8K, ESC-50 y personalizados.
• Etiquetado de eventos sonoros y límites temporales.
• Equilibrio de conjuntos de datos y aumento de audio (data augmentation).

Construcción de Modelos de Clasificación de Audio

• Uso de redes neuronales convolucionales (CNN) para audio.
• Entrada del modelo: onda original (raw waveform) vs. características extraídas.
• Funciones de pérdida, métricas de evaluación y sobreajuste (overfitting).

Detección de Eventos y Localización Temporal

• Estrategias de detección basadas en cuadros (frame-based) y segmentos.
• Post-procesamiento de detecciones usando umbrales y suavizado.
• Visualización de predicciones en las líneas de tiempo de audio.

Temas Avanzados y Procesamiento en Tiempo Real

• Aprendizaje por transferencia (transfer learning) para escenarios con pocos datos.
• Despliegue de modelos con TensorFlow Lite o ONNX.
• Procesamiento de audio en streaming y consideraciones de latencia.

Desarrollo de Proyectos y Escenarios de Aplicación

• Diseño de un pipeline completo: desde la ingesta hasta la clasificación.
• Desarrollo de un concepto de demostración (proof-of-concept) para vigilancia, control de calidad o monitoreo.
• Registro (logging), alertas e integración con tableros (dashboards) o APIs.

Resumen y Próximos Pasos