Inteligencia de Negocios de Big Data para Agencias del Gobierno

Cada sesión dura 2 horas

Día 1: Sesión -1: Visión general empresarial de por qué la Inteligencia de Negocios con Big Data es importante en el Gobierno

• Estudios de caso del NIH, DOE
• Tasa de adaptación de Big Data en Agencias Gubernamentales y cómo están alineando sus futuras operaciones en torno a la Analítica Predictiva de Big Data
• Áreas de aplicación a gran escala en DoD, NSA, IRS, USDA, etc.
• Interfaz entre Big Data y datos legados
• Comprensión básica de las tecnologías habilitadoras en la analítica predictiva
• Integración de datos y visualización de tableros
• Gestión de fraude
• Generación de reglas de negocio / detección de fraude
• Detección de amenazas y perfilado
• Análisis de costo-beneficio para la implementación de Big Data

Día 1: Sesión-2: Introducción al Big Data-1

• Principales características del Big Data: volumen, variedad, velocidad y veracidad. Arquitectura MPP para el volumen.
• Almacenes de datos – esquema estático, conjunto de datos que evoluciona lentamente
• Bases de datos MPP como Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
• Soluciones basadas en Hadoop – sin condiciones sobre la estructura del conjunto de datos.
• Patrón típico: HDFS, MapReduce (procesamiento), recuperación desde HDFS
• Lote – adecuado para analítica/no interactiva
• Volumen: Streaming de datos CEP
• Opciones típicas – productos CEP (p. ej. Infostreams, Apama, MarkLogic, etc.)
• Menos listo para producción – Storm/S4
• Bases de datos NoSQL – (columnares y clave-valor): Más adecuadas como adjunto analítico a la base de datos/almacén de datos

Día 1: Sesión -3: Introducción al Big Data-2

Soluciones NoSQL

• Almacén KV - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• Almacén KV - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• Almacén KV (Jerárquico) - GT.m, Cache
• Almacén KV (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• Caché KV - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Almacén de Tuplas - Gigaspaces, Coord, Apache River
• Base de datos de objetos - ZopeDB, DB40, Shoal
• Almacén de documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Almacén de columnas anchas - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Variedades de datos: Introducción al problema de limpieza de datos en Big Data

• RDBMS – estructura/esquema estático, no promueve un entorno ágil y exploratorio.
• NoSQL – semiestructurado, suficiente estructura para almacenar datos sin un esquema exacto antes de almacenar los datos
• Problemas de limpieza de datos

Día 1: Sesión-4: Introducción al Big Data-3: Hadoop

• ¿Cuándo seleccionar Hadoop?
• DATOS ESTRUCTURADOS - Los almacenes de datos/ bases de datos empresariales pueden almacenar datos masivos (a un costo) pero imponen estructura (no bueno para la exploración activa)
• Datos SEMIESTRUCTURADOS – difícil de lograr con soluciones tradicionales (DW/DB)
• Almacenamiento de datos = enorme esfuerzo y estático incluso después de la implementación
• Para la variedad y el volumen de datos, procesados en hardware genérico – HADOOP
• Se necesita hardware genérico para crear un clúster Hadoop

Introducción a Map Reduce /HDFS

• MapReduce – distribuir la computación en varios servidores
• HDFS – hacer los datos disponibles localmente para el proceso de computación (con redundancia)
• Datos – pueden ser no estructurados/sin esquema (a diferencia de RDBMS)
• Responsabilidad del desarrollador de dar sentido a los datos
• Programación de MapReduce = trabajar con Java (pros/contras), carga manual de datos en HDFS

Día 2: Sesión-1: Ecosistema de Big Data- Construcción de ETL de Big Data: universo de herramientas de Big Data, ¿cuál usar y cuándo?

• Hadoop vs. Otras soluciones NoSQL
• Para acceso interactivo y aleatorio a datos
• Hbase (base de datos orientada a columnas) sobre Hadoop
• Acceso aleatorio a datos pero con restricciones impuestas (máx 1 PB)
• No bueno para analítica ad-hoc, bueno para registro, conteo, series de tiempo
• Sqoop - Importación desde bases de datos a Hive o HDFS (acceso JDBC/ODBC)
• Flume – Streaming de datos (p. ej. datos de registro) a HDFS

Día 2: Sesión-2: Sistema de Gestión de Big Data

• Movimiento de partes, inicio/fallida de nodos de computación: ZooKeeper - Para servicios de configuración/coordinación/nombrado
• Pipeline/flujo de trabajo complejo: Oozie – gestionar flujo de trabajo, dependencias, cadena
• Despliegue, configuración, gestión de clúster, actualización, etc. (administrador de sistema): Ambari
• En la Nube: Whirr

Día 2: Sesión-3: Analítica predictiva en Inteligencia de Negocios -1: Técnicas fundamentales y BI basado en Machine learning:

• Introducción al Machine learning
• Técnicas de aprendizaje de clasificación
• Predicción Bayesiana-preparación del archivo de entrenamiento
• Máquina de Vectores de Soporte
• Álgebra KNN p-Tree & minado vertical
• Red Neuronal
• Problema de variables grandes en Big Data - Bosque Aleatorio (RF)
• Problema de automatización en Big Data – Ensambles de modelos múltiples RF
• Automatización mediante Soft10-M
• Herramienta de analítica de texto-Treeminer
• Aprendizaje ágil
• Aprendizaje basado en agentes
• Aprendizaje distribuido
• Introducción a Herramientas de código abierto para analítica predictiva: R, Rapidminer, Mahut

Día 2: Sesión-4 Ecosistema de analítica predictiva-2: Problemas comunes de analítica predictiva en el Gobierno

• Analítica de información
• Analítica de visualización
• Analítica predictiva estructurada
• Analítica predictiva no estructurada
• Perfilado de amenaza/fraude/proveedor
• Motor de recomendación
• Detección de patrones
• Descubrimiento de reglas/escenarios –falla, fraude, optimización
• Descubrimiento de causa raíz
• Análisis de sentimientos
• Analítica de CRM
• Analítica de red
• Analítica de texto
• Revisión asistida por tecnología
• Analítica de fraude
• Analítica en tiempo real

Día 3: Sesión-1: Analítica en tiempo real y escalable sobre Hadoop

• Por qué los algoritmos analíticos comunes fallan en Hadoop/HDFS
• Apache Hama- para computación distribuida Sincronizada por Lotes
• Apache SPARK- para computación en clúster para analítica en tiempo real
• CMU Graphics Lab2- Enfoque asíncrono basado en grafos para computación distribuida
• Enfoque basado en Álgebra KNN p de Treeminer para reducir el costo de hardware de operación

Día 3: Sesión-2: Herramientas para eDiscovery y Forense

• eDiscovery sobre Big Data vs. datos legados – una comparación de costo y rendimiento
• Codificación predictiva y revisión asistida por tecnología (TAR)
• Demostración en vivo de un producto Tar (vMiner) para entender cómo funciona TAR para un descubrimiento más rápido
• Indexación más rápida a través de HDFS –velocidad de los datos
• NLP o Procesamiento de Lenguaje Natural –varias técnicas y productos de código abierto
• eDiscovery en idiomas extranjeros-tecnología para el procesamiento de idiomas extranjeros

Día 3: Sesión 3: Inteligencia de Negocios con Big Data para la Ciberseguridad – Comprensión de las vistas de 360 grados completas de la recopilación rápida de datos a la identificación de amenazas

• Comprensión de los básicos de la analítica de seguridad- superficie de ataque, mala configuración de seguridad, defensas del host
• Infraestructura de red / Gran tubería de datos / ETL de respuesta para analítica en tiempo real
• Prescriptivo vs predictivo – Reglas fijas basadas en reglas vs auto-descubrimiento de reglas de amenaza desde Meta datos

Día 3: Sesión 4: Big Data en USDA: Aplicación en la Agricultura

• Introducción a IoT (Internet de las Cosas) para la agricultura-Big Data basado en sensores y control
• Introducción al imagen satelital y su aplicación en la agricultura
• Integración de datos de sensores e imágenes para fertilidad del suelo, recomendaciones de cultivo y previsión
• Seguro agrícola y Big Data
• Pronóstico de pérdida de cosecha

Día 4: Sesión-1: Inteligencia de Negocios de prevención de fraude desde Big Data en el Gobierno-Analítica de fraude:

• Clasificación básica de la analítica de fraude- basada en reglas vs analítica predictiva
• Aprendizaje supervisado vs no supervisado para la detección de patrones de fraude
• Fraude del proveedor/cobro excesivo de proyectos
• Fraude en Medicare y Medicaid- técnicas de detección de fraude para el procesamiento de reclamos
• Fraude en reembolsos de viaje
• Fraude en reembolsos de IRS
• Se presentarán estudios de caso y demostraciones en vivo donde haya datos disponibles.

Día 4: Sesión-2: Analítica de Medios Sociales- Recopilación y análisis de inteligencia

• API de ETL de Big Data para extraer datos de medios sociales
• Texto, imagen, metadatos y video
• Análisis de sentimientos desde el feed de medios sociales
• Filtrado contextual y no contextual del feed de medios sociales
• Tablero de Medios Sociales para integrar diversos medios sociales
• Perfilado automatizado de perfiles de medios sociales
• Se dará una demostración en vivo de cada analítica mediante la Herramienta Treeminer.

Día 4: Sesión-3: Analítica de Big Data en el procesamiento de imágenes y feeds de video

• Técnicas de almacenamiento de imágenes en Big Data- Solución de almacenamiento para datos que exceden los petabytes
• LTFS y LTO
• GPFS-LTFS (Solución de almacenamiento en capas para grandes datos de imagen)
• Fundamentos de la analítica de imágenes
• Reconocimiento de objetos
• Segmentación de imágenes
• Rastreo de movimiento
• Reconstrucción de imágenes 3-D

Día 4: Sesión-4: Aplicaciones de Big Data en NIH:

• Áreas emergentes de Bioinformática
• Meta-genómica y problemas de minado de Big Data
• Analítica predictiva de Big Data para Farmacogenómica, Metabolómica y Proteómica
• Big Data en el proceso descendente de Genómica
• Aplicación de la analítica predictiva de Big Data en Salud Pública

Tablero de Big Data para accesibilidad rápida de datos diversos y visualización:

• Integración de la plataforma de aplicaciones existente con el Tablero de Big Data
• Gestión de Big Data
• Estudio de caso de Tablero de Big Data: Tableau y Pentaho
• Usar aplicación de Big Data para impulsar servicios basados en ubicación en el Gobierno.
• Sistema de rastreo y gestión

Día 5: Sesión-1: Cómo justificar la implementación de Inteligencia de Negocios con Big Data dentro de una organización:

• Definir el ROI para la implementación de Big Data
• Estudios de caso para ahorrar tiempo de analista en la recopilación y preparación de datos –aumento en la ganancia de productividad
• Estudios de caso de ganancia de ingresos del ahorro de costos de base de datos licenciada
• Ganancia de ingresos de servicios basados en ubicación
• Ahorro de prevención de fraude
• Un enfoque integrado de hoja de cálculo para calcular el gasto aproximado vs. ganancia de ingresos/ahorros de la implementación de Big Data.

Día 5: Sesión-2: Procedimiento paso a paso para reemplazar el sistema de datos legado por un sistema de Big Data:

• Comprensión de la Hoja de Ruta práctica de Migración de Big Data
• ¿Cuál es la información importante necesaria antes de diseñar una implementación de Big Data?
• Cuáles son las diferentes formas de calcular el volumen, velocidad, variedad y veracidad de los datos
• Cómo estimar el crecimiento de los datos
• Estudios de caso

Día 5: Sesión 4: Revisión de Proveedores de Big Data y revisión de sus productos. Sesión de preguntas y respuestas:

• Accenture
• APTEAN (Antes CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Antes 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Parte de EMC)