Big Data Business Intelligence for Govt. Agencies Schulung

Jede Sitzung dauert 2 Stunden

Tag 1: Sitzung 1: Business-Überblick: Warum Big Data Business Intelligence in der Regierung?

• Fallstudien aus NIH, DoE
• Big-Data-Adaptionsrate in Regierungsstellen und wie sie ihre zukünftige Ausrichtung um Big-Data-Prädiktivanalytik herum ausrichten
• Breitflächige Anwendungsbereiche in DoD, NSA, IRS, USDA usw.
• Anbindung von Big Data an Legacy-Daten
• Grundlegendes Verständnis der Ermöglichungstechnologien in der prädiktiven Analytik
• Datenintegration und Dashboard-Visualisierung
• Betrugsmanagement
• Generierung von Geschäftsregeln/Betrugserkennung
• Bedrohungserkennung und -profilierung
• Kosten-Nutzen-Analyse für die Big-Data-Implementierung

Tag 1: Sitzung 2: Einführung in Big Data-1

• Hauptmerkmale von Big Data: Volumen, Vielfalt, Geschwindigkeit und Verlässlichkeit. MPP-Architektur für Volumen.
• Data Warehouses – statisches Schema, langsam evolvierender Datensatz
• MPP-Datenbanken wie Greenplum, Exadata, Teradata, Netezza, Vertica usw.
• Hadoop-basierte Lösungen – keine Bedingungen an die Struktur des Datensatzes.
• Typisches Muster: HDFS, MapReduce (Crunch), Abruf aus HDFS
• Batch-geeignet für analytische/nicht interaktive Zwecke
• Volumen: CEP-Streaming-Daten
• Typische Wahlmöglichkeiten – CEP-Produkte (z. B. Infostreams, Apama, MarkLogic usw.)
• Weniger produktionsreif – Storm/S4
• NoSQL-Datenbanken – (spaltenorientiert und key-value): Am besten geeignet als analytische Ergänzung zu Datenware/database

Tag 1: Sitzung 3: Einführung in Big Data-2

NoSQL-Lösungen

• KV-Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV-Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV-Store (Hierarchisch) - GT.m, Cache
• KV-Store (Geordnet) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV-Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple-Store - Gigaspaces, Coord, Apache River
• Objektdatenbank - ZopeDB, DB40, Shoal
• Dokumentenspeicher - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Datenbanken, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Wide Columnar Store - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Vielfalt der Daten: Einführung in das Datenreinigungsproblem in Big Data

• RDBMS – statische Struktur/Schema, fördert keine agile, explorative Umgebung.
• NoSQL – halb strukturiert, genügend Struktur, um Daten ohne exaktes Schema vor der Speicherung zu speichern
• Datenreinigungsprobleme

Tag 1: Sitzung 4: Big-Data-Einführung-3: Hadoop

• Wann Hadoop auswählen?
• STRUKTURIERT - Enterprise-Datenbanken/Warehouses können massive Daten speichern (um einen Preis), aber erzwingen Struktur (nicht gut für aktive Exploration)
• HALB STRUKTURIERT Daten – schwierig mit traditionellen Lösungen (DW/DB)
• Datenlagerung = BEWUSSTER Aufwand und statisch, auch nach Implementierung
• Für Vielfalt & Volumen von Daten, verarbeitet auf Standard-Hardware – HADOOP
• Standard-H/W benötigt, um einen Hadoop-Cluster zu erstellen

Einführung in Map Reduce /HDFS

• MapReduce – verteiltes Rechnen über mehrere Server
• HDFS – Daten lokal für den Berechnungsprozess verfügbar machen (mit Redundanz)
• Daten – können unstrukturiert/schemafrei sein (im Gegensatz zu RDBMS)
• Verantwortung des Entwicklers, Daten sinnvoll zu machen
• Programmierung von MapReduce = Arbeit mit Java (Vorteile/Nachteile), manuelles Laden von Daten in HDFS

Tag 2: Sitzung 1: Big-Data-Ökosystem-Aufbau von Big Data ETL: Universum von Big-Data-Werkzeugen – welches wann verwenden?

• Hadoop im Vergleich zu anderen NoSQL-Lösungen
• Für interaktiven, zufälligen Zugriff auf Daten
• Hbase (spaltenorientierte Datenbank) auf Basis von Hadoop
• Zufälliger Zugriff auf Daten, aber eingeschränkt (max. 1 PB)
• Nicht gut für Ad-hoc-Analysen, gut für Logging, Zählen, Zeitreihen
• Sqoop - Import von Datenbanken in Hive oder HDFS (JDBC/ODBC-Zugriff)
• Flume – Streaming von Daten (z. B. Logdaten) in HDFS

Tag 2: Sitzung 2: Big-Data-Verwaltungssystem

• Wegfallende Teile, Rechenknoten Start/Stopp: ZooKeeper - Für Konfiguration/Koordination/Namensdienste
• Komplexe Pipeline/Workflow: Oozie – Workflow, Abhängigkeiten, Kettenmanagement
• Bereitstellung, Konfiguration, Cluster-Verwaltung, Upgrade usw. (Sys Admin): Ambari
• In der Cloud: Whirr

Tag 2: Sitzung 3: Prädiktive Analytik in Business Intelligence -1: Grundlegende Techniken & maschinelles Lernen-basierte BI:

• Einführung in maschinelles Lernen
• Lernen von Klassifikationstechniken
• Bayessche Vorhersage-Vorbereitung der Trainingsdatei
• Support Vector Machine
• KNN p-Tree Algebra & vertikales Mining
• Neuronales Netz
• Big-Data-Großvariablenproblem - Random Forest (RF)
• Big-Data-Automatisierungsproblem – Multi-Modell-Ensemble RF
• Automatisierung durch Soft10-M
• Textanalytik-Werkzeug-Treeminer
• Agiles Lernen
• Agentenbasiertes Lernen
• Verteiltes Lernen
• Einführung in Open-Source-Werkzeuge für prädiktive Analytik: R, Rapidminer, Mahut

Tag 2: Sitzung 4: Prädiktive Analytik-Ökosystem-2: Gemeinsame prädiktive Analytik-Probleme in der Regierung.

• Insights-Analytik
• Visualisierungsanalytik
• Strukturierte prädiktive Analytik
• Unstrukturierte prädiktive Analytik
• Bedrohung/Betrug/Vendor-Profilierung
• Recommendation Engine
• Mustererkennung
• Regel/Szenario-Entdeckung – Ausfall, Betrug, Optimierung
• Root-Cause-Entdeckung
• Sentiment-Analyse
• CRM-Analytik
• Netzwerk-Analytik
• Text-Analytik
• Technologie-unterstützte Prüfung
• Betrugsanalytik
• Echtzeit-Analytik

Tag 3: Sitzung 1: Echtzeit- und skalierbare Analytik über Hadoop

• Warum übliche Analytik-Algorithmen in Hadoop/HDFS scheitern
• Apache Hama – für Bulk-Synchronous verteiltes Rechnen
• Apache SPARK – für Cluster-Computing für Echtzeit-Analytik
• CMU Graphics Lab2 – Graph-basierte asynchrone Annäherung an verteiltes Rechnen
• KNN p-Algebra-basierte Annäherung von Treeminer für reduzierte Hardwarekosten des Betriebs

Tag 3: Sitzung 2: Werkzeuge für eDiscovery und Forensik

• eDiscovery über Big Data im Vergleich zu Legacy-Daten – ein Vergleich von Kosten und Leistung
• Predictive Coding und Technologie-unterstützte Prüfung (TAR)
• Live-Demo eines TAR-Produkts (vMiner), um zu verstehen, wie TAR für schnellere Entdeckung funktioniert
• Schnelleres Indizieren durch HDFS – Geschwindigkeit der Daten
• NLP oder Natural Language Processing – verschiedene Techniken und Open-Source-Produkte
• eDiscovery in Fremdsprachen – Technologie für die Verarbeitung von Fremdsprachen

Tag 3: Sitzung 3: Big Data BI für Cybersicherheit – Verständnis des gesamten 360-Grad-Bilds von schneller Datensammlung bis zur Bedrohungserkennung

• Verständnis der Grundlagen der Security-Analytik – Angriffsfläche, Sicherheitsfehlkonfiguration, Host-Abwehr
• Netzwerkinfrastruktur / Große Datenpipe / Response ETL für Echtzeit-Analytik
• Praeskrivativ vs. Prädiktiv – Feste regelbasiert vs. Auto-Entdeckung von Bedrohungsregeln aus Metadaten

Tag 3: Sitzung 4: Big Data in USDA: Anwendung in der Landwirtschaft

• Einführung in IoT (Internet of Things) für die Landwirtschaft – Sensor-basiertes Big Data und Steuerung
• Einführung in Satellitenbildgebung und ihre Anwendung in der Landwirtschaft
• Integration von Sensordaten und Bilddaten für Bodenfruchtbarkeit, Kulturrecommendation und Prognose
• Landwirtschaftliche Versicherung und Big Data
• Erhnte-Ertragsprognose

Tag 4: Sitzung 1: Betrugsvermeidung BI aus Big Data in der Regierung – Betrugsanalytik:

• Grundlegende Klassifizierung der Betrugsanalytik – regelbasiert vs. prädiktive Analytik
• Supervised vs. unsupervised Machine Learning für die Erkennung von Betrugsmustern
• Vendor-Betrug/Überladung für Projekte
• Medicare und Medicaid-Betrug – Betrugserkennungstechniken für die Abrechnungsverarbeitung
• Reisekostenbetrug
• IRS-Rückerstattungs-Betrug
• Fallstudien und Live-Demos werden überall dort gegeben, wo Daten verfügbar sind.

Tag 4: Sitzung 2: Social Media Analytik – Intelligenzsammlung und -analyse

• Big-Data-ETL-API zur Extraktion von Social-Media-Daten
• Text, Bild, Metadaten und Video
• Sentiment-Analyse aus Social-Media-Feeds
• Kontextuelle und nicht-kontextuelle Filterung von Social-Media-Feeds
• Social-Media-Dashboard zur Integration diverser Social-Media
• Automatisierte Profilierung von Social-Media-Profilen
• Live-Demos jeder Analyse werden durch das Treeminer-Werkzeug gegeben.

Tag 4: Sitzung 3: Big-Data-Analytik in Bildverarbeitung und Video-Feeds

• Bildspeichertechniken in Big Data – Speicherlösung für Daten über Petabytes
• LTFS und LTO
• GPFS-LTFS (Geschichtete Speicherlösung für große Bilddaten)
• Grundlagen der Bildanalytik
• Objekt recognition
• Bildsegmentierung
• Bewegungstracking
• 3-D-Bildrekonstruktion

Tag 4: Sitzung 4: Big-Data-Anwendungen in NIH:

• Emergent Bereiche der Bio-informatik
• Meta-genomik und Big-Data-Mining-Probleme
• Big-Data-Prädiktivanalytik für Pharmakogenomik, Metabolomik und Proteomik
• Big Data im Downstream-Genomik-Prozess
• Anwendung von Big-Data-Prädiktivanalytik im öffentlichen Gesundheitswesen

Big-Data-Dashboard für schnellen Zugriff auf diverse Daten und Darstellung:

• Integration der bestehenden Anwendungsplattform mit Big-Data-Dashboard
• Big-Data-Verwaltung
• Fallstudie des Big-Data-Dashboards: Tableau und Pentaho
• Verwendung von Big-Data-Apps, um location-basierte Dienste in der Regierung zu fördern.
• Tracking-System und -Verwaltung

Tag 5: Sitzung 1: Wie rechtfertigt man die Big-Data-BI-Implementierung innerhalb einer Organisation:

• Definition von ROI für die Big-Data-Implementierung
• Fallstudien zur Einsparung von Analystenzeit für die Sammlung und Vorbereitung von Daten – Anstieg des Produktivitätsgewinns
• Fallstudien zur Einnahmevermehrung durch Einsparung der lizenzierten Datenbankkosten
• Einnahmevermehrung aus location-basierten Diensten
• Einsparungen durch Betrugsvermeidung
• Ein integrierter Tabellenkalkulationsansatz, um ungefähre Kosten vs. Einnahmevermehrung/Einsparungen aus der Big-Data-Implementierung zu berechnen.

Tag 5: Sitzung 2: Schritt-für-Schritt-Verfahren, um Legacy-Dateisysteme durch Big-Data-Systeme zu ersetzen:

• Verständnis einer praktischen Big-Data-Migration-Roadmap
• Welche wichtigen Informationen werden benötigt, bevor eine Big-Data-Implementierung architektonisch geplant wird
• Was sind die verschiedenen Methoden zur Berechnung von Volumen, Geschwindigkeit, Vielfalt und Verlässlichkeit von Daten
• Wie wird das Datenwachstum geschätzt
• Fallstudien

Tag 5: Sitzung 4: Übersicht der Big-Data-Anbieter und Überprüfung ihrer Produkte. Q/A-Sitzung:

• Accenture
• APTEAN (ehemals CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (ehemals 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Teil von EMC)