Deep Neural Networks verstehen Schulung

Teil 1 – Konzepte von Deep Learning und DNN

Einführung in KI, Maschinelles Lernen & Deep Learning

• Geschichte, Grundkonzepte und übliche Anwendungen der künstlichen Intelligenz jenseits der von diesem Bereich verbreiteten Fantasien
• Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird
• Genetische Algorithmen: Evolution einer Population virtueller Agenten durch Selektion
• Übliche Machine-Learning-Verfahren: Definition.
• Arten von Aufgaben: überwachtes Lernen, unüberwachtes Lernen, Verstärkungslernen
• Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionsreduktion
• Beispiele für Machine-Learning-Algorithmen: Lineare Regression, Naive Bayes, Random Tree
• Maschinelles Lernen vs. Deep Learning: Probleme, bei denen das Maschinelle Lernen heute noch state-of-the-art ist (Random Forests & XGBoosts)

Grundlegende Konzepte eines neuronalen Netzwerks (Anwendung: Multi-Layer-Perceptron)

• Wiederholung der mathematischen Grundlagen.
• Definition eines Netzwerks aus Neuronen: klassische Architektur, Aktivierung und
• Gewichtung vorheriger Aktivierungen, Tiefe eines Netzwerks
• Definition des Lernens eines neuronalen Netzwerks: Kostenfunktionen, Backpropagation, Stochastischer Gradientenabstieg, Maximum-Likelihood-Schätzung.
• Modellierung eines neuronalen Netzwerks: Modellierung der Eingangs- und Ausgangsdaten entsprechend der Art des Problems (Regression, Klassifizierung ...). Fluch der Dimensionalität.
• Unterscheidung zwischen multidimensionalen Daten und Signal. Wahl einer Kostenfunktion entsprechend den Daten.
• Approximation einer Funktion durch ein neuronales Netzwerk: Präsentation und Beispiele
• Approximation einer Verteilung durch ein neuronales Netzwerk: Präsentation und Beispiele
• Data Augmentation: Wie man einen Datensatz ausgleicht
• Generalisierung der Ergebnisse eines neuronalen Netzwerks.
• Initialisierung und Regularisierung eines neuronalen Netzwerks: L1-/L2-Regularisierung, Batch-Normalisierung
• Algorithmen zur Optimierung und Konvergenz

Standard-Tools für ML/DL

Eine einfache Präsentation mit Vor- und Nachteilen, Einordnung in das Ökosystem und Einsatzmöglichkeiten ist vorgesehen.

• Tools zum Datenmanagement: Apache Spark, Apache Hadoop Tools
• Maschinelles Lernen: Numpy, Scipy, Sci-kit
• High-Level-Frameworks für Deep Learning: PyTorch, Keras, Lasagne
• Low-Level-Frameworks für Deep Learning: Theano, Torch, Caffe, Tensorflow

Convolutional Neural Networks (CNN).

• Präsentation der CNNs: fundamentale Prinzipien und Anwendungen
• Grundlegende Funktionsweise einer CNN: Faltungsschicht, Verwendung eines Kernels,
• Padding & Stride, Generierung von Feature Maps, Pooling-Schichten. Erweiterungen 1D, 2D und 3D.
• Präsentation der verschiedenen CNN-Architekturen, die state-of-the-Ergebnisse in der Klassifizierung erzielt haben
• Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Präsentation der Innovationen, die jede Architektur gebracht hat, und ihrer allgemeineren Anwendungen (Convolution 1x1 oder residual connections)
• Verwendung eines Aufmerksamkeitsmodells (Attention Model).
• Anwendung auf einen gängigen Klassifizierungsfall (Text oder Bild)
• CNNs für die Generierung: Super-Resolution, Pixel-zu-Pixel-Segmentierung. Präsentation von
• Hauptstrategien zur Erhöhung von Feature Maps für die Bildgenerierung.

Recurrent Neural Networks (RNN).

• Präsentation der RNNs: fundamentale Prinzipien und Anwendungen.
• Grundlegende Funktionsweise des RNN: versteckte Aktivierung, Backpropagation through Time, entfaltete Version.
• Entwicklungen hin zu den Gated Recurrent Units (GRUs) und LSTM (Long Short-Term Memory).
• Präsentation der verschiedenen Zustände und der durch diese Architekturen bringten Entwicklungen
• Konvergenz- und Vanishing-Gradient-Probleme
• Klassische Architekturen: Vorhersage einer zeitlichen Reihe, Klassifizierung ...
• RNN Encoder-Decoder-Architektur. Verwendung eines Aufmerksamkeitsmodells.
• NLP-Anwendungen: Wort-/Zeichenkodierung, Übersetzung.
• Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.

Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).

• Präsentation der generativen Modelle, Verbindung zu den CNNs
• Autoencoder: Dimensionsreduktion und begrenzte Generierung
• Variational Auto-encoder: Generatives Modell und Approximation der Verteilung eines gegebenen Datums. Definition und Verwendung des Latent Spaces. Reparameterization Trick. Anwendungen und beobachtete Grenzen
• Generative Adversarial Networks: Grundlagen.
• Dual-Netzwerk-Architektur (Generator und Discriminator) mit alternierendem Lernen, verfügbare Kostenfunktionen.
• Konvergenz eines GAN und dabei auftretende Schwierigkeiten.
• Verbesserte Konvergenz: Wasserstein GAN, Began. Earth Moving Distance.
• Anwendungen zur Generierung von Bildern oder Fotos, Textgenerierung, Super-Resolution.

Deep Reinforcement Learning.

• Präsentation des Verstärkungslernens: Steuerung eines Agenten in einer definierten Umgebung
• Durch einen Zustand und mögliche Aktionen
• Verwendung eines neuronalen Netzwerks zur Approximation der Zustandfunktion
• Deep Q Learning: Experience Replay und Anwendung auf die Steuerung eines Videospiels.
• Optimierung der Lernrichtlinie. On-policy && Off-policy. Actor-Critic-Architektur. A3C.
• Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen Systems.

Teil 2 – Theano für Deep Learning

Theano-Grundlagen

• Einführung
• Installation und Konfiguration

Theano-Funktionen

• Eingaben, Ausgaben, Updates, Givens

Training und Optimierung eines neuronalen Netzwerks mit Theano

• Modellierung des neuronalen Netzwerks
• Logistische Regression
• Versteckte Schichten
• Training eines Netzwerks
• Berechnung und Klassifizierung
• Optimierung
• Log Loss

Testen des Modells

Teil 3 – DNN mit TensorFlow

TensorFlow-Grundlagen

• Erstellen, Initialisieren, Speichern und Wiederherstellen von TensorFlow-Variablen
• Zuführen, Lesen und Vorladen von TensorFlow-Daten
• Wie man die TensorFlow-Infrastruktur nutzt, um Modelle in großem Maßstab zu trainieren
• Visualisierung und Evaluierung von Modellen mit TensorBoard

TensorFlow-Mechaniken

• Daten vorbereiten
• Herunterladen
• Eingaben und Platzhalter
• Aufbau der Graphs
  • Inferenz
  • Verlust (Loss)
  • Training
• Trainieren des Modells
  • Der Graph
  • Die Sitzung (Session)
  • Trainingsschleife
• Evaluierung des Modells
  • Aufbau des Eval-Graphen
  • Auswertungsausgabe (Eval Output)

Der Perceptron

• Aktivierungsfunktionen
• Der Perceptron-Lernalgorithmus
• Binäre Klassifizierung mit dem Perceptron
• Dokumentklassifizierung mit dem Perceptron
• Einschränkungen des Perceptrons

Vom Perceptron zu Support Vector Machines

• Kernel und der Kernel-Trick
• Maximale-Margin-Klassifizierung und Support Vectors

Künstliche Neuronale Netzwerke

• Nichtlineare Entscheidungsgrenzen
• Feedforward- und Feedback-künstliche neuronale Netzwerke
• Multilayer-Perceptrons
• Minimierung der Kostenfunktion
• Vorwärtspropagation
• Rückwärtspropagation
• Verbesserung der Art und Weise, wie neuronale Netzwerke lernen

Convolutional Neural Networks

• Ziele
• Modellarchitektur
• Prinzipien
• Codeorganisation
• Starten und Trainieren des Modells
• Evaluierung eines Modells

Für die folgenden Module sind grundlegende Einführungen zu geben (kurze Einführung, abhängig von der verfügbaren Zeit):

TensorFlow – erweiterte Nutzung

• Threading und Queues
• Distributed TensorFlow
• Schreiben von Dokumentation und Teilen Ihres Modells
• Anpassen von Data Readern
• Manipulieren von TensorFlow-Modell-Dateien

TensorFlow Serving

• Einführung
• Grundlagen-Tutorial zum Serving
• Erweitertes Tutorial zum Serving
• Tutorial: Serving des Inception-Modells