Tiefes Verständnis von tiefen neuronalen Netzen Schulung

Teil 1 – Konzepte des Deep Learning und DNNs

Einführung in KI, Maschinelles Lernen & Deep Learning

• Geschichte, grundlegende Konzepte und übliche Anwendungen der künstlichen Intelligenz, fernab der Fantasien, die diesem Bereich anhaften
• Kollektive Intelligenz: Aggregation von Wissen, das von vielen virtuellen Agenten geteilt wird
• Genetische Algorithmen: zur Evolution einer Population von virtuellen Agenten durch Selektion
• Übliche maschinelles Lernen: Definition.
• Arten von Aufgaben: überwachtes Lernen, unüberwachtes Lernen, Reinforcement Learning
• Arten von Aktionen: Klassifizierung, Regression, Clustering, Dichteschätzung, Dimensionsreduktion
• Beispiele für Algorithmen des maschinellen Lernens: Lineare Regression, Naive Bayes, Zufälliger Baum
• Maschinelles Lernen vs. Deep Learning: Probleme, bei denen das maschinelle Lernen noch heute den Stand der Technik darstellt (Random Forests & XGBoost)

Grundlegende Konzepte eines neuronalen Netzes (Anwendung: mehrschichtiger Perzeptron)

• Wiederholung der mathematischen Grundlagen.
• Definition eines Neuronennetzes: klassische Architektur, Aktivierung und
• Gewichtung vorheriger Aktivierungen, Tiefe des Netzes
• Definition des Lernens eines Neuronennetzes: Kostenfunktionen, Backpropagation, stochastischer Gradientenabstieg, Maximum-Likelihood.
• Modellierung eines neuronalen Netzes: Modellierung von Eingangs- und Ausgangsdaten je nach Art des Problems (Regression, Klassifizierung ...). Fluch der Dimensionalität.
• Unterscheidung zwischen mehrdimensionalen Daten und Signalen. Wahl einer Kostenfunktion abhängig von den Daten.
• Approximation einer Funktion durch ein Neuronennetz: Vorstellung und Beispiele
• Approximation einer Verteilung durch ein Neuronennetz: Vorstellung und Beispiele
• Datenvergrößerung: wie man eine Datensatz balanciert
• Generalisierung der Ergebnisse eines Neuronennetzes.
• Initialisierung und Regularisierung eines neuronalen Netzes: L1/L2-Regularisierung, Batch-Normalisierung
• Optimierungs- und Konvergenzalgorithmen

Standard ML/DL-Tools

Eine einfache Vorstellung mit Vorteilen, Nachteilen, Position im Ökosystem und Nutzung ist geplant.

• Datenmanagement-Tools: Apache Spark, Apache Hadoop-Tools
• Maschinelles Lernen: Numpy, Scipy, Sci-kit
• Hochrangige DL-Frameworks: PyTorch, Keras, Lasagne
• Niedrangige DL-Frameworks: Theano, Torch, Caffe, TensorFlow

Faltungsbasierte Neuronale Netze (CNN).

• Vorstellung der CNNs: grundlegende Prinzipien und Anwendungen
• Grundfunktionsweise einer CNN: Faltungs-Schicht, Verwendung eines Kernels,
• Padding & Stride, Generierung von Feature Maps, Pooling-Schichten. Erweiterungen 1D, 2D und 3D.
• Vorstellung der verschiedenen CNN-Architekturen, die den Stand der Technik in der Klassifizierung definiert haben
• Bilder: LeNet, VGG-Netze, Network in Network, Inception, Resnet. Vorstellung der Innovationen, die jede Architektur gebracht hat und ihrer umfassenderen Anwendungen (Faltung 1x1 oder Residualverbindungen)
• Verwendung eines Attention-Modells.
• Anwendung für einen üblichen Klassifikationsfall (Text oder Bild)
• CNNs zur Generierung: Super-Auflösung, Pixel-zu-Pixel-Segmentierung. Vorstellung der
• Haupteigenheiten für die Erhöhung von Feature Maps zur Bildgenerierung.

Rekurrente Neuronale Netze (RNN).

• Vorstellung der RNNs: grundlegende Prinzipien und Anwendungen.
• Grundfunktionsweise eines RNN: versteckte Aktivierung, Backpropagation durch die Zeit, entfaltete Version.
• Weiterentwicklungen zu Gated Recurrent Units (GRUs) und LSTM (Long Short Term Memory).
• Vorstellung der verschiedenen Zustände und der Verbesserungen, die diese Architekturen gebracht haben
• Konvergenz- und Gradientenverschwindungsprobleme
• Klassische Architekturen: Vorhersage einer Zeitreihe, Klassifizierung ...
• RNN-Encoder-Decoder-Architektur. Verwendung eines Attention-Modells.
• NLP-Anwendungen: Wort-/Zeichenkodierung, Übersetzung.
• Videoanwendungen: Vorhersage des nächsten generierten Bildes einer Videosequenz.

Generative Modelle: Variational AutoEncoder (VAE) und Generative Adversarial Networks (GAN).

• Vorstellung der generativen Modelle, Verknüpfung mit CNNs
• Auto-Encoder: Dimensionsreduktion und begrenzte Generierung
• Variational Auto-Encoder: generatives Modell und Approximation der Verteilung einer gegebenen. Definition und Verwendung des latenten Raums. Reparameterization Trick. Anwendungen und beobachtete Grenzen
• Generative Adversarial Networks: Grundlagen.
• Doppelte Netzarchitektur (Generator und Diskriminator) mit alternierendem Lernen, verfügbare Kostenfunktionen.
• Konvergenz eines GAN und Schwierigkeiten, die dabei auftreten.
• Verbesserung der Konvergenz: Wasserstein-GAN, Began. Earth Moving Distance.
• Anwendungen zur Generierung von Bildern oder Fotos, Textgenerierung, Super-Auflösung.

Tiefes Reinforcement Learning.

• Vorstellung des Reinforcement Learnings: Steuerung eines Agents in einer definierten Umgebung
• Durch einen Zustand und mögliche Aktionen
• Verwendung eines Neuronennetzes zur Approximation der Zustandsfunktion
• Deep Q Learning: Experience Replay und Anwendung zur Steuerung eines Videospiels.
• Optimierung des Lernens. On-policy && off-policy. Actor-Critic-Architektur. A3C.
• Anwendungen: Steuerung eines einzelnen Videospiels oder eines digitalen Systems.

Teil 2 – Theano für Deep Learning

Theano-Grundlagen

• Einführung
• Installation und Konfiguration

Theano-Funktionen

• Eingaben, Ausgaben, Aktualisierungen, gegeben

Training und Optimierung eines neuronalen Netzes mit Theano

• Modellierung des Neuronennetzes
• Logistische Regression
• Versteckte Schichten
• Training eines Netzes
• Berechnung und Klassifizierung
• Optimierung
• Log Loss

Testen des Modells

Teil 3 – DNN mit TensorFlow

TensorFlow-Grundlagen

• Erstellung, Initialisierung, Speichern und Wiederherstellen von TensorFlow-Variablen
• Füttern, Lesen und Vorladen von TensorFlow-Daten
• Verwendung der TensorFlow-Infrastruktur zur Skalierung des Modelltrainings
• Visualisierung und Bewertung von Modellen mit TensorBoard

TensorFlow-Mechaniken

• Vorbereiten der Daten
• Herunterladen
• Eingaben und Placeholders
• Erstellen der Graphen
  • Inferenz
  • Verlust
  • Training
• Trainieren des Modells
  • Der Graph
  • Die Sitzung
  • Trainingsschleife
• Evaluieren des Modells
  • Erstellen des Eval-Graphen
  • Eval-Ausgabe

Der Perzeptron

• Aktivierungsfunktionen
• Der Lernalgorithmus des Perzeptrons
• Binäre Klassifizierung mit dem Perzeptron
• Dokumentenklassifizierung mit dem Perzeptron
• Limitierungen des Perzeptrons

Vom Perzeptron zu Support Vector Machines

• Kerne und der Kernel-Trick
• Maximale Margenklassifizierung und Support-Vektoren

Künstliche Neuronale Netze

• Nichtlineare Entscheidungsgrenzen
• Vorwärts- und Rückwärtsgängige künstliche neuronale Netze
• Mehrschichtige Perzeptrone
• Minimieren der Kostenfunktion
• Vorwärtspropagation
• Backpropagation
• Verbesserung der Lernmethode für neuronale Netze

Faltungsneuronale Netze (CNN)

• Ziele
• Modellarchitektur
• Prinzipien
• Codeorganisation
• Starten und Trainieren des Modells
• Evaluieren eines Modells

Grundlegende Einführungen in die folgenden Module (kurze Einführung je nach Zeitverfügbarkeit):

TensorFlow – Fortgeschrittene Nutzung

• Threads und Warteschlangen
• Verteiltes TensorFlow
• Schreiben von Dokumentation und Teilen Ihres Modells
• Anpassen von Datenlesern
• Manipulieren von TensorFlow-Modelldateien

TensorFlow Serving

• Einführung
• Grundlegende Serving-Tutorial
• Fortgeschrittenes Serving-Tutorial
• Serving-Inception-Modell-Tutorial