Natural Language Processing (NLP) – KI/Robotik Schulung

Detaillierte Gliederung des Trainings

1. Einführung in NLP
   • Grundverständnis von NLP
   • NLP-Frameworks
   • Kommerzielle Anwendungen von NLP
   • Daten-Scraping aus dem Web
   • Arbeiten mit verschiedenen APIs zum Abrufen von Textdaten
   • Arbeiten mit und Speichern von Textkorpora, einschließlich Inhalt und relevanten Metadaten
   • Vorteile der Verwendung von Python und Express-Kurs in NLTK
2. Praktisches Verständnis von Korpora und Datensätzen
   • Warum ist ein Korpus notwendig?
   • Korpusanalyse
   • Arten von Datenattributen
   • Unterschiedliche Dateiformate für Korpora
   • Vorbereitung eines Datensatzes für NLP-Anwendungen
3. Verständnis der Satzstruktur
   • Komponenten von NLP
   • Natürliche Sprachverarbeitung (Natural Language Understanding)
   • Morphologische Analyse – Stamm, Wort, Token, Speech Tags
   • Syntaktische Analyse
   • Semantische Analyse
   • Bearbeitung von Mehrdeutigkeiten
4. Textdaten-Vorverarbeitung
   • Korpus – Rohdaten
     • Satz-Tokenisierung
     • Stemming für Rohdaten
     • Lemmatisierung von Rohdaten
     • Entfernen von Stoppwörtern
   • Korpus – Rohsätze
     • Wort-Tokenisierung
     • Wortlemmatisierung
   • Arbeiten mit Term-Dokument-/Dokument-Term-Matrizen
   • Text-Tokenisierung in N-gramme und Sätze
   • Praktische und maßgeschneiderte Vorverarbeitung
5. Textdatenanalyse
   • Grundlegende Merkmale von NLP
     • Parser und Parsing
     • POS-Tagging und Tagger
     • Erkennung benannter Entitäten (Name Entity Recognition)
     • N-gramme
     • Bag of Words
   • Statistische Merkmale von NLP
     • Konzepte der linearen Algebra für NLP
     • Probabilistische Theorie für NLP
     • TF-IDF
     • Vektorisierung
     • Encoder und Decoder
     • Normalisierung
     • Probabilistische Modelle
   • Erweitertes Feature Engineering und NLP
     • Grundlagen von word2vec
     • Komponenten des word2vec-Modells
     • Logik des word2vec-Modells
     • Erweiterung des word2vec-Konzepts
     • Anwendung des word2vec-Modells
   • Fallstudie: Anwendung von Bag of Words: Automatische Textzusammenfassung mittels vereinfachtem und echtem Luhn-Algorithmus
6. Dokumentclustering, Klassifizierung und Topic Modeling
   • Dokumentclustering und Pattern Mining (hierarchisches Clustering, k-means, Clustering usw.)
   • Vergleich und Klassifizierung von Dokumenten unter Verwendung von TFIDF-, Jaccard- und Cosinus-Abstandsmaßen
   • Dokumentklassifizierung mittels Naïve Bayes und Maximum Entropy
7. Identifizierung wichtiger Textelemente
   • Dimensionsreduktion: Hauptkomponentenanalyse (PCA), Singulärwertzerlegung (SVD), nicht-negative Matrixfaktorisierung (NMF)
   • Topic Modeling und Information Retrieval mittels Latenter Semantischer Analyse (LSA)
8. Entitätsextraktion, Sentiment-Analyse und erweitertes Topic Modeling
   • Positiv vs. negativ: Grad der Sentiment-Einstellung
   • Item Response Theory (IRT)
   • POS-Tagging und seine Anwendung: Auffinden von Personen, Orten und Organisationen, die im Text erwähnt werden
   • Erweitertes Topic Modeling: Latent Dirichlet Allocation (LDA)
9. Fallstudien
   • Auswertung unstrukturierter Benutzerbewertungen
   • Sentiment-Klassifizierung und Visualisierung von Produktbewertungsdaten
   • Auswertung von Suchprotokollen zur Erkennung von Nutzungsmustern
   • Textklassifizierung
   • Topic Modeling