Inhalt

Im Kurs sollen grundlegende Kenntnisse vermittelt werden, die benötigt werden, um mit Deep Learning Textdaten auswerten und verarbeiten zu können.
Hierzu werden, je nach Wissensstand der Veranstaltungsbesucher:innen, zuerst Einführungen in Python und Git gegeben. Anschließend werden Grundlagen des Natural Language Processing besprochen und angewendet. Hierzu zählen verschiedene Formen künstlicher neuronaler Netze, deren Konfiguration, Data Preprocessing, Trouble Shooting im Training künstlicher neuronaler Netze sowie die Evaluation der Ergebnisse.

Anforderungen

Die praktische Umsetzung wird mittels Python stattfinden. Daher sind grundlegende Programmierkenntnisse notwendig.

Studienleistung

  • Aufgaben bis zur den angegebenen Fristen einreichen
  • Aktive Teilnahme

Literatur

Chacon, Scott & Straub, Ben (2014): Pro Git. 2nd edition. Apress.

Jurafski, D. & J. Martin (2020): Speech and Language Processing. New Jersey: Prentice Hall.

  • Einführendes Werk mit Augenmerk auf aktuelle statistische Verfahren der Sprachverarbeitung, 75 €, Zum überwiegenden Teil sind die neu aktualisierten Kapitel online zugänglich.
  • Für uns sind besonders die Kapitel 5-9 interessant.

Tunstall, Lewis. et al. (2023). Natural Language Processing mit Transformern. 1. Auflage. Heidelberg: o'Reilly.

Vaswani et al. (2017). Attention is all you need. online

Termine

12.10.2023

*ausgefallen*

19.10.2023

- Organisatorisches
- Deep Learning
- Git
- Exercise 1: Setting Up

26.10.2023

- Git Recap
- Python - Syntax, Dynamic Typing, Data Types, Standard Libs
- Exercise 2: Getting Started With Git And Python

02.11.2023

- Python - List Comprehension, Functions, I/O
- Exercise 3: List Comprehension, Functions

09.11.2023

*ausgefallen*

16.11.2023

- Python - Exception Handling, Python Packages
- Types of DL tasks, classification
- Exercise 4: I/O, Exception Handling, Python Packages

23.11.2023

- Linear and Logistic Regression
- Loss Function
- Gradient Descent
- Scikit-Learn
- Exercise 5: Logistic Regression

30.11.2023

- Feed-forward neural networks
- Exercise 6: Multi-layer network w/ Titanic

07.12.2023

- Bag of Words
- Overfitting
- Regularization
- Drop Out
- Exercise 7: Text Representation and Combatting Overfitting

- Hilfreiche Links:

14.12.2023

- Input representation
- Embeddings
- Exercise 8: Token classification

21.12.2023

Cheatsheet

11.01.2024

- Recurrent neural networks
- LSTMs
- Exercise

18.01.2024

- Encoder/Decoder networks
- Transformer
- Attention
- Transfer Learning
- Huggingface
- Exercise

25.01.2024

*ausgefallen*

01.02.2024

- BERT, GermanBERT, HateBERT
- GPT