Inhalt
Im Kurs sollen grundlegende Kenntnisse vermittelt werden, die benötigt werden, um mit Deep Learning Textdaten auswerten und verarbeiten zu können.
Hierzu werden, je nach Wissensstand der Veranstaltungsbesucher:innen, zuerst Einführungen in Python und Git gegeben. Anschließend werden Grundlagen des deep-learning-basierten Natural Language Processing besprochen und angewendet. Hierzu zählen verschiedene Formen künstlicher neuronaler Netze, deren Konfiguration, Data Preprocessing, Trouble Shooting sowie die Evaluation der Ergebnisse.
Unterrichtssprache
Die Unterrichts- und Vortragssprache ist Deutsch; Präsentationsfolien und Arbeitsblätter auf Englisch. Fragen können im Kurs auch jederzeit auf Englisch gestellt werden.
Anforderungen
Die praktische Umsetzung wird mittels Python stattfinden. Daher sind grundlegende Programmierkenntnisse (ggbfs. in einer anderen Programmiersprache als Python) notwendig.
Computerlinguistik am IDH
Seit dem Wintersemester 2022/2023 haben wir ein neues Konzept für die computerlinguistische Ausbildung im Studiengang BA Informationsverarbeitung ausgearbeitet.
- Modul Grundlagen der Computerlinguistik (alte Studienordnung "Computerlinguistische Grundlagen")
- Seminar Computerlinguistische Grundlagen (immer im WiSe, Inhalt: Linguistische Grundlagen, Annotation)
- Vorlesung und Übung Sprachverarbeitung (immer im SoSe, Inhalt: Quantitative Eigenschaften von Sprache, Machine Learning)
- Modulprüfung Klausur (immer im SoSe, 90 Minuten, 30 Minuten)
- Modul Anwendungen der Computerlinguistik (alte Studienordnung "Angewandte Linguistische Datenverarbeitung")
- Übung Deep Learning (immer im WiSe, Inhalt: Deep Learning Methoden)
- Hauptseminar Anwendungen der Computerlinguistik (immer im WiSe, Inhalt: Experimente in der CL, wo kommen Fortschritt und Erkenntnis her?)
- Modulprüfung Hausarbeit zu einem computerlinguistischen Experiment
Es werden in diesem Seminar die Kenntnisse aus dem Modul "Grundlagen der Computerlinguistik" vorausgesetzt.
Studienleistung
- 10 von 14 Aufgaben zu den angegebenen Fristen einreichen
- Sie entscheiden, welche der 10 Aufgaben Sie abgeben möchten
- Aktive Teilnahme
Links
- GitHub
- Python-Server (nur in Uni-Netz/VPN erreichbar)
Literatur
-
Chacon, Scott & Straub, Ben (2014): Pro Git. 2. Auflage. Apress. online
-
Sweigart, Al (2020). Automate the Boring Stuff with Python. Practical Programming for Total Beginners. 2. Auflage. San Francisco: No Starch Press. online
-
Jurafsky, Daniel & Martin, James H. (2024): Speech and Language Processing. 3. Auflage. online
-
Insbesondere Kapitel 5-12
-
-
Tunstall, Lewis et al. (2023). Natural Language Processing mit Transformern. 1. Auflage. Heidelberg: o'Reilly.
-
Vaswani et al. (2017). Attention is all you need. online
-
Brown, Tom B. et al. (2020). Language Models are Few-Shot Learners. online
Termine
10.10.2024
- Organisatorisches
- Deep Learning Einführung
- Git
- Exercise 1: Setting Up
- Folien
- Exercise 1
17.10.2024
- Python: Syntax, Data Types, Standard Libraries
- Exercise 2: Getting Started with Git and Python
24.10.2024
- Python: List Comprehension, Functions, I/O, Python Packages
- Exercise 3: List Comprehension, Functions
31.10.2024
- Verschiedene Deep Learning Tasks, Klassifikation, Evaluation
- Exercise 4: System Evaluation
07.11.2024
- Lineare und Logistische Regression
- Exercise 5: Logistic Regression
14.11.2024
- Loss Function
- Gradient Descent
- Exercise 6: Loss Function
21.11.2024
- Feed-foward Neural Networks
- Exercise 7: FFNNs
28.11.2024
- Overfitting
- Regularization
- Dropout
- Exercise 8: Combatting Overfitting
05.12.2024
- Input Representation
- Word Embeddings
- Exercise 9: Word Embeddings
12.12.2024
- Recurrent Neural Networks
- Exercise 10: RNNs
19.12.2024
- Long Short-Term Memory Units
- Exercise 11: LSTMs
09.01.2025
- Encoder/Decoder
- Attention
- Tranformer
- Exercise 12: Transformer
16.01.2025
- BERT, GermanBERT
- HuggingFace
- Exercise 13: BERT
23.01.2025
- Generative Modelle, GPT
- Exercise 14: GPT
30.01.2025
- Large Language Models