Inhalt

Im Kurs sollen grundlegende Kenntnisse vermittelt werden, die benötigt werden, um mit Deep Learning Textdaten auswerten und verarbeiten zu können.
Hierzu werden, je nach Wissensstand der Veranstaltungsbesucher:innen, zuerst Einführungen in Python und Git gegeben. Anschließend werden Grundlagen des deep-learning-basierten Natural Language Processing besprochen und angewendet. Hierzu zählen verschiedene Formen künstlicher neuronaler Netze, deren Konfiguration, Data Preprocessing, Trouble Shooting sowie die Evaluation der Ergebnisse.

Unterrichtssprache

Die Unterrichts- und Vortragssprache ist Deutsch; Präsentationsfolien und Arbeitsblätter auf Englisch. Fragen können im Kurs auch jederzeit auf Englisch gestellt werden.

Anforderungen

Die praktische Umsetzung wird mittels Python stattfinden. Daher sind grundlegende Programmierkenntnisse (ggbfs. in einer anderen Programmiersprache als Python) notwendig.

Computerlinguistik am IDH

Seit dem Wintersemester 2022/2023 haben wir ein neues Konzept für die computerlinguistische Ausbildung im Studiengang BA Informationsverarbeitung ausgearbeitet.

  • Modul Grundlagen der Computerlinguistik (alte Studienordnung "Computerlinguistische Grundlagen")
    • Seminar Computerlinguistische Grundlagen (immer im WiSe, Inhalt: Linguistische Grundlagen, Annotation)
    • Vorlesung und Übung Sprachverarbeitung (immer im SoSe, Inhalt: Quantitative Eigenschaften von Sprache, Machine Learning)
    • Modulprüfung Klausur (immer im SoSe, 90 Minuten, 30 Minuten)
  • Modul Anwendungen der Computerlinguistik (alte Studienordnung "Angewandte Linguistische Datenverarbeitung")
    • Übung Deep Learning (immer im WiSe, Inhalt: Deep Learning Methoden)
    • Hauptseminar Anwendungen der Computerlinguistik (immer im WiSe, Inhalt: Experimente in der CL, wo kommen Fortschritt und Erkenntnis her?)
    • Modulprüfung Hausarbeit zu einem computerlinguistischen Experiment

Es werden in diesem Seminar die Kenntnisse aus dem Modul "Grundlagen der Computerlinguistik" vorausgesetzt.

Studienleistung

  • 10 von 14 Aufgaben zu den angegebenen Fristen einreichen
    • Sie entscheiden, welche der 10 Aufgaben Sie abgeben möchten
  • Aktive Teilnahme

Links

Literatur

  • Chacon, Scott & Straub, Ben (2014): Pro Git. 2. Auflage. Apress. online

  • Sweigart, Al (2020). Automate the Boring Stuff with Python. Practical Programming for Total Beginners. 2. Auflage. San Francisco: No Starch Press. online

  • Jurafsky, Daniel & Martin, James H. (2024): Speech and Language Processing. 3. Auflage. online

    • Insbesondere Kapitel 5-12

  • Tunstall, Lewis et al. (2023). Natural Language Processing mit Transformern. 1. Auflage. Heidelberg: o'Reilly.

  • Vaswani et al. (2017). Attention is all you need. online

  • Brown, Tom B. et al. (2020). Language Models are Few-Shot Learners. online

Termine

10.10.2024

  • Organisatorisches
  • Deep Learning Einführung
  • Git
  • Exercise 1: Setting Up
  • Folien
  • Exercise 1

17.10.2024

  • Python: Syntax, Data Types, Standard Libraries
  • Exercise 2: Getting Started with Git and Python

24.10.2024

  • Python: List Comprehension, Functions, I/O, Python Packages
  • Exercise 3: List Comprehension, Functions

31.10.2024

  • Verschiedene Deep Learning Tasks, Klassifikation, Evaluation
  • Exercise 4: System Evaluation

07.11.2024

  • Lineare und Logistische Regression
  • Exercise 5: Logistic Regression

14.11.2024

  • Loss Function
  • Gradient Descent
  • Exercise 6: Loss Function

21.11.2024

  • Feed-foward Neural Networks
  • Exercise 7: FFNNs

28.11.2024

  • Overfitting
  • Regularization
  • Dropout
  • Exercise 8: Combatting Overfitting

05.12.2024

  • Input Representation
  • Word Embeddings
  • Exercise 9: Word Embeddings

12.12.2024

  • Recurrent Neural Networks
  • Exercise 10: RNNs

19.12.2024

  • Long Short-Term Memory Units
  • Exercise 11: LSTMs

09.01.2025

  • Encoder/Decoder
  • Attention
  • Tranformer
  • Exercise 12: Transformer

16.01.2025

  • BERT, GermanBERT
  • HuggingFace
  • Exercise 13: BERT

23.01.2025

  • Generative Modelle, GPT
  • Exercise 14: GPT

30.01.2025

  • Large Language Models