Inhalt

Im Kurs sollen grundlegende Kenntnisse vermittelt werden, die benötigt werden, um mit Deep Learning Textdaten auswerten und verarbeiten zu können.
Hierzu werden, je nach Wissensstand der Veranstaltungsbesucher:innen, zuerst Einführungen in Python und Git gegeben. Anschließend werden Grundlagen des deep-learning-basierten Natural Language Processing besprochen und angewendet. Hierzu zählen verschiedene Formen künstlicher neuronaler Netze, deren Konfiguration, Data Preprocessing, Trouble Shooting sowie die Evaluation der Ergebnisse.

Unterrichtssprache

Die Unterrichts- und Vortragssprache ist Deutsch; Präsentationsfolien und Arbeitsblätter auf Englisch. Fragen können im Kurs auch jederzeit auf Englisch gestellt werden.

Anforderungen

Die praktische Umsetzung wird mittels Python stattfinden. Daher sind grundlegende Programmierkenntnisse (ggbfs. in einer anderen Programmiersprache als Python) notwendig.

Computerlinguistik am IDH

Seit dem Wintersemester 2022/2023 haben wir ein neues Konzept für die computerlinguistische Ausbildung im Studiengang BA Informationsverarbeitung ausgearbeitet.

  • Modul Grundlagen der Computerlinguistik (alte Studienordnung "Computerlinguistische Grundlagen")
    • Seminar Computerlinguistische Grundlagen (immer im WiSe, Inhalt: Linguistische Grundlagen, Annotation)
    • Vorlesung und Übung Sprachverarbeitung (immer im SoSe, Inhalt: Quantitative Eigenschaften von Sprache, Machine Learning)
    • Modulprüfung Klausur (immer im SoSe, 90 Minuten, 30 Minuten)
  • Modul Anwendungen der Computerlinguistik (alte Studienordnung "Angewandte Linguistische Datenverarbeitung")
    • Übung Deep Learning (immer im WiSe, Inhalt: Deep Learning Methoden)
    • Hauptseminar Anwendungen der Computerlinguistik (immer im WiSe, Inhalt: Experimente in der CL, wo kommen Fortschritt und Erkenntnis her?)
    • Modulprüfung Hausarbeit zu einem computerlinguistischen Experiment

Es werden in diesem Seminar die Kenntnisse aus dem Modul "Grundlagen der Computerlinguistik" vorausgesetzt.

Studienleistung

  • 10 von 13 Aufgaben zu den angegebenen Fristen einreichen
    • Sie entscheiden, welche der 10 Aufgaben Sie abgeben möchten
  • Aktive Teilnahme

Links

Literatur

  • Chacon, Scott & Straub, Ben (2014): Pro Git. 2. Auflage. Apress. online

  • Sweigart, Al (2020). Automate the Boring Stuff with Python. Practical Programming for Total Beginners. 2. Auflage. San Francisco: No Starch Press. online

  • Jurafsky, Daniel & Martin, James H. (2024): Speech and Language Processing. 3. Auflage. online

    • Insbesondere Kapitel 5-12

  • Goodfellow, Ian et al. (2016). Deep Learning. Cambridge: MIT Press. online

  • Tunstall, Lewis et al. (2023). Natural Language Processing mit Transformern. 1. Auflage. Heidelberg: o'Reilly.

  • Vaswani et al. (2017). Attention is all you need. online

  • Brown, Tom B. et al. (2020). Language Models are Few-Shot Learners. online

  • Stricker, Hans-Peter. (2024). Sprachmodelle verstehen. Chatbots und generative künstliche Intelligenz im Zusammenhang. 1st ed. Berlin, Heidelberg: Springer.

Termine

10.10.2024

  • Organisatorisches
  • Deep Learning Einführung
  • Git
  • Exercise 1: Getting Started with Git
  • Folien
  • Exercise 1

17.10.2024

  • Python: Syntax, Data Types, Functions, I/O
  • Exercise 2: Getting Started with Python
  • Folien
  • Exercise 2

24.10.2024

31.10.2024

  • Lineare und Logistische Regression
  • Loss Function
  • Exercise 4: Regression
  • Folien
  • Exercise 4

07.11.2024

14.11.2024

  • Input Representation
  • Word Embeddings
  • Exercise 6: Word Embeddings
  • Folien
  • Exercise 6

21.11.2024

  • Verschiedene Deep Learning Tasks, Klassifikation, Evaluation
  • Exercise 7: System Evaluation
  • Folien
  • Exercise 7

28.11.2024

  • Overfitting
  • Regularization
  • Dropout
  • Exercise 8: Regularization
  • Folien
  • Exercise 8

05.12.2024

12.12.2024

19.12.2024

  • Fällt aus

09.01.2025

  • Language Modelling
  • Encoder/Decoder
  • Attention
  • Exercise 11: Neural Language Models

16.01.2025

  • Transformer
  • BERT, GermanBERT
  • HuggingFace
  • Exercise 12: BERT

23.01.2025

  • Generative Modelle, GPT
  • Exercise 13: GPT

30.01.2025

  • Large Language Models