In-Context-Learning (oft auch als Prompting bezeichnet) gilt als ein neues Paradigma für die Benutzung großer Sprachmodelle (wie z.B. GPT-4). Dabei wird das Modell gar nicht mehr im klassischen Sinne trainiert, sondern durch geeignete Prompts wird die Ausgabe des Modells so gesteuert, dass eine Ausgabe herauskommt, die eine konkrete Aufgabe löst. Ein Beispiel dafür wäre die rein natürlichsprachliche Formulierung einer Aufgabe wie "Klassifiziere die Wörter im folgenden Text im Bezug auf die Kategorien 1 und 2, die durch die Beispiele [BEISPIELE] definiert sind. [TEXT]"

Im Seminar schauen wir uns die Grundidee, die theoretischen und praktisch-technischen Grundlagen genauer an, und diskutieren insbesondere kritisch, für welche Anwendungsfälle ICL Erfolg verspricht und für welche nicht.

Voraussetzungen: Grundkenntnisse im maschinellen Lernen und neuronalen Netzen, Transformer-Architektur sowie der Verwendung großer Sprachmodelle; Programmierkenntnisse in Python. Wer die Vorlesung "Sprachliche Informationsverarbeitung" erfolgreich absolviert hat, bringt die richtigen Voraussetzungen mit.

Termine

  • 16.04. Einführung, Organisatorisches, Preliminaries (Slides; Bender/Koller 2020, Liesenfeld et al. 2023, Luccioni et al. 2023, Zhang et al. 2024)
  • 23.04. Wissenschaftliche Literatur finden, lesen, verstehen, wiedergeben/präsentieren (Slides)
  • 30.04. Evaluation großer Sprachmodelle, Benchmarks (Warstadt et al. 2020, Liang et al. 2023, Chang et al. 2024, Ballocu et al. 2024)
  • 07.05. Prompting und ICL: Überblick (Liu et al. 2023)
  • 14.05. Christi Himmelfahrt
  • 21.05. Manual Prompt Template Engineering
  • 28.05. Pfingstferien
  • 04.06. Fronleichnam
  • 11.06. Prompt Template Engineering - Automatic - Discrete
  • 18.06. Prompt Template Engineering - Automatic - Continuous
  • 25.06. Multi-Prompt Learning - Prompt Ensembling
  • 02.07. Multi-Prompt Learning - Prompt Augmentation
  • 09.07. TBA
  • 16.07. Experiment reports
  • 23.07. Closing discussion

Studienleistung

TBA

Literatur

Die Seminarliteratur ist in dieser Zotero-Bibliothek verzeichnet.