In-Context-Learning (oft auch als Prompting bezeichnet) gilt als ein neues Paradigma für die Benutzung großer Sprachmodelle (wie z.B. GPT-4). Dabei wird das Modell gar nicht mehr im klassischen Sinne "trainiert", sondern durch geeignete Prompts wird die Ausgabe des Modells so gesteuert, dass eine Ausgabe herauskommt, die eine konkrete Aufgabe löst. Ein Beispiel dafür wäre die rein natürlichsprachliche Formulierung einer Aufgabe wie "Klassifiziere die Wörter im folgenden Text im Bezug auf die Kategorien 1 und 2, die durch die Beispiele [BEISPIELE] definiert sind. [TEXT]"

Im Seminar schauen wir uns die Grundidee, die theoretischen und praktisch-technischen Grundlagen genauer an, und diskutieren insbesondere kritisch, für welche Anwendungsfälle ICL Erfolg verspricht und für welche nicht.

Voraussetzungen: Grundkenntnisse im maschinellen Lernen und neuronalen Netzen, Transformer-Architektur sowie der Verwendung großer Sprachmodelle; Programmierkenntnisse in Python. Wer die Vorlesung "Sprachliche Informationsverarbeitung" erfolgreich absolviert hat, bringt die richtigen Voraussetzungen mit.

Termine

  • 11.04. Einführung, Organisatorisches, Preliminaries (Bender/Koller 2020, Liesenfeld et al. 2023, Luccioni et al. 2023, Zhang et al. 2024, Slides)
    • Instruction tuning, i.e., From BERT to ChatGPT
    • Studying LLMs scientifically
    • Form vs. Meaning
    • Cost of using LLMs
  • 18.04. Wissenschaftliche Literatur finden, lesen, verstehen, wiedergeben/präsentieren (Slides)
  • 25.04. (entfällt)
  • 02.05. Evaluation großer Sprachmodelle, Benchmarks (Warstadt et al. 2020, Liang et al. 2023, Chang et al. 2024, Ballocu et al. 2024, Slides)
    • Classical NLP evaluation
    • Evaluation of systems that generate text
    • Linguistic competences of LLMs
    • Standard LLM benchmarks
  • 09.05. (Feiertag)
  • 16.05. Prompting und ICL: Überblick (Liu et al. 2023, Slides)
    • Es ist nötig, den Text von Liu et al. selbst zu lesen!
  • 23.05. (Pfingstferien)
  • 30.05. (Feiertag)
  • 06.06. Experiments on Manual Template Engineering (Literatur: s. Zotero, Slides)
    • Vorbesprechung: Freitag, 17.05., 9-10 Uhr (Zoom)
  • 13.06. Experiments on Automated Template Engineering (Literatur: s. Zotero, Slides)
    • Vorbesprechung: Montag, 27.05., 12-13 Uhr (Zoom)
  • 20.06. Experiments on Answer Space Design Methods (Literatur: s. Zotero, Slides)
    • Vorbesprechung: Freitag, 31.05., 9-10 Uhr (Zoom)
  • 27.06. Experiments on Prompt Ensembling (Literatur: s. Zotero, Slides)
    • Vorbesprechung: Freitag, 07.06., 9-10 Uhr (Zoom)
  • 04.07. Experiments on Prompt Augmentation (Literatur: s. Zotero)
    • Vorbesprechung: Freitag, 14.06., 9-10 Uhr (Zoom)
  • 11.07. (Slides Recap, Slides Discussion Groups)
    • Recap: Von Template learning zur prompt augmentation
    • Konsequenzen für NLP, DH, Wissenschaftliches Arbeit, die Welt
  • 18.07. Abschlussdiskussion

Studienleistung

Die Studienleistung besteht daraus, unter Anleitung und in einer Gruppe eine Seminarsitzung zu einem der Experiment-Themen zu gestalten. Zu jedem Thema gibt es Literaturhinweise in der Literaturliste, und als sehr knappe Einführung die Hinweise in Liu et al. (2023). In den Sitzungen sollte der Schwerpunkt auf die Experimente gelegt werden, die den jeweiligen Beitrag der ICL-Methode zeigen.

  • Direkt nach Themenvergabe: Einen Überblick über die Literatur gewinnen. Es ist dringend erforderlich, sich dafür Zeit zu nehmen. Ggf. muss weitere Recherche betrieben werden, etwa zu den Rahmenbedingungen der jeweiligen Experimente.
  • Zwischen zwei und drei Wochen vorher: Sprechstunde mit Dozent zu inhaltlichen Fragen zu Literatur oder Kontext. Termine dazu stehen in der Terminliste und finden per Zoom statt.
  • Spätestens eine Woche vorher: Konzept zur Sitzung per E-Mail abgeben. Das Konzept beinhaltet
    • a) die Gliederung/Struktur, inklusive Angaben, wer für was zuständig ist,
    • b) Aufgaben/Fragestellungen für Kleingruppen sowie erwartete Ergebnisse und
    • c) ggf. selbst erstellte Beispiele/Demos, die das gesagte verdeutlichen und/oder konkretisieren.
  • Sitzung halten. Jede Sitzung muss mindestens eine Gruppenaktivität beinhalten, also z. B. eine Aufgabe/Frage die in einer Kleingruppe gelöst/beantwortet wird.
  • Direkt im Anschluss: Feedbackgespräch

Im Seminar sind keine reinen Zuhörer:innen erlaubt. Wer teilnimmt, macht auch eine Studienleistung.

Modulprüfung

Leitlinien

Literatur

Die Seminarliteratur ist in dieser Zotero-Bibliothek verzeichnet.