Inhalt
Als im November 2022 OpenAI einen öffentlichen Zugang zu seinem Chat-Inferface chatGPT einrichtete, wurde weiten Kreisen der Öffentlichkeit erstmals klar, in welchem Entwicklungsstadium große Sprachmodelle (Large Language Models, LLMs) inzwischen angekommen sind. Seitdem haben andere Firmen (Microsoft, Google, Anthropic, Meta) mit (zumindest zum Teil) frei nutzbaren Systemen nachgezogen bzw. dieses für die nahe Zukunft angekündigt. Die Entwicklung derartiger Systeme kann schon jetzt als disruptiv gelten und bleibt weiterhin überaus dynamisch, journalistische und wissenschaftliche Einordnungen können kaum Schritt halten.
Ziel dieser Übung ist es, zu einer Übersicht zu den jüngsten Entwicklungen im Bereich der LLM zu kommen, die Grundlagen zu verstehen, sowie die Fähigkeiten der bestehenden Systeme auf einem bestimmten Gebiet - der Annotation von Sprachdaten - zu testen und mögliche Implikationen ihrer Existenz und Anwendung auszuloten. Von den Teilnehmer:innen wird verlangt, dass sie die angegebene Literatur zu den einzelnen Sitzungen lesen und im Kreis der Übung mit den anderen diskutieren. Für die Untersuchung einzelner Interfaces und den Test von Annotations-Anwendungsszenarien werden Gruppen gebildet, die gemeinsam Präsentationen erarbeiten und vorstellen. [Potentiell: In der letzten Sitzung arbeiten die Gruppen zusammen ein Poster zur Präsentation auf der DHCon (7.5.2024) aus]. Programmierkenntnisse sind nur für bestimmte Gruppen notwendige Voraussetzung.
Teaser-Bild: Output von Dall-e (https://openai.com/product/dall-e-2) auf die Eingabe "Robot without legs holding a highlighter and standing in a pile of disorganised and partially opened books. Comic style."
Organisatorisches
Die Übung findet jeden Donnerstag von 14-15:30 in Präsenz statt, Ausnahmen spezifiziert der Seminarplan.
Studienleistung (obligatorisch):
In den Sitzungen mit Plenum-Format wird als Vorbereitung das Studium der angegebenen Literatur eine aktive Beteiligung an den Diskussionen verlangt (dies ist nur bei Anwesenheit möglich).
In den Sitzungen mit Referaten stellen die Teilnehmer:innen ihre Ergebnisse vor. Alle Teilnehmer:innen müssen
a) einer Gruppe angehören, die in der vierten Sitzung ein Sprachmodell-Interface vorstellt
b) im weiteren Verlauf der Übung ein Anwendungsszenario ausarbeiten und in einer der Januarsitzungen vorstellen.
Prüfungsleistung (fakultativ): Vertiefung, Dokumentation
Es ist möglich, in Verbindung mit der Übung eine Prüfung in den Modulen AM2 (Angewandte Softwaretechnologie, nur Prüfungsordnung von 2015) oder EM2 (Digital Humanities) abzulegen. Im Normalfall schließt sich die Prüfungsleistung an die Studienleistung an, indem Sie die dort erarbeiteten Projekte vertieft bzw. weiterentwickelt und stärker dokumentiert. Die Erarbeitung der Prüfungsleistung erfolgt bis Mitte März 2024. [Potentiell: Zum Projekt wird eine Präsentation auf der DHCon (7.5.2024) ausgearbeitet und dort vorgestellt].
Seminarplan (Stand 09/2023 - wird ggfs. noch angepasst)
|
Datum |
Inhalt |
Format |
Literatur |
Material |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(Online) |
||
|
|
|
|
|
|
|
|
|
(Online) |
||
|
|
|
|
||
|
|
|
(Online) |
||
|
|
|
|
|
|
|
|
|
|
||
|
|
(III) |
|
||
|
|
(IV) |
|
Links
Interfaces:
- ChatGPT (OpenAI): https://chat.openai.com/ (kostenfreies Interface zu GPT-3.5 und – für 20$/Monat – GPT-4)
- Bing (Microsoft): https://www.bing.com/ (kostenfreies Interface zu – wenn man Glück hat – GPT-4)
- Claude (Anthropic) https://claude.ai/ (kostenfreies Interface, für besseren Zugang zahlungspflichtig)
- Bard (Google) https://bard.google.com/chat (kostenfreies Interface, Nachfolger Gemini kurz vor Veröffentlichung?)
- LLaMA (Meta) https://ai.meta.com/llama/ (kein Interface, sondern herunterladbares Modell)
- [Luminous (Aleph Alpha): https://www.aleph-alpha.com/ (hier war mal ein Interface, das ist aber verschwunden...)]
Bilder / Präsentationen / Demos:
- Transformer Architecture
- ChatGPT Architecture
- Word Embeddings Demo: https://www.cs.cmu.edu/~dst/WordEmbeddingDemo/
- Good old Machine Learning (Präsentation vom MLDay 2018)
Literatur
Alizadeh, M., Kubli, M., Samei, Z., Dehghani, S., Bermeo, J. D., Korobeynikova, M., & Gilardi, F. (2023, July 6). Open-Source Large Language Models Outperform Crowd Workers and Approach ChatGPT in Text-Annotation Tasks (arXiv:2307.02179). arXiv. http://arxiv.org/abs/2307.02179
Chollet, François. (2023, Oktober 9): How I think about LLM prompt engineering. Sparks in the Wind. https://fchollet.substack.com/p/how-i-think-about-llm-prompt-engineering
He, X., Lin, Z., Gong, Y., Jin, A.-L., Zhang, H., Lin, C., Jiao, J., Yiu, S. M., Duan, N., Chen, W. (2023). AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators (arXiv:2303.16854). arXiv. https://doi.org/10.48550/arXiv.2303.16854
Huang, H. (2023, Januar 30). The generative AI revolution has begun—How did we get here? Ars Technica. https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how-did-we-get-here/
Ide, Nancy und James Pustejovsky (2017): Handbook of Linguistic Annotation. Berlin/Heidelberg: Springer. [Kapitel 1 in ILIAS]
Miranda, L. (2023, March 24) „How can language models augment the annotation process?“, Miranda. https://ljvmiranda921.github.io/notebook/2023/03/24/llm-annotation/
Piantadosi, S. T., & Hill, F. (2022). Meaning without reference in large language models (arXiv:2208.02957). arXiv. https://doi.org/10.48550/arXiv.2208.02957
Sher, S. (2023, April 21). On Artifice and Intelligence. Medium. https://medium.com/@shlomi.sher/on-artifice-and-intelligence-f19224281bee
Underwood, T. (2023, Juni 29). The Empirical Triumph of Theory. Critical Inquiry – AI Forum. https://critinq.wordpress.com/2023/06/29/the-empirical-triumph-of-theory/
Wolfram, S. (2023, Februar 14). What Is ChatGPT Doing … and Why Does It Work? Stephen Wolfram Writings. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/