Inhalt

Als im November 2022 OpenAI einen öffentlichen Zugang zu seinem Chat-Inferface chatGPT einrichtete, wurde weiten Kreisen der Öffentlichkeit erstmals klar, in welchem Entwicklungsstadium große Sprachmodelle (Large Language Models, LLM) inzwischen angekommen sind. Seitdem haben andere Firmen (Microsoft, Aleph Alpha) mit (zumindest zum Teil) frei nutzbaren Systemen nachgezogen bzw. dieses für die nahe Zukunft angekündigt (Google, evtl. wird auch Facebook Galactica wieder öffnen). Die Entwicklung derartiger Systeme kann schon jetzt als disruptiv gelten und bleibt weiterhin überaus dynamisch, journalistische und wissenschaftliche Einordnungen können kaum Schritt halten.

Ziel dieser Übung ist es, zu einer Übersicht zu den jüngsten Entwicklungen im Bereich der LLM zu kommen, die Grundlagen zu verstehen, die Fähigkeiten der bestehenden Systeme zu testen und mögliche Implikationen ihrer Existenz und Anwendung auszuloten. Von den Teilnehmer:innen wird verlangt, dass sie die angegebene Literatur zu den einzelnen Sitzungen lesen und im Kreis der Übung mit den anderen diskutieren. Für die Untersuchung einzelner Interfaces und den Test von Anwendungsszenarien werden Gruppen gebildet, die gemeinsam Präsentationen erarbeiten und vorstellen. Programmierkenntnisse sind nur für bestimmte Gruppen notwendige Voraussetzung.

Teaser-Bild: Output von Dall-e (https://openai.com/product/dall-e-2) auf die Eingabe "Stochastic Parrots"


Organisatorisches

Die Übung findet jeden Donnerstag von 14-15:30 in Präsenz statt.


Studienleistung (obligatorisch):

In den Sitzungen mit Plenum-Format wird als Vorbereitung das Studium der angegebenen Literatur eine aktive Beteiligung an den Diskussionen verlangt (dies ist nur bei Anwesenheit möglich).

In den Sitzungen mit Referaten stellen die einzelnen Gruppen ihre Ergebnisse vor. Alle Beteiligten der Gruppe müssen einen Teil der Präsentation übernehmen.

Jede:r Teilnehmer:in wird zwei Gruppen angehören: Einer zur Vorstellung verschiedener Sprachmodell-Interfaces, einer zu Test verschiedener Anwendungsszenarien.


Prüfungsleistung (fakultativ): Vertiefung, Dokumentation

Es ist möglich, in Verbindung mit der Übung eine Prüfung in den Modulen AM2 (Angewandte Softwaretechnologie, nur Prüfungsordnung von 2015) oder EM2 (Digital Humanities) abzulegen. Im Normalfall schließt sich die Prüfungsleistung an die Studienleistung an, indem Sie die dort erarbeiteten Projekte vertieft bzw. weiterentwickelt und stärker dokumentiert. Die Erarbeitung der Prüfungsleistung erfolgt bis Ende September 2023.


Seminarplan (wird ggfs. noch angepasst)

Datum Inhalt Format

Literatur

6.4.2023

Organisatorisches

Online

13.4.2023

Technische Perspektive: Was sind Sprachmodelle?

Plenum

Ananthaswamy (2023)

Huang (2023)

Wolfram (2023)

20.4.2023

Philosophische Perspektive: Was sind Sprachmodelle?

Plenum

Shanahan (2023)

Chang (2023)

Denicola (2023)

[Bender et al. (2021)]

27.4.2023

Sprachmodell-Interfaces

Referate

4.5.2023

(Bombenfund)

11.5.2023

Chain-of-Thought, Prompt-Engineering

Plenum

Wei et al. (2023)

[Manning (2023)]

[Binz & Schulz (2023)]

Himmelfahrt

25.5.2023

Aufgabenspezifikation, Dokumentationsrichtlinen

Plenum

Sher (2023)

Bubeck et al. (2023)

Pfingsten

Fronleichnam

15.6.2023

Projekt(e) Problemlösung

Referate

22.6.2023

Projekt(e) Texterzeugung

Referate

29.6.2023

Projekt(e) Programmierung

Referate

6.7.2023

Konsequenzen für Forschung & Lehre & Arbeitswelt

Plenum

Levallois (2023)

De Witte (2023)

13.7.2023

Perspektiven

Plenum


Links

Interfaces:

Bilder / Präsentationen / Demos:


Literatur

Ananthaswamy, A. (2023). In AI, is bigger always better? Nature, 615(7951), 202–205. https://doi.org/10.1038/d41586-023-00641-w

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623. https://doi.org/10.1145/3442188.3445922

Binz, M., & Schulz, E. (2023). Using cognitive psychology to understand GPT-3. Proceedings of the National Academy of Sciences, 120(6), e2218523120. https://doi.org/10.1073/pnas.2218523120

Bubeck, S., Chandrasekaran, V., Eldan, R., Gehrke, J., Horvitz, E., Kamar, E., Lee, P., Lee, Y. T., Li, Y., Lundberg, S., Nori, H., Palangi, H., Ribeiro, M. T., & Zhang, Y. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4 (arXiv:2303.12712). https://doi.org/10.48550/arXiv.2303.12712

Chiang, T. (2023, Februar 9). ChatGPT Is a Blurry JPEG of the Web. The New Yorker. https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

De Witte, M. (2023, Februar 13). How will ChatGPT change the way we think and work? Stanford News. https://news.stanford.edu/2023/02/13/will-chatgpt-change-way-think-work/

Denicola, D. (2023, Februar 19). ChatGPT Is Not a Blurry JPEG of the Web. It’s a Simulacrum. Hidden Variables. https://blog.domenic.me/chatgpt-simulacrum/

Huang, H. (2023, Januar 30). The generative AI revolution has begun—How did we get here? Ars Technica. https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how-did-we-get-here/

Levallois, C. (2022). With ChatGPT, we are crossing a threshold as important as the one from analogical to digital. Nocode functions. Abgerufen 9. Februar 2023, von https://nocodefunctions.com/blog/chatgpt-consequences/

Manning, C. D. (2022). Human Language Understanding & Reasoning. Daedalus, 151(2), 127–138. https://doi.org/10.1162/daed_a_01905

Shanahan, M. (2023). Talking About Large Language Models (arXiv:2212.03551). arXiv. https://doi.org/10.48550/arXiv.2212.03551

Sher, S. (2023, April 21). On Artifice and Intelligence. Medium. https://medium.com/@shlomi.sher/on-artifice-and-intelligence-f19224281bee

Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2023). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903). arXiv. https://doi.org/10.48550/arXiv.2201.11903

Wolfram, S. (2023, Februar 14). What Is ChatGPT Doing … and Why Does It Work? Stephen Wolfram Writings. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/