Inhalt
Als im November 2022 OpenAI einen öffentlichen Zugang zu seinem Chat-Inferface chatGPT einrichtete, wurde weiten Kreisen der Öffentlichkeit erstmals klar, in welchem Entwicklungsstadium große Sprachmodelle (Large Language Models, LLM) inzwischen angekommen sind. Seitdem haben andere Firmen (Microsoft, Aleph Alpha) mit (zumindest zum Teil) frei nutzbaren Systemen nachgezogen bzw. dieses für die nahe Zukunft angekündigt (Google, evtl. wird auch Facebook Galactica wieder öffnen). Die Entwicklung derartiger Systeme kann schon jetzt als disruptiv gelten und bleibt weiterhin überaus dynamisch, journalistische und wissenschaftliche Einordnungen können kaum Schritt halten.
Ziel dieser Übung ist es, zu einer Übersicht zu den jüngsten Entwicklungen im Bereich der LLM zu kommen, die Grundlagen zu verstehen, die Fähigkeiten der bestehenden Systeme zu testen und mögliche Implikationen ihrer Existenz und Anwendung auszuloten. Von den Teilnehmer:innen wird verlangt, dass sie die angegebene Literatur zu den einzelnen Sitzungen lesen und im Kreis der Übung mit den anderen diskutieren. Für die Untersuchung einzelner Interfaces und den Test von Anwendungsszenarien werden Gruppen gebildet, die gemeinsam Präsentationen erarbeiten und vorstellen. Programmierkenntnisse sind nur für bestimmte Gruppen notwendige Voraussetzung.
Teaser-Bild: Output von Dall-e (https://openai.com/product/dall-e-2) auf die Eingabe "Stochastic Parrots"
Organisatorisches
Die Übung findet jeden Donnerstag von 14-15:30 in Präsenz statt.
Studienleistung (obligatorisch):
In den Sitzungen mit Plenum-Format wird als Vorbereitung das Studium der angegebenen Literatur eine aktive Beteiligung an den Diskussionen verlangt (dies ist nur bei Anwesenheit möglich).
In den Sitzungen mit Referaten stellen die einzelnen Gruppen ihre Ergebnisse vor. Alle Beteiligten der Gruppe müssen einen Teil der Präsentation übernehmen.
Jede:r Teilnehmer:in wird zwei Gruppen angehören: Einer zur Vorstellung verschiedener Sprachmodell-Interfaces, einer zu Test verschiedener Anwendungsszenarien.
Prüfungsleistung (fakultativ): Vertiefung, Dokumentation
Es ist möglich, in Verbindung mit der Übung eine Prüfung in den Modulen AM2 (Angewandte Softwaretechnologie, nur Prüfungsordnung von 2015) oder EM2 (Digital Humanities) abzulegen. Im Normalfall schließt sich die Prüfungsleistung an die Studienleistung an, indem Sie die dort erarbeiteten Projekte vertieft bzw. weiterentwickelt und stärker dokumentiert. Die Erarbeitung der Prüfungsleistung erfolgt bis Ende September 2023.
Seminarplan (wird ggfs. noch angepasst)
| Datum | Inhalt | Format |
Literatur |
|
|
|
|
|
|
|
|
|
Ananthaswamy (2023) Huang (2023)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|||
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Links
Interfaces:
- ChatGPT (OpenAI): https://chat.openai.com/
- Bing (Microsoft): https://www.bing.com/
- Luminous (Aleph Alpha): https://www.aleph-alpha.com/
Bilder / Präsentationen / Demos:
- Transformer Architecture
- ChatGPT Architecture
- Word Embeddings Demo: https://www.cs.cmu.edu/~dst/WordEmbeddingDemo/
Literatur
Ananthaswamy, A. (2023). In AI, is bigger always better? Nature, 615(7951), 202–205. https://doi.org/10.1038/d41586-023-00641-w
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623. https://doi.org/10.1145/3442188.3445922
Binz, M., & Schulz, E. (2023). Using cognitive psychology to understand GPT-3. Proceedings of the National Academy of Sciences, 120(6), e2218523120. https://doi.org/10.1073/pnas.2218523120
Bubeck, S., Chandrasekaran, V., Eldan, R., Gehrke, J., Horvitz, E., Kamar, E., Lee, P., Lee, Y. T., Li, Y., Lundberg, S., Nori, H., Palangi, H., Ribeiro, M. T., & Zhang, Y. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4 (arXiv:2303.12712). https://doi.org/10.48550/arXiv.2303.12712
Chiang, T. (2023, Februar 9). ChatGPT Is a Blurry JPEG of the Web. The New Yorker. https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
De Witte, M. (2023, Februar 13). How will ChatGPT change the way we think and work? Stanford News. https://news.stanford.edu/2023/02/13/will-chatgpt-change-way-think-work/
Denicola, D. (2023, Februar 19). ChatGPT Is Not a Blurry JPEG of the Web. It’s a Simulacrum. Hidden Variables. https://blog.domenic.me/chatgpt-simulacrum/
Huang, H. (2023, Januar 30). The generative AI revolution has begun—How did we get here? Ars Technica. https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how-did-we-get-here/
Levallois, C. (2022). With ChatGPT, we are crossing a threshold as important as the one from analogical to digital. Nocode functions. Abgerufen 9. Februar 2023, von https://nocodefunctions.com/blog/chatgpt-consequences/
Manning, C. D. (2022). Human Language Understanding & Reasoning. Daedalus, 151(2), 127–138. https://doi.org/10.1162/daed_a_01905
Shanahan, M. (2023). Talking About Large Language Models (arXiv:2212.03551). arXiv. https://doi.org/10.48550/arXiv.2212.03551
Sher, S. (2023, April 21). On Artifice and Intelligence. Medium. https://medium.com/@shlomi.sher/on-artifice-and-intelligence-f19224281bee
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2023). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903). arXiv. https://doi.org/10.48550/arXiv.2201.11903
Wolfram, S. (2023, Februar 14). What Is ChatGPT Doing … and Why Does It Work? Stephen Wolfram Writings. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/