Inhalt
Auch im vierten Jahr nach der Veröffentlichung von ChatGPT sind die Bedingungen für den Einsatz großer, vortrainierter KI-Modelle in den Geisteswissenschaften allenfalls vage ausgelotet. Mit jedem neuen Modell wächst die Faszination für die beeindruckenden Fähigkeiten dieser Systeme – sei es in der Textproduktion, beim Sprachverstehen oder der Informationsstrukturierung. Zugleich mehren sich die Stimmen, die auf grundlegende Probleme und Risiken verweisen: Epistemologische Verschiebungen, methodische Intransparenz und ethische Fallstricke.
Das Spannungsfeld zwischen omnipräsenten und (noch) einfach zugänglichen Tools auf der einen und der notwendigen, aber komplexen Abwägung zu den Bedingungen und Auswirkungen ihres Einsatzes auf der anderen Seite verlangt eine grundlegende und differenzierte Auseinandersetzung, die technisches Wissen mit (geistes)wissenschaftlicher Reflexion verbindet. Ziel der Übung ist, zumindest einen Teilbereich dieses Themenkomplexes abdecken (Reproduzierbarkeit, Interpretierbarkeit, methodische Offenheit) und uns auf die Nutzung offener Sprachmodelle (OpenLLMs) fokussieren. Dabei soll ausgelotet werden, inwiefern OpenLLMs eine transparente, nachvollziehbare und kontrollierbare, aber auch handhabbare Alternative zu kommerziellen Closed-Source-Modellen darstellen können.
In der Übung soll eine Übersicht über den Bereich OpenLLMs gegeben werden, um ihre Grundlagen zu verstehen, sowie die Fähigkeiten der verfügbaren Systeme im Vergleich zu den kommerziellen LLMs zu testen. Von den Teilnehmer:innen wird verlangt, dass sie die angegebene Literatur zu den einzelnen Sitzungen lesen und im Kreis der Übung mit den anderen diskutieren. Für die Vorstellung verfügbarer OpenLLMs und den Test von Anwendungsszenarien werden Gruppen gebildet, die gemeinsam Präsentationen erarbeiten und vorstellen. Programmierkenntnisse sind nur für bestimmte Gruppen notwendige Voraussetzung.
Teaser-Bild: Nachbearbeitetes Bild (Output von Dall-e https://openai.com/product/dall-e-2) auf die Eingabe "I would like a picture of a corridor with two doors, one on the left side that looks firmly closed and one on the right side that is open and where you can see that it leads into an engine room. There is a llama engraved on the open door and the text "BIG TECH" on the closed door." und "Very good, now remove the llama from the door and place it in the engine room.", da Lama auch auf der Big-Tech-Tür gelandet war. Dass mir Dall-e das Logo von OpenAI ausgibt hatte ich durch mehrere Versuchen davor aufgegeben und es nachträglich hinzugefügt. Da über beiden Türen Big Tech stand habe ich das eine (historisch auch mehr oder weniger richtig) ge-Ex-t.
Organisatorisches
Die Übung findet jeden Donnerstag von 14-15:30 in Präsenz statt, Ausnahmen spezifiziert der Seminarplan.
Studienleistung (obligatorisch):
In den Sitzungen mit Plenum-Format wird als Vorbereitung das Studium der angegebenen Literatur (die fett hinterlegte bitte vor der Stunde) eine aktive Beteiligung an den Diskussionen verlangt (dies ist nur bei Anwesenheit möglich).
In den Sitzungen mit Referaten stellen die Teilnehmer:innen ihre Ergebnisse vor. Alle Teilnehmer:innen müssen
a) in der vierten Sitzung ein selbst ausgewähltes Open LLM vorstellen.
b) im weiteren Verlauf der Übung ein Anwendungsszenario ausarbeiten und in einer der Sitzungen ab im Januar vorstellen.
Prüfungsleistung (fakultativ): Vertiefung, Dokumentation
Es ist möglich, in Verbindung mit der Übung eine Prüfung im Modul EM2 (Digital Humanities) abzulegen. Im Normalfall schließt sich die Prüfungsleistung an die Studienleistung an, indem Sie die dort erarbeiteten Projekte vertieft bzw. weiterentwickelt und stärker dokumentiert. Die Erarbeitung der Prüfungsleistung erfolgt bis Mitte März 2026. Zur Projekt der Prüfungsleistung muss ein Poster erstellt und auf der DHCon 2026 (6.5.2026) ausgestellt werden.
Seminarplan (Stand 10/2025 - wird ggfs. noch angepasst)
|
Datum |
Modus |
Inhalt |
Material |
|
16.10.2025 |
Plenum |
Organisatorisches |
|
|
23.10.2025 |
Plenum |
Was sind LLMs? pdf |
Huang (2023) |
|
30.10.2025 |
Plenum |
LLMs und Offenheit pdf |
Gibney (2024) Liesenfeld et al. (2024) |
|
06.11.2025 |
Plenum |
OpenLLM-Modelle und Infrastrukturen pdf |
Lambert (2025) |
|
13.11.2025 |
Plenum |
Automatisierung, Spezifikation zur Projektabgabe pdf |
Sher (2023) |
|
20.11.2025 |
Arbeitszeit |
Ausarbeitung Projektplan |
|
|
27.11.2025 |
Plenum |
Vorstellung Projekte und Fahrplan |
|
|
04.12.2025 |
Arbeitszeit |
Ausarbeitung Projekt |
|
|
11.12.2025 |
Plenum |
Besprechung grundlegender Probleme bei der Projektarbeit |
|
|
18.12.2025 |
Arbeitszeit |
Ausarbeitung Projekt |
|
|
08.01.2026 |
Referate |
Vorstellung Projekte |
|
|
15.01.2026 |
Referate |
Vorstellung Projekte |
|
|
22.01.2026 |
Referate |
Vorstellung Projekte |
|
|
29.01.2026 |
Referate |
Vorstellung Projekte |
|
|
05.02.2626 |
Plenum |
Zusammenfassung, Ausblick |
Links (Stand 10/2025 - wird noch aktualisiert!)
Interfaces zu ClosedSource-Sprachmodellen:
- ChatGPT (OpenAI): https://chat.openai.com/
- Claude (Anthropic) https://claude.ai/
- Perplexity (Perplexity) https://www.perplexity.ai/
- Gemini (Google) https://gemini.google.com/
Open LLMs:
- OLMo (AI2) https://allenai.org/olmo
- Apertus (Swiss AI) https://www.swiss-ai.org/apertus
- LLAMA 4 (Meta) https://www.llama.com/
- Mistral (Mistral AI) https://mistral.ai/
- Gemma 3 (Google) https://deepmind.google/models/gemma/
- Qwen (Alibaba) https://qwen.ai/home
- Sammlung von Models auf Huggingface: https://huggingface.co/models
Bilder / Präsentationen / Demos:
- LLM Glossay (Draft) von Tessa Gengnagel, Fotis Jannidis, Rabea Kleymann, Julian Schröter, Heike Zinsmeister (verbunden mit einem Panel auf der DHd2024)
- Video "Intro to lange language models" von Andrej Karpathy (Youtube)
- Transformer Architecture
- ChatGPT Architecture
- Word Embeddings Demo: https://www.cs.cmu.edu/~dst/WordEmbeddingDemo/
- Beispielprojekt: LLMTestSubjects
Literatur (Stand 10/2025 - wird noch aktualisiert!)
Battle, R., & Gollapudi, T. (2024). The Unreasonable Effectiveness of Eccentric Automatic Prompts (arXiv:2402.10949). arXiv. https://doi.org/10.48550/arXiv.2402.10949
Gibney, E. (2024). Not all ‘open source’ AI models are actually open: Here’s a ranking. Nature. https://doi.org/10.1038/d41586-024-02012-5
Huang, H. (2023, Januar 30). The generative AI revolution has begun—How did we get here? Ars Technica. https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how-did-we-get-here/
Kukreja, S., Kumar, T., Purohit, A., Dasgupta, A., & Guha, D. (2024). A Literature Survey on Open Source Large Language Models. Proceedings of the 2024 7th International Conference on Computers in Management and Business, 133–143. https://doi.org/10.1145/3647782.3647803
Lambert, N. (2023, November 24). Gemma 3, OLMo 2 32B, and the growing potential of open-source AI. https://www.interconnects.ai/p/gemma-3-olmo-2-32b-and-the-growing
Liesenfeld, A., & Dingemanse, M. (2024). Rethinking open source generative AI: Open-washing and the EU AI Act. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, 1774–1787. https://doi.org/10.1145/3630106.3659005
Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2023). Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. ACM Comput. Surv., 55(9), Article 9. https://doi.org/10.1145/3560815
Minaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., & Gao, J. (2025). Large Language Models: A Survey (No. arXiv:2402.06196; Version 3). arXiv. https://doi.org/10.48550/arXiv.2402.06196
Piantadosi, S. T., & Hill, F. (2022). Meaning without reference in large language models (No. arXiv:2208.02957). arXiv. https://doi.org/10.48550/arXiv.2208.02957
Simons, A., Zichert, M., & Wüthrich, A. (2025). Large Language Models for History, Philosophy, and Sociology of Science: Interpretive Uses, Methodological Challenges, and Critical Perspectives (No. arXiv:2506.12242). arXiv. https://doi.org/10.48550/arXiv.2506.12242
Underwood, T. (2023, Juni 29). The Empirical Triumph of Theory. Critical Inquiry – AI Forum. https://critinq.wordpress.com/2023/06/29/the-empirical-triumph-of-theory/
Simons, Arno, Michael Zichert und Adrian Wüthrich. 2025. Large Language Models for History, Philosophy, and Sociology of Science: Interpretive Uses, Methodological Challenges, and Critical Perspectives. Juni. doi:10.48550/arXiv.2506.12242
Shanahan, M. (2024). Simulacra as Conscious Exotica (No. arXiv:2402.12422). arXiv. https://doi.org/10.48550/arXiv.2402.12422
Sher, S. (2023, April 21). On Artifice and Intelligence. Medium. https://medium.com/@shlomi.sher/on-artifice-and-intelligence-f19224281bee
Underwood, T. (2023, Juni 29). The Empirical Triumph of Theory. Critical Inquiry – AI Forum. https://critinq.wordpress.com/2023/06/29/the-empirical-triumph-of-theory/
Wolfram, S. (2023, Februar 14). What Is ChatGPT Doing … and Why Does It Work? Stephen Wolfram Writings. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/