Sprachverarbeitung (Vorlesung und Übung)

The lecture covers topics in the area of data-driven text analysis. Supervised and unsupervised machine learning methods, as well as issues of evaluation and assessment of quantitative results are discussed. The lecture takes a methodological look at various problems in language processing and discusses how they can be and are addressed. In most approaches, there are several levels of understanding, all of which will be addressed: What is the idea/intuition? How can it be formalized, something with the help of mathematical models? How can the formal model finally be implemented (efficiently)? Partly, the basics of formal models or programming concepts have to be discussed, which is also part of the lecture.

Please note that the class language is German, while material will (mostly) be in English. English questions during class are of course also okay.

Lecture and Exercise

Lecture (Thursdays) and tutorial (Tuesdays) are closely related in terms of content. Formally, they are two separate courses, namely "Computerlinguistik Übung" and "Sprachverarbeitung". If you do not want to/can not attend both courses, you are strongly advised to consult with the instructors.

Vorlesung (Donnerstags) und Übung (Dienstags) sind inhaltlich eng aufeinander bezogen. Formal handelt es sich um zwei getrennte Veranstaltungen, nämlich "Computerlinguistik Übung" und "Sprachverarbeitung". Wenn Sie nicht beide Veranstaltungen besuchen möchten/können, sollten Sie dringend mit den Dozenten Rücksprache halten. Bitte bringen Sie zur Übung einen Computer mit.

Module zur Computerlinguistik

Seit dem Wintersemester 2022/2023 haben wir ein neues Konzept für die computerlinguistische Ausbildung im Studiengang BA Informationsverarbeitung ausgearbeitet.

• Modul Grundlagen der Computerlinguistik (alte Studienordnung "Computerlinguistische Grundlagen")
  • Seminar Computerlinguistische Grundlagen (immer im WiSe, Dozent Hermes, Inhalt: Linguistische Grundlagen, Annotation)
  • Vorlesung Sprachverarbeitung (immer im SoSe, Dozent Reiter, Quantitative Eigenschaften von Sprache, Machine Learning)
  • Übung Sprachverarbeitung (immer im SoSe, Dozent Pagel, begleitend zur Vorlesung, früher Seminar II)
  • Modulprüfung Klausur (immer im SoSe, 90 Minuten, Teilleistung im WiSe möglich, 30 Minuten)
• Modul Anwendungen der Computerlinguistik (alte Studienordnung "Angewandte Linguistische Datenverarbeitung")
  • Übung Deep Learning (immer im WiSe, Dozentin Nester, Inhalt: Deep Learning Methoden)
  • Hauptseminar Experimentelles Arbeiten in der Sprachverarbeitung (immer im WiSe, Dozent Reiter, Inhalt: Experimente in der CL, wo kommen Fortschritt und Erkenntnis her?)
  • Modulprüfung Hausarbeit mit computerlinguistischem Experiment

Studienleistung und Modulprüfung / Study Achievements and Examination

We will start with the exercise together in the tuesday session. All exercises should be finished at home. Four times in the semester, you need to upload your results via Ilias (as a zip file). There will be a written exam in the final week of the course.

Material und Ressourcen / Material and Resources

The following literature is recommended background reading:

• Dan Jurafsky/James H. Martin (2023). Speech and Language Processing. 3rd ed. Draft of Janaury 7, 2023. Prentice Hall. Available online here: https://web.stanford.edu/~jurafsky/slp3/

• Christopher D. Manning/Hinrich Schütze (1999). Foundations of Statistical Natural Language Processing. Cambridge, Massachusetts and London, England: MIT Press. Selected chapters will be uploaded to Ilias.

• Ian H. Witten/Eibe Frank (2005). Data Mining. 2nd ed. Practical Machine Learning Tools and Techniques. Elsevier. Selected chapters will be uploaded to Ilias.

• Melanie Andresen (2024). Computerlinguistische Methoden für die Digital Humanities. Narr Studienbücher. Verlagswebseite.

In addition to this page (which is the central hub), we will make use of the following platforms:

• Ilias, to provide you with non-public materials and to upload your solutions for the exercises
• A Jupyter Server for running Python code on http://compute.spinfo.uni-koeln.de/
• Klips, to register for the module exam

Themen- und Zeitplan

Woche 1

• Dienstag, 09. April: Vorstellung, Ablauf, Python Crash-Kurs Teil 1 [presentation01.pdf, exercise01.pdf, solution01.pdf, solution01.ipynb]
• Donnerstag, 11. April: Computerlinguistik Einführung [slides]

Woche 2

• Dienstag, 16. April: Python Crash-Kurs Teil 2 [presentation02.pdf, exercise02.pdf, romeo.txt, chars.tsv, solution02.pdf, solution02.ipynb]
• Donnerstag, 18. April: Korpora, Korpusstatistik, Encoding [slides]

Woche 3

• Dienstag, 23. April: Übungen zu Korpora [presentation03.pdf, exercise03.pdf, solution03.pdf, solution03.ipynb]
• Donnerstag, 25. April: Ü: Reguläre Ausdrücke [presentation04.pdf, exercise04.pdf, verwandlung.txt, solution04.pdf, solution04.ipynb]

Woche 4

• Dienstag, 30. April: VL: Machine Learning Einführung [slides]
• Donnerstag, 02. Mai: VL: Evaluation in Machine Learning [slides]

Woche 5

• Dienstag, 07. Mai: Fällt aus (DHCon)
• Donnerstag, 09. Mai: Feiertag

Woche 6

• Dienstag, 14. Mai: Übungen zur Evaluation in Machine Learning [presentation05.pdf, exercise05.pdf, solution05.pdf]
• Donnerstag, 16. Mai: Decision Trees [slides]

Pfingstwoche (vorlesungsfrei)

Woche 7

• Dienstag, 28. Mai: Übungen zu Decision Trees [presentation06.pdf, exercise06.pdf, smsspamcollection_train.tsv, smsspamcollection_test.tsv, solution06.pdf]
• Donnerstag, 30. Mai: Feiertag

Woche 8

• Dienstag, 04. Juni: Gastvortrag von Elke Smith, Department Psychologie, Universität zu Köln zum Thema: "Erkennung von Anzeichen für problematisches Glücksspiel aus Online-Textdaten mittels Large Language Models", (Online, Zoom), Beginn: 16:30 [slides]
• Donnerstag, 06. Juni: Naive Bayes [slides]

Woche 9

• Dienstag, 11. Juni: Übungen zu Naive Bayes [presentation07.pdf, exercise07.pdf, languageidentification_train.tsv, languageidentification_test.tsv, solution07.pdf]
• Donnerstag, 13. Juni: Logistic Regression [slides, playground.tensorflow.org]

Woche 10

• Dienstag, 18. Juni: Übungen zur Logistic Regression [presentation08.pdf, exercise08.pdf, recipes.tsv, solution08.pdf, solution08.ipynb]
• Donnerstag, 20. Juni: Fällt aus

Woche 11

• Dienstag, 25. Juni: VL: Neural Networks Teil 1 [slides]
• Donnerstag, 27. Juni: VL: Neural Networks Teil 2 [slides, scripts]

Woche 12

• Dienstag, 02. Juli: Übungen zu Neural Networks [presentation09.pdf, exercise09.pdf, apartments_sales.csv, solution09.pdf]
• Donnerstag, 04. Juli: BERT [slides]

Woche 13

• Dienstag, 09. Juli: Übungen zu BERT [exercise10.pdf, exercise10.ipynb]
• Donnerstag, 11. Juli: Fragerunde vor der Klausur

Woche 14

• Dienstag, 16. Juli Large Language Models und Prompting [slides Teil 1, slides Teil 2]
• Donnerstag, 18. Juli: Klausur