Fragen zu Tsujii (2021)

Verständnisfragen

  1. Im Artikel schrieb Tsujii davon, dass bei der Übersetzung im Text enthaltene semantische Informationen nicht dieselben sind, wenn man von urverwandten [Ist hier "unverwandten" gemeint? NR] Sprachen spricht. Diesen Gedanken hat er später verwendet, um die Representation-Hierarchy zu beschreiben. Leider konnte ich das nicht vollständig nachvollziehen. Wäre es möglich, dieses Thema in der Vorlesung zu besprechen?

  2. Kommentar zu "While reported error rates are getting lower, measuring the error rate in terms of the number of incorrectly recognized dependency relations was misleading":
    Warum ist es nicht sinnvoll, die Fehlerquote so anzugeben? Gibt es eine allgemein anerkannte Möglichkeit, die Fehlerquote zu berechnen? Nur, wenn die gleiche und eine sinnvolle Fehlerquote verwendet wird, können auch Projekte untereinander verglichen werden.

Black Box

  1. Wenn ForscherInnen in der Lage wären, die Black-Box-Natur von NN und DL zu überwinden und die Interpretierbarkeit zu verbessern, könnte dies helfen, die Trennung zwischen NLP auf Basis großer Sprachmodelle und anderen linguistischen Methoden zu verringern. Gibt es die Möglichkeit NN-basierte NLP-Modelle besser zu verstehen und interpretieren, trotz ihrer komplexen Black-Box-Natur? Wenn ja, wie sähe das Vorgehen dazu aus?
  2. Der Forscher kritisiert zum Ende seines Papers, dass die Black-Box-Natur von Deep Learning und KI den Effekt hat, dass NLP und Sprachuntersuchung sich mehr und mehr trennen. Er befürchtet, dass eine systematische Analyse der Probleme von NLP-Systemen basierend auf KI nicht mehr möglich ist und diese eher durch Verbesserung der Technologie als des Processing selber behoben werden sollen. Er behauptet, dass immer noch sehr große semantische Fehler auftreten, aber wie sehen diese aus? Gibt es Beispiele für diese Fehler?
  3. "The black box nature of NN and DL also makes the analytical methods way of assessing NLP systems difficult" --> Welche Instutitionen/Personen etc. können dafür verantwortlich gemacht werden, wenn bspw. falsche oder gefährliche Informationen von LLMs oder anderen Modellen auf der Basis von NN und DL bereit gestellt werden? Braucht es dafür staatliche Regulierungen?
  4. Die Black-Box-Natur komplexer Deep Learning-Modelle birgt nicht nur das Risiko von fehlerhaften Outputs, sondern öffnet auch Tür und Tor für potenzielle Propaganda und Manipulation. Es wird zunehmend entscheidend, die Verantwortung für solche möglichen Missbräuche zu klären. (Welche Institutionen oder Akteure sollten in die Pflicht genommen werden, um sicherzustellen, dass diese Technologien nicht für irreführende oder gefährliche Zwecke eingesetzt werden?)
  5. In Bezug auf die Disambiguierung und den rekursiven Transfer, der im Text erwähnt wird: Wie könnten Sprachmodelle angepasst werden, um die Pragmatik der Sprache, wie z.B. kulturelle Bezüge oder Sprichwörter besser zu berücksichtigen und sicherstellen, dass sowohl der sprachliche als auch der kulturelle Kontext (korrekt) wiedergegeben werden können.

Forschungsfelder der CL

  1. Im Text werden hauptsächlich die beiden Forschungsfelder MT (Machine Translation) und IE (Information Extraction) beleuchtet. Welche ähnlich wichtigen Forschungsfelder gibt es in der Computerlinguisitik und sind in den letzten Jahren neue Felder dazugekommen?
  2. In dem vorliegenden Paper wird unter anderem das Thema „Information Extraction“ behandelt. Ein Teilgebiet davon ist „Relation Extraction“. Welche Methoden in der Computerlinguistik werden verwendet, um Beziehungen zwischen zwei Entitäten präzise vorherzusagen?
  3. Im Text werden Probabilistic Models / Wahrscheinlichkeitsmodelle als Werkzeuge beschrieben, um das Problem der Disambiguities im NLP besser lösen zu können. Wie genau funktionieren diese Modelle?
  4. Welche andere Domäne, ähnliche zur biomedicine, könnte für solche Modelle/Studien benutzt werden?

Linguistik und Computerlinguistik

  1. Die Entwicklungen in der Computerlinguistik und in der NLP werden sehr anschaulich dargestellt. Auffallend ist, dass die Anwendungen, die auf explizit linguistischem Wissen basieren, doch recht komplex, aber immer noch sehr fehleranfällig sind. Hier scheint es Barrieren bzw. Problemstellungen zu geben, die zu einem großen Teil mit dem Ansatz der Nutzung explizit linguistischen Wissens zusammenhängen. So sind die Modelle nur so gut wie die zugrunde liegende linguistische Theorie. Gibt es dieses Problem in dieser Form und wie ist es unabhängig von der aktuellen Entwicklung der Sprachmodelle zu bewerten?
  2. Welche Rolle könnten Computerlinguist:Innen bei der Überbrückung der Lücke zwischen NLP und CL in Zukunft spielen und wie könnte dies die theoretischen Grundlagen und die analytische Bewertung von NLP-Systemen verbessern?
  3. Tsujii betont die Bedeutung von domänenspezifischem Wissen für Anwendungen wie Text Mining. Hier könnte man diskutieren, wie sich generelles linguistisches Wissen und spezifisches Domänenwissen sinnvoll kombinieren lassen, auch außerhalb der Domäne der Biomedizin.
  4. Es klingt, als würde die Entwicklung von LLMs potentiell einen sehr radikalen Bruch in der Forschung an klassischen NLP-Tasks darstellen, z.B. im Hinblick den Einfluss anderer wiss. Disziplinen, die Methodik oder auch die benötigte Expertise. Ich frage mich, ob das es für das Feld der Computerlinguistik schwierig machen könnte, diese Entwicklungen neutral/objektiv zu beurteilen, weil damit ja eventuell große Teile des Forschungsgebiets der Computerlinguistik immer mehr von ihr losgelöst werden?
  5. Wenn man Parallelen zu den Schwierigkeiten zieht, mit denen maschinelle Übersetzungssysteme der ersten Generation konfrontiert waren, was sind dann die potenziellen Stolpersteine und Herausforderungen, denen das derzeitige NN- und DL-Paradigma in Zukunft begegnen könnte? Wie kann die Community diese Herausforderungen präventiv angehen, um einen kontinuierlichen Fortschritt in NLP und verwandten Bereichen zu gewährleisten?
  6. Welche Herausforderungen resultieren sich aus der Tatsache, dass CL und NLP verschiedene Ansätze in Bezug auf Sprachverarbeitung verfolgen und welche Lösungen gibt es bereits, um beide Disziplinen auf einen gemeinsamen Nenner zu bringen?

(Maschinelle) Übersetzung

  1. Welches linguistische Regelwerk wird bei einer maschinellen Übersetzung bevorzugt? Das Ursprüngliche der Ausgangssprache oder das Neue des übersetzten Textes? Lässt sich manuell zwischen beiden Arten der Übersetzung Unterscheiden bzw. gibt es Modelle, die diesen Umstand berücksichtigen? NLP muss Kontext verstehen können, aber lässt sich diese Funktion auch abschalten?

Aufgaben für die Zukunft?

  1. Wie können traditionelle NLP-Methoden mit modernen DL-Modellen kombiniert werden?
  2. Am Ende spricht Tsujii über NN und DL als Chance aber auch als Risiko für NLP. Wie sehen Sie zwei Jahre nach Veröffentlichung die Entwicklung von NN und DL in Bezug auf NLP?
  3. Als der Lifetime Achievement Award 2021 vergeben wurde, war ChatGPT noch nicht so ein großes und bekanntes Thema wie es jetzt ist. Dennoch ist meiner Meinung gerade der letzte Punkt in diesem Kontext sehr wichtig: Dass die BlackBox Arbeitsweise von neuralen Netzen und Deep Learning Algorithmen die Analyse dieser schwer und kompliziert macht. Wenn Menschen mit ChatGPT interagieren und Fragen zu Themen stellen, in denen sie kein Expertenwissen haben, fällt ihnen oftmals nicht auf, wie falsch die Antwort ist, die sie bekommen. Hier wäre eine Möglichkeit zur Analyse, um die Genauigkeit der Antworten von LLMs zu überprüfen meiner Meinung nach ein großes Forschungsthema.

Sonstige Fragen

  1. Gibt es seit der Veröffentlichung des Papers Beispiele für NLP in multimodalen Kontexten, mit multimodalen Features oder in Verbindung mit Wissensdatenbanken? Wie können solche "heterogene Formen" der Sprachverarbeitung konkret umgesetzt werden?
  2. Der Autor benennt die Psycholinguistik als das Feld, welches sich damit beschäftigt wie der menschliche Geist Sprache verarbeitet. Ich frage mich, welche Auswirkungen die Verbreitung von KIs in diesem Bereich der Linguistik auf die zwischenmenschliche Kommunikation hat?