Eine neue Studie unter der Leitung der TU Darmstadt hat die Grenzen von KI-Modellen wie ChatGPT aufgezeigt. Die Untersuchung, die im August auf der Jahrestagung der Association for Computational Linguistics (ACL) in Bangkok vorgestellt wird, kommt zu dem Schluss, dass diese Modelle weniger eigenständig lernfähig sind als bisher vermutet. Es gibt keine Hinweise darauf, dass Large Language Models (LLMs) ein allgemeines »intelligentes« Verhalten entwickeln, das komplexes Denken oder planvolles Handeln ermöglicht.

Die Studie konzentriert sich auf sogenannte »emergente Fähigkeiten« – unerwartete Leistungssprünge der Sprachmodelle, die bei zunehmender Skalierung beobachtet wurden. Obwohl diese Modelle durch größere Datenmengen und komplexere Strukturen immer mehr sprachbasierte Aufgaben bewältigen können, wie das Erkennen von Fake News oder das Ziehen logischer Schlüsse, gibt es laut den Forschenden keine Beweise dafür, dass sie ein differenziertes Denkvermögen entwickeln.

Die Wissenschaftler, darunter TU-Professorin Iryna Gurevych und Dr. Harish Tayyar Madabushi von der University of Bath, stellten fest, dass die Modelle lediglich die Fähigkeit erlangten, relativ einfachen »Unsere Ergebnisse bedeuten jedoch nicht, dass KI überhaupt keine Bedrohung darstellt«, betonte Gurevych. »Wir zeigen vielmehr, dass die angebliche Entstehung komplexer Denkfähigkeiten, die mit bestimmten Bedrohungen verbunden sind, nicht durch Beweise gestützt wird und dass wir den Lernpozess von LLMs doch gut steuern können. Daher sollte der Fokus künftiger Forschung auf weiteren Risiken liegen, die von den Modellen ausgehen, beispielsweise auf deren Potenzial, zur Generierung von Fake News genutzt zu werden.«

Für Nutzer von KI-Systemen wie ChatGPT bedeutet dies, dass man sich nicht darauf verlassen sollte, dass diese Modelle komplexe Aufgaben ohne menschliche Unterstützung korrekt ausführen können. Es wird empfohlen, klare Anweisungen zu geben und Beispiele zu nennen. Die Neigung der Modelle, plausibel klingende, aber falsche Ergebnisse zu erzeugen – die sogenannte Konfabulation – bleibt laut der Studie weiterhin bestehen, auch wenn sich die Qualität der Modelle in letzter Zeit erheblich verbessert hat.