ChatGPT: keine Anzeichen für intelligentes Verhalten

17.09.2024

KI-Sprachmodelle wie ChatGPT sind weniger selbstlernfähig als angenommen. Sie sind nicht in der Lage, planvolles Handeln oder komplexes Denken und damit emergente Fähigkeiten zu entwickeln. Darauf weisen Forscher der TU Darmstadt und der University of Bath in ihrer aktuellen Studie hin.

Als intelligent werden beispielsweise die Fähigkeiten von Delphinen, bestimmten Krähenarten oder des Menschen bezeichnet, planvoll zu handeln oder ihr Verhalten an neue Situationen bzw. Umgebungsbedingungen anzupassen. Grundvoraussetzung dafür sind eine bestimmte Gehirnarchitektur sowie geistige Prozesse und Erfahrungen in der Umwelt, die es ermöglichen Schlussfolgerungen zu ziehen bzw. neue Erkenntnisse zu gewinnen.

Die Tatsache, dass biologische Lebewesen aus einer Ansammlung von Zellen bestehen, die sich funktionsteilig zu einem komplexen System organisieren, ist außergewöhnlich. Denn dabei entwickeln sie neue Eigenschaften und Fähigkeiten, die aus ihrer Grundstruktur nicht erkennbar sind. Wenn sich die Eigenschaften des Ganzen nicht aus seinen Teilen erklären lassen, spricht man von Emergenz.

Emergenz in der unbelebten Welt

Emergente, selbstorganisierte Prozesse gibt es auch in der unbelebten Welt. Ein Beispiel dafür ist die Supraleitung, die bei bestimmten Materialien auftritt, zum Beispiel bei Metallen, deren elektrischer Widerstand unterhalb einer kritischen Temperatur verschwindet, also gleich Null ist. Auch Gase zeigen emergente Eigenschaften wie Temperatur oder Druck. Solche Eigenschaften haben die einzelnen Moleküle, aus denen sie sich zusammensetzen, nicht.

Wie sieht es bei Computerprogrammen aus? Ist hier Emergenz zu erwarten? ChatGPT und ähnliche KI-Sprachmodelle begeistern mit der Fähigkeit, Texte zu produzieren, die denen eines Menschen ähneln. Dabei sollte man sich vor Augen halten, dass es von Menschen programmierte Computeralgorithmen sind, die die Wahrscheinlichkeiten von Wortfolgen berechnen.

KI-Systeme wurden im Laufe der Zeit immer leistungsfähiger, je größer und umfangreicher die Trainingsdaten wurden. Die Hoffnung ist, dass große KI-Sprachmodelle mit zunehmender Skalierung noch besser werden. Solche Large Language Models (LLMs) umfassen Milliarden von Parametern und greifen auf große Datenmengen aus dem Internet zu. Sie erwerben dabei bestimmte Fähigkeiten, ohne dafür speziell trainiert worden zu sein.

Sprachmodelle unter der Lupe

Wegen dieser (emergenten?) Fähigkeiten befürchten manche KI-“Experten“, dass solche Systeme eines Tages die Weltherrschaft übernehmen könnten. Doch wie „intelligent“ sind diese Systeme wirklich? Wie steht es um komplexes Denkvermögen?

Die Forschungsgruppe um die beiden Informatikerinnen Iryna Gurevych (TU Darmstadt) und Harish Tayyar Madabushi (University of Bath) untersuchte in ihrer Studie vier Sprachmodelle, darunter auch ChatGPT. Sie führte mehr als 1000 Experimente durch und nutzte verschiedene Testmethoden, um die Fähigkeiten der KI-Sprachmodelle zu analysieren. Im Fokus standen dabei die Lernfähigkeit der Systeme, die Entwicklung komplexen Denkens und die Fähigkeit zu planvollem und intuitivem Handeln.

Entgegen weit verbreiteter Annahmen gibt es keine Hinweise darauf, dass die Sprachmodelle ein allgemeines „intelligentes“ Verhalten entwickeln. Stattdessen scheinen die KI-Systeme nur oberflächliche Fertigkeiten wie das Befolgen einfacher Anweisungen zu erlernen.

Künstliche Begrenztheit

Die Ergebnisse ihrer Studie, so die Informatikerinnen, zeigen die tatsächlichen Grenzen der KI-Modelle auf:

1. Kein komplexes Denken: Die KI-Modelle zeigen keine Anzeichen für die Entwicklung eines differenzierten Denkvermögens.
2. Begrenzte Lernfähigkeit: Die Systeme sind weniger selbstständig lernfähig als bisher angenommen.
3. Keine Verselbstständigung: Die Befürchtung, dass sich LLMs menschlicher Kontrolle entziehen könnten, konnte entkräftet werden.
4. Oberflächliche Fertigkeiten: Die KI-Modelle haben lediglich gelernt, relativ einfache Anweisungen zu befolgen.
5. Große Unterschiede zum Menschen: Die Systeme sind von den kognitiven Fähigkeiten des Menschen noch weit entfernt.

Die Ergebnisse deuten darauf hin, dass die vermeintlich emergenten Fähigkeiten aus einer Kombination von kontextbezogenem Lernen, Modellgedächtnis und sprachlichem Wissen resultieren. Ihre Studie zeige ebenfalls auf, dass der Lernprozess von LLMs gut gesteuert werden kann. Laut Forscherinnen sollte sich zukünftige Forschung auf weitere Risiken konzentrieren, die von den Modellen ausgehen, beispielsweise auf ihr Potenzial, Fake News zu generieren. Und worauf sollten die Nutzer von KI-Systemen achten?

„Es ist wahrscheinlich ein Fehler, sich auf ein KI-Modell zu verlassen, um komplexe Aufgaben ohne Hilfe zu interpretieren und auszuführen“, betont Iryna Gurevych. „Die Tendenz dieser Modelle, plausibel klingende, aber falsche Ergebnisse zu erzeugen, die sogenannte Konfabulation, wird wahrscheinlich weiter bestehen bleiben, auch wenn sich die Qualität der Modelle in jüngster Zeit drastisch verbessert hat.“