Die Gesprächs-KIs scheinen uns intelligenter zu sehen, als wir tatsächlich sind. Dies enthüllt eine Untersuchung, die sich mit großen Sprachmodellen wie ChatGPT-4o von OpenAI und Claude-Sonnet-4 von Anthropic befasst.

Laut den Forschern überschätzen diese KI-Modelle systematisch die Rationalität von menschlichen Gesprächspartnern, besonders wenn es darum geht, unsere Reaktionen in angespannten Situationen vorherzusagen. Die KIs gehen davon aus, dass wir viel logischer denken, als es in der Realität tatsächlich der Fall ist.

Überschätzung der menschlichen Denkfähigkeit

Um die Diskrepanz zwischen den Erwartungen der KIs und dem menschlichen Verhalten zu messen, haben die Forscher die KIs einer Übung aus der Spieltheorie unterzogen: dem „Schönheitswettbewerb“ von Keynes. Dieses experimentelle Setting wurde ursprünglich entwickelt, um die Mechanismen der Spekulation auf Finanzmärkten zu untersuchen.

Das Ziel besteht nicht darin, das persönliche Lieblingsobjekt auszuwählen, sondern vorherzusagen, was die anderen wählen werden. Um diese Aufgabe erfolgreich zu bewältigen, muss man über das Denken der anderen nachdenken. Dies erfordert eine komplexe mentale Anstrengung auf mehreren Ebenen, die die Menschen in der Praxis nur selten beherrschen.

Die Spielvariante: „Errate die Zahl“

Die Version, die für diese Studie verwendet wurde, heißt „Errate die Zahl“. Die Regeln sind einfach: Jeder Spieler wählt eine Zahl zwischen 0 und 100. Der Gewinner ist derjenige, dessen Wahl am nächsten an der Hälfte des Durchschnitts aller gewählten Zahlen liegt.

Theoretisch würde ein rationaler Spieler, der gegen andere rationale Spieler antritt, die Zahl 0 wählen. Die Realität sieht jedoch anders aus, da die meisten Menschen nach ein oder zwei Reflexionsniveaus aufhören, was zu Ergebnissen führt, die weit von den Erwartungen entfernt sind.

Teilnahme der KIs und ihre Strategien

Die Forscher luden mehrere KIs ein und gaben ihnen Beschreibungen ihrer menschlichen Gegner. Die Profile waren vielfältig, einige wurden als Erstsemester und andere als erfahrene Spieltheoretiker vorgestellt. Den KIs wurde aufgetragen, eine Zahl zu wählen und ihr Denken zu erläutern.

Die Ergebnisse zeigen, dass die KIs ihre Entscheidungen je nach angenommenem Gegner anpassen. Gegen vermeintliche Anfänger wählten die großen Sprachmodelle andere Zahlen als gegenüber Experten. Diese Anpassungsfähigkeit deutet auf eine Form strategischen Denkens hin.

Darüber hinaus ändern die KIs auch ihre Antworten basierend auf anderen Merkmalen, wie dem angenommenen Erfahrungsgrad des Gegners.

Schwierigkeiten bei der Einschätzung menschlichen Verhaltens

Trotz dieser scheinbaren Flexibilität machen die KIs einen wiederkehrenden Fehler. Sie nehmen an, dass Menschen ein logisches Niveau erreichen, das die meisten von uns nie erreichen. Mit anderen Worten, diese großen Sprachmodelle spielen zu intelligent.

Sie antizipieren rationale Reaktionen, wo echte Spieler meist intuitiver oder impulsiver handeln. Dieser Unterschied führt dazu, dass sie oft ihr Ziel verfehlen.

Die Studie weist auch auf eine weitere Schwäche hin. Bei Zwei-Personen-Spielen fällt es den KIs schwer zu erkennen, welche Strategien Menschen am wahrscheinlichsten anwenden. Diese Schwierigkeiten zeigen, dass es noch keine einfache Aufgabe ist, diese KIs auf das tatsächliche menschliche Verhalten zu kalibrieren, insbesondere bei Aufgaben, die eine Vorhersage der Entscheidungen des anderen erfordern.

Folgen Sie den neuesten Nachrichten über Digitales auf Google Nachrichten und auf dem WhatsApp-Kanal von Digitales.

Interessiert an noch mehr Einsparungen? Entdecken Sie unsere ausgewählten Rabattcodes für Sie.