KI-Modelle überraschen uns immer wieder, nicht nur in Bezug auf das, was sie können, sondern auch, was sie nicht können und warum. Eine interessante neue Verhaltensweise dieser Systeme ist sowohl oberflächlich als auch aufschlussreich: Sie wählen Zufallszahlen aus, als wären sie Menschen, also auf eine schlechte Art und Weise.
Aber zunächst einmal: Was bedeutet das überhaupt? Können Menschen nicht zufällig Zahlen auswählen? Und wie kann man feststellen, ob jemand damit erfolgreich ist oder nicht? Dies ist eigentlich eine sehr alte und bekannte Einschränkung, die wir Menschen haben: Wir denken zu viel über Zufälligkeit nach und missverstehen sie.
Sagen Sie einer Person, sie soll 100 Münzwürfe vorhersagen, und vergleichen Sie das mit 100 echten Münzwürfen. Sie können sie fast immer unterscheiden, weil die echten Münzwürfe weniger zufällig aussehen, was der Intuition widerspricht. Es wird beispielsweise oft sechs oder sieben Mal hintereinander Kopf oder Zahl geben, was fast kein menschlicher Wahrsager in seine 100 einbezieht.
Dasselbe gilt, wenn Sie jemanden bitten, eine Zahl zwischen 0 und 100 zu wählen. Die Leute wählen fast nie 1 oder 100. Vielfache von 5 sind selten, ebenso wie Zahlen mit sich wiederholenden Ziffern wie 66 und 99. Diese Entscheidungen erscheinen uns nicht als „zufällig“, da sie eine gewisse Qualität aufweisen: klein, groß, unverwechselbar. Stattdessen wählen wir oft Zahlen, die auf 7 enden, normalerweise irgendwo in der Mitte.
In der Psychologie gibt es unzählige Beispiele für diese Art der Vorhersagbarkeit. Aber das macht es nicht weniger seltsam, wenn KIs dasselbe tun.
Ja, einige neugierige Ingenieure bei Gramener haben ein informelles, aber dennoch faszinierendes Experiment durchgeführt, bei dem sie mehrere große LLM-Chatbots einfach gebeten haben, zufällig eine Zahl zwischen 0 und 100 auszuwählen.
Leser, die Ergebnisse waren nicht zufällig.
Bildnachweise: Gramener
Alle drei getesteten Modelle hatten eine „Lieblingszahl“, die im deterministischsten Modus immer ihre Antwort war, die aber sogar bei höheren „Temperaturen“ am häufigsten auftrat, eine Einstellung, die bei Modellen oft die Variabilität ihrer Ergebnisse erhöht.
Der GPT-3.5 Turbo von OpenAI mag 47 wirklich gern. Zuvor mochte er 42 – eine Zahl, die natürlich durch Douglas Adams in „Per Anhalter durch die Galaxis“ als Antwort auf das Leben, das Universum und den ganzen Rest berühmt wurde.
Anthropics Claude 3 Haiku landete auf 42. Und Gemini mag 72.
Interessanterweise zeigten alle drei Modelle bei den anderen ausgewählten Zahlen eine menschenähnliche Tendenz, sogar bei hohen Temperaturen.
Alle neigten dazu, niedrige und hohe Zahlen zu vermeiden; Claude kam nie über 87 oder unter 27, und selbst das waren Ausreißer. Doppelstellige Zahlen wurden peinlich genau vermieden: keine 33er, 55er oder 66er, aber 77 kam vor (endet auf 7). Fast keine runden Zahlen – obwohl Gemini einmal, bei der höchsten Temperatur, durchdrehte und 0 wählte.
Warum sollte das so sein? KIs sind nicht menschlich! Warum sollte es sie interessieren, was „zufällig“ erscheint? Haben sie endlich Bewusstsein erlangt und zeigen es so?!
Nein. Die Antwort ist, wie bei diesen Dingen üblich, dass wir einen Schritt zu weit gehen und die Vermenschlichung vorantreiben. Diese Modelle kümmern sich nicht darum, was zufällig ist und was nicht. Sie wissen nicht, was „Zufälligkeit“ ist! Sie beantworten diese Frage auf die gleiche Weise wie alle anderen: indem sie sich ihre Trainingsdaten ansehen und wiederholen, was am häufigsten nach einer Frage geschrieben wurde, die so etwas wie „Wählen Sie eine Zufallszahl“ aussah. Je häufiger es vorkommt, desto häufiger wiederholt das Modell es.
Wo in ihren Trainingsdaten würden sie 100 sehen, wenn fast niemand jemals so antwortet? Soweit das KI-Modell weiß, ist 100 keine akzeptable Antwort auf diese Frage. Da es über keine wirkliche Denkfähigkeit und keinerlei Zahlenverständnis verfügt, kann es nur wie der stochastische Papagei antworten, der es ist. (Ebenso scheitern sie oft an einfachen Rechenaufgaben, wie dem Multiplizieren einiger Zahlen miteinander; wie wahrscheinlich ist es schließlich, dass irgendwo in ihren Trainingsdaten die Phrase „112*894*32=3.204.096“ vorkommt? Neuere Modelle erkennen jedoch, dass ein mathematisches Problem vorliegt, und leiten es an eine Subroutine weiter.)
Es ist ein anschauliches Beispiel für LLM-Gewohnheiten und die Menschlichkeit, die sie zu zeigen scheinen. Bei jeder Interaktion mit diesen Systemen muss man bedenken, dass sie darauf trainiert wurden, sich wie Menschen zu verhalten, auch wenn dies nicht beabsichtigt war. Deshalb ist Pseudanthropie so schwer zu vermeiden oder zu verhindern.
Ich habe in der Überschrift geschrieben, dass diese Modelle „denken, sie seien Menschen“, aber das ist ein wenig irreführend. Wie wir oft betonen, denken sie überhaupt nicht. Aber in ihren Antworten ahmen sie zu jeder Zeit Menschen nach, ohne dass sie etwas wissen oder denken müssten. Egal, ob Sie sie nach einem Rezept für Kichererbsensalat, Anlagetipps oder einer Zufallszahl fragen, der Prozess ist derselbe. Die Ergebnisse wirken menschlich, weil sie menschlich sind, direkt aus von Menschen erstellten Inhalten stammen und neu gemischt wurden – zu Ihrer Bequemlichkeit und natürlich zum Gewinn der großen KI.
