Eine einzige durchgehende weiße Linie, von links nach rechts auf Schwarz gezogen: Sie beginnt als dichter, verworrener Knoten, lockert sich zu weiten offenen Schleifen, streckt sich dann und faltet sich zu einem Stapel ordentlicher paralleler Linien, wie Textzeilen auf einer Seite.

Essay

Der fehlerhafte Dekompressor

  • KI
  • Sprache
  • Weltmodell
  • Wissensarbeit

In Sprache ist der größte Kompressionsalgorithmus, den die Menschheit je gebaut hat habe ich argumentiert, dass Sprache ein Kompressionsverfahren mit einem Verhältnis von etwa 1,7 Millionen zu eins ist und dass ihre Dekompression ein Weltmodell braucht, das aus Jahren sinnlicher Erfahrung entsteht. Unter diesem Argument lief still eine Annahme mit, die ich inzwischen in Frage stelle: dass das menschliche Weltmodell der Goldstandard ist, das Ziel, das jede KI nachbilden sollte. Das halte ich nicht mehr für richtig, oder zumindest für richtig an weniger Stellen, als der erste Essay nahelegte.

Der menschliche Dekompressor wurde auf Überleben, sozialen Zusammenhalt und Fortpflanzung optimiert. Er läuft auf Gefühlen, Heuristiken und einem zutiefst subjektiven Gespür dafür, was wichtig ist. Diese Eigenschaften machen ihn erstaunlich gut darin, sich in einer physischen und sozialen Welt zurechtzufinden, und sie machen ihn zugleich systematisch fehlerhaft bei Aufgaben, die Objektivität, Konsistenz und logische Strenge verlangen. Dieser Essay stellt drei Thesen auf. Erstens hat das menschliche Weltmodell messbare Schwächen, die die Leistung in Recht, Wissenschaft und Technik mindern. Zweitens haben Sprachmodelle gerade deshalb, weil ihnen diese biologisch verankerten Verzerrungen fehlen, in bestimmten Bereichen strukturelle Vorteile. Drittens lassen sich die beiden derzeit interessantesten Strategien in der KI, Anthropics Wette auf agentenbasiertes Programmieren und Googles Wette auf native Multimodalität, am besten als zwei verschiedene Angriffe auf das verstehen, was noch fehlt.

Das Rauschen im menschlichen Urteil

Das anschaulichste Beispiel, das ich kenne, ist die Studie zu israelischen Bewährungsausschüssen von Danziger, Levav und Avnaim-Pesso (PNAS, 2011): Über 1.112 Entscheidungen hinweg lag die Wahrscheinlichkeit einer günstigen Entscheidung zu Beginn bei fast 65 %, sank im Laufe der Sitzung gegen null und sprang nach einer Essenspause wieder auf 65 %. Die Studie ist heftig kritisiert worden,1 doch die Einwände schärfen den allgemeineren Punkt eher, als ihn zu zerstören, denn er stützt sich auf eine breitere Literatur: Gerichtsentscheidungen schwanken mit der Person des Richters, der Tageszeit, dem Wetter, sogar mit den Ergebnissen lokaler Sportmannschaften, nichts davon berührt die Sache selbst. Ein Sprachmodell, das Fall Nummer fünfzig prüft, bringt dasselbe Rechenbudget mit wie bei Fall Nummer eins, und für eine echte Klasse von Anwendungen ist genau diese Konsistenz der Engpass.

Dasselbe Rauschen zieht sich durch die Wissenschaft, die Institution, die sich angeblich am meisten dem Herausfiltern verschrieben hat. Publikationen sind Überzeugungsschriften; ich ertappe mich in meinen eigenen Entwürfen dabei, wo die Einleitung das Ergebnis immer ein wenig stärker verkaufen will, als die Daten streng genommen hergeben. Geglättete Diagramme, in der Schublade verschwundene negative Ergebnisse und eine Replikationskrise, die in der Psychologie am schärfsten, aber fast überall vorhanden ist, sagen alle dasselbe: Forschende mit menschlichen Weltmodellen bringen systematisch Befunde hervor, die nicht halten. Menschliches Urteil behält enormen Wert; das Problem ist, dass das Weltmodell dahinter im Paket mit emotionalen Heuristiken, sozialem Druck und biologischem Rauschen kommt, und dieses Paket lässt sich nicht nach Belieben abschalten.

Der stärkste Beleg: Wir zahlen schon jetzt viel, um es zu übergehen

Was mich überzeugt hat, dass das Weltmodell in manchen Bereichen als Hindernis und in anderen als Gewinn zu behandeln ist: Ganze Berufe verwenden Jahre und teils enormen institutionellen Aufwand darauf, es gezielt umzuschreiben. Wäre das Standardmodell nur von Nutzen, wäre diese ganze Industrie des Übergehens nie entstanden.

Der klarste Fall, den ich kenne, ist die Physik, denn die gesamte Geschichte des Fachs liest sich als eine Folge von Aufständen gegen das sinnliche Weltmodell. Jeder Mensch, der je gelebt hat, hat die Sonne über den Himmel ziehen sehen; die Sinne melden eindeutig, dass sich die Sonne bewegt und die Erde stillsteht, und Ptolemäus' Festschreibung dieser Meldung beherrschte die Astronomie 1.400 Jahre lang. Kopernikus veröffentlichte das heliozentrische De revolutionibus 1543 auf dem Sterbebett, und es brauchte Keplers Ellipsen (1609), Galileis Phasen der Venus (1610) und Newtons Mechanik (1687), über 140 Jahre, um eine Intuition zu übergehen, die jedes Kind beim Blick in den Himmel neu aufbaut. Newtons erstes Gesetz begeht dieselbe Ketzerei gegen die Erfahrung: Alles, was man je angeschoben hat, ist irgendwann stehen geblieben, und Aristoteles baute zwei Jahrtausende Physik auf dieser Beobachtung, doch Newton musste sich eine reibungsfreie Leere vorstellen, in der nie ein Mensch gelebt hat, und folgern, dass Bewegung fortbesteht. Dann stellte er etwas in Frage, das so sehr Hintergrund ist, dass es kaum als Phänomen auffällt, nämlich dass Dinge fallen, und deutete das Fallen als universelle Kraft, die den Mond genauso festhält wie den Apfel. Einstein löste 1905 die Zeit selbst ab, die am tiefsten verankerte Annahme der menschlichen Wahrnehmung, und zeigte, dass Gleichzeitigkeit vom Beobachter abhängt. Und die Quantenmechanik verlangte, mehrere Intuitionen auf einmal aufzugeben: bestimmte Orte, Teilchen ohne Interferenz, Messungen, die nur aufdecken. Feynman bestand darauf, dass Studierende aufhören, die Quantenphysik über ihre Alltagsintuition verstehen zu wollen, bis ihnen aus der Mathematik eine neue Intuition gewachsen ist.

Derselbe Schritt wiederholt sich über fünf Jahrhunderte. Jeder Durchbruch verlangte, dass sein Urheber ein Merkmal des sinnlichen Weltmodells erkennt, „die Sonne bewegt sich“, „Dinge bleiben von selbst stehen“, „die Zeit ist universell“, es als Annahme statt als Wahrheit durchschaut und es durch einen Formalismus ersetzt, der der unmittelbaren Erfahrung widersprach. Deshalb dauert die Ausbildung zur Physikerin Jahre: Sie baut ein paralleles Weltmodell auf, gegründet auf Mathematik, und das Standardmodell wehrt sich den ganzen Weg über. Meine eigene Ausbildung war eine mildere Fassung desselben Übergehens, Jahre von Übungsblättern, deren eigentlicher Zweck es war, die formale Antwort natürlicher erscheinen zu lassen als die intuitive. Mathematikerinnen treiben das Übergehen noch weiter, unterdrücken die visuelle Intuition zugunsten der Herleitung aus Axiomen, weil das Standardmodell immer wieder „offensichtliche“ Wahrheiten hervorbringt, die falsch sind: nirgends differenzierbare stetige Funktionen, raumfüllende Kurven, Banach-Tarski. Mathematische Reife ist größtenteils die Fähigkeit, zu ignorieren, was sich richtig anfühlt, und dem zu folgen, was sich beweisen lässt.

Das menschliche Weltmodell ist also ein seltsamer Goldstandard: einer, dem zu misstrauen unsere strengsten Disziplinen ihren Leuten über Jahre beibringen.

Wo kein Weltmodell zu haben ein Vorteil wird

Der erste Essay behandelte das fehlende sinnliche Weltmodell des Sprachmodells rein als Mangel. Für viele Aufgaben ist es das. Doch bei Aufgaben, bei denen das menschliche Modell mehr Rauschen als Signal einbringt, kippt das Fehlen biologischer Heuristiken in einen strukturellen Vorteil, und ich glaube, das Kippen folgt vorhersagbaren Linien.

Konsistenz ist der klarste Fall: Ein Modell wendet auf den tausendsten Vertrag dieselben Regeln an wie auf den ersten. Größenordnung ist der zweite: Ein Mensch, der zehntausend Publikationen liest, sammelt Ermüdung und Ankereffekte an; ein Modell liefert eine flachere, aber weit gleichmäßigere Analyse, und bei Fragen von der Art einer Übersicht gewinnt die Gleichmäßigkeit. Der dritte ist der, den schon der erste Essay benannt hat: Bereiche, in denen der Text fast schon das Gelände ist, und das erklärt meiner Meinung nach wie kaum etwas anderes, warum sich diese Modelle beim Programmieren am schnellsten verbessert haben.

Die echte verbleibende Schwäche in diesen textnahen Bereichen ist das Planen: Ziele zerlegen, lange Abfolgen ausführen, sich erholen, wenn ein Schritt scheitert. Die beiden führenden Labore greifen die Lücke von entgegengesetzten Enden an. Anthropic trainiert Planung über agentenbasiertes Programmieren, wo die Umgebung und das Rückmeldesignal (Tests bestehen oder scheitern) beide aus Text bestehen, sodass sich Planung überhaupt aus Text lernen lässt; die offene Frage, und das ist eine Hoffnung, keine Gewissheit, ist, wie weit sich das über Code hinaus verallgemeinert. Google greift das Weltmodell selbst an, mit nativ multimodalen Gemini-Modellen, eine direkte Antwort auf die Asymmetrie der Daten aus dem ersten Essay: Wenn ein vierjähriges Kind allein über das Sehen fünfzigmal mehr Daten aufgenommen hat als der größte Textkorpus, dann ist eine reine Textdiät, als wollte man den Ozean verstehen, indem man über Wasser liest. Die eine Strategie liefert das Schlussfolgern, die andere die Verankerung, und ich erwarte, dass sie zusammenwachsen.

Das Abbildungsprinzip: das eigene Problem als Informatikproblem fassen

Wenn der Kompressionsrahmen stimmt, ergibt sich daraus eine praktische Regel, die ich inzwischen auf meine eigene Arbeit anwende. Ein Sprachmodell kann bei einem Problem ungefähr in dem Maß helfen, in dem sich das Problem auf ein Problem der Informatik abbilden lässt, also in einen Bereich, in dem das Kompressionsverhältnis zwischen Text und Wirklichkeit gering ist. Die Abbildung ist ein Spektrum.

Mathematik, Code und Recht lassen sich leicht abbilden: Beweise, Programme, Gesetze und Verträge sind durch und durch Text. Die Experimentalphysik lässt sich besser abbilden, als mein erster Essay nahelegte, und das hat mich beim Nachdenken ehrlich überrascht. Physikerinnen und Physiker haben über Jahrhunderte Abstraktionen gebaut, Bandstrukturen, Kristallsymmetrien, Hamiltonoperatoren, Phasendiagramme, die das Verhalten von 10^24 Atomen in eine Handvoll Parameter komprimieren, und diese Abstraktionen leben vollständig in Text und Gleichungen. Ein Modell kann über ein Phasendiagramm nachdenken, ohne je einen Kryostaten vibrieren zu spüren. Die Abbildung ist verlustbehaftet, aber strukturiert. Schlecht abbilden lässt sich genau die stillschweigende Schicht: experimentelle Technik, das Handwissen über Proben und Geräte; die Stimmung in einem Raum lesen; Kochen und Bildhauerei, wo die Rückkopplung durch den Körper läuft. Der praktische Rat lässt sich in einen Satz komprimieren: Wer das meiste aus den heutigen Modellen herausholen will, fasst sein Problem als Informatikproblem, denn dort ist ein reines Text-Weltmodell am wenigsten im Nachteil.

Fazit

Das menschliche Weltmodell wurde auf Überleben abgestimmt, nicht auf Objektivität, Konsistenz oder Größenordnung. In Bereichen, die genau diese fehlenden Eigenschaften verlangen, verhält es sich wie ein verrauschter Kanal, und wir behandeln es bereits so: Dafür gibt es die Ausbildung in Physik und Mathematik. Sprachmodelle bieten den spiegelbildlichen Tausch: keine sinnliche Verankerung, aber auch keinen Hunger, keine Ermüdung, kein Ego. Sie werden dort weiter Mühe haben, wo die Kompression von der Wirklichkeit zum Text brutal ist, und sie sind schon heute beeindruckend, wo Text das Substrat ist.

Ich glaube, dass das Kompressionsverhältnis in der Festkörperphysik extrem ist und nur Experimente die verlässliche Wahrheit sind. Die nächste Revolution in den Materialwissenschaften wird aus automatisierten Laboren kommen.

Footnotes

  1. Glöckner (2016, Judgment and Decision Making 11(6)) zeigte per Simulation, dass das Muster ein statistisches Artefakt sein könnte, wenn günstige Entscheidungen länger dauern und Sitzungen deshalb vor komplexen Fällen enden. Weinshall-Margel und Shapard (2011, PNAS 108(42)) wiesen darauf hin, dass die Terminierung nicht zufällig ist: Vertretene Gefangene werden tendenziell früher angehört. Und die Effektgröße (Cohens d ≈ 2) ist unplausibel groß; wie Daniel Lakens bemerkte: Würde Hunger die Kognition so stark beeinflussen, hätte sich die Gesellschaft längst um die Essenszeiten herum organisiert. ↩