Eine einzige durchgehende weiße Linie, von links nach rechts auf Schwarz gezogen: Sie beginnt als dichter, verworrener Knoten, lockert sich zu weiten offenen Schleifen, streckt sich dann und faltet sich zu einem Stapel ordentlicher paralleler Linien, wie Textzeilen auf einer Seite.

Essay

Sprache ist der größte Kompressionsalgorithmus, den die Menschheit je gebaut hat

  • KI
  • Sprache

Eine These, auf die ich immer wieder zurückkomme: Natürliche Sprache ist ein Kompressionsverfahren, und ein außerordentlich aggressives. Als ich diesen Satz zum ersten Mal aufschrieb, meinte ich ihn als Metapher. Inzwischen halte ich ihn für eine fast wörtliche Beschreibung. Die Wirklichkeit erreicht das menschliche Nervensystem als Sturzflut, nach einer Schätzung aus der Kognitionswissenschaft in der Größenordnung von zehn Millionen Bit pro Sekunde.1 Sprache und Text verlassen uns mit ungefähr zwölf Byte pro Sekunde. Alles, was je aufgeschrieben wurde, ist ein Versuch, Bruchstücke dieser Flut durch einen Kanal zu pressen, der rund eine Million Mal zu eng für sie ist.

Wenn diese Sicht stimmt, hat sie eine Folge, die meiner Meinung nach für KI sehr viel bedeutet: Sprache zu nutzen setzt das voraus, was am anderen Ende jedes Kompressionsverfahrens sitzt. Es braucht einen Dekompressor. Beim Menschen ist dieser Dekompressor ein Weltmodell, aufgebaut aus Jahren sinnlicher Erfahrung. Große Sprachmodelle müssen eines allein aus Text rekonstruieren, und je länger ich mich mit den Zahlen beschäftige, desto erstaunlicher finde ich, dass das überhaupt funktioniert. Dieser Essay ist mein Versuch, die Kompressionssicht sorgfältig durchzudenken: woher die Zahlen kommen, wie die Geschichte der Schrift durch diese Linse aussieht, und was sie darüber vorhersagt, wo Sprachmodelle stark und wo sie brüchig sein werden.

Wie groß das Missverhältnis wirklich ist

Es lohnt sich, kurz dabei zu bleiben, wie weit die beiden Bandbreiten auseinanderliegen, denn das ganze Argument ruht darauf.

Yann LeCun hat die Eingangsseite wiederholt vorgerechnet: Jeder Sehnerv führt etwa eine Million Fasern mit je etwa zehn Byte pro Sekunde, womit allein das Sehen bei rund 20 MB/s liegt. Eine vorsichtigere Zahl, aus Wilsons Übersichtsartikel von 2000 in Trends in Cognitive Sciences, setzt den gesamten sensorischen Durchsatz bei etwa zehn Millionen Bit pro Sekunde an, rund 1,25 MB/s, wenn man die Verarbeitung vor dem Bewusstsein berücksichtigt. Selbst die vorsichtige Zahl ist enorm, wenn man sie über die Zeit aufsummiert. Ein Wachtag von sechzehn Stunden bei 1,25 MB/s ergibt etwa 72 GB, was gut zu der Schätzung von Bohn und Short an der UC San Diego von 2009 passt, nach der Amerikanerinnen und Amerikaner im Schnitt etwa 34 GB Medien pro Tag konsumierten, und diese Studie zählte nur kuratierte Medien. Rechnet man LeCuns Schätzung für das Sehen über eine Kindheit hoch, zwei Millionen Fasern mit zehn Byte pro Sekunde über rund sechzehntausend Wachstunden, so hat ein vierjähriges Kind allein über die Augen Daten in der Größenordnung eines Petabytes aufgenommen.

Nun die Ausgangsseite. Ein Alphabet aus etwa 22 Buchstaben trägt rund 4,5 Bit pro Buchstabe; ein durchschnittliches englisches Wort aus fünf Zeichen sind etwa 22 Bit; Sprechen mit 150 Wörtern pro Minute ergibt rund 7 Byte pro Sekunde, und LeCuns runde Zahl für Sprache, einschließlich des Kodierungsaufwands, liegt bei etwa 12 Byte pro Sekunde. Teilt man 20 MB/s durch 12 Byte/s, erhält man ein Verhältnis von etwa 1,7 Millionen zu eins. Mit diesem Kompressionsverhältnis kodieren wir die Wirklichkeit routinemäßig und beiläufig in Wörter. Mein erster Impuls, als ich diese Zahlen durchrechnete, war, dass ein so enger Kanal kaum etwas Wertvolles tragen dürfte. Die Zivilisation läuft trotzdem darüber, also muss den Zahlen etwas fehlen.

Die Schrift wurde besser, indem sie entdeckte, was sie weglassen konnte

Durch diese Linse gelesen ist die Geschichte der Schrift eine Folge immer kühnerer Entscheidungen darüber, was nicht festgehalten wird.

Die frühesten festgehaltenen Informationen waren kaum komprimiert. Die Höhlenmalereien von Chauvet, etwa 36.000 Jahre alt, und Lascaux, um 17.000 Jahre, sind Versuche, visuelle Erfahrung als visuelle Erfahrung zu speichern: eine verlustbehaftete Kopie eines Auerochsen, aufwendig herzustellen, begrenzt durch das, was eine einzelne Künstlerin darstellen kann. Der erste echte Sprung war die Erkenntnis, dass diese Detailtreue größtenteils verschwendet war, weil das Publikum dieselbe Umwelt teilt. Man muss nicht jedes Detail eines Hirsches zeichnen für jemanden, der Hirsche gesehen hat. Es genügt, auf den Begriff zu zeigen. Diese Einsicht, dass geteilte Erfahrung erlaubt, Abbildung durch Verweis zu ersetzen, ist der Gründungsschritt der symbolischen Schrift, und sie ist durch und durch eine Einsicht über Kompression.

Von dort brauchte es drei weitere Schritte, verteilt über zweitausend Jahre. Die Proto-Keilschrift in Mesopotamien, um 3500 bis 3000 v. Chr., verdichtete ganze Szenen zu stilisierten Zeichen, eine Garbe für „Getreide“, ein Ochsenkopf für „Ochse“, insgesamt etwa 705 Zeichen, hervorgegangen aus dem Buchhaltungssystem mit Tonmarken, das Denise Schmandt-Besserat bis um 8000 v. Chr. zurückverfolgt hat. Dann, im frühen dritten Jahrtausend v. Chr., machten Schreiber den seltsamen und entscheidenden Schritt, Zeichen für ihren Klang statt für ihre Bedeutung zu verwenden: das Rebusprinzip, ein Bild der Sonne für die Silbe ud. Damit änderte sich still, was komprimiert wurde, von der sichtbaren Welt zur Sprache selbst. Und schließlich, um 1500 v. Chr., fassten das protosinaitische Alphabet und sein phönizischer Nachfahre den gesamten Raum menschlicher Sprachlaute in etwa 22 Symbolen zusammen, ein System, schlank genug, dass gewöhnliche Händler es lernen konnten, und das sich in die griechische, lateinische, arabische und hebräische Schrift ausbreitete.

Jeder Schritt warf mehr von der Oberfläche weg und vertraute mehr dem Empfänger.

Zwei Megabyte Tolkien gegen 150 Gigabyte Film

Hier ist der Vergleich, der mich überzeugt hat, dass die Kompressionssicht mehr als eine Metapher ist. Der Text von Der Herr der Ringe, rund 480.000 Wörter, passt in etwa 2,4 MB.2 Peter Jacksons erweiterte Filmtrilogie läuft etwa elfeinhalb Stunden und belegt auf 4K-Blu-ray ungefähr 150 bis 190 GB. Der Text ist etwa sechzigtausendmal kleiner als der Film derselben Geschichte.

Wäre Text einfach eine verarmte Fassung des Films, dürfte nach einer Reduktion um das Sechzigtausendfache kaum etwas übrig bleiben. Fragt man aber Menschen, die beides kennen, hört man immer wieder dasselbe: Die Bücher wirkten reicher. Das Bruchtal, das sich Leserinnen und Leser im Kopf gebaut haben, übertraf das, für dessen Darstellung ein großes Studio Hunderte Millionen Dollar ausgegeben hat.

Ich glaube, die Auflösung dieses scheinbaren Paradoxons ist die zentrale Tatsache über Sprache. Der Text ist eine Anleitung zur Rekonstruktion, gerichtet an einen Geist, der Sonnenuntergänge, Berge, Dämmerung und Täler bereits enthält. Liest man „Die Sonne ging hinter dem Nebelgebirge unter und warf lange Schatten über Bruchtal“, rendert das Gehirn die Szene: Licht, Farbe, Luft, Architektur, alles aus einem Leben gespeicherter sinnlicher Erfahrung abgerufen. Mein Bruchtal, vermute ich, borgt bei den Wäldern, durch die ich als Kind gestreift bin. Die lesende Person ist der Dekompressor, und der Reichtum liegt auf ihrer Seite.

Das sagt auch, wann Sprache versagt. Was ankommt, ist ungefähr die Schnittmenge aus dem Weltmodell des Autors und dem der Leserin; verloren geht, was der Autor kodiert hat und das Modell der Leserin nicht rekonstruieren kann. Ein Kind, das diesen Satz liest, rendert eine dünnere Szene als ein Erwachsener, weil das Codebuch, das die Szene rendert, dünner ist. Wenn ich eine Publikation über Tunnelmagnetowiderstand lese, dekomprimiere ich sie in Barrierenhöhen und spinabhängige Zustandsdichten; ein Freund außerhalb der Physik bekommt aus demselben Abstract fast nichts, weil die Schnittmenge nahezu leer ist. So gesehen ist standardisierte Bildung ein zivilisatorisches Projekt, kompatible Dekompressoren zu bauen: Lehrpläne, SI-Einheiten, mathematische Notation und Fachsprache gibt es, damit eine Forscherin, die Jahre an Arbeit in ein paar Megabyte Zeitschriftenartikel komprimiert, von einem anderen getreu wieder entpackt werden kann.

Was das über Maschinen vorhersagt, die nur aus Text lernen

Das ist der Teil, der mich eigentlich interessiert. Wenn Sprache zu verstehen heißt, sie zu dekomprimieren, und die Dekompression ein Weltmodell voraussetzt, was geschieht dann, wenn man das Weltmodell aus dem komprimierten Strom selbst bauen will?

Genau das tut ein Sprachmodell, und die Asymmetrie der Daten ist krass. Ein großer Trainingskorpus in der Größenordnung von 10^13 Tokens umfasst etwa 20 TB, ungefähr allen hochwertigen öffentlichen Text im Internet. Allein die visuelle Aufnahme des vierjährigen Kindes lag bei etwa einem Petabyte, fünfzigmal mehr, ohne Hören, Tasten oder Propriozeption mitzuzählen. Ein Mensch, der mit 12 Byte pro Sekunde liest, bräuchte weit über hunderttausend Jahre für den Korpus eines LLM, aber natürlich lernt kein Kind Sprache auf diese Weise. Das Petabyte des Kindes ist es, was den zwölf Byte pro Sekunde etwas gibt, worauf sie zeigen können. Das Modell hat nur die Zeiger und muss das Gelände aus der Statistik erschließen, mit der Zeiger zusammen auftreten. Es ist ein wenig, als wollte man lernen, wie Musik klingt, indem man sehr viele Musikkritiken liest. Die wirklich überraschende empirische Entdeckung des letzten Jahrzehnts ist, wie weit man damit kommt; Text in großer Menge schränkt das Weltmodell offenbar weit stärker ein, als ich vermutet hätte. Trotzdem sagt dieser Rahmen ziemlich genau voraus, wo die Lücken bleiben sollten.

Die Vorhersage lautet: Sprachmodelle sollten dort am stärksten sein, wo der Text fast schon das Gelände ist, und dort am schwächsten, wo der Text eine brutale Kompression von etwas unaufhebbar Sinnlichem ist. Mathematik und Informatik liegen am einen Ende. Beweise, Code, Algorithmen und Datenstrukturen sind selbst Text; die Kompression zwischen dem Gegenstand und seiner Beschreibung ist gering, und das ist, vermute ich, ein großer Teil des Grundes, warum LLMs so schnell zu fähigen Programmierern und Beweisassistenten wurden. Experimentalphysik, Chemie und Biologie liegen nahe am anderen Ende. Das Gefühl für eine Probe unter kryogenen Bedingungen, das Handwissen um nanoskalige Bauelemente, der Blick, der nach genug langen Nächten am Gerät lernt, welche Zacken in einer Transportkurve Physik sind und welche ein lockeres Kabel: Zeitschriftenartikel komprimieren all das brutal, in der Annahme, dass die Leserin dort gestanden hat, wo der Autor stand. Einem Modell, das nie einen Fabrikationslauf hat scheitern sehen, fehlt genau das Codebuch, das diese Publikationen voraussetzen.

Selbst die Alignment-Phase passt in diesen Rahmen, auch wenn ich diese Lesart lockerer halte. Annotierende korrigieren das Modell dort, wo seine Ausgabe von dem abweicht, was ein menschliches Weltmodell erzeugt hätte, und schieben die beiden so, Vergleich für Vergleich, zur Deckung.

Was mich umstimmen würde

Die Schrift hat also fünftausend Jahre lang einen Tausch perfektioniert: Reichtum der Darstellung aufgegeben für Effizienz der Übertragung, bei Verhältnissen, die alles in der digitalen Signalverarbeitung in den Schatten stellen, und der Tausch funktioniert nur, weil jede lesende Person Petabytes sinnlicher Erfahrung als gemeinsames Codebuch mitbringt.

Für KI verschiebt das die Frage, die sich zu stellen lohnt: Wie erwirbt eine Maschine das, worauf Text zeigt? Wenn dieser Essay stimmt, erwarte ich, dass mehr Text die Leistung in Mathematik und Informatik weiter verbessert, wo die Gegenstände selbst Text sind, und dass sich die hartnäckigen verbleibenden Fehler in Experimentalphysik, Chemie und Biologie häufen, deren Literatur verkörperte Erfahrung voraussetzt. Für Materialwissenschaft und Experimentalphysik ist diese Folgerung konkret. Ein Modell, das über Materialien so nachdenken soll wie eine Experimentatorin, wird auf experimentellen Daten selbst trainieren müssen: auf den rohen Messkurven, den Charakterisierungsbildern, den gescheiterten Wachstumsläufen, auf allem, was die Publikationen weggelassen haben, in der Annahme, dass die Leserin am Gerät gestanden hat. Diese Sicht vertrete ich mit mäßiger Zuversicht, und sie ist überprüfbar: Wenn das Lesen von Publikationen allein verlässliche physikalische Intuition hervorbringt, wie Experimentierende sie mitbringen, dann ist der Kompressionsrahmen, so wie ich ihn formuliert habe, irgendwo falsch, und herauszufinden wo, wäre selbst interessant. Bis dahin halte ich die heutigen Modelle für brillante Kartenleser, die nie im Gelände waren.

Footnotes

  1. Wilson (2000), Trends in Cognitive Sciences. Die Zahlen zur sensorischen Bandbreite in diesem Essay sind Abschätzungen der Größenordnung, und die konkreten Werte (LeCuns 20 MB/s für das Sehen, 12 Byte/s für Sprache) sind seine öffentlichen Rechnungen aus seinen Vorträgen. Das Argument braucht nur, dass das Verhältnis enorm ist, und darin stimmen alle Abschätzungen überein. ↩

  2. Die Wortzahlen der Trilogie ohne Anhänge liegen je nach Ausgabe und Zählweise zwischen etwa 455.000 und 481.000; bei rund fünf Byte pro Wort sind das 2,3 bis 2,4 MB, im Einklang mit typischen E-Book-Dateigrößen von 1 bis 2 MB. ↩