Generative KI ist das Tech-Thema der Stunde. Doch was ist daran so neu? Sind die Ängste, die deshalb kursieren, begründet? Und was passiert eigentlich genau, wenn wir uns mit ChatGPT unterhalten? Eine kleine Handreichung, um Substanz und Hype auseinanderzuhalten.
Die neue Erfindung sei „Gift für Autorinnen und Autoren“, so eine Zeitungsüberschrift. Sie stelle eine „Bedrohung für den Lebensunterhalt“ von Forscherinnen, Freelancern und Verlagen dar, so der Artikel weiter. Und zuletzt: „Schriftsteller und Wissenschaftler (…), vereinigt euch! Ihr müsst eure Tantiemen retten.“ Die Rede war nicht von ChatGPT oder anderen KI-Tools. Sondern von Fotokopierern – der Text erschien im Jahr 1963.
Heute kann man über die Sorgen von damals lachen. Doch sie unterscheiden sich im Kern gar nicht so sehr von den derzeitigen Schreckensszenarien. Künstliche Intelligenz (KI), so die Befürchtung, werde ganze Berufsgruppen arbeitslos machen – wenn nicht sogar die Menschheit unterjochen oder gleich auslöschen. Letzteres wurde den Fotokopierern der Sechzigerjahre immerhin nicht unterstellt.
Doch der Untergang drohte schon damals: Durch Kopien könnten Wissenschaftsverlage nicht mehr wirtschaften und einem jungen amerikanischen Forscher könnte dadurch genau das eine Buch fehlen, das „den USA den Vorsprung zur Sowjetunion zum Beispiel im Bereich Raketenforschung oder (…) Nukleartests sichert“. In Debatten über Nutzen und Gefahren neuer Techniken geht es gern um das ganz Große.
So auch in der Diskussion um generative KI, die am 30. November 2022 begann und seitdem anhält. An diesem Tag hatte das offiziell gemeinnützige Unternehmen OpenAI einen Chatbot namens ChatGPT der Öffentlichkeit zugänglich gemacht. Und auch wenn es KI schon seit mehr als einem halben Jahrhundert gibt, passiert gerade etwas Neues. Während KI bislang oft hinter den Kulissen wirkte, machen die neuen Tools sie nun für jede und jeden verfüg- und erlebbar. Dass Google Maps je nach Tageszeit und Verkehr eine andere Route vorschlägt, basiert auch auf einer sehr komplexen und leistungsfähigen KI. Aber dass man sich mit sogenannten > Large Language Models (LLMs, siehe Glossar) unterhalten kann, dass sie auf Knopfdruck die Hausaufgaben lösen oder blitzschnell ein fotorealistisches Bild produzieren – das ist gerade beim ersten Mal ein beeindruckendes Erlebnis.
Dafür ist zum einen die massiv gestiegene Rechenkapazität und Datenmenge verantwortlich, mit der die neueste Generation von KI-Systemen arbeitet. Der größte Unterschied ist jedoch, dass KI-Systeme lange Fachidioten waren. Von ihren Anfängen in den Fünfzigern bis in die Achtzigerjahre arbeiteten sie regelbasiert. Jede Reaktion musste ihnen einzeln beigebracht werden: Wenn Eingabe X, dann Ausgabe Y. Ab den Neunzigerjahren brachten sich die Rechner diese Regeln selbst bei. Man nannte das maschinelles Lernen (ML): Hatte die KI genug Bilder von Elefanten und Toastern gesehen, die auch als solche kenntlich gemacht waren, konnte das ML-System bei einem neuen Bild fortan zwischen beiden unterscheiden. Kam das Bild einer Karotte hinzu, überforderte sie das jedoch. Die besten KI-Systeme dieser Generation mochten Hautkrebs zuverlässiger erkennen als eine Ärztin. Aber sie konnten nichts anderes.
Anwendungen wie ChatGPT sind variabler, sie ersinnen im einen Moment Kochrezepte, programmieren im nächsten Java-Code oder schreiben einen Songtext. Außerdem haben die neuen Modelle ein – zumindest begrenztes – Erinnerungsvermögen und verstehen Zusammenhänge. Sie können auf frühere Antworten im Chat-Verlauf Bezug nehmen. Wer „Was ist die größte Stadt Belgiens?“ und „Wie viele Menschen leben dort?“ nacheinander googelt, erhält auf die zweite Frage keine sinnvolle Antwort. ChatGPT hingegen versteht, was gemeint ist.
Wahrscheinlichkeiten statt Magie
Sind Sie im vorigen Satz über den Ausdruck „versteht“ gestolpert? Zu Recht. Denn auch wenn generative KI erscheinen kann wie Magie: Wirklich verstehen – im Sinne von geistig durchdringen – kann sie nichts. Selbst die neuen LLM-Modelle sind am Ende nur schnelle Wahrscheinlichkeits-Rechner. Vereinfacht funktionieren sie so:
– LLMs zerlegen Sprache nicht in Wörter, sondern in sogenannte > Tokens. Das können Wörter sein, aber auch Satzzeichen sowie Vor- oder Nachsilben.
– Über Milliarden von Trainingsläufen lernt das Modell, welche Tokens ähnliche Bedeutungen haben und wie unterschiedliche Tokens miteinander zusammenhängen.
– In etwa ist das vergleichbar mit Menschen, die Vokabeln und Grammatik einer Sprache lernen. Nur dass ein LLM die Bedeutung oder das Wesen des Tokens „Tisch“ nicht versteht.
– Stattdessen weist es dem Token eine Art Zahlen-ID zu. Es lernt, dass „Tisch“ in einem Bedeutungsraum existiert mit „Stuhl“ oder „Möbel“. Und dass der Begriff häufiger zusammen mit dem Token „der“ oder „zu“ vorkommt als mit dem Token „Kralle“ oder „Pottwal“.
– Gibt man dem LLM nun einen Auftrag, zerlegt es diese Anfrage in Tokens, um sie zu verarbeiten.
– Die Antwort wird wiederum Token für Token streng nach Wahrscheinlichkeit aufgebaut. Auf die Frage „Wie heißt du?“ ist die Wahrscheinlichkeit sehr hoch, dass der erste Token „Ich“ lauten sollte.
– In einem Prozess, der Autoregression genannt wird, ergänzt das Modell Token für Token. Im obigen Beispiel würde es sich also fragen, was der wahrscheinlichste nächste Token nach „Ich“ wäre, wenn die Frage „Wie heißt du?“ lautete. Antwort: „heiße“.
Dieser Vorgang geht rasend schnell, erfolgt aber nicht immer nach den exakt gleichen Kriterien. Deshalb kann es passieren, dass ein LLM auf denselben > Prompt unterschiedlich antwortet. Dass die Antworten letztlich auf statistischen Häufigkeiten basieren statt auf einem inhaltlichen Verstehen, erklärt auch, warum beispielsweise Texte von ChatGPT oft wenig originell klingen. Sie sind der kleinste gemeinsame Nenner von Sprache. Das Naheliegendste. Auch dass die Texte manchmal faktische Fehler enthalten, liegt daran. Denn die KI „weiß“ nicht, was 1789 stattfand. Sie hat diese Jahreszahl in ihrem gigantischen Textkorpus nur häufig in der Nähe des Begriffs „Französische Revolution“ gefunden. Bei weniger eindeutigen Zusammenhängen liegt sie deswegen öfter daneben, wie man schnell herausfinden kann, wenn man nach Themen fragt, bei denen man sich selbst gut auskennt.
Weiterlesen auf brandeins.de …
Text: Christoph Koch
