Inhaltsverzeichnis

Die Formeln und Verfahren, um die es in diesem Artikel geht, wirken auf den ersten Blick sperrig. Der Gedanke dahinter ist es nicht. Er lässt sich beschreiben, ohne ein einziges Rechenzeichen zu verwenden, und dieses Kapitel tut das bewusst, bevor die folgenden Abschnitte die einzelnen Schritte präzise ausführen. 

Den Ausgangspunkt bildet ein Problem, das jeder aus der Praxis kennt. Eine Suche nach dem Begriff „Verschlüsselungstrojaner“ findet ein Dokument nicht, in dem durchgehend von Ransomware die Rede ist, obwohl es sich um denselben Sachverhalt handelt. Klassische Suchverfahren vergleichen Zeichenketten. Sie erkennen, ob ein Wort vorkommt, aber nicht, wovon ein Text handelt. Für eine Wissensbasis, aus der ein Sprachmodell zuverlässig Belege ziehen soll, reicht das oft nicht aus. 

Die Antwort darauf besteht darin, jedem Textabschnitt eine Position zu geben. Man kann sich das wie eine sehr große Landkarte vorstellen, auf der jeder Abschnitt einer Dokumentensammlung als Punkt eingetragen ist. Texte, die inhaltlich zusammengehören, liegen auf dieser Karte nahe beieinander; thematisch entfernte Inhalte liegen weit auseinander. Eine Suchanfrage wird nach denselben Regeln eingetragen, und das System sieht dann nach, welche Punkte in ihrer Umgebung liegen. Ob die gefundenen Texte dieselben Wörter enthalten, spielt dabei keine Rolle mehr. 

Eine Position auf einer Landkarte wird durch zwei Zahlen beschrieben, Länge und Breite. Genau das ist ein Embedding, nur mit sehr viel mehr Zahlen: eine Liste von Koordinaten, die einen Punkt festlegt. Statt zwei Angaben sind es je nach Modell einige hundert oder mehrere tausend. Ein solcher Raum lässt sich nicht mehr anschaulich vorstellen, und das ist auch nicht nötig. Für Abstände und Richtungen gelten dort dieselben Rechenregeln wie in einer Ebene, nur eben mit mehr Koordinaten. Wichtig ist allein, dass die einzelnen Zahlen für sich genommen nichts bedeuten. Es gibt keine Spalte, in der steht, wie technisch oder wie aktuell ein Text ist. Aussagekraft besitzt ausschließlich die Lage eines Punktes im Verhältnis zu allen anderen. 

Wer diese Positionen vergibt, ist ein trainiertes Modell. Damit ist auch gesagt, worauf die ganze Konstruktion beruht: Nähe auf dieser Karte ist kein objektiver Befund, sondern das Urteil eines bestimmten Modells darüber, was zusammengehört. Ein anderes Modell zeichnet eine andere Karte. Dass zwei Texte nahe beieinanderliegen, heißt deshalb, dass sie einander nach Einschätzung dieses Modells ähneln, und nicht, dass einer von beiden die Frage richtig beantwortet. 

Bleibt die Frage, wie man in einer Sammlung von Millionen Punkten die nächstgelegenen findet. Jeden einzelnen Abstand auszurechnen wäre zwar exakt, aber mit wachsendem Bestand zu aufwendig. Die üblichen Verfahren gehen deshalb vor wie jemand, der in einer großen Bibliothek sucht: erst grob in die richtige Abteilung, dann in das passende Regal, dann in das Fach. Man betrachtet nicht mehr jedes Buch, sondern nur noch einen kleinen Teil des Bestands, und wird dadurch erheblich schneller. Der Preis dafür ist, dass ein passendes Buch in einer nicht betretenen Abteilung stehen kann und dann unentdeckt bleibt. 

Dieser Preis ist der eigentliche Grund, warum das Thema für RAG-Architekturen zählt. Ein Textabschnitt, der bei der Suche nicht gefunden wird, erreicht das Sprachmodell nicht und kann von ihm auch nicht ergänzt werden. Fehlerhafte oder unvollständige Antworten haben ihre Ursache deshalb häufig nicht im Modell, sondern in einem Suchschritt, der die richtige Stelle nie betrachtet hat. 

Die folgenden Kapitel führen diese Bilder in ihre technische Form über. Sie zeigen, wie Embeddings entstehen, mit welchen Funktionen sich Nähe berechnen lässt, wie die Abkürzungen bei der Suche im Einzelnen aufgebaut sind und welche Stellschrauben darüber entscheiden, wie viel Genauigkeit gegen Geschwindigkeit eingetauscht wird. Neue Sachverhalte kommen dabei nicht hinzu; es geht um die genaue Beschreibung dessen, was hier bereits umrissen ist.