Vektorräume

Das Fundament der KI

In diesem Beitrag bringen wir ihnen ein Kernelement des Transformer-Modells näher. Anhand anschaulicher Beispiele erläutern wir Schritt für Schritt, wie es möglich ist, dass eine Maschine uns Menschen verstehen kann.

Dabei unterscheidet sich dieses „Verstehen“ natürlich vom menschlichen Verständnis, beruht es doch auf reiner Mathematik. Aber arbeitet unser Gehirn am Ende nicht ganz genau so?

Tatsache ist, dass sich die moderne KI viele ihrer Funktionsweisen vom menschlichen Gehirn abguckt und damit inzwischen erstaunliche Erfolge erzielt.

Die aktuellen Large Language Models basieren auf dem Transformer Modell, welches der Google Mitarbeiter Ashish Vaswani erstmal 2017 in der heutigen Form beschrieben hat. Transformermodelle sind in der Lage, ihren Input – vor allem Text – in Vektoren umzuwandeln. Dabei wird zunächst der Eingabetext in Tokens zerlegt.

Ein Token entspricht häufig einem Wort, kann aber auch kürzer sein. Die großen Sprachmodelle kommen mit weniger als 200.000 verschiedenen Tokens aus für Millionen von Wörtern in nahezu allen Sprachen der Welt. Jeder Token erhält anschließend einen Vektor im semantischen Raum. Diesen Vorgang der Umwandlung von Sprache in Vektoren nennt man „Embedding“.