🌐 3D Embedding-Raum + Positional Encoding
Rote Pfeile zeigen die Positionsvektoren, die zu den Embeddings addiert werden
🖱️ Linke Maustaste: Drehen | Rechte Maustaste/Zwei Finger: Verschieben | Mausrad: Zoomen
💡 Was sind Embeddings & Positional Encodings?
Embeddings sind numerische Repräsentationen von Wörtern. Anstatt Wörter als diskrete Symbole zu behandeln,
werden sie als Vektoren (Arrays von Zahlen) in einem hochdimensionalen Raum dargestellt.
- Embeddings erfassen Bedeutung: Ähnliche Wörter gruppieren sich zusammen (z.B. "Katze" und "Hund")
- Aber Embeddings ignorieren Position: "Katze Hund" und "Hund Katze" würden identisch aussehen!
Positional Encodings lösen dieses Problem, indem sie Positionsinformationen zu jedem Embedding hinzufügen:
PE(pos, 2i) = sin(pos / 10000^(2i/d))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d))
- Jede Position erhält ein einzigartiges Muster: Position 0, 1, 2... haben jeweils unterschiedliche Encodings
- Nutzt Sinus/Kosinus-Wellen: Verschiedene Frequenzen erzeugen einzigartige Signaturen
- Wird zu Embeddings addiert: Final = Embedding + Positional Encoding
In der Visualisierung: Beobachte, wie identische Wörter (wie "die") sich zu verschiedenen Positionen bewegen, wenn
Positional Encoding AN ist. Die roten Pfeile zeigen die Positionsvektoren, die addiert werden!
💭 Probiere: Tippe "Katze Hund Katze" - beachte, dass die zwei "Katze"-Tokens bei aktiviertem Encoding an unterschiedlichen Positionen landen!