Die Tripelstruktur des Sinns im Transformer

In Gewohnte Gleichzeitigkeiten wird Sinn als Kraft bestimmt, die wir vermuten, wenn Gleichzeitigkeiten gleichartiger Ereignisse wiederholt aufeinander folgen → GG Rn 27. Daraus ergibt sich eine Tripelstruktur aus Art, Folge und Zugleichsein → GG Rn 29. Dieses Experiment fragt, ob sich diese Struktur in einem Sprachmodell wiederfinden lässt.

Die These lautet: Der Attention Sink eines Transformers – der Ort, an dem ein Attention-Kopf seine Aufmerksamkeit ablädt, wenn im Kontext nichts resoniert – ist eine verdrängte Asynchronizität. Er wäre damit das technische Gegenstück zu jener Sinnvergessenheit, die nach einem Sinn sucht → GG Rn 35, und zur Asynchronizität als Koinzidenz verschiedenartiger Momente → GG Rn 44.

Um die Dimensionen des Sinns einzeln zu prüfen, werden sie in fünf Bedingungen gezielt zerstört:

Gemessen werden die Sink-Masse (der Anteil der Aufmerksamkeit eines Kopfes, der auf das Start-Token fällt), die Entropie der Ausgabeverteilung als Asynchronizität auf der Ausgabeseite und der Loss als Kontrolle, ob die Bedingungen wirken.

Jede Untersuchung beginnt mit einem Pilotlauf auf eigenem Korpus und eigenem Seed, der nicht in die Hypothesentests einfließt. Danach werden Hypothesen, Entscheidungsregeln und Parameter präregistriert und committet, bevor der Hauptlauf startet. Die Hauptläufe verwenden GPT-2 und Pythia-160M; über die Trainings-Checkpoints von Pythia lässt sich verfolgen, wie sich der Sink im Lauf des Trainings herausbildet – die Frage nach der Gewohnheit, die eine Warte erst aufbaut → GG Rn 8.

Weil beide Modelle Wikipedia und viele Webtexte im Training gesehen haben, stammen die kohärenten Texte für Replikationen aus Wikipedia-Artikeln, die erst nach Ende 2023 angelegt wurden. Statistisch werden einseitige Permutationstests, Bootstrap-Konfidenzintervalle und eine Korrektur für multiples Testen verwendet.

Das Projekt läuft. Bisher sind sieben Präregistrierungen festgehalten:

• Hauptlauf mit den Hypothesen H1 (Asynchronizität), H2 (Dissoziation von Art und Folge) und H3 (Genese im Training)
• Präregistrierung 2: Abweichung von H3
• Präregistrierung 3: Replikation des Hauptlaufs mit Wikipedia-Korpus
• Präregistrierung 4: Kontrollbedingung C0
• Präregistrierung 5: Valenz-Inkongruenz und Rekognition im Begriff
• Präregistrierung 6: Die faktorielle Ablations-Triade
• Präregistrierung 7: Ontogenese des Sinns durch Gewohnheit (Training)

Ergebnisse werden hier erst veröffentlicht, wenn die jeweiligen Läufe abgeschlossen und geprüft sind. Bis dahin liegen Code, Präregistrierungen und Rohdaten im Repository.

Die Hausarbeit führt die Warte als zeitliche Invarianz ein, an der ein Phänomen nicht mechanisch registriert, sondern erblickt wird: Es erhält eine Wertung, einen unterstellten Urheber und eine Schätzung seiner Dauer → GG Rn 31 → GG Rn 32. Ein Attention-Kopf lässt sich als eine solche Warte lesen: Er bestimmt, welche Positionen zueinander passen (Art), in welcher Ordnung sie stehen (Folge) und was zu einer gemeinsamen Repräsentation zusammengefasst wird (Zugleichsein).

Das Experiment übersetzt damit die begriffliche Zusammenführung aus Kapitel 4 → GG Kap. 4 und die Überlegungen zur Asynchronizität aus Kapitel 5.4 → GG Kap. 5.4 in überprüfbare Vorhersagen. Bestätigt sich die These nicht, ist der Sink eine inhaltsunabhängige Gewohnheit des Modells – auch das wäre ein Befund über die Grenzen der Übertragung von Synchronizität und Gleichzeitigkeit auf Maschinen.