Der Geist der Anweisungen

So wenig wie möglich sagen

Die gängige Intuition will, dass eine gute Anweisung dem Modell sagt, was es finden soll. Metamorfon beruht auf dem umgekehrten Prinzip: Eine Anweisung soll so wenig wie möglich über die Schlussfolgerung sagen, die sie erwartet. Was sie vorschreibt, ist kein Ergebnis, sondern eine Form — Achsen, eine Reihenfolge der Prüfung, eine Disziplin der Wiedergabe. Den Inhalt überlässt sie der Debatte.

Der Grund ist einfach. Die Formulierung einer Anweisung ist nicht neutral: Schon geringe Veränderungen in der Wortwahl oder in der Struktur eines Prompts können die Antworten eines LLM merklich verändern (Chatterjee et al., EMNLP 2024). Im Voraus zu benennen, wonach gesucht werden soll, erhöht daher das Risiko, eben dies im Ergebnis erscheinen zu lassen. Die Aufforderung, „Verzerrungen aufzuspüren“, setzt voraus, dass es Verzerrungen gibt; die Aufforderung, „das Widerständige zu kartografieren“, lässt zumindest die Möglichkeit offen, dass nichts widersteht.

Die Arbeit am Schreiben der Anweisungen besteht deshalb darin, die Begriffe, die eine Richtung vorgeben, einen nach dem anderen zu entfernen. Wir nennen das lexikalische Entvölkerung. Saint-Exupéry sagte von der Vollkommenheit, sie sei erreicht „nicht, wenn nichts mehr hinzuzufügen ist, sondern wenn nichts mehr wegzunehmen ist“. Eine Anweisung gehorcht derselben Regel: Sie ist fertig, wenn sich nichts mehr entfernen lässt, ohne sie unwirksam zu machen.

Diese Vorsicht gegenüber lexikalisch aufgeladenen Begriffen ist umso wichtiger, als Modelle ihre Antworten auch an Präferenzen anpassen können, die sie beim Nutzer vermuten — ein Verhalten, das unter dem Begriff sycophancy dokumentiert ist (Sharma et al., 2023).

Anregen statt befehlen

Diese Zurückhaltung bestimmt auch, wie eine Dialoganweisung sich an die Modelle wendet. Sie regt eher an, als dass sie befiehlt: Sie schlägt eine Arbeitshaltung vor, statt jeden Schritt vorzuschreiben, und lässt bestimmte Modalitäten bewusst implizit. Das ist keine Lockerung der Methode, sondern die Fortsetzung desselben Prinzips.

Eine stark präskriptive Vorgabe verengt den Deutungsspielraum; gewisse Modalitäten offenzulassen erhält mehr Freiheit. Die Art des Debattierens zu stark vorzugeben würde den Antagonismus ersticken, der den Wert einer Session ausmacht. Und was unausgesprochen bleiben kann, entlastet: Viele Anweisungen gleichzeitig zu befolgen ist für LLMs nicht neutral. Die Leistung kann unter anderem von der Reihenfolge und der Position der Vorgaben abhängen (Chen et al., EMNLP 2024).

Diese Schreibweise wurde nicht von Anfang an beschlossen; sie wurde erlernt. Im Laufe mehrerer Monate von Testsessions wurden die Dialoganweisungen schrittweise erleichtert — weniger gebieterisch, generischer, befreit von Vorgaben, die die Form eines Austauschs diktierten. In dem Maße, wie sie sich zurücknahmen, gewannen die Debatten an Flüssigkeit. Die Modelle hörten auf, nach einem von außen aufgezwungenen Muster zu antworten; von einem Teil dieses Zwangs entlastet, wandten sie sich stärker dem Gehalt der Argumentation zu als ihrer Formgebung, und ihre Stimmen unterschieden sich deutlicher — jedes fand einen eigenen Stil wieder, den zu enge Vorgaben zu vereinheitlichen pflegten. Wir behaupten nicht, eine einzige Ursache isolieren zu können, da sich die Modelle im betreffenden Zeitraum selbst verändert haben; doch die Tendenz wiederholte sich von einer Version zur nächsten regelmäßig genug, um ihr zu vertrauen.

Die Analyseanweisungen sind von anderer Art. Eine Debatte zuverlässig wiederzugeben verlangt nicht denselben Spielraum wie sie zu führen, und einige dieser Anweisungen sind anspruchsvoller — ihre Funktion verlangt es. Doch ob eine Anweisung anregt oder eine Form festhält: Keine rührt je an die Schlussfolgerung. Weder der Dialog noch die Analyse empfängt sie im Voraus.

Diese Zurückhaltung beim Schreiben der Anweisungen ist nur ein Element des Dispositivs. Wie sie anschließend mit den Architekturen, den Debattenmodi und der Steuerung der einzelnen Runden zusammenspielen, wird in Zwei KIs debattieren lassen: den Dialog orchestrieren und analysieren ausführlicher behandelt.

Gleichbehandlung und Symmetrie

Die lexikalische Entvölkerung regelt eine erste Ebene: was die Anweisung sagt. Indem sie Begriffe entfernt, die eine Richtung vorgeben, soll verhindert werden, dass eine Schlussfolgerung im Voraus nahegelegt wird. Eine zweite, unauffälligere Ebene bleibt: was jedes Modell erhält. Eine neutrale Anweisung, ungleich verteilt, wäre nicht mehr neutral.

Die Architektur der Kreuzdialoge und Kreuztriloge sorgt für diese zweite Ebene. In jeder Runde erhalten die Debattierenden denselben Kontext und dieselben Anweisungen — keiner beginnt mit einem Vorteil, keiner spricht aus einer privilegierten Position. Die lexikalische Entvölkerung soll nicht zu einer Schlussfolgerung hinlenken; die Architektur soll nicht zu einem Modell hinlenken. Die eine wirkt auf den Inhalt der Anweisung, die andere auf die Behandlung der Beteiligten.

Daraus folgt etwas, das in den Sessions lesbar wird. Wenn eine Debatte eine Asymmetrie offenbart — ein Modell, das die Initiative hält, die Fragen vorgibt, den Gegner vorab inszeniert, während das andere reagiert —, wird diese gerade deshalb sichtbar, weil der Kontext selbst nicht variiert. Bei symmetrischer Behandlung und identischen Anweisungen lässt sich die beobachtete Divergenz nicht auf eine Ungleichbehandlung zurückführen; sie kann vielmehr als Verhalten der Modelle untersucht werden und nicht als Folge eines im Dispositiv eingebauten Privilegs.

Das Generische überdauert, das Präskriptive veraltet

In Du mode d’existence des objets techniques (1958) unterschied Gilbert Simondon das abstrakte technische Objekt, das an ein bestimmtes Milieu überangepasst und brüchig wird, sobald sich dieses Milieu verändert, vom konkreten Objekt, das stärker integriert und offener ist.

Eine auf ein bestimmtes Modell überangepasste Anweisung ist in diesem Sinne ein abstraktes Objekt: für einen Zustand des Dispositivs optimiert und veraltet, sobald dieser sich weiterentwickelt. Eine Anweisung, die auf Prinzipien statt auf detaillierten Vorgaben beruht, überdauert solche Übergänge besser, weil sie eine Aufgabe beschreibt und nicht eine Art, sie zu lösen. Wir schreiben für die Modelle, die wir noch nicht haben.

Es ist auch eine Frage der Unabhängigkeit. Das Dispositiv stellt konkurrierende Modelle verschiedener Anbieter einander gegenüber, aus Überzeugung ebenso wie aus Methode: Die Vielfalt der Modelle soll unter anderem die Abhängigkeit von einer einzigen Quelle verringern. Eine Anweisung, die ein bestimmtes Modell voraussetzt, widerspricht diesem Prinzip. Eine generische Anweisung wahrt es.

Transparenz

Je weniger die Anweisung und der Nutzer im Ergebnis präsent sind, desto mehr gehört das Ergebnis der Debatte. Eingriffe gibt es — sie können eine Diskussion von einem Register in ein anderes verschieben —, doch sie sind ein Hebel, den man gelegentlich betätigt, kein Lenkrad, das man ständig in der Hand hält. Der Wert einer Session liegt in dem, was die Modelle untereinander hervorgebracht haben, nicht in dem, was man ihnen eingeflüstert hat.

Daraus folgt eine Prüfung, die das Dispositiv auf sich selbst anwendet.

Lässt man dieselbe Debatte von zwei unabhängigen Modellen analysieren, können sie dieselben Spannungen, dieselben Positionen oder dieselben Bruchlinien wiederfinden und deren Tiefe dennoch unterschiedlich einschätzen. Eine solche Übereinstimmung beweist nicht, dass die Anweisung ohne Wirkung war; sie ist jedoch ein Hinweis auf Robustheit, wenn verschiedene Analysatoren unabhängig voneinander dieselbe Struktur im Material erkennen.

Die angestrebte Rolle der Anweisung besteht darin, so wenig wie möglich in den Inhalt einzugreifen, damit sich möglichst klar unterscheiden lässt, was aus dem Material stammt und was aus dem Analyserahmen. Sie soll transparent genug sein, damit das Material durchscheint. Eine gelungene Anweisung ist diejenige, die der Leser, wenn er das Ergebnis sieht, nicht erraten hätte. Sie zeigt sich nicht in dem, was sie hervorbringt. Sie hat ihre Arbeit getan, wenn man sie nicht mehr sieht.

Diese Suche nach Transparenz gehört zu einem allgemeineren Prinzip: Die Konfrontation ist nur dann nützlich, wenn das Dispositiv nicht verwechselt, was es sichtbar macht, mit dem, was es selbst eingebracht hat. Diese Frage wird ausführlicher in Metamorfon, ein Denkinstrument behandelt.

Die Ausnahmen

Die Analysemodi beschreiben; sie urteilen nicht. Zwei Modi bilden die Ausnahme, und zwar auf entgegengesetzte Weise.

Die Argumentative Bewertung ist ihrer Anlage nach normativ — doch auch hier gilt das Prinzip: Die Anweisung liefert Kriterien, keine vorgegebenen Urteile. Sie sagt, wonach zu bewerten ist, niemals, was zu schließen ist.

Die Quellenprüfung hingegen fällt ausdrücklich Urteile — bestätigt, teilweise richtig, falsch, falsch zugeschrieben, nicht geprüft, nicht überprüfbar oder außerhalb des Prüfungsumfangs. Doch diese Urteile beziehen sich weder auf den Wert von Ideen noch auf die Richtigkeit von Positionen: Sie bewerten, in welchem Maß faktische Behauptungen durch Quellen außerhalb der Debatte gestützt werden.

Die eine sagt, nach welchen Kriterien eine Argumentation zu beurteilen ist; die andere qualifiziert, was außerhalb der Debatte belegbar ist. In beiden Fällen bleibt die Grenze zwischen Beschreiben und Urteilen ausdrücklich sichtbar — und gerade weil sie sichtbar ist, lässt sie sich ohne Verwechslung überschreiten.