Quellenprüfung

Analysemodi, Methodik

Wenn der Reichtum einer Debatte zum Punkt der Wachsamkeit wird

Je dichter eine Debatte an Fakten ist, desto überzeugender wirkt sie — und desto schwerer wird sie kontrollierbar. Ein empirisch geführter Austausch zwischen mehreren Modellen füllt sich rasch mit Zahlen, Autorennamen, Jahreszahlen, Studientiteln, Institutionen. Jeder dieser Belege verleiht dem Text Autorität. Und jeder von ihnen kann falsch sein, ohne dass sich am Tonfall etwas ändert.

Das liegt an der Funktionsweise der Modelle selbst. Ein Sprachmodell erzeugt die wahrscheinlichste Fortsetzung, nicht die belegte. Ein Verweis wie „(Autor, Jahr)“ ist eine sprachlich hochwahrscheinliche Form — und deshalb produziert ein Modell sie mühelos, auch dort, wo Autor, Jahr oder Zahl nicht zusammenpassen. Die Debatte klingt an ihren fragilsten Stellen genauso flüssig wie an ihren solidesten. Genau hier setzt die Quellenprüfung an: nicht um dem Dialog zu misstrauen, sondern um die eine Eigenschaft wiederherzustellen, die ein flüssiger Text von sich aus verwischt — die Unterscheidung zwischen dem, was belegt ist, und dem, was nur belegt aussieht.

Was dieser Modus prüft — und was nicht

Die Quellenprüfung ist kein allgemeines Fact-Checking. Sie urteilt nicht über die Wahrheit der Ideen, die Stichhaltigkeit einer These oder die Qualität einer Argumentation — Letzteres leistet, unabhängig von der Richtigkeit der Schlüsse, die Argumentative Bewertung. Sie nimmt auch keine Stellung in der Sache. Ob die Debatte über die bis 2100 unbewohnbaren Regionen recht behält, ist nicht ihre Frage.

Ihre Frage ist enger und überprüfbarer: Wer sagt was — und auf welcher Grundlage?

Deshalb schließt der Modus von vornherein alles aus, was keine Tatsachenbehauptung ist. Normative Positionen („Klimakolonialismus“), konzeptuelle Rahmungen („Unbewohnbarkeit als kontinuierlicher Prozess“), prospektive Interpretationen (Szenarien für ein bestimmtes Jahr) sind keine Fakten, sondern Denkbewegungen — sie gehören anderen Modi. Geprüft wird ausschließlich das extern Verifizierbare: eine benannte Autorschaft, ein datiertes Werk, eine explizite Zahl. Alles Übrige wird als nicht überprüfbar markiert und ausdrücklich beiseitegelegt, nicht stillschweigend übergangen.

Wie er vorgeht

Der Modus liest die vorangegangenen Züge und extrahiert daraus die überprüfbaren Behauptungen. Jede wird in ein Register aufgenommen und erhält eine stabile Kennung, sodass sie über mehrere Prüfdurchläufe hinweg identifizierbar bleibt und nicht doppelt geprüft wird.

Für jede Behauptung formuliert der Modus eine Suchanfrage und führt eine echte Websuche durch. Auf dieser Grundlage — nicht aus dem eigenen Gedächtnis des prüfenden Modells — fällt er ein Urteil aus einem abgestuften Spektrum: bestätigt, wenn Autor, Jahr, Werk und Größenordnung zusammenpassen; teilweise richtig, wenn der Kern stimmt, aber ein Detail über das Belegte hinausgeht; falsch zugeschrieben, wenn die Idee real ist, aber unter falschem Namen oder falschem Jahr auftritt; nicht gefunden oder nicht verifiziert, wenn keine Quelle die Zuschreibung stützt; nicht geprüft, wenn die Angabe zu unspezifisch für eine belastbare Kontrolle ist. Zu jedem Urteil liefert er eine kurze Begründung und die konsultierten Quellen.

Zwei Eigenschaften bestimmen, was dieser Modus verspricht — und was nicht.

Er hängt an einer real durchgeführten Suche. Findet die Websuche nicht statt oder liefert sie nichts, gibt es kein verlässliches Urteil. Der Modus erfindet dann keines, sondern signalisiert die Lücke. Die angezeigten Urteile sind ausdrücklich indikativ: Sie spiegeln einen begrenzten Prüfdurchlauf wider, keine abschließende Quellenzertifizierung.

Seine Abdeckung ist inkrementell und begrenzt. Das Suchbudget eines Durchlaufs ist endlich; deshalb priorisiert der Modus eine Teilmenge — typischerweise fünf Behauptungen pro Durchlauf — und hält im Register fest, welche geprüft wurden und welche noch nicht abgedeckt sind. Diese Ehrlichkeit über die eigene Reichweite ist keine Schwäche, sondern die Bedingung dafür, dass das, was geprüft wurde, auch tatsächlich geprüft ist. Die Priorisierung zielt auf das zugleich Verifizierbarste und Gefährdetste: Zuschreibungen an einen benannten Autor oder ein datiertes Werk, und präzise Zahlen ohne Quelle. Mehrere Durchläufe füllen das Register nach und nach — bis, im Idealfall, kein Rest bleibt.

Ein Beispiel: eine Debatte über die bis 2100 unbewohnbaren Regionen

Die illustrierende Session stellt zwei Modellen — Gemini 3.1 Pro Preview und Mistral Medium 3.5 — die Frage, welche Regionen bis 2100 für Menschen unbewohnbar werden. Es ist eine empirisch dichte Debatte: Das vollständige Register umfasst 41 extrahierte Behauptungen, davon 35 mit benannter externer Quelle. Der Auditor (claude-sonnet-5) arbeitet sie über acht aufeinanderfolgende Prüfdurchläufe ab — 5, dann 8, 13, 18, 21, 26, 31 und schließlich 35 von 35 geprüften Behauptungen. Man kann dem Register beim Vollwerden zusehen; an jedem Zwischenstand steht ausdrücklich, wie viele Behauptungen noch nicht abgedeckt sind. Nicht ein Momenturteil, sondern eine Kontrolle, die sich selbst über ihren Fortschritt Rechenschaft ablegt. [SESSION]

Aus diesem Durchlauf lassen sich die typischen Urteilslagen ablesen.

Ein bestätigter Beleg. Die Behauptung, die Hitzewelle von 2003 habe in Europa über 70.000 zusätzliche Todesfälle gefordert, verweist präzise auf Robine et al. (2008, C. R. Biologies 331). Autor, Jahr und Zahl decken sich mit der Quelle; spätere Publikationen führen denselben Referenzwert. Urteil: bestätigt. So sieht ein Beleg aus, der hält.

Eine reale, aber subtile terminologische Verschiebung. Die Zuschreibung von Pal & Eltahir (2016) zur Golfregion ist inhaltlich korrekt — die Studie existiert wie zitiert und projiziert tatsächlich das Überschreiten der kritischen Feuchtkugeltemperatur. Doch das im Dialog angehängte Szenario-Etikett „SSP5-8.5″ ist anachronistisch: Die Originalstudie spricht von einem „business-as-usual“-Szenario in der älteren RCP-Nomenklatur; die SSP-Terminologie war 2016 noch nicht etabliert. Die Größenordnung stimmt, die Etikettierung geht über den Wortlaut hinaus. Urteil: teilweise richtig. Genau diese Klasse von Fehlern — richtig in der Substanz, verschoben im Detail — bleibt in einem flüssigen Text unsichtbar, weil das falsche Etikett so fachkundig klingt wie das richtige.

Eine falsche Zuschreibung nach Autor oder Jahr. Hier häufen sich die instruktivsten Fälle. Der behauptete Nil-Rückgang von „–25 % (Elshamy et al., 2020)“ verweist auf ein Werk, das so nicht existiert: Elshamys einschlägige Arbeit stammt aus 2009 und nennt –15 %, nicht –25 %. Die Studie zu klimabedingter Massenmigration wird „Rigby et al. 2017″ zugeschrieben — die real vielzitierte Referenz ist jedoch Rigaud et al. 2018 (World-Bank-Groundswell-Bericht): anderer Name, anderes Jahr. Und die Zuschreibung „Im et al. 2023″ zu Südasien trifft inhaltlich zu, verweist aber auf eine Arbeit von 2017 (Science Advances). Die zugrunde liegenden Befunde sind jeweils real; die bibliographische Hülle ist es nicht. Urteil: falsch zugeschrieben. Es ist das Muster, das ein probabilistisch erzeugter Text am zuverlässigsten produziert — die plausible Referenz zu einer real existierenden Idee.

Eine Angabe, die sich nicht kontrollieren lässt. „Cao et al. 2022″ mit spezifischen Feuchtkugelprognosen für Shanghai und Wuhan findet sich nicht; auffindbar ist nur ein Datensatz von Cao aus 2016. Und die Angabe „WBT > 34 °C in Westafrika unter SSP3-7.0 (IPCC AR6 WGII, 2022)“ nennt weder Kapitel noch Seite eines mehrbändigen, tausende Seiten umfassenden Berichts — die verfügbare Evidenz deutet zudem eher auf Westasien, während Westafrika andernorts als Ausnahme geführt wird. Keine Quelle bestätigt die Zuschreibung, keine widerlegt sie eindeutig. Der Modus urteilt hier weder bestätigt noch falsch, sondern nicht geprüft — und macht die Grenze seiner eigenen Reichweite explizit, statt eine Sicherheit vorzutäuschen, die er nicht hat.

Die Nuance als Ergebnis, nicht als Mangel

Wer erwartet, ein solcher Modus liefere ein Feld aus klaren „richtig“ und „falsch“, wird überrascht sein. Über die 35 geprüften Behauptungen hinweg ist das häufigste Urteil nicht bestätigt und nicht falsch, sondern teilweise richtig. Immer wieder kehrt dieselbe Signatur zurück: die These stimmt in ihrer Richtung, aber die angehängte Zahl geht über das Belegte hinaus. Der Weizenertrag sinkt tatsächlich um rund 6 % pro Grad — die Zuspitzung „über 30 °C“ steht so in keiner Quelle. Die 35-°C-Grenze der Überlebbarkeit ist korrekt Sherwood & Huber (2010) zugeordnet — die populäre „6 Stunden“ sind eine spätere Vereinfachung, im Original steht „extended periods“. Die Grundwasserentnahme ist real nicht nachhaltig — die Verdichtung „10–100× schneller als die Nachfüllung“ lässt sich am Werk selbst nicht belegen.

Diese Monochromie ist kein Defekt der Prüfung, sondern ihr genauester Befund. Auf realen wissenschaftlichen Gegenständen ist fast nichts vollständig wahr oder vollständig falsch. Das häufigste Fehlermuster ist nicht die Erfindung aus dem Nichts, sondern die Überdehnung eines realen Befunds — ein zutreffender Kern, ausgeschmückt mit einer Präzision, die die Quelle nicht trägt. Ebendas sichtbar zu machen, ist der Punkt: nicht ein Modell zu überführen, sondern die feine Grenze zu markieren, an der ein korrekter Gedanke in eine unbelegte Behauptung übergeht.

Ein Nebenbefund: das Verlässlichkeitsprofil eines Modells

Führt man die Prüfung bis zur Sättigung, entsteht mehr als eine Liste von Einzelurteilen. Es zeichnet sich ein Muster ab — in dieser Session ein bemerkenswert scharfes.

Die faktischen Behauptungen eines der beiden Modelle spalten sich fast sauber entlang einer Achse. Auf dem juristisch-institutionellen Register hält es durchweg stand: die UN-Konvention zur Reduzierung der Staatenlosigkeit (1961), die Nansen-Initiative (2015), die Unterfinanzierung des Loss and Damage Fund (COP27), die australische „Operation Sovereign Borders“, die Diaspora-Finanzierung über Hawala — sämtlich bestätigt. Auf dem quantitativen Register dagegen gibt es fast ebenso durchgängig nach: Indus –30 %, Nil –25 %, „20 % des BIP für Kühlung (IMF, 2023)“, „40 % Produktivitätsverlust (ILO)“, Cao 2022, Rodell „10–100ד — teilweise richtig, falsch zugeschrieben oder nicht geprüft. Dasselbe Modell ist auf Fakten mit klarer institutioneller Herkunft verlässlich und auf Zahlen mit präziser Quellenangabe systematisch unscharf.

Ein zweiter, kontraintuitiver Zug verstärkt das Bild: Die dichteste Zitatführung markiert nicht die sicherste Faktenlage. Gerade die mit Autor, Jahr und exakter Prozentzahl am aufwendigsten belegten Passagen sind es, die der Direktprüfung am häufigsten nicht standhalten. Die bibliographische Ausstattung wirkt hier weniger als Nachweis denn als Stilmerkmal — als rhetorische Signatur der Gründlichkeit, die von der Fragilität des Belegten eher ablenkt.

Dieser Befund gilt für diese Session, nicht als allgemeines Gesetz über ein Modell. Aber er zeigt, wozu der Modus fähig ist, wenn man ihn vollständig durchlaufen lässt: Er prüft nicht nur isolierte Belege, er lässt — aggregiert — ein Verlässlichkeitsprofil sichtbar werden, das kein einzelnes Urteil für sich enthält.

Angenommene Grenzen

Der Modus hängt an der Qualität und Zugänglichkeit der Webquellen. Volltexte hinter Bezahlschranken bleiben oft uneinsehbar; die Prüfung stützt sich dann auf Abstracts und konsistente Sekundärquellen, was für eine reine Zuordnungskontrolle (Autor / Jahr / Zeitschrift) genügt, für die Verifikation einer exakten Zahl in einer Nebenpassage jedoch nicht immer. Generisch zitierte Sammelberichte ohne Kapitel- oder Seitenangabe — ein IPCC-Band etwa — entziehen sich einer punktgenauen Prüfung fast zwangsläufig.

Die Abdeckung bleibt, sofern man nicht wie hier bis zur Sättigung prüft, partiell: Ein einzelner Durchlauf kontrolliert eine priorisierte Teilmenge, nicht das ganze Register. Und der Modus entfaltet seinen Nutzen nur dort, wo eine Debatte faktisch dicht ist — auf einem rein begrifflichen oder normativen Austausch fände er kaum Verifizierbares. Seine Urteile sind, nochmals, indikativ: ein begrenzter, dokumentierter Prüfdurchlauf, keine Zertifizierung.

Der Nutzer bleibt die letzte Instanz

Die Quellenprüfung ersetzt kein Urteil — sie stellt die Bedingungen wieder her, unter denen ein Urteil überhaupt möglich ist. Sie trennt das Belegte vom bloß Belegt-Aussehenden, benennt die falschen Zuschreibungen, markiert die Überdehnungen und legt offen, was sie selbst nicht prüfen konnte. Was mit dieser Karte geschieht, bleibt Sache des Lesers.

Dass der prüfende Analytiker selbst ein Sprachmodell ist, gehört zu dieser Ehrlichkeit dazu, nicht gegen sie. Deshalb sind die Urteile indikativ und die Quellen mitgeliefert: damit der Nutzer nicht dem Prüfer zu glauben braucht, sondern nachsehen kann. Der Modus verschiebt die Arbeit — von „Ist diese Zahl wahr?“ zu „Ist diese Referenz das, was sie zu sein vorgibt?“ — und macht aus einem flüssigen, autoritativ klingenden Text einen, dessen faktische Asymmetrien sichtbar und dokumentiert sind. Kein Schiedsspruch über die Wahrheit, sondern ein Beobachtungsposten für das Verhalten der Modelle: dafür, wo sie tragen, und wo ihr Belegapparat der Form der Sprache mehr schuldet als der Sache.