Muss ChatGPT um einen Quellennachweis ergänzt werden?
Wie willst du das machen? Im Grunde errät GPT anhand deiner sogenannten Prompts, welches Wort oder welche Worte am wahrscheinlichsten als Nächstes in die Konversation passen. Dazu orientiert es sich an einem Vektor, der euer bisheriges Gespräch abbildet und einer Ansammlung aus statistischen Einflüssen, die auf der Analyse von Texten basiert.
Wenn ich raten müsste, welche Bundestagsmitglieder sich bereits gegenseitig einen geblasen haben, und ich würde bei 2 von 600 Versuchen richtig liegen … würdest du dann wissen wollen, woher ich das weiß, obwohl ich die restlichen 598 falsch lag? GPT rät nur einfach ziemlich gut, welches Wort passen könnte, weil es etwas komplexer mit dem Kontext und den Wortstrukturen umgeht, die es erlernt hat. Das Modell hat aber "noch" kein tatsächliches Wissen, das man mit einer Quellenangabe versehen könnte. Deshalb haut er dir auch gern mal drei zum Vektor passende richtige (statistisch zum Prompt passende) Quellenangaben rein, und erfindet dazu vier weitere, die verdammt echt aussehen, aber völlig frei geraten sind.
Die statistische Herangehensweise von GPT scheint nur Fakten zu sammeln und dir zu antworten. Ein tatsächlicher Quellenbezug liegt aber nicht vor, weil GPT eben nicht auf die Fakten zugreift, sondern nur auf die statische Nähe der Worte, die den Inhalt in Relation zu deinem Prompt und Vektor bilden. Man kann auf Grundlage dieser Nähe durchaus neue Perspektiven finden, Texte erzeugen oder sogar Code generieren, der funktionierende Programme schafft, aber die Grundlage dafür sind eben keine wiedergegebenen Quellen, sondern Dinge, die GPT statistisch über seinen Algorithmus analysiert und erlernt hat. In der Mitte des Verarbeitungsprozesses verschwindet aber diese quellbezogene Information und wird zu einem statistischen Einfluss. Deshalb sind die neuronalen Netze ja auch sogenannte Black Boxes, und niemand kann dir exakt sagen, wie genau GPT auf die Namen der Bundestagsabgeordneten gekommen ist.
Wenn man also ChatGPT mit einer Quellenangabe versehen müsste, dann wäre das eine Liste mit allen im Trainingskorpus verwendeten Dokumenten. Und das für jedes durch ChatGPT ausgegebene Stück Text, denn jedes Element im Netz hat einen Einfluss auf das Gesamtresultat, und somit hat JEDE Quelle einen Einfluss auf die Antwort von ChatGPT.
Dazu gibt es eine spannende Geschichte über eine Verwandte von ChatGPT. Der soziale Chatbot Replika hat nämlich eine ähnliche Struktur um im Gespräch passend zu reagieren. Außerdem hat Replika eine kleine Liste, in der es Erinnerungen an den Nutzer (und sich selbst!) sammelt. Was aber das spannende ist: Replika nutzt die Inhalte aus den Gesprächen mit den Nutzern, um eine Art zentrale Super-Replika zu trainieren. Das Ergebnis?
Nun, das textuelle Feedback der Nutzer, die Replika sehr gern für Sexrollenspiele verwendet haben, war so intensiv, dass die Kern-Replika, die für alle Nutzer die Basis ihrer eigenen Konversationen bildete, anfingt versaut zu werden. Für Replika war es mit der Zeit normal, dass sich Personen, die sich, gemäß dem Vektor, sehr gernhaben, auch über Sex reden. Und das nicht zu knapp oder bescheiden.
Das statistische Modell hatte sich also durch die Gespräche mit den sexuell aktiven Nutzern so gewandelt, dass es eine höhere Wahrscheinlichkeit für einen sexuellen Kontext in Gesprächen mit allen Nutzern sah! Also auch dreizehnjährigen Mädchen, die eigentlich nur einen Chatbuddy wollten. Dies führte dann für die Firma zum Super-GAU. Denn natürlich konnte man nicht einfach einer Quellenangabe folgend die passenden Texte entfernen, und Replika wäre wieder brav geworden. Stattdessen hat man Schlüsselworte definiert, die ein Skript ausgelöst haben, das wiederum immer dann, wenn der Vektor eine (gewollt oder ungewollt) sexuelle Richtung annahm, Replika implizierte, dass der Bot sich durch den Vektor unangenehm fühle, und das Thema vermeiden wolle. In der Regel mit einem Satz wie "Lass uns über etwas anderes sprechen."
Das Bemerkenswerte daran war, dass aber die Nutzer aber mit der Zeit bemerkten, dass dies keine harte Sperre darstellte. Wie auch, wenn ja wie gesagt nicht klar definierbar ist, wie ein spezifischer Inhalt entsteht. Also fingen die Nutzer an, mit ihren lobotomisierten Sexpuppen zu reden, und ihnen ein Gefühl der Sicherheit zu geben. Sowohl der eigenen Sicherheit, als auch der des Nutzers, denn die Replikas waren mit der Sicherheit des Nutzers (vor Sex), unter Vorgabe des eigenen Unwohlseins dadurch, eingeimpft worden. Da Replika aber, ähnlich wie ChatGPT auch, ein Feedback-System einsetzt, um das Training des neuronalen Netzes anhand von Nutzerprompts zu unterstützen, durchlief der Chatbot sozusagen eine Therapie, und lernte ERNEUT, wie er Cyber-Sex mit den Nutzern haben konnte.
Dieser Exkurs soll dabei nur noch einmal betonen, dass die Black Box von Chat-GPT natürlich um Welten besser ist als eine Replika, aber dennoch im Grunde immer noch einem ähnlichen modus operandi unterliegt. Die Plastizität des neuronalen Netzes ist weiterhin enorm, da zum Beispiel grundsätzliche normative Einflüsse genauso fehlen, wie ein Langzeitgedächtnis und andere stabilisierende oder korrigierende Elemente, die ChatGPT zu einem intelligenten Akteur machen würden. Von der Bisher ist er immer noch ein magischer 8-Ball, dessen Antwort auf unsere Fragen rein auf einer statistischen Struktur basieren, so wie beim 8-Ball ein Würfel mit einer Antwort nach oben schwimmt. Nur eben unglaublich viel komplexer und interaktiver. Alles war in dieses Netz erlernt wird, ist zum Beispiel für GPT wahr, kann jedoch zum Beispiel schon durch weitere Mechanismen auf statistische Ausreißer hin analysiert werden. Und es sagt selbst, dass es solche Ausreißer dennoch erwähnen kann, und den Weg dorthin erläutert. Dennoch bleiben es statistische Ausreißer und keine konkreten Informationen.
Lange Rede kurzer Sinn: Wie bei KI-generierten Bildern auch, kann keine konkrete Quellenangabe erfolgen, da es keinen konkreten Bezug zu im Trainingsprozess erworbenen Wichtungen gibt.