Warum ChatGPT keine Quellenangaben machen kann

Von Stefan Schütt · 19.02.2024

Eine der Schwächen von ChatGPT ist, dass es keine Angaben zu den Quellen für im generierten Text zu findende Behauptungen macht. Bzw. wenn es Quellenangaben macht, sind diese häufig frei erfunden. Woran liegt das?

ChatGPT-Training

Als ich das erste Mal Ende 2022 ChatGPT ausprobieren konnte, war ich beeindruckt von der sprachlichen Qualität der Texte. Ich wusste, dass ChatGPT mit Texten aus dem Internet trainiert wurde und erwartete daher, dass ich die jeweilige Quelle finden müsste, wenn ich einen von ChatGPT generierten Textabschnitt in Google eingeben würde. Dem war aber nicht so, und ich konnte das Experiment mit beliebigen von ChatGPT generierten Texten mit dem gleichen Resultat wiederholen. Lediglich einzelne Satzabschnitte oder bestenfalls kurze Sätze fand ich im Internet wieder, aber das war es dann auch schon.

So generiert ChatGPT Texte

Heute weiß ich, warum das so ist. Es hängt mit der Art und Weise zusammen, wie ChatGPT Texte generiert. Die KI hinter ChatGPT hat kein Verständnis für den Sinn von Sätzen, sondern fügt einfach jeweils ein Wort zu dem bereits Geschriebenen hinzu (genaugenommen sind es sogar nur Bruchstücke von Wörtern, ähnlich Silben, die man als Token bezeichnet). Dabei würde die KI von Haus aus immer das wahrscheinlichste Wort liefern. Die dadurch entstehenden Texte wären allerdings nicht sonderlich kreativ und es könnte sogar zu sinnbefreiten Endlosschleifen kommen. Deshalb liefert die KI eine Liste von Wörtern mit absteigenden Wahrscheinlichkeiten und sorgt durch einen nachgelagerten Zufallsgenerator dafür, dass eben nicht immer das wahrscheinlichste Wort genommen wird.

Hier ein Beispiel aus dem sehr lesenswerten Buch "What Is ChatGPT Doing … and Why Does It Work?" von Stephan Wolfram:

• Satzanfang Folgewort Wahrscheinlichkeit
• The best thing about AI is its ability to… learn 4,5 %
• predict 3,5 %
• make 3,2 %
• understand 3,1 %
• do 2,9 %

Quelle: Wolfram, S. (2023): "What Is ChatGPT Doing…And Why Does It Work?", https://www.wolfram-media.com/products/what-is-chatgpt-doing-and-why-does-it-work/.

ChatGPT-Texte sind keine Zitate

Daraus wird aber auch klar, dass es sich bei den Texten eben nicht um Zitate handelt, die man eindeutig einer Quelle zuordnen könnte, sondern dass diese tatsächlich im Moment des Abrufes Wort für Wort generiert werden.

Learnings für die Praxis

Welche Learnings kann man daraus für die Praxis ziehen?

1. Wenn ein KI-generierter Text mit einer Quelle übereinstimmen sollte, wäre das einfach nur Zufall. So wie es auch in der Musikbranche immer wieder vorkommt, dass Komponisten sehr ähnliche oder sogar identische Melodien kreieren, ohne voneinander "geklaut" zu haben.
2. Wenn eine KI eine Quelle angibt, so ist diese Angabe häufig falsch und sollte niemals ohne gründliche Überprüfung übernommen werden (diesen Tipp sollten vor allem Schüler und Studenten beherzigen, die sich bei ihren Arbeiten von ChatGPT "inspirieren" lassen).
3. Wenn ein KI-generierter Textabschnitt weitgehend mit einem im Internet bereits veröffentlichten Textabschnitt übereinstimmt, liegt die Vermutung nah, dass auch der bereits veröffentlichte Text mit derselben KI generiert wurde. Für solche Fälle wäre es zur Abwehr von Plagiatsvorwürfen empfehlenswert, nachweisen zu können, wie der eigene Text entstanden ist, z.B. indem man die Kommunikation mit ChatGPT protokolliert.