Wenn ein Chatbot ein vermeintliches Plagiat anzeigt

Was uns ein brasilianischer Plagiatsskandal über KI und akademische Integrität lehrt

eyesoneurope

Mitte 2023 ging eine Meldung aus Brasilien aus einem unerwarteten Grund viral. Es ging nicht um einen Studenten, der beim Schummeln mit ChatGPT erwischt wurde. Es war genau das Gegenteil: Ein Professor hatte ChatGPT selbst genutzt, um festzustellen, dass die Abschlussarbeit einer Studentin von einer KI verfasst worden war – und lag damit falsch.

Die Abschlussarbeit ihres Onkels wurde bei einer Studentin in Brasília vom Prüfungsausschuss beanstandet, nachdem ein Professor sie durch ChatGPT laufen ließ und gefragt hatte, ob das Tool sie selbst verfasst habe. ChatGPT antwortete, wie immer selbstbewusst, mit „Ja“.

Der Vorwurf hätte ihr fast seine Note gekostet – bis sie einen Weg fand, sich zu wehren: sie ließ einfach einen der vom Professor selbst veröffentlichten Artikel durch denselben Chatbot laufen, und ChatGPT erklärte ebenso selbstbewusst, dass auch dieser Text vom Chatbot generiert worden sei. Der Fall wurde öffentlich, erzielte Millionen von Aufrufen und deckte ein viel größeres Problem auf, das sich dahinter verbarg.

Als sich die Geschichte herumsprach, meldeten sich weitere Studierende mit ähnlichen Beschwerden. Ein Informatikstudent aus Rio de Janeiro berichtete, dass seine Lerngruppe eine Null erhalten habe, nachdem ein Professor ihnen vorgeworfen hatte, KI eingesetzt zu haben – ohne dass über den Vorwurf hinaus weitere Beweise vorgelegt wurden. Er und seine Gruppenmitglieder wandten sich an den Professor, den Kurskoordinator und den Ombudsmann der Universität, jedoch ohne Erfolg. Unterdessen hatte eine Portugiesischlehrerin an einer Schule in São Paulo mehr Glück: Sie nutzte ChatGPT, um die Aufsätze zweier Siebtklässler zu überprüfen, bei denen sie einen Verdacht gehegt hatte, und als sie offenbarte, was sie getan hatte, gab ein Schüler zu, das Tool verwendet zu haben. Ihre Methode funktionierte jedoch eher deshalb, weil sie den Schreibstil ihrer Schüler durch jahrelange Unterrichtserfahrung genau kannte – und nicht, weil der Chatbot tatsächlich ein Plagiatsdetektor war.

Warum „den Chatbot zu fragen“ nicht funktioniert

Es lohnt sich, genau zu erklären, warum dies immer wieder scheitert, denn die Funktionsweise ist für jeden wichtig, der akademische Richtlinien entwirft.

ChatGPT generiert Text, indem es anhand von Mustern, die es während des Trainings gelernt hat, wahrscheinliche Wörter vorhersagt – es speichert kein durchsuchbares Archiv all dessen, was es jemals für irgendjemanden generiert hat. Der Informatiker Lucas Lattari, der sich mit diesem Thema beschäftigt hat, weist darauf hin, dass, sobald ein Modell trainiert und veröffentlicht wurde, keine neuen Interaktionen mehr in sein Wissen einfließen, bis eine völlig neue Version erstellt wird. Wenn ein Professor das Tool also fragt: „Hast du das geschrieben?“, wird keine Datenbank abgefragt und kein Speicher konsultiert. Das Modell generiert einfach eine weitere Vermutung, in demselben selbstbewussten Ton, den es für alles andere verwendet – auch für Inhalte, die es nachweislich nicht verfasst hat.

Dieser letzte Punkt ließ sich leicht nachweisen. Die Faktenprüfungsplattform „Aos Fatos“ führte ein Experiment durch: Sie fütterte ChatGPT mit zwei Absätzen aus einer brasilianischen Ausgabe von „Era dos Extremos“ aus dem Jahr 1998, dem bahnbrechenden Buch des Historikers Eric Hobsbawm aus dem Jahr 1994 – einem Text, der bereits volle 24 Jahre vor der Veröffentlichung von ChatGPT existierte – und fragte, ob dieser von einer KI generiert worden sei. ChatGPT antwortete mit „Ja“ und schrieb die Passage sich selbst zu.

Die Plattform führte daraufhin das umgekehrte Experiment durch: Es nahm einen echten, von ChatGPT verfassten Textabschnitt und ließ ihn durch mehrere spezielle Tools zur KI-Erkennung laufen. Die meisten dieser Tools – die eigens für diesen Zweck entwickelt worden waren – kamen fälschlicherweise zu dem Schluss, dass der Text von einem Menschen verfasst worden sei. Nur eines, OpenAIs eigener experimenteller Klassifikator, lag richtig, und selbst dieses Tool trug einen eigenen Haftungsausschluss, wonach man sich bei Entscheidungen mit hohen Risiken nicht darauf verlassen sollte und es bei Texten von Kindern oder nicht englischsprachigen Autoren schlechter abschneidet.

Die unbequeme Schlussfolgerung, die sowohl von Forschern als auch von Datenschutzexperten geteilt wird, lautet, dass eine zuverlässige KI-Erkennung möglicherweise kein Problem ist, das die Technologie in absehbarer Zeit lösen wird – und jedes derzeitige Tool als Urteilsmaschine zu behandeln, ist an sich schon eine Art Fehlverhalten.

Der eigentliche Problem war hier nicht das Schummeln – es waren falsche Anschuldigungen

Es ist verlockend, dies unter „Wachstumsschmerzen neuer Technologien“ abzuhaken und einfach so weiterzumachen. Doch hier steht nicht nur etwas Abstraktes auf dem Spiel. Studierende schilderten reale Konsequenzen: eine mit Null bewertete Gruppenarbeit, das Risiko, ein Semester nicht zu bestehen, monatelange Verzögerungen beim Studienabschluss – alles ausgelöst durch ein Tool, das eigentlich nicht leisten kann, was von ihm verlangt wird, ohne stützende Beweise und in mindestens einem Fall ohne echte Möglichkeit, Einspruch einzulegen.

Rafael Zanatta, Direktor der brasilianischen Nichtregierungsorganisation „Data Privacy Brasil“, sieht darin weniger eine Geschichte über in Versuchung geratene Studierende als vielmehr eine Geschichte über institutionelle Unverfroenheit, Arroganz und offensichtlicher Unkenntnis der zugrunde liegenden Tatsachen. Chatbots sind darauf ausgelegt, selbstbewusste, flüssige Antworten zu liefern, unabhängig davon, ob diese Antworten wahr sind – und genau diese Eigenschaft führt einen unvorbereiteten Prüfer in die Irre. Das Risiko verstärkt sich in Einrichtungen, in denen Lehrkräfte unterbesetzt und ohne Unterstützung sind und ohne echte Infrastruktur für den Umgang mit KI-bezogenen Integritätsfragen arbeiten – sie greifen nach dem Werkzeug, das ihnen zur Verfügung steht, weil ihnen nichts Besseres zur Verfügung gestellt wurde.

Das ist ein Problem, das sich beheben lässt. Es lässt sich jedoch nicht lösen, indem man einen Chatbot auffordert, sich selbst zu beurteilen.

Eine bessere Trennlinie: gewissenhafte Überprüfung, statt oberflächlicher Beurteilung

Wenn sich anhand des Ergebnisses nicht mehr zuverlässig feststellen lässt, ob KI im Spiel war, ist es sinnvoll, nicht länger zu versuchen, die Urheberschaft anhand des fertigen Textes zurückzuverfolgen, sondern stattdessen den Entstehungsprozess zu betrachten. Diese Umdeutung erfüllt einen doppelten Zweck: Sie schützt unschuldige Studierende vor falschen Anschuldigungen und gibt eine konkrete Struktur dafür vor, wie „legitimer KI-Einsatz“ tatsächlich aussieht.

Anzeichen für legitimen, produktiven KI-Einsatz:

• Der Studierende kann jede Behauptung, jede strukturelle Entscheidung und jedes Argument unaufgefordert mit eigenen Worten erklären und verteidigen.
• Es gibt eine nachvollziehbare Spur – Entwürfe, Notizen, eine Gliederung, einen Überarbeitungsverlauf –, die zeigt, wie sich die Arbeit im Laufe der Zeit entwickelt hat.
• KI wurde so eingesetzt, wie man einen Tutor oder wissenschaftlichen Mitarbeiter einsetzt: um Blickwinkel zu entwickeln, ein Argument auf Herz und Nieren zu prüfen, ein verwirrendes Konzept zu klären oder die Grammatik zu bereinigen – nicht, um die Kernideen oder die Analyse selbst zu entwickeln.
• Der Studierende legt den Einsatz von KI offen, wo dies relevant ist, anstatt ihn zu verheimlichen, da die Hochschule die Offenlegung als normal und unbedenklich etabliert hat und nicht als automatisches Schuldbekenntnis betrachtet.
• Die endgültige Arbeit spiegelt die eigene Stimme des Studierenden, sein vorheriges Kompetenzniveau und den spezifischen Kurskontext wider – Aspekte, die eine generische, von KI generierte Antwort selten erfasst.

Verdachtsmomente, die tatsächlich eine Untersuchung (sorgfältig und unter Einhaltung der ordnungsgemäßen Verfahren) rechtfertigen:

• Es liegen keinerlei Entwürfe, Notizen oder Nachweise für die Recherche vor – die Arbeit wirkt wie aus dem Stegreif entstanden.
• Der Studierende kann seine eigene Argumentation, Terminologie oder Quellenangaben nicht erklären, wenn er im Gespräch direkt danach gefragt wird.
• Der Inhalt weicht in Themenbereiche ab, die im Unterricht nie behandelt wurden, oder weist ein Niveau auf, das in krassem Widerspruch zu den früheren, überprüften Arbeiten des Studierenden steht.
• Es lässt sich über mehrere eingereichte Arbeiten hinweg ein Muster erkennen, das sich durch allgemeine Formulierungen, eine seltsam einheitliche Struktur oder dieselben charakteristischen Fehler auszeichnet, die auch in den Arbeiten von Kommilitonen zu finden sind.

Beachten Sie, was in der zweiten Liste fehlt: „Ein Chatbot hat das gesagt.“ Das ist bewusst so gewählt. Jedes dieser Signale hängt von einem menschlichen Bewerter ab, der den Studierenden, den Kurs und die Arbeit kennt – und nicht davon, die Beurteilung an dasselbe Tool auszulagern, das durch die Richtlinie eigentlich überwacht werden soll.

Was dies in der Praxis bedeutet

Für Studierende: Die sicherste und wirklich nützlichste Gewohnheit ist es, einen sichtbaren schriftlichen Nachweis des eigenen Denkprozesses zu führen – speichert Entwürfe, macht euch Notizen darüber, was ihr ein KI-Tool gefragt habt und warum, und stellt sicher, dass ihr die Argumentation eurer Arbeit auch ohne das Dokument vor Augen erklären könnt. Diese Gewohnheit schützt euch in doppelter Hinsicht: So sieht echtes Lernen aus, und sie ist eure beste Verteidigung, falls ihr jemals zu Unrecht beschuldigt werdet.

An die Hochschulen: Hört auf, jeden Chatbot – einschließlich genau jenes Tools, das Studierende möglicherweise nutzen – selbst als absolutes Tool der Wahrheitsfindung zu betrachten. Gestaltet die Bewertung prozessorientiert (mündliche Rücksprachen, Entwürfe, Überarbeitungshistorie) und nicht anhand eines einzigen, isoliert beurteilten Endergebnisses. Bieten Sie den Lehrenden fundierte Schulungen und klare Richtlinien an, damit sie nicht ohne Unterstützung unter Druck ihre eigenen Erkennungsmethoden entwickeln müssen. Und richten Sie ein echtes Berufungsverfahren ein, bevor eine falsche Anschuldigung einen Studierenden eine Note, ein Semester oder sein Vertrauen in die Einrichtung kostet.

Wie Zanatta es formulierte: Studierende, die entschlossen sind zu schummeln, werden immer wieder kreative Wege finden, dies zu tun, ganz gleich, welche Richtlinien gelten.

Die wirklicheösung ist kein besserer Erkennungsmechanismus – sondern eine institutionelle Kultur, die KI als Thema für einen offenen, ehrlichen Dialog mit den Studierenden behandelt und nicht als verbotene Frucht, die nachträglich aufgespürt werden muss. Der Fall in Brasília hat nicht bewiesen, dass brasilianische Studierende mit KI betrogen haben. Er hat bewiesen, dass es viel leichter ist, in die Falle zu tappen, Verdacht statt Beweise zu bestrafen – für Institutionen ebenso wie für alle anderen.

eyesoneurope