Die meisten Menschen wissen nicht, ob KI-Detektoren wirklich funktionieren. Es kursieren Gerüchte, dass KI-Detektoren sehr oft falsch liegen und sich durch einfache Tricks austricksen lassen. Auf der anderen Seite gibt es zahlreiche Studien, die Genauigkeiten von über 95% für KI-Detektoren bestätigen. Tatsache ist jedoch, dass große Technologieunternehmen wie Google KI-Detektoren einsetzen, um beispielsweise eine zusätzliche Metrik für ihren Spam-Filter zu haben.
In diesem Artikel wird die zugrundeliegende Technik hinter diesen Modellen näher betrachtet und in diesem Zusammenhang auch untersucht, ob KI-Detektoren KI-Texte zuverlässig erkennen können und worauf man bei diesen Detektoren achten sollte. Außerdem geben wir hilfreiche Tipps, was genau KI-generierte Texte von menschlichen Texten unterscheidet.
KI-Detektoren (auch AI-Detectors oder KI-Checker genannt) sind Tools, die erkennen können, ob ein Text von einer Künstlichen Intelligenz (KI) oder einem Menschen geschrieben wurde. Sie sind inzwischen so fortgeschritten, dass sie auch Texte erkennen, die nur teilweise KI-generierte Passagen enthalten und heben die entsprechenden Textteile hervor. Das Ergebnis eines KI-Detektors ist eine Wahrscheinlichkeit, aber wie kommt diese Wahrscheinlichkeit zustande?
KI-Detektoren analysieren Merkmale eines Textes, um KI-generierten Text zu erkennen. Diese Merkmale können vordefiniert sein oder von einem KI-System ausgewählt werden. Die beiden bekanntesten Merkmale sind Perplexität und Burstiness.
Perplexität beschreibt die Vorhersagbarkeit eines Textes. Sind die Worte eines Textes sehr wahrscheinlich an ihren Positionen, so hat der Text eine niedrige Perplexität. Dies spricht für einen KI-generierten Text, denn große Sprachmodelle wie ChatGPT lernen Texte mit Hilfe von Wahrscheinlichkeiten. Sie erzeugen die Texte Wort für Wort und berechnen für jedes mögliche Wort die Wahrscheinlichkeit, dass es das nächste ist. Man kann sich das als eine Art Tabelle vorstellen, in der die x häufigsten Wörter mit ihren jeweiligen Wahrscheinlichkeiten aufgelistet sind. Abhängig von diesen Wahrscheinlichkeiten wird dann das nächste Wort ausgewählt, so dass am Ende ein logischer Text entsteht.
Die Variation eines Textes wird mit Hilfe der Burstiness gemessen. Sie definiert, wie stark die Vorhersehbarkeit eines Textes variiert. Es wird untersucht, ob sich beispielsweise die Satzstruktur und die Wortwahl ändern. Wenn der Text sowohl komplexe, wenig vorhersehbare Sätze als auch kurze, sehr vorhersehbare Sätze enthält, spricht man von einer hohen Burstiness. Menschen variieren häufig ihre Satzstrukturen und folgen keinen starren Regeln, was zu einer natürlichen Vielfalt in der Sprache führt. Im Gegensatz dazu erzeugen KI-Modelle oft gleichförmige Sätze, da sie auf statistischen Mustern basieren.
KI-Detektoren können diese Merkmale auf zwei Arten lernen, um KI-Texte von menschlichen Texten zu unterscheiden. Wir teilen KI-Detektoren daher in zwei große Gruppen ein, die jeweils weiter kategorisiert werden können:
Bei dieser Gruppe von KI-Detektoren werden die Merkmale vorab aus den Texten berechnet. Dabei kann es sich um statistische Merkmale wie die Häufigkeit bestimmter Wörter oder um modellbasierte Merkmale wie die bereits erwähnte Perplexität oder Burstiness handeln. Diese Merkmale werden aus den Texten extrahiert und zum Training des KI-Detektors verwendet. Das KI-Modell hinter dem Detektor lernt dabei, welche Werte für einen KI-generierten Text oder einen menschlichen Text sprechen. Die Extraktion der Merkmale hat den Vorteil, dass genau nachvollzogen werden kann, welche Strukturen und Wörter für das Ergebnis des KI-Detektors ausschlaggebend waren.
Die modellbasierte Analyse geht noch einen Schritt weiter, indem diese Merkmale nicht vorgegeben sind, sondern vom KI-Detektor selbst erlernt werden. Das zugrundeliegende KI-Modell lernt also zusätzlich eigene Merkmale, die es zur Erkennung verwendet, so dass es nicht durch die vorgegebenen Merkmale eingeschränkt ist und zuverlässigere Ergebnisse liefern kann. Der Nachteil ist, dass diese Merkmale für uns Menschen nicht so gut interpretierbar sind.
KI-Detektoren werden darauf trainiert, stets eine höfliche Sprache zu verwenden, da dies für den Nutzer die beste Erfahrung bei der Interaktion mit diesen Modellen darstellt. Außerdem fehlt es KI-Texten oft an einem gewissen Umgangston. Sie tendieren dazu, ausschließlich formale Sprache zu verwenden, da diese oft als besseres Deutsch angesehen wird.
Wie bereits erwähnt, zeichnen sich KI-generierte Texte durch eine geringe Perplexität und Burstiness aus. Dies äußert sich darin, dass die Texte oft monoton wirken. Es werden häufig die gleichen Formulierungen verwendet und auch die Satzstrukturen variieren wenig bis gar nicht.
ChatGPT und Co. fehlt es einfach an Emotionen in den Texten. Es ist schließlich eine künstliche Intelligenz, die ganz generisch einen Text erstellt. Sie verfolgt dabei weder ein Ziel, noch hat sie bestimmte persönliche Erfahrungen oder individuelle Sichtweisen, die sie in ihre Texte einfließen lassen könnte.
Dies sind einige der offensichtlichsten Merkmale. Natürlich gibt es noch andere, aber das große Problem mit diesen Merkmalen ist, dass sie inzwischen allgemein bekannt sind. Das bedeutet, dass Autoren, die bewusst die Herkunft eines KI-Textes verschleiern wollen, genau wissen, worauf sie achten müssen. Zum einen können spezielle Tools eingesetzt werden, um den Text menschlicher wirken zu lassen, zum anderen können geschickte Eingaben für die Sprachmodelle verwendet werden. Zum Beispiel könnte dem KI-Sprachmodell gesagt werden, dass es darauf achten soll, nicht so höflich zu sein und auch umgangssprachliche Formulierungen zu verwenden. Zudem werden die Modelle immer besser und können immer kreativere Texte produzieren. Deshalb werden in letzter Zeit immer häufiger KI-Detektoren eingesetzt.
Wie aber können KI-Detektoren KI-Texte zuverlässig erkennen, wenn ChatGPT und Co. immer besser werden? Das liegt daran, dass sich die grundlegende Architektur der Sprachmodelle nicht ändert. Jedes Sprachmodell arbeitet mit Wahrscheinlichkeiten und generiert die Texte Wort für Wort. Wenn diese KI-Modelle besser werden, kann es für uns Menschen schwieriger werden, KI-generierte Texte von menschlichen Texten zu unterscheiden. Das bedeutet aber nicht, dass die Handschrift von KI-Texten verschwunden ist, denn KI-Texte werden immer noch auf die gleiche Art und Weise erzeugt und unterscheiden sich daher immer noch von menschlichen Texten. KI-Texte werden also weiterhin von KI-Detektoren erkannt.
Die Erkennungswahrscheinlichkeiten von KI-Detektoren sind jedoch immer mit Vorsicht zu genießen. Denn diese Wahrscheinlichkeiten wurden an einem bestimmten Datensatz getestet, der möglicherweise ganz andere Texte enthält als die, die der Benutzer scannen möchte. Eine Trefferwahrscheinlichkeit von über 95 % bedeutet also nicht, dass dieser Detektor in der Praxis oder für den gedachten Fall genauso gut abschneidet. Es gibt Detektoren, die eine getestete Trefferwahrscheinlichkeit von 99% haben, aber dieser Detektor wurde z.B. nur an englischsprachigen Nachrichtenartikeln getestet. Wenn der Benutzer diesen Detektor nun auf deutsche Texte anwendet und im schlimmsten Fall auf eine ganz andere Textsorte wie kurze Kommentare, dann ist es nur logisch, dass die Erkennungsrate hier deutlich niedriger ist.
Aus diesem Grund ist es uns ein Anliegen, einen KI-Detektor zu schaffen, der für deutsche Texte zuverlässig ist und der ausschließlich auf deutschen Texten trainiert und getestet wurde. Darüber hinaus wurde dieser Detektor an kurzen Kommentaren wie Tweets bis hin zu langen Texten wie Diplomarbeiten getestet und erreichte dabei eine Genauigkeit von 98%. Damit behält unser KI-Detektor Detectora auch in der Praxis diese Zuverlässigkeit bei der Erkennung beliebiger deutscher Texte. Testen Sie Detectora kostenlos und ohne Registrierung.
