"Ab dem 20. Juli 2023 ist der AI Classifier aufgrund seiner geringen Genauigkeit nicht mehr verfügbar", schreibt OpenAI in einem Update zu einem Blogpost vom 31. Januar 2023. Damals hatte das Unternehmen den Launch des AI Classifier angekündigt und behauptet, es könne zwischen von Menschen und einer KI geschriebenen Texten unterscheiden.
Schon damals bezeichnete OpenAI den Klassifikator jedoch als "nicht völlig zuverlässig": In internen Tests mit einem Set an englischen Texten habe das Tool 26 Prozent der von der KI geschriebenen Texte korrekt identifiziert, während von Menschen geschriebene Texte in 9 Prozent der Fälle fälschlicherweise als von der KI geschrieben (falsch positiv) eingestuft worden seien.
Probleme bei kurzen Texten
OpenAI fügte hinzu, dass der AI Classifier bei Texten mit weniger als 1.000 Zeichen relativ unzuverlässig ist, die Genauigkeit sich jedoch in der Regel mit zunehmender Länge des Eingabetextes verbessere. Generell würden auf neuronalen Netzen basierende Klassifikatoren außerhalb ihrer Trainingsdaten schlecht abschneiden. Im Vergleich zu ihrem zuvor veröffentlichten Klassifikator sei das aktuelle Tool beim Erkennen von Texten von neueren KI-Systemen deutlich zuverlässiger, so OpenAI.
Insbesondere im Bildungswesen ist die Erkennung von mit Generative AI geschriebenen Texten ein wichtiges Thema. Seit der freien Verfügbarkeit von ChatGPT im November 2022 schlagen Pädagogen Alarm, weil Schüler und Studenten den KI-Chatbot zum Verfassen ihrer Arbeiten nutzen.
Zurück zur Forschung
So schnell will OpenAI jedoch nicht aufgeben: Das Unternehmen kündigte nun an, basierend auf dem Feedback von Anwendern effektivere Verfahren zur Herkunftsbestimmung von Texten zu erforschen. Außerdem habe man sich verpflichtet, Mechanismen zu entwickeln und einzusetzen, die es den Nutzern ermöglichen, zu erkennen, ob Audio- oder visuelle Inhalte KI-generiert sind.