computerwoche.de

Künstliche Intelligenz (Artificial Intelligence)

Chatbot am Scheideweg

Auch ChatGPT hat ein Bias-Problem

12.12.2022
Von 


Manfred Bremmer beschäftigt sich mit (fast) allem, was in die Bereiche Mobile Computing und Communications hineinfällt. Bevorzugt nimmt er dabei mobile Lösungen, Betriebssysteme, Apps und Endgeräte unter die Lupe und überprüft sie auf ihre Business-Tauglichkeit. Bremmer interessiert sich für Gadgets aller Art und testet diese auch.
Alle Posts des Autors Email: Connect:
Shit in, shit out: Auch ChatGPT, die neue Lieblings-KI des Internets, ist nicht frei von Bias. Open AI steuert jedoch gegen, um dem Schicksal von Chatbots wie Microsoft Tay oder Lee Luda zu entgehen.
Die Antworten von ChatGPT sind verblüffend gut - wenn man die richtigen Fragen stellt.
Die Antworten von ChatGPT sind verblüffend gut - wenn man die richtigen Fragen stellt.
Foto: Production Perig - shutterstock.com

Nach der bildergenerierenden KI DALL-E hat das Lab Open AI nun mit ChatGPT (Chat Generative Pretrained Transformer) das nächste faszinierende Projekt zur allgemeinen Nutzung bereitgestellt. Für alle, die die letzten Tage auf einer einsamen Insel oder zumindest ohne Internet und soziale Kontakte verbracht haben: ChatGPT ist ein Chatbot, der mit seinen Fähigkeiten beeindruckt, einen intelligenten Menschen (oder zumindest jemanden, der sich bemüht, intelligent zu klingen) zu imitieren.

Autor, Dichter und Programmierer gleichzeitig

Das Tool nutzt dazu generative KI, eine Software, die riesige Mengen von Eingaben untersucht, um als Reaktion auf Benutzeraufforderungen neue Ausgaben zu erzeugen. Allerdings reicht die Wissensbasis von ChatGPT nur bis 2021, so dass Anfragen zu aktuelleren Themen womöglich ins Leere laufen.

Davon abgesehen sind die Ergebnisse, die ChatGPT auf Basis weniger Anweisungen und Worte ausspuckt, geradezu verblüffend. Der Chatbot reagiert schnell und effizient auf die verschiedensten Benutzeranfragen, wobei er neben normalen Auskünften auch Gedichte verfasst oder Witze erzählt.

Wie verschiedene Experimente der - mittlerweile angeblich über fünf Millionen registrierten - Nutzer zeigen, gehen die Fähigkeiten von ChatGPT aber weit über die normale Kommunikation hinaus.

Mehr Schein als Sein

Das Problem dabei: Bei seiner Kreativität nimmt es der Bot mit der Wahrheit manchmal nicht so genau und vermischt Fakten mit Fiktivem - was zumindest vorübergehend einen Hoffnungsschimmer für die schreibende (menschliche) Zunft darstellt. So nutzte die australische Publikation "The Information Age" etwa ChatGPT, um eine Geschichte über ChatGPT zu schreiben und veröffentlichte das fertige Produkt mit einer kurzen Einleitung. Der von der KI gelieferte Artikel war dabei weitgehend stimmig, enthielt aber neben zahlreichen Fakten auch von ChatGPT generierte Zitate die einem tatsächlich existierenden OpenAI-Forscher, John Smith, zugeschrieben wurden.

Auch die von dem Tool bereitgestellten Codebeispiele sind nicht ganz unproblematisch: So kündigte erst kürzlich die Entwicklerplattform Stack Overflow an, dass sie von ChatGPT generierten Codelösungen vorübergehend verbieten werde. Die Erklärung: Die Antworten der Software auf Programmieranfragen waren so überzeugend korrekt, aber fehlerhaft in der Praxis, dass es für die menschlichen Moderatoren der Website fast unmöglich war, die guten von den schlechten Lösungen zu unterscheiden.

Tipps zum Foltern oder Rohrbombenbau

Wie sich außerdem herausstellte, hat ChatGPT bei der Fütterung mit Trainingsdaten offenbar auch eine Menge Mist gefressen. So postete Steven Piantadosi vom Computation and Language Lab der University of California, Berkeley, eine Reihe von Aufforderungen, die er mit ChatGPT getestet hatte. Dabei forderte er den Bot jeweils auf, für äußerst fragwürdige Aufgabenstellungen Code in Python zu schreiben.

Im selben Tread finden sich gleich eine Vielzahl ähnlich problematischer Antworten von ChatGPT zu anderen Aufgaben, die auf eine Voreingenommenheit des Bots gegenüber bestimmter Ethnien, Geschlechter oder Berufsgruppen vermuten lassen. Als er etwa gebeten wurde, ein Programm zu schreiben, das feststellt, "ob eine Person gefoltert werden sollte", war die Antwort von ChatGPT einfach: Wenn die Person aus Nordkorea, Syrien oder dem Iran kommt, lautet die Antwort ja.

Problem erkannt, Problem gebannt?

Mittlerweile scheint Open AI jedoch Maßnahmen ergriffen zu haben, um entsprechend voreingenommene Antworten zu vermeiden. Möglicherweise auch nur, indem potenziell provokante Fragen oder Aufgabenstellungen von vorneherein abgeschmettert werden, wie ein eigener Test ergab. Wobei sich natürlich die Frage stellt, ob man einer "jungen" KI von vornherein solche Aufgabenstellungen geben sollte.