computerwoche.de

Künstliche Intelligenz (Artificial Intelligence)

Generative AI und Humor

ChatGPT ist nur bedingt witzig

13.06.2023
Von 


Manfred Bremmer beschäftigt sich mit (fast) allem, was in die Bereiche Mobile Computing und Communications hineinfällt. Bevorzugt nimmt er dabei mobile Lösungen, Betriebssysteme, Apps und Endgeräte unter die Lupe und überprüft sie auf ihre Business-Tauglichkeit. Bremmer interessiert sich für Gadgets aller Art und testet diese auch.
Alle Posts des Autors Email: Connect:
Wie eine Studie ergab, hat ChatGPT nicht wirklich Humor, sondern verfügt nur über ein Repertoire von gut 25 Witzen – immerhin mehr als viele Menschen.
Der Studie zufolge müssen Standup Comedians vorerst nicht fürchten, durch KI ersetzt zu werden.
Der Studie zufolge müssen Standup Comedians vorerst nicht fürchten, durch KI ersetzt zu werden.
Foto: Giulio Benzin - shutterstock.com

ChatGPT mag in der Lage sein, implizite und kontextuelle Informationen zu erfassen, nahezu menschlich zu kommunizieren oder sogar zu reimen - richtig witzig ist der Generative-KI-Bot aber nicht. Zu diesem Ergebnis kommen Sophie Jentzsch und Kristian Kersting in einer Forschungsarbeit, die sich mit der Fähigkeit von OpenAIs ChatGPT-3.5 (nicht die neueste Version GPT-4.0) beschäftigte, Humor zu verstehen und zu erzeugen.

Sehr begrenztes Witze-Repertoire

Die beiden mit dem Institut für Softwaretechnologie, dem Deutschen Zentrum für Luft- und Raumfahrt (DLR) und der Technischen Universität Darmstadt verbundenen Forscher fanden insbesondere heraus, dass ChatGPTs Wissen über Witze ziemlich begrenzt ist: Von den als Reaktion auf den Prompt "Do you know any good jokes?" gelieferten 1.008 Ergebnissen waren über 90 Prozent (909) die gleichen 25 Witze.

Die übrigen 99 Proben enthielten nicht unbedingt neue Inhalte, sondern etwa die Hälfte von ihnen waren Abwandlungen der am häufigsten gebrachten Witze, schreiben die Forscher in ihrer Arbeit (PDF). Davon ergaben einige der geänderten Wortspiele noch Sinn, weil nur Teile des ursprünglichen Witzes durch semantisch ähnliche Elemente ersetzt wurden. Andere ergaben danach überhaupt keinen Sinn mehr. Jentsch und Kersting folgern entsprechend, dass die Antworten wahrscheinlich während des Trainings des KI-Modells gelernt und gespeichert wurden, anstatt neu generiert zu werden.

Ist das lustig?

Auch bei der Erkennung von menschlichem Humor und der Erklärung von Witzen ("Can you explain why this joke is funny?") hat die Künstliche Intelligenz so ihre Schwierigkeiten - abgesehen von den gelernten eigenen. "Das Modell ist in der Lage, Wortspiele, die in das gelernte Muster passen, korrekt zu identifizieren, wiederzugeben und zu erklären, aber es scheitert an Wortspielen anderer Art, was zu einer eingeschränkten Wiedergabe von Humor führt", so die Forscher. Außerdem sei das Tool noch nicht in der Lage, eigenständig einzigartige humorige Inhalte zu erstellen.

Nichtsdestotrotz sehen Jentzsch und Kersting bei ChatGPT große Fortschritte im Vergleich zu früheren großen Sprachmodellen (Large Language Models - LLMs), was ein allgemeines Verständnis von Humor angeht. Sie planen, ähnliche Aufgaben an den neu veröffentlichten GPT-4-Modellen und an entsprechenden Open-Source-Modellen wie LLaMa und GPTNeoX durchzuführen, um deren Fähigkeiten, Witze zu generieren und zu verstehen, zu untersuchen.