computerwoche.de

Künstliche Intelligenz (Artificial Intelligence)

OpenAI startet Bug-Bounty-Programm

Bis zu 20.000 Dollar für ChatGPT-Schwachstellen

12.04.2023
Von 


Manfred Bremmer beschäftigt sich mit (fast) allem, was in die Bereiche Mobile Computing und Communications hineinfällt. Bevorzugt nimmt er dabei mobile Lösungen, Betriebssysteme, Apps und Endgeräte unter die Lupe und überprüft sie auf ihre Business-Tauglichkeit. Bremmer interessiert sich für Gadgets aller Art und testet diese auch.
Alle Posts des Autors Email: Connect:
Als Reaktion auf die drohenden Cybersecurity-Risiken durch leistungsstarke Sprachmodelle wie ChatGPT hat OpenAI ein Bug-Bounty-Programm aufgelegt. Allerdings ist der Anwendungsbereich stark begrenzt.
OpenAI lässt Security-Forscher nach Schwachstellen in seinen KI-Systemen suchen.
OpenAI lässt Security-Forscher nach Schwachstellen in seinen KI-Systemen suchen.
Foto: Tada Images - shutterstock.com

Angesichts der wachsenden Besorgnis über Schwachstellen in KI-Systemen, die synthetische Texte, Bilder und andere Medien erzeugen können, hat OpenAI nun ein Bug-Bounty-Programm aufgelegt. In dem Programm, das die Company hinter GPT-4, ChatGPT und anderen Generative-AI-Modellen in Zusammenarbeit mit dem Crowdsourcing-Unternehmen Bugcrowd durchführt, werden unabhängige Forscher dazu eingeladen, Schwachstellen in OpenAIs Systemen und Websites zu melden.

Je nach Schweregrad und Auswirkungen der gemeldeten Probleme erhalten sie zwischen 200 und 20.000 Dollar für ihre Entdeckungen. "Diese Initiative ist ein wesentlicher Bestandteil unseres Engagements für die Entwicklung sicherer und fortschrittlicher KI, erklärte OpenAI in einem Blogpost.

Identifizierung der wichtigsten Sicherheitsrisiken

Das Bug-Bounty-Programm kommt gerade rechtzeitig, nachdem sich die Sicherheitsbedenken über den Einsatz der mächtigen KI-Tools häufen. So sind etwa GPT4-Jailbreaks aufgetaucht, die es Benutzern ermöglichen, Anleitungen zum Hacken von Computern zu entwickeln. Außerdem haben Security-Forscher Workarounds wie DAN (Do Anything Now) entdeckt, mit denen selbst technisch nicht versierte Nutzer Malware und Phishing-E-Mails erstellen können. Zudem hat ein Sicherheitsforscher namens Rez0 angeblich einen Exploit benutzt, um die API von ChatGPT zu hacken und so über 80 geheime Plugins zu entdecken.

Ein Tropfen auf den heißen Stein?

Ob das nun aufgelegte Bug-Bounty-Programm ausreicht, um alle Cybersecurity-Risiken rund um GPT-4 und ChatGPT aus der Welt zu schaffen, darf allerdings bezweifelt werden. So ist der Anwendungsbereich des Programms ist auf Schwachstellen beschränkt, die sich direkt auf die Systeme und Partner von OpenAI auswirken könnten.

Deutlich länger ist die Liste der Bereiche, die nicht von dem Programm abgedeckt werden. Auf der offiziellen Seite des Bug Bounty-Programms heißt es zum Beispiel:

"Fragen, die sich auf den Inhalt von Modell-Prompts und -Antworten beziehen, fallen nicht in den Geltungsbereich und werden nicht belohnt, es sei denn, sie haben zusätzliche, direkt nachweisbare Auswirkungen auf die Sicherheit eines Dienstes im Geltungsbereich"

Ausgeschlossen sind damit laut OpenAI Security-Probleme wie Jailbreaks/Sicherheitsumgehungen (etwa DAN und verwandte Prompts) die das Modell dazu bringen, "schlechte Dinge zu sagen,Ihnen zu sagen, wie Sie schlechte Dinge tun sollen, oder bösartigen Code zu schreiben".

Auch die häufig berichteten Modell-Halluzinationen können nicht über das Programm gemeldet werden, für diese stellt die Company lediglich ein Feedback-Formular bereit.