"Wir glauben, dass künftige KI-Modelle die Fähigkeiten der derzeit fortschrittlichsten Modelle übertreffen werden und das Potenzial haben, der gesamten Menschheit zu nutzen. Aber sie bergen auch immer größere Risiken", erklärt OpenAI in einem Blogbeitrag. Deshalb soll sich ein sogenanntes Preparedness Team unter der Leitung von Aleksander Madry darum bemühen, die Risiken dieser sich ständig weiterentwickelnden KI-Modelle zu minimieren.

Das Team hat die Aufgabe, die Risiken von Katastrophen in verschiedenen Kategorien zu verfolgen, zu evaluieren, vorherzusagen und Schutzmaßnahmen zu ergreifen. Dazu zählen laut OpenAI auch chemische, biologische, radiologische und nukleare (CBRN) Bedrohungen.

Eine weitere Aufgabe des Preparedness-Teams ist die Entwicklung und Pflege einer risikobewussten Entwicklungspolitik (RDP). in dieser soll der Ansatz von OpenAI für die Entwicklung strenger Bewertungen der Fähigkeiten von neuen Modellen und deren Überwachung beschrieben werden. Außerdem soll das Team darin ein Spektrum an Schutzmaßnahmen festlegen sowie eine Governance-Struktur bezüglich der Rechenschaftspflicht und der Aufsicht über den gesamten Entwicklungsprozess beschreiben", so das Unternehmen. Die RDP soll auch die bestehende Arbeit des Unternehmens zur Risikoreduzierung ergänzen und erweitern, hieß es.

Für das neue Team sucht OpenAI "außergewöhnliche Talente mit unterschiedlichem technischen Hintergrund".

AI Preparedness Challenge

Ferner kündigte das Unternehmen an, dass man eine AI Preparedness Challenge zur Verhinderung von katastrophalem KI-Missbrauch starten werde. "Wir werden 25.000 Dollar in Form von API-Gutschriften für bis zu 10 Top-Einreichungen ausloben, neuartige Ideen und Beiträge veröffentlichen und Kandidaten für Preparedness unter den Top-Teilnehmern dieser Herausforderung suchen", so das Unternehmen.

OpenAI hatte bereits im Juli eine neue Abteilung eröffnet, die sich auf die Entwicklung von Trainingstechniken konzentriert. Damit soll verhindert werden, dass superintelligente KI - künstliche Intelligenz, die den Menschen übertrifft und sich nicht mehr an die menschliche Ethik hält - schweren Schaden anrichtet. Etwa zur gleichen Zeit verpflichtete sich das Unternehmen zusammen mit anderen führenden KI-Laboren freiwillig, die Sicherheit und das Vertrauen in KI zu fördern.

Zuvor hatten im Mai Hunderte von führenden Vertretern der Tech-Branche, Akademikern und anderen Persönlichkeiten des öffentlichen Lebens einen offenen Brief unterzeichnet, in dem sie davor warnten, dass die Entwicklung der künstlichen Intelligenz (KI) zum Weltuntergang führen könnte. Sie forderten deshalb, dass die Kontrolle der Technologie oberste Priorität haben müsse.