Forscher der Stanford University haben einen Foundation Model Transparency Index veröffentlicht, der die Transparenz von zehn großen KI-Playern über Aspekte ihrer KI-Modelle bewertet. Hintergrund war die Tatsache, dass Modelle wie GPT-4 oder Llama 2 zwar tagtäglich von Millionen Menschen genutzt werden, die meisten KI-Firmen aber beispielsweise nicht offenlegen, wie viel urheberrechtlich geschütztes Material in ihren Modellen verwendet wird.

Die beste Bewertung in dem erstmals aufgelegten Index erhielt dabei Metas Llama 2 mit 54 Prozent. GPT-4, das Flaggschiffmodell von OpenAI und Grundlage für den bekannten Chatbot ChatGPT, lag mit 48 Prozent auf dem dritten Platz. Googles PaLM 2 belegte mit 40 Prozent den fünften Rang, knapp vor Claude 2 von Anthropic mit 36 Prozent. Schlusslicht der Tabelle war Amazons Foundation Modell für Generative AI, Amazon Titan, mit 12 Prozent.

"Werte von 80 oder mehr Prozent erreichbar"

"Wir sollten Meta nicht als das erstrebenswerten Wert betrachten", kommentierte Rishi Bommasani, Forscher am Stanford Center for Research on Foundation Models, das Ergebnis. Ziel sei eher ein Wert von 80, 90 oder vielleicht 100 Prozent.

Dass dieser Wunsch nicht utopisch ist, zeigen die Bereiche, wo keiner der zehn Entwickler einen Punkt erhielt. So gibt beispielsweise kein Unternehmen Auskunft darüber, wie viele Nutzer von seinem Modell abhängen, oder zeigt Statistiken über die Regionen oder Marktsektoren, die sein Modell nutzen. Die meisten Unternehmen legen auch nicht offen, in welchem Umfang urheberrechtlich geschütztes Material als Trainingsdaten verwendet wird. Auch legen die Unternehmen ihre Arbeitspraktiken nicht offen, was höchst problematisch sein kann.

Bei mangelnder Transparenz fällt es Unternehmen und Wissenschaftler schwer, zu beurteilen, ob sie sich für ihre eigenen Anwendungen auf die Basismodelle verlassen können, erklären die Studienautoren. Verbraucher wiederum täten sich schwer, die Grenzen der Modelle zu verstehen und eventuell eine Wiedergutmachung für entstandene Schäden zu verlangen.

Darüber hinaus hätten auch politische Entscheidungsträger Schwierigkeiten, sinnvolle Maßnahmen zu entwickeln, um diese schnell wachsende Technologie zu regulieren. Wenn sich dieser Trend fortsetzt, so warnten die Forscher, könnten Foundation-Modelle genauso intransparent werden wie Social-Media-Plattformen und andere vorangegangene Technologien.

100 Indikatoren als Bewertungsgrundlage

Als Bewertungsgrundlage verwendete das Forschungsteam ein strukturiertes Suchprotokoll bestehend aus 100 Indikatoren aus 13 Subkategorien, um öffentlich verfügbare Informationen über das führende Foundation Model jedes Unternehmens zu sammeln.

Etwa ein Drittel der Indikatoren bezog sich dabei auf die Art und Weise, wie die Entwickler ihre Modelle erstellen, einschließlich Informationen über die Trainingsdaten, den Arbeitsaufwand für die Erstellung der Modelle und die damit verbundenen Rechenressourcen.

Ein weiteres Drittel betraf das Modell selbst, einschließlich seiner Fähigkeiten, Vertrauenswürdigkeit, Risiken und Risikominderung. Im letzten Drittel ging es darum, wie die Modelle nachgelagert genutzt werden. Dazu gehört die Offenlegung der Unternehmensrichtlinien zur Verbreitung der Modelle, zum Schutz der Nutzerdaten und zum Verhalten der Modelle sowie die Frage, ob das Unternehmen den betroffenen Personen die Möglichkeit gibt, Feedback zu geben oder Rechtsmittel einzulegen.

Wurden bei der Recherche keine Informationen über einen Indikator gefunden, galt das Unternehmen in diesem Punkt als intransparent.