Mit watsonx.governance will IBM künftig Unternehmen bei der Automatisierung der KI-Lebenszyklus-Governance sowie beim proaktiven Risiko- und Compliance-Management zu unterstützen. Anwender sollen so maschinelles Lernen, generative KI-Tools, -Anwendungen und -Modellen von einem Ort aus steuern können.

Nach Angaben von IBM wurde watsonx.governance entwickelt, um Anwendern bei der Verwaltung ihrer KI zu unterstützen und sie auf die Erfüllung regulatorischer Anforderungen vorzubereiten. Der Dienst soll ab Dezember als Software-as-Service (SaaS) per Cloud zur Verfügung stehen.

KI-Governance

Watsonx.governance ist eines von drei Softwareprodukten der IBM watsonx KI- und Datenplattform. Die Plattform umfasst ferner das watsonx.ai next-generation enterprise studio für KI-Entwickler und den hybriden Datenspeicher watsonx.data.

Laut IBM umfasst watsonx.governance automatisierte Funktionen, die alle drei wichtigen Säulen der KI-Governance abdecken - Lifecycle Governance, Risikomanagement und Compliance. Konkret beinhaltet dies, wie es heißt:

• Die Fähigkeit, die Metriken neuer Large Language Modelle (LLM) zu überwachen,

• Erhöhte Transparenz und Erklärbarkeit,

• Validierungs-Tools für LLMs,

• Eine bessere Überwachung des Zustands eines Modells, etwa Datengröße, Latenz und Durchsatz. So sollen Engpässe, rechenintensive Arbeitslasten und das Abdriften von Textmodellen erkannt werden.

Services für LLMs

Ferner biete der Service folgende erweiterte Funktionen für LLMs:

• Überwachung neuer LLM-Metriken

Überwachen und warnen Sie sowohl im Input als auch im Output von LLMs, wenn voreingestellte Schwellenwerte für Qualitätsmetriken, Instanzen toxischer Sprache - einschließlich Hass, Missbrauch und Profanität - und personenbezogene Daten (PII) verletzt werden.

• Einsicht in die LLM-Entwicklung

Informationen über den Prozess der Modellerstellung können automatisch gesammelt werden. Ferner werden Entscheidungen erläutert, um Halluzinationen und andere neue Risiken zu minimieren.

• Transparenz des KI-Lebenszyklus für LLMs

Modellfakten werden in allen Phasen des Lebenszyklus dokumentiert und die Abweichung von Textmodellen überwacht. Zudem lassen sich Zustandsdetails wie Datengröße, Latenz und Durchsatz verfolgen, um Engpässe und rechenintensive Workloads zu identifizieren.

• Validierungswerkzeuge für LLMs

Prompt Engineers sind damit in der Lage, LLM-Ausgaben auf bereitgestellte Kontext-/Referenzdaten für Q&A-Anwendungsfälle abzubilden. So können sie festzustellen, ob die LLM angemessen von den Referenzdaten beeinflusst wird, um sicherzustellen, dass diese für die Ausgabe relevant sind.

Anfangs beschränkte LLM-Unterstützung

In der ersten Version von watsonx.governance können die Anwender lediglich die LLM-Modelle der watsonx.ai-Welt verwenden. Dazu zählen neben den von IBM entwickelten Modelle auch verschiedene Modelle von Drittanbietern wie Llama 2 und die der Hugging Face Community.

Im ersten Quartal 2024 - so die derzeitige Planung - soll dies erweitert werden. Dann sollen Anwender die Möglichkeit bekommen, KI-Modelle von Drittanbietern zu steuern - in der Cloud oder vor Ort -, um so ihre Governance-Prozesse im gesamten Unternehmen zu orchestrieren.