Wenn Sie vom Generative-AI-Hype überfordert sind, hat Amazon Web Services (AWS) etwas für Sie: Bedrock. Dieser Browser-basierte Managed Service ergänzt die knapp 30 anderen verfügbaren Dienstleistungsangebote von AWS im Bereich Machine Learning.

Was ist Amazon Bedrock?

Bei Amazon Bedrock handelt es sich um einen vollständig gemanagten Service, um Generative-AI-Anwendungen zu entwickeln, bereitzustellen und zu erweitern. Dazu bietet Bedrock einen Katalog mit verschiedenen KI-Basismodellen diverser Anbieter, implementiert Retrieval Augmented Generation (RAG) sowie Vektoreinbettungen, hostet Wissensdatenbanken und ermöglicht fortlaufende Pretraining-Sessions - unter anderem. Aktuell verfügt Amazon Bedrock über sechs Hauptfunktionen:

• Mit verschiedenen KI-Modellen experimentieren.

• Externe Datenquellen integrieren.

• Kundensupport-Anwendungen entwickeln.

• Modelle anpassen.

• Anwendungseffizienz optimieren.

• Das jeweils optimale KI-Modell finden.

Zu den wichtigsten Konkurrenzangeboten zu Bedrock gehören:

• Azure AI Studio (derzeit in der Preview),

• Vertex AI Studio,

• Poe,

• GPT Builder und

• LangChain (mit Abstrichen, denn hier ist Coding-Aufwand nötig).

Amazon Bedrock einrichten

Was das Setup angeht, gibt es Handlungsbedarf in zwei Bereichen - den KI-Modellen und der Bedrock-API.

1. KI-Modelle: Bevor Sie die Modelle in Bedrock verwenden können, müssen Sie den Zugriff darauf (jeweils einzeln) beantragen. Wenn Sie das AWS-Kommandozeilen-Interface oder eines der -SDKs verwenden möchten, müssen Sie auch diese installieren und entsprechend konfigurieren. Das Formular für den Modellzugriff auszufüllen, gestaltete sich im Test simpler als erwartet, die Wartezeit auf den Zugriff blieb in den meisten Fällen sehr überschaubar.

2. Bedrock-API: Da wir uns in unserem Test auf die Konsolennutzung fokussieren, haben wir uns nicht mit diesem Punkt befasst. Eine zielführende Anleitung zum API-Setup-Prozess finden Sie hier.

Bedrocks Modell-Inferenz-Parameter

Um die Antworten der KI-Modelle zu steuern, nutzt Amazon Bedrock etwas andere Parameter als beispielsweise OpenAI. Der Service steuert Randomness und Diversity über die "Temperature" der Wahrscheinlichkeitsverteilung sowie "Top K" und "Top P" - die Länge des Outputs über die Antwortlänge, Penalties und Stop-Sequenzen. Im Folgenden gehen wir auf die einzelnen Elemente näher ein.

• Die Temperature moduliert die Wahrscheinlichkeit für das nächste Token. Eine niedrigere Temperatur führt zu mehr deterministischen Antworten, eine höhere zu mehr zufälligen. Eine hohe Temperatur würde beispielsweise ermöglichen, dass bei der Vervollständigung des Satzes "Ich höre den Hufschlag von…" auch unwahrscheinliche Antworten wie "Einhörner" eingeschlossen sind. Eine niedrigere Temperatur würde hingegen den Fokus auf wahrscheinlichere Antworten wie "Pferde" verlagern.

• Top K ist die Anzahl der wahrscheinlichsten "Kandidaten", die das Modell für das nächste Token berücksichtigt.

• Top P ist der Prozentsatz der wahrscheinlichsten Kandidaten, die das Modell für das nächste Token in Betracht zieht.

• Die Antwortlänge steuert die Anzahl der Token in der generierten Antwort.

• Penalties (Strafen) können für die Länge, wiederholte Token, die Häufigkeit von Token und die Art der Token in einer Antwort gelten.

• Stop-Sequenzen sind Zeichenfolgen, die das Modell daran hindern, weitere Token zu erzeugen.