Das Jahr 2022 wird vermutlich als das Jahr in die Geschichte eingehen, in dem die kognitiven KI-Techniken den Sprung aus den Laboren in den Mainstream geschafft haben. ChatGPT, Dall-E 2, Midjourney, Stable Diffusion und Konsorten wurden öffentlich zugänglich gemacht und sorgten mit ihren Fähigkeiten für Schlagzeilen und Aufmerksamkeit auf der ganzen Welt.

Viele Machine-Learning-Modelle verwenden überwachte Lerntechniken, bei denen ein neuronales Netzwerk (oder ein anderes Modell) mit gelabelten Datensätzen trainiert wird. In der Praxis ist es allerdings teuer und komplex, Datensätze in großem Stil zu labeln. Synthetische Daten können dazu beitragen, Datensätze zu erweitern - dennoch bleibt es kostspielig, überwachte Lernmodelle zu trainieren und in Stand zu halten. An dieser Stelle kann Generative AI beziehungsweise ein Few-shot-Learning-Ansatz helfen.

One-shot- und Zero-shot-Learning erklärt

Um die generative KI zu verstehen, muss man zunächst Lernalgorithmen verstehen, die nicht auf gelabelte Datensätze angewiesen sind. One-Shot- und Zero-Shot-Lernalgorithmen (zusammengenommen Few-shot-Lernalgorithmen) sind solche Ansätze und bilden die Grundlage für Generative AI. ChatGPT definiert One-Shot- und Zero-Shot-Learning wie folgt:

• Beim One-Shot-Learning wird für jede Probe ein einziges Trainingsbeispiel verwendet, etwa ein Kopfbild eines neuen Mitarbeiters. Das Modell kann dann einen Ähnlichkeitswert zwischen zwei Fotos berechnen. Der Wert gibt Auskunft über die Übereinstimmung, um Zugang zu gewähren - oder nicht. Ein Beispiel für One-Shot-Learning ist der Omniglot-Datensatz, eine Sammlung von 1.623 handgeschriebenen Zeichen aus 50 verschiedenen Alphabeten.

• Beim Zero-Shot-Learning wird das Netzwerk auf Bildern und zugehörigen Daten, einschließlich Bildunterschriften und anderen kontextbezogenen Metadaten, trainiert. OpenAIs CLIP (Contrastive Language-Image Pretraining) verwendet Zero-Shot-Learning, um die Dimensionalität von Bildern in Kodierungen zu reduzieren, eine Liste aller möglichen Beschriftungen aus dem Text zu erstellen und dann einen Ähnlichkeitswert zu berechnen, der Bild und Beschriftung zusammenbringt. Das Modell kann dann verwendet werden, um neue Bilder anhand eines Ähnlichkeitswertes in Labels zu klassifizieren. Das Generative-AI-Tool DALL-E verwendet CLIP und GANs (Generative Adversarial Networks), um die umgekehrte Funktion auszuführen und Bilder aus Text zu erstellen.

Few shot learning, illustrated pic.twitter.com/q0E4Ev9zTx

— swyx ?? (@swyx) January 28, 2023

Few-shot-Learning-Anwendungsfälle

Zur Anwendung kommen Few-shot-Learning-Techniken beispielsweise im Gesundheitswesen, wo medizinische Bilder mit ihren Diagnosen zur Entwicklung eines Klassifizierungsmodells verwendet werden können. "Verschiedene Kliniken stellen möglicherweise unterschiedliche Diagnosen", erklärt David Talby, CTO beim Healthcare-KI-Spezialisten John Snow Labs. "Mit One-shot-Learning können Algorithmen ohne Code vom Arzt angewiesen werden, ein bestimmtes Ergebnis zu erzielen."

Vollautomatisierte, radiologische Diagnosen sollte man dennoch nicht so bald erwarten: "Obwohl die Fähigkeit, Informationen automatisch zu extrahieren, sehr wertvoll ist, wird Few-shot Learning in absehbarer Zeit nicht das medizinische Fachpersonal ersetzen", prophezeiht Talby.

Pandurang Kamat, CTO beim Modernisierungsdienstleister Persistent, hat weitere potenzielle Use Cases parat: "Zero-shot- und Few-shot-Lerntechniken eröffnen neue Möglichkeiten in Bereichen wie der Arzneimittelentwicklung, der Molekülforschung, Zero-Day-Exploits oder auch dem Customer Support. Kurzum, alle Bereiche, in denen es schwierig ist, gelabelte Trainingsdaten einzusetzen."

Dabei warnt der Manager auch vor den derzeitigen Grenzen der Few-shot-Learning-Techniken: "Im Bereich Computer Vision funktionieren diese gut für die Bilderkennung, Klassifizierung und das Tracking. Probleme bereiten können sie jedoch in Szenarien, die eine besonders hohe Genauigkeit und Präzision erfordern - etwa, wenn es darum geht, Krebszellen zu identifizieren und ihre Konturen in pathologischen Aufnahmen zu markieren."

Darüber hinaus gibt es auch in der industriellen Fertigung potenzielle Anwendungsfälle für Few-shot Learning, wie Arjun Chander, CEO beim Smart-Factory-Spezialisten IndustrialML, weiß: "Keine gut geführte Produktionsstätte wird so viele Defekte produzieren, dass eine große Anzahl von Bildern der Defektklasse zur Verfügung steht, um Modelle zu trainieren. Daher müssen Algorithmen entwickelt werden, die diese Defekte auf der Grundlage von nur einigen Dutzend Stichproben identifizieren können."

Mit Few-shot Learning zu Next-Generation-KI-Lösungen

Wenn Sie Datenwissenschaftler sind, können Sie mit Zero- und One-shot-Ansätzen experimentieren, um Klassifizierungsprobleme mit nicht gelabelten Datensätzen zu lösen. Eine Möglichkeit, sich mit den Algorithmen und Tools zu beschäftigen: Nutzen Sie Amazon SageMaker, um ein Nachrichten-basiertes Warnsystem zu erzeugen. Ansonsten empfiehlt sich auch die Verwendung von Zero-shot Learning in Conversational Agents.

Entwickler und Datenwissenschaftler sollten die neuen Lerntechniken und verfügbaren Modelle auch als Bausteine für neue Anwendungen und Lösungen betrachten und nicht nur als optimierte, problemspezifische Modelle. Laut Chang Liu, Director of Engineering beim KI-Unternehmen Moveworks, könnten Entwickler etwa großangelegte NLP-Modelle nutzen, statt diese selbst zu erstellen: "Mit der Einführung von großen Sprachmodellen nutzen Teams diese intelligenten Systeme, um Probleme in großem Umfang zu lösen. Anstatt ein völlig neues Modell zu erstellen, muss das Sprachmodell nur auf die Beschreibung der Aufgabe und die entsprechenden Antworten trainiert werden."

Künftige KI-Lösungen könnten wie heutige Softwareanwendungen aussehen, mit einer Mischung aus proprietären Modellen, eingebetteten kommerziellen und Open-Source-Komponenten und Drittanbieter-Services. "Fast jedes Unternehmen, das bereit ist, Zeit in die Problemdefinition für KI-Lösungen zu investieren und neue Tools und Praktiken einzuführen, um erste, kontinuierliche Verbesserungen zu erzielen, kann auch Erfolge erzielen", weiß Torsten Grabs, Director of Product Management bei Snowflake. (fm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.