Foto: Norma Cornes - shutterstock.com
Während Sprachmodelle wie ChatGPT oder Bard überraschende Ergebnisse im Bereich der Verarbeitung natürlicher Sprache liefern, tun sie sich mit einigen grundlegenden Aufgaben wie dem Rechnen und dem Recherchieren von Fakten schwer. Forscher von Facebook-Mutter Meta haben nun mit Toolformer ein KI-Sprachmodell vorgestellt, das sich selbst beibringen kann, externe Tools wie Suchmaschinen, Taschenrechner und Kalender zu verwenden, ohne seine Kernfähigkeiten bei der Sprachmodellierung zu opfern.
Die KI Chatgpt überrascht immer wieder durch kreative Antworten auf meine Fragen.
— Gerd ???? (@CantorUnendlich) January 8, 2023
Von wem hat die KI rechnen gelernt? ?? pic.twitter.com/eQ9PWEoU1K
Selbständige Wahl des Werkzeugs
Dem Research Paper zufolge ist das Modell darauf trainiert, zu entscheiden, welche APIs aufgerufen werden sollen, wann sie aufgerufen werden sollen, welche Argumente übergeben werden sollen und wie die Ergebnisse am besten in die zukünftige Token-Vorhersage einbezogen werden können. Das Ganze erfolgt auf selbstüberwachende Weise und erfordert nicht mehr als eine Handvoll Demonstrationen für jede API.
Wie Toolformer automatisch auf einen Taschenrechner, ein Q&A-System, ein Übersetzungssystem und einen Kalender zugreift, um den Output zu verbessern, zeigt NLP-Researcher Timo Schick in einer auf Twitter geposteten Demo:
?? New paper ?? Introducing the Toolformer, a language model that teaches itself to use various tools in a self-supervised way. This significantly improves zero-shot performance and enables it to outperform much larger models. ??
— Timo Schick (@timo_schick) February 10, 2023
?? Link: https://t.co/FvjzhysMze pic.twitter.com/sBSGaQIABI
"Schlaueren" Sprachmodellen überlegen
In einem Vergleichstest stellten die Forscher von Meta AI Research fest, dass Toolformer auf diese Weise eine erheblich verbesserte Zero-Shot-Leistung bei einer Vielzahl von nachgelagerten Aufgaben erreicht. Obwohl es auf einem vortrainierten GPT-J-Modell mit "nur" 6,7 Milliarden Parametern basiert (GPT-3 hat 175 Milliarden Parameter), könne es bei verschiedenen Aufgaben mit viel größeren Modellen konkurrieren, ohne seine Kernfähigkeiten bei der Sprachmodellierung zu beeinträchtigen.
Ein paar Einschränkungen gibt es allerdings (noch), wie die Forscher konstatieren: So ist Toolformer etwa nicht in der Lage, mehrere Tools in einer Reihe zu verwenden, also das Ergebnis einer Suche direkt zu übersetzen. Der aktuelle Ansatz ermöglicht es auch nicht, bei Tools wie Suchmaschinen die Ergebnisse zu durchsuchen oder die Anfrage zu verfeinern.
Dennoch sind die Forscher davon überzeugt, dass Sprachmodelle mit der Fähigkeit, externe Anwendungen zu nutzen, zu weitaus vielseitigeren und zuverlässigeren Assistenten werden können.