Am vergangenen Freitag hat ein Softwareentwickler namens Georgi Gerganov ein Tool (llama.cpp) entwickelt, mit dem Metas ChatGPT-Rivale LLaMA lokal auf einem Mac-Laptop ausgeführt werden kann. Wenige Tage zuvor war das Large Language Model (LLM) der GPT-3-Kategorie von der Facebook-Mutter geleakt worden und damit unbeabsichtigt in Umlauf geraten.

Einem Bericht von ArsTechnica zufolge sind Entwickler auch dabei, LLaMA auf einem Windows-PC zum Laufen zu bringen. Experimente mit einem Pixel-6-Handy von Google sollen erfolgreich verlaufen sein, sogar auf einem Raspberry Pi kann das Modell funktionieren - wenn auch sehr langsam.

Entwickler wollen quelloffenes Sprachmodell

Viele Entwickler und Internet-Nutzer sind offenbar interessiert an einer ChatGPT-Alternative, die nicht von Herstellern wie OpenAI oder Microsoft kontrolliert wird und "unzensiert" funktioniert, also auch über Themen diskutiert, die als "sensibel" oder politisch nicht korrekt gelten. So entstand der Wunsch, ein quelloffenes LLM zu haben, das jeder Anwender lokal, ohne Zensur und ohne Zahlung von API-Gebühren (an OpenAI) betreiben kann.

Simultaneously running LLaMA-7B (left) + Whisper Small (right) on M1 Pro pic.twitter.com/fQaRkZoLX1

— Georgi Gerganov (@ggerganov) March 10, 2023

Zwar gibt es Open-Source-Lösungen wie GPT-J, aber diese erfordern zu viel Rechenleistung und Speicherplatz. Hier kam der Meta-Konzern mit LLaMA ins Spiel, einem LLM, das in verschiedenen Parametergrößen erhältlich ist. LLaMA nimmt für seine kleineren Modelle in Anspruch, mit GPT-3 von OpenAI, dem grundlegenden Modell für ChatGPT also, bezüglich Qualität der Ergebnisse und Geschwindigkeit mithalten zu können.

Meta veröffentlichte zwar den LLaMA-Code als Open Source, doch die sogenannten Gewichte (das trainierte Wissen, das in einem neuronalen Netzwerk gespeichert ist) sollten nur qualifizierte Forscher bekommen. Diese Beschränkung hielt allerdings nicht lange an: Am 2. März veröffentlichte irgendein Insider die LLaMA-Gewichte als Torrent.

Explosionsartige Entwicklung bei Generative AI

Seitdem gab es eine explosionsartige Entwicklung rund um LLaMA. Der unabhängige KI-Forscher Simon Willison vergleicht die Situation mit der Veröffentlichung von Stable Diffusion, einem Open-Source-Bildsynthesemodell, das im vergangenen August auf den Markt kam und sich gegen OpenAIs DALL-E positionierte.

Lesen Sie auch: Diese KI-Tools sollten Sie kennen

Normalerweise erfordert die Ausführung von GPT-3 mehrere A100-GPUs, aber LLaMA schlägt derzeit so hohe Wellen, weil es auf einem einzigen leistungsstarken Consumer-Grafikprozessor laufen kann. Und jetzt, da die Modellgröße mit neuen Komprimierungstechniken stark reduziert werden kann, läuft LLaMA eben auch auf einem Mac mit M1-Prozessor oder einem PC mit einem mittelmäßigen Nvidia-Grafikprozessor. (hv)