Foto: Jamie Jin | shutterstock.com
Chatbots im Stil von ChatGPT, Claude oder phind können extrem hilfreich sein. Wenn Sie allerdings verhindern möchten, dass die externen Applikationen möglicherweise sensible Daten verarbeiten, respektive diese nutzen, um die zugrundeliegenden, großen Sprachmodelle (Large Language Models; LLMs) zu trainieren, bleibt nur eine Lösung: Sie laden ein LLM auf Ihren Rechner und führen es lokal aus. Das ist auch eine gute Option, um neue Spezialmodelle auszutesten, etwa Metas Code-Llama-Modellfamilie oder SeamlessM4T.
Ein eigenes LLM lokal zu betreiben, mag dabei auf den ersten Blick komplex wirken. Mit den richtigen Tools ist das allerdings überraschend simpel. Zudem sind die Anforderungen, die das an die Hardware stellt, nicht übermäßig. Wir haben die in diesem Tutorial vorgestellten Optionen auf zweierlei Systemen getestet:
einem Windows-PC mit Intel i9-Prozessor, 64 GB RAM und Nvidia GeForce-GPU (12 GB) und
einem Mac mit M1-Chip und 16 GB RAM.
Das wahrscheinlich größte Hindernis, wenn Sie dieses Unterfangen angehen wollen: Sie müssen ein Modell finden, das für die angestrebten Tasks geeignet ist und auf Ihrer Hardware läuft. Dabei funktionieren nur wenige so gut wie die bekannten GenAI-Tools der großen Unternehmen. Wie Simon Willison, Schöpfer des Kommandozeilen-Tools LLM, argumentiert, muss das jedoch kein Nachteil sein: "Einige Modelle, die auf Laptops laufen, halluzinieren wie wild. Das ist meiner Meinung nach ein guter Grund, sie einzusetzen. Denn das trägt zum allgemeinen Verständnis der Modelle - und ihrer Grenzen - bei."
1. Lokaler Chatbot mit GPT4All
Den Desktop-Client von gpt4all herunterzuladen (verfügbar für Windows, MacOS und Ubuntu), bietet sich an, wenn Sie einen Chatbot aufsetzen wollen, der keine Daten an Dritte sendet. GPT4All ist dabei einfach einzurichten: Sobald Sie die Desktop-App zum ersten Mal öffnen, werden Ihnen ein knappes Dutzend LLM-Optionen angezeigt, die lokal ausgeführt werden können - beispielsweise Metas Llama-2-7B chat. Darüber hinaus können Sie auch OpenAIs GPT-3.5 und GPT-4 für die nicht lokale Nutzung einrichten (einen API-Key vorausgesetzt).
Foto: Sharon Machlis / IDG
Darüber hinaus steht auch ein neues Beta-Plugin namens LocalDocs bereit. Das ermöglicht Ihnen, lokal mit Ihren eigenen Dokumenten zu "chatten". Sie können es über die Registerkarte Settings aktivieren. Dieses Plugin befindet sich noch in der Entwicklung - Halluzinationen sind deshalb nicht ausgeschlossen. Nichtsdestotrotz handelt es sich um eine interessante Funktion, die sich parallel zu den Open-Source-LLMs verbessern dürfte.
Neben der Chatbot-Anwendung verfügt GPT4All auch über Bindings für Python und Node sowie eine Befehlszeilenschnittstelle. Auch ein Servermodus steht zur Verfügung, über den Sie mit ihrem lokalen Large Language Model über eine http-API interagieren können. Diese Schnittsatelle ist ähnlich strukturiert wie die von Open AI und erleichtert es, lokale Sprachmodelle mit nur wenigen Änderungen am Code gegen die von OpenAI auszutauschen.