Millionen von Nutzern verwenden mittlerweile täglich KI-basierte Chatbots von OpenAI, Microsoft, Google und Co. Allerdings haben diese in der Regel einen Nachteil: Sie laufen in der Cloud und es kann nicht ausgeschlossen werden, dass bei Verwendung der Bots eigene vertrauliche Daten womöglich geleakt werden.

Genau dies will NVIDIA nun mit "Chat with RTX"verhindern. Dabei handelt es sich um die Tech-Demo eines lokalen KI-Chatbots, den die Nutzer mit eigenen Inhalten lokalisieren können. Chat with RTX läuft auf PCs mit Windows 10 und 11 und setzt eine Grafikkarte der NVIDIA-Series 30 oder 40 der Ampere- oder Ada-Generation mit mindestens 8 GB VRAM voraus. Zudem sollte der Rechner über 16 GB RAM oder mehr verfügen.

Die Technik hinter Chat with RTX

Mit der Demo-App haben User die Möglichkeit, GenAI lokal und offline zu nutzen. Dazu nutzt NVIDIA Techniken wie RAG (Retrieval Augmented Generation), TensorRT-LLM und RTX-Beschleunigung. Als Large Language Models (LLM) werden die Open-Source-Varianten Mistral oder Llama 2verwendet.

Unterstützte Daten

Zum Training der KI unterstützt das Tool verschiedene Dateiformate, wie .txt, .pdf, .doc, .docx und .xml. Ferner können auch Informationen aus YouTube-Videos und Wiedergabelisten genutzt werden. Allerdings analysiert die KI nicht den Inhalt des Videos selbst, sondern nutzt die Transkriptionen der Videos.

Durch Hinzufügen einer Video-URL zum Chat mit RTX können Benutzer auf diese Weise laut NVIDIA dieses Wissen in ihren Chatbot für kontextbezogene Abfragen integrieren. Sie können so zum Beispiel nach Reise-Empfehlungen fragen, die auf den Inhalten ihrer Lieblingsvideos von Influencern basieren.

Lokale KI versus lokale Suche

Was unterscheidet nun Chat with RTX von einer lokalen Suche im Windows Explorer? Statt nach Dateien oder gespeicherten Inhalten zu suchen kann der Nutzer direkt einfach Abfragen eingeben. Chat with RTX scannt dann die lokalen Daten und liefert eine Antwort mit Kontext. Und das kann die Demo-App ganz gut, wie erste Tests zeigen.

Das kann Chat with RTX

So enthält die Antwort etwa einen Link zu der Textdatei, aus der die Informationen stammen. Zudem wird der Inhalt nicht einfach kopiert, sondern die Antwort wird in natürlicher Sprache erstellt - auf Grundlage der vorhandenen Informationen mit denen die KI trainiert wurde. Wie ChatGPT und andere GenAI-Lösungen neigt aber auch Chat with RTX zu Halluzinationen oder gibt schlicht falsche Antworten, wie erste Tests zeigen.

Standardmäßig wird die KI mit Marketingmaterial zu den RTX-Grafikkarten ausgeliefert, das für erste Versuche mit dem Chatbot verwendet werden kann. Beim Training mit eigenen Daten ist dann Geduld gefragt. Für das Training mit rund 250 MB an Textdateien ist etwa eine Stunde einzuplanen.

Zickige Installation

Bevor erste Tests möglich sind, ist jedoch erst einmal die Installation zu meistern. So muss bei NVIDIA die über 35 GB große Installationsdatei NVIDIA_ChatWithRTX_Demo.zip heruntergeladen werden. Auch wenn es NVIDIA gelungen ist, die Komplexität der Installation eines eigenen, lokalen KI-Modells deutlich zu vereinfachen, ist das Ganze nicht ohne Probleme.

So finden sich im Internet zahlreiche Postings von Usern, denen eine Installation nicht gelang. Ein Fehlerpunkt scheint zu sein, dass der Default-Installationspfad nicht geändert werden sollte. Zudem sollten die aktuellsten NVIDIA-Treiber auf dem PC installiert sein.

Läuft die Installation, werden etwa um die 100 GB an Speicherplatz benötigt, denn die Demo-App lädt während der Installation Ergänzungen zu Python und Anaconda nach. In den Genuss von Llama2 und Mistral kommen allerdings nur Benutzer einer Grafikkarte mit mindestens 16 GB VRAM. Ist weniger VRAM vorhanden, so wird nur das Mistral-LLM installiert.

Fazit

Auch wenn Chat with RTX noch unschöne Ecken und Kanten hat, zeigt die Demo-App doch eine neue Richtung, in die die KI-Reise gehen könnte: Weg von KI-Lösungen in der Cloud hin zu lokalen Lösungen, bei denen die Sicherheit der eigenen Daten gewährleistet ist. Und zudem eine personalisierte KI mit LLMs entsteht, die individualisiert an die eigenen Bedürfnisse angepasst ist. Oder es entstehen intelligente, lokale Nachschlagewerke - etwa indem juristische Fachliteratur in die lokale KI gefüttert wird. Vorstellbar wären auch lokale, KI-gestützte Wartungsanleitungen, um so etwa dem Fachkräftemangel zu begegnen.