5. Dokumente abfragen mit PrivateGPT

Mit PrivateGPT können Sie Ihre Dokumente in natürlicher Sprache abfragen. Die Dokumente können in dieser Anwendung dabei mehrere Dutzend verschiedene Formate umfassen. Laut der README zum Projekt sollen die Daten dabei privat bleiben und zu keinem Zeitpunkt die Ausführungsumgebung verlassen. Das Tool funktioniert also auch ohne Internetverbindung.

PrivateGPT verfügt über Skripte, um:

• Dateien einzulesen,

• diese anschließend zu unterteilen,

• Embeddings zu erstellen (numerische Repräsentationen der Textsemantik) und

• diese in einem lokalen Chroma Vector Store abzuspeichern.

Wenn Sie eine Frage stellen, sucht die App nach relevanten Dokumenten und sendet nur diejenigen an das LLM, um eine präzise Antwort zu generieren. Wenn Sie mit Python vertraut sind, können Sie das vollständige PrivateGPT-Repository klonen und es lokal ausführen. Sollte das nicht der Fall sein, steht auf GitHub auch eine vereinfachte Version zur Verfügung. Die README-Datei letztgenannter Version enthält detaillierte Anweisungen, die kein Python-Sysadmin-Knowhow voraussetzen.

PrivateGPT enthält die Funktionen, die man sich von einer "Chat mit eigenen Dokumenten"-Anwendung im Terminal wahrscheinlich am ehesten vorstellt. Allerdings warnt die Dokumentation davor, das Tool in der Produktion einzusetzen. Wenn Sie es trotzdem tun, werden Sie schnell feststellen, warum. Selbst die kleine Modelloption lief auf unserem Heim-PC sehr träge.