4. Mit Dokumenten chatten über h2oGPT

Bei h2o.ai beschäftigt man sich schon seit einiger Zeit mit automatisiertem Machine Learning. Da verwundert es nicht, dass der Open-Source-affine Anbieter inzwischen mit h2oGPT auch in den Bereich der Chatbot-LLMs vorgestoßen ist. Dieses steht in einer kostenlosen Testversion zum Download zur Verfügung. Diese ermöglicht zwar nicht, das LLM auf Ihr System herunterzuladen. Sie können aber damit testen, ob das Interface etwas für Sie ist.

Für eine lokale Version des Tools klonen Sie das GitHub-Repository, erstellen und aktivieren eine virtuelle Python-Umgebung und führen dann die folgenden fünf Codezeilen aus (die Sie auch in der README finden):

pip install -r requirements.txt

pip install -r reqs_optional/requirements_optional_langchain.txt

pip install -r reqs_optional/requirements_optional_gpt4all.txt

python generate.py --base_model=llama --prompt_type=llama2 --model_path_llama=https://huggingface.co/TheBloke/Llama-2-7b-Chat-GGUF/resolve/main/llama-2-7b-chat.Q6_K.gguf --max_seq_len=4096

Das führt Sie zu einer "limitierten Dokumentenabfragefähigkeit" und einem Llama-Modell von Meta. Eine weitere Codezeile reicht, um eine lokale Version und eine Anwendung unter http://localhost:7860 zur Verfügung zu stellen:

python generate.py --base_model='llama' --prompt_type=llama2

Ohne weiteren Dateninput hinzuzufügen, können Sie die Applikation als allgemeinen Chatbot verwenden. Wenn Sie eigene Daten - etwa Dokumente - hochladen, können Sie anschließend gezielt Fragen zu den Inhalten stellen. Zu den kompatiblen Dateiformaten gehören unter anderem:

• .pdf,

• .csv,

• .doc,

• .txt und

• .markdown.

Die Benutzeroberfläche von h2oGPT bietet außerdem eine "Expert"-Registerkarte, die eine Reihe von Konfigurationsoptionen für Benutzer bereitstellen, die wissen, was sie tun.