3. Llama auf dem Mac mit Ollama
Wenn Sie es noch einfacher als mit LLM haben möchten (dabei aber auch Limitationen in Kauf nehmen können), ist das Open-Source-Tool Ollama einen Blick wert. Dieses steht aktuell für macOS und Linux zur Verfügung - eine Windows-Version ist den Verantwortlichen zufolge in Entwicklung.
Die Installation ist mit ein paar Klicks erledigt - und obwohl es sich bei Ollama ebenfalls um ein Kommandozeilen-Tool handelt, gibt es nur einen Befehl:
ollama run model-name
Sollte das betreffende Modell auf Ihrem System noch nicht vorhanden sein, wird es automatisch heruntergeladen. Die Liste der aktuell verfügbaren LLMs können Sie jederzeit online einsehen.
Foto: Sharon Machlis / IDG
Das README des Ollama GitHub-Repos enthält eine hilfreiche Liste einiger Modellspezifikationen und hifreiche Hinweise dazu, welche Modelle wie viel Arbeitsspeicher erfordern. Bei unserem Test performte das Llama-LLM 7B Code erstaunlich flott und gut (Mac M1). Obwohl es das kleinste Modell der Llama-Familie ist, brachte eine Frage zu R-Code ("Schreibe R-Code für ein ggplot2-Diagramm mit blauen Balken.") es nicht aus dem Konzept - auch wenn die Antwort, beziehungsweise der Code nicht perfekt war). Ollama bietet zudem einige zusätzliche Funktionen, etwa eine Integrationsmöglichkeit mit LangChain.