Wie das von Firmen wie Google, Salesforce und Zoom finanzierte Unternehmen schreibt, wurde Claude 2 in verschiedenen Bereichen optimiert. So unterstütze der frei verfügbare KI-Chatbot nun bis zu 100.000 Token (oder rund 75.000 Wörter) als Eingabeaufforderung und könne somit Hunderte von Seiten technischer Dokumentation oder sogar ein Buch bearbeiten und zusammenfassen.
Verarbeitung größerer Datenmengen
Außerdem soll Claude 2 jetzt auch in der Lage sein, längere Dokumente zu schreiben - von Memos über Briefe bis hin zu Geschichten mit bis zu einigen Tausend Zeichen - und das alles in einem Rutsch. Zum Vergleich: ChatGPT kann in einer Session etwa 3.000 Wörter verarbeiten.
Im Vergleich zu früheren Modellen wurde der KI-Chatbot auch in den Bereichen Codierung, Mathematik und logisches Denken optimiert. So verbesserte sich Claude 2 beispielsweise im Multiple-Choice-Teil der US-Zulassungsprüfung für Anwälte (Bar Exam), gegenüber Claude 1.3 von 73 auf 76,5 Prozent richtige Antworten.
Bei GSM8k, einem Satz von 8.500 Matheaufgaben für Grundschüler, erreichte Claude 2 laut Anthropic eine Genauigkeit von 88,0 Prozent (vorher 85,2 Prozent). Und was die Programmierfähigkeiten angeht, steigerte sich das Modell bei OpenAIs Python-Codierungs-Benchmark HumanEval von 56,0 auf 71,2 Prozent.
Introducing Claude 2! Our latest model has improved performance in coding, math and reasoning. It can produce longer responses, and is available in a new public-facing beta website at https://t.co/uLbS2JNczH in the US and UK. pic.twitter.com/jSkvbXnqLd
— Anthropic (@AnthropicAI) July 11, 2023
Wie ein Vergleich mit anderen großen Sprachmodellen zeigt, gibt es hier aber noch Luft nach oben. Das KI-Startup kündigte jedoch an, die Fähigkeiten von Claude 2 in den kommenden Monaten sukzessive zu verbessern.
Schutz vor Jailbreaks und Halluzinationen
Außerdem habe Anthropic eine Reihe von Sicherheitstechniken eingesetzt, um die Ausgabe von beleidigenden oder gefährlichen Antworten zu erschweren und zu reduzieren. So habe eine interne Red-Team-Evaluierung, bei der die Modelle automatisch anhand einer großen Menge schädlicher Prompts getestet wurden, ergeben, dass das neue Modell im Vergleich zu Claude 1.3 zweimal besser bei der Ausgabe "harmloser Antworten" war.
Die Company weist jedoch darauf hin, dass kein Modell gegen Jailbreaks immun sei. Da es sich um eine offene Betaversion handle, sollten sich die Nutzer bewusst sein, dass Claude - wie alle aktuellen Modelle - unangemessene Antworten hervorrufen kann.
Die neue Version kann ab sofort über eine kostenpflichtige API sowie eine neue öffentliche Beta-Website, claude.ai, genutzt werden. Aktuell steht der Service allerdings nur für Nutzer aus den USA und Großbritannien zur Verfügung. Anthropic plant jedoch, Claude 2 in den kommenden Monaten für weitere Regionen verfügbar zu machen.
Claude 2 will now power our chat experience, and is generally available in the US and UK at https://t.co/uLbS2JNczH. We look forward to seeing how people use Claude and our 100K token context feature, where you can upload hundreds of pages in the prompt window. pic.twitter.com/9fVyjEBGsT
— Anthropic (@AnthropicAI) July 11, 2023