computerwoche.de

Generative AI

Generative-AI-Tools für Entwickler

CodeWhisperer, Bard und Copilot X im Test

30.06.2023
Von 
Martin Heller schreibt als freier Autor für die Schwesterpublikation InfoWorld.
Alle Posts des Autors

GitHub Copilot X

GitHub Copilot X zeigt sich im Vergleich zum ursprünglichen GitHub Copilot stark verbessert und erzeugt (manchmal) korrekte Funktionen und eine Reihe von Tests ohne viel menschliches Zutun. Fehler und Halluzinationen kommen dabei vor, aber nicht mehr so häufig wie früher.

Copilot X unterstützt dabei unter anderem folgende Programmiersprachen:

  • Python,

  • JavaScript,

  • TypeScript,

  • Ruby,

  • Java,

  • C++,

  • C#,

  • PHP,

  • Go,

  • Swift,

  • Kotlin,

  • Rust.

Im Rahmen unserer Tests haben wir hauptsächlich Python verwendet.

Der bemerkenswerteste Misserfolg von Copilot X war der Web-Scraping-Task. Das KI-Tool generierte Code, der oberflächlich glaubwürdig aussah. Ein genauerer Blick machte allerdings klar, dass er niemals funktionieren würde. Schlimmer noch: Nachdem wir diverse Probleme über den Copilot Chat angesprochen hatten, verzettelte sich das Tool zusehends. Wie bei allen KI-Helfern sollten Sie also auch den von Copilot X generierten Code mit Vorsicht genießen - ebenso, wie Sie es bei einem Pull Request eines unbekannten Programmierers tun würden.

Copilot X versuchte sich am Web-Scraping-Code ohne Beautiful Soup. Darauf angesprochen behauptete die KI zunächst das Gegenteil - um anschließend zuzugeben, dass es keinen Import finden konnte.
Copilot X versuchte sich am Web-Scraping-Code ohne Beautiful Soup. Darauf angesprochen behauptete die KI zunächst das Gegenteil - um anschließend zuzugeben, dass es keinen Import finden konnte.
Foto: Martin Heller / Foundry

Als Copilot X das MIT-Codebeispiel erklären sollte, gab er eine teilweise korrekte Antwort. Wir mussten dem Tool dabei Einiges an Erklärarbeit aus der Nase ziehen.

Copilot X hat den Market Simulator des MIT zufriedenstellend erklärt - ließ dabei aber Tiefgang vermissen.
Copilot X hat den Market Simulator des MIT zufriedenstellend erklärt - ließ dabei aber Tiefgang vermissen.
Foto: Martin Heller / Foundry

Github Copilot X - Fazit

Zusätzlich zum Codegenerierungs-Feature in einem Programmiereditor (der derzeit nur aktuelle Versionen von Visual Studio und die neueste Insider-Version von Visual Studio Code unterstützt), fügt Copilot X dem Editor auch ein GPT-4-Chat-Panel hinzu. Außerdem bietet es eine Terminalschnittstelle, Support für Unit-Testgenerierung und Pull-Request-Beschreibungen sowie die Möglichkeit, Erklärungen aus der Dokumentation zu extrahieren. Einzelpersonen bezahlen für Copilot (X) 10 Dollar, Unternehmen 19 Dollar monatlich.