Foto: Cerebras Systems
Für seinen neuen KI-Supercomputer Andromeda gibt Cerebras Systems ein KI-Rechenleistung von über 1 Exaflop bei halber 16-Bit-Präzision an. Zum Vergleich: Der derzeit schnellste Rechner der Welt, Frontier, befindet sich in den Oak Ridge National Labs und kann 1,103 Exaflops bei 64-Bit-Doppelpräzision leisten. Während der Bau dieses Computers rund 600 Millionen Dollar kostete, beziffert Cerebras die Kosten für Andromeda auf 35 Millionen Dollar. Andromeda steht in einem Rechenzentrum in Santa Clara, Kalifornien.
850.000 Kerne pro Chip
Andromeda selbst besteht aus einem Cluster von 16 miteinander verbundenen Cerebras-C-2-Computern. Jeder CS-2 enthält einen Wafer-Scale-Engine-Chip (oft als "WSE-2" bezeichnet), den derzeit größten jemals hergestellten Siliziumchip mit einer Größe von etwa 8,5 Zoll im Quadrat und 2,6 Billionen Transistoren, die in 850.000 Kernen organisiert sind.
Foto: Cerebras Systems
Der Supercomputer ist laut Cerebras für Anwendungen wie große Sprachmodelle konzipiert und wurde bereits für akademische und kommerzielle Arbeiten eingesetzt. Nach Darstellung von Cerebras offeriert Andromeda eine nahezu "perfekte Skalierung" durch einfache Datenparallelität über große Sprachmodelle der GPT-Klasse, einschließlich GPT-3, GPT-J und GPT-NeoX.
Pluspunkt Skalierbarkeit
Mit der Formulierung "nahezu perfekte Skalierung" will der Hersteller unterstreichen, dass sich die Trainingszeit für neuronale Netze verkürzt, wenn mehr CS-2-Computereinheiten zu Andromeda hinzufügt werden. Normalerweise würde die Skalierung eines Deep-Learning-Modells, so Ars Technica, durch das Hinzufügen von mehr Rechenleistung bei GPU-basierten Systemen mit steigenden Hardwarekosten zu einem abnehmenden Ertrag führen. Andromeda dagegen soll Aufgaben ausführen können, die GPU-basierte Systeme nicht beherrschen. Damit könnte der Cerebras-Supercomputer eine Alternative zu großen Nvidia-GPU-Clustern sein, die häufig in Unternehmen für Deep-Learning-Modelle genutzt werden.
Andromeda kann mehreren Benutzern remote genutzt werden. Erste User sind die kommerzielle Schreibhilfe JasperAI, das Argonne National Laboratory sowie die Universität Cambridge.