computerwoche.de

Generative AI

Snapdragon Summit

Qualcomm bringt On-Device-KI

25.10.2023
Von 
Jürgen Hill ist Chefreporter Future Technologies bei der COMPUTERWOCHE. Thematisch befasst sich der studierte Diplom-Journalist und Informatiker derzeit mit aktuellen IT-Trendthemen wie KI, Quantencomputing, Digital Twins, IoT, Digitalisierung etc. Zudem verfügt er über einen langjährigen Background im Bereich Communications mit all seinen Facetten (TK, Mobile, LAN, WAN). 
Alle Posts des Autors Email: Connect:
Egal, ob Smartphone, PC oder Earbuds – Qualcomm setzt voll und ganz auf geräteinterne KI.
Laut Qualcomm stehen wir kurz vor dem Zeitalter der "On-Device AI".
Laut Qualcomm stehen wir kurz vor dem Zeitalter der "On-Device AI".
Foto: Qualcomm

Auf dem Snapdragon Summit, der jährlichen großen Tech-Show von Qualcomm, läutete der Chipbauer das Zeitalter der, wie er es nennt, "On-Device AI" ein. Hierzu präsentierte das Unternehmen neue Plattformen für PCs und Mobilgeräte, die mit Blick auf generative KI-Erlebnisse auf dem Gerät entwickelt wurden.

KI auf dem Endgerät

Für den PC ist das etwa die Plattform Snapdragon X Elite. Für Smartphones und andere mobile Devices schickt Qualcomm den Snapdragon 8 Gen 3 ins Rennen, um KI auf dem Endgerät zu realisieren.

Gerenative KI-Modelle mit über 13 Milliarden Parametern soll Qualcomms Snapdragon X Elite auf PCs und in Notebooks bewältigen.
Gerenative KI-Modelle mit über 13 Milliarden Parametern soll Qualcomms Snapdragon X Elite auf PCs und in Notebooks bewältigen.
Foto: Qualcomm

Die Snapdragon-X-Elite-Plattform besteht aus der CPU Oryon mit zwölf Cores, der Adreno-GPU, der NPU Hexagon sowie dem Qualcomm Sensing Hub. Nach eigenen Angaben liefert die Plattform ein bis zu zweimal schnellere CPU-Leistung im Vergleich zur Konkurrenz. Dabei erreiche sie die Spitzenleistung der Konkurrenten mit einem Drittel der Leistung.

Gen AI mit 13 Milliarden Parametern

Für KI entwickelt, könne Snapdragon X Elite generative KI-Modelle mit über 13 Milliarden Parametern auf dem Gerät ausführen. So verarbeite die KI bei Chat-Assistenten bis zu 30 Token pro Sekunde. Erste PCs mit Snapdragon X Elite erwartet Qualcomm ab Mitte 2024 von führenden OEMs.

KI für Smartphones

Der Snapdragon 8 Gen 3 wurde ebenfalls mit Blick auf Gen AI entwickelt.
Der Snapdragon 8 Gen 3 wurde ebenfalls mit Blick auf Gen AI entwickelt.
Foto: Qualcomm

Ebenfalls mit dem Blick auf Gen AI wurde die Plattform Snapdragon 8 Gen 3 entwickelt. Die verbaute AI Engine soll LLM-Modelle mit bis zu 20 Token/s ausführen können und bis zu zehn Milliarden Parameter On-Device verarbeiten. Dies sei eine der schnellsten KIs in der Smartphone-Branche, so Qualcomm.

Erste Flaggschiff-Android-Geräte mit Snapdragon 8 Gen 3 werden laut Qualcomm voraussichtlich in den kommenden Wochen verfügbar sein. Zu dem ersten Herstellen sollen dabei ASUS, Honor, iQOO, MEIZU, NIO, Nubia, OnePlus, OPPO, realme, Redmi, RedMagic, Sony, vivo, Xiaomi und ZTE gehören.

AI in Earbuds

Auch Earbuds sollen KI erhalten.
Auch Earbuds sollen KI erhalten.
Foto: Qualcomm

Das Unternehmen stellte zudem mit dem Qualcomm S7 Gen 1 und S7 Pro Gen 1 eine neue Plattform für Snapdragon Sound vor, die KI für eine fortschrittliche Geräuschunterdrückung nutzt. Die Plattformtechnologie Snapdragon Seamless wiederum soll die nahtlose Zusammenarbeit von Geräten ermöglichen, unabhängig von Hersteller und Betriebssystem.