Ging es im vergangenen Jahr noch darum, das Potenzial von ChatGPT & Co. über Browser und Apps zu erschließen, werden nun verstärkt Anstrengungen unternommen, generative KI (GenAI) direkt auf dem Endgerät oder hybrid laufen zu lassen. Aus Sicht der Hersteller ist das neu erwachte Interesse verständlich, bietet KI doch die Chance, den etwas eingeschlafenen PC- und Smartphone-Markt wieder in Schwung zu bringen. Aber profitieren davon auch die Anwender?

On-Device-AI bei Qualcomm

Einer dieser Akteure ist Qualcomm. Das Unternehmen hat mit dem Ende 2023 vorgestellten Smartphone-Chipsatz Snapdragon 8 Gen 3 und dem Notebook-Prozessor Snapdragon X Elite - beide mit integrierter NPU (Neural Processing Unit) - bereits die Grundlage für entsprechende KI-optimierte Geräte auf dem Gerät gelegt. Während mit dem Snapdragon X Elite ausgestattete Notebooks erst im Sommer erwartet werden, sind die neu vorgestellten Flaggschiffe Xiaomi 14, Xiaomi 14 Ultra und Honor Magic 6 Pro aktuelle Beispiele für Smartphones mit Qualcomms Snapdragon 8 Gen3, die On-Device-AI bereits in unterschiedlicher Weise nutzen.

Auf dem Mobile World Congress in Barcelona demonstrierte das Unternehmen nun die Leistungsfähigkeit des Snapdragon-SoCs auf einem Android-Smartphone anhand des Large Language and Vision Assistant (LLaVA). Laut Qualcomm handelt es sich dabei um das erste multimodale Large Language Model (LLM), das auf einem Smartphone läuft. Das Modell mit angeblich mehr als sieben Milliarden Parametern kann nicht nur Text, sondern auch Bilder und Sprache als Eingabeaufforderung akzeptieren. In einer der Demonstrationen werden Bilder von verschiedenen Zutaten gezeigt, woraufhin offline ein Rezept für diese Zutaten erstellt und die Kalorienzahl der resultierenden Mahlzeit geschätzt wird.

In einer anderen Demo wird das Open-Source-Grafikprogramm GIMP mit einem Stable-Diffusion-Plugin auf einem Snapdragon-X-Elite-Laptop neben einem x86-Laptop mit Intel Core Ultra 7 vorgeführt, um die Vorteile von Hardware zu demonstrieren, die für generative KI entwickelt wurde. Qualcomm behauptet, dass die Snapdragon-Box bei der Bilderzeugung dreimal schneller ist als das System ohne NPU.

Plattform für KI-Modelle

Darüber hinaus stellte Qualcomm den AI Hub vor. Die Plattform bietet eine Bibliothek mit voroptimierten KI-Modellen für den nahtlosen Einsatz auf Geräten, die von Snapdragon- und Qualcomm-Plattformen angetrieben werden, also neben Smartphones auch PCs, AR/VR-Geräte und andere Devices.

Die Liste umfasst nicht nur bekannte GenAI-Lösungen wie Stable Diffusion, Llama oder ControlNet, sondern auch verschiedene Modelle für Spracherkennung, Bildklassifikation, Objekterkennung, Bild-Superskalierung und Ähnliches. Laut Qualcomm können Entwickler die Modelle mit wenigen Zeilen Code selbst auf Cloud-gehosteten Geräten mit Qualcomm-Plattformen ausführen.

Als Modemhersteller konzentriert sich Qualcomm natürlich nicht nur auf On-Device KI, sondern ist überzeugt, dass die Kombination mit der Cloud weitere Vorteile bringen kann. "Die Zukunft der generativen KI ist hybrid", ist Cristiano Amon, CEO von Qualcomm, überzeugt. "Die Intelligenz auf dem Gerät arbeitet mit der Cloud zusammen, um mehr Personalisierung, Privatsphäre, Zuverlässigkeit und Effizienz zu bieten." Der Manager betonte dabei die Bedeutung der Konnektivität, um die generative KI über die Cloud, das Edge und das Gerät hinaus zu skalieren und zu erweitern. Gleichzeitig sei es auch möglich, Konnektivität der nächsten Generation mithilfe von KI bereitzustellen.

KI-optimierte Verbindungen

Das frisch vorgestellte Snapdragon X80 5G Modem-RF System mit bis zu sechsfacher Carrier Aggregation (6CA) und sechs Empfängerantennen (6Rx) nutzt beispielsweise KI, um die Nutzung mehrerer Antennen in einem Smartphone zu optimieren. Auf diese Weise ist es laut Qualcomm möglich, die Signalqualität und damit den Datendurchsatz zu verbessern sowie die Energieeffizienz zu erhöhen. Der Snapdragon X80 unterstützt auch NB-NTN, also schmalbandige Satellitenverbindungen.

Auch beim Funkchip FastConnect kommt mit der Version 7900 KI zum Einsatz, um die Leistung zu steigern und die Energieeffizienz zu verbessern. Hier geht es vor allem darum, zu verstehen, wofür die Wi-Fi-Verbindung genutzt wird, zum Beispiel um Videos anzusehen, Musik zu hören oder für Online-Meetings, und die Verbindung entsprechend zu optimieren. Laut Qualcomm lassen sich so im Vergleich zu Anwendungen ohne KI bis zu 30 Prozent Energie einsparen. Außerdem könnten viele Wi-Fi-Parameter besser angepasst werden, um ein optimales Nutzererlebnis zu bieten.

Der FastConnect 7900 unterstützt Wi-Fi 7, Wi-Fi 6E und Wi-Fi 6 für Spitzengeschwindigkeiten von bis zu 5,8 Gbps und integriert außerdem Bluetooth und Ultrabreitband (UWB) auf einem einzigen Chip. Außerdem soll er weniger Strom verbrauchen als die Vorgängergeneration.