Die bekannten generativen KI-Programme (GenKI), wie ChatGPT laufen alle in der Cloud. Doch das wird sich schon bald ändern, denn eine neue System-Generation erlaubt den KI-Betrieb bereits auf dem Desktop, was viele Vorteile bietet. Da sind zunächst die Kosten, denn das Ausführen von Inferenzen in der Cloud ist zwar sehr leistungsfähig, aber auch teuer. Um GenAI-Lösungen kostengünstig im gesamten Unternehmen bereitzustellen, muss die Ausführung zu einem großen Teil lokal erfolgen. Drei weitere Cloud-Probleme sind die Antwortzeiten, die Netzbelastung und der Datenschutz. "Durch die Ausführung von LLMs auf einem PC muss man keine sensiblen Daten über das Internet oder an fremde Dienstanbieter übertragen", heißt es in einer Forrester-Studie über die Vorteile einer lokalen KI-Nutzung.

Copilot kommt auf den PC

Das haben auch die großen Anbieter erkannt. Beispielsweise haben Microsoft und Intel eine Vereinbarung getroffen, um den Copilot von der Cloud auf den PC zu bringen. "Dies ist ein Wendepunkt der Unternehmens-IT und wir sind stolz auf die Partnerschaft zwischen Microsoft und Intel", sagte James Howell, General Manager für Windows bei Microsoft. Große Kunden, wie Atlassian, Air India und Bayer haben bereits angekündigt, dass sie den Copilot mit maßgeschneiderten Plugins in ihre Geschäftsanwendungen integrieren werden.

KI-PCs mit CPU, GPU und NPU

Microsoft nennt die neuen Systeme "Copilot+ PCs". Doch darauf kann nicht nur der Copilot laufen, sondern auch alle anderen KI-Anwendungen. Erreicht wird das neue Leistungsspektrum durch eine spezielle Systemarchitektur, bei der nicht nur CPU und GPU zum Einsatz kommen, sondern auch eine "Neural Processing Unit" (NPU). Das ist im Kern ein spezialisierter Beschleuniger für KI-Workloads, der sich grundlegend von einer CPU oder einer GPU unterscheidet. Die NPU kann weder das Betriebssystem ausführen noch Grafiken verarbeiten. Sie kann aber beides unterstützen, wenn diese Workloads mithilfe neuronaler Netze beschleunigt werden sollen. Neuronale Netze sind stark von Matrizenmultiplikationen abhängig, sodass die NPUs darauf ausgelegt sind, solche Multiplikationen bei extrem geringer Leistung auf eine massiv parallele Weise extrem schnell durchzuführen. GPUs können das zwar auch - was der Hauptgrund für ihre Beliebtheit bei neuronalen Netzwerkaufgaben in der Cloud ist, allerdings können sie bei diesen Arbeiten sehr stromhungrig sein. Wogegen sich NPUs wesentlich energieeffizienter zeigen. Kurz gesagt: NPUs können ausgewählte KI-Aufgaben schnell, effizient und besonders energiesparend ausführen.

Für Intel optimierte KI-Features und -Modelle

Intel hat hierzu mit seinem neuen Core Ultra Prozessor ein Paket aus CPU, GPU und NPU geschnürt, das beachtliche 34 TOPS (Billionen Operationen pro Sekunde) erreicht. Im Rahmen des AI PC Acceleration Programs werden bereits mehr als 300 KI-beschleunigte Funktionen für Kollaboration, Produktivität und Content-Erstellung für die optimale Ausführung auf der neuen Intel-Plattform entwickelt. Inzwischen gibt es über 500 KI-Modelle, die für den neuen Core Ultra-Prozessor optimiert sind. Diese sind über die bekannten Plattformen, wie OpenVINO, Hugging Face, ONNX Model Zoo und PyTorch verfügbar. Die Modelle basieren auf den Standard-Kategorien lokaler KI-Inferenz, wie Sprache, Diffusion, Superauflösung, Objekterkennung, Bildklassifizierung/-segmentierung, Computer Vision und andere mehr.

vPro und TDT jetzt auch mit KI

Intel hat viele Teile seiner Software ebenfalls auf die neuen KI-PCs umgestellt. Beispielsweise wurde die vPro-Architektur komplett neu aufgestellt. Intel vPro® Enterprise für Windows ist eine Business-Computing-Plattform, die PCs Profi-tauglich macht. Sie bietet viele Vorteile bei der Sicherheit, der Managebarkeit, der Produktivität und der Stabilität der PC-Flotte. Die neueste Version basiert jetzt auf Intel Core Ultra Prozessoren, und erlaubt einen völlig neuartigen KI-Ansatz zur Administration aller Endgeräte. Laut Intel war es das umfangreichste Update seit 40 Jahren. Ähnlich ist es bei der IT-Security zu. So bietet Intel mit seiner Threat Detection Technology (Intel® TDT) jetzt eine KI-gestützte Überwachung an, die die Möglichkeiten der GPU- und NPU-Beschleunigung voll ausschöpfen.

Ein Blick nach vorne

Für die neuen KI-PCs soll es einen großen Bedarf geben. Die Marktforscher von IDC meinen, dass KI-PCs bis 2027 einen Anteil von 60 Prozent bei aller PC-Lieferungen ausmachen werden. Dieser rasant ansteigende Bedarf wird zum Teil dadurch befeuert, dass sich die Leistung dieser Systeme noch deutlich erhöhen wird. Intel hat bereits mit seinem "Lunar Lake" die nächste Prozessor-Generation angekündigt. Dieses Paket soll über 100 TOPS erreichen, wobei die NPU 45 TOPS besteuern wird.

Fazit

KI muss nicht mehr ausschließlich in der Cloud ablaufen. Ein lokaler Einsatz auf einem KI-PC ist günstiger, effizienter und stromsparender, wenn er mit der entsprechenden Hardware, wie dem Core Ultra Prozessor mit seiner GPU und NPU ausgestattet ist. "Die KI-PCs bieten neue KI-Erlebnisse von mehr als 100 Softwareanbietern, Windows 11 und Copilot", sagt David Feng, Intel-Vizepräsident der Client Computing Group und General Manager von Client Segments.

Alles über vPro