Die Hololens 2 stellt ein komplettes Redesign der ursprünglichen, bereits 2015 vorgestellten Datenbrille dar. So ist das Gerät dank der Halbierung und besseren Verteilung des Gewichts deutlich bequemer zu tragen. Außerdem wurde das horizontale Sichtfeld von 30 auf 43 Grad, das vertikale von 17,5 auf 29 Grad erweitert. Die Pixeldichte von 47 Pixel pro Grad wurde dabei beibehalten.

Doch die Mixed-Reality-Brille bietet nicht nur mehr Tragekomfort, sondern ermöglicht auch eine einfachere Handhabung. So unterstützt das 3500 Dollar teure Gerät nun anstelle der bisherigen "AirTap"-Gesten eine vollwertige Gestenverfolgung. Die Nutzer der Datenbrille können Objekte drücken und ziehen oder Menüs aufrufen, indem sie auf eine holografische Schaltfläche an ihrem Handgelenk tippen.

Intuitive Nutzung dank KI

Wie John Roach im Microsoft-Blog ausführt, setzte der Hersteller bei der Entwicklung auf KI, um dem Anwender eine möglichst intuitive Nutzung der Datenbrille zu ermöglichen. Die Forschung und Entwicklung im Bereich der Künstlichen Intelligenz, die diese Fähigkeiten ermögliche, sei "erstaunlich kompliziert" gewesen, zitiert Roach Jamie Shotton, Leiter des an der Entwicklung beteiligten HoloLens Science Team in Cambridge, Großbritannien. Gleichzeitig war sie aber auch unerlässlich, um die Nutzung des Geräts "instinktiv" zu machen. "Wir möchten, dass Sie wissen, wie man die HoloLens verwendet, ohne dass man es Ihnen speziell beibringen muss", erklärte Shotton. Ziel sei es daher gewesen, die Interaktion mit Dingen in der realen, physischen Welt so weit wie möglich direkt in einer Mixed-Reality-Umgebung umzusetzen."

Um solche intuitiven Interaktionen mit der HoloLens 2 zu ermöglichen, entwickelten und trainierten Shotton und seine Kollegen KI-Modelle auf dem Gerät, die die Handbewegungen und den Blick der Menschen verfolgen. Auf diese Weise sei es beispielsweise möglich, dass der Nutzer mit dem Headset ein vor ihm schwebendes Hologramm wahrnehmen und nach ihm greifen kann, um es zu verschieben oder seine Größe zu verändern.

Um das Hand-Tracking-System zu bauen, nutzte das Team ein Rigg mit einer nach innen gerichteten Kamera-Kuppel, mit der sie die Hände verschiedener Personen aufzeichneten. Dann nutzte das Team die Offline-Cloud-Verarbeitung, um ein 3D-Modell zu erstellen, das alle Formen und Bewegungen der menschlichen Hand darstellen kann. Ausgehend von diesem 3D-Modell konnte das Team mit Hilfe von Computergrafiken realistische, synthetische Bilder von Händen zusammen mit synthetischen Etiketten rendern, um das Modell mit Hilfe einer Vielzahl von Handformen, Posen und Bewegungen robust zu machen.

Auf diese Weise war das Team in der Lage, praktisch unbegrenzte Mengen an Trainingsdaten zu erzeugen. Mit diesen wurde ein KI-Algorithmus gefüttert, der in einem speziellen Chip auf der Brille sitzt.

Setzt nun ein neuer Nutzer eine HoloLens 2 auf, verwendet das System dieses neuronale Netz, um ein personalisiertes 3D-Modell an die Hände des Anwenders anzupassen. So soll ein präzises Tracking möglich sei, wie es für eine instinktive Interaktion mit Hologrammen erforderlich ist.

Einen ähnlichen Ansatz wählte Shottons Team für den Aufbau und die Schulung des Eyetracking-Modells. Hierbei lag ein besonderes Augenmerk auf dem Augenabstand, also der Strecke zwischen den Pupillenmittelpunkten. Dieser ist von Mensch zu Mensch unterschiedlich und beeinflusst, wie eine Person nahe oder ferne Objekte sieht. Das Ergebnis ist ein Eyetracking-Modell, das es der HoloLens 2 ermöglicht, Hologramme vor dem Kunden präzise darzustellen und mit Händen und Augen zu interagieren und zu manipulieren. "Ohne Eyetracking wäre es einfach unmöglich, Hologramme auf die reale Welt auszurichten - insbesondere auf die physische Hand der Person - mit der Präzision, die benötigt wird, um instinktive Interaktion zu ermöglichen", sagte Shotton.

Die Hololens 2 als intelligentes Edge-Device

Aus Sicht von Microsoft Technical Fellow Alex Kipman legt das Headset die Messlatte für intelligente Edge-Geräte höher, da es KI-fähige Technologien nutzt, die Daten offline sammeln und verarbeiten können - und die dann einige oder alle diese Daten mit der intelligenten Cloud teilen können, wenn sie eine Verbindung haben.

Auf der HoloLens 2 sind die Hand- und Eyetracking-Funktionen sowie andere intelligente Features - Microsoft Technical Fellow Alex Kipman fasst sie als Perception AI zusammen - in einem speziellen Chip der Holographic Processing Unit 2, kurz HPU 2.0, eingebettet. Die Verarbeitung der Daten auf dem Gerät ermöglicht es Menschen, Hologramme zu bearbeiten und mit ihnen zu interagieren, ohne sich Gedanken über die so genannte Latenzzeit zu machen - typischerweise die Hunderte von Millisekunden, die es braucht, bis Daten in die Cloud gelangen, verarbeitet und an den Rand zurückgeführt werden.

"Diese Bearbeitungszeit ist entscheidend", merkt Entwicklungspartner Shotton an. Selbst Dutzende von Millisekunden stellten einen signifikanten Unterschied bei der Wahrnehmung dar, beispielsweise, wenn man eine Taste auf einem Hologramm drückt oder mit den Augen durch Text auf einem Hologramm scrollt,

Daneben sind laut Microsoft Datenschutzbedenken ein weiterer Grund, KI-Berechnungen lokal auf einem Gerät durchzuführen. So stellten etwa die Iris-Scans, die HoloLens 2 zur Authentifizierung von Kunden durchführt, die Art von personenbezogenen Daten dar, die Menschen möglicherweise nicht in die Cloud senden möchten.

Für viele andere Arten von Daten gebe es jedoch einen Vorteil, sie in die Cloud zu übertragen, erklärt Microsoft Technical Fellow Kipman: Dort könne der Nutzer die Vorteile von Azure AI und Mixed-Reality-Diensten nutzen und die Daten von seinem Gerät mit Daten aus der gesamten allgegenwärtigen Computerstruktur kombinieren. Dies erlaube dann eine fortgeschrittenere Berechnung oder Wahrnehmung, so Kipman.