Foto: Volkswagen AG
Ins Auto einsteigen und die Temperatur oder das Mediasystem mit holografischen Bedienelementen einstellen? Oder Verkehrsinformationen, Wetterbedingungen, Einkaufsempfehlungen und Infos zu architektonischen Highlights auf der Strecke per Holografie erhalten? Noch klingt das nach Science-Fiction im Vergleich zu dem, was die heute bereits von Herstellern wie Mercedes-Benz angebotenen Augmented-Reality-Systeme im Auto können.
Doch genau an solch einer Lösung arbeitet VW mit Microsoft, da die Wolfsburger AR als eine Schlüsselkomponente für zukünftige Mobilitätskonzepte betrachten. Um ein solches Konzept zu realisieren, haben die beiden Partner erstmals das Mixed-Reality-Headset HoloLens 2 in einem fahrenden Fahrzeug nutzbar gemacht.
Moving Platform
Foto: Microsoft
Dabei überwindet der neue "Moving Platform"-Modus - wie es in einem Blogbeitrag von Microsoft heißt - bisherige Einschränkungen der HoloLens 2 und soll so neue Einsatzmöglichkeiten der Technologie eröffnen. Angedacht sind etwa das Training von Fahrern im Umgang mit schwierigen Straßenverhältnissen oder neue Nutzererfahrungen in autonomen Fahrzeugen. Gleichzeitig hofft man, diese Fähigkeiten in Zukunft auch in andere Branchen transformieren zu können.
"Wir glauben, dass Mixed-Reality-Informationen die intuitivsten Informationen sind, die wir einem Fahrer zur Verfügung stellen können", erklärt Andro Kleen, Leiter des Data-Science-Teams bei Volkswagen Group Innovation. "Denn das, was man dort sieht und was man verarbeiten muss, ist sehr nah an dem, was Menschen normalerweise sehen und verarbeiten. Es ist nicht so abstrakt." Wie andere Autobauer nutzt VW bislang AR-Technologien, um per Head-up-Display oder andere Display Navigationspfeile, Fahrbahnmarkierungen, Ampeln und andere Informationen im Auto anzuzeigen.
Partnerschaft mit VW
Foto: Microsoft
Laut Kleen dachte VW schon früher über das Potenzial von Augmented Reality nach. So habe man 2015 ein Forschungsprojekt gestartet, bei dem selbstfahrende Fahrzeuge und Augmented Reality eingesetzt wurden, um das Fahren auf einer Rennstrecke zu erlernen. Das auf der Volkswagen-Teststrecke in Ehra-Lessien getestete System "Race Trainer" nutzte ein Head-up-Display, das den Fahrern Pfeillinien auf der Strecke einblendete, denen sie folgen konnten, und lieferte Lenk- und Bremshinweise.
Schon damals hoffte VW, eine HoloLens für das Forschungsprojekt nutzen zu können, stieß aber bald auf ein Problem. Als das Device in einem fahrenden Fahrzeug eingesetzt wurde, verloren seine Sensoren die Ortung und die Hologramme, die eine HoloLensnormalerweise anzeigt, verschwanden. Kleens Team bat Microsoft um Hilfe und stellte den Kontakt zu Marc Pollefeys her, Microsofts Director of Science und Experte für 3D-Computer-Vision und maschinelles Lernen und heute Leiter des Mixed Reality and AI Lab von Microsoft in Zürich.
Die Krux mit den Sensoren
2018 begann man die Zusammenarbeit, um die Funktion einer "Mobile Platform" für die HoloLens 2 zu entwickeln. Hierzu musste ein grundlegendes Problem gelöst werden: Die HoloLens verwendet zwei Haupttypen von Sensoren, die die Bewegung messen: Kameras mit sichtbarem Licht und eine Trägheitsmesseinheit (IMU), die die Beschleunigung und die Rotationsgeschwindigkeit misst. Zusammen ahmen diese Sensoren nach, wie Menschen die Welt sehen und sich in ihr bewegen. Doch ähnlich wie in einem Auto oder Boot die Reisekrankheit auftreten kann, wenn sich die scheinbar stabile Umgebung in Wirklichkeit bewegt, kommt es in einer sich bewegenden Umgebung zu Unstimmigkeiten zwischen den HoloLens-Sensoren - die Trägheitsmesseinheit erkennt die Bewegung, die Kameras jedoch nicht.
Um dieses Problem zu lösen, entwickelte Pollefeys Team einen Algorithmus, der die Diskrepanzen zwischen den Sensoren modelliert und es der HoloLens ermöglicht, die Verfolgung fortzusetzen. Nachdem die ersten Prototypen fertiggestellt waren, führte das Team Tests am Puget Sound in der Nähe des Microsoft-Campus in Redmond durch. Sie mieteten Freizeitboote, fuhren mit ihnen aufs Wasser und nutzten externe Messgeräte, um die Leistung des Head-Tracking-Systems von HoloLens auf einer sich bewegenden Plattform zu bewerten.
Mögliche Einsatzszenarien
Später testete Microsoft die Funktion mit Volkswagen. Die Volkswagen-Forscher stellten eine bidirektionale Datenverbindung zwischen dem Fahrzeug und der HoloLens her, um Echtzeit-Informationen aus dem Auto anzeigen und steuern zu können. Schließlich implementierte das Team mehrere Demo-Anwendungsfälle, um zu untersuchen, wie virtuelle Schnittstellen den Innenraum zukünftiger Fahrzeuge verbessern können.
Microsoft hat die Funktion der "Mobile Platform" nun vor einigen Monaten offiziell eingeführt. Nach Informationen des Konzerns interessieren sich für die Lösung nicht nur Autobauer wie VW, sondern auch Unternehmen und Organisationen aus der Seefahrt. Diese nutzten die HoloLens bislang, um Mitarbeiter aus dem maritimen Bereich über Microsoft Dynamics 365 Remote Assist mit entfernten Maschinenbauexperten zu verbinden. Allerdings funktionierte dies in Vergangenheit aufgrund der oben angesprochenen Sensorproblematik nur in Häfen. Mit Hilfe der Mobile Platform kann die HoloLens nun auch auf See genutzt werden.
Doch Schiffe und Autos sind nicht die einzigen Einsatzgebiete die Microsoft vorschweben. Der Konzern plant die HoloLens weiter zu verfeinern, um sie etwa in Aufzügen, Zügen und anderen sich bewegenden Umgebungen zu verwenden. Auch VW-Manager Kleen denkt bereits über weitere Möglichkeiten nach, wie die Technologie eingesetzt werden könnte. Angedacht ist, das Innere von Fahrzeugen mit der Außenwelt zu verbinden, z.B. um Lkw- oder Busfahrern bei der Navigation durch enge Straßen zu helfen, interessante Punkte entlang der Fahrtroute zu identifizieren oder Fahrgästen Unterhaltung zu bieten.