Eines der Highlights von ARKit 4 ist die neue Depth API. Sie ermöglicht es dem Entwickler, sehr präzise Tiefeninformationen zu dem aktuellen Videosignal zu erhalten. In Kombination mit der seit ARKit 3.5 angebotenen Szenengeometrie-API ermöglicht ARKit 4 eine 3D-Matrix von Messwerten der unmittelbaren Umgebung. Jeder Punkt ist dabei mit einem Wert versehen, der bewertet, wie sicher ARKit diesen einsortieren kann.

Alle diese Messwerte zusammen liefern detaillierte Tiefeninformationen, die das Verständnis einer Szene und die Überlagerung realer Objekte durch virtuelle verbessern sollen. Entwickler können diese verwenden, um einen Raum besser zu erkennen, Körpermaße auszuwerten und vieles mehr. Voraussetzung ist dafür jedoch ein Gerät mit LiDAR-Sensor wie das iPad Pro 2020 - es ist also nicht ganz unwahrscheinlich, dass auch das nächste iPhone damit ausgestattet sein wird.

Augmented Reality bei Apple: Das ist neu

Mit ARKit 4 führt Apple außerdem einen neuen Anchor-Typ ein. Hierbei handelt es sich um Marker-Punkte, um die virtuelle mit der realen Welt zu verbinden. Mit den ARKit Location Anchors können App-Entwickler virtuelle Inhalte in der realen Welt verankern, beispielsweise bei Points of Interest in einer Stadt. Auf diese Weise wird das Augmented-Reality-Erlebnis in die freie Natur gebracht und für eine Vielzahl von Nutzern gleichzeitig verfügbar gemacht. Dazu werden auf Basis der Geodaten (Breiten- und Längengrad sowie Höhe) und Daten aus Apple Maps AR-Erlebnisse erstellt, die mit einem bestimmten Standort auf der Welt verknüpft sind.

ARKit 4 is ?? pic.twitter.com/UDRIPWit86

— Joel Bernstein (@CastIrony) June 23, 2020

Apple bezeichnet diesen Prozess, bei dem ein iPhone oder iPad in Relation zu seiner (optischen) Umgebung mit einem höheren Grad an Genauigkeit lokalisiert wird, als "visual localization". Leider ist dieses Feature (noch) nicht in Deutschland verfügbar. Bislang werden nur die von Apples Kamerawägen erfassten Städte San Francisco, New York, Los Angeles, Chicago und Miami unterstützt.

Auch das Face Tracking wurde in ARKit 4 erweitert und unterstützt nun die Frontkamera jedes Apple-Device mit dem A12 Bionic-Chip und später, einschließlich des neuen iPhone SE. Um bis zu drei Gesichter gleichzeitig zu tracken, etwa für Memojis oder Snapchat-Features, wird jedoch ein Gerät mit TrueDepth-Kamera benötigt.

Auch das Erkennen von Handknochen (Vision API, 21 Datenpunkte) und mehrerer Menschen in einer Szene als Ganzes ist mit iOS 14 in Echtzeit möglich. Hier sind ein paar Feinheiten versteckt. Das Vision Framework kann nämlich - genau wie ARKit - insgesamt 19 Messpunkte an einem menschlichen Körper identifizieren. Im Gegensatz zu ARKit liefert das Vision Framework allerdings einen Genauigkeitswert (wie sicher ist sich das Framework) und lässt sich auch auf Bilder und Videos, die sich zum Beispiel in der Kamera-Bibliothek befinden, anwenden.

ARKit 4: Nicht nur für iPad-Pro-Nutzer

Mag sein, dass ARKit 4 erst in Verbindung mit dem im neuen iPad Pro verbauen LiDAR-Sensor so richtig Performance auf die Straße bringt. Aber in wenigen Monaten werden vermutlich auch iPhones auf den Markt kommen, die mit diesem Sensor ausgestattet sind. Auch andere Geräte stehen zur Diskussion, so könnte eine ominöse AR Brille (Apple Glass) statt einer herkömmlichen Kamera nur einen LiDAR-Sensor besitzen. Der Vorteil liegt auf der Hand: Der Träger - sofern es diese Brille je geben wird - könnte keine Videoaufnahmen von seiner Umgebung machen. Das alles ist natürlich Zukunftsmusik, zunächst bleibt ARKit 4 eine tolle Neuigkeit für iPads und vielleicht bald für iPhones. (mb)