Apple hatte passend zum Aktionstag für digitale Barrierefreiheit am 19. Mai 2022 eine ganze Serie an neuen Bedienungshilfen vorgestellt, die Anwendern mit Einschränkungen helfen sollen. Zwei der kommenden Erweiterungen für mehr Barrierefreiheit scheinen Apples Ansatz zu verdeutlichen: Türerkennung und Live-Untertitel.

• Türerkennung: Die Funktion erkennt mithilfe der iPhone-Kamera Türen, navigiert den Nutzer dorthin, teilt ihr oder ihm mit, ob die Tür offen oder geschlossen ist, welche Beschriftung sie hat und wie sie geöffnet wird.

• Live-Untertitel: Das Apple-Gerät liefert bei Telefonaten, Facetime, Videokonferenzen, aber auch Videos und Gesprächen mit einem Gegenüber eine Echtzeit-Transkription.

Beides sind unglaubliche Funktionen und je länger man darüber nachdenkt, desto mehr Potenzial wird sichtbar. Wenn nämlich ein Apple-Gerät eine Echtzeit-Transkription des Gehörten erstellen kann, warum sollte es dann nicht in der Lage sein, diese Transkription in verschiedene Sprachen zu übersetzen? Wir wissen, dass Apple über die entsprechende Technologie verfügt - wir verwenden sie jedes Mal, wenn wir eine Webseite übersetzen. Dieser Prozess ist superschnell. Warum also nicht einfach diese Übersetzung auf die von Ihrem Apple-Device gelieferte Transkription ausweiten?

Das könnte auch in beide Richtungen funktionieren, indem Ihr Gerät die Sprache spricht, die Sie nicht können, und Sie so in die Lage versetzt werden, komplexe Unterhaltungen in mehreren Sprachen zu führen.

Bilderkennung weitergedacht

Auch die Funktion Türerkennung nutzt Technologien, die Apple schon seit einiger Zeit erforscht. Sie können sie ganz einfach selbst nutzen: Öffnen Sie auf dem iPhone die Anwendung Fotos und suchen Sie nach Bildern mit dem Begriff "Laternenpfahl" und schon können Sie jedes Ihrer Fotos, auf dem ein Laternenpfahl zu sehen ist, untersuchen.

Wenn das iPhone also Gegenstände auf Fotos erkennen kann, sollte es auch in der Lage sein, sie anderswo mit der gleichen Künstlichen Intelligenz zu erkennen. Das bedeutet, dass eine blinde oder sehbehinderte Person künftig in der Lage sein wird, eine ähnliche Technologie zu nutzen, um alles zu erkennen, wofür die KI auf Apple-Geräten einen Namen hat:

"Hey Siri, wo sind die Orangen im Gemüseladen?"

"Sie sind drei Schritte rechts von dir, in der zweiten Kiste von vorne. Sie kosten 1 Dollar."

Die Funktion Türerkennung zeigt, dass die Technologie dafür bereits existiert. Sie muss nur noch ausgebaut werden. Was ist also so revolutionär an all dem? Es bedeutet, dass Apple bereits eine Vielzahl von Bausteinen zusammengestellt hat, die es iPhone & Co. ermöglichen, die Welt um uns herum zu erkennen und mit ihr zu interagieren. Sobald die Technologie diese Welt versteht, kann sie uns bei unseren Interaktionen unterstützen und unsere Entscheidungen mit Informationen anreichern, die wir nutzen können.

Eine blinde oder sehbehinderte Person, die eine Orange für einen Euro kaufen möchte, könnte entsprechend darauf hingewiesen werden, dass dieselbe Frucht ein paar Läden weiter für die Hälfte des Preises erhältlich ist. Oder ein Außendiensttechniker könnte feststellen, dass sein Gerät bereits das Reparaturhandbuch für die Hardware geöffnet hat, auf die er gerade starrt.

Wir haben es hier mit zwei Technologien zu tun, die angeblich für die Barrierefreiheit entwickelt wurden. Gleichzeitig verleihen sie den Geräten des Unternehmens aber auch ein interaktives Verständnis in Bezug auf Sehen und Hören. Dieses Verständnis ermöglicht es ihnen, dem Benutzer kontextbezogene nützliche Informationen über das Gesehene und Gehörte zu liefern. Dies kann als Antwort auf direkte Fragen geschehen oder - wie bei der Arbeit von Apple mit Siri Suggestions - durch das Wissen des Geräts über die Art von Hilfe, um die man normalerweise bittet, gesteuert werden.

Augmented Human Experience

Man muss kein Experte sein, um zu erkennen, dass dies eine Reihe von Möglichkeiten für leistungsstarke Tools und Services für private Nutzer eröffnet - zusammen mit äußerst mächtigen Enterprise-Anwendungen rund um maschinelle Bildverarbeitung und Industrie 5.0 in verschiedenen Sektoren. Das Tolle an diesen Anwendungen ist, dass sie, da sie auf barrierefreien Technologien beruhen, auch denjenigen eine aktivere Rolle ermöglichen, die in einigen Bereichen noch nicht so stark vertreten sind, wie sie es sein sollten.

Das Ergebnis wäre Apples Interpretation von Extended Reality, eine Technologie, über die wir vermutlich auf der WWDC 2022 noch mehr erfahren werden. Nicht ohne Grund ließ Apple bereits Informationen darüber durchsickern, dass die Technologie dem Verwaltungsrat vorgeführt wurde oder welche Design-Herausforderungen es bei der Entwicklung des logischsten Vehikels für diese Technologie, Apple Glass, zu berücksichtigen gibt. (mb)

Dieser Artikel basiert auf einem Beitrag der US-Schwesterpublikation Computerworld.