Als Apple iOS 15 im Jahr 2021 auf den Markt brachte, enthielt die aktualisierte Software eine neue Funktion in Fotos namens Visual Look Up, die im Apple-Deutsch "Visuelles Nachschlagen" heißt. Dieses nette KI-gestützte Tool kann Tiere, Pflanzen und Sehenswürdigkeiten in Fotos erkennen und Informationen über sie liefern.
Wenn Sie zum Beispiel ein Bild von einer Grünfläche in Fotos öffnen, sehen Sie ein paar kleine Sterne neben dem Informationssymbol in der unteren Leiste, was bedeutet, dass iOS etwas erkannt hat. Wenn Sie auf das Symbol tippen, erfahren Sie schnell, dass es sich bei dem nächstgelegenen Baum wahrscheinlich um eine europäische Esche handelt. Sehr praktisch, wenn auch innerhalb einer relativ kleinen Anzahl von Anwendungsfällen.
Erkennen von Lebensmitteln und Symbolen
Zwei Jahre später erweitert Apple die Nützlichkeit dieser früheren Nischenfunktion. iOS 17 und iPadOS 17, die auf der WWDC Anfang Juni vorgestellt wurden und im Herbst dieses Jahres allgemein verfügbar sein werden, erweitern die Funktion "Visuelles Nachschlagen" um die Möglichkeit, verschiedene Arten von Lebensmitteln und, was vielleicht am nützlichsten ist, Symbole zu erkennen.
Diese Verbesserungen wurden während der WWDC vorgestellt, aber die Beta-Tester können sie erst jetzt ausprobieren. Und man kann durchaus sagen, dass sie - größtenteils - beeindruckt sind.
Visual Look Up’s new “Look Up Food” recipe search in iOS 17 needs a little work pic.twitter.com/wkTpneSPCk
— lewiswallace (@lewiswallace) June 22, 2023
Federico Viticci von MacStories lobte am Mittwoch auf Mastodon die Leistungsfähigkeit von iOS 17 bei der Interpretation von Wäscheetiketten: "Die Fotos-App von iOS 17 kann jetzt Wäschesymbole in Bildern erkennen und erklären, und das ist erstaunlich," schrieb er. "Wir müssen alles zurücknehmen, was wir darüber gesagt haben, dass Apple maschinelles Lernen nicht richtig macht."
Wäscheetiketten sind für Menschen schwierig zu erkennen und zu interpretieren, da sie klein, oft verblasst und kryptisch oder sogar kontraintuitiv gestaltet sind. Aber sie sind der perfekte Anwendungsfall für Computer-KI, da sie innerhalb enger visueller Parameter weitgehend konsistent sind und im Wesentlichen davon abhängen, dass man sich einfach merkt, was sie bedeuten; es gibt sehr wenig Raum für subjektive Interpretation. Dementsprechend teilt das Visuelle Nachschlagen Federico Viticci mit, dass das angebotene Kleidungsstück nicht im Wäschetrockner getrocknet (zu spät, wie es scheint) oder chemisch gereinigt werden sollte.
MacRumors hat selbst weitere Tests durchgeführt und stellt fest, dass man auf die bereitgestellten Informationen klicken kann, um herauszufinden, woher sie stammen. Die Wäscheanweisungen stammen laut der Website von der internationalen Organisation für Normung.
Laut MacRumors ist die Funktion in diesem Stadium des Betatests bereits zuverlässig und scheint jedes Wäschesymbol, das die Website ausprobiert hat, erfolgreich zu identifizieren - auch wenn die Kollegen anmerken, dass die Bilder ziemlich weit herangezoomt werden mussten, damit Visuelles Nachschlagen funktioniert. MacRumors hat herausgefunden, dass die Funktion auch Symbole auf Armaturenbrettern in Autos erkennen kann. Das hat Apple auf der Keynote nicht erwähnt.
Auch wenn es sich bei den Wäschemarken um ein kleines Upgrade handelt, zeigt es doch, wie viel Arbeit Apple in Visuelles Nachschlagen steckt, um es zu einer Funktion zu machen, die wir alle häufiger nutzen werden. Und natürlich ist es eine Funktion, die eine Schlüsselkomponente des Vision Pro Headsets sein könnte, sobald man das Headset auch draußen tragen kann.
Dieser Artikel ist zuerst auf Macworld.com erschienen und wurde aus dem Englischen übersetzt. (Macwelt)