Apple hat kürzlich angekündigt, die Hauptkamera des iPad Pro um LiDAR-Scanner (Light Detection and Ranging) zu erweitern.
Der LiDAR-Scanner wird der Apple-Nutzerschaft als "bahnbrechende" Technologie angepriesen. LiDAR-Sensoren, die auch als 3D-Flugzeitsensoren (ToF-Sensoren) bezeichnet werden, werden bereits in anderen Bereichen, wie z. B. in autonomen Fahrzeugen, zur schnellen und genauen Tiefenerfassung eingesetzt.
Seit der Einführung von ARKit im Jahr 2017 für iOS verfügt Apple bereits über ein großes Ökosystem an AR-fähigen Geräten. Diese AR-Fähigkeit wurde durch eine Funktion namens "World Tracking" erreicht, die auf einer Technik namens visuell-inertiale Odometrie basiert. Das ARkit nutzt die Kamera des iPhones oder iPads in Kombination mit einer Computer-Vision-Analyse, um auffällige Merkmale in einer Szene zu erkennen und zu verfolgen, z. B. flache Oberflächen oder Objekte. Die Verfolgungsdaten werden dann mit den Bewegungssensordaten des Geräts verglichen, um ein hochpräzises Modell der Position und Bewegung des Geräts im Verhältnis zu den erkannten Merkmalen zu entwickeln. Eine der Einschränkungen der früheren Implementierung bestand darin, dass sie ohne ein externes Peripheriegerät nicht zur Erstellung von 3D-Scanmodellen der Umgebung verwendet werden konnte. Mit einem integrierten LiDAR-Scanner hat Apple das ARkit nun in die Lage versetzt, die Umgebung zu erkennen und 3D-Modelle derselben zu erstellen.
Die Vorstellung eines Geräts mit integriertem LiDAR-Scanner durch Apple hat für viel Aufregung gesorgt. Apple könnte den LiDAR-Scanner in zukünftige Versionen des iPhones sowie in das oft gemunkelte AR/VR-Headset und die Apple Glasses integrieren. Diese Aufregung könnte andere Unternehmen dazu veranlassen, ähnliche LiDAR-Funktionen einzuführen, möglicherweise zur Umgebungserkennung und Bildgebung. Es könnte auch zu alternativen Ansätzen für die Umgebungserkennung führen, wie z. B. dem Einsatz von Radar. Schließlich können diese Sensoren und ihre Fähigkeiten in mobilen Geräten die Entwicklung von Augmented-Reality-Anwendungen fördern.
MaxVal hat kürzlich Recherchen zu Patenten und Anmeldungen von LiDAR-Systemen/Methoden durchgeführt, um Trends zu erkennen und einen Einblick in die künftigen Aktivitäten von Apple und seinen Konkurrenten im Segment der Mobilgeräte zu erhalten. Wie in Abb. 1 zu sehen ist, wurde für den Zeitraum 2015-2020 ein dramatischer Anstieg der Patentanmeldungen beobachtet. Dieser Trend deutet darauf hin, dass das Interesse und die Forschungsaktivitäten im Zusammenhang mit LiDAR-Systemen in der nahen Zukunft zunehmen werden.
Abb. 1: Anwendungstrends bei der Patentaktivität im Zusammenhang mit LiDARs.
Wie aus Abb. 2 hervorgeht, sind die USA der wichtigste Markt für diese Technologie, gefolgt von China, Europa, Südkorea und Japan. Bezeichnenderweise waren die Anmeldungen in den USA etwa dreimal so hoch wie in China.
Abb. 2: Markt für Patente im Zusammenhang mit LiDARs.
Die Rechtsnachfolger verteilen sich auf viele Branchen wie die Automobilindustrie, die Luft- und Raumfahrt, die Industrieausrüstung und die Unterhaltungselektronik. Die 73 weltweiten Patente und Anmeldungen von Apple, die ein LiDAR-Scannersystem beanspruchen, können in drei große Kategorien eingeteilt werden: (i) die erste Gruppe von Patenten/Veröffentlichungen konzentriert sich auf fahrzeugbezogene Anwendungen; (ii) die zweite Gruppe konzentriert sich auf die funktionalen Aspekte von LiDAR, die sowohl für Fahrzeuge als auch für Geräte mit geringem Stromverbrauch, wie z. B. Mobiltelefone, anwendbar sind; und (iii) die dritte Gruppe konzentriert sich auf LiDAR-Sensoren für mobile Geräte und/oder die Ermöglichung neuartiger Funktionen in einem mobilen Gerät durch den Einsatz von LiDAR. Ausgewählte Fälle, die in die dritte Kategorie fallen, werden im Folgenden erörtert.
US-Patent Nr. 10,107,914 mit dem Titel "Actuated optical element for light beam scanning device" (Betätigtes optisches Element für eine Lichtstrahl-Abtastvorrichtung) bezieht sich auf eine Linsenanordnung in einem LiDAR-Scanner mit mehreren Linsen. Das Patent offenbart einen einzigen Sensor, der beide unten beschriebenen Methoden durchführt. Eine oder mehrere dieser Linsen werden in Verbindung mit einem gesteuerten Aktuator verwendet, um die Divergenz der projizierten Lichtstrahlen einzustellen. Bei der ersten Methode wird ein breiter Bereich gescannt, um Objekte zu erkennen, ähnlich wie beim LiDAR-Sensor des neuen iPAD Pro. Die zweite verwendet einen Scanstrahl mit enger Divergenz, um detaillierte Punktwolken der erkannten Objekte zu erzeugen, ähnlich wie das für FaceID verwendete True-Depth-Kamerasystem.
Die US-Patentveröffentlichung Nr. 20190362511A1 mit dem Titel "Efficient scene depth map enhancement for low power devices" (Effiziente Tiefenkartenverbesserung für Geräte mit geringem Stromverbrauch) bezieht sich auf die Verbesserung von Tiefenkarten, die mit LiDAR und anderen Sensoren auf einem Gerät mit geringem Stromverbrauch, wie einem Mobiltelefon oder einem Tablet, erzeugt wurden. Die beschriebene Methode ist angeblich effizienter als frühere Methoden, da sie die anfängliche Tiefenkarte in bestimmte Regionen wie den Hintergrund, geeignete Tiefenregionen und unzureichende Tiefenregionen unterteilt und die weitere Verarbeitung und Analyse nur für die unzureichenden Regionen durchführt, wodurch die vom Gerät verwendeten Ressourcen minimiert werden. Im Folgenden wird ein Überblick über die Phasen eines Arbeitsablaufs gegeben, der für die Verbesserung von Tiefenkarten gemäß zumindest einigen Ausführungsformen dieses Patents verwendet werden kann.
Das US-Patent Nr. 10.592.010 mit dem Titel "Electronic device system with input tracking and visual output" (Elektronisches Gerätesystem mit Eingabeverfolgung und visueller Ausgabe) bezieht sich auf die Verfolgung von Benutzereingaben durch ein elektronisches Gerät unter Verwendung verschiedener Sensoren, die auch eine LiDAR-Einheit umfassen können. Das Patent offenbart die Fähigkeit, eine Benutzereingabe mithilfe von LiDAR zu verfolgen. Aktuelle Apple-Geräte (z. B. iPhone und iPad) sind alle mit einem True-Depth-Kamerasystem für FaceID ausgestattet. Das Funktionsprinzip und die Komponenten des True-Depth-Kamerasystems sind dem neu eingeführten LiDAR-System sehr ähnlich, allerdings mit dichter gepackten IR-Projektionen. Daher können diese Geräte für die Verfolgung von Benutzereingaben eingesetzt werden, wie im Patent '010 gefordert. Ein repräsentatives Bild mit einem Gerät, das mit dem Sensor bestückt ist, wird unten gezeigt.
Das US-Patent Nr. 9,411,413 mit dem Titel "Three dimensional user interface effects on a display" (Dreidimensionale Benutzeroberflächeneffekte auf einem Display) bezieht sich auf ein Display, das in der Lage ist, eine dreidimensionale Benutzeroberfläche dynamisch auf der Grundlage der erkannten Position des Kopfes des Benutzers zu erzeugen. Das Patent beschreibt die Verwendung eines LiDAR-Sensors zur Erkennung der Kopfposition des Benutzers und kombiniert diese Daten mit den Daten anderer Sensoren zur Erkennung von Bewegungen und der relativen Positionierung des Geräts in Bezug auf den Kopf des Benutzers. Das Patent schlägt vor, die Kopfpositionsdaten mit den Bewegungsdaten zu kombinieren, um eine realistischere virtuelle 3D-Darstellung der Objekte auf dem Display des Geräts zu erzeugen.
Wie aus den wenigen oben genannten Beispielen hervorgeht, können die Veröffentlichungen von Apple zu den LiDAR-Sensoren über die Umgebungserkennung für AR/VR-Anwendungen hinausgehen. Sie könnten so angepasst werden, dass ein Benutzer mit dem Gerät interagieren kann, zusätzlich zur Bereitstellung eines verbesserten visuellen Erlebnisses. Apples Fähigkeiten aus ARKit, FaceID und seinem Vorstoß in LiDAR-Scanner in mobilen Geräten verschaffen dem Unternehmen einen Wettbewerbsvorteil. Es ist anzumerken, dass andere Unternehmen wie Google nicht weit hinterher sind. Das Projekt Soli der Google-Gruppe Advanced Technology and Projects (ATAP) beispielsweise verwendet einen RADAR-Chip anstelle von LiDAR, um ähnliche Ziele zu erreichen.
Setzen Sie sich mit uns in Verbindung, um ein Exemplar eines Landschaftsberichts über LiDAR-Systeme anzufordern. Um mehr über unsere Suchdienste zu erfahren, klicken Sie bitte hier.
Lassen Sie uns wissen, was Sie in unserem nächsten Blog/Webinar sehen möchten. Nehmen Sie an der Leserumfrage teil
