Verfolgung einflussreicher Patente für erweiterte und virtuelle Realität im Bereich Gaming

Trotz der Coronavirus-Pandemie - und vielleicht auch ein wenig deswegen - treibt die Nachfrage der Verbraucher nach virtuellen Erlebnissen und Online-Spielen die Forschungs- und Entwicklungsanstrengungen in diesen Bereichen weiter voran. Wir untersuchen insbesondere die Patentlandschaft im Bereich der erweiterten Realität (AR) und der virtuellen Realität (VR).

Der Medienkonsum der Verbraucher hat in den letzten Jahren mit der zunehmenden Beliebtheit mobiler Spiele und der Verfügbarkeit neuer Geräte und Dienste drastisch zugenommen. Einer Studie zufolge entfallen 26 % aller Stunden des Medienkonsums auf Mobile Gaming (Quelle: Ericsson). Ein interessanter Aspekt dieser Studie ist, dass zwar 95 % der Gamer ein Interesse an AR/VR-Gaming haben, was nicht ganz unerwartet ist, aber 36 % der Nicht-Gamer haben ebenfalls ein Interesse an AR/VR-Gaming gezeigt. Es wird erwartet, dass die verlängerte Quarantänezeit die Nachfrage nach immersiven Erlebnissen weiter steigern wird.

Die virtuelle Realität (VR) bietet ein intensiveres Erlebnis, da sie den Spieler von der realen Welt isoliert und gleichzeitig ein vielfältiges Maß an Interaktion mit einer virtuellen Welt ermöglicht. VR-Gaming kann heute über eine Vielzahl von einfachen und fortschrittlichen VR-fähigen Head Mounted Display (HMD)-Geräten wie Facebooks Oculus, HTC Vive, PlayStation VR, FOVE und anderen erlebt werden. Die neuesten Geräte verfügen über hochauflösende (4K & 8K) und hochaktuelle Displays, räumliches Audio, verbesserte Haptik, niedrige Latenzzeiten und Kommunikationsnetzwerke mit hoher Bandbreite (z. B. 5G, WiFi-6E usw.). Trotz der Verfügbarkeit von fähigen Geräten auf dem Markt haben VR-Geräte keinen nennenswerten Anteil am Spielemarkt erobert. Der Mangel an interessanten Inhalten, teure Hardware und einige andere Einschränkungen, wie z. B. die eingeschränkte Mobilität beim Spielen und die Isolation des Nutzers, wurden als Gründe dafür angeführt, dass sich VR noch nicht durchgesetzt hat (Quelle: Link).

Augmented Reality (AR) ermöglicht die Interaktion mit der realen Welt und bietet gleichzeitig ein integriertes immersives Erlebnis, das dem von VR ähnelt. Es wird erwartet, dass allein die mobilen AR-Spiele bis 2021 mehr Umsatz generieren werden als VR. Mobile AR-Gaming bietet soziales Engagement und immersive Erlebnisse, ohne dass spezielle Hardware benötigt wird. Es kann direkt über das Smartphone des Nutzers implementiert werden. ARKit von Apple und ARCore von Google haben zusammen 117 Millionen Nutzer pro Monat erreicht und unterstützen mehr als 3.000 Anwendungen. Dies wird am besten durch die Popularität von Pokémon Go veranschaulicht, einem der umsatzstärksten Smartphone-Spiele der Welt.

Die Zahl der jährlich neu angemeldeten Patente im Zusammenhang mit AR/VR im Gaming-Bereich stieg seit 2010 weltweit um durchschnittlich 33 % (Abbildung 1). Dieser exponentielle Anstieg der Zahl der Anmeldungen ist ein Indikator für die jährlich steigenden F&E-Ausgaben in diesem Bereich.

*vorhergesehene Daten Abbildung 1: Anwendungstrend für weltweite Patente/Anwendungen im Zusammenhang mit AR/VR im Bereich Gaming

Von der Gesamtzahl der Patente im Zusammenhang mit AR/VR in der Spielebranche wurden fast 50 % an die 25 größten Rechteinhaber vergeben oder befinden sich in deren Besitz. Dies könnte ein Hinweis darauf sein, dass die führenden Akteure aufgrund ihrer F&E-Anstrengungen oder durch Konsolidierungsbemühungen, d. h. Fusionen und Übernahmen, eine starke Position innehaben. Daraus lässt sich schließen, dass die führenden Unternehmen weiterhin auf die Anwendung von AR/VR im Glücksspielbereich setzen.

Abbildung 2: Die wichtigsten Rechtsnachfolger, basierend auf ihren weltweiten Patenten/Anwendungen im Zusammenhang mit AR/VR im Bereich Gaming

Für diesen Artikel wurden etwa 30.000 Patente/Veröffentlichungen analysiert. Als einfache und schnelle Fallstudie wollen wir uns einige der wichtigsten und einflussreichsten Patente in diesem Bereich ansehen, um einen Einblick in die aufstrebenden Technologiebereiche zu bekommen. Unsere Auswahl basiert auf (1) der Gesamtzahl der Vorwärtszitate oder (2) den durchschnittlichen Vorwärtszitaten/Jahr. Um diese zu ermitteln, wurde ein Streudiagramm erstellt, bei dem die geschätzte Restlaufzeit auf der X-Achse und die Vorwärtszitierungen (ohne Selbstzitierungen) für die aktiv erteilten Patente auf einem anpassbaren Quadranten aufgetragen wurden, wie in Abbildung 3 dargestellt.

Abbildung 3: Streudiagramm der verbleibenden Lebensdauer im Vergleich zu den voraussichtlichen Zitierungen, dargestellt auf der Grundlage kumulativer Werte (links) oder durchschnittlicher Zitierungen/Jahr (rechts) und unterteilt in die Quadranten Q1-Q4

Unter Q2 wurden mehrere Patente identifiziert, die die Gruppe von Patenten mit dem größten Potenzial darstellen, den gesamten Bereich weiter zu beeinflussen. Diese Patente generieren seit der ersten Veröffentlichung bereits mehr als 70 nicht-selbstzitierende Zitate pro Jahr und haben eine verbleibende Lebensdauer von mehr als 10 Jahren bis zum Auslaufen. Darüber hinaus können mehrere Patente im Quadranten Q3 identifiziert werden, die das Potenzial haben, in naher Zukunft in den Quadranten Q2 aufzusteigen, wenn die Technologie ausgereift ist und die Patente häufiger von anderen zitiert werden. Die Patente in Q3 generieren im Durchschnitt mindestens 5 Zitierungen pro Jahr, was einer der Parameter sein kann, um das anhaltende Interesse an AR/VR-Technologien im Gaming-Bereich zu bestimmen.

US8964298B2 hat seit seiner ersten Veröffentlichung etwa 143 nicht-selbstzitierende Zitate pro Jahr erhalten und verfügt noch über eine Restlaufzeit von 10 Jahren vor dem Auslaufen. Dieses Patent trägt den Titel "Video Display Modification Based on Sensor Input for a See-Through Near-to-Eye Display" und ist Microsoft zugewiesen. Das Patent offenbart ein dynamisch anpassbares Anzeigesystem für ein AR/VR-HMD, das ein virtuelles Objekt auf dem Anzeigeteil des HMD mit einem ersten Satz von Anzeigeparametern (z. B. Helligkeit, Farbsättigung, Farbbalance, Farbton, Videoauflösung, Transparenz usw.) anzeigt. Wenn ein Umgebungssensor eine Änderung der Umgebungsbedingungen feststellt, zeigt das Display das virtuelle Objekt automatisch mit geänderten Anzeigeparametern an, die den festgestellten Umgebungsbedingungen entsprechen.

Abbildung 4: US8964298B2 zugewiesen an Microsoft

Das Patent US9128281B2 mit ca. 79 Zitierungen pro Jahr seit seiner ersten Veröffentlichung und einer verbleibenden Laufzeit von 12 Jahren vor dem Auslaufen ist Microsoft zugeteilt. Das Patent mit dem Titel "Eyepiece with Uniformly Illuminated Reflective Display" (Okular mit gleichmäßig beleuchtetem, reflektierendem Display) befasst sich mit dem allgemeinen Hardware-Design eines HMD, wobei der Schwerpunkt auf der Display-Baugruppe liegt. Die Erfindung offenbart eine Bildquelle, die eine LED, eine flächige Beleuchtungseinrichtung und ein reflektierendes Display umfasst, das am mechanischen Rahmen des HMD befestigt ist. Die planare Beleuchtungseinrichtung lenkt das Licht von der Lichtquelle auf die reflektierende Anzeige, die wiederum auf einen Strahlenteiler gerichtet ist. Der Strahlenteiler reflektiert dann einen Teil des Bildlichts auf eine teilweise durchlässige Spiegelfläche, die ein virtuelles Objekt bildet.

Abbildung 5: US9128281B2 zugewiesen an Microsoft

Das Apple-Patent US8957835B2 mit einer verbleibenden Laufzeit von etwa 10 Jahren bis zum Auslaufen generiert durchschnittlich 72 Zitate pro Jahr. Dieses Patent konzentriert sich auf einen HMD-Rahmen, der ein mobiles Gerät aufnehmen kann, um als Anzeigekomponente verwendet zu werden. Der Rahmen hat einen Hohlraum zur Aufnahme des Mobiltelefons und verfügt über einen Erkennungsmechanismus, um das Mobiltelefon bei der Montage zu erkennen und den Bildschirm so zu verändern, dass er Bilder in einer für ein HMD-Display geeigneten Weise anzeigt.

Abbildung 6: US8957835B2 zugewiesen an Apple

US10203762B2, mit einer verbleibenden Laufzeit von etwa 14 Jahren, scheint seit seiner ersten Veröffentlichung durchschnittlich 118 Zitate pro Jahr zu generieren. Dieses Patent ist Magic Leap zugewiesen und trägt den Titel "Methods and Systems for Creating Virtual and Augmented Reality" (Methoden und Systeme zur Erzeugung von virtueller und erweiterter Realität). Es offenbart fast alle Aspekte eines AR/VR-Systems, einschließlich der für ein immersives Erlebnis erforderlichen Hardware- und Software-Aspekte. Der beanspruchte Gegenstand konzentriert sich jedoch mehr auf die Erkennung von Benutzergesten unter Verwendung integrierter Bildsensoren, um einem Benutzer die Interaktion mit virtuellen Objekten in einer AR/VR-Umgebung zu ermöglichen.

Abbildung 7: US10203762B2 zugewiesen an Magic Leap

Das Qualcomm zugewiesene Patent US9384594B2 wird seit seiner Erstveröffentlichung durchschnittlich 84 Mal pro Jahr zitiert und hat eine Restlaufzeit von 14 Jahren bis zum Ablauf. Dieses Patent mit dem Titel "Anchoring Virtual Images to Real World Surfaces in Augmented Reality Systems" (Verankerung virtueller Bilder auf realen Oberflächen in Augmented-Reality-Systemen) konzentriert sich auf die Verankerung virtueller Objekte auf vom Benutzer ausgewählten physischen Oberflächen in seiner Umgebung. Die Erfindung verwendet eine tragbare Kamera und eine Sensoranordnung, um die Umgebung des Benutzers zu erfassen und zu erkennen, Benutzereingaben zur Auswahl einer ersten Region zu erkennen und ein virtuelles Objekt an der vom Benutzer ausgewählten Region zu verankern. Wenn der Benutzer einen zweiten Bereich auswählt, berechnet das System die Ausrichtung und den Abstand in Bezug auf die tragbare Kamera und bewegt das virtuelle Objekt in den zweiten Bereich.

Abbildung 8: US9384594B2 zugewiesen an Qualcomm

US7227526B2, das Qualcomm zugewiesen wurde, befindet sich im Q1-Quadranten des Streudiagramms der Gesamtzahl der Nennungen. Es hat 2.013 Gesamtzitierungen, aber nur eine Nutzungsdauer von 2 Jahren. Dieses Patent mit dem Titel "Videobasiertes Bildsteuerungssystem" konzentriert sich auf die Verwendung von Stereokameras zur Erzeugung eines Tiefenfeldes und zur weiteren Erkennung von Objekten und Gesten innerhalb des Sichtfeldes. Diese erkannten Objekte und Gesten werden dann für die Interaktion mit den Anwendungen der virtuellen und erweiterten Realität verwendet.

Abbildung 8: US7227526B2 zugewiesen an Qualcomm

Laut einer aktuellen Prognose sollen AR/VR-Anwendungen bis 2024 einen Umsatz von 67 Milliarden US-Dollar erzielen (Quelle: Link). AR/VR ist fast zum Synonym für Spiele geworden. Sie werden zunehmend als Mittel für immersive Erlebnisse und soziale Verbindungen gesehen. Dieser Trend wird sich wahrscheinlich fortsetzen, wenn wir die Pandemie hinter uns gelassen haben. Die AR/VR-Gaming-Wertschöpfungskette umfasst Unternehmen und Start-ups, die in den Bereichen Software, Hardware, Inhaltsentwicklung und Infrastruktur arbeiten. Neben dem Gaming bietet AR/VR auch andere nützliche Anwendungen, z. B. in den Bereichen Gesundheit, Technik, Bildung, Unterhaltung usw. Die Unternehmen müssen den Bereich umfassend auf aufkommende Trends und Wettbewerbsbedrohungen aus angrenzenden Bereichen überwachen.

Jedes der oben dargestellten Patente befasst sich mit einem anderen Aspekt, der für ein immersives Erlebnis erforderlich ist. Die Patente von Microsoft konzentrieren sich auf das Beleuchtungsdesign des HMD sowie auf die dynamische Anpassung der Anzeigeeigenschaften des angezeigten virtuellen Objekts für ein verbessertes visuelles Erlebnis. Das Patent von Magic Leap konzentriert sich auf die Erkennung von Gesten für Benutzereingaben. Das Patent von Qualcomm konzentriert sich auf die Erkennung der Umgebung und die Verankerung von virtuellen Objekten an Umgebungsoberflächen. Das Apple-Patent schließlich konzentriert sich auf eine modulare Struktur, die ein mobiles Gerät als primäres Display nutzen kann. Die Experten von MaxVal können den AR/VR-Gaming-Bereich weiter analysieren und die Kunst in eine Taxonomie verschiedener Technologie- und Anwendungsknoten kategorisieren, um ein besseres Verständnis des Bereichs zu erlangen, das zur Gewinnung von Wettbewerbserkenntnissen genutzt werden kann.