LEONHARDT ARNE (DE)
TROPPER TOBIAS (DE)
MICHEL JANNIK (DE)
GRUENLER CHRISTIAN (DE)
HAELING JONAS (DE)
WO2011100535A1 | 2011-08-18 |
EP2503288A2 | 2012-09-26 | |||
DE102013021978A1 | 2014-08-14 |
Patentansprüche 1 . Verfahren zum augmentierten Darstellen eines realen Objekts (50) auf einem mobilen Endgerät ENDG (10), aufweisend die Schritte: Einstecken (S1 ) des Endgeräts ENDG (10) in eine Halterung HALT (3) eines Fahrzeugs CAR (1 ), Ermitteln (S2) einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR (1 ), Ermitteln (S3) einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT (3) des Fahrzeugs CAR (1 ) eingesteckten Endgeräts ENDG (10) aus der absoluten Position PCAR und der absoluten Orientierung OCAR, Entnehmen (S4) des Endgeräts ENDG (10) aus der Halterung HALT (3), Ermitteln (S5) einer relativen Position und einer relativen Orientierung OENDG, rei des Endgeräts ENDG (10) gegenüber der aktuell ermittelten absoluten Position PCAR und der aktuell ermittelten absoluten Orientierung OCAR, Ermitteln (S6) einer absoluten Position und einer absoluten Orientierung OENDG, abs des Endgeräts ENDG (10) aus der ermittelten relativen Position PENDG.rei und der relativen Orientierung OENDG, rei, und auf Basis der ermittelten absoluten Position und der absoluten Orientierung kontaktanaloges Darstellen (S7) eines dem realen Objekt (50) überlagerten virtuellen Objekts (52) auf dem Endgerät ENDG (10). 2. Verfahren nach Anspruch 1 , beim dem die relative Position PENDG, rei und die relative Orientierung OENDG, rei auf Basis von Messdaten von Beschleunigungssensoren und/oder von einem Magnetfeldsensor und/oder von einem Kamerasensor und/oder von einer Positionsermittlungseinheit im Endgerät ENDG (10) ermittelt werden. Verfahren nach einem der Ansprüche 1 bis 2, bei dem die absolute Position und/oder die absolute Orientierung OENDG.abs unter Berücksichtigung von Messdaten eines Magnetfeldsensors und/oder einer Positionsermittlungseinheit im Endgerät ENDG (10) ermittelt werden. Verfahren nach einem der Ansprüche 1 bis 3, bei dem ein Maß M1 für die aktuelle Genauigkeit der absoluten Position und/oder ein Maß M2 für die aktuelle Genauigkeit der absoluten Orientierung O- ENDG.abs und/oder ein Maß M3 für eine Gesamtgenauigkeit von Position und Orientierung ermittelt und ausgegeben wird. Verfahren nach Anspruch 4, bei dem das Maß M1 und/oder das Maß M2 und/oder das Maß M3 abhängig von der Zeit, die seit dem Entnehmen des Endgeräts ENDG (10) aus der Halterung vergangen ist, und/oder abhängig von einer Art und Häufigkeit der Bewegung des Endgeräts ENDG (10) während dieser Zeit, ermittelt wird. Verfahren nach Anspruch 4 oder 5, bei dem eine Information, die als Aufforderung dient, das Endgerät ENDG (10) in die Halterung HALT (3) einzustecken, dann ausgegeben wird, wenn das Maß M1 und/oder das Maß M2 und/oder das Maß M3 einer vorgegebenen Bedingung nicht genügt. Verfahren nach einem der Ansprüche 1 bis 6, bei dem das reale Objekt von einer Kamera (12) des Endgeräts ENDG (10) aktuell aufgenommen und auf einem Display (14) des Endgeräts ENDG (10) dargestellt wird, und das virtuelle Objekt (52) auf dem Display (14) als dem realen Objekt (50) kontaktanalog überlagert dargestellt wird. System zum augmentierten Darstellen eines realen Objekts (50) auf einem mobilen Endgerät ENDG (10), umfassend: eine Halterung HALT (3) in einem Fahrzeug CAR (1 ) zum Einstecken des Endgeräts ENDG (10) in die Halterung HALT (3), eine Einheit E1 (5) zum Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR (1 ), eine Einheit E2 (7) zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT (3) des Fahrzeugs CAR (1 ) eingesteckten Endgeräts ENDG (10) aus der absoluten Position PCAR und der absoluten Orientierung OCAR, eine Einheit E3 (16) zum Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG (10) nach einer Entnahme des Endgeräts ENDG (10) aus der Halterung HALT (3) gegenüber der aktuell ermittelten absoluten Position PCAR und der absoluten Orientierung OCAR, eine Einheit E4 (18) zum Ermitteln einer absoluten Position und einer absoluten Orientierung des Endgeräts ENDG (10) aus der ermittelten relativen Position PENDG, rei und der relativen Orientierung OENDG, rei, wobei das Endgerät ENDG (10) derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position und der absoluten Orientierung OENDG, abs ein kontaktanaloges Darstellen eines dem realen Objekt (50) überlagerten virtuellen Objekts (52) auf dem Endgerät ENDG (10) erfolgt. 9. System nach Anspruch 8, bei dem die Einheit E3 (16) mindestens eines der folgenden Elemente aufweist: - ein Kamerasystem, eingerichtet zum Ermitteln einer relativen Orientierung und/oder einer relativen Position bei Bewegung des Endgeräts ENDG (10) zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera (12) erfassten Umgebung, - einen Kreiselsensor, - einen rotatorischen Beschleunigungssensor, - einen translationalen Beschleunigungssensor. 10. System nach Anspruch 8 oder 9, bei dem das Endgerät ENDG (10) eines der folgenden Elemente ist: - ein Smartphone, - ein Tablet-Computer, - eine Brille für virtuelle Realität, - eine Brille für augmentierte Realität, oder - eine Datenbrille. |
Die Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät sowie ein System zum augmentierten Darstellen des realen Objekts auf dem mobilen Endgerät.
Die DE 10 2013 021 978 A1 offenbart ein Verfahren zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder eines realen Objekts auf einem mobilen Endgerät. Dabei wird mittels des mobilen Endgerätes ein Bild einer Umgebung, insbesondere einer Fahrzeugumgebung, aufgenommen und als ein Ausgabebild auf einem Bildschirm/Display des mobilen Endgerätes ausgegeben. Weiterhin wird mindestens eine virtuelle Zusatzinformation erzeugt und in dem Ausgabebild auf dem Bildschirm eingeblendet.
Aufgabe der Erfindung ist es, das augmentierte Darstellen eines realen Objekts auf einem mobilen Endgerät zu verbessern.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät ENDG, aufweisend die Schritte: Einstecken des Endgeräts ENDG in eine Halterung HALT eines Fahrzeugs CAR, Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR, Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position PCAR und der absoluten Orientierung OCAR, Entnehmen des Endgeräts ENDG aus der Halterung HALT, Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG gegenüber der aktuell ermittelten absoluten Position PCAR und der aktuell ermittelten absoluten Orientierung OCAR, Ermitteln einer absoluten Position und einer absoluten Orientierung des
Endgeräts ENDG aus der ermittelten relativen Position und der relativen
Orientierung und auf Basis der ermittelten absoluten Position und der absoluten Orientierung kontaktanaloges Darstellen eines dem realen Objekt überlagerten virtuellen Objekts auf dem Endgerät ENDG.
Das Fahrzeug kann ein PKW, LKW, Bus, Schienenfahrzeug, Wasserfahrzeug
(beispielsweise Schiff), Unterwasserfahrzeug, oder ein Luftfahrzeug sein.
Bevorzugt stellt das auf dem mobilen Endgerät augmentiert darzustellende reale Objekt ein Objekt mit einem potentiellen Interesse oder einer potentiellen Bedeutung für einen Nutzer dar. Solch ein Objekt wird üblicherweise als "Point of Interest" ("POI") bezeichnet. Insbesondere handelt es sich bei den POI um Gebäude, Landschaften, Straßen,
Parkplätze, Städte oder Dörfer, Bankautomaten, gastronomische Einrichtungen,
Unterkünfte, Geschäfte, Tankstellen, Sehenswürdigkeiten oder dergleichen - jeweils mit einer bekannten absoluten Position. Unter einem augmentierten darzustellenden realen Objekt ist ein dargestelltes Objekt zu verstehen, das durch ein virtuelles Objekt mit zusätzlichen Informationen angereichert wird.
Das virtuelle Objekt, das kontaktanalog mit dem realen Objekt auf dem Endgerät dargestellt wird, ist insbesondere eine Grafik, ein Bild, eine symbolisierte Landmarke oder ein Text. Insbesondere weist das mobile Endgerät zum Darstellen des jeweiligen Objekts, d.h. des realen und/oder als auch des virtuellen Objektes, eine Anzeigeeinheit auf.
Bevorzugt ist die Anzeigeeinheit ein Bildschirm, etwa ein LCD-Bildschirm, ein LED- oder ein OLED-Bildschirm. Alternativ ist die Anzeigeeinheit ein Projektor, beispielsweise um ein Bild an eine Fläche zu werfen oder in ein Glas einzuspiegeln.
Bevorzugt wird das reale Objekt zusammen mit dem virtuellen Objekt dann kontaktanalog dargestellt, wenn das Endgerät auf das reale Objekt, und insbesondere wenn eine Kamera des Endgeräts auf das reale Objekt, ausgerichtet ist. Weiterhin bevorzugt ist eine Bedingung für die kontaktanaloge Darstellung, dass sich das reale Objekt in einem definierten Umkreis des Endgeräts und/oder des Fahrzeugs befindet. Dafür ist eine genaue Ermittlung einer absoluten Position des Endgeräts und eine bekannte absolute Position des realen Objekts erforderlich. Die absolute Position des realen Objekts ist bevorzugt aus einer digitalen Karte bekannt. Für eine Voraussetzung, nach der das reale Objekt kontaktanalog mit dem virtuellen Objekt überlagert wird, seien zwei bevorzugte Alternativen dargestellt: In einer ersten bevorzugten Vorgehensweise wird nach rein geometrischen Bedingungen das
kontaktanaloge Darstellen mit dem virtuellen Objekt ausgeführt. Vorteilhaft wird das kontaktanaloge Darstellen somit nicht durch zumindest temporäre und/oder zumindest abschnittsweise Verdeckungen des realen Objekts durch andere Objekte aus Sicht des Endgeräts unterbrochen oder gar verhindert. Nach dieser Vorgehensweise ist das kontaktanaloge Darstellen demnach auch bei Nebel, Dunkelheit und getrübter Sicht möglich. In einer weiteren bevorzugten Vorgehensweise ist eine weitere, zusätzlich zu den geometrischen Bedingungen, oder alleinige Bedingung, dass eine Kamera des Endgeräts das reale Objekt tatsächlich erfasst. Zu diesem Zweck kommt bevorzugt ein Bilderkennungsalgorithmus zum Einsatz.
Der Ausdruck "absolute Position" sowie der Ausdruck "absolute Orientierung" bezeichnet dabei eine Position beziehungsweise eine Orientierung gegenüber einem absoluten Koordinatensystem. Ein solches absolutes Koordinatensystem wird vorteilhaft als ein erdfestes Koordinatensystem definiert, bevorzugt das WGS-84 System, bei dem die Erde als ein Referenzellipsoid als absoluter Bezugskörper fungiert.
Das Fahrzeug ist insbesondere mit einer Fahrzeugortungseinheit ausgestattet. Diese Fahrzeugortungseinheit weist insbesondere eine satellitengestützte Ortungseinheit auf, die zur Verbesserung der Genauigkeit einer Positionsermittlung des Fahrzeugs sich weiterer Sensorik bedient, die bevorzugt eines oder mehrerer folgender Elemente beinhaltet: Magnetsensor, Inertiale Messeinheit ("IMU"), Satellitennavigationssystem (beispielsweise für: NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC), Kamera zum Erfassen eines optischen Flusses einer Umgebung der Kamera, Kamera mit Bilderkennungsfunktion zum Abgleich mit einer digitalen Karte, oder WLAN- Ortungseinheit zum Zuordnen einer WLAN-Quelle zu einer Position der WLAN-Quelle.
Diese Sensorik leitet die jeweiligen Daten zur Ortung des Fahrzeugs insbesondere an Verarbeitungseinheit weiter, die auf eine digitale Karte zugreift, wobei die Daten aus unterschiedlichen Sensoren in Datenfusion zu einer verbesserten Schätzung einer ermittelten Fahrzeugposition zusammengeführt werden. Bevorzugt erfolgt dieser Vorgang mit Hilfe eines Kaimanfilters, um Sprünge und Rauschen bis zu einer vordefinierten Bandbreite zu glätten und eine gewisse Trägheit in die fusionierte Schätzung der aktuellen Fahrzeugposition einzubringen.
Ein analoges Vorgehen oder nahezu analoges Vorgehen wird bevorzugt für die
Ermittlung einer aktuellen Orientierung des Fahrzeugs angewandt. Die Orientierung des Fahrzeugs wird insbesondere durch einen Azimut, bevorzugt definiert durch die
Ausrichtung einer Längsachse des Fahrzeugs, bestimmt. Weiterhin können ein
Inklinationswinkel des Fahrzeugs und ein Rollwinkel des Fahrzeugs ermittelt werden.
Während ein Azimutwinkel des Fahrzeugs insbesondere einen in einer horizontalen Ebene liegenden Winkel der Längsachse des Fahrzeugs gegenüber Norden beschreibt, zeigt der Inklinationswinkel eine Neigung der Längsachse des Fahrzeugs gegenüber der horizontalen Ebene an. Demnach beschreibt der Rollwinkel des Fahrzeugs einen Winkel, der durch Rollen des Fahrzeugs um diese Längsachse, beziehungsweise einer Projektion der Längsachse auf die horizontale Ebene, gegenüber der horizontalen Ebene zu Stande kommt. Durch alle drei Winkel, dem Azimut-, dem Inklinations- und dem Rollwinkel des Fahrzeugs, in ihrer Gesamtheit auch Eulerwinkel genannt, wird eine Orientierung des Fahrzeugs vollständig beschrieben.
Alternativ zu Eulerwinkeln kann auf eine Quaternionenbeschreibung ausgewichen werden, sollten mögliche Singularitäten bei Berechnungen in der
Koordinatentransformation zu einem anderen Bezugssystem auftreten, insbesondere bei einem Inklinationswinkel von 90° gegenüber der horizontalen Ebene, der zu einer singulären Berechnung des Rollwinkels führt.
Es ist jedoch davon auszugehen, dass die Ortung des Fahrzeugs, das heißt die
Ermittlung einer absoluten Position und einer absoluten Orientierung des Fahrzeugs, insbesondere durch die oben genannte Fahrzeugortungseinheit, genauer erfolgen kann, als eine direkte Ermittlung einer absoluten Position und einer absoluten Orientierung des Endgeräts, insbesondere durch das Endgerät selbst. Dies ist insbesondere dann zutreffend, wenn das Fahrzeug mit einer hochwertigen Fahrzeugortungseinheit ausgestattet ist, deren geometrischen Ausmaße beispielsweise den Bauraum in einem Endgerät übersteigen würde oder deren Energiebedarf die Energieversorgung in einem Endgerät übermäßig belasten würde, jedoch eine im Allgemeinen höhere Genauigkeit erreichen kann als dies eine in einem Endgerät integrierte Ortungseinheit zu erreichen vermag.
Ein anderer möglicher Grund für die höhere Genauigkeit einer solchen
Fahrzeugortungseinheit kann schlicht eine vorteilhaftere Anordnung von Sensoren sein. Ist eine GNSS/GPS-Antenne am Fahrzeugäußeren angeordnet, ist mit ihr grundsätzlich ein Signal mit einem wesentlich höheren Signal-zu-Rausch Verhältnis empfangbar, als dies mit einer Antenne im Fahrzeuginneren, beispielsweise mit einer an dem Endgerät angeordneten Antenne, möglich ist.
Gemäß dem vorgeschlagenen Verfahren wird daher zur Verbesserung einer Genauigkeit einer ermittelten absoluten Position und einer absoluten Orientierung des Endgeräts die hohe Genauigkeit der ermittelten absoluten Position und der ermittelten absoluten Orientierung des Fahrzeugs ausgenutzt, um über eine relative Orientierung und über eine relative Position des Endgeräts zum Fahrzeug die Genauigkeit einer ermittelten absoluten Position und einer absoluten Orientierung des Endgeräts zu verbessern.
Die Position der Halterung im Fahrzeug selbst ist dabei, insbesondere gegenüber einer oben beschrieben Fahrzeugortungseinheit, bekannt, sodass das Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position PCAR und der absoluten Orientierung OCAR durch diesen bekannten Versatz bestimmbar ist. Wird daher die absolute Position PCAR und die absolute Orientierung OCAR ermittelt, kann unter der Annahme und/oder unter der Voraussetzung, dass die Halterung für das mobile Endgerät körperfest mit dem Fahrzeug verbunden ist, nahtlos und ohne weitere Sensordaten die absolute Position PENDG und die absoluten Orientierung OENDG des Endgeräts ENDG ermittelt werden.
Der Begriff „kontaktanalog" bedeutet ferner, dass das virtuelle Objekt dem dargestellten realen Objekt innerhalb gewisser Grenzen ortsfest zugeordnet wird. So kann ein reales Objekt in der Umgebung, beispielsweise ein Gebäude, überlagert mit einem virtuellen Objekt und örtlich zugeordnet dargestellt werden, sodass es in der Darstellung des realen Objekts der Umgebung auf dem mobilen Endgerät für einen Benutzer aussieht, als würde das virtuelle Objekt zum realen Objekt gehören. Das mobile Endgerät kann dabei an einer festen Position gehalten oder bewegt werden. Weiterhin bevorzugt wird das virtuelle Objekt analog perspektivisch korrekt im Ausgabebild ausgegeben.
Es ist eine vorteilhafte Wirkung der Erfindung, dass das augmentierte Darstellen eines realen Objekts auf einem mobilen Endgerät verbessert wird, und insbesondere eine für die augmentierte Darstellung verwendete ermittelte absolute Position und ermittelte absolute Orientierung des mobilen Endgeräts verbessert wird. Dies erhöht insbesondere die Qualität der Zuordnung des virtuellen Objekts zum dargestellten realen Objekt, wodurch die Qualität der kontaktanalogen Darstellung verbessert wird.
Gemäß einer vorteilhaften Ausführungsform werden bei dem Verfahren die relative Position und die relative Orientierung auf Basis von Messdaten von Beschleunigungssensoren und/oder von einem Magnetfeldsensor und/oder von einem Kamerasensor und/oder von einer Positionsermittlungseinheit im Endgerät ENDG ermittelt. Die entsprechenden/genannten Sensoren sind hierfür vorteilhaft im Endgerät ENDG angeordnet.
Zum Ermitteln der relative Position durch translationale Beschleunigungssensoren und zum Ermitteln der relativen Orientierung durch Winkelbeschleunigungssensoren wird vorteilhaft eine von dem Fahrzeug selbst erfahrene translationale und rotatorischen Beschleunigung subtrahiert, um eine relative
Beschleunigung zum Fahrzeug zu erhalten, die durch zweifache Integration zu einer Positionsänderung errechnet wird. Die Positionsermittlungseinheit dagegen verwendet insbesondere ein satellitengestütztes System, insbesondere NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC.
Vorteilhaft wird in dieser Ausführungsform im Endgerät selbst, das heißt ohne eine zusätzliche Vorrichtung, die relative Position und die relative Orientierung ermittelt.
Gemäß einer weiteren vorteilhaften Ausführungsform wird die relative Position und die relative Orientierung in einer im Fahrzeug angeordneten
Relativbewegungsmessvorrichtung, insbesondere einem sogenannte„Motion Capture System" ermittelt, bei dem durch optische Erfassung des Endgeräts gegenüber dem Fahrzeug eine Relativbewegung, bestehend aus einer relativen Positionsänderung und einer relativen Orientierungsänderung, zwischen dem Endgerät und dem Fahrzeug ermittelt wird.
Vorteilhaft wird in dieser Ausführungsform eine sehr hohe Genauigkeit der relativen Position und der relativen Orientierung des Endgeräts gegenüber dem Fahrzeug erreicht, ohne dass eine Bewegung und/oder Position und Orientierung des Fahrzeugs aus der erfassten Position und Orientierung des Endgeräts herauszurechnen ist.
Gemäß einer weiteren vorteilhaften Ausführungsform werden bei dem Verfahren die absolute Position und/oder die absolute Orientierung unter
Berücksichtigung von Messdaten eines Magnetfeldsensors und/oder einer
Positionsermittlungseinheit im Endgerät ENDG ermittelt.
Die Positionsermittlungseinheit verwendet insbesondere ein satellitengestütztes System, insbesondere NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC. Diese ermittelte absolute Position und/oder absolute Orientierung wird bevorzugt jeweils mit der aus der ermittelten relativen Position und/oder aus der ermittelten relativen Orientierung ermittelten absoluten Position und/oder der absoluten Orientierung fusioniert, sodass vorteilhaft beide Arten der Ermittlung der absoluten Position und/oder der absoluten Orientierung einander stützen und ergänzen.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren ein Maß M1 für die aktuelle Genauigkeit der absoluten Positi und/oder ein Maß M2 für die aktuelle Genauigkeit der absoluten Orientierung d/oder ein Maß M3 für eine Gesamtgenauigkeit von Position und Orientierung ermittelt und ausgegeben. Bevorzugt wird das jeweilige Maß durch das Endgerät ENDG ermittelt und von diesem ausgegeben. Das Maß M3 ist bevorzugt entweder ein arithmetisches Mittel aus den Maßen M1 und M2, oder der jeweils kleinere Wert aus der Menge {M1 ;M2} (Menge bestehend aus den Elementen M1 und M2), oder die Summe aus den Maßen M1 und M2. Vorteilhaft ist ein Benutzer des Endgeräts ENDG somit über eine aktuelle Genauigkeit der Positionsermittlung und Orientierungsermittlung des Endgeräts, und damit der Qualität und/oder Zuverlässigkeit der augmentierten Darstellung des realen Objekts, informiert. Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren das Maß M1 und/oder das Maß M2 und/oder das Maß M3 abhängig von der Zeit, die seit dem Entnehmen des Endgeräts ENDG aus der Halterung vergangen ist, und/oder abhängig von einer Art und Häufigkeit der Bewegung des Endgeräts ENDG während dieser Zeit, ermittelt. Insbesondere wird hierdurch eine Signaldrift, die Abhängig von dieser Zeit und/oder der Art und Häufigkeit der Bewegung des Endgeräts ENDG begrenzt.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren eine Information, die als Aufforderung dient, das Endgerät ENDG in die Halterung HALT einzustecken, dann ausgegeben, wenn das Maß M1 und/oder das Maß M2 und/oder das Maß M3 einer vorgegebenen Bedingung nicht genügt. Wird nämlich das Endgerät ENDG wieder
Die Information wird bevorzugt über eine Anzeige ausgegeben. Eine solche Anzeige erfolgt insbesondere in Form eines Balkens, welcher, wenn er voll ausgefüllt ist, eine maximale Genauigkeit anzeigt, und welcher, wenn er komplett leer ist, eine sehr geringe Genauigkeit symbolisiert. Weiterhin bevorzugt wird die Genauigkeit durch einen
Farbverlauf signalisiert.
Vorteilhaft wird somit die Genauigkeit der Positionsermittlung und Orientierungsermittlung des Endgeräts, und damit der Qualität und/oder der Zuverlässigkeit der augmentierten Darstellung des realen Objekts, erhöht.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren das reale Objekt von einer Kamera des Endgeräts ENDG aktuell aufgenommen und auf einem Display des Endgeräts ENDG dargestellt, und das virtuelle Objekt auf dem Display dem realen Objekt kontaktanalog überlagert dargestellt.
Hierdurch wird das reale Objekt als Kamerabild auf dem Display des Endgeräts ENDG dargestellt, was vorteilhaft die Zuordnung zum realen Objekt in der Realität selbst zum auf dem Endgerät dargestellten realen Objekt vereinfacht.
Ein weiterer Aspekt der Erfindung betrifft ein System zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät ENDG. Das vorgeschlagene System umfasst eine Halterung HALT in einem Fahrzeug CAR zum Einstecken des Endgeräts ENDG in die Halterung HALT, eine bevorzugt im Fahrzeug CAR angeordnete Einheit E1 zum Ermitteln einer absoluten Position P C AR und einer absoluten Orientierung OCAR des Fahrzeugs CAR, eine bevorzugt im Fahrzeug CAR angeordnete Einheit E2 zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die
Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position P C AR und der absoluten Orientierung OCAR, eine bevorzugt im Endgerät ENDG angeordnete Einheit E3 zum Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG nach einer Entnahme des Endgeräts ENDG aus der Halterung HALT gegenüber der aktuell ermittelten absoluten Position PCAR und der absoluten Orientierung OCAR, eine bevorzugt im Endgerät ENDG angeordnete Einheit E4 zum Ermitteln einer absoluten Position und einer absoluten Orientierung OENDG, abs des Endgeräts ENDG aus der ermittelten relativen Position PENDG, rei und der relativen Orientierung OENDG, rei, wobei das Endgerät ENDG derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position und der absoluten Orientierung ein kontaktanaloges Darstellen eines dem realen Objekt überlagerten virtuellen Objekts auf dem Endgerät ENDG erfolgt.
Gemäß einer vorteilhaften Ausführungsform weist die Einheit E3 mindestens eines der folgenden Elemente auf: ein Kamerasystem, eingerichtet zum Ermitteln einer relativen Orientierung und/oder einer relativen Position bei Bewegung des Endgeräts ENDG zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera erfassten Umgebung, einen Kreiselsensor, einen rotatorischen Beschleunigungssensor, einen translationalen Beschleunigungssensor.
Es versteht sich von selbst, dass die Einheiten E1 bis E4 je nach Anordnung auf gemeinsamen Steuergeräten betrieben werden können, beispielsweise sind bevorzugt die Einheiten E1 und E2 in einem Steuergerät im Fahrzeug und die Einheiten E3 und E4 in einem Steuergerät des Endgerät ENDG integriert.
Gemäß einer weiteren vorteilhaften Ausführungsform ist das Endgerät ENDG eines der folgenden Elemente: ein Smartphone, ein Tablet-Computer, eine Brille für virtuelle Realität, eine Brille für augmentierte Realität, oder eine Datenbrille.
Im Unterschied zur virtuellen Realität, bei der die tatsächliche Umgebung zumindest weitestgehend ausgeblendet wird, bedient sich die augmentierte Realität der tatsächlichen Umgebung und stellt diese wahrheitsgetreu, jedoch erweitert mit
Zusatzinformation und mit überlagerten virtuellen Objekten, dar.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 ein System zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät gemäß einem ersten Ausführungsbeispiel der Erfindung,
Fig. 2 das mobile Endgerät des Systems gemäß dem ersten Ausführungsbeispiel der Erfindung,
Fig. 3 das Fahrzeug mit der Halterung für das mobile Endgerät gemäß dem ersten
Ausführungsbeispiel der Erfindung,
Fig. 4 ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem
mobilen Endgerät gemäß einem weiteren Ausführungsbeispiel der Erfindung, und
Fig. 5 ein mobiles Endgerät in zwei Positionen und Orientierungen beim Ausführen des Verfahrens des Ausführungsbeispiels der Fig. 4.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein System zum augmentierten Darstellen eines Kirchturms 50 auf einem mobilen Endgerät ENDG 10, einem Smartphone. Der Kirchturm 50 befindet sich in einer Umgebung eines Fahrzeugs 1 . Das Smartphone 10 selbst ist in Fig. 2 näher gezeigt. Die folgende Erörterung bezieht sich somit auf Fig. 1 und Fig. 2 gleichermaßen. Das System weist folgende Elemente auf: eine Halterung HALT 3 in einem Fahrzeug CAR 1 zum Einstecken des Smartphones ENDG 10 in die Halterung HALT 3, eine im Fahrzeug CAR 1 angeordnete Einheit E1 5 zum Ermitteln einer absoluten Position P C AR und einer absoluten Orientierung OCAR des Fahrzeugs CAR 1 , eine im Fahrzeug CAR 1 angeordnete Einheit E2 7 zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Smartphones ENDG 10 aus der absoluten Position P C AR und der absoluten Orientierung OCAR, eine im Smartphone ENDG 10 angeordnete Einheit E3 16 zum Ermitteln einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Smartphones ENDG 10 nach einer Entnahme des Smartphones ENDG 10 aus der Halterung HALT 3 gegenüber der aktuell ermittelten absoluten Position P C AR und der absoluten Orientierung OCAR, eine im Smartphone ENDG 10 angeordnete Einheit E4 18 zum Ermitteln einer absoluten Position und einer absoluten Orientierung OENDG, abs des Smartphones ENDG 10 aus der ermittelten relativen Position PENDG, rei u nd der relativen Orientierung OENDG, rei, wobei das Smartphone ENDG 10 derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position und der absoluten Orientierung ein kontaktanaloges Darstellen eines dem Kirchturm 50 überlagerten virtuellen Objekts 52, einem Kreuzsymbol, auf dem Smartphone ENDG 10 erfolgt.
Die Einheit E3 16 weist dabei ein Kamerasystem zum Ermitteln einer relativen
Orientierung und einer relativen Position bei Bewegung des Endgeräts ENDG 10 zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera 12 erfassten Umgebung auf, sowie einen Kreiselsensor, einen rotatorischen
Beschleunigungssensor und einen translationalen Beschleunigungssensor.
Fig. 2 zeigt das Endgerät ENDG 10, nämlich ein Smartphone in zwei Zuständen. In Fig. 2a erfolgt die Darstellung des Kirchturms 50 ohne die kontaktanaloge Darstellung des überlagerten virtuellen Objekts 52, dem Kreuz. Im Gegensatz dazu zeigt Fig. 2b die Darstellung des Kirchturms 50 mit der kontaktanalogen Darstellung des überlagerten virtuellen Objekts 52, dem Kreuz.
Fig. 3 zeigt das Fahrzeug 1 mit einer Halterung HALT 3 des Fahrzeugs CAR 1 zum Einstecken des Endgeräts ENDG 10. Das Fahrzeug 1 weist weiterhin eine im Fahrzeug CAR 1 angeordnete Einheit E1 5 zum Ermitteln einer absoluten Position PCAR und einer absoluten Orientierung OCAR des Fahrzeugs CAR 1 auf, sowie eine im Fahrzeug CAR 1 angeordnete Einheit E2 7 zum Ermitteln einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Smartphones ENDG 10 aus der absoluten Position PCAR und der absoluten Orientierung OCAR.
Fig. 4 zeigt ein entsprechendes Verfahren zum augmentierten Darstellen eines realen Objekts 50 auf einem mobilen Endgerät ENDG 10, welches bevorzugt ein Smartphone ist. Das Verfahren weist dabei die folgenden Schritte auf: Einstecken S1 des Endgeräts ENDG 10 in eine Halterung HALT 3 eines Fahrzeugs CAR 1 , Ermitteln S2 einer absoluten Position P C AR und einer absoluten Orientierung OCAR des Fahrzeugs CAR 1 , Ermitteln S3 einer absoluten Position PENDG und einer absoluten Orientierung OENDG des in die
Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Endgeräts ENDG 10 aus der absoluten Position PCAR und der absoluten Orientierung OCAR, Entnehmen S4 des Endgeräts ENDG 10 aus der Halterung HALT 3, Ermitteln S5 einer relativen Position PENDG, rei und einer relativen Orientierung OENDG, rei des Endgeräts ENDG 10 gegenüber der aktuell ermittelten absoluten Position P C AR und der aktuell ermittelten absoluten
Orientierung OCAR, Ermitteln S6 einer absoluten Position und einer absoluten Orientierung des Endgeräts ENDG 10 aus der ermittelten relativen Position PENDG, rei und der relativen Orientierung OENDG, rei, und auf Basis der ermittelten absoluten Position und der absoluten Orientierung kontaktanaloges Darstellen S7 eines dem realen Objekt 50 überlagerten virtuellen Objekts 52 auf dem Endgerät ENDG 10, wobei das virtuelle Objekt bevorzugt eine Grafik, ein Bild, oder ein Text ist.
Weiterhin wird in dem Verfahren die relative Position PENDG, rei und die relative Orientierung OENDG, rei auf Basis von Messdaten von Beschleunigungssensoren und von einer
Positionsermittlungseinheit zum Empfangen von Signalen von GPS-Satelliten
(NAVSTAR-GPS, GLONASS, Galileo, BeiDou, IRNSS/NAVIC) im Endgerät ENDG 10 ermittelt. Die Information aus der Positionsermittlungseinheit bietet gleichzeitig eine absolute Position die mit der aus der relativen Position PENDG, rei des Endgeräts ENDG 10 und der absoluten Position P C AR des Fahrzeugs CAR 1 ermittelten absoluten Position fusioniert wird. Des Weiteren wird das reale Objekt von einer Kamera 12 des Endgeräts ENDG 10 aktuell aufgenommen und auf einem Display 14 des Endgeräts ENDG 10 dargestellt, das mit einem virtuellen Objekt 52 auf dem Display 14 kontaktanalog überlagert dargestellt wird.
Fig. 5 zeigt eine Koordinatensystem mit den Achsen x, y und z, welche die Orientierung des in der Halterung 3 des Fahrzeugs 1 eingesteckten Endgeräts ENDG 10 beschreibt. Nach dem Entnehmen S4 des Endgeräts ENDG 10 aus der Halterung HALT 3 bewegt ein Benutzer das Endgerät 10 in eine andere Position und in eine andere Orientierung relativ zum Fahrzeug 1 . Hierdurch entsteht ein neues lokales Bezugssystem, das bevorzugt über Eulerwinkel beschrieben wird. Die Definition der Drehreihenfolge der einzelnen Drehwinkel bestimmt dabei die Einträge einer 3x3 dimensionalen Transformationsmatrix. Im gezeigten Beispiel der Fig. 5 ist diese Reihenfolge die Drehung um die Hochachse z um einen Winkel a1 - die den Azimut bestimmt. Es folgt die Drehung um einen
Inklinationswinkel a2, um schließlich das Endgerät 10 um einen Rollwinkel a3 um die neu erhaltene Längsachse X des Endgeräts 10 zu drehen. Diese Drehreihenfolge in der Berechnung ist beliebig änderbar, sofern die Berechnung der neuen Orientierung, bevorzugt durch die Winkelbeschleunigungssensoren, mit der zuvor definierten
Reihenfolge konsistent erfolgt.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele
eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der
Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende
Erläuterungen in der Beschreibung, definiert wird.