BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zum Überlagern eines virtuellen graphi- schen Objekts über eine Anzeige einer realen Umgebung in einer AR- Anzeigeeinrichtung für Augmented-Reality (AR - angereichte Realität) Zu der Erfindung gehört auch ein Kraftfahrzeug mit einer AR- Anzeigeeinrichtung, wobei das Kraftfahrzeug das erfindungsgemäße Verfah- ren durchführen kann.

Derzeit verfügbare Augmented-Reality-Systeme basieren jeweils auf einem geschlossenen, hochintergrierten Rechnersystem, in welchem die Erfas- sungssensorik, die Steuereinrichtung mit dem Verarbeitungsprozessor und die eigentliche AR-Anzeigeeinrichtung (Display) miteinander unmittelbar verbunden sind, das heißt ein einziges, geschlossenes Gerät darstellen. Entsprechend kurz sind die Übertragungswege und damit die Übertragungs- Zeiten von der Erfassungssensorik zur AR-Anzeigeeinrichtung Das Entwick lungsziel bei einer AR-Anzeigeeinrichtung, beispielsweise einer AR-Kopf- oben-Anzeige (AR-Head-up-Display), ist die zeitgenaue oder präzise Überla gerung der angezeigten, augmentierenden grafischen Objekte über der rea len Umgebung, die mit der AR-Anzeigeeinrichtung augmentiert werden soll. Denn eine zeitliche und/oder örtliche Abweichung der Anzeigeposition eines grafischen Objekts bezüglich eines zugehörigen Umgebungsobjekts in der realen Umgebung kann dazu führen, dass ein Benutzer durch die Verwen dung der AR-Anzeigeeinrichtung irritiert wird. Die Sicherstellung der genauen Überlagerung eines grafischen Objekts über ein in der Umgebung erkanntes reales Umgebungsobjekt mittels der AR- Anzeigeeinrichtung erfordert, dass die erfassten und/oder die fusionierten Sensorwerte rechtzeitig in der Steuereinrichtung bereitstehen, damit die für ein grafisches Objekt berechnete Anzeigeposition aktuell ist, das heißt zu der aktuellen Position des in der realen Umgebung sichtbaren Umgebungsob jekts passt.

Möchte man nun eine AR-Anzeigeeinrichtung für AR in einem Kraftfahrzeug bereitstellen, so ergibt sich das Problem, dass darin die Beobachtungsein richtung, die zum Erzeugen von Beobachtungswerten, wie beispielsweise Sensorwerten, verwendet wird, in der Regel nicht ortsnah an der Steuerein richtung für die AR-Anzeigeeinrichtung angeordnet werden kann, sondern Beobachtungswerte einer Beobachtungseinrichtung über ein Datennetzwerk übertragen werden müssen. Werden dazu noch fusionierte Sensordaten erzeugt, so geschieht dies in der Regel ebenfalls in einem eigenen Steuerge rät Somit kann sich bei der Umsetzung einer AR-Anzeige in einem Kraft fahrzeug die Notwendigkeit ergeben, dies mit einem verteilten System aus zumindest einer Beobachtungseinrichtung und/oder einem Steuergerät für eine Sensordatenfunktion sowie einer Steuereinrichtung für die AR- Anzeigeeinrichtung umgesetzt werden muss, was die Übertragung der Be obachtungswerte über ein Datennetzwerk erfordert und damit die entspre chende Übertragungslatenz mit sich bringt Aus der US 2015/0268473 A1 ist bekannt, eine AR-Anzeigeeinrichtung mit einem davon verschiedenen Smartphone über ein Kabel zu betreiben.

Aus der CN 105913371 Al ist bekannt, für eine AR-Darstellung den beteilig ten Geräten einen gemeinsamen synchronen Systemtakt aufzuzwingen. Dies erfordert aber eine aufwändige Umgestaltung aller Geräte, um diesen ge meinsamen Systemtakt realisieren zu können.

Ein Beispiel für eine AR-Anzeigeeinrichtung ist aus der US 2015062000 A1 bekannt. Der Erfindung liegt die Aufgabe zugrunde, bei einer AR-Anzeigeeinrichtung ein dargestelltes virtuelles grafisches Objekt präzise bezüglich der in der AR- Anzeigeeinrichtung dargestellten realen Umgebung zu positionieren.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprü che gelöst. Vorteilhafte Ausführungsformen der Erfindung ergeben sich durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren

Durch die Erfindung ist ein Verfahren zum Überlagern eines virtuellen grafi schen Objekts über eine reale Umgebung mittels einer AR- Anzeigeeinrichtung für AR, Augmented-Reality, bereitgestellt. Die reale Um gebung kann in der AR-Anzeigeeinrichtung beispielsweise als ein Kamera bild angezeigt sein. Die AR-Anzeigeeinrichtung kann auch eine transparente Scheibe aufweisen, durch welche hindurch die reale Umgebung direkt oder über einen Spiegel sichtbar ist. Die AR-Anzeigeeinrichtung kann beispiels weise als ein Head-up-Display oder eine AR-Brille ausgestaltet sein. Die AR- Anzeigeeinrichtung kann aber auch beispielsweise als ein Bildschirm ausge staltet sein. Bei dem Verfahren wird in der für Augmented-Reality bekannten Weise durch eine Steuereinrichtung eine Anzeigeposition des besagten virtuellen grafischen Objekts auf der AR-Anzeigeeinrichtung zu aufeinander folgenden, vorbestimmten Ausgabezeitpunkten aktualisiert (also das Objekt auf der AR-Anzeigeeinrichtung verschoben), wobei hierzu die Anzeigepositi on jeweils auf der Grundlage von Beobachtungswerten festgelegt oder ein gestellt wird. Diese Beobachtungswerte beschreiben jeweils die reale Umge bung, also beispielsweise zumindest ein reales Umgebungsobjekt in der Umgebung, und/oder eine Relativposition der AR-Anzeigeeinrichtung bezüg lich der Umgebung Mit anderen Worten kann auf Grundlage der Beobach tungswerte eine Anzeigeposition für das virtuelle grafische Objekt berechnet werden, an welcher das grafische Objekt dann bezüglich zumindest eines in der realen Umgebung sichtbaren Umgebungsobjekts eine vorbestimmte Relativposition aufweist. Beispielsweise kann als graphisches Objekt ein Rahmen oder Pfeil vorgesehen sein, der auf der AR-Anzeigeeinrichtung bezügliche eines realen Umgebungsobjekts in einer vorbestimmten Relativ position (z.B. daneben oder überlagernd) positioniert werden soll. Dies gilt natürlich insbesondere für die Perspektive des Betrachter der AR- Anzeigeeinrichtung.

Nun kann sich aber das Umgebungsobjekt und/oder die AR- Anzeigeeinrichtung in Bewegung befinden. Die Berechnung einer passenden Anzeigeposition setzt daher voraus, dass die Beobachtungswerte aktuell sind, also die reale Umgebung und/oder die Relativposition der AR- Anzeigeeinrichtung bezüglich der Umgebung zum aktuellen Zeitpunkt, wenn das grafische Objekt auf der AR-Anzeigeeinrichtung angezeigt oder darge stellt wird, beschrieben wird. Andernfalls wird das grafische Objekt auf Grundlage von veralteten Beobachtungswerten an einer Anzeigeposition positioniert, die von der gewünschten, vorgegebenen Relativlage abweichen kann, weil sich das Umgebungsobjekt beispielsweise bewegt hat und/oder die AR-Anzeigeeinrichtung bezüglich der Umgebung bewegt wurde.

Um eine präzise Positionierung des grafischen Objekts auf der AR- Anzeigeeinrichtung zu erreichen, ist erfindungsgemäß vorgesehen, dass die besagten Beobachtungswerte mit einem jeweiligen Zeitstempel versehen werden. Der jeweilige Zeitstempel gibt dabei einen jeweiligen Beobachtungs zeitpunkt an, zu welchem der jeweils zugehörige Beobachtungswert erfasst wurde. Zu jedem Beobachtungswert gehört also auch ein Zeitwert, der den Beobachtungszeitpunkt angibt. Man nutzt nun die Tatsache, dass der jeweils nächste, zukünftige Ausgabezeitpunkt, zu welchem die Anzeigeposition des grafischen Objekts auf der AR-Anzeigeeinrichtung aktualisiert oder neu an gezeigt oder eingestellt werden muss, bekannt ist. Man weiß also, für wel chen zukünftigen Ausgabezeitpunkt man für das grafische Objekt dessen Anzeigeposition berechnen oder ermitteln soll. Entsprechend wird anhand des jeweiligen Zeitstempels zumindest eines der Beobachtungswerte des halb für den nächsten, zukünftigen Ausgabezeitpunkt zumindest ein zukünf tiger Beobachtungswert, das heißt ein künstlicher Beobachtungswert, und/oder die nächste, zukünftige Anzeigeposition geschätzt oder extrapoliert oder prädiziert. Mit anderen Worten wird ermittelt, wo sich zumindest ein Umgebungsobjekt in der Umgebung befinden und/oder welche Relativpositi on die AR-Anzeigeeinrichtung bezüglich der Umgebung in der Zukunft, näm lich zum nächsten, zukünftigen Ausgabezeitpunkt, aufweisen wird. Hierzu wird zumindest ein zukünftiger Beobachtungswert geschätzt. Beispielsweise kann auf Grundlage eines jeweiligen Beobachtungswerts für eine Geschwin digkeit und einer Position eines Umgebungsobjekts zu einem gegebenen Zeitpunkt (angegeben durch den jeweiligen Zeitstempel) durch das Extrapo lieren oder Prädizieren die Bewegung des Objekts vorausgesagt und somit die Position des Umgebungsobjekts zum nächsten, zukünftigen Ausgabe- Zeitpunkt vorhergesagt oder geschätzt werden. Zusätzlich oder alternativ zu einem geschätzten Beobachtungswert kann auch direkt die nächste, zukünf tige Anzeigeposition extrapoliert werden, sodass nicht explizit ein zukünftiger Beobachtungswert extrapoliert werden muss. Durch die Erfindung ergibt sich der Vorteil, dass ein Zeitversatz zwischen dem jeweiligen Beobachtungszeitpunkt der Beobachtungswerte einerseits und dem jeweiligen Ausgabezeitpunkt für das grafische Objekt auf der AR- Anzeigeeinrichtung durch das Extrapolieren kompensiert werden kann. Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.

Gemäß einer Ausführungsform wird der jeweilige Ausgabezeitpunkt (für das grafische Objekt auf der AR-Anzeigeeinrichtung) durch ein V-Sync-Signal der AR-Anzeigeeinrichtung bestimmt. Durch dieses V-Sync-Signal wird ein Bild aufbau der AR-Anzeigeeinrichtung zyklisch gestartet oder ausgelöst oder begonnen. Durch das V-Sync-Signal wird signalisiert, dass nun der Bildauf bau am oberen oder unteren Ende des Bildschirms starten soll. Das V-Sync- Signal ist ein zyklisches oder periodisches Signal, sodass zuverlässig der nächste, zukünftige Ausgabezeitpunkt ermittelt werden kann oder bekannt ist. Es wird in Zeitabständen T _ausgabe wiederholt, die dem Inversen der Bildwiederholungsrate (framerate) entsprechen (T_ausgabe = 1 /framerate). Eine Ausführungsform sieht vor, dass eine jeweilige Zeitgebereinheit der zumindest einen Beobachtungseinrichtung und eine Zeitgebereinheit der Steuereinrichtung der AR-Anzeigeeinrichtung miteinander mittels Synchroni- sierungsdaten zeitlich synchronisiert werden. Diese zeitliche Synchronisation kann beispielsweise das Einstellen einer identischen absoluten oder relativen Zeit in jeder Zeitgebereinheit vorsehen. Durch Synchronisieren der Zeitge- bereinheiten ergibt sich der Vorteil, dass ein Zeitwert, wie er in einem Zeit stempel angegeben sein kann, in einer Beobachtungseinrichtung einerseits und der Steuereinrichtung andererseits dieselbe Bedeutung aufweist

Gemäß einer Ausführungsform werden die hierzu verwendeten Synchroni- sierungsdaten mittels eines Time-Precision-Protocols (TPP) erzeugt und/oder übertragen. Das TPP kann beispielsweise auf der Grundlage der Beschreibung gemäß IEEE 1588 und/oder IEC 61588 implementiert werden Die Verwendung dieses Protokolls weist den Vorteil auf, dass in allen besag ten Zeitgebereinheiten Zeitwerte oder Uhrzeiten eingestellt werden können, die sich höchstens um einen bekannten Maximalwert unterscheiden. Insbe sondere ist der Maximalwert kleiner als 1 /framerate Eine Ausführungsform sieht vor, dass die besagten Beobachtungswerte zusammen mit ihrem jeweiligen Zeitstempel aus der jeweiligen Beobach- tungseinrichtung über ein Datennetzwerk und/oder über eine Gatewayein- richtung zu der Steuereinrichtung übertragen werden. Das Übertragen weist hierdurch einen Übertragungslatenz auf. Als Datennetzwerk kann beispiels- weise ein CAN-Bus (CAN - Controller area network), ein Flexray-Bus oder ein MOST-Bus (Media Oriented Systems Transport) oder ein Ethernet- Netzwerk verwendet werden. Eine Gatewayeinrichtung kann mehrere Netz- werkstränge miteinander verbinden und Beobachtungswerte zwischen den Netzwerksträngen übertragen. Hierbei ergibt sich eine Verarbeitungszeit durch die Gatewayeinrichtung, die zur Übertragungslatenz beiträgt. Durch die Ausführung ergibt sich der Vorteil, dass ein räumlicher Abstand zwischen zumindest einer Beobachtungseinrichtung einerseits und der Steuereinrich- tung für die AR-Anzeigeeinrichtung für AR andererseits mindestens 50 Zen timeter, insbesondere mehr als 1 Meter betragen kann. Dennoch kann eine Anzeigeposition für das grafische Objekt auf der AR-Anzeigeeinrichtung präzise ermittelt werden.

Eine Ausführungsform sieht vor, dass als jeweiliger Beobachtungswert eine Position und/oder eine Geschwindigkeit und/oder eine Beschleunigung zu- mindest eines Umgebungsobjekts der Umgebung und/oder der AR- Anzeigeeinrichtung für das Einstellen der zukünftigen Anzeigeposition des grafischen Objekts verwendet werden. Auf Grundlage der besagten Größen kann eine Bewegungsdynamik der jeweiligen Umgebungsobjekts und/oder der AR-Anzeigeeinrichtung extrapoliert oder prädiziert werden.

Eine Ausführungsform sieht vor, dass als Beobachtungswerte Sensorwerte aus zumindest einem Sensor und/oder fusionierte Sensorwerte verwendet werden. Fusionierte Sensorwerte sind Beobachtungswerte, die auf mehr als einem Sensor, also auf Sensorwerten unterschiedlicher Sensoren und/oder auf zu unterschiedlichen Zeitpunkten erfassten Sensorwerten beruhen. Als jeweilige Beobachtungseinrichtung kann jeweils also zumindest ein Sensor und/oder ein Steuergerät für die Sensorwertefusion genutzt werden. Eine Ausführungsform sieht vor, dass das besagte Prädizieren oder Extrapo lieren mittels eines Kalmanfilters durchgeführt wird. Hierdurch ergibt sich der Vorteil, dass zusätzlich auch ein Messrauschen kompensiert werden kann.

Das erfindungsgemäße Verfahren kann in einer Vorrichtung realisiert oder vorgesehen sein, durch welche eine AR-Anzeigeeinrichtung für AR (AR- Anzeigeeinrichtung) betrieben wird.

Insbesondere ist hierbei vorgesehen, dass das Verfahren in einem Kraftfahr zeug mit einer AR-Anzeigeeinrichtung für AR realisiert ist. Entsprechend umfasst die Erfindung auch ein solches Kraftfahrzeug mit einer AR- Anzeigeeinrichtung für AR und mit einer Steuereinrichtung für die AR- Anzeigeeinrichtung sowie mit zumindest einer Beobachtungseinrichtung zum Erzeugen von Beobachtungswerten, welche jeweils eine reale Umgebung des Kraftfahrzeugs und/oder eine Relativposition der AR-Anzeigeeinrichtung zur Umgebung beschreiben. Eine Beobachtungseinrichtung kann jeweils beispielsweise durch einen Sensor und/oder ein Steuergerät für eine Sen sorwertefusion realisiert sein. Bei dem erfindungsgemäßen Kraftfahrzeug ist vorgesehen, dass dieses dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Hierzu kann die Steuerein richtung einen Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, die die Steuereinrichtung betreffenden Schritte des Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Die Prozessoreinrich- tung kann des Weiteren einen Programmcode aufweisen, der dazu einge richtet ist, bei Ausführen durch die Prozessoreinrichtung die die Steuerein richtung betreffenden Schritte des Verfahrens auszuführen. Auch jede Be obachtungseinrichtung kann eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, die die Beobachtungseinrichtung betreffenden Schritte des Verfahrens durchzuführen, also Beobachtungswerte mit einem Zeitstempel zu ergänzen. Auch die Prozessoreinrichtung jeder Beobachtungseinrichtung kann jeweils zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller vorsehen. Die Prozessoreinrichtung jeder Beobachtungsein richtung kann einen Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung der Beobachtungseinrichtung die die Beobachtungseinrichtung betreffenden Schritte des Verfahrens auszufüh ren.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbe sondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.

Die Erfindung umfasst auch die Kombinationen der beschriebenen Ausfüh rungsformen

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

Fig 1 eine schematische Darstellung einer Ausführungsform eines Ge räts, das eine Ausführungsform des erfindungsgemäßen Verfah- rens durchführen kann, wobei das Gerät insbesondere ein Kraft fahrzeug ist; und

Fig 2 ein Flussschaudiagramm zu einer Ausführungsform des erfin dungsgemäßen Verfahrens.

Bei den im Folgenden erläuterten Ausführungsbeispieien handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispie len stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die be- schriebenen Ausführungsformen auch durch weitere der bereits beschriebe nen Merkmale der Erfindung ergänzbar.

Fig. 1 zeigt ein System 10 zum Darstellen einer Augmented-Reality (erwei- terten Realität). Das System 10 kann beispielsweise in einem Kraftfahrzeug 11 eingebaut sein. Das Gerät 10 kann für das Darstellen der Augmented- Reality eine Ausgabeeinrichtung 12 aufweisen, bei der es sich beispielswei se um ein Head-up-Display (HUD) handeln kann. Zum Steuern eines Grafik- inhalts oder Ausgabeinhalts der Ausgabeeinrichtung 12 kann eine Steuerein richtung 13 bereitgestellt sein. Durch die Steuereinrichtung 13 kann ein virtu elles grafisches Objekt 14, das auf der AR-Anzeigeeinrichtung 12 angezeigt wird, gesteuert werden. Insbesondere kann eine Anzeigeposition 15 auf ein in einer Umgebung 16 des Systems 10 befindlichen Umgebungsobjekts 17 derart abgestimmt sein, dass ein Benutzer des Systems 10 beim Betrachten der AR-Anzeigeeinrichtung 12 das Objekt 15 in Bezug auf das Umgebungs objekt 17 in einer vorbestimmten Relativposition, beispielsweise überlagert, sieht. Hierzu wird durch das System 10 die Relativposition zwischen dem System 10 und dem Umgebungsobjekt 17 ermittelt. Hierzu kann in dem System 10 zumindest ein Sensor 18 vorgesehen sein. Ein Sensor 18 kann beispielsweise eine Kamera oder ein Radar oder ein Ultraschallsensor oder eine Funkempfangseinrichtung zum Empfangen von Positionsdaten des Umgebungsobjekts 17 sein. Ein Steuergerät 19 kann Sensordaten 20 emp fangen und dadurch fusionierte Sensordaten 21 erzeugen, also beispielswei se kombinierte oder gemittelte Sensordaten 20 Das Steuergerät 19 kann die Sensordaten 20 und/oder die fusionierten Sensordaten 21 als jeweilige Be- obachtungswerte 22 an die Steuereinrichtung 13 aussenden. Die Sensoren

18 und das Steuergerät 19 stellen jeweils eine Beobachtungseinrichtung B dar.

Die Beobachtungswerte 22 sind dabei mit einem jeweiligen Zeitstempel 23 des Beobachtungszeitpunkts, zu welchem die Beobachtungswerte 22 er zeugt wurden, also beispielsweise die Sensorwerte 20 gemessen wurden, versehen. Die Übertragung der Beobachtungswerte 22 kann über ein Daten netzwerk 24 erfolgen. Hierbei kann auch eine Übertragung über eine Gate wayeinrichtung oder ein Gateway 25 vorgesehen oder notwendig sein Ins- gesamt ergibt sich hierbei durch die Übertragung über das Datennetzwerk 24 eine Latenz oder Übertragungsdauer Somit liegen in der Steuereinrichtung 13 die Beobachtungswerte 22 vor mit einem zeitlichen Versatz zwischen dem Beobachtungszeitpunkt einerseits und dem Ausgabezeitpunkt des grafi schen Objekts 14 an der jeweiligen Anzeigeposition 15

Dennoch ist bei dem System 10 verhindert, dass dieser zeitliche Versatz dazu führt oder verursacht, dass das grafische Objekt 14 nur träge oder versetzt zu dem Umqebunqsobiekt 17 darqestellt wird Auf der Grundlage von Synchronisierungsdaten 28 kann erreicht werden, dass in jeweiligen Zeitgebereinheiten 27 der Sensoren 18, des Steuergeräts

19 und der Steuereinrichtung 13 synchrone Zeitwerte oder Zeitangaben vorhanden sind die Synchronisierungsdaten 28 können beispielsweise auf der Grundlage des IEEE1588/IEC61588-Protokolls oder des TPP generiert sein.

Die Steuereinrichtung 13 kann dann gemäß einem Verfahren nach Fig. 2 die Anzeigeposition 15 des grafischen Objekts in einem Schritt S10 auf der AR- Anzeigeeinrichtung 12 zu aufeinanderfolgenden, vorbestimmten Ausgabe- Zeitpunkten aktualisieren, indem die Anzeigeposition 15 jeweils auf der Grundlage der Beobachtungswerte 22 eingestellt wird. Hierzu können in einem Schritt S11 die Beobachtungswerte mit einem jeweiligen Zeitstempel 23 versehen werden (durchgeführt durch die Sensoren 18 und/oder das Steuergerät 19) In einem Schritt S12 kann dann durch die Steuereinrichtung 13 anhand des jeweiligen Zeitstempels zumindest eines der Beobachtungs- werte 22 für den nächsten, zukünftigen Ausgabezeitpunkt zumindest ein zukünftiger Beobachtungswert 22‘ und/oder die nächste zukünftige Anzeige position 15‘ extrapoliert werden. Ein solcher Ausgabezeitpunkt kann bei- spielsweise der V-Sync-Zeitpunkt 28 der Ausgabeeinrichtung 12 sein.

Die Verwendung dieses Verfahrens für die zeitlich präzise Synchronisation der Ausgabe an der Ausgabeeinrichtung 12 mittels des V-Sync-Zeitpunkts 28 auf der Grundlage einer Sensordatenfusion unter Berücksichtigung der Zeit- Stempel 23 der Sensordaten 20, 21 , basierend auf dem PTP, ermöglicht es, dass eine zukünftige Position des Umgebungsobjekts 17 antizipiert wird und somit das grafische Objekt 14 an einer Anzeigeposition 15 angezeigt wird, die zu der Relativposition des Umgebungsobjekts 17 zu diesem Ausgabe- zeitpunkt passt, das heißt dass sich die Soll-Relativlage zwischen Objekt 14 und Umgebungsobjekt 17 in der Ausgabeeinrichtung 12 ergibt. Das Verfah- ren ermöglicht gleichzeitig, dass die Bildberechnung auf Grundlage der Über tragungslatenz veralteten Beobachtungswerten 22 durchgeführt wird, ohne dass es zur Verschlechterung zeitlicher Synchronisation kommt. Somit ergibt sich die gewünschte Überlagerung des grafischen Objekts 14 auf der AR-Anzeigeeinrichtung 12 mit realen Umgebungsobjekten 17 Natür lich können auch mehrere grafische Objekte 14 für mehrere Umgebungsob jekte 17 vorgesehen sein. Zudem ist die Möglichkeit einer Justierung und Korrektur der Abweichung zwischen der Realität und augmentierten Anzei- geinhalten möglich. Für die Verwendung des Verfahrens können folgende Voraussetzungen geschaffen werden. Das Gesamtsystem 10 erhält eine globale, synchronisierte (relative) Uhrzeit, diese kann zum Beispiel durch IEEE1588/IEC61588-Protokolle realisiert werden. Die rohen Sensordaten 20 beziehungsweise die fusionierten Sensordaten 21 können mit Zeitstempeln 23 der globalen Uhrzeit dann versehen werden. Nach dem Starten oder Hochfahren des Systems 10 steht die synchronisierte Uhrzeit zur Verfügung.

Nach der Initialisierung des Grafik-Programmmoduls in der Steuereinrichtung 13, beispielsweise einem Infotainmentsystem (Informations-

Unterhaltungssystem) des Kraftfahrzeugs 11 wird mit jedem V-Sync-Impuls zu den V-Sync-Zeitpunkten 28 die globale Uhrzeit ausgelesen und zwi schengespeichert Da die Bildausgabe in der AR-Anzeigeeinrichtung 12 immer mit einer festen Aktualisierungsrate erfolgt, ist somit auch der Zeit- punkt der Ausgabe des nächsten, zukünftigen Bildes bekannt. Diese erfolgt immer um 1/Aktualisierungsrate oder 1 /framerateversetzt zum letzten V- Sync-Impuls. Dementsprechend kann der Ausgabezeitpunkt für die Ausgabe des nächsten Bilds berechnet und zwischengespeichert werden. Dement sprechend gilt für den nächsten Ausgabezeitpunkt: T_ausgabe= T_vsync + 1 /framerate, wobei T_vsync der Ausgabezeitpunkt des V-Sync-Impules und framereite die Aktualisierungsrate ist.

Nun stehen dem System ab T_vsync dann 1 /framerate pro Sekunde zur Verfügung, um das Bild zu berechnen, welches zum Zeitpunkt T_ausgabe ausgegeben werden soll. Es ist dabei unerheblich, wann genau die Berech- nung und Generierung des Bildinhaltes des grafischen Objekts erfolgt, da die Bildausgabe immer nur zum festen, nächsten Ausgabezeitpunkt erfolgt. Das bietet den Vorteil, dass die Ressourcen für die Berechnung dem System 10 flexibel zugewiesen werden können.

Die Steuereinrichtung 13 kann nun die Grafikdaten für den künftigen Ausga bezeitpunkt T_ausgabe berechnen. Mit anderen Worten kann das grafische Objekt und dessen Anzeigeposition berechnet werden. Mit Hilfe der Zeit stempel 23 der Sensordaten 20 und/oder der Sensorfusionsdaten 21 sowie mit Hilfe einer Bewegungsprädiktion werden die Koordinaten des anzuzei- genden Objekts 14 oder der anzuzeigenden Objekte, das heißt die jeweilige Anzeigeposition oder Anzeigeposition, so extrapoliert, dass sich diese zum Ausgabezeitpunkt T_ausgabe mit einem realen Umgebungsobjekt 17 über decken. Zum Ausgabezeitpunkt (das heißt am Zeitpunkt V-Sync) werden die berech neten Grafikdaten des zumindest einen grafischen Objekts 14 mittels der AR-Anzeiqeeinrichtunq 12 anqezeiqt und das Verfahren wiederholt sich zyklisch.

Falls zum Zeitpunkt der Ausgabe (V-Sync) noch keine Grafikdaten berechnet worden sind, gilt das System 10 als überlastet. In diesem Fall kann entspre chend eine Fehlermeldung generiert werden, um entsprechende Optimie- rungsmaßnahmen einzuleiten. Eine solche Optimierungsmaßnahme kann beispielsweise das Anhalten oder Abschalten eines anderen Programmmo duls vorsehen.

Insgesamt zeigen die Beispiele, wie durch die Erfindung ein Verfahren für die Synchronisation eines AR-Anzeigeinhalts mit Sensordaten in einem verteil ten System bereitgestellt werden kann.