Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
MIRROR REPLACEMENT SYSTEM AND METHOD FOR DISPLAYING IMAGE AND/OR VIDEO DATA OF THE SURROUNDINGS OF A MOTOR VEHICLE
Document Type and Number:
WIPO Patent Application WO/2019/134845
Kind Code:
A1
Abstract:
The invention relates to a mirror replacement system (12) for a motor vehicle (10), comprising at least one processor unit (28), an optical sensor unit (14) which produces image and/or video data of the surroundings of the motor vehicle (10), and a screen (38) which is designed to display at least part of the produced image and/or video data. The mirror replacement system (12) comprises a viewing direction sensor (30) which is designed to detect the direction of viewing of the vehicle driver (36) towards the screen (38) or the position of the head of the vehicle driver (36). The processor unit (28) is designed to adapt the image and/or video data displayed on the screen (38) on the basis of the detected viewing direction or position of the head, in such a way that the image and/or video data displayed on the screen (38) is adapted to the position of the head or the viewing direction of the vehicle driver (36). The invention also relates to a method for displaying image and/or video data.

Inventors:
POMYTKIN, Nikolaj (Industriestr. 2-8, Radolfzell, 78315, DE)
LEMCKE, Soeren (Industriestr. 2-8, Radolfzell, 78315, DE)
BOESHAGEN, Stefan (Industriestr. 2-8, Radolfzell, 78315, DE)
ECKSTEIN, Lutz (Hasenfeld 39, Aachen, 52066, DE)
BROCKMEIER, Christopher (Kupferstrasse 26, Aachen, 52070, DE)
STEIN, Johannes (Peliserkerstr. 60, Aachen, 52068, DE)
STAERK, Marius (Gemmenicher Weg 4, Aachen, 52074, DE)
Application Number:
EP2018/086277
Publication Date:
July 11, 2019
Filing Date:
December 20, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BCS AUTOMOTIVE INTERFACE SOLUTIONS GMBH (Industriestr. 2-8, Radolfzell, 78315, DE)
International Classes:
B60R1/00
Attorney, Agent or Firm:
PRINZ & PARTNER MBB PATENT- UND RECHTSANWÄLTE (Rundfunkplatz 2, München, 80335, DE)
Download PDF:
Claims:
Patentansprüche

1 . Spiegelersatzsystem (12) für ein Kraftfahrzeug (10), mit wenigstens einer Prozessoreinheit (28), einer optischen Sensoreinheit (14), die Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs (10) erzeugt, und einem Bildschirm (38), der eingerichtet ist, zumindest einen Teil der erzeugten Bild- und/oder Videodaten anzuzeigen, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) einen Blickrichtungssensor (30) umfasst, der eingerichtet ist, die Blickrichtung des Fahrzeugführers (36) auf den Bildschirm (38) bzw. die Position des Kopfes des Fahrzeugführers (36) zu erfassen, wobei die Prozessoreinheit (28) eingerichtet ist, die auf dem Bildschirm (38) darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung bzw. Position des Kopfes anzupassen, sodass die auf dem Bildschirm (38) dargestellten Bild- und/oder Videodaten an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers (36) angepasst sind.

2. Spiegelersatzsystem (12) nach Anspruch 1 , dadurch gekennzeichnet, dass die optischen Sensoreinheit (14) wenigstens eine Kamera (16 - 20) umfasst, insbesondere drei Kameras (16- 20).

3. Spiegelersatzsystem (12) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Blickrichtungssensor (30) wenigstens einen Infrarot- Sensor (32, 34) umfasst.

4. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers (36) in allen drei Raumrichtungen zu erfassen.

5. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung zu skalieren, wobei die Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Positionsänderung des Kopfes zusammenhängt.

6. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, eine Skalierung ausgehend von einem Ursprung zu ermitteln, der in Fahrzeugrichtung von der neutralen Kopfposition des Fahrzeugführers (36) abweicht, sodass sich bei der neutralen Kopfposition eine herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm (38) ergibt, insbesondere wobei ein Offset von etwa 0,75 m zum Ursprung vorgesehen ist.

7. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes quer zur Fahrzeugrichtung zu verschieben, wobei die Verschiebung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung bzw. Positionsänderung des Kopfes zusammenhängt.

8. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, einen Verschiebefaktor und/oder einen Zoomfaktor für die Anpassung der dargestellten Bild- und/oder Videodaten zu bestimmen, die bzw. der abhängig von der Blickrichtung bzw. Position des Kopfes sind bzw. ist.

9. Spiegelersatzsystem (12) nach Anspruch 8, dadurch gekennzeichnet, dass die Prozessoreinheit (28) eingerichtet ist, den Verschiebefaktor und/oder den Zoomfaktor exponentiell zu glätten.

10. Spiegelersatzsystem (12) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Prozessoreinheit (28) einen Fragment-Shader (40) umfasst und eingerichtet ist, die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors zu bestimmen, insbesondere wobei der Fragment-Shader (40) zusätzlich den geglätteten Verschiebefaktor, den geglätteten Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder bzw. Videos berücksichtigt.

1 1 . Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes zu verwenden, oberhalb derer die Prozessoreinheit (28) erst die darzustellenden Bild- und/oder Videodaten verändert.

12. Spiegelersatzsystem (12) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Spiegelersatzsystem (12) eingerichtet ist, nicht-lineare Transformationen der erzeugten Bild- und/oder Videodaten durchzuführen, sodass eine Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes zusammenhängt.

13. Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs (10) mittels eines Spiegelersatzsystems (12) für ein

Kraftfahrzeug (10), mit den folgenden Schritten:

Aufnehmen von Bild- und/oder Videodaten mittels einer optischen Sensoreinheit (14),

Erfassen der Blickrichtung des Fahrzeugführers (36) auf einen Bildschirm (38) bzw. die Position des Kopfes des Fahrzeugführers (36),

Verarbeiten der aufgenommen Bild- und/oder Videodaten mittels einer Prozessoreinheit (28),

Anzeigen zumindest eines Teils der erzeugten Bild- und/oder Videodaten mittels des Bildschirms, wobei die Blickrichtung des Fahrzeugführers (36) auf den Bildschirm (38) bzw. die Position des Kopfes des Fahrzeugführers (36) bei der Verarbeitung der aufgenommen Bild- und/oder Videodaten herangezogen wird, sodass die auf dem Bildschirm (38) dargestellten Bild- und/oder Videodaten an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers (36) angepasst sind.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers (36) in allen drei Raumrichtungen erfasst wird oder erfasst werden.

15. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung linear skaliert werden, insbesondere wobei ein Skalierungsfaktor zwischen 0,0005 und 0,002 pro cm einer Kopfbewegung verwendet wird, beispielsweise ein Skalierungsfaktor von 0,00125 pro cm.

16. Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes quer zur Fahrzeugrichtung linear verschoben werden, insbesondere wobei ein Skalierungsfaktor zwischen 0,05 und 0,2 pro cm einer Kopfbewegung verwendet wird, beispielsweise ein Skalierungsfaktor von 0,1 pro cm.

17. Verfahren nach einem der Ansprüche 13 bis 16, dadurch gekennzeichnet, dass die Skalierung ausgehend von einem Ursprung ermittelt wird, der in Fahrzeugrichtung von der neutralen Kopfposition des Fahrzeugführers (36) abweicht, sodass sich bei der neutralen Kopfposition eine leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm (38) ergibt, insbesondere wobei ein Offset von etwa 0,75 m zum Ursprung vorgesehen ist.

18. Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass ein Verschiebefaktor und/oder ein Zoomfaktor für die darzustellenden Bild- und/oder Videodaten bestimmt werden bzw. wird, die bzw. der abhängig von der Blickrichtung bzw. Position des Kopfes sind bzw. ist.

19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass der Verschiebefaktor und/oder der Zoomfaktor exponentiell geglättet werden.

20. Verfahren nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors in einem Fragment-Shader (40) berechnet werden, insbesondere wobei zusätzlich der geglättete Verschiebefaktor, der geglättete Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder bzw. Videos berücksichtigt werden bzw. wird.

21 . Verfahren nach einem der Ansprüche 13 bis 20, dadurch gekennzeichnet, dass Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes verwendet werden, oberhalb derer die darzustellenden Bild- und/oder Videodaten erst verändert werden.

Description:
Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs

Die Erfindung betrifft ein Spiegelersatzsystem für ein Kraftfahrzeug sowie ein Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs mittels eines Spiegelersatzsystems für ein Kraftfahrzeug.

Aus dem Stand der Technik sind Kraftfahrzeuge bekannt, die ein Spiegelersatzsystem aufweisen, mit dem die herkömmlichen physischen Außen- und Innenspiegel durch optische Sensoren und entsprechende Bildschirme ersetzt werden. Beispielsweise sind drei Kameras vorgesehen, die jeweils in Fahrzeugrichtung nach hinten ausgerichtet sind, um das linke seitliche und rückwärtige Umfeld, das rechte seitliche und rückwärtige Umfeld sowie das hintere Umfeld des Kraftfahrzeugs optisch zu erfassen. Die von den Kameras erfassten Bild- bzw. Videodaten werden dann an einen Bildschirm übermittelt, der beispielsweise in einem teilweise transluzenten Innenspiegel vorgesehen ist, um im Innenspiegel dann dargestellt zu werden. Hierdurch kann der Fahrer das seitliche und hintere Umfeld des Kraftfahrzeugs überwachen, wie dies mit herkömmlichen physischen Spiegeln der Fall ist.

Ein derartiges Spiegelersatzsystem kann demnach die herkömmlichen physischen Seiten- und Rückspiegel ersetzen. Sofern die optischen Sensoren an geeigneten Stellen des Kraftfahrzeugs vorgesehen sind, ist sogar eine bessere Beobachtung des Umfelds des Kraftfahrzeugs möglich, da unter anderem die bei physischen Spiegeln auftretenden Totwinkel-Bereiche leichter überwacht werden können.

Als nachteilig hat sich jedoch bei den aus dem Stand der Technik bekannten Spiegelersatzsystemen herausgestellt, dass diese eine nicht intuitive Wiedergabe des seitlichen und rückwärtigen Umfelds des Kraftfahrzeugs bereitstellen, sodass die dargestellten Daten bzw. Informationen teilweise verwirrend für den Fahrzeugführer sind. Es ist Aufgabe der Erfindung, ein Spiegelersatzsystem sowie ein Verfahren zur Darstellung von Bild- und/oder Videodaten zur Verfügung zu stellen, mit denen es möglich ist, ein natürliches Spiegelbild hervorzurufen, welches für den Fahrzeugführer intuitiv verständlich ist. Die Aufgabe wird erfindungsgemäß durch ein Spiegelersatzsystem für ein Kraftfahrzeug gelöst, mit wenigstens einer Prozessoreinheit, einer optischen Sensoreinheit, die Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs erzeugt, und einem Bildschirm, der eingerichtet ist, zumindest einen Teil der erzeugten Bild- und/oder Videodaten anzuzeigen, wobei das Spiegelersatzsystem einen Blickrichtungssensor umfasst, der eingerichtet ist, die Blickrichtung des Fahrzeugführers auf den Bildschirm bzw. die Position des Kopfes des Fahrzeugführers zu erfassen, also die Blickrichtung des Fahrzeugführers auf den Bildschirm und/oder die Position des Kopfes des Fahrzeugführers. Die Prozessoreinheit ist eingerichtet, die auf dem Bildschirm darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung bzw. Position des Kopfes anzupassen, sodass die auf dem Bildschirm dargestellten Bild- und/oder Videodaten an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers angepasst sind.

Die Aufgabe wird ferner erfindungsgemäß gelöst durch ein Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs mittels eines Spiegelersatzsystems für ein Kraftfahrzeug, mit den folgenden Schritten:

Aufnehmen von Bild- und/oder Videodaten mittels einer optischen Sensoreinheit, - Erfassen der Blickrichtung des Fahrzeugführers auf einen Bildschirm bzw. die Position des Kopfes des Fahrzeugführers,

Verarbeiten der aufgenommen Bild- und/oder Videodaten mittels einer Prozessoreinheit,

Anzeigen zumindest eines Teils der erzeugten Bild- und/oder Videodaten mittels des Bildschirms, wobei die Blickrichtung des Fahrzeugführers auf den Bildschirm bzw. die Position des Kopfes des Fahrzeugführers bei der Verarbeitung der aufgenommenen Bild- und/oder Videodaten herangezogen wird, sodass die auf dem Bildschirm dargestellten Bild- und/oder Videodaten an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers angepasst sind.

Zur Ermittlung der Blickrichtung des Fahrers kann eine Position der Augen des Fahrzeugführers dienen.

Der Grundgedanke der Erfindung besteht darin, dass ein Bild bzw. Video auf dem Bildschirm angezeigt wird, das dem Spiegelbild eines physischen Spiegels entspricht. Hierzu wird die Blickrichtung des Fahrzeugführers bzw. die Position des Kopfes des Fahrzeugführers berücksichtigt, um das im Wesentlichen natürlich empfundene Spiegelbild auf dem Bildschirm zu erzeugen, das demjenigen eines echten optischen Spiegelbilds entspricht. Dies bedeutet, dass je nach Kopfposition bzw. Blickrichtung ein anderer Ausschnitt aus den erfassten Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs dargestellt werden kann, um ein im Wesentlichen natürliches Spiegelbild anzuzeigen. Sofern der Fahrzeugführer seine Kopfposition bzw. Blickrichtung ändert, verändert sich auch das dargestellte Bild bzw. Video auf dem Bildschirm, sodass das dargestellte Bild bzw. Video nicht als statisch bzw. starr empfunden wird. Vielmehr ergibt sich eine interaktive und intuitive Bedienung des Spiegelersatzsystems, da der Fahrzeugführer über seine Kopfposition bzw. Blickrichtung die dargestellten Informationen entsprechend steuern kann.

Beispielsweise wird die Blickrichtung des Fahrzeugführers über geeignete Bildanalyse-Verfahren ermittelt, beispielsweise sogenannte Eye-Tracking- Verfahren.

Da die Blickrichtung des Fahrzeugführers bzw. die Position des Kopfes des Fahrzeugführers erfasst wird, kann das Spiegelersatzsystem ausgebildet sein, sich automatisch einzustellen.

Dies bedeutet, dass das Spiegelersatzsystem sich automatisch an die Größe des Fahrzeugführers anpasst, indem diese indirekt über die Blickrichtung bzw. die Position des Kopfes des Fahrzeugführers ermittelt wird. Eine Einstellung der einzelnen Spiegel ist somit nicht mehr nötig. Ein Aspekt sieht vor, dass die optische Sensoreinheit wenigstens eine Kamera umfasst, insbesondere drei Kameras. Bei der wenigstens einen Kamera kann es sich um eine Weitwinkel-Kamera handeln, die dementsprechend einen großen Winkelbereich abdeckt, um eine Weitwinkelaufnahme bereitzustellen. Hierdurch ist eine weite Erfassung der Umgebung des Kraftfahrzeugs möglich, insbesondere des Totwinkel-Bereichs, der mit einem konventionellen Spiegelsystem nur schwer erfasst werden kann.

Auch können mehr als drei Kameras vorgesehen sein, beispielsweise vier Kameras. Zwei der vier Kameras können dem Heck des Kraftfahrzeugs zugeordnet sein.

Ferner kann die optische Sensoreinheit auch Radar-, Infrarot-, Lasersensoren oder andere Sensoren umfassen, die geeignet sind, das Umfeld des Kraftfahrzeugs (zusätzlich) zu überwachen. Insbesondere bei schlechten Lichtverhältnissen oder bei Nacht sind derartige Sensoren von Vorteil.

Gemäß einer Ausführungsform umfasst die optische Sensoreinheit drei Kameras, die die linke seitliche (und rückwärtige) Umgebung, die rechte seitliche (und rückwärtige) Umgebung sowie die rückwärtige Umgebung des Kraftfahrzeugs abdecken. Insofern umfassen die von den drei Kameras aufgenommenen Bilder bzw. Video zumindest die Informationen, die über ein herkömmliches Spiegelsystem erhalten werden. Hierzu können zwei der drei Kameras im Bereich der Seiten des Kraftfahrzeugs angeordnet sein, beispielsweise in den Bereichen der physischen Seitenspiegel. Aufgrund der Kameras, die den Seiten des Kraftfahrzeugs zugeordnet sind, kann auf die physischen Seitenspiegel sogar verzichtet werden.

Die dritte Kamera kann dem Heck des Kraftfahrzeugs zugeordnet sein, beispielsweise in der Stoßstange oder im Bereich des Dachs angeordnet sein, sodass es rückwärtige Aufnahmen erzeugt.

Die Prozessoreinheit ist generell eingerichtet, aus den über die mehreren Kameras getrennt erhaltenen Bild- und/oder Videodaten ein zusammenhängendes Bild bzw. Video zu erstellen, welches auf dem Bildschirm entsprechend dargestellt wird. Insofern erhält die Prozessoreinheit beispielsweise von den drei Kameras einen linken Datensatz mit Bild- bzw. Videodaten, die der linken Seite des Kraftfahrzeugs zugeordnet sind, einen rechten Datensatz mit Bild- bzw. Videodaten, die der rechten Seite des Kraftfahrzeugs zugeordnet sind, sowie einen hinteren Datensatz mit Bild- bzw. Videodaten, die der rückwärtigen Umgebung des Kraftfahrzeugs zugeordnet sind. Diese drei Datensätze werden von der Prozessoreinheit entsprechend verarbeitet, um ein zusammenhängendes Bild/Video der Umgebung des Kraftfahrzeugs zu erzeugen. Dies ist insbesondere dadurch möglich, dass die drei Kameras jeweils überschneidende Umgebungen erfassen, sodass die Bilddaten bzw. Videodaten von der Prozessoreinheit in dem Überlappungsbereich der Datensätze entsprechend angepasst werden, sodass ein zusammenhängendes Bild bzw. ein zusammenhängendes Video entsteht.

Generell kann vorgesehen sein, dass zumindest ein bestimmter Datensatz aufgrund der erfassten Blickrichtung bzw. Position des Kopfes des Fahrzeugführers auf dem Bildschirm anders als die übrigen Datensätze dargestellt wird. Die Prozessoreinheit ist demnach eingerichtet, zumindest einen bestimmten Datensatz in Abhängigkeit der erfassten Blickrichtung bzw. Position des Kopfes des Fahrzeugführers anders als die übrigen Datensätze bereitzustellen. Hierbei kann es sich um eine Hervorhebung der Informationen des entsprechenden Datensatzes handeln.

Dies geschieht beispielsweise zusätzlich in Abhängigkeit von einem gewählten Betriebsmodus, insbesondere in Abhängigkeit des gewählten Gangs.

Es ist somit eine Interaktion des Fahrzeugführers mit dem Spiegelersatzsystem möglich, indem der Fahrzeugführer aufgrund seiner Bewegung bzw. Änderung der Blickrichtung gezielt die dargestellten Informationen steuert. Beispielsweise kann bei einem aktiven Rückwärtsgang eine Kopfbewegung in eine bestimmte Richtung dazu führen, dass ein zugeordneter Datensatz hervorgeheben wird.

Eine Kopfbewegung nach vorne links aus Sicht des Fahrzeugführers kann somit zur vergrößerten (in Bezug auf die Fläche des Bildschirms) und/oder gezoomten Darstellung führen, wodurch das Einparken entsprechend vereinfacht ist.

Ein weiterer Aspekt sieht vor, dass der Blickrichtungssensor wenigstens einen Infrarot-Sensor umfasst. Über den Infrarot-Sensor ist sichergestellt, dass die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers auch bei Dunkelheit erfasst werden kann, also bei Nachtfahrten.

Zudem kann der Blickrichtungssensor wenigstens eine Kamera umfassen, beispielsweise eine RGB-Kamera, die eingerichtet ist, die Blickrichtung des Fahrzeugführers auf dem Bildschirm bzw. die Position des Kopfes des Fahrzeugführers zu erfassen. Die Kamera kann zusätzlich oder alternativ zum Infrarot-Sensor vorgesehen sein, sodass die Information des Infrarot-Sensors sowie die der Kamera genutzt werden, um die Blickrichtung des Fahrzeugführers auf dem Bildschirm bzw. die Position des Kopfes zu erfassen. Die entsprechenden Daten können ergänzend ausgewertet werden.

Gemäß einer Ausführungsform ist das Spiegelersatzsystem eingerichtet, die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers in allen drei Raumrichtungen zu erfassen. In analoger Weise wird beim Verfahren die dreidimensionale Position und/oder eine Positionsänderung des Kopfes des Fahrzeugführers in allen drei Raumrichtungen erfasst. Insofern kann eine Änderung der Blickrichtung, eine Positionsänderung des Kopfes bzw. generell die Position des Kopfes in x-, y- sowie z-Richtung erfasst werden, um ein möglichst natürliches Spiegelbild auf dem Bildschirm zu erzeugen.

Insbesondere kann der Blickrichtungssensor wenigstens zwei Infrarot- Sensoren und/oder zwei Kameras umfassen, um die Blickrichtung des Fahrzeugführers auf den Bildschirm bzw. die Position des Kopfes des Fahrzeugführers zu bestimmen. Hierdurch lässt sich insbesondere die dreidimensionale Position bzw. Positionsänderung des Kopfes leichter erfassen.

Die drei Dimensionen x, y, z sind dabei beispielsweise so definiert, dass die z- Richtung im Wesentlichen der Fahrzeugrichtung entspricht. Demnach ist die Windschutzscheibe des Kraftfahrzeugs im Wesentlichen in z-Richtung gegenüberliegend zum Fahrzeugführer vorgesehen.

Der Bildschirm kann sich in der x- Richtung und der y-Richtung erstrecken, sodass der Fahrzeugführer im Wesentlichen in z-Richtung auf den Bildschirm schaut. In Abhängigkeit der Anordnung des Bildschirms kann die Blickrichtung jedoch auch eine x- und/oder y-Komponente umfassen. Beispielsweise ist der Bildschirm in einem Innenspiegel integriert, an der Position eines herkömmlichen physischen Innenspiegels vorgesehen ist, oder als Teil eines Entertainment-Systems ausgebildet, sodass auf dem Bildschirm auch Entertainment-Informationen dargestellt werden können. Des Weiteren kann es sich bei dem Bildschirm um ein Head-Up Display handeln.

Auch kann vorgesehen sein, dass der Bildschirm im Bereich der Innenraumverkleidung angeordnet ist, beispielsweise dort integriert ist, bzw. einem entsprechenden Bereich zugeordnet ist, beispielsweise einer Sonnenblende für den Fahrzeugführer, insbesondere in der Sonnenblende integriert ist.

Insbesondere ist das Spiegelersatzsystem eingerichtet, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung (z-Richtung) zu skalieren, wobei die Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Positionsänderung des Kopfes zusammenhängt.

Die darzustellenden Bild- und/oder Videodaten werden aufgrund einer erfassten Positionsänderung des Kopfes in Fahrzeugrichtung (z-Richtung) linear skaliert, insbesondere wobei ein Skalierungsfaktor zwischen 0,0005 und 0,002 pro cm verwendet wird, beispielsweise ein Skalierungsfaktor von 0,00125 pro cm. Die Positionsänderung des Kopfes wird dabei beispielsweise ausgehend von einer neutralen Kopfposition des Fahrzeugführers gemessen. Unter einer neutralen Kopfposition des Fahrzeugführers ist die Kopfposition zu verstehen, die im normalen Fährbetrieb vorliegt.

Um die neutralen Kopfposition zu ermitteln, kann die Position des Kopfes des Fahrzeugführers über einen geeigneten Sensor erfasst werden und insbesondere die Position als neutralen Kopfposition festgelegt werden, in welcher sich der Kopf des Fahrzeugführers in mehr als 50% der Fahrzeit befindet.

Um die neutralen Kopfposition nicht bei jeder Fahrt neu ermitteln zu müssen, kann ein Benutzerprofil hinterlegt sein, in dem die neutralen Kopfposition des Fahrzeugführers gespeichert ist.

Ebenso kann die neutrale Kopfposition ständig überprüft und aktualisiert werden, sodass sie ständig angepasst wird. Dies wird im entsprechenden Benutzer- bzw. Fahrerprofil hinterlegt. Hierdurch ist es möglich, dass die Bewegung des Kopfes des Fahrzeugführers nach vorne oder hinten, also in Fahrzeugrichtung gesehen, zu einem Hinein- bzw. Herauszoomen der dargestellten Informationen führt. Aufgrund der linearen Übersetzung der Bewegung wird ein natürlich empfundenes Spiegelbild erzeugt, da die Bewegungssensitivität vergleichbar mit der eines realen Spiegels ist.

Der geringe Skalierungsfaktor ist vorteilhaft, da dieser eine dezente Übersetzung zur Folge hat, bei der die angezeigten Informationen natürlich wirken, insbesondere bei einer Änderung der Kopfposition bzw. der Blickrichtung. Außerdem lassen sich so Diskretisierungseffekte und Rauscheffekte verringern.

Der Ursprung der z-Achse kann dabei in der Ebene liegen, in der der Blickrichtungssensor angeordnet ist, sodass die neutrale Kopfposition des Fahrzeugführers vom Ursprung der z-Achse entfernt ist.

Ein weiterer Aspekt sieht vor, dass das Spiegelersatzsystem eingerichtet ist, eine Skalierung ausgehend von einem Ursprung zu ermitteln, der in Fahrzeugrichtung (z-Richtung) von der neutralen Kopfposition des Fahrzeugführers abweicht, sodass sich bei der neutralen Kopfposition eine (leicht) herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm ergibt, insbesondere wobei ein Offset von etwa 0,75 m vorgesehen ist.

Das heißt, wenn der Kopf des Fahrzeugführers in der neutralen Kopfposition ist, werden dem Fahrzeugführer die Bild- und/oder Videodaten beispielsweise verkleinert dargestellt. Ein Offset von 0,75 m bei neutraler Kopfposition bedeutet zum Beispiel, dass dem Fahrzeugführer die Bild- und/oder Videodaten so dargestellt werden, als ob er sich 0,75 m weiter weg von einem dargestellten Objekt befinden würde.

Auch beim Verfahren wird die Skalierung ausgehend von einem Ursprung ermittelt, der in Fahrzeugrichtung, also in z-Richtung, von der neutralen Kopfposition des Fahrzeugführers abweicht, sodass sich bei der neutralen Kopfposition eine leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm ergibt, insbesondere wobei ein Offset von etwa 0,75 m vorgesehen ist.

Die neutrale Kopfposition des Fahrzeugführers liegt bei etwa 90 cm ausgehend vom Ursprung der z-Achse. Durch den gewählten Offset, beispielsweise von etwa 0,75 m, ist es möglich, dass sich bereits bei der neutralen Kopfposition des Fahrzeugführers, die der Fahrzeugführer normalerweise einnimmt, eine verkleinerte Darstellung der Bild- und/oder Videodaten ergibt, wodurch eine Weitwinkeldarstellung möglich ist. Der Fahrzeugführer erhält somit bei der neutralen Position mehr Informationen, als dies bei einem üblichen physischen Spiegelsystem der Fall ist. Insbesondere lassen sich hierdurch die sogenannten Totwinkel-Bereiche entsprechend einfach überwachen.

Gemäß einem weiteren Aspekt ist das Spiegelersatzsystem eingerichtet, die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes quer zur Fahrzeugrichtung, also in x-Richtung und/oder y-Richtung, zu verschieben, wobei die Verschiebung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung bzw. Positionsänderung des Kopfes zusammenhängt.

Die darzustellenden Bild- und/oder Videodaten werden aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes quer zur Fahrzeugrichtung, also in x-Richtung und/oder y-Richtung, linear verschoben, insbesondere wobei ein Skalierungsfaktor zwischen 0,05 und 0,2 pro cm einer Augenbewegung verwendet wird, beispielsweise ein Skalierungsfaktor von 0,1 pro cm. Sofern der Fahrzeugführer seinen Blick bzw. die Position des Kopfes in x- Richtung bzw. y-Richtung verändert, ergibt sich ein verschobenes Bild auf dem Bildschirm, wie dies bei einem herkömmlichen optischen Spiegelsystem der Fall ist. Aufgrund des linearen Zusammenhangs wird zudem ein natürliches Empfinden beim Fahrzeugführer hervorgerufen. Der geringe Skalierungsfaktor ist auch hiervorteilhaft, da dieser eine dezente Übersetzung zur Folge hat, bei der die angezeigten Informationen natürlich wirken, insbesondere bei einer Änderung der Kopfposition bzw. der Blickrichtung. Außerdem lassen sich so Diskretisierungseffekte und Rauscheffekte verringern.

Insbesondere ist das Spiegelersatzsystem eingerichtet, einen Verschiebefaktor und/oder einen Zoomfaktor für die Anpassung der dargestellten Bild- und/oder Videodaten zu bestimmen, die bzw. der abhängig von der Blickrichtung bzw. Position des Kopfes sind bzw. ist. Ein Verschiebefaktor und/oder ein Zoomfaktor für die darzustellenden Bild- und/oder Videodaten werden bzw. wird bestimmt, die bzw. der abhängig von der Blickrichtung bzw. Position des Kopfes sind bzw. ist.

Über den Verschiebefaktor bzw. Zoomfaktor wird die erfasste Änderung des Blickwinkels bzw. Positionsänderung des Kopfes in eine Veränderung der dargestellten Bild- und/oder Videodaten umgerechnet. Dies bedeutet, dass das darzustellende Bild bzw. Video um den Verschiebefaktor bzw. Zoomfaktor verändert wird, sofern sich die Position des Kopfes bzw. die Blickrichtung in x-, y- bzw. z-Richtung entsprechend ändert.

Insbesondere ist die Prozessoreinheit eingerichtet, den Verschiebefaktor und/oder den Zoomfaktor exponentiell zu glätten. Beim Verfahren werden der Verschiebefaktor und/oder der Zoomfaktor exponentiell geglättet. Hierdurch wird ein Rauschen der dargestellten Bilder sowie Sprünge der Bild- bzw. Videoinformationen vermieden, da die entsprechenden Eingangsdaten zunächst geglättet werden. Da die darstellten Bild- und/oder Videodaten jedoch schnell auf entsprechende Bewegungen des Fahrzeugführers angepasst werden müssen, ist eine exponentielle Glättung des Verschiebefaktors bzw. Zoomfaktors vorgesehen.

Beispielsweise werden die entsprechenden Ist-Werte des Verschiebefaktors bzw. Zoomfaktors anhand ihrer Soll-Werte in jedem Frame aktualisiert, insbesondere 60 mal pro Sekunde.

Grundsätzlich kann die Anpassung der auf dem Bildschirm darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung bzw. Position des Kopfes einer Skalierung und/oder Verschiebung zugeordnet sein. Mit anderen Worten können die auf dem Bildschirm darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung bzw. Position des Kopfes skaliert und/oder verschoben werden. Die Prozessoreinheit ist demnach eingerichtet, die auf dem Bildschirm (38) darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Blickrichtung bzw. Position des Kopfes zu skalieren und/oder zu verschieben.

Gemäß einem weiteren Aspekt umfasst die Prozessoreinheit einen Fragment- Shader und ist eingerichtet, die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors zu bestimmen, insbesondere wobei der Fragment-Shader zusätzlich den geglätteten Verschiebefaktor, den geglätteten Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder bzw. Videos berücksichtigt.

Beim Verfahren werden die darzustellenden Bild- und/oder Videodaten unter Berücksichtigung des Verschiebefaktors und/oder des Zoomfaktors in einem Fragment-Shader berechnet, insbesondere wobei zusätzlich der geglättete Verschiebefaktor, der geglättete Zoomfaktor, die Höhe und/oder die Breite der darzustellenden Bilder bzw. Videos berücksichtigt werden bzw. wird.

Der Fragment-Shader errechnet demnach in effizienter Weise die Texturkoordinaten der einzelnen Pixel der darzustellenden Bilder bzw. Videos, wobei hierzu zumindest der Verschiebefaktor bzw. der Zoomfaktor berücksichtigt werden.

Insbesondere werden der zuvor geglättete Verschiebefaktor bzw. der geglättete Zoomfaktor berücksichtigt, um ein entsprechendes rauscharmes Bild bzw. Video bereitzustellen.

Gleichzeitig können die Höhe bzw. die Breite der darzustellenden Bilder bzw. Video berücksichtigt werden, um sicherzustellen, dass das dargestellte Bild bzw. Video nicht verzerrt ist.

Ein weiterer Aspekt sieht vor, dass das Spiegelersatzsystem eingerichtet ist, Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes zu verwenden, oberhalb derer die Prozessoreinheit erst die darzustellenden Bild- und/oder Videodaten verändert.

Beim Verfahren werden Schwellwerte für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes verwendet, oberhalb derer die darzustellenden Bild- und/oder Videodaten erst verändert werden.

Hierdurch wird sichergestellt, dass ein unruhiges Bild bzw. Video auf dem Bildschirm vermieden wird, was der Fall sein könnte, sofern kleine Bewegungen des Kopfes bzw. Veränderungen der Blickrichtung ständig zu einem veränderten dargestellten Ausschnitt der erfassten Umgebung führen würden. Über die Schwellwerte werden Mindestdistanzen vorgegeben, die zunächst betragsmäßig überwunden werden müssen, bevor sich eine Verschiebung bzw. Skalierung des dargestellten Bildes und/oder Videos auf dem Bildschirm ergibt. Des Weiteren kann das Spiegelersatzsystem eingerichtet sein, nicht-lineare T ransformationen der erzeugten Bild- und/oder Videodaten durchzuführen, sodass eine Skalierung der darzustellenden Bild- und/oder Videodaten linear mit der Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes zusammenhängt. Die Bewegung in Fahrzeugrichtung (z-Richtung), die linear übersetzt werden soll, muss demnach entsprechend nicht-linear transformiert werden aufgrund des Öffnungswinkels der entsprechenden Kamera der optischen Sensoreinheit.

Weitere Vorteile und Eigenschaften des erfindungsgemäßen Spiegelersatzsystems sowie des erfindungsgemäßen Verfahrens zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs ergeben sich aus der nachfolgenden Beschreibung und den Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:

- Figur 1 eine schematische Darstellung eines Kraftfahrzeugs mit einem erfindungsgemäßen Spiegelersatzsystem,

- Figur 2 eine schematische Darstellung eines Spiegelersatzsystems gemäß einer Ausführungsform, und

- Figur 3 eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.

In Figur 1 ist ein Kraftfahrzeug 10 gezeigt, das ein Spiegelersatzsystem 12 aufweist, welches ein herkömmliches physisches Spiegelsystem aus physischen Spiegeln ersetzt.

Das Spiegelersatzsystem 12 hat eine optische Sensoreinheit 14, die in der gezeigten Ausführungsform drei Weitwinkel-Kameras 16 - 20 umfasst, die vorgesehen sind, um die beiden Seitenspiegel sowie den Innenspiegel zu ersetzen.

Die erste Kamera 16 ist der linken Seite 22 des Kraftfahrzeugs 10 zugeordnet, wohingegen die zweite Kamera 18 der rechten Seite 24 des Kraftfahrzeugs 10 zugeordnet ist. Ferner ist die dritte Kamera 20 der Rückseite 26 des Kraftfahrzeugs 10 zugeordnet. Beispielsweise sind die jeweiligen Kameras 16 - 20 an den jeweiligen Seiten 22 - 26 des Kraftfahrzeugs 10 angeordnet. Die erste Kamera 16 erfasst demnach die linke seitliche und rückwärtige Umgebung des Kraftfahrzeugs 10, wohingegen die zweite Kamera 18 die rechte seitliche und rückwärtige Umgebung des Kraftfahrzeugs 10 erfasst. Die dritte Kamera 20 erfasst dagegen den hinteren Bereich des Kraftfahrzeugs 10, insbesondere den Bereich direkt hinter dem Heck des Kraftfahrzeugs 10.

Die drei Kameras 16 - 20 erfassen jeweils einen Bereich der Umgebung des Kraftfahrzeugs 10, wobei sich die entsprechenden Bereiche der linken bzw. rechten Kamera 16, 18 mit dem Bereich der hinteren Kamera 20 zumindest teilweise überlappen, sodass ein linker Überlappungsbereich sowie ein rechter Überlappungsbereich vorliegen. Im jeweiligen Überlappungsbereich werden somit Daten von zwei Kameras 16 - 20 gleichzeitig erfasst.

Die von den Kameras 16 - 20, also der optischen Sensoreinheit 14, erfassten Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 werden an eine Prozessoreinheit 28 übermittelt, die Teil des Spiegelersatzsystems 12 ist. Die Prozessoreinheit 28 verarbeitet die erhaltenen Daten entsprechend, wie nachfolgend noch erläutert wird.

Zudem umfasst das Spiegelersatzsystem 12 einen Blickrichtungssensor 30, der in der gezeigten Ausführungsform durch zwei Infrarot-Sensoren 32, 34 ausgebildet ist, die im Fahrzeuginneren angeordnet sind.

Alternativ oder ergänzend kann der Blickrichtungssensor 30 wenigstens eine Kamera umfassen, beispielsweise eine RGB-Kamera, die auf den Fahrzeugführer ausgerichtet ist.

Der Blickrichtungssensor 30 ist generell eingerichtet, die Position des Kopfes des Fahrzeugführers 36 bzw. die Blickrichtung des Fahrzeugführers 36 auf einen Bildschirm 38 zu erfassen, der ebenfalls Teil des Spiegelersatzsystems 12 ist. Hierzu können Eye-Tracking Techniken zum Einsatz kommen.

Auf dem Bildschirm 38 werden die von der optischen Sensoreinheit 14 erfassten bzw. erzeugten Bild- und/oder Videodaten angezeigt, weswegen der Bildschirm 38 mit der Prozessoreinheit 28 gekoppelt ist. Hierüber werden dem Fahrzeugführer somit die erfassten Bild- bzw. Videodaten angezeigt, sodass er in die Lage versetzt wird, die Umgebung des Kraftfahrzeugs 10 zu überwachen.

Der Blickrichtungssensor 30 ist ebenfalls mit der Prozessoreinheit 28 gekoppelt, sodass die von dem Blickrichtungssensor 30 erfassten Daten von der Prozessoreinheit 28 ausgewertet und entsprechend berücksichtigt werden. Dies wird nachfolgend anhand der Figur 3 näher erläutert, wenn das Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 mittels des Spiegelersatzsystems 12 beschrieben wird.

Aus der Figur 1 geht ferner hervor, dass der Bildschirm 38 mittig zwischen den beiden Infrarot-Sensoren 32, 34 angeordnet ist.

Generell weisen die beiden Infrarot-Sensoren 32, 34 einen definierten Abstand zueinander auf und zum Kopf des Fahrzeugführers; zumindest in der neutralen Kopfposition.

Der Bildschirm 38 ist zudem in einer Ebene angeordnet, die sich in x- und y- Richtung erstreckt, also quer zur Fahrzeugrichtung, wie dies bei einem Innenspiegel bzw. einem Armaturenbrett üblicherweise der Fall ist. Insofern handelt es sich bei der z-Richtung um die Fahrzeugrichtung des Kraftfahrzeugs 10. Die Fahrzeugrichtung entspricht im Wesentlichen auch der Fahrrichtung des Kraftfahrzeugs 10.

In Figur 2 ist eine alternative Ausführungsform des Spiegelersatzsystems 12 gezeigt, die zwei Prozessoreinheiten 28a, 28b umfasst. Die erste Prozessoreinheit dient dabei zur Berechnung der Blickrichtung des Fahrzeugführers bzw. der Position des Kopfes des Fahrzeugführers 36, wobei die entsprechend berechneten Tracking-Daten an die zweite Prozessoreinheit 28b übermittelt werden, die zusätzlich die von der optischen Sensoreinheit 14 erfassten Daten erhält, insbesondere die entsprechenden Rohdaten. Die zweite Prozessoreinheit 28b berechnet aufgrund der von der ersten Prozessoreinheit 28a erhaltenen Tracking- Daten sowie der von der optischen Sensoreinheit 14 erhaltenen Daten das entsprechend darzustellende Bild, welches dann an den Bildschirm 38 zur Darstellung weitergegeben wird.

Insofern unterscheidet sich die in Figur 2 gezeigte, zweite Ausführungsform des Spiegelersatzsystems 12 von der in Figur 1 gezeigten, ersten Ausführungsform lediglich dahingehend, dass zwei getrennte Prozessoreinheiten 28a, 28b vorgesehen sind, wodurch die jeweiligen Prozessoreinheiten 28a, 28b auf die besonderen Anforderungen besser eingerichtet sein können, also auf die durchzuführenden Rechenschritte

Mit Bezug auf Figur 3 wird nachfolgend erläutert, wie das Spiegelersatzsystem 12 die darzustellenden Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 berechnet und entsprechend darstellt.

Zunächst werden mittels der optischen Sensoreinheit 14, also den jeweiligen Kameras 16 - 20, Bild- und/oder Videodaten der Umgebung des Kraftfahrzeugs 10 aufgenommen. Hierdurch entstehen ein linker Datensatz der ersten Kamera 16, ein rechter Datensatz der zweiten Kamera 18 sowie ein mittlerer bzw. hinterer Datensatz der hinteren Kamera 20.

Die entsprechend aufgenommenen Bild- und/oder Videodaten, also die jeweiligen Datensätze, werden an die zumindest eine Prozessoreinheit 28 übermittelt, die diese weiterverarbeitet.

Zudem wird die Blickrichtung des Fahrzeugführers 36 auf den Bildschirm 38 bzw. die Position des Kopfes des Fahrzeugführers 36 mittels des Blickrichtungssensors 30 erfasst. Hierbei kann die dreidimensionale Position des Kopfes erfasst werden, sodass die Position in x-, y- sowie z-Richtung ermittelt wird, also in Fahrzeugrichtung (z-Richtung) sowie quer zur Fahrzeugrichtung (x- Richtung und/oder y-Richtung).

Die entsprechenden Daten des Blickrichtungssensors 30 werden an die zumindest eine Prozessoreinheit 28 weitergeleitet, die die aufgenommenen Bild- und/oder Videodaten der optischen Sensoreinheit 14 entsprechend verarbeitet. Die Prozessoreinheit 28 ermittelt zudem die Blickrichtung des Fahrzeugführers auf dem Bildschirm 28 bzw. die (dreidimensionale) Position des Kopfes des Fahrzeugführers 36 aufgrund der erfassten Daten des Blickrichtungssensors 30.

Bei der Verarbeitung der aufgenommenen Bild- und/oder Videodaten, die dargestellt werden sollen, zieht die Prozessoreinheit 28 die ermittelte Blickrichtung des Fahrzeugführers auf dem Bildschirm 28 bzw. die (dreidimensionale) Position des Kopfes des Fahrzeugführers 36 heran, um den darzustellenden Ausschnitt entsprechend anzupassen.. Aufgrund der erfassten Position des Kopfes des Fahrzeugführers 36 bzw. dessen Blickrichtung wird der auf dem Bildschirm 38 darzustellende Ausschnitt entsprechend so gewählt, dass dieser an die Position des Kopfes bzw. die Blickrichtung des Fahrzeugführers 36 angepasst ist. Hierdurch wird erreicht, dass ein für den Fahrzeugführer 36 natürliches bzw. natürlich empfundenes Spiegelbild auf dem Bildschirm 38 erzeugt wird, das abhängig von der Blickrichtung bzw. Position des Kopfes des Fahrzeugführers 36 ist, insbesondere sich variabel mit einer Positionsänderung bzw. Änderung der Blickrichtung verändert bzw. entsprechend anpasst.

Sofern der Fahrzeugführer 36 seinen Kopf bewegt bzw. die Blickrichtung nämlich verändert, wird dies über den Blickrichtungssensor 30 und die Prozessoreinheit 28 erfasst, sodass der auf dem Bildschirm 38 dargestellte Ausschnitt entsprechend angepasst wird. Die entsprechende Positionsänderung des Kopfes wird hierzu in allen drei Raumrichtungen erfasst, um ein natürliches und intuitives Spiegelbild für den Fahrzeugführer 36 zu erzeugen.

Das Spiegelersatzsystem 12, insbesondere die Prozessoreinheit 28, ist dabei eingerichtet, die darzustellenden Bild- und/oder Videodaten aufgrund der erfassten Positionsänderung des Kopfes in z-Richtung, also in Fahrzeugrichtung, linear zu skalieren. Hierdurch ergibt sich ein besonders natürliches Empfinden beim Fahrzeugführer.

Beispielsweise wird ein Skalierungsfaktor zwischen 0,0005 und 0,002 pro cm verwendet, insbesondere ein Skalierungsfaktor von 0,00125 pro cm, um eine entsprechende Skalierung der Bild- und/oder Videodaten zu berechnen, wenn sich der Fahrzeugführer 36 in Fahrzeugrichtung auf den Bildschirm 38 zu- bzw. von diesem wegbewegt.

Des Weiteren kann das Spiegelersatzsystem 12, insbesondere die Prozessoreinheit 28, eingerichtet sein, die Skalierung ausgehend von einem Ursprung zu ermitteln, der in z-Richtung, also in Fahrzeugrichtung, von der neutralen Kopfposition des Fahrzeugführers 36 abweicht, sodass sich ein leicht herausgezoomte Ansicht der dargestellten Bild- und/oder Videodaten auf dem Bildschirm 38 ergibt, wenn sich der Fahrzeugführer 36 in seiner neutralen Sitzposition befindet, die mit der neutralen Kopfposition einhergeht. Generell wird somit ein Zoomfaktor ermittelt, über den die Bewegung des Kopfes des Fahrzeugführers 36 in z-Richtung, also in Fahrzeugrichtung, entsprechend umgesetzt wird. Die Umsetzung erfolgt dabei linear, wobei ein Offset vorgesehen ist, sodass sich eine herausgezoomte Ansicht ergibt, wenn sich der Fahrzeugführer 36 in seiner neutralen Sitzposition befindet. Der Zoomfaktor lässt sich demnach über die folgende Formel darstellen: z‘ = 0,75 - 0,00125/cm * z

Hierbei entspricht der Parameter„z“ der tatsächlichen Bewegungsstrecke des Fahrzeugführers 36 in z-Richtung, also in Fahrzeugrichtung, die entsprechend mit „z“‘ umgesetzt wird.

Hierbei sind der Skalierungsfaktor von 0,00125 pro cm sowie der Offset von 0,75 vorgesehen, sodass der Ursprung der Skalierung um 0,75 m nach vorne gelegt worden ist, wobei die neutrale Kopfposition bei etwa 0,9 m liegt.

In analoger Weise kann ein Verschiebefaktor berechnet werden, wobei die Prozessoreinheit 28 hierzu die darzustellenden Bild- und/oder Videodaten aufgrund einer erfassten Änderung der Blickrichtung bzw. Positionsänderung des Kopfes in x-Richtung und/oder y-Richtung linear verschiebt. Hierbei kann ein Skalierungsfaktor zwischen 0,05 und 0,2 pro cm verwendet werden, beispielsweise ein Skalierungsfaktor von 0,1 pro cm, sodass sich für die jeweiligen Verschiebefaktoren folgende Formeln ergibt: x‘ = 0,1/cm * x bzw. y‘ = 0,1/cm * y

Der entsprechende Ursprung der x-Achse bzw. y-Achse wird dabei in einem zentrierten Bild auf die neutrale Kopfposition des Fahrzeugführers 36 gelegt. In der neutralen Kopfposition ergeben sich also Werte von 0.

Die berechneten Verschiebefaktoren können anschließend auf einen definierten Wertebereich begrenzt werden, beispielsweise auf einen Wertebereich von -1 bis 1 , sodass sich eine maximale Verschiebung der Bild- bzw. Videodaten ergibt.

Generell ist mit der linearen Verschiebung bzw. linearen Skalierung der Bild- und/oder Videodaten aufgrund der erfassten Positionsänderung bzw. Blickrichtungsänderung sichergestellt, dass ein natürliches Empfinden beim Fahrzeugführer erreicht wird.

Gleichzeitig werden geringe Übersetzungsfaktoren (Skalierungsfaktoren) verwendet, sodass eine Verwirrung des Fahrzeugführers 36 während der Fahrt vermieden wird.

Des Weiteren können die berechneten Verschiebefaktoren sowie der berechnete Zoomfaktor exponentiell geglättet werden, sodass Sprünge der dargestellten Bilder bzw. Videos sowie ein Rauschen vermieden werden. Da die dargestellten Informationen jedoch schnell auf eingehende Bewegungen angepasst werden müssen, ist eine exponentielle Glättung vorteilhaft.

Hierzu werden in jedem Frame die Ist-Werte des entsprechenden Faktors anhand des Soll-Werts des entsprechenden Faktors aktualisiert. In Abhängigkeit vom verwendeten Bildschirm 38 kann dies beispielsweise 60 x pro Sekunde der Fall sein, also bei einem 60 Hz-Bildschirm. Die exponentielle Glättung lässt sich über folgende Formeln beispielsweise darstellen: x“ = x“ + 0,1 * (x‘ - x“), y“ = y“ + 0,1 * (y‘ - y“) sowie z“ = z‘ + 0,2 * (z‘ - z“)

Bei den doppelt apostrophierten Parametern (x“, y“, z“) handelt es sich jeweils um die Ist-Werte, die anhand ihrer Sollwerte (x‘, y‘, z‘) entsprechend aktualisiert werden.

Des Weiteren kann die Prozessoreinheit 28 einen Fragment-Shader 40 umfassen, der die Texturkoordinaten (u, v) der einzelnen Pixel der darzustellenden Bilder bzw. Videos berechnet. Hierzu greift der Fragment-Shader 40 auf die zuvor ermittelten Verschiebefaktoren bzw. Zoomfaktor zu, insbesondere die geglätteten Verschiebefaktoren bzw. den geglätteten Zoomfaktor.

Zudem kann der Fragment-Shader 40 die Höhe (img height) bzw. Breite (img width) der darzustellenden Bilder bzw. Videos berücksichtigen, um die entsprechenden Texturkoordinaten (u, v) zu variieren. Hierbei kann der Fragment- Shader 40 folgende Formeln verwenden: u‘ = img_width - (u * z“ + ((1 - z“) * 0,5) * (1 + x“) * img_width) und v‘ =v * z“ + (1 - z“) * 0,5 * img_height

Gleichzeitig kann die Prozessoreinheit 28 bei der Erzeugung bzw. Verarbeitung der Bild- und/oder Videodaten Schwellwerte anwenden, die für die erfasste Änderung der Blickrichtung, Positionsänderung bzw. Position des Kopfes vorgesehen sind. Aufgrund der Schwellwerte ist sichergestellt, dass die dargestellten Bild- und/oder Videodaten keinen unruhigen Eindruck beim Fahrzeugführer 36 verursachen, da zunächst eine gewisse Mindestdistanz betragsmäßig überschritten werden muss, bevor sich eine Veränderung der dargestellten Bild- und/oder Videodaten ergibt, also eine Verschiebung bzw. Skalierung der Bild- und/oder Videodaten.

Des Weiteren kann vorgesehen sein, dass die Prozessoreinheit 28 eingerichtet ist, die von der optischen Sensoreinheit 14 bereitgestellten Bild- und/oder Videodaten durch Informationen zu ergänzen. Bei den Informationen kann es sich beispielsweise um Rangierlinien handeln, die dem Fahrzeugführer 36 anzeigen, wohin sich das Kraftfahrzeug 10 aufgrund eines gewählten Lenkeinschlags beim Rückwärtsfahren bewegen wird.

Weitere Informationen, die dargestellt werden können, sind beispielsweise Warnzeichen, Symbole und/oder Hervorhebungen.

Die zusätzlich dargestellten Informationen können ebenfalls aufgrund der Blickrichtung des Fahrzeugführers 36 bzw. der Position des Kopfes hinsichtlich ihrer Darstellung entsprechend angepasst werden, sodass nicht nur die von der optischen Sensoreinheit 14 erfassten Bild- und/oder Videodaten aufgrund der Blickrichtung bzw. Position des Kopfes des Fahrzeugführers 36 angepasst werden, sondern auch die zusätzlich dargestellten Informationen.

Hierdurch wird für eine sogenannte„augmented reality“ also eine natürliches Empfinden erzeugt, was einem echten (physischen) Spiegel gleicht.

Es ergibt sich somit ein intuitiv verständliches Spiegelersatzsystem 12, das eine natürliche Darstellung der erfassten Umgebung des Kraftfahrzeugs 10 auf dem Bildschirm 38 bereitstellt, da sich die dargestellten Informationen an die Blickrichtung bzw. Position des Kopfes des Fahrzeugführers 36 entsprechend anpasst.