HAHN, Stefan (Ochsensteige 69, Ulm, 89075, DE)
| Patentansprüche Verfahren zur Erfassung einer Umgebung (U) eines Fahrzeugs (1), wobei mittels einer Kamera (2) digitale Bilder der Umgebung (U) erfasst werden und eine Eigenbewegung (B) des Fahrzeugs (1) ermittelt wird, dadurch gekennzeichnet, dass mittels zumindest jeweils zwei erfasster Bilder und mittels aus der Eigenbewegung (B) des Fahrzeugs (1) ermittelter Bewegungsvektoren ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung (U) des Fahrzeugs (1) erstellt wird und mittels des dreidimensionalen Umgebungsmodells und Intensitätswerten von Bildpunkten der erfassten Bilder eine auf einer Anzeigeeinheit (4) auszugebende Darstellung der erfassten Umgebung (U) aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert und auf der Anzeigeeinheit (4) abwechselnd mit einer von der menschlichen Wahrnehmung als angenehm empfundenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt wird, so dass eine dreidimensional wirkende Wiedergabe der erfassten Umgebung (U) erreicht wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zum Rendern der Darstellung in Bildbereichen, in welchen die Bildpunkte und/oder deren Intensitätswerte aus den erfassten Bildern nicht ermittelbar sind, die Bildpunkte und/oder deren Intensitätswerte mittels zumindest eines Texturextrapolationsverfahrens erzeugt werden oder diese Bildbereiche mit einer vorgegebenen Farbe gefüllt werden. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Wechselfrequenz zwischen 1 Hz und 4 Hz beträgt. 4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Wechselfrequenz 2 Hz beträgt. 5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eigenbewegung (B) des Fahrzeuges (1) mittels einer Fahrzeugsensorik ermittelt wird. 6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eigenbewegung (B) des Fahrzeugs (1) durch eine Bildauswertung zumindest der zwei erfassten und zu verarbeitenden Bilder ermittelt wird. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Ermittlung der Eigenbewegung (B) des Fahrzeugs (1) eine Positionsänderung und/oder eine Größenänderung zumindest eines markanten Objektes in den erfassten Bildern verwendet wird. 8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung erst nach einem Stillstand des Fahrzeugs (1) auf der Anzeigeeinheit (4) ausgegeben wird. 9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer fortgesetzten Eigenbewegung (B) des Fahrzeugs (1) nach einer vorgegebenen Zeit und/oder nach Erreichen eines vorgegebenen Ausmaßes der fortgesetzten Eigenbewegung (B) eine weitere Darstellung aus weiteren erfassten Bildern gerendert und auf der Anzeigeeinheit (4) ausgegeben wird. |
Die Erfindung betrifft ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
Aus dem Stand der Technik sind, wie in der DE 102 44 148 A1 beschrieben, ein
Verfahren und eine Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs bekannt. Das Verfahren wird durchgeführt mittels einer Kamera, mit der digitale Bilder aufgezeichnet werden und mittels einer DV-Einheit, die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und
zwischenzuspeichern. Weiterhin wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Mittels eines Algorithmus zur Stereobildverarbeitung wird auf Grundlage von Bildpaaren ein lokales 3-D-Tiefenbild der seitlichen Umgebung eines Fahrzeugs generiert.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Erfassung einer Umgebung eines Fahrzeugs anzugeben, mittels welchem eine vorteilhafte räumliche Darstellung der näheren Umgebung des Fahrzeugs ermöglicht wird.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs mit den Merkmalen des Anspruchs 1 gelöst.
Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
In einem Verfahren zur Erfassung einer Umgebung eines Fahrzeugs werden mittels einer Kamera digitale Bilder der Umgebung erfasst und eine Eigenbewegung des Fahrzeugs ermittelt. Erfindungsgemäß wird mittels zumindest jeweils zwei erfasster Bilder und mittels aus der Eigenbewegung des Fahrzeugs ermittelter Bewegungsvektoren ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung des Fahrzeugs erstellt. Mittels des dreidimensionalen Umgebungsmodells und Intensitätswerten von Bildpunkten der erfassten Bilder wird eine auf einer Anzeigeeinheit auszugebende Darstellung der erfassten Umgebung aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert und auf der Anzeigeeinheit abwechselnd mit einer von der menschlichen Wahrnehmung als angenehm empfundenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt, so dass eine dreidimensional wirkende Wiedergabe der erfassten Umgebung erreicht wird.
Dabei ist die Darstellung aus zwei vertikal versetzten Perspektiven, d. h. eine periodische Vertikalbewegung der Umgebung in der Darstellung, besonders vorteilhaft. Eine derartige Vertikalbewegung der dargestellten Umgebung wird von der menschlichen
Wahrnehmung als leicht zu erfassen und besonders angenehm empfunden, weil sie einer natürlichen Augenbewegung und dadurch einer natürlichen Wahrnehmung der
Umgebung während des Laufens entspricht.
Die erfindungsgemäße Lösung ist beispielsweise als Einparkassistenzsystem in einem Fahrzeug einsetzbar, wobei durch die abwechselnd vorwärts und rückwärts ablaufende Darstellung auf einfache und kostengünstige Weise und mittels lediglich einer einzelnen Kamera ein dreidimensionaler Eindruck der Umgebung des Fahrzeugs erzeugt wird. Dazu ist beispielsweise eine Kamera verwendbar, welche bereits am Fahrzeug für andere Anwendungszwecke installiert ist.
Bei einer Mehrzahl am Fahrzeug installierter Kameras, beispielsweise Kameras eines so genannten Surround-View Systems, welches Kameras in Außenspiegeln des Fahrzeugs mit einem sehr breiten Erfassungsbereich und jeweils eine Kamera an einer Front und einem Heck des Fahrzeugs aufweist, ist beispielsweise von einem Fahrzeugführer eine jeweils bevorzugte Kamera zur Durchführung des Verfahrens auszuwählen. Auf diese Weise ist jeweils die Kamera einsetzbar, deren Erfassungsbereich die Erfassung eines den Fahrzeugführer interessierenden Umgebungsbereichs ermöglicht, beispielsweise einer Parklücke hinter, vor oder neben dem Fahrzeug. Die Darstellung erfolgt auf einer Anzeigeeinheit im Fahrzeug, welche beispielsweise ein Monitor eines Navigationssystems ist. Die Wechselfrequenz, mit welcher die Darstellung abwechselnd vorwärts und rückwärts abgespielt wird, beträgt bevorzugt zwischen 1 Hz und 4 Hz, besonders bevorzugt 2 Hz. Auf diese Weise wird ein dreidimensionaler Eindruck erzeugt, wobei diese Wechselfrequenz von der menschlichen Wahrnehmung als angenehm empfunden wird, so dass die Verkehrssicherheit nicht durch beispielsweise auftretende Schwindelgefühle und Übelkeit beeinträchtigt wird.
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Dabei zeigt:
Fig. 1 eine schematische Darstellung eines Fahrzeugs während eines
Einparkvorgangs in eine Parkbucht in Draufsicht.
Figur 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 während eines
Einparkvorgangs in eine Parkbucht P in Draufsicht. Das Fahrzeug 1 weist im hier dargestellten Beispiel eine Kamera 2 auf, welche an einem Heckbereich des Fahrzeugs 1 positioniert ist. Diese Kamera 2 ist mit einer Bildverarbeitungseinheit 3 verbunden, welche wiederum mit einer Anzeigeeinheit 4 verbunden ist, die in einem Innenraum des
Fahrzeugs 1 positioniert ist. Die Anzeigeeinheit 4 ist beispielsweise ein Monitor eines Navigationssystems des Fahrzeugs 1.
Im Verfahren zur Erfassung einer Umgebung U des Fahrzeugs 1 werden mittels der Kamera 2 digitale Bilder der Umgebung U erfasst und des Weiteren wird eine
Eigenbewegung B des Fahrzeugs 1 ermittelt. Diese Ermittlung der Eigenbewegung B ist beispielsweise durch eine Auswertung von Daten einer Fahrzeugsensorik möglich, d. h. beispielsweise mittels Daten eines Geschwindigkeitssensors, von Radrehzahlsensoren, eines Lenkwinkelsensors, eines Gierwinkelsensors, eines Gierratensensors, von
Neigungssensoren und/oder Daten eines Navigationssystems des Fahrzeugs 1.
Des Weiteren ist die Eigenbewegung B des Fahrzeugs 1 alternativ oder zusätzlich auch durch eine Auswertung der erfassten Bilder ermittelbar. Dies erfolgt beispielsweise durch eine Auswertung einer Positionsänderung und/oder einer Größenänderung zumindest eines markanten Objektes in zumindest zwei erfassten Bildern. Ein derartiges markantes Objekt ist beispielsweise eine Fahrbahnmarkierung. Nachdem während der Eigenbewegung B des Fahrzeugs 1 , vorzugsweise einer langsamen horizontalen Bewegung, wie sie beispielsweise während eines
Einparkvorgangs erfolgt, mittels der Kamera 2 zumindest zwei aufeinander folgende Bilder erfasst wurden, werden diese Bilder in der Bildverarbeitungseinheit 3 verarbeitet. Dabei sind mittels der Eigenbewegung B des Fahrzeugs 1 Abweichungen von
Kamerapositionen und Kamerawinkeln zwischen den Bildern ermittelbar.
In der Bildverarbeitungseinheit 3 wird mittels einer stereoskopischen Auswertung der Bilder unter Verwendung aus der Eigenbewegung B des Fahrzeugs 1 ermittelter
Bewegungsvektoren aus den zumindest zwei erfassten Bildern ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung U des
Fahrzeugs 1 erzeugt. Mittels dieses dreidimensionalen Umgebungsmodells und
Intensitätswerten, d. h. beispielsweise Helligkeits- und/oder Farbwerten von Bildpunkten der erfassten Bilder, wird eine auf der Anzeigeeinheit 4 auszugebende Darstellung der erfassten Umgebung U aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert, d. h. es wird eine kurze Szene bzw. ein kurzer Filmabschnitt erzeugt, dessen Anfangs- und Endbild die erfasste Umgebung U aus den beiden Perspektiven zeigt und welcher eine Darstellung eines fließenden Übergangs zwischen den beiden Perspektiven ermöglicht.
Während des Renderns können insbesondere bei einer geringen Anzahl erfasster Bilder und einer großen Änderung der Kameraposition und des Kamerawinkels zwischen den Bildern Disparitätssprünge auftreten, d. h. eine starke Tiefenänderung in Bezug zur Kameraposition bei dicht nebeneinander liegenden Bildpunkten, beispielsweise an Kanten eines erfassten Objektes. Im Bereich derartiger Disparitätssprünge entstehen beim Rendern Bildbereiche, deren Bildpunkte bzw. Intensitätswerte der Bildpunkte, d. h. deren Textur nicht bekannt ist und aus den erfassten Bildern nicht ermittelt werden kann, weil diese Bereiche des Objektes auf keinem der erfassten Bilder abgebildet sind. Derartige Bereiche ohne solche Bildinformationen ergeben sich insbesondere auch bei einer mittels des dreidimensionalen Modells simulierten periodischen Vertikalbewegung der Szene zwischen zwei oder mehreren vertikal versetzten Perspektiven, besonders dann, wenn die Bilder aufgrund der Eigenbewegung B des Fahrzeugs 1 und daraus resultierend der Bewegung der Kamera 2 aus horizontal versetzten Perspektiven erfasst wurden und durch das Rendern daraus die vertikal bewegte Darstellung erzeugt werden muss. Diese Bildbereiche können unter Verwendung eines oder mehrerer aus der
Bildverarbeitung bekannter Texturextrapolationsverfahren erzeugt und gefüllt werden. D. h. die Textur dieser Bildbereiche wird unter Verwendung beispielsweise angrenzender Bildbereiche extrapoliert. Auf diese Weise wird eine möglichst realistische Darstellung der Umgebung U ermöglicht.
In einer weiteren Ausführungsform des Verfahrens können diese Bildbereiche jedoch auch mit einer Farbe gefüllt werden, beispielsweise mit Schwarz oder mit einer auffälligen Farbe. Dies verringert einen Verarbeitungsaufwand in der Bildverarbeitungseinheit 3, wodurch diese einfacher und kostengünstiger ausführbar ist und die Darstellung schneller gerendert werden kann.
Des Weiteren ist auf diese Weise ein Fahrzeugführer für mögliche Gefahrenpunkte sensibilisierbar, welche in der Darstellung nicht exakt abgebildet sind und welche aufgrund der Disparitätssprünge, d. h. aufgrund einer plötzlichen starken Tiefenänderung in Bezug zur Kamera 2 beispielsweise ein Gegenstand in der Parkbucht P sein könnten, welche ein Hindernis darstellen könnten. Des Weiteren treten derartige
Disparitätssprünge beispielsweise auch an einem oberen Rand einer Bordsteinkante K auf, so dass auch dieser Rand farblich markiert wird, wodurch der Fahrzeugführer gewarnt wird.
Um eine Genauigkeit des Renderns zu erhöhen und derartige Bildbereiche, für die keine Texturinformationen vorliegen, zu minimieren, können jedoch auch zwischen den beiden Bildern weitere Bilder erfasst und verarbeitet werden.
Ist die Darstellung gerendert, wird sie auf der Anzeigeeinheit 4 abwechselnd mit einer vorgegebenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt. Die Wechselfrequenz wird derart vorgegeben, dass sie von der menschlichen Wahrnehmung als angenehm empfundenen wird. Durch die abwechselnd zeitlich vorwärts und rückwärts periodisch ablaufende Darstellung wird eine dreidimensional wirkende Wiedergabe der erfassten Umgebung U erreicht, da die Umgebung U mittels eines kurzen simulierten Kameraschwenks bzw. einer kurzen simulierten Kamerafahrt vorwärts und rückwärts in schneller Abfolge dargestellt wird. Dieses Hin- und
Zurückschwenken, wobei Objekte in der erfassten Umgebung U jeweils aus leicht veränderten Perspektiven dargestellt werden, vermittelt einen dreidimensionalen Eindruck der Umgebung U und der Objekte in der Umgebung U des Fahrzeugs 1. Dabei ist die Darstellung aus zwei vertikal versetzten Perspektiven, d. h. eine periodische Vertikalbewegung der Umgebung U in der Darstellung, besonders vorteilhaft. Eine derartige Vertikalbewegung der dargestellten Umgebung U wird von der menschlichen Wahrnehmung als leicht zu erfassen und besonders angenehm empfunden, weil sie einer natürlichen Augenbewegung und dadurch einer natürlichen Wahrnehmung der
Umgebung U während des Laufens entspricht.
Die vorgegebene Wechselfrequenz, mit welcher die Darstellung abwechselnd zeitlich vorwärts und rückwärts abläuft, beträgt vorzugsweise zwischen 1 Hz und 4 Hz, besonders bevorzugt 2 Hz. Durch dieses schnelle aufeinander folgende Abspielen der Darstellung zeitlich vorwärts und rückwärts wird die Umgebung U für die menschliche Wahrnehmung dreidimensional dargestellt, wobei diese Wechselfrequenz aber von der menschlichen Wahrnehmung noch als angenehm empfunden wird, so dass die Verkehrssicherheit nicht durch beispielsweise auftretende Schwindelgefühle und Übelkeit des Fahrzeugführers beeinträchtigt wird.
Bei einer fortgesetzten Eigenbewegung B des Fahrzeugs 1 wird zweckmäßigerweise nach einer vorgegebenen Zeit und/oder nach Erreichen eines vorgegebenen Ausmaßes der fortgesetzten Eigenbewegung B eine weitere Darstellung aus weiteren erfassten Bildern gerendert und auf der Anzeigeeinheit 4 ausgegeben, d. h. die Darstellung der Umgebung U des Fahrzeugs 1 wird fortlaufend an die tatsächlich von der Kamera 2 erfasste Umgebung U angepasst. Auf diese Weise wird eine Kollision des Fahrzeugs 1 mit einem Hindernis aufgrund einer zu stark zeitversetzten Darstellung verhindert.
In einer besonders vorteilhaften Ausführungsform des Verfahrens wird die gerenderte Darstellung in der Bildverarbeitungseinheit 3 oder in einer nicht dargestellten Speichereinheit gespeichert und erst zu einem späteren Zeitpunkt auf der Anzeigeeinheit 4 dargestellt. Beispielsweise wird dem Fahrzeugführer während des Einparkvorgangs, solange sich das Fahrzeug 1 bewegt, die Umgebung U so angezeigt, wie sie von der Kamera 2 erfasst wird, um eine Irritation des Fahrzeugführers zu vermeiden. Während sich das Fahrzeug 1 bewegt, erhält der Fahrzeugführer dabei bereits durch das sich durch die Eigenbewegung B des Fahrzeugs 1 verändernde Kamerabild einen räumlichen Eindruck der Umgebung U. Sobald das Fahrzeug 1 zum Stillstand gekommen ist, wird die gerenderte Darstellung auf der Anzeigeeinheit 4 wiedergegeben. Dabei werden beispielsweise Bilder gerendert, welche auf einem letzten Abschnitt der Eigenbewegung B des Fahrzeugs 1 von der Kamera 2 erfasst wurden, beispielsweise auf den letzten zehn Zentimetern, und diese gerenderte Darstellung wird nach dem Stillstand des Fahrzeugs 1 auf der Anzeigeeinheit 4 entsprechend wiedergegeben, so dass der Fahrzeugführer einen zusätzlichen dreidimensionalen Eindruck des Umfeldes U des Fahrzeugs 1 erhält. Auf diese Weise kann der Fahrzeugführer beispielsweise einen noch verbleibenden Abstand zu einem Hindernis besser einschätzen, um danach den Einparkvorgang fortzusetzen.
Zur Durchführung des Verfahrens ist beispielsweise eine Kamera 2 verwendbar, welche bereits am Fahrzeug 1 für andere Anwendungszwecke installiert ist. Bei einer Mehrzahl am Fahrzeug 1 installierter Kameras 2, beispielsweise Kameras 2 eines so genannten Surround-View Systems, welches Kameras 2 in Außenspiegeln des Fahrzeugs 1 mit einem sehr breiten Erfassungsbereich und jeweils eine Kamera 2 an einer Front und, wie hier dargestellt, im Heckbereich des Fahrzeugs 1 aufweist, kann beispielsweise von einem Fahrzeugführer eine jeweils bevorzugte Kamera 2 zur Durchführung des
Verfahrens ausgewählt werden. Auf diese Weise ist jeweils die Kamera 2 einsetzbar, deren Erfassungsbereich die Erfassung eines den Fahrzeugführer interessierenden Umgebungsbereichs U ermöglicht, im dargestellten Beispiel die Parkbucht P hinter dem Fahrzeug 1.
Bezugszeichenliste
1 Fahrzeug
2 Kamera
3 Bildverarbeitungseinheit
4 Anzeigeeinheit
B Eigenbewegung
K Bordsteinkante
P Parkbucht
U Umgebung
Next Patent: PROGRAMMABLE CYLINDER LOCK AND KEYS FOR THE OPERATION THEREOF