CANO RAPHAEL (DE)
WO2010119734A1 | 2010-10-21 |
EP2482557A1 | 2012-08-01 | |||
DE102011088332A1 | 2013-06-13 | |||
EP2192552A1 | 2010-06-02 | |||
DE102009036200A1 | 2010-05-06 |
Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges (15), wobei die Bilder der Fahrzeugumgebung mittels zwei an dem Fahrzeug (15) benachbart angebrachter Kameras (25, 35) aufgenommen werden, deren Erfassungsbereiche einen gemeinsamen Überschneidungsbereich (45) aufweisen, mit folgenden Schritten: jeweiliges Zusammensetzen der zwei mittels der zwei Kamers (25, 35) aktuell aufgenommenen Bilder zur Erzeugung einer aus einer virtuellen Perspektive darzustellenden Fahrzeugumgebungsdarstellung (11), wobei sich eine Grenzlinie (G2) zwischen zwei den aktuell zusammengesetzten Bildern entsprechenden Bildbereichen (20, 30) der Fahrzeugumgebungsdarstellung (11) erstreckt, gekennzeichnet durchEmpfangen oder Erzeugen einer Objektkarte (11 1) der Fahrzeugumgebung, Erzeugen eines Messsignals (M2) anhand einer relativ zu einem Ursprung (02) der Objektkarte (1 11) betrachteten und mittels aus der Objektkarte (11 1) extrahierter Daten bestimmten Position zumindest eines vordefinierten Teilabschnittes (42) eines ein sich in dem Überschneidungsbereich (45) befindliches Objekt abbildenden Bildabschnittes (41) der Objektkarte (1 11), und Bestimmen einer aktuellen Position der Grenzlinie (G2) in Abhängigkeit von einer Auswertung des Messsignals (M2). Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Fahrzeugumgebungsdarstellung (11) eine dreidimensionale Abbildung der Fahrzeugumgebung und die Objektkarte (1 11) eine zweidimensionale Abbildung der Fahrzeugumgebung umfasst, und/oder die Grenzlinie (G2) von einem Ursprung (O) der Fahrzeugumgebungsdarstellung (11) bis zu deren Bildrand verläuft, wobei der Ursprung (O) der Fahrzeugumgebungsdarstellung (11) und der Ursprung (02) der Objektkarte (1 11) jeweils einen und denselben gegenüber dem Fahrzeug (15) fest positionierten Punkt, insbesondere einen gegenüber dem Fahrzeug (15) am nahesten liegenden Schnittpunkt der zwei Erfassungsbereiche, abbilden, und/oder der vordefinierte Teilabschnitt (42) des das Objekt abbildenden Bildabschnittes (41) der Objektkarte (1 11) ein kontinuierlicher Teil eines Randes des das Objekt abbildenden Bildabschnittes (41) der Objektkarte (1 11) ist, der Bildpunkte aufweist, die gegenüber dem Ursprung (02) der Objektkarte (11 1) jeweils näher als ein jeder Bildpunkt eines restlichen Teils des Randes des das Objekt abbildenden Bildabschnittes (41) der Objektkarte (1 11) liegen. 3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Auswertung des Messsignals (M2) in Abhängigkeit von einem relativ zu dem Fahrzeug (15) betrachteten aktuellen Standpunkt einer virtuellen Kamera (26) zur Erzeugung der Fahrzeugumgebungsdarstellung (I I ) erfolgt. 4. Verfahren nach einem der vorangehenden Ansprüche dadurch gekennzeichnet, dass die aktuelle Position der Grenzlinie (G2) derartig bestimmt wird, dass diese einen das Objekt abbildenden Bildabschnitt (40) der Fahrzeugumgebungsdarstellung (11) nicht überschneidet. 5. Verfahren nach einem der vorangehenden Ansprüche, gekennzeichnet durch Rotieren einer sich von dem Ursprung (02) der Objektkarte (11 1) zu einem Bildrand der Objektkarte (1 11) erstreckenden Referenzlinie (L1) gegenüber einer in der Objektkarte (1 11) durch ihren Ursprung (02) verlaufenden fest positionierten Achse (A3) derartig, dass ein Abtasten einer gesamten Fläche des das Objekt abbildenden Bildabschnittes (41 ) der Objektkarte (I I I) durch die Referenzlinie (L1) erfolgt, und Bestimmen eines als Signal (M 1) zu verwendenden Verlaufes (M1) eines Abstandes zwischen dem Ursprung (02) der Objektkarte (1 11) und einem beim Rotieren der Referenzlinie (L1) vorkommenden und sich dabei innerhalb des vordefinierten Teilabschnittes (42) des das Objekt abbildenden Bildabschnittes (41) der Objektkarte (1 11) in unterschiedlichen Positionen befindlichen Schnittpunkt (S) zwischen der Referenzlinie (L1) und dem das Objekt abbildenden Bildabschnitt (41 ) der Objektkarte (1 11 ) in Abhängigkeit von einem beim Rotieren der Referenzlinie (L1) vorkommenden und von der Referenzlinie (L1) und der in der Objektkarte (1 11) verlaufenden fest positionierten Achse (A3) gebildeten ersten Winkel (Θ1), wobei das Erzeugen des Messsignals (M2) mittels des Signals (M1), insbesondere durch Anwenden einer Glättungsfilterung zur Rauschunterdrückung auf das Signal (M1), erfolgt. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die in der Objektkarte (1 11) verlaufende fest positionierte Achse (A3) außerhalb des das Objekt abbildende Bildabschnittes (41 ) der Objektkarte (11 1) verläuft. Verfahren nach einem der Ansprüche 5 oder 6, gekennzeichnet durch Unterteilen des Messsignals (M2) in mehrere Teilmesssignale (TM21 , TM22, TM23) derart, dass die Teilmesssignale (TM21 , TM22, TM23) jeweils nur Abstandswerte aufweisen, die entweder größer oder kleiner als ein zwischen einem Minimum und einem Maximum des Messsignals (M2) liegender Schwellenwert (SW) sind und jeweils einem einzelnen kontinuierlichen Winkelwertebereich (W1 , W2, W3) des ersten Wnkels (Θ1) entsprechen, Bestimmen eines jeden Winkelwertebereichs (W1 , W3) des ersten Winkels (Θ1), der einem Teilmesssignal (TM21 , TM23) entspricht, das nur Abstandswerte aufweist, die größer als der Schwellenwert (SW) sind, und Rotieren der vordefinierten Grenzlinie (G2) gegenüber einer in der Fahrzeugumgebungsdarstellung (11) durch ihren Ursprung (O) verlaufenden fest positionierten Achse (A1) derartig, dass ein von der Grenzlinie (G2) und der in der Fahrzeugumgebungsdarstellung (1 1) verlaufenden fest positionierte Achse (A1) gebildeter dritter Winkel (Θ3) einen in einer Mitte eines größten Winkelwertebereichs (W3) der bestimmten Wnkelwertebereiche (W1 , W3) des ersten Wnkels (Θ1) liegenden Winkelwert aufweist. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die in der Fahrzeugumgebungsdarstellung (11) verlaufende fest positionierte Achse (A1) und die in der Objektkarte (1 1 1 ) verlaufende fest positionierte Achse (A3) jeweils eine und dieselbe gegenüber dem Fahrzeug (15) fest positionierte Gerade abbilden, die durch den gegenüber dem Fahrzeug (15) fest positionierten Punkt verläuft. Verfahren nach einem der Ansprüche 7 oder 8, gekennzeichnet durch Prüfen eines Erfüllens einer vorbestimmten Bedingung für das Messsignal (M2), durch die der größte Winkelwertebereich (W3) der bestimmten Winkelwertebereiche (W1 , W3) des ersten Wnkels (Θ1) eine vordefinierte Winkelwertebereichsgröße überschreitet und/oder Positionen der Referenzlinie (L1) entspricht, in denen ein von der Referenzlinie (L1) und einer weiteren Referenzlinie (L2) gebildeter zweiter Wnkel (Θ2) die größten seiner beim Rotieren der Referenzlinie (L1) vorkommenden Wnkelwerte annimmt, wobei die weitere Referenzlinie (L2) durch den Ursprung (02) der Objektkarte (1 11) und durch einen den aktuellen Standpunkt der virtuellen Kamera (26) abbildenden Bildpunkt der Objektkarte (11 1) verläuft, Beibehalten einer von der Grenzlinie (G2) angenommenen Position, wenn das Messsignal (M2) die vorbestimmte Bedingung nicht erfüllt, und Durchführen des Rotierens der Grenzlinie (G2) gegenüber der in der Fahrzeugumgebungsdarstellung (1 1) verlaufenden Achse (A1), wenn das Messsignal (M2) die vorbestimmte Bedingung erfüllt. Vorrichtung zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges (15) aufweisend zwei Kameras (25, 35) zum Aufnehmen von Bildern der Fahrzeugumgebung, eine Bildbearbeitungseinheit und eine Anzeigeeinheit, wobei die zwei an dem Fahrzeug (15) benachbart angebrachten Kameras (25, 35) Erfassungsbereiche mit einem gemeinsamen Überschneidungsbereich (45) aufweisen, dadurch gekennzeichnet, dass die Vorrichtung bevorzugt einen Glättungsfilter umfasst und die Bildbearbeitungseinheit zwei mittels der zwei Kamers (25, 35) aktuell aufgenommene Bilder der Fahrzeugumgebung zur Erzeugung einer aus einer virtuellen Perspektive darzustellenden Fahrzeugumgebungsdarstellung (11) gemäß dem Verfahren nach einem der Ansprüche 1 bis 9 zusammensetzt. |
Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
Die vorliegende Erfindung betrifft ein Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und eine Vorrichtung zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges.
Stand der Technik
Aus dem Stand der Technik sind Fahrerassistenz-Systeme für Fahrzeuge bekannt, die Fahrerassistenz-Funktionen aufweisen, die einen Fahrer eines Fahrerzeuges mit einem solchen Fahrerassistenz-System beispielsweise beim Manövrieren unterstützen. Die Fahrerassistenz-Funktionen können ermöglichen, dass dem Fahrer ein Nahbereich der Fahrzeugumgebung angezeigt wird, um so eine Kollision mit sich außerhalb eines Sichtbereiches des Fahrers befindlichen Hindernissen zu vermeiden. Die Fahrerassistenz-Funktionen können ferner ermöglichen, dass ein Teil von durch den Fahrer bei einem Manövrieren durchzuführenden Tätigkeiten übernommen wird, um den Komfort beim
Manövrieren zu erhöhen. Die Fahrerassistenz-Funktionen können weiterhin ermöglichen, dass die von dem Fahrer beim Manövrieren durchgeführten Tätigkeiten überwacht werden, so dass bei Vorliegen von Gefahrensituationen automatisch in einen Ablauf eines aktuellen Manövriervorganges eingegriffen werden kann. Die Fahrerassistenz-Funktionen können auch ermöglichen, dass das Fahrzeug auch in Abwesenheit des Fahrers automatisch geführt werden kann. Aus dem Stand der Technik sind ferner Rundumsicht-Kamerasysteme für Fahrzeuge bekannt, die eine zusammengesetzte Darstellung einer
Fahrzeugumgebung eines Fahrzeuges mit einem solchen
Rundumsicht-Kamerasystem anzeigen können. Üblicherweise umfassen
Rundumsicht-Kamerasysteme mehrere Kameras, die derartig an dem Fahrzeug angebracht sind, dass diese eine 360°-Visualisierung der Fahrzeugumgebung ermöglichen. Typischerweise umfasst ein solches
Rundumsicht-Kamerasystem vier Kameras, die jeweils Bilder der
Fahrzeugumgebung aufnehmen können. Zur Erzeugung einer
Fahrzeugumgebungsdarstellung aus einer virtuellen Perspektive werden die von den vier Kameras aktuell aufgenommenen Bilder zusammengesetzt, indem diese Bilder unter Verwendung von Daten bezüglich intrinsischer und extrinsischer Kalibrierungsparameter der vier Kameras auf eine Schüsseloberfläche oder eine ähnliche Projektionsoberfläche projiziert werden. In der Figur 1 ist eine Teilfläche 10 einer solchen Fahrzeugumgebungsdarstellung dargestellt. Darin zu erkennen sind das Fahrzeug 15, zwei Bildbereiche 20, 30 der
Fahrzeugumgebungsdarstellung, die zwei Bildern entsprechen, die von zwei an dem Fahrzeug 15 benachbart angebrachten Kameras der vier Kameras aufgenommenen worden sind. Diese zwei Bildbereiche 20, 30 grenzen aneinander an und werden durch eine fest positionierte Grenzlinie G1
voneinander getrennt. Nachteilig dabei ist, dass die fest positionierte Grenzlinie G1 einen Bildabschnitt 40 der Fahrzeugumgebungsdarstellung, der ein sich in einem Überschneidungsbereich von zwei Erfassungsbereichen der zwei am Fahrzeug 15 benachbart angeordneten Kameras befindliches Objekt abbildet, überschneiden kann. Dies ist aus der Figur 1 leicht ersichtlich.
Algorithmen, die beim Zusammensetzen der Bilder der vier Kameras
üblicherweise verwendet werden, bestimmen eine innerhalb eines vorbestimmten und sich um eine jede Grenzlinie G1 erstreckenden Teilbildbereiches der Fahrzeugumgebungsdarstellung darzustellende Farbe durch ein Mischen von
Farben der an der entsprechenden Grenzlinie G1 angrenzenden Bildbereiche 20, 30 der Fahrzeugumgebungsdarstellung. Aus diesem Grund wird beispielsweise nur ein Sockel eines sich in einem Überschneidungsbereich der zwei
Erfassungsbereiche der zwei entsprechenden am Fahrzeug 15 benachbart angebrachten Kameras befindlichen Objektes in der Fahrzeugumgebungsdarstellung richtig abbildet. Dies ist aus der Figur 1 auch leicht ersichtlich.
Figur 2 zeigt die Fahrzeugumgebungsdarstellung 1 1 , zu der die in der Figur 1 dargestellte Teilfläche gehört. In der Fahrzeugumgebungsdarstellung 11 ist das Fahrzeug 15 zusammen mit dessen Fahrzeugumgebung abgebildet. In der Fahrzeugumgebungsdarstellung 1 1 sind ferner die in der Figur 1 dargestellten Bildbereiche 20, 30, die den zwei mittels der zwei an dem Fahrzeug 15 benachbart angebrachten Kameras 25, 35 aktuell aufgenommenen Bildern entsprechen, und die sich zwischen diesen zwei Bildbereichen 20, 30
erstreckenden Grenzlinie G1 dargestellt. Dabei entspricht ein erster Bildbereich 20 der zwei Bildbereiche 20, 30 dem mittels einer ersten Kamera 25 der zwei Kameras 25, 35 aktuell aufgenommenen Bild und ein zweiter Bildbereich 30 der zwei Bildbereiche 20, 30 dem mittels einer zweiten Kamera 35 der zwei Kameras 25, 35 aktuell aufgenommenen Bild. In der Fahrzeugumgebungsdarstellung 11 sind ferner eine über die erste Kamera 25 verlaufende erste Randlinie R1 eines ersten Erfassungsbereiches der ersten Kamera 25, eine über die zweite Kamera 35 verlaufende zweite Randlinie R2 eines zweiten Erfassungsbereiches der zweiten Kamera 35 und ein Überschneidungsbereich 45 der zwei
Erfassungsbereiche abgebildet. Auch zeigt die Fahrzeugumgebungsdarstellung 1 1 einen Ursprung O, der einen sich gegenüber dem Fahrzeug 15 am nahesten befindlichen Schnittpunkt der zwei Erfassungsbereiche abbildet. Die
Fahrzeugumgebungsdarstellung 11 zeigt ferner eine fest positionierte Achse A1 , die durch den Ursprung O verläuft und eine gegenüber dem Fahrzeug 15 fest positionierte und durch den vorhin genannten Schnittpunkt der
Erfassungsbereiche verlaufende Gerade abbildet. Die
Fahrzeugumgebungsdarstellung 1 1 zeigt auch einen zu Erklärungswecken beispielhaft ausgewählten kreisförmigen Ausschnitt 50, der sich mit einem vorbestimmten und sich um die Grenzlinie G1 erstreckenden Teilbildbereich der Fahrzeugumgebungsdarstellung 1 1 überlappt, dessen Farbe durch ein Mischen der Farben der zwei in der Figur 2 dargestellten Bildbereiche 20, 30 bestimmt wird. Dabei weist der kreisförmige Ausschnitt 50 ein Zentrum auf, das auf der Grenzlinie G1 positioniert ist und durch das eine weitere Achse A2 verläuft, die senkrecht zu der Grenzlinie G1 positioniert ist. Ein weiterer Ursprung, der mit einem Schnittpunkt zwischen der fest positionierte Achse A1 und der weiteren Achse A2 übereinstimmt, wird mit 01 bezeichnet.
Figur 3 zeigt ein Diagramm 61 , in dem der kreisförmige Ausschnitt 50 aus der Figur 2 vergrößert dargestellt ist. Darin zu erkennen sind der weitere Ursprung
01 , die weitere Achse A2 und ein senkrecht auf der weiteren Achse A2 verlaufender Teilausschnitt 55 des kreisförmigen Ausschnittes 50, der das Zentrum des kreisförmigen Ausschnittes 50 umfasst. Der Teilausschnitt 55 zeigt einen Teil des vorbestimmten und sich um die Grenzlinie G1 erstreckenden Teilbildbereiches der Fahrzeugumgebungsdarstellung 1 1 . Leicht zu erkennen ist, dass der vorbestimmte Teilbildbereich der Fahrzeugumgebungsdarstellung 11 parallel zu der Grenzlinie G1 verläuft und auf beiden Seiten der Grenzlinie G1 eine Breite d aufweist. Figur 3 zeigt ferner ein weiteres Diagramm 62, in dem eine erste
Farbgewichtungsfunktion FG1 für eine in dem ersten Bildbereich 20 der
Objektkarte 1 1 vorkommenden ersten Farbe F1 der zwei Farben F1 , F2 und eine zweite Farbgewichtungsfunktion FG2 für eine in dem zweiten Bildbereich 30 der Objektkarte 1 1 vorkommenden zweite Farbe F1 der zwei Farben F1 , F2 jeweils in Abhängigkeit von einem von dem weiteren Ursprung 01 entlang der weiteren
Achse A2 betrachteten Abstand dargestellt sind. Das weitere Diagramm 62 zeigt auch den Teilausschnitt 55 des kreisförmigen Ausschnittes 50 und die Grenzlinie G1. Eine Achse, die von den Farbgewichtungsfunktionen FG1 , FG2 annehmbare Werte angibt, wird in dem Diagramm 62 mit FG gekennzeichnet.
Aus dem weiteren Diagramm 62 und unter Berücksichtigung der Tatsache, dass der kreisförmige Ausschnitt 50 und folglich auch sein Zentrum überall entlang der Grenzlinie G1 positioniert werden kann, ist ersichtlich, dass innerhalb des ersten Bildbereiches 20 und außerhalb des vorbestimmten und sich um die
entsprechende Grenzlinie G1 erstreckenden Teilbildbereiches der
Fahrzeugumgebungsdarstellung 11 die erste Farbgewichtungsfunktion FG1 einen maximalen Wert von 1 und die zweite Farbgewichtungsfunktion FG2 einen minimalen Wert von 0 annimmt. Ferner ist auch ersichtlich, dass innerhalb des zweiten Bildbereiches 30 und außerhalb des vorbestimmten Teilbildbereiches der Fahrzeugumgebungsdarstellung 1 1 die erste Farbgewichtungsfunktion FG1 einen minimalen Wert von 0 und die zweite Farbgewichtungsfunktion FG2 einen maximalen Wert von 1 annimmt. Weiterhin ist auch ersichtlich, dass innerhalb des vorbestimmten Teilbildbereiches der Fahrzeugumgebungsdarstellung 11 ein von der ersten Farbgewichtungsfunktion FG1 angenommener Wert kontinuierlich von 1 auf 0 abnimmt und ein von der zweiten Farbgewichtungsfunktion FG2 angenommener Wert kontinuierlich von 0 auf 1 zunimmt. Folglich wird die innerhalb des vorbestimmten Teilbildbereiches der
Fahrzeugumgebungsdarstellung 1 1 vorkommende Farbe F3 durch ein gemäß der Relation (1) erfolgendes Mischen der ersten Farbe F1 und der zweiten Farbe F2 bestimmt.
F3 = F1 FG1 + F2 FG2 (1)
Mit anderen Worten, wird die Farbe F3i eines jeden sich in dem vorbestimmten Teilbildbereich der Fahrzeugumgebungsdarstellung 11 befindlichen Pixels i durch ein derartig von einem Abstand des entsprechenden Pixels i zu der Grenzlinie G1 abhängiges Mischen der von dem entsprechenden Pixel i in den zwei Bildbereichen 20, 30 aufweisenden zwei Farben F1 i, F2i bestimmt, dass ein weicher Farbübergang zwischen den zwei Bildbereichen 20, 30 der
Fahrzeugumgebungsdarstellung 1 1 gewährleistet wird.
Aus dem Dokument DE 10 2009 036 200 A1 ist ein Verfahren zur Überwachung einer Fahrzeugumgebung eines Fahrzeugs bekannt, wobei die
Fahrzeugumgebung und in dieser vorhandene Objekte mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren
Erfassungsbereiche einen gemeinsamen Überschneidungsbereich aufweisen, erfasst werden. Dabei wird aus mittels der Bilderfassungseinheiten erfassten Bildern durch eine Bildbearbeitungseinheit eine Fahrzeugumgebungsdarstellung erzeugt, welches das Fahrzeug und die Fahrzeugumgebung aus einer
Vogelperspektive zeigt. Ferner wird in Abhängigkeit von ermittelten Positionen der Objekte und einer bekannten Ausrichtung der Bilderfassungseinheiten ein Verlauf zumindest einer Grenzlinie zwischen einem ersten Bildbereich und einem zweiten Bildbereich in der Fahrzeugumgebungsdarstellung derart vorgegeben, dass die Grenzlinie abseits der Objekte verläuft. Dabei können die
Bilderfassungseinheiten Kameras sein. Offenbarung der Erfindung
Erfindungsgemäß wird ein Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges bereitgestellt. Dabei werden die Bilder der Fahrzeugumgebung mittels zwei an dem Fahrzeug benachbart angebrachter Kameras aufgenommen, deren Erfassungsbereiche einen gemeinsamen Überschneidungsbereich aufweisen. Das erfindungsgemäße Verfahren umfasst einen Schritt eines jeweiligen Zusammensetzens der zwei mittels der zwei Kamers aktuell aufgenommenen Bilder zur Erzeugung einer aus einer virtuellen Perspektive darzustellenden Fahrzeugumgebungsdarstellung. Dabei erstreckt sich eine Grenzlinie zwischen zwei den aktuell
zusammengesetzten Bildern entsprechenden Bildbereichen der
Fahrzeugumgebungsdarstellung. Das erfindungsgemäße Verfahren umfasst ferner einen Schritt eines Empfangens oder Erzeugens einer Objektkarte der Fahrzeugumgebung. Ferner umfasst das erfindungsgemäße Verfahren einen Schritt eines Erzeugens eines Messsignals anhand einer relativ zu einem Ursprung der Objektkarte betrachteten und mittels aus der Objektkarte extrahierter Daten bestimmten Position zumindest eines vordefinierten
Teilabschnittes eines ein sich in dem Überschneidungsbereich befindliches Objekt abbildenden Bildabschnittes der Objektkarte. Auch umfasst das erfindungsgemäße Verfahren einen Schritt eines Bestimmens einer aktuellen Position der Grenzlinie in Abhängigkeit von einer Auswertung des Messsignals.
Erfindungsgemäß wird eine Vorrichtung zum Darstellen einer
Fahrzeugumgebung eines Fahrzeuges bereitgestellt. Die erfindungsgemäße Vorrichtung weist zwei Kameras zum Aufnehmen von Bildern der
Fahrzeugumgebung, eine Bildbearbeitungseinheit und eine Anzeigeeinheit auf. Dabei weisen die zwei an dem Fahrzeug benachbart angebrachten Kameras Erfassungsbereiche mit einem gemeinsamen Überschneidungsbereich auf. Ferner umfasst die erfindungsgemäße Vorrichtung bevorzugt einen
Glättungsfilter. Zur Erzeugung einer aus einer virtuellen Perspektive
darzustellenden Fahrzeugumgebungsdarstellung setzt die
Bildbearbeitungseinheit zwei mittels der zwei Kamers aktuell aufgenommene Bilder der Fahrzeugumgebung gemäß einem erfindungsgemäßen Verfahren zusammen.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
Vorzugsweise wird die Objektkarte mittels Bildern von an dem Fahrzeug angebrachten Kameras und/oder mittels Sensorsignalen von anderen an dem Fahrzeug angebrachten Sensoren zur Erfassung der Fahrzeugumgebung, wie beispielsweise Ultraschallsensoren, erzeugt.
Bevorzugt umfasst die Fahrzeugumgebungsdarstellung eine dreidimensionale Abbildung der Fahrzeugumgebung und die Objektkarte eine zweidimensionale Abbildung der Fahrzeugumgebung. Weiter bevorzugt verläuft die Grenzlinie von einem Ursprung der Fahrzeugumgebungsdarstellung bis zu deren Bildrand. Dabei bilden der Ursprung der Fahrzeugumgebungsdarstellung und der Ursprung der Objektkarte jeweils einen und denselben gegenüber dem Fahrzeug fest positionierten Punkt, insbesondere einen gegenüber dem Fahrzeug am nahesten liegenden Schnittpunkt der zwei Erfassungsbereiche, ab.
Vorzugsweise ist der vordefinierte Teilabschnitt des das Objekt abbildenden Bildabschnittes der Objektkarte ein kontinuierlicher Teil eines Randes des das Objekt abbildenden Bildabschnittes der Objektkarte, der Bildpunkte aufweist, die gegenüber dem Ursprung der Objektkarte jeweils näher als ein jeder Bildpunkt eines restlichen Teils des Randes des das Objekt abbildender Bildabschnitt der Objektkarte liegen.
Bevorzugt erfolgt die Auswertung des Messsignals in Abhängigkeit von einem relativ zu dem Fahrzeug betrachteten aktuellen Standpunkt einer virtuellen Kamera zur Erzeugung der Fahrzeugumgebungsdarstellung.
Vorzugsweise wird die aktuelle Position der Grenzlinie derartig bestimmt, dass diese einen das Objekt abbildenden Bildabschnitt der
Fahrzeugumgebungsdarstellung nicht überschneidet.
Vorteilhaft bei der Erfindung ist, dass wenn sich ein in der Fahrzeugumgebung befindliches Objekt nur innerhalb des Überschneidungsbereiches erstreckt, die aktuelle Position der Grenzlinie, in der diese einen das Objekt abbildenden Bildabschnitt der Fahrzeugumgebungsdarstellung nicht überschneidet, in einer sehr einfachen Weise bestimmt werden kann. Folglich wird ein solches Objekt in voller Gesamtgröße in der Fahrzeugumgebungsdarstellung abgebildet, so dass einem Fahrer des Fahrzeuges eine verbesserte Darstellung der entsprechenden Fahrzeugumgebung bereitstellbar ist. So kann der Fahrer besser verstehen, wo genau sich das Objekt befindet und eine Kollision mit diesem deutlich leichter vermeiden.
Bei einer besonderen Ausführungsform der Erfindung umfasst das
erfindungsgemäße Verfahren einen Schritt eines Rotierens einer sich von dem Ursprung der Objektkarte zu dem Bildrand der Objektkarte erstreckenden Referenzlinie gegenüber einer in der Objektkarte durch ihren Ursprung verlaufenden fest positionierten Achse. Dabei erfolgt das Rotieren derartig, dass ein Abtasten einer gesamten Fläche des das Objekt abbildenden Bildabschnittes der Objektkarte durch die Referenzlinie erfolgt. Ferner umfasst das
erfindungsgemäße Verfahren einen Schritt eines Bestimmens eines als Signal zu verwendenden Verlaufes eines Abstandes zwischen dem Ursprung der
Objektkarte und einem beim Rotieren der Referenzlinie vorkommenden und sich dabei innerhalb des vordefinierten Teilabschnittes des das Objekt abbildenden Bildabschnittes der Objektkarte in unterschiedlichen Positionen befindlichen Schnittpunkt zwischen der Referenzlinie und dem das Objekt abbildenden Bildabschnitt. Dabei erfolgt das Bestimmen des als Signal zu verwendenden Verlaufes in Abhängigkeit von einem beim Rotieren der Referenzlinie
vorkommenden und von der Referenzlinie und der in der Objektkarte
verlaufenden fest positionierten Achse gebildeten ersten Winkel. Auch erfolgt das Erzeugen des Messsignals mittels des Signals, insbesondere durch Anwenden einer Glättungsfilterung zur Rauschunterdrückung auf das Signal.
Bevorzugt verläuft die in der Objektkarte verlaufende fest positionierte Achse außerhalb des das Objekt abbildenden Bildabschnittes der Objektkarte.
Bei einer sehr vorteilhaften Ausführungsform der Erfindung umfasst das erfindungsgemäße Verfahren einen Schritt eines Unterteilens des Messsignals in mehrere Teilmesssignale. Dabei erfolgt das Unterteilen derart, dass die Teilmesssignale jeweils nur Abstandswerte aufweisen, die entweder größer oder kleiner als ein zwischen einem Minimum und einem Maximums des Messsignals liegender Schwellenwert sind und jeweils einem einzelnen kontinuierlichen Winkelwertebereich des ersten Winkels entsprechen. Ferner umfasst das erfindungsgemäße Verfahren bevorzugt einen Schritt eines Bestimmens eines jeden Wnkelwertebereichs des ersten Winkels, der einem Teilmesssignal entspricht, das nur Abstandswerte aufweist, die größer als der Schwellenwert sind. Das erfindungsgemäße Verfahren umfasst weiterhin bevorzugt auch einen Schritt eines Rotierens der Grenzlinie gegenüber einer in der
Fahrzeugumgebungsdarstellung durch ihren Ursprung verlaufenden fest positionierten Achse derartig, dass ein von der Grenzlinie und der in der
Fahrzeugumgebungsdarstellung verlaufenden fest positionierten Achse gebildeter dritter Wnkel einen in einer Mitte eines größten Winkelwertebereichs der bestimmten Winkelwertebereiche des ersten Winkels liegenden Winkelwert aufweist.
Vorzugsweise bilden die in der Fahrzeugumgebungsdarstellung verlaufende fest positionierte Achse und die in der Objektkarte verlaufende fest positionierte Achse jeweils eine und dieselbe gegenüber dem Fahrzeug fest positionierte Gerade ab, die durch den gegenüber dem Fahrzeug fest positionierten Punkt verläuft.
Bei einer anderen sehr vorteilhaften Ausführungsform der Erfindung umfasst das erfindungsgemäße Verfahren einen Schritt eines Prüfens eines Erfüllens einer vorbestimmten Bedingung für das Messsignal. Beim Erfüllen der vorbestimmten
Bedingung überschreitet der größte Wnkelwertebereich der bestimmten
Winkelwertebereiche des ersten Wnkels bevorzugt eine vordefinierte
Winkelwertebereichsgröße. Beim Erfüllen der vorbestimmten Bedingung entspricht der größte Winkelwertebereich der bestimmten Winkelwertebereiche des ersten Winkels weiterhin bevorzugt Positionen der Referenzlinie, in denen ein von der Referenzlinie und einer weiteren Referenzlinie gebildeter zweiter Winkel die größten seiner beim Rotieren der Referenzlinie vorkommenden Winkelwerte annimmt. Dabei verläuft die weitere Referenzlinie durch den Ursprung der Objektkarte und durch einen den aktuellen Standpunkt der virtuellen Kamera abbildenden Bildpunkt der Objektkarte. Das erfindungsgemäße Verfahren umfasst bevorzugt einen Schritt eines Beibehaltens einer von der Grenzlinie angenommenen Position, wenn das Messsignal die vorbestimmte Bedingung nicht erfüllt. Das erfindungsgemäße Verfahren umfasst weiterhin bevorzugt auch einen Schritt eines Durchführens des Rotierens der Grenzlinie gegenüber der in der Fahrzeugumgebungsdarstellung verlaufenden Achse, wenn das Messsignal die vorbestimmte Bedingung erfüllt.
Bevorzugt ist die erfindungsgemäße Vorrichtung als
Rundumsicht-Kamerasystem mit vier Kameras ausgebildet. Zur Erzeugung der aus einer virtuellen Perspektive darzustellenden Fahrzeugumgebungsdarstellung setzt die Bildbearbeitungseinheit zwei mittels von zwei Kameras einer jeden Gruppe von zwei an dem Fahrzeug benachbart angebrachten Kameras der vier Kameras aufgenommene Bilder gemäß einem erfindungsgemäßen Verfahren zusammen. Dabei weisen die zwei an dem Fahrzeug benachbart angebrachten Kameras jeder Gruppe Erfassungsbereiche mit einem gemeinsamen
Überschneidungsbereich auf.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer
erfindungsgemäßen Vorrichtung zum Darstellen der Fahrzeugumgebung eines Fahrzeuges.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnungen im Detail beschrieben. Für gleiche Komponenten und Parameter werden jeweils gleiche Bezugszeichen verwendet. Jede
Komponente und jeder Parameter werden jeweils einmalig eingeführt und bei Wiederholung jeweils als schon bekannt behandelt, unabhängig davon, auf welche Zeichnung oder auf welches Ausführungsbeispiel sich ein jeweils entsprechender Beschreibungsteil, in dem die entsprechende Komponente oder der entsprechende Parameter wiederholt vorkommt, bezieht. In den Zeichnungen ist:
Figur 1 eine Teilfläche einer gemäß dem Stand der Technik erzeugten
Fahrzeugumgebungsdarstellung, die ein Fahrzeug und eine Fahrzeugumgebung des Fahrzeuges aus einer virtuellen Perspektive zeigt, wobei die Teilfläche zwei Bildbereiche umfasst, die zwei von zwei am Fahrzeug benachbart angebrachten Kameras aktuell aufgenommene Bilder der Fahrzeugumgebung entsprechen und von einer fest positionierten Grenzlinie voneinander getrennt werden,
Figur 2 die gemäß dem Stand der Technik erzeugte
Fahrzeugumgebungsdarstellung, zu der die in der Figur 1 dargestellte Teilfläche gehört, in der die zwei in der Figur 1 dargestellten Bildbereiche und die fest positionierte Grenzlinie zu erkennen sind, wobei ferner die
Fahrzeugumgebungsdarstellung einen Ursprung, eine durch den Ursprung verlaufende fest positionierte Achse, einen weiteren Ursprung, eine durch den weiteren Ursprung verlaufende weitere Achse und auch einen beispielhaft ausgewählten kreisförmigen Ausschnitt eines vorbestimmten und sich um die fest positionierte Grenzlinie erstreckenden Teilbildbereiches der Fahrzeugumgebungsdarstellung, dessen Farbe durch ein Mischen von Farben der zwei Bildbereichen bestimmt wird, zeigt,
Figur 3 eine vergrößerte Darstellung des in der Figur 2 dargestellten kreisförmigen Ausschnittes und Verläufe von zwei
Farbgewichtungsfunktionen, die zum Mischen der Farben der zwei Bildbereichen der in der Figur 2 dargestellten
Fahrzeugumgebungsdarstellung verwendet und jeweils in Abhängigkeit von einem zu dem weiteren Ursprung entlang der weiteren Achse betrachteten Abstand dargestellt werden,
Figur 4 eine Objektkarte der Fahrzeugumgebung des in der Figur 2 abgebildeten Fahrzeuges, die das Fahrzeug, die zwei am Fahrzeug benachbart angebrachten Kameras und ferner eine sich in mehreren Positionen befindliche Referenzlinie zeigt, mittels der ein gemäß einer ersten Ausführungsform der Erfindung zur Bestimmung einer aktuellen Position einer variabel positionierbaren Grenzlinie zu verwendendes Signal erzeugt wird, wobei die variabel positionierbare Grenzlinie die zwei in der Figur 2 dargestellten Bildbereiche voneinander trennt,
Figur 5 eine vergrößerte Darstellung eines ein sich in einem
Überschneidungsbereich von Erfassungsbereichen der zwei am Fahrzeug benachbart angebrachten Kameras befindliches Objekt abbildenden Bildabschnittes der Objektkarte,
Figur 6 jeweils in Abhängigkeit von der Referenzlinie und einer in der in der Objektkarte verlaufenden fest positionierten Achse gebildeten ersten Winkel dargestellte Verläufe des Signals und eines mittels des Signals erzeugten und zum Bestimmen der aktuellen Position der variabel positionierbaren Grenzlinie auszuwertenden Messsignals, und
Figur 7 die in der Figur 1 dargestellte Teilfläche der in der Figur 2
dargestellten Fahrzeugumgebungsdarstellung zusammen mit der variabel positionierbaren und sich in der aktuellen Position befindlichen Grenzlinie.
Ausführungsformen der Erfindung
Figur 4 zeigt eine Objektkarte 11 1 der Fahrzeugumgebung des in der Figur 2 abgebildeten Fahrzeuges 15. Die in der Figur 4 dargestellten Objektkarte 11 1 zeigt das Fahrzeug 15, die zwei am Fahrzeug 15 benachbart angebrachten Kameras 25, 35, und auch einen das sich in dem Überschneidungsbereich der zwei Erfassungsbereiche der zwei Kameras 25, 35 befindliche Objekt abbildenden Bildabschnitt 41 der Objektkarte 11 1 . Figur 4 zeigt ferner einen Ursprung 02 der Objektkarte 1 11 und eine in der Objektkarte 1 11 durch ihren Ursprung 02 fest verlaufende Achse A3. Der Ursprung 02 der Objektkarte 1 11 und der Ursprung O der in der Figur 2 dargestellten
Fahrzeugumgebungsdarstellung 1 1 bilden denselben Schnittpunkt der Erfassungsbereiche der zwei Kameras 25, 35 ab. Die in der Objektkarte 11 1 verlaufende fest positionierte Achse A3 und die in der in der Figur 2 dargestellten Fahrzeugumgebungsdarstellung 11 verlaufende fest positionierte Achse A1 bilden dieselbe gegenüber dem Fahrzeug 15 fest positionierte Gerade ab. Aus der Figur 4 ist leicht ersichtlich, dass die in der Objektkarte 1 11 verlaufende fest positionierte Achse A3 außerhalb des das Objekt abbildenden Bildabschnittes 41 der Objektkarte 1 11 verläuft. Die in der Figur 4 dargestellte Objektkarte 11 1 zeigt ferner mehrere Positionen einer durch den Ursprung 02 der Objektkarte 1 11 verlaufenden Referenzlinie L1. Dabei erfolgt ein derartiges Rotieren der
Referenzlinie L1 gegenüber der in der Objektkarte 11 1 verlaufenden fest positionierten Achse A3, dass eine gesamte Fläche des das Objekt abbildenden Bildabschnittes 41 der Objektkarte 11 1 durch die Referenzlinie L1 abgetastet wird. Ferner wird ein Verlauf eines beim Rotieren der Referenzlinie
vorkommenden Abstandes zwischen dem Ursprung 02 der Objektkarte 11 1 und einem gegenüber diesem am nahesten liegenden Schnittpunkt zwischen der Referenzlinie L1 und dem das Objekt abbildenden Bildabschnitt 41 der
Objektkarte in Abhängigkeit von einem beim Rotieren der Referenzlinie L1 vorkommenden und von der Referenzlinie L1 und der in der Objektkarte 1 11 verlaufenden fest positionierten Achse A3 gebildeten ersten Winkel Θ1 aus mittels eines Bildbearbeitungsalgorithmus aus der Objektkarte 11 extrahierten Daten bestimmt.
Aus der Figur 5 ist leicht ersichtlich, dass der zuvor genannte Schnittpunkt S zwischen der durch den Urspung 02 der Objektkarte 11 1 verlaufenden
Referenzlinie L1 und dem das Objekt abbildenden Bildabschnitt 41 der
Objektkarte 1 11 beim Rotieren der Referenzlinie L1 einen kontinuierlichen Teil 42 eines Randes des das Objekt abbildenden Bildabschnittes 41 der Objektkarte 1 11 beschreibt. Dabei liegt ein jeder Bildpunkt des kontinuierlichen Teils 42 des Randes des das Objekt abbildenden Bildabschnittes 41 der Objektkarte 1 11 jeweils näher gegenüber dem Ursprung 02 der Objektkarte 1 11 als ein jeder Bildpunkt eines restlichen Teils 43 des Randes des das Objekt abbildenden Bildabschnittrandes 41 der Objektkarte 1 11.
Gemäß einer ersten Ausführungsform der Erfindung wird der in Abhängigkeit von dem ersten Winkel Θ1 bestimmte Verlauf als Signal M1 zur Bestimmung einer aktuellen Position einer variabel positionierbaren Grenzlinie G2 zwischen den zwei Bildbereichen 20, 30 der in der Figur 2 dargestellten
Fahrzeugumgebungsdarstellung 1 1 verwendet. Eine Verwendung des Signals M1 gemäß der ersten Ausführungsform der Erfindung wird in Zusammenhang mit der Figur 6 näher beschrieben.
Aus dem Signal M 1 wird ein Messsignal M2 durch Anwenden einer
Glättungsfilterung zur Rauschunterdrückung auf das Signal M1 erzeugt. Mit anderen Worten wird das Signal M1 zur Erzeugung des Messsignals M2 mittels eines geeigneten Glättungsfilters zur Rauschunterdrückung gefiltert. Figur 6 zeigt einen in Abhängigkeit von dem ersten Winkel Θ1 dargestellten Verlauf des Signals M1 und einen weiteren in Abhängigkeit von dem ersten Winkel Θ1 dargestellten Verlauf des Messsignals M2. Eine Achse, die von dem Signal M1 und von dem Messsignal M2 annehmbare Abstandswerte angibt, wird in der Figur 6 mit M gekennzeichnet.
Dabei wird das Messsignal M2 derartig in mehrere Teilmesssignale TM21 , TM22, TM23 unterteilt, dass jedes Teilmesssignal TM21 , TM22, TM23 jeweils nur Abstandswerte aufweist, die entweder größer oder kleiner als ein zwischen einem Minimum und einem Maximum des Messsignals M2 liegender
Schwellenwert SW sind. Dabei entspricht ein erstes Teilmesssignal TM21 einem ersten kontinuierlichen Winkelwertebereich W1 des ersten Wnkels Θ1 , ein zweites Teilmesssignal TM22 einem zweiten kontinuierlichen Winkelwertebereich W2 des ersten Winkels Θ1 und ein drittes Teilmesssignal TM23 einem dritten kontinuierlichen Winkelwertebereich W3 des ersten Winkels Θ1. Ferner wird ein jeder Wnkelwertebereich W1 , W3 des ersten Wnkels Θ1 bestimmt, der einem Teilmesssignal TM21 , TM23 entspricht, das nur Abstandswerte aufweist, die größer als der Schwellenwert SW sind. Hier umfassen die so bestimmten Winkelwertebereiche W1 , W3 des ersten Wnkels Θ1 den ersten
Winkelwertebereich W1 und den dritten Winkelwertebereich W3 des ersten
Winkels Θ1. Auch wird eine weitere Referenzlinie L2 definiert, die von dem Ursprung 02 der Objektkarte 11 1 über die in der Objektkarte 1 1 1 abgebildete virtuelle Kamera 26 verläuft, wobei die virtuelle Kamera 26 in der Objektkarte 11 1 in einem einen aktuellen Standpunkt der virtuellen Kamera 26 abbildenden Bildpunkt der Objektkarte 11 1 positioniert ist. Weiterhin wird geprüft, ob eine vorbestimmte Bedingung für das Messsignal M2 erfüllt wird. Beim Erfüllen der vorbestimmten Bedingung überschreitet ein größter Winkelwertebereich W3 der bestimmten Winkelwertebereiche W1 , W3 des ersten Wnkels Θ1 weiter bevorzugt eine vordefinierte Wnkelwertebereichsgröße. Beim Erfüllen der vorbestimmten Bedingung entspricht der größte Winkelwertebereich W3 der bestimmten Winkelwertebereiche W1 , W3 des ersten Wnkels Θ1 ferner
Positionen der Referenzlinie L1 , in denen ein von der Referenzlinie L1 und der weiteren Referenzlinie L2 gebildeter zweiter Wnkel Θ2 die größten seiner beim Rotieren der Referenzlinie vorkommenden Winkelwerte annimmt. Wenn das weitere Messsignal M2 die vorbestimmte Bedingung nicht erfüllt, wird eine von der variabel positionierbaren Grenzlinie G2 angenommenen Position
beibehalten. Wenn das weitere Messsignal M2 die vorbestimmte Bedingung erfüllt, wird die variabel positionierbare Grenzlinie G2 gegenüber der in der in der Figur 2 dargestellten Fahrzeugumgebungsdarstellung 11 verlaufenden fest positionierten Achse A1 derartig rotiert, dass ein von der variabel positionierbare
Grenzlinie G2 und der in der Fahrzeugumgebungsdarstellung 11 verlaufenden fest positionierten Achse A1 gebildeter dritter Wnkel Θ3 einen in einer Mitte des größten Winkelwertebereichs W3 der bestimmten Winkelwertebereiche W1 , W3 des ersten Winkels Θ1 liegenden Winkelwert aufweist. Da hier der größte Winkelwertebereich W3 der bestimmten Winkelwertebereiche W1 , W3 des ersten
Winkels Θ1 mit dem dritten Wnkelwertebereich W3 des ersten Wnkels Θ1 übereinstimmt, der die vorbestimmte Bedingung erfüllt, wird die variabel positionierbare Grenzlinie G2 wie zuvor beschrieben rotiert. In der Figur 6 ist die virtuelle Kamera 26 auf einer Achse, die von dem ersten Winkel Θ1 annehmbare Winkelwerte angibt, in einem Punkt positioniert, der einem bei Vorliegen einer entlang der in der Objektkarte 11 1 verlaufenden fest positionierten Achse A2 verlaufenden Referenzlinie L1 vorkommenden Winkelwert des zweiten Winkels Θ2 entspricht. Figur 7 zeigt dieselbe Teilfläche 10 der Fahrzeugumgebungsdarstellung 11 , die auch in der Figur 1 dargestellt ist, mit dem Unterschied, dass die variabel positionierbare und in der Figur 7 dargestellte Grenzlinie G2 so rotiert wurde, wie es im Zusammenhang mit der Figur 6 beschrieben ist. Aus der Figur 7 ist leicht ersichtlich, dass die rotierte Grenzlinie G2 den das Objekt abbildende
Bildabschnitt 40 nicht mehr überschneidet, so dass ein solches sich in dem Überschneidungsbereich der zwei Erfassungsbereiche der zwei am Fahrzeug 15 benachbart angebrachten Kameras 25, 35 befindliches Objekt in voller
Gesamtgröße in der Fahrzeugumgebungsdarstellung 11 abgebildet wird. Figur 7 zeigt auch die in der Fahrzeugumgebungsdarstellung 11 verlaufende fest positionierte Achse A1 und auch den zwischen der variabel positionierbaren
Grenzlinie G2 und der in der Fahrzeugumgebungsdarstellung 11 fest positionierten Achse A1 gebildeten dritten Winkel Θ3.
Neben der voranstehenden schriftlichen Offenbarung wird hiermit zur weiteren Offenbarung der Erfindung ergänzend auf die Darstellung in den Figuren 4 bis 7
Bezug genommen.
Next Patent: PRODUCTION METHOD FOR A GAS SENSOR AND CORRESPONDING GAS SENSOR