VERFAHREN ZUR BILDBASIERTEN DETEKTION VON OBJEKTEN

Stand der Technik Die Erfindung bezieht sich auf ein Verfahren zur Verbesserung bildbasierter Detektionen von Objekten sowie von deren Dimensionieren durch die Fusion von Daten multipler Kameras mit unterschiedlichen Blickwinkeln, auf ein dieses Verfahren implementierendes

Computerprogramm sowie auf eine Vorrichtung, insbesondere ein Fahrerassistenzsystem, bei der dieses Verfahren implementierbar ist.

DE 101 31 196 A1 offenbart eine Vorrichtung zur Detektion von Gegenständen oder dergleichen, die sich im Umfeld eines Fahrzeugs befinden. Eine Bildaufzeichnungseinheit umfasst wenigstens zwei Bildsensoren, wobei die optischen Achsen der Bildsensoren relativ zueinander und/oder relativ zum Fahrzeug veränderbar ausgerichtet werden können.

Entsprechend der Ausrichtung der optischen Achsen in Bezug zueinander kann der

Überlappungsbereich der Erfassungsbereiche der einzelnen Sensoren vergrößert oder im anderen Falle verkleinert werden. In den Bildpaaren werden korrespondierende Bildbereiche in den beiden aus geringfügig unterschiedlichen Blickwinkeln aufgenommenen Bildern gesucht. Für die korrespondierenden Bildbereiche erstellt die Auswerteeinheit entsprechend der Ausrichtung der optischen Achsen eine dreidimensionale Geometrie. Der

Überlagerungsbereich definiert die Stereoerfassung der aufgenommenen Szenen und die übrigen Abschnitte der Bilderfassungsbereiche bzw. außerhalb des Überlappungsbereiches definieren die Monoerfassung der aufgenommenen Szene. DE 196 40 938 A1 offenbart eine Anordnung zur Überwachung von Verkehrsflächen mit Hilfe von Videokameras, wobei jeweils zwei Videokameras gleichzeitig einen überlappten

Bildausschnitt beobachten. Durch die Auswertung der Bildinformationen von überlappenden Bildausschnitten zweier Kameras, ist eine wesentlich robustere Verkehrsmessung möglich. Bei Verwendung von zwei Kameras kann unterschieden werden, ob Grauwertänderungen auf einer Fläche in der beobachteten dreidimensionalen Szene auf Objekten oberhalb der Fläche oder auf virtuellen Objekten in der Fläche, wie beispielsweise Schatten, oder auf virtuelle Objekte unter der Fläche, so zum Beispiel Spiegelungen zurückzuführen sind. Für die Anwendung dieses Verfahrens nehmen mindestens zwei Videokameras zeitgleich Bilder auf. Derart zeitgleich und einander überlappend aufgenommene Bilder bilden die Grundlage für die stereoskopische Erfassung des Verkehrsgeschehens. Durch die Anwendung von stereoskopischen Algorithmen werden virtuelle Objekte aus den Bildern getrennt und es kann eine räumliche Objektvermessung vorgenommen werden.

DE 197 44 694 A1 offenbart eine Videobewegungsmeldeeinrichtung zur Überwachung einer Gesamtfläche, wobei diese Einrichtung zueinander beabstandet angeordnete Videokameras für unterschiedliche Flächenbereich der Gesamtfläche umfasst. Eine dreidimensionale Auswertung der überwachten Flächen wird dadurch erreicht, dass eine Videoüberwachung der großen Fläche mit mehreren Videokameras erfolgt, die derart angeordnet sind, dass sich ihre Blick- bzw. Erfassungsbereiche teilweise überschneiden. Für diese Schnittbereiche liegen demnach Bildinformationen von zumindest zwei Videokameras aus unterschiedlichen Blickwinkeln vor, die eine dreidimensionale Auswertung ermöglichen.

Eine bildbasierte Detektion von Objekten sowie von deren Dimensionen wird meist auf Bildern einer einzelnen Kamera bzw. mit einer Stereokamera mit sehr ähnlichen

Sichtbereichen (Field of Views) durchgeführt. Dadurch können diese Objekte nur aus einem Blickwinkel bzw. aus einem Sichtbereich gesehen werden. Daraus wiederum folgt, dass aus den Bildern bestenfalls die Höhe und die Breite von der zur Kamera gerichteten Objektseite geschätzt werden kann. Da nur ein Blickwinkel bzw. bei Stereokamerasystemen ähnliche Blickwinkel zum Objekt zur Verfügung stehen, lassen sich nicht alle Objektdimensionen wie die Höhe und die Breite und insbesondere die Tiefe schätzen. Falls sich die Objekte in einer verdrehten Lage zur Kamera befinden, lassen sich die Objekte schlechter detektieren und die schätzbaren Dimensionen wie Höhe und Breite können sehr stark fehlerbehaftet sein.

Darstellung der Erfindung

Erfindungsgemäß wird vorgeschlagen, mehrere Kameras, die in unterschiedlichen

Blickwinkeln auf die Szenerie angeordnet sind, einzusetzen, so dass sich auch zur Kamera verdreht erscheinende Objekte und deren Dimensionen robuster schätzen lassen, wobei insbesondere von Vorteil ist, dass sich derartige Objekte im gemeinsamen Sichtbereich von mehreren Kameras befinden.

Da die Objektdetektion und die Dimensionsschätzung mittels mehrerer Kameras

durchgeführt wird, die in bekannten Positionen am Fahrzeug verbaut sind, so zum Beispiel Frontkameras, Seitenkameras und Heckkameras, können bei mehreren Kameras bei gemeinsamen Überlappungsbereichen unterschiedliche Blickwinkel realisiert werden. Damit ist ein und dasselbe Objekt aus unterschiedlichen Blickwinkeln sichtbar. Somit lässt sich das Objekt, insbesondere dessen dreidimensionale Ausbildung, wesentlich robuster bestimmen und die Objektdimensionen, insbesondere sei hier die Objekttiefe hervorgehoben, können besser geschätzt werden.

Auch andere aus Bildern bzw. aus Videos gewonnene Informationen, so zum Beispiel die Objektgeschwindigkeit, man denke nur an einen rollenden Ball und die Richtung, in die sich das Objekt bewegt, können durch die Verwendung mehrerer Kameras mit unterschiedlichen Blickwinkeln erheblich verbessert werden. Anstelle von Kameras könnten auch Sensoriken wie zum Beispiel Radar, Lidar oder Ultraschall eingesetzt werden.

Das erfindungsgemäß vorgeschlagene Verfahren lässt sich insbesondere besonders einfach an Fahrzeugen einsetzen bzw. nachrüsten oder verwirklichen, die ein Surround View System oder ein Area View System, ein Top View oder ein Bird's Eye View aufweisen. Derartige Fahrzeuge sind meist mit vier Kameras an der Fahrzeugfront, am Fahrzeugheck und auf den beiden Außenspiegeln ausgestattet. Somit kann das erfindungsgemäß vorgeschlagene System unter Rückgriff auf derartige Kamera zu einer Verbesserung einer dreidimensionalen Wiedergabe von in den Fahrschlauch eindringenden Objekten für ein Fahrassistenzsystem ausgenutzt werden.

Vorteile der Erfindung Durch den Einsatz des erfindungsgemäß vorgeschlagenen Verfahrens können Objekte robuster detektiert werden, da mehr Bilddaten für die jeweiligen Objekte zur Verfügung stehen, wenn diese mit einer Anzahl von Kameras, so zum Beispiel zwei oder drei Kameras aus bekannten Einbauorten am Fahrzeug detektiert werden. Durch die unterschiedlichen Objektansichten lassen sich die Objektdimensionen hinsichtlich Höhe, Breite und Tiefe wesentlich besser schätzen. Damit können aus dem Umfeld des Fahrzeuges mehr Informationen gewonnen werden, wodurch sich wiederum bessere Modellannahmen für das Umfeld treffen lassen, so dass das Fahrassistenzsystem, bei Implementierung des erfindungsgemäß vorgeschlagenen

Verfahrens, eine verbesserte Gefahreneinschätzung oder eine wesentlich verbesserte Ausweichstrategie zur Folge hat.

Kurze Beschreibung der Zeichnungen Anhand der Zeichnung wird die Erfindung nachstehend eingehender beschrieben.

Es zeigt:

Figur 1 eine sich vor einem Fahrzeug abspielende Szenerie, aufgenommen mit einer

Monokamera und

Figur 2 eine Darstellung sich teilweise überlappender Erfassungsbereich zweier an

verschiedenen Orten am Fahrzeug angeordneter Monokameras, die gleichzeitig ein dreidimensionales Objekt erfassen.

Ausführungsvarianten

Figur 1 zeigt eine Szenerie, die sich vor einem Fahrzeug in dessen Fahrzeugumfeld abspielt, aufgenommen durch eine Monokamera, welche im vorderen Bereich des Fahrzeugs angeordnet ist.

Bei der Darstellung gemäß Figur 1 ist eine Umgebung eines in Figur 1 nicht dargestellten Fahrzeugs, beispielsweise durch eine vor dem Fahrzeug liegende Fahrbahn 10 gegeben. Seitlich der Fahrbahn 10 befindet sich ein Seitenstreifen 18, in dem einzelnen Parkbuchten erkennbar sind. Die Szenerie gemäß Figur 1 zeigt eine Person 12, die die Fahrbahn betritt, sich in Bewegungsrichtung 16 fortbewegt und einem Gegenstand 14, der sich ebenfalls in Bewegungsrichtung 16 fortbewegt, hinterher eilt, so zum Beispiel ein plötzlich auf die Fahrbahn 10 laufendes Kind, welches einem auf die Fahrbahn gerollten Ball 14 nachläuft. Sowohl die Person 12 als auch der Gegenstand 14 sind durch einen ersten Bildausschnitt als 2D-Bild sowie einen zweiten Bildausschnitt 24 als 2D-Bild hervorgehoben. Des Weiteren ist anzumerken, dass sich bei der Darstellung gemäß Figur 1 auf der Fahrbahn 10 am linken Rand abgestellte Fahrzeuge 20 befinden, die jedoch lediglich im Hintergrund der in Figur 1 dargestellten Szenerie angeordnet sind.

Der Darstellung gemäß Figur 2 ist eine Draufsicht auf ein Fahrzeug 32 zu entnehmen. Wie Figur 2 zeigt, umfasst das Fahrzeug 32 mindestens eine, beispielsweise in das Frontende eingelassene Frontkamera 34, deren Einbauort durch Bezugszeichen 36 angedeutet ist. Des Weiteren umfasst das in Figur 2 dargestellte Fahrzeug 32 eine erste Seitenkamera 38. Der Einbauort der ersten Seitenkamer 38 ist beispielsweise der linke Außenspiegel 40 auf der Fahrerseite des Fahrzeugs 32.

Darüber hinaus kann das Fahrzeug 32 - wenngleich in der Darstellung gemäß Figur 2 nicht eingezeichnet - im rechten Außenspiegel 40 eine weitere zweite Seitenkamera 42 umfassen. Darüber hinaus kann das Fahrzeug 32 mit einer Heckkamera 44 ausgestattet sein, welche sich beispielsweise am Oberen Rand der Heckscheibe befindet oder im Bereich des hinteren Schwellers, dort wo Ultraschallsensoren für ein Fahrassistenzsystem, heute üblicherweise zumindest eine Einparkhilfe, angeordnet sein können. Mit der Heckkamera 44, deren Einbauort mit Bezugszeichen 46 bezeichnet ist, lässt sich der hinter dem Fahrzeug liegende Bereich des Fahrzeugumfeldes 10 - hier gegeben durch die Fahrbahn 10 - überwachen, während die beiden in der Regel an der Unterseite oder an der Rückseite der Außenspiegel 40 angeordneten Seitenkameras 38 bzw. 42 den seitlichen Bereich des Fahrzeugs überwachen und beispielsweise so ausgerichtet sein können, dass die in den Außenspiegeln 40 untergebrachten Seitenkameras 38, 42, die senkrecht nach unten orientiert sind, d.h. die Oberseite des Fahrzeugumfeldes, im vorliegenden Falle der

Fahrbahn 10 überwachen.

Der Darstellung gemäß Figur 2 ist zu entnehmen, dass die Frontkamera 34 ein

dreidimensionales Objekt 48 erfasst, welches ebenfalls von der im linken Außenspiegel 40 angeordneten ersten Seitenkamera 38 erfasst wird. Die Einbauorte beider Kameras, d.h. der Frontkamera 34 und der ersten Seitenkamera 38 am Fahrzeug 32 sind bekannt. Ebenso sind die Aufnahmezeitpunkte, mit der Bilder des dreidimensionalen Objektes 48 geschossen werden bekannt und können in einem Steuergerät beispielsweise für ein Surround View System, Area View System, Top View System oder Bird's Eye View System verarbeitet werden. Ferner stehen die oben stehend aufgeführten Kameras, d.h. die Frontkamera 34, die ersten und zweiten Seitenkameras 38 bzw. 42 sowie die Heckkamera 44 in Verbindung mit dem Steuergerät des Surround View-, bzw. Area View-, bzw. Top View, bzw. Bird's Eye View System in Verbindung.

Wie aus Figur 2 hervorgeht, ist die Frontkamera 34 an der Vorderseite des Fahrzeugs 32 in einem ersten Blickwinkel 50 orientiert und erfasst mit ihrem Erfassungsbereich 54 das dreidimensionale Objekt 48. Gleichzeitig wird dieses dreidimensionale Objekt 48 von der im linken Außenspiegel 40 angeordneten ersten Seitenkamera 38 erfasst, welche in Bezug auf die Fahrzeuglängsachse in einem zweiten Blickwinkel 52 orientiert ist. Es ist festzuhalten, dass sich der erste Blickwinkel 50 der Frontkamera 34 aufgrund des anderen Einbauortes 36 am Fahrzeug 32 vom zweiten Blickwinkel 52 der ersten Seitenkamera 38, bezogen auf deren Einbau auf dem Außenspiegel 40 auf der Fahrerseite, signifikant unterscheidet. Beide Monokameras, d.h. die Frontkamera 34 und die erste Seitenkamera 38 erfassen gleichzeitig das dreidimensionale Objekt 48, welches sich links vorne vor dem Fahrzeug 32 befindet.

Das dreidimensionale Objekt 48 befindet sich gleichzeitig in einem Erfassungsbereich 54 der Frontkamera 34 sowie in einem Erfassungsbereich 36 der ersten Seitenkamera 38, welche im Außenspiegel 40 auf der Fahrerseite des Fahrzeugs 32 untergebracht ist. Beide

Erfassungsbereiche, d.h. der Erfassungsbereich 54 der Frontkamera 34 und der

Erfassungsbereich 56 der ersten Seitenkamera 38 überlappen einander, in Figur 2 angedeutet durch einen Überlappungsbereich 58.

Wird das dreidimensionale Objekt 48 von der Frontkamera 34 und der ersten Seitenkamera 38 gleichzeitig erfasst, so werden jeweils von den beiden Monokameras 34 und 38 aufgenommene Bilder an einer Steuereinheit des Fahrassistenzsystems übermittelt. Es erfolgt eine Verarbeitung der von den Monokameras 34 bzw. 38 aufgenommenen Bilder, wobei für den Fall, dass das Objekt 48 von der ersten Seitenkamera 38 beispielsweise entdeckt wird, dessen Objektdaten mit den Objektdaten der anderen Kamera, im

vorliegenden Falle der Frontkamera 34 korreliert werden können, ohne eine aufwändige

Stereoberechnung durchführen zu müssen. Durch die unterschiedlichen Blickwinkel erhält die Steuereinheit mehr Informationen über das dreidimensionale Objekt 48. Die

Einbaupositionen der Kameras, d.h. der Einbauort 36 der Frontkamera 34 ist im System ebenso bekannt, wie der Einbauort der ersten Seitenkamera 38, nämlich im Außenspiegel auf der Fahrerseite des Fahrzeugs 32. Da die Aufnahmezeitpunkte der von den beiden Monokameras 34, 38 gelieferten Bilder ebenso bekannt sind, kann eine Ebenenschätzung erfolgen um das gleichzeitig von beiden Kameras 34, 38 detektierte dreidimensionale Objekt zeitlich und örtlich miteinander zu korrelieren. Die in verschiedenen Blickwinkeln 50 bzw. 52 orientierten Kameras lassen sich Informationen halten, aus denen sich eine Aussage über eine geschätzte Tiefe 62 des dreidimensionalen Objektes 48 bzw. hinsichtlich von dessen Breite 60 mit einer größeren Aussagekräftigkeit herleiten lassen, im Vergleich zu einer Aufnahme einer Szenerie vor dem Fahrzeug 32 mit lediglich einer Monokamera.

Da die Lage der Kameras bzw. deren Einbauorte im Fahrzeug 32 bekannt sind, vergleiche Einbauort 36 der Frontkamera 34, Einbauorte der ersten und zweiten Seitenkameras 38, 42 in den Außenspiegel 40 sowie ein Einbauort 46 der Heckkamera 44, kann bei einem derartigen Multikamerasystem möglicherweise nur bedingt eine Stereoberechnung erfolgen, da die beiden Seitenkameras 38 bzw. 42 in den Außenspiegeln 40 in der Regel nach unten orientiert sind und somit trotz 180° Optik oft einen anderen Blickwinkel aufweisen. Hier besteht die Möglichkeit, dass keine Korrelation für eine Stereoberechnung möglich ist, was zu einer Nachverarbeitung, wie oben stehend skizziert, führt, um einen Mehrgewinn zu erreichen.

Durch die Verwendung mindestens zweier Kameras im vorliegenden Falle zumindest der Frontkamera 34 und der ersten Seitenkamera 38 an dem Fahrzeug 32, und deren

Anordnung mit unterschiedlichem Blickwinkel 50 bzw. 52 wie in Zusammenhang in Figur 2 erklärt, lassen sich auch zu den Monokameras 34, 38 verdrehte Objekte 48 robuster schätzen, ebenso wie deren Dimensionen bezüglich auf die Breite 60 bzw. die Tiefe 62, welche zur räumlichen Erfassung eines dreidimensionalen Objektes 48 für das menschliche Wahrnehmungsvermögen unerlässlich ist. Die Objektdetektion und Schätzung der

Dimension findet dem erfindungsgemäß vorgeschlagenen Verfahren folgend auf mehreren Kameras 34, 38 mit einem gemeinsamen Überlappungsbereich 58 statt, jedoch unter unterschiedlichen Blickwinkeln 50 bzw. 52. Dadurch ist ein und dasselbe dreidimensionale Objekt 48 aus den unterschiedlichen Blickwinkeln 50 bzw. 52 der beiden Monokameras 34, 38, wie in Figur 2 dargestellt, sichtbar. Daraus wiederum lässt sich das dreidimensionale

Objekt 48 robuster bestimmen, ferner die Objektdimensionen, wobei hier insbesondere die Tiefe 62 des dreidimensionalen Objektes 48 hervorzuheben ist.

Auch andere, aus den Bildern der beiden Monokameras 34, 38 gewonnen Informationen, zum Beispiel die Bewegungsgeschwindigkeit bzw. die Bewegungsrichtung 16 des dreidimensionalen Objektes, lassen sich durch Verwendung mehrerer Kameras 34, 38, wobei es sich um mindestens zwei handeln sollte, die in unterschiedlichen Blickwinkeln 50 bzw. 52 angeordnet sind, verbessern. Bei Fahrzeugen 32, die ein Surround View System, welches auch als Area View System bezeichnet werden kann, ein Top View System oder ein Bird's Eye View System umfassen, sind meist - wie in Figur 2 angedeutet - mehrere Kameras, vergleiche die Frontkamera 34, die erste Seitenkamera 38 und die zweite Seitenkamera 42 sowie die Heckkamera 44 vorhanden und so besteht in vorteilhafter Weise die Möglichkeit, die Kameraumgebung bei einem derartig ausgestatteten Fahrzeug 32 zur Implementierung des erfindungsgemäß vorgeschlagenen Verfahrens auszunutzen. Durch den Einsatz des erfindungsgemäß vorgeschlagenen Verfahrens werden dreidimensionale Objekte 48 robuster detektiert, da Mehrbilddaten des dreidimensionalen Objektes 48 zur Verfügung stehen. Durch die unterschiedlichen Objektansichten ein und desselben dreidimensionalen Objektes 48, aufgenommen durch die mindestens zwei unterschiedliche Erfassungsbereiche 54, 56 abtastende Kameras 34, 36, lassen sich die Dimensionen des dreidimensionalen Objektes wesentlich besser schätzen. Somit werden mehr Informationen über das Fahrzeugumfeld 10 gewonnen, wodurch sich eine bessere Modellannahme für das Umfeld treffen lässt, was zum Beispiel in Fahrassistenzsystemen zu einer verbesserten Gefahreneinschätzung sowie der Verbesserung von Ausweichstrategien genutzt werden kann.

Die Erfindung bezieht sich des Weiteren auf ein Computerprogramm, mit welchem das erfindungsgemäß vorgeschlagene Verfahren auf einer programmierbaren

Computereinrichtung ausgeführt werden kann. Des Weiteren hat die vorliegende Erfindung ein Fahrassistenzsystem zum Gegenstand, welches bereits am Fahrzeug verbaute

Komponenten in Gestalt der Frontkamera 34, der ersten Seitenkamera 38, der zweiten Seitenkamera 42 sowie der Heckkamera 44 nutzt. Die besagten Kameras sind mit einem Steuergerät des Fahrassistenzsystems verbunden, so dass die von den einzelnen

Monokameras aufgenommenen Bilder an die Steuereinheit zur weiteren Bildverarbeitung übertragen werden können. Des Weiteren sind der Steuereinheit des Fahrassistenzsystems die Aufnahmezeitpunkte der Monokameras 34, 38, 42, 44 bekannt sowie deren Einbauorte sowie deren unterschiedliche Blinkwinkel, vergleiche Bezugszeichen 50 bzw. 52 in der Darstellung gemäß Figur 2, bei der es sich um eine Wiedergabe aus der Vogelperspektive handelt. Ausgehend von den bekannten Einbauorten der Kameras 34, 38, 42, 44, in unterschiedlichen Blickwinkeln 50 bzw. 52 der mindestens zwei Monokameras, hier der Frontkamera 34 in Bezug auf das Fahrzeug 32 sowie der ersten Seitenkamera 38 in Bezug auf die Längsachse des Fahrzeugs 32, können aus den aufgenommenen Aufnahmen Informationen hinsichtlich der Objektgeschwindigkeit und der Bewegungsrichtung des dreidimensionalen Objektes 48 geschlossen werden. Handelt es sich dabei beispielsweise um ein Kind, welches einem auf die Fahrbahn 10 gelangten Ball hinterherläuft, sind die Bewegungsrichtungen von Ball und Kind bekannt, so dass eine Ausweichstrategie - vergleiche in Figur 1 dargestellte Szenerie - in Richtung auf den hier freien Seitenstreifen 18 erfolgen könnte, in dem keine Fahrzeuge 20 abgestellt sind, so dass ein Ausweichen ohne weiteres möglich wäre.

Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegebenen Bereiches eine Vielzahl von Abwandlungen möglich, die im Rahmen technischen Handelns liegen.