System und Verfahren zum Zusammenfügen mittels mehrerer optischer

Sensoren aufgenommener Bilder

Stand der Technik

Die vorliegende Erfindung betrifft ein System sowie ein Verfahren zum

Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder. Insbesondere betrifft die vorliegende Erfindung Verbesserungen bei der

Definition der Schnittstelle ("Naht") zwischen zwei Bildern.

Im Stand der Technik wird erheblicher Aufwand betrieben, eine geeignete Naht zum Zusammenfügen zweier Bilder zu definieren, mittels welcher beispielsweise Kamerabilder eines Fahrzeugs (2D- oder 3D-Systeme) zur Darstellung einer künstlichen Vogelperspektive synthetisiert werden. Hier kommt beispielsweise auch ein als "Alphablending" bekanntes Verfahren zum Einsatz. Typische Kriterien zur Auswahl der feststehenden Naht sind entweder ähnliche

Pixelprojektionsbereiche in beiden Bildern oder ein gleicher Abstand zu jeder der beiden Kameras. Diese Vorgehensweise funktioniert für Umgebungen ohne nahegelegene Gegenstände oder Gegenstände, welche nicht direkt auf der Naht liegen, sehr gut. Bei nahegelegenen Objekten können insbesondere bei auf der Naht gelegenen Objekten viele Artefakte aufgrund der Tatsache auftreten, dass die Objekte sehr unterschiedlich in beiden Bildern dargestellt werden.

Es ist eine Aufgabe der vorliegenden Erfindung, die im Stand der Technik bekannten Nachteile auszuräumen.

Offenbarung der Erfindung

Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren zum Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder gelöst. Das Verfahren schlägt vor, ein erstes Bild mittels eines ersten optischen Sensors und ein zweites Bild mittels eines zweiten optischen Sensors aufzunehmen. Der optische Sensor kann dabei beispielsweise in einer digitalen Kamera eines Fahrerassistenzsystems eines Fortbewegungsmittels angeordnet sein. Anschließend werden optische Inhalte des ersten Bildes und des zweiten

Bildes analysiert. Diese Analyse kann im Wesentlichen bekannte

Bildverarbeitungsalgorithmen umfassen, mittels welcher beispielsweise auch bewegte Bilder untersucht werden können. Insbesondere kann aber auch eine zusätzliche Verwendung weiterer Signale erfolgen, mittels welchen Abstände der dargestellten Objekte von dem ersten optischen Sensor und/oder dem zweiten optischen Sensor ermittelt werden können. Anschließend schlägt das

erfindungsgemäße Verfahren vor, eine neue Fügegrenze zum Zusammenfügen des ersten Bildes und des zweiten Bildes zu definieren. Als Fügegrenze sei im Rahmen der vorliegenden Erfindung ein Bereich innerhalb der Bilder verstanden, an welchen ein erster Ausschnitt eines ersten Bildes mit einem zweiten

Ausschnitt eines zweiten Bildes verbunden wird. Erfindungsgemäß weicht die neue Fügegrenze aufgrund des Analyseergebnisses von einer zuvor

verwendeten alten Fügegrenze ab. Mit anderen Worten verläuft die neue

Fügegrenze anders, als die alte Fügegrenze. Mit anderen Worten wird vorgeschlagen, eine dynamische Neudefinition der Fügegrenze auf Basis analysierter Bildinhalte durchzuführen. Dies bietet den Vorteil, dass Artefakte bei der Darstellung eines synthetisierten Bildes reduziert werden können und sich ein Anwender des Syntheseergebnisses im Bild leichter orientieren kann. Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.

In einer bevorzugten Ausführungsform erfolgt das Definieren der neuen

Fügegrenze aufgrund eines abgebildeten Objektes auf der zuvor verwendeten Fügegrenze, wobei das Objekt einen vordefinierten maximalen Abstand von dem aufnehmenden Sensor unterschreitet. Die Abstandsbestimmung kann dabei beispielsweise allein anhand der beiden optischen Sensoren erfolgen

(„Stereoskopie"). Alternativ oder zusätzlich kann ein Signal eines

Abstandssensors (z.B. Parkassistenzsystem auf Ultraschallbasis) verwendet werden und das Signal mit den Bildinhalten korreliert werden. Die als einen maximalen vordefinierten Abstand unterschreitenden Bildinhalte werden anschließend daraufhin untersucht, ob sie sich auf einer derzeit definierten Fügegrenze befinden. Ist dies der Fall, wird eine neue, besser geeignete Fügegrenze definiert und nachfolgenden Synthesevorgängen zugrunde gelegt. Auf diese Weise werden Artefakte auf den Abbildungen nahegelegener Objekte vermieden. Bevorzugt wird dabei die neue Fügegrenze so definiert, dass auf ihr kein abgebildetes Objekt angeordnet ist, welches den vordefinierten maximalen Abstand unterschreitet. Mit anderen Worten kann die neue Fügegrenze z.B. verschoben, verform oder an die Kontur des den vordefinierten maximalen Abstand unterschreitenden Objektes angeschmiegt werden, um die Objektkontur (zumindest teilweise) mit der Fügegrenze zusammenfallen zu lassen. Die vorstehend genannten Alternativen stellen dabei einfache Möglichkeiten dar, Artefakte aufgrund nahe gelegener Umgebungsobjekte bei der Bildsynthese zu verringern. Dabei kann der vordefinierte maximale Abstand des

Umgebungsobjektes zum ersten Sensor und/oder zum zweiten Sensor und/oder zu dem Fortbewegungsmittel ermittelt werden, an welchem der erste Sensor und der zweite Sensor befestig sind. Zudem kann die Abbildungsgüte des Objektes durch den ersten Sensor bzw. den zweiten Sensor berücksichtigt werden, so dass beispielsweise ein Sensor geringerer Güte einen größeren maximalen vordefinierten Abstand verwendet als ein Sensor höherer Güte. Auf diese Weise kann verhindert werden, dass unnötige Neudefinitionen einer Fügegrenze erfolgen, falls ein höher auflösender Sensor ein nahegelegenes

Umgebungsobjekt in einem Abstand noch gut abbilden kann, in welchem ein zweiter (geringer auflösender) Sensor keine geeignete Abbildungsqualität mehr bieten könnte.

Weiter bevorzugt umfasst das Analysieren eine Ermittlung (ausschließlich) eines Bereiches innerhalb des ersten Bildes, welcher einem entsprechenden Bereich des zweiten Bildes entspricht. Dabei kann die Entsprechung hinsichtlich eines Erfassungsbereiches des ersten und des zweiten Sensoren bestehen. Alternativ oder zusätzlich kann die Entsprechung inhaltlich, also hinsichtlich jeweiliger

Bildbestandteile des ersten Sensors und des zweiten Sensors, bestehen. Auf diese Weise können Bildbereiche als potentielle Orte einer neuen Fügelinie ausgeklammert werden, welche für eine neue Fügelinie ohnehin keine hinreichende Eignung aufweisen.

Das erfindungsgemäße Verfahren kann besonders vorteilhaft in einem

Fortbewegungsmittel zur Visualisierung einer Situation des Fortbewegungsmittels verwendet werden. Insbesondere kommen hier

Straßenfahrzeuge in Betracht, welche bildgebende Fahrerassistenzsysteme (Einparkhilfe, Verkehrsschilderkennung, Nachtsichtassistenz,

Seitenblickassistenz etc.) aufweisen.

Bevorzugt können das erste Bild und das zweite Bild in einer jeweiligen

Videodatei zur Wiedergabe bewegter Bilder enthalten sein. Mit anderen Worten werden Folgen bewegter Bilder durch das erfindungsgemäße Verfahren untersucht. Da sich die Bildinhalte bewegter Bilder naturgemäß ändern können, kann eine Neudefinition verwendeter Fügegrenzen zur Synthese der beiden

Videobilder durch das erfindungsgemäße Verfahren besonders vorteilhaft durchgeführt werden.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein System zum Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder vorgeschlagen. Das System umfasst einen ersten optischen Sensor sowie einen zweiten optischen Sensor und eine Auswerteeinheit. Die Auswerteeinheit ist dabei eingerichtet, ein Verfahren auszuführen, wie es obenstehend in

Verbindung mit dem erstgenannten Erfindungsaspekt eingehend beschrieben wurde. Es ergeben sich entsprechende Merkmalskombinationen und Vorteile.

Vorteilhaft weist der erste optische Sensor einen ersten Erfassungsbereich auf, welcher mit einem zweiten Erfassungsbereich des zweiten Sensors überwiegend nicht übereinstimmt. Auf diese Weise kann durch die zwei Sensoren gemeinsam ein größerer Umgebungsbereich abgelichtet und einem Anwender durch

Verwendung des erfindungsgemäßen Verfahrens dargestellt werden. Zwar weisen die von dem ersten Sensor und dem zweiten Sensor aufgenommenen Bilder durch überlappende Erfassungsbereiche abschnittsweise inhaltliche Gemeinsamkeiten auf, sind überwiegend jedoch unterschiedlichen Perspektiven bzw. Umgebungsbereichen gewidmet.

Kurze Beschreibung der Zeichnungen

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist: Figur 1 eine schematische Draufsicht auf Komponenten eines

Ausführungsbeispiels eines erfindungsgemäßen Systems;

Figur 2 ein Flussdiagramm, veranschaulichend Schritte eines

Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;

Figur 3 eine Aufnahme mittels einer Seitenkamera eines Fahrzeugs;

Figur 4 eine Aufnahme einer Frontkamera eines Fahrzeugs;

Figur 5 eine entzerrte Darstellung eines Abschnitts der in Figur 3

gezeigten Ansicht;

Figur 6 ein Ausschnitt einer entzerrten Darstellung der in Figur 4

dargestellten Ansicht;

Figur 7 eine Darstellung einer aus den Figuren 5 und 6 synthetisierten

Ansicht;

Figur 8 eine alternative Aufnahme mittels einer Seitenkamera eines

Fahrzeugs;

Figur 9 eine alternative Aufnahme einer Frontkamera eines Fahrzeugs;

Figur 10 eine alternative entzerrte Darstellung eines Abschnitts der in

Figur 8 gezeigten Ansicht;

Figur 1 1 ein alternativer Ausschnitt einer entzerrten Darstellung der in

Figur 9 dargestellten Ansicht; und

Figur 12 eine alternative Darstellung einer aus den Figuren 10 und 11 synthetisierten Ansicht.

Ausführungsformen der Erfindung

Figur 1 zeigt eine schematische Übersicht über Komponenten eines

erfindungsgemäßen Systems. Das System umfasst eine erste Kamera 1 mit einem ersten optischen Sensor sowie eine zweite Kamera 2 mit einem zweiten optischen Sensor. Beide Kameras sind an eine Auswerteeinheit 8

angeschlossen, welche einen (nicht dargestellten) Prozessor und (nicht gestellte) Speichermittel umfasst. Die erste Kamera 1 hat einen ersten Erfassungsbereich 6, während die zweite Kamera 2 einen zweiten Erfassungsbereich 7 hat. In einem Überlappungsbereich der Erfassungsbereiche 6, 7 befindet sich ein Umgebungsobjekt 5 auf einer bisherigen Fügelinie 3. Da das Umgebungsobjekt 5 den vordefinierten maximalen Abstand D _max zu den Kameras 1 , 2 unterschreitet, ist die bisher verwendete Fügelinie 3, welche durch das Umgebungsobjekt 5 verläuft, gemäß der vorliegenden Erfindung nicht mehr geeignet. Entsprechend wird eine neue Fügelinie 4 zum Zusammenfügen der mittels der Kameras 1 , 2 aufgenommenen Bilder definiert, welche abseits des Umgebungsobjektes 5 verläuft.

Figur 2 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Dabei wird im Schritt 100 ein erstes Bild mittels eines ersten optischen Sensors der Kamera 1 und ein zweites Bild mittels des zweiten optischen Sensors der zweiten Kamera 2 aufgenommen. Im Schritt 200 werden anschließend die Bilder analysiert. Dabei wird insbesondere festgestellt, dass sich ein Objekt mit einem Abstand < D _max auf einer bisher verwendeten Fügelinie 4 („Fügegrenze") befindet. Ist dies nicht der Fall (N), wird die alte Fügelinie 4 im Schritt 400 verwendet, um die Bilder zu synthetisieren. Anschließend wird in Schritt 100 mit der Aufnahme weiterer Bilder fortgefahren. Ist ein nahegelegenes Objekt 5 (mit einem Abstand < D _max ) auf einer bisher verwendeten Fügegrenze 3 entdeckt worden (Y), wird in Schritt 500 eine neue (besser geeignete)

Fügegrenze 4 definiert und zur anschließenden Synthese der Kamerabilder verwendet. Anschließend wird mit der Aufnahme weiterer Bilder in Schritt 100 fortgefahren.

Figur 3 zeigt eine Aufnahme, welche mittels einer Seitenkamera eines (Ego-) Fahrzeugs 9 gemacht wurde. Darin enthalten sind ein Mauerstück 50 sowie drei Fremdfahrzeuge 51 , 52, 53.

Figur 4 zeigt dieselbe Situation des Fahrzeugs 9 aus der Perspektive einer Frontkamera des Fahrzeugs 9. Enthalten sind nur noch die Fahrzeuge 51 , 52, 53 der auch in Figur 3 dargestellten Anordnung, während das Mauerwerk 50 nicht mehr enthalten ist. Zusätzlich ist ein weiteres Fahrzeug 54 in der Aufnahme der Figur 4 enthalten.

Figur 5 zeigt einen Ausschnitt der in Figur 3 dargestellten Aufnahme nach einer Entzerrung der Aufnahme.

Figur 6 zeigt einen Ausschnitt der in Figur 4 dargestellten Aufnahme nach einer Entzerrung der Aufnahme.

Figur 7 zeigt eine aus den Figuren 5 und 6 an einer Fügegrenze 4

zusammengesetzte Aufnahme. Hierbei wurde ein "Alphablending" zur

Angleichung der Bildbestandteile im Bereich 40 der Fügegrenze 4 verwendet.

Figur 8 zeigt eine Aufnahme einer Seitenkamera eines Fahrzeugs 9, in welcher drei Fremdfahrzeuge 62, 63, 64 sowie unterschiedliche Fahrbahnmarkierungen 65, 66 erkennbar sind.

Figur 9 zeigt eine Randaufnahme, welche mittels einer Frontkamera des

Fahrzeugs 9 in der gleichen Fahrsituation, wie sie in Figur 8 dargestellt ist, aufgenommen wurde. Zwei der Fahrzeuge 63, 64 sind auch in der Aufnahme nach Figur 9 enthalten. Ebenfalls sind die Fahrbahnmarkierungen 65, 66 erkennbar.

Figur 10 zeigt die in Figur 8 dargestellte Aufnahme, nachdem sie einer

Entzerrung unterzogen wurde.

Figur 1 1 zeigt die in Figur 9 dargestellte Aufnahme, nachdem sie einer

Entzerrung unterzogen wurde.

Figur 12 zeigt eine an einer Fügelinie 4 aus den Figuren 10 und 11

zusammengesetzte Ansicht. Hierbei wurde die Fügelinie 4 automatisch in einen Bereich 40 verschoben, in welchem ein hohes Maß an Ähnlichkeit zwischen den in den Figuren 10 und 11 dargestellten Bildern erkannt wurde. Obwohl das mittels der Seitenkamera des Fahrzeugs 9 aufgenommene Bild (siehe Figur 8) lediglich zu einem kleinen Flächenanteil in Figur 12 beiträgt, wird ein für den Fahrer des Fahrzeugs 9 besser geeignetes zusammengesetztes Bild erzeugt, als dies nach dem Stand der Technik der Fall gewesen wäre. Auch wenn die erfindungsgemäßen Aspekte und vorteilhaften

Ausführungsformen anhand der in Verbindung mit den beigefügten

Zeichnungsfiguren erläuterten Ausführungsbeispiele im Detail beschrieben worden sind, sind für den Fachmann Modifikationen und Kombinationen von Merkmalen der dargestellten Ausführungsbeispiele möglich, ohne den Bereich der vorliegenden Erfindung zu verlassen, deren Schutzbereich durch die beigefügten Ansprüche definiert wird.