Verfahren und Vorrichtung zum Anpassen einer dreidimensionalen

Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder

Stand der Technik

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl

benachbarter Kamerabilder, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogramm.

Bilder mehrerer Kameras können zu einem Gesamtbild verbunden werden. Zum Erstellen des Gesamtbilds ist eine Projektionsfläche erforderlich.

Die JP 2012-73836 A beschreibt ein Bildanzeigesystem. Offenbarung der Erfindung Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.

Ein Panorama kann aus einer Mehrzahl von Bildern zusammengesetzt werden. Um das Panorama zu berechnen, werden die Bilder auf eine virtuelle dreidimensionale Projektionsfläche projiziert. Eine Form der Projektionsfläche beeinflusst wesentlich, wie wirklichkeitsgetreu das so errechnete Panorama erscheint. Das Panorama kann als Panoramadatei Grundlage für vielfältig berechenbare Visualisierungen sein. Beispielsweise kann innerhalb des

Panoramas ein Betrachtungswinkel nahezu frei gewählt werden. Aufgrund des Betrachtungswinkels ergeben sich verschiedene Perspektiven, die alle auf derselben Panoramadatei beruhen.

Wenn die Projektionsfläche eine nicht geeignete Form aufweist, können

Gegenstände im Panorama mit Darstellungsfehlern dargestellt werden.

Beispielsweise können die Gegenstände mehrfach dargestellt werden oder grotesk verzerrt werden. Daher ist es erstrebenswert, die Form der

Projektionsfläche unter Berücksichtigung darzustellender Objekte zu formen.

Die genannten Darstellungsfehler entstehen im Wesentlichen in Bereichen der Projektionsfläche, an denen die darauf projizierten liegenden Bilder einander überlappen. In diesen Bereichen werden die Gegenstände in zumindest zwei Bildern abgebildet, jedoch aus unterschiedlichen Perspektiven.

Der hier vorgestellte Ansatz beschreibt eine Methode, um Teilbereiche von zumindest zwei überklappenden Bildern miteinander zu vergleichen, um eine optimierte Form der Projektionsfläche zu erhalten.

Es wird ein Verfahren zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:

Selektieren eines ersten Ausschnitts aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift, Selektieren zumindest eines weiteren ersten Ausschnitts aus dem ersten Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift, Selektieren eines zweiten

Ausschnitts aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift und Selektieren zumindest eines weiteren zweiten

Ausschnitts aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift, wobei die erste Selektionsvorschrift eine erste vorbestimmte Form der Projektionsfläche repräsentiert, und die zweite Selektionsvorschrift eine zweite vorbestimmte Form der Projektionsfläche repräsentiert; Vergleichen eines Bildinhalts des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift, um ein erstes Bewertungskriterium der ersten Form zu erhalten, und Vergleichen eines Bildinhalts des weiteren ersten Ausschnitts mit einem Bildinhalt des weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion, um ein zweites Bewertungskriterium der zweiten Form zu erhalten; und

Auswählen derjenigen Form für die Projektionsfläche, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert.

Unter einer Projektionsfläche kann eine virtuelle Fläche verstanden werden. Eine Projektion kann ein rechnerisches Übertragen eines im Wesentlichen

zweidimensionalen Bildes auf die Projektionsfläche sein. Ein Kamerabild kann eine Bilddatei von einer Kamera sein. Das Kamerabild kann eine Vielzahl von Bildpunkten aufweisen. Jeder Bildpunkt kann durch einen Koordinatenwert relativ zu einem Bezugspunkt des Kamerabilds charakterisiert sein. Ferner kann jeder Bildpunkt durch zumindest eine Intensitätsinformation beziehungsweise

Farbinformation charakterisiert sein. Benachbarte Kamerabilder können eine Überschneidung in zumindest einem Randbereich aufweisen. Das heißt, dass in dem Randbereich abgebildete Objekte in beiden Kamerabildern abgebildet sind. Unter einem Selektieren kann ein Maskieren verstanden werden. Dabei wird eine durch die Selektionsvorschrift vordefinierte Maske über das Kamerabild gelegt, um einen Ausschnitt aus dem Kamerabild zu definieren. Dabei wird ein Bildinhalt, also die Intensitätsinformationen der Bildpunkte des Kamerabilds während des Selektierens beziehungsweise Maskierens nicht beachtet. Die

Selektionsvorschrift definiert dabei die Grenzen des Ausschnitts. Die Grenzen sind abhängig von der Form der Projektionsfläche. Beim Vergleichen wird der Bildinhalt von zumindest zwei Ausschnitten miteinander verglichen, um eine Übereinstimmung der beiden Bildinhalte zu quantifizieren. Jeweils ein Ausschnitt aus dem ersten Kamerabild und ein Ausschnitt aus dem zweiten Kamerabild bilden ein Ausschnittpaar. Es werden jeweils die Ausschnitte eines

Ausschnittpaars verglichen. Beim Auswählen wird dasjenige Ausschnittpaar ausgewählt, das die größte Übereinstimmung aufweist. Das gewählte Ausschnittpaar basiert auf der Projektionsfläche mit der am besten geeigneten Form zum Projizieren der Kamerabilder.

Im Schritt des Selektierens können zumindest ein zusätzlicher erster Ausschnitt aus dem ersten Kamerabild und ein zusätzlicher zweiter Ausschnitt aus dem zweiten Kamerabild unter Verwendung einer weiteren Selektionsvorschrift selektiert werden, die eine weitere vorbestimmte Form der Projektionsfläche repräsentiert. Ein Bildinhalt des zusätzlichen ersten Ausschnitts kann unter Verwendung der Verarbeitungsvorschrift mit einem Bildinhalt des zusätzlichen zweiten Ausschnitts verglichen werden, um ein weiteres Bewertungskriterium der weiteren Form zu erhalten. Durch eine Verwendung einer Mehrzahl von

Selektionsvorschriften können viele Formen von Projektionsflächen miteinander verglichen werden. Je größer die Anzahl der Formen, umso größer ist die Wahrscheinlichkeit, eine gute Übereinstimmung mit den Objekten in den

Kamerabildern zu finden.

Im Schritt des Selektierens kann zumindest ein dritter Ausschnitt aus zumindest einem dritten Kamerabild unter Verwendung der ersten Selektionsvorschrift selektiert werden. Weiterhin kann zumindest ein weiterer dritter Ausschnitt aus dem dritten Kamerabild unter Verwendung der zweiten Selektionsvorschrift selektiert werden. Im Schritt des Vergleichens kann ein Bildinhalt des dritten Ausschnitts unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des ersten Ausschnitts und/oder dem Bildinhalt des zweiten Ausschnitts verglichen werden, um ein zusätzliches erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin kann ein Bildinhalt des weiteren dritten Ausschnitts unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des weiteren ersten Ausschnitts und/oder des Weiteren zweiten Ausschnitts verglichen werden, um ein zusätzliches zweites Bewertungskriterium der zweiten Form zu erhalten. Durch eine Vielzahl von Kamerabildern kann eine Umgebung eines

Beobachtungsstandpunkts, beispielsweise eines Fahrzeugs im Wesentlichen vollständig abgebildet werden.

Im Schritt des Vergleichens kann ferner ein Merkmalsinhalt der Ausschnitte verglichen werden, um die Bewertungskriterien zu erhalten. Ein Merkmalsinhalt kann abgebildete Objekte in den Ausschnitten repräsentieren. Durch eine Erkennung von Objekten kann die Übereinstimmung der Ausschnitte gut überprüft werden.

Im Schritt des Vergleichens kann die Verarbeitungsvorschrift eine Summe quadrierter Differenzen zwischen Intensitätswerten korrespondierender Bildpixel in dem ersten Ausschnitt und dem zweiten Ausschnitt beschreiben. Die Bildpixel können einen gemeinsamen Koordinaten wert auf der zu bewertenden Form aufweisen. Ein Bildpixel kann als Bildpunkt bezeichnet werden. Durch einen direkten Vergleich einzelner Bildpixel beziehungsweise Bildpixelgruppen miteinander kann auf eine rechenintensive Objektsuche verzichtet werden.

Dadurch kann das hier vorgestellte Verfahren besonders schnell ausgeführt werden.

Im Schritt des Vergleichens kann die Verarbeitungsvorschrift eine Summe absoluter Differenzen zwischen Intensitätswerten korrespondierender Bildpixel in dem ersten Ausschnitt und dem zweiten Ausschnitt beschreiben. Die Bildpixel können einen gemeinsamen Koordinatenwert auf der zu bewertenden Form aufweisen. Durch einen direkten Vergleich einzelner Bildpixel beziehungsweise Bildpixelgruppen miteinander kann auf eine rechenintensive Objektsuche verzichtet werden. Dadurch kann das hier vorgestellte Verfahren besonders schnell ausgeführt werden.

Die Koordinaten werte der zu vergleichenden Bildpixel können unter Verwendung einer, von der jeweiligen Form abhängigen Interpolationsvorschrift gewählt werden. Die Interpolationsvorschrift kann in der Selektionsvorschrift hinterlegt sein. Die Interpolationsvorschrift kann eine Form der zusammengehörigen Ausschnitte mathematisch abbilden. Durch eine mathematische Abbildung kann jeder. Des einen Ausschnitts einem Punkt des anderen Ausschnitts zugeordnet werden.

Das Verfahren kann einen Schritt des Projizierens der Kamerabilder unter Verwendung der ausgewählten Form aufweisen, um den Bildinhalt der

Kamerabilder auf der Projektionsfläche darzustellen. Da im Schritt des

Selektierens die Kamerabilder bereits teilweise bearbeitet worden sind, kann Rechenkapazität eingespart werden, indem der Rest der Kamerabilder, der im Schritt des Selektierens nicht beachtet worden ist, ebenso bearbeitet wird.

Dadurch kann das hier vorgestellte Verfahren besonders schnell ausgeführt werden.

Im Schritt des Auswählens kann zumindest ein Parameter der ausgewählten Form bereitgestellt werden, um die Projektionsfläche beim Projizieren zu definieren. Eine Form der Projektionsfläche kann durch wenige Parameter mathematisch korrekt beschrieben werden. Wenn durch das hier vorgestellte Verfahren nur die bestmögliche Form der Projektionsfläche bestimmt werden soll, kann die Form unter Verwendung des zumindest einen Parameters leicht mit einem geringen Datenvolumen an eine andere Vorrichtung übertragen werden.

Weiterhin wird eine Vorrichtung zum Anpassen einer dreidimensionalen

Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist: eine Selektionseinrichtung zum Selektieren eines ersten Ausschnitts aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift, zum Selektieren zumindest eines weiteren ersten Ausschnitts aus dem ersten

Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift, zum Selektieren eines zweiten Ausschnitts aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift, und zum Selektieren zumindest eines weiteren zweiten Ausschnitts aus dem zweiten Kamerabild unter

Verwendung der zweiten Selektionsvorschrift, wobei die erste

Selektionsvorschrift eine erste vorbestimmte Form der Projektionsfläche repräsentiert, und die zweite Selektionsvorschrift eine zweite vorbestimmte Form der Projektionsfläche repräsentiert; eine Vergleichseinrichtung zum Vergleichen eines Bildinhalts des ersten

Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift, um ein erstes Bewertungskriterium der ersten Form zu erhalten, und zum Vergleichen eines Bildinhalts des weiteren ersten Ausschnitts mit einem Bildinhalt des weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion, um ein zweites Bewertungskriterium der zweiten Form zu erhalten; und eine Auswahleinrichtung zum Auswählen derjenigen Form für die

Projektionsfläche, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend

beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten

Zeichnungen beispielhaft näher erläutert. Es zeigen:

Fig. 1 eine Darstellung eines Fahrzeugs mit vier Kameras;

Fig. 2 eine Darstellung einer Projektionsfläche rund um ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; Fig. 3 eine Querschnittsdarstellung einer Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 4 ein Blockschaltbild einer Vorrichtung zum Anpassen einer

dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 5 eine Darstellung eines Überlappungsbereichs zweier Kamerabilder auf einer Projektionsfläche gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 6 eine Darstellung eines Überlappungsbereichs zweier Kamerabilder auf einer Projektionsfläche gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 7 eine Darstellung einer Projektion von Teilflächen des 3-D-Form- Templates in Kamerabilder unterschiedlicher Positionen;

Fig. 8 ein Ablaufdiagramm eines Verfahrens zum Anpassen einer

dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 9 eine Darstellung eines Ablaufs eines Verfahrens zum Erzeugen einer Mehrzahl von Selektionsvorschriften gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und

Fig. 10 eine Darstellung von Schritten eines Verfahrens zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren

dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche

Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Fig. 1 zeigt eine Darstellung eines Fahrzeugs 100 mit vier Kameras 102, 104, 106, 108. Das Fahrzeug 100 ist hier ein Personenkraftwagen 100. Das Fahrzeug kann auch beispielsweise ein Lastkraftwagen oder eine Baumaschine sein. Die vier Kameras 102, 104, 106, 108 sind auf allen vier Seiten des Fahrzeugs 100 angeordnet. Die erste Kamera 102 ist an einer Front des Fahrzeugs 100 angeordnet. Die erste Kamera 102 ist in einer Fahrtrichtung des Fahrzeugs 100 ausgerichtet und dazu ausgebildet, ein erstes Kamerabild 110 von einer

Umgebung des Fahrzeugs 100 vor dem Fahrzeug 100 bereitzustellen. Die zweite Kamera 104 ist an einem rechten Außenspiegel des Fahrzeugs 100 angeordnet. Die zweite Kamera 104 ist quer zu dem Fahrzeug 100 ausgerichtet. Die zweite Kamera 104 ist dazu ausgebildet, ein zweites Kamerabild 112 von der

Umgebung des Fahrzeugs 100 rechts von dem Fahrzeug 100 bereitzustellen. Die dritte Kamera 106 ist an einem Heck des Fahrzeugs 100 angeordnet. Die dritte Kamera 106 ist entgegen der Fahrtrichtung des Fahrzeugs 100

ausgerichtet. Die dritte Kamera 106 ist dazu ausgebildet, ein drittes Kamerabild 114 von der Umgebung des Fahrzeugs 100 hinter dem Fahrzeug 100

bereitzustellen. Die vierte Kamera 108 ist an einem linken Außenspiegel des Fahrzeugs 100 angeordnet. Die vierte Kamera 108 ist ebenfalls quer zu dem Fahrzeug 100 ausgerichtet. Die vierte Kamera 108 ist dazu ausgebildet, ein viertes Kamerabild 116 von der Umgebung des Fahrzeugs 100 links von dem Fahrzeug 100 bereitzustellen.

Zusammen decken die vier Kamerabilder 110, 112, 114, 116 die Umgebung des Fahrzeugs 100 näherungsweise vollständig ab. Die Kamerabilder 110, 112, 114, 116 werden mit einer kleinen Brennweite aufgenommen und weisen deshalb eine starke Verzerrung auf. Insbesondere sind die Kamerabilder 110, 112, 114, 116 tonnenförmig verzerrt. Die Kamerabilder 110, 112, 114, 116 weisen einen großen Bildwinkel auf. Die Kamerabilder 110, 112, 114, 116 weisen näherungsweise einen Bildwinkel von 180° auf. Die Kamerabilder 110, 112, 114, 116 weisen überlappende Randbereiche auf.

Fig. 2 zeigt eine Darstellung einer Projektionsfläche 200 rund um ein Fahrzeug 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die

Projektionsfläche 200 ist virtuell und entspricht keiner tatsächlichen Oberfläche eines Gegenstands. Die Projektionsfläche 200 weist eine schüsselartige rotationssymmetrische 3-D-Form auf. Auf die Projektionsfläche 200 können für ein 3-D Surround-View- System die Kamerabilder von Seitenkameras,

Frontkameras und Rückkameras, wie sie beispielsweise in Fig. 1 beschrieben sind, projiziert werden. Beim Projizieren werden die Kamerabilder verzerrt, da die Projektionsfläche 200 räumlich gebogen ist. Die Form der Projektionsfläche 200 wird gemäß dem hier vorgestellten Ansatz ausgewählt.

Fig. 3 zeigt eine Querschnittsdarstellung einer Projektionsfläche 200 zum

Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem

Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionsfläche 200 entspricht im Wesentlichen der Projektionsfläche in Fig. 2. Die Projektionsfläche 200 weist eine 3-D-Form auf. Die Form besteht aus einer Kreisscheibe 300 oder Ellipsenscheibe mit variablem Durchmesser D und einer parabelförmigen Wandung 302 mit variabler Steilheit a. Die Projektionsfläche 200 kann als 3-D- Form-Template 200 bezeichnet werden. Wenn die Projektionsfläche 200 rund ist, weist sie eine Rotationsachse 304 auf. Die Wandung 302 kann durch Y = a*x ^A 2 beschrieben werden.

Bisher werden die Parameter D und a typischerweise manuell vorkonfiguriert. Durch den hier vorgestellten Ansatz werden die beiden Parameter abhängig von den, das Fahrzeug umgebenden Hindernissen automatisch eingestellt. Mit anderen Worten beschreibt der hier vorgestellte Ansatz eine automatische Parametrierung eines generischen 3-D Form-Templates 200 für 3-D- Umfeldmodelle.

Fig. 4 zeigt ein Blockschaltbild einer Vorrichtung 400 zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl

benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 400 weist eine Selektionseinrichtung 402, eine Vergleichseinrichtung 404 und eine Auswahleinrichtung 406 auf. Die

Selektionseinrichtung 402 ist mit einer Speichereinrichtung 408 und zumindest zwei Kameras 102, 104 eines Fahrzeugs 100 verbunden. Die erste Kamera 102 und die zweite Kamera 104 weisen in zumindest einem Randbereich

überlappende Erfassungsbereiche 410, 412 auf. Die Kameras 102, 104 sind dazu ausgebildet, ihre Erfassungsbereiche 410, 412 in je einem Kamerabild oder Bewegtbild abzubilden. In einem Ausführungsbeispiel ist die Selektionseinrichtung 402 mit einem

Sensorsystem mit mindestens zwei Sensoren verbunden. Das Sensorsystem ist dazu ausgebildet, eine Umgebung des Fahrzeugs 100 zu erfassen. Die

Sensoren sind dazu ausgebildet, je ein Sensorbild eines Teils der Umgebung bereitzustellen.

Die Selektionseinrichtung 402 ist dazu ausgebildet, einen ersten Ausschnitt aus dem ersten Kamerabild der ersten Kamera 102 unter Verwendung einer ersten Selektionsvorschrift zu selektieren. Die erste Selektionsvorschrift ist in der Speichereinrichtung 408 hinterlegt. Weiterhin ist die Selektionseinrichtung 402 dazu ausgebildet, zumindest einen weiteren ersten Ausschnitt aus dem ersten

Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift zu selektieren. Die zweite Selektionsvorschrift ist ebenfalls in der

Speichereinrichtung 408 hinterlegt. Die Selektionseinrichtung 402 ist weiterhin dazu ausgebildet, einen zweiten Ausschnitt aus dem zweiten Kamerabild der zweiten Kamera 104 unter Verwendung der ersten Selektionsvorschrift zu selektieren. Ferner ist die Selektionseinrichtung 402 dazu ausgebildet, zumindest einen weiteren zweiten Ausschnitt aus dem zweiten Kamerabild unter

Verwendung der zweiten Selektionsvorschrift zu selektieren. Die die erste Selektionsvorschrift repräsentiert eine erste vorbestimmte, beispielsweise vorberechnete, Form der Projektionsfläche, wie sie beispielsweise in den Figuren

2 und 3 dargestellt ist. Die zweite Selektionsvorschrift repräsentiert eine zweite vorbestimmte, beispielsweise vorberechnete, Form der Projektionsfläche.

Die Vergleichseinrichtung 404 ist dazu ausgebildet, einen Bildinhalt des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift zu vergleichen, um ein erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin ist die Vergleichseinrichtung 404 dazu ausgebildet, einen Bildinhalt des weiteren ersten Ausschnitts mit einem Bildinhalt des weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion zu vergleichen, um ein zweites Bewertungskriterium der zweiten Form zu erhalten. Die Verarbeitungsvorschrift kann beispielsweise eine Summe quadrierter und/oder absoluter Differenzen zwischen Intensitätswerten korrespondierender Bildpixel in dem ersten Ausschnitt und dem zweiten

Ausschnitt beschreiben. Die Bildpixel können einen gemeinsamen

Koordinaten wert auf der zu bewertenden Form zugeordnet sein, sodass sie auf der Form einander überlagert dargestellt würden. Koordinaten werte der zu vergleichenden Bildpixel in den zugrunde liegenden Kamerabildern können in einer, von der jeweiligen Form abhängigen Interpolationsvorschrift beschrieben sein.

Die Auswahleinrichtung 406 ist dazu ausgebildet, diejenige Form 414 für die Projektionsfläche auszuwählen und bereitzustellen, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert. Dazu kann zumindest ein Parameter der ausgewählten Form 414 bereitgestellt werden, um die Projektionsfläche beim Projizieren zu definieren.

Fig. 5 zeigt eine Darstellung eines Überlappungsbereichs 500 zweier

Kamerabilder 110, 112 auf einer Projektionsfläche 200 gemäß einem

Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionsfläche 200 entspricht einem Ausführungsbeispiel einer Projektionsfläche, wie in Fig. 3. Hier ist der Durchmesser der Kreisscheibe relativ groß und die Wandung relativ steil. Um die Darstellung zu vereinfachen, ist lediglich ein Viertel der Projektionsfläche 200 dargestellt. Daher ist auch nur jeweils eine Hälfte der Kamerabilder 110, 112 dargestellt. Die Kamerabilder 110, 112 weisen einen großen Bildwinkel auf. Der Bildwinkel liegt hier zwischen 180° und 160°. Damit sind in beiden

Kamerabildern, wie in Fig. 4 dargestellt, einige Objekte doppelt abgebildet. Die doppelt abgebildeten Objekte sind jedoch aus unterschiedlichen

Betrachtungswinkeln abgebildet. Die Objekte können auch von verschiedenen Seiten abgebildet sein. Durch die Projektion der Kamerabilder 110, 112 auf die Projektionsfläche 200 ergibt sich der Überlappungsbereich 500. In dem Überlappungsbereich 500 können Objekte doppelt dargestellt sein. Da der Bildwinkel hier fest ist, ist eine Größe des Überlappungsbereichs 500 abhängig von einer Geometrie der Projektionsfläche 200. Je größer ein Durchmesser der Projektionsfläche 200 ist, umso größer ist der Überlappungsbereich 500. Umso größer der

Überlappungsbereich ist, umso größer ist eine Fläche in den Kamerabildern 110, 112, in der Objekte doppelt dargestellt werden können. Fig. 6 zeigt eine Darstellung eines Überlappungsbereichs 500 zweier

Kamerabilder 110, 112 auf einer Projektionsfläche 200 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung entspricht im Wesentlichen der Darstellung in Fig. 5. Im Gegensatz zu Fig. 5 ist der

Überlappungsbereich 500 hier kleiner, da die Projektionsfläche 200 hier einen kleineren Durchmesser aufweist, als in Fig. 5.

Fig. 7 zeigt eine Darstellung einer Projektion von Teilflächen 700 des 3-D-Form- Templates 200 in Kamerabilder 110, 112 unterschiedlicher Positionen. Das 3-D- Form-Template 200 entspricht einem Ausführungsbeispiel der Projektionsfläche 200 in Fig. 3. Zur Erläuterung des hier vorgestellten Ansatzes sind hier weitere

Teilflächen 702 von weiteren Projektionsflächen dargestellt. Zur Vereinfachung sind die weiteren Projektionsflächen nicht vollständig dargestellt. Die weiteren Projektionsflächen weisen jeweils andere Parameter zum Bestimmen ihrer Form auf, als die dargestellte Projektionsfläche 200. Die weiteren Teilflächen 702 werden ebenfalls in die Kamerabilder 110, 112 projiziert. Dabei wird diejenige

Projektionsfläche 200 ausgewählt, deren projizierte Teilflächen 700, 702 in den Kamerabildern 110, 112 zu einer größten Übereinstimmung der Bildinhalte beziehungsweise Merkmalsinhalte der Ausschnitte innerhalb der Ränder der Teilflächen 700, 702 führen.

Mit anderen Worten wird die Projektionsfläche 200 mit der Form ausgewählt, bei der die innerhalb der projizierten Teilflächen 700, 702 dargestellten Objekte am besten übereinstimmen beziehungsweise überlagert werden können. Dabei werden unterschiedlich parametrierte vorbestimmte, beispielsweise

vorberechnete, 3-D-Form-Templates 200 verwendet, um ein möglichst gut passendes 3-D-Umfeldmodell, beispielsweise für Surround-View-Anwendungen zu bestimmen. Dazu wird durch Auswertung von überlappender Bildinformation 110, 112 sehr effizient für jede 3-D-Form-Hypothese 200 ein Qualitätsmaß bestimmt. Die Teilflächen 700, 702 des 3-D-Form-Templates 200 werden in die Kamerabilder 110, 112 projiziert. Dabei erfolgt eine Projektion einer Teilfläche A 700 des 3-D Modells 200 in das Bild 110 einer ersten Kamera. Weiterhin erfolgt eine Projektion der Teilfläche A 700 des 3-D Modells 200 in das Bild 112 einer zweiten Kamera. Über die bekannte Position und Orientierung der Kameras lassen sich damit die entsprechend überlappenden Bildbereiche feststellen und der Bildinhalt beispielsweise mit SSD (Sum of squared differences) oder SAD (Sum of absolute diffferences) vergleichen. Diejenige Parametrierung des 3-D- Form-Templates 200 wird ausgewählt, bei dem dieser Vergleich mit der besten Qualitätszahl gemessen wird. Dabei repräsentiert die beste Qualitätszahl die Bildbereiche mit den geringsten Unterschieden gemäß beispielsweise SSD oder SAD. Bei der hier vorgestellten automatischen und direkten Bestimmung der Parameter des 3-D-Umfeldmodells 200 durch Vergleich von überlappenden Sensorinformationen 110, 112 erfolgt die Anpassung der 3-D Geometrie 200 stufenweise.

Das vorgeschlagene Verfahren vermeidet suchaufwendige Stereo-Verfahren oder SfM (Structure-from-Motion)- Verfahren zu Bestimmung der 3-D-Form 200. Ein wesentlicher Vorteil ist dabei auch der hohe Anteil an vorberechneten Verf ah renssch ritten .

Fig. 8 zeigt ein Ablaufdiagramm eines Verfahrens 800 zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl

benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 800 weist einen Schritt 802 des Selektierens, einen Schritt 804 des Vergleichens und einen Schritt 806 des Auswählens auf. Im Schritt 802 des Selektierens wird ein erster Ausschnitt aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift selektiert.

Weiterhin wird zumindest ein weiterer erster Ausschnitt aus dem ersten

Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift selektiert. Ebenso wird ein zweiter Ausschnitt aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift selektiert. Ferner wird zumindest ein weiterer zweiter Ausschnitt aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift selektiert. Dabei repräsentiert die erste Selektionsvorschrift eine erste vorberechnete Form der Projektionsfläche, während die zweite Selektionsvorschrift eine zweite vorberechnete Form der Projektionsfläche repräsentiert. Im Schritt 804 des Vergleichens wird ein Bildinhalt des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift verglichen, um ein erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin wird ein Bildinhalt des weiteren ersten Ausschnitts mit einem Bildinhalt des Weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion verglichen, um ein zweites Bewertungskriterium der zweiten Form zu erhalten. Im Schritt 806 des Auswählens wird diejenige Form für die Projektionsfläche ausgewählt, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert.

Weitere vorberechnete Formen von Projektionsflächen können durch weitere Selektionsvorschriften repräsentiert sein. Dann können im Schritt 802 des Selektierens zusätzliche erste Ausschnitte aus dem ersten Kamerabild und zusätzliche zweite Ausschnitte aus dem zweiten Kamerabild unter Verwendung der weiteren Selektionsvorschriften selektiert werden. Die Bildinhalte der zusätzlichen Ausschnitte können im Schritt 804 des Vergleichens unter Verwendung der Verarbeitungsvorschrift verglichen werden, um weitere Bewertungskriterien der weiteren Formen zu erhalten.

Weitere Kamerabilder können mit dem hier vorgestellten Verfahren 800 verarbeitet werden. Beispielsweise kann im Schritt 802 des Selektierens ein dritter Ausschnitt aus einem dritten Kamerabild unter Verwendung der ersten Selektionsvorschrift selektiert werden. Weiterhin kann ein weiterer dritter Ausschnitt aus dem dritten Kamerabild unter Verwendung der zweiten

Selektionsvorschrift selektiert werden. Im Schritt 804 des Vergleichens kann ein Bildinhalt des dritten Ausschnitts unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des ersten Ausschnitts und/oder dem Bildinhalt des zweiten Ausschnitts verglichen werden, um ein zusätzliches erstes Bewertungskriterium der ersten Form zu erhalten. Ein Bildinhalt des weiteren dritten Ausschnitts kann unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des weiteren ersten Ausschnitts und/oder des Weiteren zweiten Ausschnitts verglichen werden, um ein zusätzliches zweites Bewertungskriterium der zweiten Form zu erhalten.

Fig. 9 zeigt eine Darstellung eines Ablaufs eines Verfahrens 900 zum Erzeugen einer Mehrzahl von Selektionsvorschriften gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 900 weist einen Schritt 902 des

Vorabberechnens, einen Schritt 904 des Kalibrierens, einen Schritt 906 des Ermitteins, einen Schritt 908 des Bestimmens und einen Schritt 910 des

Berechnens auf. Im Schritt 902 des Vorabberechnens werden 3-D- Formtemplates mit unterschiedlichen Parametern vorab berechnet. Im Schritt 904 des Kalibrierens werden Kameras eines Kamerasystems extern und intern kalibriert. Im Schritt 906 des Ermitteins werden Kamera-Überlappbereiche für alle vorgerechneten 3-D-Form-Templates durch Projektion in die jeweiligen

Kameraebenen ermittelt. Im Schritt 908 des Bestimmens werden Koordinaten der korrespondierenden Bildbereiche in den jeweiligen Kameraebenen bestimmt. Im Schritt 910 des Berechnens werden Parameter einer Interpolationsvorschrift, beispielsweise einer bilinearen Interpolation berechnet, mit deren Hilfe für jedes Pixel eines Bildbereiches eines ersten Kamerabildes der entsprechende Wert aus dem zweiten Kamerabild berechnet werden kann. Die Ergebnisse des Verfahrens 900 werden in einem Speicher beziehungsweise einer Look-Up- Tabelle abgespeichert.

Die so hinterlegten Informationen können gemäß dem hier vorgestellten Ansatz auf Kamerabilder 110, 112, 114, 116 aus der Rundumsicht angewendet werden. Die Kamerabilder 110, 112, 114, 116 können zur Laufzeit bearbeitet werden. Dabei können in einem Schritt 804 des Vergleichens Bildinhalte der

Kamerabilder 110, 112, 114, 116 für die Überlappungsbereiche jeweiliger Bildpaare beispielsweise mit SAD und/oder SSD verglichen werden und je eine Qualitätszahl für jedes Formtemplate bestimmt werden. Darauf basierend kann in einem Schritt 806 des Auswählens das Formtemplate mit der besten

Qualitätszahl als das zu verwendende 3-D Umfeldmodell ausgewählt werden.

Fig. 10 zeigt eine Darstellung von Schritten 802, 804 eines Verfahrens 800 zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder 110, 112 gemäß einem

Ausführungsbeispiel der vorliegenden Erfindung. Die Schritte 802, 804 entsprechen dabei den Schritten in Fig. 8. Im Schritt 802 des Selektierens werden die Kamerabilder 110, 112 bearbeitet. Dabei wird pro Kamerabild 110, 112 und pro zu bewertender Form der Projektionsfläche jeweils ein Teilbereich

1000, 1002, 1004, 1006 der Kamerabilder 110, 112 ausgewählt. Ein Teilbereich 1000, 1002, 1004, 1006 kann als Ausschnitt beziehungsweise Region von Interesse bezeichnet werden. Der Rest der Kamerabilder 110, 112 bleibt unbeachtet beziehungsweise wird ausgeblendet. Die Teilbereiche 1000, 1002, 1004, 1006 werden unter Verwendung von Selektionsvorschriften 1008, 1010 ausgewählt, die basierend auf der Form der jeweiligen Projektionsfläche vorab berechnet worden sind. Damit weisen die Selektionsvorschriften 1008, 1010 keinen Bezug zu Objekten 1012 auf, die in den Kamerabildern 110, 112 abgebildet sind. Eine Kontur der Teilbereiche 1000, 1002, 1004, 1006 ist nur abhängig von dem Überlappungsbereich, wie er in den Figuren 5 und 6 dargestellt ist.

Im Schritt 804 des Vergleichens werden die Bildinhalte der Ausschnitte 1000, 1002, 1004, 1006 verwendet, um festzustellen, welche Form der

Projektionsfläche besser zu den dargestellten Objekten 1012 passt. Dabei wird der Bildinhalt des ersten Ausschnitts 1000 aus dem ersten Kamerabild 110 mit dem Bildinhalt des zweiten Ausschnitts 1002 aus dem zweiten Kamerabild 112 verglichen. Der Vergleich erfolgt dabei pixelweise, da jedes Bildpixel des ersten Ausschnitts 1000 ein korrespondierendes Bildpixel im zweiten Ausschnitt 1002 aufweist. Intensitätswerte der Bildpixel werden miteinander verglichen und jeweils eine Intensitätsdifferenz berechnet. Aus den Intensitätsdifferenzen aller Bildpixel wird das Bewertungskriterium berechnet. Je ähnlicher die Bildinhalte der Ausschnitte 1000 und 1002 sind, umso geringer sind die Intensitätsdifferenzen. Mit dem weiteren ersten Ausschnitt 1004 und dem weiteren zweiten Ausschnitt 1006 wird genauso verfahren. Unter Verwendung der berechneten

Bewertungskriterien wird dann die für die Projektion besser passende Form der Projektionsfläche ausgewählt.

Mit anderen Worten wird die Form der "Bowl", also eine schalen- oder schüsselartige Form, zum Rendern während der Laufzeit durch die Projektion von Überlappbereichen 100, 1002, 1004, 1006 der Bowl in den Bilder 110, 112 und dem anschließenden Vergleich sowie eine Auswahl aus vordefinierten Bowl- Formen angepasst. Die Form der Bowl wird möglichst recheneffizient während der Laufzeit angepasst. Dazu wird zumindest ein Bereich der Bowl ausgewählt, in dem ein Bildüberlapp besteht. Insbesondere sind dies bei derzeitigen Systemen typischerweise vier Bereiche. Der Bereich 1000, 1002, 1004, 1006 wird in die beiden Bilder 110, 112 der Kameras projiziert, die sich im jeweiligen Bereich 1000, 1002, 1004, 1006 überlappen. Der Inhalt der identifizierten Bildbereiche

1000, 1002, 1004, 1006 wird verglichen. Beispielsweise erfolgt der Vergleich durch deren Form, Struktur, Fahrt oder Merkmalsinhalt. Der Vergleich erfolgt vorzugsweise in allen vier Überlappbereichen 1000, 1002, 1004, 1006. Es erfolgt eine Auswahl einer vordefinierten Bowl-Form aus einer abgespeicherten Formen- Bibliothek nach Best-fit- Kriterien.

Durch den hier vorgestellten Ansatz kann auf einen rechenintensiven Vergleich mittels Stereovergleichen in den Überlappbereichen 1000, 1002, 1004, 1006 verzichtet werden. Es kann Rechenkapazität eingespart werden. Das hier vorgestellte Verfahren 800 kann auf einem Grafikprozessor ausgeführt werden.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.

Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.

Umfasst ein Ausführungsbeispiel eine„und/oder"- Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.