Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SURROUND VIEW SYSTEM FOR A VEHICLE
Document Type and Number:
WIPO Patent Application WO/2018/108213
Kind Code:
A1
Abstract:
The invention relates to a surround view system for a vehicle. The surround view system comprises at least one real camera (2) for recording an image of the surroundings of the vehicle from a non-centred position, a virtual camera (7), an image processing unit and a display unit which is designed to display the projected representation of the image recorded by the real camera (2) and at least one geometric form (11 to 13) as an overlay over the image recorded by the real camera (2). The image processing unit is designed to project the image recorded by the real camera (2) onto a first plane (9) which is perpendicular to the real camera (2), in such a way that perspective distortions in the image recorded by the real camera (2), resulting from the non-centred position of the real camera (2), are eliminated, and to project the at least one geometric form (11 to 13) onto a second plane (10) which is perpendicular to the virtual camera (7), in such a way that the at least one geometric form (11 to 13) is represented on the display unit (4) in a non-distorted manner. The image processing unit is also designed to find an affine transformation (T) between the first plane (9) and the second plane (10) by means of a delta transformation between the real camera (2) and the virtual camera (7), and the affine transformation (T) found is applied to the first plane (9) that contains the image (8`) of the real camera (2), recorded, projected and corrected by the real camera (2), such that a modified representation (8λ``) of the corrected image (8`) of the real camera (2) is aligned with the at least one undistorted geometric form (11 to 13) in the second plane (10).

Inventors:
ARBEITER GEORG (DE)
MILZ STEFAN (DE)
PETZOLD JOHANNES (DE)
SCHREPFER JÖRG (DE)
DHANA SEKARAN SUDHAN (DE)
GARCIA MARQUES RODRIGO (DE)
Application Number:
PCT/DE2017/200113
Publication Date:
June 21, 2018
Filing Date:
October 25, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTI TEMIC MICROELECTRONIC GMBH (DE)
International Classes:
G06T15/20; G06T5/00
Foreign References:
US20150042799A12015-02-12
US20160311374A12016-10-27
US20110032374A12011-02-10
Other References:
None
Download PDF:
Claims:
Patentansprüche

1. Rundumsichtsystem für ein Fahrzeug (1) , das Rundumsichtsystem umfassend wenigstens eine reale Kamera (2) zur Aufnahme eines Bilds einer Umgebung (6) des Fahrzeugs (1) aus einer

nicht-zentrierten Position, eine virtuelle Kamera (7), eine Bildverarbeitungseinheit (3) und eine Anzeigeeinheit (4), wobei die Anzeigeeinheit (4) eingerichtet ist zur projizierten Darstellung

- des von der realen Kamera (2) aufgenommenen Bilds und

- wenigstens einer geometrischen Form (11 bis 13) als Overlay über dem von der realen Kamera (2) aufgenommenen Bild,

und wobei die Bildverarbeitungseinheit (3) dazu eingerichtet ist,

- das von der realen Kamera (2) aufgenommene Bild auf eine erste Ebene (9) zu projizieren, welche senkrecht zu der realen Kamera (2) steht, sodass in dem von der realen Kamera (2) aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera (2) ergeben, entzerrt werden,

- die wenigstens eine geometrische Form (11 bis 13) auf eine zweite Ebene (10) zu projizieren, welche senkrecht zu der virtuellen Kamera (7) steht, sodass die wenigstens eine geometrische Form (11 bis 13) unverzerrt auf der Anzeigeeinheit (4) dargestellt wird,

- eine affine Transformation (T) zwischen der ersten Ebene (9) und der zweiten Ebene (10) mittels einer Delta-Transformation zwischen der realen Kamera (2) und der virtuellen Kamera (7) zu finden, und

- die gefundene affine Transformation (T) auf die erste Ebene (9) anzuwenden, welche das von der realen Kamera (2) aufgenommene, projizierte und entzerrte Bild (8λ) von der realen Kamera (2) enthält, sodass eine modifizierte Darstellung (8λ λ) des entzerrten Bilds (8λ) der realen Kamera (2) mit der wenigstens einen unverzerrten geometrischen Form (11 bis 13) in der zweiten Ebene (10) ausgerichtet ist.

2. Fahrzeug (1) umfassend ein Rundumsichtsystem nach Anspruch 1 , wobei die reale Kamera (2) nicht-zentriert an dem Fahrzeug (1) montiert ist.

3. Verfahren zur Rundumsicht-Darstellung einer Umgebung (6) eines Fahrzeugs (1) nach Anspruch 2, das Verfahren umfassend die Schritte:

- Aufnehmen eines Bilds der Umgebung (6) des Fahrzeugs (1) mittels der realen Kamera (2),

- Projizieren des von der realen Kamera (2) aufgenommenen Bilds auf die erste Ebene (9), welche senkrecht zu der realen Kamera (2) steht, sodass in dem von der realen Kamera (2) aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera (2) ergeben, entzerrt werden,

- Projizieren der wenigstens einen geometrischen Form (11 bis 13) als Overlay auf die zweite Ebene (9), welche senkrecht zu der virtuellen Kamera (7) steht, sodass die wenigstens eine geometrische Form (11 bis 13) unverzerrt auf der Anzeigeeinheit (4) dargestellt wird,

- Finden einer affinen Transformation (T) zwischen der ersten Ebene (9) und der zweiten Ebene (10) mittels einer

Delta-Transformation zwischen der realen Kamera (2) und der virtuellen Kamera (7), und

- Anwenden der gefundenen affinen Transformation (T) auf die erste Ebene (9), welche das von der realen Kamera (2)

aufgenommene, projizierte und entzerrte Bild von der realen

Kamera (2) enthält, sodass eine modifizierte Darstellung (8λ λ) des entzerrten Bilds (8λ) der realen Kamera (2) mit der wenigstens einen unverzerrten geometrischen Form (11 bis 13) in der zweiten Ebene (10) ausgerichtet ist.

4. Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte nach Anspruch 3 durchzuführen.

5. Computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte nach Anspruch 3 durchzuführen.

Description:
Rundumsichtsystem für ein Fahrzeug

Die Erfindung betrifft ein Rundumsichtsystem für ein Fahrzeug. Ferner betrifft die Erfindung ein Verfahren zur

Rundumsicht-Darstellung einer Umgebung des Fahrzeugs. Weitere Ansprüche sind auf ein Programmelement und ein computerlesbares Medium zur Ausführung des Verfahrens gerichtet.

Darstellungen auf Anzeigeeinheiten eines Rundumsichtsystems beinhalten typischerweise ein projiziertes Bild einer realen Kamera, welches an einem Fahrzeug montiert ist und Aufnahmen der Umgebung des Fahrzeugs macht. Weiterhin sind geometrische Formen als Overlay über das projizierte Bild der Kamera gelegt, wobei es sich bei den geometrischen Formen z.B. um eine Trajektorie des Fahrzeugs handeln kann. Dabei muss das projizierte Bild der Kamera zu dem Overlay passen. Sofern die Kamera jedoch nicht-zentrisch an dem Fahrzeug montiert ist, sieht entweder der Overlay oder das Bild der Kamera verzerrt aus. Ein derartiges verzerrtes Aussehen ist unerwünscht.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein Rundumsichtsystem und ein Verfahren der eingangs genannten Art bereitzustellen, welche ermöglichen, dass sowohl der Overlay als auch das Bild der Kamera unverzerrt und in vorgesehener Weise zueinander ausgerichtet auf einer Anzeigeeinheit des Fahrzeugs dargestellt werden können.

Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren . Gemäß einem ersten Aspekt der Erfindung wird ein Rundumsichtsystem für ein Fahrzeug bereitgestellt.

Das Rundumsichtsystem umfasst wenigstens eine physische bzw. reale Kamera zur Aufnahme eines Bilds einer Umgebung des Fahrzeugs aus einer nicht-zentrierten Position. Bei der realen Kamera handelt es sich bevorzugt um eine digitale Kamera, welche Bildaufnahmen oder Filmaufnahmen von der Umgebung des Fahrzeugs machen kann und die Bildaufnahmen bzw. Filmaufnahmen

repräsentierende Daten speichern, ausgeben und übertragen kann. Das Rundumsichtsystem kann auch mehrere, z.B. vier reale Kameras umfassen, welche derart an dem Fahrzeug montiert werden können, dass einzelne Bilder der mehreren realen Kameras zu einem Gesamt-Rundumbild (z.B. einem 360 ° -Rundumbild des Fahrzeugs) zusammengesetzt werden können. Die wenigstens eine reale Kamera ist insbesondere dazu eingerichtet, eine Vielzahl von Bildern der Umgebung des Fahrzeugs aus einer nicht zentrierten Position aufzunehmen. Auch wenn die vorliegende Erfindung im Zusammenhang mit der Aufnahme eines einzigen Bilds einer einzigen Kamera erläutert ist, so gelten die Erläuterungen nichtsdestotrotz auch für die aus der nicht-zentrierten Position von der Umgebung des Fahrzeugs anderen Bilder der Vielzahl von Bildern, die mittels wenigstens einer realen Kamera aufgenommen werden können. Unter dem Merkmal der „nicht-zentrierten Position" kann in diesem Zusammenhang insbesondere verstanden werden, dass die Kamera bezüglich einer gedachten Längsachse des Fahrzeugs außermittig und schräg an oder in dem Fahrzeug montiert ist und einen Vorausbereich des Fahrzeugs erfassen kann.

Weiterhin umfasst das Rundumsichtsystem eine virtuelle Kamera, eine Bildverarbeitungseinheit und eine Anzeigeeinheit. Die Bildverarbeitungseinheit ist einerseits kommunikativ mit der realen Kamera verbunden. Andererseits ist die

Bildverarbeitungseinheit auch kommunikativ mit der Anzeigeeinheit verbunden. Auf diese Weise kann insbesondere die reale Kamera Bilddaten an die Bildverarbeitungseinheit übermitteln, die Bildverarbeitungseinheit kann die Bilddaten verarbeiten und die verarbeiteten Bilddaten an die

Anzeigeeinheit übertragen. Die Bildverarbeitungseinheit kann softwarebasiert implementiert sein.

Die Anzeigeeinheit ist einerseits dazu eingerichtet, das von der realen Kamera aufgenommene Bild projiziert darzustellen.

Andererseits ist die Anzeigeeinheit ebenfalls dazu eingerichtet, wenigstens eine geometrische Form als Overlay über dem von der realen Kamera aufgenommenen Bild projiziert darzustellen.

Die Bildverarbeitungseinheit ist dazu eingerichtet, das von der realen Kamera aufgenommene Bild auf eine erste Oberfläche oder Ebene zu projizieren, welche senkrecht zu der realen Kamera steht, sodass in dem von der realen Kamera aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der

nicht-zentrierten Position der realen Kamera ergeben, entzerrt werden.

Weiterhin ist die Bildverarbeitungseinheit dazu eingerichtet, die wenigstens eine geometrische Form auf eine zweite Oberfläche oder Ebene zu projizieren, welche senkrecht zu der virtuellen Kamera steht, sodass die wenigstens eine geometrische Form unverzerrt auf der Anzeigeeinheit dargestellt wird. Die reale Kamera ist somit strukturell körperlich vorhanden, wohingegen die virtuelle Kamera lediglich gedacht ist bzw. Eingang in das auf der Anzeigeeinheit dargestellte Bild findet und eine virtuelle Perspektive eines Nutzers des erfindungsgemäßen Rundumsichtsystems bzw. eines Fahrzeugs mit dem

erfindungsgemäßen Rundumsichtsystem repräsentiert. Die zweite Ebene ist diejenige Ebene, welche auf der Anzeigeeinheit dargestellt wird, z.B. auf einem Monitor im Bereich des Armaturenbretts des Fahrzeugs, und für einen Nutzer des Fahrzeugs sichtbar ist.

Ferner ist die Bildverarbeitungseinheit dazu eingerichtet, eine affine Transformation zwischen der ersten Ebene und der zweiten Ebene mittels einer Delta-Transformation zwischen der realen Kamera und der virtuellen Kamera zu finden, und die gefundene affine Transformation auf die erste Ebene anzuwenden, welche das von der realen Kamera aufgenommene, projizierte und entzerrte Bild von der realen Kamera enthält, sodass eine modifizierte Darstellung des entzerrten Bilds (welches in der ersten Ebene enthalten ist) der realen Kamera mit der wenigstens einen unverzerrten geometrischen Form in der zweiten Ebene

ausgerichtet ist.

Die Delta-Transformation berücksichtigt die Abweichungen der realen Kamera von der virtuellen Kamera bezüglich der

extrinsischen Kameraparameter und der intrinsischen

Kameraparameter. Damit Objekte innerhalb des Bilds, das von der realen Kamera aufgenommen wird, in der zweiten Ebene nicht schräg dargestellt werden, was perspektivisch korrekt wäre, wird bei der Delta-Transformation insbesondere berücksichtigt, dass die reale Kamera nicht-zentrisch an dem Fahrzeug montiert ist. Mittels der affinen Transformation wird das Bild der Kamera, welches auf die erste Ebene entzerrt projiziert worden ist, auf diese Weise künstlich derart verzerrt, als hätte man es von einer Position der virtuellen Kamera aus aufgenommen. Dadurch wird ermöglicht, Objekte, welche in dem von der realen Kamera aufgenommenen Bild enthalten sind, in der zweiten Ebene entzerrt darzustellen und gleichzeitig eine unverzerrte Darstellung wenigstens einer geometrischen Form, z.B. einer Trajektorie des Fahrzeugs, als Overlay in der zweiten Ebene zu ermöglichen, wobei die Objekte und die wenigstens eine geometrische Form in der zweiten Ebene zueinander korrekt ausgerichtet sind.

Gemäß einem zweiten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches ein Rundumsichtsystem gemäß dem ersten Aspekt der Erfindung umfasst, wobei die reale Kamera

nicht-zentriert an dem Fahrzeug montiert ist. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad.

Gemäß einem dritten Aspekt der Erfindung wird ein Verfahren zur Rundumsicht-Darstellung einer Umgebung eines Fahrzeugs nach dem zweiten Aspekt der Erfindung bereitgestellt. Das Verfahren umfasst ein Aufnehmen eines Bilds der Umgebung des Fahrzeugs mittels der realen Kamera und ein Projizieren des von der realen Kamera aufgenommenen Bilds auf die erste Ebene, welche senkrecht zu der realen Kamera steht, sodass in dem von der realen Kamera aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera ergeben, entzerrt werden. Weiterhin erfolgt ein Projizieren der wenigstens einen geometrischen Form als Overlay auf die zweite Ebene, welche senkrecht zu der virtuellen Kamera steht, sodass die wenigstens eine geometrische Form unverzerrt auf der Anzeigeeinheit dargestellt wird. Ferner wird eine affine Transformation zwischen der ersten Ebene und der zweiten Ebene mittels einer Delta-Transformation zwischen der realen Kamera und der virtuellen Kamera gefunden, und die gefundene affine Transformation auf die erste Ebene angewendet, welche das von der realen Kamera aufgenommene, projizierte und entzerrte Bild von der realen Kamera enthält, sodass eine modifizierte Darstellung des entzerrten Bilds (welches in der ersten Ebene enthalten ist) der realen Kamera mit der wenigstens einen unverzerrten geometrischen Form in der zweiten Ebene ausgerichtet ist.

Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß dem Verfahren nach dem dritten Aspekt der Erfindung durchzuführen.

Gemäß einem fünften Aspekt der Erfindung wird ein

computerlesbares Medium bereitgestellt, auf dem ein

Programmelement gemäß dem vierten Aspekt der Erfindung gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß dem Verfahren nach dem dritten Aspekt der Erfindung durchzuführen.

Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt

Fig. 1 eine Seitenansicht eines Fahrzeugs mit einem

Ausführungsbeispiel eines erfindungsgemäßen RundumsichtSystems ,

Fig. 2 eine stark vereinfachte Draufsicht auf das Fahrzeug nach Fig. 1 und

Fig. 3 eine prinzipielle Darstellung einer möglichen

Arbeitsweise des Rundumsichtsystems nach Fig. 1.

Fig. 1 und 2 zeigen ein Fahrzeug 1 in Form eines Kraftfahrzeugs. Das Fahrzeug 1 umfasst wenigstens eine digitale physische bzw. reale Kamera 2, eine Bildverarbeitungseinheit 3 und eine Anzeigeeinheit 4 in Form eines Monitors innerhalb des Fahrzeugs 1 in einem Sichtbereich eines nicht gezeigten Nutzers. Die Bildverarbeitungseinheit 3 ist kommunikativ mit der realen Kamera 2 und mit der Anzeigeeinheit 4 verbunden, sodass die reale Kamera 2 aufgenommene Bilder repräsentierende Bilddaten an die Bildverarbeitungseinheit 3 übermitteln kann, welche wiederum die empfangenen Bilddaten verarbeiten und die verarbeiteten

Bilddaten an die Anzeigeeinheit 4 übertragen kann. Die

Bildverarbeitungseinheit 3 alternativ auch in die reale Kamera 2 oder die Anzeigeeinheit 4 integriert sein.

Das Fahrzeug 1 bewegt sich auf einer Straße 5 und die reale Kamera 2 ist derart an dem Fahrzeug 1 montiert, dass die reale Kamera 2 Bilder von einem Vorausbereich 6 in einer äußeren Umgebung des Fahrzeugs 1 machen kann. Wie aus Fig. 2 ersichtlich, ist die reale Kamera 2 nicht-zentriert an dem Fahrzeug 1 montiert. In Fig. 2 ist eine Längsachse L des Fahrzeugs 1 dargestellt, wobei die reale Kamera 2 seitlich versetzt neben der Längsachse L des Fahrzeugs 1 an dem Fahrzeug 1 montiert ist. Fig. 2 zeigt weiterhin, dass die reale Kamera 2 schräg, d.h. nicht parallel zur Längsachse L des Fahrzeugs 1 an dem Fahrzeug montiert sein kann. Die reale Kamera 2, die Bildverarbeitungseinheit 3 und die Anzeigeeinheit 4 bilden gemeinsam das Rundumsichtsystem des Fahrzeugs 1, wobei die Bildverarbeitungseinheit 3 zusätzlich eine nicht vorhandene, virtuelle Kamera 7 erzeugt.

Fig. 3 zeigt, wie ein von der realen Kamera 2 aufgenommenes Bild der Umgebung 6 des Fahrzeugs 1 verarbeitet werden kann, um auf der Anzeigeeinheit 4 des Fahrzeugs 1 in einem Rundumbild des Fahrzeugs 1 dargestellt zu werden. Das von der realen Kamera 2 aufgenommene Bild enthält mehrere Objekte, wobei in Fig. 3 eines dieser Objekte 8 stark schematisch dargestellt ist. Bei dem Objekt 8 kann es sich beispielsweise um eine Stoßstange eines weiteren Fahrzeugs (nicht dargestellt) in dem Vorausbereich des Fahrzeugs 1 handeln. Obwohl die Arbeitsweise des

Rundumsichtsystems im Folgenden anhand des Objekts 8 erläutert wird, gelten diese Erläuterungen ebenso für die übrigen Objekte (nicht gezeigt) , welche in dem von der realen Kamera 2 aufgenommenen Bild enthalten sind.

Das von der realen Kamera 2 aufgenommene Bild mit dem Objekt 8 wird auf eine erste Oberfläche oder Ebene 9 projiziert, welche senkrecht zu der realen Kamera 2 steht, sodass in dem von der realen Kamera 2 aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera 2 ergeben, entzerrt werden. Auf diese Weise entsteht eine erste modifizierte Darstellung 8 λ des Objekts 8 innerhalb der ersten Ebene 9. Die Bildinhalte der ersten Ebene 9 werden nicht auf der Anzeigeeinheit 4 des Fahrzeugs 1 dargestellt, sondern die Bildinhalte einer zweiten Ebene 10, welche im Folgenden erläutert wird .

Die Bildverarbeitungseinheit 3 projiziert wenigstens eine geometrische Form 11 bis 13 als Overlay auf die zweite Ebene 10, welche senkrecht zu der virtuellen Kamera 7 steht, sodass die zweite Ebene 10 mit der wenigstens einen geometrischen Form 11 bis 13 unverzerrt auf der Anzeigeeinheit 4 des Fahrzeugs 1 dargestellt wird. In Fig. 3 sind beispielhaft drei geometrische Formen gezeigt, welche eine vorgesehene Trajektorie des

Fahrzeugs 1 beschreiben. Weiterhin findet die Bildverarbeitungseinheit 3 eine affine

Transformation T zwischen der ersten Ebene 9 und der zweiten Ebene 10 mittels einer Delta-Transformation zwischen der realen Kamera 2 und der virtuellen Kamera 7 und wendet die gefundene affine Transformation T auf die erste Ebene 9 an, welche die erste modifizierte Darstellung 8 λ des Objekts 8 enthält. Auf diese Weise entsteht eine zweite modifizierte Darstellung 8 λ λ des Objekts 8 innerhalb der zweiten Ebene 10, wobei diese zweite modifizierte Darstellung 8 λ λ mit der wenigstens einen

unverzerrten geometrischen Form 11 bis 13 in der zweiten Ebene 10 ausgerichtet ist. Die zweite Ebene mit der modifizierten Darstellung 8 λ λ des Objekt 8 und den geometrischen Formen 11 bis 13 wird auf der Anzeigeeinheit 4 dargestellt.