Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR COMBINING A PLURALITY OF CAMERA IMAGES
Document Type and Number:
WIPO Patent Application WO/2018/133996
Kind Code:
A1
Abstract:
The present invention relates to a method for combining a plurality of camera images into an overall image, comprising the steps: capturing (100) an environment with a plurality of cameras so that the plurality of camera images is generated; specifying (200) an overall perspective from which the overall image is to be viewed; identifying (300) shadow regions in the camera images which do not show any reproduction of the environment when viewing the camera images from the overall perspective because of shading; checking (400) whether shadow regions in a camera image correspond with regions in the environment which are shown by a different camera image; substituting (500) the shadow regions with corresponding regions from the other camera image, if it was determined in the checking (400) step that another camera image of this kind is available; and combining (600) the camera images into the overall image.

Inventors:
CANO RAPHAEL (DE)
ESPARZA GARCIA JOSE DOMINGO (DE)
Application Number:
PCT/EP2017/082248
Publication Date:
July 26, 2018
Filing Date:
December 11, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
G06T3/40; B60R1/00; G06T5/00; G06T5/50
Foreign References:
DE102014207897A12015-10-29
DE102009036200A12010-05-06
EP1775952A22007-04-18
DE102014012250A12015-03-26
DE102010042026A12012-04-12
US20100259372A12010-10-14
Other References:
None
Download PDF:
Claims:
Ansprüche 1 . Verfahren zum Kombinieren einer Vielzahl von Kamerabildern (7, 8, 9, 10) zu einem Gesamtbild (1 1 ), umfassend die Schritte:

• Erfassen (100) einer Umgebung (2) mit einer Vielzahl von Kameras (3, 4, 5, 6), sodass die Vielzahl von Kamerabildern (7, 8, 9, 10) generiert wird,

• Festlegen (200) einer Gesamtperspektive, aus der das Gesamtbild (1 1 ) betrachtet werden soll,

• Erkennen (300) von Schattenbereichen (12, 13, 14, 15, 16, 17) in den Kamerabildern (7, 8, 9, 10), die bei Betrachtung der Kamerabilder (7, 8, 9, 10) aus der Gesamtperspektive aufgrund von Abschattungen keine Wiedergabe der Umgebung (2) zeigen,

· Überprüfen (400), ob Schattenbereiche (12, 13, 14, 15, 16, 17) in einem

Kamerabild (7, 8, 9, 10) mit Bereichen der Umgebung (2)

korrespondieren, die von einem anderen Kamerabild (7, 8, 9, 10) dargestellt werden,

• Ersetzen (500) der Schattenbereiche (12, 13, 14, 15, 16, 17) durch

entsprechende Bereiche aus dem anderen Kamerabild (7, 8, 9, 10), falls im Schritt des Überprüfens (400) festgestellt wurde, dass ein solches anderes Kamerabild (7, 8, 9, 10) vorhanden ist, und

• Kombinieren (600) der Kamerabilder (7, 8, 9, 10) zu dem Gesamtbild (1 1 ).

2. Verfahren nach Anspruch 1 , gekennzeichnet durch den Schritt:

• Anzeigen (700) von vordefinierten Grafiken oder farbigen Flächen an den Schattenbereichen (12, 13, 14, 15, 16, 17), falls im Schritt des

Überprüfens (400) festgestellt wurde, dass kein solches anderes

Kamerabild (7, 8, 9, 10) vorhanden ist.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass das die Kamerabilder (7, 8, 9, 10) in dem Gesamtbild (1 1 ) an jeweiligen Nahtlinien (18, 19, 20, 21 ) aneinandergrenzen, wobei das Ersetzen (500) durch Verschieben der Nahtlinien (18, 19, 20, 21 )

durchgeführt wird. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Nahtlinien (18, 19, 20, 21 ) derart verschoben werden, dass nur solche Teile eines Kamerabilds (7, 8, 9, 10) für das Gesamtbild (1 1 ) verwendet werden, die keine Schattenbereiche (12, 13, 14, 15, 16, 17) aufweisen.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass das Festlegen (200) der Gesamtperspektive durch eine Benutzereingabe erfolgt.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass das Erkennen (300) von Schattenbereichen (12, 13, 14, 15, 16, 17) derart durchgeführt wird, dass mittels Abstandsensoren ein Objekt (23, 24, 25) in der Umgebung (2) erkannt wird, das zumindest einen Teilbereich eines Erfassungsbereichs zumindest einer Kamera (3, 4, 5, 6) abschattet.

7. Steuergerät (22), welches zum Durchführen eines Verfahrens gemäß einem der vorhergehenden Ansprüche eingerichtet ist. 8. Fahrzeug (1 ) umfassend eine Vielzahl von Kameras (3, 4, 5, 6) zum

Erfassen einer Umgebung (2) des Fahrzeugs (1 ) sowie ein Steuergerät (22) nach Anspruch 7.

9. Fahrzeug (1 ) nach Anspruch 8, dadurch gekennzeichnet, dass die Kameras (3, 4, 5, 6) sich überlappende Erfassungsbereiche aufweisen.

10. Fahrzeug (1 ) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Vielzahl von Kameras (3, 4, 5, 6) ein Erfassen einer gesamten Umgebung (2) rund um das Fahrzeug (1 ) erlauben.

Description:
Beschreibung Titel

Verfahren zum Kombinieren einer Vielzahl von Kamerabildern Stand der Technik

Die vorliegende Erfindung betrifft ein Verfahren zum Kombinieren einer Vielzahl von Kamerabildern. Außerdem betrifft die Erfindung ein Steuergerät für ein Fahrzeug sowie ein Fahrzeug umfassend ein derartiges Steuergerät.

Aus dem Stand der Technik sind Fahrzeuge bekannt, die eine Vielzahl von Kameras aufweisen. Die Bilder dieser Kameras sollen oftmals kombiniert werden, um daraus virtuelle Perspektiven erstellen zu können. Beispielsweise können Kameras eines Fahrzeugs die Umgebung des Fahrzeugs in einem Winkel von 360 Grad abtasten. Aus diesen Kamerabildern soll anschließend ein gemeinsames Bild aus einer virtuellen Vogelperspektive erstellt werden. Dabei kann es passieren, dass aus der virtuellen Perspektive Bereiche der Umgebung erkennbar sind, die aus der tatsächlichen Sicht der Kamera nicht erkennbar sind. Solche Bereiche können beispielsweise Bereiche hinter Hindernissen, wie Mauern oder Fahrzeugen, sein. Die tatsächliche Kamera kann nicht durch das Hindernis hindurchblicken, aus der virtuellen Vogelperspektive könnten die Bereiche hinter dem Hindernis jedoch eindeutig erkannt werden. Im Stand der Technik muss somit für solche Bereiche, für die keinerlei Bildmaterial vorliegt, eine Grafik angezeigt werden, die auf das Fehlen von Bildmaterial hinweist. Somit verliert das Gesamtbild an Informationen.

Offenbarung der Erfindung

Das erfindungsgemäße Verfahren zum Kombinieren einer Vielzahl von

Kamerabildern ermöglicht die Anzahl von Schattenbereichen, an denen keinerlei Bildmaterial vorliegt, in dem kombinierten Gesamtbild zu minimieren. Dazu wird insbesondere eine Überprüfung durchgeführt, ob abgeschattete Bereiche in dem Kamerabild einer einzelnen Kamera ebenfalls durch andere Kameras

aufgenommen wurden. Ist dies der Fall, so kann der abgeschattete Bereich in dem Kamerabild mit Bildmaterial von einer anderen Kamera gefüllt werden. Auf diese Weise wird der Gesamtinhalt des kombinierten Gesamtbilds erhöht.

Das erfindungsgemäße Verfahren zum Kombinieren einer Vielzahl von

Kamerabildern zu einem Gesamtbild umfasst die folgenden Schritte: Zunächst erfolgt ein Erfassen einer Umgebung mit einer Vielzahl von Kameras. Auf diese Weise wird eine Vielzahl von Kamerabildern generiert. Besonders vorteilhaft ist dabei vorgesehen, dass sich die Kamerabilder in ihren Erfassungsbereichen zumindest teilweise überschneiden. Nach dem Erfassen erfolgt ein Festlegen einer Gesamtperspektive, aus der das Gesamtbild betrachtet werden soll. Bei der Gesamtperspektive handelt es sich somit um eine virtuelle Perspektive, aus der das Gesamtbild betrachtet werden soll. Dies bedeutet, dass eine Verzerrung der Kamerabilder notwendig ist, wobei die Kamerabilder außerdem zu dem

Gesamtbild kombiniert werden müssen. Danach erfolgt ein Erkennen von Schattenbereichen in den Kamerabildern. Die Schattenbereiche sind in den Kamerabildern insbesondere dann erkennbar, wenn die Kamerabilder bei der Betrachtung der Kamerabilder aus der Gesamtperspektive aufgrund von

Abschattungen keine Wiedergabe der Umgebung zeigen. Dies bedeutet, dass das Erkennen der Schattenbereiche nach dem Transformieren der Kamerabilder erfolgt, wobei das Transformieren der Kamerabilder ein Umwandeln der

Betrachtungsperspektive der Kamerabilder umfasst. Die Schattenbereiche können somit nicht zum Informationsgehalt des Gesamtbildes beitragen und sind wenn möglich zu vermeiden. Somit erfolgt ein Schritt eines Überprüfens, ob

Schattenbereiche in einem Kamerabild mit Bereichen der Umgebung

korrespondieren, die in einem anderen Kamerabild dargestellt werden. Ist dies der Fall, so besteht die Möglichkeit, Schattenbereiche zu vermeiden. Somit erfolgt ein weiterer Schritt des Ersetzens der Schattenbereiche durch

entsprechende Bereiche aus dem anderen Kamerabild, falls in dem zuvor beschriebenen Schritt des Überprüfens festgestellt wurde, dass ein solches anderes Kamerabild vorhanden ist. Insbesondere bedeutet dies, dass in dem Schritt des Überprüfens festgestellt wurde, dass ein anderes Kamerabild

Bereiche der Umgebung erfasst, die in dem aktuellen Kamerabild lediglich als Schattenbereiche dargestellt sind. Durch das Ersetzen der Schattenbereiche ist somit ein Informationsgehalt der Kamerabilder erhöht. Anschließend erfolgt das Kombinieren der Kamerabilder zu einem Gesamtbild. Das Gesamtbild weist somit eine minimierte Anzahl von Schattenbereichen auf. Somit sind

Informationen in dem Gesamtbild maximiert. Insbesondere erfolgt ein maximales Verwerten von Informationen aus den einzelnen Kamerabildern. Wird das Gesamtbild einem Benutzer zur Betrachtung dargestellt, so erhält dieser Benutzer ein vollumfängliches Bild der Umgebung, wobei insbesondere störende

Grafiken, die aufgrund der Schattenbereiche eingeblendet werden müssten, in ihrer Anzahl minimiert sind. Dies führt zu einem komfortablen Betrachten des Gesamtbildes. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum

Inhalt.

Bevorzugt erfolgt ein Schritt des Anzeigens von vordefinierten Grafiken oder farbigen Flächen an den Schattenbereichen, falls im Schritt des Überprüfens festgestellt wurde, dass kein anderes Kamerabild einen Schattenbereich darstellt. In diesem Fall besteht keinerlei Möglichkeit, den Schattenbereich durch andere Bildbereiche zu ersetzen. Der abgeschattete Bereich der Umgebung ist damit durch das Gesamtbild nicht darstellbar. In diesem Fall erfolgt somit das Anzeigen einer Grafik und/oder einer farbigen Fläche. Somit wird insbesondere das Darstellen von Verzerrungen des Hindernisses vermieden. Ein solches

Darstellen des verzerrten Hindernisses würde ansonsten aufgrund der Änderung der Perspektive von der Kameraperspektive auf die Gesamtperspektive erfolgen. Dies wiederum würde zu einem unübersichtlichen Gesamtbild führen. Vorteilhafterweise grenzen die einzelnen Kamerabilder in dem Gesamtbild an jeweiligen Nahtlinien aneinander. Der zuvor beschriebene Schritt des Ersetzens wird vorteilhafterweise derart durchgeführt, dass die Nahtlinien verschoben werden. Auf diese Weise ist somit vorgesehen, dass solche Bereiche der einzelnen Kamerabilder für die Generierung des Gesamtbildes nicht verwendet werden, wenn diese Schattenbereiche umfassen und gleichzeitig dieselben

Bereiche durch ein anderes Kamerabild abgedeckt sind. Ein derartiges

Verschieben der Nahtstellen kann somit dazu führen, dass das Kamerabild von einer Kamera nur zu einem minimalen Anteil für die Generierung des

Gesamtbildes verwendet wird, während das Kamerabild einer anderen Kamera für einen Großteil des Gesamtbildes verwendet wird. Das Verschieben der

Nahtlinien erfolgt vorteilhafterweise dynamisch, sodass die nach vorhandenen Hindernissen in einer Umgebung die Nahtlinien unterschiedlich angeordnet sein können. In jedem Fall werden die Nahtlinien derart gelegt, dass eine minimale Anzahl von Schattenbereichen in dem Gesamtbild vorhanden ist.

Besonders vorteilhaft werden somit nur solche Teile eines Kamerabilds für das Gesamtbild verwendet, die keine Schattenbereiche aufweisen. Dies bedeutet, dass die gesamte Anzahl an Schattenbereichen in dem Kamerabild minimiert ist. Das Kamerabild weist somit einen maximalen Informationsgehalt auf.

Insbesondere ist außerdem ein Betrachten des Gesamtbildes für einen Benutzer vereinfacht, da dieser eine nahezu vollständige Abbildung der Umgebung sieht. Nur eine minimierte Anzahl von Bereichen der Umgebung kann nicht dargestellt werden.

Das Festlegen der Gesamtperspektive erfolgt vorteilhafterweise durch eine Benutzereingabe. Insbesondere erfolgt das Festlegen der Gesamtperspektive dadurch, dass der Benutzer eine entsprechende Abbildung anfordert. Dies kann auch das Auswählen aus einer Vielzahl von vordefinierten Gesamtperspektiven umfassen. Alternativ kann die Auswahl der Gesamtperspektive auch automatisch erfolgen, insbesondere dann, wenn eine Animation oder ähnliches dargestellt werden soll, bei der sich die Gesamtperspektive analog zu einem

Kameraschwenk verändert.

Das Erkennen von Schattenbereichen wird bevorzugt derart durchgeführt, dass mittels Abstandssensoren ein Objekt in der Umgebung erkannt wird. Das Objekt schattet zumindest einen Teilbereich des Erfassungsbereichs einer der Kameras ab. Somit ist davon auszugehen, dass bei einer Änderung der Perspektive das

Hindernis verzerrt dargestellt wird, ein Informationsgehalt der Umgebung hinter dem Hindernis jedoch nicht dargestellt werden kann. Somit ist ein

Schattenbereich vorhanden, der, wie zuvor beschrieben, vorteilhafterweise durch Bereiche anderer Kamerabilder ersetzt wird. Anhand der Abstandsensoren, die vorteilhafterweise Ultraschallsensoren umfassen, ist insbesondere eine Größe des Objekts abschätzbar. Anhand der Größe des Objekts kann ermittelt werden, welcher Teilbereich des Erfassungsbereichs der Kamera abgeschattet ist. Somit lässt sich das Ausmaß des Schattenbereichs bestimmen. Auch die Lage des Schattenbereichs in dem transformierten Bild der Kamera ist somit ermittelbar. Wie zuvor bereits beschrieben, ist unter einem transformierten Bild zu verstehen, dass das Bild bereits in die Gesamtperspektive umgewandelt wurde. Die Erfindung betrifft außerdem ein Steuergerät. Das Steuergerät dient zum Durchführen des zuvor beschriebenen Verfahrens. Dazu ist das Steuergerät vorteilhafterweise mit einer Vielzahl von Kameras verbunden. Insbesondere ist das Steuergerät Teil eines Fahrzeugs.

Die Erfindung betrifft außerdem ein Fahrzeug, umfasst eine Vielzahl von Kameras sowie ein Steuergerät, wie zuvor beschrieben. Die Vielzahl von Kameras ist zum Erfassen einer Umgebung des Fahrzeugs ausgebildet. Somit lässt sich aus den Kamerabildern der Vielzahl von Kameras eine Umgebung des Fahrzeugs darstellen, wobei die Kamerabilder vorteilhafterweise zu einem

Gesamtbild kombiniert werden. Das Gesamtbild kann dann insbesondere aus unterschiedlichen Gesamtperspektiven betrachtet werden, was zu dem oben beschriebenen Auftreten von Schattenbereichen führen kann. Insbesondere ist bei Fahrzeugen vorteilhaft, wenn aus den einzelnen Kamerabildern der Vielzahl von Kameras eine virtuelle Vogelperspektive auf das Fahrzeug sowie auf die

Umgebung des Fahrzeugs generiert wird.

Vorteilhafterweise ist vorgesehen, dass die Kameras sich überlappende

Erfassungsbereiche aufweisen. Dies ist bei Kameras, die an Fahrzeugen verwendet werden, üblicherweise der Fall, da zumeist Weitwinkelkameras verwendet werden. Durch das Überlappen der Erfassungsbereiche ist die Möglichkeit gegeben, dass eine der Kameras Bereiche der Umgebung erfasst, die eine andere Kamera nicht erfassen kann, da ein Objekt dies abschirmt. Die Vielzahl von Kameras ist vorteilhafterweise zum Erfassen einer gesamten

Umgebung rund um das Fahrzeug ausgebildet. Somit stellen die Kameras eine 360-Grad-Überwachung dar. Dies bedeutet, dass eine umfassende Darstellung der Umgebung des Fahrzeugs erfolgen kann. Insbesondere lässt sich eine Vogelperspektive generieren, die vollständig eine

Umgebung des Fahrzeugs umfasst. Diese Vogelperspektive kann insbesondere durch die Minimierung der Schattenbereiche, wie zuvor beschrieben, optimiert werden. Dabei ist insbesondere ermöglicht, auch Bildbereiche mit geringer Qualität für die Generierung des Gesamtbildes zu verwenden, solange diese Bildbereiche das Ersetzen von Schattenbereichen erlauben.

Kurze Beschreibung der Zeichnungen Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist:

Figur 1 eine schematische Ansicht eines Ablaufs des Verfahrens

gemäß einem Ausführungsbeispiel der Erfindung,

Figur 2 eine schematische Ansicht eines Fahrzeuges gemäß einem

Ausführungsbeispiel der Erfindung und

Figur 3 schematische Ansicht eines Gesamtbildes während der

Optimierung durch das Verfahren gemäß dem Ausführungsbeispiel der Erfindung.

Figur 1 zeigt schematisch einen Ablauf eines Verfahrens zum Kombinieren einer Vielzahl von Kamerabildern gemäß einem Ausführungsbeispiel der Erfindung. Das Verfahren ist insbesondere von einem Steuergerät 22 ausführbar. Das Steuergerät 22 ist in Figur 2 gezeigt. Figur 2 zeigt ein Fahrzeug 1 umfassend das Steuergerät 22, wobei das Fahrzeug 1 außerdem eine erste Kamera 3, eine zweite Kamera 4, eine dritte Kamera 5 und eine vierte Kamera 6 umfasst. Die erste Kamera 3, die zweite Kamera 4, die dritte Kamera 5 und die vierte Kamera 6 sind mit dem Steuergerät 22 zur Signalübertragung verbunden. Dabei ist vorgesehen, dass jede der Kameras 3, 4, 5, 6 eine Richtung des Fahrzeugs 1 erfasst. So ist die erste Kamera 3 nach vorne, das bedeutet in Fahrtrichtung des Fahrzeuges 1 , ausgerichtet, während die vierte Kamera 6 nach hinten, das bedeutet entgegen einer Fahrtrichtung, ausgerichtet ist. Die zweite Kamera 4 weist auf eine rechte Seite des Fahrzeugs 1 , während die dritte Kamera 5 auf eine linke Seite des Fahrzeugs 1 weist. Die Erfassungsbereiche der ersten Kamera 3 und der zweiten Kamera 4 sowie der dritten Kamera 5 überlappen sich teilweise. Ebenso überlappt der Erfassungsbereich der zweiten Kamera 4 zusätzlich mit dem Erfassungsbereich der vierten Kamera 6. Der

Erfassungsbereich der vierten Kamera 6 überlappt außerdem zusätzlich mit dem Erfassungsbereich der dritten Kamera 5.

Durch die Kameras 3, 4, 5, 6 ist somit eine Umgebung 2 des Fahrzeugs 1 vollständig erfassbar. Dabei werden einzelne Teilbereiche der Umgebung 2 durch zwei Kameras 3, 4, 5, 6 abgetastet. Das Steuergerät ist dabei eingerichtet, die einzelnen Kamerabilder der Kameras 3, 4, 5, 6 zu einem Gesamtbild zu kombinieren. Dies erfolgt gemäß dem Verfahren, dessen Ablauf schematisch in Figur 1 gezeigt ist. Zunächst erfolgt ein Erfassen 100 der Umgebung 2 mit den Kameras 3, 4, 5, 6.

Dabei generiert jede Kamera 3, 4, 5, 6 ein einzelnes Bild, sodass eine Vielzahl von einzelnen Kamerabildern vorliegt. Anschließend erfolgt ein Festlegen 200 einer Gesamtperspektive, aus der das Gesamtbild, das aus den einzelnen Kamerabildern generiert werden soll, betrachtet werden soll. Vorteilhaft handelt es sich bei der Gesamtperspektive um eine Vogelperspektive, sodass die Bilder der Kameras 3, 4, 5, 6 aus einer virtuellen Vogelperspektive betrachtet werden sollen.

Das Erfassen 100 und das Festlegen 200 führt insbesondere dazu, dass die erfassten Kamerabilder in eine Perspektive gewandelt werden, die der

Gesamtperspektive entspricht. Dies ist insbesondere aus Figur 3 erkennbar. Figur 3 zeigt bereits das Gesamtbild 1 1 , wobei das Gesamtbild 1 1 noch nicht sämtliche Schritte des Verfahrens, wie in Figur 1 schematisch dargestellt, durchlaufen hat. Allerdings ist ersichtlich, dass ausgehend von dem Fahrzeug 1 ein erstes Bild 7 der ersten Kamera 3, ein zweites Bild 8 der zweiten Kamera 4, ein drittes Bild 9 der dritten Kamera 5 und ein viertes Bild 10 der vierten Kamera 6 erfasst wurde. Diese Kamerabilder 7, 8, 9, 10 überlappen sich teilweise, wobei die überlappenden Bereiche nicht dargestellt sind. Erfolgt das Transformieren der Kamerabilder von der realen Perspektive in die Gesamtperspektive, so besteht die Gefahr, dass nicht alle Bereiche der Umgebung 2 durch die Kameras 3, 4, 5,

6 erfasst werden können. Dies wird in einem Schritt des Erkennens 300 von Schattenbereichen 12, 13, 14, 15, 16, 17 in den Kamerabildern ermittelt. Bei den Schattenbereichen 12, 13, 14, 15, 16, 17 handelt es sich um solche Bereiche der Kamerabilder 7, 8, 9, 10, die in der Gesamtperspektive aufgrund von

Abschattungen keine Wiedergabe der Umgebung 2 erlauben. So ist

beispielsweise ein erstes Objekt 23 vor dem Fahrzeug 1 vorhanden. Die erste Kamera 3 kann somit nicht die gesamte Umgebung 2 vor dem Fahrzeug 1 erfassen, da ein Teilbereich des Erfassungsbereichs der ersten Kamera 3 durch das erste Objekt 23 abgeschirmt ist. Insbesondere lässt sich somit ein erster Schattenbereich 12 auf der linken Seite des ersten Objekts 23 und ein zweiter

Schattenbereich 13 auf der rechten Seite des ersten Objekts 23 nicht mit Informationen über die Umgebung 2 füllen, vielmehr ist es der ersten Kamera 3 nicht möglich, besagte Bereiche der Umgebung zu erfassen. Wird das von der ersten Kamera 3 generierte erste Kamerabild 7 aus der realen

Kamera Perspektive der ersten Kamera 3 betrachtet, so fällt dieser

Informationsverlust nicht auf. Vielmehr wird der Informationsverlust erst dann sichtbar, wenn das erste Kamerabild 7 in die Gesamtperspektive transformiert wurde. In der Gesamtperspektive sind Bereiche vorhanden, die aufgrund der Abschattung durch das erste Objekt 3 nicht durch die erste Kamera 3 mit Informationen gefüllt werden können. Der gleiche Effekt tritt auch bei der zweiten Kamera 4 auf, da deren

Erfassungsbereich teilweise durch ein zweites Hindernis 24 abgeschattet wird. Auf diese Weise ist ein zweiter Schattenbereich 14 und ein dritter

Schattenbereich 15 vorhanden. Schließlich tritt derselbe Effekt bei der dritten Kamera 5 auf. Hier schattet ein drittes Objekt 25 den Erfassungsbereich der dritten Kamera 5 teilweise ab, sodass der fünfte Schattenbereich 16 und der sechste Schattenbereich 17 vorhanden sind. All diese Schattenbereiche 12, 13, 14, 15, 16, 17 werden im Schritt des Erkennens 300 ermittelt.

Nach dem Erkennen 300 der Schattenbereiche 12, 13, 14, 15, 16, 17 erfolgt ein Überprüfen 400, ob die Schattenbereiche 12, 13, 14, 15, 16, 17 in einem

Kamerabild 7, 8, 9, 10 mit Bereichen der Umgebung 2 korrespondieren, die von einem anderen Kamerabild 7, 8, 9, 10 dargestellt werden.

Während des Schritts des Überprüfens 400 wird somit insbesondere festgestellt, dass der erste Schattenbereich 12 im ersten Kamerabild 7 mit einem Bereich der

Umgebung 2 korrespondiert, der innerhalb des Erfassungsbereichs der dritten Kamera 5 liegt. Somit zeigt ein (in Figur 3 nicht dargestellter) Teilbereich des dritten Kamerabilds 9 denjenigen Bereich der Umgebung 2, der im ersten Kamerabild 7 aufgrund des ersten Schattenbereichs 12 nicht dargestellt ist.

Dasselbe gilt für den zweiten Schattenbereich 13, da der zweite

Schattenbereich 13 einen Bereich der Umgebung 2 umfasst, der von der zweiten Kamera 4 erfasst wird. Somit ist ein (in Figur 3 nicht dargestellter) Bereich des zweiten Kamerabilds 8 vorhanden, der den im ersten Kamerabild 7 aufgrund des zweiten Schattenbereichs 13 nicht dargestellten Bereich der Umgebung 2 zeigt. Dasselbe gilt auch für das zweite Kamerabild 8 und das dritte Kamerabild 9. So wird der Bereich der Umgebung 2, der zu dem dritten Schattenbereich 14 korrespondiert, von der ersten Kamera 3 erfasst. Derjenige Bereich der

Umgebung, der zu dem vierten Schattenbereich 15 korrespondiert, wird von der vierten Kamera 6 erfasst. Derjenige Bereich der Umgebung, der zu dem fünften

Schattenbereich 16 korrespondiert, wird wiederum von der ersten Kamera 3 erfasst. Schließlich wird derjenige Bereich der Umgebung 2, der zu dem sechsten Schattenbereich 17 korrespondiert, von der vierten Kamera 6 erfasst. Somit lassen sich stets Bereiche in anderen Kamerabildern 7, 8, 9, 10 finden, die eine Wiedergabe der Umgebung 2 in den Bereichen der Schattenbereich 12, 13,

14, 15, 16, 17 der Kamerabilder 7, 8,9, 10 darstellen. Daher erfolgt in einem weiteren Schritt ein Ersetzen 500 der Schattenbereiche 12, 13, 14, 15, 16, 17.

Das Ersetzen 500 der Schattenbereiche 12, 13, 14, 15, 16, 17 erfolgt derart, dass diese durch entsprechende Bereiche aus dem zugehörigen anderen

Kamerabild 7, 8, 9, 10 ersetzt werden. Dies bedeutet, dass der erste

Schattenbereich 12 durch einen entsprechenden Bereich aus dem dritten

Kamerabild 9 ersetzt wird. Der zweite Schattenbereich 13 wird durch einen entsprechenden Bereich aus dem zweiten Kamerabild 8 ersetzt. Der dritte Schattenbereich 14 wird durch einen entsprechenden Bereich aus dem ersten

Kamerabild 7 ersetzt. Der vierte Schattenbereich 15 wird durch einen

entsprechenden Bereich aus dem vierten Kamerabild 10 ersetzt. Der fünfte Schattenbereich 16 wird durch einen entsprechenden Bereich aus dem ersten Kamerabild 7 ersetzt. Schließlich wird der sechste Schattenbereich 17 durch einen entsprechenden Bereich aus dem vierten Kamerabild 10 ersetzt. Dadurch sind alle Schattenbereiche 12, 13, 14, 15, 16, 17 ersetzt worden, sodass keinerlei Schattenbereiche 12, 13, 14, 15, 16, 17 mehr vorhanden sind. Vielmehr kann nach dem letzten Schritt des Kombinierens 600 der Kamerabilder 7, 8, 9, 10 ein vollumfängliches Gesamtbild 1 1 angezeigt werden.

Dieses Gesamtbild 1 1 weist ein Maximum an Informationen über die Umgebung

2 auf, da insbesondere keine Schattenbereiche 12, 13, 14, 15, 16, 17 mehr vorhanden sind. Somit wird dem Benutzer ein vollumfängliches Bild der

Umgebung bereitgestellt, auch wenn dieses eine Vielzahl von Hindernissen in Form von dem ersten Objekt 23, dem zweiten Objekt 24 und dem dritten Objekt 25 aufweist. Das zuvor beschriebene Verfahren wird vorteilhafterweise laufend wiederholt, sodass eine Veränderung der Position der entsprechenden Objekte 23, 24, 25 bei dem Generieren des Gesamtbildes 1 1 berücksichtigt wird. Somit führt ein Verändern der Position der Objekte 23, 24, 25 nicht zu einem erneuten Auftreten von Schattenbereiche 12, 13, 14, 15, 16, 17. Vielmehr ist jederzeit ein hochwertiges Gesamtbild 1 1 vorhanden.

Zuvor wurde beschrieben, dass die einzelnen Schattenbereiche 12, 13, 14, 15, 16, 17 durch korrespondierende Bereiche aus anderen Kamerabildern 7, 8, 9, 10 ersetzt werden. Es ist allerdings ebenso möglich, die Nahtlinien 18, 19, 20, 21 zwischen den Kamerabildern 7, 8, 9,10 zu verschieben. Für den Fall, dass beispielsweise das zweite Objekt 24 und das dritte Objekt 25 nicht vorhanden wären, wäre somit lediglich der erste Schattenbereich 12 und der zweite

Schattenbereich 13 zu vermeiden. Dies könnte insbesondere derart durchgeführt werden, dass die erste Nahtlinie 18 zwischen dem ersten Kamerabild 7 und dem dritten Kamerabild 9 sowie die zweite Nahtlinie 19 zwischen dem ersten

Kamerabild 7 und dem zweiten Kamerabild 8 derart verschoben werden, dass diejenigen Bereiche des ersten Kamerabildes 7, die die Schattenbereiche 12, 13 umfassen, nicht mehr für die Generierung des Gesamtbildes 1 1 verwendet werden. Dies setzt voraus, dass ein solches Verschieben der Nahtlinie 18, 19 aufgrund der Abmessungen des zweiten Kamerabildes 8 und des dritten

Kamerabildes 9 möglich ist. Mit anderen Worten müssen das zweite Kamerabild 8 und das dritte Kamerabild 9 groß genug sein, dass diese diejenigen

Informationen für das Gesamtbild 1 1 liefern können, die aufgrund des

Verschiebens der Nahtlinien 18, 19 nicht mehr durch das erste Kamerabild 7 geliefert werden. Sollte dies der Fall sein, so ist das zuvor beschriebene

Ersetzen 500 einfach und aufwandarm durchführbar.

Sollte der Fall auftreten, dass ein Ersetzen 500 nicht möglich ist, so wird an den Schattenbereichen 12, 13, 14, 15, 16, 17 die nicht durch Bereiche anderer

Kamerabilder 7, 8, 9, 10 ersetzt werden können, eine entsprechende Grafik und/oder eine farbige Fläche angezeigt.