Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem für ein Fahrzeug und ein Kamerasystem, insbesondere ein Surroundview- Kamerasystem zur Umfelderfassung für ein Fahrzeug, welches eine Ansicht anhand des erfindungsgemäßen Verfahrens erzeugen kann.

Technologischer Hintergrund

Moderne Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview- Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel eine Steuereinrichtung und mehrere Kameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasystems zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung wird dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver. Ferner handelt es sich bei den Surroundview- Kameras in der Regel um „Fischaugenkameras“ (Fisheye camera), d. h. eine Kamera mit Fischaugenobjektiv, die ein Fischaugenbild (Fisheye image) liefern. Die unverzerrten Fischaugenbilder werden dann verwendet, um dem Fahrer verschiedene Ansichten der Umgebung darzustellen, wie z. B. Vorderansicht, Rückansicht, Bordsteinansicht und dergleichen. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem.

Ferner können die Bilder auch zu einer 360°-Panorama-Ansicht zusammengefügt werden, sodass der Fahrer den geeigneten Blickpunkt auswählen kann, indem er sich innerhalb einer Szene einer virtuellen Kamera bewegen kann. Hierbei gibt es verschiedene Funktionen bzw. Ansichten wie „Bowl“ oder „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zu einer Gesamtansicht (oder Gesamttextur) zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Ferner können Texturinformationen von dem Kamerasystem auf ein Netz (Projektionsfläche) bzw. eine statische 2D-Ebene projiziert werden, um z. B. eine Top- View-Ansicht zu erzeugen. Bei derartig erzeugten Ansichten kann es jedoch dazu kommen, dass die erfassten Objekte visuell verzerrt bzw. gestört werden. Dies geschieht aufgrund der Reprojektion der Objekttextur auf die Grundfläche. Dieser Effekt ist für den Benutzer jedoch visuell störend, so dass ein besonderes Interesse besteht derartige Verzerrungen zu vermeiden.

Druckschriftlicher Stand der Technik

Die DE 10 2014 208 664 A1 offenbart ein Kamera-Surround- View-System für ein Fahrzeug mit mindestens einer Fahrzeugkamera, die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Umgebungsbildes verarbeitet werden, das auf einer Anzeigeeinheit angezeigt wird, wobei die Datenverarbeitungseinheit Texturen, die von den Fahrzeugkameras erfasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-Projektionsfläche repliziert, die auf Basis von durch Fahrzeugsensoren bereitgestellten Sensordaten berechnet wird, wodurch Verzerrungen bzw. verzerrte Artefakte minimiert bzw. eliminiert werden.

Ferner ist aus EP 2 973420 B1 ein Verfahren bekannt, bei dem zum Wiedergeben einer Grafik in einer dreidimensionalen virtuellen Umgebung eins Fahrzeuges eine standardmäßige dreidimensionale Projektionsfläche aus Kameradaten bzw. Bildern mehrerer Kameras erzeugt wird, die um eine virtuelle Darstellung des Fahrzeugs in einer virtuellen Umgebung zentriert ist. Dabei wird anhand von ersten Polygonmodelldaten, die der Form eines Gegenstands in der Umgebung entsprechen, erzeugt. Die dreidimensionale Projektionsfläche wird dann in Bezug auf die ersten Polygonmodelldaten für einen Gegenstand an einem Ort in der virtuellen Umgebung verformt, welcher einer relativen Entfernung und einer Richtung des Gegenstands entspricht, wobei dieser anhand von Umfeldsensordaten erfasst wurde. Anschließend können die Bilder auf die verformte dreidimensionale Projektionsfläche projiziert werden und mittels einer Anzeigevorrichtung in einem fahrzeuginternen Informationssystem angezeigt werden, wobei die angezeigte Grafik der verformten dreidimensionalen Projektionsfläche mit der Vielzahl von projizierten Bildern entspricht. Aufgabe der vorliegenden Erfindung

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein gattungsgemäßes (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das die Darstellung verzerrter Objekte unterbindet wird, um Objekte oder Hindernisse in der Fahrzeugumgebung möglichst gut sichtbar und verzerrungsfrei darzustellen.

Lösung der Aufgabe

Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.

Bei dem erfindungsgemäßen Verfahren zum Erzeugen einer Ansicht für ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem für ein Fahrzeug, umfasst das Kamerasystem eine Steuereinrichtung und mindestens eine Kamera - bevorzugt mehrere Kameras, wobei die Ansicht anhand folgender Verfahrensschritte erzeugt wird:

- Erfassen zumindest eines Objekts aus den Umgebungsdaten der mindestens einen Kamera,

- Erzeugen einer Begrenzungsbox („bounding box“) des Objekts,

- Projizieren des Objekts auf eine Bodenebene,

- Erstellen einer Begrenzungsform, welche die Begrenzungsbox und das projizierte Objekt umfasst,

- Erstellen einer Netzstruktur bzw. Gitterstruktur für die Begrenzungsform, und

- Anordnen der Netzstruktur bzw. Gitterstruktur innerhalb der Begrenzungsbox, wobei die Begrenzungsform insbesondere durch Bildskalierung und/oder Bildverzerrung auf die Größe der Begrenzungsbox angepasst werden kann. Im Sinne Der Erfindung wird unter Bildskalierung eine Größenänderung eines Bildes bzw. der Begrenzungsform bzw. der Netzstruktur der Begrenzungsform verstanden. Beispielsweise kann bei der Skalierung die Bildauflösung geändert werden, so dass ein neues Bild mit einer höheren beziehungsweise niedrigeren Anzahl von Bildpunkten (Pixeln) erzeugt wird. Beispielsweise kann im Zuge der Bildskalierung auch ein „Textur-Mapping“ bzw. eine „Musterabbildung“ erfolgen, wobei Flächen von Modellen, insbesondere dreidimensionaler Oberflächenmodelle, mit zweidimensionalen Bildern (Texturen) und ggf. auch Oberflächeneigenschaften ausgestaltet werden. Die Texturen lassen die Bilder dabei detailreicher und realistischer erscheinen. In Bezug auf die Erfindung kann dabei die Begrenzungsbox als eine Art Modell mit dem Bild des projizierten Objekts auf die Größe der Begrenzungsbox angepasst werden. Unter Bildverzerrung oder „Image- Warping“ (Bildverformen oder Bildverzerren) wird im Sinne der Erfindung eine bildbasierte Technik verstanden, bei der z. B. die zu einem Bild dazugehörigen Tiefenwerte mittels einer sogenannten Umform- bzw. Warping-Gleichung derart umgeformt werden („morphing“ oder „Image morphing“), dass das Bild in gewünschter Weise verformt/verzerrt und/oder von einem anderen Blickpunkt aus (in Echtzeit) betrachtet werden kann.

Die vorliegende Erfindung zielt dabei darauf ab, ein diagonal verzerrtes Erscheinungsbild von Objekten in der Umgebung des Fahrzeugs zu verbessern. Beispielsweise werden in der Vogelperspektive bzw. Top- iew-Ansicht, diese Objekte auf den Boden projiziert, wobei die projizierte Form dieser Objekte derart im Bild positioniert wird, dass ihre Projektion gerade aussieht und nicht diagonal verzerrt, so dass die Objekte in der Fahrzeugumgebung gut sichtbar und verzerrungsfrei dargestellt werden, womit in vielen Fällen das visuelle Erscheinungsbild dieser Objekte und die räumliche Darstellung deutlich verbessert werden.

Zweckmäßigerweise kann die Ansicht eine 2D-Ansicht, insbesondere eine Top- View-Ansicht, eine 3D-Ansicht, insbesondere eine Bowl, oder dergleichen umfassen.

Vorzugsweise ist die Begrenzungsbox zweidimensional und achsenorientiert ausgestaltet. Insbesondere kann es sich hierbei um eine zweidimensionale geometrische Form (z. B. Kreis, Polygon, wie z. B. Rechteck, Viereck, Dreieck, Sechseck oder dergleichen handeln). Diese Form kann in praktischer Weise in Abhängigkeit vom Umriss bzw. der Kontur des jeweiligen Objekts oder den dazugehörigen Detektionspunkten gewählt werden.

Gemäß einer bevorzugten Ausgestaltung der Erfindung umfasst die Netzstruktur bzw. die Gitterstruktur ein Dreiecksnetz bzw. ein Dreiecksgitter. Denkbar sind jedoch auch andere Formen wie z. B. anders gestaltete Polygonnetze bzw. Polygongitter.

Vorzugsweise wird für das Erstellen der Begrenzungsform in Schritt IV eine Form gewählt, welche erstellt wird, indem Ecken der Begrenzungsbox mit einer anderen geometrischen Form, insbesondere einer einen Polygonzug umfassenden Form (z. B. Dreieck-, Viereck- oder Rechteckform), verbunden werden, die am gegenüberliegenden Ende der projizierten Punkte angeordnet wird, d. h. es wird beispielsweise ein Recht- oder Viereck (alternativ auch eine andere Polygon oder Kreisform - insbesondere je nach Kontur des Objekts) angeordnet, welches die äußeren Punkte umspannt. Diese kann dann z. B. auch eine ähnliche Kontur, wie die Begrenzungsbox oder ein Teil der Begrenzungsbox aufweisen. Die verzerrungsfreie bzw. weniger verzerrte Darstellung wird dadurch in besonderem Maße verbessert. Gemäß einer bevorzugten Ausgestaltung kann die Begrenzungsform alle projizierten Punkte des Objekts umfassen, wobei etwaige Ausreißer, die beispielsweise über Grenzwerte erfassbar sind, nicht berücksichtigt werden können.

Zweckmäßigerweise kann das Anordnen der Netzstruktur innerhalb der Begrenzungsbox derart erfolgen, dass die Ecken und Kanten der finalen Begrenzung entlang der Grenze der ursprünglichen Begrenzungsbox angeordnet sind. In praktischer Weise erhält das Objekt dadurch den gleichen Umfang bzw. die gleiche Begrenzung der in Schritt II erstellten Begrenzungsbox und wird dadurch besonders realistisch und übersichtlich dargestellt. Zudem werden Verzerrungen in besonderem Maße vermieden.

Vorzugsweise werden zum Erstellen der Begrenzungsbox und/oder der Begrenzungsform und/oder der Netzstruktur bzw. Gitterstruktur extrinsische und/oder intrinsischen Kameraparameter sowie die Objektdaten (vorzugsweise dreidimensionale Daten, die anhand der Umgebungsdaten der Kameras oder anderer Sensorik ermittelt werden) herangezogen. Im Sinne der Erfindung werden unter intrinsischen Parametern Kameraparameter verstanden, die intern und fest an einer bestimmten Kamera- bzw. Digitalisierungseinrichtung gekoppelt sind. Demgegenüber sind extrinsische Parameter Kameraparameter, die kameraextern sind und sich in Bezug auf das Weltbild ändern können (Lage/Position/Ausrichtung der Kamera im Weltkoordinatensystem). In Bezug auf ein Kameramodell bedeutet das, dass extrinsische Parameter den Standort und die Ausrichtung der Kamera in Bezug auf das Weltbild definieren. Demgegenüber ermöglichen intrinsische Parameter eine Zuordnung zwischen Kamerakoordinaten und Pixelkoordinaten im Bild bzw. Sichtfeld (Zusammenhang zwischen Kamera- und Bildkoordinatensystem), z. B. die Brennweite f und das optische Zentrum in der Bildebene. Das Kameramodell ist sozusagen eine Abbildung von Weltkoordinaten auf Bildkoordinaten, wobei dies anhand einer 3D- zu 2D-Transformation erfolgt. Die intrinsischen Parameter hängen dabei nicht von der Position und Orientierung der Kamera in der Welt ab und beschreiben die Abbildung sowie die interne Geometrie der Kamera.

Zweckmäßigerweise können durch das Anordnen der Netz- oder Gitterstruktur innerhalb der Begrenzungsbox entstehende freie Bereiche gefüllt werden, indem Pixel aus der Umgebung in diesen Bereich hinein propagiert werden und/oder eine historischen Bodenstruktur zum Verfüllen herangezogen wird und/oder Texturinformationen aus verschiedenen Kameras herangezogen werden. Dadurch wird die Ansicht in besonderem Maße verbessert.

Ferner umfasst die vorliegende Erfindung ein Kamerasystem, insbesondere Surroundview- Kamerasystem für ein Fahrzeug, welches eine Steuereinrichtung und eine oder mehrere im/am Fahrzeug angeordnete Kamera(s) umfasst, wobei die Steuereinrichtung die Ansicht anhand des erfindungsgemäßen Verfahrens und der Kameras bzw. der Kameradaten oder Kamerabilder erzeugt.

Beschreibung der Erfindung anhand von Ausführungsbeispielen

Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:

Fig. 1 eine vereinfachte schematische Darstellung einer Ausgestaltung eines

Fahrzeuges mit einem erfindungsgemäßen (Surroundview-) Kamerasystem;

Fig. 2 eine vereinfachte schematische Darstellung eines erfindungsgemäßen

Verfahrensablaufs, sowie

Fig. 3 eine vereinfachte Darstellung des erfindungsgemäßen Verfahrens anhand verschiedener Schritte (A-F) schematisch dargestellt, bei der ein Fahrzeug ein Objekt anhand von Detektionspunkten erfasst und eine Ansicht dieses Objekts anhand des erfindungsgemäßen Verfahrens erzeugt wird.

Bezugsziffer 1 in Fig. 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, eine Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d, zur entsprechenden Datenverarbeitung und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.

Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120- Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-Kamerasystem können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in Fig. 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei 4 Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.

Das erfindungsgemäße Verfahren ist schematisch in Fig. 2 dargestellt und weist die im folgenden beschriebenen Verfahrensschritte auf.

Schritt I: Erfassen eines Objekts (oder mehrerer Objekte) aus dreidimensionalen Umgebungsdaten (Fig. 3A). Dieser Schritt hängt im Wesentlichen von den Kamera- bzw. Sensor- und Umweltdaten ab. Beispielsweise können diese Daten in Form von Punktwolken vorliegen (wie in Fig. 3A anhand der schwarzen Punkte bzw. Detektionspunkte dargestellt), wobei sogenannte Punktcluster erkannt werden, wenn diese z. B. über einer bestimmten Schwelle („Threshold“) über der Bodenebene liegen.

Schritt II: Das Erzeugen einer, insbesondere zweidimensionalen und achsenorientierten, Begrenzungsbox („bounding box“) des Objekts (Fig. 3B) aus der Fahrzeugoberperspektive (Top- View). Zum Beispiel die X-Y-Achse, wobei für einen bestimmten Satz von Objektpunkten das Minimum und Maximum an jeder Achse herangezogen wird.

Schritt III: Das Projizieren des Objekts auf die Bodenebene (Fig. 3C), wobei z. B. eine Kamera links neben den Punkten angeordnet ist und die Punkte nicht am Boden liegen, so dass sich die Punkte über die Grenzen der Begrenzungsbox hinweg verteilen, wenn die Projektion zum Boden erfolgt (dargestellt anhand der dreieckigen Punkte in Fig. 3C). Schritt IV: Das Erstellen bzw. Berechnen einer Begrenzungsform, die sowohl die Begrenzungsbox als auch das projizierte Objekt umfasst (Fig. 3D). In praktischer Weise kann hierbei eine einfache Form gewählt werden, die sowohl die Begrenzungsbox selbst als auch die projizierten Objekte umfasst. Diese einfache Form kann z. B. die Verbindung der Begrenzungsbox, ein anderes Rechteck am anderen Ende der projizierten Punkte und die Verbindung ihrer Ecken sein. Die daraus resultierende Form sollte jedoch vorzugsweise alle projizierten Punkte innerhalb der erzeugten Fläche umfassen.

Schritt V: Das Erstellen einer Netz- bzw. Gitterstruktur (Dreiecksnetz bzw. Dreiecksgitter) für die Begrenzungsform (Fig. 3E), wobei bevorzugt eine Dreiecknetzstruktur erstellt wird, um die Begrenzungsform zu repräsentieren, indem die Winkel der Form mit jedem Polygon-Dreieck- Ansatz verbunden werden.

Schritt VI: Das Anordnen der Netz- bzw. Gitterstruktur innerhalb der Begrenzungsbox (Fig. 3F), wobei die Netzstruktur bzw. das Dreiecksnetz aus Schritt V dabei derart angepasst wird, dass die Ecken und Kanten entlang der Grenze der ursprünglichen Begrenzungsbox angeordnet sind. Die so entstehende Form besitzt dabei im Wesentlichen die Form der Begrenzungsbox (aus Schritt II). Dabei wird die Begrenzungsform durch Bildskalierung und/oder Bildverzerrung auf die Größe der Begrenzungsbox angepasst. Dieser beispielsweise „Textur-Mapping-Schritt“ der sozusagen die Netz- bzw. Gitterstruktur aus Schritt V zu einer Netz- bzw. Gitterstruktur (wie in Fig. 3F dargestellt) transformiert bzw. umformt, welche im Wesentlichen der Begrenzung der Begrenzungsbox entspricht, dient somit dazu die Objektdarstellung entsprechend anzupassen. Das Objekt wirkt dann dadurch auf der späteren Anzeige sehr viel natürlicher und vermittelt dem Benutzer ein besseres Orientierungsgefühl. Dadurch können z. B. Einparkvorgänge in besonderem Maße erleichtert werden.

Beim Übergang von Schritt V zu Schritt VI bzw. beim Entfernen der für die Begrenzungsform erstellten Netz- bzw. Gitterstruktur (Schritt V) bleibt der Bereich der ursprünglichen Gitterstruktur, der sich nicht in der Begrenzungsbox befindet (siehe Schritt VI), frei bzw. nicht gefüllt. Es gibt sozusagen keine visuellen Informationen aus aktuellen Kamera- und Zeitdaten, um diesen Bereich darzustellen. In vorteilhafter weise können jedoch verschiedene Methoden angewandt werden, um diese Bodenfläche bzw. den Bildbereich zu füllen, wie z. B. das Propagieren von Pixeln aus der Umgebung in diesen Bereich hinein, das Verwenden einer historischen Bodenstruktur, um diese Bereiche zu füllen oder das Verwenden von Texturinformationen aus verschiedenen Kameras. Zusammenfassend wird die Visualisierungsqualität durch die Erfindung somit deutlich verbessert, indem Objekte nicht als verzerrt und mit einer statischen Reprojektionsfläche erscheinen. Ein weiterer Vorteil kann darin bestehen, wenn die Top-View-Ansicht mit Parkplatzmarkierungen erweitert wird. Ohne Streckung können Hindernisse oder andere Fahrzeuge in den freien Parkplatz hineingezogen werden, sodass die Parkplatzmarkierungen auf dem Hindernis zu liegen scheinen. Nach dem Entfernen der Streckung sieht die Stelle, an der der Parkplatz angezeigt wird, tatsächlich frei aus.

BEZUGSZEICHENLISTE 1 Fahrzeug

2 Steuereinrichtung

3a Kamera

3b Kamera

3c Kamera 3d Kamera

4 Kamerasensor

5 Lidarsensor