Erfassungseinrichtungen

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit einer ersten Erfassungseinrichtung, mit einer zweiten

Erfassungseinrichtung und mit einer zentralen elektronischen Recheneinrichtung. Mittels der ersten Erfassungseinrichtung werden auf eine erste Erfassungsart eine erste

Information einer Umgebung des Kraftfahrzeugs und mittels der zweiten

Erfassungseinrichtung auf eine zur ersten Erfassungseinrichtung unterschiedlichen zweiten Erfassungsart eine zweite Information der Umgebung erfasst und mittels der elektronischen Recheneinrichtung die erste Information und die zweite Information ausgewertet.

Heutige Sensoren für Fahrerassistenzsysteme und hochautomatisierte Systeme nutzen sogenannte Objektschnittstellen als„Interface“ zu dem zentralen entscheidungsfindenden Steuergerät. Bei der Bildung von Objekten wird die Datenmenge bereits im Sensor sehr stark komprimiert, und es werden Annahmen getroffen, um die Bandbreite

geringzuhalten. Alternativ verwenden Forschungsfahrzeuge reine Rohdaten, das heißt die Bilder von beispielsweise Kameras beziehungsweise jedem Refleximpuls eines Radars oder Lidars, und verarbeiten diese auf sehr rechenstarken Einheiten. Beide Verfahren sind nicht zielführend für eine Weiterverbreitung von automatisierten Fahrzeugen, da sie im ersten Problemfall mit der Performance, insbesondere mit der Leistung, Probleme haben und im zweiten Fall zu große Datenmengen produzieren. Des Weiteren wird für heutigen Fahrerassistenzsysteme und hochautomatisierten Systeme eine Vielzahl an Sensoren verwendet, was ebenfalls bei einem sensoreigenen Zusammenführen der Rohdaten zu einer großen Datenmenge führt. Das sensoreigene Zusammenführen wird auch als Clustering bezeichnet. Das Zusammenführen von Daten ist aus verschiedenen, unabhängigen Messsystemen bekannt. In der Kamera für beispielsweise autonome Anwendungen ist die Bildung von sogenannten Stixein (vertikales Zusammenführen von Daten) bekannt. Dabei beziehen sich bisherige Ansätze des Zusammenführens von Daten auf einen einzelnen Sensor beziehungsweise auf eine einzelne Erfassungseinrichtung.

In der wissenschaftlichen Arbeit„Semantic Stixels: Depth is Not Enough“ von Lukas Schneider et al. wird ein semantisches Stixelmodell mit visionsbasiertem Szenemodell vorgestellt, das auf automatisiertes Fahren ausgerichtet ist. Das Modell leitet gemeinsam das geometrische und semantische Layout von einer Szene ab und bietet eine kompakte und doch reiche Abstraktion von beiden mit Stixein als primitive Elemente. Eine geometrische Information ist in diesem Modell in Bezug auf die Pixel-Level-Disparität enthaltenden Karten integriert die aus dem Stereo-Sehen abgeleitet sind.

Ferner offenbart die DE 10 2009 009 047 A1 ein Verfahren zur Objektdetektion. Bei der Objektdetektion werden jeweils zwei Bilder einer Umgebung aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt, wobei aus den ermittelten Disparitäten eine Tiefenkarte zur Umgebung bestimmt wird, in der eine Freiraumbegrenzungslinie identifiziert wird, die einen hindernisfreien Bereich der Umgebung umgrenzt. Es wird außerhalb und entlang der Freiraumbegrenzungslinie die Tiefenkarte segmentiert, indem Segmente einer geeigneten Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden, wobei eine Höhe jedes Segments als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts geschützt wird, so dass jedes Segment durch die zweidimensionale Position seines Fußpunkts und seine Höhe charakterisiert wird.

Aufgabe der vorliegenden Erfindung ist es, einen verbesserten Betrieb eines

Fahrerassistenzsystems realisieren zu können.

Diese Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Patentanspruch gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines

Fahrerassistenzsystems eines Kraftfahrzeugs mit einer ersten Erfassungseinrichtung, mit einer zweiten Erfassungseinrichtung und mit einer zentralen elektronischen

Recheneinrichtung. Mittels der ersten Erfassungseinrichtung wird auf eine erste

Erfassungsart eine erste Information einer Umgebung des Kraftfahrzeugs erfasst, und mittels der zweiten Erfassungseinrichtung wird auf eine zur ersten Erfassungsart unterschiedlichen zweiten Erfassungsart eine zweite Information der Umgebung erfasst, und mittels der elektronischen Recheneinrichtung werden die erste Information und die zweite Information ausgewertet.

Es ist vorgesehen, dass die erste Information und die zweite Information fusioniert werden und die fusionierten Informationen in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket zusammengefasst werden und das Datenpaket zum Auswerten an die elektronische Recheneinrichtung übertragen wird.

Insbesondere ist vorgesehen, dass die erste Information und die zweite Information jeweils Rohdaten der ersten Erfassungseinrichtung beziehungsweise der zweiten

Erfassungseinrichtung sind. Diese Rohdaten werden dann entsprechend fusioniert. Es erfolgt anschließend ein Zusammenführen, welches auch als Clustering bezeichnet wird, der zusammengehörenden Daten in Abhängigkeit des Entscheidungskriteriums. Durch das Zusammenführen der ersten Information und der zweiten Information wird die Datenmenge stark reduziert. Des Weiteren werden mehrere Erfassungseinrichtungen zum Zusammenführen beziehungsweise zum Fusionieren vereinigt, um auf der einen Seite die Diversität der Erfassungseinrichtungen des Fahrerassistenzsystems oder eines hochautomatisierten Systems beizubehalten, was die Stabilität des Zusammenführens erhöht, und auf der anderen Seite die Datenmenge zusätzlich zu reduzieren.

Dadurch ist es ermöglicht, dass die zentrale elektronische Recheneinrichtung mit weniger Datengrößen zu arbeiten hat, wobei sie insbesondere gleichzeitig weniger der spezifischen Informationen, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik typischerweise der Fall ist, verliert. Des Weiteren werden die Informationen durch die Verwendung mehrerer Erfassungseinrichtungen, welche insbesondere auch Sensoren des Kraftfahrzeugs sein können, robuster gegenüber sensorspezifischem Fehlverhalten. Dadurch ist es ermöglicht, dass das Fahrerassistenzsystem insgesamt eine höhere Leistung sowie eine erhöhte Robustheit liefern kann bei nur geringfügig erhöhten absoluten Datenmengen durch die Filterung von redundanten Informationen.

Unter Erfassungsart ist insbesondere zu verstehen, wie die Erfassungseinrichtung die Umgebung erfasst. Beispielsweise kann ein Lidarsensor mittels Laserstrahlen als Erfassungsart die Umgebung erfassen. Beispielsweise kann eine Kamera durch

Aufnehmen von Bildern die Umgebung erfassen. Beispielsweise kann ein

Ultraschallsensor durch Aussenden und Empfangen von Ultraschallsignalen die Umgebung erfassen. Beispielsweise kann ein Radarsensor durch Aussenden und Empfangen von Radarsignalen die Umgebung erfassen.

Gemäß einer vorteilhaften Ausgestaltungsform werden die fusionierten Informationen mit einer weiteren Information eines weiteren Sensors des Kraftfahrzeugs zu dem

Datenpaket zusammengefasst und das Datenpaket zum Auswerten an die elektronische Recheneinrichtung übertragen. Insbesondere kann es sich bei der zusätzlichen

Information um eine Information von umliegenden Daten mehrerer

Erfassungseinrichtungen, insbesondere Sensoren, handeln, um Informationen über beispielsweise ein Zielobjekt in der Umgebung des Kraftfahrzeugs generieren zu können. Ebenfalls möglich ist, dass beispielsweise eine Punktwolke mit zusätzlichen

Informationen generiert werden kann. Durch diese weitere Information, wie beispielsweise ein potentieller Objekttyp und/oder eine Detektionswahrscheinlichkeit und/oder eine Oberflächenbeschaffenheit werden wertvolle Zusatzinformationen zur Verfügung gestellt, ohne aber dabei den Detailgrad des Datenpakets so stark einzuschränken, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik der Fall wäre. Dadurch kann datenreduziert und dennoch hochfunktionell das Fahrerassistenzsystem betrieben werden.

Ebenfalls vorteilhaft ist, wenn mittels der weiteren Information eine charakterisierende Eigenschaft der Umgebung vorgegeben wird. Insbesondere kann es sich beispielsweise bei der charakterisierenden Eigenschaft um eine Eigenschaft bezüglich der

Beschaffenheit einer Fahrbahn in der Umgebung des Kraftfahrzeugs handeln oder beispielsweise um die geschätzte Klassifizierung eines Objekts beziehungsweise als Fahrzeug aufgrund der Struktur und Reflexeigenschaften innerhalb der Umgebung des Kraftfahrzeugs. Diese weitere Information kann dann insbesondere den bereits fusionierten Informationen angehängt und entsprechend von dem fusionierten Sensor an die zentrale elektronische Recheneinrichtung weitergegeben werden. Dadurch können ein potentieller Objekttyp, eine Detektionswahrscheinlichkeit, eine

Oberflächenbeschaffenheit oder dergleichen mit an das Datenpaket angeschlossen werden, wodurch zusätzliche Informationen zur Verfügung gestellt werden können, ohne dabei den Detailgrad der Daten so stark einzuschränken, wie es bei Objektschnittstellen gemäß dem Stand der Technik der Fall wäre.

In einer vorteilhaften Ausgestaltungsform wird die Umgebung mittels einer Kamera als die erste Erfassungseinrichtung und mittels eines Lidarsensors als die zweite

Erfassungseinrichtung erfasst. Dadurch ist es auf zwei unterschiedlichen Erfassungsarten ermöglicht, die Umgebung zu erfassen. Dadurch kann zuverlässig die Umgebung mittels unterschiedlicher Erfassungsarten erfasst werden. Ebenfalls möglich ist, dass als erste und/oder zweite Erfassungseinrichtung beispielsweise ein Radarsensor oder ein

Ultraschallsensor bereitgestellt wird, mittels welcher dann die Umgebung des

Kraftfahrzeugs erfasst werden kann. Insbesondere werden dann die jeweils gewonnenen Informationen mittels der Kamera und/oder des Lidarsensors zusammengeführt und als Datenpaket an die elektronische Recheneinrichtung weitergesandt.

Ebenfalls vorteilhaft ist, wenn die erste Information und die zweite Information auf Basis einer Entfernung der erfassten Umgebung zum Kraftfahrzeug als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden. Mit anderen Worten werden in Abhängigkeit einer Entfernung eines Zielobjekts in der Umgebung des Kraftfahrzeugs die Daten entsprechend zusammengefasst. Beispielsweise kann dadurch zuverlässig eine Objektdetektion durchgeführt werden, da die Informationen das Objekt betreffend fusioniert werden. Insbesondere durch die Ausgestaltungsform mit der vertikalen Ausdehnung kann zuverlässig die Umgebung für das Fahrerassistenzsystem erfasst werden.

Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird mittels des

Fahrerassistenzsystems ein zumindest teilweise autonomer, insbesondere vollautonomer, Fährbetrieb des Kraftfahrzeugs durchgeführt. Mit anderen Worten handelt es sich bei dem Fahrerassistenzsystem um ein insbesondere hochautomatisiertes

Fahrerassistenzsystem. Das Fahrerassistenzsystem kann im vollautonomen Fährbetrieb auch als Fahrerunterstützungssystem beziehungsweise Fahrzeugführungssystem bezeichnet werden. Insbesondere durch die präzise und zuverlässige Erfassung der Umgebung mittels des Fahrerassistenzsystems und der fusionierten Daten kann insbesondere in Echtzeit die Umgebung erfasst werden und somit zuverlässig die

Informationen die Umgebung betreffend in der elektronischen Recheneinrichtung ausgewertet werden. Dadurch können insbesondere schnelle Reaktionszeiten des Fahrerassistenzsystems realisiert werden, wodurch insbesondere die Sicherheit im Straßenverkehr erhöht wird.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und

Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen

Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

Dabei zeigt die einzige Figur eine schematische Ansicht eines Kraftfahrzeugs mit einer Ausführungsform eines Fahrerassistenzsystems.

In der Figur werden gleiche oder funktionsgleiche Elemente mit den gleichen

Bezugszeichen versehen.

Die Figur zeigt ein Kraftfahrzeug 10 mit einer Ausführungsform eines

Fahrerassistenzsystems 12. Das Fahrerassistenzsystem 12 weist eine erste

Erfassungseinrichtung 14 und eine zweite Erfassungseinrichtung 16 auf. Mittels der ersten Erfassungseinrichtung 14 kann eine erste Information 22 einer Umgebung 18 des Kraftfahrzeugs 10 erfasst werden und mit der zweiten Erfassungseinrichtung wird eine zweite Information 24 der Umgebung 18 erfasst. Mittels der ersten Erfassungseinrichtung 14 wird die Umgebung 18 auf eine erste Erfassungsart und mittels der zweiten

Erfassungseinrichtung 16 wird die Umgebung 18 auf eine zweite Erfassungsart erfasst. Das Fahrerassistenzsystem 12 weist ferner eine zentrale elektronische

Recheneinrichtung 20 auf, mittels welcher die erste Information 22 und die zweite Information 24 ausgewertet werden.

Es ist vorgesehen, dass die erste Information 22 und die zweite Information 24 fusioniert werden und die fusionierten Informationen 22, 24 in Abhängigkeit eines

Entscheidungskriteriums zu einem Datenpaket 26 zusammengefasst werden und das Datenpaket 26 zum Auswerten an die elektronische Recheneinrichtung 20 übertragen wird. Beispielsweise kann im vorliegenden Ausführungsbeispiel vorgesehen sein, dass mittels einer Fusionseinrichtung 28 die erste Information 22 und die zweite Information 24 fusioniert werden.

Insbesondere ist vorgesehen, dass die erste Information 22 und die zweite Information 24 jeweils Rohdaten der ersten Erfassungseinrichtung 14 beziehungsweise der zweiten Erfassungseinrichtung 16 sind. Diese Rohdaten werden dann entsprechend fusioniert. Es erfolgt anschließend ein Zusammenführen, welches auch als Clustering bezeichnet wird, der zusammengehörenden Daten in Abhängigkeit des Entscheidungskriteriums. Durch das Zusammenführen der ersten Information 22 und der zweiten Information 24 wird die Datenmenge stark reduziert. Des Weiteren werden mehrere Erfassungseinrichtungen 14, 16 zum Zusammenführen beziehungsweise zum Fusionieren vereinigt, um auf der einen Seite die Diversität der Erfassungseinrichtungen 14, 16 des Fahrerassistenzsystems 12 oder eines hochautomatisierten Systems beizubehalten, was die Stabilität des

Zusammenführens erhöht, und auf der anderen Seite die Datenmenge zusätzlich zu reduzieren.

Dadurch ist es ermöglicht, dass die zentrale elektronische Recheneinrichtung 20 mit weniger Datengrößen zu arbeiten hat, wobei sie insbesondere gleichzeitig weniger der spezifischen Informationen, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik typischerweise der Fall ist, verliert. Des Weiteren werden die Informationen 22, 24 durch die Verwendung mehrerer Erfassungseinrichtungen 14, 16, welche

insbesondere auch Sensoren des Kraftfahrzeugs 10 sein können, robuster gegenüber sensorspezifischem Fehlverhalten. Dadurch ist es ermöglicht, dass das

Fahrerassistenzsystem 12 insgesamt eine höhere Leistung sowie eine erhöhte

Robustheit liefern kann bei nur geringfügig erhöhten absoluten Datenmengen durch die Filterung von redundanten Informationen.

Unter Erfassungsart ist insbesondere zu verstehen, wie die Erfassungseinrichtung 14, 16 die Umgebung 18 erfasst. Beispielsweise kann ein Lidarsensor mittels Laserstrahlen als Erfassungsart die Umgebung 18 erfassen. Beispielsweise kann eine Kamera durch Aufnehmen von Bildern die Umgebung 18 erfassen. Beispielsweise kann ein

Ultraschallsensor durch Aussenden und Empfangen von Ultraschallsignalen die

Umgebung 18 erfassen. Beispielsweise kann ein Radarsensor durch Aussenden und Empfangen von Radarsignalen die Umgebung 18 erfassen.

Ferner kann insbesondere vorgesehen sein, dass die fusionierten Informationen 22, 24 mit einer weiteren Information 30 eines weiteren Sensors 32 des Kraftfahrzeugs 10 zu dem Datenpaket 26 zusammengefasst werden und das Datenpaket 26 zum Auswerten an die elektronische Recheneinrichtung 20 übertragen wird. Insbesondere kann es sich bei der zusätzlichen Information 30 um eine Information 22, 24, 30 von umliegenden Daten mehrerer Erfassungseinrichtungen 14, 16, insbesondere Sensoren, handeln, um Informationen 22, 24, 30 über beispielsweise ein Zielobjekt in der Umgebung 18 des Kraftfahrzeugs 10 generieren zu können. Ebenfalls möglich ist, dass beispielsweise eine Punktwolke mit zusätzlichen Informationen generiert werden kann. Durch diese weitere Information 30, wie beispielsweise ein potentieller Objekttyp und/oder eine

Detektionswahrscheinlichkeit und/oder eine Oberflächenbeschaffenheit werden wertvolle Zusatzinformationen zur Verfügung gestellt, ohne aber dabei den Detailgrad des Datenpakets 26 so stark einzuschränken, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik der Fall wäre. Dadurch kann datenreduziert und dennoch

hochfunktionell das Fahrerassistenzsystem 12 betrieben werden.

Insbesondere kann vorgesehen sein, dass mittels der weiteren Information 30 eine charakterisierende Eigenschaft der Umgebung 18 vorgegeben wird. Insbesondere kann es sich beispielsweise bei der charakterisierenden Eigenschaft um eine Eigenschaft bezüglich der Beschaffenheit einer Fahrbahn in der Umgebung 18 des Kraftfahrzeugs 10 handeln oder beispielsweise um die geschätzte Klassifizierung eines Objekts

beziehungsweise als Fahrzeug aufgrund der Struktur und Reflexeigenschaften innerhalb der Umgebung 18 des Kraftfahrzeugs 10. Diese weitere Information 30 kann dann insbesondere den bereits fusionierten Informationen 22, 24 angehängt und entsprechend von dem fusionierten Sensor an die zentrale elektronische Recheneinrichtung 20 weitergegeben werden. Dadurch können ein potentieller Objekttyp, eine

Detektionswahrscheinlichkeit, eine Oberflächenbeschaffenheit oder dergleichen mit an das Datenpaket 26 angeschlossen werden, wodurch zusätzliche Informationen zur Verfügung gestellt werden können, ohne dabei den Detailgrad der Daten so stark einzuschränken, wie es bei Objektschnittstellen gemäß dem Stand der Technik der Fall wäre.

Insbesondere kann weiterhin vorgesehen sein, dass die Umgebung 18 mittels einer Kamera als erste Erfassungseinrichtung 14 und mittels eines Lidarsensors als zweite Erfassungseinrichtung 16 erfasst wird. Ebenfalls möglich ist, dass die erste

Erfassungseinrichtung 14 und/oder die zweite Erfassungseinrichtung 16 als Radarsensor oder als Ultraschallsensor ausgebildet sein kann.

Ferner kann vorgesehen sein, dass die erste Information 22 und die zweite Information 24 auf Basis einer Entfernung der erfassten Umgebung 18 zum Kraftfahrzeug 10 als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden. Mit anderen Worten werden in Abhängigkeit einer Entfernung eines Zielobjekts in der Umgebung 18 des Kraftfahrzeugs 10 die Daten entsprechend zusammengefasst. Beispielsweise kann dadurch zuverlässig eine Objektdetektion durchgeführt werden, da die Informationen 22, 24 das Objekt betreffend fusioniert werden. Insbesondere durch die Ausgestaltungsform mit der vertikalen Ausdehnung kann zuverlässig die Umgebung 18 für das Fahrerassistenzsystem 12 erfasst werden. Weiterhin kann vorgesehen sein, dass mittels des Fahrerassistenzsystems 12 ein zumindest teilweise autonomer, insbesondere vollautonomer, Fährbetrieb des

Kraftfahrzeugs 10 durchgeführt. Mit anderen Worten handelt es sich bei dem

Fahrerassistenzsystem 12 um ein insbesondere hochautomatisiertes

Fahrerassistenzsystem 12. Das Fahrerassistenzsystem 12 kann im vollautonomen Fährbetrieb auch als Fahrerunterstützungssystem beziehungsweise

Fahrzeugführungssystem bezeichnet werden. Insbesondere durch die präzise und zuverlässige Erfassung der Umgebung 18 mittels des Fahrerassistenzsystems 12 und der fusionierten Daten kann insbesondere in Echtzeit die Umgebung 18 erfasst werden und somit zuverlässig die Informationen 22, 24, 30 die Umgebung 18 betreffend in der elektronischen Recheneinrichtung 20 ausgewertet werden. Dadurch können

insbesondere schnelle Reaktionszeiten des Fahrerassistenzsystems 12 realisiert werden, wodurch insbesondere die Sicherheit im Straßenverkehr erhöht wird.

Insgesamt zeigt die Erfindung ein Verfahren zum multimodalen vertikalen Clustering von Rohdaten mit angereicherten Informationen mehrerer Sensortypen.