Kraftfahrzeug Die vorliegende Erfindung betrifft ein Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und ein zur Durchführung eines derartigen Verfahrens eingerichtetes Kraftfahrzeug.

Im Bereich der Fahrzeugtechnik ist es für vielfältige Fahrassistenzsysteme und Fahrfunktionen, insbesondere für ein hochautomatisiertes oder autonomes Fahren, von besonderer Bedeutung, Objekte, die sich in einer Umgebung des jeweiligen Fahrzeugs befinden, zu detektieren. Derartige Objekte können insbesondere andere Verkehrsteilnehmer sein. Dabei sind eine möglichst schnelle und zuverlässige Detektion sowie eine genaue Verödung insbesondere bewegter Objekte besonders wichtig, da durch diese besonders oft und besonders schnell gefährliche Situationen entstehen können. Dementsprechend sind weitere Verbesserungen auf diesem Gebiet stets wünschenswert.

Als einen Ansatz hierfür beschreibt die WO 2017 / 207727 A1 eine verbesserte Objektdetektion und Abschätzung eines Bewegungszustands eines Objekts. Dabei wird für eine Radardetektion ein zugehöriger Azimutwinkel und eine

Dopplergeschwindigkeitskomponente bestimmt. Weiter wird das Objekt mit einer Kamera aufgenommen und es wird aus wenigstens zwei Kamerabildern ein optischer Fluss bestimmt. Daraus wird eine weitere Geschwindigkeitskomponente in einer senkrechten Richtung bestimmt. Aus beiden Geschwindigkeitskomponenten wird dann der vollständige Geschwindigkeitsvektor des jeweiligen Objekts bestimmt. Als weiterer Ansatz ist aus der US 2018 / 0259637 A1 ein System zur Echtzeitsteuerung eines Geräts bekannt. Dabei wird ein Objekt optisch erfasst, das sich an einer Steigung, also in Schräglage relativ zu dem Gerät befindet. Mittels eines Radargeräts werden ein Horizontalwinkel und eine radiale Entfernung des Objekts von dem Gerät sowie eine Änderungsrate der Entfernung erfasst. Das Gerät wird dann basierend auf einer 3D- Positionsmatrix und einer 3D-Änderungsratenmatrix gesteuert, die basierend auf den visuellen Daten und den Radardaten bestimmt wurden.

Als weiterer Ansatz ist in der EP 3229041 A1 ein Objektdetektionssystem beschrieben, das einen Radarsensor und eine Kamera umfasst. Ein Radarsignal soll dabei eine Entfernung und Richtung eines Objekts in einer Umgebung eines Fahrzeugs angeben.

Ein mittels der Kamera aufgenommenes Bild soll einen Sichtbereich des Radarsignals überlappen. Es soll dann eine Entfernungskarte für das Bild basierend auf der Entfernung und Richtung des Objekts bestimmt werden. Darauf basierend wird in dem Bild eine Detektionszone definiert. Es wird dann ausschließlich diese Detektionszone des Bilds verarbeitet, um das Objekt zu identifizieren.

Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Detektion bewegter Objekte in einer Fahrzeugumgebung zu ermöglichen. Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben.

Das erfindungsgemäße Verfahren dient dazu, um von einem Kraftfahrzeug aus Objekte zu detektieren, die sich in einer Umgebung des Kraftfahrzeugs bewegen. Die Umgebung kann dabei durch eine Erfassungs- oder Sensorreichweite wenigstens einer Kamera und wenigstens einer Radareinrichtung des Kraftfahrzeugs bestimmt sein. Bei dem Verfahren werden Kameradaten der Umgebung aufgenommen. Die Kameradaten können dabei mittels der Kamera des Kraftfahrzeugs aufgenommen werden. Ebenso kann das Aufnehmen der Kameradaten deren Erfassen oder Empfangen durch eine zum Durchführen des Verfahrens eingerichtete Datenverarbeitungseinrichtung von der Kamera oder über eine entsprechende Datenschnittstelle umfassen oder bedeuten. Die Kameradaten bilden also die Umgebung des Kraftfahrzeugs ab. Weiter werden bei dem erfindungsgemäßen Verfahren Radarechos aus der Umgebung des Kraftfahrzeugs aufgenommen. Die Radarechos können dabei mittels der Radareinrichtung aufgenommen, also gemessen werden. Ebenso kann das Aufnehmen der Radarechos deren Erfassen oder Empfangen durch die Datenverarbeitungseinrichtung von der Radareinrichtung oder über eine entsprechende Datenschnittstelle bedeuten oder umfassen. Insbesondere sind dies Radarechos, die durch Reflektion wenigstens eines von der Radareinrichtung in die Umgebung ausgesendeten Radarpulses von in der Umgebung befindlichen Objekten zurück zu der Radareinrichtung entstehen. Die Radarechos repräsentieren also Objekte in der Umgebung des Kraftfahrzeugs, bilden in diesem Sinne also ebenfalls die Umgebung des Kraftfahrzeugs ab.

In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden anhand der Kameradaten in diesen abgebildete Objekte erkannt, wobei für ein erkanntes Objekt jeweils ein von diesem aus Sicht des Kraftfahrzeugs eingenommener Azimut- oder Horizontalwinkelbereich bestimmt und ein das jeweilige Objekt umgebender Begrenzungsrahmen (fachsprachlich: bounding box) mit einer angenommenen oder abgeschätzten Entfernung zu dem Kraftfahrzeug generiert wird. Zum Erkennen der Objekte in den Kameradaten, also insbesondere in einem jeweiligen Kamerabild, können an sich bekannte Bildverarbeitungs- oder Objekterkennungsmittel oder -algorithmen eingesetzt werden. Damit können Objekte beispielsweise anhand von Kanten, Konturen, zusammenhängenden Flächen oder dergleichen detektiert werden. Der Azimutwinkelbereich ist hier in einer Ebene definiert, die sich beispielsweise parallel zu einem Boden des Kraftfahrzeugs erstrecken kann. Insbesondere kann es sich dabei um eine, gegebenenfalls idealisierte oder geglättete, Ebene eines von dem Kraftfahrzeug befahrenen Untergrunds, also beispielsweise eine Fahrbahnoberfläche oder dergleichen, handeln. Der Azimutwinkelbereich kann dabei bezogen auf eine vorgegebene Richtung definiert sein. Beispielsweise kann als Referenz oder Nullrichtung eine gedachte, von dem Kraftfahrzeug, insbesondere von der Kamera, nach vorne oder in Fahrtrichtung ausgehende Richtung vorgegeben sein (auch als x-Richtung bezeichnet).

Die angenommene oder abgeschätzte Entfernung des jeweiligen Objekts beziehungsweise des jeweiligen Begrenzungsrahmens kann beispielsweise basierend auf vorgegebenen Annahmen bezüglich einer Breite oder Länge unterschiedlicher Objekte bestimmt oder festgelegt werden. Dabei können optische Eigenschaften der Kamera berücksichtigt werden, die beispielsweise bestimmen, wie groß ein Objekt einer bestimmten tatsächlichen Größe in einer bestimmten Entfernung zu der Kamera in den Kameradaten beziehungsweise in dem jeweiligen Kamerabild erscheint. Dabei können auch abgeschätzte oder vorgegebene relative Größenbeziehungen zwischen unterschiedlichen in den Kameradaten abgebildeten Objekten berücksichtigt werden. Erscheint beispielsweise in den Kameradaten ein PKW ebenso groß wie ein Gebäude oder erscheint beispielsweise ein Fußgänger ebenso breit wie ein PKW, so kann jeweils davon ausgegangen werden, dass sich diese Objekte in unterschiedlichen Entfernungen zu der Kamera und damit zu dem Kraftfahrzeug befinden. Dies wiederum lässt, gegebenenfalls unter Berücksichtigung vorgegebener typischer Größen für derartige Objekte, einen Rückschluss auf die ungefähre Entfernung des jeweiligen Objekts von dem Kraftfahrzeug zu. Ebenso können beispielsweise zwischen dem jeweiligen Objekt und der Kamera in den Kameradaten abgebildete und detektierte Umgebungsmerkmale, wie beispielsweise eine Fahrbahnbreite oder Fahrstreifenmarkierungen oder dergleichen, zum Abschätzen der Entfernung verwendet werden.

Besonders bevorzugt kann der jeweilige Begrenzungsrahmen basierend auf der angenommenen Entfernung in einen 2D-Raum, insbesondere in die auch für den Azimutwinkelbereich verwendete Ebene, projiziert werden. Für diese Ebene kann dabei ein vorgegebenes Koordinatensystem verwendet werden, wobei das Kraftfahrzeug beziehungsweise die Kamera oder eine die Kamera und die Radareinrichtung umfassende Umgebungssensorik des Kraftfahrzeugs beispielsweise in einem Nullpunkt des Koordinatensystems angeordnet sein kann. Insbesondere kann das vorgegebene Koordinatensystem ein Kamerakoordinatensystem sein, also dasjenige Koordinatensystem, in dem die Kameradaten erfasst oder verarbeitet oder verwaltet werden, in dem also beispielsweise auch die Begrenzungsrahmen verortet werden.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird für die Radarechos eine zugehörige Dopplergeschwindigkeit bezogen auf eine aktuelle Position des Kraftfahrzeugs bestimmt. Die Dopplergeschwindigkeit in diesem Sinne ist dabei eine um eine Eigengeschwindigkeit des Kraftfahrzeugs korrigierte oder kompensierte, also vorzeichenabhängig reduzierte oder vergrößerte, Radialgeschwindigkeit des jeweiligen Objekts, welches das jeweilige Radarecho erzeugt. Die Radareinrichtung beziehungsweise das Kraftfahrzeug oder dessen aktuelle Position kann also als Mittelpunkt eines Kreises angesehen werden, auf dessen Umfangslinie das jeweilige Objekt angeordnet ist. Die Dopplergeschwindigkeit gibt dann eine Geschwindigkeitskomponente des Objekts entlang eines Radius dieses Kreises - entweder auf den Mittelpunkt zu oder von dem Mittelpunkt weg - unabhängig von einer Eigenbewegung des Kraftfahrzeugs, also in einem oder bezogen auf ein weltfestes Koordinatensystem an. Radarechos, für die dabei eine nicht-verschwindende, also von null verschiedene, Dopplergeschwindigkeit bestimmt wurde, werden hier als bewegte Radarechos bezeichnet. Zumindest für die ermittelten bewegten Radarechos werden eine zugehörige Entfernung von dem Kraftfahrzeug und ein zugehöriger Azimutwinkel bestimmt. Diese Entfernungen und Azimutwinkel werden hier also, insbesondere nur, anhand der gemessenen Radarechos beziehungsweise entsprechender Radardaten, also anhand von Messdaten der Radareinrichtung, bestimmt. Anhand der jeweiligen bestimmten Entfernung und des jeweiligen Azimutwinkels ergibt sich für das jeweilige Radarecho eine 2D-Position. Diese 2D-Position, also effektiv das jeweilige Radarecho beziehungsweise ein das jeweilige Radarecho verursachendes Objekt, kann dann ebenfalls in den genannten 2D-Raum beziehungsweise die genannte Ebene, also in ein auch für die Kameradaten verwendetes Koordinatensystem projiziert oder eingetragen werden. Ebenso können die Radarechos in das jeweilige Kamerabild projiziert oder übertragen werden. Die Radarechos beziehungsweise die Radarechos in Kombination mit den bestimmten Entfernungen und Azimutwinkeln können also als Punkteverteilung oder Punktewolke in dem entsprechenden 2D-Raum oder Koordinatensystem aufgefasst werden. Die radarbasiert bestimmten Azimutwinkel können prinzipbedingt eine größere Unsicherheit oder Messungenauigkeit aufweisen. Um dies im Folgenden zu berücksichtigen, kann bevorzugt der kamerabasiert bestimmte Azimutwinkelbereich zu beiden Seiten oder in beide Richtungen um einen Toleranzbereich erweitert oder vergrößert werden. Dieser Toleranzbereich kann der vorgegebenen oder angenommenen Unsicherheit oder Messungenauigkeit der radarbasierten Bestimmung des Azimutwinkels entsprechen. Besonders bevorzugt kann als Toleranzbereich als Vielfaches der Standardabweichung bestimmt werden, insbesondere als 3-o-Bereich, sodass also etwa 99,7 % aller entsprechenden Messwerte erfasst werden.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird eine Zuordnung zwischen wenigstens einem der bewegten Radarechos und wenigstens einem der Begrenzungsrahmen durchgeführt. Dazu wird der jeweilige Azimutwinkel mit den, dabei insbesondere als Referenz oder wahrer Wert dienenden, bestimmten Azimutwinkelbereichen der Begrenzungsrahmen abgeglichen und die, dabei insbesondere als Referenz oder wahrer Wert dienende jeweilige radarbasiert bestimmte Entfernung wird - direkt oder indirekt - mit den kamerabasiert angenommenen Entfernungen abgeglichen. Bevorzugt können die Abgleiche der Entfernung hier basierend auf jeweiligen Skalierungsfehlern durchgeführt werden, was weiter unten noch näher erläutert wird. Dann kann der Abgleich insbesondere auf prozentualer Basis und nicht absolut, also beispielsweise nicht in Metern, erfolgen. Es kann also etwa ein Quotient der jeweiligen radarbasiert bestimmten Entfernung und der jeweiligen kamerabasiert angenommenen Entfernung gebildet und bewertet, also beispielsweise mit einem vorgegebenen Referenz- oder Schwellenwert verglichen, werden. Das Durchführen der Zuordnung kann im Sinne der vorliegenden Erfindung insbesondere bedeuten, dass diese Abgleiche durchgeführt werden, wobei die Zuordnung erfolgreich sein kann, wenn die Abgleiche erfolgreich sind, also beispielsweise ein jeweiliges vorgegebenes Kriterium erfüllen, und fehlschlagen oder verworfen werden kann, wenn die Abgleiche fehlschlagen, also beispielsweise wenigstens ein vorgegebenes Kriterium nicht erfüllen. Ein Abgleich kann beispielsweise dann erfolgreich sein, wenn die jeweils miteinander abgeglichenen oder verglichenen Werte oder Daten eine vorgegebene Ähnlichkeit zueinander aufweisen, also sich beispielsweise um höchstens einen vorgegebenen Wert oder Betrag voneinander unterscheiden, oder dergleichen. Weitere Details zu den Abgleichen werden weiter unten noch näher erläutert. Letztendlich wird hier also bestimmt, ob eine hinsichtlich der jeweiligen Eigenschaften zusammenpassende Kombination aus einem Begrenzungsrahmen und wenigstens einem bewegten Radarecho vorliegt beziehungsweise gefunden werden kann. Dies könnte beispielsweise der Fall sein, wenn eines oder mehrere der bewegten Radarechos von demjenigen Objekt erzeugt und direkt zu der Radareinrichtung zurückgeworfen wurden, das von dem jeweiligen Begrenzungsrahmen umgeben beziehungsweise repräsentiert wird. In unterschiedlichen Situationen beziehungsweise Ausgestaltungen der vorliegenden Erfindung können einem Begrenzungsrahmen dabei nur ein Radarecho oder mehrere Radarechos zugeordnet werden. Besonders bevorzugt wird dabei automatisch eine Zuordnung eines bestimmten Radarechos zu unterschiedlichen Begrenzungsrahmen, also eine Doppelzuordnung eines Radarechos, verhindert, beispielsweise durch eine entsprechende Abfrage oder durch Entfernen erfolgreich zugeordneter Radarechos aus einer Menge von noch zur Zuordnung verfügbaren der Radarechos. Sofern aufgrund der genannten Daten oder Eigenschaften eine Zuordnung eines Radarechos zu unterschiedlichen Begrenzungsrahmen möglich oder plausibel wäre, kann eine jeweilige Wahrscheinlichkeit dafür bestimmt werden, dass das Radarecho zu dem einen oder zu dem anderen Begrenzungsrahmen beziehungsweise Objekt gehört. Es kann dann die Zuordnung mit der größeren Wahrscheinlichkeit durchgeführt werden. Das Bestimmen derartiger Wahrscheinlichkeiten wird weiter unten noch näher erläutert.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird für die Begrenzungsrahmen, denen wenigstens eines der bewegten Radarechos erfolgreich zugeordnet wurde, die jeweilige angenommene Entfernung gemäß der radarbasiert bestimmten Entfernung der jeweils zugeordneten Radarechos korrigiert. Dabei kann die angenommene Entfernung beispielsweise durch die Entfernung eines zugeordneten Radarechos ersetzt werden. Wurden einem Begrenzungsrahmen mehrere Radarechos zugeordnet, so kann die angenommene Entfernung dieses Begrenzungsrahmens beispielsweise durch einen Mittelwert der für die zugeordneten Radarechos bestimmten Entfernungen ersetzt werden. Ebenso können bei dem Korrigieren der angenommenen Entfernung beispielsweise ein vorgegebener oder abgeschätzter Messfehler oder eine Messungenauigkeit der radarbasiert bestimmten Entfernungen, eine Ungenauigkeit oder Unsicherheit der angenommenen Entfernung und/oder dergleichen mehr berücksichtigt werden. Der jeweilige Begrenzungsrahmen kann in dem genannten 2D-Raum beziehungsweise in der genannten Ebene verschoben werden gemäß der radarbasiert bestimmten Entfernung oder Entfernung des somit detektierten Objekts von dem Kraftfahrzeug.

Die Begrenzungsrahmen mit der jeweiligen korrigierten Entfernung werden dann als Objektdatensatz ausgegeben, bereitgestellt oder weiterverwendet, der eine erfolgreiche Objektdetektion angibt. Der Objektdatensatz kann dann beispielsweise als Grundlage für weitere Berechnungen, beispielsweise als Basis oder Eingangsdaten für einen Kalmanfilter, für Fahrfunktionen oder Steuervorgänge des Kraftfahrzeugs und/oder dergleichen mehr dienen beziehungsweise verwendet werden. Der Objektdatensatz kann dabei durch weitere Daten oder Eigenschaften ergänzt werden, um beispielsweise das jeweilige Objekt genauer zu charakterisieren. Beispielsweise können die jeweilige Dopplergeschwindigkeit, eine Orientierung des jeweiligen Objekts, dessen Gierrate, dessen Typ oder Art, eine oder mehrere Wahrscheinlichkeiten oder Konfidenzen für die Zuordnung und/oder einzelne bestimmte Werte oder Eigenschaften und/oder dergleichen mehr zu dem Objektdatensatz hinzugefügt werden. Beispielsweise kann der Objektdatensatz für ein Tracking, also eine Nachverfolgung des jeweiligen Objekts oder zum Befüllen eines dynamischen Kartengitters oder Rasters und/oder dergleichen mehr verwendet werden.

Das Detektieren des Objekts kann im Sinne der vorliegenden Erfindung also bedeuten oder umfassen, dass erkannt wird, dass es in der Umgebung ein Objekt gibt, dieses Objekt verortet, das heißt eine Position relativ zu dem Kraftfahrzeug bestimmt wird, sowie gegebenenfalls eine Relativbewegung zwischen dem Objekt und dem Kraftfahrzeug, insbesondere eine Bewegungsrichtung des Objekts in radialer Richtung bezogen auf das Kraftfahrzeug bestimmt wird. Dazu werden vorliegend Kameradaten und Radardaten miteinander kombiniert oder fusioniert. Diese beiden Sensor- oder Datenarten weisen dabei vorteilhaft unterschiedliche Stärken und Schwächen hinsichtlich der Objektdetektion auf und ergänzen sich somit vorteilhaft, um eine besonders genaue und zuverlässige Objektdetektion zu ermöglichen. So kann mittels der Kamera beziehungsweise anhand der Kameradaten vorteilhaft besonders genau ein Azimutwinkelbereich, in dem sich das Objekt befindet, bestimmt und das jeweilige Objekt klassifiziert, also beispielsweise eine Art oder ein Typ des jeweiligen Objekts bestimmt werden. Mittels der Radareinrichtung beziehungsweise anhand der Radardaten oder Radarechos kann hingegen vorteilhaft die Entfernung des jeweiligen Objekts und dessen Dopplergeschwindigkeit jeweils bezogen auf die Radareinrichtung beziehungsweise das damit ausgestattete Kraftfahrzeug besonders genau bestimmt werden. Ein besonderer Vorteil des vorliegenden Verfahrens ist dabei, dass hier Rohdaten miteinander kombiniert oder fusioniert werden können. Die Radarechos, gegebenenfalls einschließlich der zugehörigen Dopplergeschwindigkeit und Entfernung und des zugehörigen Azimutwinkels, stellen dabei für sich genommen also nicht keine vollständige Objektdetektion im herkömmlichen Sinne dar, da beispielsweise die Radardaten nicht für sich alleine genommen so weit verarbeitet werden, dass darauf basierend vollständige Objekte identifiziert und entsprechende Begrenzungsrahmen generiert werden. Vielmehr findet bei der vorliegenden Erfindung die Fusion oder Kombination der Kameradaten mit den Radardaten zu einem früheren Zeitpunkt in einer Datenverarbeitungskette statt, da hier die Kameradaten beziehungsweise darin oder darauf basierend generierte Begrenzungsrahmen mit Radarrohdaten, nämlich einzelnen Radarechos assoziiert werden, bevor die Objektdetektion abgeschlossen wird. Dadurch können mittels der vorliegenden Erfindung Objekte mit verbesserter Zuverlässigkeit und Genauigkeit und zudem im Vergleich zu herkömmlichen Detektionsverfahren schneller und mit weniger Datenverarbeitungsaufwand detektiert werden. Besonders vorteilhaft ist es dabei, dass eine Objektdetektion gemäß dem erfindungsgemäßen Verfahren basierend auf einem einzigen Radarmesszyklus und einem einzigen Kamerabild möglich ist. Ein einzelnes Kamerabild kann dabei ein einzelner aufgenommener Frame sein. Ein einzelner Radarmesszyklus kann beispielsweise ein einmaliges Aussenden einer Radarpulskette, also ein einmaliges Abtasten oder Scannen der Umgebung beziehungsweise eines Erfassungsbereiches oder Sichtbereiches der Radareinrichtung, sowie das Aufnehmen daraus resultierender Radarechos sein. Je nach Auslegung oder Ausgestaltung der Radareinrichtung können in einem Radarmesszyklus beispielsweise 1024 Signalrampen, gegebenenfalls unterschiedlicher Frequenzen, ausgesendet werden. Ein solcher Messzyklus kann beispielsweise alle 20 ms durchgeführt werden. Je nach Auslegung der Kamera kann ein Kamerabild beispielsweise alle 50 ms oder beispielsweise synchronisiert zu den Radarmesszyklen beziehungsweise Radarpulsen aufgenommen werden.

Durch die vorliegende Erfindung können vorteilhaft nicht nur besonders genaue Positionen der Objekte in der Umgebung des Kraftfahrzeugs bestimmt, sondern es kann zusätzlich besonders genau ermittelt werden, ob das jeweilige Objekt relevant beziehungsweise hochrelevant ist, sich also selbsttätig relativ zu dem Kraftfahrzeug, insbesondere auf das Kraftfahrzeug zu, bewegt und um welche Art von Objekt es sich handelt. Dabei kann mit der vorliegenden Erfindung im Vergleich zu herkömmlichen Detektionsverfahren vorteilhaft eine signifikante Reduktion einer Initialisierungszeit und einer kombinierten Messung beziehungsweise einer auf zwei unterschiedlichen Sensorarten basierenden Objektdetektion erzielt werden. Durch die hier vorgeschlagene Kombination von Kameradaten und Radardaten kann dabei vorteilhaft eine besonders hohe Konfidenz resultierender Objektdetektionen erreicht werden, da eine erfolgreiche Objektdetektion auf unterschiedlichen Messprinzipien und Messeinrichtungen basiert. Im Vergleich zu einer rein radarbasierten Objektdetektion kann beispielsweise besonders zuverlässig identifiziert werden, dass ein bestimmtes Radarecho von einem relevanten Objekt stammt und nicht etwa clutter ist, also Stördaten darstellt. Dadurch können auch alle gegebenenfalls nachfolgenden Verarbeitungen oder Prozesse vorteilhaft mit erhöhter Zuverlässigkeit und Konfidenz durchlaufen werden, sodass letztendlich beispielsweise das Kraftfahrzeug zuverlässiger und sicherer betrieben werden kann. Bevorzugt kann das erfindungsgemäße Verfahren für automatisierte Fahrfunktionen in einem urbanen, also städtischen Umfeld aber ebenso in außerstädtischen Bereichen angewendet werden.

In vorteilhafter Weiterbildung der vorliegenden Erfindung wird das Verfahren für Radarechos jeweils eines einzigen Messzyklus durchgeführt. Für den Fall, dass für eine Aufnahmezeit des Messzyklus keine gleichzeitig aufgenommenen Kameradaten verfügbar sind, werden die verfügbaren Kameradaten auf die Aufnahmezeit des Messzyklus interpoliert oder extrapoliert. Eine Interpolation kann beispielsweise zwischen einem vor den Radarechos aufgenommenen Kamerabild und einem unmittelbar nach Ende des Messzyklus, in dem die Radarechos aufgenommen wurden, durchgeführt werden. Hat dabei während einer zwischen den Aufnahmezeitpunkten dieser beiden Kamerabilder liegenden Zeit eine Bewegung wenigstens eines der Objekte stattgefunden, so kann durch Interpolation zwischen diesen beiden Kamerabildern beispielsweise eine Position und/oder Ausrichtung des jeweiligen Begrenzungsrahmens derart verschoben oder angepasst werden, dass sie - zumindest vermutlich oder im Durchschnitt - genauer der tatsächlichen Position beziehungsweise Orientierung des jeweiligen Objekts zu der Aufnahmezeit der Radarechos entspricht. Ist hingegen weder ein während der Aufnahmezeit der Radarechos, also während des Messzyklus, aufgenommenes Kamerabild noch ein danach aufgenommenes Kamerabild verfügbar, so kann die Position und/oder Orientierung des jeweiligen Objekts aus einem oder mehreren vor dem Messzyklus aufgenommenen Kamerabildern extrapoliert werden. Aufgrund der typischerweise verwendeten Aufnahmefrequenzen für die Kameradaten und Messzyklen und den real auftretenden Geschwindigkeiten von Objekten im Straßenverkehr kann dabei mit ausreichend hoher Zuverlässigkeit eine Verbesserung im Vergleich zur Verwendung nicht interpolierter oder nicht extrapolierter Kameradaten erzielt werden. Das Interpolieren oder Extrapolieren der Kameradaten auf den Aufnahmezeitpunkt des Messzyklus kann beispielsweise anhand von Zeitstempeln der jeweiligen Daten durchgeführt werden, die beim jeweiligen Aufnehmen der Daten automatisch vergeben oder gesetzt werden können. Durch das Interpolieren beziehungsweise Extrapolieren der Kameradaten kann vorteilhaft eine genauere und zuverlässigere Zuordnung zwischen den jeweiligen Radarechos und dem oder den Begrenzungsrahmen beziehungsweise den entsprechenden Objekten bestimmt werden. Besonders bevorzugt kann hier eine lineare Interpolation beziehungsweise Extrapolation angewendet werden, die vorteilhaft mit besonders geringem Rechenaufwand und damit besonders schnell bei gleichzeitig ausreichender Genauigkeit und Zuverlässigkeit durchgeführt werden kann.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden für den Abgleich der Entfernungen die Radarechos und die Begrenzungsrahmen in ein vorgegebenes oder gemeinsames Koordinatensystem eingebettet, insbesondere in das genannte Kamerakoordinatensystem, dessen Mittel- oder Nullpunkt der Position der Kamera entspricht. Darin wird zumindest für die bewegten Radarechos ein jeweiliger Skalierungsfehler oder Skalierungsfaktor bestimmt, der einen Abstand des jeweiligen Radarechos zu dem jeweiligen Begrenzungsrahmen in dem vorgegebenen Koordinatensystem in bezogen auf die aktuelle Position des Kraftfahrzeugs, insbesondere bezogen auf die aktuelle Position der Kamera, radialer Richtung angibt. Die Richtung der Dopplergeschwindigkeit des jeweiligen Objekts kann hingegen in einem Radarkoordinatensystem, dessen Mittel- oder Nullpunkt der jeweils aktuellen Position der Radareinrichtung beziehungsweise deren Radarsensors, entspricht, bestimmt sein und muss nicht in das Kamerakoordinatensystem transformiert oder übertragen werden.

Der jeweilige bestimmte Skalierungsfehler oder Skalierungsfaktor wird dann berücksichtigt, indem er für eine erfolgreiche Zuordnung des jeweiligen Radarechos zu dem jeweiligen Begrenzungsrahmen kleiner als ein vorgegebener Schwellenwert sein beziehungsweise in einem vorgegebenen Bereich oder Intervall liegen muss. Es kann hier für das jeweilige Radarecho ein minimaler Skalierungsfehler und ein maximaler Skalierungsfehler berechnet werden. Der minimale Skalierungsfehler gibt dabei den Abstand des jeweiligen Radarechos beziehungsweise der Position des jeweiligen Radarechos in dem vorgegebenen Koordinatensystem zu einem nächstliegenden Punkt oder Rand des jeweiligen Begrenzungsrahmens an. Entsprechend gibt der maximale Skalierungsfehler den Abstand des jeweiligen Radarechos oder dessen Position zu dem am weitesten entfernt liegenden Punkt oder Rand des Begrenzungsrahmens an. Diese Abstände können dabei insbesondere entlang einer von dem jeweiligen Radarecho zu dem Kraftfahrzeug verlaufenden Radiuslinie bestimmt werden, zumindest in den Fällen, in denen eine derartige Radiuslinie den Begrenzungsrahmen berührt oder schneidet. Läuft die jeweilige Radiuslinie neben dem jeweiligen Begrenzungsrahmen, so kann beispielsweise eine senkrecht zu der jeweiligen Radiuslinie verlaufende Hilfslinie, die den Begrenzungsrahmen schneidet, verwendet werden. Der minimale Skalierungsfehler ergibt sich dann als Abstand zwischen dem Radarecho und dem nächstliegenden Schnittpunkt der Hilfslinie mit der Radiuslinie, durch den verlaufend die Hilfslinie den Begrenzungsrahmen schneidet. Analog kann der maximale Skalierungsfehler als Abstand zwischen dem Radarecho und dem Schnittpunkt der Radiuslinie und der Hilfslinie, der am weitesten von dem Radarecho entfernt liegt und noch zu einem Berühren oder Schneiden des Begrenzungsrahmens durch die Hilfslinie führt, verwendet werden. Ebenso kann zusätzlich oder alternativ ein durchschnittlicher Skalierungsfehler berechnet werden, der entsprechend beispielsweise den Abstand des jeweiligen Radarechos zu einem Mittelpunkt beziehungsweise einem mittig zwischen den für die Berechnung des minimalen und maximalen Skalierungsfehlers verwendeten Punkten des Begrenzungsrahmens liegenden Punkt besteht.

Ein Fehler oder eine Ungenauigkeit der anhand der Kameradaten abgeschätzten Entfernung und damit der entsprechenden Position des Begrenzungsrahmens in dem vorgegebenen Koordinatensystem kann beispielsweise im Bereich von 30 % liegen. Dementsprechend kann hier als Schwellenwert für den Skalierungsfehler beispielsweise ±30 % oder beispielsweise ±50 % vorgegeben sein. Der Skalierungsfehler kann dabei vorzeichenbehaftet sein, je nachdem ob der Begrenzungsrahmen zwischen dem Radarecho und dem Kraftfahrzeug oder auf einer von dem Kraftfahrzeug abgewandten Seite des Radarechos liegt. Für einen vorgegebenen Schwellenwert beziehungsweise eine entsprechende Fensterung (englisch: gating) von beispielsweise 50 % können dann für die Zuordnung diejenigen Radarechos verwendet oder betrachtet werden, deren Skalierungsfehler beispielsweise in einem Bereich von -0,5 bis +0,5 liegt. Hier sind ebenso alternative Ausgestaltungen möglich. Beispielsweise kann der Skalierungsfehler konstant auf 1 gesetzt werden, wenn das Radarecho innerhalb des Begrenzungsrahmens liegt. Bei einem vorgegebenen Schwellenwert von beispielsweise 50 % werden dann solche Radarechos berücksichtigt, deren Skalierungsfehler im Bereich von 0,5 bis 1,5 liegt. Radarechos, deren Skalierungsfehler außerhalb des so bestimmten Bereiches beziehungsweise oberhalb des vorgegebenen Schwellenwertes liegt, können verworfen beziehungsweise nicht für die Zuordnung zu dem jeweiligen Begrenzungsrahmen verwendet oder in Betracht gezogen werden. In einem konkreten Beispiel können für ein Objekt die kamerabasiert angenommene Entfernung 60 m und die radarbasiert bestimmte Entfernung 40 m betragen. Damit ergibt sich dann ein Skalierungsfaktor von 60m / 40m = 1,5. Der Skalierungsfehler wäre hier also beispielhaft 0,5. Als valide Werte für eine erfolgreiche Zuordnung können beispielsweise ein Bereich von 0,5 - 1,5 für den Skalierungsfaktor und/oder ein oberer Schwellenwert von 0,5 für den Skalierungsfehler vorgegeben sein. In diesem Beispiel wäre die entfernungsbasierte Zuordnung also erfolgreich.

Die hier beschriebene Verwendung des Skalierungsfehlers als Kriterium für die Zuordnung eines Radarechos zu einem bestimmten Begrenzungsrahmen ermöglicht vorteilhaft eine robuste Fusion der Kamera- und Radardaten unter Berücksichtigung der jeweiligen Stärken und Schwächen der unterschiedlichen zugrundeliegenden Messmethoden.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird für den Azimutwinkel und/oder für einen Skalierungsfehler eine Wahrscheinlichkeitsfunktion vorgegeben, anhand derer die jeweilige Zuordnung bewertet wird. Der Skalierungsfehler gibt auch hier für ein Radarecho jeweils dessen Abstand zu dem jeweiligen Begrenzungsrahmen in einem vorgegebenen oder gemeinsamen Koordinatensystem an, insbesondere in dem genannten Kamerakoordinatensystem, kann also insbesondere dem an anderer Stelle beschriebenen Skalierungsfehler oder Skalierungsfaktor entsprechen. Die Wahrscheinlichkeitsfunktion kann bevorzugt einen konstant verlaufenden Zentralbereich aufweisen, von dem aus sie beziehungsweise die entsprechende Wahrscheinlichkeit zu beiden Seiten hin abfällt. Beispielsweise kann gemäß der Wahrscheinlichkeitsfunktion für den Skalierungsfehler einer Zuordnung beziehungsweise einer tatsächlichen Zugehörigkeit eines Radarechos zu einem Begrenzungsrahmen eine Wahrscheinlichkeit von 1 zugeordnet werden, wenn der Skalierungsfehler des jeweiligen Radarechos innerhalb eines vorgegebenen Bereiches oder Intervalls oder unterhalb eines vorgegebenen Schwellenwertes liegt. Für Radarechos mit außerhalb des vorgegebenen Bereiches oder oberhalb des vorgegebenen Schwellenwertes liegendem Messskalierungsfehler kann deren Zuordnung zu dem Begrenzungsrahmen beziehungsweise einer Korrektheit einer solchen Zuordnung, also letztlich der tatsächlichen Zugehörigkeit des Radarechos zu dem Begrenzungsrahmen beziehungsweise zu dem jeweiligen Objekt eine mit zunehmendem Abstand geringer werdende Wahrscheinlichkeit gemäß der vorgegebenen Wahrscheinlichkeitsfunktion für den Skalierungsfehler zugewiesen werden. Wenn für ein Radarecho ein minimaler und ein maximaler Skalierungsfehler berechnet wurden, so kann der höhere der beiden entsprechenden Wahrscheinlichkeitswerte verwendet, also dem Radarecho oder dessen Zuordnung zu dem jeweiligen Begrenzungsrahmen zugeordnet werden. Analog kann beispielsweise einem Radarecho beziehungsweise dessen Zuordnung zu dem Begrenzungsrahmen eine Wahrscheinlichkeit oder ein Wahrscheinlichkeitswert von 1 zugewiesen werden, wenn das Radarecho in dem vorgegebenen Koordinatensystem innerhalb eines von dem jeweiligen Begrenzungsrahmen überdeckten Azimutwinkelbereiches liegt. Außerhalb dieses Azimutwinkelbereiches liegenden Radarechos beziehungsweise deren Zuordnung zu dem jeweiligen Begrenzungsrahmen kann eine gemäß der Wahrscheinlichkeitsfunktion für den Azimutwinkel mit zunehmender Entfernung von dem jeweiligen Azimutwinkelbereich des Begrenzungsrahmens abnehmende Wahrscheinlichkeit zugeordnet werden.

Die zugehörigen Wahrscheinlichkeiten der letztlich erfolgreich zu einem Begrenzungsrahmen zugeordneten Radarechos oder ein daraus berechneter Gesamtwahrscheinlichkeitswert - beispielsweise ein Mittelwert der Wahrscheinlichkeiten - kann dann als ergänzende Information dem jeweiligen Objektdatensatz beigefügt werden. Darauf basierend kann beispielsweise die Detektion gewichtet werden. Dies kann vorteilhaft beispielsweise abgestufte Reaktionen oder eine Priorisierung potenzieller Gefahren oder Maßnahmen bei dem Betrieb oder der Steuerung des Kraftfahrzeugs ermöglichen. So kann beispielsweise vorgesehen sein, dass eine bestimmte Maßnahme, wie etwa ein Ausweichmanöver oder ein Abbremsen erst dann durchgeführt wird, wenn die Detektion eines Objekts in einem Pfad des Kraftfahrzeugs eine vorgegebene Minimalwahrscheinlichkeit aufweist.

Ebenso kann beispielsweise ein Wahrscheinlichkeitsschwellenwert vorgegeben sein. Es können dann dem jeweiligen Begrenzungsrahmen alle Radarechos zugeordnet werden, für deren Zuordnung beziehungsweise Zugehörigkeit zu dem Begrenzungsrahmen eine wenigstens dem Wahrscheinlichkeitsschwellenwert entsprechende Wahrscheinlichkeit ermittelt wurde. Mit anderen Worten kann also ein Gating oder eine Fensterung auf Basis der bestimmten Wahrscheinlichkeiten durchgeführt werden. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen kann dementsprechend verworfen werden oder fehlschlagen, wenn ein oder mehrere für das jeweilige Radarecho bestimmte Wahrscheinlichkeitswerte unterhalb des vorgegebenen Wahrscheinlichkeitsschwellenwertes liegen. Durch die hier vorgeschlagene Bestimmung und Berücksichtigung der Wahrscheinlichkeiten kann vorteilhaft zusätzliche Flexibilität des erfindungsgemäßen Verfahrens geschaffen und zudem eine entsprechend abgestufte oder weiche Berücksichtigung auch solcher Zuordnungen oder Objektdetektionen bei weiteren Datenverarbeitungsschritten ermöglicht werden, die nicht eindeutig durchgeführt werden konnten. Dies kann letztlich zu einer zuverlässigeren und sichereren Steuerung des Kraftfahrzeugs beitragen.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird für den Fall, dass einem Begrenzungsrahmen wenigstens drei Radarechos zugeordnet wurden, anhand dieser wenigstens drei Radarechos ein Dopplergeschwindigkeitsprofil bestimmt, zu dem möglichst viele der zugeordneten Radarechos konsistent sind. Die Entfernung des jeweiligen Begrenzungsrahmens wird dann nur basierend auf den bestimmten Entfernungen der mit dem Dopplergeschwindigkeitsprofil konsistenten Radarechos korrigiert. Zum Bestimmen eines konsistenten Satzes oder Sets von Radarechos kann bevorzugt ein robuster Ansatz, wie beispielsweise RANSAC (englisch: random sample consensus) angewendet werden. Aufgrund der Zuordnung mehrerer Radarechos zu ein und demselben Begrenzungsrahmen kann hier von der Hypothese ausgegangen werden, dass alle diese Radarechos von ein und demselben ausgedehnten Objekt stammen. Es können dann beispielsweise jeweils zwei Radarechos zufällig ausgewählt werden. Für die jeweils ausgewählten Radarechos wird dann ein Dopplergeschwindigkeitsprofil bestimmt. Dies basiert auf der Erkenntnis, dass die Dopplergeschwindigkeit als Funktion des Azimutwinkels zumindest im theoretischen Idealfall, also die erwartete Dopplergeschwindigkeit in Abhängigkeit von dem Azimutwinkel für Radarechos eines Objekts stets als Cosinusfunktion mit zwei Freiheitsgraden, nämlich einer Amplitude und einer Phase, beschrieben werden kann. Anhand der zwei Radarechos können dann diese zwei Freiheitsgrade beziehungsweise Parameter analytisch bestimmt, also die entsprechende Funktion analytisch gelöst werden. Die resultierende Cosinusfunktion stellt dann effektiv das jeweilige Dopplergeschwindigkeitsprofil dar. Für die übrigen Radarechos wird dann überprüft, ob sie auf der entsprechenden Cosinuskurve liegen und damit konsistent zu dem jeweiligen Dopplergeschwindigkeitsprofil sind. Dabei kann eine vorgegebene Abweichung zugelassen werden, also auch solche Radarechos als konsistent mit dem jeweiligen Dopplergeschwindigkeitsprofil eingestuft werden, wenn sie innerhalb einer vorgegebenen Umgebung um die jeweilige Cosinuskurve liegen. Eine solche Abweichung kann beispielsweise durch einen vorgegebenen erwarteten Fehler beim Bestimmen der Dopplergeschwindigkeiten der Radarechos von beispielsweise 0,5 m/s gegeben sein. Es wird dann bestimmt, wie viele der Radarechos zu dem jeweiligen Dopplergeschwindigkeitsprofil konsistent sind und damit die entsprechende Objekthypothese bestätigen. Dieses Verfahren kann für alle Paare von Radarechos, eine vorgegebene Anzahl von Iterationen oder bis zum Erreichen einer vorgegebenen Mindestanzahl konsistenter Radarechos durchgeführt werden.

Dem jeweiligen Begrenzungsrahmen kann dann derjenige Satz oder dasjenige Set von in sich beziehungsweise zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenten Radarechos, der beziehungsweise das die meisten Radarechos umfasst (englisch: best consensus set) zugeordnet werden. Diese Zuordnung kann dabei tatsächlich durchgeführt werden beziehungsweise erfolgreich sei, wenn der Satz von Radarechos, die einen konsistenten Dopplerverlauf aufweisen, wenigstens einer vorgegebenen Minimalanzahl entspricht. Die Minimalanzahl von Radarechos kann beispielsweise 3 betragen, da für zwei Radarechos ohnehin stets eine Cosinuskurve gefunden werden kann, die in einem Dopplergeschwindigkeits-Azimutwinkel- Koordinatensystem genau durch diese beiden Radarechos verläuft. Sind die Daten mit einem gewissen Rauschen behaftet, kann als Minimalanzahl beispielsweise fünf vorgegeben sein, um ein verlässlicheres Ergebnis zu erzielen. Wird diese Minimalanzahl konsistenter Radarechos durch keinen Satz oder keine Kombination von Radarechos erreicht, kann die Zuordnung der Radarechos zu dem Begrenzungsrahmen verworfen werden oder fehlschlagen. Es kann dann beispielsweise für die einzelnen Radarechos mit einem Einzelechoansatz fortgefahren werden, der weiter unten beschrieben wird.

Besonders bevorzugt kann bei der hier beschriebenen Bildung des Satzes konsistenter Radarechos ebenso deren minimaler und maximaler oder durchschnittlicher Skalierungsfehler oder Skalierungsfaktor berücksichtigt werden. Es können dann in dem Satz nur solche Radarechos enthalten sein, die zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistent sind und deren Skalierungsfehler in der beschriebenen Weise eine erfolgreiche Zuordnung zu dem jeweiligen Begrenzungsrahmen ermöglicht und/oder die zumindest im Wesentlichen den gleichen Skalierungsfehler aufweisen. Beispielsweise können also in einem Satz von konsistenten Radarechos dann nur solche Radarechos enthalten sein, deren Skalierungsfehler sich um höchstens einen vorgegebenen Wert, beispielsweise um höchstens 10 % oder höchstens 5 % voneinander unterscheiden.

Durch die hier beschriebenen Maßnahmen kann vorteilhaft besonders zuverlässig sichergestellt werden, dass nur solche Radarechos dem jeweiligen Begrenzungsrahmen beziehungsweise dem entsprechenden Objekt zugewiesen werden, die tatsächlich von demselben realen Objekt stammen. Dies kann letztlich vorteilhaft zu einer besonders zuverlässigen Objektdetektion und einem verbesserten und konsistenteren Tracking des jeweiligen Objekts beitragen.

Um zuverlässig tatsächlich nur bewegte, also besonders relevante, Objekte zu detektieren, kann hier zudem eine minimale Dopplergeschwindigkeit als Schwellenwert zum Berücksichtigen eines Radarechos vorgegeben sein. Die Radarechos können also gemäß dieses Schwellenwertes gefiltert werden, sodass nur solche Radarechos berücksichtigt beziehungsweise hier für die Bildung des Satzes konsistenter Radarechos beziehungsweise für die Zuordnung zu dem jeweiligen Begrenzungsrahmen in Betracht gezogen werden für die eine oberhalb des vorgegebenen Schwellenwertes liegende Dopplergeschwindigkeit bestimmt wurde. Als solcher Schwellenwert kann beispielsweise eine minimale Dopplergeschwindigkeit von 0,5 m/s vorgegeben sein.

Besonders bevorzugt können mehrere Radareinrichtungen beziehungsweise mehrere Radarsensoren zum Erfassen von Radarechos aus der Umgebung des Kraftfahrzeugs verwendet werden. Im Falle einer linearen Bewegung des Objekts können dann Radarechos beziehungsweise entsprechende Ergebnisse oder Daten unterschiedlicher Radareinrichtungen oder Radarsensoren mit demselben Dopplergeschwindigkeitsprofil konsistent sein. Dadurch kann eine noch genauere und zuverlässige Zuordnung erreicht und beispielsweise eine Anzahl von Radarechos in dem letztendlich bestimmten Satz konsistenter Radarechos vergrößert werden.

In vorteilhafter Weiterbildung der vorliegenden Erfindung wird anhand der Radarechos eine Orientierung des zugehörigen Objekts abgeschätzt. Diese abgeschätzte Orientierung wird mit einer Orientierung des jeweiligen Begrenzungsrahmens verglichen. Die Zuordnung wird dann anhand einer dabei ermittelten Abweichung dieser Orientierungen voneinander bewertet und/oder nur dann durchgeführt beziehungsweise beibehalten, falls die Abweichung kleiner als ein vorgegebener Schwellenwert ist. Die Orientierung kann hier in jeder Iteration, also für jeden bestimmten Satz von zu einem Dopplergeschwindigkeitsprofil konsistenten Radarechos bestimmt werden. Die Orientierung beziehungsweise deren Abweichung von der Orientierung des Begrenzungsrahmens kann dann als zusätzliches Kriterium dafür verwendet werden, ob der jeweilige Satz von Radarechos dem Begrenzungsrahmen tatsächlich zugeordnet beziehungsweise als mit dem Objekt konsistent eingestuft wird. Ebenso kann die Orientierung beispielsweise nur für den zumindest basierend auf dem Dopplergeschwindigkeitsprofil bestimmten besten Satz von Radarechos bestimmt werden. Letzteres kann vorteilhaft Berechnungsaufwand einsparen. Falls die Abweichung der Orientierungen voneinander größer als der vorgegebene Schwellenwert ist, kann die Zuordnung verworfen werden beziehungsweise fehlschlagen. Es kann dann für die einzelnen Radarechos mit einem Einzelechoansatz fortgefahren werden, der weiter unten beschrieben wird. Ebenso kann die Abweichung der Orientierungen voneinander als Grundlage zum Bewerten der Zuordnung, beispielsweise durch Angeben einer entsprechenden Zuordnungs- oder Zugehörigkeitswahrscheinlichkeit der Radarechos zu dem Begrenzungsrahmen.

Die Orientierung kann anhand der Radarechos beispielsweise als Ausgleichsgerade der in einem Koordinatensystem eingetragenen Positionen der Radarechos, gegebenenfalls unter Berücksichtigung von deren Dopplergeschwindigkeit beziehungsweise einer anhand daran bestimmten Bewegungsrichtung, bestimmt werden. Ebenso kann ein anderes oder komplexeres Modell zum Bestimmen der Orientierung vorgegeben sein, welches beispielsweise eine anhand der Kameradaten ermittelte Art oder Klassifizierung des jeweiligen Objekts und einer dafür vorgegebenen Form und/oder dergleichen mehr berücksichtigen kann.

Durch das hier vorgeschlagene Berücksichtigen der Orientierung als zusätzliches Kriterium kann vorteilhaft die Zuverlässigkeit der Zuordnung weiter verbessert und damit letztlich ein zuverlässigerer und sicherer Betrieb des Kraftfahrzeugs ermöglicht werden.

In vorteilhafter Weiterbildung der vorliegenden Erfindung wird die Orientierung des jeweiligen Begrenzungsrahmens - und damit die Orientierung des jeweiligen von diesem umgebenen Objekts - bestimmt. Anhand der Radarechos, insbesondere der mit einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenten Radarechos, wird - wie beschrieben - eine radarbasierte Orientierung und Bewegungsgeschwindigkeit des Objekts in Richtung der radarbasiert bestimmten Orientierung abgeschätzt. Die radarbasiert bestimmte Orientierung und Bewegungsgeschwindigkeit können zu einem radarbasiert bestimmten Bewegungsvektor des jeweiligen Objekts beziehungsweise des jeweiligen vermuteten Objekts kombiniert sein oder werden. Die radarbasiert bestimmte Orientierung wird dann mit der Orientierung des Begrenzungsrahmens verglichen. Bei einer oberhalb eines vorgegebenen Schwellenwertes liegenden Abweichung der Orientierungen voneinander wird überprüft, ob die jeweiligen Daten oder Werte oder Ergebnisse mit einem gierenden, sich also um eine senkrecht zu der Azimutwinkelebene stehenden Hochachse drehenden Objekt konsistent sind. Dabei wird eine vorgegebene, insbesondere geschwindigkeitsabhängige, Gierrate und/oder eine vorgegebene Geschwindigkeit als plausible Referenz verwendet. Besonders bevorzugt kann das durch den jeweiligen Begrenzungsrahmen repräsentierte Objekt dabei anhand der Kameradaten klassifiziert, insbesondere hinsichtlich seiner Art oder seines Typs identifiziert, werden, wobei für unterschiedliche Klassen, Arten oder Typen von Objekten unterschiedliche plausible Referenzen oder Referenzwerte für die Gierrate vorgegeben sein können. Ebenso kann eine solche Klassifizierung des Objekts als Grundlage zum Abschätzen von dessen Geschwindigkeit oder als Grundlage für einen plausiblen Geschwindigkeitsbereich verwendet werden. Es kann beispielsweise eine Tabelle oder Datenbank mit plausiblen Wertebereichen und/oder plausiblen Kombinationen von Werten oder Wertebereichen für unterschiedliche Arten oder Typen von Objekten vorgegeben sein.

Wenn beispielsweise ein Fahrzeug eine von null verschiedene Gierrate aufweist, sich also dreht oder beispielsweise eine Kurve durchfährt, kann ein Dopplergeschwindigkeitsprofil zugehöriger Radarechos dieses Objekts weiterhin als Cosinus oder Cosinusfunktion mit zwei Freiheitsgraden beschrieben werden. Die Gierrate beziehungsweise das Gieren oder Drehen des Objekts kann jedoch die radarbasiert bestimmte Orientierung und/oder Bewegungsgeschwindigkeit, also den Bewegungsvektor des Objekts beeinflussen oder verzerren oder verschieben. Es ist dabei typischerweise nicht möglich, ein entsprechendes Problem mit drei Freiheitsgraden, nämlich der Geschwindigkeit, der Orientierung und der Gierrate, anhand der Radarechos beziehungsweise der Radardaten analytisch zu lösen. Dementsprechend wird hier vorgeschlagen, die Gierrate abzuschätzen basierend auf der Orientierung des Begrenzungsrahmens und der abgeschätzten beziehungsweise bestimmten Geschwindigkeit. Anhand der vorgegebenen plausiblen Werte beziehungsweise eines oder mehrerer vorgegebener Schwellenwerte kann überprüft werden, ob die so ermittelte Gierrate und/oder Geschwindigkeit oder deren Kombination realistisch sind. Beispielsweise kann eine plausible Gierrate für ein Kraftfahrzeug weniger als 60° pro Sekunde betragen. Dabei kann eine plausible Gierrate umso niedriger sein, je größer die Geschwindigkeit des Fahrzeugs ist. Eine weitere Möglichkeit besteht darin, die Zuordnung der zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenten Radarechos zu dem jeweiligen Begrenzungsrahmen zu akzeptieren, also beizubehalten oder durchzuführen, falls die Anzahl der zu dem Geschwindigkeitsprofil konsistenten Radarechos größer als ein vorgegebener Anzahlschwellenwert ist. Als solcher Anzahlschwellenwert kann beispielsweise Fünf vorgegeben sein. Wenn also - gegebenenfalls trotz einer detektierten Abweichung der radarbasiert bestimmten Orientierung von der Orientierung des jeweiligen Begrenzungsrahmens - ein zu einem gemeinsamen Dopplergeschwindigkeitsprofil konsistenter Satz von Radarechos wenigstens fünf Radarechos enthält, kann die Zuordnung dieser Radarechos zu dem Begrenzungsrahmen beibehalten oder durchgeführt und gegebenenfalls als von einem gierenden oder sich drehenden oder rotierenden Objekt stammend markiert oder gekennzeichnet werden.

Besonders bevorzugt können mehrere Radareinrichtungen oder Radarsensoren zum Erfassen von Radarechos aus der Umgebung des Kraftfahrzeugs verwendet werden. In einem solchen Fall kann der komplette Bewegungszustand des jeweiligen Objekts, also dessen Geschwindigkeit, Orientierung und Gierrate, abgeschätzt werden. Dies basiert auf der Erkenntnis, dass mit zwei separaten Radareinrichtungen oder Radarsensoren bis zu vier Freiheitsgrade oder Parameter bestimmt oder abgeschätzt werden können.

Besonders bevorzugt kann als vierter Parameter dabei die Zuverlässigkeit oder Konfidenz des bestimmten Bewegungszustands bestimmt oder abgeschätzt werden.

Durch die hier beschriebenen Maßnahmen kann vorteilhaft eine Objektdetektion auch für gierende Objekte zuverlässig realisiert beziehungsweise eine verbesserte Flexibilität des erfindungsgemäßen Verfahrens erreicht werden, die eine Detektion auch gierender Objekte ermöglicht.

In vorteilhafter Weiterbildung der vorliegenden Erfindung wird für die Radarechos ein Skalierungsfehler bestimmt, der einen Abstand des jeweiligen Radarechos zu dem jeweiligen Begrenzungsrahmen in bezogen auf die aktuelle Position des Kraftfahrzeugs radialer Richtung angibt. Dies kann insbesondere der bereits an anderer Stelle genannte Skalierungsfehler sein. Bei erfolgreicher Zuordnung mehrerer konsistenter bewegter Radarechos zu einem Begrenzungsrahmen werden dann in einer vorgegebenen räumlichen Nähe oder Umgebung zu diesen Radarechos detektierte oder verödete stationäre Radarechos analysiert. Stationäre Radarechos sind im Sinne der vorliegenden Erfindung solche Radarechos, für die eine verschwindende Dopplergeschwindigkeit, also eine - zumindest bis auf einen vorgegebene Fehler - Dopplergeschwindigkeit von null bestimmt wurde. Dem jeweiligen Begrenzungsrahmen werden dann auch solche der analysierten stationären Radarechos zugeordnet, die ebenfalls mit dem Dopplergeschwindigkeitsprofil konsistent sind und deren Skalierungsfehler höchstens um einen vorgegebenen Betrag von den Skalierungsfehlern der bereits zu dem jeweiligen Begrenzungsrahmen zugeordneten bewegten Radarechos abweicht. Dieses Vorgehen beruht auf der Erkenntnis, dass derartige stationäre Radarechos ebenfalls von ein und demselben realen Objekt wie die bewegten Radarechos stammen können. Dies kann beispielsweise der Fall sein, wenn ein ausgedehntes Objekt eine Trajektorie oder Bewegungsrichtung des Kraftfahrzeugs zumindest im Wesentlichen senkrecht kreuzt. In einem solchen Fall können beispielsweise von einem vorderen und einem hinteren Ende des kreuzenden Objekts bewegte Radarechos und von einem dazwischenliegenden mittigen Bereich des Objekts ein stationäres Radarecho empfangen werden. Durch die hier vorgeschlagene Zuordnung derartiger stationärer Radarechos zu dem jeweiligen Begrenzungsrahmen kann das jeweilige Objekt vorteilhaft vollständiger beziehungsweise detaillierter charakterisiert werden, was vorteilhaft beispielsweise ein zuverlässigeres Nachverfolgen ebenso wie eine Plausibilisierung von zu dem Objekt auf Basis der bewegten Radarechos bestimmten Daten, Eigenschaften oder Annahmen ermöglichen kann.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird - insbesondere für den Fall, dass einem Begrenzungsrahmen weniger als drei bewegte Radarechos zugeordnet worden sind oder eine solche Zuordnung zu einem Fehler, also beispielsweise zu einem Verwerfen oder Fehlschlagen der Zuordnung, geführt hat - ein Einzelechoansatz durchlaufen. Dieser Einzelechoansatz ist der bereits an anderer Stelle genannte Einzelechoansatz, der verwendet werden kann, wenn der alternative, für den Fall einer erfolgreichen Zuordnung von wenigstens drei Radarechos beschriebene Ansatz fehlgeschlagen ist oder beispielsweise nur ein oder zwei Radarechos aufgenommen wurden. Dies kann beispielsweise für relativ weit von dem Kraftfahrzeug entfernte und dementsprechend klein erscheinende Objekte der Fall sein. Ebenso kann der Einzelechoansatz von vornherein verwendet werden, der vorteilhaft weniger Rechenzeit als das vollständige beziehungsweise abgestufte Verfahren benötigt, sodass also vorteilhaft Rechenaufwand eingespart werden kann. Beispielsweise kann die Bestimmung des Dopplergeschwindigkeitsprofils beziehungsweise die Anwendung oder Ausführung des RANSAC-Verfahrens eingespart werden. Der Einzelechoansatz funktioniert erfahrungsgemäß insbesondere für Objekte, die keine zu große Variation oder Varianz in ihrer - an unterschiedlichen Stellen des Objekts bestimmten - Dopplergeschwindigkeit aufweisen. Eine solche zu große Variation kann beispielsweise bei Querverkehr oder mit relativ hoher Gierrate drehenden Objekten auftreten.

Als Teil des Einzelechoansatzes wird eine Orientierung des jeweiligen Begrenzungsrahmens - und damit des von diesem umgebenen Objekts - bestimmt. Basierend auf dieser Orientierung wird eine plausible Dopplergeschwindigkeit des Objekts in Bezug auf die aktuelle Position des Kraftfahrzeugs abgeschätzt. Dazu kann beispielsweise ein plausibler Geschwindigkeitsbereich für unterschiedliche Orientierungen des Objekts oder unterschiedlicher Objekte vorgegeben sein. Solche Vorgaben können ebenfalls umgebungsabhängig sein, sodass beispielsweise in einem städtischen Umfeld andere Geschwindigkeiten plausibel sein können als beispielsweise auf einer Autobahn. Anschaulich ist für ein Fahrzeug, dessen Orientierung radial direkt auf das Kraftfahrzeug ausgerichtet ist, eine höhere Dopplergeschwindigkeit plausibel als für ein Fahrzeug, dessen Orientierung quer zur Trajektorie oder Bewegungsrichtung des Kraftfahrzeugs ausgerichtet ist. Ebenso kann in bestimmten Situationen oder abhängig von einer jeweiligen Umgebung beispielsweise eine entgegen oder senkrecht zu der bestimmten Orientierung gerichtete Dopplergeschwindigkeit unplausibel sein. Als Beispiel kann für ein bewegtes Kraftfahrzeug in einem städtischen Umfeld beispielsweise ein Bereich von 1 m/s bis 30 m/s als plausibel vorgegeben sein.

Weiter wird bei dem Einzelechoansatz durch Vergleich der abgeschätzten Dopplergeschwindigkeit mit der für das jeweilige Radarecho radarbasiert bestimmten Dopplergeschwindigkeit eine Wahrscheinlichkeit dafür bestimmt, dass das jeweilige Radarecho von dem jeweiligen Begrenzungsrahmen umgebenen Objekt stammt. Nur oder wenigstens das Radarecho, für das die höchste Wahrscheinlichkeit bestimmt wurde, wird dann als Basis zum Korrigieren der Entfernung des Begrenzungsrahmens verwendet, also dem Begrenzungsrahmen zugeordnet beziehungsweise mit dem entsprechenden Objekt assoziiert. Dabei kann ebenfalls ein entsprechender Wahrscheinlichkeitsschwellenwert vorgegeben sein, der für eine erfolgreiche Zuordnung oder Assoziierung mindestens erreicht werden muss. Auf diese Weise können auch solche bewegten Objekte zuverlässig detektiert werden, von denen nur weniger als drei Radarechos empfangen wurden.

Besonders bevorzugt können nach dem Bestimmen des Radarechos mit der höchsten Wahrscheinlichkeit weitere Radarechos mit dazu in vorgegebener Weise ähnlichen gemessenen Dopplergeschwindigkeiten und/oder Skalierungsfehlern ermittelt und gegebenenfalls ebenfalls dem jeweiligen Begrenzungsrahmen zugeordnet werden. Auch bei dem Einzelechoansatz kann das beschriebene Gating beziehungsweise die beschriebene Fensterung anhand des Azimutwinkels und/oder anhand des Skalierungsfehlers angewendet werden, um eine besonders zuverlässige Zuordnung von Radarechos zu Begrenzungsrahmen zu erreichen.

Besonders bevorzugt kann hier der Einzelechoansatz einschließlich der anschließenden Zuordnung weiterer, ähnlicher Radarechos, für mehrere einzelne, zufällig ausgewählte oder alle Radarechos durchgeführt werden, beispielsweise für eine vorgegebene Anzahl von Radarechos oder bis zum Erreichen eines vorgegebenen Ergebnisses oder Kriteriums. Für alle Durchläufe kann dann derjenige Satz von Radarechos mit der höchsten Wahrscheinlichkeit und/oder der größten Anzahl von Radarechos verwendet, also dem jeweiligen Begrenzungsrahmen zugeordnet werden. Dadurch kann gegebenenfalls ebenfalls die Zuverlässigkeit der Zuordnung verbessert sowie ein vereinfachtes oder verbessertes Nachverfolgen auch entsprechend kleiner und/oder entsprechend weit von dem Kraftfahrzeug entfernt befindlicher Objekte ermöglicht werden.

In einer vereinfachten Variante können statt der Wahrscheinlichkeit vorgegebene diskrete Werte, beispielsweise für die Dopplergeschwindigkeit und/oder den Skalierungsfaktor, als Referenz oder Vergleichswert verwendet werden. Eine Zuordnung kann dann vorgenommen werden, wenn der Vergleich der abgeschätzten Dopplergeschwindigkeit mit der radarbasiert bestimmten Dopplergeschwindigkeit beispielsweise eine Abweichung um höchstens einen vorgegebenen Betrag ergibt. Sofern der Skalierungsfaktor berücksichtigt wird, kann dasjenige Radarecho, für das diese Bedingung erfüllt ist, verwendet werden, das den kleinsten Skalierungsfehler aufweist. Auf diese Weise kann vorteilhaft gegebenenfalls Berechnungsaufwand eingespart und damit eine schnellere Ausführung des erfindungsgemäßen Verfahrens ermöglicht werden.

Eine weitere Möglichkeit besteht darin, für jedes Radarecho (analog zum RANASC) alle anderen Detektionen, also Radarechos, zu bestimmen, die in ihrem Skalierungsfaktor oder Skalierungsfehler und in ihrer Dopplergeschwindigkeit um weniger als einen vorgegebenen Betrag oder Schwellenwert von dem jeweiligen Radarecho beziehungsweise dessen Skalierungsfaktor oder Skalierungsfehler und dessen Dopplergeschwindigkeit abweichen. Bevorzugt können dabei alle Radarechos der Reihe nach oder beispielsweise zufällig ausgewählt durchlaufen, also hinsichtlich anderer, im Skalierungsfaktor und der Dopplergeschwindigkeit ähnlichen Radarechos, überprüft werden. Das Radarecho, zu dem entsprechend die größte Anzahl von anderen Radarechos, also sogenannten Inliern, bestimmt wurde, wird dann zusammen zu diesem Radarecho bestimmten anderen Radarechos dem jeweiligen Begrenzungsrahmen zugeordnet.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden anhand der Kameradaten erkannte Objekte, für die ein Begrenzungsrahmen generiert wird oder wurde, basierend auf vorgegebenen Klassen hinsichtlich ihrer Art oder ihres Typs klassifiziert. Beispielsweise können Objekte als Fahrzeug, Kraftfahrzeug, PKW, LKW, Fahrrad, Fußgänger und/oder dergleichen mehr klassifiziert werden. Dazu kann beispielsweise ein herkömmlicher Objekterkennungsalgorithmus basierend auf einer Bildverarbeitung angewendet werden. Jeder der vorgegebenen Klassen sind dabei plausible radarbasiert bestimmte Dopplergeschwindigkeitsrichtungen zugeordnet. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen wird dann ausgeschlossen, falls eine für das jeweilige Radarecho bestimmte Dopplergeschwindigkeitsrichtung von den plausiblen Dopplergeschwindigkeitsrichtungen für die Art des von dem jeweiligen Begrenzungsrahmen umgebenen Objekts verschieden ist. Mit anderen Worten können hier so genannte Mikrodopplereffekte berücksichtigt werden. Dabei kann insbesondere ein räumlicher Abstand von Radarechos unterschiedlicher

Dopplergeschwindigkeitsrichtungen berücksichtigt werden. Entsprechende plausible Abstände können ebenfalls für die unterschiedlichen Klassen vorgegeben sein. Beispielsweise können für einen Fußgänger typischerweise Radarechos mit unterschiedlichen Dopplergeschwindigkeiten oder unterschiedlichen Dopplergeschwindigkeitsrichtungen empfangen werden, da sich beispielsweise Arme und Beine in unterschiedliche Richtungen, insbesondere entgegen einer Gesamtbewegungsrichtung des Fußgängers, bewegen oder trotz einer Bewegung des Fußgängers zumindest zeitweise Stillstehen können. Dementsprechend können für einen Fußgänger Radarechos mit unterschiedlichen Dopplergeschwindigkeitsrichtungen erwartet werden und dementsprechend plausibel sein. Ein ähnlicher Effekt kann beispielsweise an einem Rad eines Kraftfahrzeugs auftreten. Ein räumlicher Abstand entsprechend unterschiedlicher Radarechos sollte dann aber zumindest im Wesentlichen einem typischen oder plausiblen Raddurchmesser entsprechen, um plausibel einem Kraftfahrzeug zugeordnet werden zu können. Die Berücksichtigung beziehungsweise Plausibilisierung der Dopplergeschwindigkeitsrichtungen kann vorteilhaft die Zuordnung von Radarechos zu Begrenzungsrahmen beziehungsweise Objekten noch zuverlässiger ermöglichen.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden anhand der Kameradaten erkannte Objekte ebenfalls in der beschriebenen Weise automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art klassifiziert. Dabei ist jeder vorgegebenen Klasse ein plausibler Dopplergeschwindigkeitsbereich zugeordnet. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen wird dann ausgeschlossen, falls die für das jeweilige Radarecho bestimmte Dopplergeschwindigkeit außerhalb des plausiblen Dopplergeschwindigkeitsbereichs für die Art des von dem jeweiligen Begrenzungsrahmen umgebenden Objekts liegt. Beispielsweise können Fußgängern, Radfahrer und Kraftfahrzeugen unterschiedliche plausible Geschwindigkeitsbereiche zugeordnet sein. Dementsprechend kann es unplausibel sein, dass ein Radarecho mit einer Dopplergeschwindigkeit von beispielsweise 20 m/s von einem Fußgänger stammt. Es kann mit anderen Worten also eine Plausibilitätsprüfung oder Filterung der für die Zuordnung zu einem bestimmten Begrenzungsrahmen in Frage kommenden Radarechos auf Basis der bestimmten Dopplergeschwindigkeiten durchgeführt werden. Dies kann vorteilhaft ebenfalls die Zuverlässigkeit der Zuordnung der Radarechos zu den Begrenzungsrahmen verbessern.

In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird zumindest für die bewegten Radarechos ein jeweiliger Radarquerschnitt, also ein sogenannter RSC-Wert (RSC: Radar Cross Section) bestimmt. Anhand der Kameradaten erkannte Objekte werden in der beschriebenen Weise automatisch basierend auf vorgegebenen Klassen hinsichtlich ihrer Art oder ihres Typs klassifiziert. Jeder vorgegebenen Klasse ist dabei ein plausibler Radarquerschnitt oder ein plausibler Radarquerschnittsbereich zugeordnet. Die Zuordnung eines Radarechos zu einem Begrenzungsrahmen wird dann ausgeschlossen, falls der Radarquerschnitt des jeweiligen Radarechos außerhalb des plausiblen Radarquerschnittsbereichs für die Art des von dem jeweiligen Begrenzungsrahmen umgebenen Objekts, also für die Klasse des jeweiligen Objekts liegt. Beispielsweise kann einem LKW oder einem Kraftfahrzeug ein relativ großer RSC-Wert zugeordnet sein. Wurde also anhand der Kameradaten ein bestimmtes Objekt als LKW oder Kraftfahrzeug oder dergleichen, also als Objekt mit einem relativ großen RSC-Wert klassifiziert, können dann für die Zuordnung von Radarechos zu diesem Objekt beziehungsweise dessen Begrenzungsrahmen Radarechos mit einem kleineren Radarquerschnitt verworfen oder ignoriert oder mit einem entsprechend reduzierten Gewicht verwendet oder berücksichtigt werden. Analog kann beispielsweise für den Fall, dass die Kamera einen Fußgänger erkennt, ein entsprechend niedriger Radarquerschnitt erwartet werden. Dementsprechend können dann bei der Zuordnung von Radarechos zu diesem Fußgänger beziehungsweise dem entsprechenden Begrenzungsrahmen solche Radarechos ignoriert, verworfen oder mit reduziertem Gewicht oder Einflussfaktor verwendet oder berücksichtigt werden, deren Radarquerschnitt oder Radarquerschnittswert größer als der erwartete oder plausible Radarquerschnittsbereich für Fußgänger ist. Ein derartiges Ignorieren oder Verwerfen oder Mindergewichten von Radarechos kann auch dann vorgenommen werden, wenn derartige Radarechos hinsichtlich ihrer räumlichen Position, also beispielsweise ihres Skalierungsfehlers, konsistent zu dem Objekt oder übrigen dem Objekt zugeordneten Radarechos sind und/oder beispielsweise mit dem Dopplergeschwindigkeitsprofil dieser übrigen Radarechos konsistent sind. Beispielsweise kann ein Radarecho von einem metallischen Pfosten, beispielsweise eines Verkehrszeichens oder einer Lichtsignalanlage, ein Radarecho mit einem relativ großen Radarquerschnitt erzeugen, das räumlich konsistent mit einem daneben befindlichen Fußgänger beziehungsweise dessen Radarechos ist. Durch die hier beschriebene Berücksichtigung des Radarquerschnitts kann die Zuordnung von Radarechos zu Objekten beziehungsweise Begrenzungsrahmen also vorteilhaft weiter verbessert, insbesondere mit erhöhter Zuverlässigkeit und Genauigkeit durchgeführt werden.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Umgebungssensorik mit wenigstens einer Kamera zum Aufnehmen von Kameradaten einer Umgebung des Kraftfahrzeugs und wenigstens einer Radareinrichtung oder wenigstens einem Radarsensor zum Aussenden von Radarpulsen in die Umgebung und zum Aufnehmen von resultierenden Radarechos aus der Umgebung aufweist. Das Kraftfahrzeug weist weiter eine mit der Umgebungssensorik verbundene Datenverarbeitungseinrichtung auf, wobei das erfindungsgemäße Kraftfahrzeug zum automatischen Durchführen zumindest einer Variante des erfindungsgemäßen Verfahrens eingerichtet ist. Dazu kann die Datenverarbeitungseinrichtung beispielsweise einen Datenspeicher und eine damit verbundene Prozessoreinrichtung aufweisen. In dem Datenspeicher kann dann ein vorgegebenes Computerprogramm gespeichert sein, das die Verfahrensschritte oder Abläufe des entsprechenden erfindungsgemäßen Verfahrens beziehungsweise entsprechende Steueranweisungen und/oder Prozessschritte codiert oder repräsentiert. Dieses Computerprogramm kann dann also mittels der Prozessoreinrichtung ausgeführt werden, um eine, insbesondere automatische, Ausführung des entsprechenden Verfahrens zu bewirken oder zu veranlassen. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Bauteile, Einrichtungen, Komponenten und/oder Eigenschaften aufweisen beziehungsweise für die dort genannten Abläufe oder Maßnahmen eingerichtet sein.

Die Datenverarbeitungseinrichtung kann eine Kommunikations- oder Datenschnittstelle aufweisen, über welche die Kameradaten beziehungsweise die Radarechos oder diese umfassende Radardaten empfangen werden können. Ebenso kann die Datenverarbeitungseinrichtung als Steuergerät zum Ansteuern der Kamera und/oder der Radareinrichtung ausgebildet sein. Dann können entsprechende Steuersignale über die Kommunikations- oder Datenschnittstelle von der Datenverarbeitungseinrichtung an die Kamera beziehungsweise an die Radareinrichtung gesendet werden. Die Datenverarbeitungseinrichtung oder eine Kombination der Datenverarbeitungseinrichtung und der Umgebungssensorik kann ein Fahrassistenzsystem des Kraftfahrzeugs bilden. Ein derartiges Assistenzsystem für ein Kraftfahrzeug kann selbst ein weiterer eigener Aspekt der vorliegenden Erfindung sein.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

Die Zeichnung zeigt in:

Fig. 1 einen beispielhaften schematischen Ablaufplan für ein Verfahren zum Detektieren von Objekten in einer Fahrzeugumgebung;

Fig. 2 einen beispielhaften schematischen Ablaufplan eines ersten Teilverfahrens;

Fig. 3 einen beispielhaften schematischen Ablaufplan eines zweiten Teilverfahrens;

Fig. 4 eine schematische Übersichtsdarstellung zum Illustrieren von Details des Verfahrens;

Fig. 5 eine schematische Darstellung zum Illustrieren einer bei dem Verfahren verwendbaren Wahrscheinlichkeitsfunktion; und

Fig. 6 eine schematische Darstellung zum Illustrieren eines bei dem Verfahren verwendbaren Dopplergeschwindigkeitsprofils; und In den Figuren sind gleiche und funktionsgleiche Elemente jeweils mit den gleichen Bezugszeichen versehen.

In der Fahrzeugtechnik werden heutzutage bereits unterschiedliche Arten von Sensoren zur Umgebungserfassung eingesetzt. Es ist jedoch zu beobachten, dass unterschiedliche Sensoren unterschiedliche Stärken und Schwächen aufweisen. So kommt es bisher häufig vor, dass Daten oder Eigenschaften von Umgebungsobjekten, die nur schwierig oder ungenau mittels eines bestimmten Sensors bestimmt werden können, dennoch mittels dieses Sensors bestimmt werden. Dies kann beispielsweise eine rein optische Distanzbestimmung oder eine radarbasierte Klassifizierung oder Bestimmung einer Winkelposition betreffen. Es wäre daher vorteilhaft, eine Datenfusion von Sensordaten unterschiedlicher Sensoren auf einer möglichst frühen oder niedrigen Ebene während eines Datenverarbeitungsprozesses durchzuführen, um eine kombinierte Messung zu erhalten, die alle Eigenschaften des jeweiligen Umgebungsobjekts mit guter Qualität bestimmt oder angibt, also die Stärken der unterschiedlichen Sensorarten kombiniert. Zudem wäre es hilfreich, eine direkte Relation zwischen einem beispielsweise kamerabasiert erkannten Umgebungsobjekt und Radardetektionen herzustellen. Derartige kombinierte Detektionen können in nachgelagerten Datenverarbeitungsschritten oder Anwendungen dann beispielsweise mit einer entsprechend größeren Gewichtung im Vergleich zu nur auf Sensordaten eines einzelnen Sensors oder einer einzelnen Sensorart basierenden Detektionen verwendet werden, beispielsweise in eine entsprechende digitale Umfeldrepräsentation, wie etwa ein dynamisches Kartengitter oder Raster, verwendet werden.

Fig. 1 zeigt hierzu beispielhaft einen schematischen Ablaufplan 10 für ein entsprechendes Verfahren zum Detektieren von Objekten in einer Fahrzeugumgebung. Dieses Verfahren soll im Folgenden unter Bezugnahme auch auf die übrigen Figuren erläutert werden.

Das Verfahren wird hier durch ein als Teil einer in Fig. 4 gezeigten schematischen Übersichtsdarstellung dargestelltes Kraftfahrzeug 12 ausgeführt. Dazu weist das Kraftfahrzeug 12 ein Assistenzsystem 14 auf, das seinerseits wiederum eine Kamera und eine Radareinrichtung zum Erfassen oder Abbilden einer Umgebung 16 des Kraftfahrzeugs 12 umfasst. Die Kamera und die Radareinrichtung können ebenso an unterschiedlichen Stellen des Kraftfahrzeugs 12, also räumlich verteilt oder voneinander beabstandet angeordnet sein. Jedenfalls ist aber eine jeweilige Position und Orientierung der Kamera und der Radareinrichtung in dem Kraftfahrzeug 12 beziehungsweise relativ zu dem Kraftfahrzeug 12 vorgegeben beziehungsweise bekannt, insbesondere fest. Es können damit für die Kamera und die Radareinrichtung beziehungsweise jeweilige damit aufgenommene Sensor- oder Messdaten unterschiedliche Koordinatensystem verwendet werden, zwischen denen aber basierend auf der Vorgabe eine Umrechnung oder Transformation in bekannterWeise möglich ist.

In der Umgebung 16 befindet sich vorliegend an zunächst unbekannter Stelle ein Objekt 18. Zudem können sich in der Umgebung 16 weitere, hier nicht näher im Einzelnen gekennzeichnete bewegte und/oder unbewegte Objekte befinden. In einem Verfahrensschritt S1 werden mittels der Kamera Kameradaten der Umgebung 16 aufgenommen. Darin beziehungsweise in einem oder mehreren entsprechenden Kamerabildern werden automatisch abgebildete Objekte erkannt und markiert. Vorliegend wurde beispielsweise das Objekt 18 als Fahrzeug erkannt und es wurde für dieses Objekt 18 ein Begrenzungsrahmen 20 generiert, der das erkannte Objekt 18 in den Kameradaten umgibt. Anhand der Kameradaten können zudem weitere Eigenschaften des Objekts 18 bestimmt oder abgeschätzt werden, beispielsweise dessen Art oder Klasse, Größe oder Ausdehnung, Orientierung und/oder dergleichen mehr. Dabei können gegebenenfalls vorgegebene Annahmen oder weitere Daten, die beispielsweise von einem anderen Assistenzsystem des Kraftfahrzeugs 12 bezogen werden können, berücksichtigt werden.

Im Verfahrensschritt S2, der beispielsweise zumindest im Wesentlichen zeitlich parallel dazu ausgeführt werden kann, wird die Umgebung 16 mittels der Radareinrichtung gescannt beziehungsweise abgetastet. Dabei werden aus der Umgebung 16 eine Vielzahl von Radarechos 22 empfangen. Zu diesen Radarechos 22 kann dabei automatisch eine zugehörige Dopplergeschwindigkeit VD, eine zugehörige Entfernung, ein zugehöriger Azimutwinkel F, beispielsweise bezogen auf eine Fahrtrichtung 24 des Kraftfahrzeugs 12, und/oder weitere Daten oder Eigenschaften bestimmt. Ebenso können die Radarechos 22 beziehungsweise die entsprechenden Radardaten - ebenso wie die im Verfahrensschritt S1 aufgenommenen Kameradaten - mit einem Zeitstempel versehen werden, der eine jeweilige Aufnahmezeit angibt.

Sofern nach dem Aufnehmen der Radardaten keine Kameradaten mit demselben Zeitstempel vorliegen, können in einem Verfahrensschritt S3 verfügbare Kameradaten auf einen durch den Zeitstempel der Radardaten angegebenen Zeitpunkt interpoliert oder extrapoliert werden. Dabei kann beispielsweise der Begrenzungsrahmen 20 entsprechend verschoben werden.

In einem Verfahrensschritt S4 kann, soweit noch nicht geschehen, eine Dopplerkompensation durchgeführt werden. Dabei kann anhand der Radardaten und einer abgerufenen aktuellen Geschwindigkeit des Kraftfahrzeugs 12 die Dopplergeschwindigkeit V _D für die Radarechos 22 bestimmt werden. Die Dopplergeschwindigkeit V _D gibt dabei die Geschwindigkeitskomponente in radialer Richtung, also auf das Kraftfahrzeug 12 zu oder von dem Kraftfahrzeug 12 weg, eines Umgebungsobjekts, das das jeweilige Radarecho 22 erzeugt hat, an. Zur Veranschaulichung ist hier eines der Radarechos 22 zusätzlich als Radarecho 26 gekennzeichnet, wobei eine Radiuslinie, die eine Position des Radarechos 26 in einer radialen Richtung mit dem Kraftfahrzeug 12 verbindet, eingezeichnet ist. Die Dopplergeschwindigkeit VD des Radarechos 26 ist diejenige Geschwindigkeitskomponente eines das Radarecho 26 verursachenden Umgebungsobjekts, die in einem weltfesten Koordinatensystem entlang dieser Radiuslinie gerichtet ist. Basierend auf den Dopplergeschwindigkeiten VD können die Radarechos 22 dann gefiltert werden, um solche mit verschwindender oder unterhalb eines vorgegebenen Schwellenwertes liegender Dopplergeschwindigkeit VD auszusortieren.

In einem Verfahrensschritt S5 können die Radarechos 22 in ein Koordinatensystem der Kameradaten oder die Radarechos 22 und die Kameradaten in ein gemeinsames oder vorgegebenes Koordinatensystem transformiert oder projiziert werden. Dies kann insbesondere eine von dem Kraftfahrzeug 12 befahrene Ebene sein. Dies ist in Fig. 4 veranschaulicht.

Darin wird ein aus Sicht des Kraftfahrzeugs 12 von dem Begrenzungsrahmen 20 überdeckter Azimutwinkelbereich 0 _c, min- _c .m _ax . Um eine Unsicherheit o _<t> in der Bestimmung der Azimutwinkel F der Radarechos 22 zu berücksichtigen, kann der Azimutwinkelbereich beidseitig jeweils um die Unsicherheit o _<t> erweitert werden, sodass letztlich als Azimutwinke Ibereich der Bereich von 0 _c, min + o _<t> bis 0 _c, m _ax - o _<t> betrachtet wird. Weiter wird für die verbleibenden, also bewegten Radarechos 22 ein Skalierungsfehler l bestimmt, der den Abstand des jeweiligen Radarechos 22 in radialer Richtung zu dem Begrenzungsrahmen 20 angibt. Dabei kann jeweils ein durchschnittlicher Skalierungsfehler l oder beispielsweise ein jeweiliger minimaler Skalierungsfehler Amin und ein jeweiliger maximaler Skalierungsfehler A _max bestimmt werden.

In einem Verfahrensschritt S6 findet eine weitere Filterung der Radarechos 22 basierend auf dem Azimutwinkel F und dem Skalierungsfehler l statt. Beispielsweise werden hier durch ein Kreuz gekennzeichnete Radarechos 22, die außerhalb des erweiterten Azimutwinkelbereichs liegen, herausgefiltert und im Weiteren nur solche Radarechos 22 berücksichtigt, die innerhalb des erweiterten Azimutwinkelbereichs liegen und deren Skalierungsfehler in ein vorgegebenes Intervall fällt.

Zusätzlich kann für die Radarechos 22 eine jeweilige Wahrscheinlichkeit für den Skalierungsfehler l und einen Fehler des Azimutwinkels F bestimmt werden. Dazu zeigt Fig. 5 schematisch ein Koordinatensystem auf dessen Abszisse 28 beispielsweise der Skalierungsfehler l oder der Fehler des Azimutwinkels F aufgetragen sein kann und auf dessen Ordinate 30 ein entsprechender Wahrscheinlichkeitswert aufgetragen ist. Darin eingezeichnet ist eine beispielhafte vorgegebene Wahrscheinlichkeitsfunktion 32. Jeweiligen um einen vorgegebenen Betrag zentrierten Werten kann gemäß der Wahrscheinlichkeitsfunktion 32 eine konstante Wahrscheinlichkeit zugewiesen werden, während größeren oder kleineren Werten eine entsprechend kleinere Wahrscheinlichkeit zugewiesen werden kann.

Sofern nach der Filterung im Verfahrensschritt S6 wenigstens drei Radarechos 22 verbleiben, kann das Verfahren mit einem Verfahrensschritt S7 fortgesetzt werden. Hier kann die Hypothese überprüft werden, dass die verbleibenden Radarechos 22 von einem ausgedehnten Objekt stammen, überprüft werden. Wenn diese Hypothese erfolgreich ist, kann das Verfahren in einem Verfahrensschritt S10 fortgesetzt werden. Wenn die Hypothese fehlschlägt, also nicht erfolgreich ist, kann das Verfahren in einem Verfahrensschritt S8 fortgesetzt werden. Zur Veranschaulichung zeigt Fig. 2 hierzu einen beispielhaften schematischen ersten Detailablaufplan 34. Im Verfahrensschritt S7.1 werden die nach der Filterung verbleibenden Radarechos 22 als Eingangsdaten bereitgestellt. Im Verfahrensschritt S7.2 werden daraus zufällig zwei Kandidaten ausgewählt. Im Verfahrensschritt S7.3 wird für diese ausgewählten Kandidaten ein Dopplergeschwindigkeitsprofil und eine abgeschätzte Orientierung des hypothetischen Umgebungsobjekts sowie eine Abweichung dieser abgeschätzten Orientierung von der kamerabasiert bestimmten und dem Begrenzungsrahmen 20 zugeordneten Objektorientierung 36 ermittelt.

Fig. 6 zeigt hierzu schematisch ein Koordinatensystem, dessen x-Achse den Azimutwinkel F und dessen y-Achse die Dopplergeschwindigkeit V _D der Radarechos 22 repräsentiert. Für zwei hier beispielhaft ausgewählte Kandidatenechos 38 ist hier eine erwartete Cosinuskurve 40 eingezeichnet, die einem gemäß der Hypothese für die beiden Kandidatenechos 38 erwarteten Dopplergeschwindigkeitsprofil entspricht. Es wird hier ein Satz von Radarechos 22 bestimmt, die mit diesem Dopplergeschwindigkeitsprofil konsistent sind. Zwei hier durch Kreuze markierte Radarechos 22 weisen eine zu große Abweichung von der Cosinuskurve 40 auf und werden daher als inkonsistent mit dem Dopplergeschwindigkeitsprofil eingestuft und dementsprechend nicht in den Satz konsistenter Radarechos 22 aufgenommen.

Im Verfahrensschritt S7.4 wird ein entsprechender Abgleich basierend auf den Skalierungsfehlern l und den Fehlern der Azimutwinkel F durchgeführt, um den jeweiligen Satz auch bezüglich dieser Kriterien konsistenter Radarechos 22 zu bestimmen. Sofern bereits ein entsprechender Satz von Radarechos 22 bestimmt wurde, wird im Verfahrensschritt S7.5 ein Abgleich dieser Sätze von Radarechos 22 durchgeführt, um den besten Satz auszuwählen. Der beste Satz in diesem Sinne kann beispielsweise derjenige Satz von Radarechos 22 sein, der die Hypothese am besten bestätigt, beispielsweise die höchsten Wahrscheinlichkeiten oder die größte Anzahl konsistenter Radarechos 22 aufweist. Wie hier durch einen entsprechenden Schleifenpfad angedeutet ist, können die Verfahrensschritte S7.2 bis S7.5 mehrfach iterativ durchlaufen werden. Im Verfahrensschritt S7.6 können basierend auf dem ausgewählten besten Satz von Radarechos 22 eine Geschwindigkeit des zugrundeliegenden Umgebungsobjekts und dessen Orientierung abgeschätzt werden. Sofern der ausgewählte Satz konsistenter Radarechos 22 ausreichend viele Radarechos 22 enthält und die darauf basierend bestimmte Orientierung und/oder Geschwindigkeit plausibel ist, beispielsweise im Abgleich mit den Kameradaten beziehungsweise dem Begrenzungsrahmen 20, wird im Verfahrensschritt S7.7 die entsprechende Hypothese als erfolgreich eingestuft oder bewertet. Andernfalls wird die Hypothese als erfolglos beziehungsweise fehlgeschlagen eingestuft und das Verfahren mit dem Verfahrensschritt S8 fortgesetzt. Dort kann die Hypothese überprüft werden, dass die Radarechos 22 von einem gierenden, also sich drehenden Objekt stammen. Im Verfahrensschritt S8 wird dazu unter dieser Hypothese beziehungsweise entsprechenden vorgegebenen zugehörigen Bedingungen oder Kriterien die abgeschätzte Geschwindigkeit sowie eine abgeschätzte Gierrate bewertet beziehungsweise auf ihre Plausibilität hin überprüft. Stellt sich dabei heraus, dass entsprechende Daten oder Werte oder Ergebnisse mit der Hypothese, dass die Radarechos 22 von einem gierenden Objekt stammen, erfolgreich, also plausibel ist, die abgeschätzte Geschwindigkeit und die abgeschätzte Gierrate also in einem für ein gierendes Objekt plausiblen Bereich liegen, wird das Verfahren ebenfalls im Verfahrensschritt S10 fortgesetzt. Andernfalls wird das Verfahren mit einem Verfahrensschritt S9 fortgesetzt. Der Verfahrensschritt S9 wird ebenso ausgeführt, wenn nach dem Filtern im Verfahrensschritt S6 weniger als drei Radarechos 22 verbleiben.

Im Verfahrensschritt S9 wird ein Einzelechoansatz durchlaufen. Zur Erläuterung dieses Einzelechoansatzes ist in Fig. 3 beispielhaft ein schematischer zweiter Detailablaufplan 42 dargestellt. Darin werden in einem Verfahrensschritt S9.1 die Radarechos 22 als Eingangsdaten bereitgestellt. Im Verfahrensschritt S9.2 wird eine Wahrscheinlichkeit für die Zugehörigkeit oder Zuordnung des jeweiligen Radarechos 22 zu dem hypothetischen Objekt basierend auf der Dopplergeschwindigkeit V _D bestimmt. Im Verfahrensschritt S9.3 wird für das jeweilige Radarecho 22 die Wahrscheinlichkeit basierend auf dem Skalierungsfehler l bestimmt. Im Verfahrensschritt S9.4 wird für das jeweilige Radarecho 22 die Wahrscheinlichkeit basierend auf dem Azimutwinkel F bestimmt. Sofern mehrere Radarechos 22 als Eingangsdaten bereitgestellt wurden, kann dies für jedes oder eine zufällige Auswahl der Radarechos 22 durchgeführt werden. Dabei kann jeweils eine entsprechende vorgegebene Wahrscheinlichkeitsfunktion 32 verwendet werden.

In einem Verfahrensschritt S9.5 wird das Radarecho 22 mit der höchsten Wahrscheinlichkeit ausgewählt. Es kann dann überprüft werden, ob diese Wahrscheinlichkeit einem vorgegebenen Schwellenwert genügt. Ist dies nicht der Fall, kann die entsprechende Hypothese, dass also das jeweilige Radarecho 22 zu dem durch den Begrenzungsrahmen 20 repräsentierten Objekt 18 gehört, verworfen, also als fehlgeschlagen oder gescheitert eingestuft werden. In diesem Fall kann das Verfahren beendet oder mit dem nächsten Begrenzungsrahmen 20 fortgesetzt werden, für den dann das Verfahren beispielsweise ab dem Verfahrensschritt S6 erneut durchlaufen werden kann. Ebenso kann dann eine Objektdetektion des Objekts 18 allein basierend auf den Kameradaten ausgegeben werden, gegebenenfalls mit einer entsprechend reduzierten Detektionswahrscheinlichkeit oder Gewichtung versehen.

Ist die Wahrscheinlichkeit des im Verfahrensschritt S9.5 ausgewählten besten Radarechos 22 hingegen größer als der Wahrscheinlichkeitsschwellenwert, so können dann in einem Verfahrensschritt S9.7 nach einem oder mehreren vorgegebenen Kriterien zu diesem Radarecho 22 ähnliche Radarechos 22 identifiziert werden, um gegebenenfalls auch in diesem Fall einen Satz von Radarechos 22 zu bilden, der dem Begrenzungsrahmen 20 beziehungsweise dem Objekt 18 zugeordnet werden kann. Unabhängig davon, ob derartige ähnliche Radarechos 22 identifiziert werden konnten, wird die entsprechende Hypothese im Verfahrensschritt S9.8 als erfolgreich eingestuft.

Die gemäß den Verfahrensschritten S7, S8 oder S9 erfolgreich dem Begrenzungsrahmen 20 beziehungsweise dem Objekt 18 zugeordneten Radarechos 22 werden im Verfahrensschritt S10 dann verwendet, um basierend auf deren radarbasiert bestimmten Entfernungen die bis dahin nur abgeschätzte Entfernung des Begrenzungsrahmens 20 zu dem Kraftfahrzeug 12 zu korrigieren. Dabei kann der Begrenzungsrahmen 20 beispielsweise in radialer Richtung um den Skalierungsfehler l der erfolgreich zugeordneten Radarechos 22 verschoben werden, in Fig. 4 also beispielsweise zu der gestrichelt markierten Position des Objekts 18. Im Verfahrensschritt S11 wird eine entsprechende Messung beziehungsweise eine entsprechende Objektdetektion oder ein entsprechender eine erfolgreiche Objektdetektion anzeigender Objektdatensatz für das somit detektierte Objekt 18 generiert. Dieser Objektdatensatz kann den Begrenzungsrahmen 20 mit der korrigierten Entfernung, die erfolgreich zugeordneten, also assoziierten Radarechos 22 sowie gegebenenfalls weitere der im Laufe des Verfahrens bestimmten Größen oder Daten umfassen.

Im gegebenenfalls optionalen oder anwendungsabhängigen Verfahrensschritt S12 kann auf Grundlage dieses Objektdatensatzes beziehungsweise der erfolgreichen Detektion des Objekts 18 dann beispielsweise eine Nachverfolgung des Objekts 18 durchgeführt oder aktualisiert werden, die Detektion beziehungsweise das Objekt 18 in ein dynamisches Kartengitter oder Raster eingetragen werden, das Kraftfahrzeug 12 gesteuert werden und/oder dergleichen mehr. Insbesondere können die in dem Objektdatensatz angegebenen Radardetektionen als tatsächlich von einem realen Umgebungsobjekt stammend markiert und dementsprechend für andere Datenverarbeitungen mit entsprechend hoher Konfidenz verwendet werden, da davon ausgegangen werden kann, dass es sich beispielsweise nicht um Clutter-Echos handelt.

Zusammenfassend wird hier also vorgeschlagen, direkt in jedem einzelnen Messzyklus basierend auf den Kameradaten Bounding Boxes mit einer Orientierung und Größe zu bestimmen und diesen Bounding Boxes rohe Doppler-Detektionen eines Radars zuzuordnen. Eine derartige Zuordnung ist beispielsweise aufgrund von Clutter-Echos und Mehrwegausbreitungen der Radarstrahlung sowie einer gegebenenfalls hohen Objektdichte, beispielsweise in einem urbanen Raum oder in einer Stausituation, nicht trivial. Das vorgeschlagene Verfahren versucht zuerst über die Kombination von Doppler- Detektionen, die einen konsistenten Dopplerverlauf aufweisen, eine Assoziierung zu einem ausgedehnten Kameraobjekt zu realisieren. Dabei kann anhand des Dopplerverlaufs und einer daraus resultierenden Orientierungsschätzung die Assoziierung bewertet werden. Zudem kann der Skalierungsfehler l in der kamerabasiert bestimmten Distanz der jeweiligen Bounding Box durch die radarbasiert bestimmte Entfernung korrigiert beziehungsweise plausibilisiert werden. Als Ergebnis kann eine direkte Assoziierung von rohen Doppler-Detektionen, also entsprechenden Radarrohdaten, zu einem kamerabasiert erkannten Objekt und eine entsprechend korrigierte Objektdetektion erhalten werden. Dabei können nicht nur voraus befindliche oder sich auf das Kraftfahrzeug 12 in Radialrichtung zubewegende Umgebungsobjekte detektiert werden, sondern es können beispielsweise auch seitlich, also zumindest im Wesentlichen senkrecht zu der Fahrtrichtung 24 in die Umgebung 16 beziehungsweise einen Erfassungsbereich des Assistenzsystems 14 eintretende Umgebungsobjekte anhand einer Plausibilisierung anhand des Dopplerverlaufs besonders schnell erkannt beziehungsweise extrahiert oder detektiert werden. Bei dem Verfahren kann ein Gruppieren und Assoziieren von Radardetektionen zu einem Umgebungsobjekt vorteilhaft für eine besonders robuste Aktualisierung einer Nachverfolgung von Umgebungsobjekten über die Zeit (Track- Update) verwendet werden.

Insgesamt zeigen die beschriebenen Beispiele somit, wie eine Radar-Kamera- Assoziierung basierend auf Doppler-Detektionen und Bounding Boxes realisiert werden kann, um eine verbesserte Detektion insbesondere bewegter Objekte in einer Fahrzeugumgebung zu ermöglichen.

Bezugszeichenliste

10 Ablaufplan

12 Kraftfahrzeug

14 Assistenzsystem

16 Umgebung

18 Objekt

20 Begrenzungsrahmen

22 Radarechos

24 Fahrtrichtung

26 Radarecho

28 Abszisse

30 Ordinate

32 Wahrscheinlichkeitsfunktion

34 erster Detailablaufplan

36 Objektorientierung

38 Kandidatenechos

40 Cosinuskurve

42 zweiter Detailablaufplan

S1 - S12 Verfahrensschritte F Azimutwinkel Azimutwinkelbereich l Skalierungsfehler

Amin minimaler Skalierungsfehler

Amax maximaler Skalierungsfehler

Of Unsicherheit

VD Dopplergeschwindigkeit