Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Ob ektdetektion mittels Bildverarbeitung in mittels einer Fahrzeugkamera erfassten Bildern einer Fahrzeugumgebung .

Aus dem Stand der Technik ist es bekannt mittels einer oder mehrerer an einem Fahrzeug angeordneten Kameras, Objekte in der Fahrzeugumgebung zu detektieren. Darunter fällt insbesondere die Erkennung von bewegten oder unbewegten Gefahrenobjekten, z.B. Hindernisse im Fahrweg des Fahrzeugs, von Fußgängern, anderen Fahrzeugen und weiteren

Verkehrsteilnehmern. Die Detektion von Objekten erfolgt dabei durch Auswertung der mittels Kameras erfassten Bilder, z.B. aus der in Fahrtrichtung des Fahrzeugs vorausliegenden Fahrzeugumgebung, mittels Bildverarbeitungsverfahren, beispielsweise über Mustererkennungs- oder

Mustervergleichsverfahren. Zudem ist auch die Erkennung beispielsweise von Fahrspurbegrenzungen (Fahrspurmarkierungen) und Verkehrszeichen als Objekte in der Fahrzeugumgebung mittels Kameras und geeigneter Bildverarbeitungsverfahren bekannt .

Die EP 1 179 803 Bl zeigt beispielsweise eine Objekterkennungsvorrichtung zur Erkennung von Objekten in Bildern, die von mehreren Kameras aus einer Fahrzeugumgebung gewonnen werden. Die Objekterkennung erfolgt dabei über einen Abgleich der Bilder mit Daten über Modelle und Merkmalvektoren von Modellen, die vorab in einer Merkmalvektordatenbank gespeichert wurden.

In Abhängigkeit der Objektedetektion ist es möglich in Fahrzeugen verschiedene Fahrerassistenzfunktionen zu realisieren. Unter Fahrerassistenzfunktionen können in dem Zusammenhang alle bekannten Fahrerassistenzsysteme verstanden werden, die mit Informationen über detektierte Objekte in der Fahrzeugumgebung arbeiten. Darunter fallen insbesondere verschiedene Funktionen zur Regelung bzw. Steuerung fahrzeugseitiger Systeme, z.B. des Fahrzeuglichts , sowie Funktionen zur autonomen oder teilautonomen Längs- und/oder Querregelung des Fahrzeugs, z.B. Bremsassistent (BAS), Tempomat (Geschwindigkeitsregelanlage) , Abstandsregeltempomat , Adaptive Cruise Control (ACC) , Abstandswarner , Stauassistent, Spurerkennungssystem, Spurhalteassistent/ Spurassistent,

Querführungsunterstüt zung (lane departure warning) ,

Spurhalteunterstützung (lane keeping support) ,

Spurwechselassistent [lane change assistance) ,

Spurwechselunterstützung [lane change support), Intelligent Speed Adaption (ISA), Einparkhilfe.

Weiterhin können in Abhängigkeit der Ob ektdetektion verschiedene aktive und/oder passive Sicherheitsfunktionen im Fahrzeug realisiert werden, die dem Schutz von Fahrzeuginsassen und anderer Verkehrsteilnehmer, beispielsweise Fußgänger, dienen können, z.B. ein Notbremsassistent, Systeme zur Durchführung von autonomen Ausweichmanövern, Warneinrichtungen, Airbags für

Fahrzeuginsassen, Fußgängerairbags , aufstellbare Motorhaube etc .

Um den im Rahmen der Ob ektedetektion für die Bildverarbeitung erforderlichen Rechenaufwand gering zu halten bzw. um Rechenleistung zu sparen, ist es aus dem Stand der Technik weiterhin bereits bekannt, vorab einen Suchbereich innerhalb der Bilder zu bestimmen, in dem sich ein Objekt mit großer Wahrscheinlichkeit befinden wird. D.h. es wird vorab ein bestimmter Bildausschnitt innerhalb des Gesamtbildes festgelegt und nur innerhalb dieses Bildausschnitts eine Objektdetektion mittels Bildverarbeitung durchgeführt. Dieser Suchbereich bzw. der Bildausschnitt wird in der Regel auch als Region-Of-Interest bezeichnet und mit ROI abgekürzt.

Die EP 2 161 677 zeigt hierzu beispielsweise ein Verfahren in mittels einer Fahrzeugkamera erfassten Bilder, bei dem zunächst ein Objekt und dessen genaue Position mittels einer Ob ekterfassungseinrichtung erfasst werden, in Abhängigkeit des erfassten Objekts und dessen Position weiterhin vorab ein Suchbereich (ROI) in den erfassten Bildern bestimmt wird und die Objektdetektion mittels Bildverarbeitung nur innerhalb des Suchbereichs (ROI) in den erfassten Bildern erfolgt.

Nachteilig bei den aus dem Stand der Technik bekannten Verfahren ist allerdings die Tatsache, dass für die Bestimmung des Suchbereichs (ROI) im Bild die genaue Position des Objekts bekannt sein muss, d.h. dessen eindeutige Position relativ zum Fahrzeug. Hierzu müssen aufwändige Ortungsverfahren eingesetzt werden, beispielsweise Winkelschätzverfahren. Derartige Verfahren erfordern einen hohen Rechenaufwand und sind zudem nicht immer zuverlässig. Das kann zu Fehlfunktionen bei Fahrerassistenzsystemen und SicherheitSeinrichtungen im Fahrzeug führen, die in Abhängigkeit der Objektdetektion arbeiten .

Der Erfindung liegt demnach die Aufgabe zugrunde, ein Verfahren anzugeben, mit dem sich auf einfache und zuverlässige Weise ein Suchbereich (ROI) in einem Bild bestimmen lässt, insbesondere ohne aufwändige bzw. eindeutige Positionsbestimmung des Objekts.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 sowie durch eine Vorrichtung mit den Merkmalen nach Anspruch 10 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.

Ein wesentlicher Gedanke der Erfindung besteht darin, für die Erfassung eines Objekt und dessen Position, eine technisch relativ einfache Ob ekterfassungseinrichtung zu verwenden, insbesondere ein einfaches transponderbasiertes Ortungssystem, bei dem lediglich eine Information über die Entfernung eines Objekts gewonnen wird, sowie insbesondere optional eine Objektklasseninformation. Die Objektentfernungsinformation wird darauf an die Bildverarbeitung übergeben, die in Abhängigkeit der Objektentfernungsinformation einen

Suchbereich (ROI) innerhalb der mittels einer oder mehrerer Kameras erfassten Bilder einer Fahrzeugumgebung ermittelt. Innerhalb dieses Suchbereichs (ROI) kann anschließend die Objektdetektion mittels Bildverarbeitung erfolgen, z.B. mittels Mustererkennungs- bzw. Mustervergleichsverfahren. Da von der Objekterfassungseinrichtung vorzugsweise ausschließlich eine Objektentfernung gewonnen wird, kann der Suchbereich (ROI) zunächst vergrößert sein und sich insbesondere in horizontaler Richtung über den gesamten Bildbereich erstrecken. Nach erstmaliger Detektion des Objekts mittels der Bildverarbeitung im vergrößerten Suchbereich (ROI) kann jedoch eine Information über den Objektwinkel direkt aus der Bildverarbeitung gewonnen werden, worauf der Suchbereich (ROI), beispielsweise für eine weitere Objektdetektion z.B. zur Objektverfolgung oder zur Bestimmung eines

Kollisionsrisikos, weiter eingegrenzt werden kann. Gemäß einer besonderen Ausgestaltung der Erfindung wird zusätzlich zur Objektentfernung eine Objektklasse aus der

Objekterfassungseinrichtung gewonnen und für die Bestimmung des Suchbereichs (ROI) verwendet. Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens gegenüber den aus dem Stand der Technik bekannten Verfahren besteht darin, dass für die Bestimmung des Suchbereichs (ROI) bevorzugt nur die Entfernung eines Objekts ermittelt wird, insbesondere mittels eines transponderbasierten Ortungssystems als Ob ekterfassungseinrichtung. Bei einem derartigen System handelt es sich um ein technisch relativ einfaches gleichzeitig aber sehr zuverlässiges System zur Positionsbestimmung von Objekten. Durch die Verwendung eines transponderbasierten Ortungssystems ist zudem die Erfassung von Objekten auch bei teilweiser und vollständiger Verdeckung und/oder bei schlechten Sichtverhältnissen möglich. Dies bietet erhebliche Vorteile gegenüber einer Objekterfassung und Positionsbestimmung beispielsweise mittels Radar, Lidar oder Stereokamera. Weiterhin sind bei dem vorgeschlagenen Verfahren für die Bestimmung des Suchbereichs (ROI) im Kamerabild keine aufwändigen Winkelschätzverfahren notwendig bzw. es ist keine genaue Positionsbestimmung vorab für die Bestimmung des Suchbereichs (ROI) erforderlich. Die genaue Position bzw. die Winkelinformation eines Objekts wird nach der Bestimmung des Suchbereich (ROI) und aus der Objektdetektion mittels Bildverarbeitung gewonnen. Die Winkelschätzung mittels Kamera bzw. Bildverarbeitung ist gegenüber der Winkelschätzung aus Transpondersystemen oder anderen

Objekterfassungseinrichtungen, die bei den aus dem Stand der Technik bekannten Verfahren zur eindeutigen

Positionsbestimmung eines Objekts eingesetzt werden, erheblich genauer und zuverlässiger. Mittels des erfindungsgemäßen Verfahrens kann somit die Zuverlässigkeit und die Robustheit der Objektdetektion gegenüber Fehlauslösungen erhöht werden, insbesondere durch Kombination bzw. Fusion der

Entfernungsinformation, aus der Objekterfassung mittels der Objekterfassungseinrichtung, mit der Winkelinformation, aus der Objektdetektion mittels Bildverarbeitung. Der Suchbereich (ROI) wird insbesondere zunächst nur basierend auf einer Entfernungsschätzung berechnet bzw. ermittelt. Nach anschließender erstmaliger Detektion des Objekts im Kamerabild und gemäß des Winkels aus der Bildverarbeitung kann der Suchbereich (ROI) dann verkleinert werden. Somit ist eine Winkelschätzung mittels der Ob ekterfassungseinrichtung überflüssig .

Unter dem Begriff Objektdetektion, d.h. unter der Detektion (Erfassung) von Objekten mittels Bildverarbeitung in mittels einer oder mehreren Kameras erfassten Bildern aus einer Fahrzeugumgebung, kann im Rahmen des erfindungsgemäßen Verfahrens neben der reinen Erkennung bzw. Ermittlung von Objekten, z.B. mittels Mustererkennungs- und/oder

Mustervergleichsverfahren, weitergehend die Validierung (Objektvalidierung) bzw. die Bestätigung eines Objekts und/oder dessen Objektlasse verstanden werden, beispielsweise wenn ein Objekt, sowie optional dessen Objektklasse, vorab von einer Objekterfassungseinrichtung ermittelt wurde. Weiterhin kann unter der Objektdetektion auch die Prädikation eines Objekts (Objektprädikation), d.h. zum Beispiel die Vorhersage bzw. die Abschätzung der künftigen Objektbewegung verstanden werden, d.h. eine Bestimmung von möglichen zukünftigen Aufenthaltsorten eines Objekts, insbesondere relativ zum Fahrzeug bzw. zum künftigen Fahrweg des Fahrzeugs. Die Objektprädikation kann beispielsweise der Ermittlung eines Kollisionsrisikos dienen. Unter der Objektdetektion kann zudem die Verfolgung (Objektverfolgung, Tracking) eines Objekts verstanden werden, d.h. eine über die reine Erkennung eines Objekts hinausgehende Beobachtung des Objekts in weiteren erfassten Bildern, z.B. ebenfalls zur fortlaufenden Ermittlung der Objektbewegung und/oder eines Kollisionsrisikos. Unter dem Begriff Objekt, kann im Rahmen des erfindungsgemäßen Verfahrens jedes für die Umsetzungen von Funktionen eines oder mehrerer Fahrerassistenzsysteme interessierende Objekt in der Umgebung eines Fahrzeugs verstanden werden. Zu den interessierenden Objekten gehören insbesondere verschiedene Verkehrsteilnehmer wie Fahrzeuge und Fußgänger. Zu den Objekten können jedoch auch Objekte wie Fahrspurmarkierungen bzw. Fahrspurbegrenzungen, Hindernisse und Verkehrszeichen gehören .

Unter dem Begriff Objektklasse ist insbesondere eine Klasse von mehreren definierten Objektklassen zu verstehen, welche ähnliche Objekte, z.B. ähnlich vom Typ bzw. ähnlich von der Art, in einer Gruppe zusammenfassen. Die Objektklassen können insbesondere hierarchisch strukturiert sein und Unterklassen umfassen. Als Objektklassen können beispielsweise die Objektklassen „Fußgänger" und „Fahrzeug" definiert sein, wobei die Objektklasse „Fahrzeug" beispielsweise die Unterklassen „Zweirad", „Personenkraftwagen" und „Lastkraftwagen" umfassen kann .

Unter der Objektentfernung ist im Rahmen des erfindungsgemäßen Verfahrens insbesondere der räumliche Abstand bzw. die geradlinige Distanz zwischen dem Fahrzeug, in dem das erfindungsgemäße Verfahren zum Einsatz kommt, und dem jeweiligen Objekt zu verstehen.

Bei dem erfindungsgemäßen Verfahren handelt es sich um ein Verfahren zur Objektdetektion mittels Bildverarbeitung. Das Verfahren kann beispielsweise bei einer Objektdetektion für eines oder mehrere Fahrerassistenzsysteme bzw. für aktive und passive Sicherheitssysteme eines Fahrzeugs zum Einsatz kommen. Die Objektdetektion erfolgt im Rahmen des erfindungsgemäßen Verfahrens insbesondere mittels Bildverarbeitung in mittels mindestens einer Fahrzeugkamera erfassten Bildern, insbesondere aus einer Fahrzeugumgebung . Dabei können auch mehrere Bilder, die von zwei oder mehr Kameras mit unterschiedlicher Anordnung und Ausrichtung erfasst wurden, zu einem Gesamtbild der Fahrzeugumgebung zusammengesetzt werden, d.h. zu einer sogenannten Topview- bzw. 360 ⁰ -Darstellung, und es kann das Gesamtbild der Fahrzeugumgebung mittels des erfindungsgemäßen Verfahrens zur Ob ektdetektion verarbeitet werden .

Im Rahmen des erfindungsgemäßen Verfahrens wird dabei, insbesondere in einem ersten Schritt, ein Objekt und dessen Position mittels einer Ob ekterfassungseinrichtung erfasst. Bei der Objekterfassungseinrichtung handelt es sich dabei bevorzugt um eine Erfassungseinrichtung, die zusätzlich zu der mindestens einen Fahrzeugkamera, mittels der die Bilder der Fahrzeugumgebung für die Bildverarbeitung erfasst werden, im bzw. am Fahrzeug angeordnet ist. Als

Objekterfassungseinrichtung kann dabei grundsätzlich jede aus dem Stand der Technik bekannte Einrichtung eingesetzt werden, die in der Lage ist eine Information insbesondere über eine Objektposition, z.B. eine Objektentfernung, zu ermitteln. Die Objekterfassungseinrichtung kann zusätzlich auch in der Lage sein, bereits eine Objektklasse zur ermitteln. Die Objektklassifikation erfolgt erfindungsgemäß bevorzugt mittels Bildverarbeitung, insbesondere durch Überprüfung des Suchbereichs (ROI) in den mittels der mindestens einen Fahrzeugkamera erfassten Bildern, beispielsweise auf verschiedene Objektklassen hin. Bei der

Objekterfassungseinrichtung handelt es sich vorzugsweise um eine transponderbasierte Objekterfassungseinrichtung, wobei das erfindungsgemäße Verfahren in dem Fall insbesondere zur Objektdetektion von Fußgängern und Fahrzeugen eingesetzt werden kann, die mit einem entsprechenden Transpondersystem ausgerüstet sind. Weiterhin wird im Rahmen des erfindungsgemäßen Verfahrens, insbesondere in einem zweiten Schritt, in Abhängigkeit des erfassten Objekts und dessen Position vorab ein Suchbereich (ROI) in den mittels der mindestens einen Fahrzeugkamera erfassten Bildern bestimmt. Bei dem Suchbereich (ROI) handelt es sich dabei bevorzugt um einen Ausschnitt des Gesamtbildes der Fahrzeugumgebung in dem sich, basierend auf den Informationen der vorangegangenen Ob ekterfassung, das Objekt voraussichtlich bzw. mit hoher Wahrscheinlichkeit befinden und somit mittels Bildverarbeitung detektieren lassen wird.

Im Weiteren erfolgt im Rahmen des erfindungsgemäßen Verfahrens, insbesondere in einem dritten Schritt, eine Objektdetektion mittels Bildverarbeitung innerhalb des vorab bestimmten Suchbereichs (ROI), insbesondere mittels Bildverarbeitungsverfahren, wie Mustererkennungs- und/oder Mustervergleichsverfahren .

Erfindungsgemäß wird bei der Erfassung des Objekts und dessen Position, insbesondere ausschließlich, eine Information über eine Objektentfernung mittels der Objekterfassungseinrichtung erfasst. Weiterhin erfolgt die Bestimmung des Suchbereichs (ROI), vorzugsweise ausschließlich, in Abhängigkeit der Objektentfernungsinformation .

Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Erfassung des Objekts und dessen Position zusätzlich eine Information über eine Objektklasse mittels der Objekterfassungseinrichtung erfasst. Die Bestimmung des Suchbereichs (ROI) erfolgt dabei vorzugsweise in Abhängigkeit der Objektentfernungsinformation und zusätzlich in Abhängigkeit der Objektklasseninformation, insbesondere ausschließlich in Abhängigkeit dieser beiden Informationen. Aus der Objektklasseninformation können beispielsweise die zu erwartende Objektgröße bzw. Objektausdehnung und/oder die erwartende und/oder maximal mögliche Bewegungsgeschwindigkeit des Objekts bestimmt werden. In Abhängigkeit der so bestimmten Ob ektausdehnung und/oder der Bewegungsgeschwindigkeit lässt sich der Suchbereich (ROI) anpassen, d.h. z.B. bei kleiner Objektausdehnung und/oder geringer möglicher Bewegungsgeschwindigkeit ein kleinerer Suchbereich (ROI) und im umgekehrten Fall ein größerer Suchbereich (ROI). Weiterhin kann, insbesondere mittel der Objekterfassungseinrichtung oder mittels Bildverarbeitung eine Objektausrichtung bestimmt und in Abhängigkeit der bestimmten Objektausrichtung der Suchbereich (ROI) angepasst werden. Ein Objekt im Längsverkehr, d.h. beispielsweise ein Fahrzeug, welches den Fahrweg des eigenen Fahrzeugs kreuzt, erfordert in der Regel eine größeren Suchbereich (ROI), als ein Objekt, dass sich parallel zum Eigenfahrzeug bewegt, d.h. beispielsweise ein entgegenkommendes oder ein vorausfahrendes Fahrzeug. Die Informationen über die Objektentfernung und Objektklasse können insbesondere genutzt werden, um einen Skalierungsfaktor des Objekts im Bild zu berechnen sowie um daraus einen Suchbereich (ROI), z.B. dessen Größe/Ausdehnung, festzulegen. Dies ist insbesondere vorteilhaft gegenüber einer Bildverarbeitung im gesamten Bild mit verschiedenen Skalierungsfaktoren .

Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Bestimmung des Suchbereichs (ROI) mittels homographischer Transformation der Objektentfernungsinformation. Unter homographischer

Transformation (oder auch: Homographie) ist allgemein die Kollineation des 2-dimensionalen reellen projektiven Raumes auf sich selbst zu verstehen, wobei diese Transformation auch als Projektive Transformation bezeichnet wird. Im Rahmen des erfindungsgemäßen Verfahrens erfolgt insbesondere eine Transformation der mittels eines Transpondersystems ermittelten Objektposition bzw. dessen Koordinaten (x, y) in Pixel-Koordinaten (χ', y') der erfassten Bilder. Die entsprechende homographische Transformation kann dabei insbesondere gemäß der folgenden Gleichung erfolgen:

Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird aus der Ob ektdetektion, d.h. insbesondere aus der Ob ektdetektion mittels Bildverarbeitung innerhalb des Suchbereichs (ROI) eine Ob ektwinkelinformation gewonnen, insbesondere zusätzlich zu den mittels der

Objekterfassungseinrichtung gewonnenen Informationen über Objektentfernung und Objektklasse.

Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens werden die Objektklassen-, die Objektentfernungs- und die Objektwinkelinformation zu einer Zielobjektinformation (Track) fusioniert, insbesondere zur weiteren Objektdetektion, beispielsweise zur Objektverfolgung (Tracking) und/oder zur Objektprädikation. Die

Zielobjektinformation kann weiterhin zur Schätzung der Ausrichtung eines Objektes verwendet werden, wobei in Abhängigkeit der Ausrichtung, wie vorangehend beschrieben, eine Anpassung des Suchbereichs (ROI) erfolgen kann. Durch die Fusion der verschiedenen Informationen kann eine besonders rechenzeitgünstige Verfolgbarkeit eines Objekt, beispielsweise eines Fußgängers, erreicht werden, insbesondere durch Verkleinerung des Suchbereichs sobald das Objekt erstmalig bei der Objektdetektion mittels Bildverarbeitung erfasst wurde.

Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die Objektdetektion mittels Bildverarbeitung innerhalb des Suchbereichs (ROI) eine Objektvalidierung. Die Ob ektvalidierung dient dabei insbesondere zur Validierung (Bestätigung) , ob das mittels der Objekterfassungseinrichtung erfasste Objekt tatsächlich existiert bzw. vorhanden ist, und/oder ob die Objektklasse und/oder die Objektentfernung richtig erfasst wurden. Dadurch können auf vorteilhafte Weise fehlerhafte Objektdetektionen und damit Fehlauslösungen/Fehlfunktionen von

Fahrerassistenzsystemen und/oder Sicherheitssystemen vermieden werden .

Gemäß einer weiteren besonderen Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt in Abhängigkeit der Objektwinkelinformation eine Anpassung des Suchbereichs (ROI), insbesondere eine Eingrenzung des Suchbereichs. Die Anpassung des Suchbereichs (ROI) kann dabei den Bildverarbeitungsaufwand bzw. den Rechenaufwand für die Bilderverarbeitung einer weitergehenden Objektdetektion in weiteren mittels der mindestens einen Fahrzeugkamera erfassten Bildern, z.B. im Rahmen einer Objektverfolgung (Tracking) und/oder im Rahmen einer Objektprädikation, auf vorteilhafte Weise zusätzlich reduz ieren .

Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist ein erweiterter Suchbereich (ROI) für die Objektdetektion in den mittels der Fahrzeugkamera erfassten Bildern der Fahrzeugumgebung vorgesehen. Unter dem erweiterten Suchbereich kann dabei insbesondere ein Suchbereich (ROI) verstanden werden, der gegenüber einer erforderlichen Größe des Suchbereichs, beispielsweise ermittelbar in Abhängigkeit der Objektklasse und einer daraus bestimmbaren maximalen Objektausdehnung, vergrößert ist. Dies kann dem Ausgleich von Messfehlern und Messungenauigkeiten sowie beispielsweise dem Ausgleich von unterschiedlichen Straßenneigungen sowie von Fahrzeugeigenbewegungen dienen. Der erweiterte Suchbereich kann beispielsweise in horizontaler Richtung auf beiden Seiten jeweils um die Hälfte der erforderlichen Größe erweitert sein und/oder in vertikaler Richtung auf eine bestimmte Pixelgröße hochskaliert werden. Die Festlegung erfolgt bevorzugt in Abhängigkeit vom Skalierungsfaktor, der durch die Entfernungsmessung ermittelt wurde.

Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist bei der Ob ektdetektion innerhalb des Suchbereichs (ROI) bzw. innerhalb des erweiterten Suchbereichs (ROI) ein Detektionsfenster vorgesehen, wobei die Ob ektdetektion mittels Bildverarbeitung innerhalb des Detektionsfensters erfolgt. Das

Detektionsfenster wird dabei bevorzugt im Suchbereich (ROI) bzw. im erweiterten Suchbereich (ROI) bewegt, d.h. ständig bzw. sukzessive verschoben. Dieses Verfahren wird auch als Shifting bezeichnet, bzw. als Sliding Window Verfahren. Das Detektionsfenster wird dabei auch als Sliding Window bezeichnet. Dabei erfolgt die Objektdetektion, z.B. eine Berechnung eines (Objekt-) Klassifikationsergebnisses mittels bilderkennenden Algorithmen, innerhalb des Detektionsfensters und vorzugsweise nicht innerhalb des gesamten Suchbereichs (ROI). Hierbei wird das Detektionsfester beispielsweise mit einem definierten Pixelversatz von Ausgangsposition innerhalb des Suchbereichs (ROI) bzw. innerhalb des erweiterten Suchbereichs (ROI) bewegt. Im Rahmen dieser Ausgestaltung des erfindungsgemäßen Verfahrens dient das Detektionsfenster und insbesondere dessen Bewegung innerhalb des Suchbereichs (ROI) insbesondere dazu, die genaue Position des Objekts im Suchbereich (ROI) zu ermitteln. Für jede Position des Detektionsfensters kann dabei ein Klassifikator durchlaufen und die Wahrscheinlichkeit einer Detektion ermittelt werden. Anschließend können alle Positionen, die über einem definiertem Schwellwert lagen, bzw. deren Wahrscheinlichkeiten über einem definierten Schwellwert lagen, zu sinnvollen Einzeldetektionen, z.B. mittels Non-Maximum-Suppression (NMS), vereinheitlicht werden. Ein Fußgänger als Objekt wird im Rahmen des Sliding Window Verfahrens z.B. nicht nur an Position χθ | yO des Detektionsfensters innerhalb des Suchbereichs (ROI) erkannt, sondern beispielsweise auch bei Position x0+8|y0, x0+16|y0, x0-8|y0, x0-16|y0, x0|y0+8, xO|yO- 8, etc. Ergebnisse die räumlich nahe zusammenliegen, können dabei zu sinnvollen Objekten über die NMS gruppiert werden. Als Pixelversatz kann beispielsweise ein Versatz von 8 Pixeln jeweils in vertikaler und horizontaler Richtung gewählt werden, mit dem die Bewegung des Detektionsfensters erfolgt.

Die erfindungsgemäße Vorrichtung dient zur Durchführung einer Objektdetektion in einer Fahrzeugumgebung, insbesondere nach einem Verfahren gemäß einer der vorangehend beschriebenen Ausgestaltungen. Die Vorrichtung umfasst dabei zumindest eine Objekterfassungseinrichtung zur Erfassung wenigstens der Objektentfernungsinformation zu einzelnen Objekten. Die erfindungsgemäße Vorrichtung umfasst weiterhin zumindest eine Fahrzeugkamera zur Erfassung von Bildern aus der Fahrzeugumgebung .

Die erfindungsgemäße Vorrichtung umfasst weiterhin Bildverarbeitungseinrichtungen zur Objektdetektion in den erfassten Bildern der Fahrzeugumgebung, wobei die Bildverarbeitungseinrichtungen insbesondere derart ausgebildet sind, dass die Objektdetektion innerhalb eines bestimmten Suchbereichs (ROI) in den Bildern der Fahrzeugumgebung erfolgt, wobei der Suchbereich (ROI), insbesondere ausschließlich, in Abhängigkeit der mittels der

Objekterfassungseinrichtung gewonnenen Objektentfernungsinformation bestimmt wird. Bei der zumindest einen Objekterfassungseinrichtung handelt es sich erfindungsgemäß um eine transponderbasierte

Ob ekterfassungseinrichtung, mittels der insbesondere nur eine Objektentfernung ermittelt werden kann sowie in besonderer Ausgestaltung zusätzlich eine Objektklasse.

Weitere Vorteile sowie optionale Ausgestaltungen des erfindungsgemäßen Verfahren sowie der erfindungsgemäßen Vorrichtung gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.

Es zeigt

Figur 1: eine schematische Darstellung eines Ablaufs des erfindungsgemäßen Verfahrens.

Figur 2: eine schematische Darstellung eines im Rahmen des erfindungsgemäßen Verfahrens aus einer

Objektentfernungsinformation bestimmten Suchbereichs (ROI) in einem Bild einer Fahrzeugumgebung .

Figur 3: eine schematische Darstellung eines im Rahmen des erfindungsgemäßen Verfahrens mittels einer

Objektwinkelinformation angepassten Suchbereichs (ROI).

Fig. 1 zeigt schematisch einen bevorzugten Ablauf des erfindungsgemäßen Verfahrens, insbesondere den Ablauf der Datenverarbeitung zur Objektdetektion . Erfindungsgemäß wird zunächst mittels einer Objekterfassungseinrichtung, insbesondere mittels eines transponderbasierten Ortungssystems 100, eine Objektklasseninformation 101 und eine

Objektentfernungsinformation 102 eines in der Fahrzeugumgebung vorhandenen Objekts erfasst. Anschließend erfolgt eine Transformation der Objektentfernungsinformation 102 in ein mittels einer Kamera 300 aus der Fahrzeugumgebung erfasstes Bild, insbesondere mittels homographischer Transformation 200. In Abhängigkeit der Ob ektentfernungsinformation 102, insbesondere mittels homographischer Transformation 200 der Ob ektentfernung 102 in das Kamerabild, wird somit vorab ein Suchbereich ROI im Kamerabild bestimmt, in dem sich das Objekt mit hoher Wahrscheinlichkeit befinden und somit mittels Bildverarbeitung detektierbar sein wird. Im Rahmen der Bildverarbeitung zur Objektdetektion im Kamerabild kann gemäß Fig. 1 zunächst eine Objektvalidierung 301 erfolgen, insbesondere eine Überprüfung, ob das Objekt tatsächlich existiert und/oder ob dessen Klasse 101 von der Objekterfassungseinrichtung 100 richtig erfasst wurde. Weiterhin kann gemäß Fig. 1 in einem weiteren Schritt der Winkel des Objekts bzw. eine Objektwinkelmessung 302 im Kamerabild erfolgen. Mittels der Information über den Objektwinkel kann der Suchbereich ROI weiter eingeschränkt werden. Hierzu kann gemäß Fig. 1 ein Rückkanal vorgesehen sein, der die Objektwinkelinformation in die Bestimmung des Suchbereichs ROI zurückführt. Dies kann den

Bildverarbeitungsaufwand bei einer Weiterverarbeitung 500 der gewonnen Informationen aus der Objektdetektion, beispielsweise im Rahmen einer Objektverfolgung bzw. im Rahmen eines Objekttrackings oder beispielweise einer

Kollisionsrisikoermittlung, weiter einschränken. Für die Weiterverarbeitung 500 werden gemäß Fig. 1 zunächst die Objektklasseninformation 101, die Objektentfernungsinformation 102 und die Information über den Objektwinkel aus der Objektwinkelmessung 302 zu einem Track 400 bzw. einer ZielobjektInformation fusioniert .

Fig. 2 zeigt eine schematische Darstellung eines im Rahmen des erfindungsgemäßen Verfahrens aus einer

Objektentfernungsinformation 102 bestimmten Suchbereichs ROI in einem mittels einer Fahrzeugkamera 300 erfassten Bild 600 einer Fahrzeugumgebung . Bei dem Suchbereich ROI handelt es sich in diesem Fall zunächst um einen vergrößerten Suchbereich ROI, der sich in horizontaler Richtung über das gesamte Bild 600 erstreckt. Aus der Ob ektentfernungsinformation 102 wurde dabei, beispielsweise mittels homographischer Transformation 200, die Position eines Objekts 601, z.B. eines Fußgängers, in das Kamerabild 600 transformiert. Eine Skalierung, d.h. die Bestimmung der vertikalen Ausdehnung 602 des Suchbereichs ROI, kann erfindungsgemäß beispielsweise in Abhängigkeit der Objektentfernungsinformation 102 und/oder der

Objektklasseninformation 101 erfolgt sein.

Fig. 3 zeigt eine weitere schematische Darstellung eines im Rahmen des erfindungsgemäßen Verfahrens aus einer Objektentfernungsinformation 102 bestimmten Suchbereichs ROI in einem mittels einer Fahrzeugkamera 300 erfassten Bild 600 einer Fahrzeugumgebung . In diesem Fall handelt es sich bei dem Suchbereich ROI um einen gegenüber dem Suchbereich ROI aus Fig. 2 verkleinerten Suchbereich ROI, wobei insbesondere dessen horizontale Ausdehnung 603 eingegrenzt wurde. Der Suchbereich ROI kann dabei erfindungsgemäß entweder direkt in Abhängigkeit der Objektklasseninformation 101 und der Objektentfernungsinformation 102 bestimmt worden sein oder zusätzlich aus einer Information über den Objektwinkel aus der Objektwinkelmessung 302 mittels Bildverarbeitung, insbesondere bei erstmaliger Detektion des Objekts 601 im Kamerabild 600 bzw. im vergrößerten Suchbereich ROI mittels Bildverarbeitung. Bezeichnungsliste O ekterfassungseinrichtung

Objektklasseninformation

Objektentfernungsinformation Transformation Suchbereich (Region-Of-Interest ) Fahrzeugkamera

Objektvalidierung

Objektwinkelmessung Zielobjektinformation (Track) Weiterverarbeitung Kamerabild einer Fahrzeugumgebung

Objekt

vertikale Ausdehnung des Suchbereichs horizontale Ausdehnung des Suchbereichs