Die Erfindung betrifft ein Verfahren zur Objektverfolgung von mindestens einem Objekt, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung.

Verfahren zur Objektdetektion und Objektverfolgung mittels einer Beleuchtungseinrichtung und einem optischen Sensor sind bekannt. Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein solches Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen, wobei sich der sichtbare Abstandsbereich aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ergibt. Nachteilig bei diesem Verfahren ist, dass keine Rückkopplung zwischen dem detektierten und zu verfolgenden Objekt und der Beleuchtungseinrichtung und dem optischen Sensor durchgeführt wird.

Aus der Veröffentlichung „Gated2Depth: Real-Time Dense Lidar From Gated Images“ von Tobias Gruber et. al. (https://arxiv.org/pdf/1902.04997.pdf) geht ein Verfahren zur Erstellung einer Aufnahme mit Abstandsinformationen in Echtzeit hervor. Problematisch dabei ist, dass dieses Verfahren nur bei einer Reichweite bis zu 80 m angewendet werden kann.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Objektverfolgung von mindestens einem Objekt, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.

Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.

Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Objektverfolgung von mindestens einem Objekt bei mindestens zwei zeitlich aufeinander folgenden Aufnahmen mittels einer Beleuchtungseinrichtung und einem optischen Sensor geschaffen wird, wobei eine Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zeitlich aufeinander abgestimmt werden. Einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors wird ein erster sichtbarer Abstandsbereich zugeordnet, wobei eine erste Aufnahme des ersten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der ersten abgestimmten Ansteuerung aufgenommen wird. Wenn in der ersten Aufnahme innerhalb des ersten sichtbaren Abstandsbereichs das mindestens eine Objekt detektiert wird, wird eine Abstandsmessung durchgeführt, um den Abstand zwischen dem mindestens einen detektieren Objekt und dem optischen Sensor zu bestimmen. Eine zweite abgestimmte Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors und ein zugeordneter zweiter sichtbarer Abstandsbereich werden derart bestimmt, dass sich das in der ersten Aufnahme detektierte Objekt mittig innerhalb des zweiten sichtbaren Abstandsbereichs befindet. Anschließend wird eine zweite Aufnahme des zweiten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der zweiten abgestimmten Ansteuerung aufgenommen.

Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, den sichtbaren Abstandsbereich an ein detektiertes Objekt anzupassen. Somit sind die Objektdetektion und die abgestimmte Ansteuerung über eine Feedback-Schleife miteinander gekoppelt. Mittels der mittigen Positionierung des Objekts innerhalb des sichtbaren Abstandsbereichs wird das detektierte Objekt optimal angeleuchtet. Aufgrund dieser optimalen Ausleuchtung wird eine bessere semantische Segmentierung einer nachgeschalteten Bildverarbeitung ermöglicht. Die Abstandsbestimmung zwischen dem detektierten Objekt und dem optischen Sensor wird mittels eines geeigneten Verfahrens durchgeführt. Ein solches geeignetes Verfahren ist insbesondere aus der deutschen Offenlegungsschrift mit der Veröffentlichungsnummer DE 102020 002 994 A1 bekannt.

In einer bevorzugten Ausführungsform des Verfahrens werden die erste Aufnahme und die zweite Aufnahme innerhalb von weniger als 0,1 Sekunden aufgenommen, besonders bevorzugt innerhalb von weniger als 0,01 Sekunden.

Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Insbesondere bei einer Nachfahrt ohne Vorausfahrer mit hoher Reichweitenanforderung können vorteilhaft mithilfe des Verfahrens auf der eigenen Fahrspur des Fahrzeugs angeordnete, nicht überfahrbare Objekte detektiert und/oder verfolgt und/oder klassifiziert werden, insbesondere Objekte, die klein sind im Vergleich zur Größe des Fahrzeugs. Das Verfahren ermöglicht eine rechtzeitige und angemessene Reaktion auf die Detektion und Verfolgung solcher Objekte und insbesondere auf die Erkennung eines Abstands des Fahrzeugs zu diesen Objekten. Eine solche angemessene Reaktion kann beispielsweise eine Notbremsung oder das Befahren einer - gegebenenfalls ad hoc bestimmten - Ausweichtrajektorie sein.

Solche kleinen, nicht überfahrbaren Objekte werden typischerweise auch als „lost cargo“ bezeichnet. Es kann sich bei solchen Objekten aber auch um auf der Straße liegende, insbesondere verunfallte, Personen oder Tiere handeln.

Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von Beleuchtungseinrichtung und optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten. Besonders vorteilhaft eignet sich das Gated-Imaging-Verfahren bei schlechter Sicht, insbesondere bei Regen und/oder Nebel, und bei Nacht, da ein Bildsignal und ein Sensorrauschen sehr viel besser getrennt werden können als bei Standardkameras, insbesondere bei monokularen Standardkameras.

Insbesondere wird durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.

Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.

Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der sichtbare Abstandsbereich ist dabei objektseitig gegeben. Ihm entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ein zugeordneter bildseitiger Bereich auf der Bildebene.

Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.

Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.

In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.

Die Beleuchtungseinrichtung ist in bevorzugter Ausgestaltung ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der zweiten Aufnahme das Objekt detektiert wird und ein Abstand zwischen dem Objekt und dem optischen Sensor bestimmt wird. Somit ist eine kontinuierliche Objektdetektion und/oder Objektverfolgung mittels der Anpassung des sichtbaren Abstandsbereichs möglich.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Verfahren zur Objektverfolgung abwechselnd für mindestens zwei unterschiedliche erste sichtbare Abstandsbereiche durchgeführt wird. Vorteilhafterweise können mit dieser Weiterbildung des Verfahrens mindestens zwei unterschiedliche Objekte detektiert und verfolgt werden. Für jedes Objekt der mindestens zwei unterschiedlichen Objekte wird der entsprechende zweite sichtbare Abstandsbereich abhängig von der Abstandsmessung angepasst.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Ansteuerung der Beleuchtungseinrichtung des optischen Sensors derart abgestimmt wird, dass der ersten abgestimmten Ansteuerung der erste sichtbare Abstandsbereich als erster erster sichtbarer Abstandsbereich und außerdem ein zweiter erster sichtbarer Abstandsbereich zugeordnet werden. Es wird eine erste Aufnahme des ersten ersten sichtbaren Abstandsbereichs und des zweiten ersten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der ersten abgestimmten Ansteuerung aufgenommen. Wenn in der ersten Aufnahme innerhalb des ersten ersten sichtbaren Abstandsbereichs ein erstes Objekt detektiert wird, wird eine erste Abstandsmessung durchgeführt, um einen ersten Abstand zwischen dem optischen Sensor und dem ersten Objekt zu bestimmen. Wenn alternativ oder zusätzlich in der ersten Aufnahme innerhalb des zweiten ersten sichtbaren Abstandsbereichs ein zweites Objekt detektiert wird, wird eine zweite Abstandsmessung durchgeführt, um einen zweiten Abstand zwischen dem optischen Sensor und dem zweiten Objekt zu bestimmen. Anschließend werden die zweite abgestimmte Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors und der zugeordnete zweite sichtbare Abstandsbereich als erster zweiter sichtbarer Abstandsbereich und ein der zweiten abgestimmten Ansteuerung zusätzlich zugeordneter zweiter zweiter sichtbarer Abstandsbereich derart bestimmt, dass sich das erste Objekt mittig innerhalb des ersten zweiten sichtbaren Abstandsbereichs befindet und/oder sich das zweite Objekt mittig innerhalb des zweiten zweiten sichtbaren Abstandsbereichs befindet. Danach wird eine zweite Aufnahme des ersten zweiten sichtbaren Abstandsbereichs und des zweiten zweiten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der zweiten abgestimmten Ansteuerung aufgenommen. Vorteilhafterweise können damit zwei unterschiedliche Objekte gleichzeitig detektiert und verfolgt werden.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine detektierte Objekt klassifiziert wird, insbesondere mittels Deep Learning.

Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.

Die Aufgabe wird auch gelöst, indem eine Objektverfolgungsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Objektverfolgungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.

Die Steuereinrichtung ist bevorzugt einerseits mit der Beleuchtungseinrichtung und andererseits mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung. Bei einer bevorzugten Ausführung ist die Steuereinrichtung darüber hinaus eingerichtet, um einen Abstand zwischen dem optischen Sensor und dem mindestens einen detektierten Objekt zu bestimmen.

Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Objektverfolgungsvorrichtung oder einer Objektverfolgungsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Objektverfolgungsvorrichtung erläutert wurden.

In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:

Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer Objektverfolgungsvorrichtung und einer ersten Aufnahme eines ersten sichtbaren Abstandsbereichs, und

Fig. 2 eine schematische Darstellung des Kraftfahrzeugs mit der Objektverfolgungsvorrichtung und einer zweiten Aufnahme eines zweiten sichtbaren Abstandsbereichs.

Figur 1 a) zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Objektverfolgungsvorrichtung 3. Die Objektverfolgungsvorrichtung 3 weist eine Beleuchtungseinrichtung 5 und einen optischen Sensor 7 auf. Außerdem weist die Objektverfolgungsvorrichtung 3 eine Steuereinrichtung 9 auf, die hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 zu deren jeweiliger Ansteuerung wirkverbunden ist. Dargestellt in Figur 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein erster sichtbarer Abstandsbereich 15.1 , der sich als T eilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt. Ein Objekt 17 ist teilweise in dem ersten sichtbaren Abstandsbereich 15.1 angeordnet.

Figur 1 b) zeigt eine schematische Darstellung einer ersten Aufnahme 19.1 , welche mit dem optischen Sensor 7 mittels einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 aufgenommen wurde. In der ersten Aufnahme 19.1 wird das Bild des ersten sichtbaren Abstandsbereichs 15.1 mit 15.T bezeichnet. Analog dazu wird in der ersten Aufnahme 19.1 das Bild des Objekts 17 mit 17‘ bezeichnet.

Figur 2 ist eine Darstellung einer Szenerie, welche zeitlich unmittelbar auf die Szenerie aus Figur 1 folgt. Die zeitliche Differenz zwischen der Szenerie in Figur 1 und der Szenerie in Figur 2 ist vorzugsweise weniger als 0,1 s, besonders bevorzugt weniger als 0,01 s.

Figur 2 a) zeigt das Kraftfahrzeugs 1, mit der Objektverfolgungsvorrichtung 3. Die Objektverfolgungsvorrichtung 3 weist die Beleuchtungseinrichtung 5 und den optischen Sensor 7 auf. Außerdem weist die Objektverfolgungsvorrichtung 3 die Steuereinrichtung 9 auf. Analog zu Figur 1 ist in Figur 2 insbesondere das Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und der Beobachtungsbereich 13 des optischen Sensors 7 dargestellt. Schraffiert dargestellt ist außerdem ein zweiter sichtbarer Abstandsbereich 15.2, der sich als Teilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt. Das Objekt 17 befindet sich mittig innerhalb des zweiten sichtbaren Abstandsbereichs 15.2.

Figur 2 b) zeigt eine schematische Darstellung einer zweiten Aufnahme 19.2, welche mit dem optischen Sensor 7 mittels einer zweiten abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 aufgenommen wurde. In der zweiten Aufnahme 19.2 wird das Bild des zweiten sichtbaren Abstandsbereichs 15.2 mit 15.2‘ bezeichnet. Analog dazu und zu Figur 1 wird in der zweiten Aufnahme 19.2 das Bild des Objekts 17 mit 17‘ bezeichnet.

Die Objektverfolgung und die Anpassung des zweiten sichtbaren Abstandsbereichs 15.2 auf die örtliche Lage des Objekts 17 wird mittels des im Folgenden beschriebenen Verfahrens durchgeführt.

Mittels einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 wird eine erste Aufnahme 19.1 des ersten sichtbaren Abstandsbereichs 15.1 aufgenommen. In der ersten Aufnahme 19.1 wird im Bild 15. T des ersten sichtbaren Abstandsbereichs 15.1 ein Objekt 17 detektiert. Mittels eines geeigneten Verfahrens wird der Abstand des Objekts 17 zu dem optischen Sensor 7 bestimmt.

Basierend auf der Abstandsmessung des Objektes 17 werden eine zweite abgestimmten Ansteuerung und ein zugehöriger zweiter sichtbarer Abstandsbereich 15.2 derart bestimmt, dass sich das Objekt 17 mittig innerhalb des zweiten sichtbaren Abstandsbereichs 15.2 befindet. Abschließend wird eine zweite Aufnahme 19.2 des zweiten sichtbaren Abstandsbereichs 15.2 bei einer Beleuchtung mittels der Beleuchtungseinrichtung 5 mit dem optischen Sensor 7 mittels der zweiten abgestimmten Ansteuerung aufgenommen.

Zusätzlich dazu kann in der zweiten Aufnahme 19.2 erneut der Abstand des Objekts 17 von dem optischen Sensor 7 bestimmt werden. Zusätzlich kann mit dieser erneuten Abstandsbestimmung das Verfahren zur Objektverfolgung kontinuierlich durchgeführt werden.

Alternativ oder zusätzlich kann das detektiert Objekt 17, insbesondere mittels Deep Learning, klassifiziert werden. Damit es vorteilhaft möglich das detektierte Objekt 17 zu kategorisieren und zu entscheiden ob eine Objektverfolgung notwendig ist oder nicht.