Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DETECTION DEVICE AND VEHICLE SENSOR SYSTEM
Document Type and Number:
WIPO Patent Application WO/2020/260477
Kind Code:
A1
Abstract:
The invention relates to a detection device (18) for detecting persons (20) when entering a vehicle (10) and when exiting the vehicle, comprising: an entry interface (24) for receiving detection data comprising information on a person in a first region (32) outside of the vehicle, said person being detected by a surroundings sensor device (14), or comprising information on a person in a second region (34) within the vehicle, said person being detected by an interior sensor device (16); an analysis unit (26) for ascertaining an imminent change in the region of the detected person between the first region and the second region on the basis of the detection data; and a control unit (28) for forwarding the imminent change in region to the surroundings sensor device if the detection data was received by the interior sensor device and to the interior sensor device if the detection data was received by the surroundings sensor device. The invention additionally relates to a vehicle sensor system (12) on a vehicle (10) and to an autonomous passenger transport vehicle.

Inventors:
ANGERMAYER JÖRG (DE)
METZNER JANNIK (DE)
FAFULA DANIEL (DE)
MAILE FLORIAN (DE)
Application Number:
PCT/EP2020/067871
Publication Date:
December 30, 2020
Filing Date:
June 25, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZAHNRADFABRIK FRIEDRICHSHAFEN (DE)
International Classes:
G01S7/48; B60N5/00; G01S17/04; G01S17/58; G01S17/66; G01S17/87; G01S17/894; G01S7/41; G01S13/04; G01S13/58; G01S13/72; G01S13/86; G01S13/87; G01S13/931
Foreign References:
US20180136655A12018-05-17
US20170303080A12017-10-19
Download PDF:
Claims:
Patentansprüche

1 . Detektionsvorrichtung (18) zum Detektieren von Personen (20) beim Einstei gen in ein Fahrzeug (10) und beim Aussteigen aus dem Fahrzeug, mit:

einer Eingangsschnittstelle (24) zum Empfangen von Detektionsdaten mit Informatio nen zu einer von einer Umgebungssensorvorrichtung (14) detektierten Person in ei nem ersten Bereich (32) außerhalb des Fahrzeugs oder mit Informationen zu einer von einer Innenraumsensorvorrichtung (16) detektierten Person in einem zweiten Bereich (34) innerhalb des Fahrzeugs;

einer Auswerteeinheit (26) zum Ermitteln eines bevorstehenden Bereichswechsels der detektierten Person zwischen dem ersten Bereich und dem zweiten Bereich ba sierend auf den Detektionsdaten; und

einer Steuereinheit (28) zum Weitergeben des bevorstehenden Bereichswechsels an die Umgebungssensorvorrichtung, wenn die Detektionsdaten von der Innen raumsensorvorrichtung empfangen wurden, und an die Innenraumsensorvorrichtung, wenn die Detektionsdaten von der Umgebungssensorvorrichtung empfangen wur den.

2. Detektionsvorrichtung (18) nach Anspruch 1 , wobei die Auswerteeinheit (26) zum Ermitteln einer Position und einer Bewegung der detektierten Person (20) basie rend auf den Detektionsdaten ausgebildet ist; zum Ermitteln des bevorstehenden Bereichswechsels basierend auf der ermittelten Position und Bewegung ausgebildet ist; und vorzugsweise zum Aufstellen eines Constant-Velocity-Zustandsmodells der detektierten Person ausgebildet ist.

3. Detektionsvorrichtung (18) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26)

zum Ermitteln, ob sich die detektierte Person (20) in einem vordefinierten Nahbereich (36) befindet, ausgebildet ist, wenn die Detektionsdaten von der Umgebungssensor vorrichtung (14) empfangen wurden, wobei der vordefinierte Nahbereich einem Teil bereich des ersten Bereichs (32) entspricht, der sich in unmittelbarer Nähe des Fahr zeugs (10) befindet; zum Verfolgen einer Position der Person ausgebildet ist, wenn sich die Person in dem vordefinierten Nahbereich befindet; undzum Ermitteln des bevorstehenden Be reichswechsels basierend auf der verfolgten Position ausgebildet ist.

4. Detektionsvorrichtung (18) nach einem der vorstehenden Ansprüche, mit einer Ausgabeschnittstelle (30) zum Ausgeben eines Warnsignals, wenn nach der Weiter gabe des bevorstehenden Bereichswechsels nicht innerhalb einer vordefinierten Zeitspanne

neue Detektionsdaten von der Umgebungssensorvorrichtung (14) empfangen wer den, sofern die Detektionsdaten von der Innenraumsensorvorrichtung (16) empfan gen wurden; und/oder

neue Detektionsdaten von der Innenraumsensorvorrichtung empfangen werden, so fern die Detektionsdaten von der Umgebungssensorvorrichtung empfangen wurden.

5. Detektionsvorrichtung (18) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26)

zum Ermitteln, ob sich die detektierte Person (20) in einem vordefinierten Zugangs bereich (38) des ersten oder zweiten Bereichs (32, 34) befindet, basierend auf den Detektionsdaten ausgebildet ist, wobei der vordefinierte Zugangsbereich einem Zu gang des Fahrzeugs (10) vorgelagert ist; und

zum Ermitteln des bevorstehenden Bereichswechsels basierend auf der Anwesenheit der detektierten Person in dem Zugangsbereich ausgebildet ist.

6. Detektionsvorrichtung (18) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26) zum Ermitteln einer Zeitprädiktion mit Informationen zu einer voraussichtlichen Zeit des Bereichswechsels der Person (20) ausgebildet ist; und die Steuereinheit (28) zum Weitergeben der ermittelten Zeitprädiktion ausgebildet ist.

7. Detektionsvorrichtung (18) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26)

zum Ermitteln, ob es sich bei der erkannten Person (20) um einen Fußgänger han delt, ausgebildet ist; und zum Ermitteln des bevorstehenden Bereichswechsels basierend auf einem Bewe gungsmodell eines Fußgängers ausgebildet ist, wenn es sich bei der erkannten Per son um einen Fußgänger handelt.

8. Fahrzeugsensorsystem (12) an einem Fahrzeug (10), mit:

einer Umgebungssensorvorrichtung (14) zum Detektieren von Personen (20) in ei nem ersten Bereich (32) außerhalb des Fahrzeugs, wobei die Umgebungssensorvor richtung vorzugsweise mehrere Kameras, insbesondere Time-of-Flight-Kameras, umfasst;

einer Innenraumsensorvorrichtung (16) zum Detektieren von Personen in einem zweiten Bereich (34) innerhalb des Fahrzeugs, wobei die Innenraumsensorvorrich tung vorzugsweise mehrere Kameras, insbesondere Time-of-Flight-Kameras, um fasst; und

einer Detektionsvorrichtung nach einem der vorstehenden Ansprüche.

9. Fahrzeugsensorsystem (12) nach Anspruch 8, wobei

der erste Bereich (32) und der zweite Bereich (34) einen Überlappungsbereich (40) umfassen, in dem Personen (20) von der Umgebungssensorvorrichtung (14) und der Innenraumsensorvorrichtung (16) erfasst werden können; und

der Überlappungsbereich vorzugsweise im Wesentlichen außerhalb des Fahrzeugs (10) liegt.

10. Fahrzeugsensorsystem (12) nach einem der Ansprüche 8 bis 9, wobei ein den Überlappungsbereich erfassender Sensor der Umgebungssensorvorrichtung (14) und ein den Überlappungsbereich erfassender Sensor der Innenraumsensorvorrich tung (16) einen unterschiedlichen Wellenlängenbereich aufweisen.

1 1 . Fahrzeugsensorsystem (12) nach einem der Ansprüche 8 bis 10, wobei die Umgebungssensorvorrichtung (14) einen Kamerasensor, einen Radarsensor und einen Lidarsensor umfasst.

12. Autonomes Personentransportfahrzeug mit einer Detektionsvorrichtung (18) nach einem der Ansprüche 1 bis 7 oder mit einem Fahrzeugsensorsystem (12) nach einem der Ansprüche 8 bis 11 .

13. Verfahren zum Detektieren von Personen (20) beim Einsteigen in ein Fahr zeug (10) und beim Aussteigen aus dem Fahrzeug, mit den Schritten:

zum Empfangen (S10) von Detektionsdaten mit Informationen zu einer von einer Umgebungssensorvorrichtung (14) detektierten Person in einem ersten Bereich (32) außerhalb des Fahrzeugs oder mit Informationen zu einer von einer Innen raumsensorvorrichtung (16) detektierten Person in einem zweiten Bereich (34) inner halb des Fahrzeugs;

zum Ermitteln (S12) eines bevorstehenden Bereichswechsels der detektierten Per son zwischen dem ersten Bereich und dem zweiten Bereich basierend auf den De tektionsdaten; und

zum Weitergeben (S14) des bevorstehenden Bereichswechsels an die Umgebungs sensorvorrichtung, wenn die Detektionsdaten von der Innenraumsensorvorrichtung empfangen wurden, und an die Innenraumsensorvorrichtung, wenn die Detektions daten von der Umgebungssensorvorrichtung empfangen wurden.

14. Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens nach Anspruch 13, wenn der Programmcode auf einem Computer ausgeführt wird.

Description:
Detektionsvorrichtunq und Fahrzeuqsensorsvstem

Die vorliegende Erfindung betrifft eine Detektionsvorrichtung zum Detektieren von Personen beim Einsteigen in ein Fahrzeug und beim Aussteigen aus dem Fahrzeug. Die vorliegende Erfindung betrifft weiterhin ein Fahrzeugsensorsystem sowie ein au tonomes Personentransportfahrzeug und ein Verfahren zum Detektieren von Perso nen.

Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder, Busse etc.) umfas sen eine Vielzahl an Systemen, die einem Fahrer oder einem autonomen Fahrsys tem Informationen zur Verfügung stellen und/oder einzelne Funktionen des Fahr zeugs teil- oder vollautomatisiert steuern. Über Sensoren werden die Umgebung des Fahrzeugs sowie gegebenenfalls andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Durch die Ent wicklung immer präziserer Sensoren und leistungsfähigerer Auswertungsalgorithmen ist es möglich, einen Personen- und/oder Warentransport mittels autonomer Fahr zeuge zu realisieren.

Ein relevantes Anwendungsszenario des autonomen Fahrens ist dabei der Perso nentransport. In Großstädten droht der Verkehrskollaps und es gibt immer mehr Pendler, die täglich weite Strecken zu ihrem Arbeitsplatz zurücklegen. Autonom fah rende Kleinbusse stellen hierbei einen vielversprechenden Lösungsansatz dar, um insbesondere individuelle innerstädtische Mobilität zu ermöglichen und gleichzeitig die Verkehrsbelastung zu reduzieren. In solchen Kleinbussen finden beispielsweise bis zu 10 Personen Platz. Mittels eines Einsatzes einer Flotte derartiger Fahrzeuge kann ein individueller on-demand Transport ermöglicht werden. Durch einen autono men Betrieb kann ein flächendeckender und kosteneffizienter Einsatz ermöglicht werden.

Eine Problemstellung in diesem Zusammenhang betrifft den Einstieg und den Aus stieg von Passagieren. Dadurch, dass zumindest mittelfristig auf einen Fahrer ver zichtet werden soll und ein (voll-) autonomer Fährbetrieb ermöglicht werden soll, ist neben der Überwachung der Umgebung des Fahrzeugs zum Zwecke der Umge bungserkennung auch eine Überwachung der Passagiere im Innenraum notwendig, um Anomalitäten zu erkennen. In bisherigen Ansätzen sind hierzu Innenraumüber wachungssysteme basierend auf Kameras vorgesehen, die den Innenraum des Fahrzeugs überwachen. Eine Herausforderung liegt dabei darin, dass es beim Ein- und Aussteigen der Passagiere zu einem Wechsel zwischen einer Überwachung durch entsprechende Umgebungs- und Innenraumsensorik kommt. Eine lückenhafte oder fehlerbehaftete Überwachung der Personen in und um das Fahrzeug kann zu Unfällen mit Personenschäden führen.

Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum Gewährleisten der Sicherheit von Personen beim Einsteigen in ein autonomes Fahrzeug oder beim Verlassen eines autonomen Fahrzeugs bereitzustellen. Insbe sondere soll ein Fährbetrieb des autonomen Fahrzeugs erst dann aufgenommen werden, wenn alle Passagiere den Einstiegs- bzw. Ausstiegsvorgang abgeschlossen haben. Es sollen sich keine Personen im Umfeld des autonomen Fahrzeugs befin den, die bei der Aufnahme des Betriebs gefährdet werden könnten.

Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Detektionsvorrichtung zum Detektieren von Personen beim Einsteigen in ein Fahrzeug und beim Aussteigen aus dem Fahrzeug, mit:

einer Eingangsschnittstelle zum Empfangen von Detektionsdaten mit Informa tionen zu einer von einer Umgebungssensorvorrichtung detektierten Person in einem ersten Bereich außerhalb des Fahrzeugs oder mit Informationen zu einer von einer Innenraumsensorvorrichtung detektierten Person in einem zweiten Bereich innerhalb des Fahrzeugs;

einer Auswerteeinheit zum Ermitteln eines bevorstehenden Bereichswechsels der detektierten Person zwischen dem ersten Bereich und dem zweiten Bereich ba sierend auf den Detektionsdaten; und

einer Steuereinheit zum Weitergeben des bevorstehenden Bereichswechsels an die Umgebungssensorvorrichtung, wenn die Detektionsdaten von der Innen raumsensorvorrichtung empfangen wurden, und an die Innenraumsensorvorrichtung, wenn die Detektionsdaten von der Umgebungssensorvorrichtung empfangen wur den.

In einem weiteren Aspekt betrifft die vorliegende Erfindung ein Fahrzeugsensorsys tem an einem Fahrzeug, mit:

einer Umgebungssensorvorrichtung zum Detektieren von Personen in einem ersten Bereich außerhalb des Fahrzeugs, wobei die Umgebungssensorvorrichtung vorzugsweise mehrere Kameras, insbesondere Time-of-Flight-Kameras, umfasst; einer Innenraumsensorvorrichtung zum Detektieren von Personen in einem zweiten Bereich innerhalb des Fahrzeugs, wobei die Innenraumsensorvorrichtung vorzugsweise mehrere Kameras, insbesondere Time-of-Flight-Kameras, umfasst; und

einer Detektionsvorrichtung wie zuvor beschrieben.

In einem weiteren Aspekt betrifft die vorliegende Erfindung ein autonomes Personen transportfahrzeug mit einer Detektionsvorrichtung wie zuvor beschrieben oder mit einem Fahrzeugsensorsystem wie zuvor beschrieben.

Weitere Aspekte der Erfindung betreffen ein entsprechend der Detektionsvorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerpro gramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Aus führung des hierin beschriebenen Verfahrens bewirkt.

Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, oh ne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können die Detektionsvorrichtung, das Verfahren, das Personentransportfahrzeug sowie das Computerprogrammprodukt entsprechend der für die Detektionsvorrichtung und das Personentransportfahrzeug in den abhängigen Ansprüchen beschriebenen Ausge staltungen ausgeführt sein.

Erfindungsgemäß ist es vorgesehen, dass eine Detektion einer Umgebungssensor vorrichtung, mit der ein Bereich außerhalb des Fahrzeugs erfasst werden kann, und eine Detektion einer Innenraumsensorvorrichtung, mit der eine Person innerhalb des Fahrzeugs erfasst werden kann, gemeinsam ausgewertet werden. Basierend auf De tektionsdaten einer der beiden Sensorvorrichtungen wird ermittelt, ob ein Bereichs wechsel einer Person bevorsteht. Wenn ein Bereichswechsel einer Person bevor steht, werden Informationen bezüglich des Bereichswechsels an die jeweils andere Sensorvorrichtung weitergegeben . Insoweit wird eine Kooperation zwischen an sich unabhängigen Sensorvorrichtungen im Innenraum und im Außenraum ermöglicht.

Die Personenerkennung beim Übergang einer Person zwischen einem Außen- und einem Innenbereich oder in die andere Richtung wird verbessert. Es wird sicherge stellt, dass auch im Übergangsbereich zwischen zwei unabhängigen Sensorvorrich tungen eine präzise und zuverlässige Überwachung erfolgen kann. Die Informationen über die detektierten Personen werden zwischen den Sensorvorrichtungen ausge tauscht. Durch die Weitergabe des bevorstehenden Bereichswechsels an die jeweils andere Vorrichtung kann diese andere Vorrichtung davon in Kenntnis gesetzt wer den, dass eine erneute Personendetektion zu erwarten ist. Wenn diese Personende tektion dann nicht erfolgt, kann die entsprechende Sensorvorrichtung Maßnahmen ergreifen.

Im Vergleich zu bisherigen Ansätzen, bei denen die Erfassungssysteme im Innen raum und die Erfassungssysteme im Außenraum nicht verbunden sind, wird die Si cherheit der Passagiere verbessert. Durch die gemeinsame Auswertung bzw. durch die Informationsübertragung zwischen den Sensorvorrichtungen wird erst erreicht, dass ein autonomer Betrieb eines Personentransportfahrzeugs möglich wird. Es ist nicht notwendig, dass ein Fahrzeugführer manuell eine Prüfung vornimmt, ob alle Passagiere eingestiegen bzw. ausgestiegen sind. Die erfindungsgemäße Detekti onsvorrichtung stellt sicher, dass auch beim Ein- und Aussteigen eine sichere und lückenlose Detektion erfolgen kann. Erst nach Abschluss aller Ein- und Ausstiegs- Vorgänge nimmt das autonome Personentransportfahrzeug seinen Fährbetrieb wie der auf.

In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln einer Posi tion und einer Bewegung der detektierten Person basierend auf den Detektionsdaten ausgebildet. Die Auswerteeinheit ist weiterhin zum Ermitteln des bevorstehenden Bereichswechsels basierend auf der ermittelten Position und Bewegung ausgebildet. Vorzugsweise ist die Auswerteeinheit zum Aufstellen eines Constant-Velocity- Zustandsmodells der detektierten Person ausgebildet. Es ist möglich, ein Zustands modell der detektierten Person aufzustellen, um hierauf basierend eine zutreffende Prognose eines bevorstehenden Bereichswechsels abzugeben. Durch die Verwen dung einer Position und Bewegung kann die Genauigkeit bei der Ermittlung des be vorstehenden Bereichswechsels verbessert werden. Mit einem Constant-Velocity- Zustandsmodells kann eine Vorausberechnung der voraussichtlichen Trajektorie der detektierten Person erfolgen. Es ergibt sich eine hohe Sicherheit bei der Ermittlung des bevorstehenden Bereichswechsels.

In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln, ob sich die detektierte Person in einem vordefinierten Nahbereich befindet, ausgebildet, wenn die Detektionsdaten von der Umgebungssensorvorrichtung empfangen wurden.

Hierbei entspricht der vordefinierte Nahbereich einem Teilbereich des ersten Be reichs, der sich in unmittelbarer Nähe des Fahrzeugs befindet. Die Auswerteeinheit ist zum Verfolgen einer Position der Person ausgebildet, wenn sich die Person in dem vordefinierten Nahbereich befindet. Die Auswerteeinheit ist zum Ermitteln des bevorstehenden Bereichswechsels basierend auf der verfolgten Position ausgebildet. Im Außenbereich des Fahrzeugs (erster Bereich) wird ein Nahbereich vordefiniert, der das Fahrzeug in unmittelbarer Nähe umgibt. Wenn sich eine Person innerhalb dieses Nahbereichs aufhält bzw. diesen Nahbereich betritt, wird ihre Position verfolgt. Diese verfolgte Position dient dann als Grundlage für die Ermittlung des bevorste henden Bereichswechsels. Dadurch, dass nicht die gesamte Sensorreichweite der Umgebungssensorvorrichtung verwendet wird und alle Personen innerhalb der Sen sorreichweite der Umgebungssensorvorrichtung verfolgt werden, kann die benötigte Rechenleistung reduziert werden. Es sind weniger Personen zu verfolgen. Personen, die sich überhaupt nicht innerhalb des Nahbereichs befinden und bei denen damit ein Wechsel vom Außenbereich in den Innenbereich ausgeschlossen ist, werden nicht verfolgt. Die Anforderung an die Rechenleistung kann bei gleichbleibender Zu verlässigkeit vermindert werden.

In einer bevorzugten Ausgestaltung umfasst die Vorrichtung eine Ausgabeschnittstel le zum Ausgeben eines Warnsignals, wenn nach der Weitergabe des bevorstehen den Bereichswechsels nicht innerhalb einer vordefinierten Zeitspanne entweder neue Detektionsdaten von der Umgebungssensorvorrichtung empfangen werden, sofern die Detektionsdaten von der Innenraumsensorvorrichtung empfangen wurden, oder neue Detektionsdaten von der Innenraumsensorvorrichtung empfangen werden, so fern die Detektionsdaten von der Umgebungssensorvorrichtung empfangen wurden. Wenn es bei einem detektierten Bereichswechsel dazu kommt, dass die jeweils an dere Sensorvorrichtung keine (neue) Person in ihrem Bereich detektiert, führt dies zur Ausgabe eines Warnsignals. Wenn für eine Person detektiert wird, dass diese den Bereich wechselt, wird eine Detektion der Person in dem anderen Bereich erwar tet. Erfolgt diese Detektion nicht, wird ein Warnsignal ausgegeben, um zu signalisie ren, dass eine Person an einem Undefinierten Ort ist. Hierdurch kann eine gefährliche Situation beim Bereichswechsel vermieden werden.

In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln , ob sich die detektierte Person in einem vordefinierten Zugangsbereich des ersten oder zweiten Bereichs befindet, basierend auf den Detektionsdaten ausgebildet. Hierbei ist der vordefinierte Zugangsbereich einem Zugang des Fahrzeugs vorgelagert. Weiterhin ist die Auswerteeinheit zum Ermitteln des bevorstehenden Bereichswechsels basie rend auf der Anwesenheit der detektierten Person in dem Zugangsbereich ausgebil det. Der Zugangsbereich kann beidseitig einer Fahrzeugtür des Fahrzeugs, also so wohl im Innenbereich als auch im Außenbereich liegen. Dieser Zugangsbereich wird für die Prädiktion des bevorstehenden Bereichswechsels verwendet. Wenn sich eine Person innerhalb des Zugangsbereichs befindet, ist anzunehmen, dass diese Person den Bereich wechseln möchte. Die Zuverlässigkeit bei der Ermittlung des bevorste henden Bereichswechsels wird verbessert. In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln einer Zeit prädiktion mit Informationen zu einer voraussichtlichen Zeit des Bereichswechsels der Person ausgebildet. Die Steuereinheit ist zum Weitergeben der ermittelten Zeit prädiktion ausgebildet. Eine Zeitprädiktion kann insbesondere eine Angabe einer Zeitspanne sein. Es wird insoweit ermittelt, ob der Bereichswechsel unmittelbar be vorsteht oder ob dieser erst zu einem etwas späteren Zeitpunkt erfolgen soll. Die Zeitprädiktion erlaubt eine weitere Verbesserung der Zuverlässigkeit bei der Detekti on von Personen. Die Zeitprädiktion erlaubt eine präzise Eingrenzung des Zeitpunkts des Bereichswechsels der Person.

In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln, ob es sich bei der erkannten Person um einen Fußgänger handelt, ausgebildet. Die Auswer teeinheit ist zudem zum Ermitteln des bevorstehenden Bereichswechsels basierend auf einem Bewegungsmodell eines Fußgängers ausgebildet, wenn es sich bei der erkannten Person um einen Fußgänger handelt. Insbesondere soll eine Erkennung von Fußgängern erfolgen. Wenn erkannt wird, dass es sich bei der Person um einen Fußgänger handelt, kann dies als Modellwissen bei der Prädiktion des Bereichs wechsels verwendet werden. Hierdurch kann die Zuverlässigkeit bei der Detektion von Personen verbessert werden.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Fahrzeugsensorsys tems weisen ein den Überlappungsbereich erfassender Sensor der Umgebungs sensorvorrichtung und ein den Überlappungsbereich erfassender Sensor der Innen raumsensorvorrichtung einen unterschiedlichen Wellenlängenbereich auf. Hierdurch wird vermieden, dass sich die Sensoren der Innenraumsensorvorrichtung und der Umgebungssensorvorrichtung gegenseitig beeinflussen. Die Zuverlässigkeit wird verbessert.

In einer bevorzugten Ausgestaltung des Fahrzeugsensorsystems umfasst die Umge bungssensorvorrichtung einen Kamerasensor, einen Radarsensor und einen Lidar- sensor. Durch die Kombination mehrerer verschiedener Sensorsysteme bzw. Mess prinzipien wird die Zuverlässigkeit bei der Detektion von Personen verbessert. Hier- durch kann die Sicherheit beim Einsteigen in ein Fahrzeug und beim Aussteigen aus dem Fahrzeug weiter erhöht werden.

Eine Umgebung eines Fahrzeugs umfasst insbesondere einen von dem Fahrzeug aus sichtbaren Bereich im Umfeld des Fahrzeugs. Eine Sensorvorrichtung (Umge bungssensorvorrichtung oder Innenraumsensorvorrichtung) kann einen oder mehrere einzelne Sensoren umfassen. Hierbei können gleichartige oder verschiedene Sen sorprinzipien verwendet werden. Unter einer Sensorvorrichtung wird insbesondere ein selbständig arbeitendes Sensorsystem verstanden. Vorzugsweise bildet die Um gebungssensorvorrichtung das oder ist Bestandteil des Fahrzeugsensorsets, das auch für das autonome oder teilautonome Fahren verwendet wird. Detektionsdaten sind insbesondere Sensordaten, also Ausgangsdaten eines Sensors oder eines Sensorsystems, gegebenenfalls nach einer Vorverarbeitung. Unter einem bevorste henden Bereichswechsel wird insbesondere eine binäre Information verstanden.

Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläu tert. Es zeigen:

Fig. 1 eine schematische Darstellung eines autonomen Personentransportfahrzeugs mit einem Fahrzeugsensorsystem gemäß der vorliegenden Erfindung;

Fig. 2 eine schematische Darstellung einer erfindungsgemäßen Detektionsvorrich tung;

Fig. 3 eine schematische Darstellung verschiedener Bereiche, in denen Personen detektiert werden;

Fig. 4 eine schematische Darstellung eines Überlappungsbereichs; und Fig. 5 eine schematische Darstellung eines erfindungsgemäßen Verfahrens. In der Fig. 1 ist schematisch ein Fahrzeug 10 mit einem Fahrzeugsensorsystem 12 dargestellt. Das Fahrzeug 10 ist als autonomes Personentransportfahrzeug ausge bildet. Das Fahrzeugsensorsystem 12 umfasst eine Umgebungssensorvorrichtung 14, eine Innenraumsensorvorrichtung 16 sowie eine Detektionsvorrichtung 18. Das Fahrzeug 10 umfasst eine (automatische) Tür 22, durch die Personen 20 zwischen einem ersten Bereich außerhalb des Fahrzeugs 10 und einem zweiten Bereich in nerhalb des Fahrzeugs 10 hin- und herwechseln können. Durch die Detektionsvor richtung 18 werden die Umgebungssensorvorrichtung 14 sowie die Innen

raumsensorvorrichtung 16 verbunden. Beide Sensorvorrichtungen dienen zum De- tektieren von Personen, wobei die Umgebungssensorvorrichtung 14 dazu ausgebil det ist, Personen 20 in einem Bereich außerhalb des Fahrzeugs zu detektieren, und die Innenraumsensorvorrichtung 16 dazu ausgebildet ist, Personen 20 in einem Be reich innerhalb des Fahrzeugs 10 zu detektieren. Wenn eine der beiden Sensorvor richtungen eine Person detektiert, wird in der Detektionsvorrichtung 18 ermittelt, ob diese Person den entsprechenden Bereich verlassen will und in den anderen Bereich eintreten will. Sofern ein solcher bevorstehender Bereichswechsel detektiert wird, wird eine entsprechende Information an die jeweils andere Sensorvorrichtung weiter gegeben. Basierend auf dieser Information kann eine verbesserte Detektion und Ver folgung von Personen beim Einsteigen bzw. beim Aussteigen erreicht werden.

Erfindungsgemäß wird somit die Qualität der Fußgängererkennung innerhalb und außerhalb eines Fahrzeugs 10 verbessert. Beim Aussteigen einer Person 20 besteht das Problem, dass eine Innenraumsensorvorrichtung, die im Inneren angeordnet ist, nicht den gesamten Bereich bis zu einem Erkennungsbereich einer Umgebungs sensorvorrichtung außerhalb des Fahrzeugs abdeckt. Deswegen kann es zu einer verzögerten oder einer ausbleibenden Erkennung von Personen, insbesondere Fu ß gängern, um das Personen befördernde Fahrzeug kommen. Insbesondere ist dies dem geschuldet, dass üblicherweise verwendete Umgebungssensorvorrichtungen (umfassend eine Kombination von Kamera-, Lidar- und Radarsensoren) einen gewis sen Mindestabstand von Objekten benötigen, um eine zuverlässige Erkennung und Klassifizierung der Objekte durchführen zu können. In der Fig. 2 ist schematisch eine erfindungsgemäße Detektionsvorrichtung 18 zum Detektieren von Personen beim Einsteigen in ein Fahrzeug und beim Aussteigen aus dem Fahrzeug dargestellt. Die Detektionsvorrichtung 18 umfasst eine Eingangs schnittstelle 24, eine Auswerteeinheit 26 sowie eine Steuereinheit 28. Im dargestell ten Ausführungsbeispiel umfasst die Detektionsvorrichtung 18 zudem eine (optiona le) Ausgabeschnittstelle 30. Die verschiedenen Einheiten und Schnittstellen können einzeln oder kombiniert in Soft- und/oder in Hardware ausgeführt bzw. implementiert sein. Insbesondere können die Einheiten in Software implementiert sein, die auf ei nem Prozessor einer Umgebungssensorvorrichtung oder einer Innenraumsensorvor richtung ausgeführt wird.

Über die Eingangsschnittstelle 24 werden Detektionsdaten mit Informationen zu einer detektierten Person empfangen. Hierbei können die Detektionsdaten einerseits von einer Umgebungssensorvorrichtung und andererseits von einer Innenraumsensorvor richtung des Fahrzeugs empfangen werden. Zum einen kann also eine Information darüber empfangen werden, ob sich eine Person im Innenraum befindet. Zum ande ren kann eine Information darüber empfangen werden, ob sich eine Person in einer Umgebung des Fahrzeugs befindet. Die empfangenen Detektionsdaten entsprechen insbesondere den Sensordaten der entsprechenden Sensorvorrichtung. Insbesonde re ist es möglich, dass Kamerabilder einer Time-Of-Flight-Kamera (TOF-Kamera) empfangen werden.

In der Auswerteeinheit 26 werden die empfangenen Detektionsdaten ausgewertet, um zu ermitteln, ob die detektierte Person den Bereich, in dem sie detektiert wurde, verlassen wird und in den anderen Bereich eintreten wird. Es wird insoweit also er mittelt, ob die Person von einem Bereich außerhalb des Fahrzeugs in einen Bereich innerhalb des Fahrzeugs oder in die entgegengesetzte Richtung wechselt. Hierzu kann in der Auswerteeinheit 26 insbesondere ein Bewegungsmodell der detektierten Person aufgestellt und ausgewertet werden (Verfolgung). Es wird insoweit ein Tra cking-Algorithmus angewendet, um festzustellen, ob die Person einen Bereichs wechsel plant. Insbesondere kann ein Constant-Velocity-Zustandsmodell, bei dem eine Position sowie eine Geschwindigkeit bzw. ein Bewegungsvektor der Person ge schätzt wird, verwendet werden. In der Steuereinheit 28 wird eine Weitergabe entsprechender Daten an diejenige der beiden Sensorvorrichtungen vorgenommen, die nicht die Detektionsdaten übermittelt hat. Es erfolgt insoweit also eine Übergabe einer Detektion einer Person von einer Sensorvorrichtung an eine andere Sensorvorrichtung. Die Steuereinheit 28 kann da bei einerseits eine binäre Information weitergeben. Andererseits ist es ebenfalls mög lich, dass weitere Informationen hinsichtlich der Bewegung der detektierten Person, wie beispielsweise der Zustandsvektor, weitergegeben werden.

Über die Ausgabeschnittstelle 30 kann ein Warnsignal ausgegeben werden, wenn festgestellt wird, dass sich die Person in einem Undefinierten Bereich befindet. Wenn also der bevorstehende Bereichswechsel an eine der beiden Sensorvorrichtungen übermittelt wurde und diese Sensorvorrichtung keine neue Person in ihrem jeweiligen Sensorbereich detektiert, wird das Warnsignal ausgegeben. Ein derartiger Zustand kann beispielsweise vorliegen, wenn sich eine Person in direkter Nähe im Bereich des Fahrzeugs befindet. Durch das Ausgeben des Warnsignals wird verhindert, dass es zu einem Unfall mit Personenschaden kommt. Die Ausgabeschnittstelle 30 kann beispielsweise als akustische oder optische Ausgabeschnittstelle (Hupe, Blinklicht etc.) ausgebildet sein. Ebenfalls ist es möglich, dass direkt ein autonomes Fahrsys tem angesteuert wird, das beispielsweise eine Weiterfahrt des Fahrzeugs verhindert, während das Warnsignal anliegt.

In der Fig. 3 ist eine schematische Draufsicht aus Vogelperspektive auf das Fahr zeug 10 sowie auf den ersten Bereich 32 außerhalb des Fahrzeugs und den zweiten Bereich 34 innerhalb des Fahrzeugs 10 gezeigt. Der erste Bereich 32 ist mittels der Umgebungssensorvorrichtung erfassbar. Der zweite Bereich 34 ist mittels der Innen raumsensorvorrichtung erfassbar. Um zwischen den Bereichen zu wechseln, muss die Tür 22 des Fahrzeugs 10 passiert werden. Zumeist entspricht der erste Bereich 32 einem Bereich, der mit der üblicherweise an einem Fahrzeug vorhandenen Um gebungssensorik erfasst werden kann.

Um den Übergang zwischen dem ersten Bereich 32 und dem zweiten Bereich 34 abzubilden und Personen beim Übergang nicht zu verlieren, kann ein Nahbereich 36 vorgegeben (vordefiniert) werden. Befindet sich eine Person, insbesondere ein Fuß gänger, innerhalb dieses Nahbereichs 36, wird für diese Person ein Bewegungsmo dell aufgestellt und die Position und Bewegung der Person verfolgt. Insbesondere kann hierzu ein Constant-Velocity-Zustandsmodell angewendet werden. Mit den so geschätzten Zuständen auf Basis der Informationen der Umgebungssensorvorrich tung kann die Trajektorie der Person über folgende Zeitschritte prädiziert werden, wenn die Person von der Umgebungssensorvorrichtung nicht mehr erkannt wird. In soweit wird also lediglich dann eine Positionsverfolgung initiiert, wenn eine Person einen unmittelbaren Nahbereich 36 betritt.

Zusätzlich oder alternativ ist es möglich, dass im Bereich der Tür 22 des Fahrzeugs ein vordefinierter Zugangsbereich 38 angeordnet ist. Im dargestellten Ausführungs beispiel in der Fig. 3 ist der Zugangsbereich 38 dabei außerhalb der Tür 22 angeord net. Es versteht sich aber, dass es auch möglich ist, einen entsprechenden Zu gangsbereich 38 innerhalb des Fahrzeugs im Bereich der Tür 22 anzuordnen. Per sonen innerhalb des Zugangsbereichs 38 können gesondert überwacht werden. Ins besondere ist es möglich, dass für Personen, die sich innerhalb des Zugangsbe reichs 38 befinden, eine höhere Wahrscheinlichkeit für einen bevorstehenden Be reichswechsel angenommen wird.

Wenn die so prädizierte Trajektorie nach einer gewissen Zeit mit einer Kontur des Fahrzeugs 10 kollidiert, ohne dass von der Innenraumsensorvorrichtung eine neue Person detektiert wurde, muss sich die Person noch im nahen Umfeld des Fahrzeugs 10 befinden und ihren Bewegungszustand geändert haben. Mit wachsender Zeit ab dem Eintritt eines derartigen Ereignisses steigt die Unsicherheit bezüglich der Positi on und der Bewegung der Person. In diesem Fall wird ein kritischer Zustand erreicht, da sich eine Person in einem nicht näher bekannten Bereich des Fahrzeugs 10 be findet und möglicherweise verletzt werden kann, wenn das Fahrzeug weiterfährt. Im Idealfall überschneidet sich die prädizierte Zeit für den Eintritt in den Innenbereich der Innenraumsensorvorrichtung mit dem Zeitpunkt der Detektion einer neuen Per son durch die Innenraumsensorvorrichtung. Beim Übergang zwischen dem zweiten Bereich 34 und dem ersten Bereich 32, also beim Aussteigen aus dem Fahrzeug 10, kann ein Problem darin bestehen, dass auf grund fehlender Informationen zu den Bewegungszuständen der Personen im Fahr zeug 10 eine Bewegung nur sehr ungenau bestimmt werden kann. Hier kann dann entsprechend den obigen Erläuterungen ein Zugangsbereich des zweiten Bereichs vorgegeben werden, der sich im unmittelbaren Bereich der Tür 22 befindet. Über ei ne Änderung der Anzahl der Insassen in Kombination mit einem Aufenthalt der I n sassen in diesem Zugangsbereich kann darauf geschlossen werden, wann eine Per son aussteigt. Wird ein solches Ereignis erkannt, wird die Detektionswahrscheinlich keit der Umgebungssensorvorrichtung im Bereich um den Ein- oder Ausstieg erhöht. Neu detektierte dynamische Objekte in diesem Bereich sind mit hoher Wahrschein lichkeit Personen bzw. Fußgänger. Wie zuvor erläutert, kann ein kritischer Zustand erreicht werden, wenn keine neuen dynamischen Objekte im Umfeld erkannt werden, da dann davon ausgegangen werden muss, dass sich eine ausgestiegene Person in einem kritischen Bereich um das Fahrzeug aufhält.

In der Fig. 4 ist eine weitere Draufsicht auf ein Fahrzeug 10 mit einer Detektionsvor richtung oder einem Fahrzeugsensorsystem dargestellt. Optional kann es vorgese hen sein, dass der erste Bereich und der zweite Bereich einen Überlappungsbereich 40 umfassen, in dem Personen von der Umgebungssensorvorrichtung und der In nenraumsensorvorrichtung erfasst werden können. Dieser Überlappungsbereich 40 ist insbesondere im Bereich der Tür 22 angeordnet. Durch die Verwendung eines entsprechend geeigneten Sensoraufbaus, wobei jeweils ein Sensor der Innen raumsensorvorrichtung und der Umgebungssensorvorrichtung den Überlappungsbe reich 40 abbildet, kann eine Fusion der Daten der Innenraumsensorvorrichtung und der Umgebungssensorvorrichtung erfolgen. Dies liefert die Voraussetzung, dass eine Person durchgängig zugeordnet werden kann.

Um ein gegenseitiges Stören der Sensorik zu verhindern, kann für den Überlap pungsbereich 40 in den beiden Sensorvorrichtungen jeweils ein Sensor mit unter schiedlicher Wellenlänge verwendet werden. Insbesondere kann jeweils eine TOF- Kamera, die einen unterschiedlichen Wellenlängenbereich verwendet, vorgesehen sein. Durch die Verwendung des Überlappungsbereichs 40 wird es möglich, dass eine durchgängige Positionsverfolgung erfolgen kann.

In der Fig. 5 ist schematisch ein erfindungsgemäßes Verfahren zum Detektieren von Personen beim Einsteigen in ein Fahrzeug und beim Aussteigen aus dem Fahrzeug dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Detektionsda ten, des Ermittelns S12 eines bevorstehenden Bereichswechsels und des Weiterge bens S14 des bevorstehenden Bereichswechsels. Das Verfahren kann beispielswei se in Software implementiert sein, die auf einem Prozessor eines Fahrzeugsteuerge räts ausgeführt wird.

Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend be schrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungs formen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer ge nauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentan sprüche.

In den Patentansprüchen schließen die Wörter„umfassen“ und„mit“ nicht das Vor handensein weiterer Elemente oder Schritte aus. Der Undefinierte Artikel„ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprü chen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet wer den kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger ge speichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hard ware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.

Bezuqszeichen Fahrzeug

Fahrzeugsensorsystem

Umgebungssensorvorrichtung

Innenraumsensorvorrichtung

Detektionsvorrichtung

Person

Tür

Eingangsschnittstelle

Auswerteeinheit

Steuereinheit

Ausgabeschnittstelle

erster Bereich

zweiter Bereich

Nahbereich

Zugangsbereich

Überlappungsbereich