Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR REMOTE-CONTROLLED PERFORMANCE OF A DRIVING MANOEUVRE WITH A TRAJECTORY DISPLAY FOR A REMOTE CONTROLLER, AND ELECTRONIC REMOTE CONTROL SYSTEM
Document Type and Number:
WIPO Patent Application WO/2024/052402
Kind Code:
A1
Abstract:
The invention relates to a method for remote-controlled performance of a driving manoeuvre of a vehicle (26), comprising the following steps: - determining the position of the vehicle (26) in the surroundings (10) by means of an evaluation unit (9); - determining a trajectory (32) for the driving manoeuvre of the vehicle (26) depending on the information regarding the position; - displaying the trajectory (32) on a display unit (5, 6, 7), which is arranged externally to the vehicle (26) in a remote-control centre (1); - remote-controlled performance of the driving manoeuvre of the vehicle (26) by a remote controller (3) in the remote-control centre (1) depending on the trajectory (32) displayed on the display unit (5, 6, 7).

Inventors:
KOESTNER JENS (DE)
DELLING SEBASTIAN (DE)
Application Number:
PCT/EP2023/074438
Publication Date:
March 14, 2024
Filing Date:
September 06, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VALEO SCHALTER & SENSOREN GMBH (DE)
International Classes:
B62D15/02
Foreign References:
DE102014000978A12015-07-30
DE102017210221A12018-12-20
Attorney, Agent or Firm:
CLAASSEN, Maarten (DE)
Download PDF:
Claims:
Patentansprüche Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers eines Fahrzeugs (26), aufweisend folgende Schritte:

- Bestimmen der Position des Fahrzeugs (26) in der Umgebung (10) durch eine Auswerteeinheit (9);

- Bestimmen einer Trajektorie (32) für das Fahrmanöver des Fahrzeugs (26) abhängig von den Informationen zur Position;

- Anzeigen der Trajektorie (32) auf einer Anzeigeeinheit (5, 6, 7), die extern zum Fahrzeug (26) in einer Fernsteuerzentrale (1) angeordnet ist;

- ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs (26) durch einen Fernsteuerer (3) in der Fernsteuerzentrale (1) abhängig von der auf der Anzeigeeinheit (5, 6, 7) angezeigten Trajektorie (32). Verfahren nach Anspruch 1 , wobei zur Bestimmung der Position des Fahrzeugs (26) die Orientierung des Fahrzeugs (26) in der Umgebung (10) und/oder ein Abstand des Fahrzeugs (26) zu zumindest einem Objekt in der Umgebung (10) bestimmt und berücksichtigt werden. Verfahren nach Anspruch 1 oder 2, wobei die Bestimmung der Position mit einem visuellen SLAM-Algorithmus durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Position von zumindest einer Landmarke in der Umgebung (10) bekannt ist und abhängig von der Position der Landmarke die Position des Fahrzeugs (26) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich zur Trajektorie (32) eine virtuelle Darstellung des Fahrzeugs (26), insbesondere in Draufsicht, auf der Anzeigeeinheit (5, 6, 7) angezeigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich zur Trajektorie (32) ein aktueller Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs (26) auf der Anzeigeeinheit (5, 6, 7) angezeigt wird und/oder ein Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs (26), mit welchem das Fahrzeug (26) entlang der Trajektorie (32) bewegt werden kann, auf der Anzeigeeinheit (5, 6, 7) angezeigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebung (10) mit einer Frontkamera des Fahrzeugs (26) und/oder mit einer Heckkamera des Fahrzeugs (26) erfasst wird, und die Bilder der Frontkamera und/oder die Bilder der Heckkamera auf der Anzeigeeinheit (5, 6, 7) angezeigt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrmanöver in einem Parkbereich (11 ) als Umgebung (10) durchgeführt wird, so dass als Fahrmanöver ein Einparken oder ein Ausparken aus einer Parkzone (13 bis 21 ) des Parkbereichs (11) durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrmanöver in einem Dienstleistungsbereich als Umgebung durchgeführt wird, so dass als Fahrmanöver ein Bewegen zu einer Dienstleistungseinheit, insbesondere eine Waschstraße oder einer Tankstelle, durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorie (32) mit einer Bestimmungseinheit (8) in der Fernsteuerzentrale (1) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Informationen zu einer Position des Fahrzeugs (26) an die in der Fernsteuerzentrale (1 ) angeordneten Auswerteeinheit (9) übertragen werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei mit zumindest einer Kamera des Fahrzeugs (26) die Umgebung (10) erfasst wird und diese Bilder als Informationen zur Bestimmung der Position des Fahrzeugs (26) der Auswerteeinheit (9) bereitgestellt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest für den Bereich der Umgebung (10) eine Landkarte bereitgestellt wird, der bei der Bestimmung der Trajektorie (32) berücksichtigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorie (32) abhängig von zumindest der Position des Fahrzeugs (26) wahlweise als einzügig zu durchfahrende Trajektorie (32) oder als mehrzügig zu durchfahrende Trajektorie (32) bestimmt wird. Elektronisches Fernsteuerungssystem (28) zum Fernsteuern eines Fahrzeugs (26), mit dem Fahrzeug (26), einer Auswerteeinheit (9) und einer Anzeigeeinheit (5, 6, 7), die in einer entfernt zum Fahrzeug (26) ortsfest angeordneten Fernsteuerzentrale (1) angeordnet ist, wobei das Fernsteuerungssystem (28) zum Durchführen eines

Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.

Description:
Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit Trajektorienanzeige für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem

Ein Aspekt der Erfindung betrifft ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit einem Fahrzeug. Ein weiterer Aspekt der Erfindung betrifft ein elektronisches Fernsteuerungssystem für ein Fahrzeug.

Bekannt sind Verfahren, bei welchen ein Fahrzeug, insbesondere ein Kraftfahrzeug, durch einen extern zum Fahrzeug positionierten menschlichen Fernsteuerer, insbesondere ein Teleoperateur, gesteuert wird. Der Teleoperateur sitzt dabei üblicherweise in einer ortsfesten Fernsteuerzentrale, und somit in einem Gebäude, in welchem auch ein oder mehrere Anzeigeeinheiten, insbesondere Bildschirmen angeordnet sind. Auf diesen Bildschirmen kann der Fernsteuerer das fernzusteuernde Fahrzeug und/oder die Umgebung dieses fernzusteuernden Fahrzeugs erkennen beziehungsweise dies wird auf den Bildschirmen angezeigt.

Derartige Verfahren unterscheiden sich wesentlich von solchen, bei denen ein Fahrzeugführer außerhalb des eigenen Fahrzeugs in unmittelbarer Nähe angeordnet ist und dort auch sein muss, um beispielsweise mit einer tragbaren Fernbedienung, die er in einer Hand hält, Fahrmanöver mit dem von ihm verlassenen Fahrzeug durchzuführen. Beispielsweise werden hier Parkvorgänge durchgeführt. Solche Verfahren erfordern es jedoch zwingend und sind auch nur so zugelassen, dass der Fahrer mit einer solchen tragbaren Fernbedienung in einem Nahbereich um das Fahrzeug positioniert ist und das Fahrzeug auch sehen muss, um derartige Fahrmanövers zu steuern.

Bei dazu deutlich unterschiedlichen Verfahren, bei welchen das oben genannte Szenario mit einem fern zu Fahrzeug angeordneten zentralen Fernsteuerer durchgeführt wird, ist dies nicht der Fall. Der Fernsteuerer in der Fernsteuerzentrale ist so positioniert, dass er das Fahrzeug nicht direkt sehen kann und auch nicht die Umgebung des Fahrzeugs direkt sehen kann. Bei einem solchen Verfahren ist es daher nicht erforderlich und kann auch gar nicht möglich sein, dass der Fernsteuerer in einem vorgegebenen Nahbereich, beispielweise maximal 5 Meter, um das fernzusteuernde Fahrzeug herum angeordnet ist.

Daher ist es bei solchen Verfahren für einen Fernsteuerer in einer Fernsteuerzentrale schwieriger, das Fahrzeug bei entsprechenden Bewegungen sicher manövrieren zu können. Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit einem Fernsteuerer sicherer durchzuführen, der das fernzusteuernde Fahrzeug nicht direkt einsehen kann. Des Weiteren ist es Aufgabe, ein elektronisches Fernsteuerungssystem zu schaffen.

Diese Aufgabe wird durch ein Verfahren und ein elektronisches Fernsteuerungssystem gemäß den unabhängigen Ansprüchen gelöst.

Ein Aspekt der Erfindung betrifft ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit einem Fahrzeug, aufweisend folgende Schritte:

- Bestimmen der Position des Fahrzeugs in der Umgebung durch eine Auswerteeinheit;

- Bestimmen einer Trajektorie für das Fahrmanöver des Fahrzeugs abhängig von den Informationen zur Position;

- Anzeigen der Trajektorie auf einer Anzeigeeinheit, die extern zum Fahrzeug in einer Fernsteuerzentrale angeordnet ist;

- ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs durch einen Fernsteuerer in der Fernsteuerzentrale abhängig von der auf der Anzeigeeinheit angezeigten Trajektorie.

Durch ein solches Verfahren ist es nunmehr ermöglicht, mit einem dezentral zum Fahrzeug angeordneten Fernsteuerer, der beim Fernsteuern das Fahrzeug und dessen unmittelbare Umgebung nicht direkt einsehen kann, ein sichereres Manövrieren durchzuführen. Indem nämlich nunmehr eine Trajektorie auf der zumindest einen Anzeigeeinheit in der Fernsteuerzentrale für den Fernsteuerer angezeigt wird, ist ein derartiges dezentral durchgeführtes und von dem Fernsteuerer ferngesteuertes Fahrmanöver auch exakter möglich. Wesentlich dabei ist es, dass diese Trajektorie anhand von Informationen erfolgt, die örtlich im Bereich des Fahrzeugs und/oder dessen Umgebung vorliegen beziehungsweise diese Aspekte betreffen. Damit kann eine Trajektorienplanung, die systemseitig durch eine Bestimmungseinheit durchgeführt wird, sehr bedarfsgerecht erfolgen und im Hinblick auf die örtlichen Bedingungen eine sehr daran angepasste Trajektorie erzeugt werden. Bereiche in der Umgebung, die von dem Fernsteuerer auf seiner zumindest einen Anzeigeeinheit nicht oder nicht ausreichend genau erkannt werden können und/oder Bereiche des Fahrzeugs, die durch den Fernsteuerer auf der Anzeigeeinheit nicht genau oder nicht erkannt werden können, treten somit für den Fernsteuerer beim Durchführen des Fahrmanövers in den Hintergrund. Denn er muss in dem Zusammenhang nicht mehr selbst anhand der auf der Anzeigeeinheit dargestellten Informationen vorrangig überlegen, wie er das Fahrmanöver durchführen kann, sondern anhand der systemseitig bestimmten Trajektorie wird ihm eine wesentliche elektronische Hilfsinformation angeboten. Zusätzlich zu den auf der Anzeigeeinheit dargestellten Informationen, insbesondere der bildhaften Darstellung der Umgebung des Fahrzeugs und/oder zumindest Teilbereiche des Fahrzeugs kann er nun wesentlich diese Information der bestimmten Trajektorie nutzen, um das ferngesteuerte Fahrmanöver durchführen zu können. Damit kann auch gerade bei Fernsteuervorgängen, bei welchen der Fernsteuerer auch in einer sehr weit entfernten Fernsteuerzentrale zum Fahrzeug angeordnet ist, ein sicheres Bewegen des Fahrzeugs durchgeführt werden. Gerade bei solchen Konstellationen, bei welchen der Fernsteuerer durch das Anwesendsein in der Fernsteuerzentrale, beispielsweise einem Gebäude, das Fahrzeug und/oder dessen Umgebung nicht direkt durch eigene Inaugenscheinnahme von seinem Platz in der Fernsteuerzentrale beobachten kann, ist dies von wesentlicher Vorteilhaftigkeit.

Der Fernsteuerer hat also seine Position in der Fernsteuerzentrale, beispielsweise einem Gebäude, und von dieser Position kann er das von ihm fernzusteuernde Fahrzeug und/oder dessen Umgebung beim Fernsteuern nicht direkt einsehen, insbesondere vollständig nicht direkt einsehen.

In einem Ausführungsbeispiel werden zur Bestimmung der Position des Fahrzeugs die Orientierung des Fahrzeugs in der Umgebung und/oder ein Abstand des Fahrzeugs zu zumindest einem Objekt in der Umgebung bestimmt. Diese Informationen sind vorteilhaft, um die mögliche potentielle Bewegungsrichtung des Fahrzeugs bestimmen zu können. Gerade die Orientierung ist dabei wesentlich, um zu erkennen, ob das Fahrzeug beispielweise in Vorwärtsfahrtrichtung oder in Rückwärtsrichtung fahren wird beziehungsweise fahren muss. Auch anderweitige Informationen, die dynamische und/oder statische Objekte in unmittelbarer Nähe in der Umgebung des Fahrzeugs charakterisieren, sind daher vorteilhaft. Gerade dadurch lässt sich eine besonders bedarfsgerechte Trajektorie für das Fahrmanöver durch die Bestimmungseinheit bestimmen.

In einem Ausführungsbeispiel wird die Bestimmung der Position mit einem visuellen SLAM (Simultanious localization and mappingj-Algorithmus durchgeführt. Als SLAM wird ein Verfahren bezeichnet, bei dem eine Recheneinheit eine Karte seiner Umgebung erstellen und seine räumliche Lage innerhalb dieser Karte schätzen muss. Dies dient insbesondere auch dem Erkennen von Hindernissen in der Umgebung des Fahrzeugs. Insbesondere kann in dem Zusammenhang an dem fernzusteuernden Fahrzeug eine Kamera angeordnet sein, die die Umgebung detektiert. Diese Informationen können dann der Bestimmungseinheit übermittelt werden und durch diese auf Basis des visuellen SLAM insbesondere eine dreidimensionale Karte der Umgebung bestimmt werden, innerhalb der das Fahrzeug seine Position bestimmen kann und auf veränderte Bedingungen reagieren kann. Eine solche Vorgehensweise ermöglicht daher eine sehr schnelle und hochgenaue Bestimmung der Position des Fahrzeugs und ermöglicht es auch, sehr präzise die Umgebung zu erfassen und zu analysieren. Insbesondere können damit auch Veränderungen in der Umgebung schnell und präzise erfasst werden und dies kann wiederum bei der Bestimmung der Position des Fahrzeugs berücksichtigt werden. Damit kann die Position des Fahrzeugs auch dynamisch sehr schnell und präzise bestimmt werden.

In einem Ausführungsbeispiel kann die Position von zumindest einer Landmarke in der Umgebung des Fahrzeugs zugrunde gelegt werden. Diese Position der zumindest einen Landmarke in der Umgebung des Fahrzeugs ist insbesondere bekannt. Abhängig von dieser Position der Landmarke kann dann die Position des Fahrzeugs bestimmt werden. Beispielsweise können hier ARUCO-Muster genutzt werden. Dies bedeutet insbesondere auch, dass diese Muster die Position der Landmarke beispielsweise auch bildcodiert darstellen. Damit kann auch eine hohe Sicherheit der enthaltenen Informationen gewährleistet werden. Die Landmarken und/oder ihre Position können daher in einem vorteilhaften Ausführungsbeispiel als derartige bildcodierte Informationen bereitgestellt werden. Diese können dann von der Bestimmungseinheit ausgewertet werden.

In einem Ausführungsbeispiel wird zusätzlich zur bestimmten Trajektorie eine virtuelle Darstellung des fernzusteuernden Fahrzeugs auf der Anzeigeeinheit für den Fernsteuerer angezeigt. Insbesondere erfolgt diese Darstellung des fernzusteuernden Fahrzeugs in einer Vogelperspektive beziehungsweise in Draufsicht. Dadurch ist dieses teleoperierte Durchführen des Fahrmanövers für das Fahrzeug für den Fernsteuerer noch einfacher und sicherer ermöglicht. Denn dadurch wird ihm insbesondere das vollständige Fahrzeug in Draufsicht auf der Anzeigeeinheit dargestellt. Es kann in einem Ausführungsbeispiel vorgesehen sein, dass hier eine ortsgenaue Darstellung auf dem Echtbild, das auf der Anzeigeeinheit dargestellt wird, erfolgt. Somit kann der Fernsteuerer exakt erkennen, wo das virtuell dargestellte Fahrzeug in der realen Umgebung angeordnet ist. Damit lässt sich auch noch einfacher erkennen, welche Objekte in der Umgebung des Fahrzeugs angeordnet sind und in welche Richtung und/oder in welchem Abstand sie dazu angeordnet sind. Gerade in Verknüpfung mit der bestimmten Trajektorie, die dann auch auf der Anzeigeeinheit angezeigt wird, lässt sich dieses Fernsteuern des Fahrzeugs von einer Position des Fernsteuerers aus, von welcher er das Fahrzeug und/oder die Umgebung nicht direkt einsehen kann, deutlich verbessert durchführen. Die Sicherheit eines derartigen ferngesteuerten Fahrmanövers ist daher deutlich erhöht.

Sicherheitskritische Zustände in der Umgebung des Fahrzeugs beim Durchführen des Fahrmanövers und/oder gegebenenfalls unerwünschte Kollisionen können daher noch besser vermieden werden.

In einem Ausführungsbeispiel wird zusätzlich zur Trajektorie ein aktueller Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs auf der Anzeigeeinheit angezeigt. Zusätzlich oder anstatt dazu kann zur Trajektorie ein Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs, mit welchen das Fahrzeug auf der Trajektorie bewegt werden kann, auf der Anzeigeeinheit angezeigt. Damit kann der Fernsteuerer visuell noch einfacher und nachvollziehbarer Zustände des Fahrzeugs insbesondere im Hinblick auf die Lenksituation erkennen. Damit ist es noch einfacher, das ferngesteuerte Fahrmanöver sicher durchzuführen, da der Fernsteuerer auch jederzeit erkennen kann, wie die Lenkwinkel einzustellen sind, um die vorgegebene und angezeigte Trajektorie exakt durchfahren zu können.

In einem Ausführungsbeispiel wird die Umgebung des Fahrzeugs mit einer Frontkamera des Fahrzeugs und/oder mit einer Heckkamera des Fahrzeugs erfasst. Zusätzlich oder anstatt dazu kann die Umgebung auch mit zumindest einer Seitenkamera erfasst werden. Insbesondere werden die Bilder der Frontkamera und/oder die Bilder der Heckkamera auf der Anzeigeeinheit angezeigt. Damit lässt sich insbesondere in den wesentlichen Richtungen, insbesondere nach vorne und/oder nach hinten, eine Darstellung auf der Anzeigeeinheit erreichen, die dem Fernsteuerer ein besonders realitätsnahes Szenario zeigt. In dem Zusammenhang wird eine Darstellung vermittelt, bei welcher der Fernsteuerer quasi die Perspektive erhält, als wenn er insbesondere als Fahrzeugführer in dem fernzusteuernden Fahrzeug selbst sitzen würde. Damit ist in besonders intuitiver und realitätsnaher Weise dieses ferngesteuerte Durchführen des Fahrmanövers ermöglicht.

In einem Ausführungsbeispiel wird das Fahrmanöver in einem Parkbereich als Umgebung des Fahrzeugs durchgeführt, so dass als Fahrmanöver ein Einparken oder ein Ausparken aus einer Parkzone des Parkbereichs durchgeführt wird. Eine Parkzone ist in dem Zusammenhang ein Flächenbereich in dem Parkbereich, der bestimmungsgemäß zum Abstellen eines einzigen Fahrzeugs vorgesehen ist. Diese Parkzone kann beispielsweise durch Markierungen, insbesondere Bodenmarkierungen, kenntlich gemacht sein. Möglich ist es in dem Zusammenhang, dass ein einziges Fahrzeug ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus ist. Es kann auch ein Kraftfahrzeug mit einem Anhänger als ein derartiges einziges Fahrzeug angesehen sein. In dem Parkbereich sind vorzugsweise mehrere derartige Parkzonen ausgebildet. Eine Parkzone ist daher nicht ein vollständiges Parkhaus oder eine im Freien befindliche und zum Abstellen von Kraftfahrzeugen vorgesehene Parkeinheit, sondern ist lediglich bestimmungsgemäß zum örtlich definierten Abstellen eines einzigen derartigen Kraftfahrzeugs vorgesehen. Ein Parkbereich kann beispielsweise ein Parkhaus mit mehreren derartigen Parkzonen sein. Ein Parkbereich kann auch eine sonstige, auch nicht eingehauste Fläche sein, auf der bestimmungsgemäß das Parken in solchen gekennzeichneten Parkzonen ermöglicht ist. Gerade bei solchen Fahrmanövern, die ein Einparken und/oder ein Ausparken durch einen Fernsteuerer in einer Fernsteuerzentrale betreffen, ist die Erfindung besonders vorteilhaft. Denn gerade beim Einparken oder Ausparken können beengte Situationen oder uneinsichtige Bereiche vorliegen, die zu kritischen Fahrmanövern und/oder Kollisionen führen können. Daher ist gerade in solchen Situationen bei oben geschilderten ferngesteuerten Fahrmanövern die Anzeige von einer derartigen Trajektorie auf der Anzeigeeinheit des Fernsteuerers von besonderer Vorteilhaftigkeit. Auch schwierige Parkmanöver, beispielweise aufgrund beengter Situation, können daher besonders vorteilhaft durchfahren werden.

Nicht nur in dem Zusammenhang ist es in einem Ausführungsbeispiel möglich, dass nicht nur eine Trajektorie, die ein Befahren ausschließlich nur in einer Richtung des Fahrzeugs vorsieht, vorgegebenen werden. Vielmehr sind auch Trajektorien durch die Bestimmungseinheit bestimmbar, die ein mehrzügiges Fahrmanöver abbilden. Dies kann beispielsweise beim Einpark-Fahrmanöver oder Auspark-Fahrmanövern vorteilhaft sein. In dem Zusammenhang können auch zweizügige oder dreizügige Trajektorien bestimmt und angezeigt werden. Dies bedeutet, dass dem Fernsteuerer auf der Anzeigeeinheit die Trajektorie mit den jeweiligen Zügen dargestellt werden kann. Dies bedeutet, dass in einem vorteilhaften Ausführungsbeispiel auch der Anfang und das Ende eines ersten Zugs der Trajektorie und/oder der Anfang und das Ende eines zumindest zweiten Zugs der Trajektorie angezeigt werden können. In dem Zusammenhang kann ein erster Zug das Bewegen des Fahrzeugs in eine erste Richtung, beispielsweise eine Vorwärtsfahrt sein. Der nachfolgende zweite Zug kann ein Bewegen des Fahrzeugs in eine diesbezüglich andere Fahrtrichtung, nämlich beispielweise in Rückwärtsrichtung sein. Es kann dann vorgesehen sein, dass beispielsweise anschließend an den zweiten Zug zumindest ein dritter Zug durchgeführt wird, der insbesondere wieder in Vorwärtsfahrtrichtung mit dem Fahrzeug durchgeführt wird. Ebenso kann es jedoch auch beispielsweise invers der Fall sein, dass zunächst eine Rückwärtsfahrt und anschließend daran eine Vorwärtsfahrt durchgeführt wird. In besonders vorteilhafter Weise kann somit der Fernsteuerer auch Informationen angezeigt bekommen, die nicht nur das grundsätzliche Bewegen entlang einer Trajektorie visuell darstellen, sondern dem Fernsteuerer auch zusätzlich die Information geben, in welche Fahrtrichtung die Fahrtrajektorie durchzuführen ist, insbesondere in welche Fahrtrichtung gegebenenfalls einzelne Teiltrajektorien dieser gesamten Trajektorie durchfahren werden. Die Teiltrajektorien sind dabei durch die jeweiligen Züge, wie sie oben erläutert wurden, gegeben.

In einem Ausführungsbeispiel wird das Fahrmanöver in einem Dienstleistungsbereich als Umgebung durchgeführt, so dass das Fahrmanöver ein Bewegen zu einer Dienstleistungseinheit in dem Dienstleistungsbereich durchgeführt wird. Eine derartige spezifische Dienstleistungseinheit kann beispielsweise eine Waschstraße oder eine Tankstelle sein. Eine Tankstelle kann in dem Zusammenhang zum Nachfüllen von herkömmlichen Kraftstoffen, wie beispielsweise Benzin oder Diesel, vorgesehen sein. Zusätzlich oder anstatt dazu kann die Tankstelle jedoch auch Ladesäulen zum elektrischen Laden eines Fahrzeugs aufweisen. Damit kann in diesem vorteilhaften Ausführungsbeispiel auch ein derartiges ferngesteuertes Fahrmanöver hin zu einer derartigen individuellen Dienstleistungseinheit erfolgen. Da gerade bei solchen Situationen ein ortsgenaues und exaktes Manövrieren erforderlich ist, beispielsweise in die Waschstraße hinein und/oder exakt neben eine Ladesäule oder eine Zapfsäule an einer Tankstelle, ist es auch hier besonders vorteilhaft, wenn dem Fernsteuerer die dazu erforderliche Trajektorie bestimmt und angezeigt wird.

In einem Ausführungsbeispiel wird, wie bereits oben dargelegt, die Trajektorie mit einer elektronischen Bestimmungseinheit bestimmt. Diese Bestimmungseinheit ist vorzugsweise in der Fernsteuerzentrale angeordnet. Damit kann zentralisiert in der Fernsteuerzentrale ein umfängliches Auswerten von Informationen und Bestimmen zumindest der Trajektorie zentralisiert durchgeführt werden. Möglich ist es jedoch auch, dass die Bestimmungseinheit in dem Fahrzeug, welches ferngesteuert werden soll, enthalten ist. Bei einem solchen Ausführungsbeispiel benötigt das Fahrzeug dann selbst eine derartige Bestimmungseinheit. Sollen mehrere Fahrzeuge ferngesteuert werden, benötigen diese dann jeweils eine Bestimmungseinheit. Ist lediglich eine Bestimmungseinheit in der Fernsteuerzentrale vorgesehen, so ist insbesondere nur dort eine solche erforderlich. Die Fahrzeuge, die ferngesteuert werden sollen, benötigen dann keine eigene Bestimmungseinheit.

In einem Ausführungsbeispiel werden die Informationen zu einer Position des Fahrzeugs an die in der Fernsteuerzentrale angeordnete Auswerteeinheit übertragen. Auch diesbezüglich gelten die Vorteile, wie sie bereits oben zur Bestimmungseinheit genannt wurden.

Möglich ist es auch, dass die Auswerteeinheit und die Bestimmungseinheit in einer gemeinsamen Einheit zusammengefasst sind. Sie können jedoch auch separate Einheiten in einem entsprechenden System sein.

In einem Ausführungsbeispiel wird mit zumindest einer Kamera des fernzusteuernden Fahrzeugs dessen Umgebung erfasst. Insbesondere werden in dem Zusammenhang Bilder der Kamera als Informationen zur Bestimmung der Position des Fahrzeugs der Auswerteeinheit bereitgestellt. Die hierbei erreichbaren Vorteile wurden bereits oben dargelegt. In einem Ausführungsbeispiel wird zumindest für den Bereich der Umgebung des Fahrzeugs eine Landkarte bereitgestellt, die bei der Bestimmung der Trajektorie berücksichtigt wird. Damit muss nicht die gesamte Umgebung, insbesondere auch relativ weitläufig um das Fahrzeug herum berücksichtigt werden. Dadurch kann die zu berücksichtigende Datenmenge reduziert und auf die wesentlichen Bereiche konzentriert werden. Damit ist auch der Rechenaufwand reduziert und die Vorgehensweise schneller.

Ein weiterer Aspekt der Erfindung betrifft ein elektronisches Fernsteuerungssystem zum Fernsteuern eines Fahrzeugs. Das elektronische Fernsteuerungssystem weist das fernzusteuernde Fahrzeug auf. Es weist zumindest eine Auswerteeinheit und zumindest eine Anzeigeeinheit auf. Die Anzeigeeinheit ist in einer entfernt zum Fahrzeug ortsfest angeordneten Fernsteuerzentrale angeordnet. Das Fernsteuerungssystem ist zum Durchführen eines Verfahrens gemäß dem oben genannten Aspekt oder einem vorteilhaften Ausführungsbeispiel davon ausgebildet. Insbesondere wird das Verfahren mit dem elektronischen Fernsteuerungssystem durchgeführt.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Es zeigen: Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines elektronischen Fernsteuerungssystems; und

Fig. 2 ein Ausführungsbeispiel einer Anzeige auf einer Anzeigeeinheit in der Fernsteuerzentrale.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.

In Fig. 1 ist in einer schematischen Darstellung eine Fernsteuerzentrale 1 gezeigt. Die Fernsteuerzentrale 1 ist beispielsweise in einem ortsfest angeordneten Gebäude. Die Fernsteuerzentrale 1 weist zumindest einen Fernsteuerplatz 2 auf. An dem Fernsteuerplatz 2 ist ein menschlicher Fernsteuerer 3 angeordnet. Die Person in Form des Fernsteuerers 3 sitzt oder steht dort an einem festen Platz. An diesem Fernsteuerplatz 2 sind im Ausführungsbeispiel Fernsteuerelemente angeordnet. Derartige Fernsteuerelemente 4 können beispielsweise eine Tastatur und/oder zumindest eine Bedieneinheit, wie beispielsweise ein Joystick oder dergleichen, sein. An dem Fernsteuerplatz 2 ist zumindest eine Anzeigeeinheit 5 angeordnet. Es können auch mehrere Anzeigeeinheiten 5, 6 und 7 angeordnet sein.

In der Fernsteuerzentrale 1 ist in dem Ausführungsbeispiel darüber hinaus eine Bestimmungseinheit 8 angeordnet. In der Fernsteuerzentrale 1 kann in einem Ausführungsbeispiel auch eine Auswerteeinheit 9 angeordnet sein. Diese Bestimmungseinheit 8 und die Auswerteeinheit 9 sind insbesondere elektronische Einheiten. Sie können auch als Software-Module realisiert sein.

Wie darüber hinaus in Fig.1 auch zu erkennen ist, ist extern und insbesondere auch weiter entfernt zur Fernsteuerzentrale 1 eine Umgebung 10 gezeigt. Die Umgebung 10 ist insbesondere so angeordnet, dass sie von dem Fernsteuerer 3 nicht direkt eingesehen werden kann. Der Fernsteuerer 3 kann daher Fahrzeuge, insbesondere ein fernzusteuerndes Fahrzeug von seinem Fernsteuerplatz 2 aus nicht direkt erkennen und somit nicht direkt in Augenschein nehmen. Die Umgebung 10 ist im Ausführungsbeispiel mit einem Parkbereich 11 ausgebildet. Der Parkbereich 11 weist im Ausführungsbeispiel mehrere Parkzonen 12, 13, 14, 15, 16, 17, 18, 19, 20 und 21 auf. Die Parkbereiche 12 bis 21 sind in einem Ausführungsbeispiel durch Begrenzungen begrenzt und dadurch die jeweilige Fläche kenntlich gemacht. Die Parkzonen 12 bis 16 sind jeweils zum Beparken mit einem einzigen Fahrzeug vorgesehen. Der Parkbereich 11 weist eine Einfahrt und/oder Ausfahrt 22 auf. Im Ausführungsbeispiel sind in den Parkzonen 12 und 13 Fahrzeuge 23 und 24 abgestellt. Ebenso sind in den Parkzonen 18, 19 und 20 beispielhaft Fahrzeuge 25, 26 und 27 abgestellt. Soll nun beispielsweise das Fahrzeug 26 durch ein elektronisches Fernsteuerungssystem 28 ferngesteuert bewegt werden, so kann dies gemäß nachfolgendem Szenario erfolgen. Möglich ist es in dem Zusammenhang, dass dieses ferngesteuerte Fahrmanöver, hier ein Ausparken aus der Parkzone 19, durch das elektronische Fernsteuerungssystem 28 unterstützt wird. Das ferngesteuerte Fahrmanöver wird insbesondere durch den Fernsteuerer 3 durchgeführt, wobei sich dieser dabei der genannten Mittel, die am Fernsteuerplatz 2 angeordnet sind, bedient. In dem Zusammenhang kann die Fernsteuerzentrale 1 zur drahtlosen Kommunikation mit dem Fahrzeug 26 ausgebildet sein. Es kann hier eine direkte drahtlose Kommunikation ermöglicht sein oder eine drahtlose Kommunikation über eine Kommunikationseinheit 29.

Zum Durchführen des ferngesteuerten Fahrmanövers wird in einem Ausführungsbeispiel zunächst die Position des Fahrzeugs 26 in der Umgebung 10, hier in dem Parkbereich 11 , bestimmt. Dazu wird im Ausführungsbeispiel der Auswerteeinheit 9 zumindest eine Information bereitgestellt, um die Position des Fahrzeugs 26 bestimmen zu können. Beispielsweise ist es möglich, dass zur Bestimmung der Position des Fahrzeugs 26 die Orientierung des Fahrzeugs 26 in dem Parkbereich 11 und/oder ein Abstand des Fahrzeugs 26 zu zumindest einem Objekt in der Umgebung, hier dem Parkbereich 11 , bereitgestellt wird. Ein Abstand kann in dem Zusammenhang beispielsweise zu den benachbart geparkten Fahrzeugen 25 und 27 und/oder zu den gegenüber geparkten Fahrzeugen 23 und 24 bereitgestellt werden. In dem Zusammenhang ist es in einem Ausführungsbeispiel möglich, dass zumindest eine Erfassungseinheit 26a des fernzusteuernden Fahrzeugs 26 aktiviert wird und die Umgebung zumindest bereichsweise erfasst. Diese Informationen können mit einem visuellen SLAM- Algorithmus verarbeitet werden und abhängig davon die Bestimmung der Position des Fahrzeugs 26 erfolgen. Möglich ist es auch, dass zusätzlich oder anstatt dazu die Position des Fahrzeugs 26 anhand zumindest einer Position einer Landmarke in der Umgebung 10 bestimmt wird. Diese zumindest eine Landmarke ist in einem Ausführungsbeispiel bekannt. Auch diese Informationen können der Auswerteeinheit 9 bereitgestellt werden.

Abhängig von diesen Informationen zur Position erfolgt eine Bestimmung einer Trajektorie, entlang welcher das Fahrzeug 26 ein ferngesteuertes Fahrmanöver durchführen kann. Insbesondere wird im gezeigten Ausführungsbeispiel durch die Bestimmungseinheit 8 eine Trajektorie bestimmt, die ein Ausparken des Fahrzeugs 26 aus der Parkzone 19 ermöglicht. Diese von der Bestimmungseinheit 8 bestimmte Trajektorie wird auf der zumindest einen Anzeigeeinheit 5, die extern zum Fahrzeug 26 in der Fernsteuerzentrale 1 angeordnet ist, angezeigt. Dadurch kann sie von dem Fernsteuerer 3 auf der Anzeigeeinheit 5 einfach erkannt werden. In einem weiteren Schritt wird dann ein ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs 26 durch den Fernsteuerer 3 in der Fernsteuerzentrale 1 abhängig von der auf der Anzeigeeinheit 5 angezeigten Trajektorie durchgeführt. Es kann die Trajektorie ein einzügiges Fahrmanöver charakterisieren. Möglich ist es in einem Ausführungsbeispiel auch, dass die Trajektorie ein mehrzügiges Fahrmanöver ist. Dies ist insbesondere beim Einparken oder Ausparken vorteilhaft. Insbesondere kann durch die Bestimmungseinheit 8 abhängig von den erhaltenen Informationen ein einzügiges oder mehrzügiges Fahrmanöver und in dem Zusammenhang somit eine Trajektorie, die nur einen einzügigen Bewegungsvorgang oder einen mehrzügigen Bewegungsvorgang enthält, erzeugt werden.

In Fig. 2 ist in einer beispielhaften Darstellung eine Anzeige 30 dargestellt, wie sie beispielsweise auf der Anzeigeeinheit 5 dargestellt sein kann. In diesem Ausführungsbeispiel ist eine Perspektive gezeigt, die mit einer Frontkamera des Fahrzeugs 26 aufgenommen wurde. In Fig. 2 ist daher ein mit der Frontkamera des Fahrzeugs 26 aufgenommenes Echtbild auf der Anzeigeeinheit 5 dargestellt. Im gezeigten Ausführungsbeispiel ist das Fahrzeug 26 mit einer Frontseite 26b den gegenüberliegenden Parkzonen 12 bis 15 zugewandt orientiert. Die Orientierung des Fahrzeugs 26 ist daher derart, dass es rückwärts in die Parkzone 19 eingeparkt ist. Diese Orientierung wird in einem vorteilhaften Ausführungsbeispiel durch eine virtuelle Darstellung 31 auf der Anzeigeeinheit 5 dargestellt. Es ist also das fernzusteuernde Fahrzeug 26 hier in vorteilhafter weise vollständig und als eine virtuelle Draufsicht gezeigt. Damit ist die Orientierung des Fahrzeugs 26 auf der Anzeigeeinheit 5 auch verbessert für den Fernsteuerer 3 erkennbar. In Fig. 2 ist schematisch auch die Trajektorie 32, welche bestimmt wurde, angezeigt. Damit ist im gezeigten Ausführungsbeispiel vorzugsweise ein einzügiges Ausparken des Fahrzeugs 26 aus der Parkzone 29 durch ein entsprechendes ferngesteuertes Fahrmanöver möglich. Möglich ist es auch, dass zusätzlich zur Trajektorie 32 ein aktueller Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs 26 auf der Anzeigeeinheit 5 angezeigt wird und/oder ein Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs 26 angezeigt wird, mit welchem das Fahrzeug 26 auf der Trajektorie 32 bewegt werden kann. Abhängig von der Situation des Fahrzeugs 26 kann die Bestimmungseinheit 8 auch eine mehrzügig durchfahrene Trajektorie 32 bestimmen. Dies kann beispielsweise von der Orientierung des Fahrzeugs 26 und/oder von Art und/oder Position von Objekten in der Umgebung 10 des Fahrzeugs 26 und/oder von Abständen des Fahrzeugs 26 zu derartigen Objekten in der Umgebung 10 und/oder abhängig von einem bekannten Zielort des Fahrzeugs 26 sein. Ein derartiger Zielort kann beispielsweise eine Ausfahrt 22 in dem Parkbereich 11 sein. Ist die Position des Fahrzeugs 26 zu diesem Zielort bekannt, kann auch dies, insbesondere auch der potentiell mögliche Weg dorthin, berücksichtigt werden, um die Trajektorie 32 zu bestimmen.

Möglich ist in einem Ausführungsbeispiel auch, dass die bestimmte Trajektorie 32 während des ferngesteuerten Fahrmanövers zumindest einmal, insbesondere kontinuierlich, überprüft wird. Dies kann beispielsweise abhängig von dem tatsächlichen Weg des Fahrzeugs 26 bei diesem Fernsteuern und/oder abhängig von Änderungen in der Umgebung 10 des Fahrzeugs 26 erfolgen. Insbesondere ist es daher dann auch möglich, dass die Trajektorie 32 dynamisch aktualisiert wird und die aktualisierte Trajektorie 32 auf der Anzeigeeinheit 5 angezeigt wird.