Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR CARRYING OUT A REMOTE-CONTROLLED PARKING MANEUVER WITH A VEHICLE USING A MOBILE TERMINAL, AND SYSTEM
Document Type and Number:
WIPO Patent Application WO/2021/110340
Kind Code:
A1
Abstract:
The invention relates to a method for carrying out a remote-controlled parking maneuver with a vehicle, wherein a user with a mobile terminal is located outside the vehicle, having the steps of: planning a trajectory for the parking maneuver by means of a driver assistance system of the vehicle, maneuvering the vehicle along the planned trajectory by means of the driver assistance system, detecting image data which describes the vehicle and the surroundings of the vehicle by means of a camera of the mobile terminal, and providing a display on a display device of the mobile terminal using the image data. The maneuvering process along the planned trajectory is carried out as long as an operating input which is carried out by the user on the mobile terminal and which describes a movement of the vehicle during the maneuvering process along the planned trajectory is detected by means of the mobile terminal, otherwise the maneuvering process is interrupted.

More Like This:
Inventors:
HEIM ERIC (DE)
Application Number:
PCT/EP2020/080874
Publication Date:
June 10, 2021
Filing Date:
November 04, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BAYERISCHE MOTOREN WERKE AG (DE)
International Classes:
B62D15/02; B62D1/00; G05D1/00; G08G1/16
Foreign References:
US20190258247A12019-08-22
US20150088360A12015-03-26
CN109866760A2019-06-11
US20160358474A12016-12-08
EP2295281A12011-03-16
DE102012016868A12014-02-27
EP3101593A12016-12-07
Download PDF:
Claims:
Ansprüche

1. Verfahren zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug (1), wobei sich ein Nutzer (7) mit einem mobilen Endgerät (8) außerhalb des Fahrzeugs (1) befindet, umfassend die Schritte:

- Planen einer T rajektorie für das Parkmanöver mittels eines Fahrerassistenzsystems (2) des Fahrzeugs (1),

- Manövrieren des Fahrzeugs (1) entlang der geplanten Trajektorie mittels des Fahrerassistenzsystems (2),

- Erfassen von Bilddaten, welche das Fahrzeug (1) und eine Umgebung (5) des Fahrzeugs (1) beschreiben, mittels einer Kamera (9) des mobilen Endgeräts (8), und

- Bereitstellen einer Anzeige auf einer Anzeigeeinrichtung (10) des mobilen Endgeräts (8) anhand der Bilddaten, dadurch gekennzeichnet, dass

- das Manövrieren entlang der geplanten Trajektorie durchgeführt wird, solange mittels des mobilen Endgeräts (8) eine von dem Nutzer (7) an dem mobilen Endgerät (8) durchgeführte Bedieneingabe, welche eine Bewegung des Fahrzeugs (1) während des Manövrierens entlang der geplanten Trajektorie beschreibt, erkannt wird, und ansonsten das Manövrieren unterbrochen wird.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in die Anzeige des mobilen Endgeräts (8) ein Trajektorien-Symbol (18) eingeblendet wird, welches die geplante Trajektorie beschreibt.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Manövrieren durchgeführt wird, solange als die Bedieneingabe eine Wischbewegung durch zumindest einen Finger des Nutzers (7) mittels einer Erfassungseinrichtung (11) des mobilen Endgeräts (8) erkannt wird, wobei die Wischbewegung die Bewegung des Fahrzeugs (1) entlang der geplanten Trajektorie beschreibt.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Manövrieren durchgeführt wird, solange als die Bedieneingabe eine Bewegung des mobilen Endgeräts (8) erkannt wird, wobei die Bewegung des mobilen Endgeräts (8) die Bewegung des Fahrzeugs (1) entlang der geplanten Trajektorie beschreibt.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass in die Anzeige des mobilen Endgeräts (8) ein Fahrzeug-Symbol (20) eingeblendet wird, welches eine Außenkontur des Fahrzeugs (1) beschreibt, wobei das Manöver durchgeführt wird, solange das Fahrzeug-Symbol (20) mit einem Abbild des Fahrzeugs (1) in der Anzeige überlagert ist.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels des mobilen Endgeräts (8) eine Rückmeldung an den Nutzer (7) ausgegeben wird, welche die Durchführung der Bedieneingabe bewertet.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Parkmanöver durchgeführt wird, solange die Bedieneingabe mit einer vorbestimmten Bediengeschwindigkeit durchgeführt wird, und ansonsten das Parkmanöver abgebrochen wird.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Planen der Trajektorie anhand der Bilddaten mittels des mobilen Endgeräts (8) zumindest ein Parkbereich (15) als Ziel für das Parkmanöver erkannt wird und der zumindest eine Parkbereich (15) dem Nutzer zur Auswahl angeboten wird.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Position von zumindest einem Parkbereich (15), welcher anhand von Messungen mit zumindest einem Umfeldsensor (4) des Fahrerassistenzsystems (2) als Ziel für das Parkmanöver erkannt wird, auf der Anzeigeeinrichtung (10) des mobilen Endgeräts (8) angezeigt wird.

10. System (21) zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug (1), bei welchem sich ein Nutzer (7) mit einem mobilen Endgerät (8) außerhalb des Fahrzeugs befindet, umfassend:

- ein Fahrerassistenzsystem (2) des Fahrzeugs (1) zum Planen einer Trajektorie für das Parkmanöver und zum Manövrieren des Fahrzeugs (1) entlang der geplanten Trajektorie, und

- das mobile Endgerät (8) mit einer Kamera (9) zum Erfassen von Bilddaten, welche das Fahrzeug (1) und eine Umgebung (5) des Fahrzeugs (1) beschreiben, und mit einer Anzeigeeinrichtung (10) zum Bereitstellen einer Anzeige anhand der Bilddaten, dadurch gekennzeichnet, dass

- das mobile Endgerät (8) dazu eingerichtet ist, eine von dem Nutzer an dem mobilen Endgerät (8) durchgeführten Bedieneingabe, welche eine Bewegung des Fahrzeugs (1) während des Manövrierens entlang der geplanten Trajektorie beschreibt, zu erkennen und

- das Fahrerassistenzsystem (2) dazu eingerichtet ist, das Manövrieren entlang der geplanten Trajektorie durchzuführen, solange das mobile Endgerät (8) die Bedieneingabe erkennt, und ansonsten das Manövrieren zu unterbrechen.

Description:
Verfahren zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug unter Verwendung eines mobilen Endgeräts sowie System

Die vorliegende Erfindung betrifft ein Verfahren zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug, bei welchem sich ein Nutzer mit einem mobilen Endgerät außerhalb des Fahrzeugs befindet. Das Verfahren umfasst das Planen einer Trajektorie für das Parkmanöver und das Manövrieren des Fahrzeugs entlang der geplanten Trajektorie mittels eines Fahrerassistenzsystems des Fahrzeugs. Darüber hinaus umfasst das Verfahren das Erfassen von Bilddaten, welche das Fahrzeug und eine Umgebung des Fahrzeugs beschreiben, mittels einer Kamera des mobilen Endgeräts. Außerdem umfasst das Verfahren das Bereitstellen einer Anzeige auf einer Anzeigeeinrichtung des mobilen Endgeräts anhand der Bilddaten. Darüber hinaus betrifft die vorliegende Erfindung ein System zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug.

Aus dem Stand der Technik sind unterschiedliche Fahrerassistenzsysteme bekannt, welche einen Nutzer bzw. Fahrer beim Betrieb des Fahrzeugs unterstützen. Vorliegend gilt das Interesse Fahrerassistenzsystemen bzw. Systemen, mit denen ein so genanntes ferngesteuertes Parkmanöver durchgeführt werden kann. Bei einem derartigen Parkmanöver kann das Fahrzeug mittels des Fahrerassistenzsystems beispielsweise in eine Parklücke manövriert werden. Während des Parkmanövers befindet sich der Nutzer bzw. der Fahrer des Fahrzeugs außerhalb des Fahrzeugs. Bei der Durchführung dieses automatisierten Parkmanövers wird von dem Nutzer an einem mobilen Endgerät eine entsprechende Bedienhandlung vorgenommen.

Hierzu ist es beispielsweise aus dem Stand der Technik bekannt, dass an dem mobilen Endgerät durchgehend eine entsprechende Taste gedrückt wird. Darüber hinaus ist es aus dem Stand der Technik bekannt, dass als mobiles Endgerät ein Smartphone verwendet wird und auf einem berührungsempfindlichen Bildschirm des Smartphones eine entsprechende Bedieneingabe vorgenommen wird. Beispielsweise kann eine kreisförmige Wischbewegung mit einem Finger durchgeführt werden. Solange diese Bedieneingabe vorgenommen wird, wird das automatisierte Parkmanöver mittels des Fahrerassistenzsystems durchgeführt. Falls die Bedieneingabe unterbleibt, wird das Fahrmanöver bzw. Parkmanöver unterbrochen und das Fahrzeug abgebremst. Durch das mobile Endgerät und die entsprechende Bedienhandlung an dem mobilen Endgerät wird quasi ein Totmannschalter realisiert, wodurch die funktionale Sicherheit während des Parkmanövers gewährleistet werden kann. Von einem Nutzer, der eine derartige Bedienhandlung während des kompletten Parkmanövers durchzuführen hat, kann diese Bedienhandlung als unkomfortabel empfunden werden. Dies ist insbesondere der Fall, wenn das durchgeführte Parkmanöver länger als eine vorbestimmte Zeitdauer, beispielsweise 20 Sekunden, andauert.

Um diesem Problem zu entgegnen, sind aus dem Stand der Technik Systeme bekannt, bei denen als mobiles Endgerät ein Smartphone verwendet wird. Mit einer Kamera des Smartphones kann eine zeitliche Abfolge von Bildern erfasst werden, welche das Fahrzeug bzw. die Umgebung des Fahrzeugs beschreiben. Hierbei kann ferner überprüft werden, ob in den erfassten Bildern das Fahrzeug in ausreichender weise erfasst wurde. Wenn beispielsweise der Anteil der Abbildung des Fahrzeugs an einem gesamten Bildinhalt oberhalb oder unterhalb eines vorgebbaren Schwellenwerts liegt, kann die autonom gesteuerte Fortbewegung des Fahrzeugs unterbrochen oder abgebrochen werden. Ein derartiges Verfahren ist beispielsweise in der DE 102012 016868 A1 offenbart.

Darüber hinaus sind aus dem Stand der Technik Verfahren bekannt, bei denen Bilder, die mit mobilen Endgeräten bzw. Smartphones aufgezeichnet werden, dazu verwendet werden, um Parkbereiche bzw. entsprechende Räume zu vermessen. Hierzu beschreibt die EP 3 101 593 A1 ein Verfahren zum Bestimmen, ob ein Fahrzeug in einen Raum passt. Das Verfahren umfasst das Erfassen eines Bilds des Raums, in dem sich das Fahrzeug bewegen soll und das Simulieren einer dreidimensionalen Darstellung des Raums aus dem Bild. Darüber hinaus umfasst das Verfahren das Bestimmen der Abmessungen des Raums unter Verwendung der dreidimensionalen Darstellung und das Vergleichen der Abmessungen des Raums mit den Abmessungen des Fahrzeugs.

Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein ferngesteuertes Parkmanöver der eingangs genannten Art unter Einhaltung der funktionalen Sicherheit für den Nutzer komfortabler durchgeführt werden kann.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren sowie durch ein System mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.

Ein erfindungsgemäßes Verfahren dient zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug, wobei sich ein Nutzer mit einem mobilen Endgerät außerhalb des Fahrzeugs befindet. Das Verfahren umfasst das Planen einer Trajektorie für das Parkmanöver mittels eines Fahrerassistenzsystems des Fahrzeugs. Darüber hinaus umfasst das Verfahren das Manövrieren des Fahrzeugs entlang der geplanten Trajektorie mittels des Fahrerassistenzsystems. Außerdem umfasst das Verfahren das Erfassen von Bilddaten, welche das Fahrzeug und eine Umgebung des Fahrzeugs beschreiben, mittels einer Kamera des mobilen Endgeräts und das Bereitstellen einer Anzeige auf einer Anzeigeeinrichtung des mobilen Endgeräts anhand der Bilddaten. Hierbei ist vorgesehen, dass das Manövrieren entlang der geplanten Trajektorie durchgeführt wird, solange mittels des mobilen Endgeräts eine von dem Nutzer an dem mobilen Endgerät durchgeführte Bedieneingabe, welche eine Bewegung des Fahrzeugs während des Manövrierens entlang der geplanten Trajektorie beschreibt, erkannt wird, und ansonsten das Manövrieren unterbrochen wird.

Mit Hilfe des Verfahrens soll ein ferngesteuertes Parkmanöver durchgeführt werden. Bei diesem Parkmanöver kann es sich beispielsweise um ein Einparkmanöver handeln, bei welchem das Fahrzeug in eine Parklücke manövriert wird. Ferner kann es sich bei dem Parkmanöver um ein Ausparkmanöver handeln, bei welchem das Fahrzeug aus einer Parklücke manövriert wird. Während des Parkmanövers wird das Fahrzeug mittels des Fahrerassistenzsystems automatisiert bzw. autonom manövriert. Dies bedeutet, dass das Fahrerassistenzsystem in eine Längsführung und eine Querführung des Fahrzeugs eingreifen kann. Für das Parkmanöver wird mittels des Fahrerassistenzsystems die Trajektorie geplant. Hierzu können beispielsweise mit einem oder mehreren Umfeldsensoren Sensordaten bereitgestellt werden, welche die Umgebung des Fahrzeugs beschreiben. Insbesondere können mittels des Fahrerassistenzsystems auf Grundlage der Sensordaten Objekte bzw. Hindernisse und deren Position in der Umgebung des Fahrzeugs erkannt werden. Auf Grundlage der erkannten Objekte und den bekannten Abmessungen des Fahrzeugs kann dann eine Trajektorie für das Parkmanöver geplant werden.

Während des Parkmanövers befindet sich der Nutzer bzw. Fahrer des Fahrzeugs außerhalb des Fahrzeugs. Der Nutzer kann das mobile Endgerät während des Parkmanövers mit einer oder beiden Händen halten. Bei dem mobilen Endgerät handelt es sich insbesondere um ein Smartphone, einem Tablet-Computer oder dergleichen. Das mobile Endgerät umfasst eine Kamera, mittels welcher Bilddaten bzw. eine Folge von Bildern aufgenommen werden können, welche die Umgebung des Fahrzeugs und das Fahrzeug beschreiben. Darüber hinaus umfasst das mobile Endgerät eine Anzeigeeinrichtung bzw. ein Display, auf dem eine entsprechende Anzeige bereitgestellt werden kann. Beispielsweise können auf der Anzeigeeinrichtung fortlaufend die Bilddaten angezeigt werden, welche mit der Kamera des mobilen Endgeräts aufgenommen werden. Hierbei kann in bekannterWeise überprüft werden, ob sich das Fahrzeug während des Parkmanövers in dem Erfassungsbereich der Kamera des mobilen Endgeräts befindet. Es kann also überprüft werden, ob vorbestimmte Bereiche des Fahrzeugs mit der Kamera des mobilen Endgeräts erfasst werden und/oder auf der Anzeigeeinrichtung angezeigt werden. Falls dies nicht erfüllt ist, kann das Parkmanöver abgebrochen werden. Zu diesem Zweck können bekannte Verfahren der Bildverarbeitung oder Objekterkennung genutzt werden, bei denen das Fahrzeug in den Bilddaten erkannt wird.

Darüber hinaus ist vorgesehen, dass während des automatisierten bzw. autonomen Parkmanövers von dem Nutzer eine vorbestimmte Bedieneingabe an dem mobilen Endgerät bzw. mit dem mobilen Endgerät durchgeführt wird. Falls diese Bedieneingabe unterbleibt, kann das Parkmanöver unterbrochen werden und das Fahrzeug abgebremst werden. Dabei ist es gemäß der vorliegenden Erfindung vorgesehen, dass die von dem Nutzer durchgeführte Bedieneingabe die Bewegung des Fahrzeugs während des Manövrierens entlang der geplanten Trajektorie beschreibt. Während des Parkmanövers ist es also erforderlich, dass von dem Nutzer die vorbestimmte Bedieneingabe durchgeführt wird. Diese Bedieneingabe kann individuell für das geplante Parkmanöver vorgegeben werden. Die durchgeführte Bedieneingabe kann die Bewegung des Fahrzeugs während des autonom durchgeführten Parkmanövers beschreiben. Von dem Nutzer wird bei der Bedieneingabe insbesondere eine Bewegung entlang der geplanten Trajektorie bzw. eines Abbilds der real durchgeführten Trajektorie auf das mobile Endgerät durchgeführt werden. Während der Bedieneingabe kann von dem Nutzer quasi die Bewegung des Fahrzeugs während der Durchführung des Parkmanövers nachgebildet oder nachgeahmt werden.

Falls die Bedieneingabe des Nutzers von dieser vorbestimmten Bedieneingabe abweicht, kann das Manövrieren des Fahrzeugs bzw. das Durchführen des ferngesteuerten Parkmanövers unterbrochen werden. Während der Durchführung der Bedienhandlung wird dem Nutzer quasi das Gefühl vermittelt, dass er das Fahrzeug während des Parkmanövers mittels des mobilen Endgeräts aktiv steuern kann. Auf diese Weise kann erreicht werden, dass der Nutzer während des gesamten Parkmanövers die Bewegung des Fahrzeugs und die Umgebung des Fahrzeugs überwacht. Es kann also gewährleistet werden, dass der Nutzer seine Aufmerksamkeit auf das Parkmanöver richtet. Zudem ergibt sich im Vergleich zu bekannten Verfahren, bei denen beispielsweise eine Taste gedrückt wird oder fortlaufend eine von dem Parkmanöver unabhängige Bewegung auf dem mobilen Endgerät durchgeführt wird, der Vorteil, dass die Bedieneingabe von dem Nutzer als nicht unkomfortabel empfunden wird. Somit kann während des ferngesteuerten Parkmanövers die funktionale Sicherheit gewährleistet werden und die Funktion des Totmannschalters bereitgestellt werden.

Während der Bedieneingabe können von dem mobilen Endgerät fortlaufend Daten an das Fahrerassistenzsystem übertragen werden, welche die Bedieneingabe beschreiben. Alternativ oder zusätzlich können mit dem Fahrerassistenzsystem Daten an das mobile Endgerät übertragen werden, welche die Position des Fahrzeugs auf der geplanten Trajektorie beschrieben. Somit kann überprüft werden, ob die Bedieneingabe die Bewegung des Fahrzeugs beschreibt bzw. ob durch die Bedieneingabe die Bewegung des Fahrzeugs nachgebildet wird.

Bevorzugt wird in die Anzeige des mobilen Endgeräts ein Trajektorien-Symbol eingeblendet, welches die geplante Trajektorie beschreibt. Wie bereits erläutert, kann auf Grundlage der Bilddaten, die mit der Kamera des mobilen Endgeräts aufgenommen werden, die Anzeige bereitgestellt werden. Diese Anzeige kann also - wie es bei der Aufnahme eines Fotos mit einem Smartphone bekannt ist - die Umgebung und das Fahrzeug anzeigen. In diese Anzeige kann zusätzlich das Trajektorien-Symbol eingeblendet werden. Das Trajektorien- Symbol kann also die angezeigten Bilddaten überlagern. Das Trajektorien-Symbol kann die Form einer gekrümmten Linie aufweisen und die Trajektorie, die während des autonomen Parkmanövers von dem Fahrzeug befahren wird, beschreiben. Ferner kann das Trajektorien- Symbol einen entsprechenden Pfeil aufweisen, welcher die Fahrtrichtung des Fahrzeugs während des Parkmanövers beschreibt. Das Trajektorien-Symbol kann mittels des mobilen Endgeräts bzw. einer Recheneinrichtung des mobilen Endgeräts bestimmt werden. Dabei kann es vorgesehen sein, dass entsprechende Daten, welche die geplante Trajektorie beschreiben, von dem Fahrerassistenzsystem an das mobile Endgerät übertragen werden. Mittels der Recheneinrichtung des mobilen Endgeräts kann unter Berücksichtigung der zweidimensionalen Darstellung der Umgebung und des Fahrzeugs auf der Anzeigeeinrichtung dann das Trajektorien-Symbol eingeblendet werden. Durch das Trajektorien-Symbol wird dem Nutzer quasi vorgegeben, wie er die Bedieneingabe durchzuführen hat. Somit kann gewährleistet werden, dass der Nutzer während des ferngesteuerten Parkmanövers die erforderliche Bedieneingabe durchführt.

Gemäß einer Ausführungsform wird das Manövrieren durchgeführt, solange als die Bedieneingabe eine Wischbewegung durch zumindest einen Finger des Nutzers mittels einer Erfassungseinrichtung des mobilen Endgeräts erkannt wird, wobei die Wischbewegung die Bewegung des Fahrzeugs entlang der geplanten Trajektorie beschreibt. Mittels der Erfassungseinrichtung des mobilen Endgeräts kann also als Bedieneingabe eine Wischbewegung erfasst werden. Bei dieser Wischbewegung kann der Nutzer mit zumindest einem Finger entlang der Erfassungseinrichtung streichen. Die Erfassungseinrichtung kann insbesondere Teil eines berührungsempfindlichen Bildschirms des mobilen Endgeräts bzw. des Smartphones sein, wobei der berührungsempfindliche Bildschirm gleichzeitig die Anzeigeeinrichtung des mobilen Endgeräts umfasst. Eine derartige Wischbewegung weist im Vergleich zu aus dem Stand der Technik bekannten Wischbewegungen den Vorteil auf, dass diese das Parkmanöver beschreibt und dem Nutzer der Eindruck vermittelt wird, das Fahrzeug aktiv zu steuern.

Wie zuvor beschrieben, kann auf dieser Anzeigeeinrichtung des mobilen Endgeräts das Trajektorien-Symbol eingeblendet werden bzw. das Trajektorien-Symbol kann die dargestellten Bilddaten überlagern. Hierbei ist insbesondere vorgesehen, dass die Wischbewegung entlang des Trajektorien-Symbols durchgeführt wird. Bei der Bedieneingabe bzw. bei der Wischbewegung kann also das angezeigte bzw. eingeblendete Trajektorien- Symbol quasi mit dem Finger nachgezeichnet werden. Hierbei kann es ferner vorgesehen sein, dass zusätzlich zu dem Trajektorien-Symbol ein Positions-Symbol eingeblendet wird. Dieses Positions-Symbol kann die aktuelle Position des Fahrzeugs auf der Trajektorie beschreiben. Während des autonomen Parkmanövers kann sich die Position des Positions- Symbols entlang der Trajektorie ändern. Von dem Fahrerassistenzsystem können Daten, welche die aktuelle Position des Fahrzeugs bezogen auf die Trajektorie beschreiben, an das mobile Endgerät übertrage werden. Auf Grundlage der Daten kann dann das Positions- Symbol mittels des mobilen Endgeräts bestimmt und eingeblendet werden. Durch das Positions-Symbol wird dem Nutzer für die Bedieneingabe quasi vorgegeben, wo er seinen Finger zu positionieren hat. Alternativ dazu kann es vorgesehen sein, dass dieses Positions- Symbol durch die Bedieneingabe des Nutzers bzw. die Wischbewegung entlang des Trajektorien-Symbols verschoben werden kann. Somit wird dem Nutzer die Bedieneingabe auf einfache intuitive Weise vorgegeben. Zudem kann auf einfache Weise überprüft werden, ob die Bedieneingabe entsprechend den Vorgaben durchgeführt wird. Falls die Wischbewegung von dem angezeigten Trajektorien-Symbol bzw. dem angezeigten Positions-Symbol abweicht, kann das Parkmanöver abgebrochen werden.

Falls die Wischbewegung deutlich von dem eingeblendeten Trajektorien-Symbol abweicht, kann das autonome Parkmanöver unterbrochen werden. Wenn der Nutzer beispielsweise mit zumindest einem Finger eine beliebige Wischbewegung auf der Erfassungseinrichtung durchführt, kann das Parkmanöver unterbrochen werden. Ebenso kann das Parkmanöver unterbrochen werden, wenn der Nutzer zumindest einen Finger von der Erfassungseinrichtung bzw. dem berührungsempfindlichen Bildschirm entfernt. Wenn das Parkmanöver unterbrochen wird, kann der Nutzer durch eine entsprechende Information hierüber informiert werden. Das Parkmanöver bzw. Fahrmanöver kann dann wieder fortgesetzt werden, wenn der Nutzer die Bedieneingabe durchführt beziehungsweise fortführt.

Gemäß einer alternativen Ausführungsform wird das Manövrieren durchgeführt wird, solange als die Bedieneingabe eine Bewegung des mobilen Endgeräts erkannt wird, wobei die Bewegung des mobilen Endgeräts die Bewegung des Fahrzeugs entlang der geplanten Trajektorie beschreibt. Eine andere Variante, die Bedieneingabe durchzuführen ist es, das komplette mobile Endgerät bzw. das gesamte Smartphone zu bewegen. Während der Durchführung des autonomen Parkmanövers kann also das gesamte mobile Endgerät, welches von dem Nutzer in Richtung des Fahrzeugs gerichtet wird, bewegt werden, wobei durch die hierbei durchgeführte Bedieneingabe die Bewegung des Fahrzeugs während des Parkmanövers nachgeahmt wird. Auch hier kann es vorgesehen sein, dass fortlaufend überprüft wird, ob ein vorbestimmter Anteil des Fahrzeugs während dieser Bedieneingabe von der Kamera des mobilen Endgeräts erfasst wird. Falls dies nicht erfüllt wird, kann das Parkmanöver abgebrochen werden. Somit wird dem Nutzer quasi vermittelt, dass er das Fahrzeug durch die Bewegung des mobilen Endgeräts steuern kann. Auch auf diese Weise kann die funktionale Sicherheit während des Parkmanövers gewährleistet werden. Die Bewegung des mobilen Endgeräts bzw. des Smartphones kann mit zumindest einem Bewegungssensor des mobilen Endgeräts fortlaufend bestimmt werden. Mit dem zumindest einen Bewegungssensor kann eine Bewegung, eine Beschleunigung und/oder eine Neigung ermittelt werden. Bekannte Smartphones oder Tablet-Computer umfassen üblicherweise derartige Bewegungssensoren. Somit ist es nicht erforderlich, dass diese mobilen Endgeräte für die Durchführung des Verfahrens modifiziert werden.

Hierbei ist insbesondere vorgesehen, dass in die Anzeige des mobilen Endgeräts ein Fahrzeug-Symbol eingeblendet wird, welches eine Außenkontur des Fahrzeugs beschreibt, wobei das Manöver durchgeführt wird, solange das Fahrzeug-Symbol mit einem Abbild des Fahrzeugs in der Anzeige im Wesentlichen überlagert ist. Das Fahrzeug-Symbol kann die Außenkontur des Fahrzeugs bezogen auf die bereitgestellte Anzeige beschreiben. Mit anderen Worten kann das Fahrzeug-Symbol die Außenkontur des Fahrzeugs in den Bilddaten beschreiben. Die Position des Fahrzeug-Symbols in der Anzeige kann in Abhängigkeit von der aktuellen Position des Fahrzeugs während des Parkmanövers bestimmt werden. Während der Durchführung des Parkmanövers kann überprüft werden, ob das mobile Endgerät von dem Nutzer derart gehalten bzw. bewegt wird, dass das Fahrzeug- Symbol mit der Abbildung des Fahrzeugs auf der Anzeige im Wesentlichen überlagert ist bzw. sich das Abbild des Fahrzeugs oder ein vorbestimmter Anteil hiervon innerhalb des Fahrzeug-Symbols befindet. Falls eine vorbestimmte Abweichung zwischen dem Fahrzeug- Symbol und dem Abbild des Fahrzeugs in der Anzeige erkannt wird, kann das Parkmanöver unterbrochen werden.

Das Parkmanöver kann wieder fortgesetzt werden, wenn das Fahrzeug-Symbol mit dem Abbild des Fahrzeugs in der Anzeige überlagert ist. In diesem Fall ist es erforderlich, dass der Nutzer das mobile Endgerät derart bewegt, dass das Fahrzeug-Symbol wieder mit dem Abbild des Fahrzeugs übereinstimmt. Das Fahrzeug-Symbol kann also quasi auf das Abbild des Fahrzeugs „einschnappt“ werden. Wenn die Übereinstimmung des Fahrzeug-Symbols und des Abbilds des Fahrzeugs erkannt wird, kann eine entsprechende Rückmeldung mittels des mobilen Endgeräts ausgegeben werden. Diese Rückmeldung kann optisch, akustisch und/oder haptisch erfolgen. Eine derartige Vorgehensweise kann auch vorgesehen sein, um das Parkmanöver erstmals zu starten. Um das automatisierte Parkmanöver zu starten, kann der Nutzer das mobile Endgerät so ausrichten, dass das Fahrzeug-Symbol und des Abbild des Fahrzeugs auf der Anzeigeeinrichtung übereinstimmen.

Weiterhin ist vorteilhaft, wenn mittels des mobilen Endgeräts eine Rückmeldung an den Nutzer ausgegeben wird, welche die Durchführung der Bedieneingabe bewertet. Wie bereits erläutert, kann der Nutzer entsprechend informiert werden, falls das Parkmanöver unterbrochen wird. Zu diesem Zweck kann mittels des mobilen Endgeräts eine entsprechende Rückmeldung an den Nutzer ausgegeben werden. Diese Rückmeldung kann optisch, beispielsweise durch einen entsprechenden Hinweis auf der Anzeige, akustisch, beispielsweise durch eine entsprechende Tonausgabe oder ein Signal, und/oder haptisch, beispielsweise durch einen entsprechenden Vibrationsalarm oder dergleichen, ausgegeben werden. Es kann auch vorgesehen sein, dass dem Nutzer während der Durchführung der Bedieneingabe entsprechende Hinweise ausgegeben werden. Diese Hinweise können beispielsweise Informationen enthalten, wie die Bedieneingabe durchzuführen ist. Diese Hinweise können insbesondere Hinweise zu einer Richtung oder einer Geschwindigkeit, mittels welcher die Bedieneingabe durchgeführt wird, beinhalten. Darüber hinaus kann vorgesehen sein, dass die Rückmeldung dem Nutzer angibt, wie gut die durchgeführte Bedieneingabe mit der vorgegebenen Bedieneingabe übereinstimmt. Hier kann beispielsweise eine Farbanzeige genutzt werden. Auf diese Weise kann der Nutzer bei der Durchführung der Bedieneingabe unterstützt werden.

Weiterhin ist vorteilhaft, wenn das Parkmanöver durchgeführt wird, solange die Bedieneingabe mit einer vorbestimmten Bediengeschwindigkeit durchgeführt wird, und ansonsten das Parkmanöver abgebrochen wird. Die Bediengeschwindigkeit, mittels welcher die Bedieneingabe durchgeführt wird, ist insbesondere abhängig von der aktuellen Geschwindigkeit des Fahrzeugs während der Durchführung des Parkmanövers. Die Bedieneingabe soll also insbesondere so durchgeführt werden, dass diese die Geschwindigkeit des Fahrzeugs während des Parkmanövers beschreibt. Somit wird dem Nutzer der Eindruck vermittelt, dass dieser bei korrekter Durchführung der Bedieneingabe die Bewegung des Fahrzeugs während des Parkmanövers steuert. Auch hier kann es vorgesehen sein, dass entsprechende Hinweise bzw. Rückmeldungen an den Nutzer ausgegeben werden, welche die Bediengeschwindigkeit vorgeben bzw. die Bediengeschwindigkeit der Bedieneingabe bewerten. Somit kann der Nutzer bei der Durchführung der Bedieneingabe unterstützt werden.

In einer weiteren Ausführungsform wird vor dem Planen der Trajektorie anhand der Bilddaten mittels des mobilen Endgeräts zumindest ein Parkbereich als Ziel für das Parkmanöver erkannt und der zumindest eine Parkbereich wird dem Nutzer zur Auswahl angeboten. Wenn sich der Nutzer außerhalb des Fahrzeugs befindet, kann er das mobile Endgerät bzw. das Smartphone in Richtung eines gewünschten Parkbereichs ausrichten. Bei dem Parkbereich kann es sich insbesondere um eine Parklücke handeln. Mittels der Kamera des mobilen Endgeräts können dann die Bilddaten bereitgestellt werden, welche den Parkbereich beschreiben. Auf Grundlage der Bilddaten kann dann mittels des mobilen Endgeräts der Parkbereich bzw. die Parklücke vermessen werden. Zu diesem Zweck können aus der Bildverarbeitung bzw. Objekterkennung bekannte Verfahren, beispielsweise „Structure from Motion“ oder dergleichen, genutzt werden. Nach dem Vermessen des Parkbereichs bzw. der Parklücke kann dann mittels des mobilen Endgeräts und auf Grundlage der bekannten Abmessungen des Fahrzeugs überprüft werden, ob der Parkbereich für das Fahrzeug geeignet ist. Falls der Parkbereich ausreichende Abmessungen zum Abstellen des Fahrzeugs bietet, kann dies dem Nutzer entsprechend auf der Anzeige des mobilen Endgeräts angezeigt werden. Beispielsweise kann eine entsprechende Einblendung erfolgen, bei welcher die Parkfläche grün gekennzeichnet wird. Falls die Abmessungen der Parkfläche nicht ausreichend für das Fahrzeug sind, kann diese in der Anzeige bzw. mittels einer entsprechenden Einblendung als rot gekennzeichnet werden.

Ferner kann dem Nutzer die Möglichkeit geboten werden, die Parkfläche, die zum Abstellen des Fahrzeugs als geeignet erkannt wurde, auszuwählen. Im Anschluss daran können entsprechende Informationen, welche die ausgewählte Parkfläche und/oder die Abmessungen der ausgewählten Parkfläche beschreiben, von dem mobilen Endgerät an das Fahrzeug bzw. das Fahrerassistenzsystem übertragen werden. Hierzu ist es insbesondere vorgesehen, dass die relative Lage zwischen dem Fahrzeug und dem mobilen Endgerät bestimmt wird. Zum Bestimmen der relativen Lage zwischen dem mobilen Endgerät und dem Fahrzeug können beispielsweise entsprechend Daten ausgetauscht werden. Anhand der Laufzeit der Daten, welche zu unterschiedlichen Zeitpunkten ausgetauscht werden, kann dann mittels Triangulation die relative Lage zwischen dem Fahrzeug und dem mobilen Endgerät ermittelt werden. Alternativ oder zusätzlich können satellitengestützte Positionsbestimmungssysteme, wie beispielsweise GPS, genutzt werden, um die Position des Fahrzeugs und/oder die Position des mobilen Endgeräts zu bestimmen. Somit ist es beispielsweise nicht erforderlich, dass die gewünschte Parkfläche bzw. Parklücke als Ziel für das Parkmanöver zuvor von den Umfeldsensoren des Fahrzeugs erkannt und/oder vermessen wird. Ebenso ist es nicht erforderlich, dass das Fahrzeug entsprechend zu der Parkfläche positioniert wird. Somit kann die Funktionalität des ferngesteuerten Parkmanövers erweitert werden.

Gemäß einerweiteren Ausführungsform wird eine Position von zumindest einem Parkbereich, welcher anhand von Messungen mit zumindest einem Umfeldsensor des Fahrerassistenzsystems als Ziel für das Parkmanöver erkannt wird, auf der Anzeigeeinrichtung des mobilen Endgeräts angezeigt. Mit den Umfeldsensoren des Fahrerassistenzsystems können entsprechende Parkflächen bzw. Parklücken vermessen werden und als mögliche Ziele für das Parkmanöver erkannt werden. Dabei können entsprechende Daten bzw. Informationen, welche die erkannten Parkflächen beschreiben, von dem Fahrerassistenzsystem an das mobile Endgerät übertragen werden. Auf Grundlage dieser Daten kann dann eine entsprechende Anzeige bzw. Einblendung in der Anzeige bereitgestellt werden, durch welche dem Nutzer die erkannten Parkbereiche angezeigt werden. Falls sich die erkannte Parkfläche außerhalb des Anzeigebereichs auf der Anzeige des mobilen Endgeräts befindet, können entsprechende Hinweise an den Nutzer ausgegeben werden, an welcher Stelle in der Umgebung sich diese erkannten Parkflächen befinden bzw. in welcher Richtung er das mobile Endgerät zu bewegen hat. Auch hierdurch kann die Funktionalität des ferngesteuerten Parkmanövers zusätzlich erweitert werden.

Ein erfindungsgemäßes System dient zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug, bei welchem sich ein Nutzer mit einem mobilen Endgerät außerhalb des Fahrzeugs befindet. Das System umfasst ein Fahrerassistenzsystem des Fahrzeugs zum Planen einer Trajektorie für das Parkmanöver und zum Manövrieren des Fahrzeugs entlang der geplanten Trajektorie. Darüber hinaus umfasst das System das mobile Endgerät mit einer Kamera zum Erfassen von Bilddaten, welche das Fahrzeug und die Umgebung des Fahrzeugs beschreiben, und mit einer Anzeigeeinrichtung zum Bereitstellen einer Anzeige anhand der Bilddaten. Dabei ist das mobile Endgerät dazu eingerichtet, eine von dem Nutzer an dem mobilen Endgerät durchgeführte Bedieneingabe, welche eine Bewegung des Fahrzeugs während des Manövrierens entlang der geplanten Trajektorie beschreibt, zu erkennen. Darüber hinaus ist das Fahrerassistenzsystem dazu eingerichtet, das Manövrieren entlang der geplanten Trajektorie durchzuführen, solange das mobile Endgerät die Bedieneingabe erkennt, um ansonsten das Manövrieren zu unterbrechen.

Das Fahrerassistenzsystem kann zumindest einen Umfeldsensor aufweisen, mittels welchem die Umgebung des Fahrzeugs erfasst werden kann. Insbesondere können mit dem zumindest einen Umfeldsensor Sensordaten bereitgestellt werden, welche die Umgebung und Objekte in der Umgebung beschreiben. Der zumindest eine Umfeldsensor kann als Radarsensor, Lidar-Sensor, Ultraschallsensor und/oder Kamera ausgebildet sein. Darüber hinaus kann das Fahrerassistenzsystem ein Steuergerät aufweisen, mittels welchem die Sensordaten ausgewertet werden können. Zudem können mit dem Steuergerät Steuersignale ausgegeben werden, um das Fahrzeug automatisiert oder autonom zu manövrieren. Somit kann die Längsführung und die Querführung des Fahrzeugs übernommen werden. Zudem kann mit dem Steuergerät anhand der erfassten Objekte in der Umgebung eine Trajektorie für das Parkmanöver berechnet werden. Zudem kann das Fahrerassistenzsystem eine Kommunikationseinheit aufweisen, um Daten drahtlos zu senden und/oder zu empfangen.

Das mobile Endgerät kann insbesondere als Smartphone oderTablet ausgebildet sein. Das mobile Endgerät kann eine Anzeigeeinrichtung zum Bereitstellen einer Anzeige sowie eine Erfassungseinrichtung zum Erfassen einer Bedienhandlung aufweisen. Darüber hinaus umfasst das mobile Endgerät eine Kamera, mittels welcher Bilddaten des Fahrzeugs und der Umgebung des Fahrzeugs bereitgestellt werden können. Des Weiteren kann das mobile Endgerät zumindest einen Bewegungssensor aufweisen, mittels welchem die Bewegung des mobilen Endgeräts erfasst werden kann. Auch das mobile Endgerät kann eine Kommunikationseinrichtung aufweisen, um mit der Kommunikationseinrichtung des Fahrerassistenzsystems Daten drahtlos austauschen zu können. Ferner umfasst das mobile Endgerät eine Recheneinrichtung, welche zur Datenübertragung mit der Kamera, der Anzeigeeinrichtung, der Erfassungseinrichtung und der Kommunikationseinrichtung verbunden ist. Die Recheneinrichtung kann durch einen Prozessor des mobilen Endgeräts bzw. des Smartphones gebildet sein. Zur Durchführung des Verfahrens bzw. zum Betrieb des Systems kann die relative Lage zwischen dem mobilen Endgerät und dem Fahrzeug bestimmt werden. Hierzu können über die Kommunikationseinrichtungen drahtlos Daten zu unterschiedlichen Zeitpunkten ausgetauscht werden und/oder GPS-Daten genutzt werden. Die Lage des mobilen Endgeräts relativ zu dem Fahrzeug kann mittels Triangulation bestimmt werden. Des Weiteren können Daten des zumindest einen Bewegungssensors des mobilen Endgeräts herangezogen werden. Es kann auch vorgesehen sein, dass zur Lokalisierung des Fahrzeugs relativ zu dem mobilen Endgerät Verfahren der Bildverarbeitung, welche auf neuronalen Netzen basieren, genutzt werden. Es kann auch vorgesehen sein, dass das mobile Endgerät eine Stereo-Kamera aufweist und die relative Lage anhand der Bilddaten der Stereo-Kamera bestimmt wird.

Um die Position des Fahrzeugs in den verschiedenen Bilder bzw. Bilddaten zu bestimmen, kann die Methode des optischen Flusses verwendet werden. Somit kann das Fahrzeug in den bewegten Bildern nachverfolgt bzw. getrackt werden. Sobald die Kameraposition bzw. die Position des mobilen Endgeräts relativ zu dem Fahrzeug bestimmt ist, können das zuvor beschriebene Trajektorien-Symbol und/oder das Fahrzeug-Symbol bestimmt und eingeblendet werden. Hier wird nur das Sichtfeld der Kamera benötigt, welches beispielsweise auf Grundlage des Lochkameramodells bestimmt werden kann. Das Sichtfeld kann anhand der Auflösung, der Pixelgröße und Brennweite der Kamera berechnet werden. Mit dem bekannten Sichtfeld sind nur algebraische Transformationen, beispielsweise Rotationen und Translationen, erforderlich, um die Symbole oder Einblendungen in der richtigen Größe und an der richtigen Position anzuzeigen. Um die Bedieneingabe in Form der Bewegung des mobilen Endgeräts zu überprüfen, können Daten des Bewegungssensors und Verfahren des optischen Flusses genutzt werden. Die Prozessoren von üblichen Smartphones weisen eine entsprechende Rechenleistung auf, um die zuvor beschrieben Schritte des Verfahrens durchzuführen.

Ein weiterer Aspekt der Erfindung betrifft Computerprogramme, umfassend Befehle, die bei der Ausführung der Programme durch eine Recheneinrichtung des mobilen Endgeräts und durch ein Steuergerät des Fahrerassistenzsystems diese veranlassen, ein erfindungsgemäßes Verfahren und die vorteilhaften Ausgestaltungen davon auszuführen. Des Weiteren betrifft die Erfindung computerlesbare (Speicher)medien, umfassend Befehle, die bei der Ausführung durch eine Recheneinrichtung des mobilen Endgeräts und durch ein Steuergerät des Fahrerassistenzsystems diese veranlassen, ein erfindungsgemäßes Verfahren und die vorteilhaften Ausgestaltungen davon auszuführen. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße System, für die erfindungsgemäßen Computerprogramme sowie für die erfindungsgemäßen computerlesbare (Speicher)medien.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgenden in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:

Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einem

Fahrerassistenzsystem sowie eines Nutzers in der Umgebung des Fahrzeugs, welcher ein mobiles Endgerät hält;

Fig. 2 eine schematische Darstellung eines mobilen Endgeräts sowie der einzelnen Komponenten des mobilen Endgeräts;

Fig. 3 einen Parkbereich in der Umgebung des Fahrzeugs, welcher mit einer Kamera des mobilen Endgeräts aufgenommen wird;

Fig. 4 ein mobiles Endgerät, auf welchem während der Durchführung eines automatisierten Parkmanövers mit dem Fahrzeug ein Trajektorien-Symbol angezeigt wird;

Fig. 5 eine Anzeige des mobilen Endgeräts, auf welcher während der Durchführung des autonomen Parkmanövers mit dem Fahrzeug ein Fahrzeug-Symbol angezeigt wird; und

Fig. 6 die Anzeige auf dem mobilen Endgerät gemäß Fig. 5 gemäß einer weiteren Ausführungsform. In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.

Fig. 1 zeigt in einer schematischen Darstellung ein Fahrzeug 1, welches vorliegend als Personenkraftwagen ausgebildet ist, in einer Draufsicht. Das Fahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches wiederum ein elektronisches Steuergerät 3 umfasst. Des Weiteren umfasst das Fahrerassistenzsystem 2 zumindest einen Umfeldsensor 4, mittels welchem eine Umgebung 5 des Fahrzeugs 1 erfasst werden kann. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrerassistenzsystem 2 zwei Umfeldsensoren 4, welche beispielsweise als Radarsensoren ausgebildet sein können. Darüber hinaus umfasst das Fahrerassistenzsystem 2 eine Kommunikationseinrichtung 6, mittels welcher Daten drahtlos ausgesendet und empfangen werden können.

Mit den Umfeldsensoren 4 können Sensordaten bereitgestellt werden, welche die Umgebung 5 des Fahrzeugs 1 beschreiben. Diese Sensordaten können von den Umfeldsensoren 4 an das Steuergerät 3 übertragen werden. Des Weiteren kann mittels des Fahrerassistenzsystems 2 eine Trajektorie für ein Parkmanöver geplant werden. Bei diesem Parkmanöver kann das Fahrzeug 1 beispielsweise in eine Parklücke eingeparkt werden oder aus einer Parklücke ausgeparkt werden. Das Fahrerassistenzsystem 2 kann zudem weitere Umfeldsensoren 4, beispielsweise eine Mehrzahl von Ultraschallsensoren aufweise, mit denen während der Durchführung des Parkmanövers Objekt bzw. Hindernisse in der Umgebung 5 des Fahrzeugs 1 erfasst werden können. Mittels des Steuergeräts 3 können entsprechende Steuersignale an eine Lenkung, einen Antriebsmotor und/oder ein Bremssystem des Fahrzeugs 1 übertragen werden, um das Fahrzeug 1 während des Parkmanövers automatisiert oder zumindest teilautonom zu manövrieren.

In der Umgebung 5 des Fahrzeugs 1 befindet sich ein Nutzer 7, welcher ein mobiles Endgerät 8 hält. Dieses mobile Endgerät 8, welches insbesondere als Smartphone oder Tablet-Computer ausgebildet sein kann, ist schematisch in Fig. 2 dargestellt. Das mobile Endgerät 8 und das Fahrerassistenzsystem 2 bilden zusammen ein System 21. Das mobile Endgerät 8 umfasst eine Kamera 9, mittels welcher Bilder bzw. Bilddaten von der Umgebung 5 und dem Fahrzeug 1 bereitgestellt werden können. Des Weiteren umfasst das mobile Endgerät 8 eine Anzeigeeinrichtung 10, mittels welcher eine Anzeige bereitgestellt werden kann. Diese Anzeige kann auf Grundlage der Bilddaten, die mit der Kamera 9 aufgezeichnet werden, bereitgestellt werden. Außerdem umfasst das mobile Endgerät 8 eine Erfassungseinrichtung 11, mittels welcher eine Bedieneingabe auf der Anzeigeeinrichtung 10 erfasst werden kann. In dem vorliegenden Beispiel sind die Anzeigeeinrichtung 10 und die Erfassungseinrichtung 11 durch einen berührungsempfindlichen Bildschirm gebildet.

Außerdem umfasst das mobile Endgerät 8 einen Bewegungssensor 12, mittels welchem eine Bewegung des mobilen Endgeräts 8 erfasst werden kann. Mit dem Bewegungssensor 12 kann eine Drehung, eine Neigung, eine Beschleunigung oder dergleichen des mobilen Endgeräts 8 erfasst werden. Mittels des Bewegungssensors 12 kann eine Bedieneingabe in Form einer Bewegung des gesamten mobilen Endgeräts 8 erfasst werden. Ferner umfasst das mobile Endgerät 8 eine Kommunikationseinrichtung 13, welche dazu dient Daten drahtlos mit der Kommunikationseinrichtung 6 des Fahrerassistenzsystems 2 auszutauschen. Schließlich umfasst das mobile Endgerät 8 eine Recheneinrichtung 14, welche mit der Kamera 9, der Anzeigeeinrichtung 10, der Erfassungseinrichtung 11, dem Bewegungssensor 12 und der Kommunikationseinrichtung 13 zur Datenübertragung verbunden ist.

Um die relative Lage zwischen dem mobilen Endgerät 8 und dem Fahrzeug 1 bestimmen zu können, können entsprechende Daten zwischen der Kommunikationseinrichtung 13 des mobilen Endgeräts 8 und der Kommunikationseinrichtung 6 des Fahrerassistenzsystems 2 zu unterschiedlichen Zeitpunkten ausgetauscht werden. Es kann auch vorgesehen sein, dass zur Bestimmung der jeweiligen Position bzw. der relativen Lage zueinander entsprechende GPS-Empfänger des Fahrzeugs 1 und des mobilen Endgeräts 8 genutzt werden. Ferner kann die Position des Fahrzeugs 1 relativ zu dem mobilen Endgerät 8 anhand der Bilddaten und einer entsprechenden Bildverarbeitung bestimmt werden.

Fig. 3 zeigt die Umgebung 5 des Fahrzeugs 1 sowie das mobile Endgerät 8, auf dessen Anzeigeeinrichtung 10 Teile der Umgebung 5 angezeigt werden. Vorliegend wird das mobile Endgerät 8 bzw. das Smartphone dazu genutzt, eine geeignete Parkfläche 15 für das Fahrzeug 1 zu suchen. Vorliegend befindet sich der Nutzer 7 in der Umgebung 5 des Fahrzeugs 1 und positioniert das mobile Endgerät so, dass sich die mögliche Parkfläche 15 in dem Erfassungsbereich bzw. Sichtfeld der Kamera 9 befindet. Mit entsprechenden Verfahren der Bildverarbeitung kann die Parklücke bzw. die Parkfläche 15 vermessen werden und mittels der Recheneinrichtung 14 des mobilen Endgeräts überprüft werden, ob die Abmessungen der Parkfläche 15 ausreichend sind, um das Fahrzeug 1 in die Parkfläche 15 einzuparken.

Falls die Abmessungen der Parkfläche 15 ausreichend sind, um das Fahrzeug 1 einzuparken, kann dies dem Nutzer entsprechend angezeigt werden. In dem vorliegenden Beispiel wird dem Nutzer ein Symbol 16 eingeblendet, welches angibt, dass die ausgewählte Parkfläche 15 für das Fahrzeug 1 geeignet ist. Hierbei kann es ferner vorgesehen sein, dass dieses Symbol 16 mit einer entsprechenden Farbe, beispielsweise in grüner Farbe, angezeigt wird. Falls die ausgewählte Parkfläche 15 bezüglich der Abmessungen nicht ausreichend ist, um das Fahrzeug 1 auf der Parkfläche 15 abzustellen, kann ein entsprechendes Symbol 16 in roter Farbe angezeigt werden. Darüber hinaus wird dem Nutzer auf der Anzeigeeinrichtung 10 des mobilen Endgeräts 8 ein weiteres Symbol 17 eingeblendet, und ihm somit die Möglichkeit bereitgestellt, diesen Parkplatz bzw. die Parkfläche 15 auszuwählen. Falls der Nutzer 7 die Parkfläche 15 ausgewählt hat, können entsprechende Daten von dem mobilen Endgerät 8 an das Fahrerassistenzsystem 2 übertragen werden. Diese Daten können die Position und die Abmessungen der Parkfläche 15 beschreiben. Im Anschluss daran kann mittels des Fahrerassistenzsystems 2 dann eine Trajektorie für das Fahrmanöver bzw. Parkmanöver zu der Parkfläche 15 ermittelt werden.

Fig. 4 zeigt die Umgebung 5 des Fahrzeugs 1 sowie das mobile Endgerät 8, auf dem ferner Teile der Umgebung 5 und des Fahrzeugs 1 angezeigt werden. Vorliegend wird mittels des Fahrerassistenzsystems 2 aktuell das Parkmanöver durchgeführt. Hierbei wird das Fahrzeug 1 zumindest teilautonom rückwärts in eine Längsparklücke manövriert. Dabei kann das Parkmanöver durchgeführt werden, solange sich zumindest ein vorbestimmter Teil des Fahrzeugs 1 in den Erfassungsbereich der Kamera 9 befindet bzw. auf der Anzeigeeinrichtung 10 angezeigt wird. Andernfalls kann das Parkmanöver unterbrochen werden. Zudem ist vorgesehen, dass das Parkmanöver durchgeführt wird, solange von dem Nutzer 7 an dem mobilen Endgerät 8 eine vorbestimmte Bedieneingabe durchgeführt wird. Dabei ist die Bedieneingabe so ausgestaltet, dass diese die Bewegung des Fahrzeugs 1 während des Parkmanövers beschreibt bzw. nachbildet.

In dem vorliegenden Beispiel wird während des Parkmanövers auf der Anzeigeeinrichtung 10 zudem ein Trajektorien-Symbol 18 eingeblendet. Dieses Trajektorien-Symbol 18 beschreibt den Verlauf bzw. die Bewegung des Fahrzeugs 1 während des Parkmanövers. Dabei ist vorgesehen, dass der Nutzer 7 während des Parkmanövers als Bedieneingabe eine Wischbewegung mit zumindest einem Finger auf der Erfassungseinrichtung 11 bzw. dem berührungsempfindlichen Bildschirm durchführt, wobei die Wischbewegung entlang des Trajektorien-Symbols 18 durchgeführt wird. Mit anderen Worten zeichnet der Nutzer 7 während der Bedieneingabe mit einem Finger das Trajektorien-Symbol 18 auf der Anzeigeeinrichtung 10 nach. In dem vorliegenden Beispiel wird zusätzlich ein Positions- Symbol 19 eingeblendet, welches die aktuelle Position des Fahrzeugs 1 auf der Trajektorie beschreiben kann. Fig. 5 zeigt die Umgebung 5 des Fahrzeugs 1 sowie das mobile Endgerät, welches Teile der Umgebung 5 und des Fahrzeugs 1 anzeigt, bei einem Parkmanöver gemäß einerweiteren Ausführungsform. Auch hier wird das Fahrzeug 1 zumindest teilautonom rückwärts in eine Längsparklücke manövriert. Auch bei diesem Beispiel wird das Trajektorien-Symbol 18 sowie das Positions-Symbol 19 eingeblendet. In diesem Fall wird zusätzlich ein Fahrzeug-Symbol 20 eingeblendet, welches eine Außenkontur des Fahrzeugs 1 bzw. des Abbilds des Fahrzeugs 1 auf der Anzeigeeinrichtung 10 beschreibt. Dabei kann das Parkmanöver mittels des Fahrerassistenzsystems 2 gestartet werden, sobald das Fahrzeug-Symbol 20 mit dem Abbild des Fahrzeugs 1 auf der Anzeigeeinrichtung 10 übereinstimmt. Während des Manövrierens des Fahrzeugs 1 wird vorliegend als die Bedieneingabe das komplette mobile Endgerät 8 bewegt. Dabei erfolgt die Bewegung während dieser Bedieneingabe entlang der geplanten Trajektorie. Die Bewegung des mobilen Endgeräts 8 ist vorliegend durch das Pfeil- Symbol 21 veranschaulicht. Ein entsprechendes Pfeil-Symbol 21 kann dem Nutzer auch auf der Anzeigeeinrichtung 10 angezeigt werden. Die Bewegung des mobilen Endgeräts 8 kann mit Hilfe des Positionssensors 12 fortlaufend bestimmt werden.

In dem vorliegenden Beispiel ist es erforderlich, dass der Nutzer das mobile Endgerät 8 derart bewegt, dass das Fahrzeug-Symbol 20 mit dem Abbild des Fahrzeugs 1 übereinstimmt. Falls eine vorbestimmte Abweichung zwischen dem Fahrzeug-Symbol 20 und dem Abbild des Fahrzeugs 1 vorhanden ist, wird das Parkmanöver unterbrochen und das Fahrzeug 1 abgebremst. Dies ist vorliegend in Fig. 6 veranschaulicht. Hierbei weist das Fahrzeug-Symbol 20 eine deutliche Abweichung von dem Abbild des Fahrzeugs 1 auf der Anzeigeeinrichtung 10 auf. In diesem Fall kann das Parkmanöver wieder fortgesetzt werden, wenn das Fahrzeug-Symbol 20 mit dem Abbild des Fahrzeugs 1 in Übereinstimmung gebracht wird.