Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR ASSISTING AT LEAST ONE OPERATOR IN PERFORMING PLANNING AND/OR CONTROL TASKS
Document Type and Number:
WIPO Patent Application WO/2021/110555
Kind Code:
A1
Abstract:
The invention relates to an assistance system for assisting at least one operator in performing situation-dependent planning and/or control tasks of a traffic space with a multiplicity of road users, wherein the assistance system comprises: - a first data interface which is configured to receive position information relating to the road users of the traffic space; - a second data interface which is configured to receive planning data, assigned to the respective road users, of the operator in order to control the road users within the respective traffic space; and - a projection device which, in order to generate an augmented external view for the operator into the natural external view of at least part of the traffic space, is designed in such a way that the planning data assigned to the individual road users is projected into the operator's natural external view of the respective road users in accordance with the position information of the road users, so that said data is perceived by the operator in a positionally accurate fashion.

Inventors:
GÜRLÜK HEJAR (DE)
CHRISTOFFELS LOTHAR (DE)
Application Number:
PCT/EP2020/083657
Publication Date:
June 10, 2021
Filing Date:
November 27, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
DEUTSCH ZENTR LUFT & RAUMFAHRT (DE)
International Classes:
G08G5/02; G08G5/00; G08G5/06
Foreign References:
US20050231419A12005-10-20
DE102011107934A12013-01-24
US20050231419A12005-10-20
Other References:
GURLUK HEJAR ET AL: "Assessment of Risks and Benefits of Context-Adaptive Augmented Reality for Aerodrome Control Towers", 2018 IEEE/AIAA 37TH DIGITAL AVIONICS SYSTEMS CONFERENCE (DASC), IEEE, 23 September 2018 (2018-09-23), pages 1 - 10, XP033469448, DOI: 10.1109/DASC.2018.8569859
GUERLUEK ET AL: "Flight Data Handling with Augmented Reality - From a display system to an interactive operating system for Aerodrome Control Towers", 26 June 2018 (2018-06-26), pages 1 - 4, XP009525563, Retrieved from the Internet [retrieved on 20210211]
Attorney, Agent or Firm:
GRAMM, LINS & PARTNER PATENT- UND RECHTSANWÄLTE PARTGMBB (DE)
Download PDF:
Claims:
Patentansprüche:

1. Unterstützungssystem (10) zur Unterstützung mindestens eines Operateurs (100) bei situationsabhängigen Planungs- und/oder Führungsaufgaben eines Verkehrsraumes (200) mit einer Mehrzahl von Verkehrsteilnehmer (210), wo bei das Unterstützungssystem (10) aufweist:

- eine erste Datenschnittstelle (16), die zum Erhalten von Positionsinformati onen bezüglich der Verkehrsteilnehmer (210) des Verkehrsraumes (200) eingerichtet ist;

- eine zweite Datenschnittstelle (18), die zum Erhalten von den betreffenden Verkehrsteilnehmern (210) zugeordneten Planungsdaten (220) des Opera teurs (100) zur Führung der Verkehrsteilnehmer (210) innerhalb des betref fenden Verkehrsraumes (200) eingerichtet ist; und

- eine Projektionseinrichtung (14), die zum Erzeugen einer augmentierten Außenansicht für den Operateur (100) in die natürliche Außensicht (12) auf zumindest einen Teil des Verkehrsraumes (200) derart ausgebildet ist, dass in Abhängigkeit von den Positionsinformationen der Verkehrsteilneh mer (210) die den einzelnen Verkehrsteilnehmern (210) zugeordneten Pla nungsdaten (220) an den jeweiligen Verkehrsteilnehmern (210) zur ort streuen Wahrnehmung durch den Operateur (100) in die natürliche Außen sicht (12) des Operateurs (100) projiziert werden.

2. Unterstützungssystem (10) nach Anspruch 1, dadurch gekennzeichnet, dass der Verkehrsraum (200) ein Flughafen und/oder ein Luftraum ist.

3. Unterstützungssystem (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die den Verkehrsteilnehmern (210) zugeordneten Planungsdaten (220) eine Sequenzposition innerhalb einer Abflugsequenz und/oder einer Landese quenz sind, wobei die Projektionseinrichtung (14) eingerichtet ist, die den Ver kehrsteilnehmern (210) zugeordneten Sequenzpositionen an den jeweiligen Verkehrsteilnehmern (210) zur ortstreuen Wahrnehmung durch den Operateur (100) in die natürliche Außensicht (12) des Operateurs zu projizieren.

4. Unterstützungssystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Projektionseinrichtung (14) eingerichtet ist, Infrastrukturelemente des Verkehrsraumes (200) zur ortstreuen Wahrneh mung durch den Operateur (100) in die natürliche Außensicht (12) des Opera teurs (100) zu projizieren.

5. Unterstützungssystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Datenverarbeitungseinheit vorgesehen ist, die eingerichtet ist, für mindestens einen Verkehrsteilnehmer (210) den opera tioneilen Kontext basierend auf Zustandsdaten des Verkehrsraumes (200) und/oder der Verkehrsteilnehmer (210) zu ermitteln und in Abhängigkeit von dem ermittelten operationeilen Kontext den jeweiligen Verkehrsteilnehmer (210) betreffende Verkehrsdaten auszuwählen, wobei die Projektionseinheit weiterhin eingerichtet ist, die basierend auf dem operationeilen Kontext ausge wählten Verkehrsdaten an dem jeweiligen Verkehrsteilnehmer (210) zur ort streuen Wahrnehmung durch den Operateur (100) in die natürliche Außen sicht (12) des Operateurs (100) zu projizieren.

6. Unterstützungssystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Datenverarbeitungseinheit vorgesehen ist, die eingerichtet ist, für mindestens einen Verkehrsteilnehmer (210) den opera tioneilen Kontext basierend auf Zustandsdaten des Verkehrsraumes (200) und/oder der Verkehrsteilnehmer (210) zu ermitteln und in Abhängigkeit von dem ermittelten operationeilen Kontext für den jeweiligen Verkehrsteilnehmer (210) mindestens eine entsprechende Interaktionsmöglichkeit mit dem Ver kehrsteilnehmer (210) und/oder einem Infrastrukturelement des Verkehrsrau mes (200) auszuwählen, wobei die Projektionseinheit weiterhin eingerichtet ist, die basierend auf dem operationeilen Kontext ausgewählten Interaktions möglichkeiten als Interaktionselement an dem jeweiligen Verkehrsteilnehmer (210) zur ortstreuen Wahrnehmung durch den Operateur (100) in die natürli che Außensicht (12) des Operateurs (100) zu projizieren.

7. Verfahren zur Unterstützung mindestens eines Operateurs (100) bei situati onsabhängigen Planungs- und/oder Führungsaufgaben eines Verkehrsrau mes (200) mit einer Mehrzahl von Verkehrsteilnehmer (210), wobei das Ver fahren die folgenden Schritte aufweist:

- Erhalten von Positionsinformationen bezüglich der Verkehrsteilnehmer (210) des Verkehrsraumes (200) mittels einer ersten Datenschnittstelle (16);

- Erhalten von den betreffenden Verkehrsteilnehmern (210) zugeordneten Planungsdaten des Operateurs (100) zur Führung der Verkehrsteilnehmer (210) innerhalb zumindest eines Teilbereiches des betreffenden Verkehrs raumes (200) mittels einer zweiten Datenschnittstelle (18); und

- Erzeugen einer augmentierten Außenansicht für den Operateur (100) in die natürliche Außensicht (12) auf zumindest einen Teil des Verkehrsrau mes (200) mittels einer Projektionseinrichtung (14) derart, dass in Abhän gigkeit von den Positionsinformationen der Verkehrsteilnehmer (210) die den einzelnen Verkehrsteilnehmern (210) zugeordneten Planungsdaten an den jeweiligen Verkehrsteilnehmern (210) zur ortstreuen Wahrnehmung durch den Operateur (100) in die natürliche Außensicht (12) des Opera teurs (100) projiziert werden.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Verkehrsraum (200) ein Flughafen und/oder ein Luftraum ist.

9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die den Verkehrsteilnehmern (210) zugeordneten Planungsdaten eine Sequenzposi tion innerhalb einer Abflugsequenz und/oder einer Landesequenz sind, wobei die den Verkehrsteilnehmern (210) zugeordneten Sequenzpositionen an den jeweiligen Verkehrsteilnehmern (210) zur ortstreuen Wahrnehmung durch den Operateur (100) in die natürliche Außensicht (12) des Operateurs (100) mittels der Projektionseinrichtung (14) projiziert werden.

10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass Infrastrukturelemente des Verkehrsraumes (200) zur ortstreuen Wahrneh mung durch den Operateur (100) in die natürliche Außensicht (12) des Opera teurs (100) zu projizieren.

11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass mittels einer Datenverarbeitungseinheit für mindestens einen Verkehrsteilneh mer (210) der operationeile Kontext basierend auf Zustandsdaten des Ver kehrsraumes (200) und/oder der Verkehrsteilnehmer (210) zu ermittelt und in Abhängigkeit von dem ermittelten operationeilen Kontext des jeweiligen Ver kehrsteilnehmers (210) betreffende Verkehrsdaten ausgewählt werden, wobei die basierend auf dem operationeilen Kontext ausgewählten Verkehrsdaten an dem jeweiligen Verkehrsteilnehmer (210) zur ortstreuen Wahrnehmung durch den Operateur (100) in die natürliche Außensicht (12) des Operateurs (100) mittels der Projektionseinheit projiziert werden.

12. Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass mittels einer Datenverarbeitungseinheit für mindestens einen Verkehrsteilneh mer (210) der operationeile Kontext basierend auf Zustandsdaten des Ver kehrsraumes (200) und/oder der Verkehrsteilnehmer (210) ermittelt und in Ab hängigkeit von dem ermittelten operationeilen Kontext für den jeweiligen Ver kehrsteilnehmer (210) mindestens eine entsprechende Interaktionsmöglichkeit mit dem Verkehrsteilnehmer (210) und/oder einem Infrastrukturelement des Verkehrsraumes (200) ausgewählt wird, wobei die basierend auf dem operati oneilen Kontext ausgewählten Interaktionsmöglichkeiten als Interaktionsele ment an dem jeweiligen Verkehrsteilnehmer (210) zur ortstreuen Wahrneh mung durch den Operateur (100) in die natürliche Außensicht (12) des Opera teurs (100) mittels der Projektionseinheit projiziert werden.

Description:
Verfahren und Vorrichtung zur Unterstützung mindestens eines Operateurs bei Planungs- und/oder Führungsaufgaben die Erfindung betrifft ein Unterstützungssystem zur Unterstützung mindestens eines Operateurs bei situationsabhängigen Planungs- und/oder Führungsaufgaben eines Verkehrsraumes mit einer Mehrzahl von Verkehrsteilnehmern. Die Erfindung betrifft ebenso ein Verfahren hierzu.

Durch den weiter steigenden Grad der Automation in fast allen Lebensbereichen kommen vermehrt immer mehr Assistenzsysteme zum Einsatz, die ganz oder nur in Teilbereichen die Planungs- und/oder Führungsaufgaben eines Operateurs unterstüt zen oder sogar vollständig die Kontrolle übernehmen sollen, um die mit der Pla nungs- und/oder Führungsaufgabe betraute Person zu entlasten und die Sicherheit zu erhöhen.

Zur Sicherung und Kontrolle von Verkehrsräumen, insbesondere eines Luftraumes in der Umgebung von Flughäfen oder eines Seeraumes in der Umgebung eines Ha fens, existieren in der Regel Verkehrsleitzentralen (umgangssprachlich oft auch als Center bzw. Tower oder Warte bezeichnet), die den jeweiligen Verkehr in ihrem Ein flussgebiet kontrollieren und auch steuern, indem Anweisungen an die Fahrzeugbe satzung bzw. Fahrzeugführer übermittelt werden. Hierbei spielt der Faktor Mensch eine große Rolle, da auch heute noch ein Großteil der Verkehrsführungsaufgaben, die von der Verkehrsleitzentrale durchgeführt werden, durch den sogenannten Lot sen erfolgen.

Ein Lotse regelt dabei den Verkehr innerhalb des ihm anvertrauten Einsatzgebietes des Verkehrsraumes, wobei in der Regel eine direkte Verkehrsführung erfolgt. Durch direkte Anweisungen an ein betreffendes Fahrzeug, die nur das jeweilige Fahrzeug selber betreffen und dafür gedacht sind, werden Handlungen der Fahrzeugführer des betreffenden Fahrzeuges aufgrund der direkten Anweisungen des Lotsen initiiert, so- dass hierrüber der gesamte Verkehr innerhalb des Verkehrsraumes geregelt und ge steuert werden kann. Ein Lotse hat dabei in der Regel ein deutlich höheres Situati onsbewusstsein bezüglich der gesamten Verkehrssituation in dem Verkehrsraum als die einzelnen Fahrzeugführer der Fahrzeuge des Verkehrsraumes.

Handelt es sich bei dem Verkehrsraum bspw. um einen Luftraum, bspw. in der Um gebung einen Flughafens, so ist der Lotse ein Fluglotse, der für den Flugverkehr in nerhalb des ihm anvertrauten Einsatzgebietes verantwortlich ist und dafür Sorge zu tragen hat, dass die Flugzeuge sicher und ggf. auch ökonomisch durch den ihm an vertrauten Einzugsbereich geführt werden. Hierbei spielt insbesondere das Landen auf einem Flughafen sowie das Starten von einem Flughafen und die sich daran an schließende Führung des Flugzeuges durch den Luftraum eine besonders große Rolle.

So wird bei Fluglotsen basierend auf den Radardaten, den von den Flugzeugen aus gesendeten Informationen und weiteren externen Zustandsdaten (bspw. Wetterda ten) die Gesamtsituation in einem bestimmten Flugbereich (beispielsweise im Anflug bereich eines Flughafens) kontinuierlich ermittelt und graphisch auf einem Display dem Lotsen angezeigt, um so den Fluglotsen ein möglichst umfassendes Situations bewusstsein zu verschaffen. Außerdem können je nach verwendetem System auch Handlungsoptionen generiert und dem Lotsen angezeigt werden, um ihn bei seiner Planungs- und/oder Führungsaufgabe noch besser unterstützen zu können. Derar tige Handlungsoptionen werden dabei basierend auf dem Zustand der Gesamtsitua tion, wie er sich aus den Zustandsdaten ergibt, von dem System automatisch gene riert und dem Lotsen dann präsentiert.

Aus der DE 10 2011 107 934 A1 ist ein Assistenzsystem zur Unterstützung bei situa tionsabhängigen Planungs- und/oder Führungsaufgaben einer Regelstrecke bekannt, wobei auch hier gattungsgemäß zunächst mithilfe einer Zustandserfassungseinheit der Zustand der Regelstrecke sensorisch erfasst wird. Mithilfe einer akustischen Auf nahmeeinheit werden akustische Sprachsignale zwischen dem Lotsen und einem Pi loten im Luftraum aufgenommen und analysiert, wobei basierend auf dem Inhalt der Sprachsignale zwischen Lotse und Pilot dann der Zustand der Regelstrecke ange passt wird.

Aufgrund der häufig sehr hohen Informationsdichte derartiger Assistenzsysteme fo kussiert der Operateur, der das Assistenzsystem nutzt, seine Aufmerksamkeit auf die relevanten Ereignisse. Zur Unterstützung werden dabei diskrete Ereigniselemente zur Wahrnehmung durch verschiedene Sinne präsentiert, um die Aufmerksamkeit des Operateurs auf diejenigen Ereignisse und Informationen zu fokussieren, die aus Sicht des Assistenzsystems einer Handlung durch den Operateur bedürfen.

Gerade im Nahbereich des Verkehrsraumes, beispielsweise die Vorfeldkontrolle, ist die Außensicht insbesondere bei der Platzverkehrskontrolle unerlässlich, um ein an gemessenes Situationsbewusstsein zu gewährleisten. Der Übergang vom Blick nach draußen (Head-Up) auf die Anzeigesysteme (Head-Down) kann unter Umständen sehr kritisch sein, wenn sich aufgrund von komplexen Verkehrssituationen die Blick zeiten auf die Anzeigesysteme stark verlängern. Gerade beim Nachtflugbetrieb oder bei schlechten Sichtbedingungen sind die Lotsen noch stärker von ihren Anzeigesys temen abhängig, was noch längere Head-Down Zeiten zur Folge hat.

Aus der US 2005/0231419 A1 ist ein Augmented-Reality-System bekannt, bei dem Verkehrsdaten, die von verschiedenen Sensoren eines Flughafens gesammelt wur den, angezeigt werden. Das System reagiert auch auf physische Gesten des Lotsen, um bestimmte Verkehrsteilnehmer auszuwählen und mit diesem zu kommunizieren.

Allerdings können durch derartige Systeme lediglich bestehende und durch Senso ren erfassbare Verkehrsdaten dargestellt werden, wie sie bereits durch herkömmli che Assistenzsysteme (Head-Down) darstellbar sind. Das Situationsbewusstsein ei nes Lotsen erstreckt sich jedoch nicht nur auf die vorhandenen Verkehrsdaten, son dern auch auf seine Planungsdaten, wie der Verkehrsraum mit seinen vielen Ver kehrsteilnehmern zukünftig aussehen soll.

Derartige Planungsdaten eines Lotsen, beispielsweise eines Fluglotsen, werden auch heute noch manuell (beispielsweise in Form von Papierstreifen) oder durch elektronische Assistenzsysteme abgebildet, die dann auf die Außenansicht durch den Operateur mental übertragen werden müssen. Dies bindet jedoch mentale Kapa zitäten bei dem Operateur und verhindert so die Aufmerksamkeit auf entsprechend andere, wichtigere Elemente.

Es ist daher Aufgabe der vorliegenden Erfindung ein verbessertes System sowie Verfahren anzugeben, mit dem ein Operateur bei situationsabhängigen Planungs und/oder Führungsaufgaben eines Verkehrsraumes auch hinsichtlich seiner Pla nungsdaten besser unterstützt werden kann.

Die Aufgabe wird mit dem Unterstützungssystem gemäß Anspruch 1 sowie dem Ver fahren gemäß Anspruch 7 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den entsprechenden Unteransprüchen.

Gemäß Anspruch 1 wird ein Unterstützungssystem zur Unterstützung mindestens ei nes Operateurs (beispielsweise Lotsen, insbesondere Fluglotsen) bei situationsab hängigen Planungs- und/oder Führungsaufgaben eines Verkehrsraumes mit einer Mehrzahl von Verkehrsteilnehmern vorgeschlagen, wobei das Unterstützungssystem eine erste Datenschnittstelle, eine zweite Datenschnittstelle und eine Projektionsein richtung aufweist.

Über die erste Datenschnittstelle erhält das Unterstützungssystem entsprechende Positionsinformationen bezüglich der Verkehrsteilnehmer des jeweiligen Verkehrs raumes, der dem Operateur zugewiesen ist.

Unter einem Verkehrsraum im Sinne der vorliegenden Erfindung wird dabei ein abge grenztes Gebiet oder ein abgegrenzter Bereich verstanden, innerhalb dessen der mindestens eine Operateur für die sichere Führung der sich im Verkehrsraum befind lichen Verkehrsteilnehmer verantwortlich ist. Das Gebiet oder der Bereich kann dabei territorial begrenzt sein. So kann es sich bei dem Verkehrsraum beispielsweise um einen Luftraum anfliegender und/oder abfliegender Flugzeuge handeln. Es kann sich bei dem Verkehrsraum aber auch um ein bodenbezogenes Gebiet handeln, bei spielsweise das Vorfeld eines Flughafens. Unter einer zu assistierenden Situation wird dabei innerhalb eines Bereiches (Ver kehrsraum) oder eines Gebietes die Durchführung von Planungs- und/oder Füh rungsaufgaben verstanden, wie beispielsweise das Steuern von Flugzeugen inner halb eines Luftraumes oder Bodengebietes durch einen oder mehrere Fluglotsen o- der das Steuern von Schiffen innerhalb eines Hafenbereiches durch einen oder meh rere Hafenlotsen.

Die Positionsinformationen, die dem Unterstützungssystem über die erste Daten schnittstelle zugeführt werden, enthalten dabei die Position eines, mehrerer oder al ler Verkehrsteilnehmer innerhalb des Verkehrsraumes in Bezug zu einem vorgege benen Referenzsystem oder Referenzpunkt. Mithilfe der Positionsinformationen las sen sich demnach sämtliche Verkehrsteilnehmer innerhalb des Verkehrsraumes lo kalisieren.

Die zweite Datenschnittstelle ist eingerichtet, die den betreffenden Verkehrsteilneh mern zugeordneten Planungsdaten des Operateurs zur Führung der Verkehrsteilneh mer innerhalb des betreffenden Verkehrsraumes dem Unterstützungssystem bereit zustellen.

Mithilfe der Projektionseinrichtung wird nun eine augmentierte Außenansicht für den Operateur in die natürliche Außensicht auf zumindest einen Teil des Verkehrsraumes erzeugt, wobei die augmentierte Außensicht in Abhängigkeit von den Positionsinfor mationen der Verkehrsteilnehmer und den Planungsdaten der Verkehrsteilnehmer erfolgt. Dabei werden die Planungsdaten der jeweiligen Verkehrsteilnehmer mithilfe der Projektionseinrichtung zur ortstreuen Wahrnehmung durch den Operateur in die natürliche Außensicht des Operateurs indiziert.

Mithilfe der vorliegenden Erfindung wird es somit möglich, den vom Operateur er zeugten Plan zum Führen der Verkehrsteilnehmer innerhalb des Verkehrsraumes in die natürliche Außensicht so zu projizieren, dass die den einzelnen Verkehrsteilneh mern zugeordneten Planungsdaten entsprechend an diesen Verkehrsteilnehmern angezeigt werden. Damit kann der Operateur auch beim Blick aus dem Kontrollzent- rum heraus (Head-Up) die von ihm erzeugten Planungsdaten zum Führen der Ver- kehrsteilnehmer in einer visualisierten Form erkennen, wodurch das Situationsbe wusstsein zu jeder Zeit, d. h. sowohl bei Head-Up Zeiten als auch bei Head-Down Zeiten, stets aktuell und vollständig erhalten bleibt.

Dabei kann eine Kopplung der konventionellen Systeme mit der augmentierten Au ßenansicht vorgesehen sein, wodurch gewährleistet werden kann, dass der Lotse bei Ausfall des erfindungsgemäßen Unterstützungssystem und damit verbundener feh lender Funktionalität immer wieder in den konventionellen Arbeitsmodus zurückge hen kann. Da die Kopplung eine Datensynchronisation mit sich zieht, werden stets die in der augmentierten Außenansicht getätigten Dateneingaben in den konventio nellen Anzeigen/Systemen aktualisiert bzw. syncronisiert. Hierfür ist es besonders vorteilhaft, wenn über eine weitere, dritte Datenschnittstelle die durch das Unterstüt zungssystem generierten Daten an andere mit dem Unterstützungssystem gekoppel ten Assistenzsysteme übertragen und ausgetauscht werden.

Unter einer ortstreuen Darstellung von Planungsdaten an den Verkehrsteilnehmern wird im Sinne der vorliegenden Erfindung verstanden, dass die Planungsdaten in ei nem Umkreis um den jeweiligen Verkehrsteilnehmer herum visuell wahrnehmbar sind, sodass die so projizierten Planungsdaten als dem jeweiligen Verkehrsteilneh mer zugeordnet erkannt werden. Durch die unmittelbare Nähe der Darstellung der Planungsdaten an den jeweiligen Verkehrsteilnehmern wird somit sichergestellt, dass der Operateur die dargestellten Planungsdaten als zu dem entsprechenden Ver kehrsteilnehmer zugeordnet wahrnimmt und somit visuell die Zuordnung der darge stellten Planungsdaten zu den jeweiligen Verkehrsteilnehmern erkennt.

Wie bereits angesprochen, kann es sich bei dem Verkehrsraum um einen Teil eines Flughafens (beispielsweise Rollfeld oder Vorfeld) handeln und/oder um einen Luft raum, beispielsweise den Luftraum beim Starten der Flugzeuge oder beim Landen der Flugzeuge.

Gemäß einer Ausführungsform ist vorgesehen, dass die den Verkehrsteilnehmern zugeordneten Planungsdaten eine Sequenzposition innerhalb einer Abflugsequenz und/oder einer Landesequenz sind, wobei die Projektionseinrichtung eingerichtet ist, die den Verkehrsteilnehmern zugeordneten Sequenzpositionen an den jeweiligen Verkehrsteilnehmern zur ortstreuen Wahrnehmung durch den Operateur in die natür liche Außensicht des Operateurs zu projizieren. Solche Planungsdaten im Sinne der vorliegenden Erfindung können alternativ oder zusätzlich auch Identitätsinformatio nen wie z.B. LFZ Typ und Charakteristika wie z.B. Gewichtsklassen (Light/Me dium/Heavy) beinhalten

Hierdurch wird es möglich, dass der Operateur durch einen Blick nach außen (Au ßenansicht) sofort erkennen kann, welchem erkennbaren Verkehrsteilnehmer, den er in seiner natürlichen Außensicht sofort wahrnimmt, welche Sequenzposition inner halb seiner Abflugsequenz und/oder Landesequenz zugeordnet ist. Es bedarf hierfür keiner mentalen Transformation des analog vorliegenden Plans in die natürliche Au ßensicht, sondern der Operateur kann mit einem Blick aus seinem Kontrollraum bzw. Kontrollzentrum heraus sofort erkennen, welche sich dort befindliche Verkehrsteil nehmer (Flugzeug) an welcher Position innerhalb seiner geplanten Sequenz steht. Damit erhält der Operateur auch eine unmittelbare Übersicht über die gesamte Se quenz und kann so an den Verkehrsteilnehmern, die er aus seiner natürlichen Au ßensicht heraus erkennen kann, die gesamte geplante Sequenz visuell ablesen.

Gemäß einer Ausführungsform ist vorgesehen, dass die Projektionseinrichtung ein gerichtet ist, Infrastrukturelemente des Verkehrsraumes zur ortstreuen Wahrneh mung durch den Operateur in die natürliche Außensicht des Operateurs zu projizie ren. Dies ist insbesondere dann vorteilhaft, wenn die natürliche Außensicht beein trächtigt ist (beispielsweise in der Nacht oder bei schlechtem Wetter) und/oder wenn die Infrastrukturelemente des Verkehrsraumes aufgrund der Entfernung zum Opera teur oder weil sie nur virtuell vorliegen und der Steuerung des Verkehrs dienen (bei spielsweise Stopp-Bars) nicht erkennbar sind.

So kann die Projektionseinrichtung beispielsweise eingerichtet sein, die im Vorfeld eines Flughafens befindlichen Haltepunkte oder andere Steuerungselemente zur Steuerung der Flugzeuge auf dem Flughafen in Form einer augmentierten Darstel lung in die natürliche Außensicht des Operateurs zu projizieren, sodass sie für den Operateur visuell in der natürlichen Außensicht wahrnehmbar werden. Hierdurch können Head-Down Zeiten bzw. Cross-Checks verringert werden. Außerdem wird es so auch möglich, die Interaktionen mit den Infrastrukturelementen des Verkehrsraumes zu dokumentieren, wie beispielsweise die Dokumentation der Rollfreigabe. Wird beispielsweise über Sprechfunk eine Rollfreigabe erteilt über ein augmentierte Interaktionsmenü eingegeben, so wird simultan im entsprechenden augmentierten Label des betreffenden Luftfahrzeuges der aktuelle Freigabestatus dokumentiert und gleichzeitig der relevante Stopp-Bar geschaltet.

Gemäß einer Ausführungsform ist vorgesehen, dass mittels einer Datenverarbei tungseinheit für mindestens einen Verkehrsteilnehmer, vorzugsweise für alle Ver kehrsteilnehmer, der operationeile Kontext basierend auf Zustandsdaten des Ver kehrsraumes und/oder der Verkehrsteilnehmer ermittelt und in Abhängigkeit von dem ermittelten operationeilen Kontext den jeweiligen Verkehrsteilnehmer betreffende Verkehrsdaten ausgewählt wird, wobei die Projektionseinheit weiterhin eingerichtet ist, die basierend auf dem operationeilen Kontext ausgewählten Verkehrsdaten an dem jeweiligen Verkehrsteilnehmer zur ortstreuen Wahrnehmung durch den Opera teur in die natürliche Außensicht des Operateurs zu projizieren. Die Zustandsdaten des Verkehrsraumes und/oder der Verkehrsteilnehmer kann dabei über die erste Da tenschnittstelle dem Unterstützungssystem bereitgestellt werden.

Durch diese vorteilhafte Ausführungsform kann erreicht werden, dass einer Informa tionsüberladung durch zu viele, unnötige Informationen entgegengewirkt wird. Hier durch kann das Situationsbewusstsein erhöht werden, indem die relevantesten Infor mationen für den aktuellen operationeilen Kontextes angezeigt werden.

Gemäß einerweiteren Ausführungsform ist vorgesehen, dass mittels einer Datenver arbeitungseinheit für einen, mehrere oder alle relevanten Verkehrsteilnehmer der operationeile Kontext basierend auf Zustandsdaten des Verkehrsraumes und/oder der Verkehrsteilnehmer ermittelt und in Abhängigkeit von dem ermittelten operatio neilen Kontext für den jeweiligen Verkehrsteilnehmer mindestens eine entspre chende Interaktionsmöglichkeit mit dem Verkehrsteilnehmer und/oder einem Infra strukturelement des Verkehrsraumes ausgewählt wird, wobei die Projektionseinheit weiterhin eingerichtet ist, die basierend auf dem operationeilen Kontext ausgewähl ten Interaktionsmöglichkeiten als Interaktionselement an dem jeweiligen Verkehrsteil- nehmer zur ortstreuen Wahrnehmung durch den Operateur in die natürliche Außen sicht des Operateurs zu projizieren. Die Zustandsdaten des Verkehrsraumes und/o der der Verkehrsteilnehmer kann dabei über die erste Datenschnittstelle dem Unter stützungssystem bereitgestellt werden. Eine solche Interaktionsmöglichkeit kann bspw. durch ein Kontextmenü mit einem oder mehreren Menüeinträgen realisiert werden.

Durch diese vorteilhafte Ausführungsform kann erreicht werden, dass einer Informa tionsüberladung durch zu viele, unnötige Interaktionsmöglichkeiten entgegengewirkt wird. Hierdurch kann das Situationsbewusstsein erhöht werden, indem die relevan testen Aktionsmöglichkeiten basierend auf dem operationeilen Kontext eingeschränkt werden. So können durch das Schalten von Infrastrukturelementen an einem Flugha fen beispielsweise Routen- oder Pistensegmente gesperrt oder freigegeben werden. Auch lassen sich hierdurch beispielsweise Stopp-Bars schalten und so interaktiv eine entsprechende Rollfreigabe einleiten und dokumentieren. Dabei werden die mögli chen Interaktionsvarianten nur dann an den jeweiligen Infrastrukturelemente oder den Verkehrsteilnehmern angezeigt, wenn diese basierend auf dem operationeilen Kontext überhaupt möglich sind.

Unter dem operationeilen Kontext wird im Sinne der vorliegenden Erfindung derje nige Teil des Verfahrensablaufes zur Steuerung und Führung der Verkehrsteilneh mer verstanden, innerhalb dessen sich der jeweilige Verkehrsteilnehmer befindet. Steuerungs- und oder Führungsbefehle, die in Bezug auf den operationeilen Kontext keinen Sinn ergeben bzw. irrelevant oder nicht sinnvoll sind, werden demzufolge in der augmentierten Außenansicht auch nicht dargestellt.

Die Aufgabe wird im Übrigen auch mit dem Verfahren gemäß Anspruch 7 zur Unter stützung mindestens eines Operateurs bei situationsabhängigen Planungs- und/oder Führungsaufgaben eines Verkehrsraumes mit einer Mehrzahl von Verkehrsteilneh mer, wobei das Verfahren die folgenden Schritte aufweist:

- Erhalten von Positionsinformationen bezüglich der Verkehrsteilnehmer des Verkehrsraumes mittels einer ersten Datenschnittstelle;

- Erhalten von den betreffenden Verkehrsteilnehmern zugeordneten Pla nungsdaten des Operateurs zur Führung der Verkehrsteilnehmer innerhalb zumindest eines Teilbereiches des betreffenden Verkehrsraumes mittels einer zweiten Datenschnittstelle; und

- Erzeugen einer augmentierten Außenansicht für den Operateur in die na türliche Außensicht auf zumindest einen Teil des Verkehrsraumes mittels einer Projektionseinrichtung derart, dass in Abhängigkeit von den Positi onsinformationen der Verkehrsteilnehmer die den einzelnen Verkehrsteil nehmern zugeordneten Planungsdaten an den jeweiligen Verkehrsteilneh mern zur ortstreuen Wahrnehmung durch den Operateur in die natürliche Außensicht des Operateurs projiziert werden.

Vorteilhafte Ausgestaltungen des Verfahrens finden sich in den entsprechenden Un teransprüchen.

Die Erfindung wird anhand der beigefügten Figur beispielhaft näher erläutert. Es zeigt:

Figur 1 Schematische Darstellung des erfindungsgemäßen Unterstützungssys tems in einem Flughafenumfeld.

Figur 1 zeigt in einer schematisch stark vereinfachten Darstellung das Unterstüt zungssystem 10, mit dem ein Operateur 100 bei situationsabhängigen Planungs und/oder Führungsaufgaben eines Verkehrsraumes 200 mit einer Mehrzahl von Ver kehrsteilnehmern 210 unterstützt werden soll. Der Operateur 100 ist im Ausführungs beispiel der Figur 1 ein Fluglotse befindet sich in einem Kontrollturm bzw. Kontroll- raum, von wo er durch eine entsprechende Fensterscheibe einen direkten visuellen Blick auf den von ihm zu verantwortenden Verkehrsraum 200 hat. Der Blick aus dem Kontrollraum heraus ist somit für den Operateur 100 die natürliche Außenansicht bzw. Außensicht 12, um den Verkehrsraum 200 und die darin befindlichen Verkehrs teilnehmer 210 direkt visuell wahrnehmen zu können.

Diese natürliche Außenansicht 12 soll nun durch eine augmentierte Außenansicht er setzt werden, bei der der natürlichen Außenansicht 12 weitere Informationen bezüg lich des Verkehrsraumes 200 und den darin enthaltenen Verkehrsteilnehmern 210 künstlichen zugefügt werden. H ierfür weist das Unterstützungssystem 10 eine Pro jektionseinrichtung 14 auf, die eine erste Datenschnittstelle 16 und eine zweite Da tenschnittstelle 18 hat.

Über die erste Datenschnittstelle 16 ist die Projektionseinrichtung 14 mit einem Infor mationsmanagement 20 verbunden, das in der Regel Bestandteil des konventionel len Lotsenarbeitsplatzes ist. Über dieses Informationsmanagement 20 werden der Projektionseinrichtung 14 dabei nicht nur die Positionsdaten bzw. Positionsinformati onen (Ortungsdaten aus Bodenlage- und/oder Luftlageradar) der einzelnen Ver kehrsteilnehmer 210 bereitgestellt, sondern auch weitere Zustandsdaten des Ver kehrsraumes 200 bzw. der Verkehrsteilnehmer 210. Solche Zustandsdaten können beispielsweise Umgebungsdaten wie Wetterdaten, Sichtweitendaten (Transmissio- meter), diverse Sensordaten aus bestehenden Flugsicherungssystemen (beispiels weise Stopp-Bar-Schaltungen) sowie Nutzereingaben in bestehende konventionelle Mensch-Maschine-Schnittsteilen sein.

Über die zweite Datenschnittstelle 18 werden der Projektionseinrichtung 14 des Wei teren Planungsdaten des Operateurs 100 zur Führung der Verkehrsteilnehmer 210 innerhalb des betreffenden Verkehrsraumes 200 bereitgestellt, die aus einem TFDPS 22 (Tower Flight Data Processing System) stammen. Aus dem TFDPS 22 ist dabei insbesondere die Abflugsequenz der Verkehrsteilnehmer 210 des Verkehrsraumes 200 bekannt, indem jedem Verkehrsteilnehmer 210 eine Position bzw. Stelle inner halb der Abflugsequenz zugeordnet ist. Die Reihenfolge der Abflugsequenz ist dabei Bestandteil der Flugplandaten bzw. Planungsdaten des Operateurs 100.

Die erste Datenschnittstelle 16 und die zweite Datenschnittstelle 18 können dabei auch als eine gemeinsame Datenschnittstelle ausgebildet sein, bei diesem Fall das Informationsmanagement 20 und das TFDPS 22 über diese gemeinsame Daten schnittstelle mit der Projektionseinrichtung 14 verbunden werden. Das Informations management 20 und das TFDPS 22 können dabei aus einem demselben System hervorgehen.

Das Unterstützungssystem 10 weist des Weiteren eine Erkennungseinrichtung 24 auf, die dazu vorgesehen ist, die Position des Operateurs 100 in Bezug auf die natür liche Außensicht 12 zu ermitteln.

Basierend auf den Positionsinformationen der Verkehrsteilnehmer 210, die über die erste Datenschnittstelle 16 bereitgestellt werden, den Planungsdaten des Opera teurs, die über die zweite Datenschnittstelle 18 der Projektionseinrichtung 14 bereit gestellt werden, sowie der relativen Position des Operateurs 100 in Bezug auf die na türliche Außensicht 12, die über die Erkennungseinrichtung 24 bereitgestellt wird, werden nun mithilfe der Projektionseinrichtung 14 augmentierte Planungsdaten 220 in die natürliche Außensicht 12 zur ortstreuen Wahrnehmung durch den Operateur 100 an die jeweiligen Verkehrsteilnehmer 210 projiziert. Diese augmentierten Pla nungsdaten 220 beziehen sich im Ausführungsbeispiel der Figur 1 dabei auf die Rei henfolge der Sequenz, hier die Abflugsequenz, der Flugzeuge 210. Damit kann der Operateur 100 durch einen Blick aus seinem Kontrollturm heraus auf den Verkehrsraum 200 sofort erkennen, in welcher Reihenfolge die einzelnen Ver kehrsteilnehmer in seiner Abflugsequenz geplant sind. Dies ist insbesondere dann von großem Interesse, wenn die Flughafentopologie dergestalt ist, dass die Flug zeuge aus mehreren Richtungen auf die Landebahn eingefädelt werden müssen. Denn hier ist nicht auf den ersten Blick erkennbar, in welcher Reihenfolge die Flug zeuge abfliegen sollen.

Demzufolge wird mithilfe der Projektionseinrichtung 14 ein jedes Flugzeug 210 ein augmentiertes Label 230 projiziert, das durch den Operateur wahrnehmbar ist, wobei die Position der einzelnen Labels 230 so in die natürliche Außensicht 12 projiziert wird, dass der Operateur 100 das jeweilige Label 230 als zu dem entsprechenden Flugzeug zugehörig erkennt. Demzufolge werden die Labels 230 derart dicht an den Flugzeugen projiziert, dass eine eindeutige Zuordnung erkennbar ist, welches Label 230 zu welchem Flugzeug gehört. In diesen Labels 230 wird dann die Position inner halb der Abflugsequenz durch eine Sequenznummer angezeigt, um so die Reihen folge der Abflugsequenz über die gesamte natürlichen der Außenansicht hinweg er kennbar zu machen.

In diesen Labels 230 können weitere Daten angezeigt werden, wie beispielsweise Flugnummer, Kennung und andere Zustandsdaten des Flugzeuges und/oder des Verkehrsraumes (nicht dargestellt). Diese zusätzlichen Daten dienen insbesondere dazu, den jeweiligen Verkehrsteilnehmer in der augmentierten Außenansicht schnell zu identifizieren und ggf. eine Sequenz zu etablieren/generieren, ohne hierfür auf an dere Systeme zurückgreifen zu müssen.

Darüber hinaus lassen sich in der augmentierten Außensicht (bspw. an den Labels) auch Interaktionsmöglichkeiten in Form von auswählbaren Menüpunkten (Kontext menüs) 240 anzeigen, die kontextabhängig generiert werden, um so einer Informa tionsüberladung vorzubeugen. Solche Interaktionsmöglichkeiten 240 bieten dem Operateur 100 dabei die Möglichkeit, mit Infrastrukturelementen 250 des Flughafens und/oder den Verkehrsteilnehmern 210 direkt selbst zu kommunizieren und diese zu steuern. So lassen sich über augmentierte Menüs 240 in der natürlichen Außensicht 12 beispielsweise Stopp-Bars 250 schalten oder Anweisungen an den Verkehrsteil nehmer 210 digital oder per Sprechfunk übertragen.

Bezuqszeichenliste

10 Unterstützungssystem 12 natürliche Außensicht 14 Projektionseinrichtung

16 erste Datenschnittstelle 18 zweite Datenschnittstelle 20 Informationsmanagement 22 TFDPS 24 Erkennungseinrichtung

100 Operateur 200 Verkehrsraum 210 Verkehrsteilnehmer 220 augmentierte Planungsdaten 230 Labels

240 Kontextmenüs

250 Infrastrukturelemente des Flughafens




 
Previous Patent: WASTE RECEPTACLE

Next Patent: PULL-OUT GUIDE