Interagieren mit intelligenten Objekten in der Umgebung mobiler Geräte

Die vorliegende Erfindung betrifft eine Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts. Die vorliegende Erfindung betrifft weiterhin ein mobiles Gerät sowie ein Verfahren zum Interagieren mit einem intelligenten Objekt in einer Umgebung des mobilen Geräts sowie ein Computerprogrammprodukt.

Städte stehen aktuell vor der Herausforderung, bei der Stadtentwicklung die Digitalisierung der Gesellschaft miteinzubeziehen, um die Stadt effizient und technologisch fortschrittlich zu gestalten. Unter dem Stichwort "Smart City" werden in diesem Zusammenhang Ansätze zum Anwenden der fortschreitenden Digitalisierung in Städten und Gemeinden zusammengefasst. Insbesondere soll die Aus- und Aufrüstung bestehender und neuer Infrastrukturen mit digitaler Technologie sowie die Verknüpfung bisher getrennter Infrastrukturen oder ihrer Teilsysteme vorangetrieben werden.

Insbesondere Smartphones, aber auch Tablet Computer, Smartglasses, Smartwatches sowie andere mobile Geräte sind omnipräsent und bieten weitreichende Möglichkeiten zur Verwendung in einer Smart City. Anwendungen finden sich dabei unteranderem im Bereich des Transports, beispielsweise beim Anzeigen aktueller Fahrpläne öffentlicher Verkehrsmittel, der Information, beispielsweise beim Leiten und Informieren von Touristen sowie des Umweltschutzes, oder auch des Umweltschutzes, beispielsweise bei der Aufzeichnung und gezielten Vermeidung lokaler Schadstoffbelastungen.

In diesem Zusammenhang wird der Begriff des "Internet of things and services" oft dahingehend interpretiert, dass in intelligenten Objekten innerhalb einer Smart City Sensoren eingebettet sind, die Daten sammeln und diese für Anwendungen zur Verfügung stellen. Unter einem intelligenten Objekt wird dabei insbesondere ein in irgendeiner Weise kommunikationsfähiges Objekt verstanden, mit dem eine Interaktion im Sinne einer Reaktion des intelligenten Objekts auf Eingaben, Signale oder Abfragen möglich ist. Intelligente Objekte können beispielsweise Fahrplananzeigen an Straßenbahnhaltestellen, Ampeln, Straßenleuchten, Bewässerungseinrichtungen, Litfaßsäulen, Informationstafeln, Sensoren, Stolpersteine, Restaurants (Menükarte, Reservierung) etc. sein.

In diesem Zusammenhang wird in US 2020 073 482 A1 ein Verfahren und ein System zur Erkennung von taktilen Interaktionen in der erweiterten Realität offenbart. Programmaktionen können nach einer Detektion einer vordefinierten Geste eines Benutzers mit einem Objekt der realen Welt initiiert werden. Benutzer können mit ihrer Umgebung in einer erweiterten Realität (augmented reality) interagieren durch eine Detektion einer Interaktion mit realen Objekten unter Verwendung einer Kombination einer Orts- und Bewegungsdetektion mit einer Identifikation unter Verwendung tragbarer Sensoren (wearable sensors). Basierend auf einer detektierten Benutzerinteraktion mit einem Objekt der realen Welt kann eine vordefinierte Geste identifiziert werden und eine Programmaktion, die mit einer entsprechenden Zielinteraktion mit dem Objekt der realen Welt zusammenhängt, ausgeführt werden. In einigen Fällen kann die Erfahrung des Benutzers durch Bereitstellung einer haptischen Rückkopplung auf eine taktile Geste und ein Ereignis verbessert werden.

Eine Herausforderung liegt in diesem Zusammenhang in der Vereinfachung der Interaktion von Stadtbewohnern bzw. von Benutzern mobiler Geräte mit intelligenten Objekten. Beispielsweise haben ältere Menschen oft Schwierigkeiten, moderne Technologien einzusetzen und deren Benutzerschnittstellen intuitiv zu erfassen. Ansätze zur Integration der Digitalisierung in das tägliche Leben in einer Smart City oder in anderen Zusammenhängen sind hinsichtlich ihres Nutzens immer nur so gut wie ihre Schnittstelle bzw. ihre Interaktionsmöglichkeit mit Anwendern.

Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, eine Interaktion mit intelligenten Objekten zu ermöglichen bzw. zu vereinfachen. Insbesondere soll ein Ansatz geschaffen werden, der eine intuitiv erfassbare Interaktion ermöglicht. Unabhängig von der Art des intelligenten Objekts und der bereitgestellten Interaktionsmöglichkeit soll eine einfache und leicht bedienbare Interaktionsmöglichkeit geschaffen werden.

Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts, mit: einer Eingangsschnittstelle zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; einer Ausrichtungseinheit zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; einer Kommunikationseinheit zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und einer Benutzerschnittstelle zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. In einem weiteren Aspekt betrifft die vorliegende Erfindung em mobiles Gerat zum Interagieren mit einem intelligenten Objekt in einer Umgebung des mobilen Geräts, mit: einem Umgebungssensor zum Erfassen einer Relativposition des intelligenten Objekts; einem Ausrichtungssensor zum Erfassen einer Ausrichtung des mobilen Geräts; und einer Vorrichtung wie oben beschrieben.

Weitere Aspekte der Erfindung betreffen ein entsprechend der Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird. Zudem betrifft ein Aspekt der Erfindung ein Speichermedium, auf dem ein Computerprogramm gespeichert ist. Das Computerprogramm bewirkt, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens.

Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das Verfahren, das mobile Gerät und das Computerprogrammprodukt entsprechend der für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.

Erfindungsgemäß ist es vorgesehen, dass in der Vorrichtung einerseits Umgebungssensordaten und andererseits Ausrichtungssensordaten verarbeitet werden. Von einem Umgebungssensor werden Informationen zu einer Relativposition des intelligenten Objekts in Bezug zu dem mobilen Gerät umfasst. Es soll festgestellt werden, wo sich das intelligente Objekt befindet. Hierzu wird insbesondere eine absolute oder relative Positionsangabe des intelligenten Objekts empfangen. Von einem Ausrichtungssensor wird eine Information darüber empfangen, wie das mobile Gerät gegenüber der Umgebung ausgerichtet ist. Insbesondere wird also eine relative Lage des mobilen Geräts in Bezug zu der Umgebung empfangen.

Ausgehend von den Umgebungssensordaten und Ausrichtungssensordaten kann detektiert werden, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Insbesondere kann ermittelt werden, ob eine für das mobile Gerät vordefinierte Richtung derjenigen Richtung entspricht, in der sich das mobile Objekt befindet. Die für das mobile Geräte vordefinierte Richtung kann beispielsweise einer Richtung orthogonal zu einem Hauptdisplay des mobilen Geräts oder auch eine Richtung entlang einer Längsachse des mobilen Geräts entsprechen, je nach mobilem Gerät bzw. dessen Ausrichtung. Die für das mobile Gerät vordefinierte Richtung kann in anderen Worten also gegebenenfalls auch basierend auf der Ausrichtung des mobilen Geräts angepasst bzw. geändert werden.

Wenn festgestellt wird, dass das mobile Gerät auf das intelligente Objekt ausgerichtet wird, wird mittels einer Kommunikationseinheit eine Kommunikationsverbindung mit dem intelligenten Objekt hergestellt. Insbesondere wird eine Möglichkeit etabliert, mit dem intelligenten Objekt zu interagieren. Sobald diese Möglichkeit etabliert wurde und die Kommunikationsverbindung hergestellt wurde, wird über eine Benutzerschnittstelle der Vorrichtung bzw. eine entsprechende Ausgabeeinheit des mobilen Geräts der Benutzer des mobilen Geräts hierüber informiert. Der Benutzer kann dann mit dem intelligenten Objekt in seiner Umgebung in Interaktion treten.

Im Vergleich zu bisherigen Ansätzen des Herstellens einer Verbindung mit intelligenten Objekten, beispielsweise in einem Smart City-Umfeld, bewirkt die erfindungsgemäß vorgesehene Erkennung der Ausrichtung und Herstellung einer Kommunikationsverbindung in Abhängigkeit einer Ausrichtung eine Vereinfachung. In anderen Worten wird die Initiierung der Kommunikation intuitiver und passt automatisch zum aktuellen Kontext des Nutzers. Im Vergleich zu Ansätzen, bei denen ein Tastendruck oder eine Bedienung eines Touch-Displays notwendig ist, kann beispielsweise auf eine direkte Eingabe des Benutzers verzichtet werden. Für den Benutzer ergibt sich eine intuitive Interaktionsmöglichkeit mit intelligenten Objekten. Der Benutzer kann ohne komplexe Konfiguration direkt mit den intelligenten Objekten interagieren. Hierdurch wird eine Vereinfachung der Interaktion zwischen Benutzern und intelligenten Objekten erreicht, die zu einer verbesserten Annahme von Smart City-Konzepten führen kann.

In einer bevorzugten Ausgestaltung umfasst die Vorrichtung eine Gesteneinheit zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts ausgeführt wird, basierend auf den Ausrichtungssensordaten. Die Gesteneinheit ist vorzugsweise zum Erkennen der Geste basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet. Unter einer Geste wird insbesondere eine Bewegung des mobilen Geräts verstanden, die von dem Benutzer mit dem mobilen Gerät ausgeführt wird. Beispielsweise kann ein Benutzer sein Smartphone schwenken und diese Bewegung kann mittels eines Sensors erfasst werden. Diese Geste kann dann erkannt werden. Insbesondere ist es möglich, dass ein vortrainiertes künstliches neuronales Netzwerk oder ein anderer Ansatz des maschinellen Lernens verwendet wird, um die Geste zuverlässig und schnell zu erkennen. Für die Erkennung kann auch auf eine Datenbank zurückgegriffen werden.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung ausgebildet, unter der Bedingung, dass zuvor eine Aktivierungsgeste erkannt wurde. Zusätzlich oder alternativ ist die Kommunikationseinheit zum Beenden der Kommunikationsverbindung ausgebildet, wenn die Kommunikationsverbindung hergestellt ist und eine Deaktivierungsgeste erkannt wird. In anderen Worten ist es möglich, dass die Herstellung und Beendigung der Kommunikationsverbindung zusätzlich zu der Detektion der Ausrichtung bzw. der Ausrichtung des mobilen Geräts auf das intelligente Objekt auch noch von einer Geste abhängig gemacht wird. Hierdurch kann erreicht werden, dass em Benutzer des mobilen Geräts eine Kommunikationsverbindung nur bewusst herstellt. Es wird vermieden, dass unabsichtlich mit intelligenten Objekten interagiert wird. Die Aktivierungs- und Deaktivierungsgesten können dabei beispielsweise Dreh- und/oder Wendebewegungen eines Smartphones entsprechen. Die Interaktionsmöglichkeit wird weiter vereinfacht und die Benutzung wird verbessert.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Übermitteln eines Steuerbefehls an das intelligente Objekt ausgebildet, wenn die Kommunikationsverbindung hergestellt ist und eine Steuerungsgeste erkannt wird. Es ist weiterhin möglich, dass die eigentliche Interaktion mit dem intelligenten Objekt basierend auf einer Gestenerkennung erfolgt. Eine Steuerungsgeste kann dabei eine Geste sein, durch die eine bestimmte Aktion oder Reaktion des intelligenten Objekts herbeigeführt wird. Beispielsweise kann durch eine Wischbewegung eine weitere Information von dem intelligenten Objekt angefordert werden oder auch eine Anzeige des intelligenten Objekts auf einem Display des intelligenten Objekts verändert werden. Durch die Verwendung einer Gestenerkennung und einer Detektion einer Steuerungsgeste wird eine intuitive und einfach zu verwendende Interaktionsmöglichkeit bereitgestellt. Für Benutzer der erfindungsgemäßen Vorrichtung wird es möglich, in intuitiver Weise mit intelligenten Objekten in Verbindung zu treten.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Empfangen von Interaktionsdaten mit Informationen zu Interaktionsmöglichkeiten des Benutzers mit dem intelligenten Objekt ausgebildet. Die Benutzerschnittstelle ist zum Informieren des Benutzers über die Interaktionsmöglichkeiten basierend auf den empfangenen Interaktionsdaten ausgebildet, vorzugsweise mittels eine Anzeige auf einem Display. Vorteilhafterweise werden zunächst verschiedene Optionen zum Interagieren mit dem intelligenten Objekt empfangen (Interaktionsmöglichkeiten). Der Benutzer wird dann über die Interaktionsmöglichkeiten informiert und kann die gewünschte Interaktion beginnen. Beispielsweise können verfügbare Informationen angezeigt werden, sodass der Benutzer des mobilen Geräts entscheiden kann, welche Informationen er benötigt und abfragen mochte. Ebenfalls ist es möglich, dass Steuerungsoptionen angezeigt werden zusammen mit den entsprechenden Benutzereingaben, sodass der Benutzer in die Lage versetzt wird, mit dem intelligenten Objekt zu interagieren und eine entsprechende Steuerung vorzunehmen. Die Interaktionsmöglichkeit wird insoweit weiter verbessert und vereinfacht.

In einer bevorzugten Ausgestaltung ist die Benutzerschnittstelle zum Ausgeben eines akustischen, optischen und/oder haptischen Signals ausgebildet, insbesondere eines haptischen Vibrationssignals mittels eine Vibrationsaktors des mobilen Geräts. Die Benutzerschnittstelle kann das Herstellen der Kommunikationsverbindung durch ein entsprechendes Signal an den Benutzer bekanntgeben. Besonders vorteilhaft und intuitiv ist dabei die Verwendung eines Vibrationsaktors des mobilen Geräts. Das mobile Gerät kann also in anderen Worten eine Art Einrasten anzeigen bzw. für den Nutzer erfahrbar machen, wenn die Kommunikationsverbindung hergestellt wurde. Die Bedienung wird weiter vereinfacht und für den Benutzer intuitiv gestaltet.

In einer bevorzugten Ausgestaltung ist die Benutzerschnittstelle zum Visualisieren der Relativposition des intelligenten Objekts und der Ausrichtung des mobilen Geräts basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten ausgebildet, insbesondere durch eine Anzeige einer Position des intelligenten Objekts auf einer auf eine Position des Benutzers zentrierten und basierend auf der Ausrichtung des mobilen Geräts ausgerichteten Karte der Umgebung. Für die Visualisierung kann insbesondere ein Display des mobilen Geräts verwendet werden. Es wird angezeigt, dass sich ein intelligentes Objekt in der Umgebung des Benutzers bzw. des mobilen Geräts befindet. Zudem wird angezeigt, wo, also an welcher Relativposition, sich dieses intelligente Objekt in Bezug zu der Position des Benutzers befindet. Dies ermöglicht dem Benutzer, eine Übersicht über verfügbare intelligente Objekte in seiner Umgebung zu erlangen und darauf basierend mit diesen in Interaktion zu treten. Es ergibt sich eine einfach und intuitiv zu bedienende Interaktionsmöglichkeit. In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung ausgebildet, wenn das mobile Gerät auf eine über einen vordefinierten Schwellenwert liegende Zeitdauer auf das intelligente Objekt ausgerichtet ist. Zur weiteren Vermeidung von unbeabsichtigt herbeigeführten Kommunikationsverbindungen kann vorgesehen sein, dass ein zeitlicher Schwellenwert überschritten sein muss, bevor die Kommunikationsverbindung hergestellt wird. Das mobile Gerät wird also für eine bestimmte Zeitdauer auf ein intelligentes Objekt ausgerichtet, wodurch der Benutzer anzeigt, dass eine Kommunikationsverbindung hergestellt werden soll. Fehlbedienungen werden vermieden und die Intuitivität wird weiter verbessert.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung mit dem intelligenten Objekt über eine direkte Kurzstrecken-Kommunikationsverbindung ausgebildet, insbesondere über Bluetooth Low Energy (BLE). Durch die direkte Kommunikation kann auf eine internetbasierte Kommunikation verzichtet werden. Insoweit kann auch eine Verwendung in eine Umgebung ohne mobile Datenverbindung in Erwägung gezogen werden. Eine Direktverbindung ist dabei zudem oft energiesparender und weist eine geringere Manipulationsanfälligkeit auf.

In einer bevorzugten Ausgestaltung ist die Ausrichtungseinheit zum Detektie- ren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, ausgebildet. Diese Detektion kann basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk erfolgen. Zusätzlich oder alternativ kann diese Detektion basierend auf einer für ein mobiles Gerät vordefinierten Zeigerichtung ausgebildet sein. Die Zeigerichtung entspricht dabei der für das mobile Gerät vorgegebenen Richtung, die einer Art Geräteeigenschaft entspricht. Für ein Gerät ist also festgelegt, wie seine Zeigerichtung ist. Beispielsweise wird für ein Gerät festgelegt, dass eine Zeigerichtung orthogonal zu einem Display oder entlang einer Längsachse ist. Diese Zeigerichtung stellt die Basis dar, um festzustellen, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Für die Detektion der Ausrichtung kann ein Ansatz des maschinellen Lernens verwendet werden, der eine zuverlässige und effizient berechenbare Ausführung ermöglicht. Zudem kann eine hohe Genauigkeit erreicht werden.

In einer bevorzugten Ausgestaltung umfassen die Umgebungsdaten Positionsangaben von intelligenten Objekten, die basierend auf einer aktuellen Position des mobilen Geräts ermittelt wurden, vorzugsweise durch eine Datenbankabfrage basierend auf einer von einem Satellitennavigationssensor des mobilen Geräts ermittelten Position. Zusätzlich oder alternativ umfassen die Umgebungssensordaten Bilddaten eines Kamerasensors des mobilen Geräts. Insbesondere ist es möglich, dass ein Satellitennavigationssystem verwendet wird, um die aktuelle Position des mobilen Geräts festzustellen (GPS, GALILEO, GLONASS, Beidou etc.). Diese Position kann dann auf einer Karte angezeigt werden, auf der ebenfalls die Positionen von intelligenten Objekten angezeigt werden. Die Positionen der intelligenten Objekte können beispielsweise basierend auf der eigenen Position aus einer Internet-Datenbank unter Berücksichtigung eines Radius um die eigene Position abgefragt werden. Der Benutzer kann sich dann orientieren und beispielsweise intelligente Objekte in der näheren Umgebung ansteuern, um mit diesen zu interagieren.

Ebenfalls ist es möglich, dass die Umgebungssensordaten Bilddaten eines Kamerasensors umfassen. Es ist dann beispielsweise zusätzlich denkbar, auch Ansätze der erweiterten Realität (augmented reality) einzusetzen, um die intelligenten Objekte virtuell in den Bilddaten einzublenden.

In einer bevorzugten Ausgestaltung umfassen die Ausrichtungssensordaten Lagesensordaten, die von einem Beschleunigungs-, Drehraten- und/oder Magnetfeldsensor des mobilen Geräts empfangen werden. Zusätzlich oder alternativ umfassen die Ausrichtungssensordaten Bilddaten eines Kamerasensors des mobilen Geräts. Insbesondere ist es möglich, dass die Ausrichtung basierend auf Lagesensordaten eines Inertialsensors festgestellt wird. Dies ermöglicht zumeist eine zuverlässige und effizient berechenbare Lageschätzung. Hierin wird unter einem Interagieren einer Vorrichtung bzw. eines mobilen Geräts mit einem intelligenten Objekt insbesondere ein Austausch von Informationen verstanden. Insbesondere können Informationen von dem intelligenten Objekt empfangen werden und/oder Informationen an das intelligente Objekt übermittelt werden. Zusätzlich ist es möglich, dass unter einer Interaktion ein Auslösen einer Aktion an dem mobilen Gerät und/oder an dem intelligenten Objekt durch den jeweiligen Kommunikationspartner verstanden wird. Beispielsweise kann eine Anzeige bewirkt und/oder ein haptisches, taktiles, akustisches oder optisches Feedback ausgegeben werden.

Unter einem Umfeld eines mobilen Geräts bzw. eines Benutzers eines mobilen Geräts wird dessen Umgebung verstanden. Beispielsweise kann ein Radius veränderbar vorgegeben sein.

Unter einem intelligenten Objekt wird insbesondere ein kommunikationsfähiges Artefakt verstanden. Insbesondere kann ein derartiges Artefakt in ein Infrastrukturobjekt bzw. in die Umgebung eingebettet sein. Ein intelligentes Objekt kann in anderen Worten insbesondere ein körperliches Objekt sein, dass über eine Kommunikationsmöglichkeit verfügt bzw. in das eine Kommunikationsmöglichkeit eingebettet ist. Insbesondere kann ein intelligentes Objekt ein körperliches Objekt der Infrastruktur. Beispielsweise stellen Ampeln, Straßenbahnhaltestellen, Sensoren in Grünanlagen, eingebettete Sensoren in einem historischen Gebäude intelligente Objekte dar. Bei einer Straßenbahnhaltestelle kann beispielsweise eine Anzeige aktueller Abfahrtszeiten erfolgen oder auch eine Anforderung eines Fahrplans durchgeführt werden. Es ist aber auch möglich, dass ein intelligentes Objekt lediglich virtuell existiert und insoweit als digitales Objekt (digitales Artefakt, digitaler Gegenstand) ausgebildet ist. Insoweit wird also an einer bestimmten Position ein digitales oder virtuelles intelligentes Objekt bereitgestellt, mit dem ein mobiles Gerät bzw. ein Benutzer eines mobilen Geräts in Interaktion treten kann. Es wird also eine Position mit einer Kommunikationsmöglichkeit verknüpft, wobei die Kommunikation dann beispielsweise mit einem Internetserver erfolgt. Beispielsweise kann ein digitales Objekt auch eine Verknüpfung einer Positionsangabe im Umfeld einer Straßenbahnhaltestelle mit bestimmten Anzeige- und Interaktionsmoghchkeiten sein. Beispielsweise kann an einem öffentlichen Platz ein digitales intelligentes Objekt in der Platzmitte vorgesehen sein, durch das Informationen zu einem Erbauer des Platzes oder einem historischen Hintergrund etc. erhalten werden können. Ebenfalls möglich ist, dass ein digitales intelligentes Objekt in Form eines digitalen Noteboards bzw. einer digitalen Pinnwand ausgebildet ist, sodass mittels eines mobilen Geräts eine (virtuelle) Notiz angebracht und geteilt bzw. auf eine solche reagiert werden kann.

Unter einer Interaktion mit einem intelligenten Objekt wird insbesondere ein Austausch von Informationen verstanden. Es ist beispielsweise möglich, dass ein Steuerungssignal übermittelt bzw. empfangen wird, um damit eine Aktion bzw. Reaktion des intelligenten Objekts und/oder des mobilen Geräts auszulösen. Ebenfalls möglich ist, dass ein Link bzw. ein Verweis zu einer downloadbaren App angezeigt wird, beispielsweise um einen Zugang zu weiteren Informationen und Steuerungsmöglichkeiten zu ermöglichen. Zudem ist ein Abrufen von aktuellen Informationen oder auch eine Übermittlung eines Anforderungssignals denkbar.

Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:

Figur 1 eine schematische Darstellung eines erfindungsgemäßen mobilen Geräts in Interaktion mit einem intelligenten Objekt in der Umgebung des mobilen Geräts;

Figur 2 eine schematische Darstellung einer erfindungsgemäßen

Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts;

Figuren 3 und 4 eine schematische Darstellung des Herstellens einer Kommunikationsverbindung mit einem intelligenten Objekt und des Steuerns des intelligenten Objekts; Figur 5 eine schematische Darstellung einer Gestenerkennung basierend auf einem erfindungsgemäßen mobilen Gerät; und

Figur 6 eine schematische Darstellung eines erfindungsgemäßen

Verfahrens.

In der Figur 1 ist schematisch ein erfindungsgemäßes mobiles Gerät 10 zum Interagieren mit einem intelligenten Objekt 14 in der Umgebung des mobilen Geräts 10 dargestellt. Die Darstellung ist dabei als schematische Draufsicht zu verstehen. Dargestellt ist, dass ein Benutzer 12 ein mobiles Gerät 10, beispielsweise ein Smartphone oder ein Tablet, in seiner Hand hält. Erfindungsgemäß ist es vorgesehen, dass zwischen mobilem Gerät 10 und intelligentem Objekt 14 eine Kommunikationsverbindung hergestellt wird, wenn das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet ist. Dargestellt in der Figur 1 ist ein Sichtfeld 22 des mobilen Geräts 10, das einen Bereich visualisiert, bei dem für ein darin liegendes intelligentes Objekt 14 angenommen wird, dass das mobile Gerät 10 auf dieses ausgerichtet ist.

Auf der linken Seite in der Figur 1 ist dargestellt, dass das mobile Gerät 10 nicht auf das intelligente Objekt 14 ausgerichtet ist. Auf der rechten Seite ist dargestellt, dass sich der Benutzer 12 mitsamt dem mobilen Gerät 10 gedreht hat, bis das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet ist. Wenn der Benutzer 12 das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet hat, wird eine Kommunikationsverbindung zwischen mobilem Gerät 10 und intelligentem Objekt 14 hergestellt und der Benutzer 12 darüber in Kenntnis gesetzt, beispielsweise durch ein Vibrieren des mobilen Geräts 10.

Durch das Herstellen einer Kommunikationsverbindung zwischen mobilem Gerät 10 und intelligentem Objekt 14 kann ein Zugang zu digitalen Diensten ermöglicht werden. Intelligente Objekte 14 in Smart Cities können beispielsweise einfacher nutzbar gemacht werden. Im dargestellten Beispiel kann beispielsweise eine Ampelanforderung für Fußgänger umgesetzt sein. Der Benutzer 12 des mobilen Geräts 10 richtet das mobile Gerät 10 auf die Ampel aus. Sobald das mobile Gerat 10 auf die Ampel ausgerichtet ist, wird eine Kommunikationsverbindung hergestellt und dem Benutzer 12 angezeigt, dass die Kommunikationsverbindung hergestellt wurde. Der Benutzer kann dann beispielsweise eine Grünphase anfordern. Die oben beschriebene Anwendung in einer Smart City ist dabei als Beispiel zu verstehen. Ebenfalls könnte sich eine Verwendung des erfindungsgemäßen Ansatzes in Gebäuden anbieten, um z. B. in einer privaten Wohnung mit Küchengeräten oder anderen intelligenten Objekte (Artefakten) oder in öffentlichen Bereichen (Bahnhof, Amt etc.) mit intelligenten Objekten zu interagieren.

Zum Bereitstellen dieser Funktion umfasst das mobile Gerät 10 im dargestellten Ausführungsbeispiel eine Vorrichtung 16 zum Interagieren mit dem intelligenten Objekt 14, einen Umgebungssensor 18 zum Erfassen einer Relativposition des intelligenten Objekts sowie einen Ausrichtungssensor 20 zum Erfassen einer Ausrichtung des mobilen Geräts 10.

Der Umgebungssensor 18 kann insbesondere einen Positionssensor eines Satellitennavigationssystems umfassen. Beispielsweise kann eine aktuelle Absolutposition des mobilen Geräts 10 ermittelt werden, die dann basierend auf einer Datenbankabfrage mit Positionen mobiler intelligenter Objekte 14 abgeglichen wird, um darauf basierend deren Relativpositionen (relativ zu einer eigenen Position des Benutzers bzw. des mobilen Geräts) zu ermitteln.

Der Ausrichtungssensor 20 kann beispielsweise einen Inertialsensor (Be- schleunigungs- und/oder Drehratensensor) und/oder einen Magnetfeldsensor umfassen. Durch einen derartigen Sensor kann eine Lage (beispielsweise in Form einer Angabe der Eulerwinkel) erfasst werden. Insbesondere kann diese Lage dann in Zusammenschau mit der Relativposition dazu verwendet werden, die Ausrichtung des mobilen Geräts in Bezug auf das intelligente Objekt 14 zu bestimmen.

In der Figur 2 ist schematisch die erfindungsgemäße Vorrichtung 16 dargestellt. Die Vorrichtung 16 umfasst eine Eingangsschnittstelle 24, eine Ausrichtungseinheit 26, eine Kommunikationseinheit 28 sowie eine Benutzerschnittstelle 30. Optional umfasst die Vorrichtung 16 zudem eine Gesteneinheit 32. Die verschiedenen Schnittstellen und Einheiten können dabei in Hard- und/oder in Software implementiert sein und einzeln oder auch in Kombination ausgeführt sein. Insbesondere ist es möglich, dass die Vorrichtung 16 insoweit sozusagen einem Smartphone oder einem anderen Gerät mit einer entsprechenden App entspricht.

Über die Eingangsschnittstelle 24 werden die Umgebungssensordaten und die Ausrichtungssensordaten empfangen. Insbesondere kann die Eingangsschnittstelle 24 dazu an entsprechende Sensoren des mobilen Geräts angebunden sein. Es ist aber auch möglich, dass die Eingangsschnittstelle 24 die Informationen von entfernt angeordneten Sensoren erhält, beispielsweise über eine Kurzstrecken-Niedrigenergie-Funkverbindung. Beispielsweise ist es möglich, dass die Vorrichtung in einer intelligenten Brille (Smartglasses) integriert ist und über die Eingangsschnittstelle 24 über Bluetooth Daten von einem Positionssensor eines Smartphones empfangen werden.

Mittels der Ausrichtungseinheit 26 wird detektiert, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Hierzu werden die Umgebungssensordaten und die Ausrichtungssensordaten verarbeitet. Dabei kann eine Vorverarbeitung der Daten erfolgen und/oder auf weitere Daten zurückgegriffen werden. Insbesondere ist es vorteilhaft, wenn in der Ausrichtungseinheit 26 ein Ansatz des maschinellen Lernens verwendet wird, um zu detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Insbesondere kann ein vortrainiertes künstliches neuronales Netzwerk verwendet werden, dass basierend auf entsprechenden Trainingsdaten zu einem vorhergehenden Zeitpunkt trainiert wurde.

Zusätzlich oder alternativ ist es möglich, dass zur Detektion, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, eine vordefinierte Zeigerichtung des mobilen Geräts verwendet wird. Diese vordefinierte Zeigerichtung kann insbesondere einer für das mobile Gerat spezifizierten Richtung entsprechen, für die dann gegebenenfalls noch eine Abweichung angegeben sein kann.

Die Kommunikationseinheit 28 ist zum Kommunizieren mit dem intelligenten Objekt ausgebildet. Insbesondere kann eine Niedrigenergie-Kurzstreckenkommunikationsverbindung mit dem intelligenten Objekt hergestellt werden. Beispielsweise kann ein Bluetooth Low Energy (BLE)-Kommunikationschip verwendet werden, der über die Kommunikationseinheit 28 in entsprechender Weise angesteuert wird. Ebenfalls ist es möglich, dass die Kommunikationseinheit 28 zum Kommunizieren über das Internet ausgebildet ist, also über einen entsprechenden Internetserver und eine mobile Datenverbindung. Es versteht sich, dass das intelligente Objekt selbst ebenfalls kommunikationsfähig und insoweit ansprechbar/erreichbar ist.

Die Benutzerschnittstelle 30 dient zum Informieren des Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Insbesondere kann hierzu ein Display oder ein anderer Aktor eines mobilen Geräts angesteuert werden. Beispielsweise ist es möglich, dass das Herstellen der Kommunikationsverbindung dem Benutzer durch eine Art „Einrasten“ angezeigt wird. Dieses Einrasten kann basierend auf einer Vibrationsfunktion bzw. einem Vibrationsaktor des mobilen Geräts 10 erfassbar gemacht werden. Zusätzlich kann eine visuelle Ausgabe beispielsweise durch ein Markieren einer Ampel auf einer Visualisierung einer Kartendarstellung auf dem Display des mobilen Geräts 10 erfolgen. Weiter zusätzlich oder alternativ kann ein Signalton ausgegeben werden. Dem Benutzer 12 wird also mit haptischer, akustischer und/oder visueller Rückmeldung angezeigt, dass das Smartphone eingerastet ist und dass eine Aktion im Sinne einer Interaktion mit dem intelligenten Objekt 14 erfolgen kann. Beispielsweise kann dann durch eine Gestensteuerung oder auch durch ein Drücken einer Taste auf einem Touchscreen eine Grünphase der Ampel angefordert werden.

Es ist optional möglich, dass über die Benutzerschnittstelle 30 zudem eine Vorauswahl des Benutzers hinsichtlich der anzuzeigenden intelligenten Objekte empfangen wird. Der Benutzer kann beispielsweise Kategorien von interessierenden intelligenten Objekten selektieren oder definieren, um so gezielter mit der Umgebung interagieren zu können und die für ihn relevanten intelligenten Objekte bzw. Funktionalitäten aufzufinden.

Die Gesteneinheit 32 dient zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts ausgeführt wird. Hierzu werden die Ausrichtungssensordaten verarbeitet. Insbesondere kann eine Geste erkannt werden, die der Benutzer des mobilen Geräts mit dem mobilen Gerät ausführt. Beispielsweise kann der Benutzer nicken, für den Fall einer intelligenten Brille, oder auch eine Wischoder andere Bewegung mit einem Smartphone oder Tablet ausführen.

Die Erkennung kann dann einerseits als zusätzliche Voraussetzung für das Herstellen der Kommunikationsverbindung verwendet werden. Es kann also für das Herstellen einer Kommunikationsverbindung zusätzlich erforderlich sein, zunächst eine Aktivierungsgeste auszuführen, um so unbeabsichtigte Verbindungsherstellungen zu vermeiden. Weiterhin ist es möglich, dass mittels der Gesteneinheit 32 eine Steuerungsgeste erkannt wird. Der Benutzer des mobilen Geräts kann insoweit ein intelligentes Objekt mittels einer Gestensteuerung fernsteuern, nachdem die Kommunikationsverbindung hergestellt wurde.

In den Figuren 3 und 4 ist schematisch eine Möglichkeit des Herstellens einer Kommunikationsverbindung mit einem intelligenten Objekt und des Steuerns des intelligenten Objekts dargestellt. Insbesondere ist eine Ansicht eines Displays 34 eines Smartphones oder Tablets oder andern mobilen Geräts vor (Figur 3) und nach (Figur 4) Herstellen der Kommunikationsverbindung gezeigt.

Auf einer Kartendarstellung einer Umgebung des mobilen Geräts werden Relativpositionen R1 , R2, R3 dreier intelligenter Objekte in der Umgebung des mobilen Geräts an der Position M visualisiert. Beispielsweise können Miniaturansichten der intelligenten Objekte angezeigt werden. Die Kartendarstellung ist dabei auf die Position M des mobilen Geräts zentriert. Neben den Relativpositionen R1 , R2 und R3 ist auch die Ausrichtung des mobilen Geräts visualisiert, da sich die Darstellung mit dem Drehen des mobilen Geräts mitbewegt. Der Benutzer kann sich also in Bezug zu den intelligenten Objekten drehen, wobei sich die Kartendarstellung wie bei einem Kompass die Windrose ebenfalls mit dreht und so die Ausrichtung visualisiert.

Sobald der Benutzer mit dem mobilen Gerät in Richtung eines intelligenten Objekts zeigt, wird mit diesem eine Kommunikationsverbindung hergestellt. Gegebenenfalls ist hierzu eine Mindestzeit (beispielsweise 2 Sekunden) erforderlich, für die das mobile Gerät auf das intelligente Objekt ausgerichtet sein muss.

Ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, kann beispielsweise basierend auf einer Zeigerichtung des mobilen Geräts ermittelt werden. Diese Zeigerichtung entspricht einem für das mobile Gerät festgelegten Parameter. Diese Zeigerichtung kann beispielsweise einer Längsachse des mobilen Geräts entsprechen. Unter Bezugnahme auf Figur 1 kann das Sichtfeld eines mobilen Geräts beispielsweise ausgehend von einer Angabe einer maximalen Abweichung von dieser Zeigerichtung definiert sein, beispielsweise 5°.

Im dargestellten Ausführungsbeispiel richtet der Benutzer in der Figur 4 das mobile Gerät auf das intelligente Objekt an Position R2 aus, sodass mit diesem dann eine Kommunikationsverbindung hergestellt werden kann. Um dem Benutzer anzuzeigen, dass die Verbindung hergestellt wurde, vibriert das mobile Gerät beispielsweise. Zudem kann nach dem Herstellen der Kommunikationsverbindung eine Interaktion mit dem intelligenten Objekt durch einen für diesen Zweck eingeblendeten Button 36 erfolgen (Figur 4).

In anderen Worten dreht sich die Kartenansicht wie eine Windrose eines Kompasses, sodass am oberen Rand des Displays 34 mobilen Geräts die Richtung zu sehen ist, in welche das mobile Gerät gehalten wird. Diese Richtung kann beispielsweise durch eine Angabe einer Gradzahl angegeben sein. Im dargestellten Beispiel ist die Richtung bei 70 Grad (Figur 3). Wenn das mobile Gerät dann gedreht wird, beispielsweise auf 115 Grad (Figur 4), ist eine Fußgangerampel als intelligentes Objekt vor ihm. Sobald das mobile Gerat auf die Ampel ausgerichtet ist, erfolgt der zuvor beschriebenen Einrastvorgang und die Ampel wird markiert. Das Smartphone vibriert, es gibt einen Signalton und das Bild eines Anforderungstasters erscheint in Form des Buttons 36. Dies zeigt dem Nutzer mit haptischer, akustischer und visueller Rückmeldung an, dass das mobile Gerät eingerastet ist und dass eine Aktion bzw. eine Interaktion mit dem intelligenten Objekt durchgeführt werden kann.

Es versteht sich dabei, dass auch eine andere Interaktionsmöglichkeit vorgesehen sein kann, beispielsweise mittels einer Gestensteuerung. Mit einer leichten Bewegung des mobilen Geräts nach hinten kann beispielsweise eine Grünphase angefordert werden.

In diesem Beispiel ist vorgesehen, dass das mobile Gerät ungefähr waagerecht gehalten wird, bis es auf ein intelligentes Objekt zeigt. Es kann dabei auch möglich sein, dass das mobile Gerät um 90 Grad gedreht werden kann, sodass auf dem Display 34 mittels einer auf einer Rückseite des mobilen Geräts angeordneten Kamera dann die reale Umgebung dargestellt werden kann. Die Zeigerichtung entspräche dann also einer Richtung senkrecht zum Display 34. Es ist möglich, dass das Herstellen der Kommunikationsverbindung durch Einrasten in Form einer augmented Reality-Darstellung erfolgt. Es kann beispielsweise das eingerastete intelligente Objekt hervorgehoben werden.

In der Figur 5 ist schematisch eine erfindungsgemäß vorgesehene Gestensteuerung dargestellt. Die Gestensteuerung kann beispielsweise in Zusammenhang mit anderen Anwendungen verwendet werden. Beispielsweise kann in einer generellen Smart City-Anwendung für eine Stadt mit vernetzten Bussen, Straßenbahnen, Museen und weiteren Informationen eine entsprechende Gestensteuerung zur Verfügung gestellt werden. Der Benutzer 12 hält ein mobiles Gerät 10 (insbesondere ein Smartphone oder ein Tablet) in der Hand und führt damit eine Bewegung aus. Zum einen kann es erfmdungsgemaß vorgesehen sein, dass zum Herstellen der Kommunikationsverbindung, nachdem das mobile Gerät auf das intelligente Objekt ausgerichtet ist, zunächst eine Aktivierungsgeste ausgeführt erkannt werden muss. Beispielsweise kann diese der gargestellten Wischbewegung entsprechen. Die Aktivierungsgeste kann in anderen Worten also die Voraussetzung zum Herstellen einer Kommunikationsverbindung darstellen.

Ebenfalls ist es möglich, dass die eigentliche Steuerung des intelligenten Objekts mittels einer Gestensteuerung erfolgt. Es kann also sein, dass eine Steuerungsgeste erkannt wird, um damit mit dem intelligenten Objekt zu interagieren. Beispielsweise kann bei einer Ampel eine Grünphase angefordert werden oder von einer intelligenten Straßenbahnhaltestelle ein Fahrplan angefordert werden.

Es kann vorteilhaft sein, zunächst eine Art Gestensteuerungsmodus zu initiieren, um dann eine Gestenerkennung ausführen zu können. Ebenfalls kann es vorteilhaft sein, wenn eine Rückkehr von der Gestensteuerung zu einer klassischen Bedienung, beispielsweise durch eine Berührung eines Touchscreens, vorgesehen ist. Dies kann die Gefahr des Erkennens einer unabsichtlich ausgeführten Geste verringern. Eine relevante Frage in diesem Zusammenhang ist, wie der Benutzer zur Verwendung der Gestensteuerung gelangen kann bzw. diesen Gestensteuerungsmodus initiieren kann.

Eine Möglichkeit hierzu kann ein Aktivieren eines entsprechenden Auswahlpunkts auf einem Touchscreen des mobilen Geräts sein. Es wird also ein entsprechender Button gedrückt, wodurch das mobile Gerät in einen Gestensteu- erungs- bzw. Erkennungsmodus versetzt wird.

Alternativ dazu ist es möglich, dass der Gestensteuerungsmodus durch eine typische Geste (beispielsweise eine Rechtsdrehung, wie wenn man mit einem Schlüssel ein Schloss aufschließt, oder eine Geste eines Klickens oder eine individuell erlernte und individuelle Geste) aktiviert wird. Auch hier ist es möglich, dass das Erreichen des Gestensteuerungsmodus durch eine Art Einrasten des mobilen Geräts mittels eines Vibrationsaktors etc. oder in anderer Weise umgesetzt wird. Sobald der Gestensteuerungsmodus aktiviert ist werden Gesten des Benutzers erkannt und er kann dies beispielsweise zur Interaktion mit dem intelligenten Objekt nutzen. In analoger Weise kann auch ein Zurückschalten aus der Gestensteuerung zur klassischen Bedienung erfolgen.

In der Figur 6 ist schematisch ein erfindungsgemäßes Verfahren zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Umgebungssensordaten und Ausrichtungssensordaten, des Detektierens S12, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, des Herstellens S14 einer Kommunikationsverbindung mit dem intelligenten Objekt und des Informierens S16 eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Das Verfahren kann beispielsweise als Smartphone- App oder als Tablet-App implementiert sein und über einen entsprechenden App-Store zur Verfügung gestellt werden.

Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.

In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der Undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.