Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches sowie Konfigurations und Steuerverfahren einer solchen Vorrichtung

Die vorliegende Erfindung betrifft eine Vorrichtung zur Erzeugung eines haptisch

wahrnehmbaren Bereiches eines virtuellen Objekts innerhalb eines Interaktionsraums mit einer Vielzahl von Ultraschalllautsprechern, deren Ultraschallsignale hierzu in Bezug auf Phase, Frequenz und Amplitude abstimmbar sind.

Ferner betrifft die Erfindung ein Verfahren zur Konfiguration und Steuerung einer solchen Vorrichtung.

Die Bedienung von Geräten, wie sie nach dem Stand der Technik bekannt sind, erfolgt üblicherweise über Schalter, Knöpfe, Touchflächen oder sonstige physikalische

Bedienelemente. Durch die Betätigung solcher Bedienelemente erhält der Benutzer ein unmittelbares haptisches Feedback über den Tastsinn seiner Hand oder der Finger, sodass die Dauer und der Druck unmittelbar wahrnehmbar ist, mit dem auf das Bedienelement eingewirkt wird.

Neben solchen physikalisch fassbaren und massebehafteten Geräten wurden in den

vergangenen Jahren auch virtuelle Umgebungen geschaffen, insbesondere Virtual Reality (VR), Augmented Reality (AR) oder holografische Umgebungen, in denen etwaige Objekte, Geräte und/oder Bedienoberflächen von geeigneten Anzeigesystemen virtuell dargestellt werden.

Solche virtuellen Objekte sind zwar visuell und räumlich wahrnehmbar, lassen sich allerdings nicht unmittelbar anfassen und mithin haptisch wahrnehmen oder spüren.

Zur haptischen Wahrnehmung virtueller Objekte wurden die eingangs genannten Vorrichtungen entwickelt, die mittels gesteuerter Ultraschalllautsprecher in Bezug auf deren Phase, Frequenz und Amplitude an vorgebbaren Punkten eines Interaktionsraums einen durch Schall haptisch wahrnehmbaren Bereich erzeugen. Dabei wirkt der Schall unmittelbar an der Hand und ist hierüber fühl- und spürbar. Eine solche Vorrichtung mit einer flächenhaften Anordnung von Ultraschalllautsprechern ist beispielsweise in WO2016/038347 A1 beschrieben. Derzeit bekannte Vorrichtungen zur Erzeugung eines haptisch wahrnehmbaren Bereiches eines virtuellen Objekts weisen eine Vielzahl von Ultraschalllautsprechern auf, die flächenhaft auf einer gemeinsamen Platte angeordnet sind. Oberhalb der Platte erstreckt sich der

Interaktionsraum, in dem die fühlbaren Punkte oder Bereiche erzeugt werden können. Die Anordnung aller Ultraschalllautsprecher einer Vorrichtung auf einer gemeinsamen Platte hat sich in der Praxis als nachteilbehaftet erwiesen, weil die Platte zur Erzeugung des gewünschten Effektes relativ viele Ultraschallautsprecher besitzen muss und deswegen relativ groß ausgestaltet sein muss, weshalb sie einen großen Flächenbedarf aufweist, der nicht in allen Vorrichtungen an der erforderlichen Stelle, nämlich unterhalb des Interaktionsraums, zur Verfügung steht. Ein optimales Positionieren der Ultraschalllautsprecheranordnung wird hierdurch erschwert. Ferner kollidieren bei bekannten Vorrichtungen insbesondere zur

Erzeugung holografischer Umgebungen oft die bevorzugten Positionen der bilderzeugenden Vorrichtungen und die bevorzugten Positionen der Ultraschalllautsprecher, so dass jeweils Kompromisse eingegangen werden müssen, was die Genauigkeit der erzeugten Effekte verringert. Schließlich kann die interagierende Hand mit einer flächenhaften Anordnung der Ultraschalllautsprecher nur aus einer Richtung stimuliert werden, so dass der spürbare Effekt an der Handinnenfläche bei einer verdrehten Hand abnimmt oder komplett verschwindet.

Insgesamt lassen sich daher die bekannten Ultraschalllautsprecheranordnungen nicht zufriedenstellend mit den ebenfalls bekannten bilderzeugenden Vorrichtungen kombinieren. Darüber hinaus hat sich die manuelle Konfiguration der Ultraschalllautsprecher bzw. der Ultraschallsignale als sehr aufwendig und mithin zeitintensiv und fehleranfällig erwiesen.

Hiervon ausgehend ist es die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren anzugeben, mit dem eine flexible Anpassung des Interaktionsraums an den Raum möglich ist, in dem virtuelle Objekte von einer Bilderzeugungsvorrichtung geschaffen werden. Ferner soll das Konfigurieren der Ultraschallsignale vereinfacht werden.

Diese Aufgabe wird zunächst durch die Vorrichtung nach Anspruch 1 gelöst. Erfindungsgemäß ist vorgesehen, dass die Ultraschallautsprecher einzeln oder gruppenweise mehrere Module bilden, die derart am Interaktionsraum positionierbar oder angeordnet sind, dass

a) mindestens ein Ultraschalllautsprecher eines Moduls winklig zu mindestens einem

Ultraschalllautsprecher eines andern Moduls orientiert ist und/oder

b) mindestens ein Ultraschalllautsprecher eines Moduls von einer gemeinsamen Ebene anderer Ultraschalllautsprecher beabstandet ist und/oder

c) die Module einen wählbaren Abstand zueinander aufweisen. Durch die Positionierbarkeit und mithin die frei wählbare Position der einzelnen Module mit Ultraschalllautsprechern kann die Vorrichtung optimal an den vorhandenen Bauraum angepasst werden, weshalb eine Kollision der bevorzugten Positionen der bilderzeugenden Vorrichtungen und der tastsinnerzeugenden Vorrichtungen vermieden wird. Durch die beliebige, insbesondere winklige Anordnung einzelner Lautsprecher und/oder Module zueinander, erfolgt eine optimale dreidimensionale Ausrichtung der Module im Raum, die an beliebigen Positionen außerhalb des Interaktionsraums angeordnet und in gewünschter Orientierung ausgerichtet werden können. Damit kann ein individuelles Design der Vorrichtung zur Erzeugung des haptischen Feedbacks bei einer optimalen Ausnutzung des verfügbaren Bauraums realisiert werden. Ferner besitzt die Vorrichtung mit im wesentlichen frei positionierbaren Modulen einen minimalen Platzbedarf und insbesondere durch die Einsteilbarkeit der Orientierung einzelner Module kann eine hohe Individualisierbarkeit der Stärke des haptischen Effekts erzielt werden.

Bevorzugte Ausgestaltungen der vorliegenden Erfindung werden nachfolgend und in den Unteransprüchen beschrieben.

Nach einer ersten bevorzugten Ausgestaltung ist vorgesehen, dass die Ultraschalllautsprecher eines Moduls auf einer gemeinsamen Modulebenen angeordnet sind. Vorzugsweise weisen die Ultraschalllautsprecher eines Moduls dabei eine parallel zueinander ausgerichtete Orientierung auf. Die konkrete Ausgestaltung eines solchen Moduls ist zwar insbesondere in Bezug auf die Anzahl und Anordnung der Ultraschalllautsprecher nicht vorgegeben und im Wesentlichen beliebig, allerdings hat sich in der Praxis eine matrixförmige Anordnung der

Ultraschalllautsprecher als vorteilhaft erwiesen. Insbesondere sind quadratische

Matrixanordnungen von beispielsweise 4x4-Ultraschalllautsprechern bevorzugt.

Die Vorrichtung besitzt nach einer vorteilhaften Ausführungsform der Erfindung mindestens drei Module, deren Modulebenen winklig zueinander ausgerichtet sind. Hierdurch lassen sich die Module bauraumbedingt in optimaler Weise um den Interaktionsraum herum anordnen und auf den Interaktionsraum ausrichten.

Zur Konfiguration der Vorrichtung in Abhängigkeit der individuellen Position und Orientierung der Module und den hierauf angeordneten Ultraschalllautsprechern, ist vorzugsweise eine Steuereinheit mit einer hierauf enthaltenen Software (Firmware) und einer

Programmierschnittstelle (API) vorgesehen. Das Steuergerät berechnet in Abhängigkeit der individuellen Modulpositionen und Modulorientierungen die individuellen Ultraschallsignale in Bezug auf deren Phase, Frequenz und Amplituden, um an beliebigen Punkten im Interaktionsraum einen Bereich mit einem haptischen Feedback zu erzeugen. Ist dabei an mehreren Stellen ein solcher Bereich zu erzeugen, werden aus den vorhandenen Modulen geeignete Gruppen gebildet, die einem bestimmten Punkt zugeordnet werden und die an dieser Stelle das haptische Feedback erzeugen. Weil mit der vorliegenden dreidimensionalen

Anordnung der Module der haptische Bereich aus drei unterschiedlichen Richtungen generiert wird, kann der haptische Bereich auch bei unterschiedlichen Handorientierungen gefühlt werden und etwaige Schattenbereiche innerhalb des Interaktionsraums können wirksam vermieden werden.

Die Steuerung der gesamten Vorrichtung und mithin der einzelnen Module ist durch die

Steuereinheit möglich, so dass in diesem Fall einfache und daher preiswerte Module verwendet werden können. Um eine zeitlich korrekte Ansteuerung aller Module zu gewährleisten, müssen in diesem Fall alle Leitungslängen und Signallaufzeiten bekannt oder gleich lang sein.

Alternativ ist vorgesehen, dass jedes Modul einen separaten Mikrocontroller zur Konfiguration und/oder Ansteuerung der Ultraschalllautsprecher eines Moduls und zur Kommunikation mit der Steuereinheit aufweist. Hierdurch ergibt sich eine optimale Vernetzung der Module mit der als Hauptsteuergerät ausgebildeten Steuereinheit und die Kommunikation ist über ein

echtzeitfähiges Bussystem möglich.

Nach einer besonders bevorzugten Ausgestaltung der vorliegenden Erfindung sind mehrere Ultraschallmikrofone vorgesehen, die unmittelbar an den Modulen oder frei im Raum

angeordnet sind. Durch die Ultraschallmikrofone ergibt sich eine einfache automatische

Konfigurierbarkeit der Vorrichtung und die Ultraschallmikrofone können darüber hinaus als dreidimensionale akustische Kamera verwendet werden, mit der Objekte innerhalb des

Interaktionsraums erkannt, identifiziert und durch eine fortlaufende Positionsbestimmung verfolgt werden können. Hierdurch kann auf eine ansonsten erforderliche

Bilderfassungsvorrichtung, beispielsweise in Form einer Stereokamera, verzichtet werden. Im Einzelnen wird hierauf bei der Beschreibung des erfindungsgemäßen Verfahrens näher eingegangen.

Die der vorliegenden Erfindung zugrundeliegende Aufgabenstellung wird ergänzend durch das Verfahren nach Anspruch 9 gelöst. Erfindungsgemäß ist hiernach vorgesehen, dass zur Konfiguration der Vorrichtung die Module nacheinander definierte Testsignale abgeben, die unmittelbar und/oder nach einer Reflexion an einem oder mehreren Reflexionskörpern von Ultraschallmikrofonen registriert werden, die unmittelbar an den Modulen und/oder frei im Raum angeordnet sind, so dass sich aus den Laufzeiten und/oder den Intensitäten der registrierten Testsignale die relativen Positionen und Orientierungen der Module und Ultraschallmikrofone ergeben. Unter Berücksichtigung der so ermittelten und bekannten Positionen und

Orientierungen der Module sowie der darauf angeordneten Ultraschallmikrofone können die Ultraschallsignale der Module in Bezug auf ihre Phase, Frequenz und Amplitude in vorteilhafter Weise so abgestimmt werden, dass an beliebigen Stellen innerhalb des Interaktionsraumes haptisch wahrnehmbare Bereiche erzeugbar sind. Durch die Ultraschallmikrofone erfolgt eine Selbstkalibrierung der Vorrichtung, wodurch sich die Konfiguration der Vorrichtung vereinfacht, die im Wesentlichen automatisch ohne manuelle Vorgaben durchgeführt werden kann. Dabei steigt die Genauigkeit und die Auflösung der Konfiguration mit zunehmender Anzahl von Modulen und/oder Ultraschallmikrofonen. Vorzugsweise sind daher mindestens drei

Ultraschallmikrofone vorgesehen, die im Wesentlichen frei im Raum verteilt angeordnet werden können. Bei freier Positionierbarkeit der Ultraschallmikrofone ergeben sich zudem die Vorteile, dass die Positionen nicht auf die Modulpositionen beschränkt sind und mithin die Menge der verwendeten Ultraschallmikrofone und die unterschiedlichen Richtungen - also deren Winkel zu Messkörpern - beliebig erhöht werden kann, womit sich der Erkennungsbereich und die Genauigkeit des Verfahren erhöht.

Ergänzend zur Konfiguration der Vorrichtung können die Ultraschallmikrofone auch als akustische Kamera eingesetzt werden, mit der Objekte innerhalb des Interaktionsraums erkennbar, identifizierbar und durch eine fortlaufende Positionsbestimmung verfolgbar sind. Hierzu ist vorzugsweise vorgesehen, dass Reflexionen von ruhenden oder bewegten Objekten innerhalb des Interaktionsraums - wie beispielsweise einer Hand, die in den Interaktionsraum eingreift - von den Ultraschallmikrofonen registriert werden und aus den reflektierten Signalen die Position, die Form und die Bewegung des Objektes ermittelt wird. Zur Erkennung und Verfolgung der Objekte innerhalb des Interaktionsraums können die Ultraschallfrequenzen verwendet werden, die ohnehin zur Erzeugung des haptischen Effekts von den

Ultraschalllautsprechern abgegeben werden. Alternativ können auch andere hiervon abweichende Frequenzen verwendet werden.

Schließlich ist nach einer bevorzugten Ausgestaltung des Verfahrens vorgesehen, dass sich Objekte über vorhandene Klassifizierungsalgorithmen bestimmen lassen, die die reflektierten Signale mit vorhandenen und objektbezogenen Datensätzen vergleichen und bei gegebener Übereinstimmung eine eindeutige Zuordnung des Objektes erlauben. Hierdurch ist auch eine spezifische und gezielte Anregung des Objekts innerhalb des Interaktionsraums möglich. Eine konkrete Ausgestaltung der vorliegenden Erfindung wird nachfolgend mit Bezug auf die Figur erläutert, die eine schematische Darstellung einer Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches eines virtuellen Objekts innerhalb eines Interaktionsraums mit einer Vielzahl von Ultraschalllautsprechern zeigt.

Die dargestellte Vorrichtung 1 besitzt mehrere zylinderförmig dargestellte

Ultraschalllautsprecher 2, 2‘, die im vorliegenden Ausführungsbeispiel gruppenweise insgesamt 25 Module 3, 3‘ mit jeweils 16 Ultraschalllautsprechern 2, 2‘ bilden. Insgesamt besitzt die dargestellte Vorrichtung 400 Ultraschalllautsprecher 2, 2‘. Die Ultraschalllautsprecher 2, 2‘ der einzelnen Module 3, 3‘ sind jeweils matrixförmig mit 4x4 Ultraschalllautsprechern 2, 2‘ auf einer gemeinsamen Modulplatte 4 angeordnet und parallel zueinander ausgerichtet. Die Modulplatten 4 sind eben ausgebildet und bilden Modulebenen. Die Module 3, 3‘ sind ringförmig und gegenüber einer Horizontalen winklig angeordnet, so dass mindestens ein Ultraschalllautsprecher 2 eines Moduls 3 winklig zu mindestens einem Ultraschalllautsprecher 2‘ eines andern Moduls 3‘ orientiert ist und von einer gemeinsamen Ebene anderer Ultraschalllautsprecher beabstandet ist. Hierdurch sind die Module 3, 3‘ und die Ultraschalllautsprecher 2, 2‘ im Wesentlichen frei positionierbar und im gezeigten

Ausführungsbeispiel auf die Mitte des darüber angeordneten Interaktionsraums 6 ausgerichtet.

Zur Konfiguration und Steuerung der Vorrichtung 1 besitzen die Module 3, 3‘ zumindest teilweise Ultraschallmikrofone 5, wobei bei der vorliegenden Ausführungsform nur drei Ultraschallmikrofone 5 beispielhaft dargestellt sind. Um die Genauigkeit des Konfigurations- und Steuerverfahrens zu erhöhen, besitzen vorzugsweise alle Module 3, 3‘ mindestens ein Ultraschallmikrofon 5. Die Ultraschallmikrofone 5 empfangen zur Konfiguration Testsignale, die nacheinander von den Modulen 3, 3‘ abgegeben werden und die ggf. an einem Reflexionskörper (nicht dargestellt) reflektiert werden. Über die aufgenommenen Signale, insbesondere deren Frequenzen und Amplituden, lassen sich die Positionen und Orientierungen der einzelnen Module 3, 3‘ eindeutig bestimmen, so dass die Ultraschallsignale in Bezug auf deren Phase, Frequenz und Amplitude so einstellbar sind, dass an beliebigen Positionen innerhalb des Interaktionsraums 6 Punkte mit haptisch wahrnehmbaren Bereichen erzeugbar sind. In der Figur ist der Interaktionsraum 6 mit einem möglichen haptischen Feedback im wesentlichen teilkugelförmig dargestellt, wobei die Form des Interaktionsraums 6 auch von der konkreten und frei wählbaren Anordnung der Module 3, 3‘ abhängt.

Im Interaktionsraum 6 selbst lassen sich an beliebigen Positionen haptisch fühlbare Bereiche erzeugen, die durch eine Person mit einer Hand 7 wahrgenommen werden können, die in den Interaktionsraum 6 eindringt. Die Reflexionen der Ultraschallsignale an der Hand 7 - oder einem anderen Objekt - werden durch die Ultraschallmikrofone 5 registriert, so dass sich aus den reflektierten Signalen die Bewegung der Hand 7 im Interaktionsraum 6 ermitteln lässt.

Zur Steuerung und Konfiguration der Vorrichtung 1 sind eine Steuereinheit 8 und eine

Programmierschnittstelle 9 vorgesehen. Die Steuereinheit 8 ist im dargestellten

Ausführungsbeispiel derart mit der Vorrichtung 1 verbunden, dass die Steuersignale unmittelbar von der Steuereinheit 8 zu den einzelnen Modulen 3, 3‘ gesendet werden. Alternativ können die Module 3, 3‘ auch separate Mikrocontroller (nicht dargestellt) aufweisen, die zur Steuerung mit den Modulen 3, 3‘ einerseits und der Steuereinheit 8 andererseits verbunden sind.

Bezugszeichenliste

Vorrichtung

, 2‘ Ultraschalllautsprecher

, 3‘ Modul

Modulplatte

Ultraschallmikrofon

Interaktionsraum

Hand

Steuereinheit

Programmierschnittstelle