Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR MODIFYING THE AFFECTIVE VISUAL INFORMATION IN THE FIELD OF VISION OF AN USER
Document Type and Number:
WIPO Patent Application WO/2017/220667
Kind Code:
A1
Abstract:
The invention relates to a method and to a device for modifying the affective visual information in the field of vision of a user of the device. Said device comprises at least one image sensor (14) and at least one display (2). The method comprises the following steps: Detecting an image in the field of vision of the device using an image sensor (14), carrying out a face recognition using the detected image for recognising at least one face, determining the position of the eyes and mouth of the detected face, calculating a superimposition area in the display (2) of the device in accordance with the determined positions of the eyes and mouth, superimposing the field of vision of a user of the device with alternative image data in the calculated superimposition of the display (2).

Inventors:
ZECHNER STEFAN (AT)
Application Number:
PCT/EP2017/065265
Publication Date:
December 28, 2017
Filing Date:
June 21, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZECHNER STEFAN (AT)
International Classes:
G06T11/00
Domestic Patent References:
WO2010022351A22010-02-25
Foreign References:
EP2124186A12009-11-25
US20110214082A12011-09-01
US9060095B22015-06-16
Other References:
MADHURA DATTA ET AL: "Two dimensional synthetic face generation and verification using set estimation technique", COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US, vol. 116, no. 9, 16 May 2012 (2012-05-16), pages 1022 - 1031, XP028400035, ISSN: 1077-3142, [retrieved on 20120606], DOI: 10.1016/J.CVIU.2012.05.004
VLADO KITANOVSKI ET AL: "Augmented reality mirror for virtual facial alterations", IMAGE PROCESSING (ICIP), 2011 18TH IEEE INTERNATIONAL CONFERENCE ON, IEEE, 11 September 2011 (2011-09-11), pages 1093 - 1096, XP032079768, ISBN: 978-1-4577-1304-0, DOI: 10.1109/ICIP.2011.6115616
STEFANO MELACCI ET AL: "A template-based approach to automatic face enhancement", PATTERN ANALYSIS AND APPLICATIONS, SPRINGER-VERLAG, LO, vol. 13, no. 3, 8 April 2009 (2009-04-08), pages 289 - 300, XP019806522, ISSN: 1433-755X
MORISHIMA SHIGEO ET AL: "Instant Movie Casting with Personality: Dive into the Movie System", NETWORK AND PARALLEL COMPUTING; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, vol. 6774 Chap.21, no. 558, 9 July 2011 (2011-07-09), pages 187 - 196, XP047370104, ISSN: 0302-9743, ISBN: 978-3-642-16019-6
Attorney, Agent or Firm:
SONN & PARTNER PATENTANWÄLTE (AT)
Download PDF:
Claims:
Ansprüche :

1. Verfahren zur Veränderung der affektiven visuellen

Information im Gesichtsfeld eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor (14) und zumindest einer Anzeige (2), umfassend die Schritte:

Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor (14),

Durchführen einer Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts,

Ermitteln der Positionen von Augen und Mund des erkannten Gesichts ,

Berechnen eines Überlagerungsbereichs in der Anzeige (2) der Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund,

Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Überlagern des Gesichtsfelds ein Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige (2) umfasst.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entspricht .

4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen das gesamte

Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfasst.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch

gekennzeichnet, dass die alternativen Bilddaten einer

veränderten Abbildung des Sichtfelds der Vorrichtung im

Überlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine Veränderung der Helligkeit, eine Verringerung einer Bildauflösung, eine Veränderung der Zeichnung und/oder des Kontrastes, eine farbliche Markierung und/oder eine Manipulation der Gesichtszüge umfasst.

6. Verfahren nach einem der Ansprüche 1 bis 5, gekennzeichnet durch ein Erfassen des Signals zumindest eines Biofeedback- Sensors, wobei die Überlagerung in Abhängigkeit von dem Signal des Biofeedback-Sensors aktiviert wird.

7. Verfahren nach Anspruch 5 und 6, dadurch gekennzeichnet, dass ein Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Biofeedback-Sensors ermittelt wird.

8. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch, vor dem Berechnen des Überlagerungsbereichs, Kalibrieren der Anzeige (2) der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige (2) ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines Überlagerungsbereichs in der Anzeige (2) berücksichtigt werden.

9. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch Auslösen einer Benutzerbenachrichtigung, wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte

Schwelle überschreitet und/oder wenn die Gesichtserkennung eine affektive Auslenkung oder Resonanz oberhalb einer vordefinierten Schwelle an einem erkannten Gesicht detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde.

10. Vorrichtung zur Veränderung der affektiven visuellen

Information im Gesichtsfeld eines Benutzers, wobei die

Vorrichtung zumindest einen Bildsensor (14) und zumindest eine Anzeige (2) sowie eine Verarbeitungseinheit (6) aufweist, die mit dem Bildsensor (14) und der Anzeige (2) verbunden ist, wobei der Bildsensor (14) zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige (2) zum Überlagern des Gesichtsfelds eines Benutzers in einem

Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten eingerichtet ist, dadurch gekennzeichnet, dass die

Verarbeitungseinheit (6) eingerichtet ist, eine

Gesichtserkennung mit einem vom Bildsensor (14) erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der

Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige (2) für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen.

11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Anzeige (2) ein Bildschirm oder ein Display, insbesondere ein transparentes Display, ist.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass sie eine Augmented Reality Brille (1) ist.

13. Vorrichtung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) eine

Gesichtserkennungssoftware aufweist .

14. Vorrichtung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass sie einen Biofeedback-Sensor umfasst, wobei die Verarbeitungseinheit (6) mit dem Biofeedback-Sensor

verbunden und eingerichtet ist, die Überlagerung in Abhängigkeit von einem Signal des Biofeedback-Sensors zu aktivieren.

15. Vorrichtung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass sie eine Benachrichtigungseinrichtung umfasst, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die

Verarbeitungseinheit (6) mit der Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem spezifischen Affekt zugeordnete

Person erkannt wird.

Description:
Verfahren und Vorrichtung zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Veränderung der affektiven visuellen Information im

Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers. Die Vorrichtung weist zumindest einen Bildsensor und zumindest eine Anzeige sowie eine Verarbeitungseinheit auf, die mit dem

Bildsensor und der Anzeige verbunden ist, wobei der Bildsensor zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige zum Überlagern des

Gesichtsfelds eines Benutzers in einem Überlagerungsbereich der Anzeige mit alternativen Bilddaten eingerichtet ist.

Als Gesichtsfeld des Benutzers wird hier jener Raumwinkel bzw. Bereich des Außenraums bezeichnet, aus dem zumindest ein Auge des Benutzers Lichtimpulse aufnehmen und auswerten kann. Es setzt sich aus den monokularen Gesichtsfeldern der beiden Augen zusammen. Im Vergleich dazu wird als Blickfeld hier jener

Bereich bezeichnet, der alle bei ruhiger Kopf- und Körperhaltung mit den Augen nacheinander zentral fixierbaren Sehobjekte im Außenraum enthält; dieser Bereich wird genauer auch als

monokulares Blickfeld bezeichnet. Das Sichtfeld bezeichnet schließlich den Bereich im Bildwinkel eines optischen

Instruments oder einer optischen Vorrichtung, d.h. den durch die Vorrichtung sichtbaren (mit einem Auge) oder abbildbaren (z.B. mit einem Bildsensor) Bereich des Außenraums.

Es sind Vorrichtungen und Verfahren bekannt, mit denen eine Einblendung von zusätzlicher, d.h. über die Wiedergabe der Umgebung hinausgehender, Information im Gesichtsfeld eines Benutzers möglich ist. Solche Vorrichtungen und Verfahren werden unter dem Begriff „Augmented Reality" (AR) zusammengefasst .

Beispielsweise zeigt die US 2011/0214082 AI eine solche

Vorrichtung in der Art einer am Kopf getragenen (Head-Mounted) Sichtvorrichtung mit Durchsicht-Displays, die kurz als „AR- Brille" bezeichnet werden kann. Diese Vorrichtung umfasst eine Kamera zur Erfassung von Bildern der Umgebung, insbesondere eines Sichtfelds der Vorrichtung. Diese Bilder können

verarbeitet und die Ergebnisse der Verarbeitung zur Auswahl der eingeblendeten Information verwendet werden. Derartige AR- Vorrichtungen verfolgen generell das Ziel, den Benutzer mit Information zu versorgen, die über die in der Umgebung

unmittelbar optisch wahrnehmbare Information hinaus geht („to augment" bedeutet erweitern, anreichern) und sich davon

unterscheidet .

In einem anderen technischen Zusammenhang, bei

Videokonferenzsystemen, ist es bekannt, durch Überblendungen bestimmter Bildbereiche die vom Benutzer unmittelbar optisch wahrnehmbare Information zu verändern. Die US 9,060,095 B2 beschreibt ein Verfahren, bei dem das Gesicht eines Teilnehmers an einer Videokonferenz durch ein Ersatzbild, z.B. ein

schematisches Gesicht oder ein fremdes Gesicht, ersetzt wird. Damit wird das Ziel verfolgt, die Identität des Teilnehmers vor den anderen Teilnehmern der Videokonferenz zu verbergen. Das überblendete Gesicht des betreffenden Teilnehmers ist für die anderen Teilnehmern nicht sichtbar oder erkennbar. Ein solcher Schutz der Identität ist naturgemäß nicht auf AR-Anwendungen übertragbar, weil ein Träger einer AR-Vorrichtung wie oben beschrieben diese abnehmen kann, um das tatsächliche Gesicht seines Gegenüber zu sehen. Dementsprechend würde es dem Zweck des Verfahrens zuwider laufen, es für Personen in der Umgebung eines Trägers einer AR-Vorrichtung verwenden zu wollen.

Es ist eine Aufgabe der Erfindung, ein Verfahren und eine

Vorrichtung vorzuschlagen, mit denen eine Anpassung der

affektiven Perzeption eines Benutzers beim Betrachten seiner Umgebung erzielbar ist.

Das erfindungsgemäße Verfahren zur Veränderung der affektiven visuellen Information im Gesichtsfeld, insbesondere im

Blickfeld, eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor und zumindest einer Anzeige umfasst die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor, Durchführen einer Gesichtserkennung mit dem

erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts,

Berechnen eines Überlagerungsbereichs in der Anzeige der

Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, und Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige mit alternativen Bilddaten. Das Sichtfeld der

Vorrichtung ist in der Regel ein Ausschnitt aus dem Gesichtsfeld des Benutzers. Es entspricht nicht notwendiger Weise dem vom Bildsensor abgebildeten Bereich, insbesondere kann der

abgebildete Bereich das Sichtfeld der Vorrichtung umfassen und über dieses hinaus gehen. Der Bildsensor kann z.B. Teil einer Blickfeldkamera sein, die ein größeres Sichtfeld als die

Vorrichtung selbst hat. Die Vorrichtung kann z.B. eine Brille, eine Kamera, ein Fernglas, ein Visier, oder eine andere optische Vorrichtung sein. Der Bildsensor und die Anzeige sind Teil derselben Vorrichtung und haben vorzugsweise eine feste relative Anordnung. Bei der Gesichtserkennung werden die Anzahl und die Positionen von Gesichtern in dem mit dem Bildsensor erfassten Bild erkannt. Eine solche Gesichtserkennung kann mit

herkömmlichen Mitteln und Algorithmen erfolgen. Beim Berechnen des Überlagerungsbereichs werden im Wesentlichen die Position und Abmessungen des Überlagerungsbereichs in der Anzeige

berechnet. Das Überlagern des Gesichtsfelds oder Blickfelds des Benutzers wird insbesondere durch Einblenden in ein Sichtfeld der Vorrichtung mit der Anzeige erzielt.

Die erfindungsgemäße Vorrichtung der eingangs angeführten Art zur Veränderung der affektiven visuellen Information im

Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers, ist dadurch gekennzeichnet, dass die Verarbeitungseinheit

eingerichtet ist, eine Gesichtserkennung mit einem vom

Bildsensor erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen. Bei der Vorrichtung handelt es sich vorzugsweise um eine AR-Vorrichtung . Der Inhalt der Anzeige wird unter Verwendung der vom Bildsensor erfassten Daten gesteuert, wobei sich Anzeige und Bildsensor im

Wesentlichen am selben Ort befinden, namentlich als Teil

derselben Vorrichtung.

Durch das Überlagern des Gesichtsfelds des Benutzers in einem Überlagerungsbereich, welcher von den Positionen von Augen und Mund erkannter Gesichter abhängt, kann eine spezifische

Überlagerung dieser Gesichter erzielt werden, welche für eine Regulation der visuellen Wahrnehmung von Affekten an Personen im Gesichtsfeld bzw. Blickfeld des Benutzers verwendet werden kann.

Es hat sich herausgestellt, dass eine solche Regulation der visuellen Wahrnehmung von Affekten einen signifikanten Einfluss auf die Empathiefähigkeit der so unterstützten Personen hat. Beispielsweise konnte bei Personen mit AD(H)S ein positiver Einfluss einer solchen Regulation auf das Selbstvertrauen und eine auf eine gute Selbstwirksamkeit festgestellt werden.

Außerdem können Stressreaktionen in der sozialen Interaktion kontrolliert und gedämpft werden.

Als affektive Information werden in diesem Zusammenhang

sämtliche Signale bezeichnet, welche eine Emotion eines

Individuums ausdrücken. Abhängig von der psychischen Verfassung des Individuums umfassen diese Informationen graduelle Ausdrücke tatsächlicher Emotionen und Ausdrücke zur Überdeckung der tatsächlichen Emotionen („affektive Fassade") bzw. bei Fehlen spezifischer Emotionen Ausdrücke kognitiv erzeugter, als

erwartet oder nützlich eingeschätzter Emotionen. Ebenso wie die Ausdrucksstärke ist auch die Perzeptionsstärke für affektive Informationen individuell verschieden und abhängig von der psychischen Verfassung sowie auch genetisch veranlagt.

Das Überlagern des Gesichtsfelds umfasst vorzugsweise ein

Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige.

Dementsprechend kann die Anzeige ein Bildschirm oder ein

Display, insbesondere ein transparentes Display, sein.

Vorzugsweise entspricht die Veränderung der affektiven visuellen Information einer graduelle Senkung oder Verstärkung der

affektiven visuellen Information. D.h. die affektive visuelle Information wird vorzugsweise nicht vollständig gelöscht oder überschrieben. Die graduelle Senkung oder Verstärkung kann beispielsweise durch lokale, graduelle Veränderung der Durchsichtigkeit eines Displays erzielt werden. Beispielsweise kann die Durchsichtigkeit in einem Überlagerungsbereich auf einen geeigneten Prozentsatz, z.B. auf 50 %, gesenkt werden.

Dementsprechend ist das vorliegende Verfahren vorzugsweise ein Verfahren zur, insbesondere graduellen,

Verringerung/Senkung/Störung oder Verstärkung/Steigerung der affektiven visuellen Information im Gesichtsfeld eines Benutzers der vorliegenden Vorrichtung.

Vorteilhafter Weise kann ein fließender Übergang an der Grenze oder Kante des Überlagerungsbereichs vorgesehen sein.

Beispielsweise kann ein gradueller Kantenverlauf mittels

linearer Variation der Durchsichtigkeit erzielt werden. Dabei kann die Durchsichtigkeit in einem Übergangsbereich des

Überlagerungsbereichs an der Grenze des Überlagerungsbereichs in Richtung normal zu der Grenze des Überlagerungsbereichs von innerhalb des Überlagerungsbereichs nach außerhalb des

Überlagerungsbereichs zunehmen. Der Übergangsbereich entspricht im Wesentlichen einem Streifen entlang der Grenze des

Überlagerungsbereichs. Die Breite des Übergangsbereichs ist vorzugsweise an die Breite des Überlagerungsbereichs angepasst; sie beträgt z.B. zwischen 5 und 30 % der Breite des

Überlagerungsbereichs, vorzugsweise zwischen 15 und 25 %. Die Variation der Durchsichtigkeit ist vorzugsweise linear über die Breite des Übergangsbereichs und variiert vorzugsweise zwischen vollständiger Durchsichtigkeit (oder maximaler Durchsichtigkeit der verwendeten Anzeige) an der Grenze des Überlagerungsbereichs und der gewählten Durchsichtigkeit außerhalb des

Übergangsbereichs (d.h. im Rest des Überlagerungsbereichs), z.B. vollständiger Undurchsichtigkeit (oder minimaler

Durchsichtigkeit der Anzeige) . Der Durch den Übergangsbereich erzielte fließende Übergang verringert eine durch die

Überlagerung verursachte Irritation des Benutzers.

Vorzugsweise weist die Vorrichtung zwei voneinander in einem festen Abstand angeordnete Bildsensoren auf. Dadurch wird die Bestimmung des Abstands zu einem erkannten Gesicht ermöglicht, wodurch eine genauere Berechnung der Abmessungen des

Überlagerungsbereichs in der Anzeige ermöglicht wird. Besonders bevorzugt umfasst die Vorrichtung eine Augmented

Reality Brille. Geeignete Brillen werden beispielsweise von Osterhout Design Group, 153 Townsend Street, Suite 570 San

Francisco, CA 94107 angeboten, insbesondere deren Produkte „R-6" oder „R-7 Smartglasses System".

Der Überlagerungsbereich kann im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entsprechen. D.h. das Berechnen des Überlagerungsbereichs umfasst ein Verbinden der Positionen und Ermitteln der in dem (oder den) eingeschlossenen Dreieck (en) angeordneten Bildpunkte der Anzeige. Alternativ können auch andere geometrische Formen verwendet werden, deren Größe entsprechend dem besagten Dreieck skaliert wird. Beispielsweise kann ein symmetrisches Trapez verwendet werden, bei dem die breitere Grundseite im Bereich der Augenpositionen angeordnet ist. Optional kann die breitere

Grundseite durch ein Rechteck nach oben verlängert sein. Es hat sich herausgestellt, dass im Bereich des Auge-Auge-Mund Dreiecks die größte affektive Datenmenge transportiert wird, insbesondere durch die mimische Muskulatur. Ein vergleichsweise geringerer Teil der affektiven Information wird in der üblichen

zwischenmenschlichen Interaktion durch die Stimmlage und die Körperhaltung vermittelt. Ein Überlagern der Informationen in diesem Bereich des Gesichtsfelds hat daher eine Verringerung der vom Benutzer wahrgenommenen affektiven Information zur Folge, was zur Regulation genutzt werden kann. Somit kann die von

Benutzern mit ungewöhnlich starker affektiver Perzeption

wahrgenommenen affektiven Information auf ein Niveau gesenkt werden, welches einer durchschnittlichen affektiven Perzeption entspricht .

Andererseits kann der Überlagerungsbereich auch im Wesentlichen das gesamte Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfassen. D.h. in diesem Fall umfasst das Berechnen des

Überlagerungsbereichs ein Verbinden der Positionen und Ermitteln der außerhalb des oder der eingeschlossenen Dreiecks bzw.

Dreiecke angeordneten Bildpunkte der Anzeige. Ein Überlagern des Bereichs außerhalb der so genannten Auge-Auge-Mund Dreiecke ermöglicht ein Hervorheben der Auge-Auge-Mund Dreiecke und ein Lenken der Aufmerksamkeit auf diese Dreiecke, z.B. durch

Abblenden des übrigen, überlagerten Bereichs. Die Überlagerung hat dann eine Verstärkung der vom Benutzer wahrgenommenen affektiven Information zur Folge. Somit kann die von Benutzern mit ungewöhnlich schwacher affektiver Perzeption wahrgenommenen affektiven Informationen auf ein Niveau gehoben werden, welches einer durchschnittlichen affektiven Perzeption entspricht.

Die Verarbeitungseinheit der gegenständlichen Vorrichtung kann vorzugsweise eine Gesichtserkennungssoftware aufweisen. Mittels der Gesichtserkennungssoftware können einerseits Gesichter in den erfassten Bilddaten erkannt und die Positionen von Augen und Mund der einzelnen erkannten Gesichter bestimmt werden.

Die alternativen Bilddaten können vorzugsweise einer veränderten Abbildung des Sichtfelds der Vorrichtung im Überlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine

Veränderung der Helligkeit, eine Verringerung einer

Bildauflösung, eine Veränderung der Zeichnung (auch als Schärfe bezeichnet) und/oder des Kontrastes, eine farbliche Markierung (z.B. mittels eines Rahmens und/oder einer farblichen Tönung) und/oder eine Manipulation der Gesichtszüge umfasst. Die

genannten Veränderungen der Abbildung erhalten einen Teil der ursprünglichen Information im Überlagerungsbereich. D.h. es werden nicht alle optischen Informationen im

Überlagerungsbereich ersetzt. Dadurch ist die Überlagerung weniger auffällig für den Benutzer, sodass dessen Aufmerksamkeit nicht ungewollt auf den Überlagerungsbereich gelenkt wird. Eine solche für die Umgebung unwillkürlich erscheinende Ablenkung könnte unnatürlich und irritierend auf ein Gegenüber des

Benutzers wirken, was mit den vorgeschlagenen Veränderungen vermeidbar ist. Als besonders günstig hat sich eine im

Wesentlichen hautfarbene Färbung im Überlagerungsbereich

herausgestellt. Eine besonders geringe Irritation der

Wahrnehmung bei zugleich effektiver Störung der affektiven visuellen Information kann mit einem teilweise transparenten, vorzugsweise horizontalen, Streifenmuster im

Überlagerungsbereich erzielt werden. Die Anzahl der Streifen innerhalb eines erkannten Gesichtsbereichs ist vorzugsweise größer als vier und kleiner als 50. Die Farbe des Streifenmusters kann zwischen der Farbe von erkannten Gesichtsfalten (dunkel) und relativ planen Gesichtsflächen

(hell) variieren und so auf das jeweils erkannte Gesicht abgestimmt sein.

Weiters ist es günstig, im Rahmen des vorliegenden Verfahrens ein Erfassen des Signals zumindest eines Biofeedback-Sensors vorzusehen, wobei die Überlagerung in Abhängigkeit von dem

Signal des Biofeedback-Sensors aktiviert wird. Vorzugsweise kann eine Überlagerung nur bei einem vom Biofeedback-Sensor

ermittelten Stress-Level oberhalb einer vordefinierten Schwelle aktiviert werden, sodass unterhalb der Schwelle eine

unveränderte Wahrnehmung der Umgebung möglich ist. Die

Überlagerung wird dabei vorzugsweise nur für eine festgelegte kurze Zeitspanne aktiviert, nach deren Ablauf wieder das unveränderte Sichtfeld wahrnehmbar ist. Als Biofeedback-Sensor kann insbesondere ein Stress-Sensor, z.B. ein Photoplethysmogram (PPG) oder ein Sensor zur Messung des Hautwiderstands, der Hauttemperatur, der Herzfrequenz und/oder der Bewegung des Körpers verwendet werden. Ein derartiger Biofeedback-Sensor ist beispielsweise das Produkt „Q Sensor" der Firma Affectiva, 465 Waverley Oaks Road, Suite 320, Waltham, MA 02452, United States oder die Produkte „Embrace" und „E4" der Firma Empatica Inc, 1 Broadway, 14th Floor, Cambridge, MA 02142, United States.

Dementsprechend kann die gegenständliche Vorrichtung einen

Biofeedback-Sensor umfassen, wobei die Verarbeitungseinheit mit dem Biofeedback-Sensor verbunden und eingerichtet ist, die

Überlagerung in Abhängigkeit von einem Signal des Biofeedback- Sensors zu aktivieren.

Im Zusammenhang mit der Auswertung des Signals eines

Biofeedback-Sensors ist es besonders vorteilhaft, wenn ein

Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Stress-Sensors ermittelt wird. Beispielsweise kann auf diese Weise mit zunehmenden Stress-Level eine stärkere

Abbiendung der affektiven Information vorgenommen werden und umgekehrt. Dadurch kann ein negativer Kreislauf, bei dem die Wahrnehmung des Gegenübers von erhöhtem Stress beim Benutzer zu einer affektiven Information beiträgt, die den Stress weiter erhöht, frühzeitig durchbrochen werden. Zugleich kann die

Veränderung der Abbildung auf jene Situationen beschränkt werden, in denen sie erforderlich oder hilfreich ist (z.B. bei Stress oder Angst) . Außerhalb dieser Situationen wird die

Veränderung der affektiven Information auf ein Minimum

beschränkt, sodass eine natürliche gegenseitige Wahrnehmung erzielt wird.

Ebenfalls im Zusammenhang mit dem Erfassen des Signals zumindest eines Biofeedback-Sensors können im Rahmen des vorliegenden Verfahrens die alternativen Bilddaten einer Referenzaufnahme des überlagerten Gesichtsbereichs entsprechen. Die Referenzaufnahme kann bei einem festgestellten geringen oder normalen Stress- Level gespeichert werden. Somit zeigt die Referenzaufnahme beispielsweise einen Gesichtsausdruck mit geringer visueller affektiver Information und/oder mit positiver oder beruhigender visueller affektiver Information. Sobald ein hohes Stress-Level festgestellt wird, kann die Referenzaufnahme zur Überlagerung desselben Gesichts verwendet werden. Zur Skalierung und

Ausrichtung der Referenzaufnahme wird das sowohl in der

Referenzaufnahme als auch im Überlagerungsbereich erkannte Auge- Auge-Mund Dreieck verwendet. Durch die Überlagerung z.B. eines Gesichtsbereichs mit einer Referenzaufnahme desselben

Gesichtsbereichs kann ein besonders natürliches Bild und

folglich eine besonders geringe Irritation des Benutzers erzielt werden .

Bei Vorrichtungen, bei denen abhängig von der Augenposition des Benutzers bei der Verwendung der Vorrichtung von der Position der Augen abhängt, ist es vorteilhaft, wenn das vorliegende Verfahren vor dem Berechnen des Überlagerungsbereichs, ein

Kalibrieren der Anzeige der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines

Überlagerungsbereichs in der Anzeige berücksichtigt werden, vorsieht. Durch die Kalibrierung kann der Überlagerungsbereich genauer berechnet werden, sodass eine gezielte Überlagerung bestimmter, genau abgegrenzter Bereiche im Sichtfeld der

Vorrichtung ermöglicht wird. Ohne eine Kalibrierung muss demgegenüber der Fehler einer Schätzung des Augenabstands und der Distanz zur Anzeige berücksichtigt werden, weshalb ein vergleichsweise größerer Überlagerungsbereich berechnet werden muss, um die gewünschte Überlagerung zuverlässig zu erzielen.

Weiters hat es sich als günstig herausgestellt, im Rahmen des gegenständlichen Verfahrens ein Auslösen einer optionalen

Benutzerbenachrichtigung vorzusehen, wenn ein gekoppelter

Biofeedback-Sensor, insbesondere ein gekoppelter Stresssensor, aktiviert wird (z.B. mittels Messung von Pulsfrequenz,

Muskeltonus, EEG-Messung und/oder Hautleitgeschwindigkeit), d.h. wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte Schwelle überschreitet, und/oder wenn die

Gesichtserkennung (z.B. in Form einer

Gesichtserkennungssoftware) eine affektive Auslenkung oder

Resonanz oberhalb einer vordefinierten Schwelle an einem

erkannten Gesicht (d.h. an der Person gegenüber) detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde. Eine solche Benutzerbenachrichtigung oder Notifikation kann mit einem haptischen Signal (z.B. Vibration), akustischen Signal (z.B. Alarm) oder optischen Signal (z.B. blinkende

Anzeige) erzielt werden, welche von einem Impulsgeber abgegeben werden .

In entsprechender Weise kann die gegenständliche Vorrichtung vorzugsweise eine Benachrichtigungseinrichtung umfassen, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die Verarbeitungseinheit mit der

Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem

spezifischen Affekt zugeordnete Person erkannt wird. Als

spezifisches affektives Muster wird hier sowohl eine affektive Reaktion des Benutzers der Vorrichtung verstanden, welche z.B. mittels eines Biofeedback-Sensors festgestellt werden kann, als auch eine affektive Reaktion des Gegenübers, d.h. an dem

zumindest einen erkannten Gesicht, welche beispielsweise im Rahmen der Gesichtserkennung anhand des Gesichtsausdrucks festgestellt werden kann. Eine einem spezifischen Affekt zugeordnete Person kann beispielsweise im Rahmen einer zusätzlichen Stimmerkennung in Verbindung mit einer Datenbank von vorab als Stressor gespeicherten Personen bzw. deren

Stimmcharakteristika festgestellt werden.

Die Benachrichtigung ermöglicht einem Benutzer mit geringer affektiver Perzeptionsstärke, sich die von einem Gegenüber transportierte affektive Information bewusst zu machen bzw.

bewusst wahrzunehmen und entsprechend zu reagieren. Bei

Anwendung der Vorrichtung oder des Verfahrens über einen

längeren Zeitraum wird die Aufmerksamkeit für affektive

Information durch die Benachrichtigungen trainiert und so die natürliche Empathie-Fähigkeit des Benutzers gesteigert.

Vorzugsweise kann die Überlagerung in Abhängigkeit von der oben erwähnten Stimmerkennung aktiviert werden, wobei die

Überlagerung nur dann aktiviert wird, wenn die Stimme einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt wird.

In einer weiteren bevorzugten Ausführungsform kann die

Überlagerung in Abhängigkeit von der Identifizierung eines erkannten Gesichts aktiviert werden, wobei die Überlagerung nur dann aktiviert wird, wenn das Gesicht einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt und identifiziert wird.

Vorzugsweise kann im Rahmen der Erfindung vom Benutzer aus mindestens drei Betriebsmodi ausgewählt werden:

1) eine permanent aktivierte Überlagerung, d.h. jedes erkannten Gesichts ;

2) eine personenspezifische Überlagerung, wobei die Überlagerung abhängig von einer Stimmerkennung und/oder Gesichtserkennung aktiviert wird;

3) Aktivierung der Überlagerung mittels Biofeedback-Sensor (bzw. Stresssensor), d.h. wobei die Überlagerung in Abhängigkeit vom Stress-Level des Benutzers aktiviert wird.

Neben den bisher beschriebenen Anwendungen betrifft die

Erfindung auch ein Verfahren zur Messung der Empfindlichkeit eines Subjekts für affektive visuelle Information, insbesondere zur alleinigen oder ergänzenden Diagnostik von Angsterkrankungen und Depressionen im Allgemeinen sowie speziell der Diagnostik von AD(H)S bzw. Erkrankungen aus dem autistischen Formenkreis. Dieses Verfahren umfasst das oben beschriebene Verfahren zur Veränderung der affektiven visuellen Information, wobei das Subjekt der Benutzer der erfindungsgemäßen Vorrichtung ist und wobei die Überlagerung zeitlich variiert wird (z.B. abwechselnd für einige Minuten deaktiviert, dann für einige Minuten

aktiviert) und gleichzeitig mit einem Stress-Sensor die

affektive Reaktion des Subjekts ermittelt wird. Aus der

zeitlichen Korrelation zwischen dem zeitlichen Verlauf eines mit dem Stress-Sensor gemessenen Stress-Levels und dem zeitlichen Verlauf der Überlagerung kann ein Maß für die Empfindlichkeit für affektive visuelle Information abgeleitet werden oder zumindest eine Unempfindlichkeit festgestellt werden.

Darüber hinaus betrifft die Erfindung die Verwendung eines

Verfahrens oder einer Vorrichtung der eingangs angeführten Art, mit den oben beschriebenen bevorzugten Ausführungsformen, zum Verhindern von sozialen Stresssituationen, zum Vorbeugen von Angsterkrankungen und Depressionen, oder zur Stressreduktion bei einem Teil depressiver und angstkranker Personen. Je nach der Varianz der Affektwahrnehmung kann bei depressiven Erkrankungen sowie bei Angsterkrankungen, in der jeweiligen Ursächlichkeit,

(a) eine affektabhängige und (b) eine kaum bis nicht

affektabhängige Form in der Entstehung dieser Erkrankungen gefunden werden. Dem Idealtypus entspricht bei (a) eine starke Perzeption der Affekte im Gesicht einer gesehenen Person, wie z.B. bei AD(H)S (ICD-10 Code F90.-) und bei (b) eine geringe bis fehlende Perzeption in diesem Bereich wie z.B. bei Autismus

(Icd-10 Code F84.-) . Konkordant zu den bisherigen Testungen in der Ordination des Erfinders ist der „Lazar-Effekt" , also eine Stressreduktion durch die Beeinflussung der Affektwahrnehmung

(im Sinne einer Reduktion des Informationsgehalt im

entsprechenden Visusbereich) , bei einem Teil depressiver und angstkranker Patienten (ICD-10 Code F3-.- und F4-.-), sowie bei allen AD(H)S Patienten, feststellbar. Für diese Personengruppen ist die Verwendung der vorliegenden Erfindung daher besonders vorteilhaft. Dies, während ein anderer Teil Depressiver und Angstkranker, keinerlei Stressreduktion erlebt, dies

ausschließlich bei Betroffenen mit geringer bis fehlender automatisierter Affektwahrnehmung gegenüber anderen Person. An zwei Patienten mit Erkrankungen aus dem autistischen

Formenkreis, beide leiden unter einem Asperger-Syndrom, konnte ebenfalls keinerlei Stressreduktion in der Verwendung der vorliegenden Erfindung festgestellt werden. Dies entspricht exakt der Hypothese bzgl. des zu erwartenden Lazar-Effektes und dessen Bedeutung für die, unter (a) beschriebenen,

Patientengruppe. Da die Perzeptionsfähigkeit von nicht

erkrankten Personen, ebenfalls in zwei, dem jeweiligen

Idealtypus entsprechenden Gruppen eingeteilt werden kann und es infolge zu Missverständnissen bzgl. der Semantik von emotionaler Perzeption bzw. Affektwahrnehmung kommen kann, weil die meisten Personen davon ausgehen, das Gegenüber habe die selbe

Affektwahrnehmung, werden diese beiden Begriffe im Folgenden noch genauer definiert: Die (a) entsprechende Gruppe meint hier mit affektabhängig, die automatisierte und von der gedanklichen Kontrolle und dem Bewusstsein unabhängige Wahrnehmung von

Affekten (insbesondere von Muskelkontraktionen im Gesicht) bei gesehenen Personen. Dieser Verarbeitungsprozess liegt bei der Gruppe (b) und bei Personen aus dem nicht erkrankten Bereich, die diesem Idealtypus entsprechen, nicht vor. Er wird von diesen daher, mangels der eigenen Gegebenheit, zumeist nicht

verstanden. Letzteres basiert auf einem Mechanismus der

Wahrnehmung anderer Personen bei psychiatrischen Laien, oft als allgemeine Menschenkenntnis bezeichnet. Diese geht von der falschen Annahme aus, dass andere Personen nach denselben

Prinzipien funktionieren und wahrnehmen. Die (b) entsprechende Gruppe nimmt Affekte ausschließlich über einen willentlichen also bewussten Akt wahr, der sofort sistiert, wenn der gesehenen Person die Aufmerksamkeit entzogen wird. Vergleichbar dem

Verstehen einer Nichtmuttersprache, die nur verstanden wird, wenn die Aufmerksamkeit auf diese gerichtet ist. Die

affektabhängige Perzeption meint hingegen die konstante

Wahrnehmung der Affekte des Gegenübers, dem automatischen Hören und Verstehen der Muttersprache entsprechend.

Die Erfindung wird nachfolgend anhand eines besonders

bevorzugten Ausführungsbeispiels, auf das sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die Zeichnungen noch weiter erläutert. Dabei zeigen im Einzelnen:

Fig. 1 schematisch einen Teil einer erfindungsgemäßen

Vorrichtung in Form einer AR-Brille;

Fig. 2 schematisch ein Blockschaltbild der Funktionselemente einer erfindungsgemäßen Vorrichtung;

Fig. 3 schematisch eine Illustration der Berechnung eines Überlagerungsbereichs ;

Fig. 4 ein Anwendungsbeispiel des erfindungsgemäßen

Verfahrens ;

Fig. 5 schematisch einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit ;

Fig. 6A, 6B, 6C und 6D vier Anwendungsbeispiele für einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit bei jeweils unterschiedlichen Breiten des Übergangsbereichs;

Fig. 7 schematisch ein Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines

Gesichtsbereichs .

Fig. 1 zeigt eine vereinfachte Darstellung einer AR-Brille 1, wie beispielsweise den von Osterhout Design Group (ODG)

angebotenen „R7 Smart Glasses". Die Brillengläser der AR-Brille 1 sind zwei Anzeigen 2, die jeweils als transparentes Display

(Durchsicht-Display) ausgeführt sind. Die auf diesen Displays angezeigte graphische Oberfläche wird durch eine

Verarbeitungseinheit (nicht gezeigt) erzeugt, welche mit dem Betriebssystem (OS) Android mit der OS-Erweiterung „ReticleOS"

(ebenfalls von ODG) betrieben wird.

Eine in der AR-Brille 1 integrierte Kamera 3 umfasst einen

Bildsensor und liefert ein Bild der Umgebung. Das Sichtfeld der Kamera 3 deckt im Wesentlichen den Halbraum vor den

Brillengläsern ab und ist somit größer als das Sichtfeld der AR- Brille 1. Das Sichtfeld der AR-Brille 1 entspricht jenem Teil des Gesichtsfeld eines Benutzers, welcher durch die

Brillengläser wahrgenommen wird. Das von der Kamera 3 erfasst Bild der Umgebung wird über eine Verkabelung im Brillengestell 4 und eine Verbindungsleitung 5 zu einer Verarbeitungseinheit 6 (siehe Fig. 2) übertragen und dort laufend von einer

Gesichtserkennungssoftware analysiert, welche die Koordinaten des oder der Gesichter in der Umgebung ausgibt.

Ein auf der Verarbeitungseinheit 6 laufendes Anwendungsprogramm ermittelt zunächst aus dem zuvor kalibrierten Augenabstand die Entfernung des erkannten Gesichts. Dann berechnet sie laufend aus den Koordinaten und den im Rahmen der Kalibrierung

festgelegten Parameter zur Physiognomie des Brillenträgers

(Augenabstand, Distanz zwischen Brillengläser und Auge) für jedes Brillenglas die Koordinaten des Schnittpunktes der

Blickachse zum Gesicht des Gegenübers mit den Brillengläsern, also jener Stelle in jedem Brillenglas, die geeignet ist, das Auge-Auge-Mund-Dreieck (AAM-Dreieck) des Gegenübers zu

verdecken. Diese Daten werden wiederum an die API

(Programmierschnittstelle) des ReticleOS übergeben, welches ein zuvor festgelegtes Bild oder Muster an der entsprechenden Stelle im Brillenglas einblendet.

Der Aufbau des Anwendungsprogramms erlaubt das Einbinden von Software-Erweiterungen. Dazu zählen beispielsweise Erweiterungen zur laufenden Veränderung des zur Überblendung verwendeten

Musters oder Bildes. Das Anwendungsprogramm lässt sich somit z.B. dahingehend erweitern, dass als eingeblendetes Bild jenes Gesicht verwendet wird, das mit der Kamera aufgenommen, von der Gesichtserkennungssoftware erkannt und ausgegeben wurde und bei dem die Gesichtszüge gezielt manipuliert wurden.

Wie in Fig. 2 dargestellt, kann die Verarbeitungseinheit 6 optional mit Sensoren 7 und Eingabeelementen 8 verbunden sein. Die Sensoren 7 können einen Biofeedback-Sensor zur Messung von Stressparametern umfassen. Die gemessenen Parameter können dazu herangezogen werden, die Daten der Gesichtserkennungssoftware auszuwerten und einer Qualität zuzuordnen. Hierzu können z.B. Messungen des Hautwiderstandes, der Hauttemperatur, der

Herzfrequenz oder der Bewegung des Körpers als Stressparameter herangezogen werden.

Die Verarbeitungseinheit 6 bildet zusammen mit der AR-Brille 1 eine erfindungsgemäße Vorrichtung. Diese ist außerdem mit einer Energieverwaltungseinheit 9 und einer wiederaufladbaren Batterie 10 verbunden.

Die Überlagerung des Gesichtsfelds mittels der AR-Brille 1 kann prinzipiell für zwei Arten der Beeinflussung verwendet werden: Erstens eine Reduktion des affektiven Informationsgehaltes durch eine generische Veränderung der Bilddaten (Helligkeit, Kontrast, Zeichnung, etc.) oder zweitens eine Überlagerung des Gesichtes mit einem anderem Gesicht bzw. einem Gesicht derselben Person mit einem modifizieren affektiven Informationsgehalt,

insbesondere einen geringeren negativen emotionalen Inhalt als das Originalbild. Letzteres kann von der Kamera 3 davor

aufgenommen zu werden.

Der Grad der akzeptablen Einflussnahme auf die Kommunikation ist durch die kommunikative Plausibilität begrenzt und wird, in Anlehnung an die psychiatrische Einteilung des

psychopathologischen Status, als gegeben Adäquatheit definiert.

Bei Überschreiten dieses Wertes kommt es zu einem raschen

Anstieg der vom beobachteten Gegenüber transportierten

affektiven Information und infolge, durch deren Perzeption beim Benutzer/Brillenträger, zu einem starken Ausschlag der

Stresssensoren bei diesem. Letzteres führt außerdem zu einem Umschalten der emotionalen Wahrnehmung von unwillkürlich zu willkürlicher Perzeption sowie zu einer Senkung der Adäquatheit.

Es ist ein Ziel der vorliegenden Erfindung, die Kommunikation unwillkürlich und langsam in Richtung positiver Expression und Perzeption der Emotionen bei den Gesprächspartnern zu steuern ohne den Schwellenwert der Adäquatheit zu erreichen oder zu überschreiten .

In Fig. 3 sind die Verfahrensschritte zur Berechnung des

Überlagerungsbereichs anhand einer AR-Brille 1 gemäß Fig. 1 illustriert .

In der dargestellten beispielhaften Situation sind die Augen AL (linkes Auge) und AR (rechtes Auge) eines beobachtenden Subjekts (der Benutzer und Träger der AR-Brille 1) schematisch dargestellt. Die Augen AL, AR sind jeweils durch die

Pupillenöffnung und den runden Augapfel mit der Netzhaut auf dessen hinteren Innenseite dargestellt. Die Koordinaten der Punkte AL und AR entsprechen denen des Mittelpunktes des

jeweiligen Auges. Die Mittelpunkte der Pupillen sind mit PL und PR für die Pupille des linken bzw. rechten Auges eingezeichnet. Die Stecke a PD entspricht der gemessenen Pupillendistanz und steht für die Distanz zwischen den Mittelpunkten der beiden Augen AL, AR.

Das Subjekt trägt eine AR-Brille mit zwei Anzeigen 2 als

Brillengläsern, die als transparente Displays realisiert sind. DL bezeichnet das aus Sicht des Subjekts linke Brillenglas bzw. Display und DR das rechte. Die Punkte DL und DR sind als

Mittelpunkt der jeweiligen Anzeige 2 definiert. Auf der Brille sind zwei Kameras 11, 12 montiert, welche jeweils als Kamera Obscura dargestellt sind, bestehend aus einer Blende 13 und einem CCD-Bildsensor 14. Der Punkt C (für Camera) ist im

Mittelpunkt der Blende definiert.

Die Koordinaten x und y beziehen sich auf das Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 bzw. im linken oder rechten Display DL, DR liegt. Dabei sind x die horizontale und y die vertikale Koordinate. Die Indizes geben an, um welches Koordinatensystem es sich handelt. So beziehen sich die

Koordinaten XDL / yDL auf das Koordinaten-System mit dem

Ursprungspunkt DL im Raum und die Koordinaten x DR , y DR auf jenes mit dem Ursprungspunkt DR, also den Mittelpunkt der linken bzw. rechten Anzeige 2. Die Koordinaten x c und y c beziehen sich auf jenes Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 liegt. Die Anzeigen 2 sowie der Bildsensor 14 der Kamera 11 sind parallel zur x-y-Ebene im Raum. Die normal dazu stehende z-Koordinate entspricht der Richtung der Kamera. Die Bildebene der Fig. 3 entspricht der x-z-Ebene im Raum.

Das Gegenüber, dessen Gesichtszüge gelesen werden, wird als Objekt (0) bezeichnet. Die Augen des dem Beobachter/Subjekt (S) zugewandten Gesichts des Objekts, werden aus Sicht des Subjekts mit OL für das linke Auge und OR für das rechte Auge bezeichnet. Der Mund wird als OM bezeichnet, dessen Gesichtsmittelpunkt als OC . Abstände in x-Richtung werden mit a bezeichnet, jene in Y- Richtung mit d und jene in Z-Richtung mit b. Diese Wahl

orientierte sich an den üblichen Seitenbenennungen der im folgenden berechneten Dreiecke. Die Indizes dieser Längen bezeichnen die Endpunkte der dazugehörigen Strecken.

Die Zeichnung gemäß Fig. 3 stellt die Projektion der Stecken im Raum auf die x-z-Ebene dar. Es sei f der Abstand der Blende 13 zum Bildsensor 14, der durch die Kenntnis der verwendeten Kamera bekannt ist. Nun sei b c die noch unbekannte Entfernung der Kamera 11 zum Objekt (0) . Die Abbildung am Bildsensor 14 ergibt die Entfernung der Abbildung des linken Auges OL des Objektes am Bildsensor 14 zur Zentral-Achse XC,OL sowie die Entfernung der Abbildung des rechten Auges OR des Objektes am Bildsensor 14 zur Zentral-Achse XC,OR- Die Strahlendreiecke rechts von (vor) der Blende 13 zum Objekt sowie links von (hinter) der Blende 13 zum Bildsensor 14 sind ähnlich. Es gilt daher:

Q C,OL

- -tan a C 0L

b c f 1 Q0L/ (1) sowie

^C,OR C,OL

(2)

Nun wird der Augenabstand des Objekts 1 0 ,PD (oder kurz 1) mit einem Durchschnitts-Wert von 65 mm angenommen und

A C,OL - — Q C,OC_A

Daraus ergibt sich ein Gleichungssystem aus zwei Gleichungen und zwei Unbekannten:

i

ac,oc T V

^ _ A C,OL

b c ~ f (3) sowie a c ,oc+ 2 χ

COR

(4)

Aus diesen kann die Entfernung der Kamera zum Objekt b c sowie die Entfernung a c ,oc des Gesichtsmittelpunktes OC des Objekts von der Zentralachse der Kamera 11 berechnet werden.

Das Zentrum der Abdunkelung des Displays ergibt sich nun aus:

1 — Π X

C.OC U C,AR E =tan fa.

A c Ö AD (5) und analog für das linke Display:

Q C,OC ~ Q CAR ^PD ^DL ^rc

b c +b AC ~ b AD ~ m AL ' 0Cl (6)

Hierbei wurde noch angenommen, dass der Koordinatenursprung des Displays auf derselben Achse liegt, wie der Mittelpunkt des Auges. Ist dies nicht der Fall, sind die Koordinaten

entsprechend zu verschieben. In der Praxis wird es umgekehrt sein: In der Kalibrierungsphase ist der Verdunkelungspunkt manuell verschiebbar. Der Augenmittelpunkt wird dann aus DB errechnet bzw. die Koordinatentransformation iterativ aus allen manuellen Eingriffen angenähert.

Für die Transformation der y-Koordinate des Bildsensors 14 auf die y-Koordinate des Displays sei d c , 0 A die Projektion der Strecke vom Kamera-Blende zu den Augen OR, OL des Gegenübers/Objekts auf die y-z-Ebene und d c , 0 M die Projektion der Stecke von der Blende 13 zum Mund (OM) des Gegenübers/Objekts auf diese Ebene und y c , 0 A = y ,oR = yc,oL und y c ,oM die y-Koordinaten der Abbildung dieser Punkte am Bildsensor 14 der Kamera 11: sowie

u C,OM ,OM

: tan l «COM (8)

Da b c bereits aus den Gleichungen (3) und (4) bekannt ist, kann aus diesem Gleichungssystem d C , 0 M und d C , 0 A berechnet werden. Analog zur Gleichung (5) lässt sich nun die y-Koordinate auf beiden Displays aus den (bei der Kalibrierung ermittelten) Abständen zwischen Kamera und Auge d c , A auf der Y-Z-Ebene berechnen:

= tan α

b r + bA,C b Α,ΟΑ

F A,D (9) sowie

Liegt der Ursprung der Koordinaten des Displays nicht wie hier angenommen auf der Höhe des Augen-Mittelpunktes, müssen die Koordinaten wieder entsprechend verschoben werden.

Bei der Transformation der y-Koordinaten wurden bereits die Eckpunkte y D , A , Υ Ό , Μ des Überlagerungsbereichs und somit auch dessen Abmessungen bestimmt. Analog dazu kann dies bei der

Transformation der x-Koordinaten geschehen, was jedoch aus

Gründen der Übersichtlichkeit, weggelassen wurde. Hierbei kann genauso wie bei der Berechnung des Zentralpunktes des

Überlagerungsbereichs vom Augen-Mittelpunkt ausgegangen werden, da das Dreieck (in der x-z-Ebene) vom Augen-Mittelpunkt zu OL und OR das Dreieck von der Pupille zu OL komplett überlagert.

Bei der Berechnung der Ausdehnung des Überlagerungsbereichs kann darüber hinaus noch jener Fehler berücksichtigt werden, der sich aus den unterschiedlichen Größen des Augenabstands 1 0 ,PD des

Gegenübers/Objekts ergibt, d.h. der Fehler des angenommenen Durchschnittswerts von 65 mm. Eine Fehlerrechnung ergibt dann die notwendige Vergrößerung der Ausdehnung des

Überlagerungsbereichs .

Bei einer Verwendung der zweiten Kamera 12 liefern zwei Winkel den erfassten Bezugspunkt beim Objekt. Da die Entfernung a C c zwischen den beiden Kameras bekannt ist, lässt sich das Dreieck zwischen der ersten Kamera 11, der zweiten Kamera 12 und dem Objekt bzw. dessen Augen OR, OL mithilfe des WSW-Satzes

konstruieren, bzw. mithilfe des Sinus-Satzes berechnen. Der Abstand b c der Kameras 11, 12 zum Objekt entspricht dann der Höhe des Dreiecks. Man ist somit nicht mehr auf die Schätzung des Augenabstands des Objekts angewiesen und kann auf die oben erwähnte Fehlerrechnung und die daraus resultierende

Vergrößerung des Überlagerungsbereichs verzichten.

Beispielsweise lässt sich mithilfe der Gleichung:

/

cc "coc

CLOR

f (11) das System aus den Gleichungen (3) und (4) auch ohne die

Kenntnis des Augenabstandes 1 0 ,PD lösen.

In Fig. 4 ist ein Anwendungsbeispiel des erfindungsgemäßen Verfahrens anhand einer beispielhaften AR-Brille 15 schematisch dargestellt. Eine Blickfeldkamera 16 an der Vorderseite der AR- Brille 15 erfasst ein Bild des Sichtfelds 17 der AR-Brille 15 mit einem integrierten Bildsensor. Eine integrierte

Verarbeitungseinheit führt eine Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts 18 durch. Dabei wird die Position von Augen und Mund des erkannten

Gesichts 18 ermittelt und anschließend werden

Überlagerungsbereiche 19, 20 in den Anzeigen 21, 22 der AR- Brille 15 in Abhängigkeit von den ermittelten Positionen von Augen und Mund berechnet (vgl. Fig. 3 und diesbezügliche

Beschreibung oben) . Schließlich wird das Gesichtsfelds eines Benutzers der Vorrichtung in den berechneten

Überlagerungsbereichen 19, 20 der Anzeigen 21, 22 mit

alternativen Bilddaten überlagert. Die alternativen Bilddaten sind jeweils teilweise transparente schwarze Flächen, welche somit eine lokale Abdunkelung des Gesichtsfelds in den

Überlagerungsbereichen 19, 20 erzielen und dadurch die

wahrnehmbare affektive Information des Gesichts 18 reduzieren. Alternativ können die alternativen Bilddaten durch jeweils teilweise transparente hautfarbene Flächen gebildet sein, was weniger irritierende wirkt als schwarze Flächen. Außerhalb der Überlagerungsbereiche 19, 20 sind die Anzeigen 21, 22

gleichmäßig, vorzugsweise vollständig, transparent vergleichbar eine gewöhnlichen optischen Brille oder Sonnenbrille. Das

Gesicht 18 ist auf den Anzeigen 21, 22 nur zum besseren Verständnis der Anordnung der Überlagerungsbereiche 19, 20 eingezeichnet und soll stellt die Perspektive des Benutzers der AR-Brille 15, d.h. welcher durch die Anzeigen 21, 22 hindurch blickt, dar.

In Fig. 5 ist schematisch eine Ansicht durch eine der Anzeigen 21, 22 mit einem elliptischen Überlagerungsbereich 23 zur

Überlagerung eines Gesichts 24 dargestellt. Der

Überlagerungsbereich 23 umfasst einen Übergangsbereich 25 mit linear nach außen ansteigender Durchsichtigkeit. Außerhalb des Übergangsbereichs 25 ist die Durchsichtigkeit des

Überlagerungsbereich 23 im Wesentlichen konstant. Die Breite des Übergangsbereichs 25 entspricht etwa 10 % der Breite des

Überlagerungsbereichs 23 an der breitesten Stelle, parallel zu einer Verbindungslinie zwischen den erkannten Augen 26 des

Gesichts 24 gemessen. Durch den Übergangsbereich 25 wird ein fließender Übergang zwischen dem Überlagerungsbereich 23 und dessen Umgebung erzielt, welcher für einen Benutzer weniger irritierend wirkt als eine harte Kante an der Grenze des

Überlagerungsbereichs 23.

Fig. 6A, 6B, 6C und 6D zeigen vier Anwendungsbeispiele für den im Zusammenhang mit Fig. 5 beschriebenen Übergangsbereich. Dabei ist jeweils ein Gesicht mit einem elliptischen, hautfarbenen Überlagerungsbereich 23 dargestellt. Der Überlagerungsbereich 23 deckt im Wesentlichen den gesamten Gesichtsbereich zwischen den Ohren und vom Kinn bis zum Haaransatz ab. In Fig. 6A ist der Überlagerungsbereich 23 ohne Übergangsbereich 25 dargestellt; das entspricht einer Breite des Übergangsbereichs 25 von Null. In Fig. 6B, 6C und 6D ist der Überlagerungsbereich 23 mit einem Übergangsbereich 25 gemäß Fig. 5 dargestellt. Die Breite des Übergangsbereichs 25 ist in Fig. 6B 10 % der Breite des

Überlagerungsbereichs 23, in Fig. 6C 20 % der Breite des

Überlagerungsbereichs 23 und in Fig. 6D 30 % der Breite des Überlagerungsbereichs 23. In Fig. 6C und 6D sind die Brauen des Gesichts erkennbar. In Fig. 6D sind auch die äußeren

Augenwinkel, der obere Stirnbereich und die Mundwinkel des

Gesichts erkennbar. Die Breite des Übergangsbereichs kann dementsprechend zur Einstellung der erkennbaren visuellen affektiven Information verwendet werden. Fig. 7 zeigt ein vereinfachtes Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines Gesichtsbereichs gemäß eines Ausführungsbeispiels des

vorliegenden Verfahrens. Dabei wird zunächst in einer Schleife 27 gewartet, bis eine Gesichtserkennung 28 ein Gesicht in den vom Bildsensor 14 erfassten Bilddaten erkennt. Sobald ein

Gesicht erkannt wurde, wird mittels eines Stress-Sensors (z.B. eines Biofeedback-Sensors) ein Stress-Level ermittelt

(Ermittlung 29). Falls das Stress-Level durchschnittlich oder niedrig ist (Pfad 30), werden die Bilddaten in einem

Gesichtsbereich des erkannten Gesichts als Referenzaufnahme gespeichert (Speicherung 31). Zusammen mit der Referenzaufnahme werden die Positionen der Eckpunkte des Auge-Auge-Mund Dreiecks in der Referenzaufnahme ermittelt und gespeichert (Ermittlung und Speicherung 32), um eine spätere Skalierung und Ausrichtung der Referenzaufnahme zu beschleunigen. Falls das Stress-Level hoch ist (Pfad 33) , wird eine aktuelle Referenzaufnahme geladen

(Laden 34), welche dem erkannten Gesicht entspricht. Die

Zuordnung der passenden Referenzaufnahme erfolgt über

biometrische Merkmale der erfassten Gesichter in an sich

bekannter Weise. Nach dem Laden 34 wird die Referenzaufnahme durch Skalierung, Rotation und Verschiebung an die Größe,

Ausrichtung und Position des erkannten Gesichts angepasst und anschließend als alternative Bilddaten in der Anzeige 21, 22 eingeblendet (Anpassen und Einblenden 35) . In weiterer Folge wird überprüft, ob weitere Gesichter erkannt wurden (Überprüfung 36) . Falls nein, wird das Stress-Level neu ermittelt und die Verwendung der Überlagerung neu bewertet und gegebenenfalls die Anpassung aktualisiert (Schleife 37) . Falls ja, wird das

Verfahren ausgehend von der Gesichtserkennung 28 für das nächste Gesicht wiederholt (Schleife 38).