WO2010022351A2 | 2010-02-25 |
EP2124186A1 | 2009-11-25 | |||
US20110214082A1 | 2011-09-01 | |||
US9060095B2 | 2015-06-16 |
VLADO KITANOVSKI ET AL: "Augmented reality mirror for virtual facial alterations", IMAGE PROCESSING (ICIP), 2011 18TH IEEE INTERNATIONAL CONFERENCE ON, IEEE, 11 September 2011 (2011-09-11), pages 1093 - 1096, XP032079768, ISBN: 978-1-4577-1304-0, DOI: 10.1109/ICIP.2011.6115616
STEFANO MELACCI ET AL: "A template-based approach to automatic face enhancement", PATTERN ANALYSIS AND APPLICATIONS, SPRINGER-VERLAG, LO, vol. 13, no. 3, 8 April 2009 (2009-04-08), pages 289 - 300, XP019806522, ISSN: 1433-755X
MORISHIMA SHIGEO ET AL: "Instant Movie Casting with Personality: Dive into the Movie System", NETWORK AND PARALLEL COMPUTING; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, vol. 6774 Chap.21, no. 558, 9 July 2011 (2011-07-09), pages 187 - 196, XP047370104, ISSN: 0302-9743, ISBN: 978-3-642-16019-6
Ansprüche : 1. Verfahren zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor (14) und zumindest einer Anzeige (2), umfassend die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor (14), Durchführen einer Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts , Berechnen eines Überlagerungsbereichs in der Anzeige (2) der Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Überlagern des Gesichtsfelds ein Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige (2) umfasst. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entspricht . 4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen das gesamte Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfasst. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die alternativen Bilddaten einer veränderten Abbildung des Sichtfelds der Vorrichtung im Überlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine Veränderung der Helligkeit, eine Verringerung einer Bildauflösung, eine Veränderung der Zeichnung und/oder des Kontrastes, eine farbliche Markierung und/oder eine Manipulation der Gesichtszüge umfasst. 6. Verfahren nach einem der Ansprüche 1 bis 5, gekennzeichnet durch ein Erfassen des Signals zumindest eines Biofeedback- Sensors, wobei die Überlagerung in Abhängigkeit von dem Signal des Biofeedback-Sensors aktiviert wird. 7. Verfahren nach Anspruch 5 und 6, dadurch gekennzeichnet, dass ein Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Biofeedback-Sensors ermittelt wird. 8. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch, vor dem Berechnen des Überlagerungsbereichs, Kalibrieren der Anzeige (2) der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige (2) ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines Überlagerungsbereichs in der Anzeige (2) berücksichtigt werden. 9. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch Auslösen einer Benutzerbenachrichtigung, wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte Schwelle überschreitet und/oder wenn die Gesichtserkennung eine affektive Auslenkung oder Resonanz oberhalb einer vordefinierten Schwelle an einem erkannten Gesicht detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde. 10. Vorrichtung zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers, wobei die Vorrichtung zumindest einen Bildsensor (14) und zumindest eine Anzeige (2) sowie eine Verarbeitungseinheit (6) aufweist, die mit dem Bildsensor (14) und der Anzeige (2) verbunden ist, wobei der Bildsensor (14) zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige (2) zum Überlagern des Gesichtsfelds eines Benutzers in einem Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten eingerichtet ist, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) eingerichtet ist, eine Gesichtserkennung mit einem vom Bildsensor (14) erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige (2) für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen. 11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Anzeige (2) ein Bildschirm oder ein Display, insbesondere ein transparentes Display, ist. 12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass sie eine Augmented Reality Brille (1) ist. 13. Vorrichtung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) eine Gesichtserkennungssoftware aufweist . 14. Vorrichtung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass sie einen Biofeedback-Sensor umfasst, wobei die Verarbeitungseinheit (6) mit dem Biofeedback-Sensor verbunden und eingerichtet ist, die Überlagerung in Abhängigkeit von einem Signal des Biofeedback-Sensors zu aktivieren. 15. Vorrichtung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass sie eine Benachrichtigungseinrichtung umfasst, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die Verarbeitungseinheit (6) mit der Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem spezifischen Affekt zugeordnete Person erkannt wird. |
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Veränderung der affektiven visuellen Information im
Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers. Die Vorrichtung weist zumindest einen Bildsensor und zumindest eine Anzeige sowie eine Verarbeitungseinheit auf, die mit dem
Bildsensor und der Anzeige verbunden ist, wobei der Bildsensor zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige zum Überlagern des
Gesichtsfelds eines Benutzers in einem Überlagerungsbereich der Anzeige mit alternativen Bilddaten eingerichtet ist.
Als Gesichtsfeld des Benutzers wird hier jener Raumwinkel bzw. Bereich des Außenraums bezeichnet, aus dem zumindest ein Auge des Benutzers Lichtimpulse aufnehmen und auswerten kann. Es setzt sich aus den monokularen Gesichtsfeldern der beiden Augen zusammen. Im Vergleich dazu wird als Blickfeld hier jener
Bereich bezeichnet, der alle bei ruhiger Kopf- und Körperhaltung mit den Augen nacheinander zentral fixierbaren Sehobjekte im Außenraum enthält; dieser Bereich wird genauer auch als
monokulares Blickfeld bezeichnet. Das Sichtfeld bezeichnet schließlich den Bereich im Bildwinkel eines optischen
Instruments oder einer optischen Vorrichtung, d.h. den durch die Vorrichtung sichtbaren (mit einem Auge) oder abbildbaren (z.B. mit einem Bildsensor) Bereich des Außenraums.
Es sind Vorrichtungen und Verfahren bekannt, mit denen eine Einblendung von zusätzlicher, d.h. über die Wiedergabe der Umgebung hinausgehender, Information im Gesichtsfeld eines Benutzers möglich ist. Solche Vorrichtungen und Verfahren werden unter dem Begriff „Augmented Reality" (AR) zusammengefasst .
Beispielsweise zeigt die US 2011/0214082 AI eine solche
Vorrichtung in der Art einer am Kopf getragenen (Head-Mounted) Sichtvorrichtung mit Durchsicht-Displays, die kurz als „AR- Brille" bezeichnet werden kann. Diese Vorrichtung umfasst eine Kamera zur Erfassung von Bildern der Umgebung, insbesondere eines Sichtfelds der Vorrichtung. Diese Bilder können
verarbeitet und die Ergebnisse der Verarbeitung zur Auswahl der eingeblendeten Information verwendet werden. Derartige AR- Vorrichtungen verfolgen generell das Ziel, den Benutzer mit Information zu versorgen, die über die in der Umgebung
unmittelbar optisch wahrnehmbare Information hinaus geht („to augment" bedeutet erweitern, anreichern) und sich davon
unterscheidet .
In einem anderen technischen Zusammenhang, bei
Videokonferenzsystemen, ist es bekannt, durch Überblendungen bestimmter Bildbereiche die vom Benutzer unmittelbar optisch wahrnehmbare Information zu verändern. Die US 9,060,095 B2 beschreibt ein Verfahren, bei dem das Gesicht eines Teilnehmers an einer Videokonferenz durch ein Ersatzbild, z.B. ein
schematisches Gesicht oder ein fremdes Gesicht, ersetzt wird. Damit wird das Ziel verfolgt, die Identität des Teilnehmers vor den anderen Teilnehmern der Videokonferenz zu verbergen. Das überblendete Gesicht des betreffenden Teilnehmers ist für die anderen Teilnehmern nicht sichtbar oder erkennbar. Ein solcher Schutz der Identität ist naturgemäß nicht auf AR-Anwendungen übertragbar, weil ein Träger einer AR-Vorrichtung wie oben beschrieben diese abnehmen kann, um das tatsächliche Gesicht seines Gegenüber zu sehen. Dementsprechend würde es dem Zweck des Verfahrens zuwider laufen, es für Personen in der Umgebung eines Trägers einer AR-Vorrichtung verwenden zu wollen.
Es ist eine Aufgabe der Erfindung, ein Verfahren und eine
Vorrichtung vorzuschlagen, mit denen eine Anpassung der
affektiven Perzeption eines Benutzers beim Betrachten seiner Umgebung erzielbar ist.
Das erfindungsgemäße Verfahren zur Veränderung der affektiven visuellen Information im Gesichtsfeld, insbesondere im
Blickfeld, eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor und zumindest einer Anzeige umfasst die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor, Durchführen einer Gesichtserkennung mit dem
erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts,
Berechnen eines Überlagerungsbereichs in der Anzeige der
Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, und Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige mit alternativen Bilddaten. Das Sichtfeld der
Vorrichtung ist in der Regel ein Ausschnitt aus dem Gesichtsfeld des Benutzers. Es entspricht nicht notwendiger Weise dem vom Bildsensor abgebildeten Bereich, insbesondere kann der
abgebildete Bereich das Sichtfeld der Vorrichtung umfassen und über dieses hinaus gehen. Der Bildsensor kann z.B. Teil einer Blickfeldkamera sein, die ein größeres Sichtfeld als die
Vorrichtung selbst hat. Die Vorrichtung kann z.B. eine Brille, eine Kamera, ein Fernglas, ein Visier, oder eine andere optische Vorrichtung sein. Der Bildsensor und die Anzeige sind Teil derselben Vorrichtung und haben vorzugsweise eine feste relative Anordnung. Bei der Gesichtserkennung werden die Anzahl und die Positionen von Gesichtern in dem mit dem Bildsensor erfassten Bild erkannt. Eine solche Gesichtserkennung kann mit
herkömmlichen Mitteln und Algorithmen erfolgen. Beim Berechnen des Überlagerungsbereichs werden im Wesentlichen die Position und Abmessungen des Überlagerungsbereichs in der Anzeige
berechnet. Das Überlagern des Gesichtsfelds oder Blickfelds des Benutzers wird insbesondere durch Einblenden in ein Sichtfeld der Vorrichtung mit der Anzeige erzielt.
Die erfindungsgemäße Vorrichtung der eingangs angeführten Art zur Veränderung der affektiven visuellen Information im
Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers, ist dadurch gekennzeichnet, dass die Verarbeitungseinheit
eingerichtet ist, eine Gesichtserkennung mit einem vom
Bildsensor erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen. Bei der Vorrichtung handelt es sich vorzugsweise um eine AR-Vorrichtung . Der Inhalt der Anzeige wird unter Verwendung der vom Bildsensor erfassten Daten gesteuert, wobei sich Anzeige und Bildsensor im
Wesentlichen am selben Ort befinden, namentlich als Teil
derselben Vorrichtung.
Durch das Überlagern des Gesichtsfelds des Benutzers in einem Überlagerungsbereich, welcher von den Positionen von Augen und Mund erkannter Gesichter abhängt, kann eine spezifische
Überlagerung dieser Gesichter erzielt werden, welche für eine Regulation der visuellen Wahrnehmung von Affekten an Personen im Gesichtsfeld bzw. Blickfeld des Benutzers verwendet werden kann.
Es hat sich herausgestellt, dass eine solche Regulation der visuellen Wahrnehmung von Affekten einen signifikanten Einfluss auf die Empathiefähigkeit der so unterstützten Personen hat. Beispielsweise konnte bei Personen mit AD(H)S ein positiver Einfluss einer solchen Regulation auf das Selbstvertrauen und eine auf eine gute Selbstwirksamkeit festgestellt werden.
Außerdem können Stressreaktionen in der sozialen Interaktion kontrolliert und gedämpft werden.
Als affektive Information werden in diesem Zusammenhang
sämtliche Signale bezeichnet, welche eine Emotion eines
Individuums ausdrücken. Abhängig von der psychischen Verfassung des Individuums umfassen diese Informationen graduelle Ausdrücke tatsächlicher Emotionen und Ausdrücke zur Überdeckung der tatsächlichen Emotionen („affektive Fassade") bzw. bei Fehlen spezifischer Emotionen Ausdrücke kognitiv erzeugter, als
erwartet oder nützlich eingeschätzter Emotionen. Ebenso wie die Ausdrucksstärke ist auch die Perzeptionsstärke für affektive Informationen individuell verschieden und abhängig von der psychischen Verfassung sowie auch genetisch veranlagt.
Das Überlagern des Gesichtsfelds umfasst vorzugsweise ein
Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige.
Dementsprechend kann die Anzeige ein Bildschirm oder ein
Display, insbesondere ein transparentes Display, sein.
Vorzugsweise entspricht die Veränderung der affektiven visuellen Information einer graduelle Senkung oder Verstärkung der
affektiven visuellen Information. D.h. die affektive visuelle Information wird vorzugsweise nicht vollständig gelöscht oder überschrieben. Die graduelle Senkung oder Verstärkung kann beispielsweise durch lokale, graduelle Veränderung der Durchsichtigkeit eines Displays erzielt werden. Beispielsweise kann die Durchsichtigkeit in einem Überlagerungsbereich auf einen geeigneten Prozentsatz, z.B. auf 50 %, gesenkt werden.
Dementsprechend ist das vorliegende Verfahren vorzugsweise ein Verfahren zur, insbesondere graduellen,
Verringerung/Senkung/Störung oder Verstärkung/Steigerung der affektiven visuellen Information im Gesichtsfeld eines Benutzers der vorliegenden Vorrichtung.
Vorteilhafter Weise kann ein fließender Übergang an der Grenze oder Kante des Überlagerungsbereichs vorgesehen sein.
Beispielsweise kann ein gradueller Kantenverlauf mittels
linearer Variation der Durchsichtigkeit erzielt werden. Dabei kann die Durchsichtigkeit in einem Übergangsbereich des
Überlagerungsbereichs an der Grenze des Überlagerungsbereichs in Richtung normal zu der Grenze des Überlagerungsbereichs von innerhalb des Überlagerungsbereichs nach außerhalb des
Überlagerungsbereichs zunehmen. Der Übergangsbereich entspricht im Wesentlichen einem Streifen entlang der Grenze des
Überlagerungsbereichs. Die Breite des Übergangsbereichs ist vorzugsweise an die Breite des Überlagerungsbereichs angepasst; sie beträgt z.B. zwischen 5 und 30 % der Breite des
Überlagerungsbereichs, vorzugsweise zwischen 15 und 25 %. Die Variation der Durchsichtigkeit ist vorzugsweise linear über die Breite des Übergangsbereichs und variiert vorzugsweise zwischen vollständiger Durchsichtigkeit (oder maximaler Durchsichtigkeit der verwendeten Anzeige) an der Grenze des Überlagerungsbereichs und der gewählten Durchsichtigkeit außerhalb des
Übergangsbereichs (d.h. im Rest des Überlagerungsbereichs), z.B. vollständiger Undurchsichtigkeit (oder minimaler
Durchsichtigkeit der Anzeige) . Der Durch den Übergangsbereich erzielte fließende Übergang verringert eine durch die
Überlagerung verursachte Irritation des Benutzers.
Vorzugsweise weist die Vorrichtung zwei voneinander in einem festen Abstand angeordnete Bildsensoren auf. Dadurch wird die Bestimmung des Abstands zu einem erkannten Gesicht ermöglicht, wodurch eine genauere Berechnung der Abmessungen des
Überlagerungsbereichs in der Anzeige ermöglicht wird. Besonders bevorzugt umfasst die Vorrichtung eine Augmented
Reality Brille. Geeignete Brillen werden beispielsweise von Osterhout Design Group, 153 Townsend Street, Suite 570 San
Francisco, CA 94107 angeboten, insbesondere deren Produkte „R-6" oder „R-7 Smartglasses System".
Der Überlagerungsbereich kann im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entsprechen. D.h. das Berechnen des Überlagerungsbereichs umfasst ein Verbinden der Positionen und Ermitteln der in dem (oder den) eingeschlossenen Dreieck (en) angeordneten Bildpunkte der Anzeige. Alternativ können auch andere geometrische Formen verwendet werden, deren Größe entsprechend dem besagten Dreieck skaliert wird. Beispielsweise kann ein symmetrisches Trapez verwendet werden, bei dem die breitere Grundseite im Bereich der Augenpositionen angeordnet ist. Optional kann die breitere
Grundseite durch ein Rechteck nach oben verlängert sein. Es hat sich herausgestellt, dass im Bereich des Auge-Auge-Mund Dreiecks die größte affektive Datenmenge transportiert wird, insbesondere durch die mimische Muskulatur. Ein vergleichsweise geringerer Teil der affektiven Information wird in der üblichen
zwischenmenschlichen Interaktion durch die Stimmlage und die Körperhaltung vermittelt. Ein Überlagern der Informationen in diesem Bereich des Gesichtsfelds hat daher eine Verringerung der vom Benutzer wahrgenommenen affektiven Information zur Folge, was zur Regulation genutzt werden kann. Somit kann die von
Benutzern mit ungewöhnlich starker affektiver Perzeption
wahrgenommenen affektiven Information auf ein Niveau gesenkt werden, welches einer durchschnittlichen affektiven Perzeption entspricht .
Andererseits kann der Überlagerungsbereich auch im Wesentlichen das gesamte Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfassen. D.h. in diesem Fall umfasst das Berechnen des
Überlagerungsbereichs ein Verbinden der Positionen und Ermitteln der außerhalb des oder der eingeschlossenen Dreiecks bzw.
Dreiecke angeordneten Bildpunkte der Anzeige. Ein Überlagern des Bereichs außerhalb der so genannten Auge-Auge-Mund Dreiecke ermöglicht ein Hervorheben der Auge-Auge-Mund Dreiecke und ein Lenken der Aufmerksamkeit auf diese Dreiecke, z.B. durch
Abblenden des übrigen, überlagerten Bereichs. Die Überlagerung hat dann eine Verstärkung der vom Benutzer wahrgenommenen affektiven Information zur Folge. Somit kann die von Benutzern mit ungewöhnlich schwacher affektiver Perzeption wahrgenommenen affektiven Informationen auf ein Niveau gehoben werden, welches einer durchschnittlichen affektiven Perzeption entspricht.
Die Verarbeitungseinheit der gegenständlichen Vorrichtung kann vorzugsweise eine Gesichtserkennungssoftware aufweisen. Mittels der Gesichtserkennungssoftware können einerseits Gesichter in den erfassten Bilddaten erkannt und die Positionen von Augen und Mund der einzelnen erkannten Gesichter bestimmt werden.
Die alternativen Bilddaten können vorzugsweise einer veränderten Abbildung des Sichtfelds der Vorrichtung im Überlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine
Veränderung der Helligkeit, eine Verringerung einer
Bildauflösung, eine Veränderung der Zeichnung (auch als Schärfe bezeichnet) und/oder des Kontrastes, eine farbliche Markierung (z.B. mittels eines Rahmens und/oder einer farblichen Tönung) und/oder eine Manipulation der Gesichtszüge umfasst. Die
genannten Veränderungen der Abbildung erhalten einen Teil der ursprünglichen Information im Überlagerungsbereich. D.h. es werden nicht alle optischen Informationen im
Überlagerungsbereich ersetzt. Dadurch ist die Überlagerung weniger auffällig für den Benutzer, sodass dessen Aufmerksamkeit nicht ungewollt auf den Überlagerungsbereich gelenkt wird. Eine solche für die Umgebung unwillkürlich erscheinende Ablenkung könnte unnatürlich und irritierend auf ein Gegenüber des
Benutzers wirken, was mit den vorgeschlagenen Veränderungen vermeidbar ist. Als besonders günstig hat sich eine im
Wesentlichen hautfarbene Färbung im Überlagerungsbereich
herausgestellt. Eine besonders geringe Irritation der
Wahrnehmung bei zugleich effektiver Störung der affektiven visuellen Information kann mit einem teilweise transparenten, vorzugsweise horizontalen, Streifenmuster im
Überlagerungsbereich erzielt werden. Die Anzahl der Streifen innerhalb eines erkannten Gesichtsbereichs ist vorzugsweise größer als vier und kleiner als 50. Die Farbe des Streifenmusters kann zwischen der Farbe von erkannten Gesichtsfalten (dunkel) und relativ planen Gesichtsflächen
(hell) variieren und so auf das jeweils erkannte Gesicht abgestimmt sein.
Weiters ist es günstig, im Rahmen des vorliegenden Verfahrens ein Erfassen des Signals zumindest eines Biofeedback-Sensors vorzusehen, wobei die Überlagerung in Abhängigkeit von dem
Signal des Biofeedback-Sensors aktiviert wird. Vorzugsweise kann eine Überlagerung nur bei einem vom Biofeedback-Sensor
ermittelten Stress-Level oberhalb einer vordefinierten Schwelle aktiviert werden, sodass unterhalb der Schwelle eine
unveränderte Wahrnehmung der Umgebung möglich ist. Die
Überlagerung wird dabei vorzugsweise nur für eine festgelegte kurze Zeitspanne aktiviert, nach deren Ablauf wieder das unveränderte Sichtfeld wahrnehmbar ist. Als Biofeedback-Sensor kann insbesondere ein Stress-Sensor, z.B. ein Photoplethysmogram (PPG) oder ein Sensor zur Messung des Hautwiderstands, der Hauttemperatur, der Herzfrequenz und/oder der Bewegung des Körpers verwendet werden. Ein derartiger Biofeedback-Sensor ist beispielsweise das Produkt „Q Sensor" der Firma Affectiva, 465 Waverley Oaks Road, Suite 320, Waltham, MA 02452, United States oder die Produkte „Embrace" und „E4" der Firma Empatica Inc, 1 Broadway, 14th Floor, Cambridge, MA 02142, United States.
Dementsprechend kann die gegenständliche Vorrichtung einen
Biofeedback-Sensor umfassen, wobei die Verarbeitungseinheit mit dem Biofeedback-Sensor verbunden und eingerichtet ist, die
Überlagerung in Abhängigkeit von einem Signal des Biofeedback- Sensors zu aktivieren.
Im Zusammenhang mit der Auswertung des Signals eines
Biofeedback-Sensors ist es besonders vorteilhaft, wenn ein
Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Stress-Sensors ermittelt wird. Beispielsweise kann auf diese Weise mit zunehmenden Stress-Level eine stärkere
Abbiendung der affektiven Information vorgenommen werden und umgekehrt. Dadurch kann ein negativer Kreislauf, bei dem die Wahrnehmung des Gegenübers von erhöhtem Stress beim Benutzer zu einer affektiven Information beiträgt, die den Stress weiter erhöht, frühzeitig durchbrochen werden. Zugleich kann die
Veränderung der Abbildung auf jene Situationen beschränkt werden, in denen sie erforderlich oder hilfreich ist (z.B. bei Stress oder Angst) . Außerhalb dieser Situationen wird die
Veränderung der affektiven Information auf ein Minimum
beschränkt, sodass eine natürliche gegenseitige Wahrnehmung erzielt wird.
Ebenfalls im Zusammenhang mit dem Erfassen des Signals zumindest eines Biofeedback-Sensors können im Rahmen des vorliegenden Verfahrens die alternativen Bilddaten einer Referenzaufnahme des überlagerten Gesichtsbereichs entsprechen. Die Referenzaufnahme kann bei einem festgestellten geringen oder normalen Stress- Level gespeichert werden. Somit zeigt die Referenzaufnahme beispielsweise einen Gesichtsausdruck mit geringer visueller affektiver Information und/oder mit positiver oder beruhigender visueller affektiver Information. Sobald ein hohes Stress-Level festgestellt wird, kann die Referenzaufnahme zur Überlagerung desselben Gesichts verwendet werden. Zur Skalierung und
Ausrichtung der Referenzaufnahme wird das sowohl in der
Referenzaufnahme als auch im Überlagerungsbereich erkannte Auge- Auge-Mund Dreieck verwendet. Durch die Überlagerung z.B. eines Gesichtsbereichs mit einer Referenzaufnahme desselben
Gesichtsbereichs kann ein besonders natürliches Bild und
folglich eine besonders geringe Irritation des Benutzers erzielt werden .
Bei Vorrichtungen, bei denen abhängig von der Augenposition des Benutzers bei der Verwendung der Vorrichtung von der Position der Augen abhängt, ist es vorteilhaft, wenn das vorliegende Verfahren vor dem Berechnen des Überlagerungsbereichs, ein
Kalibrieren der Anzeige der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines
Überlagerungsbereichs in der Anzeige berücksichtigt werden, vorsieht. Durch die Kalibrierung kann der Überlagerungsbereich genauer berechnet werden, sodass eine gezielte Überlagerung bestimmter, genau abgegrenzter Bereiche im Sichtfeld der
Vorrichtung ermöglicht wird. Ohne eine Kalibrierung muss demgegenüber der Fehler einer Schätzung des Augenabstands und der Distanz zur Anzeige berücksichtigt werden, weshalb ein vergleichsweise größerer Überlagerungsbereich berechnet werden muss, um die gewünschte Überlagerung zuverlässig zu erzielen.
Weiters hat es sich als günstig herausgestellt, im Rahmen des gegenständlichen Verfahrens ein Auslösen einer optionalen
Benutzerbenachrichtigung vorzusehen, wenn ein gekoppelter
Biofeedback-Sensor, insbesondere ein gekoppelter Stresssensor, aktiviert wird (z.B. mittels Messung von Pulsfrequenz,
Muskeltonus, EEG-Messung und/oder Hautleitgeschwindigkeit), d.h. wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte Schwelle überschreitet, und/oder wenn die
Gesichtserkennung (z.B. in Form einer
Gesichtserkennungssoftware) eine affektive Auslenkung oder
Resonanz oberhalb einer vordefinierten Schwelle an einem
erkannten Gesicht (d.h. an der Person gegenüber) detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde. Eine solche Benutzerbenachrichtigung oder Notifikation kann mit einem haptischen Signal (z.B. Vibration), akustischen Signal (z.B. Alarm) oder optischen Signal (z.B. blinkende
Anzeige) erzielt werden, welche von einem Impulsgeber abgegeben werden .
In entsprechender Weise kann die gegenständliche Vorrichtung vorzugsweise eine Benachrichtigungseinrichtung umfassen, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die Verarbeitungseinheit mit der
Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem
spezifischen Affekt zugeordnete Person erkannt wird. Als
spezifisches affektives Muster wird hier sowohl eine affektive Reaktion des Benutzers der Vorrichtung verstanden, welche z.B. mittels eines Biofeedback-Sensors festgestellt werden kann, als auch eine affektive Reaktion des Gegenübers, d.h. an dem
zumindest einen erkannten Gesicht, welche beispielsweise im Rahmen der Gesichtserkennung anhand des Gesichtsausdrucks festgestellt werden kann. Eine einem spezifischen Affekt zugeordnete Person kann beispielsweise im Rahmen einer zusätzlichen Stimmerkennung in Verbindung mit einer Datenbank von vorab als Stressor gespeicherten Personen bzw. deren
Stimmcharakteristika festgestellt werden.
Die Benachrichtigung ermöglicht einem Benutzer mit geringer affektiver Perzeptionsstärke, sich die von einem Gegenüber transportierte affektive Information bewusst zu machen bzw.
bewusst wahrzunehmen und entsprechend zu reagieren. Bei
Anwendung der Vorrichtung oder des Verfahrens über einen
längeren Zeitraum wird die Aufmerksamkeit für affektive
Information durch die Benachrichtigungen trainiert und so die natürliche Empathie-Fähigkeit des Benutzers gesteigert.
Vorzugsweise kann die Überlagerung in Abhängigkeit von der oben erwähnten Stimmerkennung aktiviert werden, wobei die
Überlagerung nur dann aktiviert wird, wenn die Stimme einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt wird.
In einer weiteren bevorzugten Ausführungsform kann die
Überlagerung in Abhängigkeit von der Identifizierung eines erkannten Gesichts aktiviert werden, wobei die Überlagerung nur dann aktiviert wird, wenn das Gesicht einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt und identifiziert wird.
Vorzugsweise kann im Rahmen der Erfindung vom Benutzer aus mindestens drei Betriebsmodi ausgewählt werden:
1) eine permanent aktivierte Überlagerung, d.h. jedes erkannten Gesichts ;
2) eine personenspezifische Überlagerung, wobei die Überlagerung abhängig von einer Stimmerkennung und/oder Gesichtserkennung aktiviert wird;
3) Aktivierung der Überlagerung mittels Biofeedback-Sensor (bzw. Stresssensor), d.h. wobei die Überlagerung in Abhängigkeit vom Stress-Level des Benutzers aktiviert wird.
Neben den bisher beschriebenen Anwendungen betrifft die
Erfindung auch ein Verfahren zur Messung der Empfindlichkeit eines Subjekts für affektive visuelle Information, insbesondere zur alleinigen oder ergänzenden Diagnostik von Angsterkrankungen und Depressionen im Allgemeinen sowie speziell der Diagnostik von AD(H)S bzw. Erkrankungen aus dem autistischen Formenkreis. Dieses Verfahren umfasst das oben beschriebene Verfahren zur Veränderung der affektiven visuellen Information, wobei das Subjekt der Benutzer der erfindungsgemäßen Vorrichtung ist und wobei die Überlagerung zeitlich variiert wird (z.B. abwechselnd für einige Minuten deaktiviert, dann für einige Minuten
aktiviert) und gleichzeitig mit einem Stress-Sensor die
affektive Reaktion des Subjekts ermittelt wird. Aus der
zeitlichen Korrelation zwischen dem zeitlichen Verlauf eines mit dem Stress-Sensor gemessenen Stress-Levels und dem zeitlichen Verlauf der Überlagerung kann ein Maß für die Empfindlichkeit für affektive visuelle Information abgeleitet werden oder zumindest eine Unempfindlichkeit festgestellt werden.
Darüber hinaus betrifft die Erfindung die Verwendung eines
Verfahrens oder einer Vorrichtung der eingangs angeführten Art, mit den oben beschriebenen bevorzugten Ausführungsformen, zum Verhindern von sozialen Stresssituationen, zum Vorbeugen von Angsterkrankungen und Depressionen, oder zur Stressreduktion bei einem Teil depressiver und angstkranker Personen. Je nach der Varianz der Affektwahrnehmung kann bei depressiven Erkrankungen sowie bei Angsterkrankungen, in der jeweiligen Ursächlichkeit,
(a) eine affektabhängige und (b) eine kaum bis nicht
affektabhängige Form in der Entstehung dieser Erkrankungen gefunden werden. Dem Idealtypus entspricht bei (a) eine starke Perzeption der Affekte im Gesicht einer gesehenen Person, wie z.B. bei AD(H)S (ICD-10 Code F90.-) und bei (b) eine geringe bis fehlende Perzeption in diesem Bereich wie z.B. bei Autismus
(Icd-10 Code F84.-) . Konkordant zu den bisherigen Testungen in der Ordination des Erfinders ist der „Lazar-Effekt" , also eine Stressreduktion durch die Beeinflussung der Affektwahrnehmung
(im Sinne einer Reduktion des Informationsgehalt im
entsprechenden Visusbereich) , bei einem Teil depressiver und angstkranker Patienten (ICD-10 Code F3-.- und F4-.-), sowie bei allen AD(H)S Patienten, feststellbar. Für diese Personengruppen ist die Verwendung der vorliegenden Erfindung daher besonders vorteilhaft. Dies, während ein anderer Teil Depressiver und Angstkranker, keinerlei Stressreduktion erlebt, dies
ausschließlich bei Betroffenen mit geringer bis fehlender automatisierter Affektwahrnehmung gegenüber anderen Person. An zwei Patienten mit Erkrankungen aus dem autistischen
Formenkreis, beide leiden unter einem Asperger-Syndrom, konnte ebenfalls keinerlei Stressreduktion in der Verwendung der vorliegenden Erfindung festgestellt werden. Dies entspricht exakt der Hypothese bzgl. des zu erwartenden Lazar-Effektes und dessen Bedeutung für die, unter (a) beschriebenen,
Patientengruppe. Da die Perzeptionsfähigkeit von nicht
erkrankten Personen, ebenfalls in zwei, dem jeweiligen
Idealtypus entsprechenden Gruppen eingeteilt werden kann und es infolge zu Missverständnissen bzgl. der Semantik von emotionaler Perzeption bzw. Affektwahrnehmung kommen kann, weil die meisten Personen davon ausgehen, das Gegenüber habe die selbe
Affektwahrnehmung, werden diese beiden Begriffe im Folgenden noch genauer definiert: Die (a) entsprechende Gruppe meint hier mit affektabhängig, die automatisierte und von der gedanklichen Kontrolle und dem Bewusstsein unabhängige Wahrnehmung von
Affekten (insbesondere von Muskelkontraktionen im Gesicht) bei gesehenen Personen. Dieser Verarbeitungsprozess liegt bei der Gruppe (b) und bei Personen aus dem nicht erkrankten Bereich, die diesem Idealtypus entsprechen, nicht vor. Er wird von diesen daher, mangels der eigenen Gegebenheit, zumeist nicht
verstanden. Letzteres basiert auf einem Mechanismus der
Wahrnehmung anderer Personen bei psychiatrischen Laien, oft als allgemeine Menschenkenntnis bezeichnet. Diese geht von der falschen Annahme aus, dass andere Personen nach denselben
Prinzipien funktionieren und wahrnehmen. Die (b) entsprechende Gruppe nimmt Affekte ausschließlich über einen willentlichen also bewussten Akt wahr, der sofort sistiert, wenn der gesehenen Person die Aufmerksamkeit entzogen wird. Vergleichbar dem
Verstehen einer Nichtmuttersprache, die nur verstanden wird, wenn die Aufmerksamkeit auf diese gerichtet ist. Die
affektabhängige Perzeption meint hingegen die konstante
Wahrnehmung der Affekte des Gegenübers, dem automatischen Hören und Verstehen der Muttersprache entsprechend.
Die Erfindung wird nachfolgend anhand eines besonders
bevorzugten Ausführungsbeispiels, auf das sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die Zeichnungen noch weiter erläutert. Dabei zeigen im Einzelnen:
Fig. 1 schematisch einen Teil einer erfindungsgemäßen
Vorrichtung in Form einer AR-Brille;
Fig. 2 schematisch ein Blockschaltbild der Funktionselemente einer erfindungsgemäßen Vorrichtung;
Fig. 3 schematisch eine Illustration der Berechnung eines Überlagerungsbereichs ;
Fig. 4 ein Anwendungsbeispiel des erfindungsgemäßen
Verfahrens ;
Fig. 5 schematisch einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit ;
Fig. 6A, 6B, 6C und 6D vier Anwendungsbeispiele für einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit bei jeweils unterschiedlichen Breiten des Übergangsbereichs;
Fig. 7 schematisch ein Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines
Gesichtsbereichs .
Fig. 1 zeigt eine vereinfachte Darstellung einer AR-Brille 1, wie beispielsweise den von Osterhout Design Group (ODG)
angebotenen „R7 Smart Glasses". Die Brillengläser der AR-Brille 1 sind zwei Anzeigen 2, die jeweils als transparentes Display
(Durchsicht-Display) ausgeführt sind. Die auf diesen Displays angezeigte graphische Oberfläche wird durch eine
Verarbeitungseinheit (nicht gezeigt) erzeugt, welche mit dem Betriebssystem (OS) Android mit der OS-Erweiterung „ReticleOS"
(ebenfalls von ODG) betrieben wird.
Eine in der AR-Brille 1 integrierte Kamera 3 umfasst einen
Bildsensor und liefert ein Bild der Umgebung. Das Sichtfeld der Kamera 3 deckt im Wesentlichen den Halbraum vor den
Brillengläsern ab und ist somit größer als das Sichtfeld der AR- Brille 1. Das Sichtfeld der AR-Brille 1 entspricht jenem Teil des Gesichtsfeld eines Benutzers, welcher durch die
Brillengläser wahrgenommen wird. Das von der Kamera 3 erfasst Bild der Umgebung wird über eine Verkabelung im Brillengestell 4 und eine Verbindungsleitung 5 zu einer Verarbeitungseinheit 6 (siehe Fig. 2) übertragen und dort laufend von einer
Gesichtserkennungssoftware analysiert, welche die Koordinaten des oder der Gesichter in der Umgebung ausgibt.
Ein auf der Verarbeitungseinheit 6 laufendes Anwendungsprogramm ermittelt zunächst aus dem zuvor kalibrierten Augenabstand die Entfernung des erkannten Gesichts. Dann berechnet sie laufend aus den Koordinaten und den im Rahmen der Kalibrierung
festgelegten Parameter zur Physiognomie des Brillenträgers
(Augenabstand, Distanz zwischen Brillengläser und Auge) für jedes Brillenglas die Koordinaten des Schnittpunktes der
Blickachse zum Gesicht des Gegenübers mit den Brillengläsern, also jener Stelle in jedem Brillenglas, die geeignet ist, das Auge-Auge-Mund-Dreieck (AAM-Dreieck) des Gegenübers zu
verdecken. Diese Daten werden wiederum an die API
(Programmierschnittstelle) des ReticleOS übergeben, welches ein zuvor festgelegtes Bild oder Muster an der entsprechenden Stelle im Brillenglas einblendet.
Der Aufbau des Anwendungsprogramms erlaubt das Einbinden von Software-Erweiterungen. Dazu zählen beispielsweise Erweiterungen zur laufenden Veränderung des zur Überblendung verwendeten
Musters oder Bildes. Das Anwendungsprogramm lässt sich somit z.B. dahingehend erweitern, dass als eingeblendetes Bild jenes Gesicht verwendet wird, das mit der Kamera aufgenommen, von der Gesichtserkennungssoftware erkannt und ausgegeben wurde und bei dem die Gesichtszüge gezielt manipuliert wurden.
Wie in Fig. 2 dargestellt, kann die Verarbeitungseinheit 6 optional mit Sensoren 7 und Eingabeelementen 8 verbunden sein. Die Sensoren 7 können einen Biofeedback-Sensor zur Messung von Stressparametern umfassen. Die gemessenen Parameter können dazu herangezogen werden, die Daten der Gesichtserkennungssoftware auszuwerten und einer Qualität zuzuordnen. Hierzu können z.B. Messungen des Hautwiderstandes, der Hauttemperatur, der
Herzfrequenz oder der Bewegung des Körpers als Stressparameter herangezogen werden.
Die Verarbeitungseinheit 6 bildet zusammen mit der AR-Brille 1 eine erfindungsgemäße Vorrichtung. Diese ist außerdem mit einer Energieverwaltungseinheit 9 und einer wiederaufladbaren Batterie 10 verbunden.
Die Überlagerung des Gesichtsfelds mittels der AR-Brille 1 kann prinzipiell für zwei Arten der Beeinflussung verwendet werden: Erstens eine Reduktion des affektiven Informationsgehaltes durch eine generische Veränderung der Bilddaten (Helligkeit, Kontrast, Zeichnung, etc.) oder zweitens eine Überlagerung des Gesichtes mit einem anderem Gesicht bzw. einem Gesicht derselben Person mit einem modifizieren affektiven Informationsgehalt,
insbesondere einen geringeren negativen emotionalen Inhalt als das Originalbild. Letzteres kann von der Kamera 3 davor
aufgenommen zu werden.
Der Grad der akzeptablen Einflussnahme auf die Kommunikation ist durch die kommunikative Plausibilität begrenzt und wird, in Anlehnung an die psychiatrische Einteilung des
psychopathologischen Status, als gegeben Adäquatheit definiert.
Bei Überschreiten dieses Wertes kommt es zu einem raschen
Anstieg der vom beobachteten Gegenüber transportierten
affektiven Information und infolge, durch deren Perzeption beim Benutzer/Brillenträger, zu einem starken Ausschlag der
Stresssensoren bei diesem. Letzteres führt außerdem zu einem Umschalten der emotionalen Wahrnehmung von unwillkürlich zu willkürlicher Perzeption sowie zu einer Senkung der Adäquatheit.
Es ist ein Ziel der vorliegenden Erfindung, die Kommunikation unwillkürlich und langsam in Richtung positiver Expression und Perzeption der Emotionen bei den Gesprächspartnern zu steuern ohne den Schwellenwert der Adäquatheit zu erreichen oder zu überschreiten .
In Fig. 3 sind die Verfahrensschritte zur Berechnung des
Überlagerungsbereichs anhand einer AR-Brille 1 gemäß Fig. 1 illustriert .
In der dargestellten beispielhaften Situation sind die Augen AL (linkes Auge) und AR (rechtes Auge) eines beobachtenden Subjekts (der Benutzer und Träger der AR-Brille 1) schematisch dargestellt. Die Augen AL, AR sind jeweils durch die
Pupillenöffnung und den runden Augapfel mit der Netzhaut auf dessen hinteren Innenseite dargestellt. Die Koordinaten der Punkte AL und AR entsprechen denen des Mittelpunktes des
jeweiligen Auges. Die Mittelpunkte der Pupillen sind mit PL und PR für die Pupille des linken bzw. rechten Auges eingezeichnet. Die Stecke a PD entspricht der gemessenen Pupillendistanz und steht für die Distanz zwischen den Mittelpunkten der beiden Augen AL, AR.
Das Subjekt trägt eine AR-Brille mit zwei Anzeigen 2 als
Brillengläsern, die als transparente Displays realisiert sind. DL bezeichnet das aus Sicht des Subjekts linke Brillenglas bzw. Display und DR das rechte. Die Punkte DL und DR sind als
Mittelpunkt der jeweiligen Anzeige 2 definiert. Auf der Brille sind zwei Kameras 11, 12 montiert, welche jeweils als Kamera Obscura dargestellt sind, bestehend aus einer Blende 13 und einem CCD-Bildsensor 14. Der Punkt C (für Camera) ist im
Mittelpunkt der Blende definiert.
Die Koordinaten x und y beziehen sich auf das Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 bzw. im linken oder rechten Display DL, DR liegt. Dabei sind x die horizontale und y die vertikale Koordinate. Die Indizes geben an, um welches Koordinatensystem es sich handelt. So beziehen sich die
Koordinaten XDL / yDL auf das Koordinaten-System mit dem
Ursprungspunkt DL im Raum und die Koordinaten x DR , y DR auf jenes mit dem Ursprungspunkt DR, also den Mittelpunkt der linken bzw. rechten Anzeige 2. Die Koordinaten x c und y c beziehen sich auf jenes Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 liegt. Die Anzeigen 2 sowie der Bildsensor 14 der Kamera 11 sind parallel zur x-y-Ebene im Raum. Die normal dazu stehende z-Koordinate entspricht der Richtung der Kamera. Die Bildebene der Fig. 3 entspricht der x-z-Ebene im Raum.
Das Gegenüber, dessen Gesichtszüge gelesen werden, wird als Objekt (0) bezeichnet. Die Augen des dem Beobachter/Subjekt (S) zugewandten Gesichts des Objekts, werden aus Sicht des Subjekts mit OL für das linke Auge und OR für das rechte Auge bezeichnet. Der Mund wird als OM bezeichnet, dessen Gesichtsmittelpunkt als OC . Abstände in x-Richtung werden mit a bezeichnet, jene in Y- Richtung mit d und jene in Z-Richtung mit b. Diese Wahl
orientierte sich an den üblichen Seitenbenennungen der im folgenden berechneten Dreiecke. Die Indizes dieser Längen bezeichnen die Endpunkte der dazugehörigen Strecken.
Die Zeichnung gemäß Fig. 3 stellt die Projektion der Stecken im Raum auf die x-z-Ebene dar. Es sei f der Abstand der Blende 13 zum Bildsensor 14, der durch die Kenntnis der verwendeten Kamera bekannt ist. Nun sei b c die noch unbekannte Entfernung der Kamera 11 zum Objekt (0) . Die Abbildung am Bildsensor 14 ergibt die Entfernung der Abbildung des linken Auges OL des Objektes am Bildsensor 14 zur Zentral-Achse XC,OL sowie die Entfernung der Abbildung des rechten Auges OR des Objektes am Bildsensor 14 zur Zentral-Achse XC,OR- Die Strahlendreiecke rechts von (vor) der Blende 13 zum Objekt sowie links von (hinter) der Blende 13 zum Bildsensor 14 sind ähnlich. Es gilt daher:
Q C,OL
- -tan a C 0L
b c f 1 Q0L/ (1) sowie
^C,OR C,OL
(2)
Nun wird der Augenabstand des Objekts 1 0 ,PD (oder kurz 1) mit einem Durchschnitts-Wert von 65 mm angenommen und
A C,OL - — Q C,OC_A
Daraus ergibt sich ein Gleichungssystem aus zwei Gleichungen und zwei Unbekannten:
i
ac,oc T V
^ _ A C,OL
b c ~ f (3) sowie a c ,oc+ 2 χ
COR
(4)
Aus diesen kann die Entfernung der Kamera zum Objekt b c sowie die Entfernung a c ,oc des Gesichtsmittelpunktes OC des Objekts von der Zentralachse der Kamera 11 berechnet werden.
Das Zentrum der Abdunkelung des Displays ergibt sich nun aus:
1 — Π X
C.OC U C,AR E =tan fa.
+ö A c Ö AD (5) und analog für das linke Display:
Q C,OC ~ Q CAR ^PD ^DL ^rc
b c +b AC ~ b AD ~ m AL ' 0Cl (6)
Hierbei wurde noch angenommen, dass der Koordinatenursprung des Displays auf derselben Achse liegt, wie der Mittelpunkt des Auges. Ist dies nicht der Fall, sind die Koordinaten
entsprechend zu verschieben. In der Praxis wird es umgekehrt sein: In der Kalibrierungsphase ist der Verdunkelungspunkt manuell verschiebbar. Der Augenmittelpunkt wird dann aus DB errechnet bzw. die Koordinatentransformation iterativ aus allen manuellen Eingriffen angenähert.
Für die Transformation der y-Koordinate des Bildsensors 14 auf die y-Koordinate des Displays sei d c , 0 A die Projektion der Strecke vom Kamera-Blende zu den Augen OR, OL des Gegenübers/Objekts auf die y-z-Ebene und d c , 0 M die Projektion der Stecke von der Blende 13 zum Mund (OM) des Gegenübers/Objekts auf diese Ebene und y c , 0 A = y ,oR = yc,oL und y c ,oM die y-Koordinaten der Abbildung dieser Punkte am Bildsensor 14 der Kamera 11: sowie
u C,OM ,OM
: tan l «COM (8)
Da b c bereits aus den Gleichungen (3) und (4) bekannt ist, kann aus diesem Gleichungssystem d C , 0 M und d C , 0 A berechnet werden. Analog zur Gleichung (5) lässt sich nun die y-Koordinate auf beiden Displays aus den (bei der Kalibrierung ermittelten) Abständen zwischen Kamera und Auge d c , A auf der Y-Z-Ebene berechnen:
= tan α
b r + bA,C b Α,ΟΑ
F A,D (9) sowie
Liegt der Ursprung der Koordinaten des Displays nicht wie hier angenommen auf der Höhe des Augen-Mittelpunktes, müssen die Koordinaten wieder entsprechend verschoben werden.
Bei der Transformation der y-Koordinaten wurden bereits die Eckpunkte y D , A , Υ Ό , Μ des Überlagerungsbereichs und somit auch dessen Abmessungen bestimmt. Analog dazu kann dies bei der
Transformation der x-Koordinaten geschehen, was jedoch aus
Gründen der Übersichtlichkeit, weggelassen wurde. Hierbei kann genauso wie bei der Berechnung des Zentralpunktes des
Überlagerungsbereichs vom Augen-Mittelpunkt ausgegangen werden, da das Dreieck (in der x-z-Ebene) vom Augen-Mittelpunkt zu OL und OR das Dreieck von der Pupille zu OL komplett überlagert.
Bei der Berechnung der Ausdehnung des Überlagerungsbereichs kann darüber hinaus noch jener Fehler berücksichtigt werden, der sich aus den unterschiedlichen Größen des Augenabstands 1 0 ,PD des
Gegenübers/Objekts ergibt, d.h. der Fehler des angenommenen Durchschnittswerts von 65 mm. Eine Fehlerrechnung ergibt dann die notwendige Vergrößerung der Ausdehnung des
Überlagerungsbereichs .
Bei einer Verwendung der zweiten Kamera 12 liefern zwei Winkel den erfassten Bezugspunkt beim Objekt. Da die Entfernung a C c zwischen den beiden Kameras bekannt ist, lässt sich das Dreieck zwischen der ersten Kamera 11, der zweiten Kamera 12 und dem Objekt bzw. dessen Augen OR, OL mithilfe des WSW-Satzes
konstruieren, bzw. mithilfe des Sinus-Satzes berechnen. Der Abstand b c der Kameras 11, 12 zum Objekt entspricht dann der Höhe des Dreiecks. Man ist somit nicht mehr auf die Schätzung des Augenabstands des Objekts angewiesen und kann auf die oben erwähnte Fehlerrechnung und die daraus resultierende
Vergrößerung des Überlagerungsbereichs verzichten.
Beispielsweise lässt sich mithilfe der Gleichung:
/
cc "coc
CLOR
f (11) das System aus den Gleichungen (3) und (4) auch ohne die
Kenntnis des Augenabstandes 1 0 ,PD lösen.
In Fig. 4 ist ein Anwendungsbeispiel des erfindungsgemäßen Verfahrens anhand einer beispielhaften AR-Brille 15 schematisch dargestellt. Eine Blickfeldkamera 16 an der Vorderseite der AR- Brille 15 erfasst ein Bild des Sichtfelds 17 der AR-Brille 15 mit einem integrierten Bildsensor. Eine integrierte
Verarbeitungseinheit führt eine Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts 18 durch. Dabei wird die Position von Augen und Mund des erkannten
Gesichts 18 ermittelt und anschließend werden
Überlagerungsbereiche 19, 20 in den Anzeigen 21, 22 der AR- Brille 15 in Abhängigkeit von den ermittelten Positionen von Augen und Mund berechnet (vgl. Fig. 3 und diesbezügliche
Beschreibung oben) . Schließlich wird das Gesichtsfelds eines Benutzers der Vorrichtung in den berechneten
Überlagerungsbereichen 19, 20 der Anzeigen 21, 22 mit
alternativen Bilddaten überlagert. Die alternativen Bilddaten sind jeweils teilweise transparente schwarze Flächen, welche somit eine lokale Abdunkelung des Gesichtsfelds in den
Überlagerungsbereichen 19, 20 erzielen und dadurch die
wahrnehmbare affektive Information des Gesichts 18 reduzieren. Alternativ können die alternativen Bilddaten durch jeweils teilweise transparente hautfarbene Flächen gebildet sein, was weniger irritierende wirkt als schwarze Flächen. Außerhalb der Überlagerungsbereiche 19, 20 sind die Anzeigen 21, 22
gleichmäßig, vorzugsweise vollständig, transparent vergleichbar eine gewöhnlichen optischen Brille oder Sonnenbrille. Das
Gesicht 18 ist auf den Anzeigen 21, 22 nur zum besseren Verständnis der Anordnung der Überlagerungsbereiche 19, 20 eingezeichnet und soll stellt die Perspektive des Benutzers der AR-Brille 15, d.h. welcher durch die Anzeigen 21, 22 hindurch blickt, dar.
In Fig. 5 ist schematisch eine Ansicht durch eine der Anzeigen 21, 22 mit einem elliptischen Überlagerungsbereich 23 zur
Überlagerung eines Gesichts 24 dargestellt. Der
Überlagerungsbereich 23 umfasst einen Übergangsbereich 25 mit linear nach außen ansteigender Durchsichtigkeit. Außerhalb des Übergangsbereichs 25 ist die Durchsichtigkeit des
Überlagerungsbereich 23 im Wesentlichen konstant. Die Breite des Übergangsbereichs 25 entspricht etwa 10 % der Breite des
Überlagerungsbereichs 23 an der breitesten Stelle, parallel zu einer Verbindungslinie zwischen den erkannten Augen 26 des
Gesichts 24 gemessen. Durch den Übergangsbereich 25 wird ein fließender Übergang zwischen dem Überlagerungsbereich 23 und dessen Umgebung erzielt, welcher für einen Benutzer weniger irritierend wirkt als eine harte Kante an der Grenze des
Überlagerungsbereichs 23.
Fig. 6A, 6B, 6C und 6D zeigen vier Anwendungsbeispiele für den im Zusammenhang mit Fig. 5 beschriebenen Übergangsbereich. Dabei ist jeweils ein Gesicht mit einem elliptischen, hautfarbenen Überlagerungsbereich 23 dargestellt. Der Überlagerungsbereich 23 deckt im Wesentlichen den gesamten Gesichtsbereich zwischen den Ohren und vom Kinn bis zum Haaransatz ab. In Fig. 6A ist der Überlagerungsbereich 23 ohne Übergangsbereich 25 dargestellt; das entspricht einer Breite des Übergangsbereichs 25 von Null. In Fig. 6B, 6C und 6D ist der Überlagerungsbereich 23 mit einem Übergangsbereich 25 gemäß Fig. 5 dargestellt. Die Breite des Übergangsbereichs 25 ist in Fig. 6B 10 % der Breite des
Überlagerungsbereichs 23, in Fig. 6C 20 % der Breite des
Überlagerungsbereichs 23 und in Fig. 6D 30 % der Breite des Überlagerungsbereichs 23. In Fig. 6C und 6D sind die Brauen des Gesichts erkennbar. In Fig. 6D sind auch die äußeren
Augenwinkel, der obere Stirnbereich und die Mundwinkel des
Gesichts erkennbar. Die Breite des Übergangsbereichs kann dementsprechend zur Einstellung der erkennbaren visuellen affektiven Information verwendet werden. Fig. 7 zeigt ein vereinfachtes Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines Gesichtsbereichs gemäß eines Ausführungsbeispiels des
vorliegenden Verfahrens. Dabei wird zunächst in einer Schleife 27 gewartet, bis eine Gesichtserkennung 28 ein Gesicht in den vom Bildsensor 14 erfassten Bilddaten erkennt. Sobald ein
Gesicht erkannt wurde, wird mittels eines Stress-Sensors (z.B. eines Biofeedback-Sensors) ein Stress-Level ermittelt
(Ermittlung 29). Falls das Stress-Level durchschnittlich oder niedrig ist (Pfad 30), werden die Bilddaten in einem
Gesichtsbereich des erkannten Gesichts als Referenzaufnahme gespeichert (Speicherung 31). Zusammen mit der Referenzaufnahme werden die Positionen der Eckpunkte des Auge-Auge-Mund Dreiecks in der Referenzaufnahme ermittelt und gespeichert (Ermittlung und Speicherung 32), um eine spätere Skalierung und Ausrichtung der Referenzaufnahme zu beschleunigen. Falls das Stress-Level hoch ist (Pfad 33) , wird eine aktuelle Referenzaufnahme geladen
(Laden 34), welche dem erkannten Gesicht entspricht. Die
Zuordnung der passenden Referenzaufnahme erfolgt über
biometrische Merkmale der erfassten Gesichter in an sich
bekannter Weise. Nach dem Laden 34 wird die Referenzaufnahme durch Skalierung, Rotation und Verschiebung an die Größe,
Ausrichtung und Position des erkannten Gesichts angepasst und anschließend als alternative Bilddaten in der Anzeige 21, 22 eingeblendet (Anpassen und Einblenden 35) . In weiterer Folge wird überprüft, ob weitere Gesichter erkannt wurden (Überprüfung 36) . Falls nein, wird das Stress-Level neu ermittelt und die Verwendung der Überlagerung neu bewertet und gegebenenfalls die Anpassung aktualisiert (Schleife 37) . Falls ja, wird das
Verfahren ausgehend von der Gesichtserkennung 28 für das nächste Gesicht wiederholt (Schleife 38).