Verfahren sowie Einrichtung zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG)

Die Erfindung betrifft ein Verfahren zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG), umfassend die Erzeugung einer Anzahl von verschiedenen periodischen Stimuli mit jeweils einer gegebenen Grundfrequenz, die Aufnahme von EEG- oder ECoG-Signalen und deren Filterung, Verstärkung und Weiterverarbeitung, gefiltert, verstärkt und für die weitere Verarbeitung aufgenommen, wobei aus den Signalen der Verstärkerkanäle auf einen bestimmten Stimulus geschlossen und dadurch eine Aktion des Gerätes ausgelöst wird, sowie eine Einrichtung zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG), umfassend eine Stimulationseinheit für eine Anzahl von verschiedenen periodischen Stimuli mit jeweils einer gegebenen Grundfrequenz, mit Elektroden zur Aufbringung auf die Haut oder der Gehirnoberfläche, und mit einer Signalverarbeitungseinheit mit einer Anzahl von Kanälen zur Abnahme, Filterung, Verstärkung und Weiterverarbeitung der EEG- oder ECoG- Signale der Elektroden, wobei in der Signalverarbeitungseinheit ein Programm implementiert ist, mit dem aus den Signalen der Verstärkerkanäle auf einen bestimmten Stimulus geschlossen und dadurch eine Aktion des Gerätes ausgelöst wird.

Der allgemeine Aufbau und das Prinzip von Einrichtungen zur Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokortikogrammen (ECoG) ist beispielsweise in den Arbeiten von S.P. Kelly, E.C. Lalor, R.B. ReNIy and JJ. Foxe, "Visual spatial attention tracking using high-density SSVEP data for independent brain Computer communi- cation," IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2005, von G.R. Müller-Putz, R. Scherer, C. Neuper, and G. Pfurtscheller, "Steady-state somatosensory evoked potentials: Suitable brain Signals for brain-computer interfaces?," IEEE Transactions on Neural Systems and Rehabilitation Engineering, pp. 30 - 37, vol. 14, Issue 1, March 2006, von E.C. Lalor, S.P. Kelly, C. Finucane, et al., "Steady-state VEP-based brain-computer inter- face control in an immersive 3D gaming environment," EURASIP Journal on Applied Signal Processing, pp. 3156-3164, 2005, oder von G.R. Müller-Putz, R. Scherer, C. Brauneis, and G. Pfurtscheller, "Steady-state Visual evoked potential (SSVEP)-based communication: Impact of harmonic frequency components," J. Neural Eng., pp. 123-130, Dec. 2005, beschrieben.

Die sogenannte Stimulationseinheit erzeugt eine Anzahl / von verschiedenen Stimuli S ₁ Je [I,...,I) , die entweder visuell, somatosensorisch oder auditorisch sein können. Visuelle

Stimuli können z.B. Schachbrettmuster sein, die zyklisch mit unterschiedlichen Raten im Bereich von ca. 5 bis 30 Hz invertiert werden. Alle Stimuli wiederholen sich periodisch, wobei

die kleinste Periodendauer einer Stimulationssequenz für jeden gegebenen Stimulus dessen wichtigste Kenngröße, die Grundfrequenz f _t bestimmt. Werden visuelle Stimuli mit einem modernen LCD-Computermonitor erzeugt, ist die Wahl dieser Grundfrequenzen durch die Bildwiederholrate f _m eingeschränkt, die üblicherweise bei 60 Hz oder 75 Hz liegt, da die

Stimulusgrundfrequenzen f _t nur ganzzahlige Teiler von f _m sein können.

Um eine Steueraufgabe durchführen zu können, kann nun der Benutzer durch seine Aufmerksamkeit, und insbesondere bei visuellen Stimuli durch Betrachten, zu einem Zeitpunkt t einen Stimulus auswählen, d.h., s(t) = l,...,I . Wählt er keinen der Stimuli aus, so ist s(t) = 0.

Für die Aufnahme von EEG Signalen werden an geeigneten Stellen an der Kopfhaut Elektroden angebracht, für ECoG werden Elektroden auf der Gehirnoberfläche positioniert. Im Fall visuell evozierter Potentiale eignet sich z.B. die Region über dem Okzipitalkortex zusammen mit einer frontalen Referenzelektrode. Die elektrischen Potentiale der Elektroden werden gefiltert, verstärkt und für die weitere Verarbeitung aufgenommen. Für jeden Verstärkerkanal erhält man somit ein Signal y _n (t), mit dem Kanalindex n = l,...,N .

Die Signalverarbeitung erfolgt in Echtzeit und in zwei Schritten, der Berechnung eines Satzes von Merkmalen (feature extraction) und der Auswertung dieser Merkmale (feature translation). Das Ziel dabei ist, anhand der beobachteten Signale y _n (t) den Stimulus zu bestimmen, der mit der höchsten Wahrscheinlichkeit vom Benutzer ausgewählt wurde. Bei der Merkmalsberechnung wird aus den Signalen y _n (t) ein Satz vom Merkmalen c _nλ (t) gebildet. Bei den in der Literatur beschriebenen Methoden sind diese Merkmale c _{n k} (t) unterschiedliche Arten von Schätzwerten für die Leistungsdichtespektren der aufgenommenen Signale y _n {t') eines kurzen Zeitintervalls t'e ]t-T _D ,t] in der Vergangenheit von t an ausgewählten Frequenzen f _k , die den Grundfrequenzen der Stimuli f _{ und einer Anzahl harmonischer Frequenzen entsprechen. Diese Methoden reduzieren zwar die Dimensionalität der Merkmale für die weitere Verarbeitung, allerdings geht dabei auch entscheidende Information über die zeitliche Ausrichtung und die Kopplung der Signale y _n {t) mit dem gewählten

Stimulus verloren, was sich in einer suboptimalen Detektionsverlässlichkeit auswirkt.

Anhand der Merkmale c _lhk (t) soll nun zu jedem Zeitpunkt t auf die vom Benutzer getroffene Wahl s(t) geschlossen werden (feature translation). Eine Auswahl von geeigneten

Methoden dafür ist z.B. in D. McFarland, C. Anderson, K.-R. Müller, A. Schlögl, and D. Kru- sienski, "BCI meeting 2005-Workshop on BCI Signal processing: Feature extraction and

translation," Neural Systems and Rehabilitation Engineering, IEEE Transactions on, vol. 14, June 2006 aufgelistet. Alternativ zur Bildung von harten Entscheidungen kann es auch sinnvoll sein, Wahrscheinlichkeitsmaße p(s(t) (t')} für alle möglichen Stimuli i zu bilden

("weiche Entscheidungen").

Die Ergebnisse der Signalverarbeitung können für Steuerungsaufgaben verwendet werden. Z.B. kann bei einem Computer ein Cursor, ein Menü oder ein Texteingabeprogramm gesteuert werden. Wenn der Benutzer den Effekt der Steuerung nicht unmittelbar erkennen kann, sollte irgendeine Form von Benutzerrückmeldung erzeugt werden, um die Aufmerksamkeit des Benutzers zu unterstützen.

Die Aufgabe der vorliegenden Erfindung war eine Verbesserung des eingangs beschriebenen Verfahrens und der Einrichtung dahingehend, dass die Entscheidungsverläss- lichkeit als auch die Entscheidungsgeschwindigkeit höher als bei den bisher bekannten Vorschlägen sind.

Zur Lösung dieser Aufgabe ist das Verfahren erfindungsgemäß dadurch gekennzeichnet, dass die Phase der Stimuli und der Signalverarbeitung synchronisiert werden. Durch die Phasensynchronisation enthalten nun auch die Phasen von c _{n k} {t) Informationen über den gewählten Stimulus s(t) , sodass deren Einbeziehung bei der Auswertung der Merkmale zu deutlich höheren Entscheidungsverlässlichkeiten führt.

Gemäß einer vorteilhaften Variante des Verfahrens ist vorgesehen, dass die Phase der Stimuli zumindest zu bestimmten Zeitpunkten zur Signalverarbeitungseinheit übertragen wird.

Vorzugsweise wird dabei die Phase der Stimuli zwischen den Zeitpunkten der übertragung inter- bzw. extrapoliert.

Gemäß einer anderen Variante des Verfahrens kann die Entscheidungsverlässlichkeit zu jedem Zeitpunkt optimiert werden, indem die Phase der Stimuli kontinuierlich zur Signalverarbeitungseinheit übertragen wird.

Eine andere erfindungsgemäße Lösungsmöglichkeit sieht dagegen vor, dass eine Phasenfunktion in der Signalverarbeitungseinheit erzeugt und zur Stimulationseinheit übertragen wird, wobei die gemeinsame Phase der Stimuli φ(i _s ) an die Phase der

Signalverarbeitung angepasst wird, so dass der zeitliche Ablauf der Stimuli wird durch die Signalverarbeitungseinheit beeinflusst und gesteuert werden können.

Wenn gemäß einem weiteren Merkmal der Erfindung vorgesehen ist, dass Stimuli mit identischer Grundfrequenz jedoch deutlich unterschiedlicher Phase erzeugt werden, kann die Anzahl der unterscheidbaren Stimuli erhöht werden. Bei vorgegebener oder technisch be-

grenzter Anzahl möglicher Grundfrequenzen für die Stimuli lässt sich die Anzahl voneinander unterscheidbarer Stimuli durch die erhöhte Anzahl der Freiheitsgrade aufgrund der Phasensynchronisation vervielfachen.

Eine sehr deutliche Unterscheidung lässt sich dabei erzielen, wenn sich die Phasen der Stimuli um einen Betrag von 2π/ Anzahl der Stimuli zur gleichen Grundfrequenz unterscheiden.

Gemäß einer weiteren vorteilhaften Variante des erfindungsgemäßen Verfahrens kann über eine Fensterfunktion eine Maskierung der Signale der Verstärkerkanäle bewirkt werden, wobei die Fensterfunktion im Frequenzbereich Nullstellen an allen ganzzahligen Vielfachen einer Basisfrequenz f _b aller Stimuli hat. Diese Basisfrequenz f _b = 1 / T _b ergibt sich aus der

Zeit T _b , dem kleinsten gemeinsamen Vielfachen der Grundperiodendauern aller Stimuli. Mit dieser Maskierung kann das übersprechen zwischen Koeffizienten verschiedener Frequenzen verhindert und damit die Entscheidungsverlässlichkeit verbessert werden.

Die eingangs gestellte Aufgabe wird auch durch eine Einrichtung zur Durchführung des bislang beschriebenen Verfahrens gelöst, welche dadurch gekennzeichnet ist, dass eine Einrichtung zur übertragung der Phaseninformation von der Stimulationseinheit zur Signalverarbeitungseinheit vorgesehen ist. Diese übertragung gestattet es, in der Signalverarbeitungseinheit eine Phasensynchronisation durchzuführen. Somit enthalten nun auch die Phasen der aus den Signalen gebildeten Merkmale c _{n k} {t) Informationen über den gewählten

Stimulus s(t) , sodass deren Einbeziehung bei der Auswertung der Merkmale zu deutlich höheren Entscheidungsverlässlichkeiten führt.

Vorteilhafterweise kann dabei zusätzlich vorgesehen sein, dass in der Signalverarbeitungseinheit eine Einheit implementiert ist, in welcher die Phase der Stimulationseinheit zwischen den Zeitpunkten der übertragung inter- bzw. extrapoliert wird.

Auch eine eingangs beschriebene Einrichtung zur Durchführung des Verfahrens, welche dadurch gekennzeichnet ist, dass in der Signalverarbeitungseinheit eine Einheit zur Erzeugung einer Phasenfunktion und zu deren übertragung an die Stimulationseinheit implementiert ist, kann zur Lösung der Aufgabe vorgesehen sein.

Gemäß einer vorteilhaften Ausführungsform der erfindungsgemäßen Einrichtung kann weiters in der Signalverarbeitungseinheit eine Maskierung der Signale der Verstärkerkanäle über eine Fensterfunktion implementiert sein, wobei die Fensterfunktion im Frequenzbereich Nullstellen an allen ganzzahligen Vielfachen einer Basisfrequenz f _b aller Stimuli hat, um sowohl ein übersprechen zwischen Koeffizienten verschiedener Frequenzen zu verhindern und auch die Robustheit der Koeffizienten gegenüber Phasenschwankungen zu erhöhen.

Die Anzahl der unterscheidbaren Stimuli kann bei einer vorteilhaften Ausführungsform der erfindungsgemäßen Einrichtung erhöht werden, wenn die Stimulationseinheit zur Erzeugung von Stimuli mit identischer Grundfrequenz jedoch deutlich unterschiedlicher Phase ausgelegt ist.

In der nachfolgenden Beschreibung soll die Erfindung anhand der beigefügten Zeichnungen näher erläutert werden.

Dabei zeigt die Hg. 1 schematisch den prinzipiellen Aufbau und Verfahrensablauf für die Steuerung von Geräten mit Hilfe von Elektroenzephalogrammen (EEG) bzw. Elektrokorti- kogrammen (ECoG) gemäß dem Stand der Technik, Rg. 2 zeigt in gleicher Art der Darstellung die erfindungsgemäße Verbesserung durch Phasensynchronisation, und Fig. 3a bis 3h sind Darstellungen der Trajektorienmuster zweier Merkmale in der komplexen Ebene mit und ohne Phasensynchronisation.

Die in Fig. 2 dargestellte erfindungsgemäße Einrichtung ist vom grundlegenden Aufbau her sehr ähnlich der üblichen, in Fig. 1 gezeigten Einrichtung. Dabei sind, wie auch bereits bei den bekannten Verfahren, alle Stimuli zeitlich periodisch und können deshalb durch die Funktionen s _t (t _s ) = f(exp(jφ(t _s ))},i = l,...,I beschrieben werden, die von einer komplexen Exponentialfunktion mit linear ansteigender Phase φ{t _s ) = ^r- abhängen, wobei T _b das kleinste gemeinsame Vielfache der Grundperiodendauern aller Stimuli ist. Da die einzelnen Einheiten des Gesamtgerätes im Allgemeinen unterschiedliche Taktgeneratoren haben und somit nicht mit gleichen Zeitbasen arbeiten, wird mit t _s die Zeitbasis der Stimulationseinheit und mit t die Zeitbasis der Signalverarbeitungseinheit bezeichnet. In der Signalverarbeitungseinheit wird, analog zur Stimulationsphase φ(t _s ), eine Phase ψ(t) gebildet und für die Berechnung der Merkmalsfunktionen

'„,(')= J y _n (t>W)-ψ(t))e ^JkW) dt' (D verwendet. Hierbei maskiert die in der Signalverarbeitungseinheit implementierte Fensterfunktion w für die Signale y _n (t) ein kurzes Zeitintervall in der Vergangenheit von t, d.h., für ψ(t')-ψ(t) ≤ 0. Breite Fenster bewirken stabile, aber sich langsam und träge verändernde Werte in c _{n k} (t) , schmale Fenster hingegen lassen die Merkmale rasch den gewählten Stimuli nachfolgen und ermöglichen somit Entscheidungen mit geringen Verzögerungen. Bei ungeeigneter Wahl des Fensters tritt als zusätzlich störender Effekt übersprechen zwischen Koeffizienten verschiedener Frequenzen auf. Da dies die Entscheidungsver- lässlichkeit verringert, wird das Fenster so gewählt, daß die Fensterfunktion im Frequenzbe-

reich Nullstellen an allen ganzzahligen Vielfachen einer Basisfrequenz f _b aller Stimuli hat. Die Basisfrequenz f _b = 1 / T _b ergibt sich aus der Zeit T _b , dem kleinsten gemeinsamen Vielfachen der Grundperiodendauern aller Stimuli. Dies ist äquivalent dazu, dass die Bedingung

!>(^-2/zrn) ≡ l (2)

erfüllt ist. Unter dieser Bedingung ist die Orthogonalitätsbedingung

£ ^° [a sin(2πlf _b t) + b cos(2πlf _b t)] w(2πf _b t - θ) exp(-j2πkf _b t) dt = δ _{k l} für alle a,b,θ(= ω , k,le ω und mit der Dirac'schen Deltafunktion 4 _, ι erfüllt, d.h., c _nλ (t) in (1) ist unabhängig von den Frequenzanteilen If _b . D.h., dass von jeder angeregten Frequenz in y _n (t) nur genau ein Merkmal c _{n lc} (t) abhängig ist, das von allen anderen beteiligten Frequenzen unabhängig ist. Wird die Fensterfunktion w für einen raschen spektralen Abfall entworfen, also z.B. in Form eines raised cosine window, so bringt dies zusätzlich zur verbesserten Entscheidungsverlässlichkeit den Vorteil einer erhöhten Robustheit der Koeffizienten gegenüber Phasenschwankungen der neuronalen Antworten in den EEG/ECoG Signalen bzw. Abweichungen und Ungenauigkeiten bei der Phasensynchronisation („Jftte/*). Zu beachten ist weiters, dass die Bedingung (2) für die Fenster w impliziert, dass deren minimale Breite 2π ist. Mit anderen Worten bedeutet dies, dass die Mindestbreite des Fensters dem kleinsten gemeinsamen Vielfachen der Grundperiodendauern XJf ₁ aller Stimuli entspricht. Wählt man also für mehrere Stimuli lauter verschiedene Frequenzen, kann diese Bedingung nur mit einem sehr breiten Fenster eingehalten werden, was wiederum Trägheit in das System bringt. Verwendet man bei einem phasensynchronisierten System phasenverschobene Stimuli, so kann die Bedingung (2) mit deutlich kürzeren Fenstern eingehalten werden.

Die Beträge der komplexwertigen Funktionen ψ(i) sind, ähnlich wie bei schon bekannten Methoden, auch hier Maße für die Leistungsdichtespektren der Signale y _n (t) bei den Frequenzen f _k =γ- . Berechnet man also den Betrag von c _n>k (i) in (1) mit einer lokal in der Signalverarbeitungseinheit erzeugten Phasenfunktion 1//(O = ² ^f- und einem rechteckigen

Fenster w beliebiger Länge, so ist dies äquivalent zu bereits in der Literatur bekannten Methoden basierend auf diskreten Fourier-Transformationen.

Gemäß der vorliegenden Erfindung ist es nun möglich, auch die Phasen der Merkmale c _{n k} (t) sinnvoll nutzen zu können. Dazu wird die Phase ψ(t) mit der Phase φ(t _s ) synchronisiert, anstatt von der lokalen Zeitbasis t abgeleitet zu werden, so dass die Phasenfunktionen

φ(t _s ) in der Stimulationseinheit und ψ(i) in der Signalverarbeitungseinheit zu jedem Zeitpunkt gleich sind. Wenn sich t und t _s voneinander um die unbekannte Abweichung A _t (t) unterscheiden, d.h. t _s (t) = t+A _t (t) , muss also ψ(t) = φ(t _s (t)) = φ(t+A _t (t)) sein.

Technisch effizient realisiert wird dies durch direkte übertragung der Stimulationsphase φ(t _s ) vorzugsweise in kurzen zeitlichen Abständen von der Stimulationseinheit zur

Signalverarbeitungseinheit und vorteilhafterweise anschließende Interpolation bzw. Extrapolation der fehlenden Werte.

Durch die Phasensynchronisation enthalten nun auch die Phasen von c _{n k} (t) Informationen über den gewählten Stimulus s(t) , sodass deren Einbeziehung bei der Auswertung der Merkmale zu deutlich höheren Entscheidungsverlässlichkeiten führt.

Die vorteilhaften Auswirkungen der erfindungsgemäßen Phasensynchronisation werden nachfolgend in Zusammenhang mit den Rg. 3a bis 3h erläutert.

In Abbildung 3a und 3b sind die Trajektorien zweier Merkmalsfunktionen (1) für zwei Stimuli unterschiedlicher Frequenzen in der komplexen Ebene beispielhaft dargestellt. Der Betrag der Merkmalsfunktion, die mit dem gewählten Stimulus korrespondiert, hat jeweils einen größeren Betrag, die Phase beinhaltet jedoch keine brauchbare Information.

In Abbildung 3c und 3d sieht man die Trajektorien der Merkmale unter den selben Bedingungen wie in 3a und 3b, wobei jedoch die Phase ψ(t) in (1) mit φ(t _s ) synchronisiert ist. Durch die Einführung der Phasensynchronisation lassen sich nun auch Stimuli unterscheiden, die sich ausschließlich durch ihre Phasenlage voneinander unterscheiden. Z.B. können drei Stimuli mit den Sequenzen S ₁ (Y) = , s ₂ (t) = und s ₃ (t) = f(exp(jφ(t _s ) -2π/3fj anhand der Phasenunterschiede in c _nλ (t) voneinander unterschieden werden. Bei vorgegebener oder technisch begrenzter Anzahl möglicher Grundfrequenzen für die Stimuli lässt sich somit die Anzahl voneinander unterscheidbarer Stimuli vervielfachen. In Abbildung 3c bis 3h sieht man die deutlich unterscheidbaren Trajektorien- muster für sechs verschiedene Stimuli auf zwei Frequenzen und mit drei Phasenlagen. Ohne Phasensynchronisation würde man in den Fällen 3c, 3e und 3g dasselbe Muster wie in 3a erhalten, und in den Fällen 3d, 3f und 3h dasselbe Muster wie in 3b. Zusätzlich zur deutlich verbesserten Detektionsverlässlichkeit der Stimuli bringt die Phasensynchronisation also auch einen signifikanten Vorteil beim Entwurf der Stimuli, da die erhöhte Anzahl der Freiheitsgrade die Anzahl möglicher Stimuli vervielfacht. Vorteilhafterweise werden bei einer Anzahl von N Stimuli auf ein und derselben Grundfrequenz zur deutlichen Unterscheidung Phasenverschie-

bungen von 2πl N verwendet.

Weiters ermöglicht die Phasensynchronisation den Entwurf und die Optimierung verallgemeinerter Stimulationssequenzen. Z.B. können die Anzeigedauern einer Abfolge von positiven und negativen Schachbrettmustern visueller Stimuli asymmetrisch oder sogar entsprechend einer Pseudozufallsfolge gewählt werden. Dies eröffnet die Möglichkeit der Optimierung von Stimuli für größtmögliche Detektionswahrscheinlichkeiten. So können Stimuli auch irgendwelche sich periodisch wiederholenden Sequenzen sein, die ein bestimmtes Muster bei den Merkmalsfunktionen erzeugen. Mit Phasensynchronisation können auch Stimulussequenzen unterschieden werden, bei denen sich der Betrag der Merkmalsfunktionen nicht oder nur sehr geringfügig unterscheiden, da über die Phase ein unterscheidbares Muster erzeugt wird. Die Stimuli müssen aber nicht unbedingt durch reine Phasenverschiebung zueinander in der Stimulationseinheit erzeugt werden, können aber mit Hilfe der Phasensynchronisation in der Signalverarbeitungseinheit deutlich besser unterschieden werden.

Alternativ zum beschriebenen Verfahren für die Phasensynchronisation, in dem die Phase der Stimulationseinheit zur Signalverarbeitungseinheit übertragen wird, kann auch in umgekehrter Weise eine Phasenfunktion in der Signalverarbeitungseinheit erzeugt und zur Stimulationseinheit übertragen werden. Die gemeinsame Phase der Stimuli φ(i _s ) wird dann an die Phase der Signalverarbeitung angepasst, d.h., der zeitliche Ablauf der Stimuli wird durch die Signalverarbeitungseinheit beeinflusst und gesteuert.