以下、添付の図面を参照しながら、本発� ��による脳波インタフェースシステムおよび� ��波識別方法調整装置の実現形態を説明する� ��

 はじめに、本発明による脳波インタフェ� ��スシステムおよび脳波識別方法調整装置の� ��要な特徴の概略を説明する。その後、脳波� ��ンタフェースシステムの各実施形態を説明� ��る。

 本願発明者らは、将来的には、装着型の� ��波計と装着型のディスプレイとを組み合わ� ��た環境で脳波インタフェースシステムが構� ��されることを想定している。ユーザは脳波� ��とディスプレイとを常に装着し、装着型デ� ��スプレイを利用してコンテンツの視聴や画� ��の操作を行うことができる。また、他には� ��家庭用のテレビと装着型の脳波計とを組み� ��わせた家庭内などの環境でも脳波インタフ� ��ースシステムが構築されることを想定して� ��る。ユーザはテレビを見るときに、脳波計� ��装着してコンテンツの視聴や画面の操作を� ��うことができる。

 例えば図1は、後者の例による、本願発明 者らが想定する脳波インタフェースシステム 1の構成および利用環境を示す。この脳波イ� �タフェースシステム1は後述する実施形態1の システム構成に対応させて例示している。

 脳波インタフェースシステム1は、ユーザ 10の脳波信号を利用してテレビ11を操作する� �ンタフェースを提供するためのシステムで� �る。テレビ11に表示された複数の選択肢が1� �ずつハイライトされると、各ハイライトを� �点としてユーザ10の脳波の事象関連電位に影 響が現れる。ユーザ10の脳波信号はユーザが� ��部に装着した脳波計測部12によって取得さ� �、無線または有線で脳波IF部13に送信される� ��テレビ11に内蔵された脳波IF部13は、ユーザ1 0の脳波の事象関連電位を利用して、ユーザ� �選択したいと思っている選択肢を識別する� �その結果、ユーザの意図に応じてチャンネ� �の切り替えなどの処理を行うことが可能に� �る。

 脳波インタフェースシステム1の脳波イン タフェース(IF)部13(後述)には、所定の識別方� ��が予め定められている。この「識別方法」� ��は、脳波信号が予め定められた基準に合致� ��るか否かに応じて事象関連電位の成分を識� ��する方法をいう。

 ユーザ10の脳波の事象関連電位を利用し� �、ユーザが選択したいと思っている選択肢� �識別するためには、ユーザに応じて識別方� �を最適化することが必要とされる。

 本実施形態による、テレビ11に内蔵され� �脳波識別方法調整装置2は、脳波波形データ� ��ら個人の脳波の特徴を類型化した分類体系� ��いずれかのタイプに分類し、その分類結果� ��応じて、脳波IF部13において利用される識別 方法が最適になるよう調整する処理を行う。 このとき、特定の選択肢がハイライトされた ときの脳波信号だけでなく、全ての選択肢に 対する脳波信号に共通する特徴量が用いられ る。予め定められた分類体系に対応して、た とえば2つの脳波波形のテンプレート(教示デ� ��タ)も用意されている。1つは、選択しよう� �した選択肢がハイライトされたときに現れ� �教示データであり、他の1つは、選択しよう� ��していない選択肢がハイライトされたとき� ��現れる教示データである。得られた脳波波� ��データとこれらの各教示データとを比較し� ��、どちらに近いかを評価することにより、� ��の脳波波形が測定されたときに、ユーザが� ��イライトされた選択肢を選択したかったか� ��かを判断できる。

 脳波波形の現われ方には個人差が大きい� ��、本願発明者らは複数ユーザの脳波波形に� ��通する特徴を見出して、その特徴ごとに分� ��を行うとともに、その特徴を識別可能にす� ��教示データを分類に応じて設けた。これに� ��り、分類結果に応じてそのユーザにとって� ��適な識別方法を採用することができる。

 本願発明者らは、全ての選択肢毎に1回(� �たは数回程度の少ない回数)の刺激で得られ� ��事象関連電位のN200成分およびP200成分(後述) を利用して分類を行った。本願発明者らは、 周波数帯域のパワースペクトルの平均値およ び周波数帯域のウェーブレット係数の平均値 によって分類すると効果があることを見出し た。

 (実施形態1)
 以下、本願発明の実施形態を詳細に説明す� ��。

 図2は、本実施形態による脳波インタフェ ースシステム1の機能ブロック構成を示す。� �波インタフェースシステム1は、出力部11と� �脳波計測部12と、脳波IF部13と、脳波識別方� �調整装置2を有している。脳波識別方法調整� ��置2は、分類判定部14と、識別方法調整部15� �で構成されている。ユーザ10のブロックは説 明の便宜のために示されているものであり、 脳波インタフェースシステム1自体の構成で� �ない。

 出力部11は、ユーザにコンテンツや脳波� �ンタフェースにおける選択されるべきメニ� �ーを出力する。図1に示すテレビ11は出力部� �具体例であるため、以下では参照符号11を出 力部に充てて説明する。出力部11は、出力さ� ��る内容が動画や静止画の場合にはディスプ� ��イ画面に対応し、出力される内容に音声が� ��まれている場合にはディスプレイ画面およ� ��スピーカが出力部11として併用されること� �ある。

 脳波計測部12は、ユーザ10の頭部に装着さ れた電極における電位変化を計測することに よって脳波信号を検出する脳波計である。脳 波計は図1に示すようなヘッドマウント式脳� �計であっても良い。ユーザ10は予め脳波計を 装着しているものとする。

 ユーザ10の頭部に装着されたとき、その� �部の所定の位置に接触するよう、脳波計測� �12には電極が配置されている。電極の配置は 、例えばPz(正中頭頂)、A1(耳朶)およびユーザ1 0の鼻根部になる。但し、電極は最低2個あれ� ��良く、例えばPzとA1のみでも電位計測は可能 である。この電極位置は、信号測定の信頼性 および装着の容易さ等から決定される。

 この結果、脳波計測部12はユーザ10の脳波 を測定することができる。測定されたユーザ 10の脳波は、コンピュータで処理できるよう� ��サンプリングされ、脳波IF部13に送られる。 なお、脳波に混入するノイズの影響を低減す るため、本実施形態の脳波計測部12において� ��測される脳波は、予め例えば15Hzのローパス フィルタ処理がされているものとする。

 脳波IF部13は、機器操作に関するインタフ ェース画面を、出力部11を介してユーザに提� ��し、インタフェース画面上での複数の選択� ��を順次またはランダムにハイライトさせ、� ��波計測部12で計測された脳波波形データか� �ユーザが選択しようとした選択肢を識別す� �。以下、本実施形態において、ユーザが選� �しようとした選択肢を「ターゲット選択肢� �といい、ターゲット選択肢以外の選択肢を� �ノンターゲット選択肢」という。

 なお、以下の説明では、「選択肢」とは� ��見たい番組の候補であるとして説明してい� ��(図4(b)における「野球」、「天気予報」、� �アニメ」、「ニュース」)。しかしながらこ� ��は一例である。操作対象機器における選択� ��能な操作に対応する複数の項目が存在すれ� ��、各項目は本明細書でいう「選択肢」に該� ��する。「選択肢」の表示態様は任意である� ��

 図3および図4を適宜参照しながら、図2に� ��した脳波インタフェース1の処理の手順を説 明する。図3は、脳波インタフェースシステ� �1の処理の手順を示すフローチャートである� ��また図4(a)~(d)は脳波インタフェースシステ� �1においてユーザ10が視聴したいジャンルの� �組を選ぶときの画面の遷移図である。

 ステップS61では、脳波IF部13はSSVEPを用い� ��、脳波インタフェースの起動を判断し、出� ��部11を介してインタフェース画面を提示す� �。SSVEP(Steady State Visual Evoked Potential)とは、 定常視覚誘発電位を意味する。

 例えば、ユーザ10がコンテンツを視聴し� �いる時には、テレビに図4(a)のような選択前� ��画面51(この場合はニュース)が表示されてい るとする。右下に表示されたメニュー52は特� ��の周波数で点滅している。ユーザ10がその� �ニュー52を見ると、特定の周波数成分が脳波 に重畳されることが知られている。そこで、 脳波信号における点滅周期の周波数成分のパ ワースペクトルを識別することによってその メニュー52が見られているかが判別でき、脳� ��インタフェースを起動できる。脳波インタ� ��ェースの起動とは、脳波を用いて選択等を� ��うためのインタフェースの動作を開始させ� ��ことを意味する。

 なお、SSVEPは、例えば、Xiaorong Gao,“A BCI -Based Environmental Controller for the Motion-Disabled ”,IEEE Transaction on Neural Systems and Rehabilitat ion Engineering,Vol.11,No.2,June 2003に記載されてい るものを示す。

 脳波インタフェースが起動されることに� ��って、図4(b)に示すインタフェース画面53が� ��示される。画面には「どの番組をご覧にな� ��たいですか?」という質問と、見たい番組の 候補である選択肢が提示される。この例では 「野球」53a「天気予報」53b「アニメ」53c「ニ ュース」53dの4種類が表示されている。

 再び図3を参照する。ステップS62では、脳 波IF部13が、出力部11を介してインタフェース 画面53の各々の選択肢を順次またはランダム� ��ハイライトさせる。図4(b)の例では、画面53� ��上から「野球」53a、「天気予報」53b、「ア� ��メ」53c、「ニュース」53dの順にハイライト� ��ている様子を示している。このときのハイ� ��イトの切り替わり時間の間隔は、350ミリ秒� ��する。なお、ハイライトはインタフェース� ��面上での選択肢の輝度、色相および大きさ� ��変化の少なくとも1つであれば良く、また、 ハイライトの代わりに、またはハイライトと ともに補助的矢印を用いたポインタで選択肢 を提示しても良い。

 ステップS63では、脳波IF部13が、脳波計測 部12で計測された脳波信号のうち、各選択肢� ��ハイライトされた時点を起点として、-100ミ リ秒から600ミリ秒までの脳波波形データを切 り出す。

 ステップS64では、脳波IF部13は、切り出し た脳波波形データのベースライン補正を行う 。例えば、選択肢がハイライトされた時点を 起点として、-100ミリ秒から0ミリ秒までの平� ��電位でベースラインを補正する。

 ステップS65では、脳波IF部13が、インタフ ェース画面53の全ての選択肢のハイライトが� ��了したか否かを判別する。終了していない� ��合はS62に戻り、終了している場合はS66に進� ��。

 なお、事象関連電位の研究では一般的に� ��同じ選択肢をN回(例えば5回、10回、20回)ハ� �ライトさせる(たとえば選択肢が4個の場合は 合計4×N回だけハイライトさせる)ことが多い� ��そして同一選択肢ごとの加算平均を求めて� ��らターゲット選択肢の識別が行われる。こ� ��により、ランダムな脳の活動電位を相殺で� ��、一定の潜時と極性を持つ事象関連電位(例 えばP300成分、P200成分、N200成分)を検出でき� �。

 なお、同じ選択肢をN回(N:2以上の整数)ハ� ��ライトさせると識別精度は高くなるが、そ� ��処理の回数に応じた時間が必要になる。そ� ��ため、不特定多数のユーザが脳波インタフ� ��ースシステム1を利用する場合には、同じ選 択肢を多くない回数(たとえば2、3回)だけハ� �ライトさせてもよいし、1回だけハイライト� ��せてもよい。同一選択肢ごとの加算平均を� ��める場合において、加算回数(ハイライト回 数)は限定されるものではない。

 ステップS66では、脳波識別方法調整装置2 が、全ての選択肢に対する脳波波形データに 共通する特徴量を用いて、個人の脳波の特徴 を、類型化した分類体系のいずれかのタイプ に分類し、その分類結果に応じて最適な識別 方法に調整する処理を行う。処理の詳細は図 10および図12の分類判定部14および識別方法調 整部15の処理の手順を参照しながら後述する� ��

 ステップS67では、脳波IF部13が、脳波識別 方法調整装置2におけるタイプ分類およびそ� �に応じた識別方法の調整結果を受けて、複� �の選択肢の中からターゲット選択肢の識別� �行う。ここで、ターゲット選択肢の識別は� �タイプ分類に用いた脳波信号と同じ信号を� �いる。同じ脳波信号を用いて、タイプ分類� �選択肢の識別とを行うことができるため、� �択肢の識別を伴わないキャリブレーション� �行うことなく、識別精度を向上させること� �できる。

 図4(c)は、4つの選択肢に対する脳波波形� �ータ54a~54dから、脳波波形データ54bをターゲ� ��ト選択肢として識別している様子を示して� ��る。識別に際して脳波IF部13は、ハイライト された選択肢ごとの、ある区間の脳波波形デ ータの区間平均電位に基づいて選んでも良い し、またテンプレートとの相関係数の値に基 づいて選んでも良い。または、線形判別分析 または非線形判別分析による事後確率の値に 基づいて選んでも良い。上記のそれぞれに方 法に関する詳細は、識別方法の調整を行う識 別方法調整部15の説明の後に再度説明する。

 図3のステップS68では、脳波IF部13は、識� �された選択肢の動作を実行させるために、� �切な機器に当該動作を実行させる。図4(d)の� ��では、脳波IF部13は出力部(TV)11に対してチャ ンネルを「天気予報」に切り替えるよう指示 し、出力部(TV)11がその処理を実行している。

 分類判定部14は、図3に示した処理ステッ� ��S66において、脳波IF部13から分類対象となる 脳波波形データを受信することによって処理 が開始される。図4(c)の例では、ハイライト� �れた4つの選択肢に対する脳波波形データ54a~ 54dを受信する。更に受信した全ての選択肢に 対する脳波信号に共通する特徴量を用いて、 個人の脳波の特徴を類型化した分類体系のい ずれかのタイプに分類する。「全ての選択肢 に対する脳波信号に共通する特徴量」とは、 全ての選択肢に対する脳波波形を用いて得ら れる波形の特徴を示す。具体的な算出処理は 、後述する。

 識別方法調整部15は、分類判定部14の分類 結果に応じて、ターゲット選択肢を精度良く 識別するための識別方法の調整を行い、調整 結果を脳波IF部13へ送信する。

 ここで、上述のタイプ分類を実施する際� ��分類体系について、本願発明者らが実施し� ��脳波インタフェースの実験結果をもとに具� ��的に説明する。

 被験者は男性9名、女性4名の合計13名で、 平均年齢は26±6.5歳である。被験者には図4(b)� ��示した4つの選択肢を含むインタフェース画 面をモニターに提示し、350ミリ秒ごとにハイ ライトされる選択肢を見て、指定された選択 肢(ターゲット選択肢)がハイライトされた直� ��に「それ」と頭の中で思う課題を課した。� ��択肢のハイライトはランダムな順序で4つの 選択肢を各5回(すなわち加算回数が5回)の計20 回繰り返し、これを1試行の実験とした。ま� �、ターゲット選択肢の指定は、上から「野� �」53a「天気予報」53b「アニメ」53c「ニュー� �」53dの順とし、それぞれ10試行(計40試行)の� �験を各被験者に対して実施した。

 また、被験者は脳波計(ティアック、ポリ メイトAP-1124)を装着し、電極の配置は国際10-2 0電極法を用い、導出電極をPz(正中頭頂)、基� ��電極をA1(右耳朶)、接地電極を前額部とした 。サンプリング周波数200Hz、時定数3秒で計測 した脳波波形データに対して15Hzのローパス� �ィルタ処理をかけ、選択肢のハイライトを� �点に-100ミリ秒から600ミリ秒の脳波波形デー� ��を切り出し、-100ミリ秒から0ミリ秒の平均� �位でベースライン補正を行った。

 図5は、上述の実験の結果、被験者01~13の� ��々から得られた脳波波形データを、被験者� ��とに加算平均した波形を示す。横軸は選択� ��のハイライトを0ミリ秒とした時間(潜時)で� ��位はミリ秒、縦軸は電位で単位はμVである� ��実線はターゲット選択肢に対する脳波波形� ��ータの平均波形(40試行分、総加算回数は40× 5=200回)であり、点線はノンターゲット選択肢 に対する脳波波形データの平均波形(3選択肢� ��40試行分、総加算回数は3×40×5=600回)を示し� ��いる。

 図5に示した被験者ごとの脳波波形データ から、ターゲット選択肢に対する脳波波形デ ータ(実線)の特徴として、潜時が300ミリ秒以� ��の、特に400ミリ秒付近で陽性になっている� ��では共通している。しかし、100ミリ秒から3 00ミリ秒までのターゲット選択肢の脳波波形� ��ータの特徴は被験者ごとに異なっているこ� ��が分かる。例えば、被験者01のターゲット� �択肢に対する脳波波形データは200ミリ秒後� �近で大きな陽性成分が見られるが、被験者12 のターゲット選択肢に対する脳波波形データ は200ミリ秒前付近で大きな陰性成分が見られ る。

 図6は、図5に示した被験者ごとの脳波波� �データを、300ミリ秒以前のP200成分およびN200 成分の大きさに基づいて個人の脳波の特徴を 類型化した分類体系を示す。横軸はP200成分� �大きさ、縦軸はN200成分の大きさを表してい� ��。P200成分およびN200成分の大きさは、図5に� ��すターゲット選択肢およびノンターゲット� ��択肢の両方から求めている。

 具体的には、「P200成分」とは、ターゲッ ト選択肢に対する脳波波形の200ミリ秒から300 ミリ秒までの平均電位から、ノンターゲット 選択肢に対する脳波波形の200ミリ秒から300ミ リ秒までの平均電位を減じたものとした。そ のようにして求めたP200成分の大きさが10μV以 上になった場合を“Large”とし、1μV以上10μV� ��満になった場合を“Middle”とし、1μV未満に なった場合を“Small”とした。このようにし� ��得られた電位は、「全ての選択肢に対する� ��波信号に共通する特徴量」の一例である。

 一方、「N200成分」とは、ノンターゲット 選択肢に対する脳波波形データの100ミリ秒か ら200ミリ秒までの平均電位から、ターゲット 選択肢に対する脳波波形データの100ミリ秒か ら200ミリ秒までの平均電位を減じたものとし た。そのようにして求めたN200成分の大きさ� �1.4μV以上になった場合を“Large”とし、1.4μV 未満になった場合を“Small”とした。

 なお、P200成分およびN200成分の算出にあ� �って、脳波波形の200ミリ秒から300ミリ秒を� �用したことは一例である。たとえば脳波波� �の200ミリ秒から250ミリ秒の脳波波形を採用� �てP200成分を算出してもよい。同様に、N200成 分の算出にあたって、脳波波形の100ミリ秒か ら200ミリ秒を採用したことも一例である。

 図6はまた、上記の分類基準に則って、図 5に示した被験者ごとの脳波波形データを分� �した結果を示している。P200成分が“Large”� �N200成分が“Small”に該当する被験者は2名で� ��これをタイプAとした。P200成分が“Middle”� �N200成分が“Small”に該当する被験者は4名で� ��これをタイプBとした。P200成分が“Middle”� �N200成分が“Large”に該当する被験者は3名で� ��れをタイプCとした。P200成分が“Small”でN20 0成分が“Large”に該当する被験者は4名でこ� �をタイプDとした。また、P200成分とN200成分� �両方とも“Large”または“Small”に該当する� ��験者は本実験では存在しなかった。

 図7は、上記で分類したタイプごとの脳波 波形データの総加算平均波形を示す。横軸は 選択肢のハイライトを0ミリ秒とした時間(潜� ��)で単位はミリ秒、縦軸は電位で単位はμVで ある。実線はターゲット選択肢に対する脳波 波形データを、点線はノンターゲット選択肢 に対する脳波波形データを示している。

 図7から、タイプAではP200成分が大きく出� ��しており、タイプDではN200成分が大きく出� �していることが分かる。分類判定部14は、ユ ーザの脳波波形に基づいて、その波形を上記 の分類体系のいずれかのタイプに分類する。

 更に本願発明者らが実施した脳波インタ� ��ェースの実験結果をもとに新たに特定した� ��タイプ分類に用いられる特徴量について具� ��的に説明する。本願発明者らはターゲット� ��択肢の脳波波形データの特徴に基づいた前� ��の分類体系と、全ての選択肢の脳波波形デ� ��タに共通する特徴量との関係について、様� ��な分析を実施した。その結果、強い相関関� ��を持つ2つの特徴量を特定することができた 。この強い相関関係を持つ特徴量を見出した ことにより、特許文献1のように、事前にキ� �リブレーションを行うことなく精度を向上� �せることができる。

 すなわち、事前のキャリブレーションを� ��い、複数のターゲット選択肢の波形特徴を� ��出して分類する必要がなく、ターゲット選� ��肢及びノンターゲット選択肢を含むいずれ� ��選択肢に対する脳波信号を利用しても、精� ��を向上させることができる。

 従来は、ターゲット選択肢を特定し、そ� ��脳波波形から特徴量を抽出していた。しか� ��、ノンターゲット選択肢を含む全ての選択� ��に対する脳波波形に現れる特徴量を見出し� ��ことにより、ターゲット選択肢を特定する� ��となく、いずれの選択肢の脳波波形から抽� ��したユーザの特徴を利用しても、精度を向� ��させることができる。以下に詳しく説明す� ��。

 まず、図6に示した分類体系のN200成分が“La rge”の被験者群(7名)と“Small”の被験者群(6� �)とに対する脳波波形データのパワースペク� ��ルを図8に示す。横軸は周波数で単位はHz、� ��軸はパワースペクトル値で単位は(μV) ² /Hzである。時系列の脳波波形データからフー リエ変換によって周波数成分データが求めら れる。パワースペクトル値は周波数成分デー タとその複素共役との積で算出される。

 図8中の実線はN200成分が“Large”の被験者 群を示している。実線上の「○」は、7名分� �ターゲット選択肢およびノンターゲット選� �肢を含んだ全ての脳波波形データのパワー� �ペクトルの平均値を示し、「○」を上下に� �る両矢印は被験者ごとのばらつきを表して� �る。点線はN200成分が“Small”の被験者群を� �している。破線上の「×」は、6名分のター� �ット選択肢とノンターゲット選択肢を含ん� �全ての脳波波形データのパワースペクトル� �平均値を示し、「×」を上下に通る両矢印は 被験者ごとのばらつきを表している。

 図8より、各周波数において、“Large”の� ��験者群と“Small”の被験者群に対して統計� �な有意差検定であるt検定を行った結果、周� ��数が8Hzから15Hz付近の区間で、N200成分が“La rge”の被験者群が“Small”の被験者群に比べ� ��、ターゲット選択肢とノンターゲット選択� ��を含んだ全ての脳波波形データのパワース� ��クトルの平均値が有意に低くなっているこ� ��が分かった(有意水準P=0.05)。5%の有意水準で 有意差があるということは、2つの群のデー� �の間に統計的に95%の信頼度で意味のある差� �存在していることを意味する。

 上記の関係を利用することによって、複� ��の選択肢に対する脳波波形データのうち、� ��ーゲット選択肢に対する脳波波形データが� ��定できなくても、全ての脳波波形データに� ��する上述の周波数帯域のパワースペクトル� ��平均値からN200成分が“Large”の被験者か“S mall”の被験者かを分類することが可能にな� �。

 図8の例の場合、N200成分が“Large”と“Sma ll”の被験者における、周波数が8Hzから15Hz付 近の区間の平均パワースペクトル値がそれぞ れ1.6と3.6であるため、閾値を、たとえばその 中間値2.6とする。閾値2.6未満の場合は“Large� ��の被験者、閾値2.6以上の場合は“Small”の� �験者となる。図6の例では、タイプAまたはB� �被験者か、タイプCまたはDの被験者かを分類 することが可能になる。なお、閾値の決定方 法は例である。上述の例のように、1.6と3.6の 間に存在していれば中間値でなくてもよい。

 次に、図6に示した分類体系のP200成分が� �Large”、“Middle”、“Small”のレベルと、脳� ��波形データの時間周波数成分、具体的には2 00ミリ秒から250ミリ秒の時間幅および8Hzから1 5Hz付近の周波数帯域のウェーブレット係数と の関係を被験者ごとにプロットしたものを図 9に示す。左記のウェーブレット係数はマザ� �ウェーブレットをメキシカンハットとした� �合を示している。縦軸はP200成分のレベルで� ��り、“Large”の場合は3(対象被験者は2名)、� ��Middle”の場合は2(対象被験者は7名)、“Small� ��の場合は1(対象被験者は4名)としている。横 軸は被験者ごとにターゲット選択肢とノンタ ーゲット選択肢を含んだ全ての脳波波形デー タのウェーブレット係数の平均値である。

 図9において、線形回帰分析を行った結果 、近似式y=0.1586x+1.6673に近似され、P200成分の� ��ベル(y)とウェーブレット係数(x)との間に強� ��相関関係があることが分かった(相関係数R=0 .83)。相関係数とは、2つの変数の間の相関(類 似性の度合い)を示す統計的指標であり、一� �的に絶対値が0.7以上の場合に強い相関があ� �ことを意味する。

 上記の関係を利用することによって、複� ��の選択肢に対する脳波波形データのうち、� ��ーゲット選択肢に対する脳波波形データが� ��定できなくても、全ての脳波波形データに� ��する上述の時間幅および周波数帯域のウェ� ��ブレット係数の平均値からP200成分が“Large� ��の被験者か“Middle”の被験者か“Small”の� �験者かを分類することが可能になる。

 図9の例の場合、前記近似式のP200成分の� �ベル(y)=2.5(“Large:3”と“Middle:2”の中間値)� �よび1.5(“Miidle:2”と“Small:1”の中間値)に対 応するx=5.2および-1.0をそれぞれ閾値とした。 ウェーブレット係数(x)が閾値5.2以上の場合は “Large”の被験者、閾値-1.0以上5.2未満の場合 は“Middle”の被験者、閾値-1.0未満の場合は� �Small”の被験者となる。なお、上述の例では 中間値を閾値として説明したが、これは例で ある。“Large:3”と“Middle:2”との間、および 、“Miidle:2”と“Small:1”との間であれば、中 間値でなくてもよい。

 上述の近似式および閾値に基づけば、図6 の例では、タイプAの被験者か、タイプBまた� ��Cの被験者か、タイプDの被験者かを分類す� �ことが可能になる。

 ここで、上記の関係についての本願発明� ��らの考察を以下に述べる。従来文献(藤澤清 ら、新生理心理学1巻119頁、1998)によれば、N20 0成分(特にN2b)は予期しない刺激に対する注意 の焦点化を反映するとされている。また、従 来文献(藤澤清ら、新生理心理学2巻110頁、1998 )によれば、覚醒水準が低下すると脳波の8Hz� �ら13Hzの成分であるα波も次第に減少し、や� �ては消失して、低振幅のθ波が出現するとさ れている。これらを考慮すると、N200成分が� �Large”だった被験者は、本実験中の覚醒水準 が低く(すなわちα波付近の成分が減少し)、� �実験の課題遂行に対する集中力が低かった� �め、ターゲット選択肢のハイライトに対し� �予期しない刺激に対するような注意の焦点� �を起こし、結果N200成分が惹起されたと考え� ��こともできる。

 一方、P200成分が“Large”だった被験者は� ��本実験の課題遂行に対する集中力が高かっ� ��ため、ウェーブレット係数においてα波付� �の周波数成分が減少せず、特に200ミリ秒か� �250ミリ秒の時間幅で大きな値が得られたと� �えることもできる。

 なお、実際のN200成分やP200成分のレベル� �上述のタイプ分類結果とが異なる場合が起� �り得る。しかし、図15~17の識別率の試算結果 で後述するように、統計的に見れば本発明に よるタイプ分類は識別率の維持向上に非常に 効果的であると言える。また、図8に示した� �波数帯域のパワースペクトルと図9に示した� ��間幅および周波数帯域のウェーブレット係� ��を同時に利用することによって、より詳細� ��かつ正確にタイプ分類を行うことが可能に� ��る。

 次に、図10のフローチャートを参照しな� �ら、上記の特徴量をもとにタイプ分類を行� �ための分類判定部14の処理の手順を説明する 。

 図10は、分類判定部14の分類処理手順を示 す。

 ステップS121では、分類判定部14は、脳波I F部13から分類対象となる脳波波形データを受 信する。分類対象となる脳波波形データは、 脳波計測部12で計測された脳波信号から脳波I F部13によって切り出され、分類判定部14に送� ��れている。図4(c)の例では、分類判定部14は� ��イライトされた4つの選択肢に対する脳波波 形データ54a~54dを受信する。

 ステップS122では、分類判定部14は受信し� ��全ての脳波波形データに対して、以下の特� ��量を抽出し、その平均値を算出する。特徴� ��とは、先の実験結果で述べた、周波数帯域� ��8Hzから15Hz付近のパワースペクトル、時間幅 が200ミリ秒から250ミリ秒および周波数帯域が 8Hzから15Hz付近のウェーブレット係数である� �

 ステップS123では、分類判定部14はタイプ� ��類のために用いられる基準データを読み出� ��。図11は、前述の実験結果をもとに作成し� �タイプ分類用の基準データの一部を示す。� �イプ分類用の基準データは、脳波波形デー� �の番号、パワースペクトルとウェーブレッ� �係数の特徴パラメータ、当該脳波波形デー� �が属するタイプで構成されている。パワー� �ペクトルとウェーブレット係数の特徴パラ� �ータの数は、それぞれ8Hzから15Hzの区間にあ� ��サンプルの数だけ存在する。サンプル数は� ��波波形データを計測する際のサンプリング� ��波数や切り出す時間幅などによって決定さ� ��る。図11に示した基準データは、分類判定� �14が予め保持しているものとする。図11に実� ��に記載される特徴パラメータの値は、前述� ��ような実験を事前に実施することによって� ��備しておく必要がある。

 ステップS124では、分類判定部14はステッ� ��S122で抽出した特徴量を用いてタイプ分類を 実施する。タイプ分類は、前記実験結果で述 べたN200成分やP200成分のそれぞれの閾値に基� ��いて分類しても良いし、ステップS123で読み 出したタイプ分類用データに基づいて判別分 析を行うことによって分類しても良い。以下 、図11に示すタイプ分類用データに基づく判� ��分析の場合について具体的に説明する。

 分類判定部14は、タイプ分類用データのA~D� �4つのタイプをそれぞれ順にk=1、2、3および4� ��対応付けし、また特徴パラメータをUi(i=1~8)� ��して、k個のタイプごとの特徴パラメータUi� ��平均を下記数1によって求める。

 分類判定部14は、各タイプ共通の分散共分� �行列Sを下記数2によって求める。
nは総データ数、nkはタイプごとのデータ数、 iとjは1~8の整数である。

 ステップS122で抽出した周波数帯域が8Hzから 15Hz付近のパワースペクトルの平均値および� �間幅が200ミリ秒から250ミリ秒かつ周波数帯� �が8Hzから15Hz付近のウェーブレット係数の平� ��値をXi(i=1~8)とすると、次の線形関数Zkを最� �にするkを求めることによって、Xiが属する� �イプkを決定することができる。

 ステップS125では、分類判定部14は、ステ� ��プS124で分類した結果を識別方法調整部15に� ��信する。

 識別方法調整部15の処理の手順を、図12の フローチャートを参照しながら説明する。

 ステップS141では、識別方法調整部15は、� ��類判定部14で分類した結果を受信する。

 ステップS142では、識別方法調整部15は、� ��別方法調整データを読み出す。識別方法調� ��データは、識別方法調整部15に予め保持し� �いるものとする。詳細は以下に説明する。

 ステップS143では、識別方法調整部15は、� ��テップS141で受信した分類結果に応じて、脳 波IF部13へ調整結果として送信すべきデータ� �、識別方法調整データの中から選択する。

 上述の識別方法調整部15で読み出される� �別方法調整データは、脳波IF部13におけるタ� ��ゲット選択肢の識別方法の種類によって異� ��る。

 まず、ある区間の脳波波形データの区間� ��均電位に基づいてターゲット選択肢を識別� ��る場合、識別方法調整部15は、図13に示す識 別方法調整データを読み出す。図13はタイプ� ��とのP300成分およびP200成分、N200成分に対す� ��重み係数で構成されている割り当て表を示� ��。例えばタイプ分類の結果がタイプAの場合 は、タイプAに対するP300成分、P200成分、N200� �分の重み係数(1、1、0)を選択する。

 次にテンプレートとの相関係数の値に基� ��いてターゲット選択肢を識別する場合、読� ��出される識別方法調整データは図7(a)~(d)に� �線で示したターゲット選択肢に対する脳波� �形データとなる。例えばタイプ分類の結果� �タイプAの場合は、図7(a)に実線で示された脳 波波形データをテンプレートとして選択する 。

 最後に線形判別分析または非線形判別分� ��による事後確率の値に基づいてターゲット� ��択肢を識別する場合、読み出される識別方� ��調整データはタイプごとに用意された教示� ��ータとなる。図14はタイプAの場合の教示デ� ��タの例を示しており、(a)はターゲット選択� ��に対する脳波波形データ(データ数80)で、(b) はノンターゲット選択肢に対する脳波波形デ ータ(データ数240)である。タイプ分類の結果� ��タイプAの場合は、図14のデータを教示デー� ��として選択する。

 ステップS144では、識別方法調整部15は、� ��テップS143で選択したデータを脳波IF部13へ� �整結果として送信する。

 ここで再び脳波IF部13のターゲット選択肢 の識別処理(図3のステップS67)を説明する。識 別方法調整部15の調整結果を受けて、以下に� ��す処理を実施する。

 まず、ある区間の脳波波形データの区間平� ��電位に基づいてターゲット選択肢を識別す� ��場合、ハイライトされた選択肢の脳波波形� ��ータごとに次数4で表される計算を行う。

 ここでWp3、Wp2、Wn2とはそれぞれ識別方法� ��整部15から受信したP300成分、P200成分、N200� �分の重み係数である。図13は、当該重み係数 を示す。例えば、分類判定部14がユーザの脳� ��波形をタイプAに分類した場合、すなわちタ ーゲット選択肢の脳波波形データにP200成分� �大きく、N200成分が小さく現れると判定した� ��合は、識別方法調整部15は、上記の重み係� �を(1、1、0)としてP200成分に重みをつける。

 同様に分類判定部14がタイプDと分類した� ��合、すなわちターゲット選択肢の脳波波形� ��ータにP200成分が小さく、N200成分が大きく� �れると判定した場合、識別方法調整部15は、 上記の重み係数を(1、0、1)としてN200成分に重 みをつける。Pp3、Pp2、Pn2とはそれぞれP300成� �(300ミリ秒から500ミリ秒までの平均電位)、P20 0成分(200ミリ秒から300ミリ秒までの平均電位) 、N200成分(100ミリ秒から200ミリ秒までの平均� ��位)であり、Eは評価値を表している。N200成� ��はターゲット選択肢の場合に陰性の電位と� ��て現れることを特徴としているため、上式� ��は減算することによって評価値Eに反映させ ている。ハイライトされた選択肢ごとの脳波 波形データから評価値Eを計算し、その値が� �も大きい選択肢をターゲット選択肢として� �別する。

 次にテンプレートとの相関係数の値に基� ��いてターゲット選択肢を識別する場合、ハ� ��ライトされた選択肢ごとの脳波波形データ� ��識別方法調整部15から受信したテンプレー� �との相関係数、例えばピアソンの積率相関� �数を求め、その値が最も大きい選択肢をタ� �ゲット選択肢として識別する。

 最後に線形判別分析または非線形判別分� ��による事後確率の値に基づいてターゲット� ��択肢を識別する場合、ハイライトされた選� ��肢ごとの脳波波形データに対して、識別方� ��調整部15から受信した教示データに基づい� �、線形判別分析または非線形判別分析を行� �。具体的には、ベイズ推定を用いたターゲ� �ト選択肢らしさを表す事後確率を求め、そ� �値が最も大きい選択肢をターゲット選択肢� �して識別する。

 上述の方法により、識別方法調整部15に� �ける識別方法の調整結果を受けて、複数の� �択肢の中からターゲット選択肢の識別を行� �ことが可能となる。

 上記に説明した分類判定部14および識別� �法調整部15の処理は、ユーザが脳波インタフ ェースを利用する際にその都度自動的に実施 しても良いし、またユーザの指示によって実 施し、その際の調整結果を脳波IF部13で保持� �ていても良い。

 上述した本発明の実施形態によって得ら� ��た効果を、ターゲット選択肢の識別率の試� ��結果をもとに具体的に説明する。

 識別率の試算は、前述の実験結果(被験者 13名に対して4つの選択肢の中から脳波を用い て1つ選ぶ実験の結果)に基づいて実施した。� ��2の分類判定部14におけるタイプ分類には線� ��判別分析を用い、特徴量は脳波波形データ� ��パワースペクトルとウェーブレット係数の� ��方を用いた。図2の脳波IF部13におけるター� �ット選択肢の識別にも線形判別分析を用い� �特徴量は脳波波形データの25ミリ秒ごとの平 均電位とした。

 また、この識別率の試算の目的は、次に� ��す3つの条件における識別率を比較し、本発 明の効果を確認することである。3つの条件� �は、(a)被験者ごとのキャリブレーションを� �ない場合、(b)キャリブレーションなしで、� �つ本発明によるタイプ分類および識別方法� �調整をした場合、(c)被験者ごとのキャリブ� �ーションをした場合である。したがって、� �ーゲット選択肢の識別に用いる教示データ� �、(a)の場合は全被験者共通の教示データと� �るため、全被験者の実験結果を教示データ� �して用いた。(b)の場合は、本発明によるタ� �プ分類を行い、その分類結果に応じた教示� �ータとするため、例えばタイプAと分類した� ��合はタイプAに属する被験者(図5の例では被� ��者01と08)の実験結果を教示データとして用� �た。(c)の場合は、被験者ごとの教示データ� �するため、例えば被験者01の場合は被験者01� ��実験結果を教示データとして用いた。但し� ��上記の全ての条件において、評価対象デー� ��は常に教示データから除外して、ターゲッ� ��選択肢の識別を行う、いわゆるleave‐1‐out� ��による評価を実施した。

 図15は、ターゲット選択肢の識別率の全� �験者平均値を3つの条件を示している。(a)の� ��ャリブレーションなしの場合が最も識別率� ��低く(74.6%)、(c)の手間のかかる煩雑なキャリ ブレーションをした場合が最も識別率が高く なっている(83.5%)。(b)の本発明を用いた場合� �、被験者ごとのキャリブレーションをして� �ないにも関わらず、(c)のキャリブレーショ� �ありの場合に近い精度になっていることが� �かる(81.3%)。

 図16は、図15の内訳であるタイプAの被験� �、タイプDの被験者、その他の被験者のそれ� ��れの場合の識別率を示す。図16より、タイ� �Aの被験者およびタイプDの被験者の場合、本 発明の効果が顕著に現れていることが分かる 。つまり、(b)の本発明を用いた場合は(a)の場 合と比較し、大幅に識別率が向上しており、 (c)の場合と比較し、被験者ごとの煩雑なキャ リブレーションをしていないにも関わらず、 ほぼ同等の識別精度を維持していることが分 かる。

 したがって、図15(b)および図16(b)から明ら かなように、脳波インタフェースシステム1� �おいて、本発明による脳波識別方法調整装� �2を備えることによって、識別精度を高く維� ��しつつ、従来ユーザにとって負担となって� ��た事前のキャリブレーションの手間をなく� ��ことが可能となる。

 更に図17は、タイプ分類に用いる特徴量� �、(b)パワースペクトルとウェーブレット係� �の両方を用いる場合、(b-1)パワースペクトル のみを用いる場合、(b-2)ウェーブレット係数� ��みを用いる場合の3つの条件について、タイ プAとタイプDの被験者の識別率を示す。ここ� ��図17(b)と図16(b)は同じ評価内容を表している 。図17より、(b-1)のパワースペクトルのみを� �いる場合および(b-2)のウェーブレット係数の みを用いる場合は、(b)の両方を用いる場合と 比較して識別率は多少低下しているものの、 図16(a)の場合と比較すればキャリブレーショ� ��なしで大幅に識別率が向上していることが� ��かる。したがって、脳波波形データのパワ� ��スペクトルとウェーブレット係数のどちら� ��一方でも効果があることが分かる。

 本実施形態によれば、少ない回数(たとえ ば1~3回程度)の刺激で得られた選択肢ごとの� �象関連電位と、上述したN200成分およびP200成 分によって分類をする場合には、非常に効果 的である。図15~図17によれば、これは特に、� ��波数帯域のパワースペクトルの平均値およ� ��/または周波数帯域のウェーブレット係数の 平均値によって分類した場合に顕著であると いえる。

 したがって、タイプ分類の際に用いる特� ��量は、前述のように脳波波形データのパワ� ��スペクトルとウェーブレット係数の両方を� ��用しても良いし、どちらか一方でも良い。� ��ワースペクトルのみを利用する場合は、N200 成分が“Large”または“Small”を分類するこ� �になり、図6の例ではタイプCおよびDかまた� �タイプAおよびBかの2タイプに分類すること� �なる。同様にウェーブレット係数のみを利� �する場合は、P200成分が“Large”または“Middl e”または“Small”を分類することになり、図 6の例ではタイプAかまたはタイプBおよびCか� �たはタイプDかの3タイプに分類することにな る。

 本実施形態にかかる構成および処理の手� ��により、複数の選択肢の中からユーザが選� ��したいと思っている選択肢を、脳波を利用� ��て識別するインタフェースを備えたシステ� ��において、全ての選択肢に対する脳波波形� ��ータに共通する特徴量を用いて、より具体� ��には周波数帯域が8Hzから15Hz付近のパワース ペクトルの平均値および時間幅が200ミリ秒か ら250ミリ秒かつ周波数帯域が8Hzから15Hz付近� �ウェーブレット係数の平均値を用いて、予� �用意した分類体系のいずれかのタイプに分� �し、その分類結果に応じて最適な識別方法� �調整する処理を行うことによって、ユーザ� �対する煩雑なキャリブレーションの負担を� �くし、かつ、脳波に関する識別精度を高く� �持することができる。

 上述の実施形態に関して、フローチャー� ��を用いて説明した処理はコンピュータに実� ��されるプログラムとして実現され得る。そ� ��ようなコンピュータプログラムは、CD-ROM等� ��記録媒体に記録されて製品として市場に流� ��され、または、インターネット等の電気通� ��回線を通じて伝送される。識別方法調整装� ��を構成する全部または一部の構成要素や、� ��波IF部は、コンピュータプログラムを実行� �る汎用のプロセッサ(半導体回路)として実現 される。または、そのようなコンピュータプ ログラムとプロセッサとが一体化された専用 プロセッサとして実現される。脳波識別方法 調整装置の機能を実現するコンピュータプロ グラムは、脳波IF部の機能を実現するための� ��ンピュータプログラムを実行するプロセッ� ��によって実行されてもよいし、脳波インタ� ��ェースシステム内の他のプロセッサによっ� ��実行されてもよい。

 また本実施形態においては、脳波識別方� ��調整装置2は脳波IF部13とともに出力部(テレ� ��)11内に設けられているが、これも例である� ��いずれか一方または両方がテレビ外に設け� ��れていてもよい。

 (実施形態2)
 実施形態1では、全ての選択肢に対する脳波 波形データに共通する特徴量を用いて、個人 の脳波の特徴を、図6に示す類型化した分類� �系のいずれかのタイプに分類した。そして� �その分類結果に応じて最適な識別方法に調� �する処理を行った(図3のステップ66)。

 実施形態1において説明したとおり、いず れの選択肢の脳波波形からも特徴量が抽出で きることが見出せた。この点に鑑みると、い ずれの選択肢の脳波波形からも特徴量が抽出 できれば、全ての選択肢のうち2つ以上の選� �肢の脳波波形を用いることにより、従来よ� �も容易に特徴量を抽出し、精度を向上させ� �ことができるのは明らかである。

 そこで本実施形態では、全ての選択肢に� ��する脳波波形を用いず、その一部(ただし3� �以上の全ての選択肢うち少なくとも2つ以上) の選択肢に対する脳波波形を利用する。また 、図6に示すようなタイプ分類を用いること� �く、当該一部の選択肢に対する脳波波形がN2 00とP200のいずれの特徴量を有するか判断し、 その特徴量に重み付けを行って、ターゲット 選択肢を求める。

 図18は、本実施形態による脳波インタフ� �ースシステム3の機能ブロック構成を示す。� ��波インタフェースシステム3は、出力部11と� ��脳波計測部12と、脳波IF部13と、脳波識別方� ��調整装置4を有している。実施形態1による� �波インタフェースシステム1との相違点は、� ��波識別方法調整装置の構成および動作であ� ��。

 本実施形態による脳波識別方法調整装置4 は、特徴量抽出部114と、識別方法調整部115と で構成されている。以下、実施形態1との相� �点のみを説明する。実施形態2にかかる構成� ��うち、特に言及するものを除いては、実施� ��態1と同じである。よってそれらの説明は省 略する。

 特徴量抽出部114は、各選択肢が提示され� ��後の各脳波信号から、2以上の選択肢に対応 する脳波信号を選択する。特徴量抽出部114は 、基準データを予め保持しており、当該基準 データおよび選択した脳波信号に共通する特 徴量を抽出する。

 識別方法調整部115は、特徴量抽出部114に� ��って抽出された特徴量に重み付けを行い、� ��ーザ10が選択した選択肢に対する脳波信号� �識別方法を調整を行う。そして調整結果を� �波IF部13へ送信する。これにより、脳波IF部13 における、事象関連電位の成分を識別するた めの識別方法が変更される。

 図3のフローチャートは、概ね本実施形態 による脳波インタフェースシステム3の処理� �も適用できる。ただし、ステップS66が以下� �点で異なる。

 本実施形態においては、ステップS66にお� ��て、脳波識別方法調整装置4の特徴量抽出部 114が、3以上の選択肢に対応して得られた脳� �信号のうち、2以上の選択肢に対応する脳波� ��号を選択する。特徴量抽出部114はさらに、� ��択した脳波波形を抽出し、それらが、N200と P200のいずれの特徴量を有するかを求める。� �徴量は、周波数帯域が8Hzから15Hz付近のパワ� ��スペクトル、時間幅が200ミリ秒から250ミリ� ��および周波数帯域が8Hzから15Hz付近のウェー ブレット係数によって求めることが可能であ る。

 なお、図6に示されるように、P200成分とN2 00成分とが両方Largeと両方Smallになることはな い。よって、特徴量抽出部114は、選択した脳 波波形が、N200とP200のいずれかの特徴量を有� ��ることを確実に判別することができる。本� ��施形態においては、特徴量抽出部114は、図1 1に示す基準データを保持しており、N200とP200 のいずれの特徴量を有するかを求める。

 識別方法調整部115は、求めた特徴量に応� ��た重み付けを行うよう、脳波IF部13における 識別方法の調整を行う。これにより、図3の� �テップS67において、ユーザが選択した選択� �に対する脳波信号を識別する際に、ターゲ� �ト選択肢を識別することが可能になる。重� �付けとは、たとえば図13に記載されているよ うな重み付け係数を、脳波識別時に脳波信号 に課すことを意味する。

 上述のとおり、本実施形態では、脳波信� ��を図6に示すようなタイプA~Dに分類しない。 よって、たとえば図10のステップS123、S124な� �の分類に関連する処理は行われなくてもよ� �。

 なお、本実施形態による処理もまた、コ� ��ピュータに実行されるプログラムとして実� ��され得る。そのようなプログラムの説明は� ��実施形態1におけるプログラムの説明と同じ であるため、省略する。