本発明の信号処理システムの実施の形態� ��ついて図面を参照して詳細に説明する。

 図1を参照し、本発明の信号処理システムの 第一の実施の形態について説明する。本発明 の信号処理システムは、多重レンダリング部 5から構成される。多重レンダリング部5は、� ��数の入力信号である入力0~入力M _i -1とレンダリング情報を受ける。多重レンダ� ��ング部5は、入力信号をレンダリング情報に 基づいてレンダリングし、出力0~出力M _o -1として出力する。入力0~入力M _i -1は、混合された複数の信号から構成されて� ��る。 入力信号に含まれる複数の信号の混� �割合は、全て異なっている。また、入力信� �に含まれる複数の信号は、同じ割合で混合� �れていてもよい。

 例として、混合された2信号を分離する場 合を考える。入力0には信号成分0が最も多い� ��合で含まれ、入力1には信号成分1を最も多� �割合で含まれている場合を考える。出力チ� �ネル数を2とすると、出力は出力0と出力1で� �り、左と右(或いは右と左)のチャネル信号と して用いる。このとき、多重レンダリング部 5は、入力0と入力1を異なった位置に定位する ようにレンダリング処理して、出力0、出力1� ��して出力する。出力0及び出力1は、スピー� �ー、ヘッドホンなどの電気音響変換素子に� �って音響信号に変換され、最終的に聴取の� �めに人間の聴覚器官に入力される。入力0及� ��入力1が、低歪で信号分離度の不十分な信号 であっても、前述した人間本来の聴覚器官に 備わった信号分離機能により補償することが できる。すなわち、信号分離能力を保ったま ま歪みを低減することができる。

 また、混合された2信号が、所望信号と所 望信号以外の信号、すなわち非所望信号とで ある場合について説明する。この場合、入力 0としては所望信号が支配的、すなわち所望� �号が強調された信号が入力される。入力1と� ��ては非所望信号が支配的、すなわち非所望� ��号が強調された信号が入力される。レンダ� ��ング処理によって、入力0が正面前方に、入 力1が後方に定位するようすることができる� �このように定位させることによって、所望� �号が支配的な信号が前方から、非所望信号� �支配的な信号が後方から到来するように知� �される。また、入力0を正面前方に定位させ� ��入力1を空間全体に拡散的に聞こえるように 定位させることによって、所望信号が支配的 な信号が前方から、非所望信号が支配的な信 号が空間全体から拡散的に到来するように知 覚される。このように点音源と拡散音源とし て知覚されるように各入力信号に定位を与え ることによって、これらの信号の分離がされ たように知覚される。これは、特定の点から 到来するように知覚される信号の方が拡散的 に到来するように知覚される信号よりも聴取 対象として集中しやすいためである。例えば 、所望信号には、音声などが含まれる。また 、非所望信号には、ノイズ、背景雑音、他音 源からの信号などが含まれる。

 次に、より一般的に、混合されたM _i チャンネルの信号を入力して、M _o チャネルに出力する場合を考える。入力jに� �、信号成分j-1が最も多い割合で含まれてい� �と仮定する。このとき、多重レンダリング� �5は、入力0~入力M _i-1 がそれぞれ異なった位置に定位するようにレ ンダリング処理して、出力0~出力M _i-1 として出力する。入力jに着目すると、入力j� ��特定の音響空間上の点に定位するようにレ� ��ダリングすることによって、出力0~出力M _i-1 の入力jに対応した成分を生成する。同様の� �理をj=0~M _i-1 に対して繰り返し、各出力において入力0~入� ��M _i-1 に対応した成分の総和をとることによって、 出力0~出力M _i-1 を生成する。

 続いて、図2を参照して、多重レンダリン グ部5の構成例を詳細に説明する。多重レン� �リング部5は、レンダリング部51、レンダリ� �グ部52、加算器53、54、および分離部55から構 成される。まず、入力0と入力1が、それぞれ� ��ンダリング部51とレンダリング部52に入力さ れる。また、レンダリング情報が分離部55に� ��力される。分離部55は、レンダリング情報� �各レンダリング部に対応した個別レンダリ� �グ情報に分離して、対応するレンダリング� �に出力する。

 レンダリング情報とは、レンダリング部5 1または52の入力信号と出力信号との関係を周 波数成分毎に表した情報である。レンダリン グ情報は、信号間のエネルギ差、時間差や相 関などを用いて表される。レンダリング情報 の一例が、非特許文献2(2007年、アイエスオー /アイイシー 23003-1:2007 パート1 エムペグ � �ラウンド、(ISO/IEC 23003-1:2007 Part 1 MPEG Surro und))に開示されている。

 レンダリング部51は、分離部55から入力さ れた個別レンダリング情報を用いて、入力0� �変換して出力信号を生成する。出力0に対応� ��た出力信号は加算器53に、出力1に対応した� ��力信号は加算器54に出力される。レンダリ� �グ部52は、分離部55から入力された個別レン� ��リング情報を用いて、入力1を変換して出力 信号を生成する。出力0に対応した出力信号� �加算器53に、出力1に対応した出力信号は加� �器54に出力される。加算器53は、レンダリン� ��部51とレンダリング部52から入力された出力 0に対応する出力信号を加算して和を求め、� �力0として出力する。加算器54は、レンダリ� �グ部51とレンダリング部52から入力された出� ��1に対応する出力信号を加算して和を求め、 出力1として出力する。

 個別レンダリング情報の最も一般的なもの� ��フィルタに関する情報であり、フィルタ係� ��や周波数応答(振幅と位相)によって表現さ� �る。個別レンダリング情報が有限インパル� �応答(FIR)フィルタの係数ベクトルとして与え られているときには、レンダリング部51は、� ��力0及び入力1とフィルタ係数hの畳み込み結� ��を出力する。すなわち、時刻kにおける入力 0及び入力1との畳み込み結果をy _0,k 、y _1,k 、入力0及び入力1の信号ベクトルをx _0,k 、x _1,k とすれば、入力と出力の関係は、

で表すことができる。ここに、Lはフィルタ� �タップ数である。この表現において、フィ� �タ係数hが個別レンダリング情報である。特� ��、頭外音像定位を目的として適用する場合� ��は、上記のフィルタ係数は、頭部伝達関数( HRTF: head related transfer function)として知られ� ��いる。図2の例では、出力チャネル数が2で� �るので、2組のフィルタ係数h ₀ 、h ₁ が入力される。出力チャネル数が2以上、す� �わち出力がM _o チャネルの場合には、M _o 組のフィルタ係数が入力される。レンダリン グ部52の動作は、入力とフィルタ係数が異な� ��が、レンダリング部51の動作と等しい。ま� �、入力信号の種類が増えると、レンダリン� �部及びフィルタ係数の組の数が増加する。

 個別レンダリング情報が周波数応答とし� ��与えられている場合には、入力0及び入力1� �周波数領域表現と周波数応答とに相当する� �素数の積を求めて出力0と出力1とを生成する 。このときは、レンダリング部の前後に、フ ーリエ変換などの時間周波数変換とその逆変 換とが適用される。この演算は、[数1]の周波 数領域表現で表される。

 続いて、図3を参照して、多重レンダリン グ部5の第2の構成例を詳細に説明する。多重� ��ンダリング部5は、レンダリング部51、レン� ��リング部52、加算器53、54、およびメモリ56� �ら構成される。図3の多重レンダリング部5は 、図2に含まれる分離部55をメモリ56で置換し� ��構成となっている。すなわち、レンダリン� ��情報は、外部から入力する代わりに、多重� ��ンダリング部内部のメモリに格納されてい� ��。多重レンダリング部5は、メモリに格納さ れたレンダリング情報を固定的に用いること によって、定位を決定する。第2の構成例で� �、メモリ56に格納されている特定のレンダリ ング情報を用いるので、レンダリング情報入 力と分離に伴う演算が不要となる。従って、 第2の構成例の多重レンダリング部5は、演算� ��を減らすことが出来るとともに、システム� ��簡略化できる。

 続いて、図4を参照して、多重レンダリン グ部5の第3の構成例を詳細に説明する。多重� ��ンダリング部5は、レンダリング部51、レン� ��リング部52、加算器53、54、およびメモリ57� �ら構成される。図4の多重レンダリング部5は 、図3に含まれるメモリ56をメモリ57で置換し� ��構成となっている。メモリ57には、複数の� �ンダリング情報が記憶されている。メモリ57 には、メモリ57の内部に記憶された複数のレ� ��ダリング情報を選択して個別レンダリング� ��報とするためのレンダリング選択情報が入� ��されている。すなわち、固定的なレンダリ� ��グ情報を利用する代わりに、メモリ57の内� �に記憶された複数のレンダリング情報から� �切なものを選択して利用することによって� �入力信号の定位を決定する。第3の構成例は� ��第1及び第2の構成例の中間的な構成となっ� �いる。第2の構成例は、第1の構成例に比べて 、レンダリング情報の入力と分離に伴う演算 量が削減されるとともに、レンダリング情報 を決定する利用者の負担を軽減している。ま た、第3の構成例は、第2の構成例に比べて、� ��用者にレンダリング情報を決定する自由度� ��与えることができる効果がある。

 なお、図2から図4では多重レンダリング部5� ��入力チャネル数及び出力チャネル数が2であ る場合、すなわちM _i =M _o =2の例について説明してきた。しかし、図2か ら図4の構成は、多重レンダリング部5の入力� ��ャネル数及び出力チャネル数は2に限らず1� �は3以上の場合にも容易に適用することがで� ��る。例えば、多重レンダリング部5に含まれ るレンダリング部の数は入力の数M _i と等しく、各レンダリング部(51、52など)の出 力数は多重レンダリング部5の出力数M _o に等しいことが、これまでの説明から容易に 理解できる。

 以上説明したように、本発明の信号処理� ��ステムの第一の実施の形態によれば、信号� ��分を異なった割合で含む複数の入力信号を� ��ンダリングして、異なった定位を付与する� ��とができる。また、本実施の形態の信号処� ��システムは、低歪で信号分離度の不十分な� ��力信号を人間の聴覚器官に本来備わった分� ��機能を利用することにより、信号分離度の� ��十分な入力信号をさらに分離して知覚させ� ��ことができる。すなわち、本実施の形態の� ��号処理システムは、信号分離能力を保った� ��ま歪みを低減することができる。このため� ��入力信号に含まれる複数の信号成分に、小� ��な歪で信号成分毎に異なった定位を付与す� ��ことができる信号処理システムを提供する� ��とができる。

 続いて、図5を参照して、本発明の信号処 理システムの第二の実施の形態について詳細 に説明する。本発明の第二の実施の形態は、 前処理を行った信号を多重レンダリング部5� �供給するものである。

 図5の信号処理システムでは、前処理部11が� ��重レンダリング部5の前に配置されている。 前処理部11は、入力信号に対して信号強調処� ��を行う。前処理部11は、入力信号に含まれ� �信号成分のそれぞれが強調された信号を、� �力0~入力M _i-1 として、多重レンダリング部5に出力する。� �重レンダリング部5は、入力0~入力M _i-1 を受けてそれぞれに対して異なった定位を与 え、出力0~出力M _o-1 として出力する。図5では、多重レンダリン� �部5にレンダリング情報が入力される構成に� ��っている。しかし、既に図3を用いて説明し たように、多重レンダリング部5は、レンダ� �ング情報を外部から入力せずに内部メモリ� �保持する構成を適用することができる。ま� �、図4において説明したように、多重レンダ� ��ング部5は、内部メモリに複数のレンダリン グ情報を記憶しておき外部からレンダリング 選択情報を入力する構成を適用することもで きる。前処理部11を用いることによって、入� ��信号中の主要な信号成分を強調するといっ� ��制御をすることができる。さらに、入力信� ��間の分離度を高くすることが可能となり、� ��処理に続くレンダリングの効果を向上させ� ��ことができる。

 次に、図6を参照して、前処理部11の第1の構 成例について詳細に説明する。図6の前処理� �11は、複数の信号成分強調部110 ₀ ~110 _Mi-1 で構成している。信号成分強調部110 ₀ ~110 _Mi-1 の出力が、それぞれ入力0~入力M _i-1 として出力される。信号成分強調部110 _j (0<j<M _i-1 )は、入力A0~入力AM _i-1 を受けて信号成分jを強調し、入力jとして出� ��する。信号成分強調部110 ₀ ~110 _Mi-1 は、指向性制御、ビームフォーミング(Beamform ing)、ブラインド信号源分離(Blind Source Separat ion)、独立成分分析(Independent Component Analysis)� ��ノイズキャンセリング(Noise Cancellation)、ノ� ��ズサプレッション(Noise Suppression)と呼ばれ� �技術を用いたシステムで構成することがで� �る。

 例えば、指向性制御およびビームフォー� ��ングに関連する技術は、非特許文献3(2001年� ��「マイクロホン・アレイズ」、シュプリン� ��ー、(Microphone Arrays, Springer, 2001))および非� ��許文献4(2005年、「スピーチ・エンハンスメ� ��ト」、シュプリンガー、(Speech Enhancement, Sp ringer, 2005, pp. 229--246)、229ページから246ペー ジ)に開示されている。また、ブラインド信� �源分離および独立成分分析の方法に関連す� �技術は、非特許文献5(2005年、「スピーチ・� �ンハンスメント」、シュプリンガー、(Speech� �Enhancement, Springer, 2005, pp. 271 - 369)、271ペ� ��ジから369ページ)に開示されている。さらに 、ノイズキャンセリングに関連する技術は、 非特許文献6(1975年、「プロシーディングス・ オブ・アイ・イー・イー・イー」、第63巻、� ��12号(Proceedings of IEEE, vol.63, No.12, 1975、pp.1 692-1715)、1692―1715ページ)及び非特許文献7(1999 年、「アイ・イー・アイ・シー・イー、トラ ンザクションズ・オブ・ファンダメンタルズ 」、第E82-A巻、第8号(IEICE Transactions of Fundame ntals, vol.E82-A, No.8, 1999, pp.1517-1525)、1517―152 5ページ)に、ノイズサプレッサに関連する技� ��は特許文献1に開示されている。

 続いて、図7を参照して、信号成分強調部110 ₀ ~110 _Mi-1 の構成例について詳細に説明する。図7の信� �成分強調部110 ₀ ~110 _Mi-1 は、マイクロホンアレイの一つである一般化 サイドローブキャンセラ(またはグリフィス� �ジム・ビームフォーマ)で構成した場合を示� ��ている。信号成分強調部110 _j (0<j<M _i-1 )は、固定ビームフォーミング部111、適応ブ� �ッキング部112、遅延素子114、多入力キャン� �ラ113から構成される。また、多入力キャン� �ラはさらに、適応フィルタリング部1131、加� ��器1132、減算器1133から構成される。

 入力A0~入力AM _i-1 は、固定ビームフォーミング部111と適応ブロ ッキング部112に入力される。固定ビームフォ ーミング部111は、予め定められた所望信号到 来方向に従ってその方向から到来する信号を 強調し、適応ブロッキング部112と遅延素子114 に出力する。このような所望信号到来方向と しては、入力信号の信号成分jの到来方向を� �定する。適応ブロッキング部112は、固定ビ� �ムフォーミング部111の出力を参照信号とし� �、入力A0~入力AM _i-1 に含まれる参照信号と相関のある成分を小さ く又は最小化するように動作する。従って、 適応ブロッキング部112の出力では、所望信号 が小さく又は最小化されている。適応ブロッ キング部112の出力は、適応フィルタリング部 1131に出力される。遅延素子114は、固定ビー� �フォーミング部111の出力信号を遅延させて� �減算器1133に出力する。遅延素子114の遅延量� ��、適応フィルタリング部1131の遅延を補償す るように設定する。

 適応フィルタリング部1131は、1以上の適� �フィルタによって構成される。適応フィル� �リング部1131は、適応ブロッキング部112の出� ��を参照信号として、遅延素子114の出力に含� ��れるこれと相関のある信号成分を生成する� ��うに動作する。適応フィルタリング部1131の 個別のフィルタで生成された信号は加算器113 2に出力される。適応フィルタリング部1131の� ��力は、加算器1132で加算され、減算器1133に� �力される。減算器1133は、遅延素子114の出力� ��ら加算器1132の出力を差し引き、その結果を 入力jとして出力する。すなわち、減算器1133� ��出力では、固定ビームフォーミング部111の� ��力に対して、これと相関のない信号成分が� ��小化されている。減算器1133の出力は、入力 jとして出力されるとともに適応フィルタリ� �グ部1131に帰還される。減算器1133の出力は、 適応フィルタリング部1131の内部に含まれる� �応フィルタの係数更新に使われる。適応フ� �ルタリング部1131の係数は、減算器1133の出力 を最小化するように更新される。適応フィル タリング部1131、加算器1132、減算器1133をまと めて、多入力キャンセラ113として扱ってもよ い。以上説明したように、前処理部11をマイ� ��ロホンアレイとして構成することにより、� ��間選択性(指向性)を制御し、特定の信号を� �調することができる。

 図7では、信号成分強調部110 ₀ ~110 _Mi-1 をマイクロホンアレイで構成した例について 説明した。さらに、非特許文献4から7を参照� ��て、ブラインド信号源分離システム、独立� ��分分析システム、ノイズキャンセリングシ� ��テム、ノイズサプレッションシステムによ� ��て構成してもよい。それぞれの場合にも、� ��イクロホンアレイで構成した場合と同様の� ��果を有する。

 次に、図8を参照して、前処理部11の第2の 構成例について詳細に説明する。図8の前処� �部11は、ノイズキャンセラで構成されている 。ノイズキャンセラは、指向性を形成するマ イクロホンアレイと異なり、分離すべき信号 に相関のある信号を参照信号として用いる。 このため、参照信号を内部で生成するマイク ロホンアレイと比較して、ノイズキャンセラ は、特定の信号をより正確に強調または分離 することができる。また、マイクロホンアレ イが指向性に基づいて信号を分離するのに対 して、ノイズキャンセラは信号の周波数スペ クトルの違いに基づいて信号を分離する。こ のため、両者を組み合わせることによって、 分離度を高くすることも可能である。さらに 、マイクロホンアレイは通常3以上のマイク� �ホンの信号を用いて実用的な効果を得るこ� �ができる。しかし、ノイズキャンセラは、� �常2マイクロホンにより同様の効果を得るこ� ��ができる。このため、コストなどからマイ� ��ロホン数に制約がある場合でも、本構成例� ��前処理部11を適用することができる。

 前処理部11は、入力A0と入力A1に対して前� ��理を行い、入力0と入力1を出力する。前処� �部11のノイズキャンセラは、適応フィルタリ ング部116と減算器117から構成される。入力A0� ��適応フィルタリング部116に入力され、フィ� ��タリングされた出力は減算器117に出力され� ��。適応フィルタリング部116は、入力A1を参� �信号として、入力A0に含まれる参照信号と相 関のある成分を作り出すように動作する。減 算器117の他方の入力には、入力A0が供給され� ��いる。減算器117は、入力A0から適応フィル� �リング部116の出力を減算し、その結果を入� �0として出力する。減算器117の出力は、同時� ��適応フィルタリング部116に帰還され、適応� ��ィルタリング部116に含まれる適応フィルタ� ��係数更新に用いられる。適応フィルタリン� ��部116は、入力された減算器117の出力が最小� ��されるように、適応フィルタの係数を更新� ��る。このとき、適応フィルタリング部116の� ��力は、入力A0から信号成分0を取り除いたも� ��となっており、信号成分0以外の成分が支配 的である。適応フィルタリング部116の出力を 、入力1として出力する。

 次に、図9を参照して、前処理部11の第3の 構成例について詳細に説明する。図9の前処� �部11は、たすきがけ構造を有するノイズキャ ンセラで構成している。前処理部11は、入力A 0と入力A1に対して前処理を行い、入力0と入� �1を出力する。前処理部11のノイズキャンセ� �は、適応フィルタリング部116及び118と減算� �117及び119から構成される。入力A0は減算器119 に入力される。減算器119の他方の入力には、 適応フィルタリング部118の出力が入力されて いる。減算器119は、入力A1から適応フィルタ� ��ング部118の出力を差し引いた結果を、適応� ��ィルタリング部116に出力する。適応フィル� ��リング部116は、減算器119の出力を参照信号� ��して、入力A0に含まれる参照信号と相関の� �る成分を作り出すように動作する。適応フ� �ルタリング部116の出力は、減算器117に出力� �れる。減算器117の他方の入力には、入力A0が 供給されている。減算器117は、入力A0から適� ��フィルタリング部116の出力を減算し、その� ��果を入力0として出力する。

 減算器117の出力は、同時に適応フィルタ� ��ング部116に誤差として帰還され、適応フィ� ��タリング部116に含まれる適応フィルタの係� ��更新に使用される。適応フィルタリング部1 16は、誤差として入力された減算器117の出力� ��最小化されるように、適応フィルタの係数� ��更新する。減算器117の出力はまた、適応フ� ��ルタリング部118に出力されている。適応フ� ��ルタリング部118は、減算器117の出力を参照� ��号として、入力A1に含まれる参照信号と相� �のある成分を作り出すように動作する。従� �て、減算器119の出力では、入力0における支� ��的な信号成分が消去されており、入力A1に� �ける支配的な要素が主たる信号成分となる� �減算器119の出力は、入力A1として出力される 。さらに、減算器119の出力は、適応フィルタ リング部118に帰還され、適応フィルタリング 部118に含まれる適応フィルタの係数更新に使 用される。適応フィルタリング部118は、誤差 として入力された減算器119の出力が最小化さ れるように、適応フィルタの係数を更新する 。

 第2の構成例は、入力1に入力A0の支配的な 信号成分が漏れこむ構成になっている。しか し、第3の構成例は、入力A0の支配的な信号成 分の漏れ込みのない入力1を生成できる。こ� �は、適応フィルタリング部118と減算器119を� �いて、入力A0の支配的な信号成分の漏れ込み を消去するからである。このため、入力1と� �て出力される信号(減算器119の出力)における 信号分離能力が高くなる。

 次に、図10を参照して、前処理部11の第4� �構成例について詳細に説明する。図10に示す 第4の構成例は、前処理部11を単一入力の雑音 抑圧システム(ノイズサプレッサ)120と減算器1 21で構成している。前処理部11の第1から第3の 構成と異なり、前処理部11の入力が単一の信� ��であり、出力が入力0と入力1の2信号である� ��雑音抑圧システム120は、入力A0を受けてそ� �支配的な信号成分を強調し、入力0として出� ��する。雑音抑圧システム120の出力は、同時� ��減算器121にも出力されている。減算器121の� ��方の入力には、入力A0が出力されている。� �算器121は、入力A0から雑音抑圧システムの出 力、すなわち入力A0の支配的信号成分を差し� ��き、その結果を入力1として出力する。従っ て、入力1では、入力A0の主たる信号成分以外 の成分が支配的となる。これにより、単一信 号である入力A0の信号の分離が行われること� ��なる。

 続いて、図11を参照して、雑音抑圧シス� �ム120の構成例について詳細に説明する。雑� �抑圧システム120は、変換部1201、雑音推定部1 202、抑圧係数生成部1203、乗算器1204、逆変換� ��1205から構成される。変換部1201には入力A0が 入力されており、逆変換部1205の出力が入力0� ��して出力される。変換部1201は、入力A0に含� ��れる複数の入力信号サンプルをまとめて1ブ ロックを構成し、各ブロックに対して周波数 変換を適用する。周波数変換には、フーリエ 変換、コサイン変換、KL(カルーネンレーベ)� �換などを用いてよい。これらの変換の具体� �な演算に関連する技術及びその性質は、非� �許文献8(1990 年、「ディジタル・コーディン グ・オブ・ウェーブフォームス」、プレンテ ィス・ホール (DIGITAL CODING OF WAVEFORMS, PRINCI PLES AND APPLICATIONS TO SPEECH AND VIDEO, PRENTICE-H ALL, 1990.))に開示されている。

 また、変換部1201は、1ブロックの入力信� �サンプルを窓関数で重み付けした結果に対� �て、前述の変換を適用してもよい。このよ� �な窓関数としては、ハミング、ハニング(ハ� ��)、ケイザー、ブラックマンなどの窓関数が 知られている。また、さらに複雑な窓関数を 用いてもよい。これらの窓関数に関連する技 術は、非特許文献9(1975 年、「ディジタル・� ��グナル・プロセシング」、プレンティス・� ��ール (DIGITAL SIGNAL PROCESSING, PRENTICE-HALL, 197 5.))及び非特許文献10(1993 年、「マルチレー� �システムズ・アンド・フィルタバンクス」� �プレンティス・ホール (MULTIRATE SYSTEMS AND F ILTER BANKS, PRENTICE-HALL, 1993.))に開示されてい� ��。

 変換部1201が、入力A0に含まれる複数の入� ��信号サンプルから1ブロックを構成する際に 、各ブロックに重なり(オーバラップ)を許容� ��てもよい。例えば、ブロック長の30%のオー� ��ラップを適用する場合には、あるブロック� ��属する信号サンプルの最後30%は、次のブロ� ��クに属する信号サンプルの最初30%として複� ��のブロックで重複して用いられる。オーバ� ��ップを有するブロック化と変換に関連する� ��術は、非特許文献8に開示されている。

 さらに、変換部1201は、帯域分割フィルタ バンクで構成してもよい。帯域分割フィルタ バンクは、複数の帯域通過フィルタから構成 される。帯域分割フィルタバンクは、受信し た入力信号を複数の周波数帯域に分割して、 出力する。帯域分割フィルタバンクの各周波 数帯域は等間隔であってもよいし、不等間隔 であってもよい。不等間隔に帯域分割するこ とによって、音声の重要な成分が多く含まれ る低域では狭帯域に分割して時間分解能を低 く、高域では広い帯域に分割して時間分解能 を高くすることができる。不等間隔分割には 、低域に向かって帯域が逐次半分になるオク ターブ分割や人間の聴覚特性に対応した臨界 帯域分割などを用いてもよい。帯域分割フィ ルタバンクとその設計法に関連する技術は、 非特許文献10に開示されている。

 変換部1201は、劣化音声パワースペクトル を雑音推定部1202、抑圧係数生成部1203、及び� ��算器1204に出力する。劣化音声パワースペク トルは、周波数変換された信号成分の振幅に 関する情報である。変換部1201は、周波数変� �された信号成分の位相に関する情報を逆変� �部1205に出力する。雑音推定部1202は、入力さ れた劣化音声パワースペクトルに含まれる複 数の周波数振幅情報に基づいて、複数の雑音 を推定し、抑圧係数生成部1203に出力する。� �圧係数生成部1203は、入力された複数の周波� ��振幅情報と複数の推定雑音を用いて、これ� ��の周波数毎に対応した複数の抑圧係数を生� ��する。抑圧係数は、前記周波数振幅と推定� ��音との比が大きいほど大きくなり、0と1の� �をとるように生成される。抑圧係数の決定� �法については、特許文献1に開示されている� ��法を用いてもよい。抑圧係数生成部1203は、 複数の抑圧係数を乗算器1204に出力する。乗� �器1204は、変換部1201から入力された劣化音声 パワースペクトルを抑圧係数生成部1203から� �力された複数の抑圧係数で重み付けし、得� �れた強調音声パワースペクトルを逆変換部12 05へ出力する。

 逆変換部1205は、乗算器1204から入力され� �強調音声パワースペクトルと変換部1201から� ��力される位相から再構成された情報を逆変� ��して、入力0として出力する。逆変換部1205� �適用する逆変換は、変換部1201が適用する変� ��と対応する逆変換が選択されることが望ま� ��い。例えば、変換部1201が、複数の入力信号 サンプルをまとめて1ブロックを構成し、こ� �ブロックに対して周波数変換を適用すると� �には、逆変換部1205は同一数のサンプルに対� ��て対応する逆変換を適用する。また、変換� ��1201が複数の入力信号サンプルから1ブロッ� �を構成する際に、各ブロックに重なり(オー� ��ラップ)を許容する場合には、これに対応し て、逆変換部1205は逆変換後の信号に対して� �一のオーバラップを適用する。さらに、変� �部1201を帯域分割フィルタバンクで構成する� ��きには、逆変換部1205を帯域合成フィルタバ ンクで構成する。帯域合成フィルタバンクと その設計法に関連する技術は、非特許文献10� ��開示されている。

 前処理部11の第4の構成例は、前処理部11� �複数の入力信号が入力される第1から第4の構 成例と異なり、一つの入力(この場合は入力A0 )から、信号成分の分離が可能である。これ� �、入力A0の支配的な信号成分を強調し、それ を入力A0から差し引き、非支配的信号成分を� ��成するからである。

 次に、図12を参照して、前処理部11の第5の� �成例について詳細に説明する。図12の前処理 部11は、信号成分強調部110 ₀ ~110 _Mi-2 、適応フィルタリング部126 ₀ ~126 _Mi-2 、加算器115で構成されている。信号成分強調 部110 ₀ ~110 _Mi-2 の出力がそれぞれ入力0~入力M _i-2 として、加算器115の出力が入力M _i-1 として出力される。信号成分強調部110 _j (0≦j≦M _i-2 )は、図6の第1の構成例において説明した通り に動作する。適応フィルタリング部126 ₀ ~126 _Mi-2 には信号成分強調部110 ₀ ~110 _Mi-2 の出力がそれぞれ入力されており、これらの 入力と相関のある信号成分を生成する。適応 フィルタリング部126 ₀ ~126 _Mi-2 の出力は、すべて極性を反転させた上で、加 算器115に出力されている。加算器115の他の入 力には、入力A0~入力AM _i-1 が入力されている。加算器115は、入力A0~入力 AM _i-1 の総和から適応フィルタリング部126 ₀ ~126 _Mi-2 の出力の総和を差し引いて、その結果を入力 M _i-1 として出力する。従って、理論的には加算器 115の出力には、信号成分強調部110 ₀ ~110 _Mi-2 で強調された信号成分は、含まれないことに なる。加算器115の出力は、適応フィルタリン グ部126 ₀ ~126 _Mi-2 に帰還される。適応フィルタリング部126 ₀ ~126 _Mi-2 は、加算器115の出力が最小化されるように、 適応フィルタリング部126 ₀ ~126 _Mi-2 に含まれる適応フィルタの係数を更新する。

 さらに、本構成例の前処理部11は、適応フ� �ルタリング部126 ₀ ~126 _Mi-2 なしで、信号成分強調部110 ₀ ~110 _Mi-2 の出力を直接加算器115に出力する構成や、加 算器115が入力0~入力M _i-2 を単に加算するだけの構成でもよい。これら の場合も、上述の本構成例の前処理部11と同� ��の効果が得られる。

 第5の構成例の前処理部11は、図6を用いて説 明した第1の構成例の前処理部11と異なり、適 応フィルタリング部126 ₀ ~126 _Mi-2 及び加算器115を有する。この構成により、第 5の構成例の前処理部11は信号成分強調部110 ₀ ~110 _Mi-2 の出力で強調された信号を含まない信号を入 力M _i-1 として出力する。この入力M _i-1 では、空間にほぼ一様に存在する背景雑音な どの拡散的な信号が支配的になる。このよう に、前処理部11が適応フィルタリング部126 ₀ ~126 _Mi-2 及び加算器115を備えることによって、拡散的 な信号を強調することが可能となる。

 次に、図13を参照して、前処理部11の第6の� �成例について詳細に説明する。図13の前処理 部11は、複数の信号成分強調部110 ₀ ~110 _Mi-2 と加算器115で構成されている。信号成分強調 部110 ₀ ~110 _Mi-2 の出力がそれぞれ入力0~入力M _i-2 として、加算器115の出力が入力M _i-1 として出力される。信号成分強調部110 _j (0≦j≦M _i-2 )が一般化サイドローブキャンセラで構成さ� �る場合は、内部で固定ビームフォーミング� �出力から減算される信号が、強調される信� �成分以外の信号成分(非強調成分)となってい る。従って、非強調成分の信号を信号成分強 調部110 ₀ ~110 _Mi-2 のそれぞれから取り出し、加算器115で加算す る。これにより、加算器115の出力には強調さ れた信号成分が含まれないことになる。

 上記一般化サイドローブキャンセラの例� ��、図14に示す。図14に示される一般化サイド ローブキャンセラは、図7に示される一般化� �イドローブキャンセラと同等な構成を有し� �いる。図14に示される一般化サイドローブキ ャンセラでは、図7に示される一般化サイド� �ーブキャンセラと異なり、加算器1132の出力� ��非強調成分として出力されている。この非� ��調成分を図13に示される加算器115で加算す� �ことによって、拡散的な信号として強調す� �ことができる。同様に、非強調成分を得る� �とができる構成であれば、一般化サイドロ� �ブキャンセラ以外でも、信号成分強調部と� �て利用することができる。

 第6の構成例の前処理部11は、図6を用いて説 明した第1の構成例と異なり、新たに加算器11 5を有し、信号成分強調部110 ₀ ~110 _Mi-2 の各々から得た非強調成分を入力M _i-1 として出力する。この構成により、入力M _i-1 は、空間にほぼ一様に存在する背景雑音など の拡散的な信号が支配的になる。このように 、前処理部11が適応フィルタリング部126 ₀ ~126 _Mi-2 及び加算器115を備えることによって、非強調 成分を拡散的な信号として強調することが可 能となる。

 以上説明したように、本発明の信号処理� ��ステムの第二の実施の形態によれば、信号� ��分を異なった割合で含む複数の入力信号を� ��ンダリングして、異なった定位を付与する� ��とができる。また、本実施の形態の信号処� ��システムは、複数の入力信号に前処理を施� ��て、それぞれに含まれる特定の信号成分を� ��調し、分離度を高めてから、レンダリング� ��ることができる。また、本実施の形態の信� ��処理システムは、低歪で信号分離度の不十� ��な入力信号を人間の聴覚器官に本来備わっ� ��分離機能を利用することにより、信号分離� ��の不十分な入力信号をさらに分離して知覚� ��せることができる。すなわち、本実施の形� ��の信号処理システムは、信号分離能力を保� ��たまま歪みを低減することができる。この� ��め、入力信号に含まれる複数の信号成分に� ��小さな歪で信号成分毎に異なった定位を付� ��することができる信号処理システムを提供� ��ることができる。

 続いて、図15を参照して、本発明の信号� �理システムの第三の実施の形態の信号処理� �ステムについて詳細に説明する。本発明の� �三の実施の形態は、多重レンダリング部5に� ��力する信号をマイクロホンで捕捉するもの� ��ある。図15を参照して、多重レンダリング� �5に対するマイクロホンによる入力信号を入� ��するシステムについて説明する。

 前処理部11には、マイクロホン6 ₀ ~6 _Mm-1 から入力A0~AM _m-1 が入力されている。マイクロホン6 ₀ は信号成分0を発生する音源7 ₀ に近い位置に、マイクロホン6 ₁ は信号成分1を発生する音源7 ₁ に近い位置に、同様にマイクロホン6 _Mm-1 は信号成分M _m-1 を発生する音源7 _Mm-1 に近い位置に配置されている。このため、入 力A0においては信号成分0が、入力A1において� ��信号成分1が、入力AM _m-1 においては信号成分M _m-1 が強調される。このようにして得られたA0~AM _m-1 を前処理部11に入力することにより、信号成� ��0~M _m-1 を空間上の異なった位置に定位させることが できる。なお、マイクロホン6 ₀ ~6 _Mm-1 として指向性マイクロホンを利用し、その指 向性を音源に一致させることで、上記効果を さらに高くすることができる。また、前処理 部11のない構成でも、同様の効果を得られる� ��

 以上説明したように、本発明の信号処理� ��ステムの第三の実施の形態によれば、信号� ��分を異なった割合で含む複数の入力信号を� ��ンダリングして、異なった定位を付与する� ��とができる。また、複数の入力信号を所望� ��る信号成分の音源に近く配置したマイクロ� ��ンを用いて捕捉するので、マイクロホン信� ��間の分離度を高くしてからレンダリングす� ��ことができる。このため、入力信号に含ま� ��る複数の信号成分に、小さな歪で、信号成� ��毎に異なった定位を付与することができる� ��号処理システムを提供することができる。

 続いて、図16を参照して、本発明の信号処� �システムの第四の実施の形態について詳細� �説明する。本発明の第四の実施の形態は、� �処理部11に入力される信号をマイクロホンで 捕捉する際に、信号の漏れ込みを低減するた めに、それぞれのマイクロホン間に障害物を 備えたものである。図16では、マイクロホン6 ₀ ~6 _Mm-1 のそれぞれの間に隔壁状の障害物10 ₀ ~10 _Mm-1 が存在している。図15に示すように自由空間� ��マイクロホンを配置しても、現実的には、� ��源7 ₁ からマイクロホン6 ₀ へ、または音源7 ₀ からマイクロホン6 ₁ へ、信号が漏れこむことがある。本実施の形 態の信号処理システムは、障害物10 ₀ ~10 _Mm-1 を適切に配置することにより、これらの信号 漏れ込みを低減することができる。障害物10 ₀ ~10 _Mm-1 の設置により、意図的に信号を減衰させる効 果が生じる。例えば、音源7 ₀ とマイクロホン6 ₁ とを結ぶ直線をさえぎるように障害物10 ₀ が存在するとき、音源7 ₀ の発生する信号の信号成分0は、減衰してマ� �クロホン6 ₁ に到達する。伝搬経路上に障害物10 ₀ の存在しないマイクロホン6 ₀ に信号成分0が到達するときの減衰量は、マ� �クロホン6 ₁ に到達する信号の減衰量より小さい。すなわ ち、信号成分0のパワーは、マイクロホン6 ₁ からの入力信号に含まれるパワーよりマイク ロホン6 ₀ からの入力信号に含まれるパワーの方が大き い。同様の議論により、信号成分1のパワー� �、マイクロホン6 ₀ からの入力信号に含まれるパワーよりマイク ロホン6 ₁ からの入力信号に含まれるパワーの方が大き い。このため、入力A0においては音源7 ₀ の発生する信号成分0が支配的になり、入力A1 においては音源7 ₁ が発生する信号成分1が支配的となる。

 上記のような障害物以外を、信号を減衰さ� ��る効果があるものとして利用してもよい。� ��えば、携帯電話などの端末の異なる側面に� ��備された複数のマイクロホンを利用しても� ��い。特に、筐体の一方の面とそれ以外の面� ��に装備されたマイクロホンに関しては、筐� ��自身が障害物として機能するために、上記� ��信号処理システムと同様の効果が得られる� ��図17は、このような例を示している。図17の 例では、携帯電話の一面にマイクロホン6 ₀ が、その裏面にマイクロホン6 ₁ が具備されている。

 図18は、マイクロホンを携帯電話の表面及� �側面に具備した例である。マイクロホン6 ₁ は、マイクロホン6 ₀ に対して側面に固定されている。さらに、マ イクロホン6 ₀ 及び6 ₁ に対して、他方のマイクロホン側からの信号 漏れ込みを低減するために、板状の突起を設 けてもよい。この様子を、マイクロホン6 ₁ を例として、拡大図で示す。

 パーソナルコンピュータ(PC)のキーボードと ディスプレイに装備されたマイクロホンでも 、上記携帯電話などの端末の構成と同様の効 果が得られる。特に、ディスプレイの裏側に マイクロホンが装備されている場合には、デ ィスプレイが障害物として機能するために、 上記携帯電話などの端末の構成と同様の効果 が得られる。図19は、このような例を示して� ��る。正面図のキーボードにはマイクロホン6 ₀ が、背面図にあるディスプレイ裏面にはマイ クロホン6 ₁ が装着されている。さらに、マイクロホン6 ₀ 及び6 ₁ に対して、他方のマイク路ホン側からの信号 漏れ込みを低減するために、板状の突起を設 けてもよい。この様子を、マイクロホン6 ₁ を例として、拡大図で示す。PC側面やディス� ��レイ側面へのマイクロホン装着も、上記携� ��電話などの端末の構成と同様の効果が得ら� ��る。

 以上説明したように、本発明の信号処理� ��ステムの第四の実施の形態によれば、信号� ��分を異なった割合で含む複数の入力信号を� ��ンダリングして、異なった定位を付与する� ��とができる。また、複数の入力信号を所望� ��る信号成分の音源に近く配置したマイクロ� ��ンを用いて捕捉するので、マイクロホン信� ��間の分離度を高くしてからレンダリングす� ��ことができる。さらに、各マイクロホン間� ��信号の相互漏れ込みを低減する障害物を配� ��することにより、マイクロホン信号間の分� ��度をさらに高くしてからレンダリングする� ��とができる。また、本実施の形態の信号処� ��システムは、低歪で信号分離度の不十分な� ��力信号を人間の聴覚器官に本来備わった分� ��機能を利用することにより、信号分離度の� ��十分な入力信号をさらに分離して知覚させ� ��ことができる。すなわち、本実施の形態の� ��号処理システムは、信号分離能力を保った� ��ま歪みを低減することができる。このため� ��入力信号に含まれる複数の信号成分に、小� ��な歪で信号成分毎に異なった定位を付与す� ��ことができる信号処理システムを提供する� ��とができる。

 また、上述した信号処理システムは、プ� ��グラムによって動作するコンピュータによ� ��ても実現できる。

 以上の如く、実施の形態を説明したが、� ��発明の実施例は以下の通りである。

 すなわち、本発明の第1の実施例は、第一 及び第二の入力信号を受け、レンダリング情 報に基づいて第一の入力信号を定位させるレ ンダリング部を備えることを特徴とする信号 処理システムである。

 また、本発明の第2の実施例は、上記実施 例において、前記レンダリング部が第二の入 力信号を第一の入力信号とは異なった位置に 定位させることを特徴とする。

 また、本発明の第3の実施例は、上記実施 例において、複数の信号を含む信号を受け、 前記複数の信号から特定の信号を強調し前記 第一の入力信号とする強調処理部をさらに備 えることを特徴とする。

 また、本発明の第4の実施例は、上記実施 例において、前記強調処理部が、前記特定の 信号以外の信号から特定の信号を強調し前記 第二の入力信号とすることを特徴とする。

 また、本発明の第5の実施例は、上記実施 例において、前記第一の入力信号が、所望信 号が強調された信号であることを特徴とする 。

 また、本発明の第6の実施例は、上記実施 例において、前記第二の入力信号が、所望信 号以外の信号が強調された信号であることを 特徴とする。

 また、本発明の第7の実施例は、上記実施 例において、前記所望信号が音声であること を特徴とする。

 また、本発明の第8の実施例は、上記実施 例において、前記所望信号以外の信号が雑音 であることを特徴とする。

 また、本発明の第9の実施例は、上記実施 例において、前記所望信号と前記所望信号以 外の信号とが混合する信号を捕捉するマイク ロホンをさらに備えることを特徴とする。

 また、本発明の第10の実施例は、上記実� �例において、前記マイクロホンを複数備え� �前記複数のマイクロホンの間を遮蔽する部� �を備えることを特徴とする。

 また、本発明の第11の実施例は、上記実� �例において、前記複数のマイクロホンを筐� �の異なった面に備えることを特徴とする。

 また、本発明の第12の実施例は、第一及� �第二の入力信号を受け、レンダリング情報� �基づいて第一の入力信号を定位させるレン� �リング部を備えることを特徴とする信号処� �装置である。

 また、本発明の第13の実施例は、上記実� �例において、前記レンダリング部が、第二� �入力信号を第一の入力信号とは異なった位� �に定位させることを特徴とする。

 また、本発明の第14の実施例は、上記実� �例において、前記第一の入力信号が、所望� �号が強調された信号であることを特徴とす� �。

 また、本発明の第15の実施例は、上記実� �例において、前記第二の入力信号が、所望� �号以外の信号が強調された信号であること� �特徴とする。

 また、本発明の第16の実施例は、上記実� �例において、前記所望信号が音声であるこ� �を特徴とする。

 また、本発明の第17の実施例は、上記実� �例において、前記所望信号以外の信号が雑� �であることを特徴とする。

 また、本発明の第18の実施例は、上記実� �例において、前記所望信号と前記所望信号� �外の信号とが混合する信号を捕捉するマイ� �ロホンをさらに備えることを特徴とする。

 また、本発明の第19の実施例は、上記実� �例において、前記マイクロホンを複数備え� �前記複数のマイクロホンの間を遮蔽する部� �を備えることを特徴とする。

 また、本発明の第20の実施例は、上記実� �例において、前記複数のマイクロホンを筐� �の異なった面に備えることを特徴とする。

 また、本発明の第21の実施例は、第一及� �第二の入力信号を受ける受信ステップと、� �ンダリング情報に基づいて第一の入力信号� �定位させるレンダリングステップとを含む� �とを特徴とする信号処理方法である。

 また、本発明の第22の実施例は、上記実� �例において、前記レンダリングステップに� �いて、第二の入力信号を第一の入力信号と� �異なった位置に定位させることを特徴とす� �。

 また、本発明の第23の実施例は、上記実� �例において、複数の信号を含む信号を受け� �受信ステップと、前記複数の信号から特定� �信号を強調し前記第一の入力信号とする強� �処理ステップと、をさらに含むことを特徴� �する。

 また、本発明の第24の実施例は、上記実� �例において、前記強調処理ステップにおい� �、前記特定の信号以外の信号から特定の信� �を強調し前記第二の入力信号とすることを� �徴とする。

 また、本発明の第25の実施例は、上記実� �例において、前記第一の入力信号が、所望� �号が強調された信号であることを特徴とす� �。

 また、本発明の第26の実施例は、上記実� �例において、前記第二の入力信号が、所望� �号以外の信号が強調された信号であること� �特徴とする。

 また、本発明の第27の実施例は、上記実� �例において、前記所望信号が音声であるこ� �を特徴とする。

 また、本発明の第28の実施例は、上記実� �例において、前記所望信号以外の信号が雑� �であることを特徴とする。

 また、本発明の第29の実施例は、上記実� �例において、前記所望信号と前記所望信号� �外の信号とが混合する信号を捕捉する信号� �捉ステップをさらに含むことを特徴とする� �

 また、本発明の第30の実施例は、コンピ� �ータに、第一及び第二の入力信号を受ける� �信処理と、レンダリング情報に基づいて第� �の入力信号を定位させるレンダリング処理� �、を実行させる信号処理プログラムである� �

 また、本発明の第30の実施例は、上記実� �例において、前記レンダリング処理におい� �、第二の入力信号を第一の入力信号とは異� �った位置に定位させることを特徴とする。

 また、本発明の第31の実施例は、上記実� �例において、コンピュータに、複数の信号� �含む信号を受ける受信処理と、前記複数の� �号から特定の信号を強調し前記第一の入力� �号とする強調処理と、を実行させることを� �徴とする。

 また、本発明の第33の実施例は、上記実� �例において、前記強調処理において、前記� �定の信号以外の信号から特定の信号を強調� �前記第二の入力信号とすることを特徴とす� �。

 また、本発明の第34の実施例は、上記実� �例において、前記第一の入力信号が、所望� �号が強調された信号であることを特徴とす� �。

 また、本発明の第35の実施例は、上記実� �例において、前記第二の入力信号が、所望� �号以外の信号が強調された信号であること� �特徴とする。

 また、本発明の第36の実施例は、上記実� �例において、前記所望信号が音声であるこ� �を特徴とする。

 また、本発明の第37の実施例は、上記実� �例において、前記所望信号以外の信号が雑� �であることを特徴とする。

 また、本発明の第38の実施例は、上記実� �例において、コンピュータに、前記所望信� �と前記所望信号以外の信号とが混合する信� �を捕捉する信号捕捉処理を実行させること� �特徴とする。

 以上好ましい実施の形態及び実施例をあ� ��て本発明を説明したが、本発明は必ずしも� ��記実施の形態及び実施例に限定されるもの� ��はなく、その技術的思想の範囲内において� ��々に変形し実施することが出来る。

 本出願は、2007年10月19日に出願された日� �出願特願2007-271963号を基礎とする優先権を主 張し、その開示の全てをここに取り込む。