Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
Document Type and Number:
WIPO Patent Application WO/2020/175199
Kind Code:
A1
Abstract:
This information processing device comprises: an acquisition unit which acquires sensing information relating to a user and first tactile information unique to a tactile presentation object; and a data processing unit which generates, from the first tactile information, second tactile information which is used when a tactile presentation device presents a tactile stimulus to the user, on the basis of the sensing information.

Inventors:
ISHIHARA ATSUSHI (JP)
JIN YUFENG (JP)
ITO OSAMU (JP)
YOKOYAMA RYO (JP)
YAMANO IKUO (JP)
OGITA TAKESHI (JP)
Application Number:
PCT/JP2020/005905
Publication Date:
September 03, 2020
Filing Date:
February 14, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SONY CORP (JP)
International Classes:
G06F3/01; G06F3/041
Domestic Patent References:
WO2011027535A12011-03-10
WO2018042799A12018-03-08
Foreign References:
JP2009276996A2009-11-26
JP2016110383A2016-06-20
JP2016192229A2016-11-10
Other References:
MASASHI KONYO: "A Display Method of Artificial Tactile Sensation Using Amplitude Modulation of Ultrasonic Vibration", THE 24TH ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN, 2006
Attorney, Agent or Firm:
SAKAI INTERNATIONAL PATENT OFFICE (JP)
Download PDF:
Claims:
\¥02020/175199 41 卩(:171?2020/005905

請求の範囲

[請求項 1 ] ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情 報とを取得する取得部と、

触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用す る第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚 情報から生成するデータ処理部と、

を備える、 情報処理装置。

[請求項 2] 前記センシング情報は、 前記ユーザと前記触覚提示装置との接触状 態を示す接触情報を含み、

前記データ処理部は、 前記接触情報にさらに基づいて前記第 2の触 覚情報を生成する、 請求項 1 に記載の情報処理装置。

[請求項 3] 前記データ処理部は、 前記触覚提示装置における前記ユーザとの接 触位置の変化速度に基づいて、 前記第 2の触覚情報を生成する、 請求 項 2に記載の情報処理装置。

[請求項 4] 前記データ処理部は、 前記接触位置の変化速度に応じて前記第 1の 触覚情報を加工することで、 前記第 2の触覚情報を生成する、 請求項 3に記載の情報処理装置。

[請求項 5] 前記データ処理部は、 前記接触位置の変化速度が速いほど単位距離 当たりの触覚刺激の変化量が小さい前記第 2の触覚情報を生成し、 前 記接触位置の変化速度が遅いほど単位距離当たりの触覚刺激の変化量 が大きい前記第 2の触覚情報を生成する、 請求項 4に記載の情報処理 装置。

[請求項 6] 前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触圧力 に基づいて、 前記第 2の触覚情報を生成する、 請求項 2に記載の情報 処理装置。

[請求項 7] 前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触面積 に基づいて、 前記第 2の触覚情報を生成する、 請求項 2に記載の情報 処理装置。 \¥02020/175199 42 卩(:171?2020/005905

[請求項 8] 前記センシング情報は、 前記ユーザの周辺環境に関する環境情報を 含み、

前記データ処理部は、 前記環境情報にさらに基づいて前記第 2の触 覚情報を生成する、 請求項 1 に記載の情報処理装置。

[請求項 9] 前記データ処理部は、 前記センシング情報に含まれる、 前記ユーザ により保持される前記触覚提示装置の姿勢を示す情報にさらに基づい て、 前記第 2の触覚情報を生成する、 請求項 1 に記載の情報処理装置

[請求項 10] 前記データ処理部は、 前記センシング情報に含まれる、 空間に配置 された仮想オブジェクトに対する前記ユーザの位置及び姿勢を示す情 報にさらに基づいて、 前記第 2の触覚情報を生成する、 請求項 1 に記 載の情報処理装置。

[請求項 1 1 ] 前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記触覚 提示装置の大きさに応じた情報密度を有する前記第 1の触覚情報に基 づいて、 前記第 2の触覚情報を生成する、 請求項 1 に記載の情報処理 装置。

[請求項 12] 前記データ処理部は、 前記触覚提示装置にマッビングされる前記触 覚提示物の拡縮率に応じて前記第 2の触覚情報を生成する、 請求項 1 に記載の情報処理装置。

[請求項 13] 前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記拡縮 率に応じた情報密度を有する前記第 1の触覚情報に基づいて、 前記第 2の触覚情報を生成する、 請求項 1 2に記載の情報処理装置。

[請求項 14] 前記データ処理部は、 前記拡縮率に応じて前記第 1の触覚情報を加 エすることで、 前記第 2の触覚情報を生成する、 請求項 1 2に記載の 情報処理装置。

[請求項 15] 前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの 触覚刺激値を示す情報を含み、

前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合 \¥02020/175199 43 卩(:171?2020/005905

に、 前記第 1の触覚情報における前記所定の領域ごとの触覚刺激値を 所定の領域単位で繰り返す、 請求項 1 4に記載の情報処理装置。

[請求項 16] 前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの 触覚刺激値を示す情報を含み、

前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合 に、 前記第 1の触覚情報における複数の所定の領域に現れる触覚刺激 値のパターンを複数の所定の領域単位で繰り返す、 請求項 1 4に記載 の情報処理装置。

[請求項 17] センサ装置を有するセンサ部をさらに備え、

前記取得部は、 前記センサ部がセンシングした情報を前記センシン グ情報として取得する、 請求項 1 に記載の情報処理装置。

[請求項 18] 通信部をさらに備え、

前記取得部は、 前記通信部を介して、 外部のセンサ装置がセンシン グした情報を前記センシング情報として取得する、 請求項 1 に記載の 情報処理装置。

[請求項 19] ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情 報とを取得することと、

触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用す る第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚 情報から生成することと、

を含む、 プロセッサにより実行される情報処理方法。

[請求項 20] コンピュータを、

ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情 報とを取得する取得部と、

触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用す る第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚 情報から生成するデータ処理部と、

として機能させるための、 プログラム。

Description:
\¥02020/175199 1 卩(:17 2020/005905

明 細 書

発明の名称 : 情報処理装置、 情報処理方法、 及びプログラム 技術分野

[0001 ] 本開示は、 情報処理装置、 情報処理方法、 及びプログラムに関する。

背景技術

[0002] 従来、 振動などの触覚刺激をユーザに対して提示す るための技術が各種提 案されている。 一例として、 ユーザに関するセンシング情報に応じた触覚 刺 激をユーザに提示する技術がある。 例えば、 下記特許文献 1 には、 車両の周 辺状況に関するセンシング情報に応じて決定 された触覚刺激をドライバーに 対して提示する技術が開示されている。

先行技術文献

特許文献

[0003] 特許文献 1 :特開 2 0 1 6 - 0 8 1 5 2 1号公報

発明の概要

発明が解決しようとする課題

[0004] 上記特許文献 1 に記載の技術は、 車両を運転するドライバーに対し、 緊急 事態を知らせることを目的としている。 そのため、 ドライバーに提示される 触覚刺激は、 緊急事態であることがドライバーに認識され ればよく、 そのリ アリティは全く考慮されていない。

[0005] そこで、 本開示では、 より現実感のある触覚刺激を提示することが 可能な 、 新規かつ改良された情報処理装置、 情報処理方法、 及びプログラムを提案 する。

課題を解決するための手段

[0006] 本開示によれば、 ユーザに関するセンシング情報と触覚提示物 に固有の第

1の触覚情報とを取得する取得部と、 触覚提示装置が前記ユーザに対して触 覚刺激を提示する際に使用する第 2の触覚情報を、 前記センシング情報に基 づいて前記第 1の触覚情報から生成するデータ処理部と、 を備える、 情報処 \¥02020/175199 2 卩(:171?2020/005905

理装置が提供される。

[0007] また、 本開示によれば、 ユーザに関するセンシング情報と触覚提示物 に固 有の第 1の触覚情報とを取得することと、 触覚提示装置が前記ユーザに対し て触覚刺激を提示する際に使用する第 2の触覚情報を、 前記センシング情報 に基づいて前記第 1の触覚情報から生成することと、 を含む、 プロセッサに より実行される情報処理方法が提供される。

[0008] また、 本開示によれば、 コンピュータを、 ユーザに関するセンシング情報 と触覚提示物に固有の第 1の触覚情報とを取得する取得部と、 触覚提示装置 が前記ユーザに対して触覚刺激を提示する際 に使用する第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成するデータ処理 部と、 として機能させるための、 プログラムが提供される。

図面の簡単な説明

[0009] [図 1]本開示の実施形態に係る処理の概要を示 図である。

[図 2]同実施形態に係る触覚刺激の提示例を示 図である。

[図 3]同実施形態に係る触覚提示システムの構 例を示すブロック図である。 [図 4]同実施形態に係る触覚情報の構成例を示 図である。

[図 5]同実施形態に係る速度変化に基づく第 2の触覚情報の生成例を示す図で ある。

[図 6]同実施形態に係る速度変化に基づく第 2の触覚情報の生成例を示す図で ある。

[図 7]同実施形態に係る圧力に基づく第 2の触覚情報の生成例を示す図である

[図 8]同実施形態に係る圧力に基づく第 2の触覚情報の生成例を示す図である

[図 9]同実施形態に係る接触面積に基づく第 2の触覚情報の生成例を示す図で ある。

[図 10]同実施形態に係る湿度に基づく第 2の触覚情報の生成例を示す図であ る。 \¥02020/175199 3 卩(:171?2020/005905

[図 1 1]同実施形態に係る触覚提示部の大きさに づく第 2の触覚情報の生成 例を示す図である。

[図 12]同実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。

[図 13]同実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。

[図 14]同実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。

[図 15]同実施形態に係る第 2の触覚情報のマツビング例を示す図である

[図 16]同実施形態に係る第 2の触覚情報のスケーリング例を示す図であ 。 [図 17]同実施形態に係る触覚情報を切り替えず 加工する場合の処理の流れ を示すフローチヤートである。

[図 18]同実施形態に係る触覚情報を切り替えて ら加工する場合の処理の流 れを示すフローチヤートである。

[図 19]同実施形態に係る第 1の具体例における触覚刺激の具体的な提示 を 示す図である。

[図 20]同実施形態に係る第 2の具体例における触覚刺激の具体的な提示 を 示す図である。

[図 21]同実施形態に係る第 1の変形例における触覚刺激の提示例を示す で ある。

[図 22]同実施形態に係る第 2の変形例における触覚刺激の提示例を示す で ある。

[図 23]同実施形態に係る第 3の変形例における触覚刺激の提示例を示す で ある。

[図 24]本開示の一実施形態に係る情報処理装置 ハードウヱア構成例を示す ブロツク図である。

発明を実施するための形態

[0010] 以下に添付図面を参照しながら、 本開示の好適な実施の形態について詳細 \¥02020/175199 4 卩(:171?2020/005905

に説明する。 なお、 本明細書及び図面において、 実質的に同一の機能構成を 有する構成要素については、 同一の符号を付することにより重複説明を省 略 する。

[001 1 ] なお、 説明は以下の順序で行うものとする。

1 . 概要

2 . 構成例

3 . 処理例

4 . 具体例

5 . 変形例

6 . ハードウェァ構成

7 . まとめ

[0012] « 1 . 概要》

本開示の実施形態に係る技術は、 ユーザに対してセンシング情報に応じた 触覚刺激を提示させる情報処理装置に関する 。 本実施形態に係る情報処理装 置は、 ユーザに関するセンシング情報に基づき、 触覚提示物に固有の第 1の 触覚情報から、 触覚提示装置がユーザに対して触覚刺激を提 示する際に使用 する第 2の触覚情報を生成する。

[0013] ユーザに関するセンシング情報には、 多様な情報が含まれ得る。 例えば、 センシング情報は、 ユーザと触覚提示装置との接触状態を示す接 触情報を含 む。 接触情報の一例として、 触覚提示装置と接触しているユーザの部位 (以 下、 「接触部位」 とも称される) の移動速度 (加速度) 、 接触部位から接触 提示装置にかけられる圧力、 及び接触部位と触覚提示装置が接触している 面 積等が挙げられる。 なお、 接触情報は、 かかる例に限定されない。 かかる構 成により、 情報処理装置は、 接触情報に基づき、 第 1の触覚情報から第 2の 触覚情報を生成することができる。

[0014] また、 センシング情報は、 ユーザと触覚提示装置との非接触状態を示す 非 接触情報を含む。 非接触情報の一例として、 ユーザの体温、 ユーザの体面の 湿度、 及び触覚提示装置から接触部位までの距離等 が挙げられる。 なお、 非 \¥02020/175199 5 卩(:171?2020/005905

接触情報は、 かかる例に限定されない。 かかる構成により、 情報処理装置は 、 非接触情報に基づき、 第 1の触覚情報から第 2の触覚情報を生成すること ができる。

[0015] また、 センシング情報は、 ユーザの周辺環境に関する環境情報を含む。 環 境情報の一例として、 ユーザが存在する空間の温度及び湿度等が挙 げられる 。 なお、 環境情報は、 かかる例に限定されない。 かかる構成により、 情報処 理装置は、 環境情報に基づき、 第 1の触覚情報から第 2の触覚情報を生成す ることができる。

[0016] 触覚提示物は、 触覚提示装置を介して、 ユーザに触覚刺激を提示する対象 となる物体である。 触覚提示物の情報は、 例えば、 触覚提示物の画像と対応 付けて管理され得る。

[0017] 第 1の触覚情報は、 ユーザが実際に触覚提示物に触れた際に、 ユーザに伝 わる触覚刺激に関する情報を含む情報である 。 例えば、 第 1の触覚情報は、 触覚刺激の強度を数値化した情報 (以下、 「触覚刺激値」 とも称される) を 含む。

[0018] 触覚刺激値は、 触覚提示物に固有の情報である。 触覚刺激値は、 所定の領 域ごとに設定され得る。 例えば、 触覚提示物が画像で示される場合、 触覚刺 激値は、 当該画像の画素ごとに設定されてよい。 また、 複数の画素に対して 1つの触覚刺激値が設定されてもよい。 また、 触覚提示物が示された画像を 任意の大きさの複数の領域に分割し、 各々の領域に対して触覚刺激値が設定 されてもよい。 以下では、 触覚刺激値が設定される領域は、 「触覚刺激値領 域」 とも称される。 また、 以下では、 「情報密度」 は、 当該画像の単位面積 当たりに設定された触覚刺激値の量のことを 示す。

[0019] 第 2の触覚情報は、 センシング情報に基づいて第 1の触覚情報から生成さ れる情報である。 例えば、 第 2の触覚情報は、 センシング情報に基づき、 第 1の触覚情報に含まれる触覚刺激値が変更 (以下、 「加工」 とも称される) されることで生成される。 以下では、 第 2の触覚情報が生成される処理は、 「生成処理」 とも称される。 \¥02020/175199 6 卩(:171?2020/005905

[0020] 第 2の触覚情報の生成後、 情報処理装置は、 ユーザに対して、 生成した第

2の触覚情報に基づく触覚刺激を触覚提示装 に提示させる。 例えば、 情報 処理装置は、 触覚提示装置における触覚を提示可能な領域 (以下、 「触覚提 示領域」 とも称される) に対して、 第 2の触覚情報に含まれる触覚刺激値を マッピングさせる。 そして、 情報処理装置は、 ユーザに対して、 ユーザが触 れた触覚提示領域上の位置にマッビングされ た触覚刺激値が示す強度の触覚 束 I」激を触覚提示装置に提示させる。

[0021 ] 典型的には、 実空間においてユーザが物体に触れた時にユ ーザが得る触覚 は、 ユーザの物体に対する触れ方と、 物体の素材や硬さ等の物体固有の特性 とに依存する。 この点、 本実施形態に係る情報処理装置は、 前者に対応する センシング情報と、 後者に対応する第 1の触覚情報と、 に基づいて第 2の触 覚情報を生成することで、 現実感のある触覚刺激をユーザに提示するこ とが できる。

[0022] (処理の概要)

ここで、 図 1 を参照して、 本開示の実施形態に係る処理の概要について 説 明する。 図 1は、 本開示の実施形態に係る処理の概要を示す図 である。 以下 では、 ユーザが触覚提示装置 1 0の触覚提示部 1 6 0に触れた際に、 ユーザ が触覚提示物 6 2の実物に実際に触れた際と同等な触覚刺激 、 ユーザに対 して提示される例について説明する。

[0023] 図 1 に示す例における触覚提示物 6 2は、 シャツである。 当該シャツの実 物の表面は、 例えば、 領域 6 4に示すような繊維構造をしている。 第 1の触 覚情報 7 2には、 ユーザが実物のシャツの領域 6 4に実際に触れた際に、 ユ —ザが感じる触覚と対応する触覚刺激値が示 されている。 図 1 に示す第 1の 触覚情報 7 2は、 縦 4マス、 横 4マスの計 1 6マスの等しい大きさの領域を 有し、 各々の領域に、 触覚刺激値が設定されている。 図 1 に示す例では、 一 例として、 触覚刺激値として〇または 1が設定されている。 なお、 触覚刺激 値の値はかかる例に限定されず、 0と 1以外の値が設定されてもよい。

[0024] ユーザが、 触覚提示部 1 6 0に手を接触させたまま、 手 5 2 3 の位置から \¥02020/175199 7 卩(:171?2020/005905

手 5 2匕の位置まで手を移動させたとする。 この時、 例えば、 ユーザが手を 移動させた際の移動速度の変化量がセンシン グ情報として取得される。 セン シング情報が取得されると、 触覚提示装置 1 0は、 生成処理を行う。 生成処 理にて、 触覚提示装置 1 〇は、 センシング情報に基づいて第 1の触覚情報 7 2が加工することで、 ユーザの触れ方の変化が反映された第 2の触覚情報 7 4を生成する。

[0025] 生成された第 2の触覚情報 7 4は、 触覚提示部 1 6 0にマッピングされる 。 そして、 触覚提示部 1 6 0は、 ユーザが触れた触覚提示部 1 6 0の位置に マッピングされた第 2の触覚情報 7 4の触覚刺激値に基づき、 触覚刺激をユ —ザに対して提示する。

[0026] (触覚刺激の提示例)

ここで、 図 2を参照して、 本開示の実施形態に係る触覚刺激の提示例に つ いて説明する。 図 2は、 本開示の実施形態に係る触覚刺激の提示例を 示す図 である。

[0027] 図 2の上部の図に示すように、 まず、 ユーザが、 手 5 2 3 の位置から手 5

2匕の位置まで、 触覚提示部 1 6 0に触れている手を移動したとする。 この 時、 ユーザの接触部位の速度変化がセンシング情 報として取得される。 次い で、 取得されたセンシング情報に基づき第 1の触覚情報が加工されることで 生成された第 2の触覚情報が触覚提示部 1 6 0にマッピングされる。 そして 、 触覚提示装置 1 〇は、 ユーザが触覚提示部 1 6 0に触れた位置にマッピン グされた触覚刺激値を読み出し、 提示信号に変換する。 そして、 触覚提示装 置 1 〇は、 変換した提示信号を触覚提示部 1 6 0に入力し、 触覚提示部 1 6 〇に触覚を提示させる。

[0028] 図 2の下部の図に示すグラフは、 触覚提示部 1 6 0にマッピングされた触 覚刺激値をグラフ化したものである。 当該グラフの縦軸は、 触覚刺激値 を 示しており、 横軸は、 時間 を示している。 当該グラフに示すように、 か ら 1: 2 では、 触覚刺激値が 6 4から 8まで徐々に減少しているため、 ユーザに 提示される触覚刺激の強度は徐々に弱くなる 。 から 1 3 では、 触覚刺激値 \¥02020/175199 8 卩(:171?2020/005905

は 8のまま変化がないため、 ユーザに提示される触覚刺激の強度にもほぼ 変 化はない。 I 3 から I 4 では、 ユーザに提示される触覚刺激値が 9から 5 6ま で急激に増加しているため、 ユーザに提示される触覚刺激の強度は急激に 強 くなる。 以降では、 触覚刺激値にほぼ変化がないため、 ユーザに提示され る触覚刺激の強度にもほぼ変化はない。

[0029] (課題の整理)

ここで、 課題の整理を行う。 一般的な触覚提示装置では、 センシング情報 に基づき、 触覚刺激値を加工した触覚刺激をユーザに対 して提示することに ついては考慮されていない。 そのため、 一般的な触覚提示装置は、 ユーザの 触れ方の変化を示す情報がセンシング情報と して取得されても、 第 1の触覚 情報から第 2の触覚情報が生成されない。

[0030] 本開示の実施形態では、 上記の点に着目して発想されたものであり、 より 現実感のある触覚刺激を提示することが可能 な技術を提案する。 以下、 本実 施形態について順次詳細に説明する。

[0031 ] « 2 . 構成例》

まず、 図 3を参照して、 本開示の実施形態に係る情報処理システムの 構成 例について説明する。 図 3は、 本開示の実施形態に係る触覚提示システム 1 0 0 0の構成例を示すブロック図である。

[0032] < 2 - 1 . システム構成 >

図 2に示すように、 本実施形態に係る触覚提示システム 1 0 0 0は、 触覚 提示装置 1 〇、 サーバ 2 0、 センサ装置 3 0、 表示装置 4 0、 及びネッ トワ —ク 5 0を備える。

[0033] ( 1) 触覚提示装置 1 0

触覚提示装置 1 〇は、 任意の対象に対して触覚刺激を提示する装置 (情報 処理装置) である。 例えば、 触覚提示装置 1 0は、 触覚提示装置と接触して いるユーザの部位に対して、 触覚刺激を提示する。

[0034] 触覚提示装置 1 0は、 ネッ トワーク 5 0を介してサーバ 2 0と接続されて おり、 サーバ 2 0と情報の送受信を行える。 また、 触覚提示装置 1 0は、 ネ \¥02020/175199 9 卩(:171?2020/005905

ッ トワーク 5 0を介してセンサ装置 3 0と接続されており、 センサ装置 3 0 と情報の送受信を行える。 また、 触覚提示装置 1 〇は、 ネッ トワーク 5 0を 介して表示装置 4 0と接続されており、 表示装置 4 0に触覚提示物の画像を 表示させることができる。

[0035] 触覚提示装置 1 0では、 本実施形態に係る情報処理装置により触覚提 示処 理が行われる。 例えば、 情報処理装置は、 触覚提示装置 1 0に搭載され、 触 覚提示装置 1 〇の触覚提示部に触覚刺激を提示する触覚提 示処理を行う。 以 下では、 情報処理装置が触覚提示装置 1 〇に搭載されている例について説明 するが、 情報処理装置の搭載先は触覚提示装置 1 〇に限定されず、 任意の装 置であってよい。 例えば、 情報処理装置は、 サーバ 2 0に搭載され、 ネッ ト ワーク 5 0を介して触覚提示装置 1 0における触覚提示処理を制御してもよ い。

[0036] ( 2 ) サーバ 2 0

サーバ 2 0は、 触覚提示装置 1 〇の触覚提示処理に関する情報を記憶する 機能を有するサーバ装置である。 例えば、 サーバ 2 0は、 第 1の触覚情報を 記憶する触覚情報サーバであり得る。

[0037] サーバ 2 0は、 ネッ トワーク 5 0を介して触覚提示装置 1 0と接続されて おり、 触覚提示装置 1 〇と情報の送受信を行える。 例えば、 サーバ 2 0は、 ネッ トワーク 5 0を介して、 第 1の触覚情報を触覚提示装置 1 〇へ送信する

[0038] ( 3 ) センサ装置 3 0

センサ装置 3 0は、 触覚提示装置 1 0における処理に用いられる情報をセ ンシングする機能を有する。 例えば、 センサ装置 3 0は、 ユーザに関するセ ンシング情報をセンシングする。 センシング後、 センサ装置 3 0は、 ネッ ト ワーク 5 0を介して、 センシング情報を触覚提示装置 1 0へ送信する。

[0039] センサ装置 3 0は、 多様なセンサ装置を備え得る。 一例として、 センサ装 置 3 0は、 カメラ、 サーモセンサ、 及び湿度センサを備え得る。 なお、 セン サ装置 3 0が備えるセンサ装置は、 かかる例に限定されず、 他の任意のセン \¥02020/175199 10 卩(:171?2020/005905

サ装置を備えてもよい。

[0040] カメラは、 巳カメラ等のレンズ系、 駆動系、 及び撮像素子を有し、 画 像 (静止画像又は動画像) を撮像する撮像装置である。 例えば、 カメラは、 ユーザと触覚提示装置 1 〇との接触状態を示す撮像画像を撮像する。 そのた め、 カメラは、 ユーザと触覚提示装置 1 〇との接触状態を撮像可能な位置に 設けられることが望ましい。 かかる構成により、 センサ装置 3 0は、 ユーザ と触覚提示装置 1 〇との接触状態を示す撮像画像を接触情報と して取得する ことができる。

[0041 ] サーモセンサは、 温度をセンシングする装置である。 サーモセンサは、 多 様な温度をセンシングし得る。 例えば、 サーモセンサは、 ユーザが存在する 空間の温度をセンシングする。 また、 サーモセンサは、 ユーザの体温をセン シングする。 また、 サーモセンサは、 ユーザが接触している物体 (例えば触 覚提示装置 1 〇) の温度をセンシングする。 かかる構成により、 センサ装置 3 0は、 ユーザが存在する空間の温度を環境情報、 ユーザの体温を非接触情 報、 及びユーザ接触している物体の温度を接触情 報として取得することがで きる。

[0042] 湿度センサは、 湿度をセンシングする装置である。 湿度センサは、 多様な 湿度をセンシングし得る。 例えば、 湿度センサは、 ユーザが存在する空間の 湿度をセンシングする。 また、 湿度センサは、 ユーザの体面の湿度をセンシ ングする。 また、 湿度センサは、 ユーザと物体 (例えば触覚提示装置 1 〇) との接触位置の湿度をセンシングする。 かかる構成により、 センサ装置 3 0 は、 ユーザが存在する空間の湿度を環境情報、 ユーザの体面の湿度を非接触 情報、 及びユーザと物体との接触位置の湿度を接触 情報として取得すること ができる。

[0043] (4) 表示装置 4 0

表示装置 4 0は、 触覚提示装置 1 0の触覚提示処理に関する画像を表示す る機能を有する。 例えば、 触覚提示物が画像である場合、 表示装置 4 0は、 当該画像を表示する。 \¥02020/175199 11 卩(:171?2020/005905

[0044] 表示装置 40は、 ネッ トワーク 50を介して触覚提示装置 1 0と接続され ており、 触覚提示装置 1 〇と情報の送受信を行える。 例えば、 表示装置 40 は、 ネッ トワーク 50を介して、 触覚提示物の画像を触覚提示装置 1 0から 受信して表示する。

[0045] 表示装置 40は、 多様な装置により実現され得る。 例えば、 表示装置 40 は、 パーソナルコンビユータ (PC) 、 スマートフォン、 タブレッ ト端末、 ウェアラブル端末、 又はエージェントデバイス等の表示部を備え る端末装置 により実現される。

[0046] なお、 表示装置 40は、 ディスプレイ装置により実現されてもよい。 ディ スプレイ装置の一例として、 CRTディスプレイ装置、 液晶ディスプレイ装 置、 プラズマディスプレイ装置、 E Lディスプレイ装置等が挙げられる。 ま た、 表示装置 40は、 レーザープロジェクタ、 L E Dプロジェクタ等により 実現されてもよい。

[0047] (5) ネッ トワーク 50

ネッ トワーク 50は、 触覚提示装置 1 0とサーバ 20、 及び触覚提示装置 1 0とセンサ装置 30を接続する機能を有する。 ネッ トワーク 50は、 イン 夕ーネッ ト、 電話回線網、 衛星通信網などの公衆回線網や、 E t h e r n e t (登録商標) を含む各種の LAN (L o c a l A r e a N e t wo r k) 、 WAN (W i d e A r e a N e t wo r k) などを含んでもよい 〇 また、 ネッ トワーク 50は、 I P-V P N ( I n t e r n e t P r o t o c o l — V i r t u a l P r i v a t e N e t wo r k) などの専用 回線網を含んでもよい。 また、 ネッ トワーク 50は、 W i -F i (登録商標 ) 、 B l u e t o o t h (登録商標) など無線通信網を含んでもよい。

[0048] <2-2. 機能構成 >

続いて、 本開示の実施形態に係る触覚提示装置 1 〇の機能構成について説 明する。 図 2に示すように、 本実施形態に係る触覚提示装置 1 0は、 通信部 1 1 0、 センサ部 1 20、 制御部 1 40、 記憶部 1 50、 及び触覚提示部 1 60を備える。 \¥02020/175199 12 卩(:171?2020/005905

[0049] ( 1 ) 通信部 1 1 0

通信部 1 1 〇は、 外部装置と通信を行う機能を有する。 通信部 1 1 〇は、 例えば、 外部装置との通信において、 外部装置から受信する情報を制御部 1 4 0へ出力する。 具体的に、 通信部 1 1 0は、 ネッ トワーク 5 0を介したサ —バ 2 0との通信において、 サーバ 2 0から第 1の触覚情報を受信し、 制御 部 1 4 0へ出力する。

[0050] 通信部 1 1 0は、 例えば、 外部装置との通信において、 制御部 1 4 0から 入力される情報を外部装置へ送信する。 具体的に、 通信部 1 1 〇は、 第 1の 触覚情報の取得時に制御部 1 4 0の取得部 1 4 2から入力される、 第 1の触 覚情報の取得対象となる触覚提示物を示す情 報をサーバ 2 0へ送信する。

[0051 ] ( 2 ) センサ部 1 2 0

センサ部 1 2 0は、 制御部 1 4 0における処理に用いられる情報をセンシ ングする機能を有する。 例えば、 センサ部 1 2 0は、 ユーザに関するセンシ ング情報をセンシングする。 センシング後、 センサ部 1 2 0は、 センシング 情報を制御部 1 4 0へ出力する。

[0052] センサ部 1 2 0は、 多様なセンサ装置を備え得る。 一例として、 センサ部

1 2 0は、 タッチパネル、 感圧センサ、 加速度センサ、 ジャイロセンサ、 及 び近接センサを備え得る。 なお、 センサ部 1 2 0が備えるセンサ装置は、 か かる例に限定されず、 他の任意のセンサ装置を備えてもよい。 一例として、 センサ部 1 2 0は、 センサ装置 3 0が備え得るセンサ装置として上述された カメラ、 サーモセンサ、 及び湿度センサを備えてもよい。

[0053] タッチパネルは、 接触状態をセンシングする装置である。 例えば、 タッチ パネルは、 対象と接触したか否かを検出する。 一例として、 タッチパネルは 、 ユーザと触覚提示部 1 6 0が接触したか否かを検出する。 また、 タッチパ ネルは、 また、 タッチパネルは、 対象がタッチパネルと接触している際の速 度をセンシングする。 一例として、 タッチパネルは、 ユーザが触覚提示部 1 6 0を触れている際に、 ユーザが接触部位を移動している速度をセン シング する。 かかる構成により、 センサ部 1 2 0は、 ユーザと触覚提示部 1 6 0と \¥02020/175199 13 卩(:171?2020/005905

接触したか否かを示す情報及び接触部位の 移動速度を接触情報として取得す ることができる。

[0054] 感圧センサは、 圧力をセンシングする装置である。 例えば、 感圧センサは 、 対象と接触した際に感圧センサにかけられて いる圧力をセンシングする。 一例として、 感圧センサは、 ユーザと触覚提示部 1 6 0が接触した際に、 接 触部位にかけられている圧力をセンシングす る。 また、 感圧センサは、 対象 と接触した際に対象と接触している面積をセ ンシングする。 一例として、 感 圧センサは、 ユーザと触覚提示部 1 6 0が接触した際に、 接触部位の面積を センシングする。 かかる構成により、 センサ部 1 2 0は、 ユーザと触覚提示 部 1 6 0が接触した際に接触部位にかかる圧力及び 触部位の面積を接触情 報として取得することができる。

[0055] 加速度センサは、 加速度をセンシングする装置である。 例えば、 加速度セ ンサは、 対象が移動した際の速度の変化量である加速 度をセンシングする。 一例として、 加速度センサは、 ユーザが触覚提示部 1 6 0と接触している接 触部位を移動した際の加速度をセンシングす る。 かかる構成により、 センサ 部 1 2 0は、 ユーザが接触部位を移動した際の加速度を接 触情報として取得 することができる。

[0056] ジャイロセンサは、 角速度をセンシングする装置である。 例えば、 ジャイ ロセンサは、 対象の姿勢の変化量である角速度をセンシン グする。 一例とし て、 触覚提示装置 1 〇がユーザにより把持されて操作される装置 として実現 される場合、 ジャイロセンサは、 ユーザが触覚提示装置 1 0の姿勢を変化さ せた際の角速度をセンシングする。 かかる構成により、 センサ部 1 2 0は、 ユーザが触覚提示装置 1 〇の姿勢を変化させた際の角速度を接触情報 として 取得することができる。

[0057] 近接センサは、 近接する物体を検出する装置である。 近接センサは、 多様 な装置により実現されてもよい。 一例として、 近接センサは、 前方に位置す る物体までの距離情報をセンシングするデブ スカメラにより実現されてもよ い。 かかる構成によりセンサ部 1 2 0は、 触覚提示部 1 6 0との接触が想定 \¥02020/175199 14 卩(:17 2020/005905

されるユーザの接触部位までの距離を非接 触情報として取得することができ る。

[0058] (3) 制御部 1 4 0

制御部 1 4 0は、 触覚提示装置 1 0全体の動作を制御する機能を有する情 報処理装置である。 当該機能を実現するために、 制御部 1 4 0は、 図 2に示 すように、 取得部 1 4 2、 データ処理部 1 4 4、 及び触覚提示制御部 1 4 6 を有する。

[0059] (3 - 1 . 取得部 1 4 2)

取得部 1 4 2は、 センシング情報を取得する機能を有する。 例えば、 取得 部 1 4 2は、 ユーザに関するセンシング情報と第 1の触覚情報とを取得する 。 センシング情報の取得時、 取得部 1 4 2は、 複数の取得先からセンシング 情報を取得し得る。 例えば、 取得部 1 4 2は、 センサ部 1 2 0から、 センサ 部 1 2 0がセンシングした情報をセンシング情報と て取得する。 また、 取 得部 1 4 2は、 通信部 1 1 0を介してセンサ装置 3 0から、 センサ装置 3 0 がセンシングした情報をセンシング情報とし て取得してもよい。 なお、 取得 咅6 1 4 2は、 センサ部 1 2 0とセンサ装置 3 0のいずれか一方からセンシン グ情報を取得してもよいし、 センサ部 1 2 0とセンサ装置 3 0の両方からセ ンシング情報を取得してもよい。

[0060] センシング情報の取得後、 取得部 1 4 2は、 取得したセンシング情報をデ —夕処理部 1 4 4へ出力する。 かかる構成により、 取得部 1 4 2は、 センサ 部 1 2 0とセンサ装置 3 0の両方から取得したセンシング情報をデー 処理 部 1 4 4へ出力することができる。 なお、 取得部 1 4 2は、 取得したセンシ ング情報を記憶部 1 5 0へ出力することで、 取得したセンシング情報を記憶 咅6 1 5 0に記憶させてもよい。

[0061 ] 第 1の触覚情報の取得時、 取得部 1 4 2は、 ネッ トワーク 5 0を介して、 サーバ 2 0 (触覚情報サーバ) から第 1の触覚情報を取得する。 第 1の触覚 情報の取得後、 取得部 1 4 2は、 取得した第 1の触覚情報をデータ処理部 1 4 4へ出力する。 なお、 取得部 1 4 2は、 取得した第 1の触覚情報を記憶部 \¥02020/175199 15 卩(:171?2020/005905

1 5 0へ出力することで、 取得した第 1の触覚情報を記憶部 1 5 0に記憶さ せてもよい。

[0062] なお、 第 1の触覚情報が記憶部 1 5 0に保持されている場合、 取得部 1 4

2は、 記憶部 1 5 0から第 1の触覚情報を取得してもよい。 かかる構成によ り、 取得部 1 4 2は、 ネッ トワーク 5 0を介してサーバ 2 0から第 1の触覚 情報を取得する場合と比較し、 制御部 1 4 0における処理効率を向上するこ とができる。

[0063] (3 - 2 . データ処理部 1 4 4)

データ処理部 1 4 4は、 第 2の触覚情報の生成処理を行う機能を有する 例えば、 データ処理部 1 4 4は、 触覚提示部 1 6 0がユーザに対して触覚刺 激を提示する際に使用する第 2の触覚情報を、 センシング情報に基づいて第 1の触覚情報から生成する。 具体的に、 データ処理部 1 4 4は、 取得部 1 4 2から入力されるセンシング情報に基づき、 同じく取得部 1 4 2から入力さ れる第 1の触覚情報に含まれる触覚刺激値を変更す ことで、 第 2の触覚情 報を生成する。 そして、 データ処理部 1 4 4は、 生成した第 2の触覚情報を 触覚提示部 1 6 0にマッビングする。 以下、 データ処理部 1 4 4が行う処理 について、 順次詳細に説明する。

[0064] (3 - 2 - 1 . 触覚情報の構成)

まず、 図 4を参照して、 本開示の実施形態に係る触覚情報の構成例に つい て説明する。 図 4は、 本開示の実施形態に係る触覚情報の構成例を 示す図で ある。 なお、 以下で説明する触覚情報の構成は、 第 1の触覚情報と第 2の触 覚情報に共通する構成である。 図 4に示すように、 触覚情報は、 ヘッダー部 とデータ部により構成される。

[0065] ヘッダー部には、 触覚情報に関する情報が格納され得る。 触覚情報に関す る情報は、 例えば、 触覚情報のデータサイズ、 所定の領域に関する情報、 グ 口ーバルに適用される情報等である。 図 4に示すように触覚提示物が画像 6 6である場合、 ここでいう所定の領域は、 画素ごとの領域である。 なお、 所 定の領域は、 触覚刺激値領域のことであってもよい。 また、 所定の領域に関 \¥02020/175199 16 卩(:171?2020/005905

する情報は、 例えば、 所定の領域のサイズ等である。

[0066] データ部には、 所定の領域ごとの情報が格納され得る。 図 4に示すように 、 データ部は、 所定の領域ごとの情報が格納される領域を、 少なくとも所定 の領域の数だけ有する。 所定の領域ごとの情報は、 例えば、 触覚刺激値であ る。

[0067] (3 - 2 - 2 . 第 2の触覚情報の生成)

(センシング情報に基づく生成例)

データ処理部 1 4 4は、 例えば、 センシング情報に基づき、 第 1の触覚情 報を加工することで第 2の触覚情報を生成する。

[0068] 一例として、 データ処理部 1 4 4は、 接触情報に基づいて第 1の触覚情報 を加工することで、 第 2の触覚情報を生成する。 ここで、 図 5〜図 1 6を参 照して、 接触情報に基づく第 2の触覚情報の生成について説明する。 なお、 図 7〜図 1 0に示す例では、 第 2の触覚情報の生成元となる第 1の触覚情報 に設定された触覚刺激値が 6であるとする。

[0069] _速度に基づく生成例

例えば、 データ処理部 1 4 4は、 触覚提示部 1 6 0におけるユーザとの接 触位置の変化速度に基づいて、 第 2の触覚情報を生成する。 以下、 図 5及び 図 6を参照して、 具体的に説明する。 図 5及び図 6は、 本開示の実施形態に 係る速度変化に基づく第 2の触覚情報の生成例を示す図である。

[0070] 例えば、 データ処理部 1 4 4は、 接触位置の変化速度に応じて第 1の触覚 情報を加工することで、 第 2の触覚情報を生成する。 具体的に、 データ処理 部 1 4 4は、 接触位置の変化速度が速いほど単位距離当た りの触覚刺激の変 化量が小さい第 2の触覚情報を生成し、 接触位置の変化速度が遅いほど単位 距離当たりの触覚刺激の変化量が大きい第 2の触覚情報を生成する。

[0071 ] 図 5に示す例では、 予め用意された情報密度が異なる第 1の触覚情報によ り、 速度変化に応じて情報密度を切り替えること で、 単位距離当たりの触覚 刺激の変化量を変える例が示されている。 変化速度が速い場合、 データ処理 部 1 4 4は、 図 5の上部の図に示すように、 情報密度が低い第 1の触覚情報 \¥02020/175199 17 卩(:171?2020/005905

に切り替えることで、 単位距離当たりの触覚刺激の変化量が小さい 第 2の触 覚情報を生成している。 一方、 変化速度が遅い場合、 データ処理部 1 4 4は 、 図 5の下部の図に示すように、 情報密度が高い第 1の触覚情報に切り替え ることで、 短距離当たりの触覚刺激の変化量が大きい第 2の触覚情報を生成 している。

[0072] 図 6に示す例では、 第 1の触覚情報をフィルタにかけることで触覚 激値 を加工することで、 単位距離当たりの触覚刺激の変化量を変える 例が示され ている。 変化速度が速い場合、 データ処理部 1 4 4は、 図 6の上部の図に示 すように、 隣り合う触覚刺激値領域の触覚刺激値の差分 を小さくすることで 、 単位距離当たりの触覚刺激の変化量が小さい 第 2の触覚情報を生成してい る。 一方、 変化速度が遅い場合、 データ処理部 1 4 4は、 図 6の下部の図に 示すように、 隣り合う触覚刺激値領域の触覚刺激値の差分 を大きくすること で、 単位距離当たりの触覚刺激の変化量が大きい 第 2の触覚情報を生成して いる。

[0073] _圧力に基づく生成例

また、 データ処理部 1 4 4は、 触覚提示部 1 6 0とユーザとの圧力に基づ いて、 第 2の触覚情報を生成する。 以下、 図 7及び図 8を参照して、 具体的 に説明する。 図 7及び図 8は、 本開示の実施形態に係る圧力に基づく第 2の 触覚情報の生成例を示す図である。

[0074] 図 7に示す例では、 ユーザが触覚提示部 1 6 0に接触した際に触覚提示部

1 6 0にかかる圧力 (接触圧力) の強弱に応じた反力がユーザに提示される 例が示されている。 圧力が弱い場合、 データ処理部 1 4 4は、 図 7の左図に 示すように、 第 1の触覚情報の触覚刺激値を、 6から 4へ加工することで、 ユーザに対して提示される反力が弱くなるよ うに第 2の触覚情報を生成して いる。 一方、 圧力が強い場合、 データ処理部 1 4 4は、 図 7の右図に示すよ うに、 第 1の触覚情報の触覚刺激値を、 6から 8へ加工することで、 ユーザ に対して提示される反力が強くなるように第 2の触覚情報を生成している。

[0075] 図 8に示す例では、 ユーザが触覚提示部 1 6 0に接触した際に触覚提示部 \¥02020/175199 18 卩(:171?2020/005905

1 6 0にかかる圧力 (接触圧力) の強弱に応じた摩擦力がユーザに提示され る例が示されている。 圧力が弱い場合、 データ処理部 1 4 4は、 図 8の左図 に示すように、 第 1の触覚情報の触覚刺激値を、 6から 4へ加工することで 、 ユーザに対して提示される摩擦力が弱くなる ように第 2の触覚情報を生成 している。 一方、 圧力が強い場合、 データ処理部 1 4 4は、 図 8の右図に示 すように、 第 1の触覚情報の触覚刺激値を、 6から 8へ加工することで、 ユ —ザに対して提示される摩擦力が強くなるよ うに第 2の触覚情報を生成して いる。

[0076] 一接触面積に基づく生成例

また、 データ処理部 1 4 4は、 触覚提示部 1 6 0とユーザとの接触面積に 基づいて、 第 2の触覚情報を生成する。 以下、 図 9を参照して、 具体的に説 明する。 図 9は、 本開示の実施形態に係る接触面積に基づく第 2の触覚情報 の生成例を示す図である。

[0077] 図 9に示す例では、 ユーザが触覚提示部 1 6 0に接触した際の接触面積の 大きさに応じた温度がユーザに提示される例 が示されている。 接触面積が小 さい場合、 データ処理部 1 4 4は、 図 9の左図に示すように、 第 1の触覚情 報の触覚刺激値を、 6から 4へ加工することで、 ユーザに対して提示される 温度が低くなるように第 2の触覚情報を生成している。 一方、 接触面積が大 きい場合、 データ処理部 1 4 4は、 図 9の右図に示すように、 第 1の触覚情 報の触覚刺激値を、 6から 8へ加工することで、 ユーザに対して提示される 温度が高くなるように第 2の触覚情報を生成している。

[0078] 一環境情報に基づく生成例

また、 データ処理部 1 4 4は、 環境情報にさらに基づいて第 2の触覚情報 を生成してもよい。 以下、 図 1 〇を参照して、 具体的に説明する。 図 1 0は 、 本開示の実施形態に係る湿度に基づく第 2の触覚情報の生成例を示す図で ある。

[0079] _湿度に基づく生成例

図 1 0に示す例では、 ユーザが触覚提示部 1 6 0に接触した際の湿度に応 \¥02020/175199 19 卩(:171?2020/005905

じた周波数の接触音がユーザに提示される 例が示されている。 湿度が低い場 合、 データ処理部 1 4 4は、 図 1 0の左図に示すように、 第 1の触覚情報の 触覚刺激値を、 6から 8へ加工することで、 ユーザに対して提示される接触 音に含まれる高周波成分が多くなるように第 2の触覚情報を生成している。 一方、 湿度が高い場合、 データ処理部 1 4 4は、 図 1 0の右図に示すように 、 第 1の触覚情報の触覚刺激値を、 6から 4へ加工することで、 ユーザに対 して提示される接触音に含まれる高周波成分 が少なくなるように第 2の触覚 情報を生成している。

[0080] (触覚提示部 1 6 0の大きさに基づく生成例)

また、 サイズ及び情報密度が異なる複数の第 1の触覚情報が複数存在する 場合、 データ処理部 1 4 4は、 複数の第 1の触覚情報のうち、 触覚提示部 1 6 0の大きさに応じた情報密度を有する第 1の触覚情報に基づいて、 第 2の 触覚情報を生成してもよい。 以下、 図 1 1 を参照して、 具体的に説明する。 図 1 1は、 本開示の実施形態に係る、 触覚提示部 1 6 0の大きさに基づく第 2の触覚情報の生成例を示す図である。

[0081 ] 図 1 0の上段の左図に示すように、 触覚提示部 1 6〇 8のサイズが小であ る場合、 データ処理部 1 4 4は、 図 1 0の上段の右図に示す第 1の触覚情報 7 2 3 に基づき、 第 2の触覚情報を生成するとよい。 第 1の触覚情報 7 2 3 は、 サイズが触覚提示部 1 6 0 3 のサイズと同一であり、 かつ情報密度が低 いため、 触覚提示部 1 6 0 3 のサイズに適した第 2の触覚情報が生成される

[0082] 図 1 0の中段の左図に示すように、 触覚提示部 1 6 0 13のサイズが中であ る場合、 データ処理部 1 4 4は、 図 1 0の中段の右図に示す第 1の触覚情報 7 2匕に基づき、 第 2の触覚情報を生成するとよい。 第 1の触覚情報 7 2匕 は、 サイズが触覚提示部 1 6 0匕のサイズと同一であり、 かつ情報密度が中 程度であるため、 触覚提示部 1 6 0匕のサイズに適した第 2の触覚情報が生 成される。

[0083] 図 1 0の下段の左図に示すように、 触覚提示部 1 6 0〇のサイズが大であ \¥02020/175199 20 卩(:171?2020/005905

る場合、 データ処理部 1 4 4は、 図 1 0の下段の図に示す第 1の触覚情報 7 2〇に基づき、 第 2の触覚情報を生成するとよい。 第 1の触覚情報 7 2〇は 、 サイズが触覚提示部 1 6 0〇のサイズと同一であり、 かつ情報密度が高い ため、 触覚提示部 1 6 0〇のサイズに適した第 2の触覚情報が生成される。

[0084] かかる構成により、 ユーザは、 触覚提示部 1 6 0のサイズに影響されるこ となく、 適切な触覚を感じることができる。

[0085] (拡縮率に基づく生成例)

また、 データ処理部 1 4 4は、 触覚提示部 1 6 0にマッピングされる触覚 提示物の拡縮率に応じて第 2の触覚情報を生成してもよい。 拡縮率とは、 画 像の拡大率または縮小率のことである。 例えば、 表示装置 4 0に表示された 触覚提示物の画像が拡大された際の倍率は拡 大率である。 また、 表示装置 4 0に表示された触覚提示物の画像が縮小され 際の倍率は、 縮小率である。 以下、 図 1 2〜図 1 4を参照して、 具体的に説明する。 図 1 2〜図 1 4は、 本開示の実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。

[0086] 図 1 2に示す例には、 拡縮率に応じて情報密度が異なる複数の第 1の触覚 情報が存在する場合、 データ処理部 1 4 4は、 複数の第 1の触覚情報のうち 、 拡縮率に応じた情報密度を有する第 1の触覚情報に基づいて、 第 2の触覚 情報を生成する例が示されている。 例えば、 図 1 2の上部の図に示すように 、 触覚提示部 1 6 0にマッピングされている触覚提示物を示す 像が、 表示 装置 4 0に表示されている状態で拡大されたとする この場合、 データ処理 部 1 4 4は、 図 1 2の下部の図に示すように、 拡大前の第 1の触覚情報 7 2 よりも高い情報密度の第 1の触覚情報を用いて、 第 2の触覚情報 7 4を生成 する。

[0087] 図 1 3及び図 1 4に示す例には、 複数の第 1の触覚情報が存在しない場合 、 データ処理部 1 4 4は、 拡縮率に応じて、 触覚提示部 1 6 0にマッピング された触覚提示物と対応する第 1の触覚情報を加工し、 第 2の触覚情報を生 成する例が示されている。 \¥02020/175199 21 卩(:171?2020/005905

[0088] 図 1 3に示す例では、 例えば、 データ処理部 1 4 4は、 触覚提示物を示す 画像が拡大される場合に、 第 1の触覚情報における所定の領域ごとの触覚 激値を所定の領域単位で繰り返す。 具体的に、 図 1 3の上部の図に示すよう に、 触覚提示部 1 6 0にマッピングされている触覚提示物を示す 像が、 表 示装置 4 0に表示されている状態で拡大されたとする この場合、 データ処 理部 1 4 4は、 図 1 3の下部の図に示すように、 拡大前の第 1の触覚情報 7 2における拡大対象領域内の各々の触覚刺激 領域を、 縦 2マス、 横 2マス ずつ繰り返すことで、 拡大前の第 1のよりも高い情報密度の第 2の触覚情報 7 4を生成する。

[0089] 図 1 4に示す例では、 例えば、 データ処理部 1 4 4は、 触覚提示物を示す 画像が拡大される場合に、 第 1の触覚情報における複数の所定の領域に現 る触覚刺激値のパターンを複数の所定の領域 単位で繰り返す。 具体的に、 図 1 4の上部の図に示すように、 触覚提示部 1 6 0にマッピングされている触 覚提示物を示す画像が、 表示装置 4 0に表示されている状態で拡大されたと する。 この場合、 データ処理部 1 4 4は、 図 1 4の下部の図に示すように、 拡大前の第 1の触覚情報 7 2における縦 4マス、 横 4マスの拡大対象領域を 、 縦に 2つ、 横に 2つ繰り返すことで、 拡大前の第 1のよりも高い情報密度 の第 2の触覚情報 7 4を生成する。

[0090] なお、 表示装置 4 0に表示された触覚提示物の画像が拡大また 縮小され た際に、 拡大または縮小後の画像のサイズが所定の範 囲内であったとする。 この場合、 データ処理部 1 4 4は、 触覚提示物の実物サイズと対応する第 1 の触覚情報に基づき、 第 2の触覚情報を生成する。

[0091 ] また、 拡大または縮小後の画像のサイズが所定の範 囲外、 かつ触覚提示物 の実物サイズより大きいとする。 さらに、 拡大または縮小後のサイズに応じ た情報密度の第 1の触覚情報が存在する場合、 データ処理部 1 4 4は、 当該 第 1の触覚情報に基づき、 第 2の触覚情報を生成してもよい。 一方、 拡大ま たは縮小後のサイズに応じた情報密度の第 1の触覚情報が存在しない場合、 データ処理部 1 4 4は、 実物サイズの第 1の触覚情報の所定の領域のパター \¥02020/175199 22 卩(:171?2020/005905

ンを繰り返すことで、 第 2の触覚情報を生成してもよい。 なお、 実物サイズ よりも小さいサイズの第 1の触覚情報が存在する場合、 データ処理部 1 4 4 は、 小さいサイズの第 1の触覚情報の所定の領域のバターンを繰り すこと で、 第 2の触覚情報を生成してもよい。

[0092] また、 拡大または縮小後の画像のサイズが所定の範 囲外、 かつ触覚提示物 の実物サイズより小さいとする。 さらに、 拡大または縮小後のサイズに応じ た情報密度の第 1の触覚情報が存在する場合、 データ処理部 1 4 4は、 当該 第 1の触覚情報に基づき、 第 2の触覚情報を生成してもよい。 一方、 拡大ま たは縮小後のサイズに応じた情報密度の第 1の触覚情報が存在しない場合、 データ処理部 1 4 4は、 実物サイズの第 1の触覚情報を縮小することで、 第 2の触覚情報を生成してもよい。

[0093] (3 - 2 - 3 . 第 2の触覚情報のマッピング)

次に、 図 1 5を参照して、 本開示の実施形態に係る第 2の触覚情報のマッ ビングについて説明する。 図 1 5は、 本開示の実施形態に係る第 2の触覚情 報のマッピング例を示す図である。 なお、 図 1 5では、 説明の便宜上、 第 2 の触覚情報で示されるところが、 第 2の触覚情報と対応付けられる触覚提示 物 6 2により示されている。

[0094] データ処理部 1 4 4は、 生成した第 2の触覚情報を触覚提示部 1 6 0にマ ッビングする。 例えば、 データ処理部 1 4 4は、 第 2の触覚情報を、 触覚提 示物の実物大サイズのまま、 触覚提示部 1 6 0にマッピングする。

[0095] 一例として、 図 1 5の上段の図に示すように、 実物大サイズの触覚提示物

6 2 (第 2の触覚情報) よりも小さいサイズの触覚提示部 1 6〇 3 に対して 、 実物大サイズのまま触覚提示物 6 2がマッピングされると、 触覚提示物 6 2は触覚提示部 1 6 0 3 からはみ出る。 よって、 第 2の触覚情報も触覚提示 咅6 1 6 0 3からはみ出た状態でマッビングされる。

[0096] また、 図 1 5の中段の図に示すように、 実物大サイズの触覚提示物 6 2 ( 第 2の触覚情報) と同一のサイズの触覚提示部 1 6 0匕に対して、 実物大サ イズのまま触覚提示物 6 2がマッビングされると、 触覚提示物 6 2は触覚提 \¥02020/175199 23 卩(:171?2020/005905

示部 1 6 0 13の中にちょうど入る。 よって、 第 2の触覚情報も触覚提示部 1 6 0匕にちょうど入るようにマツビングされる

[0097] また、 図 1 5の下段の図に示すように、 実物大サイズの触覚提示物 6 2 ( 第 2の触覚情報) よりも大きいサイズの触覚提示部 1 6 0〇に対して、 実物 大サイズのまま触覚提示物 6 2がマッビングされると、 触覚提示物 6 2は触 覚提示部 1 6 0〇の中に余裕をもって入る。 よって、 第 2の触覚情報も触覚 提示部 1 6 0〇に余裕をもって入るようにマッビングさ る。

[0098] (3 - 2 - 4 . 第 2の触覚情報のスケーリング)

次に、 図 1 6を参照して、 本開示の実施形態に係る第 2の触覚情報のスケ —リングについて説明する。 図 1 6は、 本開示の実施形態に係る第 2の触覚 情報のスケーリング例を示す図である。 説明の便宜上、 第 2の触覚情報で示 されるところが、 第 2の触覚情報と対応付けられる触覚提示物 6 2により示 されている。

[0099] 第 2の触覚情報を触覚提示部 1 6 0にマッピングした際に、 第 2の触覚情 報が適切なサイズでマッピングされなかった 場合、 データ処理部 1 4 4は、 第 2の触覚情報を拡大または縮小することで適 なサイズにスケーリングし た上でマツビングしてもよい。

[0100] 例えば、 図 1 6の上段の図に示すように、 実物大サイズの触覚提示物 6 2 (第 1の触覚情報) が触覚提示部 1 6 0 3からはみ出た状態でマッビングさ れたとする。 この場合、 データ処理部 1 4 4は、 触覚提示物 6 2 3 のように 、 触覚提示部 1 6 0 3 にちょうど入るように、 触覚提示物 6 2のサイズを縮 小する。 この時、 第 2の触覚情報は、 情報密度は一定のままサイズが縮小さ れ得る。 縮小後の第 2の触覚情報の情報密度は、 触覚提示部 1 6 0 3のサイ ズには高く適切でない。 当該第 2の触覚情報では、 ユーザに対して適切な触 覚刺激が提示されない恐れがある。

[0101 ] また、 図 1 6の下段の図に示すように、 実物大サイズの触覚提示物 6 2 ( 第 1の触覚情報) が触覚提示部 1 6 0〇に余裕をもった状態でマッピングさ れたとする。 この場合、 データ処理部 1 4 4は、 触覚提示物 6 2〇のように \¥02020/175199 24 卩(:171?2020/005905

、 触覚提示部 1 6〇〇にちょうど入るように、 触覚提示物 6 2のサイズを拡 大する。 この時、 第 2の触覚情報は、 情報密度が一定のままサイズが拡大さ れる。 拡大後の第 2の触覚情報の情報密度は、 触覚提示部 1 6 0〇のサイズ に対して低く適切でない。 そのため、 第 2の触覚情報では、 ユーザに対して 適切な触覚刺激が提示されない恐れがある。

[0102] そこで、 データ処理部 1 4 4は、 スケーリング時の拡縮率に応じた情報密 度となるように、 第 2の触覚情報を再生成してもよい。 かかる構成により、 データ処理部 1 4 4は、 触覚提示物 6 2のスケーリング時、 スケーリング後 の触覚提示物 6 2のサイズに適した情報密度の第 2の触覚情報を、 触覚提示 部 1 6 0にマッピングすることができる。

[0103] (3 - 3 . 触覚提示制御部 1 4 6)

触覚提示制御部 1 4 6は、 触覚提示部 1 6 0の動作を制御する機能を有す る。 例えば、 触覚提示制御部 1 4 6は、 ユーザが触覚提示部 1 6 0に触れた 位置にマッピングされた第 2の触覚情報に基づき、 触覚提示部 1 6 0が提示 するための提示信号を生成する。 具体的に、 触覚提示制御部 1 4 6は、 ユー ザが触覚提示部 1 6 0に触れた位置にマッビングされた第 2の触覚情報から 触覚刺激値を読み出し、 当該触覚刺激を変換することで提示信号を生 成する 。 そして、 触覚提示制御部 1 4 6は、 生成した提示信号を触覚提示部 1 6 0 へ出力する。

[0104] (4) 記憶部 1 5 0

記憶部 1 5 0は、 触覚提示装置 1 0における処理に関する情報を記憶する 機能を有する。 当該機能を実現するために、 記憶部 1 5 0は、 図 3に示すよ うに、 触覚情報記憶部 1 5 2、 センシング情報記憶部 1 5 4、 及び触覚提示 部情報記憶部 1 5 6を有する。

[0105] (4 - 1 . 触覚情報記憶部 1 5 2)

触覚情報記憶部 1 5 2は、 触覚情報を記憶する記憶部である。 例えば、 触 覚情報記憶部 1 5 2は、 取得部 1 4 2が通信部 1 1 0及びネッ トワーク 5 0 を介してサーバ 2 0から取得した第 1の触覚情報を記憶する。 \¥02020/175199 25 卩(:171?2020/005905

[0106] (4 - 2 . センシング情報記憶部 1 5 4)

センシング情報記憶部 1 5 4は、 センシング情報を記憶する記憶部である 。 例えば、 センシング情報記憶部 1 5 4は、 取得部 1 4 2が通信部 1 1 0を 介してセンサ装置 3 0から取得したセンシング情報、 及び取得部 1 4 2がセ ンサ部 1 2 0から取得したセンシング情報を記憶する。

[0107] (4 - 3 . 触覚提示部情報記憶部 1 5 6)

触覚提示部情報記憶部 1 5 6は、 触覚提示部情報を記憶する記憶部である 。 例えば、 触覚提示部情報記憶部 1 5 6は、 予め用意された触覚提示部情報 を記憶する。 触覚提示部情報は、 例えば、 反発係数、 摩擦係数等の触覚提示 部 1 6 0に固有の情報である。

[0108] なお、 記憶部 1 5 0が記憶する情報は、 かかる例に限定されない。 例えば 、 記憶部 1 5 0は、 各種アプリケーション等のプログラムを記憶 してもよい

[0109] (5) 触覚提示部 1 6 0

触覚提示部 1 6 0は、 ユーザに対して触覚刺激を提示する機能を有 する。 例えば、 触覚提示部 1 6 0は、 ユーザに対して、 制御部 1 4 0から入力され る提示信号に応じた触覚刺激を提示する。

[01 10] 触覚提示部 1 6 0によるユーザに対する触覚刺激の提示は多 な手段によ り実現され得る。 一例として、 触覚提示部 1 6 0による触覚刺激の提示は、 電気刺激、 ペルチェ素子、 モータ、 空気圧、 振動子、 スピーカ、 及びディス プレイ等により実現され得る。

[01 1 1 ] 触覚提示部 1 6 0は、 例えば、 提示信号に応じた強度の電気刺激を、 触覚 刺激としてユーザに対して提示する。 かかる構成により、 ユーザは、 触覚提 示部 1 6 0を介して、 触覚提示物の表面の凹凸を触覚として感じる ことがで きる。

[01 12] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてペルチェ素子により調整 した熱を、 触覚刺激としてユーザに対して提示する。 かかる構成により、 ユ —ザは、 触覚提示部 1 6 0を介して、 触覚提示物の表面の温度を触覚として \¥02020/175199 26 卩(:171?2020/005905

感じることができる。

[01 13] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてモータにより触覚提示部

1 6 0を移動させることで生じる反力を、 触覚刺激としてユーザに対して提 示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を介して、 触覚提 示物の表面のテクスチャ感を触覚として感じ ることができる。

[01 14] 触覚提示部 1 6 0は、 例えば、 提示信号に応じて空気圧により触覚提示部

1 6 0を任意の周波数で振動させることで生じる 動を、 触覚刺激としてユ —ザに対して提示する。 また、 触覚提示部 1 6 0は、 提示信号に応じて空気 圧により触覚提示部 1 6 0を移動させることで生じる反力を、 触覚刺激とし てユーザに対して提示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を介して、 触覚提示物の表面のテクスチャ感を触覚とし て感じることがで きる。

[01 15] 触覚提示部 1 6 0は、 例えば、 提示信号に応じて振動子により触覚提示部

1 6 0を任意の周波数で振動させることで生じる 動を、 触覚刺激としてユ —ザに対して提示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を 介して、 触覚提示物の表面のテクスチャ感を触覚とし て感じることができる 。 また、 触覚提示部 1 6 0は、 提示信号に応じて振動子により質量の移動パ ターンを変化させることで運動方向の変化を 、 触覚刺激としてユーザに対し て提示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を介して、 触 覚提示物の重さの変化を触覚として感じるこ とができる。

[01 16] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてスピーカにより特定の周 波数の音声を、 触覚刺激としてユーザに対して提示する。 かかる構成により 、 ユーザは、 触覚提示部 1 6 0を介して、 湿度の変化を触覚として感じるこ とができる。 例えば、 ユーザは、 2 0 0 0 1 ~ 1 å程度の高さの周波数の音声が 出力すされると、 湿度が低く、 乾燥していると感じることができる。 また、 ユーザは、 周波数の高さが抑えられた音声が出力される と、 湿度が高く、 湿 つていると感じることができる。

[01 17] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてディスプレイによりビジ \¥02020/175199 27 卩(:171?2020/005905

ュアルフィードバックを、 触覚刺激としてユーザに対して提示する。 かかる 構成により、 ユーザは、 触覚提示部 1 60を介して、 疑似的な触覚 ( 36 リ〇1〇 1 ~ 13 1: I 〇 3) を感じることができる。

[0118] «3. 処理例》

以上、 本実施形態に係る構成例について説明した。 続いて、 本実施形態に 係る処理例について説明する。

[0119] <3- 1. 触覚情報を切り替えない場合の処理の流れ >

図 1 7は、 本開示の実施形態に係る触覚情報を切り替え ずに加工する場合 の処理の流れを示すフローチヤートである。

[0120] まず、 触覚提示装置 1 0の制御部 1 40は、 触覚提示部 1 60の固有情報 を記憶部 1 50から取得する (31 02) 。 次いで、 制御部 1 40は、 ユー ザにより選択された触覚提示物を検出する (31 04) 。 次いで、 制御部 1 40は、 選択された触覚提示物に応じた第 1の触覚情報を、 通信部 1 1 0を 介してサーバ 20から取得し (31 06) 、 取得した第 1の触覚情報を記憶 部 1 50に記憶する (31 08) 。 次いで、 制御部 1 40は、 センサ部 1 2 0からセンシング情報を取得する (31 1 0) 。

[0121] センシング情報の取得後、 制御部 1 40は、 生成処理により、 第 2の触覚 情報を生成する (31 1 2) 。 生成処理後、 制御部 1 40は、 生成した第 2 の触覚情報に基づき、 提示信号を生成する (31 1 4) 。 そして、 制御部 1 40は、 提示信号に基づき、 触覚提示部 1 60に触覚刺激を提示させる (3 1 1 6) 。

[0122] 触覚刺激の提示後、 ユーザにより別の触覚提示物が選択された場 合 (31

1 8/丫巳3) 、 制御部 1 40は、 31 06からの処理を繰り返す。 一方、 ユーザにより別の触覚提示物が選択されてい ない場合 (31 1 8/1\1〇) 、 制御部 1 40は、 31 1 0からの処理を繰り返す。

[0123] <3-2. 触覚情報を切り替える場合の処理の流れ >

図 1 8は、 本開示の実施形態に係る触覚情報を切り替え てから加工する場 合の処理の流れを示すフローチヤートである 。 \¥02020/175199 28 卩(:171?2020/005905

[0124] まず、 触覚提示装置 1 0の制御部 1 40は、 触覚提示部 1 60の固有情報 を記憶部 1 50から取得する (3202) 。 次いで、 制御部 1 40は、 ユー ザにより選択された触覚提示物を検出する (3204) 。 次いで、 制御部 1 40は、 選択された触覚提示物に応じた第 1の触覚情報を、 通信部 1 1 0を 介してサーバ 20から取得し (3206) 、 取得した第 1の触覚情報を記憶 部 1 50に記憶する (3208) 。 次いで、 制御部 1 40は、 センサ部 1 2 0からセンシング情報を取得する (32 1 0) 。

[0125] センシング情報の取得後、 制御部 1 40は、 センシング情報に応じて、 第

1の触覚情報を切り替える (32 1 2) 。 第 1の触覚情報の切り替え後、 制 御部 1 40は、 生成処理により、 第 2の触覚情報を生成する (32 1 4) 。 生成処理後、 制御部 1 40は、 生成した第 2の触覚情報に基づき、 提示信号 を生成する (32 1 6) 。 そして、 制御部 1 40は、 提示信号に基づき、 触 覚提示部 1 60に触覚刺激を提示させる (32 1 8) 。

[0126] 触覚刺激の提示後、 ユーザにより別の触覚提示物が選択された場 合 (32

20/丫巳3) 、 制御部 1 40は、 3206からの処理を繰り返す。 一方、 ユーザにより別の触覚提示物が選択されてい ない場合 (3220/1\1〇) 、 制御部 1 40は、 32 1 0からの処理を繰り返す。

[0127] «4. 具体例》

以上、 本実施形態に係る構成例について説明した。 続いて、 本実施形態に係 る処理例について説明する。

[0128] <4_ 1. 第 1の具体例 >

図 1 9は、 本開示の実施形態の第 1の具体例における触覚刺激の具体的な 提示例を示す図である。 図 1 9では、 本開示の実施形態に係る触覚提示シス テム 1 000がネッ トシヨッビングに適用された例が示されてい る。

[0129] 例えば、 図 1 9に示す例では、 表示装置 40にネッ トシヨッビング用の商 品画像が表示され、 当該商品画像と対応する触覚情報は触覚提示 装置 1 〇に マッピングされているとする。 この時、 ユーザは、 触覚提示装置 1 0に触れ ることで、 表示装置 40に表示された商品に実際に触れた際の触覚 対応す \¥02020/175199 29 卩(:171?2020/005905

る触覚刺激を受けることがきる。

[0130] < 4 - 2 . 第 2の具体例 >

図 2 0は、 本開示の実施形態の第 2の具体例における触覚刺激の具体的な 提示例を示す図である。 図 2 0では、 実施形態に係る触覚提示システム 1 0 0 0が拡張現実 (八[¾ : 八リ 9〇1 6门 1 6〇1 I ソ) シヨッピン グに適用された例が示されている。

[0131 ] 例えば、 図 2 0に示す例では、 例えば、 触覚提示装置 1 0に対して、 画像 等の仮想的なコンテンツである仮想オブジェ クトが重畳表示されたとする。 仮想オブジェクトの一例として、 商品画像が挙げられる。 当該商品画像と対 応する触覚情報は触覚提示装置 1 0にマッピングされているとする。 この時 、 ユーザは、 当該商品の画像が重畳表示された触覚提示装 置 1 0に触れるこ とで、 重畳表示された商品に実際に触れた際の触覚 と対応する触覚刺激を受 けることができる。

[0132] « 5 . 変形例》

以下では、 本開示の実施形態の変形例を説明する。 なお、 以下に説明する 変形例は、 単独で本開示の実施形態に適用されてもよい し、 組み合わせで本 開示の実施形態に適用されてもよい。 また、 変形例は、 本開示の実施形態で 説明した構成に代えて適用されてもよいし、 本開示の実施形態で説明した構 成に対して追加的に適用されてもよい。

[0133] < 5 _ 1 . 第 1の変形例 >

図 2 1は、 本開示の実施形態の第 1の変形例における触覚刺激の提示例を 示す図である。 上述の実施形態では、 ユーザが触覚提示装置 1 0に対して直 接触れることで触覚刺激を提示する例につい て説明した。 触覚提示装置 1 0 は、 例えば、 任意の物体の内部に搭載され、 ユーザが間接的に触れた際に、 ユーザに対して触覚刺激を提示してもよい。

[0134] 例えば、 図 2 1 に示すように、 ソファ 9 1の座部 9 2の内部に、 触覚提示 装置 1 〇が搭載されたとする。 当該触覚提示装置 1 〇は、 例えば、 ペルチェ 素子により熱に関する触覚刺激をユーザに対 して提示可能であるとする。 こ \¥02020/175199 30 卩(:171?2020/005905

の時、 ユーザは、 ソファ 9 1の座部 9 2に腰掛けることで、 触覚提示装置 1 〇から熱を触覚刺激として提示される。

[0135] < 5 - 2 . 第 2の変形例 >

図 2 2は、 本開示の実施形態の第 2の変形例における触覚刺激の提示例を 示す図である。 データ処理部 1 4 4は、 センシング情報に含まれる、 ユーザ により保持される触覚提示装置の姿勢を示す 情報にさらに基づいて、 第 2の 触覚情報を生成してもよい。 例えば、 データ処理部 1 4 4は、 ゲーム等 において、 触覚提示装置 1 0の姿勢に応じて、 触覚提示装置 1 0と対応づけ られて表示されている仮想オブジェクトに関 する触覚刺激の大きさを変化さ せる。

[0136] 図 2 2の左図に示すように、 ユーザが触覚提示装置 1 0を傾けずに保持し ている際に、 仮想オブジェクトが表示されているとする。 この状態から、 ユ —ザが図 2 2の右図に示すように触覚提示装置 1 0を傾けると、 仮想オブジ ェクトも傾いて表示される。 この時、 触覚提示装置 1 0の姿勢が変化したこ とを示す姿勢情報がセンシング情報として取 得された場合、 データ処理部 1 4 4は、 姿勢情報に基づき、 第 2の触覚情報を生成する。 例えば、 データ処 理部 1 4 4は、 姿勢の傾きに応じて、 質量変化振動子の質量移動パターンを 変化させることで、 傾きに応じて重さフイードバックを変化させ てもよい。

[0137] < 5 - 3 . 第 3の変形例 >

図 2 3は、 本開示の実施形態の第 3の変形例における触覚刺激の提示例を 示す図である。 データ処理部 1 4 4は、 センシング情報に含まれる、 空間に 配置された仮想オブジェクトに対するユーザ の位置及び姿勢を示す情報にさ らに基づいて、 第 2の触覚情報を生成してもよい。 例えば、 データ処理部 1 4 4は、 八 ゲーム等において、 エネルギーの放出方向に対する触覚提示装 置 1 0の姿勢に応じて、 触覚刺激の大きさを変動させる。

[0138] 図 2 3の左図に示すように、 触覚提示装置 1 0の法線方向と、 モンスター

9 5による攻撃 9 6の放射方向が平行であり、 ユーザがモンスター 9 5の攻 撃を真正面から受けたとする。 一方、 図 2 3の右図に示すように、 触覚提示 \¥02020/175199 31 卩(:171?2020/005905

装置 1 〇の法線方向と、 モンスター 95による攻撃 96の放射方向が平行で はなく、 ユーザがモンスター 95の攻撃を真正面以外から受けたとする。 こ の時、 データ処理部 1 44は、 図 23の左図に示すように真正面から攻撃を 受けた際にユーザに対して提示される触覚刺 激を、 図 23の右図の場合にユ —ザに対して提示される触覚刺激よりも強く してもよい。

[0139] «6. ハードウェア構成例》

最後に、 図 24を参照しながら、 本実施形態に係る情報処理装置のハード ウェア構成例について説明する。 図 24は、 本実施形態に係る情報処理装置 のハードウェア構成例を示すブロック図であ る。 なお、 図 24に示す情報処 理装置 900は、 例えば、 図 2に示した触覚提示装置 1 0を実現し得る。 本 実施形態に係る触覚提示装置 1 〇による情報処理は、 ソフトウヱアと、 以下 に説明するハードウェアとの協働により実現 される。

[0140] 図 24に示すように、 情報処理装置 900は、 C P U (Ce n t r a l

P r o c e s s i n g U n i t ) 901、 ROM (R e a d O n l y Me mo r y) 902、 及び RAM (R a n d om Ac c e s s Me m 〇 r y) 903を備える。 また、 情報処理装置 900は、 ホストバス 904 、 ブリッジ 905、 外部バス 906、 インタフエース 907、 入力装置 90 8、 出力装置 909、 ストレージ装置 9 1 0、 ドライブ 9 1 1、 接続ポート 9 1 2、 及び通信装置 9 1 3を備える。 なお、 ここで示すハードウェア構成 は一例であり、 構成要素の一部が省略されてもよい。 また、 ハードウェア構 成は、 ここで示される構成要素以外の構成要素をさ らに含んでもよい。

[0141] C P U 901は、 例えば、 演算処理装置又は制御装置として機能し、 R〇 M902、 RAM903、 又はストレージ装置 9 1 0に記録された各種プロ グラムに基づいて各構成要素の動作全般又は その一部を制御する。 R0M9 02は、 C P U 901 に読み込まれるプログラムや演算に用いるデ ータ等を 格納する手段である。 RAM903には、 例えば、 C P U 901 に読み込ま れるプログラムや、 そのプログラムを実行する際に適宜変化する 各種パラメ —夕等が一時的又は永続的に格納される。 これらは C P Uバスなどから構成 \¥02020/175199 32 卩(:171?2020/005905

されるホストバス 904により相互に接続されている。 〇 11901、 [¾〇 1\/1902、 及び[¾八1\/1903は、 例えば、 ソフトウェアとの協働により、 図 3を参照して説明した制御部 1 40の機能を実現し得る。

[0142] 〇 11901、 [¾〇1\/1902、 及び[¾八1\/1903は、 例えば、 高速なデー 夕伝送が可能なホストバス 904を介して相互に接続される。 一方、 ホスト バス 904は、 例えば、 ブリッジ 905を介して比較的データ伝送速度が低 速な外部バス 906に接続される。 また、 外部バス 906は、 インタフェー ス 907を介して種々の構成要素と接続される。

[0143] 入力装置 908は、 例えば、 マウス、 キーボード、 タッチパネル、 ボタン 、 マイクロフォン、 スイッチ及びレバー等、 ユーザによって情報が入力され る装置によって実現される。 また、 入力装置 908は、 例えば、 赤外線やそ の他の電波を利用したリモートコントロール 装置であってもよいし、 情報処 理装置 900の操作に対応した携帯電話や?口 等の外部接続機器であって もよい。 さらに、 入力装置 908は、 例えば、 上記の入力手段を用いてユー ザにより入力された情報に基づいて入力信号 を生成し、 〇 1) 901 に出力 する入力制御回路などを含んでいてもよい。 情報処理装置 900のユーザは 、 この入力装置 908を操作することにより、 情報処理装置 900に対して 各種のデータを入力したり処理動作を指示し たりすることができる。

[0144] 他にも、 入力装置 908は、 ユーザに関する情報を検知する装置により形 成され得る。 例えば、 入力装置 908は、 画像センサ (例えば、 カメラ) 、 深度センサ (例えば、 ステレオカメラ) 、 加速度センサ、 ジャイロセンサ、 地磁気センサ、 光センサ、 音センサ、 測距センサ (例えば、 丁〇 (7 \ ^ 6 〇 干 丨 丨 9 1:) センサ) 、 カセンサ等の各種のセンサを含み得る 。 また、 入力装置 908は、 情報処理装置 900の姿勢、 移動速度等、 情報 処理装置 900自身の状態に関する情報や、 情報処理装置 900の周辺の明 るさや騒音等、 情報処理装置 900の周辺環境に関する情報を取得してもよ い。 また、 入力装置 908は、 〇 33 (0 \ o b a \ I

011 331 6 1 I I I 6 3 V 3 I 6111) 衛星からの◦ 33信号 (例え \¥02020/175199 33 卩(:171?2020/005905

ば、 G PS (G l o b a l P o s i t i o n i n g S y s t e m) 衛星 からの G PS信号) を受信して装置の緯度、 経度及び高度を含む位置情報を 測定する G N S Sモジュールを含んでもよい。 また、 位置情報に関しては、 入力装置 908は、 W i -F i (登録商標) 、 携帯電話 P H S スマート フォン等との送受信、 または近距離通信等により位置を検知するも のであっ てもよい。 入力装置 908は、 例えば、 図 3を参照して説明したセンサ部 1 20の機能を実現し得る。

[0145] 出力装置 909は、 取得した情報をユーザに対して視覚的又は聴 覚的に通 知することが可能な装置で形成される。 このような装置として、 CRTディ スプレイ装置、 液晶ディスプレイ装置、 プラズマディスプレイ装置、 E Lデ ィスプレイ装置、 レーザープロジェクタ、 L E Dプロジェクタ及びランプ等 の表示装置や、 スピーカ及びヘッ ドフォン等の音声出力装置や、 プリンタ装 置等がある。 出力装置 909は、 例えば、 情報処理装置 900が行った各種 処理により得られた結果を出力する。 具体的には、 表示装置は、 情報処理装 置 900が行った各種処理により得られた結果を、 テキスト、 イメージ、 表 、 グラフ等、 様々な形式で視覚的に表示する。 他方、 音声出力装置は、 再生 された音声データや音響データ等からなるオ ーディオ信号をアナログ信号に 変換して聴覚的に出力する。 出力装置 909は、 例えば、 図 3を参照して説 明した触覚提示部 1 60の機能を実現し得る。

[0146] ストレージ装置 9 1 0は、 情報処理装置 900の記憶部の一例として形成 されたデータ格納用の装置である。 ストレージ装置 9 1 0は、 例えば、 H D D等の磁気記憶部デバイス、 半導体記憶デバイス、 光記憶デバイス又は光磁 気記憶デバイス等により実現される。 ストレージ装置 9 1 0は、 記憶媒体、 記憶媒体にデータを記録する記録装置、 記憶媒体からデータを読み出す読出 し装置および記憶媒体に記録されたデータを 削除する削除装置などを含んで もよい。 このストレージ装置 9 1 0は、 C P U 901が実行するプログラム や各種データ及び外部から取得した各種のデ ータ等を格納する。 ストレージ 装置 9 1 0は、 例えば、 図 3を参照して説明した記憶部 1 50の機能を実現 \¥02020/175199 34 卩(:171?2020/005905

し得る。

[0147] ドライブ 9 1 1 は、 記憶媒体用リーダライタであり、 情報処理装置 900 に内蔵、 あるいは外付けされる。 ドライブ 9 1 1 は、 装着されている磁気デ ィスク、 光ディスク、 光磁気ディスク、 または半導体メモリ等のリムーバブ ル記憶媒体に記録されている情報を読み出し て、 R AM903に出力する。 また、 ドライブ 9 1 1 は、 リムーバブル記憶媒体に情報を書き込むこと もで きる。

[0148] 接続ポート 9 1 2は、 例えば、 U S B (U n i v e r s a l S e r i a

I B u s) ポート、 I E E E 1 394ポート、 SCS I (S m a l l C o m p u t e r S y s t e m I n t e r f a c e) 、 R S— 232 Cポ —卜、 又は光オーディオ端子等のような外部接続機 器を接続するためのポー 卜である。

[0149] 通信装置 9 1 3は、 例えば、 ネッ トワーク 920に接続するための通信デ バイス等で形成された通信インタフェースで ある。 通信装置 9 1 3は、 例え ば、 有線若しくは無線 L A N (L o c a l A r e a N e t wo r k) 、 L T E (L o n g i. e r m E v o l u t i o n) 、 B l u e t o o t h (登録商標) 又は WU S B (W i r e l e s s U S B) 用の通信力ード等 である。 また、 通信装置 9 1 3は、 光通信用のルータ、 A D S L (A s y m m e t r i c D i g i t a l S u b s c r i b e r L i n e) 用のル —夕又は各種通信用のモデム等であってもよ い。 この通信装置 9 1 3は、 例 えば、 インターネッ トや他の通信機器との間で、 例えば TC P/ I P等の所 定のプロ トコルに則して信号等を送受信することがで きる。 通信装置 9 1 3 は、 例えば、 図 3を参照して説明した通信部 1 1 0の機能を実現し得る。

[0150] なお、 ネッ トワーク 920は、 ネッ トワーク 920に接続されている装置 から送信される情報の有線、 または無線の伝送路である。 例えば、 ネッ トワ —ク 920は、 インターネッ ト、 電話回線網、 衛星通信網などの公衆回線網 や、 E t h e r n e t (登録商標) を含む各種の L A N (L o c a l A r e a N e t wo r k) 、 WA N (W i d e A r e a N e t wo r k) などを含んでもよい。 また、 ネッ トワーク 920は、 丨 P— V P N ( I n t e r n e t P r o t o c o l — V i r t u a l P r i v a t e N e t wo r k) などの専用回線網を含んでもよい。 ネッ トワーク 920は、 例え ば、 図 3を参照して説明したネッ トワーク 50の機能を実現し得る。

[0151] 以上、 本実施形態に係る情報処理装置 900の機能を実現可能なハードウ エア構成の一例を示した。 上記の各構成要素は、 汎用的な部材を用いて実現 されていてもよいし、 各構成要素の機能に特化したハードウエアに より実現 されていてもよい。 従って、 本実施形態を実施する時々の技術レベルに応 じ て、 適宜、 利用するハードウエア構成を変更することが 可能である。

[0152] «7. まとめ»

以上説明したように、 本開示の実施形態に係る情報処理装置は、 ユーザに 関するセンシング情報と触覚提示物に固有の 第 1の触覚情報とを取得する。 情報処理装置は、 触覚提示装置がユーザに対して触覚刺激を提 示する際に使 用する第 2の触覚情報を、 取得したセンシング情報に基づいて第 1の触覚情 報から生成する。

[0153] かかる構成により、 情報処理装置は、 触覚提示物に固有の触覚情報から、 ユーザに関するセンシング情報に応じた触覚 情報を生成することができる。

[0154] よって、 より現実感のある触覚刺激を提示することが 可能な、 新規かつ改 良された情報処理装置、 情報処理方法、 及びプログラムを提供することが可 能である。

[0155] 以上、 添付図面を参照しながら本開示の好適な実施 形態について詳細に説 明したが、 本開示の技術的範囲はかかる例に限定されな い。 本開示の技術分 野における通常の知識を有する者であれば、 請求の範囲に記載された技術的 思想の範疇内において、 各種の変更例または修正例に想到し得ること は明ら かであり、 これらについても、 当然に本開示の技術的範囲に属するものと了 解される。

[0156] 例えば、 本明細書において説明した各装置は、 単独の装置として実現され てもよく、 一部または全部が別々の装置として実現され ても良い。 例えば、 \¥02020/175199 36 卩(:171?2020/005905

図 3に示した触覚提示装置 1 0が備える制御部 1 4 0が単独の装置として実 現されてもよい。 例えば、 制御部 1 4 0は、 サーバ装置等の独立した装置と して実現され、 ネッ トワーク等を介して触覚提示装置 1 〇と接続されてもよ い。

[0157] また、 本明細書において説明した各装置による一連 の処理は、 ソフトウェ ア、 ハードウェア、 及びソフトウェアとハードウェアとの組合せ のいずれを 用いて実現されてもよい。 ソフトウェアを構成するプログラムは、 例えば、 各装置の内部又は外部に設けられる記録媒体 (非一時的な媒体 〇 に予め格納される。 そして、 各プログラ ムは、 例えば、 コンピュータによる実行時に [¾八1\/1に読み込まれ、 〇 リな どのプロセッサにより実行される。

[0158] また、 本明細書においてフローチヤートを用いて説 明した処理は、 必ずし も図示された順序で実行されなくてもよい。 いくつかの処理ステップは、 並 列的に実行されてもよい。 また、 追加的な処理ステップが採用されてもよく 、 一部の処理ステップが省略されてもよい。

[0159] また、 本明細書に記載された効果は、 あくまで説明的または例示的なもの であって限定的ではない。 つまり、 本開示に係る技術は、 上記の効果ととも に、 または上記の効果に代えて、 本明細書の記載から当業者には明らかな他 の効果を奏しうる。

[0160] なお、 以下のような構成も本開示の技術的範囲に属 する。

( 1 )

ユーザに関するセンシング情報と触覚提示物 に固有の第 1の触覚情報とを 取得する取得部と、

触覚提示装置が前記ユーザに対して触覚刺激 を提示する際に使用する第 2 の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成 するデータ処理部と、

を備える、 情報処理装置。

(2) \¥02020/175199 37 卩(:171?2020/005905

前記センシング情報は、 前記ユーザと前記触覚提示装置との接触状態 を示 す接触情報を含み、

前記データ処理部は、 前記接触情報にさらに基づいて前記第 2の触覚情報 を生成する、 前記 (1) に記載の情報処理装置。

(3)

前記データ処理部は、 前記触覚提示装置における前記ユーザとの接 触位置 の変化速度に基づいて、 前記第 2の触覚情報を生成する、 前記 (2) に記載 の情報処理装置。

( 4 )

前記データ処理部は、 前記接触位置の変化速度に応じて前記第 1の触覚情 報を加工することで、 前記第 2の触覚情報を生成する、 前記 (3) に記載の 情報処理装置。

( 5 )

前記データ処理部は、 前記接触位置の変化速度が速いほど単位距離 当たり の触覚刺激の変化量が小さい前記第 2の触覚情報を生成し、 前記接触位置の 変化速度が遅いほど単位距離当たりの触覚刺 激の変化量が大きい前記第 2の 触覚情報を生成する、 前記 (4) に記載の情報処理装置。

(6)

前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触圧力 に基づ いて、 前記第 2の触覚情報を生成する、 前記 (2) 〜 (5) のいずれか一項 に記載の情報処理装置。

( 7 )

前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触面積 に基づ いて、 前記第 2の触覚情報を生成する、 前記 (2) 〜 (6) のいずれか一項 に記載の情報処理装置。

(8)

前記センシング情報は、 前記ユーザの周辺環境に関する環境情報を含 み、 前記データ処理部は、 前記環境情報にさらに基づいて前記第 2の触覚情報 \¥02020/175199 38 卩(:171?2020/005905

を生成する、 前記 (1) 〜 (7) のいずれか一項に記載の情報処理装置。

(9)

前記データ処理部は、 前記センシング情報に含まれる、 前記ユーザにより 保持される前記触覚提示装置の姿勢を示す情 報にさらに基づいて、 前記第 2 の触覚情報を生成する、 前記 (1) 〜 (8) のいずれか一項に記載の情報処 理装置。

(1 0)

前記データ処理部は、 前記センシング情報に含まれる、 空間に配置された 仮想オブジェクトに対する前記ユーザの位置 及び姿勢を示す情報にさらに基 づいて、 前記第 2の触覚情報を生成する、 前記 (1) 〜 (9) のいずれか一 項に記載の情報処理装置。

(1 1)

前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記触覚提示装 置の大きさに応じた情報密度を有する前記第 1の触覚情報に基づいて、 前記 第 2の触覚情報を生成する、 前記 (1) 〜 (1 0) のいずれか一項に記載の 情報処理装置。

(1 2)

前記データ処理部は、 前記触覚提示装置にマッビングされる前記触 覚提示 物の拡縮率に応じて前記第 2の触覚情報を生成する、 前記 (1) 〜 (1 1) のいずれか一項に記載の情報処理装置。

(1 3)

前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記拡縮率に応 じた情報密度を有する前記第 1の触覚情報に基づいて、 前記第 2の触覚情報 を生成する、 前記 (1 2) に記載の情報処理装置。

(1 4)

前記データ処理部は、 前記拡縮率に応じて前記第 1の触覚情報を加工する ことで、 前記第 2の触覚情報を生成する、 前記 (1 2) に記載の情報処理装 置。 \¥02020/175199 39 卩(:171?2020/005905

(1 5)

前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの触覚刺 激値を示す情報を含み、

前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合 に、 前 記第 1の触覚情報における前記所定の領域ごとの 覚刺激値を所定の領域単 位で繰り返す、 前記 (1 4) に記載の情報処理装置。

(1 6)

前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの触覚刺 激値を示す情報を含み、

前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合 に、 前 記第 1の触覚情報における複数の所定の領域に現 る触覚刺激値のパターン を複数の所定の領域単位で繰り返す、 前記 (1 4) に記載の情報処理装置。

(1 7)

センサ装置を有するセンサ部をさらに備え、

前記取得部は、 前記センサ部がセンシングした情報を前記セ ンシング情報 として取得する、 前記 (1) 〜 (1 6) のいずれか一項に記載の情報処理装 置。

(1 8)

通信部をさらに備え、

前記取得部は、 前記通信部を介して、 外部のセンサ装置がセンシングした 情報を前記センシング情報として取得する、 前記 (1) 〜 (1 7) のいずれ か一項に記載の情報処理装置。

(1 9)

ユーザに関するセンシング情報と触覚提示物 に固有の第 1の触覚情報とを 取得することと、

触覚提示装置が前記ユーザに対して触覚刺激 を提示する際に使用する第 2 の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成 することと、 \¥02020/175199 40 卩(:171?2020/005905

を含む、 プロセッサにより実行される情報処理方法。

(20)

コンピュータを、

ユーザに関するセンシング情報と触覚提示物 に固有の第 1の触覚情報とを 取得する取得部と、

触覚提示装置が前記ユーザに対して触覚刺激 を提示する際に使用する第 2 の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成 するデータ処理部と、

として機能させるための、 プログラム。

符号の説明

[0161] 1 0 触覚提示装置

20 サーバ

30 センサ装置

40 表 装置

50 ネッ トワーク

1 1 0 通信部

1 20 センサ部

1 40 制御部

1 50 記憶部

1 60 触覚提示部




 
Previous Patent: WORK MACHINE

Next Patent: VEHICLE BRAKE DEVICE