明 細 書 発明の名称 二人のユーザの同時アクションにより音声を 制御する

情報処理装置

技術分野

[0001 ] 本開示は、 情報処理装置、 及び情報処理方法に関する。 背景技術

[0002] 近年、 情報処理装置には、 多様なセンサが搭載されるようになっている 。

例えば、 ューザのジェスチャ又はアクションを検出す るために、 情報処理装 置には、 ジャイロセンサ又は加速度センサが搭載され るようになっている。

[0003] 下記の特許文献 1 には、 ジャイロセンサ又は加速度センサを備えるこ とで 、 ジェスチヤに基づいて操作を行うことが可能 な情報処理装置が開示されて いる。

先行技術文献 特許文献

[0004] 特許文献 1 :特開 2 0 1 7 - 2 0 7 8 9 0号公報 発明の概要 発明が解決しようとする課題

[0005] 特許文献 1 に開示される情報処理装置は、 ユーザの多様なジェスチャ又は アクションを検出することが可能である。 また、 特許文献 1 に開示される情 報処理装置は、 通信機能を備える。 したがって、 このような情報処理装置を さらに検討することによって、 複数のユーザのジェスチャ又はアクションを 用いた双方向的な新たなエンターテイメント を構築することができる可能性 がある。

課題を解決するための手段

[0006] 本開示によれば、 センサによるセンシング結果に基づいて、 ユーザが行っ たアクションを判断するアクション判断部と 、 他ユーザが行ったアクション に関する情報を受信する通信部と、 前記ユーザが行ったアクションと、 前記 他ユーザが行ったアクションとの時間的な一 致を判断する同期判断部と、 前 〇 2020/174925 2 卩（：170? 2020 /001554

記同期判断部の判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行っ たアクションに対応して提示される音声を制 御する音声制御部と、 を備える 、 情報処理装置が提供される。

［0007］ また、 本開示によれば、 演算処理装置によって、 センサによるセンシング 結果に基づいて、 ユーザが行ったアクションを判断することと 、 他ユーザが 行ったアクションに関する情報を受信するこ とと、 前記ユーザが行ったアク ションと、 前記他ユーザが行ったアクションとの時間的 な一致を判断するこ とと、 前記判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行った ア クションに対応して提示される音声を制御す ることと、 を含む、 情報処理方 法が提供される。

発明の効果

［0008］ 以上説明したように本開示に係る技術によれ ば、 複数のユーザのジェスチ ャ又はアクションを用いた双方向的な新たな エンターテイメントを構築する ことができる。

図面の簡単な説明

［0009］ ［図 1］本開示の一実施形態に係る情報処理シス� �ムの一例を示す説明図である

［図 2八］ユーザのアクションを検出するための� �ンサの一例を示す説明図であ る。

［図 28］ユーザのアクションを検出するためのセ� ��サの一例を示す説明図であ る。

［図 2（：］ユーザのアクションを検出するため� �センサの一例を示す説明図であ る。

［図 3］図 1で示す情報処理システムにおける情報のや� �取りを示す説明図であ る。

［図 4］本開示の一実施形態に係る情報処理シス� �ムの構成例を示すブロック図 である。

［図 5］ユーザ八及びユーザ巳のアクションを検� �するセンサ出力と、 ユーザ巳 20/174925 3 卩（：170? 2020 /001554

に提示される音声出力とを並列に示したグ ラフ図である。

［図 6］音声制御部によって制御された音声波形� �一例をユーザ及び他ユーザの 組み合わせごとに示したグラフ図である。

［図 7八］ユーザ八及びユーザ巳のアクションを� �出するセンサ出力と、 ユーザ 八に提示される音声出力とを並列に示したグ ラフ図である。

［図 78］ユーザ八及びユーザ巳のアクションを検� ��するセンサ出力と、 ユーザ 八に提示される音声出力とを並列に示したグ ラフ図である。

［図 8］ユーザ及び教師である他ユーザのアクシ� �ンのセンシング結果の一例を 示すグラフ図である。

［図 9］ユーザ及び他ユーザのアクションの差に� �づいてユーザに提示される音 声を制御する方法を説明する説明図である。

［図 10八］ユーザ及び他ユーザのアクションの差� ��基づいてユーザに提示される 音声を制御する具体的な方法を説明する説明 図である。

［図 108］ユーザ及び他ユーザのアクションの差に 基づいてユーザに提示される 音声を制御する具体的な方法を説明する説明 図である。

［図 1 1］本開示の一実施形態に係る情報処理シス� �ムの動作の流れの一例を説 明するフロ ^_ チヤ ^_ 卜図である。

［図 12］本開示の一実施形態に係る情報処理シス� ��ムの動作の流れの一例を説 明するフロ ^_ チヤ ^_ 卜図である。

［図 13］本開示の一実施形態に係る情報処理シス� ��ムの動作の流れの一例を説 明するフロ ^_ チヤ ^_ 卜図である。

［図 14］本開示の一実施形態に係る情報処理シス� ��ムがユーザ間の同期を判断 する期間を説明する説明図である。

［図 15］本開示の一実施形態に係る情報処理シス� ��ムの変形例を説明する説明 図である。

［図 16］本開示の一実施形態に係る情報処理サー� ��又は端末装置を構成する情 報処理装置の/ \—ドウエアの一例を示したブロック図であ� �。

発明を実施するための形態 〇 2020/174925 4 卩（：170? 2020 /001554

[0010] 以下に添付図面を参照しながら、 本開示の好適な実施の形態について詳細 に説明する。 なお、 本明細書及び図面において、 実質的に同一の機能構成を 有する構成要素については、 同一の符号を付することにより重複説明を省 略 する。

[001 1 ] なお、 説明は以下の順序で行うものとする。

1 . 本開示に係る技術の概略

2 . 構成例

3 . 動作例

4 . 変形例

5 . ハードゥエァ構成例

[0012] < 1 . 本開示に係る技術の概略 >

まず、 図 1〜図 3を参照して、 本開示に係る技術の概略について説明する 。 図 1は、 本開示の一実施形態に係る情報処理システム の一例を示す説明図 である。

[0013] 図 1 に示すように、 本開示の一実施形態に係る情報処理システム は、 複数 のユーザ 4 0八、 4 0巳にそれぞれ所持される端末装置 3 0八、 3 0巳と、 該複数のユーザ 4 0 、 4 0巳にそれぞれ所持される情報処理装置 2 0八、 2 0巳と、 ネッ トヮーク 5 0を介して情報処理装置 2 0 、 2 0巳と接続す る情報処理サーバ 1 〇と、 を備える。

[0014] なお、 端末装置 3 0 は、 情報処理装置 2 0 と同じユーザ 4 0 に所持 されており、 端末装置 3 0巳は、 情報処理装置 2 0巳と同じユーザ 4 0巳に 所持されているものとする。 また、 以下では、 ユーザ 4 0八、 4 0巳をまと めてユーザ 4 0とも称し、 端末装置 3 0 、 3 0巳をまとめて端末装置 3 0 とも称し、 情報処理装置 2 0 、 2 0巳をまとめて情報処理装置 2 0とも称 する。

[0015] なお、 以降の図 1及び図 3では、 端末装置 3 0及び情報処理装置 2 0を所 持するユーザ 4 0としてユーザ 4 0八、 4 0巳のみを示すが、 ユーザ 4 0の 数は特に限定されない。 ユーザ 4 0の数は 3以上であってもよい。 〇 2020/174925 5 卩（：170? 2020 /001554

[0016] 本開示の一実施形態に係る情報処理システム は、 ユーザ 4 0のアクション に対応して端末装置 3 0にてユーザに音声を提示するシステムであ� �。 特に 、 本開示の一実施形態に係る情報処理システム では、 ユーザ 4 0のアクショ ンが他ユーザのアクションと時間的に同期し て行われたか否かに基づいて、 端末装置 3 0にて出力される音声を制御する。 これによれば、 情報処理シス テムは、 音声提示の様態によって、 ユーザ 4 0が行うアクションに他ユーザ との双方向性を持たせることができるため、 より双方向性の高いコンテンツ を実現することが可能である。

[0017] 端末装置 3 0は、 ユーザ 4 0のアクションを検出するためのセンサと、 音 声を再生するスピーカとを備える情報処理装 置である。

[0018] 端末装置 3 0は、 センサのセンシング結果に基づいてユーザ 4 0のアクシ ョンを検出し、 ユーザ 4 0のアクションに対応した音声をユーザに提� �する 。 また、 端末装置 3 0は、 ユーザ 4 0が行ったアクションに関する情報を情 報処理装置 2 0に送信し、 かつネッ トワーク 5 0を介して他ユーザのアクシ ョンに関する情報を受信する。 これによれば、 端末装置 3 0は、 ユーザ 4 0 のアクションと、 他ユーザのアクションとが時間的に一致して いた場合にユ —ザ 4 0に提示する音声を変更することで、 ユーザ 4 0が行うアクションに ユーザ 4 0との双方向性を持たせることができる。

[0019] 端末装置 3 0は、 例えば、 ユーザ 4 0の身体のいずれかに装着されるウェ アラブル端末である。 具体的には、 端末装置 3 0は、 ユーザ 4 0の耳に装着 されるへッ ドフォン又はイヤフォン型のウェアラブル端 末、 ユーザ 4 0の顏 面に装着されるメガネ型のウェアラブル端末 、 ユーザ 4 0の胸などに装着さ れるバッジ型のウェアラブル端末、 又はユーザ 4 0の手首等に装着される腕 時計型のウェアラブル端末であってもよい。

[0020] なお、 ユーザ 4 0のアクションを検出するために端末装置 3 0に備えられ るセンサは、 特に限定されない。 ユーザ 4 0のアクションを検出するための センサの一例について、 図 2八~図 2〇を参照して説明する。 図 2八~図 2 〇は、 ユーザのアクションを検出するためのセンサ の一例を示す説明図であ \¥02020/174925 6 卩（：17 2020/001554

る。

[0021] 例えば、 図 2 Aに示すように、 ユーザ 40のアクションを検出するための センサは、 ユーザ 40の耳に装着されるへツ ドフォン又はイヤフォン 3 1 _ 1 に備えられたジャイロセンサ、 加速度センサ又は地磁気センサであっても よい。 または、 図 2 Bに示すように、 ユーザ 40のアクションを検出するた めのセンサは、 ユーザ 40の身体の各部に装着されるモーションセン� �� 3 1 -2であってもよい。 さらには、 図 2 Cに示すように、 ユーザ 40のアクシ ョンを検出するためのセンサは、 ユーザ 40に向けられた T〇 F (T i me o f F l i g h t ) センサ、 又はステレオカメラ 3 1 —3であってもよ い。

[0022] 情報処理装置 20は、 ユーザ 40によって携帯可能な通信装置であり、 端 末装置 30との通信機能、 及びネッ トワーク 50への接続機能を備える。 情 報処理装置 20は、 端末装置 30からユーザ 40のアクションに関する情報 を受信し、 ユーザ 40のアクションに関する情報を情報処理サー� �� 1 0に送 信する。 また、 情報処理装置 20は、 情報処理サーバ 1 0から他ユーザのア クションに関する情報を受信し、 他ユーザのアクションに関する情報を端末 装置 30に送信する。 情報処理装置 20は、 例えば、 スマートフォン、 携帯 電話、 タブレッ ト端末、 または P DA (P e r s o n a l D i d i t a l A s s i s t a n t ) などであってもよい。

[0023] 情報処理サーバ 1 0は、 端末装置 30の各々にて検出されたユーザ 40の アクションに関する情報を他の端末装置 30に送信する。 具体的には、 情報 処理サーバ 1 〇は、 端末装置 30にて検出されたユーザ 40のアクションに 関する情報をユーザ 40と同一のグループに属する他ユーザの端末� ��置 30 に送信する。 例えば、 ユーザ 40A、 40 Bが同ーグループに属している場 合、 情報処理サーバ 1 〇は、 端末装置 30 Aにて検出されたユーザ 40 Aの アクションに関する情報を端末装置 30 Bに送信してもよく、 端末装置 30 Bにて検出されたユーザ 40 Bのアクションに関する情報を端末装置 30 A に送信してもよい。 〇 2020/174925 7 卩（：170? 2020 /001554

[0024] ネッ トワーク 5 0は、 情報の送受信を行うことが可能な通信網であ る。 ネ ッ トワーク 5 0は、 例えば、 インターネッ ト、 衛星通信網、 電話回線網、 又 は移動体通信網 （例えば、 3 0又は 4 0回線網など） などであってもよい。

[0025] なお、 図 1では、 端末装置 3 0及び情報処理装置 2 0が別々の装置として 設けられる例を示したが、 本実施形態に係る情報処理システムは、 かかる例 示に限定されない。 例えば、 端末装置 3 0及び情報処理装置 2 0は、 一つの 通信装置として設けられてもよい。 このような場合、 該通信装置は、 ユーザ 4 0のアクションの検出機能、 音声提示機能、 及びネッ トワーク 5 0への接 続機能を有し、 ユーザの身体に装着可能な通信機器として構 成され得る。 以 下では、 端末装置 3 0は、 情報処理装置 2 0の機能を併せ持つものとして説 明する。

[0026] 続いて、 図 3を参照して、 本開示の一実施形態に係る情報処理システム の 動作の概略について説明する。 図 3は、 図 1で示す情報処理システムにおけ る情報のやり取りを示す説明図である。

[0027] 図 3に示すように、 まず、 端末装置 3 0八にてユーザ 4 0八のアクション が検出された場合、 端末装置 3 0八は、 検出したユーザ 4 0八のアクション に関する情報をアクション情報として情報処 理サーバ 1 〇に送信する。 例え ば、 ユーザ 4〇八のアクション情報を受信した情報処理� �ーバ 1 0は、 ユー ザ 4 0八のアクション情報をユーザ 4 0八と同一のグループに属するユーザ 4 0巳の端末装置 3 0巳に送信する。

[0028] 一方、 端末装置 3 0巳は、 端末装置 3 0巳にて検出されたユーザ 4 0巳の アクションに対応してユーザ 4 0巳に音声を提示する。 ここで、 端末装置 3 〇巳は、 受信したユーザ 4 0八のアクション情報に基づいて、 ユーザ 4 0巳 のアクションがユーザ 4 0八のアクションと時間的に一致して行われ� �か （ すなわち、 同期しているか否か） を判定する。 ユーザ 4 0八及びユーザ 4 0 巳のアクションが時間的に一致して行われた と判定された場合、 端末装置 3 0巳は、 ユーザ 4 0巳単独にてアクションに行われた場合とは� �なる音声を ユーザ 4 0巳に提示する。 〇 2020/174925 8 卩（：170? 2020 /001554

[0029] これによれば、 本開示の一実施形態に係る情報処理システム は、 ユーザ 4

0巳のアクションに対応してユーザ 4 0巳に音声を提示するコンテンツにお いて、 ユーザ 4 0巳のアクションと、 他ユーザのアクションとの同期の有無 に基づいて、 提示される音声を制御することができる。 したがって、 情報処 理システムは、 より双方向性のあるコンテンツを実現するこ とが可能である

[0030] 以下では、 上記にて概略を説明した本開示の一実施形態 に係る情報処理シ ステムについて、 より具体的に説明する。

[0031 ] < 2 . 構成例 >

まず、 図 4を参照して、 本開示の一実施形態に係る情報処理システム の構 成例について説明する。 図 4は、 本実施形態に係る情報処理システムの構成 例を示すブロック図である。

[0032] 図 4に示すように、 本実施形態に係る情報処理システムは、 端末装置 3 0 と、 情報処理サーバ 1 〇と、 を備える。 具体的には、 端末装置 3 0は、 セン サ部 3 1 0と、 アクション判断部 3 2 0と、 通信部 3 3 0と、 同期判断部 3 4 0と、 音声制御部 3 5 0と、 音声提示部 3 6 0と、 を備える。 情報処理サ —バ 1 0は、 通信部 1 1 〇と、 グループ作成部 1 2 0と、 通信制御部 1 3 0 と、 を備える。

[0033] なお、 端末装置 3 0は、 情報処理サーバ 1 0を介さずに、 他の端末装置 3

0との間で 2 ? （? 6 6 「 1: 0 ㊀ ㊀ 〇 のネッ トワークを形成して いてもよい。

[0034] （端末装置 3 0）

センサ部 3 1 0は、 ユーザ 4 0のアクションを検出するためのセンサを含 む。 具体的には、 端末装置 3 0がユーザ 4 0の身体に装着されるウェアラブ ル端末、 又はユーザ 4 0に所持される携帯電話、 スマートフォン若しくはコ ントローラである場合、 センサ部 3 1 0は、 加速度センサ、 ジャイロセンサ 、 又は地磁気センサを含んでもよい。 このような場合、 センサ部 3 1 0は、 端末装置 3 0の傾き、 又は端末装置 3 0に加えられる振動を検出することで 〇 2020/174925 9 卩（：170? 2020 /001554

、 ユーザ 4 0がどのようなアクションを行ったかを判断� �るための情報を得 ることができる。

[0035] または、 センサ部 3 1 0は、 ユーザ 4 0のアクションをより直接的に検出 することが可能なモーションキヤプチヤ用の マーカ及びトラッカ、 ステレオ カメラ、 又は丁〇 センサを含んでもよい。 このような場合、 センサ部 3 1 0は、 ユーザ 4 0の身体の各部の動きを検出することで、 ユーザ 4 0がどの ようなアクションを行ったかを判断するため の情報を得ることができる。 な お、 ユーザ 4 0のアクションを検出するために必要であれ� �、 センサ部 3 1 〇は、 端末装置 3 0の外部に設けられてもよい。

[0036] ただし、 センサ部 3 1 0が含むセンサは、 後段のアクション判断部 3 2 0 にてユーザ 4 0のアクションを検出することができれば、 上記例示に限定さ れない。 例えば、 センサ部 3 1 0は、 ユーザ 4 0が行動する部屋の床又は壁 に設けられた圧カセンサ又は近接センサを含 んでもよい。 このような場合で あっても、 センサ部 3 1 0は、 ユーザ 4 0がどのようなアクションを行った かを判断するための情報を得ることができる 。

[0037] センサ部 3 1 0が含むセンサは、 あらかじめアクション検出の閾値等がキ ヤリブレーションされていてもよい。 例えば、 センサ部 3 1 0が含むセンサ は、 検出するアクションをあらかじめユーザ 4 0に行ってもらうことで、 ア クション検出の閾値が適切な値にキヤリブレ ーションされていてもよい。 な お、 検出するアクションが歩行である場合、 歩行はセンシング結果から予測 しやすいため、 事前にアクション検出のパラメータを適切に キヤリブレーシ ョンすることが可能である。

[0038] アクション判断部 3 2 0は、 センサ部 3 1 0のセンシング結果に基づいて 、 ユーザ 4 0がどのようなアクションを行ったかを判断� �、 ユーザ 4 0のア クションに関するアクション情報を生成する 。 具体的には、 アクション判断 部 3 2 0は、 センサ部 3 1 0のセンシング結果に基づいて、 ユーザ 4 0のア クションの有無、 並びにアクションのタイミング及び大きさを 判断し、 判断 した情報を含むアクション情報を生成しても よい。 例えば、 ユーザ 4 0のア 〇 2020/174925 10 卩（：170? 2020 /001554

クションがジャンプである場合、 アクション判断部 320は、 センサ部 3 1 0のセンシング結果に基づいて、 ユーザ 40のジャンプの大きさ、 方向、 開 始タイミング、 及び持続時間を判断し、 判断した情報を含むアクション情報 を生成してもよい。

[0039] また、 ユーザ 40のアクションがより複雑な動きである場合� �� アクション 判断部 320は、 センサ部 3 1 0のセンシング結果に基づいて、 ユーザ 40 の腕、 脚、 頭部又は身体の動きのタイミング及び大きさ を判断してもよい。 このような場合、 アクション判断部 320は、 ユーザ 40の身体をボーン状 の骨格で表現した情報をアクション情報とし て生成してもよい。 さらに、 ア クション判断部 320は、 センサ部 3 1 0のセンシング結果をそのままアク ション情報としてもよい。

[0040] 通信部 330は、 ネッ トワーク 50に接続可能な通信インタフェースを含 み、 情報処理サーバ 1 〇又は他の端末装置 30との間でアクション情報の送 受信を行う。 具体的には、 通信部 330は、 アクション判断部 320が生成 したアクション情報を情報処理サーバ 1 0に送信し、 かつ情報処理サーバ 1 0から他の端末装置 30にて生成された他ユーザのアクション情報� ��受信す る。

[0041] 通信部 330は、 ネッ トワーク 50との間で、 例えば TC P/丨 P等の所 定のプロトコルに則して信号等を送受信する ことができれば、 通信方式は特 に限定されない。 通信部 330は、 3G、 4〇又は!_丁巳 (L o n g T e r m E v o l u t i o n) などの移動体通信用又はデータ通信用の通信 イ ンタフェースを含むことで、 これらの通信によってネッ トワーク 50に接続 可能であってもよい。

[0042] または、 通信部 330は、 他の情報処理装置を介してネッ トワーク 50に 接続可能であってもよい。 例えば、 通信部 330は、 無線 L A N (L〇 c a I A r e a N e t wo r k) 、 W i —F i (登録商標) 、 B I u e t 〇 o t h (登録商標) 又は WU S B (W i r e l e s s US B) 用の通信イ ンタフェースを含むことで、 これらの口ーカル通信によって他の情報処理 装 〇 2020/174925 1 1 卩（：170? 2020 /001554

置と通信可能であってもよい。 このような場合、 端末装置 3 0と口ーカル通 信を行う情報処理装置は、 ネッ トワーク 5 0に接続することで、 端末装置 3 〇と、 情報処理サーバ 1 0又は他の端末装置 3 0との間のアクション情報の 送受信を行う。

[0043] 同期判断部 3 4 0は、 ユーザ 4 0が行ったアクションと、 他ユーザが行っ たアクションとの時間的な一致を判断する。 具体的には、 同期判断部 3 4 0 は、 ユーザ 4 0がアクションを行った場合に、 ユーザ 4 0のアクション情報 と、 通信部 3 3 0にて受信した他ユーザのアクション情報と� �比較し、 ユー ザ 4 0及び他ユーザのアクションのタイミングが� �致しているか否か （すな わち、 同期しているか否か） を判断する。

[0044] 例えば、 同期判断部 3 4 0は、 ユーザ 4 0のアクションと、 他ユーザのア クションとが閾値時間内に行われている場合 に、 ユーザ 4 0及び他ユーザの アクションは同期していると判断してもよい 。 より具体的には、 同期判断部 3 4 0は、 アクションの始まり又は終わりのタイミング がユーザ 4 0及び他 ユーザの間で閾値時間内であるか否かを判断 することで、 ユーザ 4 0及び他 ユーザのアクションが同期しているか否かを 判断してもよい。 例えば、 ユー ザ 4 0のアクションがジャンプ等の単純な行動で� �る場合、 同期判断部 3 4 0は、 アクションが行われたタイミング （すなわち、 アクションの始まりの タイミング） を比較することで、 ユーザ 4 0及び他ユーザのアクションが同 期しているか否かを判断することができる。

[0045] また、 同期判断部 3 4 0は、 ユーザ 4 0のアクション時の姿勢変化の大き さ及びタイミングと、 他ユーザのアクション時の姿勢変化の大きさ 及びタイ ミングとの差が閾値以下である場合に、 ユーザ 4 0及び他ユーザのアクショ ンは同期していると判断してもよい。 より具体的には、 同期判断部 3 4 0は 、 ユーザ 4 0及び他ユーザが行ったアクションにおける� �、 脚、 頭部、 又は 身体の動きの大きさ及びタイミングの差が閾 値以下であるか否かを判断する ことで、 ユーザ 4 0及び他ユーザのアクションが同期している� �否かを判断 してもよい。 または、 同期判断部 3 4 0は、 ユーザ 4 0及び他ユーザが行っ 〇 2020/174925 12 卩（：170? 2020 /001554

たアクションにおける腕、 脚、 頭部、 又は身体の向きの変化の差が閾値以下 であるか否かを判断することで、 ユーザ 4 0及び他ユーザのアクションが同 期しているか否かを判断してもよい。 例えば、 ユーザ 4 0のアクションがダ ンス等のより複雑な行動である場合、 同期判断部 3 4 0は、 アクションの具 体的な動きの大きさ及びタイミングを比較す ることで、 ユーザ 4 0及び他ユ —ザのアクションが同期しているか否かを判 断することができる。

[0046] さらに、 同期判断部 3 4 0は、 センサ部 3 1 0のセンシング結果を、 他の 端末装置 3 0のセンサ部によるセンシング結果と直接比� �することで、 ユー ザ 4 0及び他ユーザのアクションが同期している� �否かを判断してもよい。 より具体的には、 同期判断部 3 4 0は、 ユーザ 4 0のアクションのセンシン グ結果 （すなわち、 センサの出力の生値） の大きさ及びタイミングと、 他ユ —ザのアクションのセンシング結果の大きさ 及びタイミングとの差が閾値以 下であるか否かを判断することで、 ユーザ 4 0及び他ユーザのアクションが 同期しているか否かを判断してもよい。

[0047] なお、 同期判断部 3 4 0は、 2以上のユーザ 4 0のアクションが同期した 場合に、 ユーザ 4 0及び他ユーザのアクションが同期したと判� �してもよい が、 本開示に係る技術は、 かかる例示に限定されない。 例えば、 同期判断部 3 4 0は、 閾値以上のユーザ 4 0のアクションが同期した場合にのみ、 ユー ザ 4 0及び他ユーザのアクションが同期したと判� �してもよい。 また、 同期 判断部 3 4 0は、 同ーグループ内の閾値割合以上のユーザ 4 0のアクション が同期した場合に、 ユーザ 4 0及び他ユーザのアクションが同期したと判� � してもよい。

[0048] 音声制御部 3 5 0は、 ユーザ 4 0のアクションに対応してユーザ 4 0に音 声を提示するように音声提示部 3 6 0を制御する。 例えば、 ユーザ 4 0のア クションがジャンプである場合、 音声制御部 3 5 0は、 ジャンプの飛び上が り及び着地のそれぞれのタイミングでユーザ 4 0に効果音を提示するように 音声提示部 3 6 0を制御してもよい。 または、 音声制御部 3 5 0は、 ジャン プの飛び上がりの勢い等のジャンプの動作の パラメータに基づいてユーザ 4 〇 2020/174925 13 卩（：170? 2020 /001554

0に提示される効果音を制御してもよく、 ユーザ 4 0の体格等に基づいてユ —ザ 4 0に提示される効果音を制御してもよく、 天候等の環境情報に基づい てユーザ 4 0に提示される効果音を制御してもよく、 コンテンツのイベント 情報又はストーリの展開等のパラメータに基 づいてユーザ 4 0に提示される 効果音を制御してもよい。 なお、 音声制御部 3 5 0は、 他ユーザのアクショ ンに対応してユーザ 4 0に音声を提示するように音声提示部 3 6 0を制御し てもよい。

[0049] 音声制御部 3 5 0が制御する音声は、 あらかじめ端末装置 3 0に記憶され た音声であってもよいが、 端末装置 3 0にて収音された音声であってもよい 。 例えば、 ユーザ 4 0のアクションがジャンプである場合、 端末装置 3 0は 、 ジャンプしたユーザ 4 0の着地音を収音し、 収音した着地音を音声制御部 3 5 0にて制御させてもよい。 このとき、 音声制御部 3 5 0は、 収音した音 声をそのまま制御に用いてもよく、 エフェクト等を掛けて加工した音声を制 御に用いてもよい。

[0050] 本実施形態に係る情報処理システムでは、 音声制御部 3 5 0は、 同期判断 部 3 4 0の判断に基づいて、 ユーザ 4 0のアクションに対応してユーザ 4 0 に提示される音声を制御する。 具体的には、 音声制御部 3 5 0は、 同期判断 部 3 4 0にてユーザ 4 0及び他ユーザのアクションが同期している� �判断さ れた場合、 ユーザ 4 0のアクションに対応してユーザ 4 0に提示される音声 を変更してもよい。

[0051 ] ここで、 音声制御部 3 5 0による音声の制御について、 図 5〜図 7巳を参 照してより具体的に説明する。 図 5は、 ユーザ八及びユーザ巳のアクション を検出するセンサ出力と、 ユーザ巳に提示される音声出力とを並列に示 した グラフ図である。 図 5では、 端末装置 3 0は、 ユーザ八、 巳のジャンプに対 応して効果音を出力している。

[0052] 図 5に示すように、 ユーザ八、 巳のセンサ出力がピークを取っている場合 、 ユーザ八、 巳はジャンプをしていると判断される。 このとき、 音声制御部 3 5 0は、 ユーザ八及びユーザ巳が略同時にジャンプを しているタイミング 〇 2020/174925 14 卩（：170? 2020 /001554

¢1で出力される音声の音量をユーザ巳のみ がジャンプをしているタイミン グ 3で出力される音声の音量よりも大きくなる� �うに制御してもよい。 ま た、 音声制御部 3 5 0は、 ユーザ八及びユーザ巳が略同時にジャンプを して いるタイミング I と、 ユーザ巳のみがジャンプをしているタイミン グ 1 3 とで、 音声の持続時間、 又は音程の高さを制御してもよく、 音声に対する効 果音の追加を制御してもよい。

[0053] 図 6は、 音声制御部 3 5 0によって制御された音声波形の一例をユー� � 4

0及び他ユーザの組み合わせごとに示したグ� �フ図である。 図 6では、 ユー ザ 4 0のみがアクション （例えば、 ジャンプ） を行った場合の音声波形の一 例を八で示し、 他ユーザのみがアクションを行った場合の音 声波形の一例を 巳で示し、 ユーザ 4 0及び他ユーザが略同時にアクションを行っ� �場合の音 声波形の一例を〇で示し、 複数の他ユーザが略同時にアクションを行っ た場 合の音声波形の一例を口で示す。

[0054] 図 6に示すように、 ユーザ 4 0のみがアクションを行った場合の音声波形 八を基準とすると、 他ユーザのみがアクションを行った場合の音 声波形巳は 、 音声波形八よりも小さな振幅に制御されても よい。 また、 他ユーザのみが アクションを行った場合の音声波形巳は、 音声波形八よりも高周波成分が低 減されるように、 持続時間が短くなるように、 定位が遠くなるように、 又は リバーブ （残響） が掛かるように制御されてもよい。

[0055] —方、 ユーザ 4 0及び他ユーザが略同時にアクションを行っ� �場合の音声 波形＜3は、 音声波形八よりも大きな振幅に制御されても よい。 また、 ユーザ 4 0及び他ユーザが略同時にアクションを行っ� �場合の音声波形〇は、 音声 波形 よりも持続時間が長くなるように、 再生速度が遅くなるように、 又は ジャンプの着地音、 地響き、 落下音若しくは歓声などの効果音が追加され る ように制御されてもよい。 さらに、 複数の他ユーザが略同時にアクションを 行った場合の音声波形口は、 他ユーザのみがアクションを行った場合の音 声 波形巳と、 ユーザ 4 0及び他ユーザが略同時にアクションを行っ� �場合の音 声波形口との中間の波形となるように制御さ れてもよい。 〇 2020/174925 15 卩（：170? 2020 /001554

[0056] ここで、 音声制御部 3 5 0がユーザ 4 0及び他ユーザが閾値時間内にアク ションを行ったことを確認した後にユーザ 4 0に提示する音声を制御した場 合、 音声の提示のタイミングがユーザ 4 0のアクションのタイミングとずれ てしまう可能性がある。 図 7八及び図 7巳を参照して、 このような場合の音 声制御部 3 5 0の制御について説明する。 図 7八及び図 7巳は、 ユーザ八及 びユーザ巳のアクションを検出するセンサ出 力と、 ユーザ八に提示される音 声出力とを並列に示したグラフ図である。 図 7八及び図 7巳では、 端末装置 3 0は、 ユーザ八、 巳のジャンプに対応して効果音を出力してい る。

[0057] 図 7八に示す場合では、 ユーザ八がアクション （すなわち、 ジャンプ） を 行ったことが確認された時点で、 閾値時間内に他ユーザ巳がアクションを行 ったことがすでに認識されている。 そのため、 音声制御部 3 5 0は、 ユーザ 八のアクションに対応して、 複数のユーザのアクションが同期している場 合 の音声を提示するように音声提示部 3 6 0を制御することができる。

[0058] —方、 図 7巳に示す場合では、 ユーザ八がアクションを行ったことが確認 された時点では、 閾値時間内に他ユーザ巳がアクションを行っ たか否かが認 識されていない。 そのため、 音声制御部 3 5 0は、 まず、 ユーザ八のアクシ ョンに対応して、 ユーザ八のみがアクションを行った場合の音 声を提示する ように音声提示部 3 6 0を制御する。 その後、 閾値時間内に他ユーザ巳がア クションを行ったことが認識された場合、 音声制御部 3 5 0は、 ユーザ八の みがアクションを行った場合の音声に重畳し て、 複数のユーザのアクション が同期している場合の音声を提示するように 音声提示部 3 6 0を制御する。 このような制御によれば、 音声制御部 3 5 0は、 閾値時間内に他ユーザ巳が アクションを行ったか否かを確認する前に、 ユーザ八のアクションに対応し て音声を提示するように音声提示部 3 6 0を制御することができる。 したが って、 音声制御部 3 5 0は、 音声の提示のタイミングがユーザ 4 0のアクシ ョンのタイミングとずれてしまうことを防止 することができる。

[0059] さらに、 同期判断部 3 4 0がユーザ 4 0及び他ユーザのアクション時の姿 勢変化の大きさ及びタイミングの差にて、 ユーザ 4 0及び他ユーザのアクシ 〇 2020/174925 16 卩（：170? 2020 /001554

ョンの同期を判断している場合、 音声制御部 3 5 0は、 アクション時の姿勢 変化の大きさ及びタイミングの差に基づいて 、 ユーザ 4 0に提示する音声を 制御してもよい。 具体的には、 ユーザ 4 0のアクションがダンス等の複雑な 行動である場合、 音声制御部 3 5 0は、 教師となる他ユーザのアクション時 の姿勢変化と、 ユーザ 4 0のアクション時の姿勢変化との差を音声に� �映さ せることで、 ユーザ 4 0に動きの適切さを提示することができる。

[0060] 例えば、 音声制御部 3 5 0は、 教師となる他ユーザのアクション時の姿勢 変化と、 ユーザ 4 0のアクション時の姿勢変化との差が小さい� �合に、 音量 がより大きい、 持続時間が長い、 又は追加の効果音が付加された音声をユー ザ 4 0に提示するように音声提示部 3 6 0を制御してもよい。 または、 音声 制御部 3 5 0は、 教師となる他ユーザのアクション時の姿勢変 化と、 ユーザ 4 0のアクション時の姿勢変化との差が大きい� �合に、 より音量が大きい音 声をユーザ 4 0に提示するように音声提示部 3 6 0を制御してもよい。 さら には、 音声制御部 3 5 0は、 複数の他ユーザのアクション時の姿勢変化と 、 ユーザ 4 0のアクション時の姿勢変化とを比較し、 ユーザ 4 0及び複数の他 ユーザのアクション時の姿勢変化の一致度が より高い場合に、 音量がより大 きい音声をユーザ 4 0に提示するように音声提示部 3 6 0を制御してもよい

[0061 ] ここで、 図 8〜図 1 0巳を参照して、 かかる音声制御部 3 5 0の動作につ いてより具体的に説明する。 図 8は、 ユーザ 4 0、 及び教師である他ユーザ のアクションのセンシング結果の一例を示す グラフ図である。 また、 図 9は 、 ユーザ 4 0及び他ユーザのアクションの差に基づいて� �ーザ 4 0に提示さ れる音声を制御する方法を説明する説明図で あり、 図 1 〇八及び図 1 〇巳は 、 ユーザ 4 0及び他ユーザのアクションの差に基づいて� �ーザ 4 0に提示さ れる音声を制御する具体的な方法を説明する 説明図である。 図 8及び図 9で は、 ユーザ 4 0のアクションのセンシング結果を実線で示� �、 教師である他 ユーザのアクションのセンシング結果を破線 で示す。

[0062] アクションがダンス等の複雑な行動である場 合、 ユーザ 4 0及び他ユーザ 〇 2020/174925 17 卩（：170? 2020 /001554

は、 モーションセンサ又はモーションキヤプチヤ 等を用いることで、 アクシ ョン時の姿勢変化を図 8で示すようなパラメータの変化に変換する� �とがで きる。 図 8に示す縦軸のパラメータは、 ユーザ 4 0及び他ユーザの動きをセ ンシングするセンサの値を変換したパラメー タであり、 例えば、 ユーザ 4 0 及び他ユーザの腕の角度のパラメータである 。 音声制御部 3 5 0は、 ユーザ 4 0又は他ユーザのいずれかに動きがある時間� �おいて、 ユーザ 4 0及び他 ユーザの動きの差に基づいてユーザ 4 0に提示される音声を制御することが できる。 これによれば、 音声制御部 3 5 0は、 ユーザ 4 0に提示される音声 を連続的に制御することができるようになる 。

[0063] 具体的には、 図 9に示すように、 音声制御部 3 5 0は、 ユーザ 4 0及び他 ユーザのアクションを検出するセンサ値から 変換された腕等の角度のパラメ —夕をユーザ 4 0及び他ユーザの間で比較する。 これにより、 音声制御部 3 5 0は、 ユーザ 4 0及び他ユーザのアクションの間で、 アクション時の姿勢 変化のずれ量、 及び大きさの差を検出することができる。 音声制御部 3 5 0 は、 検出されたアクション時の姿勢変化の大きさ の差 （音パラメータ a） 、 及びずれ量 （音パラメータ b） を音声の変調パラメータとして用いることで 、 ユーザ 4 0に提示する音声を制御することができる。

[0064] 例えば、 図 1 0 Aに示すように、 ユーザ 4 0に提示する音声があらかじめ 記憶された音声波形のループである場合、 音声制御部 3 5 0は、 アクション 時の姿勢変化の大きさの差 （音パラメータ a） を音声波形の振幅を制御する パラメータとして用いてもよい。 また、 音声制御部 3 5 0は、 アクションの ずれ量 （音パラメータ b） を音声波形に作用させるフィルタ関数を制御 する パラメータとして用いてもよい。

[0065] また、 図 1 0 Bに示すように、 ユーザ 4 0に提示する音声が F M （F r e q u e n c y M o d u l a t i o n） 音源である場合、 音声制御部 3 5 0 は、 アクション時の姿勢変化の大きさの差 （音パラメータ a） を F M音源の 周波数及び振幅を制御するパラメータとして 用いてもよい。 また、 音声制御 部 3 5 0は、 アクションのずれ量 （音パラメータ b） を F M音源の F M変調 〇 2020/174925 18 卩（：170? 2020 /001554

の強さを制御するパラメータとして用いて もよい。 これによれば、 音声制御 部 3 5 0は、 ユーザ 4 0及び他ユーザのアクションのずれ量が小さ� �場合に 柔らかい音色の音声を提示し、 ユーザ 4 0及び他ユーザのアクションのずれ 量が大きい場合に硬い音色の音声を提示する ように音声提示部 3 6 0を制御 することが可能になる。

[0066] なお、 教師である他ユーザのアクションを確認して からユーザ 4 0がアク ションを行う場合には、 教師である他ユーザが先に動いた後にユーザ 4 0が 動くと考えられる。 そのため、 教師である他ユーザのアクションのタイミン グよりもユーザ 4 0のアクションのタイミングのほうが遅い場� �には、 音声 制御部 3 5 0は、 アクションのずれ量 （音パラメータ 13） を 0とみなしても よい。 一方、 教師である他ユーザのアクションのタイミン グよりもユーザ 4 0のアクションのタイミングのほうが早い場� �には、 音声制御部 3 5 0は、 アクションのずれ量 （音パラメータ 13） をそのまま音声の変調パラメータと して反映させてもよい。

[0067] 音声提示部 3 6 0は、 スピーカ又はヘッ ドフォン等の音声出力装置を含み 、 ユーザ 4 0に音声を提示する。 具体的には、 音声提示部 3 6 0は、 音声制 御部 3 5 0にて制御された音声データのオーディオ信� �をアナログ信号に変 換し、 音声として出力してもよい。

[0068] なお、 複数のユーザのアクションが同期している場 合、 端末装置 3 0は、 ユーザ 4 0にさらなる出力を提示してもよい。 例えば、 複数のユーザのアク ションが同期している場合、 端末装置 3 0は、 所定の画像を表示するように 表示部を制御してもよい。 また、 端末装置 3 0は、 複数のユーザのアクショ ンが同期している場合、 コンテンツのストーリ展開が変わるように該 コンテ ンツを制御してもよい。

[0069] （情報処理サーバ· I 0）

通信部 1 1 0は、 ネッ トワーク 5 0に接続可能な通信インタフェースを含 み、 端末装置 3 0との間でアクション情報の送受信を行う。 具体的には、 通 信部 1 1 0は、 端末装置 3 0から送信されたアクション情報を他の端末� �置 〇 2020/174925 19 卩（：170? 2020 /001554

30に送信する。

[0070] 通信部 1 1 0は、 ネッ トワーク 50との間で、 例えば TC P/丨 P等の所 定のプロトコルに則して信号等を送受信する ことができれば、 通信方式は特 に限定されない。 通信部 1 1 0は、 3G、 4〇又は!_丁巳 (L o n g T e r m E v o l u t i o n) などの移動体通信用又はデータ通信用の通信 イ ンタフエースを含むことで、 ネッ トワーク 50に接続可能であってもよい。

[0071] 通信制御部 1 30は、 受信したアクション情報をいずれの端末装置 30に 送信するかを制御する。 具体的には、 通信制御部 1 30は、 受信したアクシ ョン情報に対応するユーザ 40と同一のグループに属するユーザの端末装� �� 30に該アクション情報を送信するように通信� �� 1 1 0を制御する。 これに よれば、 端末装置 30は、 同ーグループに属するユーザ 40について、 アク ションの時間的な一致を判断することができ る。 なお、 ユーザ 40が属する グループは、 後述するグループ作成部 1 20にて作成される。

[0072] グループ作成部 1 20は、 アクション情報を互いに送受信し合うユーザ 4

0のグループをあらかじめ作成する。 具体的には、 グループ作成部 1 20は 、 同一領域に存在する、 同ーコンテンツを体験する、 同ーアプリケーション を使用する、 又は同ーデバイスを使用するユーザをグルー ピングすることで 、 アクション情報を互いに送受信し合うユーザ 40のグループを作成しても よい。

[0073] 例えば、 グループ作成部 1 20は、 同一のコンテンツを同時に体験してい るユーザ 40をあらかじめ同 ^_ のグループにグルービングしてもよい。 また 、 グループ作成部 1 20は、 専用デバイス又は専用アプリケーションを使 用 しているユーザ 40を同一のグループにグルービングしてもよ� ��。 さらに、 グループ作成部 1 20は、 ネッ トワーク 50を経由して同じコンテンツを体 験するユーザ 40を同一のグループにグルービングしてもよ� ��。

[0074] 例えば、 グループ作成部 1 20は、 端末装置 30の G N S S (G l o b a

I N a v i g a t i o n S a t e l l i t e S y s t e m) などの位 置情報、 3G、 4G、 L T E若しくは 5 Gなどの移動体通信網のネッ トワー 〇 2020/174925 20 卩（：170? 2020 /001554

ク情報、 又はビーコンなどを用いることで、 端末装置 30の位置を判断し、 同一領域に存在するユーザ 40を同ーグループにグルービングしてもよい� �� また、 グループ作成部 1 20は、 仮想空間内の仮想的な位置情報で同一領域 に存在するユ _ザ 40を同 ^_ グループにグルービングしてもよい。 さらには 、 グループ作成部 1 20は、 端末装置 30の間の P 2 P通信によって発見さ れた同一領域に存在するユーザ 40を同ーグループにグルーピングしてもよ い。

[0075] または、 グループ作成部 1 20は、 所定時間内に同じジェスチャをしたユ —ザ 40を同ーグループにグルービングしてもよく� �� 同じ音を検出したユー ザ 40を同ーグループにグルービングしてもよく� �� 同じ被写体 （例えば、 二 次元コード等の特定の識別画像） を撮影したユーザ 40を同ーグループにグ ル _ビングしてもよい。

[0076] さらには、 グループ作成部 1 20は、 S N S （S o c i a l N e t wo r k i n g S e r v i c e） から検出できる友人関係を用いてユーザ 40 をあらかじめグルービングしてもよい。 このような場合、 グループ作成部 1 20は、 ユーザ 40の S N Sにおけるアカウント情報を取得することで� � 自 動的にグループを作成してもよい。 なお、 グループ作成部 1 20が自動的に グループを作成した場合、 グループ作成部 1 20は、 ユーザ 40の所持する 端末装置 30にユーザ 40が属するグループを音声又は画像にて提示� ��ても よい。

[0077] <3. 動作例 >

次に、 図 1 1〜図 1 3を参照して、 本開示の一実施形態に係る情報処理シ ステムの動作例について説明する。 図 1 1〜図 1 3は、 本開示の一実施形態 に係る情報処理システムの動作の流れの一例 を説明するフローチャート図で ある。

[0078] （第 1の動作例）

図 1 1 に示す動作の流れは、 ユーザ 40のアクション情報を検出するより も先に、 他ユーザのアクション情報を受信した場合の 動作例である。 〇 2020/174925 21 卩（：170? 2020 /001554

[0079] 図 1 1 に示すように、 まず、 通信部 330によって情報処理サーバ 1 0か ら他ユーザのアクション情報が受信され、 （31 01） 、 同期判断部 340 によって他ユーザにおけるアクションの発生 時刻が 0に設定される （31 02） 。 その後、 センサ部 3 1 0のセンシング結果に基づいて、 アクション 判断部 320によってユーザ 40のアクションが検出され （31 03） 、 同 期判断部 340によってユーザ 40におけるアクションの発生時刻が 1: 1 に 設定される （31 04） 。

[0080] ここで、 同期判断部 340は、 丨 1: 1 — 〇 丨 （1: 1及び 1: 0の差の絶対 値） が閾値以下であるか否かを判断する （31 05） 。

値以下である場合 （31 05/丫 63） 、 音声制御部 350は、 複数人のア クションが同期した場合に対応する効果音を ユーザ 40に提示するように音 声提示部 360を制御する （31 06） 。 一方、 丨 I 1 — I 0 丨が閾値以下 ではない場合 （31 05/1\1〇） 、 音声制御部 350は、 1人のアクション に対応する効果音をユーザ 40に提示するように音声提示部 360を制御す る （31 07） ₀

[0081] （第 2の動作例）

図 1 2に示す動作の流れは、 他ユーザのアクション情報を受信するよりも 先に、 ユーザ 40のアクション情報を検出した場合の動作例� ��ある。

[0082] 図 1 2に示すように、 まず、 センサ部 3 1 0のセンシング結果に基づいて 、 アクション判断部 320によってユーザ 40のアクションが検出され （3 1 1 1） 、 同期判断部 340によってユーザ 40におけるアクションの発生 時刻が 1： 1 に設定される （31 1 2） 。 これにより、 音声制御部 350は、 まず、 1人のアクションに対応する効果音をユーザ 40に提示するように音 声提示部 360を制御する （31 1 3） 。 その後、 通信部 330によって情 報処理サーバ 1 〇から他ユーザのアクション情報が受信され 、 （31 1 4）

、 同期判断部 340によって他ユーザにおけるアクションの発 生時刻が 1 2 に設定される （31 1 5） 。

[0083] ここで、 同期判断部 340は、 丨 1 2— I 1 丨 2及び1 1の差の絶対 〇 2020/174925 22 卩（：170? 2020 /001554

値） が閾値以下であるか否かを判断する （31 1 6） 。

値以下である場合 （31 1 6/丫 63） 、 音声制御部 350は、 複数人のア クションが同期した場合に対応する効果音を 1人のアクションに対応する効 果音に重畳させてユーザ 40に提示するように音声提示部 360を制御する （31 1 7） 。 一方、 丨 I 2_ I 1 丨が閾値以下ではない場合 （31 1 6/ N0） 、 音声制御部 350は、 1人のアクションに対応する効果音をユーザ 40に提示した後、 音声提示部 360の制御を終了する。

[0084] （第 3の動作例）

図 1 3に示す動作例は、 ユーザ 40のアクション情報の検出、 及び他ユー ザのアクション情報の受信の後先に限定され ない動作例である。

[0085] 図 1 3に示すように、 まず、 ユーザ 40が端末装置 30であるヘッ ドフォ ンを装着する （3201） 。 これにより、 端末装置 30は、 ユーザ 40のア クションに対応して音声を提示する動作を開 始する。 すなわち、 端末装置 3 0は、 アクション判断部 320によるユーザ 40のアクションの検出、 又は 通信部 330による他ユーザのアクション情報の受信の いずれかが発生した か否かを判断する （3202） 。 いずれも発生していない場合 （3202/ いずれも N0） 、 端末装置 30は、 引き続き、 ステップ 3202の動作を実 行する。

[0086] ユーザ 40のアクションが検出された場合 （3202/ユーザのアクショ ンを検出） 、 同期判断部 340は、 所定時間内に他ユーザのアクション情報 を受信したか否かを判断する （3203） 。 所定時間内に他ユーザのアクシ ョン情報を受信した場合 （3203/丫 _{6 3} ） 、 音声制御部 350は、 複数 人のアクションが同期した場合に対応する効 果音をユーザ 40に提示するよ うに音声提示部 360を制御する （3206） 。 一方、 所定時間内に他ユー ザのアクション情報を受信していない場合 （3203/!\1〇） 、 音声制御部 350は、 1人のアクションに対応する効果音をユーザ 40に提示するよう に音声提示部 360を制御する （3205） 。

[0087] また、 ステップ 3202において、 他ユーザのアクション情報が受信され 〇 2020/174925 23 卩（：170? 2020 /001554

た場合 （3 2 0 2 /他ユーザのアクション情報の受信） 、 同期判断部 3 4 0 は、 所定時間内にユーザ 4 0のアクションを検出したか否かを判断する （3

2 0 4） 。 所定時間内にユーザ 4 0のアクションを検出した場合 （3 2 0 4 /丫㊀ 3） 、 音声制御部 3 5 0は、 複数人のアクションが同期した場合に対 応する効果音をユーザ 4 0に提示するように音声提示部 3 6 0を制御する （

3 2 0 6） 。 一方、 所定時間内にユーザ 4 0のアクションを検出していない 場合 （3 2 0 4 / 1\1〇） 、 音声制御部 3 5 0は、 ユーザ 4 0に効果音を提示 せずに動作を終了する。

[0088] その後、 端末装置 3 0は、 ユーザ 4 0が端末装置 3 0であるヘッ ドフォン を外したことを検出したか否かを判断し （3 2 0 7） 、 ユーザ 4 0がヘッ ド フォンを外したと判断される （3 2 0 7 /丫 ₆ 3） までステップ 3 2 0 2の 動作を実行する。 ユーザ 4 0がヘッ ドフォンを外したと判断される場合 （3 2 0 7 /丫6 3） 、 端末装置 3 0は、 ユーザ 4 0のアクションに対応して音 声を提示する動作を終了する。

[0089] なお、 第 3の動作例では、 ユーザ 4 0が端末装置 3 0であるヘッ ドフォン を外したことをフローチャートの終了に用い たが、 第 3の動作例は上記例示 に限定されない。 例えば、 第 3の動作例は、 ユーザ 4 0がコンテンツを体験 するためのアプリケーションを終了したこと 、 ユーザ 4 0が電話又はメッセ —ジの送受信等の他のアプリケーションを起 動したこと、 ユーザ 4 0が別の グループに属するようになったこと、 ユーザ 4 0が所定の領域から離れたこ と、 所定時間の経過若しくは所定条件の成立によ ってコンテンツの体験が終 了したこと、 又はユーザ 4 0が属するグループのメンバーが終了を指示� �た こと等によっても終了してもよい。

[0090] ここで、 図 1 4を参照して、 本実施形態に係る情報処理システムがユーザ 4 0及び他ユーザのアクションの同期を判断す� �期間について説明する。 図 1 4は、 本実施形態に係る情報処理システムがユーザ 間の同期を判断する期 間を説明する説明図である。

[0091 ] 図 1 4では、 ユーザ八がイヤフォン又はへッ ドフォン型である端末装置 3 〇 2020/174925 24 卩（：170? 2020 /001554

0を装着している期間を巳八で示し、 ユーザ八のアクションを検出する期間 を〇八で示している。 同様に、 ユーザ巳がイヤフォン又はヘッ ドフォン型で ある端末装置 3 0を装着している期間を巳巳で示し、 ユーザ巳のアクション を検出する期間を口巳で示している。

[0092] このような場合、 本実施形態に係る情報処理システムがユーザ 間の同期を 判断する期間丁 3ソ n〇は、 ユーザ八及びユーザ巳のそれぞれのアクショ ン を同時に検出することが可能な期間となる。 すなわち、 ユーザ間の同期を判 断する期間 T s y n cは、 ユーザ八のアクションを検出する期間 0八と、 ユ —ザ巳のアクションを検出する期間 0巳とが重なっている期間となる。

[0093] ユーザ 4 0のアクションを検出する期間は、 コンテンツのストーリ展開に 基づいて設定されてもよく、 ユーザ 4 0が端末装置 3 0にて開始操作及び終 了操作を行うことで設定されてもよい。 また、 ユーザ 4 0のアクションを検 出する期間の開始及び終了は、 端末装置 3 0を所持するユーザ 4 0の各々で 設定されてもよく、 グループ内の特定のユーザ 4 0からの指示に基づいてグ ループ内のユーザ 4 0に対してまとめて設定されてもよく、 ビーコン等の外 部指示に基づいて所定領域のユーザ 4 0に対してまとめて設定されてもよい

[0094] < 4 . 変形例 >

次に、 図 1 5を参照して、 本実施形態に係る情報処理システムの変形例 に ついて説明する。 図 1 5は、 本実施形態に係る情報処理システムの変形例 を 説明する説明図である。

[0095] 本実施形態に係る情報処理システムの変形例 では、 複数のユーザの端末装 置 3 0の間でアクション情報の送受信を行うこと� �く、 複数のユーザでアク ションの同期を実現する例である。

[0096] 図 1 5に示すように、 例えば、 時刻 において、 情報処理サーバ 1 0から ユーザ 及び巳の所持する端末装置 3 0に所定のアクション （例えば、 ジャ ンプするなど） の指示が送信される。 ここで、 時刻 1 + nまでにユーザ八及 び巳が指示された所定のアクションを行った 場合、 情報処理サーバ 1 0は、 〇 2020/174925 25 卩（：170? 2020 /001554

時刻 t + nに所定のアクションに対応するイベントを� �生させる。 これによ り、 ユーザ A及び Bがそれぞれ所持する端末装置 30は、 所定のアクション に対応する音声をユーザ A及び Bにそれぞれ提示する。 なお、 時刻 t + nま でにユーザ A又は Bのいずれかが指示された所定のアクション� �行わなかっ た場合、 情報処理サーバ 1 〇は、 所定のアクションに対応するイベントの発 生をキャンセルする。

[0097] すなわち、 本変形例に係る情報処理システムでは、 ユーザ A及び Bがそれ それ所持する端末装置 30の間では、 アクション情報の共有が行われていな い。 しかしながら、 情報処理サーバ 1 0にてアクションが行われたタイミン グを所定の期間ごとに離散的に管理すること で、 ユーザ A及び Bがそれぞれ 所持する端末装置 30の各々で同期して音声を提示させることが� ��きる。 こ れによれば、 本変形例に係る情報処理システムは、 端末装置 30の間で情報 の共有を行うことなく、 複数のユーザに同時性のあるコンテンツを提 供する ことができる。

[0098] <5. ハードウェア構成例 >

続いて、 図 1 6を参照して、 本開示の一実施形態に係る情報処理サーバ 1 0又は端末装置 30のハードウェア構成例について説明する。 図 1 6は、 本 開示の一実施形態に係る情報処理サーバ 1 〇又は端末装置 30を構成する情 報処理装置 900のハードウェアの一例を示したブロック図 である。 情報処 理サーバ 1 0又は端末装置 30が実行する情報処理は、 以下で説明するハー ドウェアとソフトウェアとの協働によって実 現される。

[0099] 図 1 6に示すように、 情報処理装置 900は、 例えば、 C P U (Ce n t r a I P r o c e s s i n g U n i t ) 901 と、 ROM (R e a d O n l y Me mo r y) 902と、 RAM (R a n d om Ac c e s s Me mo r y) 903と、 ブリッジ 907と、 ホストバス 905と、 外部 バス 906と、 インタフェース 908と、 入力装置 9 1 1 と、 出力装置 9 1 2と、 ストレージ装置 9 1 3と、 ドライブ 9 1 4と、 接続ポート 9 1 5と、 通信装置 9 1 6と、 を備える。 〇 2020/174925 26 卩（：170? 2020 /001554

[0100] C P U 901は、 演算処理装置及び制御装置として機能し、 ROM902 等に記憶されたプログラムに従って、 情報処理装置 900の動作全般を制御 する。 ROM 902は、 C P U 901が使用するプログラム及び演算パラメ —夕を記憶し、 RAM 903は、 C P U 901の実行において使用するプロ グラム、 及びその実行において適宜変化するパラメー タ等を一時記憶する。 C P U 901は、 例えば、 アクション判断部 320、 同期判断部 340、 及 び音声制御部 350として機能してもよく、 グループ作成部 1 20、 及び通 信制御部 1 30として機能してもよい。

[0101] C P U 901、 ROM 902及び RAM 903は、 C P Uバスなどを含む ホストバス 905により相互に接続されている。 ホストバス 905は、 プリ ッジ 907を介して、 PC I (P e r i p h e r a l Com p o n e n t I n t e r c o n n e c t/ l n t e r f a c e) バスなどの外部バス 9 06に接続されている。 なお、 ホストバス 905、 プリッジ 907、 及び外 部バス 906は、 必ずしも分離構成されなくともよく、 1つのバスにこれら の機能が実装されてもよい。

[0102] 入力装置 9 1 1は、 各種センサ、 タッチパネル、 キーボード、 ボタン、 マ イクロホン、 スイッチ又はレバーなどの情報が入力される 入力装置と、 入力 に基づいて入力信号を生成し、 C P U 902に出力するための入力制御回路 とから構成される。 入力装置 9 1 1は、 例えば、 センサ部 3 1 0として機能 してもよい。

[0103] 出力装置 9 1 2は、 情報をユーザに対して視覚的又は聴覚的に通 知するこ とが可能な装置である。 出力装置 9 1 2は、 例えば、 CRT (C a t h o d e R a y T u b e ) ディスプレイ装置、 液晶ディスプレイ装置、 プラズ マデイスフ。レイ装置、 E L ( E I e c t r o L u m i n e s c e n c e) デ ィスプレイ装置、 レーザープロジェクタ、 L E D (L i g h t Em i t t i n g D i o d e) プロジェクタ又はランプ等の表示装置であっ てもよく 、 スピーカ又はヘッ ドフォン等の音声出力装置等であってもよい 。 出力装置 9 1 2は、 音声提示部 360として機能してもよい。 〇 2020/174925 27 卩（：170? 2020 /001554

[0104] ストレージ装置 9 1 3は、 情報処理装置 900の記憶部の一例として構成 されたデータ格納用の装置である。 ストレージ装置 9 1 3は、 例えば、 H D D (H a r d D i s k D r i v e) 等の磁気記憶デバイス、 半導体記憶 デバイス、 光記憶デバイス又は光磁気記憶デバイス等に より実現されてもよ い。 例えば、 ストレージ装置 9 1 3は、 記憶媒体、 記憶媒体にデータを記録 する記録装置、 記憶媒体からデータを読み出す読出装置、 及び記憶媒体に記 録されたデータを削除する削除装置などを含 んでもよい。 ストレージ装置 9 1 3は、 C P U 901が実行するプログラム、 各種データ及び外部から取得 した各種のデータ等を格納してもよい。

[0105] ドライブ 9 1 4は、 記憶媒体用リードライタである。 ドライブ 9 1 4は、 ドライブ 9 1 4に揷入された各種光学ディスク、 又は半導体メモリ等のリム —バブル記憶媒体に記憶されている情報を読 み出して、 R AM 903に出力 する。 ドライブ 9 1 4は、 リムーバブル記憶媒体に情報を書き込むこと も可 能である。

[0106] 接続ポート 9 1 5は、 外部機器と接続されるインタフェースである 。 接続 ポート 9 1 5は、 外部機器とのデータ伝送可能な接続口であり 、 例えば US B (U n i v e r s a l S e r i a l B u s) であつてもよい。

[0107] 通信装置 9 1 6は、 例えば、 ネッ トワーク 920に接続するための通信デ バイス等で形成されたインタフェースである 。 通信装置 9 1 6は、 例えば、 有線若しくは無線 LAN (L o c a l A r e a N e t wo r k) 、 LT E (L o n g T e r m E v o l u t i o n) 、 B l u e t o o t h (登 録商標) 又は WU S B (W i r e l e s s US B) 用の通信力ード等であ ってもよい。 また、 通信装置 9 1 6は、 光通信用のルータ、 ADS L (A s ymme t r i c D i g i t a l s u b s c r i b e r L i n e) 用 のルータ又は各種通信用のモデム等であって もよい。 通信装置 9 1 6は、 例 えば、 インターネッ ト又は他の通信機器との間で、 例えば TC P/丨 P等の 所定のプロトコルに則して信号等を送受信す ることができる。 通信装置 9 1 6は、 通信部 1 1 0、 330として機能してもよい。 〇 2020/174925 28 卩（：170? 2020 /001554

[0108] なお、 情報処理装置 9 0 0に内蔵される〇 II、

ハードウヱアに対して、 上述した本実施形態に係る情報処理サーバ 1 0又は 端末装置 3 0の各構成と同等の機能を発揮させるための� �ンピュータプログ ラムも作成可能である。 また、 該コンビュータプログラムを記憶させた記憶 媒体も提供することが可能である。

[0109] 以上、 添付図面を参照しながら本開示の好適な実施 形態について詳細に説 明したが、 本開示の技術的範囲はかかる例に限定されな い。 本開示の技術分 野における通常の知識を有する者であれば、 請求の範囲に記載された技術的 思想の範疇内において、 各種の変更例または修正例に想到し得ること は明ら かであり、 これらについても、 当然に本開示の技術的範囲に属するものと了 解される。

[01 10] 例えば、 上記実施形態では、 端末装置 3 0は音声提示を制御するとしたが 、 本開示に係る技術はかかる例に限定されない 。 例えば、 端末装置 3 0は振 動提示を制御してもよい。

[01 1 1 ] また、 本明細書に記載された効果は、 あくまで説明的または例示的なもの であって限定的ではない。 つまり、 本開示に係る技術は、 上記の効果ととも に、 または上記の効果に代えて、 本明細書の記載から当業者には明らかな他 の効果を奏しうる。

[01 12] なお、 以下のような構成も本開示の技術的範囲に属 する。

( 1 )

センサによるセンシング結果に基づいて、 ユーザが行ったアクションを判 断するアクション判断部と、

他ユーザが行ったアクションに関する情報を 受信する通信部と、 前記ユーザが行ったアクションと、 前記他ユーザが行ったアクションとの 時間的な一致を判断する同期判断部と、

前記同期判断部の判断に基づいて、 前記ユーザ及び前記他ユーザの各々が 行ったアクションに対応して提示される音声 を制御する音声制御部と、 を備える、 情報処理装置。 20/174925 29 卩（：170? 2020 /001554

（2）

前記同期判断部は、 前記ユーザのアクションと、 前記他ユーザのアクショ ンとが閾値時間内に行われている場合、 前記ユーザ及び前記他ユーザのアク ションは同期していると判断する、 前記 （1） に記載の情報処理装置。

（3）

前記音声制御部は、 前記ユーザ及び前記他ユーザのアクションが 同期して いるか否かに基づいて、 提示される前記音声を変更する、 前記 （2） に記載 の情報処理装置。

（4）

前記音声制御部は、 提示される前記音声の持続時間、 音量、 音程、 又は追 加音の少なくとも 1つ以上を制御する、 前記 （3） に記載の情報処理装置。

（5）

前記ユーザ及び前記他ユーザのアクションが 同期している場合、 前記音声 制御部は、 前記ユーザ及び前記他ユーザのアクションが 同期していない場合 よりも、 提示される前記音声の持続時間、 音量、 又は音程が大きくなるよう に前記音声を制御する、 前記 （3） 又は （4） に記載の情報処理装置。

（6）

前記ユーザのアクションに対応して、 前記ユーザ及び前記他ユーザのアク ションが非同期の場合の音声を提示した後に 、 前記ユーザ及び前記他ユーザ のアクションが同期していると判断された場 合、 前記音声制御部は、 前記非 同期の場合の音声に重畳して、 前記ユーザ及び前記他ユーザのアクションが 同期の場合の音声が提示されるように前記音 声を制御する、 前記 （5） に記 載の情報処理装置。

（7）

前記他ユーザのアクションに対応して提示さ れる前記音声は、 前記ユーザ のアクションに対応して提示される前記音声 よりも前記音声の持続時間、 音 量、 又は音程が小さい、 前記 （1） 〜 （6） のいずれか一項に記載の情報処 理装置。 〇 2020/174925 30 卩（：170? 2020 /001554

（8）

前記センサは、 前記ユーザが装着しているウェアラブル装置 に備えられる 、 前記 （1） 〜 （7） のいずれか一項に記載の情報処理装置。

（9）

前記音声制御部は、 前記ウェアラブル装置にて収音された音声を 変調する ことで、 提示する前記音声を生成する、 前記 （8） に記載の情報処理装置。

（1 0）

前記同期判断部は、 前記ユーザが行ったアクションと、 前記ユーザと同一 のグループに属する前記他ユーザが行ったア クションとの時間的な一致を判 断する、 前記 （1） 〜 （9） のいずれか一項に記載の情報処理装置。

（1 1）

前記グループは、 同 ^_ 領域に存在する、 同 ^_ コンテンツを体験する、 同 ^_ アプリケーションを使用する、 又は同ーデバイスを使用するユーザをまとめ たグループである、 前記 （1 0） に記載の情報処理装置。

（1 2）

前記同期判断部は、 前記ユーザのアクション時の姿勢変化の大き さ及び夕 イミングと、 前記他ユーザのアクション時の姿勢変化の大 きさ及びタイミン グとの差が閾値以下である場合、 前記ユーザ及び前記他ユーザのアクション は同期していると判断する、 前記 （1） に記載の情報処理装置。

（1 3）

前記同期判断部は、 前記ユーザ及び前記他ユーザの腕、 脚、 頭部、 又は身 体の少なくとも 1つ以上の動きの大きさ及びタイミングの差� �判断する、 前 記 （1 2） に記載の情報処理装置。

（1 4）

前記音声制御部は、 前記ユーザ及び前記他ユーザのアクション時 の姿勢変 化及びタイミングの差に基づいて、 提示する前記音声の波形を制御する、 前 記 （1 2） 又は （1 3） に記載の情報処理装置。

（1 5） 〇 2020/174925 31 卩（：170? 2020 /001554

前記音声制御部は、 提示する前記音声の周波数、 振幅、 又は音色を制御す る、 前記 （1 4） に記載の情報処理装置。

（1 6）

前記音声制御部は、 提示する前記音声の波形を連続的に変更する 、 前記 （ 1 4） 又は （1 5） に記載の情報処理装置。

（1 7）

演算処理装置によって、

センサによるセンシング結果に基づいて、 ユーザが行ったアクションを判 断することと、

他ユーザが行ったアクションに関する情報を 受信することと、

前記ユーザが行ったアクションと、 前記他ユーザが行ったアクションとの 時間的な一致を判断することと、

前記判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行った アクシ ョンに対応して提示される音声を制御するこ とと、

を含む、 情報処理方法。

符号の説明

[0113] 1 0 情報処理サーバ

20、 20 A _s 206 情報処理装置

30、 30 、 30巳 端末装置

40、 40八、 40巳 ユーザ

50 ネッ トヮーク

1 1 0 通信部

1 20 グループ作成部

1 30 通信制御部

3 1 0 センサ部

320 アクション判断部

330 通信部

340 同期判断部 \¥02020/174925 32 卩（：17 2020/001554

350 音声制御部

360 音声提示部