以下の実施形態では、電子機器の入力装� ��の一例として、携帯電話端末等の携帯電子� ��器に適用した構成例を示す。

 (第1の実施形態)
 図1は本発明の実施形態における電子機器の 入力装置の主要部の構成を示すブロック図で ある。

 本実施形態の入力装置は、例えば携帯電� ��端末、携帯型情報端末(PDA)、携帯型音楽プ� �ーヤ、携帯型ゲーム機のような電子機器に� �してユーザが入力操作を行うために利用す� �ことを想定した装置である。入力装置は、� �子機器に搭載され、表示部上の入力面にお� �て触れる、なぞる等の接触操作による入力� �能を有するタッチパネルを備えて構成され� �。

 図1に示す入力装置1は、表示部10、タッチ パネル20、画面データ保持部30、アプリケー� �ョン100、画面生成部200、微小操作有無判定� �210、画面表示制御部300、仮想スタイラス表� �制御部310、入力信号解析部400、仮想スタイ� �ス状態管理部410、及び入力信号制御部500を� �えて構成される。

 上記のアプリケーション100、画面生成部2 00、微小操作有無判定部210、画面表示制御部3 00、仮想スタイラス表示制御部310、入力信号� ��析部400、仮想スタイラス状態管理部410、及� ��入力信号制御部500は、それぞれ図示しない� ��御用のマイクロコンピュータによって実行� ��れるプログラム、もしくは専用の制御回路� ��どによって構成される。また、入力装置1を 搭載した電子機器には、入力装置1への入力� �作に対応してアプリケーション100による制� �等の処理を行う処理対象60が設けられる。処 理対象60には、各種表示を行う表示部、音声� ��号出力用の増幅器、コンテンツ再生用プロ� ��ラム、機器の各種設定を行う設定制御部な� ��、電子機器に設けられる種々の要素が含ま� ��る。

 表示部10は、平面状の表示画面に文字、� �形、画像のような様々な可視情報を表示す� �ことが可能な装置であり、液晶表示装置な� �により構成される。タッチパネル20は、操作 用の入力デバイスであり、表示部10の表示画� ��の上に重ねた状態で配置され、平面状に形� ��された透明なシート状部材を含み、このシ� ��ト状部材によって入力面を形成している。� ��のタッチパネル20は、入力操作部の機能を� �し、入力面における接触の有無及び接触を� �出した位置の座標情報を表す信号を定期的� �出力する。従って、ユーザが自分の指やス� �イラスペン等を用いてタッチパネル20の入力 面を押下する(触れる)ことにより、接触した� ��とを示す信号及び入力位置の座標情報が出� ��される。なお、接触の有無及び接触した入� ��位置の座標を検出できるものであれば、感� ��式のものや静電式のものなど、各種の検出� ��素を用いてタッチパネル20を構成可能であ� �。この際、ユーザは表示部10の表示画面の内 容をタッチパネル20を透過した光により確認� ��ながら、タッチパネル20上の特定の位置(操� ��ボタン等のオブジェクトが表示されている� ��置)に触れることができる。

 画面データ保持部30は、表示部10の表示画 面に表示すべき各種オブジェクトの画面デー タを保持している。この画面データの中には 、ユーザが操作可能な操作ボタン等の操作対 象となる操作オブジェクト、あるいは、他の 表示用オブジェクトなどに関する、種類や内 容、表示位置や大きさ(X方向及びY方向の幅な ど)などを表す情報が含まれている。

 アプリケーション100は、上位の個別のア� ��リケーションプログラム(例えば音楽再生機 能を提供するプログラムなど)と、入力操作� �ための機能を提供する入力装置1との間で、� ��種データや制御情報等をやり取りするため� ��インタフェースを提供するプログラム(ミド ルウェア)である。このアプリケーション100� �、入力信号解析部400から通知される制御信� �に基づいて、該当するコマンドを実行し、� �理対象60や画面生成部200に対して指示を与え る。この際、表示部10における表示画面の変� ��、切り替え等の必要がある場合は、画面生� ��部200に指示して表示画面の切り替え等を行� ��。

 画面生成部200は、表示部10の表示画面に� �視情報として表示される様々な項目のオブ� �ェクトを組み合わせた表示画面の画面表示� �報を生成する。画面に表示可能なオブジェ� �トとしては、ユーザが応用ソフトウェアを� �作する際に必要となる様々な機能が割り当� �られた操作ボタンやスライドバー等、また� �選択可能なコンテンツ(例えば写真)などの項 目を表すアイコン等を含む、操作対象となる 操作オブジェクト、及び、背景などの単に表 示だけのために存在するイメージ等の表示用 オブジェクトなどが含まれる。ここで、操作 オブジェクトがタッチパネル20を介して入力� ��作可能な第1の操作入力手段として機能する 。画面生成部200は、画面データ保持部30にお� ��て保持、管理されている各画面で表示する� ��タンやレイアウトなどの情報を含む画面デ� ��タを用いて、表示画面の画面表示情報を生� ��して出力する。ここで、画面生成部200及び� ��面データ保持部30は、入力操作部を介して� �定の機能の実行を指示するための操作対象� �位を表す少なくとも1つの操作オブジェクト� ��可視情報として表示部に表示する操作オブ� ��ェクト表示制御部の機能を実現する。

 微小操作有無判定部210は、画面生成部200� ��ら出力される画面切替通知によって表示画� ��の画面表示情報を判定し、表示画面中にユ� ��ザの指で直接操作することが難しい操作対� ��項目の操作オブジェクトが含まれているか� ��うか(例えば微小な操作が必要かどうか)を� �別する。具体的には、表示される領域(ある� ��は操作対象の領域)のX方向またはY方向の幅� ��しくは面積が予め定めた閾値(定数)に比べ� �小さい操作対象の操作オブジェクトが1つ以� ��含まれている場合に、指による直接操作が� ��易ではない(難易度が高い、または困難)と� �別し、それ以外の場合は指による直接操作� �容易に可能と識別する。微小操作有無判定� �210は、上記識別結果を仮想スタイラス表示� �御部310に通知する。

 仮想スタイラス表示制御部310は、微小操� ��有無判定部210からの識別結果に基づいて、� ��による直接操作が容易でないと判定された� ��合には、仮想スタイラスの表示情報を生成� ��る。この際、入力信号制御部500から通知さ� ��た操作位置の情報に基づいて、どの位置に� ��想スタイラスを表示するかを確定する。こ� ��で、本実施形態における仮想スタイラスは� ��画面上に表示されている操作対象の操作オ� ��ジェクトを間接的に操作するために用いる� ��インタとして機能するものであり、スタイ� ��スペン等に代わる仮想の入力部材である。� ��の仮想スタイラスによって、スタイラスペ� ��等を用いた操作と同等の機能を実現可能で� ��る。ここで、仮想スタイラス(ポインタ)が� �ッチパネル20を介して操作オブジェクトに対 する入力操作可能な第2の操作入力手段とし� �機能する。また、仮想スタイラス表示制御� �310及び微小操作有無判定部210は、入力操作� �を介して操作オブジェクトに対する指示入� �を行うための表示画面上で移動可能なポイ� �タを、可視情報として表示部に表示するポ� �ンタ表示制御部の機能を実現する。

 画面表示制御部300は、画面生成部200が生� ��した表示画面の画面表示情報と、仮想スタ� ��ラス表示制御部310から通知される仮想スタ� ��ラスの表示情報とに基づいて、これらをリ� ��ルタイムで合成した画面の表示データを生� ��し、表示部10に出力する。

 入力信号制御部500は、入力デバイスであ� ��タッチパネル20から出力される信号の受付� �制御する。具体的には、タッチパネル20から 入力される信号がノイズかどうかを識別し、 ノイズでない適切な信号を検出した場合には 、入力面における入力位置を検出し、接触の 有無及び接触した位置の座標を表す情報を一 定の間隔で入力信号解析部400及び仮想スタイ ラス表示制御部310に通知する。ここで、入力 信号制御部500は、入力操作部の入力信号に基 づいて処理を指示する入力制御部の機能を実 現する。

 入力信号解析部400は、入力信号制御部500� ��ら入力される情報を解析することにより、� ��ーザの入力操作の内容を予め割り当てられ� ��コマンドに対応付けて、該当するコマンド� ��実行指示するための制御信号をアプリケー� ��ョン100に出力する。具体的には、単純なボ� ��ンの押下に相当する操作状態(接触オン)、� �下を解除したことを表す操作状態(接触オフ) 、押下しながら接触位置を移動する場合の移 動軌跡(接触位置の変位)などの操作内容、及� ��これらの操作位置の座標(入力座標)を検出� �る。入力信号解析部400の解析結果は、アプ� �ケーション100を経由して処理対象60及び画面 生成部200に入力される。入力信号解析部400は 、各画面における操作可能な各操作オブジェ クトの表示位置とその操作オブジェクトに割 り当てられた機能との関連情報を管理してお り、タッチパネル20に対する入力操作と実行� ��べき機能とを、入力位置により関連付ける� ��とができる。

 仮想スタイラス状態管理部410は、仮想ス� ��イラスの表示位置及び動作状態を管理し、� ��力信号制御部500から通知された入力操作の� ��報が仮想スタイラスを対象とした操作かど� ��かを判定する。

 図2は本実施形態の入力装置における表示 画面の表示内容の例を示す図である。ここで は、表示部10に表示される表示画面の様々な� ��体例を示している。図2(a)に示した表示画面 11Aは、微小操作有無判定部210において指によ る直接操作が容易に可能と識別する条件に適 合する例を表しており、図2(b)に示した各表� �画面11B~11Iは、指による直接操作が容易でな� ��と識別する条件に適合する例を表している� ��

 図2(a)の表示画面11Aには、操作ボタンの機 能がそれぞれに割り当てられた3個の操作ボ� �ンの操作オブジェクト12が、それぞれ比較的 大きいサイズで表示されている。この場合、 ユーザがタッチパネル20に触れて操作する際� ��、細かい位置決めは不要であり、指で比較� ��簡単に各操作オブジェクト12を操作できる� �

 一方、図2(b)の表示画面11B、11D、11Fには、 操作オブジェクトとして、小さいボタン12aと 大きいボタン12bとが含まれており、表示画面 11Hには、大きいボタン12bと細長いスライダ12c とが含まれている。ユーザが大きいボタン12b の位置でタッチパネル20に触れてこれらのボ� ��ンを操作する場合には、指で直接操作する� ��とも可能であるが、小さいボタン12aあるい� ��細長いスライダ12cを操作する場合には、指� ��の直接操作が難しい。すなわち、指がタッ� ��パネル20に接触する大きさに比べて小さい� �タン12aなどの場合は、指の位置を各ボタン� �表示位置と正確に合わせないと隣接する他� �ボタンに触れる可能性がある。また、指を� �タンに近づけるとその指自身によってボタ� �等が隠れてしまい、画面の表示内容がユー� �の目から認識しづらくなるので、操作位置� �位置合わせが難しい。

 そこで、本実施形態では、表示画面11B、1 1D、11F、11Hのように小さいボタン12aや細長い� ��ライダ12cが含まれている画面を表示してい� ��状態においては、微小操作有無判定部210に� ��いて指による直接操作が容易でないと判断� ��る。この識別結果に基づき、図2(b)の表示画 面11C、11E、11G、11Iのように、仮想スタイラス 表示制御部310の制御によって、仮想スタイラ ス13を表示する。図2の例では、仮想スタイラ ス13は、比較的大きい円形の主領域13aと、こ� ��主領域13aの一部から突出した先の細い突起� ��域13bとで構成されている。

 仮想スタイラス13の表示位置は、初期状� �では表示画面11C、11E、11G、11Iのように、各� �タン12a、12bの表示位置と重ならない、ずれ� �位置となるように、仮想スタイラス表示制� �部310によって自動的に設定される。このと� �、仮想スタイラス13の表示条件に該当する、 小さいボタン、あるいは、ユーザの指で操作 位置が隠れてしまうようなボタンなどの近傍 で、かつ、何も操作オブジェクトが表示され ていない位置に仮想スタイラス13を表示する� ��また、ユーザが片手操作を行う場合を考慮� ��て、電子機器を保持している手の親指等が� ��易に届く範囲(使用時に想定される指の根元 の支点から所定半径内の位置)に仮想スタイ� �ス13を表示してもよい。また、携帯端末など の場合には、初期状態では表示画面の下方領 域に表示することが操作性の点で好ましい。

 図3は本実施形態の入力装置における表示 画面に対するユーザの操作手順の具体例を示 す図である。本実施形態の仮想スタイラス13� ��使用する場合には、図3に示すような間接的 な入力操作が可能になる。

 このとき、表示画面11Jの状態において、� ��ーザが指14を移動して仮想スタイラス13の位 置に触れることで、仮想スタイラス13を取得� ��る。仮想スタイラス13の位置を触れた状態� �維持したまま、表示画面11Kのようにユーザ� �指14を移動(ドラッグ)すると、仮想スタイラ� ��13の表示が指の操作に合わせて移動する。� �して、表示画面11Lのように、ユーザが目的� �する特定の操作オブジェクト12の位置に移動 させる。この例では、仮想スタイラス13の突� ��領域13bの先端位置が操作位置として割り当� ��てあり、突起領域13bを目的の項目の操作オ� ��ジェクト12に合わせるようにする。この状� �で、表示画面11Mに示すように、目的の位置� �仮想スタイラス13を指14でタッピングする(指 を離して再び短時間触れる)ような選択操作(� ��ップ操作)を行うと、突起領域13bの表示位置 と一致する特定の項目の操作オブジェクト12� ��対して選択操作を行ったものとして処理さ� ��る。

 本実施形態において、ユーザが指で操作� ��ブジェクト12を直接操作する場合(操作オブ� ��ェクトに対する直接操作の場合)には、ユー ザの指が触れた位置が操作位置となり、この 位置と一致する操作オブジェクト12が操作対� ��になる。これに対し、ユーザが仮想スタイ� ��ス13を使用して間接操作する場合(仮想スタ� ��ラスの位置における操作オブジェクトへの� ��接操作の場合)には、ユーザの指が触れた位 置から少しずれている仮想スタイラス13の突� ��領域13bの位置が操作位置となり、この位置� ��一致する操作オブジェクト12が操作対象に� �る。そして、直接操作と間接操作のいずれ� �入力操作によっても、操作対象の操作オブ� �ェクト12に対応する入力信号が入力される。 仮想スタイラス13を用いることによって、突� ��領域13bは細いので正確な位置決めが可能で� ��るし、仮想スタイラス13を動かす指によっ� �突起領域13bが隠れることもないので、小さ� �ボタン12aを操作するのに適している。した� �って、仮想スタイラス13を使用可能とするこ とによって、画面上の小さな操作オブジェク トを操作する場合の操作性を向上できる。

 次に、第1の実施形態に係る入力装置の具 体例な処理手順を図4を参照しながら説明す� �。図4は第1の実施形態の入力装置における仮 想スタイラスの表示制御に関する動作を示す シーケンス図である。

 アプリケーション100の処理において画面� ��示指示が発生すると(S11)、これが画面生成� �200に通知され、画面生成部200は適切な表示� �面の画面表示情報を生成する(S12)。この画面 表示情報は、画面データ保持部30に保持され� ��いる操作オブジェクトや表示用オブジェク� ��の種類や内容、表示位置や大きさなどの情� ��を含む画面データから生成される。画面生� ��部200が生成した画面表示情報は、画面表示� ��御部300に通知される(S13)。また、画面生成� �200は、画面切替通知を微小操作有無判定部21 0に送る(S14)。

 微小操作有無判定部210は、画面生成部200� ��らの画面切替通知に応答して、表示画面の� ��小操作有無判定を実行する(S15)。ここで、� �小操作有無判定部210は、画面生成部200で生� �された画面表示情報に基づき、小さな操作� �ブジェクトが存在するか否かなどによって� �指による操作オブジェクトの直接操作が容� �でない(詳細操作が必要)かどうかを判定する 。直接操作が容易でないと判定した場合には 、微小操作有無判定部210は仮想スタイラスを 用いた詳細操作が必要であることを示す情報 、並びに仮想スタイラスの最適表示位置を表 す情報を判定結果として仮想スタイラス表示 制御部310に通知する(S16)。最適表示位置につ� ��ては、画面に表示される操作オブジェクト� ��存在しない領域の中から選択される。

 仮想スタイラス表示制御部310は、微小操� ��有無判定部210から通知される判定結果に基� ��いて、仮想スタイラスを用いた詳細操作が� ��要と判定された場合には仮想スタイラスに� ��する表示情報をその初期表示位置の情報と� ��に画面表示制御部300に通知する(S17)。

 画面表示制御部300は、画面生成部200から� ��知された画面表示情報と、仮想スタイラス� ��示制御部310から通知された仮想スタイラス� ��表示情報とをリアルタイムで合成した画面� ��生成し(S18)、この表示データを表示部10に送 る。また、表示完了通知をアプリケーション 100に送る。そして、表示部10は、仮想スタイ� ��スが合成された操作オブジェクトを含む表� ��画面を表示する(S19)。

 上記の動作により、図2(a)に示す表示画面 11Aのような内容が表示されるときには、指に よる直接操作が容易に可能と判定され、仮想 スタイラス13は非表示になる。また、図2(b)に 示す各表示画面の内容が表示されるときには 、指による直接操作が容易でないと判定され 、仮想スタイラス13が操作オブジェクトの近� ��に自動的に表示される。

 図5は第1の実施形態の入力装置における� �想スタイラス表示状態での入力操作受付に� �する動作を示すシーケンス図である。

 ユーザがタッチパネル20に触れて入力操� �を行う場合には、タッチパネル20への接触操 作があった場合に、タッチパネル20上の入力� ��置を表す座標情報などを含む操作検知信号S G1が入力信号制御部500へ一定の周期で出力さ� ��る。入力信号制御部500は、タッチパネル20� �出力する操作検知信号SG1の中から、ノイズ� �除去して有効な情報だけを操作信号SG2とし� �入力信号解析部400に与える。

 入力信号解析部400は、表示部10の表示画� �11に仮想スタイラス13が表示されている状態� ��、入力信号制御部500からの信号SG2を受信す� ��と、仮想スタイラス状態管理部410に対して� ��想スタイラス13の状態を問い合わせる(S21)。 仮想スタイラス状態管理部410は、仮想スタイ ラス13が非表示から表示状態に切り替わった� ��後は「初期状態」として仮想スタイラス13� �状態を管理している。入力信号解析部400か� �状態の問い合わせを受けると、仮想スタイ� �ス状態管理部410は「初期状態」を示す状態� �号を入力信号解析部400に返し、同時に仮想� �タイラス13の管理状態を「初期状態」から「 移動状態」に切り替える(S22)。

 入力信号解析部400は、仮想スタイラス13� �状態信号を受信した後、仮想スタイラス13に 対するユーザの操作かどうかを判定する(S23)� ��ここで、入力信号解析部400は、ユーザがタ� ��チパネル20に触れた位置の座標と、表示部10 に表示されている仮想スタイラス13の中心位� ��との距離の大小を調べることにより、ユー� ��が仮想スタイラス13に対して操作したかど� �かを判定する。

 仮想スタイラス13に対するユーザの操作� �検出した場合には、入力信号解析部400は最� �の操作信号SG2の位置座標を仮想スタイラス� �標位置として仮想スタイラス表示制御部310� �与える(S24)。仮想スタイラス表示制御部310は 、入力信号解析部400から入力された最新の仮 想スタイラス座標位置を用いて、画面に表示 する仮想スタイラス13の位置を修正した新た� ��表示情報を生成し、この表示情報を画面表� ��制御部300に与える(S25)。

 画面表示制御部300は、事前に生成された� ��作オブジェクトを含む画面表示情報と、仮� ��スタイラス表示制御部310から入力された最� ��の仮想スタイラスの表示情報とを合成し、� ��新の画面の表示データを表示部10に与える(S 26)。そして、表示部10は、仮想スタイラスが� ��作位置に応じて移動して合成された表示画� ��を表示する(S27)。

 入力信号解析部400は、仮想スタイラス13� �対するユーザの操作を検出した後で、入力� �号制御部500から操作信号SG2を受信すると、� �じ操作が継続しているかどうかを判定する(S 28)。このとき、ユーザの指がタッチパネル20� ��触れたままの状態が維持されているかどう� ��を判定する。同じ操作が継続している場合� ��は、仮想スタイラス表示制御部310に与える� ��想スタイラス座標位置を最新の情報に更新� ��る。これに応じて、仮想スタイラス表示制� ��部310から出力される最新の仮想スタイラス� ��標位置を示す表示情報が更新され、画面表� ��制御部300において、操作オブジェクトを含� ��画面表示情報と最新の仮想スタイラスの表� ��情報とが合成される(S29)。そして、表示部10 において仮想スタイラスの位置が継続操作に よってさらに移動した表示画面が表示される (S30)。

 上記動作により、ユーザが仮想スタイラ� ��13の表示位置で指をタッチパネル20に触れ、 その接触状態を維持して指をタッチパネル20� ��で移動すると、表示部10の画面に表示され� �いる仮想スタイラス13の位置が指と共に移動 する。つまり、目的の項目位置まで仮想スタ イラス13を移動させるドラッグ操作を行うこ� ��ができる。

 ユーザは、上記のような操作によって仮� ��スタイラス13を目的の項目の操作オブジェ� �ト12の位置まで移動した後、この仮想スタイ ラス13で操作オブジェクト12を間接操作する� �合には、タッチパネル20に触れている指を一 旦離し、その直後に再び仮想スタイラス13の� ��置でタッチパネル20に短時間触れるように� �ップ操作を行う。

 入力信号解析部400は、操作信号SG2を受信� ��た場合に上記と同様に操作継続判定を行う( S31)。この場合は、同じ操作(ドラッグ操作)の 継続ではなくタップ操作であると判定する。 タップ操作を検出すると、入力信号解析部400 は再び仮想スタイラス状態管理部410に仮想ス タイラス13の管理状態の問い合わせを行い(S32 )、仮想スタイラス状態管理部410からの状態� �号が「移動状態」である場合には、コマン� �解析を実行する(S33)。つまり、仮想スタイラ ス13が移動した後でタップ操作が行われた場� ��には、仮想スタイラス13を用いた間接操作� �あるとみなし、突起領域13bの表示位置の座� �を操作位置とし、この操作位置と一致する� �置に表示されている特定の項目(操作オブジ� ��クト12など)がユーザによって操作されたも� ��と判定する。そして、入力信号解析部400は� ��操作位置の項目に対応付けられたコマンド� ��実行するように、アプリケーション100に該� ��するコマンドや操作項目に関する情報を通� ��する。

 上記動作により、画面上に表示された操� ��オブジェクト12が小さい場合であっても、� �ーザは仮想スタイラス13を用いて、この操作 オブジェクト12に対応する操作可能な各項目� ��間接的に操作することができる。この場合� ��仮想スタイラス13の突起領域13bによって操� �位置を指定するので、微少領域での操作位� �の正確な位置合わせを容易に行うことがで� �る。したがって、ユーザがタッチパネルに� �って入力操作を行う場合の、操作性や操作� �率を改善できる。

 なお、上記の例では、画面に表示される� ��想スタイラスがユーザの指と共にほぼ同じ� ��度で移動する場合を示しているが、場合に� ��っては操作対象の操作オブジェクトが仮想� ��タイラスによって隠れて見えない状態にな� ��可能性もある。そこで、仮想スタイラスを� ��で移動させる場合に、ドラッグ操作による� ��想スタイラスの移動速度が指での操作速度� ��りも遅くなるように制御してもよい。

 また、上記の例では、画面に表示される� ��想スタイラスの形状や大きさが一定の場合� ��想定しているが、これを可変にしても良い� ��例えば、ユーザがタッチパネルに指で触れ� ��場合の接触面積や接触領域の形状などは個� ��毎に異なり、指の太い人、あるいはタッチ� ��ネルを強く押下する人の場合は接触面積が� ��きくなる傾向があるし、指の細い人や指先� ��立てて操作する人の場合は接触面積が小さ� ��なる。また、指を寝かせた状態で操作する� ��のある人の場合は細長い楕円形の接触領域� ��なる可能性もある。そこで、画面の見やす� ��や操作のし易さがそれぞれのユーザにとっ� ��最適になるように、ユーザごとの接触面積� ��接触領域の形状など、ユーザの指示に従っ� ��表示される仮想スタイラスの形状や大きさ� ��の形態を調整するようにしてもよい。

 また、タッチパネルに対する操作時の接� ��面積を検出し、接触面積の大小によって指� ��よる操作か物理的に存在するスタイラスを� ��った操作かを判定して、仮想スタイラスの� ��示/非表示を切り替えるようにしてもよい。 この場合、指による操作であると判定された 場合のみ、上記のような仮想スタイラス表示 を行い、仮想スタイラスに対応する入力受付 動作を行うようにする。

 (第2の実施形態)
 図6は第2の実施形態の入力装置における表� �画面の表示内容及びユーザ操作に対する動� �の例を示す図である。

 第2の実施形態は上述した第1の実施形態� �変形例である。第2の実施形態における入力� ��置の構成は図1と同様であるが、各部の動作 や制御の内容が少し変更されている。ここで は第1の実施形態と異なる動作を中心に説明� �る。

 第1の実施形態では、表示部10の表示画面� ��仮想スタイラス13が表示されている状態で� �、ユーザは仮想スタイラス13を利用した間接 操作だけを行う場合を示している。しかし、 仮想スタイラス13を利用する場合は、例えば� ��3に示したようにユーザが指で仮想スタイラ ス13の位置に触れて取得し、ドラッグ操作に� ��って仮想スタイラス13を移動させた後、タ� �プ操作などで操作オブジェクト12に対して指 示操作を行うことになる。この場合、仮想ス タイラス13によって細かな操作ができる代わ� ��に、操作に時間と手間がかかることがある� ��また、例えば図2(b)の表示画面11Dのように大 きいボタン12bが含まれている画面で大きいボ タン12bを操作する時には、細かい位置決めが 不要なので、仮想スタイラス13を使うよりも� ��で直接操作オブジェクト12の位置に触れて� �作する方が効率的な操作ができる。

 そこで、第2の実施形態においては、例え ば、図6(a)に示す表示画面11Aのように、仮想� �タイラス13を画面に表示している状態におい ても、仮想スタイラス13を利用しないユーザ� ��らの直接入力操作を受け付けるように制御� ��る。この場合、ユーザは目的の操作オブジ� ��クト12Aに指で直接触れてタップ操作などを� ��うだけで目的の操作を完了できる。

 しかし、例えば図6(b)に示す表示画面11の� ��うに、ユーザが操作しようとしている目的� ��操作オブジェクト12Bと仮想スタイラス13と� �距離が近い場合には、ユーザの直接入力操� �と仮想スタイラス13を用いた間接操作との区 別が難しく、ユーザの意図しない誤操作が実 行される場合がある。つまり、ユーザが意図 する操作位置と実際の操作位置との位置ずれ により、目的の操作オブジェクトと隣接する 他のオブジェクトが操作されてしまう可能性 がある。この点に鑑み、第2の実施形態では� �仮想スタイラス13の状態を管理し、この状態 に応じて仮想スタイラス13に対する操作の可� ��を切り替える。また、操作位置が仮想スタ� ��ラス13の近傍領域である場合の処理を加え� �。

 図7は表示画面に表示される仮想スタイラ スの状態の遷移を表す状態遷移図である。第 2の実施形態では、誤操作の発生を防止する� �めに、仮想スタイラス状態管理部410によっ� �、画面表示した仮想スタイラス13の状態につ いて、項目選択(操作オブジェクト12に対する 指示操作など)ができない「初期状態」と、� �目選択が可能な「選択可能状態」とのいず� �かとして管理する。

 ここで、仮想スタイラス状態管理部410は� ��仮想スタイラス13が画面に表示された直後� �項目選択ができない「初期状態」として管� �し、ユーザのドラッグ操作によって仮想ス� �イラス13が移動すると、この仮想スタイラス 13を「選択可能状態」に切り替える。また、� ��想スタイラス13の状態の違いをユーザが容� �に識別、把握できるように、「初期状態」� �「選択可能状態」とで仮想スタイラス13の表 示態様を変化させる。例えば、表示色や模様 、あるいは仮想スタイラスの形状などの表示 態様を、状態に応じて自動的に切り替えるよ うにする。そして、入力信号解析部400は、仮 想スタイラスの状態に応じて操作入力の判定 を行い、該当する処理を行う。

 図8は第2の実施形態における仮想スタイ� �スに対する入力操作時の処理手順を示すフ� �ーチャートである。タッチパネル20に対する ユーザのタップ操作などが検出された場合、 入力信号解析部400は、図8に示すような動作� �実行する。

 まず、ステップS41において、入力信号解� ��部400は、表示画面に表示されている仮想ス� ��イラス13について、仮想スタイラス状態管� �部410で管理されている状態(「初期状態」ま� ��は「選択可能状態」)を判別する。ここで、 仮想スタイラス状態管理部410は、前回操作(� �ップ操作など)後に仮想スタイラス13の移動� �あったかどうかを判定し、移動がなければ� �初期状態」とし、移動があった場合には「� �択可能状態」として、仮想スタイラス13の状 態を把握する。そして、入力信号解析部400は 、上記判別した仮想スタイラス13の状態に応� ��て、ユーザからの入力操作を受け付けるた� ��にステップS42~S58の処理を行う。

 仮想スタイラス13が「初期状態」の場合� �はステップS42に進み、入力信号解析部400は� �タップ操作などの操作位置が仮想スタイラ� �13の境界近傍の操作かどうかを判定する。こ のとき、仮想スタイラス13の輪郭の境界と操� ��位置とが所定距離よりも近く、仮想スタイ� ��スを用いた間接操作と操作オブジェクトに� ��する直接操作との区別が難しい状態(例えば 図6(b)の状態)であるかどうかを判断する。

 ステップS42で操作位置が仮想スタイラス1 3の境界近傍ではない場合、直接操作である� �能性が高いと判断し、ステップS43に進む。� �のステップS43では、入力信号解析部400は、� �による操作を直接操作として受け付け、指� �接触領域の例えば中央位置と対応する位置� �表示されている操作オブジェクト12等をユー ザが操作したものとみなして対応する処理を 実行する。

 一方、ステップS42で操作位置が仮想スタ� ��ラス13の境界近傍である場合、直接操作と� �接操作の区別が難しい状態であると判断し� �ステップS44に進む。このステップS44では、� �力信号解析部400は、ユーザによるタップ操� �が検出された後で、接触したままの状態で� �の移動(ドラッグ操作)を検出したかどうかを 判定する。

 ステップS44で指の移動操作を検出した場� ��には、ステップS45に進む。このステップS45� ��は、入力信号解析部400の制御により、仮想� ��タイラス表示制御部310は、表示画面上の仮� ��スタイラス13の位置を指の操作位置の移動� �合わせて移動させる。

 一方、ステップS44で指の移動操作を検出� ��ない場合には、ステップS46に進む。このス� ��ップS46では、ステップS43と同様に、入力信� ��解析部400は、指による操作を直接操作とし� ��受け付け、指の接触領域の例えば中央位置� ��対応する位置に表示されている操作オブジ� ��クト12等をユーザが操作したものとみなし� �対応する処理を実行する。

 また、ステップS41で仮想スタイラス13が� �選択可能状態」の場合にはステップS47に進� �、入力信号解析部400は、ステップS42と同様� �、タップ操作などの操作位置が仮想スタイ� �ス13の境界近傍の操作かどうかを判定する。

 ステップS47で操作位置が仮想スタイラス1 3の境界近傍ではない場合、直接操作である� �能性が高いと判断し、ステップS43に進む。� �して、入力信号解析部400は指による操作を� �接操作として受け付け、操作オブジェクト12 等をユーザが操作したものとみなして対応す る処理を実行する。

 一方、ステップS47で操作位置が仮想スタ� ��ラス13の境界近傍である場合、直接操作と� �接操作の区別が難しい状態であると判断し� �ステップS48に進む。このステップS48では、� �テップS44と同様に、入力信号解析部400は、� �ーザによるタップ操作が検出された後で、� �触したままの状態で指の移動(ドラッグ操作) を検出したかどうかを判定する。

 ステップS48で指の移動操作を検出しない� ��合には、ステップS49に進む。このステップS 49では、入力信号解析部400は、指による操作� ��仮想スタイラス13を用いた間接操作として� �け付ける。つまり、指によって操作された� �面上の仮想スタイラス13の突起領域13bの先端 位置と対応する位置に表示されている操作オ ブジェクト12等をユーザが操作したものとみ� ��し、対応する処理を実行する。

 一方、ステップS48で指の移動操作を検出� ��た場合には、ステップS50に進み、入力信号� ��析部400は操作の移動方向を判定する。ここ� ��は、移動方向が仮想スタイラス13の中心部� �向いているかどうかを判断する。そして、� �動方向が仮想スタイラス13の中心部に向いて いる場合には、その後の操作に応じてステッ プS51またはS53を実行する。

 ここで、移動後の操作が指のリリース(タ ッチパネル20から指を離す操作)の場合(ステ� �プS51)、ステップS52に進み、入力信号解析部4 00は、ステップS49と同様に指による操作を仮� ��スタイラス13を用いた間接操作として受け� �ける。そして、操作位置に対応する処理を� �行する。

 また、移動後もドラッグ操作を継続して� ��る場合(ステップS53)、ステップS54に進み、� �力信号解析部400は、ステップS45と同様に表� �画面上の仮想スタイラス13の位置を指の操作 位置の移動に合わせて移動させる。

 ステップS50で移動方向が仮想スタイラス1 3の中心部に向いていない場合には、そのと� �の操作に応じてステップS55またはS57を実行� �る。

 ここで、操作位置の近傍のボタン(操作オ ブジェクト12)側に移動してからリリースの操 作が検出された場合(ステップS55)、ステップS 56に進み、入力信号解析部400は、ステップS43� ��同様に指による操作を直接操作として受け� ��ける。そして、操作位置に対応する処理を� ��行する。

 また、操作位置の近傍のボタン(操作オブ ジェクト12)以外の方向に移動してからリリー スの操作が検出された場合(ステップS57)、ス� ��ップS58に進み、入力信号解析部400は、今回� ��操作自体がなかったものとして操作そのも� ��の受付をキャンセルし、何も反応しないよ� ��にする。

 図9は第2の実施形態の入力装置における� �想スタイラス表示状態での入力操作受付に� �する動作を示すシーケンス図である。

 入力信号解析部400は、入力信号制御部500� ��ら入力された操作信号SG2の状態に基づき、� ��想スタイラス操作判定を実施する(S61)。こ� �では、ドラッグ操作が継続されたか否か、� �なわちドラッグ操作の継続か他のタップ操� �の検出かを判定する。

 ここで、タップ操作を検出した場合には� ��入力信号解析部400は、仮想スタイラス状態� ��理部410に仮想スタイラス13の管理状態の問� �合わせを行い(S62)、その応答(初期状態また� �選択可能状態)を取得する。その後、「誤操� ��防止判定処理」を実施する(S63)。この「誤� �作防止判定処理」は、上述した図8の処理に� ��当する。誤操作防止判定処理の結果、操作� ��ブジェクト12に対する直接操作か、仮想ス� �イラス13を用いた間接操作かが識別される。 入力信号解析部400は、直接操作か間接操作か に応じて操作位置を特定し、対応する処理を 実行する。例えば操作オブジェクト12に対す� ��直接操作である場合、操作位置に対応する� ��マンド解析を実行する(S64)。この場合、入� �信号解析部400は、操作位置と一致する位置� �表示されている特定の項目(操作オブジェク� ��12など)がユーザによって操作されたものと� ��定し、操作位置の項目に対応付けられたコ� ��ンドを実行するように、アプリケーション1 00に該当するコマンドや操作項目に関する情� ��を通知する。

 図10は直接操作または間接操作の判定結� �に応じた操作位置の違いを示す模式図であ� �。

 例えば、図10(a)に示すように、表示画面41 において、ユーザが指14で仮想スタイラス13� �表示の輪郭付近の位置(P1)でタッチパネル20� �触れた場合、操作対象となる操作位置は、� �操作防止判定処理の判定結果が直接操作か� �接操作かによって異なる。つまり、仮想ス� �イラス13を用いて行う間接操作と判定された 場合には、図10(b)に示すように仮想スタイラ� ��13の突起領域13bの先端位置(P2)が操作対象の� ��標位置(操作位置)となる。また、直接操作� �判定された場合には、図10(c)に示すように指 14による操作が検出された位置(P1)がそのまま 操作位置となる。

 このように、第2の実施形態では、ユーザ は自分の指の位置を操作対象の指示点(操作� �置)とする直接操作と、仮想スタイラスが示� ��位置を操作位置とする間接操作とを使い分� ��ることができる。しかも、仮想スタイラス� ��状態として、項目選択できない「初期状態� ��と項目選択可能な「選択可能状態」とを区� ��して状態管理しているので、ユーザの意図� ��ていない誤操作の発生を抑制することがで� ��る。またこの際、ユーザは仮想スタイラス� ��表示態様によって仮想スタイラスの状態を� ��易に識別できる。

 (第3の実施形態)
 図11は第3の実施形態の入力装置における表� ��画面の表示内容及びユーザ操作に対する動� ��の例を示す図である。

 第3の実施形態は上述した第1の実施形態� �他の変形例である。第3の実施形態における� ��力装置の構成は図1と同様であるが、各部の 動作や制御の内容が少し変更されている。こ こでは第1の実施形態と異なる動作を中心に� �明する。

 第1の実施形態においては、ユーザが間接 操作を行うためのポインタとして、形状が固 定されたペン状の仮想スタイラス13を画面に� ��示した例を示したが、このポインタを工夫� ��ることで、例えば動作状況の違いなどをユ� ��ザに知らせることができ、操作性の改善に� ��立てることができる。また、仮想スタイラ� ��の表示においてアミューズメント的な要素� ��追加することも可能である。そこで、第3の 実施形態においては、形状等の形態を変更可 能なキャラクタパターンを前述の仮想スタイ ラス13の代わりにポインタとして用いるよう� ��する。

 図11の例は、図11(a)に示すように、虫のよ うなキャラクタパターンをポインタ50として� ��いて表示するものである。この場合、例え� ��図11(b)に示すように、互いに向きの違う複� �パターンのポインタ50a、50bを状況に応じて� �い分けている。また、図11(b)においては、ユ ーザが指14でドラッグ操作を行った場合に、� ��インタ50が指14の移動よりも少し遅れて「急 いで指を追いかけてくる」ようなアニメーシ ョン表示を行うことも可能である。また、キ ャラクタパターンのポインタ50を表示する際� ��、ポインタ50が表示画面上でゆっくり移動� �るように表示するようにしてもよい。これ� �より、表示画面上の操作オブジェクトがポ� �ンタによって隠れたり、見づらくなること� �防止できる。

 また、図11(c)に示す例は、ポインタ50に加 えて選択表示51a、51bを設けるようにし、ポイ ンタ50によって選択された操作オブジェクト1 2を囲むような表示を行ってポインタのパタ� �ンを変更し、選択項目や選択状態などをユ� �ザが容易に識別できるようにするものであ� �。この場合、指14によるタップ操作などの選 択操作によって選択項目を確定した後は、ポ インタ50自体は選択項目の操作オブジェクト1 2の周りを回るように移動するなど、操作性� �損なわない範囲で移動させるようなアニメ� �ション表示を行うことも可能である。

 図12は第3の実施形態の入力装置における� ��インタ表示状態での入力操作受付に関する� ��作を示すシーケンス図である。なお、第3の 実施形態では、仮想スタイラス状態管理部410 は仮想スタイラス13の代わりにポインタ50の� �態を管理する機能を有しており、管理対象� �名称が違うだけで処理の内容は第1の実施形� ��と基本的に同じである。

 入力信号解析部400は、表示部10の表示画� �11にポインタ50が表示されている状態で、入� ��信号制御部500からの信号SG2を受信すると、� ��想スタイラス状態管理部410に対してポイン� ��50の状態を問い合わせる(S71)。仮想スタイラ ス状態管理部410は、ポインタ50が非表示から� ��示状態に切り替わった直後は「初期状態」� ��してポインタ50の状態を管理している。入� �信号解析部400から状態の問い合わせを受け� �と、仮想スタイラス状態管理部410は「初期� �態」を示す状態信号を入力信号解析部400に� �し、同時に仮想スタイラス13の管理状態を「 初期状態」から「移動状態」に切り替える(S7 2)。

 入力信号解析部400は、ポインタ50の状態� �号を受信した後、ポインタ50に対するユーザ の操作かどうかを判定する(S73)。ここで、入� ��信号解析部400は、ユーザがタッチパネル20� �触れた位置の座標と、表示部10に表示されて いるポインタ50の中心位置との距離の大小を� ��べることにより、ユーザがポインタ50に対� �て操作したかどうかを判定する。

 ポインタ50に対するユーザの操作を検出� �た場合には、入力信号解析部400は最新の操� �信号SG2の位置座標をポインタ座標位置とし� �仮想スタイラス表示制御部310に与える(S74)。 仮想スタイラス表示制御部310は、入力信号解 析部400から入力された最新のポインタ座標位 置を用いて、画面に表示するポインタ50の位� ��を修正した新たな表示情報を生成し、この� ��示情報を画面表示制御部300に与える(S75)。

 画面表示制御部300は、事前に生成された� ��作オブジェクトを含む画面表示情報と、仮� ��スタイラス表示制御部310から入力された最� ��のポインタの表示情報とを合成し、最新の� ��面の表示データを表示部10に与える(S76)。そ して、表示部10は、ポインタが操作位置に応� ��て移動して合成された表示画面を表示する( S77)。ここで、例えば指14が画面に触れながら 移動する場合には、表示されたポインタ50の� ��ャラクタが指14を追いかけて移動するよう� �、指14の位置を表す操作信号SG2の位置座標よ り少し手前にずれた位置にポインタ座標位置 を割り当てる。これにより、指の設置位置に 向かってキャラクタが後追いでついてくるよ うな表示が行われる。

 入力信号解析部400は、ポインタ50の移動� �作(ドラッグ操作)を検出した後で、指14がタ� ��チパネル20から離れたことを示す操作信号SG 2を入力信号制御部500から受信すると、タイ� �を起動して所定時間待機する(S78)。そして、 所定時間経過後、ポインタ50の表示態様に関� ��る表示切替信号SG3を仮想スタイラス表示制� ��部310に与える。

 仮想スタイラス表示制御部310は、入力信� ��解析部400から表示切替信号SG3を受けると、� ��作対象項目(操作対象の操作オブジェクト12� ��)を特定するための画像を生成する(S79)。こ� ��場合、例えば図11(c)に示すような選択表示51 a、51bを付加した画像を生成する。これに応� �て、画面表示制御部300において、操作オブ� �ェクトを含む画面表示情報と選択項目を特� �する表示を加えたポインタの表示情報とが� �成される(S80)。そして、表示部10において選� ��表示51a、51bが追加されたポインタ50を含む� �示画面が表示される(S81)。これにより、ポイ ンタ50の移動操作後に操作オブジェクト12の� �択操作の入力を待機している状態で、選択� �示51a、51bによって特定された操作オブジェ� �ト12の項目を明示的に示すような表示が行わ れる。

 このように、第3の実施形態では、ポイン タをキャラクタパターンとしてアニメーショ ン表示したり、ポインタの移動後に選択項目 を特定する選択表示を付加することによって 、ポインタの形態などの表示態様の変化から 、移動や選択等の現在の操作状態をユーザが 直感的に把握することができ、ポインタを用 いて効率的な入力操作が可能になる。また、 ポインタの表示にアミューズメント的な要素 を持たせ、使用感を向上させることも可能で ある。

 なお、本発明は上記の実施形態において� ��されたものに限定されるものではなく、明� ��書の記載、並びに周知の技術に基づいて、� ��業者が変更、応用することも本発明の予定� ��るところであり、保護を求める範囲に含ま� ��る。

 本出願は、2008年2月15日出願の日本特許出 願(特願2008-034330)、に基づくものであり、そ� �内容はここに参照として取り込まれる。