シャープ株式会社 (〒22 大阪府大阪市阿倍野区長池町22番22号 Osaka, 5458522, JP)
| 画像を表示するための、透明な平板を含む表示部(2)と、 前記平板に載せられた原稿の、前記平板に接する接触面を撮像するための撮像部と、 前記平板への前記原稿の接触を検知するための接触検知部(61)と、 前記接触検知部により前記原稿の接触が検知された場合に、均一な特定色の画像を表示する制御を行なう表示制御部(63,63A)とを備える、画像入力装置。 |
| 前記特定色の画像が表示されている場合に、前記撮像部に前記接触面の画像の撮像指示を出力するための撮像指示部(64)と、 前記撮像指示に応じて前記撮像部により撮像された画像を入力するための画像入力部(65)とをさらに備える、請求の範囲第1項に記載の画像入力装置。 |
| 前記接触検知部により前記原稿の接触が検知された場合に、前記原稿の静止を検知するための静止検知部(62)をさらに備え、 前記撮像指示部は、前記特定色の画像が表示されている場合であって、かつ、前記静止検知部により前記原稿の静止が検知された場合に、前記接触面の画像の撮像を指示する、請求の範囲第2項に記載の画像入力装置。 |
| 前記表示制御部は、 ユーザより画像入力の指示があった場合に、前記平板に前記原稿を載せるようメッセージを表示し、 前記メッセージを前記特定色の画像に切替える、請求の範囲第1項に記載の画像入力装置。 |
| 前記接触検知部により前記原稿の接触が検知された場合に、前記原稿の静止を検知するための静止検知部(62)をさらに備え、 前記表示制御部は、前記静止検知部により前記原稿の静止が検知された場合に、前記メッセージを前記特定色の画像に切替える、請求の範囲第4項に記載の画像入力装置。 |
| 前記特定色は、白色である、請求の範囲第1項に記載の画像入力装置。 |
| 前記特定色は、第1、第2および第3の色を含み、 前記表示制御部は、前記原稿検知部により前記原稿の接触が検知された場合に、前記表示部に表示する画像を、前記第1、第2、第3の色の画像に切替える、請求の範囲第1項に記載の画像入力装置。 |
| 前記第1、第2、第3それぞれの色の画像に切替えられる毎に、前記接触面の画像の撮像指示を出力するための撮像指示部(64)と、 前記撮像指示に応じて前記撮像部により撮像された前記第1、第2および第3それぞれの色成分の画像を入力するための画像入力部(65)と、 前記画像入力部により入力された前記第1、第2および第3それぞれの色成分の画像を合成するための合成部(68)とをさらに備える、請求の範囲第7項に記載の画像入力装置。 |
| 前記第1、第2および第3の色は、それぞれ、赤、緑、青のいずれかである、請求の範囲第7項に記載の画像入力装置。 |
| 前記接触検知部は、一定周期で前記撮像部に前記接触面の画像の撮像を指示し、撮像された画像のエッジ特徴に基づいて、前記原稿の接触を検知する、請求の範囲第1項に記載の画像入力装置。 |
| 前記接触検知部は、前記表示部に対する外部からの圧力を検知するための圧力センサからの出力に基づいて、前記原稿の接触を検知する、請求の範囲第1項に記載の画像入力装置。 |
| 画像を表示するための、透明な平板を含む表示部(2)と、 前記平板に接触した原稿の、前記平板に接する接触面を撮像するための撮像部(3)と、 前記平板に接触した前記原稿の静止を検知するための静止検知部(62)と、 前記静止検知部により前記原稿の静止が検知された場合に、前記撮像部に前記接触面の画像の撮像指示を出力するための撮像指示部(64)と、 前記撮像指示に応じて前記撮像部により撮像された画像を入力するための画像入力部(65)とを備える、画像入力装置。 |
| 前記静止検知部は、一定周期で前記撮像部に前記接触面の画像の撮像を指示し、撮像された画像のエッジ特徴および時間差分に基づいて、前記原稿の静止を検知する、請求の範囲第12項に記載の画像入力装置。 |
| 画像を表示するための、透明な平板を含む表示部(2)と、 前記平板に接触した原稿の、前記平板に接する接触面を撮像するための撮像部(3)と、 前記撮像部により撮像された前記接触面の画像を入力するための画像入力部(65)と、 前記原稿の前記平板への接触の解除を検知するための解除検知部(66)と、 前記表示部に、ユーザからの指示を受け付けるためのボタン領域を表示する表示制御部(63)と、 前記ボタン領域への物体の接触/非接触を判定する判定部(60,S24)と、 前記解除検知部による検知処理が行なわれている間は、前記判定部による判定を無効化する、画像入力装置。 |
| 前記解除検知部は、一定周期で前記撮像部に前記接触面の画像の撮像を指示し、撮像された画像のエッジ特徴に基づいて、前記原稿の接触の解除を検知する、請求の範囲第14項に記載の画像入力装置。 |
| 前記解除検知部は、前記表示部に対する外部からの圧力を検知するための圧力センサからの出力に基づいて、前記原稿の接触の解除を検知する、請求の範囲第14項に記載の画像入力装置。 |
| 表示部(2)が有する透明な平板への原稿の接触を検知するステップ(S4)と、 前記原稿の接触が検知された場合に、均一な特定色の画像を表示するステップ(S8)と、 前記特定色の画像が表示されている場合に、前記平板に接触する接触面の画像を撮像することにより、前記接触面の画像を入力するステップ(S14)とを備える、画像入力方法。 |
本発明は、画像入力装置および画像入力 法に関し、特に、表示機能と一体化された 像入力装置および画像入力方法に関する。
小型情報端末などの表示及び操作部とし 、液晶とタッチパネルを組み合わせた装置 広く利用されている。ユーザは液晶に表示 れたボタンをペンや指でタッチすることで 末の操作を行なうことができる。タッチパ ルは感圧式、もしくは、静電容量式のもの どが考案されているが、液晶面の上に配置 る必要があるため、画質の低下の問題があ た。また、部品点数が増えることで、部材 組み立てのコストがかかる問題もあった。
特許文献1(特開2004-318819号公報)によると、
ラス基板上に液晶を駆動する回路とともに
センサを形成する技術が考案されている。
の技術により、画像を表示するだけでなく
一般的なスキャナのように画像の入力を行
うことができる。また、入力した画像を処
することでタッチパネルとしても利用でき
。別に感圧式、もしくは、静電容量式のタ
チパネル部材を用いることなく、通常の液
表示装置と同様のプロセスで製造できるた
、コストを抑えることも可能であるとして
る。
しかしながら、特許文献1の技術を用いた 、画像表示と画像入力の両方の機能をもった 装置において、ユーザにとって操作性がよく 、かつ、高精度に原稿画像を入力することは 困難であった。
本発明は、上記のような問題を解決する めになされたものであって、その目的は、 像表示と画像入力の両方の機能をもった画 入力装置において、ユーザにとって操作性 よく、かつ、原稿画像を精度良く取り込む とのできる画像入力装置および画像入力方 を提供することである。
この発明のある局面に従う画像入力装置 、画像を表示するための、透明な平板を含 表示部と、平板に載せられた原稿の、平板 接する接触面を撮像するための撮像部と、 板への原稿の接触を検知するための接触検 部と、接触検知部により原稿の接触が検知 れた場合に、均一な特定色の画像を表示す 制御を行なう表示制御部とを備える。
好ましくは、特定色の画像が表示されて る場合に、撮像部に接触面の画像の撮像指 を出力するための撮像指示部と、撮像指示 応じて撮像部により撮像された画像を入力 るための画像入力部とを備える。
好ましくは、接触検知部により原稿の接 が検知された場合に、原稿の静止を検知す ための静止検知部をさらに備え、撮像指示 は、特定色の画像が表示されている場合で って、かつ、静止検知部により原稿の静止 検知された場合に、接触面の画像の撮像を 示する。
好ましくは、表示制御部は、ユーザより 像入力の指示があった場合に、平板に原稿 載せるようメッセージを表示し、メッセー を特定色の画像に切替える。
好ましくは、接触検知部により原稿の接 が検知された場合に、原稿の静止を検知す ための静止検知部をさらに備え、表示制御 は、静止検知部により原稿の静止が検知さ た場合に、メッセージを特定色の画像に切 える。
好ましくは、特定色は、白色である。
あるいは、特定色は、第1、第2および第3の
を含み、表示制御部は、原稿検知部により
稿の接触が検知された場合に、表示部に表
する画像を、第1、第2、第3の色の画像に切
えることが好ましい。
好ましくは、第1、第2、第3それぞれの色 画像に切替えられる毎に、接触面の画像の 像指示を出力するための撮像指示部と、撮 指示に応じて撮像部により撮像された第1、 第2および第3それぞれの色成分の画像を入力 るための画像入力部と、画像入力部により 力された第1、第2および第3それぞれの色成 の画像を合成するための合成部とをさらに える。
好ましくは、第1、第2および第3の色は、そ
ぞれ、赤、緑、青のいずれかである。
好ましくは、接触検知部は、一定周期で撮
部に接触面の画像の撮像を指示し、撮像さ
た画像のエッジ特徴に基づいて、原稿の接
を検知する。
好ましくは、接触検知部は、表示部に対 る外部からの圧力を検知するための圧力セ サを含む。
この発明の他の局面に従う画像入力装置 、画像を表示するための、透明な平板を含 表示部と、平板に接触した原稿の、平板に する接触面を撮像するための撮像部と、平 に接触した原稿の静止を検知するための静 検知部と、静止検知部により原稿の静止が 知された場合に、撮像部に接触面の画像の 像指示を出力するための撮像指示部と、撮 指示に応じて撮像部により撮像された画像 入力するための画像入力部とを備える。
好ましくは、静止検知部は、一定周期で 像部に接触面の画像の撮像を指示し、撮像 れた画像のエッジ特徴および時間差分に基 いて、原稿の静止を検知する。
この発明のさらに他の局面に従う画像入 装置は、画像を表示するための、透明な平 を含む表示部と、平板に接触した原稿の、 板に接する接触面を撮像するための撮像部 、撮像部により撮像された接触面の画像を 力するための画像入力部と、原稿の平板へ 接触の解除を検知するための解除検知部と 表示部に、ユーザからの指示を受け付ける めのボタン領域を表示する表示制御部と、 タン領域への物体の接触/非接触を判定する 判定部と、解除検知部による検知処理が行な われている間は、判定部による判定を無効化 する。
好ましくは、解除検知部は、一定周期で 像部に接触面の画像の撮像を指示し、撮像 れた画像のエッジ特徴に基づいて、原稿の 触の解除を検知する。
好ましくは、解除検知部は、表示部に対 る外部からの圧力を検知するための圧力セ サを含む。
この発明の他の局面に従う画像入力方法 、表示部が有する透明な平板への原稿の接 を検知するステップと、原稿の接触が検知 れた場合に、均一な特定色の画像を表示す ステップと、特定色の画像が表示されてい 場合に、平板に接触する接触面の画像を撮 することにより、接触面の画像を入力する テップとを備える。
本発明によると、画像表示と画像入力の 方の機能をもった画像入力装置においても 原稿画像を精度良く取り込むことが可能と る。また、ユーザが操作に戸惑うという不 合を解消することができる。
1 画像入力装置、2 表示部、3 撮像部、4 RAM、5 ROM、6,6A 制御部、7 フラッシュメモ 、8 タイマ、20 表示撮像装置、30 光セン 、31 画素TFT、32 表示制御TFT、33 画像取込 ンサ、34 スタテッィク型記憶素子、35 初期 化用TFT、36 データ保持用TFT、61 接触検知部 62 静止検知部、63,63A 表示制御部、64 撮像 指示部、65 画像入力部、66 解除検知部、68 画像合成部、631,631A 画面切替部、201 画素ア レイ部、202 信号線駆動回路、203 走査線駆 回路、204 信号処理出力回路、205 同期信号 生回路、130 ドライバ、131 走査信号線駆動 回路、132 データ信号線駆動回路、133 光セ サ駆動回路、134 スイッチ、135 アンプ、140 液晶パネル、141 画素回路、141b,141g,141r サ ピクセル回路、143 電極対、143a 画素電極、 143b 対向電極、144 光センサ回路、145 フォ ダイオード、146 コンデンサ、151A アクティ ブマトリクス基板、151B 対向基板、152 液晶 、153b カラーフィルタ、153g カラーフィル 、153r カラーフィルタ、157 データ信号線 161 偏光フィルタ、162 ガラス基板、163 遮 膜、164 配向膜、179 バックライト、180 画 処理エンジン、181 ドライバ制御装置、182 イマ、183 信号処理装置、178 内部IF。
この発明の実施の形態について図面を参 して説明する。以下の説明では同一の部分 は同一の符号を付してある。それらの名称 よび機能も同じである。したがって、それ についての詳細な説明は繰り返さない。
(第1の実施の形態)
図1は、本実施の形態に係る画像入力装置1
ハードウェアブロック図である。画像入力
置1は、たとえば、PDA(Personal Digital Assistant)
携帯電話等の小型情報端末が想定される。
図1を参照して、画像入力装置1は、画像 表示するための表示部2、画像を撮像するた の撮像部3、ROM(Read Only Memory)4、RAM(Random Acc ess Memory)5、制御部6、不揮発性のメモリたと ばフラッシュメモリ7および、計時動作を行 なうタイマ8を備える。
制御部6はCPU(Central Processing Unit)および、 CPU上で実行されるプログラムによって実現さ れ、画像入力装置1全体の機能を制御する。RO M4、RAM5にはプログラムや作業データなどが記 憶される。表示部2は、メニュー、ユーザへ メッセージおよび画像など表示を行なう。 示部2は、上面に透明な平板を含んでおり、 像部3は、その平板に載せられた原稿画像の 撮像を行なう。撮像部3は、また、表示部2に 示されたメニューやボタンに対するユーザ タッチ操作を検出する。なお、本実施の形 では、ユーザのタッチ操作を検出するため 、撮像部3を用いることとして説明するが、 別途、感圧式、もしくは静電容量式の接触検 知機能も備えたタッチパネルを用いてもよい 。
本実施の形態の画像入力装置1がPDAや携帯 電話である場合、画像入力装置1は、インタ ネットと接続するための通信I/F(図示せず), 声出力部(図示せず),音声入力部(図示せず)な ど、PDAや携帯電話として機能するためのハー ドウェアがさらに備えられるものとする。
図2は、本実施の形態に係る画像入力装置1
外観図である。
画像入力装置1の表面には、LCD(Liquid Crystal
Display)で実現される表示撮像装置20が配置さ
、表示撮像装置20は、表示部2および撮像部3
機能を実現する。
以下では、表示撮像装置20のハードウェ 構成についてさらに説明する。特に限定さ ないが、表示撮像装置20のハードウェア構成 は、上述した特許文献1に開示された構成を 用することが可能であり、以下では、その 略を説明する。
すなわち、図1に示した画像入力装置1に ける表示撮像装置20は、各画素に、画像取込 を行なうセンサを配置している。LCD基板に対 しては、共通電極をITO(Indium Tin Oxide)等の透 電極材料により形成した対向基板を所定の 隔で配置する。LCD基板と対向基板との間に 晶材料を注入し封止して、さらに両基板の 側に偏光板を貼り付けて用いる。
図3は、表示撮像装置20の概略構成を示すブ
ック図である。
表示撮像装置20は、信号線及び走査線が配
される画素アレイ部201と、信号線を駆動す
信号線駆動回路202と、走査線を駆動する走
線駆動回路203と、センサからの撮像データ
シリアル出力する信号処理出力回路204と、
期信号発生回路205とを備える。制御部6は、
像データの処理も行なう。
画素アレイ部201は、LCD基板上に、スイッ ング素子として低温ポリシリコンTFT(Thin Fil m Transistor)を用いて形成される。また、信号 駆動回路202、走査線駆動回路203、信号処理 力回路204の少なくとも一部も、低温ポリシ コンTFTでLCD基板上に形成される。このLCD基 上に受光用センサも形成される。このLCD基 は、表示撮像装置20の上面側、下面側のい れとすることも可能であるが、センサの受 感度の観点からは、上面側が望ましい。
画素アレイ部201においては、たとえば、 画素のサブピクセルには、対応する色のカ ーフィルタが設けられる。LCD基板の背面か のバックライトを供給する光源(図示せず) して、たとえば、白色LED(Light Emitting Diode) 設けられる。
サブピクセルの補助容量Csに書き込まれ 電圧に基づいて、液晶の透過率を変化させ 、階調表示を行なわせることができる。
信号線駆動回路202の内部には、ディジタ アナログコンバータDAC(図示せず)が設けら 、外部回路より所定周期で入力されるデジ ル画素データを液晶の駆動に適したアナロ 画素電圧に変換して、信号線Lsigを駆動する
走査線駆動回路203は、走査線Lgを、順次 選択し、選択された走査線に対応する行の 素に対しては、信号線駆動回路202から信号 供給される。
信号処理出力回路204は、同期信号発生回 205からのクロックに同期して、選択した画 から逐次現れる撮像データを増幅して外部 送出する。
図4は、画素アレイ部201の1画素分のうち センサが設けられるサブピクセルの詳細回 図である。
図4に示すように、1画素は、画素TFT31と、 補助容量Csに電荷を蓄積するか否かを制御す 表示制御TFT32と、それぞれが所定範囲の入 光を撮像する画像取込センサ33と、センサ33 撮像結果を格納するキャパシタC1(以下では ンサ容量とも呼ぶ)と、キャパシタC1の蓄積 荷に応じた2値データを格納するスタテッィ ク型記憶素子34と、キャパシタC1に初期電荷 蓄積するための初期化用TFT35とを有する。ス タテッィク型記憶素子34は従属接続された2個 のインバータから成り、通常のSRAM(Static Rando m Access Memory)の記憶素子と同様の構成を有す る。スタテッィク型記憶素子34は、キャパシ C1の電位を2値化したり、TFT35とTFT36が同時に オンした場合にはループ状に接続されて2値 したデータを保持することができる。
キャパシタC1の初期化を行なう場合は、 素TFT31と初期化用TFT35をオンする。表示素子 輝度を設定するためのアナログ画素電圧(ア ナログ画素データ)を補助容量Csに書き込む場 合は、画素TFT31と表示制御TFT32をオンする。 タテッィク型記憶素子34のデータ保持(リフ ッシュ)を行なう場合は、初期化用TFT35とス テッィク型記憶素子34内のデータ保持用TFT36 ともにオンする。スタテッィク型記憶素子3 4に格納された撮像データを信号線に供給す 場合は、画素TFT31とデータ保持用TFT36をとも オンする。
したがって、表示撮像装置20は、通常の 示動作を行なうこともできるし、スキャナ 同様の画像取込みを行なうこともできる。
通常の表示動作を行なう場合は、TFT35,36 オフ状態に設定され、スタテッィク型記憶 子34には有効なデータは格納されない。この 場合、信号線には、信号線駆動回路202からの 信号線電圧が供給され、この信号線電圧に応 じた表示が行なわれる。
一方、画像取込みを行なう場合は、LCDの 面側に画像取込み対象物(例えば、原稿など の紙面)を配置し、バックライトからの光をLC Dのガラス基板を介して紙面に照射する。紙 で反射された光はLCD基板上のセンサ33で受光 され、画像取込みが行なわれる。
なお、センサが設けられないサブピクセ については、図4の構成からセンサ33とスタ ッィク型記憶素子34に関係する回路部分を いた、液晶LCおよび補助容量Csとスイッチン トランジスタ(画素TFT31と表示制御TFT32)とが けられる。
図5は、表示撮像装置20を説明するためのLCD
模式図である。
表示撮像装置20の各画素はカラー画像を表
するためのR(赤)、G(緑)、B(青)の色フィルタ
有する3つのサブピクセルで構成され、格子
に配置されている。また、各画素には光セ
サ31が配置され、全体で撮像部3を実現する
図5では、光センサ31をB(青)のサブピクセル
に配置しているが、他の色のサブピクセル
に配置してもよい。また、色による感度依
をなくすため、光センサ31の上部の色フィ
タには窓を開けてもよい。あるいは、色フ
ルタに窓を開けず、さらに、光センサをR(赤
)、G(緑)、B(青)すべてのサブピクセル上に配
することで、一度の撮像でカラー画像を撮
できるようにしてあってもよい。
ところで、画像入力装置1のような画像表 示と画像入力の両機能を備えた装置において は、なんらかの画像を表示したまま原稿の画 像を入力すると、表示している画像が入力画 像に写り込んでしまう場合がある。このため 、表示領域は白色などで塗り潰しておく必要 がある。しかしながら、表示領域はユーザが 小型情報端末を操作するためのインターフェ イスでもあるため、表示領域全面を塗り潰す とユーザにとってはどのように操作すればよ いか分からなくなってしまう。
また、画像の取り込み指示を行なうボタ を表示領域に表示する場合、表示領域は原 で覆われてしまうため、ボタンを表示する 域を除いた狭い領域で画像を入力すること なる。たとえば図15(a)に示したように、表 撮像装置20´にボタンBT1を表示する場合、ボ ンBT1の分、装置に対して画像の取り込み面 が小さくなり、画面全体を有効に利用でき い問題がある。なお、図15では、本実施形 の画像入力装置1の表示撮像装置20と区別す ために表示撮像装置20´と記す。
あるいは、図15(b)に示したように、別途 ード的なボタンBT2を設けることも考えられ が、このような場合、ボタンBT2を用意する ストだけでなく、小型情報端末自体が大き なるという問題が生じる。
以上のように、画像表示と画像入力の両 の機能を持った装置において原稿画像を入 する場合、画面全体を有効利用できない、 しくは、別途画像入力を指示するボタンを けなければいけないという問題があった。 た、原稿を画像取り込み面すなわち、表示 2(表示撮像装置20)の平板(以下単に「表示部2 」という)に置く前に画面を白などで消去し おく必要があるため、ユーザに対するメッ ージが表示できず、ユーザは操作するのに かりにくいという問題もあった。さらに、 力した画像情報を処理してタッチパネルを 現する場合、画像取り込み面に原稿が置か たままでは原稿の画像情報を指などと誤認 してしまい、誤動作してしまう問題もあっ 。
本実施の形態の画像入力装置1によると、 上記のような問題点を解決することができる 。そのことについて、以下、詳細に説明する 。
図6は、本実施の形態に係る画像入力装置1
機能ブロック図である。
図6を参照して、制御部6は、接触検知部61、
静止検知部62、表示制御部63、撮像指示部64、
画像入力部65および解除検知部66を含む。な
、各ブロックの動作は、ROM5中に格納された
フトウェアを実行することで実現されても
いし、これらのうち少なくとも1つについて
は、ハードウェアにより実現されてもよい。
接触検知部61は、表示部2への原稿の接触 検知する。静止検知部62は、接触検知部61に より原稿の接触が検知された場合に、原稿が 静止したか否かを検知(判断)する。
表示制御部63は、少なくとも接触検知部61 により原稿の接触が検知された場合に、均一 な特定色、たとえば白色の画像を表示する制 御を行なう。表示制御部63は、後述するよう 、ユーザより画像入力(画像取り込み)の指 があった場合に、表示部2に原稿を載せるよ メッセージを表示する。その後(メッセージ は表示したままで)、少なくとも接触検知部61 により原稿の接触が検知された場合に、表示 制御部63の画面切替部631は、当該メッセージ 白色の画像に切替える。また、表示制御部6 3は、表示部2の所定の領域に、ユーザからの 示を受け付けるためのボタンを表示する。
撮像指示部64は、白色の画像が表示され いる場合に、撮像部3に原稿画像の撮像指示 出力する。画像入力部65は、撮像部3により 像された原稿画像を入力する。入力された 稿画像は、RAM5に記憶される。
解除検知部66は、画像入力部65により画像 が入力された場合に、接触検知部61による検 結果に基づき、原稿の表示部2への接触が解 除されたか否かを検知(判断)する。
制御部6は、上記ブロックの機能の他、表 示部2に表示されたボタンへの物体(たとえば ーザの指など)の接触/非接触を判定する機 を有する。画像入力処理において、解除検 部66により原稿の接触が解除されたと判断さ れた場合に、接触/非接触の判定を有効化す 。つまり、画像が入力された後、解除検知 66により原稿の接触が解除されたと判断され てはじめて、入力された画像に関するユーザ からの指示を受け付ける。言い換えると、解 除検知部66による検知処理が行なわれている は、接触/非接触の判定は無効化される。
本実施の形態においては、たとえば名刺 画像を入力するケースについて説明する。 の場合、入力された名刺の画像は、さらに 制御部6において名前やメールアドレスなど の認識が行なわれてもよい。そのような認識 の結果、フラッシュメモリ7内のアドレス帳 自動的に名刺の情報が登録されたり、メー 送信や電話などが自動的に行なわれてもよ 。
なお、撮像される原稿画像は、名刺など 文字情報を含んだ画像に限定されるもので ない。たとえば、2次元コード(QRコード(登 商標))であってもよい。その場合、画像入力 装置1は、撮像したQRコードを読み取って、通 信I/F(図示せず)を介してWebアクセスすること できる。そのため、通常、カメラを起動し フォーカスを合わせ、シャッターを切ると う操作が必要であるのに対し、画像入力装 1によると、表示部2を雑誌のQRコードの部分 に覆い被せるだけで、QRコードを認識し、Web クセスすることが可能になる。
このようなQRコードには誤り検出符合が まれる。したがって、QRコードを読み取る場 合、表示部2に白画面が表示された時点でQRコ ード認識を繰り返し行なえばよいので静止検 知部62による処理は不要になる(繰り返し認識 し、誤りが検出されなくなれば復号結果を出 力すればよいため)。
図7は、本実施の形態に係る画像入力装置 1における画像入力の処理手順を示すフロー ャートである。図7のフローチャートに示す 理は、予めプログラムとしてROM4に格納され ており、制御部6がこのプログラムを読み出 て実行することにより、画像入力処理の機 が実現される。
図7を参照して、ユーザから画像入力を要 求されると、表示制御部63は、原稿の設置を すメッセージを表示部2に表示する(ステッ S(以下、Sと略す)2)。この時点において、表 部2には、ユーザからの指示を受け付けるボ ンは表示されない。
次に、接触検知部61は、原稿の接触を検 するための接触検知処理を行なう(S4)。接触 知処理については、後に図9のサブルーチン を用いて詳細に説明する。
接触検知部61は、接触検知処理が終わる 、原稿の接触を検知したか否かを判断する(S 6)。原稿の接触が検知された場合(S6にてYES)、 表示部2に表示しているメッセージを白色画 に切替える(S8)。このようにして、表示部2に 表示されていた画像(メッセージ)が白一色で 去される。S6において、原稿の接触が検知 れなかった場合(S6にてNO)、この画像入力処 は終了される。
S8において、画面が切替えられると、次 、静止検知部62は、静止検知処理を行なう(S1 0)。静止検知処理については、後に図10のサ ルーチンを用いて詳細に説明する。
静止検知部62は、静止検知処理が終わる 、原稿の静止が検知されたか否かを判断す (S12)。原稿の静止が検知されたと判断した場 合(S12にてYES)、撮像指示部64は、撮像部3に対 、撮像指示を出力する。これにより、撮像 3によって、表示部2(の平板)に載せられた原 稿の表示部2に接する面(の画像)が撮像される 。このようにして、画像入力部65は、撮像さ た画像を入力し、RAM5に書き込む(S14)。なお 本実施の形態では、原稿の静止が検知され とあらためて画像を撮像することとしたが あらためて撮像することなくS10の静止検知 理に用いた最終画像すなわち、原稿が静止 た状態で撮像された画像を入力画像として よい。
S12において、原稿の静止が検知されなか た場合(S12にてNO)、この画像入力処理は終了 される。
画像が入力されると、表示制御部63は、 示部2に確認画面を表示する(S16)。この確認 面では、ユーザが入力画像を確認できるよ に、S14で入力された画像が表示される。な 、確認画面は、制御部6において入力画像の 字認識が行なわれた結果、表示されるもの あってもよい。このとき、表示部2に載せら れている原稿による誤動作を防止するために 、表示部2に表示する操作ボタンは無効化し ままにする。あるいは、この段階では、操 ボタンを表示しないことにしてもよい。い れにしても、操作ボタンが表示される領域 の物体の接触/非接触の判定処理は機能させ いようにする。表示部2の画面が白色画像か ら確認画面に切替えられた直後は、原稿が表 示部2に載せられたままであるが、このよう することで、原稿の接触によってユーザか の指示と誤判定することを防止することが きる。
次に、解除検知部66は、接触解除検知処 を実行する(S18)。接触解除検知処理について は、後に図11のサブルーチンを用いて詳細に 明する。
接触解除検知処理が終わると、解除検知 66は、表示部2上から原稿がなくなった(表示 部2への原稿の接触が解除された)か否かを判 する(S20)。原稿がなくなったと判断された 合(S20でYES)、制御部6は、表示部2に表示した 作ボタンを有効化する(S22)。なお、S16では だ原稿は表示部2の上に設置されており、ユ ザは確認画面を視認することができないた 、S16の処理とS18,20の処理を入れ替えてもよ 。
S20において、原稿の非接触が検知されな った場合(S20にてNO)、この画像入力処理は終 了される。
最後に、確認画面上に表示された操作ボ ン(たとえば、「OK」ボタンと「RETRY」ボタ )に対するユーザからの指示を検出する。ユ ザからの指示が「OK」であった場合(S24でYES) 、この画像入力処理は終了される。このとき 、入力された画像は、さらに、上述したよう な文字認識などの処理が行なわれてもよいし 、フラッシュメモリ7に画像のまま記憶され もよい。
一方、ユーザからの指示が「RETRY」であ た場合(S24でNO)、S2に戻り、上述の一連の処 が再度行なわれる。
ここで、上述のような本実施の形態の画 入力処理において、表示部2に表示される画 面の遷移例を図8を用いて説明する。図8(a)~(d) は、本実施の形態における画面遷移例を示す 図である。図8(a)はS2、図8(b)はS8、図8(c)はS16 図8(d)はS22に対応する。
図8(a)では、ユーザが操作方法に迷うこと がないように、表示部2の画面全体にメッセ ジが表示される。その後、原稿の接触が検 されると、図8(b)に示されるように、表示部2 の画面は白色で塗り潰される。図8(b)の画面 とき、原稿が表示部2を覆っているため、実 にはユーザはこの画面を視認することはで ない。
原稿の静止が検知され、原稿(名刺)の撮 が行なわれると、図8(c)に示されるように、 認画面が表示される。このとき、表示部2の 所定の領域E1に、撮像された画像が所定の縮 率に縮小されて表示される。また、表示部2 の他の所定の領域E2に、ユーザからの指示を け付けるための2つのボタンが表示される。 なお、この段階においても原稿が表示部2を っているため、実際にはユーザは画面を視 することはできない。そのため、上記した うな原稿のボタンへの接触による誤判定を 止するために、表示されている2つのボタン 無効にされている。つまり、図7のS18および S20において原稿の接触が解除されたかを検知 している間は、ボタンは無効化される。
その後、原稿が取り除かれたと判断され と、図8(d)に示されるように、図8(c)にも示 た2つのボタンは有効とされる。
このように、図8(a)でユーザが原稿を表示 部2に置いてから、原稿の接触・静止状態を 出することで、自動的に高画質の画像を入 することができる。したがって、別途、画 取り込みのためのハードウェアボタンを設 たり、表示部2の画面上に取り込みボタンを 示する必要がない。そのため、本実施の形 によれば、操作方法についてユーザを迷わ たり煩わせることなく、簡単に高画質の画 の入力が行なわれる。また、画像入力装置1 を小型化することもできる。
また、図8(d)に示したように、原稿が表示 部2から取り除かれたことが検知されてから 入力した画像についての指示が受け付けら る。それまでに(図8(c)の段階で)ボタンが表 されている領域E2に物体(たとえば原稿)の接 があったとしても、制御部6は、その判定を 行なわないため、誤動作が防止される。
次に、本実施の形態における接触検知処 、静止検知処理および接触解除処理につい 詳細に説明する。本実施の形態では、撮像 3で撮像される画像をもとにそれぞれの処理 を行なう。しかしながら、このような処理に 限定されるものではなく、たとえば、感圧式 のタッチパネルを別途設け、タッチパネルで 検出される圧力の大きさで原稿の接触や静止 を検知してもよい。つまり、画像入力装置1 、表示部2に対する外部からの圧力を検知す ための圧力センサ(図示せず)をさらに備え 、接触検知部61、静止検知部62および解除検 部66は、圧力センサからの出力に基づいて 検知処理を行なってもよい。
図9は、本実施の形態における接触検知処理
を示すフローチャートである。
図9を参照して、接触検知部61は、撮像部3に
対し、撮像指示を出力する(S41)。撮像された
像は、RAM5に確保した一時領域に出力される
(S42)。その後、接触検知部61は、一時領域に
力された画像からエッジ情報を抽出する(S43)
。
具体的には、座標(x,y)における画素(輝度) 値をp(x,y)、エッジ情報をg(x,y)とすると、数式 1のように求めることができる。
ただし、fx、fyはSobelのオペレータであり 数式2のような係数をもつ。
本実施の形態ではエッジ情報を求めるの Sobelのオペレータを用いたが、別のオペレ タを用いてもよい。
次に、接触検知部61は、数式3のように、 画素のエッジ情報をもとに評価値Sを算出す る(S44)。
数式3ではg(x,y)の総和を評価値Sとしてい 。しかしながら、g(x,y)を所定の閾値で2値化 たのち、総和をとったものを評価値Sとして もよい。このようにすることで、ノイズの影 響を軽減することもできる。
評価値Sが求まれば、評価値Sが所定の閾 T1以上か否かで原稿接触の有無が判定される (S45)。評価値Sが閾値T1以上であれば(S45でYES) 接触検知部61は、原稿接触の有無を示すため のフラグ(「接触フラグ」という)を1にセット する(S47)。つまり、原稿の接触が検知された 判定される。S47の処理が終わると、メイン ーチンに戻る。
評価値Sが閾値T1未満であれば(S45でNO)、接 触検知部61は、所定時間が経過したか否かを 断する(S46)。所定時間が経過したと判断さ るまで(S46でNO)、上記処理が繰り返される。 実施の形態では、一定の周期(たとえば30Hz) 撮像指示(S41)が行なわれるものとする。
S46にて、所定時間が経過したと判断され 場合(S46でYES)、接触検知部61は、接触フラグ を0にセットする(S48)。つまり、原稿の接触が 検知されなかったと判定される。S48の処理が 終わると、メインルーチンに戻る。
本実施の形態では上述のようにして原稿 接触の有無が検知されるため、図7のS6の処 は、具体的には接触フラグが0か1かを判断 ることにより行なわれる。つまり、接触フ グが1であれば、S8に進み、接触フラグが0で れば終了することになる。
なお、図7のS2で表示するメッセージ(図8(a ))は、明度の変化が大きい画像にしておくこ が好ましい。そのようにすることで、原稿 設置した際にメッセージが写り込むため、 触検出が行ないやすくなる効果がある。た えば、メッセージが青地に白文字で表示さ た場合、白紙部分の多い名刺の接触を検出 ることは困難である。その解決策として、 文字に黒シャドウを付けてわざと撮像画像 写り込ませることで、白紙部分の多い名刺 も接触検出が行ないやすくなる。具体的に 、前者の評価値Sが6程度であったとしても 後者のようにすることで評価値Sは140程度ま 上がる。
また、本実施の形態では、メッセージを 示したままで接触検出を行なうため、S2の ッセージは、文字・記号等の静止画である とが前提とされる。したがって、原稿の静 が検知されてから、画面を均一な特定色に 替えてもよい。つまり、図7において、S12とS 14との間にS8の処理が行なわれてもよい。
図10は、本実施の形態における静止検知 理を示すフローチャートである。なお、図10 のS101~S104の処理は、それぞれ、図9のS41~S44の 理と同様である。したがって、ここではそ らの説明を繰り返さない。
図10を参照して、S105において、静止検知 62は、画像の時間差分Dを算出する。本実施 形態では、時間差分Dを用いて原稿の静止状 態が判定される。時間差分Dは、数式4により められる。
ただし、g’は前フレームのエッジ情報で ある。なお、数式3同様、エッジ情報を所定 閾値で2値化したのち、時間差分Dを求めても よい。または、エッジ情報ではなく、輝度値 を用いての時間差分を求めてもよい。
次に、静止検知部62は、評価値Sが、閾値T 1以上か否かを判断する(S106)。評価値Sが、閾 T1以上であれば(S106でYES)、さらに、時間差 Dが所定の閾値T2以下であるか否かを判断す (S107)。時間差分Dが閾値T2以下であれば(S107で YES)、S108に進む。一方、評価値Sが閾値T1未満 たは時間差分Dが閾値T2を上回っていれば(S10 6でNO,S107でNO)、S113に進む。
S108において、静止検知部62は、静止時間T cがカウントされているか否かを示すための ラグ(以下「カウントフラグ」)が1にセット れているか否かを判断する。カウントフラ が1でなければ(S108でNO)、カウントフラグが1 セットされ(S109)、S110に進む。カウントフラ グが1であれば(S108でYES)、S109の処理をスキッ してS110に進む。
S110において、静止検知部62は、原稿の静 が検知されてからの時間Tcをカウントする 次に、時間Tcが、所定時間T3以上か否かが判 される(S111)。時間Tcが所定時間T3以上であれ ば(S111でYES)、静止検知部62は、原稿の静止の 無を示すためのフラグ(「静止フラグ」とい う)を1にセットする(S116)。つまり、原稿が静 していると判定される。S116の処理が終わる と、処理はメインルーチンに戻される。
S113において、静止検知部62は、カウント ラグ、および、タイマのカウント値である 間Tcを0にセットする。その後、この静止検 処理が開始されてから所定時間が経過した 否かを判断する(S114)。所定時間が経過した 判断されるまで(S114でNO)、S101に戻り、静止 知処理が継続される。この静止検知処理に いても、一定の周期(たとえば30Hz)で撮像指 が行なわれてよい。
S114にて、所定時間が経過したと判断され た場合(S114でYES)、静止検知部62は、静止フラ を0にセットする(S115)。つまり、原稿の静止 が検知されなかったと判定される。S115の処 が終わると、メインルーチンに戻る。
本実施の形態では上述のようにして原稿 静止の有無が検知されるため、図7のS12の処 理は、具体的には静止フラグが0か1かを判断 ることにより行なわれる。つまり、静止フ グが1であれば、S14に進み、静止フラグが0 あれば終了することになる。
図11は、本実施の形態における接触解除 知処理を示すフローチャートである。図11の S181~S185の処理は、それぞれ、図9のS41~S45の処 と同様である。したがって、ここではそれ の説明を繰り返さない。
S185において、評価値Sが閾値T1以上であれ ば(S185でYES)、解除検知部66は、所定時間が経 したか否かを判断する(S186)。所定時間が経 したと判断されるまで(S186でNO)、上記処理 繰り返される。
評価値Sが閾値T1未満であれば(S185でNO)、 除検知部66は、接触フラグを0にセットする(S 187)。つまり、原稿の接触が解除されたと判 される。S187の処理が終わると、メインルー ンに戻る。
S186にて、所定時間が経過したと判断され た場合(S186でYES)、解除検知部66は、接触フラ を1にセットする(S188)。つまり、原稿が接触 されたままである(原稿が取り除かれなかっ )と判定される。S188の処理が終わると、メイ ンルーチンに戻る。
本実施の形態では上述のようにして原稿 表示部2から取り除かれたか否かが検知され るため、図7のS20の処理は、具体的には接触 ラグが0か1かを判断することにより行なわれ る。つまり、接触フラグが0であれば、S22に み、接触フラグが1であれば終了することに る。
なお、上記した各処理における所定のタ ムアウト時間は、同じ値であってもよいし それぞれ別の値であってもよい。
図12(a),(b)は、それぞれ、原稿の接触・静 の検知に用いられる評価値Sおよび時間差分 Dの変化の例を示す図である。
図12(a)を参照して、評価値Sが閾値T1以上 なったとき(ta)、原稿の接触が検知される。 の後、原稿の接触面積が増えるに従い評価 Sが増大し、完全に表示部2に設置されると(t b)、評価値Sは安定する。
図12(b)を参照して、原稿が表示部2に設置 れても、ユーザが位置決めのために原稿を かしている間は時間差分Dが大きいままだが 、ユーザが原稿を静止させると時間差分Dは さくなる。このため、時間差分Dが閾値T2以 になってから所定時間T3が経過した時点で(tc )、原稿の静止が検出される。所定時間T3は、 500ms~1000ms程度であることが好ましい。なお、 閾値T1,T2については、撮像部3により撮像され る画質に基づいて出荷時に定められてよい。
再び図12(a)を参照して、原稿を取り除く き(td)、徐々に評価値Sは減少していく。評価 値Sが、閾値T1を下回った時点で(te)、原稿な が検知される。
なお、ユーザが手で原稿を取り除く際に 均一に原稿を取り除くとは限らず、一部を ち上げながら取り除くことが想定される。 のため、評価値Sが下がっても実際には周辺 部分に原稿の画像がまだ写っているというこ とがある。したがって、評価値Sが、閾値T1を 下回ったことを検知してから一定時間(たと ば500ms)経過した時点で原稿なしと判断され こととしてもよい。
以上のように、本実施の形態によれば、 ーザにメッセージを表示している状態で原 の接触を待ち、接触を検知してから自動的 画面を均一な白色で塗り潰す。そのように ることで、ユーザが操作に戸惑うことがな 、かつ、表示の写り込みがない画像を入力 ることができる。また、原稿が静止したこ を自動的に検知してから画像を取り込むこ で、ユーザが取り込み開始ボタンをおすこ なく、ボケのない画像を入力することがで る。さらに、原稿の接触が検知されている はボタンを無効化しておくことで、表示部2 への原稿の接触による誤動作を防止すること ができる。
なお、上述のように、本実施の形態では 原稿の接触が検知された場合に、表示され いたメッセージが均一な特定色の画像に切 えられた。しかしながら、このような手法 限定されるものではなく、たとえば、メッ ージ表示後所定時間(たとえば3秒)経過した 点で、画面を均一な特定色に切替えてもよ 。
なお、上記した数式1,3,4は、計算で使用 るbit数に合わせて、所定の係数を掛けた値 することもできる。たとえば、数式1は、数 5のような式であってもよい。
また、このとき、このとき、g(x,y)は閾値4 0程度で2値化して処理することができる。こ での閾値は、撮像できる画像のボケ具合に 存して定められる。
さらに、数式3も、数式6に示すように、 像のサイズに影響せず、かつ、値が整数に るように、画素数で割って1000を掛けて正規 してもよい。
上記の条件では、上述の閾値T1として70程度
を設定することができる。
また、数式4も、数式7に示すように、画素
で割り、1000を掛けて正規化してもよい。
このとき、上述の閾値T2として5程度を設定
ることができる。
(第2の実施の形態)
次に、第2の実施の形態に係る画像入力装置
について説明する。
第1の実施の形態においては、入力するた めの画像を撮像する際に表示部2に表示させ 均一な特定色は、一色(たとえば白色)として 説明した。したがって、原稿が静止したと判 断された場合に、一度の撮像で画像を入力す ることができた。しかしながら、撮像部3が 黒(グレー)画像しか撮像できないデバイスで ある場合には、第1の実施の形態に示した制 方法ではカラー画像を入力することができ い。実施の形態2では、そのような白黒画像 か撮像できないデバイスであってもカラー 像が入力できる画像入力装置について説明 る。
なお、本実施の形態に係る画像入力装置 、第1の実施の形態に係る画像入力装置1と 様のハードウェア構成、外観を有し、これ の基本的な動作も同様である。したがって ここでも図1~3に示した画像入力装置1として 明する。
以下に、第1の実施の形態と異なる部分につ
いて説明する。
本実施の形態では、カラー画像を入力する
めに、均一な特定色は、均一な3つの色を含
む。具体的には、特定色は、赤、緑、青の3
を含む。なお、3色は、これらの色に限定さ
ず、たとえば、シアン、マゼンダ、黄色の3
色であってもよい。
図13は、本実施の形態に係る画像入力装 1の機能ブロック図である。図6に示した機能 ブロック図と比較すると、制御部6の機能が なるため、本実施の形態では制御部6Aと記す 。
制御部6Aは、接触検知部61、静止検知部62 表示制御部63A、撮像指示部64、画像入力部65 および解除検知部66の他、画像合成部68をさ に含む。なお、表示制御部63およびそれに含 まれる画面切替部631も、第1の実施の形態と 別するために、ここでは、表示制御部63A,画 切替部631Aと記す。
上記ブロックの各動作については、以下の
ローチャートに基づいて説明する。
図14は、本実施の形態に係る画像入力装置1
おける画像入力の処理手順を示すフローチ
ートである。図14のフローチャートに示す
理は、予めプログラムとしてROM4に格納され
おり、制御部6がこのプログラムを読み出し
て実行することにより、画像入力処理の機能
が実現される。なお、図7のフローチャート
示した処理と同じ処理については同じステ
プ番号を付してある。したがって、それら
ついてのここでの説明は繰り返さない。
図14を参照して、第2の実施の形態では、 7に示した第1の実施の形態における画像入 処理のS8(画面を白に切替え)とS14(画像を撮像 ・入力)の処理が異なる。これらの処理に代 て、S12(原稿静止の有無判断)とS16(確認画面 示)との間に、S201~207の処理が実行される。
S201において、表示制御部63Aの画面切替部 631Aは、表示部2に表示しているメッセージを 一な赤色画像に切替える。このようにして 表示部2に表示されていた画像(メッセージ) 赤一色に塗り潰される。その後、撮像指示 64は、撮像部3に対し、撮像指示を出力する これにより、表示部2に載せられた原稿の表 示部2に接する面の赤成分の画像が撮像され (S202)。撮像された画像は、画像入力部65によ ってRAM5の所定領域に一時的に記録される。
次に、画面切替部631Aは、表示部2に表示 ている赤色画像を均一な緑色画像に切替え (S203)。このようにして、表示部2に表示され いた画像(赤色画像)が緑一色に塗り潰され 。その後、撮像指示部64は、撮像部3に対し 撮像指示を出力する。これにより、表示部2 載せられた原稿の表示部2に接する面の緑成 分の画像が撮像される(S204)。撮像された画像 は、画像入力部65によってRAM5の所定領域に一 時的に記録される。
続いて、画面切替部631Aは、表示部2に表 している緑色画像を均一な青色画像に切替 る(S205)。このようにして、表示部2に表示さ ていた画像(緑色画像)が青一色に塗り潰さ る。その後、撮像指示部64は、撮像部3に対 、撮像指示を出力する。これにより、表示 2に載せられた原稿の表示部2に接する面の青 成分の画像が撮像される(S206)。撮像された画 像は、画像入力部65によってRAM5の所定領域に 一時的に記録される。
その後、画像合成部68は、撮像された(入 された)赤、緑および青成分の画像を合成す る(S207)。このようにして、カラー画像が得ら れる。
以上のように、本実施の形態によれば、 示部2に表示する画像を赤、緑、青に切り替 え、それぞれの画像を入力し、合成すること で、3つのサブピクセルに光センサ31を配置せ ずとも、1つのサブピクセルに光センサ31を配 置するだけでカラー画像を入力できるように なる。
なお、図14のフローチャートでは、原稿 接触が検知された時点では画面を均一な特 色に切替えることなく引き続き原稿静止検 処理を行なうこととした。しかしながら、 施の形態1と同様に、原稿の接触が検知され 時点で画面を赤一色に切替えて、その状態 原稿静止検知処理を行なってもよい。その 合、S6とS10との間に、S201の処理が挿入され 。
また、本実施の形態では、赤、緑、青の に画面を切替えることとしたが、このよう 順序に限定されるものではない。
(変形例)
なお、表示撮像装置20の構成は、図3,図4に
したような構成に限定されない。たとえば
論文「画像入力機能付き2.6インチVGA液晶パ
ル」(著者:加藤 浩巳,クリス ブラウン,Ben H
adwen、シャープ技報第96号 2007年11月)に記載
れた構成であってもよい。または、以下の
うな構成であってもよい。
図16は、表示撮像装置20のハードウェア構成
の一例を示す図である。
図16を参照して、表示撮像装置20は、より詳
細には、たとえば、ドライバ130と、光センサ
内蔵液晶パネル(以下、「液晶パネル」とい
)140と、内部IF178と、バックライト179と、画
処理エンジン180とを含む。
ドライバ130は、液晶パネル140およびバッ ライト179を駆動するための駆動回路である ドライバ130に含まれる各種の駆動回路につ ては、後述する。
液晶パネル140は、液晶ディスプレイの機 と光センサの機能とを備えたデバイスであ 。つまり、液晶パネル140は、液晶を用いた 像の表示と、光センサを用いたセンシング を行うことができる。
内部IF(Interface)178は、表示撮像装置20以外 各部との間で、データの遣り取りを仲介す 。
バックライト179は、液晶パネル140の裏面 配置された光源である。バックライト179は 当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介 て液晶パネル140の動作を制御する。ここで 当該制御は、内部IF178を介して制御部6から られてくる各種データに基づいて行われる また、画像処理エンジン180は、液晶パネル1 40から出力されるデータを処理し、処理した ータを内部IF178を介して制御部6に送る。さ に、画像処理エンジン180は、たとえば、ド イバ制御装置181と、タイマ182と、信号処理 置183とを含む。
ドライバ制御装置181は、ドライバ130に対 て制御信号を送ることによりドライバ130の 作を制御する。タイマ182は、時刻情報を生 し、信号処理装置183に対して時刻情報を送 。信号処理装置183は、上記光センサから出 されるデータを受け取る。ここで、上記光 ンサから出力されるデータはアナログデー であるため、信号処理装置183は、まず当該 ナログデータをデジタルデータに変換する さらに、信号処理装置183は、当該デジタル ータに対して、制御部6から送られてくるコ マンドの内容に応じたデータ処理を行う。そ して、信号処理装置183は、上記データ処理を 行った後のデータと、タイマ182から取得した 時刻情報とを含んだデータを制御部6に送る また、信号処理装置183は、スキャンデータ 連続して複数格納できるRAM(図示せず)を備え ていてもよい。
本例では、表示撮像装置20は、システム 晶を用いて構成される。なお、システム液 とは、液晶パネル140の周辺機器を液晶パネ のガラス基板上に一体形成することにより られるデバイスである。本実施の形態では ドライバ130(バックライト179を駆動する回路 除く)と、内部IF178と、画像処理エンジン180 が、液晶パネル140のガラス基板上に一体形 されている。なお、表示撮像装置20が、必 しもシステム液晶を用いて構成されている 要はなく、ドライバ130(バックライト179を駆 する回路を除く)と、内部IF178と、画像処理 ンジン180とが、上記ガラス基板以外の基板 構成されていてもよい。
図17は、液晶パネル140の構成と、当該液 パネル140の周辺回路とを示した図である。
図17を参照して、液晶パネル140は、画素 路141と、光センサ回路144と、走査信号線Giと 、データ信号線SRjと、データ信号線SGjと、デ ータ信号線SBjと、センサ信号線SSjと、センサ 信号線SDjと、読出信号線RWiと、リセット信号 線RSiとを含む。なお、iは、1≦i≦mを満たす 然数であり、jは1≦j≦nを満たす自然数であ 。
また、ドライバ130は、液晶パネル140の周 回路として、走査信号線駆動回路131と、デ タ信号線駆動回路132と、光センサ駆動回路1 33と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、ドライバ制御 置181から制御信号TC1を受ける。そして、走 信号線駆動回路131は、制御信号TC1に基づき 各走査信号線(G1~Gm)に対して、走査信号線G1 ら順に所定の電圧を印加する。より詳しく 、走査信号線駆動回路131は、単位時間毎に 査信号線(G1~Gm)の中から1つの走査信号線を 次選択し、当該選択した走査信号線に対し 後述するTFT(Thin Film Transistor)142のゲートを ーンオンできるだけの電圧(以下、ハイレベ 電圧)を印加する。なお、選択されていない 走査信号線に対しては、ハイレベル電圧を印 加することなく、ローレベル電圧を印加した ままとする。
データ信号線駆動回路132は、ドライバ制 装置181から画像データ(DR,DG,DB)を受ける。そ して、データ信号線駆動回路132は、3n個のデ タ信号線(SR1~SRn,SG1~SGn,SB1~SBn)に対して、上記 単位時間毎に、1行分の画像データに対応す 電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と ばれる駆動方式を用いて説明したが、これ 限定されるものではない。
画素回路141は、1つの画素の輝度(透過率) 設定するための回路である。また、画素回 141は、マトリクス状にm×n個配されている。 より詳しくは、画素回路141は、図16の縦方向 m個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと Gサブピクセル回路141gと、Bサブピクセル回 141bとからなる。これら3つの回路(141r,141g,141b )は、それぞれ、TFT142と、画素電極と対向電 とからなる1組の電極対143と、図示しないコ デンサとを含む。
なお、n型のトランジスタとp型のトランジ
タとを作れるCMOS(Complementary Metal Oxide Semicon
ductor)を実現できること、キャリア(電子また
正孔)の移動速度がアモルファスシリコン薄
膜トランジスタ(a-Si TFT)に比べて数百倍早い
となどから、表示撮像装置20では、TFT142と
て多結晶シリコン薄膜トランジスタ(p-Si
TFT)が用いられる。なお、TFT142は、n型チャネ
の電界効果トランジスタであるとして説明
る。ただし、TFT142がp型チャネルの電界効果
トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソース データ信号線SRjに接続されている。また、 該TFT142のゲートは走査信号線Giに接続されて いる。さらに、当該TFT142のドレインは、電極 対143の画素電極に接続される。そして、画素 電極と対向電極との間には、液晶が配される 。なお、Gサブピクセル回路141gおよびBサブピ クセル回路141bについても、各TFT142のソース 接続されるデータ信号線が異なる以外は、 素回路141rと同じ構成である。このため、こ ら2つの回路(141g,141b)についての説明は、繰 返さない。
ここで、画素回路141における輝度の設定 ついて説明する。まず、走査信号線Giに上 ハイレベル電圧を印加する。当該ハイレベ 電圧の印加により、TFT142のゲートがターン ンする。このようにTFT142のゲートがターン ンした状態で、各データ信号線(SRj,SGj,SBj)に して、それぞれ指定された電圧(1画素分の 像データに対応する電圧)を印加する。これ より、当該指定された電圧に基づいた電圧 画素電極に印加される。その結果、画素電 と対向電極との間に電位差が生じる。この 位差に基づいて、液晶が応答し、画素の輝 は所定の輝度に設定される。なお、当該電 差は、上記図示しないコンデンサ(補助容量 )によって、次のフレーム期間において走査 号線Giが選択されるまで保持される。
光センサ駆動回路133は、ドライバ制御装置1
81から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号T
C2に基づき、単位時間毎にリセット信号線(RS1
~RSm)の中から1つの信号線を順次選択し、当該
選択した信号線に対して、所定のタイミング
で通常よりもハイレベルな電圧VDDRを印加す
。なお、選択されていないリセット信号線
対しては、選択されたリセット信号線に印
した電圧よりも低い電圧VSSRを印加したまま
する。たとえば、電圧VDDRを0Vに、電圧VSSRを
-5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号T C2に基づき、単位時間毎に読出信号線(RW1~RWm) 中から1つの信号線を順次選択し、当該選択 した信号線に対して、所定のタイミングで通 常よりもハイレベルな電圧VDDを印加する。な お、選択されていない読出信号線に対しては 、上記電圧VSSRを印加したままとする。たと ば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、お よび電圧VDDを印加するタイミングについては 、後述する。
光センサ回路144は、フォトダイオード145 、コンデンサ146と、TFT147とを含む。なお、 下では、TFT147がn型チャネルの電界効果トラ ンジスタであるとして説明する。ただし、TFT 147がp型チャネルの電界効果トランジスタで ってもよい。
フォトダイオード145のアノードは、リセ ト信号線RSiに接続されている。一方、フォ ダイオード145のカソードは、コンデンサ146 一方の電極に接続されている。また、コン ンサ146の他方の電極は、読出信号線RWiに接 されている。なお、以下では、フォトダイ ード145とコンデンサ146との接続点をノードN と称する。
TFT147のゲートは、ノードNに接続されてい る。また、TFT147のドレインは、センサ信号線 SDjに接続されている。さらに、TFT147のソース は、センサ信号線SSjに接続されている。
スイッチ134は、センサ信号線(SD1~SDn)に対 て、所定の電圧を印加するか否かを切り換 るために設けられたスイッチである。スイ チ134の切り換え動作は、光センサ駆動回路1 33により行われる。
アンプ135は、各センサ信号線(SS1~SSn)から 力された電圧を増幅する。増幅された電圧 、信号処理装置183に送られる。
なお、画素回路141を用いて画像を液晶パ ル140に表示させるタイミングと、光センサ 路144を用いてセンシングするタイミングと ついては、画像処理エンジン180が制御する
図18は、液晶パネル140とバックライト179 の断面図である。図18を参照して、液晶パネ ル140は、アクティブマトリクス基板151Aと、 向基板151Bと、液晶層152とを含む。対向基板1 51Bは、アクティブマトリクス基板151Aに対向 て配されている。液晶層152は、アクティブ トリクス基板151Aと対向基板151Bとに挟まれて いる。バックライト179は、アクティブマトリ クス基板151Aに関し液晶層152と反対側に配さ ている。
アクティブマトリクス基板151Aは、透明な 平板である偏光フィルタ161と、ガラス基板162 と、電極対143を構成する画素電極143aと、フ トダイオード145と、データ信号線157と、配 膜164とを含む。さらに、図18には示していな いが、アクティブマトリクス基板151Aは、図17 に示した、コンデンサ146と、TFT147と、TFT142と 、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにお いては、バックライト179側から、偏光フィル タ161、ガラス基板162、画素電極143a、および 向膜164が、この順に配されている。フォト イオード145とデータ信号線157とは、ガラス 板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラ ス基板162と、遮光膜163と、カラーフィルタ(15 3r,153g,153b)と、電極対143を構成する対向電極14 3bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152 側から、配向膜164、対向電極143b、カラーフ ルタ(153r,153g,153b)、ガラス基板162、および偏 フィルタ161が、この順に配されている。遮 膜163は、カラーフィルタ(153r,153g,153b)と同一 の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を 透過させるフィルタである。カラーフィルタ 153gは、緑色の波長の光を透過させるフィル である。カラーフィルタ153bは、青色の波長 光を透過させるフィルタである。ここで、 ォトダイオード145は、カラーフィルタ153bに 対向する位置に配されている。
液晶パネル140は、外光やバックライト179 どの光源により発せられた光を遮ったり、 るいは当該光を透過させたりすることによ て、画像の表示をする。具体的には、液晶 ネル140は、画素電極143aと対向電極143bとの に電圧を印加することにより液晶層152の液 分子の向きを変化させ、上記光を遮ったり あるいは透過させる。ただし、本例では、 晶だけでは光を完全に遮ることができない め、特定の偏光方向の光のみを透過させる 光フィルタ161を配置している。
今回開示された実施の形態はすべての点 例示であって制限的なものではないと考え れるべきである。本発明の範囲は上記した 明ではなくて請求の範囲によって示され、 求の範囲と均等の意味および範囲内でのす ての変更が含まれることが意図される。
Next Patent: TOUCH PANEL AND TOUCH PANEL DISPLAY DEVICE
