まず、本発明の実施形態に係る撮像装置� ��動作の概要を説明する。図1は本発明の実施 形態に係る撮像装置のAF/AEロック及びロック� ��除動作を説明する図である。

 図1(a)、(b)は撮影前の被写体画像を表示す るプレビュー画面の例を示すものである。図 1(a)は被写体Aに対するAF/AEロック状態を示し� �いる。ここでは、プレビュー画面に被写体A� ��被写体Bとが存在しているものとし、被写体 Aを画面中央のAF領域31に合わせた状態でユー� ��がAFボタンを操作すると、この操作入力を� �けて、AF領域31内にある被写体Aに対してAF/AE� ��作(オートフォーカス(自動焦点調整)及び自� ��露出調整動作)を実行し、AF/AEロック状態と� ��る。

 図1(b)は撮像対象を被写体Aから被写体Bに� ��更した状態を示している。図1(a)のAF/AEロッ� ��状態から、図1(b)のように撮像対象を被写体 Aから被写体Bに変更し、ユーザが被写体Bを画 面中央に位置させた場合、所定条件によって 被写体の状態の変化を判定し、AF/AEロックを� ��動的に解除する。前記被写体の状態の変化� ��判定する所定条件としては、AF領域31内の画 像の変化(顔領域の位置変化)、AFロックしたAF 領域31の被写体の動き、被写体画像の露出条� ��の変化などを用いる。このようにAF/AEロッ� �を解除することで、特別な操作を行うこと� �く、新たな被写体に対するAF/AE動作が可能に なる。

 図2は本発明の実施形態に係る撮像装置の 概略構成を示すブロック図である。本実施形 態の撮像装置は、カメラユニットして、レン ズ11、撮像素子12、レンズ駆動部13、画像処理 部14、AF制御部(オートフォーカス制御部)15を� ��えている。撮像素子12は、CCD、CMOS型センサ� ��により構成され、レンズ11によって結像さ� �た被写体像を光電変換して撮像画像の電気� �号を出力する。レンズ駆動部13は、ボイスコ イルモータ等により構成され、AF制御部15か� �の制御信号に基づき、レンズ11を光軸方向に 駆動してフォーカス調整を行う。

 画像処理部14は、撮像素子12の出力信号の 各種処理を行い、被写体を撮像した撮像信号 を生成して出力する。この画像処理部14は、A E制御部(自動露出制御部)の機能を有しており 、被写体画像の明るさが最適な露出となるよ う露光調整を行う。AE制御においては、撮像� ��学系に設ける絞りやシャッタスピードを調� ��することで、被写体画像を適切な明るさに� ��る。なお、携帯電話装置等に搭載されるカ� ��ラユニットにおいて、可動絞りが設けられ� ��いものもあり、このような構成では、撮像� ��子12における電子シャッタのシャッタスピ� �ドやゲインによって撮像素子12の感度などを 調整したり、撮像信号のレベル調整等を行う ことによって露出調整を行う。露出調整完了 後は、AE制御状態を固定してAEロックする。

 AF制御部15は、画像処理部14から出力され� ��撮像信号に基づき、得られる撮像画像のコ� ��トラストなどによって合焦状態を判断し、� ��像画像のボケが最小となるように、レンズ� ��動部13を制御するための制御信号を出力す� �。フォーカス調整完了後は、AF制御状態を固 定してAFロックする。ここで、画像処理部14� �びAF制御部15は、DSPやマイコン等のプロセッ� ��により所定のプログラムに基づいて処理を� ��うことによって、各機能が実現される。

 CPU16は、撮像装置全体の制御機能を有し� �おり、所定のプログラムに基づいて動作し� �各部の制御を行う。このCPU16は、本実施形態 に特徴的な機能として、AF/AEロック及びロッ� ��解除動作の制御機能を備えている。すなわ� ��、CPU16は、被写体状態検出部及び機能制御� �の機能を実現する。なお、画像処理部14等に おいて被写体状態検出部の機能を実現するよ うにしてもよい。メモリ17は、各部の制御プ� ��グラム、撮像した画像データ等を格納する� ��

 本実施形態では、CPU16の制御により、AF/AE 動作によりAF/AEロックした後、撮像画像から� ��定条件によって被写体の状態の変化を判定� ��、AF/AEロックを自動的に解除する。このAF/AE ロック解除の所定条件の具体例としては、(1) 顔検出による顔領域の位置変化、(2)被写体の 動き検出、(3)露出条件(画像の明るさ)の変化� ��どを用いる。なお、ロック解除条件の判定� ��ロック解除指示などの処理は、CPU16で行う� �わりに、画像処理部14で行うようにしてもよ い。このように所定のロック解除条件によっ てAF/AEロックを自動解除する機能を備えるこ� ��で、特別の操作を必要とせずにAF/AEロック� �除可能にする。

 AF/AEロックを解除した場合は、AF制御部15� ��レンズ駆動部13への制御信号によってレン� �11を初期位置に復帰させ、再度AF制御を可能� ��する。なお、AF/AEロックの解除後、初期位� �に戻さずに直ちに現在の被写体画像内のAF領 域にある被写体に対してAF制御を行うように� ��てもよい。また、AF/AEロックを解除した場� �、画像処理部14によるAE制御機能については� ��現在の被写体画像の明るさに追従するAE動� �に復帰させる。

 (第1の実施形態)
 第1の実施形態では、ロック解除条件の第1� �として、顔検出による顔領域の位置変化を� �いた場合の動作を説明する。図3は第1の実施 形態における撮像装置のAF/AEロック及びロッ� ��解除動作を説明する図である。

 図3(a)、(b)は撮影前の被写体画像を表示す るプレビュー画面の例を示すものである。図 3(a)は顔領域に対するAF/AEロック状態を示して いる。第1の実施形態の撮像装置は、画像処� �部14において、公知の顔検出技術を用いて被 写体画像の中の人物の顔領域を検出し、検出 した顔領域32をAF領域とする。AF制御部15は、� ��の顔領域32に対してAF制御を行い、AFロック� ��態とする。また、画像処理部14は顔領域32に 対してAE制御を行い、AEロック状態とする。

 図3(b)はAF/AEロックの解除状態を示してい� ��。ここでは、被写体が画面中央から移動し� ��AF/AEロックが解除された様子を示している� �CPU16は、検出された顔領域32の座標を取得し� ��顔領域の位置を検出し、顔領域の位置が所� ��量以上変化した場合、すなわち顔領域を含� ��被写体が所定量以上移動した場合に、AF/AE� �ックの解除を行う。

 ここで、撮像装置のモニタやファインダ� ��に表示する被写体画像のプレビュー画面に� ��いて、AFロックやAEロックなどのロック状態 を、AF領域の枠などの画面内のオブジェクト� ��色で示してユーザに通知することも可能で� ��る。例えば、ロック状態を示すユーザイン� ��フェース(通知手段)として、ロック状態の� �合にAF枠を緑で表示し、ロック解除状態の場 合にAF枠の色を無彩色(白、黒、グレーなど)� �表示変更する。また、AF動作が失敗した場合 にAF枠を赤で表示するようにしてもよい。こ� ��ような通知手段を設けることにより、AFやAE のロック状態/ロック解除状態をユーザが容� �に識別することが可能になる。

 図4は第1の実施形態における撮像装置のAF /AEロック及びロック解除動作の手順を示すフ ローチャートである。まず、画像処理部14に� ��いて顔検出を行い(ステップS11)、画像処理� �14及びAF制御部15により、検出した顔領域に� �してAF/AE制御を行い、制御完了後にAF/AEロッ� ��状態とする(ステップS12)。そして、CPU16にお いて、顔領域の座標を検出して、顔領域を含 む被写体の座標(X,Y)を取得する(ステップS13)� �

 その後、CPU16において、顔領域を含む被� �体の座標が所定量以上変化したか否かを判� �する(ステップS14)。この顔領域の検出及び位 置変化の判定は、常時または所定の時間毎に 定期的に行う。ここで、所定量以上の被写体 の座標変化が検出され、顔領域が所定量以上 移動したと判定した場合は、AF/AEロックを自� ��解除する(ステップS15)。このようにAF/AEロッ クした顔領域の位置変化を判定することによ って、被写体の状態が変化したことを判断し 、AF/AEロックを自動解除することができる。

 (第2の実施形態)
 第2の実施形態では、ロック解除条件の第2� �として、被写体の動き検出を用いた場合の� �作を説明する。図5は第2の実施形態における 撮像装置のAF/AEロック及びロック解除動作を� ��明する図である。

 図5(a)、(b)は撮影前の被写体画像を表示す るプレビュー画面の例を示すものである。図 5(a)は被写体に対するAF/AEロック状態を示して いる。第2の実施形態の撮像装置は、画像処� �部14及びAF制御部15により、画像中央部等のAF 領域に対してAF/AE制御を行ってAF/AEロック状� �とする。そして、CPU16は、このAF領域を相関� ��定エリア33として、被写体の動き検出を行� �。

 図5(b)はAF/AEロックの解除状態を示してい� ��。ここでは、被写体が移動して他の被写体� ��画面中央に位置し、AF/AEロックが解除され� �様子を示している。CPU16は、相関判定エリア 33における画像の相関値を判定し、相関値が� ��定の閾値を超えた場合、すなわち以前にAF/A E動作を行った被写体が移動して相関値が所� �量以上変化した場合に、AF/AEロックの解除を 行う。

 図6は第2の実施形態における撮像装置のAF /AEロック及びロック解除動作の手順を示すフ ローチャートである。まず、画像処理部14及� ��AF制御部15によってAF領域に対してAF/AE制御� �行い、制御完了後にAF/AEロック状態とする(� �テップS21)。そして、CPU16において、AF領域を 相関判定エリアとして設定する(ステップS22)� ��

 その後、CPU16において、相関判定エリア� �画像をAF/AEロック時の画像と比較し続け、相 関判定エリアの相関値が所定量以上変化した か否かを判定する(ステップS23)。ここで、相� ��値は、相関判定エリア内の画素値の差分な� ��によって算出する。この相関値の判定は、� ��時または所定の時間毎に定期的に行う。こ� ��で、相関判定エリアの相関値が所定の閾値� ��超えた場合は、相関判定エリアの画像の内� ��が変化して被写体が移動したものと判定し� ��AF/AEロックを自動解除する(ステップS24)。こ のようにAF/AEロックしたAF領域の相関値を判� �し、被写体の動きを検出することによって� �被写体の状態が変化したことを判断し、AF/AE ロックを自動解除することができる。

 ここで、図7及び図8を用いて、目的とす� �被写体の前などに意図しない被写体が横切� �た場合の処理を説明する。図7は被写体画像� ��表示するプレビュー画面において意図しな� ��被写体が横切った場合を示す図、図8はAF/AE� ��ック解除動作における相関値の変化例を示� ��図である。

 図7(a)に示すように目的の被写体に対して AF/AE制御を行ってAF/AEロック状態とした後、� �7(b)に示すように意図しない被写体が前を通� ��して横切った場合を想定する。このような� ��合、本実施形態の撮像装置では、CPU16によ� �AF/AEロック解除の判定において、ヒステリシ スを持たせるようにする。したがって、相関 判定エリアの相関値を判定する際、所定時間 以内の瞬時の被写体変化である場合は、AF/AE� ��ック状態を保持する。

 例えば、図8(a)に示すように、相関値の変 化51があった場合に、所定量以上であっても� ��定時間以内の瞬時変化である場合は、目的� ��被写体の状態が変化していないとみなして� ��視し、AF/AEロック状態を保持する。また、� �8(b)に示すように、相関値の変化52が所定量� �上でかつ継続的な変化である場合は、所定� �間tdが経過した後に被写体の状態が変化した ことを判定してAF/AEロックを解除する。この� ��うに、被写体の瞬時の変化についてはAF/AE� �ックを保持することで、意図しない被写体� �横切った場合などにAF/AEロックが自動解除さ れることを抑止できる。

 (第3の実施形態)
 第3の実施形態では、ロック解除条件の第3� �として、露出条件の変化を用いた場合の動� �を説明する。図9は第3の実施形態における撮 像装置のAF/AEロック及びロック解除動作を説� ��する図である。

 図9(a)、(b)は撮影前の被写体画像を表示す るプレビュー画面の例を示すものである。図 9(a)は被写体に対するAF/AEロック状態を示して いる。第3の実施形態の撮像装置は、画像処� �部14及びAF制御部15により、画像中央部等のAF 領域に対してAF/AE制御を行ってAF/AEロック状� �とする。そして、CPU16は、被写体の露出条件 の変化として、被写体画像の明るさの変化を 検出する。

 図9(b)はAF/AEロックの解除状態を示してい� ��。ここでは、被写体を人物から風景に変更� ��てAF/AEロックが解除された様子を示してい� �。CPU16は、被写体画像の平均輝度を算出して 画像の明るさを検出し、被写体画像の明るさ が所定値以上変化した場合に、AF/AEロックの� ��除を行う。被写体画像の明るさがAF/AEロッ� �時から変化し、過露光や露光不足などの状� �になった場合は、以前にAF/AE動作を行ったと きと比べて露出条件が変化し、被写体が移動 したりカメラの向きが変化したと考えられ、 被写体の状態が変化しているとみなすことが できるので、AF/AEロックを解除する。

 図10は第3の実施形態における撮像装置のA F/AEロック及びロック解除動作の手順を示す� �ローチャートである。まず、画像処理部14及 びAF制御部15によってAF領域に対してAF/AE制御� ��行い、制御完了後にAF/AEロック状態とする(� ��テップS31)。そして、CPU16において、被写体� ��像の明るさを検出する(ステップS32)。

 その後、CPU16において、被写体画像の明� �さが所定量以上変化したか否かを判定する(� ��テップS33)。ここで、被写体画像の明るさは 平均輝度などによって算出する。この明るさ の判定は、常時または所定の時間毎に定期的 に行う。ここで、被写体画像の明るさが所定 量以上変化し、露出条件の変化が検出された 場合は、AF/AEロックを自動解除する(ステップ S34)。このようにAF/AEロックした後の露出条件 の変化を判定することによって、被写体の状 態が変化したことを判断し、AF/AEロックを自� ��解除することができる。

 なお、上記実施形態において説明したロ� ��ク解除機能は、AF制御やAE制御だけでなく、 ホワイトバランス制御にも適用可能である。 この場合、画像処理部14等においてホワイト� ��ランス制御部の機能を有するようにする。� ��ワイトバランス制御は、画像処理部14にお� �て、撮像素子12から出力されるR,G,Bの各色信� ��に基づいて撮像画像における光源の色温度� ��推測し、その色温度の情報に基づいて、撮� ��素子12からのR,G,Bの各色信号に各々適切なゲ インをかけることで、撮像画像のホワイトバ ランスを調整する。画像処理部14は、ホワイ� ��バランス制御状態を固定した後、被写体の� ��態が変化して所定のロック解除条件となっ� ��場合に、ホワイトバランスロックを解除す� ��。そして、現在の被写体画像に合わせて再� ��ホワイトバランス調整を可能にする。この� ��ワイトバランスロックの解除において、上� ��した第1~第3の実施形態を適用することで、� ��写体の状態が変化した場合に自動解除する� ��とができる。

 (第4の実施形態)
 第4の実施形態として、撮像装置を携帯電話 装置に搭載した場合の構成例を示す。図11は� ��4の実施形態に係る撮像装置を含む携帯電話 装置の構成を示すブロック図である。   

 携帯電話装置は、無線部121、制御部122、� ��声処理部123、アンテナ101、入力部102、スピ� ��カ103、マイク104を備えている。また、メイ� ��表示部105、サブ表示部106、報知用LED107、表� ��ドライバ128、データメモリ124、プログラム� ��モリ125、音源部126、アンプ127、スピーカ109� ��備え、データ通信、コンテンツ再生、メー� ��送受信などの携帯情報端末の機能を実現し� ��いる。また、撮像装置として、画像処理部1 29、撮像素子130、撮像レンズ132、AF/AE制御部13 1、フラッシュ用LED108を備えている。

 無線部121は、無線通信の送受信に関する� ��理を行うもので、アンテナ101により送受信� ��れる信号の変調/復調等を行う。制御部122は 、各部の制御を行うもので、通信データ処理 部151、システムメモリ152、CPU153を有している 。通信データ処理部151は、無線部121により送 受信される信号の符号化/復号化等、通信デ� �タの処理を行う。システムメモリ152は、OSな どの基本システムプログラムを記憶する。CPU 153は、システムメモリ152に記憶されたプログ ラムにしたがって動作し、装置各部の動作制 御などを実行する。

 入力部102は、テンキー等のキースイッチ� ��カメラキー、シャッタキー、AFロックキー� �どの押しボタンスイッチなど、操作用の各� �入力デバイスにより構成され、ユーザから� �操作指示を入力する。音声処理部123は、通� �データ処理部151で処理される音声信号の入� �力処理を行うもので、スピーカ103、マイク10 4との間で通話音声等の入出力を行う。

 データメモリ124は、アドレス帳データ、� ��ールデータ、画像データなどのコンテンツ� ��ータ等、本装置で生成または取得した各種� ��ータを記憶する。プログラムメモリ125は、� ��装置において実行する各種アプリケーショ� ��プログラムを記憶するもので、カメラアプ� ��ケーションや画像処理アプリケーションな� ��を格納している。音源部126は、本装置の報� ��音、動作音などの音信号波形を記憶、出力� ��るもので、音源部126から出力される音信号� ��アンプ127で増幅され、スピーカ109より再生� ��力される。

 表示ドライバ128は、メイン表示部105、サ� ��表示部106、報知用LED107、フラッシュ用LED108� ��駆動するもので、それぞれの表示部やLEDの� ��示制御を行う。

 撮像素子130は、CCD、CMOS型センサ等により 構成され、撮像レンズ132によって結像された 被写体像を光電変換して撮像画像の電気信号 を出力する。画像処理部129は、DSPなどによっ て構成され、ホワイトバランス調整、γ補正� ��色補正、輪郭強調、データ圧縮/伸張など、 撮像装置における各種画像信号処理を実行し 、撮像画像出力として画像データをデータメ モリ124に出力する。

 AF/AE制御部131は、画像処理部129の出力に� �づき、撮像画像のコントラストや明るさな� �に応じてAF制御、AE制御を行う。AF制御にお� �ては、図示しないレンズ駆動部に制御信号� �出力し、撮像レンズ132を光軸方向に移動さ� �てフォーカス調整を行う。AE制御においては 、撮像素子130や画像処理部129に制御信号を出 力し、撮像素子12のシャッタスピードやゲイ� ��で、感度などを調整したり、画像処理部129� ��おいて撮像信号のレベル調整等を行うこと� ��よって露出調整を行う。なお、画像処理部1 29にAE制御機能を備えるようにしてもよい。

 このような構成の携帯電話装置に設けら� ��る撮像装置においても、上記第1~第3の実施� ��態と同様にして、制御部122で撮像画像にお� ��る被写体の状態の変化を検出し、AFロック� �AEロック、ホワイトバランスロックなどの制 御ロック状態を自動解除することが可能であ る。この際、入力部102からの特別な操作を必 要とせず、制御ロック状態を解除できる。

 上述したように、本実施形態では、顔領� ��の位置変化、被写体の動き、露出条件の変� ��などによって被写体の状態の変化を検出し� ��所定量以上変化した場合に、AF/AEロックや� �ワイトバランスロックを自動解除すること� �できる。これにより、ユーザの特別な操作� �不要とし、被写体状態が変化した場合に制� �ロック状態を解除できるので、新たな被写� �の状態に追従したAF制御やAE制御を素早く実� ��できる。この際、被写体状態変化時のピン� ��けや露出オーバー、アンダーなどを解消で� ��るとともに、制御ロック解除に関する操作� ��を向上でき、次の撮影までの時間を短縮す� ��ことができる。

 なお、本発明は上記の実施形態において� ��されたものに限定されるものではなく、明� ��書の記載、並びに周知の技術に基づいて、� ��業者が変更、応用することも本発明の予定� ��るところであり、保護を求める範囲に含ま� ��る。

 本出願は、2008年1月17日出願の日本特許出 願(特願2008-007971)、に基づくものであり、そ� �内容はここに参照として取り込まれる。