Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DISTORTION CORRECTING METHOD, DISTORTION CORRECTING DEVICE, DISTORTION CORRECTING PROGRAM, AND DIGITAL CAMERA
Document Type and Number:
WIPO Patent Application WO/2008/081575
Kind Code:
A1
Abstract:
A distortion correcting method includes a preparation procedure, a correction procedure, a selection procedure, and a repetition procedure. In the preparation procedure, the relation between a distortion pattern which an optical system gives an image and the lens position of the optical system is acquired. In the correction procedure, by applying data on the lens position to the relation, a distortion pattern of the image obtained by the optical system is deduced. In the correction procedure, distortion correction of the image by means of the distortion correction pattern to suppress the distortion pattern is performed at least once to obtain a temporary corrected image. In the selection procedure, according to the at least one temporary corrected image, a distortion correction pattern to be applied in image correction is selected. In the repetition procedure, when no distortion correction pattern to be applied in image correction is selected, the values included in the data to be applied in the correction procedure are adjusted to repeat the correction procedure.

Inventors:
MURATA TSUKASA (JP)
OKADA SADAMI (JP)
Application Number:
PCT/JP2007/001445
Publication Date:
July 10, 2008
Filing Date:
December 20, 2007
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
NIKON CORP (JP)
MURATA TSUKASA (JP)
OKADA SADAMI (JP)
International Classes:
G06T3/00; H04N1/387; H04N5/232; H04N101/00
Foreign References:
JP2000125175A2000-04-28
JP2003219246A2003-07-31
JP2004053336A2004-02-19
JP2005333575A2005-12-02
JP2004007303A2004-01-08
JP2006081145A2006-03-23
Attorney, Agent or Firm:
FURUYA, Fumio et al. (9th Floor 19-5, Nishishinjuku 1-Chome,Shinjuku-ku, Tokyo 23, JP)
Download PDF:
Claims:
 光学系が画像に与える歪曲パターンと、その光学系のレンズポジションとの関係を取得する準備手順と、
 前記光学系のレンズポジションのデータを前記関係へ当てはめることにより、前記光学系で撮影された画像の歪曲パターンを推測し、その歪曲パターンを抑えるための歪曲補正パターンで前記画像へ歪曲補正を少なくとも1回以上施して仮補正画像を得る補正手順と、
  前記補正手順で得られた少なくとも1つの前記仮補正画像に基づき、前記画像に本補正で適用すべき歪曲補正パターンを選出する選出手順と、
 前記本補正で適用すべき歪曲補正パターンが選出されないときに、前記補正手順で当てはめるべきデータの値を調節して前記補正手順を繰り返す繰り返し手順と、
 を含むことを特徴とする歪曲補正方法。
 請求項1に記載の歪曲補正方法において、
 前記データは、前記画像の撮影時に前記光学系から実測されたデータであることを特徴とする歪曲補正方法。
 請求項2に記載の歪曲補正方法において、
 前記選出手順では、前記仮補正画像を示すプレビュー表示を行うとともに、前記プレビュー表示での画像の適否を示す入力に基づいて前記選出を行うことを特徴とする歪曲補正方法。
 請求項3に記載の歪曲補正方法において、
 前記選出手順では、前記プレビュー表示の結果に基づいて前記データの値を調節する入力を受け付け、
 前記繰り返し手順では、前記データの値を調節する入力に応じて、前記補正手順で当てはめるべきデータの値を調節することを特徴とする歪曲補正方法。
 請求項3に記載の歪曲補正方法において、
 前記プレビュー表示で表示される画像は、前記仮補正画像の一部の領域を拡大したものであることを特徴とする歪曲補正方法。
 請求項5に記載の歪曲補正方法において、
 前記一部の領域が、外部からの入力に応じて指定されることを特徴とする歪曲補正方法。
 請求項2に記載の歪曲補正方法において、
 前記関係は、前記光学系から読み出される前記データの誤差範囲を含み、
 前記繰り返し手順では、前記データの値の調節範囲を、少なくとも前記データの誤差範囲と同程度に設定することを特徴とする歪曲補正方法。
 請求項1に記載の歪曲補正方法において、
 前記選出手順では、前記補正画像に残留した歪曲の量に基づき前記選出を行うことを特徴とする歪曲補正方法。
 請求項1に記載の歪曲補正方法において、
 前記レンズポジションとは、前記光学系の焦点位置と焦点距離との少なくとも一方であることを特徴とする歪曲補正方法。
 光学系が画像に与える歪曲パターンと、その光学系のレンズポジションとの関係を取得する準備部と、
 前記光学系のレンズポジションのデータを前記関係へ当てはめることにより、前記光学系で撮影された画像の歪曲パターンを推測し、その歪曲パターンを抑えるための歪曲補正パターンで前記画像へ歪曲補正を少なくとも1回以上施して仮補正画像を得る補正部と、
  前記補正部で得た少なくとも1つの前記仮補正画像に基づき、前記画像に本補正で適用すべき歪曲補正パターンを選出する選出部と、
 前記本補正で適用すべき歪曲補正パターンが選出されないときに、前記補正部で当てはめるべきデータの値を調節して前記補正部に動作を繰り返させる繰り返し部と、
 を備えたことを特徴とする歪曲補正装置。
 請求項10に記載の歪曲補正装置において、
 前記データは、前記画像の撮影時に前記光学系から実測されたデータであることを特徴とする歪曲補正装置。
 請求項11に記載の歪曲補正装置において、
 前記選出部は、前記仮補正画像を示すプレビュー表示を表示装置に行うとともに、前記プレビュー表示での画像の適否を示す入力に基づいて前記選出を行うことを特徴とする歪曲補正装置。
 請求項12に記載の歪曲補正装置において、
 前記選出部は、前記プレビュー表示の結果に基づいて前記データの値を調節する入力を受け付け、
 前記繰り返し部は、前記データの値を調節する入力に応じて、前記補正手順で当てはめるべきデータの値を調節することを特徴とする歪曲補正装置。
 請求項12に記載の歪曲補正装置において、
 前記プレビュー表示で表示される画像は、前記仮補正画像の一部の領域を拡大したものであることを特徴とする歪曲補正装置。
 請求項14に記載の歪曲補正装置において、
 前記一部の領域が、外部からの入力に応じて指定されることを特徴とする歪曲補正装置。
 請求項11に記載の歪曲補正装置において、
 前記関係は、前記光学系から読み出される前記データの誤差範囲を含み、
 前記繰り返し部は、前記データの値の調節範囲を、少なくとも前記データの誤差範囲と同程度に設定することを特徴とする歪曲補正装置。
 請求項10に記載の歪曲補正装置において、
 前記選出部は、前記補正画像に残留した歪曲の量に基づき前記選出を行うことを特徴とする歪曲補正装置。
 請求項10に記載の歪曲補正装置において、
 前記レンズポジションとは、前記光学系の焦点位置と焦点距離との少なくとも一方であることを特徴とする歪曲補正装置。
 請求項1に記載の歪曲補正方法をコンピュータに実行させることを特徴とする歪曲補正プログラム。
 請求項10に記載の歪曲補正装置を備えたことを特徴とするディジタルカメラ。
                                                                                
Description:
歪曲補正方法、歪曲補正装置、 曲補正プログラム、及びディジタルカメラ

 本発明は、画像処理ソフトウエアなどに 用される歪曲補正方法、歪曲補正プログラ に関する。また、本発明は、ディジタルカ ラ、モニタ付きプリンタ、画像ストレージ などに搭載される歪曲補正装置に関する。 た、本発明は、ディジタルカメラに関する

 撮影光学系には歪曲収差があるので、画 に歪曲を生じさせる。その歪曲量分布(以下 「歪曲パターン」という。)は撮影光学系の 様によって異なり、同じ仕様の光学系であ てもレンズポジション(焦点距離と焦点位置 の組み合わせ)によって異なる。

 したがって、画像処理ソフトウエアによる 曲補正では、モニタ上に被補正画像を表示 、ユーザが手動で補正量分布(以下「歪曲補 正パターン」という。)を調節しながら最適 歪曲補正パターンを見出す必要がある(特許 献1,特許文献2等を参照)。

特許第3631370号公報

米国特許6,323,934号明細書

 しかしながら、歪曲パターンには大きく けて樽型、糸巻き型、陣笠型の3種類がある ので、補正レベルの調節だけでは対処できな い。中でも陣笠型の歪曲パターンは、他の歪 曲パターンと比較すると複雑なので、歪曲補 正パターンが最適なものから少しずれただけ でも画像の歪曲を大きく悪化させる可能性が ある。

 したがって、熟練したユーザであっても 適な歪曲補正パターンを見出すまでに時間 掛かり、不慣れなユーザに至っては最終的 最適な歪曲補正パターンを見出せないこと 多い。

 そこで本発明は、ユーザの手間を軽減し がらも高精度に歪曲補正を行うことのでき 歪曲補正方法、歪曲補正装置、歪曲補正プ グラム、ディジタルカメラを提供すること 目的とする。

 一の形態に係る歪曲補正方法は、準備手 と、補正手順と、選出手順と、繰り返し手 とを含む。準備手順では、光学系が画像に える歪曲パターンと、その光学系のレンズ ジションとの関係を取得する。補正手順で 、光学系のレンズポジションのデータを上 の関係へ当てはめることにより、光学系で 影された画像の歪曲パターンを推測する。 して、補正手順では、その歪曲パターンを えるための歪曲補正パターンで画像へ歪曲 正を少なくとも1回以上施して仮補正画像を 得る。選出手順では、補正手順で得られた少 なくとも1つの仮補正画像に基づき、画像に 補正で適用すべき歪曲補正パターンを選出 る。繰り返し手順では、本補正で適用すべ 歪曲補正パターンが選出されないときに、 正手順で当てはめるべきデータの値を調節 て補正手順を繰り返す。

  上記の一の形態において、上記のデー は、画像の撮影時に光学系から実測された ータであってもよい。

 上記の一の形態において、選出手順では 仮補正画像を示すプレビュー表示を行うと もに、プレビュー表示での画像の適否を示 入力に基づいて選出を行ってもよい。

 上記の一の形態において、選出手順では プレビュー表示の結果に基づいてデータの を調節する入力を受け付けてもよい。また 繰り返し手順では、データの値を調節する 力に応じて、補正手順で当てはめるべきデ タの値を調節してもよい。

  上記の一の形態において、プレビュー 示で表示される画像は、仮補正画像の一部 領域を拡大したものであってもよい。

  上記の一の形態において、一部の領域 、外部からの入力に応じて指定されてもよ 。

 上記の一の形態において、上記の関係は 光学系から読み出されるデータの誤差範囲 含んでもよい。そして、繰り返し手順では データの値の調節範囲を、少なくともデー の誤差範囲と同程度に設定してもよい。

 上記の一の形態において、選出手順では 補正画像に残留した歪曲の量に基づき選出 行うようにしてもよい。

 上記の一の形態において、レンズポジシ ンとは、光学系の焦点位置と焦点距離との なくとも一方であってもよい。

 なお、上記の一の形態の画像処理方法を 像処理装置として表現したものや、上記の 像処理方法をコンピュータに実行させるた プログラムや、上記の画像処理装置を備え ディジタルカメラも本発明の具体的態様と て有効である。

 本発明によれば、ユーザの手間を軽減し がらも高精度に歪曲補正を行うことのでき 歪曲補正方法、歪曲補正装置、歪曲補正プ グラム、ディジタルカメラが実現する。

本システムの構成図 (a)焦点位置データ”d”の誤差範囲情報 を示す図、(b)焦点距離データ”f”の誤差範 情報を示す図 或る撮影レンズの歪曲パターンを示す 係数情報の説明図 推測誤差の程度を説明する歪曲収差デ タを示す図(広角側) 推測誤差の程度を説明する歪曲収差デ タを示す図(望遠側) カメラ本体10が撮影モードにあるとき カメラCPU10Aの動作フローチャート 画像ファイルの構成を示す図 第1実施形態で歪曲補正の指示が入力さ れたときのカメラCPU10Aの動作フローチャート ステップS10~S12を説明する図 カメラ本体10が再生モードから歪曲補 モードへ移行したときのカメラCPU10Aの動作 ローチャート カメラ本体10を背面側から見た図 第2実施形態の第1変形例を示す図 第2実施形態の第2変形例を説明する図( 被補正画像上に矩形枠が表示された様子) 第2実施形態の第2変形例を説明する図( 矩形枠内が拡大表示された様子)

 [第1実施形態]
 本発明の第1実施形態を説明する。本実施形 態は、カメラシステムの実施形態である。先 ず、本システムの構成を説明する。

 図1は、本システムの構成図である。図1 示すとおり、本システムは、交換レンズ11と カメラ本体10とからなる。

 交換レンズ11には、レンズポジション(焦 位置dと焦点距離fとの組み合わせ)が可変の 影レンズ11L,レンズCPU11A,ROM11B,エンコーダ11C どが備えられる。カメラ本体10には、カメ CPU10A,撮像素子12,信号処理回路13,フレームメ リ14,カードメモリ16,背面モニタ17,操作ボタ 18などが備えられる。

 交換レンズ11の撮影レンズ11Lは、撮像素 12上に被写体の像を形成する。被写体の像は 、撮像素子12によって画像信号へと変換され 。その画像信号は、信号処理回路13におい 処理された後、フレームメモリ14へ蓄積され る。カメラCPU10Aは、フレームメモリ14へ蓄積 れた1フレーム分の画像信号(以下、「画像 という。)へ画像処理を施した後、その画像 画像ファイルを作成してカードメモリ16へ 存する。

 交換レンズ11のエンコーダ11Cは、撮影レ ズ11Lのレンズポジションを検出し、レンズ ジションデータを生成する。レンズポジシ ンデータは、撮影レンズ11Lの焦点位置dを数 化してできる焦点位置データ”d”と、撮影 レンズ11Lの焦点距離fを数値化してできる焦 距離データ”f”とから構成される。レンズC PU11Aは、カメラCPU10Aと通信を行い、カメラCPU1 0Aからの要求に応じてエンコーダ11Cの生成す 焦点位置データ”d”、焦点距離データ”f を読み出し、カメラCPU10Aへ送信する。

 交換レンズ11のROM11Bには、交換レンズ11に 附随する誤差範囲情報と係数情報とが格納さ れる。誤差範囲情報、係数情報の各々は、交 換レンズ11の仕様によって決まるものであり 交換レンズ11の種類毎に予め用意される。 れらの情報の詳細は後述する。レンズCPU11A カメラCPU10Aと通信を行い、カメラCPU10Aから 要求に応じて誤差範囲情報及び係数情報をRO M11Bから読み出し、カメラCPU10Aへ送出する。

 なお、本システムのユーザは、カメラ本 10の操作ボタン18を操作することにより、カ メラCPU10Aへモード切り替えなどの各種の指示 を入力する。例えば、カメラ本体10が撮影モ ドにあるとき、ユーザは任意のタイミング 画像の撮影指示をカメラCPU10Aへ与えること できる。また、カメラ本体10が再生モード あるとき、ユーザは、カードメモリ16に保存 された画像ファイルの再生指示をカメラCPU10A へ与えることができる。このときカメラCPU10A は、画像ファイルに収められた画像(保存用 画像)を低解像度化したもの(表示用の画像) 、背面モニタ17へ再生表示する。

 また、背面モニタ17へ画像が再生表示さ ているとき、ユーザは、再生表示中の画像 対する歪曲補正の指示をカメラ本体10へ入力 することができる。歪曲補正の詳細は後述す る。

 次に、ROM11Bに格納された誤差範囲情報を 明する。図2は、誤差範囲情報を説明する図 である。図2に示すとおり誤差範囲情報には 点位置データ”d”の誤差範囲情報と焦点距 データ”f”の誤差範囲情報とがある。

 通常、撮影レンズ11Lに設定される焦点位 dの真値は連続的である。それに対し、焦点 位置データ”d”、つまり焦点位置dの読みは 0.3m,0.5m,1m,…などと不連続な値を採る。この ため、焦点位置データ”d”には、測定誤差 含まれている可能性がある。この焦点位置 ータ”d”の誤差範囲(真値の範囲)を示すの 、焦点位置データ”d”の誤差範囲情報であ 。

 但し、通常の撮影レンズ11Lでは、焦点位 データ”d”の値間隔が一定ではないので、 誤差範囲の広さも焦点位置データ”d”の値 よって様々である。よって、図2(a)に示すと り、誤差範囲は焦点位置データ”d”の値毎 に用意される。

 また、通常、撮影レンズ11Lに設定される 点距離fの真値は連続的である。それに対し 、焦点距離データ”f”、つまり焦点距離fの みは10.5mm,12mm,…などと不連続な値を採る。 のため、焦点距離データ”f”には、測定誤 差が含まれている可能性がある。この焦点距 離データ”f”の誤差範囲(真値の範囲)を示す のが、焦点距離データ”f”の誤差範囲情報 ある。

 但し、通常の撮影レンズ11Lでは、焦点距 データ”f”の値間隔が一定ではないので、 誤差範囲の広さも焦点距離データ”f”の値 よって様々である。よって、図2(b)に示すと り、誤差範囲は焦点距離データ”f”の値毎 に用意される。

 次に、ROM11Bに格納された係数情報を説明 る。通常、撮影レンズ11Lが画像に与える歪 量Dは、図3に示すとおり像高比r(=像高/最大 高)の関数D(r)で表される。この関数D(r)が歪 パターンを示す。歪曲パターンD(r)は、例え ば式(1)で表される。

 但し、撮影レンズ11Lのレンズポジション( d,f)が変化すると、式(1)の係数Aも変化する。 まり、係数Aは、レンズポジション(d,f)の関 であり、例えば以下の式(2)で表される。

 また、撮影レンズ11Lのレンズポジション( d,f)が変化すると、式(1)の係数Bも変化する。 まり、係数Bは、レンズポジション(d,f)の関 であり、例えば以下の式(3)で表される。

 また、撮影レンズ11Lのレンズポジション( d,f)が変化すると、式(1)の係数Cも変化する。 まり、係数Cは、レンズポジション(d,f)の関 であり、例えば以下の式(4)で表される。

 そして、式(2)における12個の係数γ 00 01 02 10 11 12 20 21 22 30 31 32 ,式(3)における12個の係数δ 00 01 02 10 11 12 20 21 22 30 31 32 ,式(4)における12個の係数λ 00 01 02 10 11 12 20 21 22 30 31 32 の値は、撮影レンズ11Lの仕様によって決まる 。

 これらの係数(合計36個の係数)の値を示す のが、係数情報である。係数情報を可視化す ると、図4に示すとおりとなる。

 なお、式(1)~(4)は、カメラCPU10Aによって予 め記憶される。カメラCPU10Aには、式(1)~(4)が 々に記憶されても、式(2)~(4)を式(1)へ代入し できる式が1つだけ記憶されてもどちらでも よい。また、ここでは係数の個数が36である 、式(1)におけるrの項数と、式(2)~(4)におけ dの項数と、fの項数との組み合わせにより、 36以外の個数になることもある。

 次に、焦点位置データ”d”、焦点距離デ ータ”f”、係数情報、式(1)~(4)の用途を説明 る。

 カメラCPU10Aが交換レンズ11から係数情報(3 6個の係数の値)を読み出し、それを式(1)~(4)へ 当てはめれば、画像に生じる歪曲パターンD(r )と、撮影レンズ11Lのレンズポジション(d,f)と の関係式D(r)=D(r,d,f)が得られる。

 よって、カメラCPU10Aが交換レンズ11から 点位置データ”d”、焦点距離データ”f”を 読み出し、それを関係式D(r)=D(r,d,f)へ当ては れば、画像に生じている歪曲パターンD(r)を 測することができる。

 但し、前述したとおり、焦点位置データ d”,焦点距離データ”f”の各々には測定誤 が含まれている可能性があるので、この推 では推測誤差が生じ得る。

 図5に示すのは、推測誤差の程度を説明す る歪曲収差データである。或る撮影レンズの 焦点距離fの真値を、焦点距離fの読み(=焦点 離データ”f”)が不変となる範囲内(=誤差範 内)で3通りに変化させる。そのときに画像 生じた3通りの歪曲パターンが図5(a),図5(b),図 5(c)である。

 図5(a)は、焦点距離fの真値が焦点距離fの みと一致していたときの歪曲パターンであ 、図5(b),(c)は、焦点距離fの真値が誤差範囲 両端に一致していたときの歪曲パターンで る。

 このように、焦点距離fの読みがたとえ同 じであっても、焦点距離fの真値が異なると 曲パターンは大幅に異なる。このため、前 した推測では大きな推測誤差が生じ得る。(a )と(b)との差異、又は(a)と(c)の差異が、測定 差の程度に相当する。

 なお、図5に示した歪曲収差データは、或 る撮影レンズの広角側のレンズポジションに おける歪曲収差データである。同じ撮影レン ズの望遠側における歪曲収差データは、図6 示すとおりである。図6によると、望遠側に いても大きな推測誤差が生じ得ることがわ る。

 また、ここでは焦点距離データ”f”の測 定誤差に起因する推測誤差しか説明しなかっ たが、焦点位置データ”d”の測定誤差に起 する推測誤差も、焦点距離データ”f”の測 誤差に起因するものほど大きくはないもの 、或る程度発生する。

 次に、カメラ本体10が撮影モードにある きのカメラCPU10Aの動作を説明する。図7は、 メラ本体10が撮影モードにあるときのカメ CPU10Aの動作フローチャートである。図7に示 とおり、カメラ本体10が撮影モードにある き、カメラCPU10Aはユーザからの撮影指示を 識すると(ステップS1YES)、撮像素子12及び信 処理回路13を駆動して撮影を行い、画像を取 得する(ステップS2)。

 このタイミングでカメラCPU10Aは、焦点位 データ”d”、焦点距離データ”f”、誤差 囲情報、係数情報を交換レンズ11から読み出 す(ステップS3)。

 続いて、カメラCPU10Aは、ステップS2で取 した画像の画像ファイルを作成する(ステッ S4)。このステップS4においてカメラCPU10Aは 読み出された誤差範囲情報、読み出された 点位置データ”d”、読み出された焦点距離 ータ”f”に基づき、その焦点位置データ” d”の誤差範囲と、その焦点距離データ”f” 誤差範囲とをそれぞれ認識する。例えば、 の焦点位置データ”d”の値が0.3mであり、 の焦点距離データ”f”の値が10.5mmであった 合は、図2に示すとおり、焦点位置データ” d”の誤差範囲は(0.3m~0.35m)と認識され、焦点 離データ”f”の誤差範囲は(10mm~11mm)と認識 れる。そして、カメラCPU10Aは、認識したそ らの誤差範囲の情報を、読み出された係数 報、焦点位置データ”d”、読み出された焦 距離データ”f”と共にその画像ファイルの タグへ書き込む。この場合、画像ファイルの 構成は図8に示すとおりとなる。

 続いて、カメラCPU10Aは、ステップS3で作 した画像ファイルをカードメモリ16へ保存す る(ステップS5)。

 以上のステップS2~S5の処理は、撮影指示 入力される度(ステップS1YESとなる度)に実行 れる。よって、撮影モード中に撮影指示が 数回入力されると複数の画像が取得される それらの画像の各々には、図8に示すとおり 、その画像の撮影に使用された交換レンズ11 附随する36個の係数、その撮影時における 換レンズ11の焦点位置データ”d”、その撮 時における交換レンズ11の焦点距離データ” f”、焦点位置データ”d”の誤差範囲、その 点距離データ”f”の誤差範囲の各情報が付 加される。

 なお、図7に示すフローチャートでは交換 レンズ11から誤差範囲情報及び係数情報が読 出されるタイミングを撮影の度としたが、 れらの情報は交換レンズ11に固有なので、 ンズ交換の度としても構わない。また、予 各交換レンズの誤差範囲情報、係数情報を めカメラ本体10に記憶させても良い。なお、 この場合は、図8における36個の係数、f,dの誤 差範囲の情報を画像ファイルに付加しなくと も構わない。

 次に、第1実施形態での歪曲補正に関する カメラCPU10Aの動作を説明する。

 図9は、第1実施形態において歪曲補正の 示が入力されたときのカメラCPU10Aの動作フ ーチャートである。図9に示すとおり、背面 ニタ17に或る画像が再生表示されていると に歪曲補正の指示が入力されると、カメラCP U10Aは、その画像(以下、「被補正画像」とい 。)の画像ファイルを参照する。そして、カ メラCPU10Aは、その被補正画像に付加された36 の係数、焦点位置データ”d”、焦点距離デ ータ”f”、焦点位置データ”d”の誤差範囲 焦点距離データ”f”の誤差範囲をそれぞれ 認識する(ステップS7)。

 カメラCPU10Aは、認識した36個の係数の値 式(1)~(4)へ当てはめて関係式D(r)=D(r,d,f)を取得 すると共に、その関係式D(r)=D(r,d,f)へ認識し 焦点位置データ”d”及び焦点距離データ”f ”を当てはめることにより、被補正画像の歪 曲パターンD(r)を推測する。これによって、 補正画像を補正するための歪曲補正パター D’(r)が取得されたことになる(ステップS8)。

 さらに、カメラCPU10Aは、ステップS8で取 した歪曲補正パターンD’(r)で被補正画像へ の歪曲補正(仮補正)を施す(ステップS9)。こ で、「仮補正」とは、保存用の被補正画像 対する歪曲補正のみならず、保存用の被補 画像を低解像度化したものに対する歪曲補 であってもよい。この仮補正は比較的短時 のうちに行われる。

 さらに、カメラCPU10Aは、仮補正後の被補 画像へエッジ抽出の処理を施し、エッジ画 を取得する(ステップS10)。取得したエッジ 像の例を図10(a)に示した。このエッジ画像は 、仮補正後に取得したものなので、撮影レン ズ11Lの歪曲収差に起因する歪曲は、完全では 無いものの或る程度は抑えられている。

 よって、建物などの直線状の被写体の輪 は、このエッジ画像中に直線に近い曲線と って現れる(但し、図ではわかりやすいよう に歪曲が実際よりも強調されている。)。こ 曲線の直線からの乖離量が、ステップS8にお ける推測の推測誤差(つまりステップ9におけ 仮補正の補正誤差)を示す。

 そこで、カメラCPU10Aは、そのエッジ画像 に存在する複数の連続曲線の中から、以下 条件を満たすような被評価曲線を1本選出す る(ステップS11)。

 カメラCPU10Aは、被補正画像の中心を通過 ない線のうち、「直線からの乖離量が十分 小さく」かつ「曲線の全長が十分に長い」 のを被評価曲線とする。

 一例として、カメラCPU10Aは、エッジ画像 に含まれる線のうち、被補正画像の中心を 過する線を除外して被評価曲線の候補とす 。次に、カメラCPU10Aは、線が長い順に、上 の被評価曲線の候補を一定数(例えば5本な )まで絞り込む。そして、カメラCPU10Aは、残 れた被評価曲線の候補のうちで、直線から 乖離量が最も小さいものを被評価曲線とす 。なお、カメラCPU10Aは、被評価曲線の候補 「直線からの乖離量の小ささ」で絞り込み 残された被評価曲線の候補のうちで最も長 線を被評価曲線としてもよい。

 このとき、図10(b)に示すような曲線が被 価曲線として選出される。因みに、図10(a)に 符号A,Bで示した曲線の歪曲は、撮影レンズ11L の歪曲収差に起因して生じたものではないの で、直線からの乖離量が大きい。よって、曲 線A,Bは前記条件を満たさず、被評価曲線とし て選出されることは無い。

 さらに、カメラCPU10Aは、選出された被評 曲線に基づき、仮補正の補正誤差を示す評 値Eを算出する(ステップS12)。評価値Eは、例 えば、図10(c)に示すとおり、被評価曲線の全 Lと、被評価曲線の膨らみ量dとにより、E=d/L の式で算出される。

 続いて、カメラCPU10Aは、算出した評価値E を閾値と比較し、その評価値Eが閾値を下回 ていなければ(ステップS13NO)、焦点位置デー ”d”及び焦点距離データ”f”の値の組み わせを調節し(ステップS14)、ステップS8へ戻 。

 2回目のステップS8では、カメラCPU10Aは、 節後の焦点距離データ”f”,調節後の焦点 置データ”d”を使用して改めて歪曲補正パ ーンD’(r)を取得する。次のステップS9では カメラCPU10Aは、取得した歪曲補正パターンD ’(r)を使用して被補正画像(仮補正前の被補 画像である。)へ仮補正を施す。続いて、カ ラCPU10Aは、ステップS10,S11,S12を実行して評 値Eを算出する。

 そして、カメラCPU10Aは、ステップS12で算 される評価値Eが閾値を下回るまで(ステッ S13YESとなるまで)、ステップS14→ステップS8 ステップS9→ステップS10→ステップS11→ステ ップS12→ステップS13のループを繰り返す。

 但し、そのループのステップS14では、カ ラCPU10Aは焦点位置データ”d”の値の調節範 囲を焦点位置データ”d”の誤差範囲と同等 制限する。また、カメラCPU10Aは焦点距離デ タ”f”の値の調節範囲を焦点距離データ”f ”の誤差範囲と同等に制限する。

 また、焦点位置データ”d”の1回分の調 量は、誤差範囲を例えば5等分した量に設定 れる。さらに、焦点距離データ”f”の1回 の調節量は、誤差範囲を例えば5等分した量 設定される。この場合、焦点位置データ”d ”の最大の調節回数は「6」、焦点距離デー ”f”の最大の調節回数も「6」となる。その ため、前記ループの最大の繰り返し回数は6× 6=36回となる。

 さて、カメラCPU10Aは、評価値Eが閾値を下 回ると(ステップS13YES)、直前の仮補正で使用 た歪曲補正パターンD’(r)を本番の歪曲補正 (本補正)パターンとして選出する。カメラCPU1 0Aは、本補正後の画像の画像ファイルを新た 作成すると、それをカードメモリ16へ保存 る(ステップS15)。なお、「本補正」とは、保 存用の被補正画像に対する歪曲補正のことを 指す。

 以上、本システムでは、歪曲補正パター を変化させながら仮補正を繰り返すが、そ 際に調節されるのは、歪曲補正パターン自 ではなく、その歪曲補正パターンの算出に 用される焦点距離データ”f”又は焦点位置 データ”d”である。この場合、被補正画像 歪曲補正パターンは、最適な歪曲補正パタ ンの近辺でのみ変化する。したがって本シ テムは、仮補正された複数の被補正画像の から、その歪曲が良好に補正されたものを 実に見出すことができる。

 しかも、本システムでは、焦点距離デー ”f”の調節範囲は焦点距離データ”f”の 差範囲をカバーし、焦点位置データ”d”の 節範囲は焦点位置データ”d”の誤差範囲を カバーしているので、それらの調節範囲が狭 い範囲に限定されているにも拘わらず、最適 な歪曲補正パターンが候補から外れる可能性 は無い。

 したがって、本システムによれば、ユー の手間を省きながらも高精度に歪曲補正を うことができる。

 また、上述した歪曲補正モードは、焦点 離データ”f”と焦点位置データ”d”とが 知である場合を想定したが、それらが未知 あった場合(被補正画像にレンズポジション ータが付加されていなかった場合)は、次の ようにすればよい。

 すなわち、カメラCPU10は、焦点距離デー ”f”の調節範囲と、焦点位置データ”d”の 調節範囲とをそれぞれ広く設定する。焦点距 離データ”f”の調節範囲は、撮影レンズに 定され得る焦点距離の全範囲に設定され、 点位置データ”d”の調節範囲は、撮影レン に設定され得る焦点位置の全範囲に設定さ る。例えば、焦点位置データ”d”の1回分 調節量は焦点位置の全範囲の9等分に設定さ 、焦点距離データ”f”の1回分の調節量が 点距離の全範囲の9等分に設定される。その 合、焦点位置データ”d”の最大の調節回数 は「10」、焦点距離データ”f”の最大の調節 回数は「10」となる。そのため、前記ループ 最大の繰り返し回数は、10×10=100回となる。

 また、本システムのカメラCPU10Aは、焦点 離データ”f”と焦点位置データ”d”との の組み合わせを少しずつ変更しながら評価 Eを算出し、評価値Eが閾値を下回った時点で 前記ループを終了させ、最後の仮補正で使用 された歪曲補正パターンD’(r)を本補正に使 したが、次のようにしてもよい。

 すなわち、カメラCPU10Aは、焦点距離デー ”f”と焦点位置データ”d”との値の組み わせを全ての組み合わせに変更しながら評 値Eを算出し、評価値Eが最小となった仮補正 で使用された歪曲補正パターンD’(r)を本補 に使用する。

 また、本システムのカメラCPU10Aは、前記 ープの実行中、仮補正を行う度に、仮補正 の被補正画像を背面モニタ17へ表示させて よい。そうすれば、歪曲補正処理の待ち時 中にユーザに対し歪曲補正処理の経過を呈 することができる。

 [第2実施形態]
 次に、第2実施形態として、カメラ本体10が 生モードから歪曲補正モードへ移行したと のカメラCPU10Aの動作を説明する。

 背面モニタ17へ画像が再生表示されてい とき、ユーザは、再生モードから歪曲補正 ードへの移行指示をカメラCPU10Aへ与えるこ ができる。この状態でユーザは、再生表示 の画像に対する歪曲補正の指示をカメラ本 10へ入力することができる。

 図11は、カメラ本体10が再生モードから歪 曲補正モードへ移行したときのカメラCPU10Aの 動作フローチャートである。図11に示すとお 、背面モニタ17に或る画像が再生表示され いるときにカメラ本体10が歪曲補正モードへ 移行すると、カメラCPU10Aは、その画像(以下 「被補正画像」という。)の画像ファイルを 照する。そして、CPU10Aは、その被補正画像 付加された36個の係数、焦点位置データ”d 、焦点距離データ”f”、焦点位置データ” d”の誤差範囲、焦点距離データ”f”の誤差 囲をそれぞれ認識する(ステップS107)。

 カメラCPU10Aは、認識した36個の係数の値 式(1)~(4)へ当てはめて関係式D(r)=D(r,d,f)を取得 すると共に、その関係式D(r)=D(r,d,f)へ認識し 焦点位置データ”d”及び焦点距離データ”f ”を当てはめることにより、被補正画像の歪 曲パターンD(r)を推測する。これによって、 補正画像を補正するための歪曲補正パター D’(r)が取得されたことになる(ステップS108)

 さらに、カメラCPU10Aは、ステップS108で取 得した歪曲補正パターンD’(r)で被補正画像 仮の歪曲補正(仮補正)を施し、背面モニタ17 プレビュー画面を表示する(ステップS109)。 こで、「仮補正」とは、保存用の被補正画 に対する歪曲補正ではなく、表示用の被補 画像に対する歪曲補正のことを指す。表示 の画像は保存用の画像より解像度が低いの 、仮補正は比較的短時間のうちに行われる

 図12は、このときのカメラ本体10を背面側 から見た図である。符号17で示すのが背面モ タである。符号18Aで示すのはコマンドダイ ル(操作ボタンの一種)である。符号18Bで示 のはマルチセレクタ(操作ボタンの一種)であ る。

 背面モニタ17にはプレビュー画面が表示 れる。プレビュー画面の一部の表示領域61に は仮補正後の被補正画像が配置され、他の領 域には調節バー63,調節バー64,本補正ボタン65 どのGUI画像が配置される。

 このうち調節バー63は、焦点距離データ f”の値をユーザが調節するためのGUI画像で る。調節バー64は、焦点位置データ”d”の をユーザが調節するためのGUI画像である。 補正ボタン65は、本補正の指示をユーザが メラCPU10Aへ入力するためのGUI画像である。

 例えば、ユーザはマルチセレクタ18Bを上 左右へ操作することにより、プレビュー画 上のカーソルを、調節バー63,64,本補正ボタ 65の間でジャンプさせる。図12では、カーソ ルが調節バー63に位置している様子を示した

 カーソルが調節バー63に位置していると にユーザがコマンドダイアル18Aを操作する 、調節バー63をその可動範囲内でシフトさせ 、焦点距離データ”f”の調節指示をカメラCP U10Aへ入力することができる。

 また、カーソルが調節バー64に位置して るときにユーザがコマンドダイアル18Aを操 すると、調節バー64をその可動範囲内でシフ トさせ、焦点位置データ”d”の調節指示及 その調節量をカメラCPU10Aへ入力することが きる。

 カメラCPU10Aは、調節バー63のシフト量が きいほど、ユーザの意図する調節量(焦点距 データ”f”の調節量)が大きいとみなす。 し、カメラCPU10Aは、調節バー63の可動範囲を 、焦点距離データ”f”の誤差範囲に対応付 て認識しており、ユーザによる焦点距離デ タ”f”の調節範囲を、焦点距離データ”f” の誤差範囲と同じに制限する。

 また、カメラCPU10Aは、調節バー64のシフ 量が大きいほど、ユーザの意図する調節量( 点位置データ”d”の調節量)が大きいとみ す。但し、カメラCPU10Aは、調節バー64の可動 範囲を、焦点位置データ”d”の誤差範囲に 応づけて認識しており、ユーザによる焦点 置データ”d”の調節範囲を、焦点位置デー ”d”の誤差範囲と同じに制限する。

 カメラCPU10Aは、焦点距離データ”f”又は 焦点位置データ”d”の調節指示が入力され と(ステップS110YES)、その指示に従って焦点 離データ”f”又は焦点位置データ”d”の値 を調節し(ステップS111)、ステップS108へ戻る

 2回目のステップS108では、カメラCPU10Aは 調節後の焦点距離データ”f”,調節後の焦点 位置データ”d”を使用して改めて歪曲補正 ターンD’(r)を取得する。次のステップS109で は、カメラCPU10Aは、取得した歪曲補正パター ンD’(r)を使用して被補正画像(仮補正前の被 正画像である。)へ仮補正を施し、背面モニ タ17へプレビュー画面を表示する。

 そして、カメラCPU10Aは、焦点距離データ f”又は焦点位置データ”d”の調節指示が 力される度に(ステップS110YES)、ステップS108 ステップS109→ステップS110→ステップS111の ープを繰り返す。

 このループは高速に行われるので、プレ ュー画面上では、調節バー63,64のシフトに い、表示領域61に表示された被補正画像の歪 曲パターンがリアルタイムで変化する。した がってユーザは、表示された被補正画像に満 足するまで調節バー63,64を少しずつシフトさ ればよい。

 ユーザが被補正画像に満足すると、カー ルを本補正ボタン65へジャンプさせ、マル セレクタ18Bの決定ボタンを押下する。これ よって、本補正ボタン65が選択され、本補正 の指示がカメラCPU10Aへ入力される。

 カメラCPU10Aは、本補正の指示が入力され と(ステップS112YES)、直前の仮補正で使用し 歪曲補正パターンD’(r)で被補正画像へ本番 の歪曲補正(本補正)を施し、本補正後の画像 画像ファイルを新たに作成すると、それを ードメモリ16へ保存する(ステップS113)。こ で「本補正」とは、保存用の被補正画像に する歪曲補正のことを指す。

 以上、本システムでも、プレビュー画面 でユーザに歪曲補正パターンを調節させる 、その際に調節されるのは、歪曲補正パタ ン自体ではなく、その歪曲補正パターンの 出に使用される焦点距離データ”f”又は焦 点位置データ”d”である。この場合、被補 画像の歪曲補正パターンは、最適な歪曲補 パターンの近辺でのみ変化する。したがっ ユーザは、仮補正された複数の被補正画像 中から、その歪曲が良好に補正されたもの 簡単に見出すことができる。

 しかも、本システムでは、焦点距離デー ”f”の調節範囲は焦点距離データ”f”の 差範囲をカバーし、焦点位置データ”d”の 節範囲は焦点位置データ”d”の誤差範囲を カバーしているので、それらの調節範囲が狭 い範囲に限定されているにも拘わらず、最適 な歪曲補正パターンが候補から外れる可能性 は無い。

 したがって、本システムによれば、ユー の手間を軽減しながらも高精度に歪曲補正 行うことができる。

 また、本システムでは、調節バー63のシ ト量が、歪曲補正パターンの調節量ではな 、焦点距離データ”f”の調節量に対応する このため、調節バー63が左から右へとシフ したときに、或る画像の歪曲補正パターン 樽型から糸巻き型へ変動したとしても、別 画像の歪曲補正パターンは糸巻き型から樽 へ変動する可能性がある。このように、画 によって歪曲補正パターンの変動方向が反 すると、ユーザが戸惑う可能性がある。よ て、本システムのカメラCPU10Aは、画像に依 ず歪曲補正パターンの変動方向が一致する うに、調節バー63のシフト方向と焦点距離デ ータ”f”の調節方向との関係を、画像に依 て適宜反転させることが望ましい。なお、 転の必要性の有無は、ステップS109で取得し 関係式D(r)=D(r,d,f)の内容から、カメラCPU10Aが 画像毎に判別すればよい。

 また、本システムでは、調節バー64のシ ト量が、歪曲補正パターンの調節量ではな 、焦点位置データ”d”の調節量に対応する このため、調節バー64が上から下へとシフ したときに、或る画像の歪曲補正パターン 樽型から糸巻き型へ変動したとしても、別 画像の歪曲補正パターンは糸巻き型から樽 へ変動する可能性がある。このように、画 によって歪曲補正パターンの変動方向が反 すると、ユーザが戸惑う可能性がある。よ て、本システムのカメラCPU10Aは、画像に依 ず歪曲補正パターンの変動方向が一致する うに、調節バー64のシフト方向と焦点位置デ ータ”d”の調節方向との関係を、画像に依 て適宜反転させることが望ましい。なお、 転の必要性の有無は、ステップS109で取得し 関係式D(r)=D(r,d,f)の内容から、カメラCPU10Aが 画像毎に判別すればよい。

 [第2実施形態の第1変形例]
 なお、第2実施形態で説明した歪曲補正モー ドは、被補正画像の歪曲パターンを完全にゼ ロとするための歪曲補正モードであるが、ユ ーザが所望した場合に特定の歪曲パターンを 被補正画像へ付与できるよう、図11に示す動 フローチャートを図13に示すとおりに変形 てもよい。図13の点線部が変形箇所である。

 その場合、前述したプレビュー画面には、 補正ボタン65の代わりに「移行ボタン」が 置される。カメラCPU10Aは、移行ボタンが選 されると(ステップS112’YES)、前述した仮補 後の被補正画像へD(r)≡αr 2 などで表されるシンプルな歪曲パターンを仮 付与し、第2のプレビュー画面を背面モニタ17 へ表示する(ステップS122)。なお、「仮付与」 とは、保存用の被補正画像に対する付与では なく、表示用の被補正画像に対する付与のこ とを指す。

 第2のプレビュー画面上には、仮付与後の 被補正画像と、係数αの値をユーザが調節す ための調節バーと、本補正ボタンとが配置 れる。ユーザが第2のプレビュー画面上で調 節バーをシフトさせると、カメラCPU10Aは調節 指示が入力されたとみなし(ステップS123YES)、 係数αを調節してから(ステップS124)、ステッ S122へ戻る。

 したがって、第2のプレビュー画面上では 、調節バーのシフトに伴い、被補正画像の歪 曲パターンがリアルタイムで変化する。よっ て、ユーザは、被補正画像に満足するまで調 節バーのシフトを繰り返せばよい。ユーザが 被補正画像に満足すると、本補正ボタンを選 択し、本補正の指示をカメラCPU10Aへ入力する 。

 カメラCPU10Aは、本補正の指示が入力され と(ステップS125YES)、直前の仮補正で使用し 歪曲補正パターンD’(r)に仮付与で決定した D(r)を付加したもので本補正を施す。そして その被補正画像の画像ファイルを新たに作 し、それをカードメモリ16へ保存する(ステ プS113’)。なお「本付与」とは、保存用の被 補正画像に対する付与のことを指す。

 すなわち、本システムのステップS108~S111 、画像の歪曲をゼロとするための処理なの 、画像に歪曲を残す場合には、ステップS122 ~S124において歪曲を別途付与することになる

 [第2実施形態の第2変形例]
 また、第2実施形態で説明したプレビュー画 面では、表示領域61に被補正画像の全体が表 されたが、ユーザが被補正画像の一部を拡 表示できるように変形してもよい。

 その場合、図14に示すとおり、プレビュ 画面の表示当初、表示領域61に矩形枠69が配 される。ユーザがプレビュー画面上のカー ルを矩形枠69へとジャンプさせ、その状態 コマンドダイアル18Aを操作すると、表示領 61において矩形枠69の配置箇所を移動させる とができる。ユーザが矩形枠69を所望の位 に移動させ、その状態でマルチセレクタ18B 決定ボタンを押下すると、被補正画像のう 、矩形枠69によって囲われていた部分画像が 、図15に示すとおり、表示画面61の全体へ拡 表示される。この状態でユーザが調節バー63 ,64の少なくとも一方シフトさせると、表示領 域61に表示された部分画像の歪曲パターンが アルタイムで変化する。ユーザは、その部 画像に満足するまで調節バー63,64のシフト 繰り返せばよい。

 例えば、ユーザが被補正画像の中で歪曲 目立つような箇所(被補正画像の端部に位置 する幾何学的な絵柄など)を拡大表示させ、 の状態で調節バー63,64をシフトさせれば、被 補正画像の歪曲が抑えられたか否かを判断し 易くなる。

 なお、この場合は、カメラCPU10Aによる仮 正の対象は、被補正画像の全体ではなく、 示中の部分画像のみに制限してもよい。

 また、歪曲が目立つのは画像の周縁領域 ので、矩形枠69の可動範囲は表示画面61の全 域である必要は無く、表示画面61の周縁領域 みに制限されても構わない。

 [その他]
 なお、本システムでは、焦点距離データ”f ”の調節範囲を焦点距離データ”f”の誤差 囲に一致させ、焦点位置データ”d”の調節 囲を焦点位置データ”d”の誤差範囲に一致 させたが、実際には、調節範囲を誤差範囲よ りも若干広めに設定し、その誤差範囲を完全 にカバーすることが望ましい。

 また、本システムでは、ユーザによる調 対象を、焦点位置データ”d”と焦点距離デ ータ”f”との双方としたが、何れか一方の に限定してもよい。因みに、焦点距離デー ”f”の測定誤差の方が大きな推測誤差を発 させる傾向にあるので、何れか一方のみに 定する場合は、焦点距離データ”f”の方を 採用することが望ましい。

 また、前述した式(1)~(4)は、必要に応じて 変更してもよい。因みに、撮影レンズが発生 させる歪曲パターンが複雑であるほど式(1)~(4 )の項数を多くする必要性が高くなる。

 また、本システムでは、被補正画像へ本 正を施したが、被補正画像へ本補正を施す わりに、本補正に必要な情報(歪曲補正パタ ーンD’(r)の情報など)を被補正画像の画像フ イルへ付加してもよい。その場合は、本補 をコンピュータなどの他の機器で行うこと 可能となる。

 また、本システムの誤差範囲情報(図2)は 焦点位置データ”d”の誤差範囲を絶対値で (0.3m~0.35m)などと表しているが、相対値で(0m~+0 .5m)などと表してもよい。

 また、本システムの誤差範囲情報(図2)は 焦点距離データ”f”の誤差範囲を絶対値で (10mm~11mm)などと表しているが、相対値で(-0.5mm ~+0.5mm)などと表してもよい。

 なお、本システムでは、カメラCPU10Aの動 の一部を、カメラCPU10Aとは別にカメラ本体1 0へ備えられた専用の回路に行わせてもよい

 また、本システムでは、歪曲補正モード 動作フローチャートをカメラ本体10が実行 たが、その動作フローチャートの一部又は 部をコンピュータ、画像ストレージャ、モ タ付きプリンタなどに実行させてもよい。

 因みに、コンピュータのCPUにその動作フ ーチャートの一部又は全部を実行させる場 、それを実行させるためのプログラム(歪曲 補正プログラム)が、CD-ROMなどの記録媒体や ンターネットを介してコンピュータへイン トールされる。

 歪曲補正プログラムがコンピュータへイ ストールされる場合は、交換レンズ11が予 記憶すべき情報の情報量を抑えるために、 種の交換レンズの係数情報及び誤差範囲情 が予めその歪曲補正プログラムに書き込ま ていることが望ましい。その場合、カメラ 体10が交換レンズ11から読み出し、画像ファ ルへ付加すべき情報は、交換レンズの種類 報と、レンズポジションデータとの2つとな る。

 また、その場合、歪曲補正プログラムは、 種の交換レンズが発売される毎に更新され ことが望ましい。更新情報は、交換レンズ 製造者がインターネット上で公開し、それ ユーザがインターネット経由でコンピュー へダウンロードすればよい。