JP2006279546A - 電子カメラ、画像処理プログラム、および画像処理方法 - Google Patents

Abstract

【課題】 被写界の奥行きに関する情報を単純な構成で得る技術を提供する。
【解決手段】 本発明の電子カメラは、撮像部、画像処理部、撮像制御部、ズレ検出部、および距離マップ作成部を備える。撮像部は、被写体を撮像して画像を生成する。画像処理部は、撮像部で撮影された画像を処理する。撮像制御部は、撮像部で複数回撮影を行って複数の画像を取得する。ズレ検出部は、複数の画像を比較して局所的な画像ズレ幅を画面内の複数箇所について検出する。距離マップ作成部は、複数箇所の画像ズレ幅に基づいて画面内をグループ分けし、画面内における被写体距離の違いを表す距離情報（以下『距離マップ』という）を作成する。
【選択図】 図２

Description

本発明は、画面内における被写体距離の違いを表す距離マップを生成する電子カメラ、画像処理プログラム、および画像処理方法に関する。

（カメラの測距に関する従来技術）
下記の特許文献１には、パッシブ測距方式が記載されている。このパッシブ測距方式では、２つの撮像装置を所定の基線長だけ離して配置する。これら２つの撮像装置において生成される一組の光像について視差を求め、この視差から距離を求める。
また、下記の特許文献２には、コントラスト山登り方式を応用した測距技術も記載されている。この方式では、撮影レンズをフォーカス駆動することにより、撮影レンズのピント位置を光軸方向にスキャン移動させる。このピントスキャンに並行して、撮像画像のコントラストが最大となる画像領域を探索する。

（連写画像の合成に関する従来技術）
従来、複数枚の画像を分割露光により生成し、これら複数画像を位置合わせして合成することによって、長秒時露光において発生する画像ブレを防止する技術が知られている。
また、露出条件を変えて複数枚の画像を撮影し、これら複数画像を位置合わせして合成することによって、階調飛びや階調潰れを防止する技術も知られている。

特開平８−１７８６３７号公報 特開平９−１４５３１８号公報

本発明者は、被写体までの距離に応じて画面内の領域ごとに画像処理を加減することによって、被写界の奥行き情報（遠近差）を反映した高度な画像処理を実現することを考えた。

そこで、特別な構造を有さずに、被写界全域にわたって奥行きを簡易に検出する技術を検討した。上述したパッシブ測距方式では、２つ以上の撮像装置を配置する必要があり、そのために構造が複雑になるという問題点があった。また、上述したコントラスト山登り方式では、特別な構造が不要となる。しかし、被写界全域にわたって奥行きを検出するためには、撮影レンズのピント位置を何度もスキャン移動させる必要があり、測距に時間がかかるという問題点があった。

ところで、上述したように、複数画像を合成することによって、画像ブレや階調潰れなどを抑制する技術が知られている。本発明者は、このような複数画像の処理を応用することで、奥行き情報を検出することを考えた。

そこで、本発明は、被写界の奥行きに関する情報を単純な構成で得る技術を提供することを目的とする。

《１》
本発明の電子カメラは、撮像部、画像処理部、撮像制御部、ズレ検出部、および距離マップ作成部を備える。
撮像部は、被写体を撮像して画像を生成する。
画像処理部は、撮像部で撮影された画像を処理する。
撮像制御部は、撮像部で複数回撮影を行って複数の画像を取得する。
ズレ検出部は、複数の画像を比較して局所的な画像ズレ幅を画面内の複数箇所について検出する。
距離マップ作成部は、複数箇所の画像ズレ幅に基づいて画面内をグループ分けし、画面内における被写体距離の違いを表す距離情報（以下『距離マップ』という）を作成する。

《２》
なお好ましくは、ズレ検出部は、画面内の少なくとも１つの箇所Ｐについて被写体距離Ａを検出する距離取得部を備える。
一方、距離マップ作成部は、画像ズレ幅ｍの画面内箇所の被写体距離Ｂを、箇所Ｐの画像ズレ幅ｎを基準に、
Ｂ＝Ａ・ｎ／ｍ・・・（１）
で求めることにより、画面内における被写体距離の違いを表す距離マップを作成する。

《３》
また好ましくは、画像処理部は、距離マップをマスクとして、画像に施す画像処理を変更する。

《４》
なお好ましくは、画像処理部は、距離マップをマスクとして、遠距離の画面領域ほど明るく輝度補正する。

《５》
また好ましくは、画像処理部は、距離マップをマスクとして、遠距離の画面領域ほど暗く輝度補正する。

《６》
なお好ましくは、画像処理部は、撮像制御部によって生成された複数の画像について、位置合わせをして合成画像を生成する機能を有する。

《７》
本発明の画像処理プログラムは、撮像部で複数回撮影を行って生成された複数の画像が入力されるコンピュータを、上記《１》〜《６》のいずれかに記載の画像処理部、ズレ検出部、および距離マップ作成部として機能させるための画像処理プログラムである。

《８》
本発明の画像処理方法は、撮像部で複数回撮影を行って生成された複数の画像を取得するステップと、複数の画像を比較して局所的な画像ズレ幅を画面内の複数箇所について検出するステップと、複数箇所の画像ズレ幅に基づいて画面内をグループ分けし、画面内における被写体距離の違いを表す距離情報（以下『距離マップ』という）を作成するステップとを備える。

［１，７，８］
本発明では、まず、複数回の撮影によって生成した複数の画像を取得する。手持ち撮影では、これら複数の画像に、カメラブレなどによる画像ズレが生じる。本発明では、画像比較により、この画像ズレの幅を画面内の複数箇所において検出する。
カメラブレが撮影光軸に直交する平行移動を含む場合、被写体距離が近いほど画像ズレ幅は大きくなる。そこで、本発明では、複数箇所の画像ズレ幅をグループ分けすることで、画面内における被写体距離の違いを表す距離情報（以下『距離マップ』という）を作成する。
このような処理により、本発明では、特に複雑な構成を必要とせずに、複数回の撮影で得た複数画像から被写界の奥行きに関する情報を得ることができる。

［２］
さらに、本発明では、複数箇所の少なくとも１つの箇所Ｐについて被写体距離Ａを別に検出することが好ましい。この被写体距離Ａを基準にして、その他の箇所の距離をおおよそ推定することも可能となる。
すなわち、この箇所Ｐの画像ズレ幅をｎとし、かつ被写体距離Ａであれば、これを基準にして、画像ズレ幅ｍの画面内箇所の被写体距離Ｂは、
Ｂ＝Ａ・ｎ／ｍ・・・（１）
で求めることが可能になる。

［３］
また、本発明では、距離マップを二値または多値のマスクとして使用することで、画像処理を変更することが好ましい。この処理により、被写界の奥行き情報（遠近差）を反映した画像処理を実現することができる。

［４］
この距離マップを用いた画像処理において、遠距離の画像領域ほど明るく輝度補正してもよい。この場合、閃光撮影時などの遠方ほど暗くなる被写界を、自然な輝度分布に補正することが可能になる。

［５］
また、この距離マップを用いた画像処理において、遠距離の画像領域ほど暗く輝度補正してもよい。この場合、背景を暗くすることにより、至近側の主要被写体を明るく立体的に浮き出させるような輝度補正が実現する。

［６］
さらに、画像処理部において、複数の画像を位置合わせして合成画像を生成してもよい。
この場合、複数の画像１つ１つについて距離マップを用いた画像処理を実施した上で合成してもよい。また、合成画像を生成した上で、合成画像に距離マップを用いた画像処理を実施してもよい。

［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、撮像制御部１４によって駆動される。撮像素子１３から出力される画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、デジタルの画像データとしてメモリ１７に一時蓄積される。

このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、画像処理部２０、ズレ検出部２１、記録部２２、モニタ表示部２３、および内蔵プロジェクタ３０に接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。また、上記の内蔵プロジェクタ３０は、投射レンズ３１、表示素子３２、および照明光源３３を備え、画像データを外部スクリーンなどに投影する。この表示素子３２は表示素子駆動回路３４によって制御される。また、照明光源３３は点灯回路３５によって点灯駆動される。

［実施形態の動作説明］
図２は、本実施形態の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って動作説明を行う。

ステップＳ１： 電子カメラ１１の主電源が投入されると、撮像制御部１４は、撮像素子１３を間引き読み出しモード（ドラフトモード）で連続駆動し、モニタ用の動画像を撮影する。このモニタ用の動画像は、モニタ表示部２３に表示される。また、レンズ制御部１２ａは、このモニタ用の動画像に基づいて、コントラスト山登り式の焦点制御を行い、画面内の箇所Ｐにピントを合わせる。この箇所Ｐは、中央箇所や周辺の複数箇所などからユーザー操作などで選択することができる。
一方、マイクロプロセッサ１９は、この動画像から被写体輝度を検出し、露出条件（露光時間，絞り値，撮像感度）を決定する。なお、別に測光用素子を設けて、測光動作を行い、露光条件を決定してもよい。

ステップＳ２： マイクロプロセッサ１９は、レンズ制御部１２ａから、撮影レンズ１２の焦点距離とレンズ位置を情報取得する。

ステップＳ３： レンズ制御部１２ａは、撮影レンズ１２のレンズ位置と、被写体距離との対応関係を予め保持する。マイクロプロセッサ１９は、撮影レンズ１２のレンズ位置をこの対応関係に参照することにより、合焦している箇所Ｐまでの被写体距離Ａを求める。

ステップＳ４： マイクロプロセッサ１９は、撮影レンズ１２の焦点距離と、被写体距離Ａから、手ブレの影響を無視できる分割露光時間を求める。この分割露光時間については、実写テストなどに基づいて、焦点距離および被写体距離の条件ごとに予め決定しておくことが好ましい。

ステップＳ５： マイクロプロセッサ１９は、被写体輝度から露出決定された露光時間を、分割露光時間に分けることにより、必要な分割露光回数を求める。これにより、分割露光のタイムスケジュールが決定する。

ステップＳ６： マイクロプロセッサ１９は、撮像制御部１４を制御して、分割露光のタイムスケジュールに従って撮像動作を繰り返し、複数の画像を生成する。これら複数の画像は、メモリ１７に一時蓄積される。なお、ここでの分割露光の動作は、機械シャッタ（不図示）により実現してもよいし、撮像素子１３の電子シャッタ制御により実現してもよい。

ステップＳ７： ズレ検出部２１は、メモリ１７内から少なくとも２枚の画像を読み出す。なお、この２枚の画像は、手ブレ振動の両端に該当する画像を選択することが好ましい。例えば、レリーズ釦を押す際の手ブレを拾う場合は、レリーズ釦の押し始めの画像と、レリーズ釦を押し終わって電子カメラ１１の下向き振動が収まった時点の画像を、時間間隔などに基づいて選択することができる。また、電子カメラ１１に振動センサ（角速度センサなど）を搭載し、その振動センサの出力から振動の両端に該当する画像を選択してもよい。
ズレ検出部２１は、これら画像の一枚を、予め定められた画素サイズのブロックに細分する。ズレ検出部２１は、もう一方の画像内から、これらブロックと画像パターンが良く一致する位置を探索する（いわゆるブロックマッチング）。この処理により、ブロックごとの画像ズレをベクトルとして検出することができる。

ステップＳ８： ズレ検出部２１は、各ブロックの画像ズレについて共通の画像ズレ方向を求める。例えば、各ブロックの画像ズレをベクトル加算することにより、平均的な画像ズレ方向を求めればよい。また例えば、各ブロックの画像ズレの方向を度数解析して、最頻度の方向を画像ズレ方向としてもよい。また例えば、最大幅の画像ズレを求め、この画像ズレの方向を、共通の画像ズレ方向としてもよい。また例えば、レリーズ釦の押圧方向やミラーショックの振動方向を共通の画像ズレ方向としてもよい。

ステップＳ９： ズレ検出部２１は、各ブロックの画像ズレについて、共通の画像ズレ方向における画像ズレ幅を算出する。

ステップＳ１０： マイクロプロセッサ１９は、ズレ検出部２１から、各ブロックの画像ズレ幅を情報取得する。マイクロプロセッサ１９は、この画像ズレ幅の中から、合焦状態の箇所Ｐにおける画像ズレ幅ｎを基準として選別する。

ステップＳ１１： マイクロプロセッサ１９は、各ブロックの画像ズレ幅ｍを下式に代入して、各ブロックについて被写体距離Ｂをそれぞれ求める。
Ｂ＝Ａ・ｎ／ｍ ・・・（１）
図３は、上式の意味を説明する模式図である。
この図３において、撮影レンズ１２の前側主点から光軸方向に被写体距離Ａだけ離れた位置に、基準とする被写体（基準被写体）が位置する。同様に被写体距離Ｂだけ離れた位置に、測距対象の被写体（測距対象）が位置する。

ここでは、手ブレなどによって電子カメラ１１の位置が間隔Ｒだけ変位したと仮定する。この場合、電子カメラ１１の座標に立って見ると、物空間内において、基準被写体および測距対象が共に間隔Ｒだけ相対移動したことになる。
ところで、電子カメラ１１の撮影画角を２θとし、かつ入射瞳による光束の径を無視すれば、撮像画面に収まる物空間内の撮影幅は、被写体距離Ａの位置において２Ａtanθとなる。また、被写体距離Ｂにおける撮影幅は、２Ｂtanθとなる。これら被写体距離によって変化する物空間内の撮影幅は、撮影画面の上に等幅に投影される。
このことから、撮影画面上における、基準被写体の画像ズレ幅ｎと、測距対象の画像ズレ幅ｍとの比は、
ｎ：ｍ＝（Ｒ／２Ａtanθ）：（Ｒ／２Ｂtanθ）
となる。この式を変形することによって、上記の（１）式が得られる。

ステップＳ１２： マイクロプロセッサ１９は、各ブロックを画像ズレ幅（または被写体距離）で分類することにより、距離マップのデータをメモリ１７内に生成する。図４は、この距離マップを模式的に分かりやすく示した図である。
なお、この距離マップは、被写体距離の違いを表すデータであればよい。例えば、ブロック単位に数値（例えば被写体距離や遠近度合いを示す数値など）を配列したデータでもよい。また、ブロック単位の数値を補間して得られる画素単位の数値配列でもよい。また、遠近で分類された部分画像の領域区分を示すデータでもよい。

ステップＳ１３： 画像処理部２０は、分割露光で得た複数の画像を位置合わせして合成し、合成画像を得る。ここでの位置合わせには、ステップＳ７で求めた画像ズレの情報を利用することができる。

ステップＳ１４： ここで、マイクロプロセッサ１９は、画像処理モードの設定に応じて処理を分岐する。
例えば、『明るい背景モード』では、ステップＳ１５に処理を分岐する。
また例えば、『暗い背景モード』では、ステップＳ１６に処理を分岐する。
なお、『画像解析』や『分割測光の評価結果』や『閃光発光の有無』により、ステップＳ１５，Ｓ１６の分岐を自動的に選択してもよい。例えば、画像解析や分割測光により、逆光撮影と判断される場合には、暗い背景モードを自動選択することが好ましい。また、閃光発光有りの場合には、明るい背景モードを自動選択することが好ましい。

ステップＳ１５： ここでは、明るい背景モードが選択される。この場合、画像処理部２０は、距離マップを二値または多値マスクとして、被写体距離が遠い画像領域ほど明るくなるように合成画像に輝度補正を実施する。
なお、ここでのマスク処理は、多様な処理態様が可能である。例えば、画像に施す画像処理パラメータを、距離マップの距離情報や遠近差によって変更（変調）してもよい。また、距離マップの遠近分類によって画像を複数の分割領域に区分し、分割領域ごとに画像処理を変更してもよい。
このようにして輝度補正を完了した画像は、記録部２２を介して２２ａに保存記録される。また、この輝度補正を完了した画像を、内蔵プロジェクタ３０を介して外部スクリーンなどに投影することもできる。また、距離マップを用いて照明光源３３の照明分布を変調することにより、より多階調の投影像を得てもよい。以上の動作により、本実施形態の動作を完了する。

ステップＳ１６： 一方、ここでは、暗い背景モードが選択される。この場合、画像処理部２０は、距離マップを二値または多値マスクとして、被写体距離が遠い画像領域ほど暗くなるように合成画像に輝度補正を実施する。この輝度補正を完了した画像は、記録部２２を介して２２ａに保存記録される。また、この輝度補正を完了した画像を、内蔵プロジェクタ３０を介して外部スクリーンなどに投影することもできる。また、距離マップを用いて照明光源３３の照明分布を変調することにより、より多階調の投影像を得てもよい。以上の動作により、本実施形態の動作を完了する。

［本実施形態の効果など］
以上説明したように、本実施形態では、通常の電子カメラの撮像ユニットを使用して距離マップを作成することができる。そのため、従来技術のように複数の撮像装置を備える必要がなく、被写界の奥行きに関する情報を簡易な構造で求めることができる。
また、本実施形態では、１つの箇所Ｐについて被写体距離Ａを別に検出することで、その他の箇所の被写体距離Ｂを得ることができる。

さらに、本実施形態では、距離マップを反映させて画像処理を行うことにより、本来平面の画像に被写界の奥行き感を付加することが可能になる。また逆に、被写界の奥行きによって生じる画像の不均一さ（閃光撮影時の近景と背景の明暗差）を補正することも可能になる。

［実施形態の補足事項］
なお、上述した実施形態では、位置合わせ合成による画像ブレ改善技術と併用して、距離マップを作成している。そのため、測距のためだけに複数回の露光を行う必要がなく、撮影シーケンスに無駄がない。

また、画像合成により階調潰れを抑制する技術と本発明を併用して、距離マップを作成してもよい。

なお、測距のために複数回の露光を別途実施することにより、本発明を独立に実施することも可能である。

なお、上述した実施形態において、複数回の露光を行う際に、絞りの開口を小さく変更して被写界深度を深くすることが好ましい。この場合、より広い距離範囲において画像ズレを正確に検出できるため、被写界全域にわたる正確な距離マップを得ることが可能になる。

また、上述した実施形態では、距離マップを画像処理に活用している。しかしながら、本発明はこれに限定されるものではない。距離マップを生成することを目的として本発明を実施してもよい。この場合、測距装置などに本発明を応用することが可能になる。

なお、上述した実施形態において、距離マップを、画像データと一体または別ファイルとして記録してもよい。この場合、ユーザーは、距離マップをマスクとして適宜使用できるので、処理対象の画像から面倒な作業でマスクを生成するといった手間を省くことができる。

また、上述した実施形態では、距離マップを輝度補正に使用している。しかしながら、本発明はこれに限定されるものではない。一般に、奥行き情報を活用できる画像処理であればよい。例えば、距離マップを彩度調整に反映させることにより、空気層による遠景の低彩度化を補正し、色抜けの良い画像を得ることが可能になる。また逆に、遠景を低彩度化（または近景を高彩度化）することにより、いわゆる空気感のある画像を得ることが可能になる。

なお、上述した実施形態では、レンズ位置から被写体距離Ａを求める場合について説明した。しかしながら、本発明はこれに限定されるものではない。基準である被写体距離Ａを求める手段として、その他の公知の測距手段を適宜使用することができる。

また、本発明は、少なくとも１つの撮像素子が有れば実現できるため、一眼レフタイプやコンパクトタイプのいずれの電子カメラでも実施することができる。

なお、複数画像と被写体距離Ａを情報取得すれば、コンピュータ上（画像処理プログラム）においても、実施形態（図２）と同様の処理を実施することが可能となる。
さらに、上述した画像処理方法を、インターネット上の画像サーバー（例えはアルバムサーバーなど）を用いて、サービス提供することも可能である。

以上説明したように、本発明は、画像処理などに利用可能な技術である。

電子カメラ１１を示すブロック図である。 実施形態の動作を説明する流れ図である。 被写体距離の算出原理を説明する模式図である。 距離マップを模式的に分かりやすく示した図である。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１２ａ…レンズ制御部，１３…撮像素子，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，１９ａ…操作部，２０…画像処理部，２１…ズレ検出部，２２…記録部，２２ａ…記録媒体，２３…モニタ表示部，３０…内蔵プロジェクタ，３１…投射レンズ，３２…表示素子，３３…照明光源，３４…表示素子駆動回路，３５…点灯回路

Claims (8)

1. 被写体を撮像して画像を生成する撮像部と、
   前記撮像部で撮影された画像を処理する画像処理部と、
   前記撮像部で複数回撮影を行って複数の画像を取得する撮像制御部と、
   前記複数の画像を比較して局所的な画像ズレ幅を画面内の複数箇所について検出するズレ検出部と、
   複数箇所の前記画像ズレ幅に基づいて画面内をグループ分けし、画面内における被写体距離の違いを表す距離情報（以下『距離マップ』という）を作成する距離マップ作成部と
   を備えたことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   ズレ検出部は、画面内の少なくとも１つの箇所Ｐについて被写体距離Ａを取得または検出する距離取得部を備え、
   前記距離マップ作成部は、
   画像ズレ幅ｍの画面内箇所の被写体距離Ｂを、前記箇所Ｐの画像ズレ幅ｎを基準に、
   Ｂ＝Ａ・ｎ／ｍ ・・・（１）
   で求めることにより、画面内における被写体距離の違いを表す距離マップを作成する
   ことを特徴とする電子カメラ。
3. 請求項１または請求項２に記載の電子カメラにおいて、
   前記画像処理部は、
   前記距離マップをマスクとして、前記画像に施す画像処理を変更する
   ことを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記画像処理部は、
   前記距離マップをマスクとして、遠距離の画面領域ほど明るく輝度補正する
   ことを特徴とする電子カメラ。
5. 請求項３に記載の電子カメラにおいて、
   前記画像処理部は、
   前記距離マップをマスクとして、遠距離の画面領域ほど暗く輝度補正する
   ことを特徴とする電子カメラ。
6. 請求項３ないし請求項５のいずれか１項に記載の電子カメラにおいて、
   前記画像処理部は、
   前記撮像制御部によって生成された複数の画像について、位置合わせをして合成画像を生成する機能を有する
   ことを特徴とする電子カメラ。
7. 撮像部で複数回撮影を行って生成された複数の画像が入力されるコンピュータを、
   請求項１ないし請求項６のいずれか１項に記載の前記画像処理部、前記ズレ検出部、および前記距離マップ作成部として機能させるための画像処理プログラム。
8. 撮像部で複数回撮影を行って生成された複数の画像を取得するステップと、
   前記複数の画像を比較して局所的な画像ズレ幅を画面内の複数箇所について検出するステップと、
   複数箇所の前記画像ズレ幅に基づいて画面内をグループ分けし、画面内における被写体距離の違いを表す距離情報（以下『距離マップ』という）を作成するステップと
   を備えたことを特徴とする画像処理方法。
   

Images