JP2009139423A - 撮像装置及び被写体距離算出方法 - Google Patents

Abstract

【課題】特別な手段を用いることなく、既存の機構を利用して被写体距離を算出することができる。
【解決手段】スルー画像取得時にセンサー等により手ブレ（シフトブレ（Ｘシフト、Ｙシフト）及び回動ブレ（ヨー、ピッチ）を検出する。それと同時に、手ブレ前と後の画像データのずれ量である動き量を検出する。なお、動き量から回動ブレによる影響を除去し、回動ブレの影響が除去された画像データから求められた動き量と、シフトブレと、焦点距離とに基づいて、被写体距離を算出する。これにより、既存の機構を利用することで、コストをかけることなく測距情報を取得することができる。なお、算出された被写体距離は、ＡＦサーチ範囲を限定したり、フラッシュの適正光量を調整したりすることに用いられる。
【選択図】 図６

Description

本発明は撮像装置及び被写体距離算出方法に係り、特に特別な手段を用いることなく被写体距離を推定可能な撮像装置及び被写体距離算出方法に関する。

特許文献１には、手ブレ補正用のレンズ駆動機構を利用して、位相の異なる画像を取得し、レンズ駆動量、画像相関量、焦点距離より被写体までの距離を算出する技術が記載されている。

特許文献２には、ある任意の焦点レンズ位置にて撮像したフレームの第１のＡＦエリア画像と、焦点レンズを微小移動して撮像したフレームの第２のＡＦエリア画像とを取得し、第１のＡＦエリア画像及び第２のＡＦエリア画像の点像分布係数を求め、第１のＡＦエリア画像の点像半径と、第２のＡＦエリア画像の点像半径とから焦点位置及び焦点方向を算出する技術が記載されている。

特許文献３には、複数の撮像手段を有し、それぞれの撮像手段で撮影された画像の位相差と、基線長と、焦点距離とに基づいて被写体までの距離を算出する技術が記載されている。
特開２００２―２９６４９１号公報 特開２０００―１９９８４５号公報 特開２００５―４３２２５号公報

しかしながら、上記特許文献１に記載の技術においては、レンズを大きく移動させて位相差のある画像を取得するため、ライブビュー画像（スルー画）が大きくブレて表示されてしまうという問題がある。

また、特許文献３に記載の技術においては、複数の撮像手段を用いて位相差のある画像を取得するため、複数の撮像手段を備えた装置でないと適用することができないという問題がある。また、複数の撮像手段を備えることにより、装置の大きさが大きくなるという問題がある。

なお、特許文献２に記載の技術は、合焦したときのレンズ位置から被写体距離を推定するものであり、直接被写体までの距離を算出することはできない。

本発明はこのような事情に鑑みてなされたもので、特別な手段を用いることなく、既存の機構を利用して被写体距離が算出可能な撮像装置及び被写体距離算出方法を提供することを目的とする。

前記目的を達成するために、請求項１に記載の撮像装置は、撮像装置の撮影光軸と直交する方向のシフト量を検出するシフト量検出手段と、撮影光学系により撮像素子に結像された被写体像の画像データを取得する取得手段と、前記取得手段により取得された画像データから前記シフト量検出手段によって検出された撮像装置のシフト量に伴う前記撮像素子上の画像の動き量を検出する動き量検出手段と、前記動き量検出手段により検出された動き量と、前記シフト量検出手段により検出された撮像装置のシフト量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出する被写体距離算出手段と、を備えたことを特徴とする。

請求項１に記載の撮像装置によれば、撮像装置のシフト量、すなわち撮像装置のシフトブレ（Ｘシフト、Ｙシフト）の方向や量を検出し、撮像装置にシフトブレが発生することにより、撮影光学系により撮像素子に結像された被写体像の画像データに発生する撮像素子上の画像の動き量を検出する。撮像装置のシフト量と、画像データの動き量と、撮影光学系の焦点距離とに基づいて、被写体距離を算出する。これにより、特別な手段を用いることなく、既存の機構を利用して、コストをかけることなく測距情報を取得することができる。

請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、前記撮像装置の上下、左右方向の回転振れを検出する手ブレ検出手段と、前記手ブレ検出手段によって検出された回転振れに基づいて前記撮影光学系の少なくとも一部の光学部材又は前記撮像素子を駆動し、前記撮像装置の手ブレを補正する手ブレ補正手段と、前記手ブレ補正手段により前記撮像装置の手ブレが補正された画像データを前記取得手段に取得させる画像データ取得制御手段と、を備えたことを特徴とする。

請求項２に記載の撮像装置によれば、移動自在に配設された光学部材又は撮像素子を移動させる機械式の手ブレ補正手段により、撮像素子により取得された画像データから撮像装置の回転ブレによる影響を除去する。回転ブレが除去された画像データを取得して、当該画像データに基づいて被写体距離を算出する。このように、既存の機構である手ブレ補正機構を利用することで、コストをかけることなく測距情報を取得することができる。また、撮像素子により取得された画像データから撮像装置の回転ブレ（ヨー、ピッチ）による影響を除去することで、正確な被写体距離を算出することができる。

請求項３に記載の撮像装置は、請求項１又は２に記載の撮像装置において、前記手ブレ検出手段は、前記シフト量検出手段を含むことを特徴とする。

請求項４に記載の撮像装置は、請求項１から３のいずれかに記載の撮像装置において、前記撮像素子により取得された画像データから人物の顔を検出する顔検出手段と、前記顔検出手段により人物の顔が検出された領域の画像データを前記取得手段に取得させる画像データ取得制御手段と、を備えたことを特徴とする。

請求項４に記載の撮像装置によれば、撮像素子により取得された画像データから人物の顔を検出し、顔が検出された領域の画像データに基づいて被写体距離を算出する。このように、主要な被写体に基づいて被写体距離を算出することで、正確な測距を行うことができる。

請求項５に記載の撮像装置は、請求項１から４のいずれかに記載の撮像装置において、ライブビュー画像の画像データを前記取得手段に取得させる取得制御手段を備えたことを特徴とする。

請求項５に記載の撮像装置によれば、ライブビュー画像の画像データに基づいて被写体距離を算出する。このように、被写体距離の算出を撮影前に行うことで、算出された測距情報を撮影時に利用することができる。

請求項６に記載の撮像装置は、請求項１から５のいずれかに記載の撮像装置において、撮影光学系を焦点調節範囲にわたって移動させ、該撮影光学系が所定量移動するごとに前記撮像素子から画像信号を出力し、該出力された画像信号から求められる被写体のコントラスト成分に基づいて前記撮影光学系の合焦制御を行う自動合焦制御手段であって、前記被写体距離算出手段により算出された被写体距離に基づいて、前記撮影光学系を移動させる範囲を限定して合焦制御を行う自動合焦制御手段を備えたことを特徴とする。

請求項６に記載の撮像装置によれば、算出された被写体距離に基づいて限定された焦点調節範囲にわたって撮影光学系を移動させ、該撮影光学系が所定量移動するごとに前記撮像素子から画像信号を出力し、該出力された画像信号から求められる被写体のコントラスト成分に基づいて前記撮影光学系の合焦制御を行う。このように、算出された被写体距離を用いて、焦点調節範囲を限定した合焦制御を行うことにより、合焦制御に要する時間を短縮することができる。また、合焦制御に要する時間を短縮することで、シャッターチャンスを逃すことなく、操作者の意図に沿った画像を撮影することができる。

請求項７に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、フラッシュ光源と、前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源の発光を制御する発光制御手段と、を備えたことを特徴とする。

請求項７に記載の撮像装置によれば、画像データの平行移動量と、撮像装置の平行移動の方向及び量と、焦点距離とに基づいて算出された被写体距離に基づいて、フラッシュ光源の発光を制御する。これにより、被写体距離に応じて適切な光量のフラッシュを被写体に照射することができる。また、被写体距離が近距離の場合には、フラッシュを発光させることにより白トビを防ぐことができる。

請求項８に記載の撮像装置は、請求項７に記載の撮像装置において、前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源からの光が被写体に届くか否かを判断する判断手段と、前記判断手段により前記フラッシュ光源からの光が被写体に届かないと判断された場合に警告を行う警告手段と、を備えたことを特徴とする。

請求項８に記載の撮像装置によれば、フラッシュ光源からの光が被写体に届くか否かを判断し、届かない場合には撮影者に警告を行う。これにより、適切なフラッシュ撮影を行うことができる。

請求項９に記載の被写体距離算出方法は、撮像装置の平行移動及び回動の方向及び量を検出するステップと、該撮像装置の平行移動及び回動の方向及び量の検出と同期して、撮影光学系により撮像素子に結像された被写体像の画像データを取得するステップと、該検出された撮像装置の回動の方向及び量に基づいて、前記取得された画像データから前記撮像装置の回動による影響を除去するステップと、前記撮像装置の回動による影響が除去された画像データの平行移動量であって、先行する画像に対する後続の画像の平行移動量を検出するステップと、該検出された平行移動量と、前記検出された前記撮像装置の平行移動の方向及び量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出するステップと、を含むことを特徴とする。

本発明によれば、特別な手段を用いることなく、既存の機構を利用して被写体距離を算出することができる。

以下、添付図面に従って本発明に係るカメラを実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は本発明に係る電子機器の一実施形態を示す正面斜視図であり、図２はその背面斜視図である。この電子機器は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。

デジタルカメラ１０のカメラボディ１２は、横長の四角い箱状に形成されており、その正面には、図１に示すように、撮影レンズ１３、フラッシュ１６、ＡＦ補助光ランプ１８等が設けられており、上面には、シャッターボタン２２、モードレバー２４、電源ボタン２６等が設けられている。また、側面には、開閉自在なスロットカバー１１が設けられている。スロットカバー１１の内側には、メモリカードを装着するためのメモリカードスロット１４が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２８、ズームボタン３０、再生ボタン３２、ファンクションボタン３４、十字ボタン３６、ＭＥＮＵ／ＯＫボタン３８、ＤＩＳＰ／ＢＡＣＫボタン４０等が設けられている。

なお、図示しない底面には、三脚ネジ穴と内側にバッテリを収納するための開閉自在なバッテリカバーとが設けられている。

レンズ１３は、沈胴式のズームレンズで構成されており、電源ボタン２６によってデジタルカメラ１０の電源をＯＮすることにより、カメラボディ１２から繰り出される。なお、レンズ１３のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

メモリカードスロット１４は、撮影した被写体の画像データ、音声データ等の各種データが記録されているメモリカードを装着するための接続部である。

フラッシュ１６は、たとえばキセノン管を光源として構成されており、その発光量を調整可能に形成されている。なお、キセノン管の他、高輝度のＬＥＤを光源としたフラッシュを用いることもできる。

ＡＦ補助光ランプ１８は、たとえば高輝度ＬＥＤ構成されており、ＡＦ時に必要に応じて発光される。

シャッターボタン２２は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、このシャッターボタン２２を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。

モードレバー２４は、デジタルカメラ１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、デジタルカメラ１０の撮影モードが様々なモードに設定される。例えば、絞り、シャッタースピード等がデジタルカメラ１０によって自動的に設定される「オート撮影モード」、動画撮影を行う「動画撮影モード」、人物撮影に適した「人物撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを撮影者が設定し、シャッタースピードをデジタルカメラ１０が自動的に設定する「絞り優先撮影モード」、シャッタースピードを撮影者が設定し、絞りの目盛りをデジタルカメラ１０が自動的に設定する「シャッタースピード優先撮影モード」、絞り、シャッタースピード等を撮影者が設定する「マニュアル撮影モード」、手ブレを自動的に検出して補正する「手ブレ補正モード」等である。

電源ボタン２６は、デジタルカメラ１０の電源をＯＮ／ＯＦＦするのに用いられ、所定時間（たとえば、２秒）押下されることにより、デジタルカメラ１０の電源がＯＮ／ＯＦＦされる。

モニタ２８は、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ２８は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてライブビュー画像（スルー画像）が表示されて、画角確認用の電子ファインダとして利用される。

ズームボタン３０は、撮影レンズ１３のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

再生ボタン３２は、再生モードへの切り替え指示に用いられる。すなわち、デジタルカメラ１０は、撮影中、この再生ボタン３２が押されると、再生モードに切り替えられる。また、電源ＯＦＦの状態でこの再生ボタン３２が押されると、再生モードの状態でデジタルカメラ１０が起動する。

ファンクションボタン３４は、撮影及び再生機能の各種設定画面の呼び出しに用いられる。すなわち、撮影時にこのファンクションボタン３４が押されると、モニタ２８に画像サイズ（記録画素数）、感度等の設定画面が表示され、再生時にこのファンクションボタン３４が押されると、モニタ２８に画像の消去、プリント予約（ＤＰＯＦ）の設定画面等が表示される。

十字ボタン３６は、上下左右４方向の指示を入力する方向指示手段として機能し、たとえば、メニュー画面でメニュー項目の選択などに使用される。

ＭＥＮＵ／ＯＫボタン３８は、各モードの通常画面からメニュー画面への遷移を指示するボタン（ＭＥＮＵボタン）として機能するととともに、選択内容の確定、処理の実行等を指示するボタン（ＯＫボタン）として機能する。

ＤＩＳＰ／ＢＡＣＫボタン４０は、モニタ２８の表示内容の切り替え指示（ＤＩＳＰ機能）に用いられるとともに、入力操作のキャンセル等の指示（ＢＡＣＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。
［デジタルカメラ１０の内部構成について］
図３は、本実施の形態のデジタルカメラ１０の電気的構成を示すブロック図である。同図に示すように、デジタルカメラ１０は、ＣＰＵ１１０、操作部（シャッターボタン２２、モードレバー２４、電源ボタン２６、ズームボタン３０、再生ボタン３２、ファンクションボタン３４、十字ボタン３６、ＭＥＮＵ／ＯＫボタン３８、ＤＩＳＰ／ＢＡＣＫボタン４０等）１１２、ＲＯＭ１１４、ＲＡＭ１１６、バッファメモリ１１８、撮影光学系１２４、絞り／フォーカス／ズーム制御部１２６、撮像素子１２８、撮影制御部（タイミングジェネレータ）１３０、画像信号処理部１３２、被写体距離算出部１３４、ＡＥ／ＡＷＢ検出部１３６、ＡＦ検出部１３８、手ブレ補正制御部１４０、フラッシュ制御部１４２、ＡＦ補助光ランプ制御部１４４、画像記録部１４６、表示制御部１５０、顔検出部１５２等で構成されている。

ＣＰＵ１１０は、デジタルカメラ１０の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１０の各部を制御する。

ＲＯＭ１１４には、このＣＰＵ１１０が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値、撮影された画像データ等が記録されている。なお、後述するように、撮影された画像データは、通常メモリカードに記録されるが、ユーザーが選択した場合、メモリカードが装填されていない場合、メモリカードの容量が不足した場合等にはＲＯＭ１１４に記録される。

ＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

バッファメモリ１１８は、表示用の画像データ専用の一時記憶領域として利用される。

撮影光学系１２４は、撮影レンズ１３、絞り、シャッタを含み、各構成要素は、モータ等のアクチュエータで構成される駆動部に駆動されて動作する。たとえば、撮影レンズ１３を構成するフォーカスレンズ群は、フォーカスモータに駆動されて前後方向に移動し、ズームレンズ群は、ズームモータに駆動されて前後方向に移動する。また、絞りは、絞りモータに駆動されて拡縮し、シャッタは、シャッタモータに駆動されて開閉する。

動き量検出部１２０は、先に取得されたスルー画像用の画像データ（先の画像）と、その次に取得されたスルー画象用の画像データ（後の画像）との間の平行移動量を検出する。すなわち、図４に示すように、動き量検出部１２０は、まず先の画像f(i,j)と後の画像g(i,j)との合成画像f(i,j)+ g(i,j)を作成する。その後、先の画像f(i,j)を少しずつ移動（シフト）させながら、先の画像f(i,j)と後の画像g(i,j)との相関値を算出し、相関値が低くなったときのシフト量を画像の平行移動量、すなわち先の画像f(i,j)と後の画像g(i,j)との間に発生した動き量として検出する。

手ブレ量検出部１２２は、ジャイロセンサ等によりデジタルカメラ１０の回動（回転ブレ）を検出し、速度センサ等によりデジタルカメラ１０の平行移動（シフトブレ）を検出する。回動ブレとは、図５に示すヨー及びピッチの方向やブレ量（以下、回転ブレ量という）を検出し、加すなわち図５に示すＸシフト及びＹシフトの方向やブレ量（以下、シフトブレ量という）を検出する。なお、手ブレ量検出部１２２に用いられるセンサは、上記に記載のセンサを用いる場合に限らず、様々な手段を用いることができる。

絞り／フォーカス／ズーム制御部１２６は、ＣＰＵ１１０からの指令に応じて撮影光学系１２４の駆動部を制御し、撮影レンズ１３、絞り、シャッタの動作を制御する。

撮像素子１２８は、たとえば、所定のカラーフィルタ配列のカラーＣＣＤで構成されており、撮影光学系１２４によって結像された被写体の画像を電子的に撮像する。

撮像制御部（タイミングジェネレータ、ＴＧ）１３０は、ＣＰＵ１１０からの指令に応じて、この撮像素子１２８を駆動するためのタイミング信号を出力する。

画像信号処理部１３２は、撮像素子１２８から出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅して出力する。画像信号処理部１３２は所定容量のラインバッファを内蔵しており、出力されたＲ、Ｇ、Ｂのアナログの画像信号をデジタルの画像信号に変換し、ＣＰＵ１１０からの指令に従い、出力された１画像分の画像信号を蓄積して、ＲＡＭ１１６に記録する。

また、画像信号処理部１３２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

被写体距離算出部１３４は、動き量検出部１２０で検出された動き量と、手ブレ量検出部１２２で検出されたシフト量と、撮影光学系１２４の焦点距離とにより、推定被写体距離を算出する。以下、被写体距離算出部１３４において推定被写体距離を算出する方法について説明する。図６は、推定被写体距離を算出する処理の流れを示すフローチャートであり、図７は、推定被写体距離を算出する場合のデータの流れを示す機能図である。

スルー画像撮影中（詳細は後述）に発生した手ブレ（回転ブレ及びシフトブレ）を手ブレ量検出部１２２で検出する（ステップＳ１）。同時に、手ブレ量検出部１２２で手ブレが検出された直前と直後に撮像素子１２８から出力されたスルー画像の画像データを取得し、前の画像と後の画像との間の動き量を動き量検出部１２０で検出する（ステップＳ２）。ステップＳ１で検出された回転ブレ量、シフトブレ量と、動き量検出部１２０で検出された動き量の情報は、それぞれ被写体距離検出部１３４に入力される。

ＣＰＵ１１０において、手ブレ補正モードが設定されているかどうかが検出される（ステップＳ３）。手ブレ補正モードが設定されている場合（ステップＳ３でＹＥＳ）には、手ブレ補正制御部１４０（後述）において、ステップＳ２で動き量を検出する基となる画像データから回転ブレの影響が除去されているため、そのままステップＳ５へ進む。

手ブレ補正モードが設定されていない場合（ステップＳ３でＮＯ）には、被写体距離算出部１３４において、ステップＳ２で検出された動き量から、ステップＳ１で検出された回転ブレにより前の画像と後の画像との間ので発生した動き量を除去し（ステップＳ４）、ステップ５へ進む。

ここで、ステップＳ３、Ｓ４において、動き量から回転ブレによる影響を除去する理由について説明する。図８は、被写体距離が異なる場合における回転ブレ量と動き量との関係を示すグラフであり、図９は被写体距離が異なる場合におけるシフトブレ量と動き量との関係を示すグラフである。

図８に示すように、回転ブレと動き量とは比例関係にあるが、比例係数は被写体距離によらず一定である。したがって、回転ブレ量と動き量との関係から被写体距離を求めることはできない。それに対し、シフトブレ量と動き量とは比例関係にあり、比例係数は被写体距離によって異なるため、シフトブレ量と動き量とが分かれば被写体距離が算出できる。したがって、ステップＳ５において用いる動き量は、回転ブレによる影響を除去して、シフトブレのみによる動き量とする必要がある。

最後に、ステップＳ３又はＳ４により求められたシフトブレによる動き量、ステップＳ２で検出されたシフトブレ量、及び絞り／フォーカス／ズーム制御部１２６から出力された撮影光学系１２４の焦点距離により、図９により求められる数式１に基づいて推定被写体距離を算出する（ステップＳ５）。なお、算出された推定被写体距離は、被写体距離算出部１３４からＣＰＵ１１０、ＡＦ検出部１３８、フラッシュ制御部１４２等に出力される。
[数１]
推定被写体距離＝ｆ（ズーム値、シフトブレ量、動き量）
＝ａ×（シフトブレ量／動き量）
なお、ａは係数であり、ズーム値（撮影光学系１２４の焦点距離）によって異なる値をとる。

これにより、特別な機構を用いることなく、既存の機構である手ブレ補正機構を応用することで、コストをかけることなく測距情報を取得することができる。なお、測距に用いる画像データは、デジタルカメラ１０が大きく動かされる時、すなわち取得されるスルー画像が安定した画像となる直前に行うことが望ましい。この場合には、スルー画像の動き量が大きくなるため、高い精度で推定被写体距離を算出することができる。

ＡＥ／ＡＷＢ検出部１３６は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出部１３６から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタ速度を決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

ＡＦ検出部１３８は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態のデジタルカメラ１０では、撮像素子１２８から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出部１３８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出部１３８で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠までの間の所定の範囲（以下、ＡＦサーチ範囲という）において所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

手ブレ補正制御部１４０は、デジタルカメラ１０の振れをジャイロセンサにより検出し、撮像素子１２８を振れと反対方向に移動させることにより、撮像素子１２８に結像される被写体像の手振れを補正する。

フラッシュ制御部１４２は、ＣＰＵ１１０からの指令に従い、また被写体距離算出部１３４で算出された被写体距離に応じて、フラッシュ１６の発光を制御する。

ＡＦ補助光ランプ制御部１４４は、ＣＰＵ１１０からの指令に従い、ＡＦ補助光ランプ１８の発光を制御する。すなわち、ＣＰＵ１１０は、ＡＦ時に被写体が暗いと判断すると、あるいは、被写体のコントラストが低いと判断すると、ＡＦ補助光ランプ制御部１４４を介してＡＦ補助光ランプ１８を発光させ、被写体にＡＦ補助光を照射させてＡＦ制御を実行する。

画像記録部１４６は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。また、画像記録部１４６は、ＣＰＵ１１０からの指令に従い、メモリカードスロット１４に装填されたメモリカード１４８に対してデータの読み／書きを制御する。

表示制御部１５０は、ＣＰＵ１１０からの指令に従い、モニタ２８への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２８に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２８に出力するとともに、所定の文字、図形情報をモニタ２８に出力する。

顔検出部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データから画像内の顔領域を抽出し、その位置（たとえば、顔領域の重心）を検出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。
［デジタルカメラ１０の撮影、記録動作及び再生動作について］
電源ボタン２６を押下し、デジタルカメラ１０の電源を投入すると、デジタルカメラ１０は、撮影モードの下で起動する。

まず、絞り／フォーカス／ズーム制御部１２６を介して撮影光学系１２４の駆動部が駆動され、撮影レンズ１３が所定位置まで繰り出される。そして、撮影レンズ１３が所定位置まで繰り出されると、撮像素子１２８によってスルー画像用の撮影が行われ、モニタ２８にスルー画像が表示される。すなわち、撮像素子１２８で連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、バッファメモリ１１８を介して順次表示制御部１５０に加えられ、表示用の信号形式に変換されて、モニタ２８に出力される。これにより、撮像素子１２８で捉えた画像がモニタ２８にスルー表示される。

それと同時に、撮像素子１２８で取得されたスルー画像の画像データに基づいて、被写体距離算出部１３４において推定被写体距離が算出される。顔検出部１５２において人物の顔が検出された場合には、顔が検出された領域の画像データが被写体距離算出部１３４に入力され、当該画像データに基づいて推定被写体距離が算出される。このように、主要な被写体に基づいて被写体距離を算出することで、正確な測距を行うことができる。

撮影者は、このモニタ２８に表示されたスルー画像を見て構図を決定し、シャッターボタン２２を半押しする。

シャッターボタン２２が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ１ＯＮ信号に応動して、撮影準備処理、すなわち、ＡＥ、ＡＦ、ＡＷＢの各処理を実行する。

まず、撮像素子１２８から出力された画像信号を画像信号処理部１３２を介してＲＡＭ１１６に取り込み、ＡＥ／ＡＷＢ検出部１３６及びＡＦ検出部１３８に加える。

ＡＥ／ＡＷＢ検出部１３６は、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出し、ＣＰＵ１１０に出力する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出部１３６からの出力に基づき、絞り値とシャッタースピードを決定するとともに、ホワイトバランス補正値を決定する。

同時に、フラッシュ１６の発光が必要かどうかの判断や、フラッシュ１６の発光量の調整を行う。フラッシュ１６の発光が必要と判断された場合には、図１０に示すフローチャートに基づいてフラッシュ１６の適正光量を調整する。図１０は、フラッシュ１６の適正光量を調整する処理の流れを示すフローチャートであり、図１１は、フラッシュ１６の適正光量を調整する場合のデータの流れを示す機能図である。

ステップＳ１〜Ｓ５により算出された推定被写体距離を被写体距離検出部１３４からフラッシュ制御部１４２に入力し（ステップＳ１１）、フラッシュ１６をプリ発光させることにより得られた反射光に基づいて判断された被写体の輝度と、ステップＳ１１で入力された推定被写体距離とを用いて、フラッシュ制御部１４２は、図１２に示すグラフに基づいて本撮影時のフラッシュ１６の発光量を決定する（ステップＳ１２）。そして、フラッシュ制御部１４２は、被写体距離算出部１３４で算出された被写体距離が図１２に示すグラフに基づいてフラッシュ１６が届かない距離であると判断した場合には、モニタ２８に「フラッシュが届きません」などの警告メッセージを表示する（ステップＳ１３）。

これにより、被写体距離に応じて適切な光量のフラッシュを被写体に照射することができる。また、被写体距離が近距離の場合に、フラッシュによる白トビを防ぐことができる。また、フラッシュが届かない場合に警告を行うことで、適切なフラッシュ撮影を行うように撮影者を誘導することができる。なお、警告はメッセージに限らず、音、音声などにより行なってもよい。

その後、ＡＦ検出部１３８は、入力された画像信号からＡＦ制御に必要な物理量を算出し、ＣＰＵ１１０に出力する。本実施の形態においては、被写体距離算出部１３４で算出された被写体距離に基づいてＡＦサーチ範囲を限定してＡＦ制御を行なう点に特徴がある。以下、被写体距離算出部１３４で算出された被写体距離に基づいて、ＡＦサーチ範囲を限定してＡＦ制御を実行する方法について説明する。図１３は、ＡＦサーチ範囲を限定する処理の流れを示すフローチャートであり、図１４は、ＡＦサーチ範囲を限定する場合のデータの流れを示す機能図である。

ステップＳ１〜Ｓ５により算出された推定被写体距離を被写体距離検出部１３４からＡＦ検出部１３８に入力し（ステップＳ１５）、絞り／フォーカス／ズーム制御部１２６から出力された撮影光学系１２４の焦点距離、ステップＳ１１で入力された推定被写体距離、及び予め作成されたフォーカス特性情報に基づいて、ＡＦ検出部１３８は、至近から無限遠までの間のうちの所定の範囲に限定されたＡＦサーチ範囲を設定する（ステップＳ１６）。本実施の形態におけるフォーカス特性情報とは、焦点距離毎の被写体距離の逆数と合焦位置との関係を示し、これにより合焦するレンズの位置を算出することができる。

ＣＰＵ１１０は、このＡＦ検出部１３８からの出力に基づき絞り／フォーカス／ズーム制御部１２６を介して撮影光学系１２４の駆動部の駆動を制御してフォーカスレンズを所定のステップで移動させ、各位置で焦点評価値を取得する（ステップＳ１７）。得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる（ステップＳ１８）。

ここで、限定されたＡＦサーチ範囲について説明する。図１５は、被写体距離が１ｍ、通常の明るさ、ズーム時におけるＡＦサーチの様子を示す。

通常のＡＦサーチでは、サーチステップ（約３０パルス）を大きくとるラフサーチを行いながらＡＦ評価値を算出する。ラフサーチの範囲は焦点距離毎に決まっており、近傍から無限遠のそれぞれの場合においてピントが合う範囲でラフサーチが行われる。ラフサーチのＡＦ評価値が２回減少すると、ラフサーチとは逆向きに詳細なサーチステップ（約６パルス）で詳細サーチを行う。

限定されたＡＦサーチ範囲とは、この詳細サーチのＡＦサーチ範囲のことである。本実施の形態では、推定被写体距離が算出されているため、推定被写体距離をラフサーチでのＡＦ評価値の最大値の位置とすることで、ラフサーチを行うことなく、詳細サーチが可能である。詳細サーチの範囲は、例えば推定被写体距離の位置を中心にして詳細なサーチステップの５回分程度の範囲である。

このように、ＡＦサーチ範囲を限定してはＡＦ制御を行うことにより、ＡＦ制御を高速化することができる。また、被写体が暗い場合や距離が近い場合などの条件が悪い場合においても、ＡＦ制御に要する時間を通常のＡＦ制御に要する時間と同等にし、かつ安定したＡＦ制御を行うことができる。例えば、被写体が暗い場合には、通常の方法ではＡＦ制御に１〜２秒程度の時間を要するが、本実施の形態の方法を用いることでＡＦ制御に要する時間を０．４〜０．６秒程度にまで短縮することができる。また、推定被写体距離に基づいて自動的にマクロ設定に切り替えられるため、ユーザーが近距離撮影用のマクロ設定に切り替えることなく、操作が容易となる。また、合焦制御に要する時間を短縮することで、シャッターチャンスを逃すことなく、操作者の意図に沿った画像を撮影することができる。なお、ＣＰＵ１１０は、必要に応じてＡＦ補助光ランプ２０を発光させて、ＡＦ制御を実行する。

撮影者は、モニタ２８に表示されるスルー画像を見て撮影レンズ１３のピント状態等を確認し、撮影を実行する。すなわち、シャッターボタン２２を全押しする。

シャッターボタン２２が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、上記のＡＥ処理で求めた絞り値、シャッタースピードで撮像素子１２８を露光し、記録用の画像を撮像する。この際、フラッシュ１６を発光させる場合は、フラッシュ発光制御部１５６を介して、プリ発光の結果から求めたフラッシュ１６の発光量に基づいてフラッシュ１６を発光させる。

撮像素子１２８から出力された記録用の画像信号は、画像信号処理部１３２に取り込まれ、ＲＡＭ１１６に格納される。ＲＡＭ１１６に格納された画像信号は、ＣＰＵ１１０の制御の下、画像信号処理部１３２に加えられる。画像信号処理部１３２は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ（ＹＵＶデータ）を生成する。

画像信号処理部１３２で生成された画像データは、一旦ＲＡＭ１１６に格納されたのち、画像記録部１４６に加えられる。画像記録部１４６は、入力された画像データに対して所定の圧縮処理を施し、圧縮画像データを生成する。

圧縮された画像データは、ＲＡＭ１１６に格納され、所定フォーマットの静止画像ファイル（たとえば、Ｅｘｉｆ）として、画像記録部１４６を介してメモリカード１４８に記録される。なお、メモリカード１４８に画像ファイルが保存可能な空き領域が無い場合や、操作者が選択した場合等には、ＲＡＭ１１６に格納された画像データは、所定フォーマットの静止画像ファイル（たとえば、Ｅｘｉｆ）としてＲＯＭ１１４に保存される。なお、ＲＯＭ１１４に画像データを保存する場合には、画像データは複数のクラスタ、通常は連続した複数のクラスタに保存される。

このようにしてメモリカード１４８又はＲＯＭ１１４に記録された画像データは、デジタルカメラ１０のモードを再生モードに設定することにより、モニタ２８に再生表示される。再生モードへの移行は、再生ボタン３２を押下することにより行われる。

再生ボタン３２が押下されると、ＣＰＵ１１０は最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがメモリカード１４８に記録されている場合には、ＣＰＵ１１０は、画像記録部１４６を介してメモリカード１４８に最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがＲＯＭ１１４に記録されている場合には、ＣＰＵ１１０は直接ＲＯＭ１１４から画像ファイルの圧縮画像データが読み取り可能である。

メモリカード１４８又はＲＯＭ１１４から読み出された圧縮画像データは、画像記録部１４６に加えられ、非圧縮の画像データとされたのちバッファメモリ１１８に加えられる。そして、バッファメモリ１１８から表示制御部１５０を介してモニタ２８に出力される。これにより、メモリカード１４８又はＲＯＭ１１４に記録されている画像が、モニタ２８に再生表示される。

画像のコマ送りは、十字ボタン３６の左右のキー操作で行なわれ、右キーが操作されると、次の画像ファイルがメモリカード１６０から読み出され、モニタ２８に再生表示される。また、十字ボタン３６の左キーが操作されると、一つ前の画像ファイルがメモリカード１４８又はＲＯＭ１１４から読み出され、モニタ２８に再生表示される。

モニタ２８に再生表示された画像を確認しながら、必要に応じて、メモリカード１４８又はＲＯＭ１１４に記録された画像を消去することができる。画像の消去は、画像がモニタ２８に再生表示された状態でファンクションボタン３４が押下されることによって行われる。

ファンクションボタン３４が押下されると、ＣＰＵ１１０は表示制御部１５０を介して、モニタ２８に「この写真を消去してよろしいですか」等の画像消去を伝えるメッセージを画像に重ねて表示する。ＭＥＮＵ／ＯＫボタン３８が押下されると、その画像の消去が行われる。画像データがメモリカード１４８に記録されている場合には、ＣＰＵ１１０は画像記録部１４６を介してメモリカード１４８に記録された画像ファイルを消去する。画像データがＲＯＭ１１４に記録されている場合には、ＣＰＵ１１０は直接ＲＯＭ１１４から画像ファイルが消去可能である。

本実施の形態によれば、スルー画像の画像データに基づいて被写体距離を算出するため、算出された測距情報をＡＦ制御やフラッシュの発光制御などの撮影条件の設定に利用することができる。また、既存の機構である手ブレ補正機構を応用して推定被写体距離をさんしゅつすることで、コストをかけることなく測距情報を取得することができる。

また、本実施の形態によれば、算出された被写体距離を用いて、焦点調節範囲を限定した合焦制御を行うことにより、合焦制御に要する時間を短縮することができる。また、合焦制御に要する時間を短縮することで、シャッターチャンスを逃すことなく、操作者の意図に沿った画像を撮影することができる。

また、本実施の形態によれば、算出された被写体距離を用いて、フラッシュの発光量が適切となるような発光制御を行うことにより、適切なフラッシュ撮影を行うことができる。

なお、本実施の形態では、コントラストＡＦを行う場合を例に説明したが、コントラストＡＦに限らず、例えば山登り探索など他のＡＦ制御を行う場合においても適用が可能である。

なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置、携帯音楽プレーヤー、ＰＤＡ等のファームウェアがアップデート可能な電子機器にも同様に適用することができる。

本発明が適用された電子機器（デジタルカメラ）１０の第１の実施の形態の外観構成を示す正面斜視図である。 上記デジタルカメラ１０の第１の実施の形態の外観構成を示す背面斜視図である。 上記デジタルカメラ１０の第１の実施の形態の電気的構成を示すブロック図である。 動き量を算出する方法を説明する図である。 手ブレについて説明する図である。 推定被写体距離を算出する処理の流れを示すフローチャートである。 推定被写体距離を算出する処理のデータの流れを示す機能図である。 回転ブレと動き量との関係を示すグラフである。 シフトブレと動き量との関係を示すグラフである。 推定被写体距離を用いてフラッシュの適性光量を調整する処理の流れを示すフローチャートである。 推定被写体距離を用いてフラッシュの適性光量を調整する処理のデータの流れを示す機能図である。 被写体距離とフラッシュの適正光量との関係を示すグラフである。 推定被写体距離を用いてＡＦサーチ範囲を限定してＡＦを行う処理の流れを示すフローチャートである。 推定被写体距離を用いてＡＦサーチ範囲を限定してＡＦを行う処理のデータの流れを示す機能図である。 限定されたＡＦサーチ範囲を説明する図である。

符号の説明

１０…デジタルカメラ、１１…スロットカバー、１２…カメラボディ、１３…撮影レンズ１、１４…メモリカードスロット、１６…フラッシュ、１８…ＡＦ補助光ランプ、２６…電源ボタン、２８…モニタ、３０…ズームボタン、３２…再生ボタン、３４…ファンクションボタン、３６…十字ボタン、３８…ＭＥＮＵ／ＯＫボタン、４０…ＤＩＳＰ／ＢＡＣＫボタン、１１０…ＣＰＵ、１１４…ＲＯＭ、１１６…ＲＡＭ、１１８…バッファメモリ、１２４…撮影光学系、１２６…絞り／フォーカス／ズーム制御部、１２８…撮像素子、１３０…撮影制御部（タイミングジェネレータ）、１３２…画像信号処理部、１３４…被写体距離算出部、１３６…ＡＥ／ＡＷＢ検出部、１３８…ＡＦ検出部、１４０…手ブレ補正制御部、１４２…フラッシュ制御部、１４４…ＡＦ補助光ランプ制御部、１４６…画像記録部、１４８…メモリカード、１５０…表示制御部、１５２…顔検出部

Claims (9)

1. 撮像装置の撮影光軸と直交する方向のシフト量を検出するシフト量検出手段と、
   撮影光学系により撮像素子に結像された被写体像の画像データを取得する取得手段と、
   前記取得手段により取得された画像データから前記シフト量検出手段によって検出された撮像装置のシフト量に伴う前記撮像素子上の画像の動き量を検出する動き量検出手段と、
   前記動き量検出手段により検出された動き量と、前記シフト量検出手段により検出された撮像装置のシフト量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出する被写体距離算出手段と、
   を備えたことを特徴とする撮像装置。
2. 前記撮像装置の上下、左右方向の回転振れを検出する手ブレ検出手段と、
   前記手ブレ検出手段によって検出された回転振れに基づいて前記撮影光学系の少なくとも一部の光学部材又は前記撮像素子を駆動し、前記撮像装置の手ブレを補正する手ブレ補正手段と、
   前記手ブレ補正手段により前記撮像装置の手ブレが補正された画像データを前記取得手段に取得させる画像データ取得制御手段と、
   を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記手ブレ検出手段は、前記シフト量検出手段を含むことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子により取得された画像データから人物の顔を検出する顔検出手段と、
   前記顔検出手段により人物の顔が検出された領域の画像データを前記取得手段に取得させる画像データ取得制御手段と、
   を備えたことを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. ライブビュー画像の画像データを前記取得手段に取得させる取得制御手段を備えたことを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 撮影光学系を焦点調節範囲にわたって移動させ、該撮影光学系が所定量移動するごとに前記撮像素子から画像信号を出力し、該出力された画像信号から求められる被写体のコントラスト成分に基づいて前記撮影光学系の合焦制御を行う自動合焦制御手段であって、前記被写体距離算出手段により算出された被写体距離に基づいて、前記撮影光学系を移動させる範囲を限定して合焦制御を行う自動合焦制御手段を備えたことを特徴とする請求項１から５のいずれかに記載の撮像装置。
7. フラッシュ光源と、
   前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源の発光を制御する発光制御手段と、
   を備えたことを特徴とする請求項１から６のいずれかに記載の撮像装置。
8. 前記被写体距離算出手段により算出された被写体距離に基づいて前記フラッシュ光源からの光が被写体に届くか否かを判断する判断手段と、
   前記判断手段により前記フラッシュ光源からの光が被写体に届かないと判断された場合に警告を行う警告手段と、
   を備えたことを特徴とする請求項７に記載の撮像装置。
9. 撮像装置の平行移動及び回動の方向及び量を検出するステップと、
   該撮像装置の平行移動及び回動の方向及び量の検出と同期して、撮影光学系により撮像素子に結像された被写体像の画像データを取得するステップと、
   該検出された撮像装置の回動の方向及び量に基づいて、前記取得された画像データから前記撮像装置の回動による影響を除去するステップと、
   前記撮像装置の回動による影響が除去された画像データの平行移動量であって、先行する画像に対する後続の画像の平行移動量を検出するステップと、
   該検出された平行移動量と、前記検出された前記撮像装置の平行移動の方向及び量と、前記撮影光学系の焦点距離とに基づいて、被写体距離を算出するステップと、
   を含むことを特徴とする被写体距離算出方法。

Images