JP2013072988A - 複眼カメラおよびこれを用いた連続自動合焦制御方法、制御プログラム、可読記憶媒体 - Google Patents

Abstract

【課題】単眼モードで連続ＡＦを使用した撮影を行う場合に、ＡＦのレスポンス向上を図ることができて、画質を向上させる。
【解決手段】第１撮像部１１でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、第２撮像部１２のレンズ位置を所定量Ｄだけ前方または後方のいずれかに合焦状態からずらした状態で、第１撮像部１１からのデータ量と第２撮像部１２からのデータ量の相関関係に基づいて、第１撮像部１１のレンズ駆動方向を決定してフォーカス制御を行うフォーカス用データ処理部６１を有している。
【選択図】図１

Description

本発明は、少なくとも左右二つの撮像光学系を有して立体視撮像を可能とする複眼カメラおよびこれを用いた連続自動合焦制御方法、この連続自動合焦制御方法の各工程をコンピュータに実行させるための処理手順が記述された制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体に関する。

この種の従来の複眼カメラは、例えばデジタルカメラなどに適用され、左右二つの撮像光学系のうちの一方の単眼でオートフォーカスＡＦの動作を行い、もう一方の単眼で撮像した画像を表示画面上に表示させている。この表示画面上に表示させるスルー画像用のフォーカスは、一方のＡＦ用単眼でフォーカスが合ったタイミングで、そのＡＦの結果値に従って合わされて、左右二つの撮像光学系が合わされる。このような従来の複眼カメラが特許文献１に開示されている。

図４は、特許文献１に開示されている従来の複眼カメラの要部構成例を示すブロック図である。

図４において、従来の複眼カメラ１００において、制御部としてのＣＰＵ１０１は、操作部１０２からの入力操作に基づいて所定の制御プログラムを実行することにより、複眼カメラ１００の各部を制御する。

複眼カメラ１００は、図示しないＲＯＭを備えており、ＲＯＭにはＣＰＵ１０１が実行する制御プログラムのほか、制御に必要な各種データなどが記録されている。ＣＰＵ１０１は、ＲＯＭに記録された制御プログラムをメインメモリ１０３に読み出し、逐次実行することにより、複眼カメラ１００の各部を制御している。

メインメモリ１０３は、ＲＡＭで構成されており、制御プログラムの実行処理領域として利用される他、画像データなどの一時記憶領域、各種作業領域として利用されている。

操作部１０２は、図示しない電源ボタン、シャッタレリーズボタン、撮影モード／再生モード切替スイッチなどを備え、それぞれの操作指令に応じた信号をＣＰＵ１０１に出力する。例えば、シャッターレリーズボタンは、半押し時にＯＮしてフォーカスロック、測光などの撮影準備を行わせるスイッチと、全押し時にＯＮして画像の取り込みを行わせるスイッチとを有している。

左右二つの撮像光学系のうちの第１撮像光学系は、レンズ１０４、レンズ駆動部１０５、撮像素子１０６および撮像素子駆動部１０７を備えている。レンズ１０４は、図示しないズームレンズ、フォーカスレンズ、絞りおよびメカシャッタなどを含み、レンズ駆動部１０５により駆動されて、ズーミング、フォーカシング、絞りの開口量（Ｆ値）変更およびメカシャッタの開閉動作を行うようになっている。

撮像素子１０６は、レンズ１０４の後段側に配置され、レンズ１０４を透過した被写体光を受光して被写体光を撮像する。撮像素子１０６の受光面には図示しない多数の受光部が二次元状に行列方向に並んでマトリクス状に配列されており、各受光部に対応して図示しない赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換されて蓄積される。

各受光部に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この撮像信号を撮像素子駆動部１０７から供給されるクロックに同期して、１ラインずつ垂直転送方向に転送する。その後、１ライン分の各撮像信号を、撮像素子駆動部１０７から供給されるクロックに同期して撮像信号処理部１０８に出力する。

第２撮像光学系についても、第１撮像光学系の場合と同様の構成となっている。レンズ１０４を透過した被写体光は、撮像素子１０６の各受光部によって電気信号に変換され、撮像信号処理部１０８に出力される。

なお、表示部１０９の表示画面上に表示されるスルー画像は、第２撮像光学系において撮像された撮像信号が用いられる。従来の複眼カメラ１００が撮影モードにセットされると、表示部１０９にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると一旦停止され、本撮影が終了すると再度開始される。また、本撮影終了時には、一定時間、表示部１０９に本撮影された撮影画像が表示される（ポストビュー）。ユーザは、ポストビューを確認することにより、撮影画像が適切に撮影できたか否かを確認することができるようになっている。

撮像信号処理部１０８は、図示しない相関二重サンプリング回路（ＣＤＳ）、クランプ処理回路、自動ゲインコントロール回路（ＡＧＣ）およびＡ／Ｄ変換器を含んで構成されている。

ＣＤＳは、各撮像素子１０６からの各撮像信号に含まれているノイズの除去を行う。クランプ処理回路は、暗電流成分を除去する処理を行う。さらに、ＡＧＣは、暗電流成分が除去された撮像信号を、設定された撮影感度（ＩＳＯ感度）に応じた所定のゲインで増幅する。所要の信号処理が施されたアナログの撮像信号は、Ａ／Ｄ変換器において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるＲＡＷデータであり、画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を有している。このデジタルの画像信号は、データバス１１０、メモリ制御部１１１を介してメインメモリ１０３に格納される。

データバス１１０および制御バス１１２には、メモリ制御部１１１の他、デジタル信号処理部１１３、圧縮伸張処理部１１４、積算部１１５、外部メモリ制御部１１６、表示制御部１１７およびＡＦ処理部１１８などの各処理部が接続されており、これらは制御バス１１２の制御信号に基づいて、データバス１１０を介して互いに情報を送受信できるように為されている。

デジタル信号処理部１１３は、メインメモリ１０３に格納されたＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

圧縮伸張処理部１１４は、ＣＰＵ１０１からの圧縮指令に従って、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（例えばＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１０１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

積算部１１５は、ＣＰＵ１０１の指令に従い、メインメモリ１０３に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な積算値を算出する。ＣＰＵ１０１は、積算値から輝度値を算出し、その算出した輝度値から露出値を求める。また、露出値から所定のプログラム線図に従って、絞り値およびシャッタースピードを決定する。

外部メモリ制御部１１６は、ＣＰＵ１０１からの指令に従い、記録媒体１１９に対してデータの読み／書きを制御する。なお、記録媒体１１９は、メモリカードのように複眼カメラ１００の本体に対して着脱自在なものであってもよいし、複眼カメラ１００の本体に内蔵されたものであってもよい。記録媒体１１９を着脱自在とする場合は、複眼カメラ１００の本体にカードスロットを設け、このカードスロットに記録媒体１１９を装填して使用する。

表示制御部１１７は、ＣＰＵ１０１からの指令に従い、表示部１０９への表示を制御する。表示部１０９は、動画（スルー画像）を表示して電子ビューファインダとして使用できると共に、撮影した記録前の画像（ポストビュー画像）や記録媒体１１９から読み出した再生画像などを表示することができる液晶モニタである。表示部１０９には、第１撮像光学系と第２撮像光学系において同時に撮像した左右の画像を、時分割で交互に指向性を持たせて表示させることができ、このように表示することにより、ユーザに画像を立体視させることも可能になっている。また、表示部１０９は、タッチパネルを用いたユーザインターフェース用表示画面としても利用できる。さらに、左右二つの撮像光学系のうちの一方の単眼でオートフォーカスＡＦの動作を行い、表示制御部１１７は、もう一方の単眼で撮像した画像を表示部１０９の表示画面上に表示させることもできる。

ＡＦ処理部１１８は、ＣＰＵ１０１の指令に従い、ＡＦ処理時に、左右二つの撮像光学系のうちの一方の単眼でＡＦ用のレンズ動作を行ってメインメモリ１０３に格納されたＡＦ用の第１撮像光学系の画像信号に基づいて、ＡＦ（Automatic Focus）制御に必要な焦点評価値を算出する。ＡＦ処理部１１８は、撮影画面内の主要被写体をフォーカス領域として抽出する主要被写体抽出部、フォーカス領域内の信号を切り出すフォーカス領域抽出部、および、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてＣＰＵ１０１に出力する。ＣＰＵ１０１は、ＡＦ制御時、このＡＦ処理部１１８から出力される焦点評価値が極大となる位置をサーチし、その極大位置に第１撮像光学系のレンズ１０４および第２撮像光学系のレンズ１０４を移動させることにより、主要被写体への焦点合わせを行っている。

このように、従来の複眼カメラ１００では、第１撮像光学系の画像信号から算出された焦点評価値に基づいて、第２撮像光学系のレンズ１０４における図示しないフォーカスレンズを移動させて、レンズ１０４の焦点合わせを行っている。

特開２０１０−１３４２９１号公報

特許文献１に開示されている上記従来の複眼カメラ１００では、図５に示すように、ＡＦ時にレンズ１０４が移動する際の画像はスルー画像として見せないで済むものの、結局、単眼でＡＦ処理を行っているものと動作は変わらず、連続ＡＦをする場合には、以下のような問題が生じてしまう。なお、図４と図５の対応関係について、図４のレンズ駆動部１０５は図５のレンズ駆動用モータ１０５ａとモータ制御部１０５ｂからなり、図４のＡＦ処理部１１８とＣＰＵ１０１が図５のフォーカス用データ処理部１２１に対応している。図５の信号処理部１２０は、図４のＣＰＵ１０１、撮像信号処理部１０８、メモリ制御部１１１、デジタル信号処理部１１３、圧縮伸張処理部１１４、積算部１１５、表示制御部１１７およびＡＦ処理部１１８に対応している。

まず、ＡＦ処理は一度合焦させた状態のフォーカス用データ量（ピーク値）を基準とし、その後のデータ量の変化を検出した場合にフォーカスのズレが発生したと判断せざるを得ない。このため、フォーカスは合っているが、被写体が大きく変化したような場合などには、データ量が変化してしまい、フォーカスにズレが発生したと誤認識して、再度レンズ位置をスイープしてフォーカスを合わせ直す必要があった。

次に、本当にフォーカスにズレが発生した場合には、データ量が減少するが、被写体が遠近のどちらにズレたのかまでは判断できず、再度レンズ位置をスイープしてフォーカスを合わせ直す必要が生じる。このため、ＡＦ結果を画像スルー用のフォーカス位置に反映するまでの大きなタイムラグがあった。

本発明は、上記従来の問題を解決するもので、単眼モードで連続ＡＦを使用した撮影を行う場合に、ＡＦのレスポンス向上を図ることができて、画質を向上させることができる複眼カメラおよびこれを用いた連続自動合焦制御方法、この連続自動合焦制御方法の各工程をコンピュータに実行させるための処理手順が記述された制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体を提供することを目的とする。

本発明の複眼カメラは、少なくとも二つの第１撮像部および第２撮像部を有した複眼カメラにおいて、該第１撮像部でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、該第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態からずらした状態で、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係に基づいて、該第１撮像部のレンズ駆動方向を決定してフォーカス制御を行うかまたは、該フォーカス制御を行わないフォーカス用データ処理部を有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の複眼カメラにおけるフォーカス用データ処理部は、前記第１撮像部からの所定被写体領域のデータ量が変化したかどうかを検知するデータ量変化検知手段と、該データ量変化検知手段でデータ量が変化したと検知したときに、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係を検知するデータ量相関検知手段と、該データ量相関検知手段が検知した相関関係から該第１撮像部のレンズ駆動方向を決定するレンズ駆動方向判定手段とを有する。

さらに、好ましくは、本発明の複眼カメラにおけるフォーカス用データ処理部は、前記第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態から所定量だけずらすようにレンズ駆動制御部に制御信号を出力してレンズ駆動部材により該レンズ位置を移動させるオフセット手段をさらに有する。

さらに、好ましくは、本発明の複眼カメラにおけるフォーカス用データ処理部は、前記レンズ駆動方向判定手段で決定したレンズ駆動方向にレンズ位置を順次移動させて焦点評価値が極大となる位置をサーチし、その極大位置を合焦位置とするＡＦ処理手段を有する。

さらに、好ましくは、本発明の複眼カメラにおけるデータ量相関検知手段が、前記データ量の相関関係として、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量が増加したことを検知した場合に、前記レンズ駆動方向判定手段が、該第２撮像部でレンズ位置をずらした方向と同じ方向にレンズ駆動方向を決定する。

さらに、好ましくは、本発明の複眼カメラにおけるデータ量相関検知手段が、前記データ量の相関関係として、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量も減少したことを検知した場合に、前記レンズ駆動方向判定手段が、該第２撮像部でレンズ位置をずらした方向とは逆方向にレンズ駆動方向を決定する。

さらに、好ましくは、本発明の複眼カメラにおけるデータ量相関検知手段が、前記データ量の相関関係として、前記第１撮像部のデータ量と前記第２撮像部のデータ量とが同じ割合で変化したことを検知した場合に、該データ量相関検知手段は焦点がずれていないと判断して、前記レンズ駆動方向判定手段によるレンズ駆動方向決定処理を行わず、前記データ量変化検知手段によるデータ量変化検知処理に戻る。

本発明の連続自動合焦制御方法は、少なくとも二つの第１撮像部および第２撮像部を有した複眼カメラを用いた連続自動合焦制御方法において、フォーカス用データ処理部が、該第１撮像部でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、該第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態からずらした状態で、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係に基づいて、該第１撮像部のレンズ駆動方向を決定してフォーカス制御を行うかまたは、該フォーカス制御を行わないフォーカス用データ処理工程を有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の連続自動合焦制御方法におけるフォーカス用データ処理工程は、データ量変化検知手段が、前記第１撮像部からの所定被写体領域のデータ量が変化したかどうかを検知するデータ量変化検知工程と、データ量相関検知手段が、該データ量変化検知工程でデータ量が変化したと検知したときに、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係を検知するデータ量相関検知工程と、レンズ駆動方向判定手段が、該データ量相関検知工程で検知した相関関係から該第１撮像部のレンズ駆動方向を決定するレンズ駆動方向判定工程とを有する。

さらに、好ましくは、本発明の連続自動合焦制御方法におけるフォーカス用データ処理工程は、オフセット手段が、前記第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態から所定量だけずらすようにレンズ駆動制御部に制御信号を出力してレンズ駆動部材により該レンズ位置を移動させるオフセット工程をさらに有する。

さらに、好ましくは、本発明の連続自動合焦制御方法におけるフォーカス用データ処理工程は、ＡＦ処理手段が、前記レンズ駆動方向判定工程で決定したレンズ駆動方向にレンズ位置を順次移動させて焦点評価値が極大となる位置をサーチし、その極大位置を合焦位置とするＡＦ処理工程を有する。

さらに、好ましくは、本発明の連続自動合焦制御方法におけるデータ量相関検知工程は、前記データ量の相関関係として、前記データ量相関検知手段が、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量が増加したことを検知した場合に、前記レンズ駆動方向判定工程は、前記レンズ駆動方向判定手段が該第２撮像部でレンズ位置をずらした方向と同じ方向にレンズ駆動方向を決定する。

さらに、好ましくは、本発明の連続自動合焦制御方法におけるデータ量相関検知工程は、前記データ量の相関関係として、前記データ量相関検知手段が、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量も減少したことを検知した場合に、前記レンズ駆動方向判定工程は、前記レンズ駆動方向判定手段が該第２撮像部でレンズ位置をずらした方向とは逆方向にレンズ駆動方向を決定する。

さらに、好ましくは、本発明の連続自動合焦制御方法におけるデータ量相関検知工程は、前記データ量の相関関係として、前記データ量相関検知手段が、前記第１撮像部のデータ量と前記第２撮像部のデータ量とが同じ割合で変化したことを検知した場合に、該データ量相関検知手段は焦点がずれていないと判断して、前記レンズ駆動方向判定手段によるレンズ駆動方向決定処理を行わず、前記データ量変化検知手段によるデータ量変化検知処理に戻る。

本発明の制御プログラムは、本発明の上記連続自動合焦制御方法の各工程をコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。

本発明の可読記憶媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明においては、少なくとも二つの第１撮像部および第２撮像部を有した複眼カメラにおいて、第１撮像部でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態からずらした状態で、第１撮像部からのデータ量と第２撮像部からのデータ量の相関関係に基づいて、第１撮像部のレンズ駆動方向を決定してフォーカス制御を行うかまたは、フォーカス制御を行わないフォーカス用データ処理部を有する。

これによって、連続ＡＦ時にレンズ駆動方向を決定してフォーカス制御を行うかまたは、フォーカス制御を行わないことから、不必要なレンズ走査を減らせるので、単眼モードで連続ＡＦを使用した撮影を行う場合に、ＡＦのレスポンス向上を図ることが可能となって、画質を向上させることが可能となる。

以上により、本発明によれば、連続ＡＦ時にレンズ駆動方向を決定してフォーカス制御を行うかまたは、フォーカス制御を行わないことから、不必要なレンズ走査を減らせるため、単眼モードで連続ＡＦを使用した撮影を行う場合に、ＡＦのレスポンス向上（ＡＦ合焦スピードの向上）を図ることができて、画質を向上させることができる。また、ピンボケフレームの減少につながる。

本発明の実施形態１における複眼カメラの要部構成例を示すブロック図であって、（ａ）は、複眼で立体画像を得る場合のＡＦ処理を説明するためのブロック図、（ｂ）は、単眼で画像を得る場合のＡＦ処理を説明するためのブロック図である。 図１の複眼カメラにおけるフォーカス用データ処理部の要部構成例を示すブロック図である。 図１の複眼カメラを単眼で使用する場合のＡＦ処理について説明するためのフローチャートである。 特許文献１に開示されている従来の複眼カメラの要部構成例を示すブロック図である。 図４の従来の複眼カメラにおけるＡＦ処理を説明するためのブロック図である。

以下に、本発明の複眼カメラの実施形態１について図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本発明の実施形態１における複眼カメラの要部構成例を示すブロック図であって、（ａ）は、複眼で立体画像を得る場合のＡＦ処理を説明するためのブロック図、（ｂ）は、単眼で画像を得る場合のＡＦ処理を説明するためのブロック図である。

図１（ａ）および図１（ｂ）において、本実施形態１の複眼カメラ１は、少なくとも左右二つの第１撮像部１１および第２撮像部１２を有し、これらの第１撮像部１１および第２撮像部１２はそれぞれ、レンズ２と、レンズ２の位置を移動させるレンズ駆動用モータ３と、レンズ駆動用モータ３の駆動方向および駆動量を制御するモータ制御部４と、レンズ２の後段側に配置され、レンズ２を透過した被写体光を受光して被写体光を撮像する撮像素子５と、撮像素子５からの各撮像信号を各種信号処理してカラー画像信号を得る信号処理部６とを有している。

レンズ２は、図示しないズームレンズやフォーカスレンズの他に、絞りおよびメカシャッタなども含まれている。

撮像素子５は、レンズ２の後段側に配置され、レンズ２を透過した被写体光を受光して被写体光を撮像する。撮像素子５の受光面には図示しない多数の受光部が二次元状に行列方向に並んでマトリクス状に配列されており、各受光部に対応して図示しない赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の色配列、例えばベイヤ配列で配置されている。

信号処理部６は、相関二重サンプリング回路（ＣＤＳ）、クランプ処理回路、自動ゲインコントロール回路（ＡＧＣ）およびＡ／Ｄ変換器を含むアナログ信号処理部と、アナログ信号処理部の後段に設けられ、カラー画像信号を得るための色補間、ホワイトバランスおよびγ補正などのデジタル信号処理部と、アナログ信号処理部の後段に設けられ、圧縮伸張処理部、積算部および外部メモリ制御部と、アナログ信号処理部の後段に設けられ、連続してフォーカ制御を行うスフォーカス用データ処理部６１と、アナログ信号処理部の後段に設けられ、画像メモリに画像信号を記憶させたり読み出したりするメモリ制御部６２と、アナログ信号処理部の後段に設けられ、表示部の表示画面上に画像信号を表示制御する表示制御部６３との各処理部を有している。

フォーカス用データ処理部６１は、複眼で立体画像を得る場合には、図１（ａ）に示すように、第１撮像部１１および第２撮像部１２それぞれ個別に連続合焦制御を行う。即ち、第１撮像部１１および第２撮像部１２の各信号処理部６におけるフォーカス用データ処理部６１がそれぞれ、モータ制御部４をパルス制御してレンズ駆動用モータ３によりレンズ２を順次移動させ、このときの撮像素子５で撮像された画像信号から合焦位置を求める連続合焦制御を行う。また、フォーカス用データ処理部６１は、単眼で画像を得る場合には、図１（ｂ）に示すように、第１撮像部１１でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、第２撮像部１２のレンズ位置を所定量Ｄだけ前方または後方のいずれかに合焦状態からずらした状態で、第１撮像部１１から得られたデータ量と、第２撮像部１２から得られたデータ量との相関関係に基づいて、第１撮像部１１のレンズ駆動方向を決定してデータ量の最も多いレンズ位置を焦点とするフォーカス制御を行う。

即ち、本実施形態１の複眼カメラ１を用いた連続合焦制御処理において、図１（ｂ）に示すように、複眼カメラ１を単眼カメラとして使用（ここでは第１撮像部１１を使用）し、かつ連続ＡＦによる撮影を行う場合に、使用しない側の第２撮像部１２のレンズ位置を、使用する側のフォーカスを合わせた第１撮像部１１のレンズ位置と同じ第２撮像部１２の合焦状態のレンズ位置から所定量Ｄだけ前方または後方にずらしたレンズ位置にセットし、それぞれのフォーカス用データ量を比較することにより、画像を撮影して表示している第１撮像部１１が連続ＡＦ処理で次に合焦のためにレンズ２の移動方向を容易に予測することができるため、従来のように不要な方向にレンズ２を移動させる必要がなくなってフォーカス合わせの時間を大幅に短縮させることができるようになっている。

また、本実施形態１の複眼カメラ１を用いた連続合焦制御処理において、図１（ｂ）に示すように、連続ＡＦを使用して単眼撮影するメインカメラ（ここでは第１撮像部１１を使用）以外の第２撮像部１２を補助的に利用し、メインカメラ（ここでは第１撮像部１１を使用）の合焦ポイント(１回目は従来方式で合焦させる)よりも意図的に所定量Ｄだけ遠側または近側（前方または後方）に焦点をずらすようにレンズ位置を移動制御し、両カメラ（第１撮像部１１および第２撮像部１２）のフォーカス用データ量を各信号処理部６のフォーカス用データ処理部６１にてモニタリングする。両方のデータ量の相関を取ることで、焦点のズレ発生の真偽とズレ方向の予測を行うことができるようになっている。

ここで、図１（ｂ）および図２を用いて本実施形態１の複眼カメラ１およびこれを用いた連続自動合焦制御方法についてさらに詳細に説明する。

第１撮像部１１のフォーカス用データ処理部６１は、ＣＰＵ（中央演算処理装置）で構成され、起動時にＲＯＭ６１６内からＲＡＭ６１７内に読み出された制御プログラムおよびこれに用いる各種データに基づいて、所定被写体領域としての例えば人の顔などフォーカス領域内の絶対値データを積算して焦点評価値（コントラストが高いほどデータ量が多くなり、データ量に応じた値）を得、モータ制御部４を制御してレンズ駆動用モータ３によりレンズ位置を順次移動させてこの焦点評価値が極大となる位置をサーチし、その極大位置（合焦位置）にモータ制御部４およびレンズ駆動用モータ３によりレンズ２を移動させるＡＦ処理手段６１１と、第２撮像部１２のレンズ位置を所定量Ｄだけ前方または後方のいずれかに合焦状態から所定量Ｄだけずらすようにレンズ駆動制御部に制御信号を出力してレンズ駆動部材によりレンズ位置を移動させるオフセット手段６１２と、第１撮像部１１からの所定被写体領域のデータ量が変化したかどうかを検知するデータ量変化検知手段６１３と、データ量変化検知手段６１３がデータ量が変化したと検知したときに、第１撮像部１１からのデータ量と第２撮像部１２からのデータ量の相関関係を検知するデータ量相関検知手段６１４と、データ量相関検知手段６１４が検知した相関関係から第１撮像部１１のレンズ駆動方向を決定するレンズ駆動方向判定手段６１５とを有し、ＡＦ処理手段６１１は、レンズ駆動方向判定手段６１５で決定したレンズ駆動方向にレンズ位置を順次移動させて焦点評価値が極大となる位置をサーチし、その極大位置を合焦位置とする。

データ量相関検知手段６１４が、データ量の相関関係として、第１撮像部１１のデータ量が減少し、第２撮像部１２のデータ量が増加したことを検知した場合に、レンズ駆動方向判定手段６１５が、第２撮像部１２でレンズ位置を所定量Ｄだけずらした方向と同じ方向にレンズ駆動方向を決定する。

また、データ量相関検知手段６１４が、データ量の相関関係として、第１撮像部１１のデータ量が減少し、第２撮像部１２のデータ量も減少したことを検知した場合に、レンズ駆動方向判定手段６１５が、第２撮像部１２でレンズ位置を所定量Ｄだけずらした方向とは逆方向にレンズ駆動方向を決定する。

さらに、データ量相関検知手段６１４が、データ量の相関関係として、第１撮像部１１のデータ量と第２撮像部１２のデータ量とが同じ割合で変化したことを検知した場合に、データ量相関検知手段６１４は焦点がずれていないと判断して、レンズ駆動方向判定手段６１５によるレンズ駆動方向決定処理を行わず、データ量変化検知手段６１３によるデータ量変化検知処理に戻るように制御が為される。

この複眼カメラ１を用いた連続自動合焦制御方法は、ＲＡＭ６１７内の制御プログラムおよびこれに用いる各種データに基づいて、ＡＦ処理手段６１１が、所定被写体領域としての例えば人の顔などフォーカス領域内の絶対値データを積算して焦点評価値を得、モータ制御部４を制御してレンズ駆動用モータ３によりレンズ位置を順次移動させてこの焦点評価値が極大となる位置をサーチし、その極大位置（合焦位置）にモータ制御部４およびレンズ駆動用モータ３によりレンズ２を移動させるＡＦ処理工程と、オフセット手段６１２が、第２撮像部１２のレンズ位置を所定量Ｄだけ前方または後方のいずれかに合焦状態から所定量Ｄだけずらすようにレンズ駆動制御部に制御信号を出力してレンズ駆動部材によりレンズ位置を移動させるオフセット工程と、データ量変化検知手段６１３が、第１撮像部１１からの所定被写体領域のデータ量が変化したかどうかを検知するデータ量変化検知工程と、データ量相関検知手段６１４が、データ量変化検知手段６１３がデータ量が変化したと検知したときに、第１撮像部１１からのデータ量と第２撮像部１２からのデータ量の相関関係を検知するデータ量相関検知工程と、レンズ駆動方向判定手段６１５が、データ量相関検知手段６１４で検知した相関関係から第１撮像部１１のレンズ駆動方向を決定するレンズ駆動方向判定工程と、ＡＦ処理手段６１１が、レンズ駆動方向判定手段６１５で決定したレンズ駆動方向にレンズ位置を順次移動させて焦点評価値が極大となる位置をサーチし、その極大位置を合焦位置とするＡＦ処理工程とを有している。

データ量相関検知工程は、データ量の相関関係として、データ量相関検知手段６１４が第１撮像部１１のデータ量が減少し、第２撮像部１２のデータ量が増加したことを検知した場合に、レンズ駆動方向判定工程は、レンズ駆動方向判定手段６１５が第２撮像部１２でレンズ位置を所定量Ｄだけずらした方向と同じ方向にレンズ駆動方向を決定する。

また、データ量相関検知工程は、データ量の相関関係として、データ量相関検知手段６１４が、第１撮像部１１のデータ量が減少し、第２撮像部１２のデータ量も減少したことを検知した場合に、レンズ駆動方向判定工程は、レンズ駆動方向判定手段６１５が第２撮像部１２でレンズ位置を所定量Ｄだけずらした方向とは逆方向にレンズ駆動方向を決定する。

さらに、データ量相関検知工程は、データ量の相関関係として、データ量相関検知手段６１４が第１撮像部１１のデータ量と第２撮像部１２のデータ量とが同じ割合で変化したことを検知した場合に、データ量相関検知手段６１４は焦点がずれていないと判断して、レンズ駆動方向判定手段６１５によるレンズ駆動方向決定処理を行わず、データ量変化検知手段６１３によるデータ量変化検知処理に戻る。

上記構成により、以下、その複眼カメラ１の連続自動合焦動作について説明する。

図３は、図１の複眼カメラ１を単眼で使用する場合のＡＦ処理について説明するためのフローチャートである。

図３に示すように、まず、ステップＳ１で第１撮像部１１のＡＦ処理手段６１１がＡＦ処理を行って、人の顔などフォーカス領域内の絶対値データを積算して焦点評価値（コントラストが高いほどデータ量が多くなり、データ量に応じた値）を得、この焦点評価値が極大となる位置をサーチし、その極大位置に、第１撮像部１１および第２撮像部１２の各モータ制御部４および各レンズ駆動用モータ３によりレンズ２を移動させて焦点が合った撮像を行う。この撮像信号を信号処理部６にて各種信号処理をして得たカラー画像信号を、メモリ制御部６２を介して図示しない画像メモリに記憶させると共に、表示制御部６３を介して図示しない表示部の表示画面上に表示制御する。

次に、ステップＳ２でオフセット手段６１２がオフセット処理を行う。即ち、第２撮像部１２のレンズ２の位置を前方かまたは後方の所定方向に所定量Ｄだけ意図的に移動させてレンズ位置をずらす。

続いて、ステップＳ３でデータ量変化検知手段６１３がデータ量が変化したかどうかによりＡＦ（オートフォーカス）が外れたかどうかを判定する。ＡＦが外れるまでステップＳ３のデータ量変化判定処理を繰り返す。ステップＳ３でデータ量が変化した場合（ＹＥＳ）には、次のステップＳ４のデータ量の相関検知処理に移行する。なお、どの程度、データ量が変化したらＡＦが外れると判定するかは、予め実験により適正値を決めておく。

その後、ステップＳ３でデータ量が変化した場合（ＹＥＳ）に、ステップＳ４でデータ量相関検知手段６１４がデータ量の相関を見てデータ量の相関検知処理を行い、相関検知処理結果に応じて、ステップＳ５でレンズ駆動方向判定手段６１５がデータ量相関検知手段６１４で検知した相関関係からＡＦ処理用の第１撮像部１１のレンズ駆動方向を決定する。

即ち、データ量相関検知手段６１４は、データ量の相関関係として、第１撮像部１１のＡＦ処理手段６１１によるデータ量が減少し、第２撮像部１２のＡＦ処理手段６１１によるデータ量が増加した場合には、レンズ駆動方向判定手段６１５が第２撮像部１２でレンズ２をずらした方向と同じ方向にレンズ駆動方向を決定し、第１撮像部１１のレンズ２を第１撮像部１１のモータ制御部４およびレンズ駆動用モータ３によりその決定したレンズ駆動方向で焦点評価値（データ量）が極大となる位置に移動させて焦点が合った撮像を行う。

また、データ量相関検知手段６１４は、データ量の相関関係として、第１撮像部１１のＡＦ処理手段６１１によるデータ量が減少し、第２撮像部１２のＡＦ処理手段６１１によるデータ量も減少した場合には、レンズ駆動方向判定手段６１５が第２撮像部１２でレンズ２をずらした方向とは逆方向にレンズ駆動方向を決定し、第１撮像部１１のレンズ２を第１撮像部１１のモータ制御部４およびレンズ駆動用モータ３によりその決定したレンズ駆動方向で焦点評価値（データ量）が極大となる位置に移動させて焦点が合った撮像を行う。

さらに、データ量の相関関係として、第１撮像部１１のＡＦ処理手段６１１によるデータ量と、第２撮像部１２のＡＦ処理手段６１１によるデータ量とが同じ割合で変化（増加または減少）した場合には、データ量相関検知手段６１４はピントがずれていないと判断して、レンズ駆動方向判定手段６１５によるレンズ駆動方向決定処理を行わず、データ量変化検知手段６１３によるデータ量変化検知処理に戻る。例えば人の顔などフォーカス領域が変化してその面積が増えた場合には、ピントはあっていてもデータ量は増加する。また逆に、フォーカス領域が変化してその面積が減少した場合には、ピントはあっていてもデータ量は減少する。これらの場合、データ量とが同じ割合で変化（増加または減少）する。

以上により、本実施形態１によれば、第１撮像部１１でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、第２撮像部１２のレンズ位置を所定量Ｄだけ前方または後方のいずれかに合焦状態からずらした状態で、第１撮像部１１からのデータ量と第２撮像部１２からのデータ量の相関関係に基づいて、第１撮像部１１のレンズ駆動方向を決定してフォーカス制御を行うフォーカス用データ処理部６１を有している。

これによって、本実施形態１の複眼カメラ１を用いた連続自動合焦制御方法において、画像表示用のメインカメラ（第１撮像部１１）でＡＦを行うのと同時に画像表示用のカメラのピント位置に対して、意図的にピントをずらせた位置にレンズ位置を合わせた補助用カメラ（第２撮像部１２）でも撮像を行っている。メイン・サブ両方のフォーカス用データ量をモニタリングし、相関を取ることにより、フォーカスのズレの発生の真偽とズレが発生したと見なした場合、フォーカスがズレた方向を予測することが可能となり、最短でフォーカスの合焦を行うことができる。このように、単眼モードで連続ＡＦを使用した撮影を行う場合に、ＡＦのレスポンス向上を図ることができて、画質を向上させることができる。

要するに、連続ＡＦにおいて、ＡＦが外れた場合に、次に移動させるべきレンズ２の遠近方向（手前側または前方側の移動）が予測できる。逆方向にレンズ２をスイープしなくて済むので、合焦までの時間が短くできて、ＡＦのレスポンス向上を図ることができる。また、逆方向にレンズ２をスイープしなくて済むので、合焦までの不要なピンボケフレームを削減できて画質を向上させることができる。さらに、被写体がフォーカス領域から外れてしまったなどによって、フォーカス用データ量に変化があった場合でも、それぞれのカメラ（第１撮像部１１および第２撮像部１２）のデータ量の変化の相関を見て再合焦するべきかどうかをも判断することができる。

さらに、本実施形態１の複眼カメラ１における連続自動合焦制御方法は、複眼カメラ１を単眼カメラとして使用する場合の一使用モードにおいて、システム構成を変更することなく、制御方法の変更のみで、画質劣化を抑制した画像を提供することが可能であり、複眼を備えた３Ｄカメラなどに応用が期待される。

なお、本実施形態１において、それぞれはレンズ２を通した光を撮像素子５によって光電変換を行い、映像として表示できるように信号処理を行っている。信号処理中にはフォーカスを調整するためのフォーカス用データ処理部６１があり、そのデータを処理し、モータ制御部４およびレンズ駆動用モータ３を介してレンズ位置にフィードバックを行う。図１ではシステム内部で処理が完結しているが、フォーカス用データをシステム外に出力し、外部で判断を行い、モータを制御する方式であってもよい。

以上のように、本発明の好ましい実施形態１を用いて本発明を例示してきたが、本発明は、この実施形態１に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜３の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、少なくとも左右二つの撮像光学系を有して立体視撮像を可能とする複眼カメラおよびこれを用いた連続自動合焦制御方法、この連続自動合焦制御方法の各工程をコンピュータに実行させるための処理手順が記述された制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体の分野において、単眼モードで連続ＡＦを使用した撮影を行う場合に、ＡＦのレスポンス向上を図ることができて、画質を向上させることができる。

１ 複眼カメラ
１１ 第１撮像部
１２ 第２撮像部
２ レンズ
３ レンズ駆動用モータ（レンズ駆動部材）
４ モータ制御部（レンズ駆動制御部）
５ 撮像素子
６ 信号処理部
６１ フォーカス用データ処理部
６１１ ＡＦ処理手段
６１２ オフセット手段
６１３ データ量変化検知手段
６１４ データ量相関検知手段
６１５ レンズ駆動方向判定手段
６２ メモリ制御部
６３ 表示制御部
Ｄ 所定量

Claims (16)

1. 少なくとも二つの第１撮像部および第２撮像部を有した複眼カメラにおいて、
   該第１撮像部でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、該第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態からずらした状態で、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係に基づいて、該第１撮像部のレンズ駆動方向を決定してフォーカス制御を行うかまたは、該フォーカス制御を行わないフォーカス用データ処理部を有する複眼カメラ。
2. 前記フォーカス用データ処理部は、前記第１撮像部からの所定被写体領域のデータ量が変化したかどうかを検知するデータ量変化検知手段と、該データ量変化検知手段でデータ量が変化したと検知したときに、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係を検知するデータ量相関検知手段と、該データ量相関検知手段が検知した相関関係から該第１撮像部のレンズ駆動方向を決定するレンズ駆動方向判定手段とを有する請求項１に記載の複眼カメラ。
3. 前記フォーカス用データ処理部は、前記第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態から所定量だけずらすようにレンズ駆動制御部に制御信号を出力してレンズ駆動部材により該レンズ位置を移動させるオフセット手段をさらに有する請求項１または２に記載の複眼カメラ。
4. 前記フォーカス用データ処理部は、前記レンズ駆動方向判定手段で決定したレンズ駆動方向にレンズ位置を順次移動させて焦点評価値が極大となる位置をサーチし、その極大位置を合焦位置とするＡＦ処理手段を有する請求項２に記載の複眼カメラ。
5. 前記データ量相関検知手段が、前記データ量の相関関係として、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量が増加したことを検知した場合に、前記レンズ駆動方向判定手段が、該第２撮像部でレンズ位置をずらした方向と同じ方向にレンズ駆動方向を決定する請求項２に記載の複眼カメラ。
6. 前記データ量相関検知手段が、前記データ量の相関関係として、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量も減少したことを検知した場合に、前記レンズ駆動方向判定手段が、該第２撮像部でレンズ位置をずらした方向とは逆方向にレンズ駆動方向を決定する請求項２に記載の複眼カメラ。
7. 前記データ量相関検知手段が、前記データ量の相関関係として、前記第１撮像部のデータ量と前記第２撮像部のデータ量とが同じ割合で変化したことを検知した場合に、該データ量相関検知手段は焦点がずれていないと判断して、前記レンズ駆動方向判定手段によるレンズ駆動方向決定処理を行わず、前記データ量変化検知手段によるデータ量変化検知処理に戻る請求項２に記載の複眼カメラ。
8. 少なくとも二つの第１撮像部および第２撮像部を有した複眼カメラを用いた連続自動合焦制御方法において、
   フォーカス用データ処理部が、該第１撮像部でフォーカス制御を行って合焦させた時点から連続的に合焦させる際に、該第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態からずらした状態で、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係に基づいて、該第１撮像部のレンズ駆動方向を決定してフォーカス制御を行うかまたは、該フォーカス制御を行わないフォーカス用データ処理工程を有する連続自動合焦制御方法。
9. 前記フォーカス用データ処理工程は、データ量変化検知手段が、前記第１撮像部からの所定被写体領域のデータ量が変化したかどうかを検知するデータ量変化検知工程と、データ量相関検知手段が、該データ量変化検知工程でデータ量が変化したと検知したときに、該第１撮像部からのデータ量と該第２撮像部からのデータ量の相関関係を検知するデータ量相関検知工程と、レンズ駆動方向判定手段が、該データ量相関検知工程で検知した相関関係から該第１撮像部のレンズ駆動方向を決定するレンズ駆動方向判定工程とを有する請求項８に記載の連続自動合焦制御方法。
10. 前記フォーカス用データ処理工程は、オフセット手段が、前記第２撮像部のレンズ位置を所定量だけ前方または後方のいずれかに合焦状態から所定量だけずらすようにレンズ駆動制御部に制御信号を出力してレンズ駆動部材により該レンズ位置を移動させるオフセット工程をさらに有する請求項８または９に記載の連続自動合焦制御方法。
11. 前記フォーカス用データ処理工程は、ＡＦ処理手段が、前記レンズ駆動方向判定工程で決定したレンズ駆動方向にレンズ位置を順次移動させて焦点評価値が極大となる位置をサーチし、その極大位置を合焦位置とするＡＦ処理工程を有する請求項９に記載の連続自動合焦制御方法。
12. 前記データ量相関検知工程は、前記データ量の相関関係として、前記データ量相関検知手段が、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量が増加したことを検知した場合に、前記レンズ駆動方向判定工程は、前記レンズ駆動方向判定手段が該第２撮像部でレンズ位置をずらした方向と同じ方向にレンズ駆動方向を決定する請求項９に記載の連続自動合焦制御方法。
13. 前記データ量相関検知工程は、前記データ量の相関関係として、前記データ量相関検知手段が、前記第１撮像部のデータ量が減少し、前記第２撮像部のデータ量も減少したことを検知した場合に、前記レンズ駆動方向判定工程は、前記レンズ駆動方向判定手段が該第２撮像部でレンズ位置をずらした方向とは逆方向にレンズ駆動方向を決定する請求項９に記載の連続自動合焦制御方法。
14. 前記データ量相関検知工程は、前記データ量の相関関係として、前記データ量相関検知手段が、前記第１撮像部のデータ量と前記第２撮像部のデータ量とが同じ割合で変化したことを検知した場合に、該データ量相関検知手段は焦点がずれていないと判断して、前記レンズ駆動方向判定手段によるレンズ駆動方向決定処理を行わず、前記データ量変化検知手段によるデータ量変化検知処理に戻る請求項９に記載の連続自動合焦制御方法。
15. 請求項８〜１４のいずれかに記載の連続自動合焦制御方法の各工程をコンピュータに実行させるための処理手順が記述された制御プログラム。
16. 請求項１５に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体。

Images