JP2010154310A - 複眼カメラ及び撮影方法 - Google Patents

Abstract

【課題】 特性が異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間のチップサイズの差に起因する画質の劣化を防止することが可能な複眼カメラ及び該複眼カメラを用いた撮影方法を提供する。
【解決手段】 第１撮像素子３０−１と第２撮像素子３０−２は画素ＰＩＸのサイズが同じであり、第２撮像素子３０−２は第１撮像素子３０−１よりもチップサイズが大きく、かつ、画素数が多いもので構成されている。レンズ駆動部２０−２は、モードに応じて選択された撮影レンズ１８Ａ−２及び１８Ｂ−２の一方を第２撮像素子３０−２の前に繰り出して、他方を第１撮像素子３０−１と第２撮像素子３０−２の間の空間に収納するレンズ切り替え機能を有している。複眼撮影モードの場合には、第１撮像素子３０−１の有効画素領域全面と同サイズ、同画素数の第２撮像素子３０−２内の領域に被写体光を導光する小型の撮影レンズ１８Ａ−２が繰り出される。
【選択図】 図１

Description

本発明は複眼カメラ及び撮影方法に係り、特に複数の異なる撮像素子を備えた複眼カメラ及び該複眼カメラを用いた撮影方法に関する。

特許文献１には、第１の結像光学系と第１の固体撮像素子とを有する第１の撮像手段と、第２の結像光学系と上記第１の固体撮像素子より有効画素数が少ない第２の固体撮像素子とを有する第２の撮像手段と、第３の結像光学系と上記第１の固体撮像素子より有効画素数が少ない第２の固体撮像素子とを有する第３の撮像手段とを具備する電子３眼カメラ装置が開示されている。

特許文献２には、第１の結像光学系と第１の固体撮像素子とを有する第１の撮像手段と、第２の結像光学系と上記第１の固体撮像素子より有効画素数が少ない第２の固体撮像素子とを有する第２の撮像手段とを具備する電子ステレオカメラが開示されている。

特許文献３には、白黒用とカラー用、あるいは素子サイズの異なる第１ＣＣＤ及び第２ＣＣＤを備え、１つの光学レンズからの光信号を分割して各ＣＣＤに受光させる撮像装置が開示されている。
特開２０００−１１２０１９号公報 特開２０００−１０２０４０号公報 特開平１１−１２２５３６号公報

従来、撮像光学系と撮像素子を複数備えた多眼カメラが提案されており、このような多眼カメラを用いて複数枚の画像を撮影して合成することが提案されている。しかしながら、上記複数の撮像素子の特性に差（例えば、飽和特性、感度特性（光量と出力の関係を示す特性）、チップサイズ、画素数及び画素サイズの差）がある場合、この特性の差によって合成後の画像の画質が劣化する（例えば、シェーディング、色回りが生じる）おそれがある。

上記特許文献１から３には、複数の固体撮像素子を備えたカメラが開示されているが、異なる画素数の固体撮像素子から得られた画像を合成するときに、当該固体撮像素子間の特性の差に起因する画質の劣化を防止することについては開示されていない。

本発明はこのような事情に鑑みてなされたもので、特性が異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間のチップサイズの差に起因する画質の劣化を防止することが可能な複眼カメラ及び該複眼カメラを用いた撮影方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る複眼カメラは、第１の撮像素子と、撮影レンズとを備える第１の撮影手段と、前記第１の撮像素子よりも画素数が多く、かつ、画素サイズが同じ第２の撮像素子と、前記第２の撮像素子の画素領域のうち、前記第１の撮像素子と同画素数の一部領域のみに被写体光を導光する一部照射用撮影レンズと、前記第２の撮像素子の画素領域の全面に前記被写体光を導光する全面照射用撮影レンズとを備える第２の撮影手段と、前記第１の撮影手段と前記第２の撮影手段とを制御して画像の撮影及び画像信号の読み出しを行う撮影制御手段と、前記第２の撮影手段のみを用いて撮影を行う単眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記全面照射用撮影レンズに切り替える一方、前記第１の撮影手段と前記第２の撮影手段の両方を用いて撮影を行う複眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記一部照射用撮影レンズに切り替える撮影レンズ切り替え手段と、前記複眼撮影モード時に、前記第１の撮像素子から読み出された画像信号と、前記第２の撮像素子から読み出された画像信号とを合成して合成画像を作成する画像合成手段とを備える。

上記第１の態様によれば、画素数が異なる複数の撮像素子を用いて撮影した画像を合成する場合に、上記撮像素子の画素サイズを同じにすることにより、飽和特性（飽和時の電荷量）、感度特性（光量と出力の関係）の差に起因する画質の劣化を解消することができ、複眼撮影モード時に、第２の撮像素子の画素領域のうち、第１の撮像素子と同じサイズの一部領域からの信号のみを使用するようにすることで、Ｖシェーディング、Ｈシェーディング及び色シェーディングに起因する特性の差を解消することができる。

本発明の第２の態様に係る複眼カメラは、上記第１の態様において、前記第２の撮像素子が、前記画素に蓄積された信号電荷を水平方向に転送するための水平転送路と、前記水平転送路に接続された出力アンプとを備えており、前記一部領域を前記第２の撮像素子の画素領域のうち前記出力アンプに最も近い領域としたものである。

上記第２の態様によれば、第２の撮像素子の一部領域を出力アンプに最も近い領域に設定することにより、水平転送路の転送残りに起因する画質の劣化を防止することができる。

本発明の第３の態様に係る複眼カメラは、上記第２の態様において、前記第２の撮像素子の駆動を制御する駆動制御手段を更に備え、前記第２の撮像素子は、前記画素に蓄積された信号電荷を垂直方向に転送するための垂直転送路を備えており、前記駆動制御手段は、前記複眼撮影モード時に、前記一部領域に蓄積された信号電荷の垂直転送が終了した場合に、前記一部領域に蓄積された信号電荷の垂直転送時よりも前記第２の撮像素子の垂直転送の速度を速くするようにしたものである。

上記第３の態様によれば、複眼撮影モード時に、画素数が多い第２の撮像素子の画像信号を垂直転送するときの速度を高速化することができる。上記第３の態様は、連写撮影又は動画撮影に有効である。

本発明の第４の態様に係る撮影方法は、第１の撮像素子と、撮影レンズとを備える第１の撮影手段と、前記第１の撮像素子よりも画素数が多く、かつ、画素サイズが同じ第２の撮像素子と、前記第２の撮像素子の画素領域のうち、前記第１の撮像素子と同画素数の一部領域のみに被写体光を導光する一部照射用撮影レンズと、前記第２の撮像素子の画素領域の全面に前記被写体光を導光する全面照射用撮影レンズとを備える第２の撮影手段とを備える複眼カメラを用いて画像の撮影を行う撮影方法であって、前記第２の撮影手段のみを用いて撮影を行う単眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記全面照射用撮影レンズに切り替える第１のレンズ切り替え工程と、前記単眼撮影モードの場合に前記第２の撮影手段を制御して画像の撮影及び画像信号の読み出しを行う第１の撮影制御工程と、前記第１の撮影手段と前記第２の撮影手段の両方を用いて撮影を行う複眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記一部照射用撮影レンズに切り替える第２のレンズ切り替え工程と、前記複眼撮影モードの場合に前記第１の撮影手段と前記第２の撮影手段とを制御して画像の撮影及び画像信号の読み出しを行う第２の撮影制御工程と、前記複眼撮影モード時に、前記第１の撮像素子から読み出された画像信号と、前記第２の撮像素子から読み出された画像信号とを合成して合成画像を作成する画像合成工程とを備える。

本発明の第５の態様に係る撮影方法は、上記第４の態様において、前記第２の撮像素子は、前記画素に蓄積された信号電荷を水平方向に転送するための水平転送路と、前記水平転送路に接続された出力アンプとを備えており、前記一部領域を前記第２の撮像素子の画素領域のうち前記出力アンプに最も近い領域としたものである。

本発明の第６の態様に係る撮影方法は、上記第５の態様の構成に加えて、前記複眼撮影モード時に、前記第２の撮像素子の前記一部領域に蓄積された信号電荷を前記第２の撮像素子の垂直転送路を介して垂直転送した後に、前記一部領域に蓄積された信号電荷の垂直転送時よりも前記第２の撮像素子の垂直転送の速度を速くする駆動制御工程を更に備える。

本発明によれば、画素数が異なる複数の撮像素子を用いて撮影した画像を合成する場合に、上記撮像素子の画素サイズを同じにすることにより、飽和特性（飽和時の電荷量）、感度特性（光量と出力の関係）の差に起因する画質の劣化を解消することができ、複眼撮影モード時に、第２の撮像素子の画素領域のうち、第１の撮像素子と同じサイズの一部領域からの信号のみを使用するようにすることで、Ｖシェーディング、Ｈシェーディング及び色シェーディングに起因する特性の差を解消することができる。更に、本発明によれば、第２の撮像素子の一部領域を出力アンプに最も近い領域に設定することにより、水平転送路の転送残りに起因する画質の劣化を防止することができる。

以下、添付図面に従って本発明に係る複眼カメラ及び撮影方法の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る複眼カメラを示すブロック図である。図２は、本発明の第１の実施形態に係る複眼カメラの第１撮像素子及び第２撮像素子を示す平面図である。

図１に示すように、複眼カメラ１０は、撮影レンズ１８−１、レンズ駆動部２０−１及び第１撮像素子３０−１を含む第１撮影部１２−１と、撮影レンズ１８Ａ−２及び１８Ｂ−２、レンズ駆動部２０−２及び第２撮像素子３０−２を含む第２撮影部１２−２とを備えている。

撮像素子３０―１と３０−２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。なお、撮像素子３０―１、３０−２としては、他の方式の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を用いることも可能である。図２に示すように、第１撮像素子３０−１と第２撮像素子３０−２は画素（セル）ＰＩＸのサイズが同じであり、第２撮像素子３０−２は第１撮像素子３０−１よりもチップサイズが大きく、かつ、画素数が多いもので構成されている。本実施形態では、第２撮像素子３０−２の画素数は第１撮像素子３０−１の画素数の整数倍とする。一例で、第１撮像素子３０−１は６００万画素であり、第２撮像素子３０−２は１２００万画素である。

図１に示すように、第１撮像素子３０−１の前方には撮影レンズ１８−１が設けられている。一方、第２撮像素子３０−２には２組の撮影レンズ１８Ａ−２及び１８Ｂ−２が設けられている。撮影レンズ１８Ａ−２は、被写体からの光を撮像素子３０−２の一部の領域（撮像素子３０−１と同画素、同サイズの領域）のみに導光するように構成されている。撮影レンズ１８Ａ−２は、第１撮影部１２−１の撮影レンズ１８−１と同等の構成とすることができる。一方、撮影レンズ１８Ｂ−２は、被写体からの光を撮像素子３０−２の画素領域の全面（図３の領域Ａ１０とＡ１２を含む）に導光するように構成されている。

レンズ駆動部２０−２は、モードに応じて選択された撮影レンズ１８Ａ−２及び１８Ｂ−２の一方を第２撮像素子３０−２の前に繰り出して、他方を第１撮像素子３０−１と第２撮像素子３０−２の間の空間に収納するレンズ切り替え機能を有している。

例えば、第２撮影部１２−２を用いて単眼で、高画素、高画質で撮影するモードの場合には、図１（ａ）に示すように、大型の撮影レンズ１８Ｂ−２が第２撮像素子３０−２の前方に繰り出され、小型の撮影レンズ１８Ａ−２が第１撮像素子３０−１と第２撮像素子３０−２の間の空間に収納される。これにより、単眼撮影モード時に、チップサイズが大きく、画素数が多い撮像素子３０−２の全面を使って高画質の画像を撮影することが可能になる。

一方、第１撮影部１２−１と第２撮影部１２−２の両方を用いて複眼で撮影するモードの場合には（例えば、後述の３Ｄモード及びパノラマ撮影モード時、以下、複眼撮影モードという。）、図１（ｂ）に示すように、小型の撮影レンズ１８Ａ−２が第２撮像素子３０−２の前方に繰り出され、撮影レンズ１８Ｂ−２が第１撮像素子３０−１と第２撮像素子３０−２の間の空間に収納される。

図３は、複眼撮影時における第１及び第２撮像素子の駆動方法を説明するための図である。

図３に示すように、第１撮影部１２−１では、撮影レンズ１８−１によって被写体からの光が第１撮像素子３０−１の画素領域の略全面に導光される。

一方、第２撮影部１２−２では、複眼撮影時に、小型撮影レンズ１８Ｂ−２によって被写体からの光が第２撮像素子３０−２の一部の有効画素領域Ａ１０のみに導光される。有効画素領域Ａ１０は、第１撮像素子３０−１の画素領域と有効画素数が同じになるように設定されている。第１撮像素子３０−１の画素領域の垂直方向（Ｖ方向）の長さ（画素数に相当）をａ１、水平方向（Ｈ方向）の長さをｂ１とし、第２撮像素子３０−２の有効画素領域Ａ１０の垂直方向の長さをａ２、水平方向の長さをｂ２とすると、ａ１＝ａ２かつｂ１＝ｂ２となるように有効画素領域Ａ１０が設定される。

図４は、第１及び第２撮像素子の光量−出力特性を示すグラフである。図４の横軸は入射光量、縦軸は撮像素子の出力信号のレベル（１画素に蓄積される蓄積電荷量）である。図４の曲線Ｌ１は第１撮像素子３０−１の光量−出力特性を表しており、曲線Ｌ２は第２撮像素子３０−２の光量−出力特性を表している。

本実施形態では、第１撮像素子３０−１と第２撮像素子３０−２の画素サイズが同じであるので、図４（ａ）に示すように、特性曲線Ｌ１，Ｌ２の飽和領域の信号レベルは等しくなっている。しかしながら、第１撮像素子３０−１と第２撮像素子３０−２とは、Ｖ方向とＨ方向の有効画素数が異なるため、図４（ａ）に示すように、リニアな領域では、Ｖシェーディング、Ｈシェーディング及び色シェーディングに起因する特性の差が生じる。

そこで、本実施形態では、有効画素領域Ａ１０は、第１撮像素子３０−１の画素領域と有効画素数が同じになるように設定することにより、Ｖシェーディング、Ｈシェーディング及び色シェーディングに起因する特性の差を解消する。更に、第２撮像素子３０−２の水平転送路ＨＣＣＤ２に接続された出力アンプＡＭＰ２に最も近い領域に設定することにより、水平転送路ＨＣＣＤ２の転送残り（残留電荷）に起因する特性の差を解消する。これにより、図４（ｂ）の符号Ｌ´に示すように、両撮像素子３０−１及び３０−２の特性曲線が一致するので、両撮像素子３０−１及び３０−２により撮影した画像を合成したときの画質の劣化を防止することができる。

複眼撮影モード時には、第２撮像素子３０−２の有効画素領域Ａ１０に対して垂直方向（Ｖ方向）に隣接する領域Ａ１２Ｖに蓄積された不要な信号電荷（画像信号）は、水平転送路ＨＣＣＤ２に転送されずに廃棄される。また、有効画素領域Ａ１０に対して水平方向（Ｖ方向）に隣接する領域Ａ１２Ｈに蓄積された不要な画像信号は、一旦水平転送路ＨＣＣＤ２により転送された後に廃棄される。

図５は、本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図である。

図５に示すように、複眼カメラ１０は、２つの第１撮影部１２−１及び第２撮影部１２−２を備えている。なお、撮影部１２は２つ以上設けてもよい。

複眼カメラ１０は、撮影部１２−１及び１２−２を用いて撮影した２枚の画像データを合成する。例えば、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の視差画像データを合成して３次元表示（立体表示）用の画像の作成及び表示を行う。また、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚のパノラマ画像の作成用画像データを合成してパノラマ画像の作成及び表示を行う。複眼カメラ１０は、上記視差画像データ及びパノラマ画像の作成用画像データを、１つの記録用画像ファイル（マルチピクチャファイル）に格納する。また、複眼カメラ１０は、ブラケット撮影時、動画撮影時又は連写時に撮影した複数フレームの画像データをつなぎ合わせて１つの記録用画像ファイル（マルチピクチャファイル）に格納する。

ＣＰＵ（Central Processing Unit）１４は、操作部１６からの入力に基づいて複眼カメラ１０の動作を制御する。

制御バス４２は、ＣＰＵ１４からの指令を複眼カメラ１０の各部に伝送する伝送路である。データバス４４は、画像信号等の各種のデータを伝送する伝送路である。

メインメモリ４８には、ＣＰＵ１４が実行するプログラム及び制御に必要な各種データのほか、ユーザ設定情報等の複眼カメラ１０の動作に関する各種設定情報等が格納される。メモリ制御部４６は、所定のプロトコルに従って、メインメモリ４８からのデータの読み出し、メインメモリ４８へのデータの書き込み、メインメモリ４８内のデータのリフレッシュを行うためのインターフェースである。

記録媒体５８には、撮影された画像ファイル及び各種のデータが記録される。記録媒体５８としては、例えば、ＳＤメモリカード（登録商標）又はｘＤピクチャカード（登録商標）を用いることができる。外部メモリ制御部５６は、所定のプロトコルに従って、記録媒体５８からのデータの読み出し、記録媒体５８へのデータの書き込みを行うためのインターフェースである。

操作部１６は、ユーザが各種の操作入力を行うための操作手段であり、電源のオンとオフの切り替えを行うための電源スイッチ、複眼カメラ１０の動作モードの切り替えを行うためのモードダイヤル、レリーズボタン及びズームボタンを含んでいる。

モードダイヤルは、複眼カメラ１０の動作モードの切り替え入力を行うための操作手段であり、モードダイヤルの設定位置に応じて、２次元の画像（静止画、動画）を撮影する２Ｄモード、３次元の画像（静止画、動画）を撮影する３Ｄモード、パノラマ画像を撮影するためのパノラマ撮影モード及び画像の再生を行う再生モードの間で動作モードが切り替えられる。

レリーズボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影時には、レリーズボタンが半押しされると（Ｓ１オン）、撮影準備処理（例えば、自動露出調整処理（ＡＥ：Automatic Exposure）、自動焦点合わせ処理（ＡＦ：Auto Focus）、自動ホワイトバランス調整処理（ＡＷＢ：Automatic White Balance））が行われる。そして、レリーズボタンが全押しされると（Ｓ２オン）、静止画の撮影・記録処理が行われる。また、動画撮影時には、レリーズボタンが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズボタン及び動画撮影用のレリーズボタンを別々に設けるようにしてもよい。

ズームボタンは、撮影部１２−１及び１２−２のズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

表示部６２は、例えば、カラー液晶パネル（ＬＣＤ）を備えた表示装置である。表示部６２は、撮影された画像を表示する表示部として機能するとともに、複眼カメラ１０の各種機能に関する設定を行うときに時のユーザインターフェイスとして機能する。また、表示部６２は、撮影モード時に画角を確認するための電子ファインダとして機能する。

表示部６２は、３Ｄモード時に、ユーザが立体視可能な３次元（３Ｄ）画像を表示する機能を有する。３Ｄ画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム（Light Direction Control System）が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの左眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理と、右眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの右眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理とを交互に（例えば、１／６０秒間隔で）繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察されるので、ユーザは立体的な画像を観察することができる。

表示制御部６０は、データバス４４を介して入力されるＲ，Ｇ，Ｂの色信号を表示用の信号に変換する。

次に、複眼カメラ１０の撮影機能について説明する。なお、図５では、各撮影部１２−１及び１２−２等にそれぞれ符号１及び２を付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１及び２を適宜省略して説明する。

各撮影部１２は、撮像レンズ１８及び撮像素子３０を含んでいる。撮影レンズ１８と撮像素子３０との間には、絞り兼用メカニカルシャッター２２と、赤外線カットフィルタ２６と、光学ローパスフィルタ２８とが配置されている。

撮像レンズ１８は、フォーカスレンズ及びズームレンズを含んでいる。フォーカスレンズ及びズームレンズは、各撮影部１２の光軸に沿って前後に移動する。ＣＰＵ１４は、レンズ駆動部２０の動作を制御して、フォーカスレンズの位置を調整してフォーカシングを行う。また、ＣＰＵ１４は、レンズ駆動部２０の動作を制御して、ズームレンズの位置を調整してズーミングを行う。また、ＣＰＵ１４は、絞り駆動部２４の駆動を制御することにより、絞り兼用メカニカルシャッター２２の開口量（絞り値）を調整して撮像素子３０への入射光量を制御する。また、ＣＰＵ１４は、撮像素子３０からデータを読み出すときに、絞り兼用メカニカルシャッター２２を閉じて撮像素子３０に入射する光を遮光する。

ＣＰＵ１４は、３Ｄモード及びパノラマ撮影モード時に、各撮影部１２−１及び１２−２の撮像レンズ１８−１及び１８−２を同期させて駆動する。即ち、撮影部１２−１及び１２−２は、３Ｄモード及びパノラマ撮影モード時に、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。

ＣＰＵ１４は、３Ｄモード時に、不図示の撮影部駆動機構を制御して、左右の眼に対応する視差画像が得られるように撮影部１２−１及び１２−２の相対位置及び輻輳角（撮像レンズ１８−１と１８−２の光軸のなす角）を調整する。また、ＣＰＵ１４は、パノラマ撮影モード時に、ユーザからの入力に応じて所望の範囲が撮影できるように撮影部１２−１及び１２−２の相対位置及び輻輳角を調整する。

撮像素子３０は、ＣＣＤイメージセンサである。撮像素子３０の受光面には、多数の受光素子（フォトダイオード）が２次元的に配列されており、各フォトダイオードには所定の配列で３色（例えば、Ｒ，Ｇ，Ｂ）のカラーフィルタが配置されている。なお、画素配列は、例えば、ベイヤー配列又はハニカム配列である。

撮影部１２を介して撮像素子３０の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従って撮像素子駆動部３２から与えられる駆動パルスに応じて、電荷量に応じた電圧信号（Ｒ，Ｇ，Ｂの画像信号）として撮像素子３０から順次読み出される。撮像素子３０は、電子シャッター機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッター速度）が制御される。

アナログ信号処理部３４は、撮像素子３０から出力されたＲ，Ｇ，Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ，Ｇ，Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子３０から出力されるアナログのＲ，Ｇ，Ｂ信号は、アナログ信号処理部３４によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部３４におけるＲ，Ｇ，Ｂ信号の増幅ゲインは撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、２つのＣＣＤを用いて画像を撮影する場合（３Ｄモード及びパノラマ撮影モード時）、このゲインはアナログ信号処理部３４−１と３４−２とで同じ値に設定される。

アナログ信号処理部３４から出力されたアナログのＲ，Ｇ，Ｂ信号は、Ａ／Ｄ変換器３６によってデジタルのＲ，Ｇ，Ｂ信号に変換された後、データバス４４を介してデジタル信号処理部５０に入力される。

上記のようにして生成されたデジタルのＲ，Ｇ，Ｂ信号は、デジタル信号処理部５０において、所定の処理（例えば、同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ホワイトバランス調整処理、階調変換（ガンマ補正）処理及び輪郭補正処理）が施されて、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）、即ち、Ｙ／Ｃ信号に変換される。

ライブビュー画像（スルー画）を表示部６２に表示する場合、デジタル信号処理部５０において生成されたＹ／Ｃ信号が１フレーム分ずつＲ，Ｇ，Ｂ信号に変換された後表示部６２に出力される。

次に、画像の撮影及び記録処理について説明する。ＣＰＵ１４は、静止画の撮影モード時においてレリーズボタンの半押しを検出すると（Ｓ１オン）、撮影準備処理（ＡＥ処理及びＡＦ処理）を開始する。

積算部５４は、ＣＰＵ１４からの指令に従って撮影部１２から出力されたデジタルのＲ，Ｇ，Ｂ信号を所定の分割エリアごとに積算し、Ｒ，Ｇ，Ｂ信号の積算値をＣＰＵ１４に出力する。ＣＰＵ１４は、積算部５４によって算出されたＲ，Ｇ，Ｂ信号の積算値に基づいて露出値（撮影ＥＶ値）を算出し、所定のプログラム線図に従って、絞り値及びシャッタスピードを制御する。

また、ＣＰＵ１４は、例えば、画像信号のＧ信号の高周波成分が極大になる位置を合焦位置として求め、レンズ駆動部２０に指令を出力してフォーカスレンズを合焦位置に移動させる。

また、自動ホワイトバランス調整（ＡＷＢ）が設定されている場合、積算部５４は、所定の分割エリアごとにＲ，Ｇ，Ｂ信号の色ごとの平均積算値を算出してＣＰＵ１４に出力する。ＣＰＵ１４は、分割エリアごとに算出されたＲ，Ｇ，Ｂ信号の平均積算値に基づいて光源種を判別し、Ｒ，Ｇ，Ｂ信号に対するホワイトバランスゲインを制御する。

また、ＣＰＵ１４は、フラッシュ用の発光部３８及び受光部４０を制御して自動調光制御を行う。

レリーズボタンの半押し（Ｓ１オン）に応じて撮影準備処理が終了した後レリーズボタンの全押しを検出すると（Ｓ２オン）、ＣＰＵ１４は画像の撮影を実行する。

２Ｄモード時には、所定の１つの撮影部により記録用の画像が撮影される。なお、２Ｄモード時にどちらの撮影部を使用するかはユーザが選択できるようになっている。低画素数で撮影するモードの場合には第１撮影部１２−１により撮影が行われ、高画素数（高画質）で撮影するモードの場合には第２撮影部１２−２により撮影が行われる。

２Ｄモード時に指定の撮影部１２によって撮影された画像は、圧縮伸張処理部５２によって圧縮され、所定形式の画像ファイルとして記録媒体５８に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ（Moving Picture Experts Group）２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

３Ｄモード及びパノラマ撮影モード時には、撮影部１２−１及び１２−２によって同期して画像が撮影される。上記３Ｄモード及びパノラマ撮影モード時には、ＡＦ処理及びＡＥ処理は、撮影部１２−１及び１２−２のいずれか一方によって取得された画像信号に基づいて行われる。ＡＥ処理及びＡＦ処理にどちらの撮影部の画像信号を使用するかはユーザが選択できるようにしてもよい。

上記３Ｄモード及びパノラマ撮影モード時には、各撮影部１２−１及び１２−２によって撮影された２視点の画像は、圧縮伸張処理部５２によってそれぞれ圧縮されて１つのマルチピクチャファイルに格納されて記録媒体５８に記録される。マルチピクチャファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影部１２の撮影レンズの間隔及び輻輳角に関する情報が格納される。

再生モード時には、記録媒体５８に記録されている所定の画像ファイル（例えば、最後に記録された画像ファイル）が読み出されて、圧縮伸張処理部５２によって非圧縮のＹ／Ｃ信号に伸張され、Ｒ，Ｇ，Ｂ信号に変換された後表示部６２に出力される。これにより、記録媒体５８に記録されている画像ファイルに基づく画像が表示部６２に表示される。

［撮影処理］
図６は、本発明の第１の実施形態に係る複眼カメラにおける撮影処理を示すフローチャートである。

まず、レリーズボタンの半押し（Ｓ１オン）に応じて撮影準備処理が行われた後レリーズボタンが全押しされると（Ｓ２オン）、画像の撮影処理が開始される（ステップＳ１０）。

単眼撮影モード（ステップＳ１２のＮｏ、Ｓ１４）で、低画素数で撮影する低画素数モードの場合には（ステップＳ１６のＮｏ）、第１撮像素子３０−１が駆動される（ステップＳ１８）。そして、第１撮影部１２−１を用いて画像が撮影される。

次に、撮影された画像にシェーディング補正（ステップＳ２４）を含む画像処理が施された後、所定の形式の画像ファイルに画像が格納されて記録媒体５８に記録される（ステップＳ２６）。単眼撮影モードの低画素数モードの場合、ステップＳ２４において、第１撮像素子３０−１の特性、及び撮影レンズ１８−１の収差の影響などによって発生する画像信号の出力レベル（濃度レベル）のムラ（シェーディング）の測定値に基づいて作成されたシェーディング補正データに基づいて、第１撮像素子３０−１の出力にゲインをかけることによりシェーディング補正が行われる。

一方、単眼撮影モード（ステップＳ１２のＮｏ、Ｓ１４）で、高画素数（高画質）で撮影する高画質モードの場合には（ステップＳ１６のＹｅｓ）、第２撮像素子３０−２が駆動されるとともに（ステップＳ２０）、第２撮影部１２−２の撮影レンズが大型撮影レンズ１８Ｂ−２に切り替えられる（ステップＳ２２）。そして、第２撮影部１２−２を用いて画像が撮影される。

次に、撮影された画像にシェーディング補正（ステップＳ２４）を含む画像処理が施された後、所定の形式の画像ファイルに画像が格納されて記録媒体５８に記録される（ステップＳ２６）。単眼撮影モードの高画質モードの場合、ステップＳ２４において、第２撮像素子３０−２の画素領域の全面（Ａ１０とＡ１２を含む）の特性、及び大型撮影レンズ１８Ｂ−２の収差の影響などによって発生する画像信号の出力レベル（濃度レベル）のムラ（シェーディング）の測定値に基づいて作成されたシェーディング補正データに基づいて、第２撮像素子３０−２の出力にゲインをかけることによりシェーディング補正が行われる。

複眼撮影モード（ステップＳ１２のＹｅｓ、Ｓ２８）の場合には、第２撮影部１２−２の撮影レンズが小型撮影レンズ１８Ａ−２に切り替えられる（ステップＳ３０）。そして、第１撮影部１２−１と第２撮影部１２−２を用いて画像が撮影される（ステップＳ３２）。ステップＳ３２では、第２の撮像素子３０−２の一部の有効画素領域Ａ１０（第１撮像素子３０−１の画素領域と同画素数の領域）のみに被写体の画像が結像され、有効画素領域Ａ１０に蓄積された画像信号のみが選択的に読み出され、無効画素領域Ａ１２に蓄積された信号電荷は廃棄される。

次に、撮影された画像にシェーディング補正（ステップＳ２４）を含む画像処理が施された後、所定の形式の画像ファイルに画像が格納されて記録媒体５８に記録される（ステップＳ２６）。複眼撮影モードの場合、ステップＳ２４において、第１撮像素子３０−１の特性、及び撮影レンズ１８−１の収差の影響などによって発生する画像信号の出力レベル（濃度レベル）のムラ（シェーディング）の測定値に基づいて作成されたシェーディング補正データに基づいて、第１撮像素子３０−１の出力にゲインをかけるとともに、第２撮像素子３０−２の有効画素領域Ａ１０の特性、及び小型撮影レンズ１８Ａ−２の収差の影響などによって発生する画像信号の出力レベル（濃度レベル）のムラ（シェーディング）の測定値に基づいて作成されたシェーディング補正データに基づいて、第２撮像素子３０−２の出力にゲインをかけることにより、シェーディング補正が行われる。

本実施形態によれば、画素数が異なる複数の撮像素子を用いて撮影した画像を合成する場合に、上記撮像素子の画素サイズを同じにすることにより、飽和特性（飽和時の電荷量）、感度特性（光量と出力の関係）の差に起因する画質の劣化を解消することができる。また、本実施形態によれば、複眼撮影モード時に、第１撮像素子３０−１よりも大型の第２撮像素子３０−２を用いて撮影する場合に、第１撮像素子３０−１と同じサイズの有効画素領域Ａ１０からの信号のみを使用するようにすることで、Ｖシェーディング、Ｈシェーディング及び色シェーディングに起因する特性の差を解消することができる。更に、第２撮像素子３０−２の複眼撮影時の有効画素領域Ａ１０を出力アンプＡＭＰ２に最も近い領域に設定することにより、水平転送路ＨＣＣＤ２の転送残りに起因する画質の劣化を防止することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、複眼撮影モード時に、画素数が多い第２撮像素子３０−２の画像信号を垂直転送するときの速度を高速化するようにしたものである。

図７は、単眼撮影モード時の処理の流れを示すタイミングチャートである。図８は、複眼撮影モード時の処理の流れを示すタイミングチャートである。

図７に示すように、第２撮像素子３０−２は、垂直方向（Ｖ方向）の画素の段数が多いので、第１撮像素子３０−１よりもＶ方向の読み出し（Ｖ転送）に要する時間が長くなる。

そこで、複眼撮影モード時には、図８に示すように、第２撮像素子３０−２において、有効画素領域Ａ１０の信号電荷のＶ転送が終了した段階で（図３の無効画素領域Ａ１２Ｖの画像信号の読み出しが始まる前に）、Ｖ高速転送モード（Ｖ転送時の読み出しパルスよりも高速な不要電荷掃き出しパルスにより画像信号を転送するモード、又は第２撮像素子３０−２の電荷を基板側に捨てるモード）に切り替える。これにより、通常のＶ転送を行う場合（単眼撮影モード時）に第２撮像素子３０−２のＶ転送に要する時間と第１撮像素子３０−１のＶ転送に要する時間の差Ｔ１よりも短い時間差Ｔ２で、第２撮像素子３０−２におけるＶ転送を終了することができる。

図９は、本発明の第２の実施形態に係る複眼カメラにおける撮影処理を示すフローチャートである。なお、図９のステップＳ４０からＳ５２は、図６のステップＳ１０から２２と同様である。

まず、レリーズボタンの半押し（Ｓ１オン）に応じて撮影準備処理が行われた後レリーズボタンが全押しされると（Ｓ２オン）、画像の撮影処理が開始される（ステップＳ４０）。

複眼撮影モード（ステップＳ４２のＹｅｓ、Ｓ５８）の場合には、第２撮影部１２−２の撮影レンズが小型撮影レンズ１８Ａ−２に切り替えられる（ステップＳ６０）。

連写モードの場合には（ステップＳ６２のＹｅｓ）、第２撮像素子３０−２の駆動モードが切り替えられた後（ステップＳ６４）、第１撮影部１２−１と第２撮影部１２−２を用いて画像が撮影され、画像信号の読み出しが行われる（ステップＳ６６）。連写モードの場合には、図８に示したように、第２撮像素子３０−２の有効画素領域Ａ１０の画像信号のＶ転送が終了した段階で、Ｖ転送時の読み出しパルスよりも高速な不要電荷掃き出しパルスが第２撮像素子３０−２に供給されて画像信号が転送される。

一方、連写モードでない場合には（ステップＳ６２のＮｏ）、第１撮影部１２−１と第２撮影部１２−２を用いて画像が撮影され、画像信号の読み出しが行われる（ステップＳ６６）。

次に、撮影された画像にシェーディング補正（ステップＳ５４）を含む画像処理が施された後、所定の形式の画像ファイルに画像が格納されて記録媒体５８に記録される（ステップＳ５６）。複眼撮影モードの場合、ステップＳ５４において、第１撮像素子３０−１の特性、及び撮影レンズ１８−１の収差の影響などによって発生する画像信号の出力レベル（濃度レベル）のムラ（シェーディング）の測定値に基づいて作成されたシェーディング補正データに基づいて、第１撮像素子３０−１の出力にゲインをかけるとともに、第２撮像素子３０−２の有効画素領域（Ａ１０）の特性、及び小型撮影レンズ１８Ａ−２の収差の影響などによって発生する画像信号の出力レベル（濃度レベル）のムラ（シェーディング）の測定値に基づいて作成されたシェーディング補正データに基づいて、第２撮像素子３０−２の出力にゲインをかけることにより、シェーディング補正が行われる。

本実施形態によれば、複眼撮影モード時に、画素数が多い第２撮像素子３０−２の画像信号を垂直転送するときの速度を高速化することができる。本実施形態は、連写撮影又は動画撮影に有効である。

本発明の第１の実施形態に係る複眼カメラを示すブロック図 本発明の第１の実施形態に係る複眼カメラの第１撮像素子及び第２撮像素子を示す平面図 複眼撮影時における第１及び第２撮像素子の駆動方法を説明するための図 第１及び第２撮像素子の光量−出力特性を示すグラフ 本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図 本発明の第１の実施形態に係る複眼カメラにおける撮影処理を示すフローチャート 単眼撮影モード時の処理の流れを示すタイミングチャート 複眼撮影モード時の処理の流れを示すタイミングチャート 本発明の第２の実施形態に係る複眼カメラにおける撮影処理を示すフローチャート

符号の説明

１０…複眼カメラ、１２…撮影部、１４…ＣＰＵ、１６…操作部、１８…撮影レンズ、２０…レンズ駆動部、２２…絞り兼用メカニカルシャッター、２４…絞り駆動部、２６…赤外線カットフィルタ、２８…光学ローパスフィルタ、３０…撮像素子、３２…撮像素子駆動部、３４…アナログ信号処理部、３６…Ａ／Ｄ変換器、３８…発光部、４０…受光部、４２…制御バス、４４…データバス、４６…メモリ制御部、４８…メインメモリ、５０…デジタル信号処理部、５２…圧縮伸張処理部、５４…積算部、５６…外部メモリ制御部、５８…記録媒体、６０…表示制御部、６２…表示部

Claims (6)

1. 第１の撮像素子と、撮影レンズとを備える第１の撮影手段と、
   前記第１の撮像素子よりも画素数が多く、かつ、画素サイズが同じ第２の撮像素子と、前記第２の撮像素子の画素領域のうち、前記第１の撮像素子と同画素数の一部領域のみに被写体光を導光する一部照射用撮影レンズと、前記第２の撮像素子の画素領域の全面に前記被写体光を導光する全面照射用撮影レンズとを備える第２の撮影手段と、
   前記第１の撮影手段と前記第２の撮影手段とを制御して画像の撮影及び画像信号の読み出しを行う撮影制御手段と、
   前記第２の撮影手段のみを用いて撮影を行う単眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記全面照射用撮影レンズに切り替える一方、前記第１の撮影手段と前記第２の撮影手段の両方を用いて撮影を行う複眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記一部照射用撮影レンズに切り替える撮影レンズ切り替え手段と、
   前記複眼撮影モード時に、前記第１の撮像素子から読み出された画像信号と、前記第２の撮像素子から読み出された画像信号とを合成して合成画像を作成する画像合成手段と、
   を備える複眼カメラ。
2. 前記第２の撮像素子は、前記画素に蓄積された信号電荷を水平方向に転送するための水平転送路と、前記水平転送路に接続された出力アンプとを備えており、
   前記一部領域を前記第２の撮像素子の画素領域のうち前記出力アンプに最も近い領域とする請求項１記載の複眼カメラ。
3. 前記第２の撮像素子の駆動を制御する駆動制御手段を更に備え、
   前記第２の撮像素子は、前記画素に蓄積された信号電荷を垂直方向に転送するための垂直転送路を備えており、
   前記駆動制御手段は、前記複眼撮影モード時に、前記一部領域に蓄積された信号電荷の垂直転送が終了した場合に、前記一部領域に蓄積された信号電荷の垂直転送時よりも前記第２の撮像素子の垂直転送の速度を速くする請求項２記載の複眼カメラ。
4. 第１の撮像素子と、撮影レンズとを備える第１の撮影手段と、前記第１の撮像素子よりも画素数が多く、かつ、画素サイズが同じ第２の撮像素子と、前記第２の撮像素子の画素領域のうち、前記第１の撮像素子と同画素数の一部領域のみに被写体光を導光する一部照射用撮影レンズと、前記第２の撮像素子の画素領域の全面に前記被写体光を導光する全面照射用撮影レンズとを備える第２の撮影手段とを備える複眼カメラを用いて画像の撮影を行う撮影方法であって、
   前記第２の撮影手段のみを用いて撮影を行う単眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記全面照射用撮影レンズに切り替える第１のレンズ切り替え工程と、
   前記単眼撮影モードの場合に前記第２の撮影手段を制御して画像の撮影及び画像信号の読み出しを行う第１の撮影制御工程と、
   前記第１の撮影手段と前記第２の撮影手段の両方を用いて撮影を行う複眼撮影モードの場合に、前記第２の撮像素子に前記被写体光を導光する撮影レンズを前記一部照射用撮影レンズに切り替える第２のレンズ切り替え工程と、
   前記複眼撮影モードの場合に前記第１の撮影手段と前記第２の撮影手段とを制御して画像の撮影及び画像信号の読み出しを行う第２の撮影制御工程と、
   前記複眼撮影モード時に、前記第１の撮像素子から読み出された画像信号と、前記第２の撮像素子から読み出された画像信号とを合成して合成画像を作成する画像合成工程と、
   を備える撮影方法。
5. 前記第２の撮像素子は、前記画素に蓄積された信号電荷を水平方向に転送するための水平転送路と、前記水平転送路に接続された出力アンプとを備えており、
   前記一部領域を前記第２の撮像素子の画素領域のうち前記出力アンプに最も近い領域とする請求項４記載の撮影方法。
6. 前記複眼撮影モード時に、前記第２の撮像素子の前記一部領域に蓄積された信号電荷を前記第２の撮像素子の垂直転送路を介して垂直転送した後に、前記一部領域に蓄積された信号電荷の垂直転送時よりも前記第２の撮像素子の垂直転送の速度を速くする駆動制御工程を更に備える請求項５記載の撮影方法。

Images