JP2011048295A - 複眼撮影装置及びその姿勢検出方法 - Google Patents

Abstract

【課題】撮影画像が立体視に不具合のある画像であるか否かの判別を、低コストかつ簡単に行う。
【解決手段】ステレオ撮影により得られた基準，参照画像データからそれぞれ特徴点７４、対応点７７を抽出する。特徴点７４及び対応点７７の位置を比較することにより、カメラ本体１１の姿勢を求める。求めた姿勢と、予め定めたカメラ本体１１の基準姿勢とのずれ量（姿勢ずれ量）を求める。姿勢ずれ量の大きさに基づき、立体視に問題のない画像はＯＫ画像グループに振り分け、立体視に不具合が生じる画像はＮＧ画像グループに振り分ける。ＯＫ画像グループの基準，参照画像データは、メモリカード２０のＯＫ画像格納部２０ａに格納し、ＮＧ画像グループの基準，参照画像データは、ＮＧ画像格納部２０ｂに格納する、あるいは破棄する。
【選択図】図４

Description

本発明は、ステレオ撮影等の複眼撮影を行う複眼撮影装置及びその姿勢検出方法に関するものである。

左右対称に配置された１対の撮影部を備えており、視差のある左視点・右視点画像をステレオ撮影する複眼カメラが知られている（特許文献１参照）。ステレオ撮影により得られた左視点・右視点画像を、それぞれ観察者の左右の目に分離して見せることで立体画像の観察を行うことができる。

このような複眼カメラでステレオ撮影を行う際には、各撮像部の配列方向が水平線に対して略平行となるような基準姿勢に複眼カメラを保持して、ステレオ撮影を行う必要がある。この配列方向が水平線に対して傾き角度をもつような傾いた姿勢でステレオ撮影が行われた場合、左右視点画像内での被写体の上下方向のずれが大きくなり、立体画像の観察（立体視）に不具合が生じてしまう（図９参照）。

特許文献２には、スルー画像に含まれる人物の顔を検出する顔検出を行うことで、人物の姿勢が適切であるか否かを判断し、人物の姿勢が不適切と判断した場合にはその旨を報知する撮影システムが記載されている。特許文献１の撮影システムでは、カメラ本体を上述の傾いた姿勢で保持した場合、スルー画像内における人物の姿勢が傾くため、人物の姿勢が不適切である旨の報知が行われる。このため、カメラ本体を基準姿勢で保持するように撮影者を促すことができる。

特許文献３には、撮影画像から人物の顔を検出した結果に基づき、ディスプレイの角度を、人物が視聴し易い方向に自動調整するディスプレイ角度調整装置が記載されている。

特許文献４及び５には、カメラ本体にその姿勢を検知する姿勢検知センサを設け、この姿勢検出センサの検出結果に基づき、カメラ本体の姿勢が基準姿勢と一致したときに、自動的に撮影を実行するカメラが記載されている。

特開２００５−１５７９２１号公報 特開２００５−１４８２４５号公報 実用新案登録第３１４４１７２号 特開平１０−１３３３０８号公報 特開２００２−２７１６５４号公報

ところで、上記特許文献２の撮影システムでは、被写体が人物以外の場合に対応できないという問題がある。さらに、この撮影システムでは、顔検出により人物の姿勢が適切であるか否かを判断しているが、適切な姿勢と不適切な姿勢の区別が難しく、例えば、運動中の人物やベッドに横になっている人物を撮影するような場合に、姿勢が不適切であると判断されるおそれがある。

また、複眼カメラで撮影を行う際に、この複眼カメラを保持するのは撮影者であるため、特許文献３に記載されているように、顔検出結果に基づきカメラ本体の姿勢を自動調整することはできない。

特許文献４及び５のカメラでは、カメラ本体の姿勢を検出することができるが、姿勢検知センサを別途設ける必要があるので、カメラの製造コストが増加するという問題が生じる。

本発明は上記問題を解決するためになされたものであり、撮影時におけるカメラ本体の姿勢を低コストに検出することができる複眼撮影装置及びその姿勢検出方法を提供することを目的とする。

上記目的を達成するため、本発明の複眼撮影装置は、カメラ本体に一体に組み込まれ、被写体を撮影する複数の撮像手段と、前記複数の撮像手段により得られた各撮影画像から、当該各撮影画像にそれぞれ存在する共通の特徴的な点を示す対応点を抽出する対応点抽出手段と、前記各撮影画像のそれぞれにおける、互いに対応する前記対応点の位置を比較することにより、前記各撮影画像の撮影時におけるカメラ本体の姿勢を検出する姿勢検出手段と、を備えることを特徴とする。

前記姿勢検出手段の検出結果に基づき、予め定めたカメラ本体の基準姿勢と、前記撮影時のカメラ本体の姿勢とのずれ量を求め、前記ずれ量の大きさに応じて、前記各撮影画像を、前記ずれ量の大きさにより区分された複数の撮影画像グループのいずれかに振り分ける振分手段と、前記複数の撮影画像グループの中から、予め選択された撮影画像グループに振り分けられた前記各撮影画像を記憶する画像記憶手段とを備えることが好ましい。

前記基準姿勢は、前記複数の撮像手段の配列方向が水平線に略平行となるカメラ本体の姿勢であり、前記姿勢検出手段は、前記配列方向が水平線に対して傾き角度をもつようにカメラ本体が傾いたときの、当該カメラ本体の姿勢を検出することが好ましい。

前記姿勢検出手段は、互いに対応する前記対応点の、それぞれの前記各撮影画像内での垂直方向位置を比較することにより、カメラ本体の姿勢を検出することが好ましい。

前記対応点抽出手段は、前記各撮影画像からそれぞれ前記対応点を複数抽出し、前記姿勢検出手段は、複数の互いに対応する前記対応点の位置を比較することにより、カメラ本体の姿勢を検出することが好ましい。

前記対応点抽出手段の抽出結果に基づき、複数の互いに対応する前記対応点間の視差を算出する視差算出手段を備え、前記姿勢検出手段は、複数の互いに対応する前記対応点の位置の比較結果に対して、それぞれ前記視差の大きさに応じた重み付けを行い、重み付け後の前記各比較結果に基づき、カメラ本体の姿勢を検出することが好ましい。

前記対応点抽出手段は、前記各撮影画像からそれぞれ前記対応点を複数抽出し、前記対応点抽出手段の抽出結果に基づき、複数の互いに対応する前記対応点間の視差を算出する視差算出手段を備え、前記姿勢検出手段は、複数の互いに対応する前記対応点の中で、最も視差が大きくなる前記対応点同士の位置を比較することにより、カメラ本体の姿勢を検出することが好ましい。

前記画像記憶手段は、前記ずれ量の大きさが予め定めた第１しきい値以下となるような、前記撮影画像グループに振り分けられた前記各撮影画像を記憶することが好ましい。

前記複数の撮影画像グループには、前記ずれ量が、前記第１しきい値を上回り、かつ当該第１しきい値よりも大きな第２しきい値以下となる前記各撮影画像が振り分けられる第１撮影画像グループが含まれており、前記第１撮影画像グループに振り分けられた前記各撮影画像に対して、前記ずれ量が前記第１しきい値以下となるように画像処理を施す画像処理手段を備えることが好ましい。

前記画像処理手段は、前記各撮影画像から互いに重複して撮影されている画像範囲を切り出すトリミング処理を行うことが好ましい。

複数回の撮影を連続して行う連写撮影モードを有し、前記複数の撮影画像グループには、前記連写撮影モード時に得られた前記各撮影画像の中で、前記ずれ量が最小となる前記各撮影画像が振り分けられる第２撮影画像グループが含まれており、前記画像記憶手段は、前記第２撮影画像グループに振り分けられた前記各撮影画像を記憶することが好ましい。

前記対応点抽出手段は、前記被写体が人物の場合、前記各撮影画像からそれぞれ人物の顔を検出し、検出した各顔画像から前記対応点を抽出することが好ましい。

前記対応点抽出手段は、前記被写体が建物の場合、前記各撮影画像からそれぞれ建物を抽出し、検出した各建物画像から前記対応点を抽出することが好ましい。

また、本発明の複眼撮影装置の姿勢検出方法は、カメラ本体に一体に組み込まれた複数の撮像部により、被写体を撮影する撮影ステップと、前記撮影ステップで得られた各撮影画像から、当該各撮影画像にそれぞれ存在する共通の特徴的な点を示す対応点を抽出する対応点抽出ステップと、前記各撮影画像のそれぞれにおける、互いに対応する前記対応点の位置を比較することにより、前記各撮影画像の撮影時におけるカメラ本体の姿勢を検出する姿勢検出ステップと、を有することを特徴とする。

本発明の複眼撮影装置及びその姿勢検出方法は、複数の撮像手段により得られた各撮影画像からそれぞれ対応点を抽出し、抽出した対応点の位置の比較した結果に基づき、カメラ本体の姿勢を検出するようにしたので、カメラ本体に姿勢検知センサ等を設けることなく、低コストにカメラ本体の姿勢を検出することができる。

予め定めたカメラ本体の基準姿勢と、撮影時のカメラ本体の姿勢とのずれ量を求め、求めたずれ量の大きさに応じて各撮影画像を複数の撮影画像グループのいずれかに振り分けるようにしたので、記憶媒体に記憶された個々の各撮影画像ついて、カメラ本体が傾き姿勢にあるときに撮影された不具合のある画像であるか否かの判別を容易に行うことができる。

各撮影画像からそれぞれ複数の対応点を抽出し、これら複数の互いに対応する対応点の位置を比較してカメラ本体の姿勢を検出することで、１組の対応点の位置の比較結果に基づいてずれ量を決定した場合と比較して、精度よくずれ量を求めることができる。

複数の互いに対応する対応点の位置の比較結果に対して、視差の大きさに応じた重み付けを行うようにしたので、最至近の被写体から抽出された対応点の位置の比較結果、つまり、カメラ本体の姿勢をより正確に反映した対応点の位置の比較結果が重視されるため、より精度よくずれ量を求めることができる。

複数の互いに対応する対応点の中で、最も視差が大きくなる対応点同士の位置の比較結果、つまり、カメラ本体の姿勢を最も正確に反映した対応点の位置の比較結果に基づき、カメラ本体の姿勢を検出することにより、簡単かつ精度よくずれ量を求めることができる。

ずれ量が、第１しきい値以上でかつ第２しきい値未満となる前記各撮影画像に対して、ずれ量が第１しきい値以下となるように画像処理を施すことにより、カメラ本体が傾き姿勢にあるときに撮影を行った場合でも不具合のない画像が得られる。

連写撮影モード時に、ずれ量が最小となる各撮影画像を選択して記憶媒体に記憶させるようにしたので、記憶媒体に記憶される画像のデータ量を減らすことができる。

本発明の複眼カメラの正面斜視図である。 複眼カメラの背面斜視図である。 複眼カメラの電気的構成を示すブロック図である。 図３の記憶制御部の機能ブロック図である。 顔画像からの特徴点及び対応点の抽出方法を説明するための説明図である。 振分部による振り分け処理の条件を説明するための説明図である。 ステレオ撮影を行う際の処理の流れを説明するためのフローチャートである。 基準姿勢でステレオ撮影が行われた場合の処理を説明するための説明図である。 傾き姿勢でステレオ撮影が行われた場合の処理を説明するための説明図である。 トリミング処理を説明するための説明図である。 連写撮影モード時における処理の流れを説明するためのフローチャートである。 連写撮影モード時において、特殊振分処理を実行する際の処理の流れを説明するための説明図である。 建物画像からの特徴点及び対応点の抽出方法を説明するための説明図である。 フレーミング用のガイド表示を説明するための説明図である。

図１に示すように、複眼カメラ１０のカメラ本体１１の前面には、左右一対の第１及び第２撮像部１２，１３、ストロボ発光部１４等が設けられている。両撮像部１２，１３は、カメラ本体１１に一体に組み込まれており、互いの光軸が略平行またはハ字状となるように所定間隔を隔てて設けられている。なお、図中のカメラ本体１１は、各撮像部１２，１３の配列方向が水平線に対して略平行となる基準姿勢にある。カメラ本体１１の上面には、シャッタボタン１５、電源スイッチ１６が設けられている。

図２に示すように、カメラ本体１１の背面には、液晶ディスプレイ（以下、ＬＣＤという）１８、操作部１９が設けられている。また、カメラ本体１１の底面には、図示は省略するが、メモリカード（撮影画像記憶手段、記憶媒体）２０が着脱自在に装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

ＬＣＤ１８は、撮影待機状態時には電子ビューファインダとして機能し、スルー画像（ライブビュー画像ともいう）を表示する。なお、スルー画像表示とは、各撮像部１２，１３がそれぞれ所定のフレームレートで撮像した画像を即時にＬＣＤ１８に表示することである。また、画像再生時にはメモリカード２０に記録されている画像データに基づき、ＬＣＤ１８に画像が再生表示される。

操作部１９は、モード切替スイッチ２２、メニューボタン２３、十字キー２４、実行キー２５などから構成されている。モード切替スイッチ２２は、複眼カメラ１０の動作モードを切り替える際に操作される。動作モードには、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、及び撮影により得られた撮影画像をＬＣＤ１８に再生表示する再生モードなどある。静止画撮影モードでは、例えば立体視用の左視点画像（以下、基準画像という）と右視点画像（以下、参照画像という）とを撮影する。なお、右視点画像が基準画像であって、左視点画像が参照画像であってもよい。

メニューボタン２３は、ＬＣＤ１８にメニュー画面や設定画面を表示する際などに操作される。十字キー２４は、メニュー画面や設定画面内に表示されるカーソルを移動する際などに操作される。実行キー２５は、カメラの設定を確定する際などに操作される。

図３に示すように、ＣＰＵ３３は、シャッタボタン１５及び操作部１９からの入力信号に基づき、図示しないＲＯＭから読み出した各種プログラムやデータを逐次実行することで、複眼カメラ１０の各部を統括的に制御する。

ＳＤＲＡＭ３４は、ＣＰＵ３３が処理を実行するためのワークメモリとして機能する。ＶＲＡＭ３５は、連続した２フィールド画分を記憶するスルー画像用のメモリエリアを有し、表示用の画像データを一時的に記憶する。

第１撮像部１２は、撮影レンズ３７が組み込まれたレンズユニット３８、ＣＣＤイメージセンサ（以下、ＣＣＤという）３９、ＡＦＥ（アナログフロントエンド）４０などから構成される。なお、ＣＣＤの代わりにＭＯＳ型のイメージセンサを用いてもよい。

レンズユニット３８には、図示しないズーム機構、フォーカス機構、絞り装置が組み込まれている。ズーム機構は、撮影レンズ３７を移動してズーミングを行う。フォーカス機構は、撮影レンズ３７に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ３９に入射する被写体光の強度を調節する。ズーム機構、フォーカス機構、絞り装置は、レンズドライバ４１を介してＣＰＵ３３によって動作制御される。

撮影レンズ３７の背後には、多数のフォトダイオードが受光面に並べられたＣＣＤ３９が配置され、撮影レンズ３７からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ３９には、ＣＰＵ３３によって制御されるＣＣＤドライバ４２が接続されている。ＣＣＤドライバ４２は、ＴＧ（Timing Generator）４３からの同期パルスによって駆動され、ＣＣＤ３９の電荷蓄積時間と電荷読み出し転送タイミングを制御する。

ＣＣＤ３９から出力された撮像信号は、ＡＦＥ４０に入力される。ＡＦＥ４０は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器から構成され、ＴＧ４３からの同期パルスが入力されることで、ＣＣＤ３９の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ３３によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログの撮像信号をデジタルな基準画像信号に変換し、変換した基準画像信号を画像入力コントローラ４５へ送る。

第２撮像部１３は、第１撮像部１２と同じ構成であり、レンズユニット４７、ＣＣＤ４８、ＡＦＥ４９、レンズドライバ５０、ＣＣＤドライバ５１、ＴＧ５２などから構成され、参照画像信号を画像入力コントローラ４５へ送る。

ＣＰＵ３３には、バス５４を介して、ＳＤＲＡＭ３４、ＶＲＡＭ３５、画像入力コントローラ４５、信号処理回路５６、ＡＦ検出回路５７、ＡＥ／ＡＷＢ検出回路５８、トリミング処理回路（画像処理手段）５９、圧縮伸張処理回路６０、メディアコントローラ６１、表示回路６２等が接続されている。

画像入力コントローラ４５は、所定容量のバッファを有しており、第１及び第２撮像部１２，１３からそれぞれ出力された基準，参照画像信号を蓄積し、それぞれ１フレーム分の基準，参照画像信号が蓄積されたときに、１フレーム分の画像に対応する基準，参照画像信号を信号処理回路５６へ送る。

信号処理回路５６は、画像入力コントローラ４５からの基準，参照画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことで、それぞれ１フレームの画像に対応する基準，参照画像データを生成し、これらをＶＲＡＭ３５に格納する。

ＡＦ検出回路５７は、画像入力コントローラ４５からの基準，参照画像信号に基づき、基準，参照画像ごとにコントラストを評価したＡＦ評価値を算出する。ＣＰＵ３３は、ＡＦ検出回路５７からのＡＦ評価値に基づき、レンズドライバ４１，５０を制御して、撮影レンズ３７のピント調節を行う。

ＡＥ／ＡＷＢ検出回路５８は、基準，参照画像信号に基づき、被写体輝度の検出と、ホワイトバランス補正に用いられるＷＢ評価値の算出とを行う。ＣＰＵ３３は、ＡＥ／ＡＷＢ検出回路５８からの被写体輝度情報に基づき、レンズドライバ４１，５０やＣＣＤドライバ４２，５１を制御して、露出制御を行う。また、ＣＰＵ３３は、ＡＥ／ＡＷＢ検出回路５８からのＷＢ評価値に基づき、被写体像のホワイトバランスが適正となるように、信号処理回路５６を制御する。

トリミング処理回路５９は、ＣＰＵ３３の制御の下に、ＶＲＡＭ３５から基準，参照画像データを読み出して、ＣＰＵ３３が指定した画像範囲（領域）を基準，参照画像データから切り出す。

圧縮伸張処理回路６０は、シャッタボタン１５が押下された時に、ＶＲＡＭ３５に格納された非圧縮の基準，参照画像データに圧縮処理を行い、所定のファイル形式の基準，参照圧縮画像データを生成する。また、圧縮伸張処理回路６０は、画像再生時にはメモリカード２０に記録された基準，参照圧縮画像データに伸張処理を行い、非圧縮の基準，参照画像データを生成する。メディアコントローラ６１は、メモリカード２０に対する画像データの記録、及び読み出しなどを行う。

表示回路６２は、ＶＲＡＭ３５から読み出した基準画像データ、または圧縮伸張処理回路６０で伸張された非圧縮の基準，参照画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ１８へ出力する。これにより、各撮影モード時には、基準画像がスルー画像としてＬＣＤ１８に表示される。また、通常再生モード時には、メモリカード２０から読み出された画像データがＬＣＤ１８に表示される。なお、基準，参照画像をそれぞれスルー画像としてＬＣＤ１８に２画面表示してもよい。

ＣＰＵ３３は、ＲＯＭから読み出した各種プログラムを逐次実行することで、メモリカード２０への撮影画像データの記憶を制御する記憶制御部６４として機能する。記憶制御部６４は、撮影指示がなされたときに、新たにメモリカード２０に記憶される基準，参照画像データを解析して、ステレオ撮影時におけるカメラ本体１１の姿勢を検出するとともに、この検出結果に応じて基準，参照画像データを別々に振り分けてメモリカード２０に記憶させる。

図４に示すように、記憶制御部６４は、特徴点抽出部６６、対応点抽出部６７、位置情報取得部６８、姿勢算出部６９、視差算出部７０、姿勢ずれ量決定部７１、及び振分部７２からなる。

特徴点抽出部６６及び対応点抽出部６７は、本発明の対応点抽出手段に相当するものである。特徴点抽出部６６は、基準画像データを解析して、この基準画像データから特徴的な点を示す特徴点７４（図５参照）を検出する。この特徴点抽出部６６は、顔領域検出機能を有している。

図５に示すように、特徴点抽出部６６は、基準画像データ７５Ｌから人物Ａ，Ｂの顔を検出し、検出した顔の周辺領域を顔領域７６とする。なお、顔検出方法としては、例えば、色相検出または肌色検出による顔領域検出法等の公知の各種方法を利用することができる。次いで、特徴点抽出部６６は、顔領域７６内から複数の特徴点７４を抽出する。特徴点７４は、顔領域７６内における画素値の変化が特徴的な点（画素）であり、特に水平及び垂直方向で画素値変化がある角（コーナ）、端点などが好ましい。特徴点抽出法としては、例えば、Ｈａｒｒｉｓの手法、Ｍｏｒａｖｅｃの手法、Ｓｈｉ−Ｔｏｍａｓｉの手法などがあり、これらのいずれを用いてもよい。

対応点抽出部６７は、特徴点抽出部６６による特徴点抽出結果に基づき、基準，参照画像データ７５Ｌ，７５Ｒを解析して、各特徴点７４にそれぞれ対応する対応点７７の位置を検出する。対応点検出方法としては、例えば、ブロックマッチング方式、ＫＬＴ−Ｔｒａｃｋｅｒ方式などがあり、これらのいずれを用いてもよい。なお、特徴点７４及び対応点７７は、それぞれ本発明の対応点に相当するものである。

図４に戻って、位置情報取得部６８は、特徴点抽出結果と対応点抽出結果とに基づき、基準画像内における各特徴点７４の位置座標（ｘ，ｙ）と、参照画像内における各対応点７７の位置座標（ｘ，ｙ）と、特徴点７４及び対応点７７の対応関係と、を示す対応座標リスト７８を形成する。なお、ｘ，ｙ座標は、例えば基準，参照画像の左下隅の画素を原点としたときの座標である。

姿勢算出部６９は、対応座標リスト７８に基づき、個々の互いに対応する特徴点７４及び対応点７７（以下、単に「特徴・対応点７４，７７」という）のｙ座標の差分をそれぞれ求める。このｙ座標の差分値は、カメラ本体１１の姿勢を表す値となる。例えば、両撮像部１２，１３の配列方向が水平線に対して傾き角度をもつようにカメラ本体１１が傾いた姿勢（以下、単に傾き姿勢という）でステレオ撮影が行われた場合、この撮影により得られた基準，参照画像データ７５Ｌ，７５Ｒでは、特徴・対応点７４，７７のｙ座標値にずれが生じる。このｙ座標値のずれ（差分値）は、カメラ本体１１の傾きが大きくなるのに従って大きくなる。

視差算出部７０は、対応座標リスト７８に基づき、各特徴・対応点７４，７７の視差の大きさをそれぞれ求める。具体的には、各特徴・対応点７４，７７のｘ座標の差分を、視差の大きさ（視差量）として求める。

姿勢ずれ量決定部７１は、各特徴・対応点７４，７７のｙ座標の差分値、及び視差量に基づき、ステレオ撮影時におけるカメラ本体１１の姿勢と、上述の基準姿勢とのずれ量（以下、姿勢ずれ量という）を決定する。カメラ本体１１の姿勢は、各特徴・対応点７４，７７のｙ座標の差分値で表されるが、各特徴・対応点７４，７７が抽出された被写体が複数存在する場合には、ｙ座標の差分値にばらつきが生じる。

具体的には、カメラ本体１１の傾き角度が同じであっても、遠距離側の被写体から抽出された特徴・対応点７４，７７のｙ座標の差分値よりも、近距離側の被写体から抽出された特徴・対応点７４，７７のｙ座標の差分値の方が大きくなる。これは、後者の方がカメラ本体１１の姿勢の傾きをより正確に反映した値となるためである。各特徴・対応点７４，７７のうち、いずれの点がより近距離側の被写体から抽出されたかについては、より近距離側の被写体から抽出された特徴・対応点７４，７７の方が視差量の値が大きくなるため、視差量の大きさを比較することで判別可能である。

そこで、姿勢ずれ量決定部７１は、個々の特徴・対応点７４，７７のｙ座標の差分値に対して、視差量の大きさに応じた重み付け処理を行う。具体的には、視差量の大きな特徴・対応点７４，７７のｙ座標の差分値をより重視するため、特徴・対応点７４，７７の視差量が大きくなるのに従い、より値の大きな重み付け係数でｙ座標の差分値を重み付けする。次いで、姿勢ずれ量決定部７１は、重み付けされた各ｙ座標の差分値に基づき、姿勢ずれ量を求める。

例えば、視差量を考慮しない場合には、特徴点ｉの基準画像の位置を（ｘ１ｉ，ｙ１ｉ）、参照画像の位置を（ｘ２ｉ，ｙ２ｉ）とし、重み付け係数をＡｉとしたときに、姿勢ずれ量Ｗは下記式（１）で表される。
式（１）：姿勢ずれ量Ｗ＝｛ΣＡｉ×｜ｙ１ｉ−ｙ２ｉ｜｝／ΣＡｉ
この式（１）は、重み付けを行わない場合に、Ｗ＝Σ｜ｙ１ｉ−ｙ２ｉ｜／ｎとなり、各ｙ座標の差分値の単純平均となる。

このように、視差量を考慮しない場合の姿勢ずれ量が式（１）のように表されるため、視差量を考慮した場合には、視差量∝｜ｘ１ｉ−ｘ２ｉ｜から、姿勢ずれ量Ｗは下記式（２）のように表される。ここで、式（２）中のＢｉは、視差量を考慮した場合の重み付け係数である。
式（２）：姿勢ずれ量Ｗ＝｛ΣＢｉ×｜ｘ１ｉ−ｘ２ｉ｜×｜ｙ１ｉ−ｙ２ｉ｜｝／｛ΣＢｉ×｜ｘ１ｉ−ｘ２ｉ｜｝

振分部７２は、基準，参照画像データ７５Ｌ，７５Ｒから求められた姿勢ずれ量に基づき、この基準，参照画像データ７５Ｌ，７５Ｒを、姿勢ずれ量の大きさに応じて区分された複数の撮影画像グループのいずれかに振り分ける。撮影画像グループは、ＯＫ画像グループと、トリミング処理グループ（第１撮影画像グループ）と、ＮＧ画像グループとからなる。振分部７２には、振分処理を行うために、しきい値１と、しきい値１よりも値が大きいしきい値２とが予め登録されている。

しきい値１は、立体視に問題のない基準，参照画像データ７５Ｌ，７５Ｒが得られる姿勢ずれ量の最大値である。また、しきい値２は、そのままでは立体視に不具合が生じるが、トリミング処理により立体視が可能になるような基準，参照画像データ７５Ｌ，７５Ｒが得られる姿勢ずれ量の最大値である。なお、姿勢ずれ量がしきい値２を上回った場合は、カメラ本体１１の傾きが大きく、基準，参照画像データ７５Ｌ，７５Ｒにトリミング処理等の画像処理を行ったとしても、立体視に不具合が生じる。

図６に示すように、振分部７２は、姿勢ずれ量がしきい値１以下の場合、基準，参照画像データ７５Ｌ，７５ＲをＯＫ画像グループに振り分ける。また、振分部７２は、姿勢ずれ量がしきい値１を上回るがしきい値２以下の場合、基準，参照画像データ７５Ｌ，７５Ｒをトリミング処理グループに振り分ける。さらに、振分部７２は、姿勢ずれ量がしきい値２を上回る場合、基準，参照画像データ７５Ｌ，７５ＲをＮＧ画像グループに振り分ける。

図４に戻って、ＯＫ画像グループに振り分けられた基準，参照画像データ７５Ｌ，７５Ｒは、メモリカード２０内のＯＫ画像格納部２０ａに記憶される。トリミング処理グループに振り分けられた基準，参照画像データ７５Ｌ，７５Ｒは、トリミング処理回路５９に送られる。また、ＮＧ画像グループに振り分けられた基準，参照画像データ７５Ｌ，７５Ｒ（以下、適宜「ＮＧ画像データ」という）は、メモリカード２０内のＮＧ画像格納部２０ｂに記憶、あるいは破棄される。なお、ＮＧ画像データを破棄するか否かは、操作部１９で設定される。

メモリカード２０に記憶された基準，参照画像データ７５Ｌ，７５Ｒは、図示しない立体画像表示装置にて再生される。

次に、図７に示すフローチャートを用いて、上記構成の複眼カメラ１０でステレオ撮影を行う際の処理の流れについて説明する。複眼カメラ１０の電源がＯＮされると、ＣＰＵ３３がＲＯＭから制御プログラムをロードし、複眼カメラ１０の動作制御を開始する。次いで、ステレオ撮影を行う場合には、モード切替スイッチ２２を静止画撮影モードに設定する。

静止画撮影モードが設定されると、各撮像部１２，１３の撮影レンズ３７を介して入射された被写体光は、ＣＣＤ３９，４８において光電変換され、さらにＡＦＥ４０，４９においてデジタル画像信号に変換される。各撮像部１２，１３から出力された基準，参照画像信号は、画像入力コントローラ４５を介して信号処理回路５６に送られて各種の画像処理が施される。こうして１フレーム分の基準，参照画像データが所定のフレームレートでＶＲＡＭ３５に逐次格納される。ＣＰＵ３３は、表示回路６２に対してスルー画像表示指令を発する。

表示回路６２は、スルー画像表示指令を受けて、ＶＲＡＭ３５から基準画像データ７５Ｌを読み出し、基準画像をスルー画像としてＬＣＤ１８に表示させる。被写体のフレーミング後に、シャッタボタン１５が半押しされると、ＡＦ検出回路５７及びＡＥ／ＡＷＢ検出回路５８が作動して焦点制御や露出制御などの撮影準備処理が行われ、撮影準備状態となる。

撮影準備完了後、シャッタボタン１５の全押し操作に応答してステレオ撮影が実行される。ＣＣＤ３９，４８からそれぞれ１フレーム分の画像信号が読み出され、ＡＦＥ４０，４９及び信号処理回路５６にて所定の信号処理が施され、基準，参照画像データ７５Ｌ，７５ＲがＶＲＡＭ３５に格納される。

ＣＰＵ３３の記憶制御部６４は、信号処理回路５６により新たな基準，参照画像データ７５Ｌ，７５ＲがＶＲＡＭ３５に格納されるたびに、この基準，参照画像データ７５Ｌ，７５ＲをＶＲＡＭ３５から読み出す。特徴点抽出部６６は、基準画像データ７５Ｌを解析して、顔領域７６を検出した後、この顔領域７６から複数の特徴点７４を抽出する。また、対応点抽出部６７は、参照画像データ７５Ｒから各特徴点７４に対応する対応点７７をそれぞれ抽出する。特徴点抽出部６６及び対応点抽出部６７は、抽出結果をそれぞれ位置情報取得部６８へ送る。

位置情報取得部６８は、特徴点抽出部６６及び対応点抽出部６７からそれぞれ入力される抽出結果に基づき、基準，参照画像内における各特徴点７４及び各対応点７７の位置座標を求めて、対応座標リスト７８を作成する。位置情報取得部６８は、作成した対応座標リスト７８を姿勢算出部６９と視差算出部７０とにそれぞれ送る。

姿勢算出部６９は、対応座標リスト７８に基づき、基準，参照画像内における、各特徴・対応点７４，７７のｙ座標値の差分を求める。図８に示すように、カメラ本体１１が基準姿勢にあるときに撮影された基準，参照画像データ７５Ｌ，７５Ｒでは、視差の影響により、各特徴・対応点７４，７７のｘ座標値（ｘ１，ｘ２）にずれが生じるのに対し、ｙ座標値（ｙ１，ｙ２）はほぼ同じ値となる。

これに対して、図９に示すように、カメラ本体１１が傾き姿勢にあるときに撮影された基準，参照画像データ７５Ｌ，７５Ｒでは、特徴・対応点７４，７７のｙ座標値にもずれ（Δｙ）が生じる。従って、カメラ本体１１に姿勢検知センサを設けることなく、ｙ座標の差分値に基づき、カメラ本体の姿勢が基準姿勢または傾き姿勢のいずれであるかを判別することができる。さらに、後者の場合には、ｙ座標の差分値に基づき傾きの大きさも判別することができる。姿勢検知センサが不要となり、部品数を減らすことができるので、複眼カメラ１０の製造コストを下げることができる。姿勢算出部６９は、各特徴・対応点７４，７７のｙ座標値の差分算出結果を姿勢ずれ量決定部７１へ送る。

図７に戻って、視差算出部７０は、対応座標リスト７８に基づき、基準，参照画像内における、各特徴・対応点７４，７７の視差量（ｘ座標の差分値）を求め、求めた視差量算出結果を姿勢ずれ量決定部７１へ送る。

姿勢ずれ量決定部７１は、最初に、視差算出部７０からの視差算出結果に基づき、各特徴・対応点７７の視差量を比較する。そして、視差量の大きい特徴・対応点７４，７７ほどより値の大きい重み付け係数が割り当てられるように、各特徴・対応点７４，７７にそれぞれ割り当てる重み付け係数を決定する。

次いで、姿勢ずれ量決定部７１は、各特徴・対応点７４，７７のｙ座標の差分値に対して、それぞれ先に決定した重み付け係数で重み付けを行った後、重み付けされた各ｙ座標の差分値に基づき姿勢ずれ量を求める。複数組の特徴・対応点７４，７７のｙ座標の差分値に基づき、姿勢ずれ量を決定することで、１組の特徴・対応点のｙ座標の差分値に基づき姿勢量を決定した場合と比較して、精度よく姿勢ずれ量を求めることができる。

さらに、視差量の大きさに応じて各ｙ座標の差分値に重み付けを行うことにより、近距離側の被写体から抽出された特徴・対応点７４，７７のｙ座標の差分値、つまり、カメラ本体１１の姿勢の傾きをより正確に反映したｙ座標の差分値が重視されるため、より精度よく姿勢ずれ量を求めることができる。姿勢ずれ量決定部７１は、求めた姿勢ずれ量を振分部７２へ送る。

振分部７２は、姿勢ずれ量決定部７１から入力された姿勢ずれ量と、しきい値１及びしきい値２とを比較する。振分部７２は、姿勢ずれ量がしきい値１以下となる場合、基準，参照画像データ７５Ｌ，７５ＲをＯＫ画像グループに振り分ける。ＯＫ画像グループに振り分けられた基準，参照画像データ７５Ｌ，７５Ｒは、圧縮伸張処理回路６０にて所定のファイル形式で圧縮処理された後、メディアコントローラ６１によりＯＫ画像格納部２０ａに格納される。

振分部７２は、姿勢ずれ量がしきい値１を上回るがしきい値２以下となる場合、基準，参照画像データ７５Ｌ，７５Ｒをトリミング処理グループに振り分ける。トリミング処理グループに振り分けられた基準，参照画像データ７５Ｌ，７５Ｒは、トリミング処理回路５９に送られる。

図１０（Ａ）に示すように、ＣＰＵ３３は、先に姿勢算出部６９で算出された各特徴・対応点７４，７７のｙ座標の差分値に基づき、基準，参照画像の互いに重複して撮影されている範囲（斜線表示されていない範囲）を、トリミング範囲として決定する。次いで、ＣＰＵ３３は、決定したトリミング範囲情報をトリミング処理回路５９へ送るとともに、トリミング処理回路５９に対してトリミング指令を発する。

（Ｂ）に示すように、トリミング処理回路５９は、トリミング指令を受けて、ＣＰＵ３３が指定したトリミング範囲をそれぞれ基準，参照画像データ７５Ｌ，７５Ｒから切り出して、基準，参照切出画像データ８０Ｌ，８０Ｒを生成する。基準，参照切出画像データ８０Ｌ，８０Ｒでは、トリミング処理前よりも、各特徴・対応点７４，７７のｙ座標の差分値が大幅に減少する。これにより、姿勢ずれ量がしきい値１以下になるように補正されたのと同じことになるので、立体視が可能となる。その結果、カメラ本体１１が傾き姿勢にあるときにステレオ撮影を行った場合でも、立体視に問題のない画像が得られる。

図７に戻って、基準，参照切出画像データ８０Ｌ，８０Ｒは、圧縮伸張処理回路６０にて圧縮処理された後、メディアコントローラ６１によりＯＫ画像格納部２０ａに格納される。

振分部７２は、姿勢ずれ量がしきい値２を上回る場合、基準，参照画像データ７５Ｌ，７５ＲをＮＧ画像グループに振り分ける。操作部１９にてＮＧ画像データを残す旨の設定がなされている場合、このＮＧ画像データは、圧縮処理された後でＮＧ画像格納部２０ｂに格納される。また、操作部１９にてＮＧ画像データを破棄する旨の設定がなされている場合、このＮＧ画像データは破棄される。

以下、静止画撮影モードが設定されている間、シャッタボタン１５の全押し操作がなされる度に上述の一連の処理が繰り返し実行される。ステレオ撮影により得られた基準，参照画像データの中で立体視に不具合のないものはＯＫ画像格納部２０ａに順次格納されるとともに、不具合があるものはＮＧ画像格納部２０ｂに格納あるいは破棄される。立体視に不具合ない画像と不具合がある画像とを振り分けて記憶させることができるので、メモリカード２０に記憶された基準，参照画像データの中から、立体視に不具合のない基準，参照画像を容易に判別することができる。

なお、立体視に不具合のあるＮＧ画像データも容易に判別することができるので、このＮＧ画像データのタグにＮＧ画像である旨の付帯情報を付しておき、別の立体画像表示装置等で立体表示する際にＮＧ画像データである旨の警告を行えるようにしてもよい。

次に、本発明の第２実施形態の複眼カメラについて説明を行う。この第２実施形態の複眼カメラは、動作モードとして、複数回の撮影を連続して行う連写撮影モードを有している点を除けば、基本的に上記第１実施形態の複眼カメラ１０と同じ構成であり、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

また、第２実施形態の複眼カメラでは、連写撮影モード時に、連写撮影により得られた個々の基準，参照画像データ７５Ｌ，７５Ｒをそれぞれ上述の各グループのいずれかに振り分ける通常振分処理と、最も姿勢ずれ量の小さい基準，参照画像データ７５Ｌ，７５ＲをＯＫ画像グループ（第２撮影画像グループに相当）に振り分け、他はＮＧ画像グループに振り分ける特殊振分処理とを選択的に実行することができる。なお、通常振分処理と特殊振分処理とのいずれを実行するかは、操作部１９で設定される。

図１１に示すように、モード切替スイッチ２２が連写撮影モードに設定された場合、シャッタボタン１５が全押しされると、一定間隔で連続的に上述の撮影動作が行われ、得られた基準，参照画像データ７５Ｌ，７５Ｒは順次ＶＲＡＭ３５に格納される。この際に、操作部１９で通常振分処理が設定されている場合、記憶制御部６４によりＶＲＡＭ３５に新たに格納された基準，参照画像データ７５Ｌ，７５Ｒが逐次読み出され、上述の第１実施形態で説明したように、姿勢ずれ量の決定処理（特徴点抽出処理等は図示を省略）、振分処理、トリミング処理、記憶または破棄処理が逐次実行される。

また、図１２に示すように、特殊振分処理が設定されている場合は、ＶＲＡＭ３５に新たに格納された基準，参照画像データ７５Ｌ，７５Ｒが逐次読み出されて、姿勢ずれ量の決定処理が行われた後、この基準，参照画像データ７５Ｌ，７５Ｒのタグに姿勢ずれ量の値が付帯情報として付加される。この付加後の基準，参照画像データ７５Ｌ，７５Ｒは、ＳＤＲＡＭ３４（ＶＲＡＭ３５でも可）等に一時的に格納される。以下、シャッタボタン１５の全押しが継続している間、上述の処理が繰り返し実行され、ＳＤＲＡＭ３４に基準，参照画像データ７５Ｌ，７５Ｒが順次格納される。

シャッタボタン１５の全押しが解除されると、振分部７２は、ＳＤＲＡＭ３４に格納された各基準，参照画像データ７５Ｌ，７５Ｒのタグを参照して、最も姿勢ずれ量が小さくなる基準，参照画像データ７５Ｌ，７５Ｒを検索する。次いで、振分部７２は、検索した基準，参照画像データ７５Ｌ，７５ＲをＯＫ画像グループに振り分ける。この基準，参照画像データ７５Ｌ，７５Ｒは、圧縮処理された後でＯＫ画像格納部２０ａに格納される。

また、振分部７２は、ＳＤＲＡＭ３４に格納されている残りの基準，参照画像データ７５Ｌ，７５ＲをＮＧ画像グループに振り分ける。これら基準，参照画像データ７５Ｌ，７５Ｒは全て破棄される。これにより、最も姿勢ずれ量が小さい基準，参照画像データ７５Ｌ，７５Ｒ、つまり、最も立体視に適した基準，参照画像データ７５Ｌ，７５Ｒを選択して記憶することができる。その結果、メモリカード２０に記憶される画像データのデータ量を減らすことができる。なお、ＮＧ画像グループに振り分けられた基準，参照画像データ７５Ｌ，７５Ｒを破棄する代わりに、第１実施形態と同様に、ＮＧ画像格納部２０ｂに格納してもよい。

上記実施形態では、被写体が人物の場合を例に挙げて説明を行ったが、例えば建物であってもよい。特に建物（建造物、人工物を含む）の画像には、水平及び垂直方向で画素値変化があるコーナや端点が多いため、特徴点７４を抽出し易いという利点がある。この場合は、上述の特徴点抽出部６６は、顔領域検出機能に加えて建物領域検出機能を有している。

図１３に示すように、特徴点抽出部６６は、基準画像データ７５Ｌから建物Ｃを検出し、検出した建物Ｃの周辺領域を建物領域８３とする。特徴点抽出部６６は、例えば、予め登録された各種の建物パターン（建物の各部のパターンを含む）のテンプレートデータを用いてパターンマッチング処理を行うことにより、建物Ｃを検出する。なお、パターンマッチング以外の公知の各種方法を用いてもよい。建物領域８３内から特徴点７４を抽出する方法は、上記第１実施形態で説明した各種の特徴点抽出法が用いられる。また、参照画像データ７５Ｒから対応点７７を抽出する方法も、上記第１実施形態と同じであるため説明は省略する。

上記実施形態では、被写体として人物や建物を例に挙げて説明を行ったが、これら以外の各種物体が被写体となっている場合にも、本発明を適用することができる。

上記実施形態では、ＬＣＤ１８に表示されるスルー画像を確認しながらフレーミングを行うが、この際に、スルー画像にフレーミング用のガイド表示を行ってもよい。例えば、図１４に示すように、スルー画像に、水平基準線８６及びこれに垂直な垂直基準線８７を重畳表示する。複眼カメラ１０が傾き姿勢にある場合には、ＬＣＤ１８の画面上で、被写体の水平エッジ及び垂直エッジに対してそれぞれ水平基準線８６、垂直基準線８７が傾き角をもつ。このため、撮影者に対して、カメラ本体１１の姿勢調整を促すことができる。

なお、フレーミング用のガイド表示の方法は特に限定されず、例えば格子線を表示してもよい。また、例えば、上述の姿勢ずれ量決定部７１により求められた姿勢ずれ量の値をスルー画像に重畳表示してもよい。

上記実施形態では、個々の特徴・対応点７４，７７のｙ座標の差分値に対して、視差量の大きさに応じた重み付け処理を行ってから姿勢ずれ量を求めているが、例えば、視差量の最も大きな特徴・対応点７４，７７、つまり、最至近の被写体から抽出された特徴・対応点７４，７７のｙ座標の差分値を、姿勢ずれ量としてもよい。この場合は、重み付け処理を行う場合よりも、姿勢ずれ量の決定処理を簡単（短時間）に行うことができる。

上記実施形態では、基準，参照画像内の全人物または建物の特徴点７４及び対応点７７を抽出しているが、例えば、画像中央領域の人物や建物等を主要被写体として決定し、その周辺領域を主要被写体領域として、この主要被写体領域内から特徴点７４及び対応点７７の抽出を行ってもよい。

上記実施形態の位置情報取得部６８は、基準，参照画像内における各特徴点７４、各対応点７７の位置座標（ｘ，ｙ）を取得しているが、例えばＣＣＤ３９、４８における、特徴点７４及び対応点７７にそれぞれ対応する光を受光した受光画素の画素位置を位置座標（ｘ，ｙ）として取得してもよい。

上記実施形態の姿勢算出部６９は、カメラ本体１１の姿勢を表す値として、特徴・対応点７４，７７のｙ座標の差分値を算出しているが、特徴・対応点７４，７７の位置座標に基づきカメラ本体１１の姿勢を求めることが可能であれば、その方法は特に限定されない。

上記実施形態では、姿勢ずれ量がしきい値１を上回るがしきい値２以下となる場合、基準，参照画像データ７５Ｌ，７５Ｒにトリミング処理を施しているが、トリミング処理以外の各種画像処理方法を用いて、姿勢ずれ量がしきい値１以下となる基準，参照画像データを生成してもよい。また、姿勢ずれ量がしきい値１を上回る場合は、基準，参照画像内における被写体の姿勢も傾く（図９参照）。このため、姿勢ずれ量に基づき、基準，参照画像（基準，参照画像内の被写体）に対して傾き補正処理（回転補正処理）を施してもよい。

上記実施形態の複眼カメラは、立体画像表機能を有してないが、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式等の各種表示方式の立体画像表示装置を備えていてもよい。

上記実施形態では、静止画撮影モードや連写撮影モードにおける処理の流れを説明したが、例えば動画撮影モード時のおける処理も、基本的には連写撮影モード時（通常振分処理）の処理と同様の流れとなる。

上記実施形態では、一対の撮像部１２，１３を有する複眼カメラを例に挙げて説明を行ったが、撮像部を３つ以上有する複眼カメラついても本発明を適用することができる。

上記実施形態では、ステレオ撮影を行う複眼カメラ１０を例に挙げて説明を行ったが、広角のパノラマ画像を生成するパノラマ撮影モードを有する複眼カメラにも本発明を適用することができる。この場合には、複眼カメラに、各撮像部により得られた各撮影画像を合成してパノラマ画像を生成する画像合成回路を設けてもよい。さらに、この場合には、各撮像部の配列方向が水平線に対して略垂直となる姿勢を基準姿勢として定めてもよい。

なお、パノラマ撮影モード時において、上記実施形態のしきい値１は、基準，参照画像データ７５Ｌ，７５を合成したときに、つなぎ目がスムーズなパノラマ画像が得られるような姿勢ずれ量の最大値となる。また、しきい値２は、そのままではパノラマ画像に不具合が生じるが、トリミング処理によりつなぎ目がスムーズなパノラマ画像が得られるような姿勢ずれ量の最大値となる。

１０ 複眼カメラ
１１ カメラ本体
１２，１３ 第１，第２撮像部
２０ メモリカード
３３ ＣＰＵ
５９ トリミング処理回路
６４ 記憶制御部
６６ 特徴点抽出部
６７ 対応点抽出部
６８ 位置情報抽出部
６９ 姿勢算出部
７０ 視差算出部
７２ 振分部
７４ 特徴点
７７ 対応点

Claims (14)

1. カメラ本体に一体に組み込まれ、被写体を撮影する複数の撮像手段と、
   前記複数の撮像手段により得られた各撮影画像から、当該各撮影画像にそれぞれ存在する共通の特徴的な点を示す対応点を抽出する対応点抽出手段と、
   前記各撮影画像のそれぞれにおける、互いに対応する前記対応点の位置を比較することにより、前記各撮影画像の撮影時におけるカメラ本体の姿勢を検出する姿勢検出手段と、
   を備えることを特徴とする複眼撮影装置。
2. 前記姿勢検出手段の検出結果に基づき、予め定めたカメラ本体の基準姿勢と、前記撮影時のカメラ本体の姿勢とのずれ量を求め、前記ずれ量の大きさに応じて、前記各撮影画像を、前記ずれ量の大きさにより区分された複数の撮影画像グループのいずれかに振り分ける振分手段と、
   前記複数の撮影画像グループの中から、予め選択された撮影画像グループに振り分けられた前記各撮影画像を記憶する画像記憶手段とを備えること特徴とする請求項１記載の複眼撮影装置。
3. 前記基準姿勢は、前記複数の撮像手段の配列方向が水平線に略平行となるカメラ本体の姿勢であり、
   前記姿勢検出手段は、前記配列方向が水平線に対して傾き角度をもつようにカメラ本体が傾いたときの、当該カメラ本体の姿勢を検出することを特徴とする請求項２記載の複眼撮影装置。
4. 前記姿勢検出手段は、互いに対応する前記対応点の、それぞれの前記各撮影画像内での垂直方向位置を比較することにより、カメラ本体の姿勢を検出することを特徴とする請求項３記載の複眼撮影装置。
5. 前記対応点抽出手段は、前記各撮影画像からそれぞれ前記対応点を複数抽出し、
   前記姿勢検出手段は、複数の互いに対応する前記対応点の位置を比較することにより、カメラ本体の姿勢を検出することを特徴とする請求項１ないし４いずれか１項記載の複眼撮影装置。
6. 前記対応点抽出手段の抽出結果に基づき、複数の互いに対応する前記対応点間の視差を算出する視差算出手段を備え、
   前記姿勢検出手段は、複数の互いに対応する前記対応点の位置の比較結果に対して、それぞれ前記視差の大きさに応じた重み付けを行い、重み付け後の前記各比較結果に基づき、カメラ本体の姿勢を検出することを特徴とする請求項５記載の複眼撮影装置。
7. 前記対応点抽出手段は、前記各撮影画像からそれぞれ前記対応点を複数抽出し、
   前記対応点抽出手段の抽出結果に基づき、複数の互いに対応する前記対応点間の視差を算出する視差算出手段を備え、
   前記姿勢検出手段は、複数の互いに対応する前記対応点の中で、最も視差が大きくなる前記対応点同士の位置を比較することにより、カメラ本体の姿勢を検出することを特徴とする請求項１ないし４いずれか１項記載の複眼撮影装置。
8. 前記画像記憶手段は、前記ずれ量の大きさが予め定めた第１しきい値以下となるような、前記撮影画像グループに振り分けられた前記各撮影画像を記憶することを特徴とする請求項１ないし７いずれか１項記載の複眼撮影装置。
9. 前記複数の撮影画像グループには、前記ずれ量が、前記第１しきい値を上回り、かつ当該第１しきい値よりも大きな第２しきい値以下となる前記各撮影画像が振り分けられる第１撮影画像グループが含まれており、
   前記第１撮影画像グループに振り分けられた前記各撮影画像に対して、前記ずれ量が前記第１しきい値以下となるように画像処理を施す画像処理手段を備えることを特徴とする請求項８記載の複眼撮影装置。
10. 前記画像処理手段は、前記各撮影画像から互いに重複して撮影されている画像範囲を切り出すトリミング処理を行うことを特徴とする請求項９記載の複眼撮影装置。
11. 複数回の撮影を連続して行う連写撮影モードを有し、
    前記複数の撮影画像グループには、前記連写撮影モード時に得られた前記各撮影画像の中で、前記ずれ量が最小となる前記各撮影画像が振り分けられる第２撮影画像グループが含まれており、
    前記画像記憶手段は、前記第２撮影画像グループに振り分けられた前記各撮影画像を記憶することを特徴とする請求項１ないし７いずれか１項記載の複眼撮影装置。
12. 前記対応点抽出手段は、前記被写体が人物の場合、前記各撮影画像からそれぞれ人物の顔を検出し、検出した各顔画像から前記対応点を抽出することを特徴とする請求項１ないし１１いずれか１項記載の複眼撮影装置。
13. 前記対応点抽出手段は、前記被写体が建物の場合、前記各撮影画像からそれぞれ建物を抽出し、検出した各建物画像から前記対応点を抽出することを特徴とする請求項１ないし１１いずれか１項記載の複眼撮影装置。
14. カメラ本体に一体に組み込まれた複数の撮像部により、被写体を撮影する撮影ステップと、
    前記撮影ステップで得られた各撮影画像から、当該各撮影画像にそれぞれ存在する共通の特徴的な点を示す対応点を抽出する対応点抽出ステップと、
    前記各撮影画像のそれぞれにおける、互いに対応する前記対応点の位置を比較することにより、前記各撮影画像の撮影時におけるカメラ本体の姿勢を検出する姿勢検出ステップと、
    を有することを特徴とする複眼撮影装置の姿勢検出方法。

Images