JP5739624B2

JP5739624B2 - 光学機器、撮像装置、及び制御方法

Info

Publication number: JP5739624B2
Application number: JP2010151436A
Authority: JP
Inventors: 卓草薙
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-07-01
Filing date: 2010-07-01
Publication date: 2015-06-24
Anticipated expiration: 2030-07-01
Also published as: US8508601B2; US20120002060A1; JP2012014019A

Description

本発明は、撮像装置の手振れ補正技術に関する。

人間の脳は、左眼及び右眼のそれぞれが捉える像の視差により、奥行きを知覚することができる。即ち、人間の左眼及び右眼のそれぞれに対して、視差の存在する像を提示することにより立体を知覚させることができるため、これまで偏光方式や液晶シャッタ方式等を用いた両眼立体視の画像提示技術（ステレオ視）が知られている。

従来は、これらの両眼立体視用の左眼用及び右眼用の画像を生成するために、眼間距離の間隔をなして配置された２つの撮像装置を用いて撮像する方法や、視点位置を移動させて描画される３Ｄコンピュータグラフィックスを利用する方法が用いられていた。前者の２つの撮像装置を用いて撮像する方法は装置構成が大型であり、家庭用としては商品化されていなかったが、撮像素子の多画素化、小型化により両眼立体視用の撮像装置の構成も小型化してきている。近年では、家庭用のデジタルカメラ等の撮像装置において、二眼の撮像光学系を有する撮像装置が開発されており、ユーザは一般的な撮像装置と同様、ハンドキャリーで両眼立体視用の画像の撮像を行うことが可能になってきている。

このようなハンドキャリーで撮像された両眼立体視の動画の視聴においては、撮像時の手振れ等による像のゆれや、頻繁な注視点の変化等により、いわゆる「３Ｄ酔い」を引き起こし、視聴者に疲労感を与えてしまうことがある。特許文献１では、双眼鏡等の２つの光学系を有する光学機器において、光軸と垂直をなす平面における、水平及び垂直方向の像の「ぶれ」を補正する技術が開示されている。

特開平０７−０４３６４７号公報

しかしながらハンドキャリーの撮像においては、上述の特許文献１の水平及び垂直方向の手振れ以外に、光軸周りの回転による像の「ぶれ」が生じることがある。しかしながら、二眼の撮像光学系を有する撮像装置において、回転方向の像の「ぶれ」を補正するために、撮像された画像を回転させて矩形領域を切り出す従来の方法を用いると、以下のような問題が生じる。光軸周りの回転が生じた場合、二眼の撮像光学系を有する撮像装置では、それぞれの撮像光学系の撮像素子と回転中心との距離が異なるため、例えば同一の被写体の撮像された画像における位置は、回転が生じなかった場合に撮像される画像における位置と異なる。即ち、単純に回転させた画像を両眼立体視に用いたとしても、両眼立体視は破綻することになる。

本発明は、上述の問題点に鑑みてなされたものであり、両眼立体視を破綻させない手振れ補正を提供することを目的とする。

前述の目的を達成するために、本発明の光学機器は、以下の構成を備える。
所定の間隔で光軸が平行になるよう配置された２つの光学系を有する光学機器であって、前記光学系の光軸周り方向の回転振れを検出する回転振れ検出手段と、前記光軸周りの回転に伴う、前記２つの撮像素子それぞれの、前記光軸と垂直をなす平面における変位量を検出する変位検出手段と、前記回転振れ検出手段により検出された前記回転振れに基づいて、前記回転振れによる像の傾きを補正するとともに、前記変位検出手段により検出された前記変位量に基づいて像の並進振れを補正する補正手段と、
前記２つの光学系の各々に対応する撮像素子に対し、鉛直方向における位置が同一である被写体の像が各撮像素子の対応関係にある位置に結像されるように前記補正手段を制御する補正制御手段とを有し、前記補正制御手段は、前記並進振れを補正するための前記２つの光学系のそれぞれに対応する補正量のうち、一方の光学系に対応する補正量が所定の最大値を超える場合には、該一方の光学系に対応する補正量を前記所定の最大値とし、他方の光学系に対応する補正量を、前記一方の光学系に対応する補正量を最大値としても足りない分を補う量とすることを特徴とする。

このような構成により本発明によれば、両眼立体視を破綻させない手振れ補正を提供することを可能とする。

本発明の実施形態に係る撮像装置の機能構成を示したブロック図。実施形態の回転補正処理のフローチャート。実施形態の切り出し中心決定処理のフローチャート。切り出し中心決定処理で決定する、垂直方向の切り出し中心を説明するための図。切り出し中心決定処理で決定する、水平方向の切り出し中心を説明するための図。

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、左眼用及び右眼用の２つの撮像光学系を備えた、両眼立体視用の画像を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、両眼立体視用の画像及び動画を撮像することが可能な任意の機器に適用可能である。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。なお、本実施形態において、「第１」で始まるブロックは左眼用の画像に係る処理を行い、「第２」で始まるブロックは右眼用の画像に係る処理を行うものとする。

制御部１０１は、例えばＣＰＵであり、ＲＯＭ１０２に記憶されたデジタルカメラ１００が備える各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００の各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要な設定やパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において生じた一時的なデータの記憶領域等に用いられる。

第１光学系１０４は、撮像レンズやフォーカスレンズ等のレンズ群で構成される撮像光学系である。第１撮像部１０５は、例えば撮像素子であり、第１光学系１０４により結像された光学像を光電変換し、アナログ画像信号を得る。また、第１撮像部１０５はアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタル画像を第１メモリ１０６に出力する。第１メモリ１０６は、第１撮像部１０５から出力された左眼用の画像を記憶する記憶領域であり、当該第１撮像部１０５から出力された左眼用の画像に加え、後述する第１画像処理部１０７における各種画像変換処理が適用された左眼用の画像を記憶する。第１画像処理部１０７は、入力されたデジタル画像に対して、例えば露出補正、γ補正、ホワイトバランス調整等の画像処理を適用する。また第１画像処理部１０７は、入力されたデジタル画像から一部の領域の画像を切り出す処理や、入力された画像を回転させる処理も行い、デジタルカメラ１００に生じた光軸周りの回転を補正する。

なお、上述した第１光学系１０４、第１撮像部１０５、第１メモリ１０６、第１画像処理部１０７は、両眼立体視における左眼用の画像を出力するためのブロックである。デジタルカメラ１００において両眼立体視用における右眼用の画像を出力するためには、第２光学系１０８、第２撮像部１０９、第２メモリ１１０、第２画像処理部１１１が用いられるが、それぞれのブロックの処理は左眼用と同様であるため説明を省略する。なお、第１撮像部１０５が有する左眼用の撮像素子、及び第２撮像部１０９が有する右眼用の撮像素子は、人間の眼間距離に相当する所定の間隔で配置されるものとする。

回転検出部１１２は、例えば重力センサであり、デジタルカメラ１００に生じた姿勢変化を所定の時間間隔で検出し、デジタルカメラ１００の回転量を検出する。なお、本実施形態では回転検出部１１２は特に光軸周りの回転検出のために用いられるものとする。回転検出部１１２により検出されたデジタルカメラ１００の回転量は、制御部１０１に伝送される。

第１変位検出部１１３及び第２変位検出部１１４は、例えば加速度センサであり、第１撮像部１０５が有する左眼用の撮像素子、及び第２撮像部１０９が有する右眼用の撮像素子に生じた、空間的な変位を所定の時間間隔で検出する（変位検出）。本実施形態のデジタルカメラ１００では、当該デジタルカメラ１００の光軸周りの回転が生じると、回転中心との位置関係によって異なる変位量の変位が生じる。例えば、２つの撮像素子のうち右眼用の撮像素子より右方向に回転中心とする回転がデジタルカメラ１００に生じた場合、それぞれの撮像素子と回転中心との距離が異なるため、それぞれの撮像素子の変位量は異なる。また、例えば２つの撮像素子の中心を結ぶ直線の中点を回転中心とする回転がデジタルカメラ１００に生じた場合、それぞれの撮像素子と回転中心との距離は同一であるが、それぞれの撮像素子は、異なる方向に変位する。なお、本実施形態の第１変位検出部１１３及び第２変位検出部１１４は、簡単のため、デジタルカメラ１００に生じた光軸周りの回転に伴い、光軸と垂直をなす平面における、各撮像素子の変位量を検出するものとして説明する。また、本実施形態のデジタルカメラ１００では、光軸周りの回転検出を容易にするために回転検出部１１２を有するものとして説明するが、光軸周りの回転量は、第１変位検出部１１３及び第２変位検出部１１４から得られる変位量から求める構成であってもよい。

記録媒体１１５は、例えばデジタルカメラ１００が備える内蔵メモリや、デジタルカメラ１００に着脱可能に装着されるメモリカードやＨＤＤ等の記録装置である。記録媒体１１５は、第１メモリ１０６及び第２メモリ１１０から出力された左眼用の画像、右眼用の画像を記録する。なお、本実施形態では両眼立体視用の画像を記録媒体１１５に記録するものとして説明するが、本発明の実施はこれに限らず、例えばデジタルカメラ１００に接続された表示装置に対して、両眼立体視用の画像を出力する構成であってもよい。なお、本実施例においては、第１光学系１０４及び第２光学系が補正光学系を有し、振れに基づいて光軸に対して略垂直な方向に補正光学系を駆動させることによって、蓄積期間中の振れを軽減させる構成でも良い。同様に、第１撮像部１０５と第２撮像部１０６の各撮像素子を、振れに基づいて光軸に対して略垂直な方向に駆動することで蓄積期間中の振れを軽減させる構成でも良い。また、回転検出部１１２、第１変位検出部１１３、第２変位検出部１１４はそれぞれジャイロセンサであっても良い。この場合、回転検出部１１２はロール方向の振動を検出するセンサに該当し、第１変位検出部１１３、第２変位検出部１１４はヨー方向とピッチ方向の振動を検出するセンサに該当する。また、それぞれの撮像素子の変位量を考慮するために、ジャイロセンサとそれぞれの撮像素子との距離を考慮する必要が有る。

このような構成をもつ本実施形態のデジタルカメラ１００の回転補正処理について、図２のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本回転補正処理は、例えばユーザがデジタルカメラ１００を用いて両眼立体視用の撮像が行われた際に開始されるものとして説明する。

（回転補正処理）
Ｓ２０１で、制御部１０１は、不図示の操作入力部においてユーザにより撮像指示がなされたことが検出されると、撮像指示がなされた際のデジタルカメラ１００の回転量及び変位量を検出する。具体的には、制御部１０１は回転検出部１１２にデジタルカメラ１００の光軸周りの回転量を検出させ、検出された回転量をＲＡＭ１０３に記憶させる。また制御部１０１は、第１変位検出部１１３及び第２変位検出部１１４に、それぞれ左眼用の撮像素子、右眼用の撮像素子の変位量を検出させ、検出されたそれぞれの撮像素子の変位量をＲＡＭ１０３に記憶させる。
Ｓ２０２で、制御部１０１は、光軸周りの回転を補正するための、画像の回転補正量を決定する。具体的には制御部１０１は、Ｓ２０１で回転検出部１１２に検出させたデジタルカメラ１００の光軸周りの回転量が、予め定められた、回転を補正する限界量（最大回転補正量）を超えているか否かを判断する。最大回転補正量は、撮像された画像における像の回転を補正するための最大の回転角度を定めた情報であり、例えばＲＯＭ１０２に予め記憶されていてもよいし、ユーザによって設定可能な値であってもよい。制御部１０１は、検出されたデジタルカメラ１００の光軸周りの回転量が、最大回転補正量を超える場合は回転補正量を最大回転補正量に設定し、最大回転補正量を超えない場合は回転補正量を回転検出部１１２により検出された光軸周りの回転量に設定する。なお、回転補正量はデジタルカメラ１００の光軸周りの回転を補正するため、回転検出部１１２により検出された回転とは逆方向の値になる。

Ｓ２０３で、制御部１０１は、デジタルカメラ１００の光軸周りの回転により生じた左眼用及び右眼用の撮像素子の垂直方向の変位量を補正するための、各撮像素子から出力された画像における、補正後の画像の切り出し中心の垂直移動量を決定する。本実施形態のデジタルカメラ１００では、光軸周りの回転が生じた左眼用及び右眼用のそれぞれの撮像素子から出力された画像から、光軸周りの回転が生じていない場合に相当する左眼用及び右眼用の画像を生成する。光軸周りの回転前の左眼用及び右眼用の撮像光学系の光学中心の像は、回転後に撮像された画像において、それぞれ第１変位検出部１１３及び第２変位検出部１１４で検出された変位量分だけ中心から変位方向と逆方向にずれた位置にある。このため、光軸周りの回転を補正した画像を生成するためには、撮像された画像において、光軸周りの回転前の光学中心の像に相当する位置に画像の中心を補正する。制御部１０１は、本ステップ及び後述するＳ２０４で、光軸周りの回転により生じた左眼用及び右眼用の撮像素子の変位量を補正する、それぞれの撮像素子から出力された画像における、切り出し中心の位置を決定する。

ここで、撮像素子のそれぞれの変位量を補正するために、当該撮像素子のそれぞれから出力された画像から切り出す画像の中心の垂直移動量を決定する切り出し中心決定処理について、図３のフローチャートをさらに用いて説明する。

Ｓ３０１で、制御部１０１は、左眼用及び右眼用の撮像素子それぞれの変位量を補正する垂直方向の限界量（最大変位補正量）を取得する。本実施形態では最大変位補正量の情報は、予めＲＯＭ１０２に記憶されているものとして説明するが、最大変位補正量は回転補正処理のＳ２０２で決定された回転補正量と、予め定められた切り出す画像の大きさ（画素数）から算出してもよい。

Ｓ３０２で、制御部１０１は、ＲＡＭ１０３に記憶されている２つの撮像装置の変位量の少なくともいずれかの絶対値が、Ｓ３０１で取得した最大変位補正量を超えているか否かを判断する。制御部１０１は、２つの撮像素子の垂直方向の変位量の少なくともいずれかの絶対値が、最大変位補正量を超えている場合は処理をＳ３０４に移し、両方の変位量の絶対値が最大変位補正量を超えていない場合は処理をＳ３０３に移す。

Ｓ３０３で、制御部１０１は、左眼用及び右眼用の撮像素子のそれぞれから出力された画像における、補正後の画像の切り出し中心の垂直移動量を、出力された画像の中心から当該画像を出力した撮像素子の変位量分だけ、変位方向と逆方向に移動する量に決定する。例えば、図４（ａ）のように回転中心Ｐ（原点）を中心にΔθの回転が生じた場合、当該回転中心Ｐから左眼用、右眼用それぞれの撮像素子の中心までの距離がＬ_ｌ、Ｌｒだとすると、回転前のそれぞれの撮像素子の中心Ｉｍ_ｌ及びＩｍ_ｒの座標は、
Ｉｍ_ｌ＝（−Ｌ_ｌ，０）
Ｉｍ_ｒ＝（−Ｌ_ｒ，０）
となり、回転後のそれぞれの撮像素子の中心Ｉｍ_ｌ’及びＩｍ_ｒ’の座標は、
Ｉｍ_ｌ’＝（−Ｌ_ｌ・ｃｏｓΔθ，−Ｌ_ｌ・ｓｉｎΔθ）
Ｉｍ_ｒ’＝（−Ｌ_ｒ・ｃｏｓΔθ，−Ｌ_ｒ・ｓｉｎΔθ）
となる。即ち、それぞれの撮像素子の変位Δｄ_ｌ及びΔｄ_ｒは、
Δｄ_ｌ＝（Δｄ_ｘｌ，Δｄ_ｙｌ）
＝（Ｌ_ｌ（１−ｃｏｓΔθ），−Ｌ_ｌ・ｓｉｎΔθ）
Δｄ_ｒ＝（Δｄ_ｘｒ，Δｄ_ｙｒ）
＝（Ｌ_ｒ（１−ｃｏｓΔθ），−Ｌ_ｒ・ｓｉｎΔθ）
と表せる。このとき垂直方向の最大変位補正量ｄ_ｙｍａｘとの関係が
｜Δｄ_ｙｌ｜≦ｄ_ｙｍａｘかつ｜Δｄ_ｙｒ｜≦ｄ_ｙｍａｘ
である場合は、回転後のそれぞれの撮像素子から出力された画像における、切り出し中心の垂直移動量ｄ_ｙｌ及びｄ_ｙｒは、当該それぞれの撮像素子から出力された画像の中心から、当該それぞれの撮像素子の変位量分だけ変位方向と逆方向に移動した
ｄ_ｙｌ＝−Δｄ_ｙｌ＝Ｌ_ｌ・ｓｉｎΔθ
ｄ_ｙｒ＝−Δｄ_ｙｒ＝Ｌ_ｒ・ｓｉｎΔθ
となる。

Ｓ３０２で左眼用及び右眼用の撮像素子の垂直方向の変位量の少なくともいずれかの絶対値が最大変位補正量を超えている場合は、Ｓ３０４で制御部１０１は、左眼用及び右眼用の撮像素子の変位量の大小を比較する。本ステップでは、制御部１０１は、優先的に変位を補正する撮像素子を決定する。なお、回転中心が２つの撮像素子の中点に存在する場合等で変位量が同一である場合は、例えば左眼用の撮像素子の変位量を優先的に補正するようにしてもよい。

Ｓ３０５で、制御部１０１は、回転後のそれぞれの撮像素子から得られた画像から切り出す画像の中心の像の位置関係を、回転前のそれぞれの撮像素子の中心の位置関係と同一にできるか否かを判断する。具体的には、制御部１０１は、回転後に得られた画像のそれぞれから切り出す画像の中心となる像を出力した、それぞれの撮像素子上の素子が、光軸と垂直をなす平面上で鉛直方向の同一の位置にすることができるか否かを判断する。

例えば図４（ｂ）のように、Ｓ３０４で変位量が大きいと判断された撮像素子が左眼用の撮像素子である場合を考える（｜Δｄ_ｙｌ｜＞｜Δｄ_ｙｒ｜）。回転後の左眼用の撮像素子は最大変位補正量以上の変位を有するため、最大変位補正量分だけ変位方向と逆方向に移動した位置を、当該左眼用の撮像素子から出力された画像から切り出す画像の中心とする。即ち、左眼用の撮像素子から得られた画像における、切り出し中心の垂直移動量ｄ_ｙｌは、当該左眼用の撮像素子から出力された画像の中心から変位方向と逆方向に移動した、
ｄ_ｙｌ＝ｄ_ｙｍａｘ（＜｜Δｄ_ｙｌ｜）
となる。このような場合、右眼用の撮像素子から得られた画像における、切り出す画像の中心を、当該右眼用の撮像素子の変位量分だけ変位方向と逆方向に移動してしまうと、次のような問題が生じる。即ち、回転後の左眼用及び右眼用の撮像素子から得られた画像における、切り出す画像の中心となる像が、左右で垂直方向にずれていることになる。Ｓ３０５では、この回転後の左眼用及び右眼用の撮像素子から得られた画像から切り出す画像における、垂直方向のずれが生じるか否かを、以下のような式で判断する。

｜Δｄ_ｙｌ−Δｄ_ｙｒ｜≦２・ｄ_ｙｍａｘ・・・（式１）
制御部１０１は、回転後のそれぞれの撮像素子から得られた画像から切り出す画像の中心の像の垂直方向の位置関係を、同一にできる場合は処理をＳ３０６に、同一にできない場合は処理をＳ３０７に移す。

Ｓ３０６で、制御部１０１は、回転後に得られた画像のそれぞれから切り出す画像の中心となる像を出力した、それぞれの撮像素子上の素子が、光軸と垂直をなす平面上で鉛直方向の同一の位置になるように、切り出し中心の垂直移動量を決定する。例えば図４（ｂ）の場合、左眼用及び右眼用から得られた画像における、切り出し中心の垂直移動量は、
ｄ_ｙｌ＝ｄ_ｙｍａｘ
ｄ_ｙｒ＝Δｄ_ｙｌ−Δｄ_ｙｒ＋ｄ_ｙｍａｘ
となる。なお、ｄ_ｙｌが負の方向への移動である場合は、ｄ_ｙｍａｘの符号は逆となる。

Ｓ３０７で、制御部１０１は、回転後に得られた画像のそれぞれから切り出す画像の中心となる像を出力した、それぞれの撮像素子上の素子が、光軸と垂直をなす平面上での鉛直方向の位置の差が最小になるように、切り出し中心の垂直移動量を決定する。例えば図４（ｃ）のように式１を満たさない場合、左眼用及び右眼用から得られた画像における切り出し中心の垂直移動量は、それぞれ絶対値が最大変位補正量である
ｄ_ｙｌ＝ｄ_ｙｍａｘ
ｄ_ｙｒ＝−ｄ_ｙｍａｘ
となる。なお、ｄ_ｙｌが負の方向への移動である場合は、ｄ_ｙｍａｘの符号は逆となる。

Ｓ３０８で、制御部１０１は、このように決定された切り出し中心の垂直移動量の情報を、例えばＲＡＭ１０３に記憶させて本切り出し中心決定処理を完了する。

またＳ２０４で、制御部１０１は、デジタルカメラ１００の光軸周りの回転により生じた左眼用及び右眼用の撮像素子の水平方向の変位量を補正するための、各撮像素子から出力された画像における、補正後の画像の切り出し中心の水平移動量を決定する。なお、撮像素子のそれぞれから出力された画像における、切り出し中心の水平移動量を決定する切り出し中心決定処理について、図３のフローチャートを用いて以下に説明するが、垂直方向の移動量と同様の処理内容については説明を省略する。

Ｓ３０３で、制御部１０１は、左眼用及び右眼用の撮像素子のそれぞれから出力された画像における、補正後の画像の切り出し中心の垂直移動量を、出力された画像の中心から当該画像を出力した撮像素子の変位量分だけ、変位方向と逆方向に移動する量に決定する。例えば、図４（ａ）のように回転中心Ｐ（原点）を中心にΔθの回転が生じた場合、水平方向の最大変位補正量ｄ_ｘｍａｘとの関係が
｜Δｄ_ｘｌ｜≦ｄ_ｘｍａｘかつ｜Δｄ_ｘｒ｜≦ｄ_ｘｍａｘ
である場合は、回転後のそれぞれの撮像素子から出力された画像における、切り出し中心の水平移動量ｄ_ｘｌ及びｄ_ｘｒは、当該それぞれの撮像素子から出力された画像の中心から、当該それぞれの撮像素子の変位量分だけ変位方向と逆方向に移動した
ｄ_ｘｌ＝−Δｄ_ｘｌ＝−Ｌ_ｌ（１−ｃｏｓΔθ）
ｄ_ｘｒ＝−Δｄ_ｘｒ＝−Ｌ_ｒ（１−ｃｏｓΔθ）
となる。

Ｓ３０５で、制御部１０１は、回転後に得られた画像のそれぞれから切り出す画像の中心となる像を出力した、それぞれの撮像素子上の素子が光軸と垂直をなす平面上でなす距離が、回転前のそれぞれの撮像素子の中心の間隔と等しくできる否かを判断する。

例えば図５のように、Ｓ３０４で変位量が大きいと判断された撮像素子が左眼用の撮像素子である場合を考える（｜Δｄ_ｘｌ｜＞｜Δｄ_ｘｒ｜）。このとき左眼用の撮像素子から得られた画像における、切り出し中心の水平移動量ｄ_ｘｌは、当該左眼用の撮像素子から出力された画像の中心から変位方向と逆方向に移動した、
ｄ_ｘｌ＝ｄ_ｘｍａｘ（＜｜Δｄ_ｘｌ｜）
となる。このような場合、右眼用の撮像素子から得られた画像における、切り出す画像の中心を、当該右眼用の撮像素子の変位量分だけ変位方向と逆方向に移動してしまうと、次のような問題が生じる。即ち、回転後の左眼用及び右眼用の撮像素子から得られた画像における、切り出す画像の中心となる像が左右で水平方向にずれている、即ち眼間距離Ｌが変化してしまうことになる。Ｓ３０５では、この回転後の左眼用及び右眼用の撮像素子から得られた画像から切り出す画像における、眼間距離のずれが生じるか否かを、以下のような式で判断する。
｜Δｄ_ｘｌ−Δｄ_ｘｒ｜≦２・ｄ_ｘｍａｘ

制御部１０１は、回転後のそれぞれの撮像素子から得られた画像から切り出す画像の中心の像の水平方向の眼間距離を、同一にできる場合は処理をＳ３０６に、同一にできない場合は処理をＳ３０７に移す。

Ｓ３０６で、制御部１０１は、回転後に得られた画像のそれぞれから切り出す画像の中心となる像の水平方向の眼間距離が、回転前の眼間距離と等しくなるように、切り出し中心の水平移動量を決定する。例えば図５の場合、左眼用及び右眼用から得られた画像における、切り出し中心の水平移動量は、
ｄ_ｘｌ＝−ｄ_ｘｍａｘ
ｄｘｒ＝Δｄ_ｘｌ−Δｄ_ｘｒ−ｄ_ｘｍａｘ
となる。なお、ｄ_ｘｌが正の方向への移動である場合は、ｄ_ｘｍａｘの符号は逆となる。

Ｓ３０７で、制御部１０１は、回転後に得られた画像のそれぞれから切り出す画像の中心となる像の水平方向の眼間距離と、回転前の眼間距離との差が最小になるように、切り出し中心の水平移動量を決定する。
ｄ_ｘｌ＝−ｄ_ｘｍａｘ
ｄ_ｘｒ＝ｄ_ｘｍａｘ
なお、ｄ_ｘｌが正の方向への移動である場合は、ｄ_ｘｍａｘの符号は逆となる。

Ｓ３０８で、制御部１０１は、このように決定された切り出し中心の水平移動量の情報を、例えばＲＡＭ１０３に記憶させて本切り出し中心決定処理を完了する。なお、本実施形態では回転中心が左眼用及び右眼用の撮像光学系の間にない場合について説明したが、回転中心が撮像光学系の間にある場合であっても、切り出し中心の移動方向は変化するが本切り出し中心決定処理の処理は変わらないことは容易に理解されよう。

このようにＳ２０３及びＳ２０４で決定された、回転後の左眼用及び右眼用の撮像素子から得られる画像における、切り出し中心の位置の情報に従って、Ｓ２０５で制御部１０１は回転ぶれ補正処理を行う。具体的には制御部１０１は、まず回転後の左眼用及び右眼用の撮像素子から得られる画像をＳ２０２で決定した回転補正量で回転させる。そして制御部１０１は、回転させた左眼用及び右眼用の画像から、Ｓ２０３及びＳ２０４で決定した切り出し中心の位置を中心とした、予め定められた大きさ（画素数）の画像を切り出して出力する。このとき、回転ぶれを補正して得られた切り出し画像は、それぞれ第１メモリ１０６、第２メモリ１１０に記憶され、その後制御部１０１により記録媒体１１５に記憶されればよい。

以上説明したように、本実施形態の撮像装置は、光軸周りの回転ぶれが生じた場合であっても、両眼立体視を破綻させない手振れ補正を実現することができる。具体的には撮像装置は、左眼用及び右眼用の２つの撮像素子を有し、撮像装置の光軸周りの回転量、及び当該光軸周りの回転に伴う、光軸と垂直をなす平面における２つの撮像素子の変位量を検出する。そして、検出された２つの撮像素子の回転量及び変位量を、撮像された画像から所定の大きさの画像を切り出して補正する際に、次のように処理する。撮像装置は、それぞれの画像から切り出す画像の中心を出力した２つの撮像素子上の２つの素子が、光軸と垂直をなす平面において鉛直方向の同一の位置になるようにする。また撮像装置は、それぞれの画像から切り出す画像の中心を出力した２つの撮像素子上の２つの素子が、光軸と垂直をなす平面においてなす水平距離が２つの撮像素子の間隔と等しくなるようにする。
このようにすることで撮像装置は、両眼立体視用の画像を撮像する際に生じた、被写体の光軸周りの回転を補正した上で、両眼立体視を破綻させることのない画像を出力することができる。

（変形例）
上述した実施形態では、撮像して得られた切り出し位置を変化させることにより、両眼立体視を破綻させない画像を出力する電子式手振れ補正の方法について説明したが、本発明の実施はこれに限らない。

例えば光軸周りの回転が生じた際に、回転前の光学中心であった光学像の結像される位置が各撮像素子の中心となるように、上述した実施形態で算出した垂直及び水平方向の移動量分、分光軸を補正すればよい。この場合、第１光学系１０４及び第２光学系１０８はシフトレンズを有し、駆動系によって制御されることで、光学像の結像位置を補正する構成となる。そして、回転後の撮像素子から出力された画像から、切り出し枠を回転させて回転量の補正を行うことで、実施形態１と同様の効果を奏する。

また、例えば光軸周りの回転が生じた際に、回転前の光学中心であった光学像の結像される位置が各撮像素子の中心となるように、上述した実施形態で算出した垂直及び水平方向の移動量分、撮像素子を移動させてもよい。この場合、第１撮像部１０５及び第２撮像部１０９は駆動系を有し、撮像時に位置を制御されることで、光学像の結像位置を補正する構成となる。そして、回転後の撮像素子から出力された画像から、切り出し枠を回転させて回転量の補正を行うことで、実施形態１と同様の効果を奏することができる。なお、撮像素子を回転可能な駆動系を有する場合は、回転量の補正、即ち切り出し処理を行う必要なく、両眼立体視用の画像を生成することが可能となる。
このように、本発明は電子式手振れ補正の方法に限らず、電子式手振れ補正、及び光学式手振れ補正の少なくともいずれかを利用することで実現することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

所定の間隔で光軸が平行になるよう配置された２つの光学系を有する光学機器であって、
前記光学系の光軸周り方向の回転振れを検出する回転振れ検出手段と、
前記光軸周りの回転に伴う、前記２つの撮像素子それぞれの、前記光軸と垂直をなす平面における変位量を検出する変位検出手段と、
前記回転振れ検出手段により検出された前記回転振れに基づいて、前記回転振れによる像の傾きを補正するとともに、前記変位検出手段により検出された前記変位量に基づいて像の並進振れを補正する補正手段と、
前記２つの光学系の各々に対応する撮像素子に対し、鉛直方向における位置が同一である被写体の像が各撮像素子の対応関係にある位置に結像されるように前記補正手段を制御する補正制御手段とを有し、
前記補正制御手段は、前記並進振れを補正するための前記２つの光学系のそれぞれに対応する補正量のうち、一方の光学系に対応する補正量が所定の最大値を超える場合には、該一方の光学系に対応する補正量を前記所定の最大値とし、他方の光学系に対応する補正量を、前記一方の光学系に対応する補正量を最大値としても足りない分を補う量とすることを特徴とする光学機器。
前記補正手段は、対応する前記被写体の像の位置を移動し、
前記補正制御手段は、前記光軸と垂直をなす平面において、対応する２つの前記撮像素子の像面上の画素が鉛直方向の同一位置にあり、かつ前記２つの画素のなす水平距離が前記所定の間隔と等しくなる様に、前記補正手段を制御することを特徴とする請求項１に記載の光学機器。
前記補正手段は、前記光軸に直交する方向に移動可能な補正レンズを含むことを特徴とする請求項１に記載の光学機器。
請求項１乃至３のいずれか１項に記載の光学機器を有する撮像装置であって、
前記２つの光学系の各々に対応する撮像素子の各々により得られた２つの画像から所定の大きさの画像を切り出して出力する２つの撮像手段と、
前記回転振れ検出手段及び前記変位検出手段によって検出された前記回転振れ及び前記変位量に基づいて、前記２つの画像それぞれの切り出し範囲を変更する変更手段とを有することを特徴とする撮像装置。
所定の間隔で光軸が平行になるよう配置された２つの光学系を有する光学機器の制御方法であって、
前記光学系の光軸周り方向の回転振れを検出する回転振れ検出ステップと、
前記光軸周りの回転に伴う、前記２つの撮像素子それぞれの、前記光軸と垂直をなす平面における変位量を検出する変位検出ステップと、
前記回転振れ検出ステップにて検出された前記回転振れに基づいて、前記回転振れによる像の傾きを補正するとともに、前記変位検出ステップにて検出された前記変位量に基づいて像の並進振れを補正する補正ステップと、
前記２つの光学系の各々に対応する撮像素子に対し、鉛直方向における位置が同一である被写体の像が各撮像素子の対応関係にある位置に結像されるように前記補正ステップにおける補正を制御する補正制御ステップとを有し、
前記補正制御ステップでは、前記並進振れを補正するための前記２つの光学系のそれぞれに対応する補正量のうち、一方の光学系に対応する補正量が所定の最大値を超える場合には、該一方の光学系に対応する補正量を前記所定の最大値とし、他方の光学系に対応する補正量を、前記一方の光学系に対応する補正量を最大値としても足りない分を補う量とすることを特徴とする光学機器の制御方法。