WO2010116683A1

WO2010116683A1 - 撮像装置および撮像方法

Info

Publication number: WO2010116683A1
Application number: PCT/JP2010/002315
Authority: WO
Inventors: 佐藤俊一
Original assignee: シャープ株式会社
Priority date: 2009-03-30
Filing date: 2010-03-30
Publication date: 2010-10-14
Also published as: JP2010239290A; JP4529010B1; US20120026297A1; CN102365859A

Abstract

　撮像装置は、複数の撮像素子と、複数の撮像素子のそれぞれに像を結像させる複数の固体レンズと、複数の撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、複数の撮像素子のそれぞれが出力する光電変換信号を、映像信号に変換する複数の映像処理部と、複数の映像処理部が変換した複数の映像信号に基づいて、ステレオマッチング処理を行うことにより、画素毎のシフト量を求め、複数の撮像素子の画素ピッチを越えるシフト量を画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、複数の映像処理部のそれぞれが変換した映像信号を、ステレオ画像処理部が生成した合成パラメータに基づいて合成することにより、高精細映像を生成する映像合成処理部と、を備える。

Description

撮像装置および撮像方法

　本発明は、撮像装置および撮像方法に関する。
　本願は、２００９年３月３０日に、日本に出願された特願２００９－０８３２７６号に基づき優先権を主張し、その内容をここに援用する。

　近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及している。また、デジタルカメラの小型化、薄型化も進んでおり、携帯電話端末等に小型で高画質なデジタルカメラが搭載されている。デジタルカメラに代表される撮像装置は、撮像素子、結像光学系（レンズ光学系）、イメージプロセッサ、バッファメモリ、フラッシュメモリ（カード型メモリ）、画像モニタ及びこれらを制御する電子回路やメカニカル機構等から構成される。撮像素子には、通常、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の固体電子デバイスが使用される。撮像素子上に結像された光量分布は光電変換され、得られた電気信号はイメージプロセッサとバッファメモリによって信号処理される。イメージプロセッサとしては、ＤＳＰ（Digital Signal Processor）等が使用される。またバッファメモリとしては、ＤＲＡＭ（Dynamic Random Access Memory）等が使用される。撮像された画像は、カード型フラッシュメモリ等に記録蓄積され、記録蓄積された画像は、モニタに表示することができる。

　撮像素子に像を結像させる光学系は、通常、収差を除去するために、数枚の非球面レンズから構成される。また、光学的なズーム機能を持たせる場合は、組合せレンズの焦点距離や、レンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は、より低収差、高精度化され、かつズーム機能、オートフォーカス機能、手振れ補正機能等の高機能化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になるという問題がある。

　このような問題を解決するために、結像光学系に複眼構造を採用したり、液晶レンズや液体レンズ等の非固体レンズを組み合わせたりすることにより、撮像装置を小型化、薄型化することが提案されている。例えば、平面状に配置した固体レンズアレイと、液晶レンズアレイと、１つの撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１）。この撮像レンズ装置は、図３６に示すように、固定焦点距離のレンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する単一の撮像素子２００３から構成されている。この構成によって、レンズアレイ２００１の数と同数の画像を、単一の撮像素子２００３上に分割して結像させる。この撮像素子２００３より得られた複数の画像を、演算装置２００４により画像処理を行い、全体の画像を再構成する。また、この演算装置２００４からフォーカス情報を検出し、液晶駆動装置２００５を介して液晶レンズアレイ２００２の各液晶レンズを駆動して、オートフォーカスを行う。このように、特許文献１の撮像レンズ装置においては、液晶レンズと固体レンズとを組み合わせることにより、オートフォーカス機能やズーム機能を実現し、かつ小型化を実現している。

　また、１つの非固体レンズ（液体レンズ、液晶レンズ）と、固体レンズアレイと、１つの撮像素子とから構成された撮像装置も知られている（例えば、特許文献２）。この撮像装置は、図３７に示すように、液晶レンズ２１３１と、複眼光学系２１２０と、画像合成器２１１５と、駆動電圧演算部２１４２とから構成されている。この撮像装置は、特許文献１と同様、単一の撮像素子２１０５上に、レンズアレイの数と同数の画像を結像させて、画像処理により画像を再構成する。このように、特許文献２の撮像装置においては、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイとを組み合わせることにより、小型、薄型で焦点調整機能を実現している。

　また、撮像素子である検出器アレイと撮像レンズアレイとから構成されたサブピクセル解像度を有する薄型カメラにおいて、２つのサブカメラ上の画像の相対的な位置ずれを変化させて、合成画像の解像度を増大させる方法が知られている（例えば、特許文献３）。この方法では、片方のサブカメラに絞りを設けて、この絞りによって半画素分の光を遮断することで、被写体距離によって解像度が改善できなくなる課題を解決している。また、特許文献３は、外部から電圧を与えることで焦点距離を制御することが可能な液体レンズを組み合わせて、焦点距離を変更し、画像の結像位置と画素の位相も同時に変更することで、合成画像の解像度を増大させている。このように、特許文献３の薄型カメラでは、撮像レンズアレイと、遮光手段を持つ撮像素子とを組み合わせることにとより、合成画像の高精細化を実現している。また、撮像レンズアレイと撮像素子に、液体レンズを組み合わせることで、合成画像の高精細化を実現している。

　また、複数の撮像手段の画像情報により、そのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行い、空間モデルに画像をマッピングする画像生成方法及びその装置が知られている（例えば、特許文献４）。この装置では、複数の撮像手段で撮像した画像から、視点変換画像を生成する過程で行う空間モデル生成において、遠方の空間モデルに貼り付ける画像データの精細度が欠けるという問題を解決している。

特開２００６－２５１６１３号公報特開２００６－２１７１３１号公報特表２００７－５２０１６６号公報特表２００６－１１９８４３号公報

　しかしながら、特許文献１～３の撮像レンズ装置では、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に、光学系と撮像素子の相対位置を調整する必要があるという問題がある。また、相対位置の調整を機械的精度だけで調整する場合は、高精度な非固体レンズ等が必要となり、コストが高くなるという問題がある。また、装置の組立て時に、光学系と撮像素子の相対位置が正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じることもある。再度、位置調整をすれば画質が良くなるが、組立て時と同様の調整を行わなければならないという問題がある。さらに、光学系や撮像素子を数多く備えている装置においては、調整する箇所が多くなるため、多大な作業時間を要するという問題もある。

　また、特許文献４の画像生成方法及びその装置では、視点変換画像を生成するために、正確な空間モデルを生成する必要があるが、空間モデルという立体的な情報をステレオ画像で精度よく取得することは難しいという問題がある。特に、ステレオ画像の視差が小さい遠方の画像においては、画像の輝度変化やノイズの影響等を受け、空間モデルという立体的な情報をステレオ画像で精度よく取得することは難しい。従ってステレオ画像の視差の小さい特定領域で超解像処理した画像を生成できたとしても、空間モデルに精度良くマッピングすることは困難である。

　本発明は、このような事情に鑑みてなされたもので、高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を、人手作業を必要とすることなく、容易に行うことができる撮像装置および撮像方法を提供することを目的とする。
　また、本発明は、ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質かつ高精細な２次元画像を生成することができる撮像装置および撮像方法を提供することを目的とする。

（１）　本発明の一態様による撮像装置は、複数の撮像素子と、前記複数の撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記複数の撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、前記複数の撮像素子のそれぞれが出力する光電変換信号を、映像信号に変換する複数の映像処理部と、前記複数の映像処理部が変換した複数の映像信号に基づいて、ステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記複数の撮像素子の画素ピッチを越えるシフト量を前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、前記複数の映像処理部のそれぞれが変換した前記映像信号を、前記ステレオ画像処理部が生成した前記合成パラメータに基づいて合成することにより、高精細映像を生成する映像合成処理部と、を備える。

（２）　また、本発明の一態様による撮像装置は、前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部を、さらに備えても良い。

（３）　また、本発明の一態様による撮像装置において、前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて、所定領域のみ高精細化しても良い。

（４）　また、本発明の一態様による撮像方法は、複数の撮像素子にそれぞれに入射する光の光軸の方向を制御し、前記複数の撮像素子のそれぞれが出力する光電変換信号を、映像信号に変換し、変換した複数の映像信号に基づいて、ステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記複数の撮像素子の画素ピッチを越えるシフト量を前記画素ピッチで正規化した合成パラメータを生成し、前記映像信号を前記合成パラメータに基づいて合成することにより、高精細映像を生成する。

　本発明によれば、複数の撮像素子と、複数の撮像素子のそれぞれに像を結像させる複数の固体レンズと、複数の撮像素子にそれぞれに入射する光の光軸を制御する複数の光軸制御部とを備えたため、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができ、高画質な撮像装置を実現することができるという効果が得られる。特に、入射する光の光軸を、撮像素子面上の任意の位置に設定するように制御することが可能となるため、光学系と撮像素子間の位置調整を簡単に行うことができ、高画質な撮像装置を実現することができる。また、撮像対象と複数の光軸制御部との相対位置に基づいて光軸の方向を制御するようにしたため、撮像素子面の任意の位置に光軸の設定を行うことが可能となり、焦点調整範囲が広い撮像装置を実現することができる。

　複数の撮像素子と、複数の撮像素子のそれぞれに像を結像させる複数の固体レンズと、複数の撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、複数の撮像素子のそれぞれが出力する光電変換信号を、映像信号に変換する複数の映像処理部と、複数の映像処理部が変換した複数の映像信号に基づいて、ステレオマッチング処理を行うことにより、画素毎のシフト量を求め、複数の撮像素子の画素ピッチを越えるシフト量を画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、複数の映像処理部のそれぞれが変換した映像信号を、前記ステレオ画像処理部が生成した合成パラメータに基づいて合成することにより、高精細映像を生成する映像合成処理部とを備えたため、ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質かつ高精細な２次元画像を生成することができる。

　また、本発明によれば、ステレオ画像処理部で生成した合成パラメータに基づき、ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部をさらに備えたため、ステレオマッチング処理における雑音を除去することができる。

　また、本発明によれば、映像合成処理部は、ステレオ画像処理部で生成した視差画像に基づいて所定領域のみ高精細化するため、高精細化処理の高速化が可能となる。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。図１に示した第１の実施形態による撮像装置の単位撮像部の詳細な構成図である。第１の実施形態による液晶レンズの正面図である。第１の実施形態による液晶レンズの断面図である。第１の実施形態による撮像装置に使用した液晶レンズの機能を説明する模式図である。第１の実施形態による撮像装置の液晶レンズを説明する模式図である。図１に示した第１の実施形態による撮像装置の撮像素子を説明する模式図である。撮像素子の詳細な模式図である。図１に示す撮像装置の全体構成を示すブロック図である。第１の実施形態による撮像装置の映像処理部の詳細なブロック図である。第１の実施形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。第１の実施形態による撮像装置の映像処理の制御部の詳細なブロック図である。制御部の動作の一例を説明するフローチャートである。図１２に示すサブ画素映像合成高精細化処理の動作を示す説明図である。高精細判定の一例を説明するフローチャートである。制御電圧変更処理の一例を説明するフローチャートである。カメラキャリブレーションの一例を説明するフローチャートである。単位撮像部のカメラキャリブレーションを説明する模式図である。複数の単位撮像部のカメラキャリブレーションを説明する模式図である。複数の単位撮像部のカメラキャリブレーションを説明する別の模式図である。撮像装置の撮像の様子を示す模式図である。高精細なサブ画素について説明する模式図である。高精細なサブ画素について説明する別の模式図である。撮像対象（被写体）と結像の関係を示す説明図である。撮像対象（被写体）と結像の関係を示す説明図である。撮像対象（被写体）と結像の関係を示す説明図である。撮像装置の動作を説明する模式図である。撮像装置の動作を説明する模式図である。取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。光軸シフト制御の動作を示す模式図である。光軸シフト制御の動作を示す模式図である。撮像距離と光軸シフトの関係を示す説明図である。撮像距離と光軸シフトの関係を示す説明図である。撮像距離と光軸シフトの関係を示す説明図である。撮像距離と光軸シフトの関係を示す説明図である。奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。画素毎の並進パラメータを生成する一例を説明するフローチャートである。平行ステレオ構成の場合のエピポーラ線の一例を示す説明図である。平行ステレオ構成の場合の領域ベースマッチングの一例を示す説明図である。視差画像の一例を示す説明図である。別の実施形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。雑音除去の一例を説明するフローチャートである。従来の撮像装置の構成を示すブロック図である。他の従来の撮像装置の構成を示すブロック図である。

　以下に、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る撮像装置の全体構成を示す機能ブロック図である。図１に示す撮像装置１は、６系統の単位撮像部２～７を備えている。単位撮像部２は、撮像レンズ８と撮像素子１４から構成されている。同様に、単位撮像部３は、撮像レンズ９と撮像素子１５から構成されている。単位撮像部４は、撮像レンズ１０と撮像素子１６から構成されている。単位撮像部５は、撮像レンズ１１と撮像素子１７から構成されている。単位撮像部６は、撮像レンズ１２と撮像素子１８から構成されている。単位撮像部７は、撮像レンズ１３と撮像素子１９から構成されている。各撮像レンズ８～１３は、撮影対象からの光を、対応する各撮像素子１４～１９上にそれぞれ結像する。図１に示す符号２０～２５は、各撮像素子１４～１９に入射する光の光軸を示している。

　以下、単位撮像部３を例にとり、信号の流れを説明する。撮像レンズ９によって結像した像を、撮像素子１５で光電変換し、光信号を電気信号に変換する。撮像素子１５で変換された電気信号は、映像処理部２７によって、予め設定されたパラメータにより映像信号に変換される。映像処理部２７は、変換した映像信号を、映像合成処理部３８へ出力する。映像合成処理部３８には、他の単位撮像部２、４～７から出力される電気信号を、対応する各映像処理部２６、２８～３１により変換処理された映像信号が入力される。映像合成処理部３８では、各単位撮像部２～７において撮像された６つの映像信号を、同期を取りながら１本の映像信号に合成し、高精細映像として出力する。ここで、映像合成処理部３８は、後述するステレオ画像処理の結果に基づいて、高精細映像を合成する。また映像合成処理部３８は、合成した高解像度映像が、予め設定した判定値より劣化していた場合、その判定結果に基づいて、制御信号を生成して、６つの制御部３２～３７へ出力する。各制御部３２～３７は、入力された制御信号に基づいて、対応する各撮像レンズ８～１３の光軸制御を行う。そして、映像合成処理部３８は、再度、高精細映像の判定を行う。この判定結果が良ければ、映像合成処理部３８は、高精細映像を出力し、悪ければ再度、撮像レンズ８～１３を制御するという動作を繰り返す。

　次に、図２を参照して、図１に示す単位撮像部３の撮像レンズ９及びこの撮像レンズ９を制御する制御部３３の詳細な構成を説明する。単位撮像部３は、液晶レンズ（非固体レンズ）３０１及び光学レンズ（固体レンズ）３０２から構成されている。また、制御部３３は、液晶レンズ３０１に印加する電圧を制御する４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄから構成されている。電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄは、映像合成処理部３８が生成した制御信号に基づいて、液晶レンズ３０１に印加する電圧を決定し、液晶レンズ３０１を制御する。図１に示す他の単位撮像部２、４～７の撮像レンズ８、１０～１３及び制御部３２、３４～３７も、撮像レンズ９及び制御部３３と同様な構成であるため、ここでは詳細な説明を省略する。

　次に、図３Ａ及び図３Ｂを参照して、図２に示す液晶レンズ３０１の構成を説明する。図３Ａは、第１の実施形態による液晶レンズ３０１の正面図である。図３Ｂは、第１の実施形態による液晶レンズ３０１の断面図である。
　本実施形態における液晶レンズ３０１は、透明な第１の電極３０３、第２の電極３０４、透明な第３の電極３０５、液晶層３０６、第１の絶縁層３０７、第２の絶縁層３０８、第３の絶縁層３１１、第４の絶縁層３１２によって構成されている。
　液晶層３０６は、第２の電極３０４と第３の電極３０５との間に配置されている。第１の絶縁層３０７は、第１の電極３０３と第２の電極３０４との間に配置されている。第２の絶縁層３０８は、第２の電極３０４と第３の電極３０５の間に配置されている。第３の絶縁層３１１は、第１の電極３０３の外側に配置されている。第４の絶縁層３１２は、第３の電極３０５の外側に配置されている。
　ここで、第２の電極３０４は、円形の孔を有しており、図３Ａの正面図に示すように縦、横に分割された４つの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄによって構成されている。それぞれの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄは、独立して電圧を印加することができる。また、液晶層３０６は、第３の電極３０５に対向するように液晶分子を一方向に配向させており、液晶層３０６を挟む電極３０３、３０４、３０５の間に電圧を印加することで、液晶分子の配向制御を行う。また、絶縁層３０８には、大口径化のため、例えば数百μｍ程度の厚さの透明な硝子等を用いている。

　一例として液晶レンズ３０１の寸法を以下に示す。第２の電極３０４の円形の孔のサイズは、約φ２ｍｍである。第２の電極３０４と第１の電極３０３との間隔は、７０μｍである。第２の絶縁層３０８の厚みは、７００μｍである。液晶層３０６の厚さは、６０μｍである。本実施形態では、第１の電極３０３と第２の電極３０４は、異なった層としているが、同一の面上に形成しても構わない。その場合、第１の電極３０３の形状は、第２の電極３０４の円形の孔よりも小さなサイズの円形として、第２の電極３０４の孔位置に配置し、第２の電極３０４の分割部分に電極取り出し部を設けた構成とする。このとき、第１の電極３０３と第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄは、それぞれ独立に電圧制御が行える。このような構成とすることで、全体の厚みを減少させることができる。

　次に、図３Ａ及び図３Ｂに示す液晶レンズ３０１の動作を説明する。図３Ａ及び図３Ｂに示す液晶レンズ３０１において、透明な第３の電極３０５と、アルミニウム薄膜等で構成された第２の電極３０４との間に電圧を印加する。それと同時に、第１の電極３０３と第２の電極３０４との間にも電圧を印加する。これにより、円形の孔を有する第２の電極３０４の中心軸３０９に軸対象な電界勾配を形成することができる。このように形成された円形電極のエッジ周りの軸対象な電界勾配により、液晶層３０６の液晶分子が電界勾配の方向に配向する。その結果、液晶層３０６の配向分布の変化により、異常光の屈折率分布が、円形の電極の中心から周辺まで変化するため、レンズとして機能させることができる。第１の電極３０３、第２の電極３０４への電圧の掛け方によって、この液晶層３０６の屈折率分布を自由に変化させることができ、凸レンズや凹レンズなど、自由に光学的な特性の制御を行うことが可能である。

　本実施形態では、第１の電極３０３と第２の電極３０４との間に２０Ｖｒｍｓの実効電圧を印加し、第２の電極３０４と第３の電極３０５との間に７０Ｖｒｍｓの実効電圧を印加し、第１の電極３０３と第３の電極３０５との間には９０Ｖｒｍｓの実効電圧が印加して、凸レンズとして機能させている。ここで、液晶駆動電圧（各電極間に印加する電圧）は、正弦波、またはデューティ比５０％の矩形波の交流波形である。印加する電圧値は、実効電圧（ｒｍｓ：root mean square value）で表す。例えば１００Ｖｒｍｓの交流正弦波は、±１４４Ｖの尖頭値を有する電圧波形となる。また、交流電圧の周波数としては、例えば１ｋＨｚが用いられる。更に、第２の電極３０４を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと、第３の電極３０５との間にそれぞれ異なった電圧を印加する。これにより、同一電圧を印加したときには軸対称であった屈折率分布が、円形の孔を有する第２の電極中心軸３０９に対して、軸のずれた非対称な分布となり、入射光が直進する方向から偏向するという効果が得られる。この場合、分割された第２の電極３０４と第３の電極３０５との間に印加する電圧を、適宜変えることにより、入射光の偏向の方向を変化させることができる。例えば、電極３０４ａと電極３０５間と、電極３０４ｃと電極３０５間にそれぞれ７０Ｖｒｍｓを印加し、電極３０４ｂと電極３０５間と、電極３０４ｄと電極３０５間にそれぞれ７１Ｖｒｍｓを印加することで、符号３０９で示す光軸位置が、符号３１０で示す位置にシフトする。そのシフト量は、例えば３μｍである。

　図４は、液晶レンズ３０１の光軸シフト機能を説明する模式図である。前述した通り、第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと、第３の電極３０５との間に印加する電圧を、電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ毎に制御する。これによって、撮像素子の中心軸と、液晶レンズの屈折率分布の中心軸とをずらすことが可能となる。これは撮像素子面Ａ０１に対して、レンズがそのｘｙ面内でずれたことに相当する。そのため、撮像素子に入力する光線を、そのｕ、ｖ面内で偏向することができる。

　図５に、図２に示す単位撮像部３の詳細構成を示す。単位撮像部３の中の光学レンズ３０２は、２つの光学レンズ３０２ａ、３０２ｂによって構成される。液晶レンズ３０１は、光学レンズ３０２ａと３０２ｂとの間に配置されている。光学レンズ３０２ａ、３０２ｂは、それぞれ１枚もしくは複数枚のレンズより構成されている。物体面Ａ０２（図４参照）から入射した光線は、液晶レンズ３０１の物体面Ａ０２側に配置する光学レンズ３０２ａによって集光され、スポットを小さくした状態で液晶レンズ３０１に入射される。このとき、液晶レンズ３０１への光線の入射角度は、光軸に対して平行に近い状態となっている。液晶レンズ３０１から出射された光線は、液晶レンズ３０１の撮像素子１５側に配置する光学レンズ３０２ｂによって、撮像素子１５面上に結像される。このような構成とすることで、液晶レンズ３０１の径を小さくすることが可能であり、液晶レンズ３０１へ印加する電圧の低減やレンズ効果の増大、第２の絶縁層３０８の厚さを薄くすることによるレンズ厚の低減が可能になる。

　図１に示す撮像装置１では、１つの撮像素子に対して、１つの撮像レンズを配置した構成としている。しかし、液晶レンズ３０１において同一基板上に複数個の第２の電極３０４を構成し、複数の液晶レンズを一体化した構成としても構わない。すなわち液晶レンズ３０１は、第２の電極３０４の孔の部分が、レンズに相当する。そのため、１枚の基板上に複数個の第２の電極３０４のパターンを配置することで、それぞれの第２の電極３０４の孔の部分が、レンズ効果を有する。そのため、複数個の撮像素子の配置に合わせて、同一基板上に複数の第２の電極３０４を配置することで、単一の液晶レンズユニットで全ての撮像素子に対応することが可能である。

　なお、前述した説明においては、液晶層の層数が１層であった。しかし、１層の厚みを薄くして複数の層で液晶層を構成することで、同程度の集光性を保ったまま応答性を改善することも可能である。これは、液晶層の厚みが増すほど応答速度が劣化する特徴によるものである。また、液晶層を複数の層で構成した場合、それぞれの液晶層間での偏光の向きを変えることで、液晶レンズへ入射した光線に対して全ての偏光方向でレンズ効果を得ることができる。さらに、電極分割数も一例として、４分割のタイプを例示したが、移動したい方向に応じて電極の分割数を変更することも可能である。

　次に、図６及び図７を参照して、図１に示す撮像素子１５の構成を説明する。本実施形態による撮像装置１の撮像素子は、一例として、ＣＭＯＳ撮像素子を使用することができる。図６において、撮像素子１５は、２次元配列された画素５０１から構成されている。本実施形態のＣＭＯＳ撮像素子の画素サイズは５．６μｍ×５．６μｍであり、画素ピッチは６μｍ×６μｍであり、実効画素数は６４０（水平）×４８０（垂直）である。ここで画素とは、撮像素子が行う撮像動作の最小単位である。通常、１つの光電変換素子（例えばフォトダイオード）に１つの画素が対応している。５．６μｍ角の画素サイズのなかに、ある面積（空間的広がり）を持つ受光部があり、画素はその受光部に入射した光を平均化および積分して光の強度とし、電気信号に変換する。平均化する時間は、電子式や機械式のシャッター等で制御され、その動作周波数は一般的に撮像装置１が出力するビデオ信号のフレーム周波数と一致し、例えば６０Ｈｚである。

　図７に、撮像素子１５の詳細な構成を示す。ＣＭＯＳ撮像素子１５の画素５０１は、増幅器５１６によって、フォトダイオード５１５で光電変換された信号電荷を増幅する。各画素の信号は、垂直走査回路５１１及び水平走査回路５１２により、スイッチ５１７を制御することにより、垂直水平アドレス方式で選択され、電圧または電流として、ＣＤＳ５１８（Correlated Double Sampling）、スイッチ５１９、増幅器５２０を介して、信号Ｓ０１として、取り出される。スイッチ５１７は、水平走査線５１３及び垂直走査線５１４に接続されている。ＣＤＳ５１８は、相関２重サンプリングを行う回路であり、アンプ５１６等で発生するランダム雑音のうち１／ｆ雑音を抑圧することができる。画素５０１以外の画素についても同様の構成、機能を有する。またＣＭＯＳロジックＬＳＩ製造プロセスの応用で大量生産が可能なため、高電圧アナログ回路を持つＣＣＤイメージセンサと比較して安価であり、素子が小さいことから消費電力も少なく、原理的にスミアやブルーミングが発生しないという長所もある。本実施形態では、モノクロのＣＭＯＳ撮像素子１５を使用したが、各画素には個別にＲ，Ｇ，Ｂのカラーフィルタを取り付けたカラー対応のＣＭＯＳ撮像素子も使用できる。Ｒ，Ｇ，Ｇ，Ｂの繰り返しを市松模様状に配置するベイヤー構造を用いて、１つの撮像素子でカラー化を簡易に実現できる。

　次に、図８を参照して、撮像装置１の全体の構成について説明する。図８において、図１に示す同一の部分には同一の符号を付し、その説明を省略する。図８において、符号Ｐ００１は、撮像装置１の処理動作を統括して制御するＣＰＵ（Central Processing Unit）であり、マイクロコントローラ（マイコン）と呼ばれる場合もある。符号Ｐ００２は、不揮発性メモリで構成されるＲＯＭ（Read Only Memory）であり、ＣＰＵ・Ｐ００１のプログラムや各処理部に必要な設定値を記憶する。符号Ｐ００３は、ＲＡＭ（Random Access Memory）であり、ＣＰＵの一時的なデータを記憶する。符号Ｐ００４は、ＶｉｄｅｏＲＡＭであり、主に演算途中の映像信号、画像信号を記憶するためのもので、ＳＤＲＡＭ（Synchronous Dynamic RAM）などで構成される。

　図８では、ＣＰＵ・Ｐ００１のプログラム格納用としてＲＡＭ・Ｐ００３を有し、画像格納用としてＶｉｄｅｏＲＡＭ・Ｐ００４を有するが、例えば２つのＲＡＭブロックをＶｉｄｅｏＲＡＭ・Ｐ００４に統一する構成としてもよい。符号Ｐ００５は、システムバスであり、ＣＰＵ・Ｐ００１、ＲＯＭ・Ｐ００２、ＲＡＭ・Ｐ００３、ＶｉｄｅｏＲＡＭ・Ｐ００４、映像処理部２７、映像合成処理部３８、制御部３３が接続されている。またシステムバスＰ００５は、後述する映像処理部２７、映像合成処理部３８、制御部３３の各ブロックの内部ブロックにも接続される。ＣＰＵ・Ｐ００１が、ホストとしてシステムバスＰ００５を制御しており、映像処理、画像処理及び光軸制御に必要な設定データが双方向に流れる。
　例えば、映像合成処理部３８の演算途中の画像を、ＶｉｄｅｏＲＡＭ・Ｐ００４に格納する際に、このシステムバスＰ００５が使用される。高速転送速度が必要な画像信号用のバスと、低速のデータバスとを、異なるバスラインとしてもよい。システムバスＰ００５には、図示しないＵＳＢやフラッシュメモリカードのような外部とのインターフェースや、ビューファインダとしての液晶表示器の表示駆動コントローラが接続される。
　映像合成処理部３８は、他の映像処理部から入力される信号Ｓ０２に対して、映像合成処理を行い、信号Ｓ０３として他の制御部に出力したり、ビデオ信号Ｓ０４として外部に出力したりする。

　次に、図９、図１０を参照して、映像処理部２７と映像合成処理部３８の処理動作を説明する。図９は、映像処理部２７の構成を示すブロック図である。図９において、映像処理部２７は、映像入力処理部６０１、補正処理部６０２、較正パラメータ記憶部６０３を有する。映像入力処理部６０１は、単位撮像部３から映像信号を取り込み、例えばニー処理やガンマ処理などの信号処理を実施し、さらにホワイトバランス制御も実施する。映像入力処理部６０１の出力は、補正処理部６０２に出力され、後述するキャリブレーション手順によって得られた較正パラメータに基づく歪みの補正処理が実施される。例えば、補正処理部６０２は、撮像素子１５の取り付け誤差に起因する歪みを較正する。較正パラメータ記憶部６０３は、ＲＡＭ（Random Access Memory）であり、キャリブレーション値（較正値）を記憶している。補正処理部６０２からの出力である補正済みの映像信号は、映像合成処理部３８に出力される。較正パラメータ記憶部６０３に記憶されているデータは、例えば撮像装置１の電源投入時に、ＣＰＵ・Ｐ００１（図８）によって更新される。または、較正パラメータ記憶部６０３をＲＯＭ（Read Only Memory）として、工場出荷時のキャリブレーション手順にて格納データを確定して、ＲＯＭに記憶するようにしてもよい。

　映像入力処理部６０１、補正処理部６０２及び較正パラメータ記憶部６０３は、それぞれシステムバスＰ００５に接続されている。例えば、映像入力処理部６０１の前述のガンマ処理の特性は、ＲＯＭ・Ｐ００２に格納されている。映像入力処理部６０１は、ＣＰＵ・Ｐ００１のプログラムによって、ＲＯＭ・Ｐ００２（図８）に格納されているデータを、システムバスＰ００５を介して受け取る。また、補正処理部６０２は、演算途中の画像データを、システムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出したり、ＶｉｄｅｏＲＡＭ・Ｐ００４から読み出したりする。本実施形態では、モノクロのＣＭＯＳの撮像素子１５を使用しているが、カラーのＣＭＯＳ撮像素子を使用しても良い。カラーのＣＭＯＳ撮像素子を使用する場合、例えば撮像素子１がベイヤ構造である場合は、映像処理部６０１でベイヤ補間処理を実施する。

　図１０は、映像合成処理部３８の構成を示すブロック図である。映像合成処理部３８は、合成処理部７０１、合成パラメータ記憶部７０２、判定部７０３、ステレオ画像処理部７０４を有する。
　合成処理部７０１は、複数の単位撮像部２～７（図１）の撮像結果（映像処理部から入力される信号Ｓ０２）を合成処理する。合成処理部７０１による合成処理により、後述するように画像の解像度を改善することができる。合成パラメータ記憶部７０２は、例えば後述するキャリブレーションによって導出される単位撮像部間の３次元座標から求まる画像シフト量のデータを格納している。判定部７０３は、映像合成結果に基づいて制御部への信号Ｓ０３を生成する。ステレオ画像処理部７０４は、複数の単位撮像部２～７の各撮像画像から画素毎のシフト量（画素毎のシフトパラメータ）を求める。また、ステレオ画像処理部７０４は、撮像条件（距離）により撮像素子の画素ピッチで正規化したデータを求める。

　合成処理部７０１は、このシフト量を基に画像をシフトさせて合成する。判定部７０３は、合成処理の結果を例えばフーリエ変換することで、映像信号の高帯域成分のパワーを検出する。ここで、例えば、合成処理部７０１が、４つの単位撮像部の合成処理を行う場合を仮定する。撮像素子は、ワイドＶＧＡ（８５４画素×４８０画素）であると仮定する。また、映像合成処理部３８の出力であるビデオ信号Ｓ０４が、ハイビジョン信号（１９２０画素×１０８０画素）であると仮定する。この場合、判定部７０３で判定する周波数帯域は、およそ２０ＭＨｚから３０ＭＨｚである。ワイドＶＧＡの映像信号が再現可能な映像周波数の帯域上限は、およそ１０ＭＨｚ～１５ＭＨｚである。このワイドＶＧＡの信号を用いて、合成処理部７０１で合成処理することにより、２０ＭＨｚ～３０ＭＨｚの成分を復元する。ここで、撮像素子は、ワイドＶＧＡである。主に撮像レンズ８～１３（図１）からなる撮像光学系は、ハイビジョン信号の帯域を劣化させない特性を持つ必要がある。

　この合成後のビデオ信号Ｓ０４の周波数帯域（前述の例では２０ＭＨｚ～３０ＭＨｚの成分）のパワーが最大となるように、映像合成処理部３８は、制御部３２～制御部３７を制御する。周波数軸での判定のために、判定部７０３は、フーリエ変換処理を行い、その結果の、特定の周波数以上（例えば２０ＭＨｚ）のエネルギーの大きさを判定する。撮像素子の帯域を越える映像信号帯域の復元の効果は、撮像素子上に結像した像を画素の大きさで決まる範囲で標本化する際の、その位相によって変化する。この位相を最適な状態とするために、制御部３２～３７を用いて、撮像レンズ８～１３を制御する。具体的には、制御部３３は、撮像レンズ９が備える液晶レンズ３０１を制御する。液晶レンズ３０１の分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに印加する電圧のバランスを制御することで、図４に示した通り、撮像素子面上の画像が移動する。制御結果の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。そのような理想的な状態になった場合、フーリエ変換の結果の高帯域成分のエネルギーは最大となる。つまり、制御部３３は、液晶レンズの制御と、その結果の合成処理の判定を行うフィードバックループにより、フーリエ変換の結果のエネルギーが最大となるよう制御する。

　この制御方法では、映像処理部２７からの映像信号を基準として、制御部３３以外の制御部３２、３４～３７（図１）を介して、撮像レンズ２、撮像レンズ４～７（図１）を制御する。この場合、撮像レンズ２は、制御部３２によって光軸位相が制御される。その他の撮像レンズ４～７についても同様に光軸位相が制御される。各撮像素子の画素より小さいサイズでの位相の制御がなされることで、撮像素子で平均化される位相のオフセットが最適化される。つまり、撮像素子上に結像した像を画素で標本化する際の、その標本化の位相を、光軸位相の制御により高精細化を行うために理想的な状態に制御する。その結果、高精細かつ高画質な映像信号を合成することが可能となる。判定部７０３は、合成処理結果を判定し、高精細かつ高画質な映像信号が合成できていれば、その制御値を維持し、合成処理部７０１は、高精細かつ高画質な映像信号を、信号Ｓ０４としてビデオ出力する。一方、高精細かつ高画質な映像信号が合成できていなければ、再度、撮像レンズの制御を行う。

　ここでは、撮像素子１の画素と撮像対象の結像の位相が、画素のサイズ以下となるために、サブ画素と名前をつけて定義するが、画素を分割するサブ画素の構造は、撮像素子上に実在しない。また、映像合成処理部３８の出力は、例えばビデオ信号Ｓ０４であり、図示しないディスプレイに対して出力されたり、図示しない画像記録部に出力され、磁気テープやＩＣカードに記録されたりする。合成処理部７０１、合成パラメータ記憶部７０２、判定部７０３、ステレオ画像処理部７０４は、それぞれシステムバスＰ００５に接続されている。合成パラメータ記憶部７０２は、ＲＡＭにより構成されている。例えば、記憶部７０２は、撮像装置１の電源投入時に、ＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。また、合成処理部７０１は、演算途中の画像データを、システムバスＰ００５を介して、ＶｉｄｅｏＲＡＭ・Ｐ００４に書き込んだり、ＶｉｄｅｏＲＡＭ・Ｐ００４から読み出したりする。

　ステレオ画像処理部７０４は、画素毎のシフト量（画素毎のシフトパラメータ）及び撮像素子の画素ピッチで正規化したデータを求める。これは撮影した映像の１画面の中で複数の画像シフト量（画素毎のシフト量）で映像を合成する場合、具体的には撮影距離が近い被写体から遠い被写体まで焦点のあった映像を撮影したい場合に有効となる。すなわち、被写界深度が深い映像を撮影することができる。逆に画素毎のシフト量でなく、１画面で１つの画像シフト量を適用する場合は、被写界深度が浅い映像を撮影することができる。

　次に、図１１を参照して、制御部３３の構成を説明する。図１１において、制御部３３は、電圧制御部８０１、液晶レンズパラメータ記憶部８０２を有する。電圧制御部８０１は、映像合成処理部３８の判定部７０３から入力される制御信号に従い、撮像レンズ９が備えている液晶レンズ３０１の各電極の電圧を制御する。制御される電圧は、液晶レンズパラメータ記憶部８０２から読み出すパラメータ値を基準に、電圧制御部８０１が決定する。このような処理により、液晶レンズ３０１の電界分布が、理想的に制御され、図４に示すように光軸が制御される。その結果、取り込み位相が補正された状態で撮像素子１５において光電変換される。このような制御によって、画素の位相が理想的に制御される。その結果、ビデオ出力信号の解像度が改善される。制御部３３の制御結果が理想的な状態であれば、判定部７０３の処理であるフーリエ変換の結果のエネルギー検出が最大となる。そのような状態となるように、制御部３３は、撮像レンズ９、映像処理部２７、映像合成処理部３８によるフィードバックループを構成して、高域周波数のエネルギーが大きく得られるように、液晶レンズを制御する。電圧制御部８０１、液晶レンズパラメータ記憶部８０２は、それぞれシステムバスＰ００５に接続されている。液晶レンズパラメータ記憶部８０２は、例えばＲＡＭで構成されており、撮像装置１の電源投入時に、ＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。

　なお、図９～図１１に示す較正パラメータ記憶部６０３、合成パラメータ記憶部７０２及び液晶レンズパラメータ記憶部８０２は、同一のＲＡＭ、もしくはＲＯＭを用いて、記憶するアドレスで使い分ける構成にしてもよい。また、ＲＯＭ・Ｐ００２やＲＡＭ・Ｐ００３の一部のアドレスを使用する構成でもよい。

　次に、撮像装置１の制御動作を説明する。図１２は、撮像装置１の動作を示すフローチャートである。ここでは、映像合成処理において、映像の空間周波数情報を使用する一例を示す。まず、ＣＰＵ・Ｐ００１が制御処理の開始を指示すると、補正処理部６０２は、較正パラメータ記憶部６０３から較正パラメータを読み込む（ステップＳ９０１）。補正処理部６０２は、読み取った較正パラメータを基に、単位撮像部２～７毎の補正を行う（ステップＳ９０２）。この補正は、後述の単位撮像部２～７毎の歪みを除去するものである。
　次に、合成処理部７０１は、合成パラメータ記憶部７０２から、合成パラメータを読み込む（ステップＳ９０３）。また、ステレオ画像処理部７０４は、画素毎のシフト量（画素毎のシフトパラメータ）、及び撮像素子の画素ピッチで正規化したデータを求める。そして、合成処理部７０１は、読み込んだ合成パラメータ、及び画素毎のシフト量（画素毎のシフトパラメータ）、撮像素子の画素ピッチで正規化したデータを基に、サブ画素映像合成高精細化処理を実行する（ステップＳ９０４）。後述するように、合成処理部７０１は、サブ画素単位での位相が異なる情報をもとに高精細画像を構築する。

　次に、判定部７０３は、高精細判定を実行し（ステップＳ９０５）、高精細か否かを判定する（ステップＳ９０６）。判定部７０３は、内部に判定用の閾値を保持しており、高精細の度合いを判定して、この判定結果の情報を制御部３２～３７のそれぞれに出力する。各制御部３２～３７は、高精細が達成されている場合は、制御電圧を変更せずに、液晶レンズパラメータとして同一値を保持する（ステップＳ９０７）。一方、ステップＳ９０６において、高精細ではないと判定された場合、制御部３２～３７は、液晶レンズ３０１の制御電圧を変更する（ステップＳ９０８）。ＣＰＵ・Ｐ００１は、制御終了条件を管理しており、例えば、撮像装置１のパワーオフの条件が成立したか否かを判定する（ステップＳ９０９）。ステップＳ９０９において、制御終了条件が満たされていなければ、ＣＰＵ・Ｐ００１は、ステップＳ９０３へ戻り、上述した処理を繰り返す。一方、ステップＳ９０９において、制御終了条件を満たしていれば、ＣＰＵ・Ｐ００１は、図１２に示すフローチャートの処理を終了する。なお、制御終了条件は、撮像装置１のパワーオン時に予め高精細判定回数を１０回というように定めておき、指定回数分、ステップＳ９０３～Ｓ９０９の処理を繰り返すようにしてもよい。

　次に、図１３を参照して、図１２に示すサブ画素映像合成高精細化処理（ステップＳ９０４）の動作を説明する。画像サイズ、倍率、回転量及びシフト量は、合成パラメータＢ０１であり、合成パラメータ読み込み処理（ステップＳ９０３）において合成パラメータ記憶部７０２から読み出される。合成パラメータＢ０１の画像サイズと倍率に基づいて、座標Ｂ０２が決定される。また、座標Ｂ０２と、合成パラメータＢ０１の回転量とシフト量とに基づいて、変換演算Ｂ０３が行われる。
　ここでは、４つの単位撮像部から１つの高精細画像を得る場合を仮定する。個々の単位撮像部にて撮像した４つの画像Ｂ１１～Ｂ１４から、回転量とシフト量のパラメータを使用して１つの座標系Ｂ２０に重ねる。そして、４つの画像Ｂ１１～Ｂ１４と、距離による重み係数とによってフィルタ演算を行う。例えばフィルタとして、キュービック（３次近似）を使用する。距離ｄにある画素から取得する重みｗは、次式となる。

　ｗ＝１－２×ｄ２＋ｄ３　（０≦ｄ＜１）
　　＝４－８×ｄ＋５×ｄ２－ｄ３　（１≦ｄ＜２）
　　＝０　（２≦ｄ）

　次に、図１４を参照して、図１２に示す判定部７０３が行う高精細判定処理（ステップＳ９０５）の詳細動作を説明する。まず、判定部７０３は、定義範囲の信号を抽出する（ステップＳ１００１）。例えばフレーム単位の１画面を定義範囲とした場合は、図示しないフレームメモリブロックにより、あらかじめ１画面分の信号を記憶する。例えばＶＧＡ解像度であれば、１画面分は６４０×４８０画素からなる２次元の情報である。この２次元情報に対して、判定部７０３は、フーリエ変換を実行して、時間軸の情報を周波数軸の情報に変換する（ステップＳ１００２）。次に、ＨＰＦ（High pass filter：高域通過濾過器）によって、高域信号を抽出する（ステップＳ１００３）。例えば、撮像素子９が、アスペクト比が４：３であり、６０ｆｐｓ（Frame Per Second）（プログレッシブ）のＶＧＡ信号（６４０画素×４８０画素）であり、映像合成処理部の出力であるビデオ出力信号がＱｕａｄ－ＶＧＡである場合を仮定する。ＶＧＡ信号の限界解像度が約８ＭＨｚであり、合成処理にて１０ＭＨｚ～１６ＭＨｚの信号を再生する場合を仮定する。この場合、ＨＰＦは、例えば１０ＭＨｚ以上の成分を通過させる特性を持つ。判定部７０３は、この１０ＭＨｚ以上の信号を閾値と比較して判定を行う（ステップＳ１００４）。例えば、フーリエ変換した結果のＤＣ（直流）成分を１とした場合、１０ＭＨｚ以上のエネルギーの閾値を０．５と設定して、その閾値と比較する。

　前述した説明においては、ある解像度の撮像結果の１フレーム分の画像を基準にフーリエ変換する場合を説明した。しかし、定義範囲をライン単位（水平同期繰り返しの単位、ハイビジョン信号であれば、有効画素数１９２０画素単位）で定義した場合には、フレームメモリブロックが不要となり、回路規模を小さくすることが可能となる。この場合、例えばハイビジョン信号であれば、例えばライン数の１０８０回、フーリエ変換を繰り返し実行して、ライン単位の１０８０回分の閾値比較判定を総合して、一画面の高精細度合いを判定してもよい。また、画面単位の閾値比較判定結果を数フレーム分使用して判定してもよい。このように、複数の判定結果をもとに総合判定することで、突発的なノイズの影響などを除去可能となる。また、閾値判定では、固定の閾値を使用してもよいが、閾値を適応的に変更してもよい。判定している画像の特徴を別途抽出して、その結果をもとに閾値を切り替えてもよい。例えば、ヒストグラム検出で画像の特徴を抽出してもよい。また、過去の判定結果と連動して現在の閾値を変更してもよい。

　次に、図１５を参照して、図１２に示す制御部３２～３７が実行する制御電圧変更処理（ステップＳ９０８）の詳細動作を説明する。ここでは、制御部３３の処理動作を例として説明するが、制御部３２、３４～３７の処理動作も同様である。まず、電圧制御部８０１（図１１）は、液晶レンズパラメータ記憶部８０２から、現在の液晶レンズのパラメータ値を読み出す（ステップＳ１１０１）。そして、電圧制御部８０１は、液晶レンズのパラメータ値を更新する（ステップＳ１１０２）。液晶レンズパラメータとしては、過去の履歴を持たせておく。例えば、現在の４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄに対して、電圧制御部３３ａの電圧を、過去の履歴で４０Ｖ、４５Ｖ、５０Ｖと５Ｖ置きに上昇させている最中である場合、履歴と今回の高精細ではないという判定から、さらに電圧を上げるべきと判定する。そして、電圧制御部３３ｂ、電圧制御部３３ｃ、電圧制御部３３ｄの電圧値を保持しながら、電圧制御部３３ａの電圧を５５Ｖに更新する。このように、順次４つの液晶レンズの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄに与える電圧値を更新する。また、履歴として液晶レンズパラメータの値を更新する。

　以上の処理動作により、複数の単位撮像部２～７の撮像画像を、サブ画素単位で合成して、その高精細の程度を判定して、高精細性能を維持するように制御電圧を変更する。これにより、高画質な撮像装置１を実現することが可能となる。分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに異なる電圧を印加することで、撮像レンズ８～１３によって撮像素子上に結像した像を撮像素子の画素で標本化する際の、標本化位相を変化させる。その制御の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。理想的な状態であるかどうかの判定は、判定部７０３で行う。

　次に、図１６を参照して、カメラキャリブレーションの処理動作を説明する。この処理動作は、例えば撮像装置１の工場生産時に行う処理であり、撮像装置の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことで実行される。このカメラキャリブレーション処理は、ＣＰＵ・Ｐ００１によって実行される。まず、撮像装置１を調整する作業者が、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを用意して、姿勢やアングルを変えながら、チェッカーパターンの３０種類の姿勢で撮像して画像を取得する（ステップＳ１２０１）。続いて、ＣＰＵ・Ｐ００１は、この撮像画像を、単位撮像部２～７毎に解析して、単位撮像部２～７毎の外部パラメータ値、内部パラメータ値を導出する（ステップＳ１２０２）。例えば、ピンホールカメラモデルと呼ばれるような一般的なカメラのモデルであれば、外部パラメータ値は、カメラの姿勢の３次元での回転情報と並進情報の６つが外部パラメータとなる。同様に、内部パラメータは５つである。このようなパラメータを導出する処理が、較正（キャリブレーション）である。一般的なカメラモデルでは、外部パラメータは、世界座標に対してカメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す並進ベクトルの３軸成分の、合計６つである。また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心（ｕ０，ｖ０）、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５つである。

　次に、ＣＰＵ・Ｐ００１は、得られたパラメータを較正パラメータ記憶部６０３に記憶する（ステップＳ１２０３）。前述の通り、本パラメータを単位撮像部２～７の補正処理（図１２に示すステップＳ９０２）で使用することで、単位撮像部２～７の個別のカメラ歪みが補正される。すなわち、本来、直線であったチェッカーパターンが、カメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータを、このカメラキャリブレーション処理によって導出して、単位撮像部２～７の補正を行う。

　次に、ＣＰＵ・Ｐ００１は、単位撮像部２～７間のパラメータを、単位撮像部２～７間の外部パラメータとして導出する（ステップＳ１２０４）。そして、合成パラメータ記憶部７０２及び液晶レンズパラメータ記憶部８０２に記憶されているパラメータを更新する（ステップＳ１２０５、Ｓ１２０６）。この値は、サブ画素映像合成高精細化処理Ｓ９０４、及び制御電圧変更Ｓ９０８で使用される。

　なお、ここでは撮像装置１内のＣＰＵ・Ｐ００１またはマイコンにカメラキャリブレーションの機能を持たせた場合を示した。しかし、例えば別途パソコンを用意して、このパソコン上で同様の処理を実行させて、得られたパラメータのみを撮像装置１にダウンロードするような構成でもよい。

　次に図１７を参照して、単位撮像部２～７のカメラキャリブレーションの原理について説明する。ここでは、カメラによる投影の様子について図１７に示すようなピンホールカメラモデルを用いる。ピンホールカメラモデルにおいて、画像平面に至る光は、全てレンズの中心の１点であるピンホールＣ０１を通過し、画像平面Ｃ０２と交差した位置で像を結ぶ。光軸と画像平面Ｃ０２との交点を原点とし、カメラの素子の配置軸に合わせてＸ軸とＹ軸をとる座標系を画像座標系と呼ぶ。また、カメラのレンズ中心を原点、光軸をＺ軸とし、Ｘ軸とＹ軸に平行にＸ軸とＹ軸をとる座標系をカメラ座標系と呼ぶ。ここで、空間を表す座標系であるワールド座標系（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）での３次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］^Ｔと、その投影である画像座標系（ｘ，ｙ）上の点ｍ＝［ｕ，ｖ］^Ｔは、（１）式のように関連付けられる。

　（１）式において、Ａは、内部パラメータ行列であり、次の（２）式のような行列である。

　（２）式において、α，βは画素の大きさと焦点距離との積からなるスケール係数である。（ｕ_０，ｖ_０）は画像中心であり、γは画像の座標軸の歪みを表すパラメータである。また、［Ｒ　ｔ］は外部パラメータ行列であり、３×３の回転行列Ｒと平行移動ベクトルｔとを並べた４×３行列である。

　Ｚｈａｎｇのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を（３回以上）撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。この手法では、キャリブレーション平面Ｃ０３（図１７）を、ワールド座標系のＺ_ｗ＝０の平面としてキャリブレーションする。（１）式で示したキャリブレーション平面Ｃ０３上の点Ｍと、その平面を撮影した画像上の対応する点ｍとの関係は、次の（３）式のように書き変えることができる。

　平面上の点と画像上の点との関係は、３×３のホモグラフィ行列Ｈであり、（４）式のように記述できる。

　キャリブレーション平面Ｃ０３の画像が１つ与えられると、ホモグラフィ行列Ｈが１つ得られる。このホモグラフィ行列Ｈ＝［ｈ_１　ｈ_２　ｈ_３］が得られると、（４）式より次の（５）式が得られる。

　Ｒが回転行列なので、ｒ_１とｒ_２は直交する。このため、次に示す内部パラメータに関する２つの拘束式である（６）、（７）式が得られる。

　Ａ^－ＴＡ^－１は、（８）式のように、３×３の対象行列であって、６つの未知数を含んでおり、１つのＨにつき２つの式を立てることができる。そのため、Ｈが３つ以上得られれば内部パラメータＡを決定することができる。ここで、Ａ^－ＴＡ^－１は対象性を持っていることから、以下の（８）式で表されるＢの要素を並べたベクトルｂを、（９）式のように定義する。

　ホモグラフィ行列Ｈのｉ番目の列ベクトルをｈ_ｉ＝［ｈ_ｉ１　ｈ_ｉ２　ｈ_ｉ３］^Ｔ，（ｉ＝１，２，３）とすると、ｈ_ｉ ^ＴＢｈ_ｊは、以下の（１０）式により表される。

　なお、（１０）式におけるＶ_ｉｊは、以下の（１１）式により表される。

　これにより、（６）式と（７）式は、以下の（１２）式のようになる。

　もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、以下の（１３）式を得ることができる。

　ここで、Ｖは２ｎ×６の行列である。これより、ｂはＶ^ＴＶの最小固有値に対応する固有ベクトルとして求められる。この場合、ｎ≧３であれば直接ｂに関する解を得ることができるが、ｎ＝２の場合は、内部パラメータ中のγ＝０とすることで、式［０　１　０　０　０　０］ｂ＝０を（１３）式に加えることで解を得る。また、ｎ＝１であれば２つの内部パラメータしか求めることができない。そのため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。ｂを求めることでＢが求まれば、Ｂ＝μＡ－ＴＡからカメラの内部パラメータは（１４）式で計算される。

　また、これより内部パラメータＡが求まれば、外部パラメータに関しても（５）式より、以下の（１５）式が得られる。

　ここまでで得られたパラメータを初期値とする非線形最小二乗法によって、パラメータを最適化することで、最適な外部パラメータを得ることができる。

　以上のように、全ての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚以上の画像を用いることでカメラキャリブレーションを行うことができる。この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。

　次に、図１８、図１９を参照して、カメラキャリブレーションで求められるカメラ（撮像装置）の位置・姿勢を表すカメラパラメータから、各画像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する。
　図１８は、基本となる撮像素子１５（これを基本カメラＤ０１と称する）と、それと隣り合う隣接の撮像素子１６（これを隣接カメラＤ０２と称する）にて対象物体面Ｄ０３上の点Ｍを、液晶レンズＤ０４、Ｄ０５を介して各撮像素子１５、１６上の点ｍ_１またはｍ_２へ投影（撮影）する場合を示している。
　また、図１９は、図１８を、図１７に示すピンホールカメラモデルを用いて図示したものである。図１９において、符号Ｄ０６は、基本カメラＤ０１のカメラレンズの中心であるピンホールを示している。符号０７は、隣接カメラＤ０２のカメラレンズの中心であるピンホールを示している。また、符号Ｄ０８は、基本カメラＤ０１の画像平面を示しており、Ｚ１は、基本カメラＤ０１の光軸を示している。また、符号Ｄ０９は、隣接カメラＤ０２の画像平面を示しており、Ｚ２は、隣接カメラＤ０２の光軸を示している。
　ワールド座標系上の点Ｍと、画像座標系上の点ｍとの関係は、カメラの移動性等から、中心射影行列Ｐを用いて表すと（１）式より、以下の（１６）式のように表すことができる。

　算出されたＰを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。図１９に示す構成において、基本カメラＤ０１の中心射影行列をＰ_１とし、隣接カメラＤ０２の中心射影行列をＰ_２とする。画像平面Ｄ０８上の点ｍ_１から、その点と対応する画像平面Ｄ０９上の点ｍ_２を求めるために、以下の方法を用いる。
（１）　（１６）式よりｍ_１から三次元空間中の点Ｍを、以下の（１７）式により求める。中心射影行列Ｐは、３×４の行列であるため、Ｐの疑似逆行列を用いて求める。

（２）　算出された三次元位置より、隣接カメラの中心射影行列Ｐ_２を用いて、隣接画像の対応点ｍ_２を、以下の（１８）により求める。

　カメラパラメータＰは、アナログの値を持っているので、算出された基本画像と隣接画像の対応点ｍ_２は、サブ画素単位で求まる。カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。

　次に、レンズの歪みとカメラキャリブレーションについて説明する。ここまでは、レンズを１つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。このような場合の歪みの補正について、以下に説明する。凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。このような放射方向の歪みに対する補正係数をｋ_１、ｋ_２、ｋ_５と置く。また、レンズと撮像素子が平行に配置されない場合は、接線方向の歪みを生じる。この法線方向の歪みに対する補正係数をｋ_３、ｋ_４と置く。これらの歪みを歪曲収差と呼ぶ。ここで、歪み補正式は、下記の式（１９）、式（２０）、式（２１）のように表すことができる。

　ここで、（ｘ_ｕ，ｙ_ｕ）は歪曲収差のない理想的なレンズの撮像結果の画像座標である。（ｘ_ｄ、ｙ_ｄ）は、歪曲収差のあるレンズの画像座標である。この座標の座標系は、双方とも前述の画像座標系Ｘ軸、Ｙ軸である。また、ｒは画像中心から（ｘ_ｕ，ｙ_ｕ）までの距離である。画像中心は、前述の内部パラメータｕ_０，ｖ_０で定まる。以上のモデルを仮定して、係数ｋ_１～ｋ_５や内部パラメータをキャリブレーションによって導出すれば、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。

　図２０は、撮像装置１の撮像の様子を示す模式図である。撮像素子１５と撮像レンズ９からなる単位撮像部３は、撮像範囲Ｅ０１を撮像する。撮像素子１６と撮像レンズ１０からなる単位撮像部４は、撮像範囲Ｅ０２を撮像する。２つの単位撮像部３、４にて略同一の撮像範囲を撮像する。例えば撮像素子１５、１６の配置間隔は１２ｍｍであり、単位撮像部３、４の焦点距離は５ｍｍであり、撮像範囲までの距離は６００ｍｍであり、単位撮像部３、４の光軸が各々平行である場合、撮像範囲Ｅ０１、Ｅ０２の異なる範囲のエリアは、およそ３％程度である。このように、同一部を撮像して合成処理部３８で高精細化処理を行う。

　次に、図２１、図２２を参照して、撮像装置１の高精細化について説明する。
　なお、図２１の波形１は、被写体の輪郭について示している。図２１の波形２は、単一の撮像装置で撮像した結果について示している。図２１の波形３は、単一の撮像装置で撮像した結果について示している。図２１の波形４は、合成処理部の出力について示している。
　図２１において、横軸は、空間の広がりを示している。この空間の広がりとは、現実の空間である場合と、撮像素子上の仮想空間広がりである場合の双方を示す。これらは、外部パラメータ、内部パラメータを用いれば相互に変換や換算が可能であるので同義である。また、撮像素子から順次読み出された映像信号とみなした場合は、図２１の横軸は時間軸となる。この場合もディスプレイに表示された場合は、観察者の目において空間の広がりと認識されるため、映像信号の時間軸である場合も空間の広がりと同義である。図２１の縦軸は、振幅、強度である。物体反射光の強度を撮像素子の画素で光電変換して電圧レベルとして出力することから、振幅とみなしてよい。

　図２１の波形１は、現実空間での物体の輪郭である。この輪郭、すなわち物体の反射光の強度を撮像素子の画素の広がりで積分する。そのため、単位撮像部２～７にて、図２１の波形２のように取り込まれる。積分は、一例として、ＬＰＦ（Low Pass Filter：低域通過フィルタ）を用いて行なわれる。図２１の波形２中の矢印Ｆ０１は、撮像素子の画素の広がりである。図２１の波形３は、異なる単位撮像部２～７で撮像した結果であり、図２１の波形３中の矢印Ｆ０２で示す画素の広がりで、光を積分する。図２１の波形２、図２１の波形３に示すように、撮像素子の解像度（画素のサイズ）で定まる広がり以下の反射光の輪郭（プロファイル）は、撮像素子では再現できない。

　しかし、本実施形態の特徴とするところは、図２１の波形２、図２１の波形３において双方の位相関係にオフセットを持たせることである。このようなオフセットを持って光を取り込み、合成処理部で最適に合成することで、図２１の波形４に示す輪郭を再現することが可能となる。図２１の波形１～波形４から明らかなように、図２１の波形１の輪郭をもっとも再現できているのは図２１の波形４であり、図２１の波形４の矢印Ｆ０３の幅に相当する撮像素子の画素のサイズの性能と等価である。本実施形態では、液晶レンズに代表される非固体レンズと、撮像素子からなる単位撮像部を複数使用して、上述の平均化（ＬＰＦを用いた積分）による解像限界を超えるビデオ出力を得ることが可能となる。

　図２２は、２つの単位撮像部の相対的な位相関係を示す模式図である。後段の画像処理で高精細化を行う場合、撮像素子によるサンプリング位相の相対関係は等間隔であることが望ましい。ここで、サンプリングとは、標本化と同義であり、離散的な位置におけるアナログ信号を取り出す処理を指す。図２２では、２つの単位撮像部を使用する場合を仮定している。そのため、その位相関係は、図２２の状態１のように、０．５画素サイズＧ０１の位相関係が理想である。図２２の状態１に示すように、２つの単位撮像部には、それぞれ光Ｇ０２が入射する。
　しかし、撮像距離や、撮像装置１の組み立ての関係で、図２２の状態２や図２２の状態３のようになる場合がある。この場合、平均化されたあとの映像信号のみを用いて画像処理演算を行っても、すでに図２２の状態２、図２２の状態３のような位相関係で平均化されてしまった信号は、復元不可能である。そこで図２２の状態２、図２２の状態３の位相関係を、図２２の状態４に示すように高精度に制御することが必要になる。本実施形態では、矢印Ｇ０３、Ｇ０４で示すように、この制御を図４に示した液晶レンズによる光軸シフトで実現する。以上の処理により、常に理想的な位相関係が保たれるので、観察者に最適な画像を提供可能となる。

　ここで、図２２においては、１次元の位相関係について説明した。例えば４つの単位撮像部を用いて、各々水平、垂直、斜め４５度の各方向の１次元シフトをすることで、図２２に示した動作により、２次元空間の位相制御が可能となる。また、例えば２つの単位撮像部を用いて、基準のものに対して片側の単位撮像部を、２次元（水平、垂直、水平＋垂直）に位相制御することで、２次元の位相制御を実現してもよい。

　例えば、４つの単位撮像部を用いて、概略同一の撮像対象（被写体）を撮像して、４つの画像を得る場合を仮定する。ある画像を基準として、個々の画像をフーリエ変換して周波数軸で特徴点を判定して、基準画像に対する回転量とシフト量を算出して、その回転量、シフト量を用いて内挿フィルタリング処理することで高精細画像を得ることが可能となる。例えば、撮像素子の画素数がＶＧＡ（６４０×４８０画素）であれば、４つのＶＧＡの単位撮像部によってＱｕａｄ－ＶＧＡ（１２８０×９６０画素）の高精細画像が得られる。
　前述の内挿フィルタリング処理では、例えばキュービック（３次近似）法を用いる。これは、内挿点までの距離による重み付けの処理である。撮像素子１の解像度限界はＶＧＡであるが、撮像レンズはＱｕａｄ－ＶＧＡの帯域を通過させる能力を持ち、ＶＧＡ以上のＱｕａｄ－ＶＧＡの帯域成分は折り返し歪み（エイリアシング）としてＶＧＡ解像度で撮像される。この折り返し歪みを使用して、映像合成処理により、Ｑｕａｄ－ＶＧＡの高帯域成分を復元する。

　図２３Ａ～図２３Ｃは、撮像対象（被写体）と結像の関係を示す図である。
　なお、図２３Ｂにおいて、符号Ｉ０１は、像の光強度分布イメージを示している。符号Ｉ０２は、Ｐ１の対応点を示している。符号Ｉ０３は、撮像素子Ｍの画素を示している。符号Ｉ０４は、撮像素子Ｎの画素を示している。
　図２３Ｂでは、符号Ｉ０５に示すように、対応点と画素の位相関係から、画素で平均化される光束量が異なり、この情報を利用して高解像度化を図っている。また、符号Ｉ０６に示すように、イメージシフトにて、対応点同士を重ねている。
　図２３Ｃにおいて、符号Ｉ０２は、Ｐ１の対応点を示している。図２３Ｃでは、符号Ｉ０７に示すように、液晶レンズによる光軸シフトを行っている。
　図２３Ａ～図２３Ｃにおいては、レンズひずみを無視したピンホールモデルがベースになっている。レンズひずみが小さい撮像装置は、このモデルで説明可能であり、幾何光学のみで説明可能である。図２３Ａにおいて、Ｐ１は撮像対象であり、撮像装置から撮像距離Ｈ離れている。ピンホールＯ、Ｏ’が２つの単位撮像部の撮像レンズに相当している。図２３Ａは、撮像素子Ｍ、Ｎの２つの単位撮像部で１つの像を撮像する場合を示す模式図である。図２３Ｂは、撮像素子の画素にＰ１の像が結像する様子を示している。このように、画素と結像した像の位相が定まる。この位相は、互いの撮像素子の位置関係（基線長Ｂ）、焦点距離ｆ、撮像距離Ｈで決まる。

　すなわち、撮像素子の取り付け精度によっては、設計値と異なる場合があり、また撮像距離によっても関係は変化する。この場合、ある組み合わせによっては図２３Ｃのように、互いの位相が一致してしまう場合がある。図２３Ｂの光強度分布イメージは、ある広がりに対する光の強度を模式的に示したものである。このような光の入力に対して、撮像素子では、画素の広がりの範囲で平均化する。図２３Ｂに示すように、２つの単位撮像部で異なる位相で取り込んだ場合は、同一の光強度分布が異なる位相で平均化される。そのため、後段の合成処理で高帯域成分（例えば撮像素子がＶＧＡ解像度であれば、ＶＧＡ解像度以上の高帯域）が再現できる。ここでは、２つの単位撮像部を用いているので、０．５画素の位相ずれが理想である。

　しかし、図２３Ｃのように位相が一致してしまうと、互いの撮像素子で取り込む情報が同じものとなり、高解像化は不可能となる。そこで、図２３Ｃに示すように、光軸シフトで位相を最適な状態に制御することで、高解像化を達成する。最適な状態は、図１４の処理を行うことにより実現する。位相関係は、使用する単位撮像部の位相が等間隔であることが望ましい。本実施形態では、光軸シフト機能を持つため、そのような最適な状態は、外部からの電圧制御で達成可能となる。

　図２４Ａ及び図２４Ｂは、撮像装置１の動作を説明する模式図である。図２４Ａ及び図２４Ｂは、２つの単位撮像部からなる撮像装置で撮像している様子を図示したものである。なお、図２４Ａにおいて、符号Ｍｎは、撮像素子Ｍの画素を示している。また、符号Ｎｎは、撮像素子Ｎの画素を示している。
　各々の撮像素子は、説明の便宜上、画素単位に拡大して記載している。撮像素子の平面をｕ，ｖの２次元で定義しており、図２４Ａは、ｕ軸の断面に相当する。撮像対象Ｐ０、Ｐ１は、同一撮像距離Ｈにある。Ｐ０の像が、各々ｕ０、ｕ’０に結像する。ｕ０，ｕ’０は、各々の光軸を基準とした撮像素子上の距離である。図２４Ａでは、Ｐ０は撮像素子Ｍの光軸上にあるので、ｕ０＝０である。また、Ｐ１の各々の像の、光軸からの距離がｕ１，ｕ’１である。ここで、Ｐ０，Ｐ１が撮像素子Ｍ，Ｎ上に結像する位置の、撮像素子Ｍ，Ｎの画素に対する相対的な位相がイメージシフトの性能を左右する。この関係は、撮像距離Ｈ、焦点距離ｆ、撮像素子の光軸の間の距離である基線長Ｂによって定まる。

　図２４Ａ及び図２４Ｂでは、互いの結像する位置、すなわちｕ０とｕ’０は画素のサイズの半分だけシフトしている。ｕ０（＝０）は撮像素子Ｍの画素の中心に位置している。それに対してｕ’０は、撮像素子Ｎの画素の周辺に結像している。すなわち、画素サイズの半画素分ずれた関係となっている。ｕ１とｕ’１も同様に半画素のサイズだけシフトしている。図２４Ｂは、各々撮像した画像の同一画像同士を演算することで、１つの画像を復元および生成する動作の模式図である。Ｐｕはｕ方向の画素サイズを示し、Ｐｖはｖ方向の画素サイズを示す。図２４Ｂにおいて、四角形で示した領域は、画素を示している。図２４Ｂでは、互いに画素の半分だけシフトしている関係となり、イメージシフトを実施して高精細画像を生成するための理想的な状態である。

　図２５Ａ及び図２５Ｂは、図２４Ａ及び図２４Ｂに対して、例えば取り付け誤差により、撮像素子Ｎが設計よりも画素サイズの半分だけずれて取り付けられた場合の模式図である。
　なお、図２５Ａにおいて、符号Ｍｎは、撮像素子Ｍの画素を示している。また、符号Ｎｎは、撮像素子Ｎの画素を示している。
　また、図２５Ｂにおいて、四角形で示した領域は、画素を示している。また、符号Ｐｕは、ｕ方向の画素サイズを示しており、符号Ｐｖは、ｖ方向の画素サイズを示している。
　この場合、ｕ１とｕ’１の互いの関係は、各々の撮像素子の画素に対して同一の位相となる。図２５Ａでは、双方とも、画素に対して左側に寄った位置に結像している。ｕ０（＝０）とｕ’０の関係も同様である。よって図２５Ｂのように、互いの位相は略一致する。

　図２６Ａ及び図２６Ｂは、図２５Ａ及び図２５Ｂに対して、本実施形態の光軸シフトを動作させた場合の模式図である。
　なお、図２６Ａにおいて、符号Ｍｎは、撮像素子Ｍの画素を示している。また、符号Ｎｎは、撮像素子Ｎの画素を示している。
　また、図２６Ｂにおいて、四角形で示した領域は、画素を示している。また、符号Ｐｕは、ｕ方向の画素サイズを示しており、符号Ｐｖは、ｖ方向の画素サイズを示している。
　図２６Ａ中の光軸シフトＪ０１というピンホールＯ’の右方向への移動が、その動作のイメージである。このように、光軸シフト手段を用いてピンホールＯ’をずらすことで、撮像対象が結像する位置が、撮像素子の画素に対して制御可能となる。これにより、図２６Ｂのように理想的な位相関係が達成可能となる。

　次に、図２７Ａ及び図２７Ｂを参照して、撮像距離と光軸シフトの関係について説明する。
　なお、図２７Ａにおいて、符号Ｍｎは、撮像素子Ｍの画素を示している。また、符号Ｎｎは、撮像素子Ｎの画素を示している。
　また、図２７Ｂにおいて、四角形で示した領域は、画素を示している。また、符号Ｐｕは、ｕ方向の画素サイズを示しており、符号Ｐｖは、ｖ方向の画素サイズを示している。
　図２７Ａ及び図２７Ｂは、撮像距離Ｈ０でＰ０を撮像している状態から、距離Ｈ１にある物体Ｐ１に被写体を切り替えた場合を説明する模式図である。図２７Ａにおいて、Ｐ０，Ｐ１はそれぞれ撮像素子Ｍ上の光軸上であると仮定しているので、ｕ０＝０であり、またｕ１＝０である。Ｐ０、Ｐ１が撮像素子Ｎに結像する際の、撮像素子Ｂの画素とＰ０，Ｐ１の像の関係に注目する。Ｐ０は、撮像素子Ｍの画素の中心に結像している。それに対して撮像素子Ｎでは、画素の周囲に結像している。よってＰ０を撮像していたときは最適な位相関係であったといえる。図２７Ｂは、被写体がＰ１の場合の互いの撮像素子の位相関係を示す模式図である。図２７Ｂにあるように被写体をＰ１に変更したあとは、互いの位相が略一致してしまう。

　そこで、図２８Ａの符号Ｊ０２で示すように、被写体Ｐ１の撮像時に、光軸シフト手段により光軸を動かすことで、図２８Ｂに示すように理想的な位相関係に制御することが可能となり、イメージシフトによる高精細化が達成できる。
　なお、図２８Ａにおいて、符号Ｍｎは、撮像素子Ｍの画素を示している。また、符号Ｎｎは、撮像素子Ｎの画素を示している。
　また、図２８Ｂにおいて、四角形で示した領域は、画素を示している。また、符号Ｐｕは、ｕ方向の画素サイズを示しており、符号Ｐｖは、ｖ方向の画素サイズを示している。
　ここで、撮像距離の情報を得るためには、距離を測定する測距手段を別途設ければよい。または、本実施形態の撮像装置で距離を測定してもよい。複数のカメラ（単位撮像部）を用いて距離を測定する例が、測量などでは一般的である。その測距性能は、カメラ間の距離である基線長とカメラの焦点距離に比例して、測距物体までの距離に反比例する。

　本実施形態の撮像装置を、例えば８眼構成、すなわち８個の単位撮像部からなる構成とする。測定距離、すなわち被写体までの距離が５００ｍｍの場合は、８眼カメラのうち互いの光軸間距離（基線長）の短い４つのカメラで撮像、イメージシフト処理に割り当て、残りの互いに基線長の長い４つのカメラで被写体までの距離を測定する。また、被写体までの距離が２０００ｍｍと遠い場合は、８眼を使用してイメージシフトの高解像処理を行なう。測距を行なう場合には、例えば撮像した画像の解像度を解析することでボケ量を判定して、距離を推定するような処理で行うようにしてもよい。前述したように、被写体までの距離が５００ｍｍの場合にも、例えばＴＯＦ（Time of Flight）のような他の測距手段を併用することで、測距の精度を向上させてもよい。

　次に、図２９Ａ及び図２９Ｂを参照して、奥行きと光軸シフトによるイメージシフトの効果について説明する。
　なお、図２９Ａにおいて、符号Ｍｎは、撮像素子Ｍの画素を示している。また、符号Ｎｎは、撮像素子Ｎの画素を示している。
　また、図２９Ｂにおいて、横軸は、中心からの距離（単位：画素）を示しており、縦軸は、Δｒ（単位：ｍｍ）を示している。
　図２９Ａは、奥行きΔｒを考慮してＰ１，Ｐ２を撮像する場合を示す模式図である。各々の光軸からの距離の差（ｕ１－ｕ２）は（２２）式となる。

　（ｕ１－ｕ２）＝Δｒ×ｕ１／Ｈ　・・・（２２）

　ここで、ｕ１－ｕ２は、基線長Ｂ、撮像距離Ｈ、焦点距離ｆによって定まる値である。ここでは、これらの条件Ｂ，Ｈ，ｆを固定して定数とみなす。また、光軸シフト手段により、理想的な光軸関係にあると仮定する。Δｒと画素の位置（撮像素子に結像する像の、光軸からの距離）との関係は、（２３）式となる。

　Δｒ＝（ｕ１－ｕ２）×Ｈ／ｕ１　・・・（２３）

　すなわち、Δｒは、ｕ１に対して反比例の関係にある。また、図２９Ｂは、一例として画素サイズ６μｍ、撮像距離６００ｍｍ、焦点距離５ｍｍの場合を仮定して、奥行きによる影響が１画素の範囲内に収まる条件を導出したものである。奥行きによる影響が１画素の範囲内に収まる条件下では、イメージシフトの効果が十分に得られる。そのため、例えば画角を狭めるなど、アプリケーションによって使い分ければ、奥行きによるイメージシフト性能劣化を回避することが可能となる。

　図２９Ａ及び図２９Ｂに示すように、Δｒが小さい（被写界深度が浅い）場合は、１つの画面で同一の画像シフト量を適用して高精細化処理を行えばよい。Δｒが大きい（被写界深度が深い）場合について、図２７Ａ、図２７Ｂ及び図３０を参照して説明する。図３０は、図１０に示すステレオ画像処理部７０４の処理動作を示すフローチャートである。図２７Ａ、図２７Ｂにおいて、ある基線長を持つ複数の撮像素子の画素によるサンプリングの位相のずれは、撮像距離によって変化する。そのため、いずれの撮像距離においても高精細化するためには、撮像距離に応じて画像シフト量を変える必要がある。例えば、被写体に大きな奥行きがある場合、ある距離で最適な位相差であっても、その位相差は他の距離では最適でない。すなわち画素毎にシフト量を変える必要がある。ここで、撮像距離と撮像素子上に結像する点の移動量は（２４）式で表わされる。

　ｕ０－ｕ１＝ｆ×Ｂ×（（１／Ｈ０）－（１／Ｈ１））　・・・（２４）

　ステレオ画像処理部７０４（図１０参照）は、これら画素毎のシフト量（画素毎のシフトパラメータ）、及び撮像素子の画素ピッチで正規化したデータを求める。ステレオ画像処理部７０４は、予め求めたカメラパラメータをもとに補正された２枚の撮像画像を用いてステレオマッチングを行う（ステップＳ３００１）。ステレオマッチングにより、画像の中の対応する特徴点を求め、そこから画素毎のシフト量（画素毎のシフトパラメータ）を計算する（ステップＳ３００２）。次に、ステレオ画像処理部７０４は、画素毎のシフト量（画素毎のシフトパラメータ）と撮像素子の画素ピッチとを比較する（ステップＳ３００３）。この比較の結果、画素毎のシフト量が撮像素子の画素ピッチより小さい場合、画素毎のシフト量を合成パラメータとして使用する（ステップＳ３００４）。一方、画素毎のシフト量が撮像素子の画素ピッチより大きい場合、撮像素子の画素ピッチで正規化したデータを求め、そのデータを合成パラメータとして使用する（ステップＳ３００５）。ここで求めた合成パラメータに基づき映像合成を行うことにより、撮像距離によらず高精細化画像を得ることができる。

　ここで、ステレオマッチングについて説明する。ステレオマッチングとは、一つの画像を基準として、その画像中の位置（ｕ，ｖ）の画素に対して、同じ空間点の投影点を、他の画像中から探索する処理のことである。カメラ投影モデルに必要なカメラパラメータは、予めカメラキャリブレーションにより求められている。そのため、対応点の探索は、直線（エピポーラ線）上に限定することができる。特に、本実施形態のように各単位撮像部の光軸が平行に設定されている場合、図３１に示すように、エピポーラ線Ｋ０１は同じ水平線上の直線となる。
　このように基準画像に対するもう１つの画像上の対応点は、エピポーラ線Ｋ０１上に限定されるため、ステレオマッチングでは、そのエピポーラ線Ｋ０１上だけを探索すればよい。これは、マッチングの誤差の低減や処理を高速化するために重要である。なお、図３１の左側の四角形は、基準画像を示している。

　具体的な探索方法としては、領域ベースマッチング（area-based matching）や特徴ベースマッチング（feature-based matching）等がある。領域ベースマッチングは、図３２に示すように、テンプレートを用いて対応点を求めるものである。なお、図３２の左側の四角形は、基準画像を示している。
　一方、特徴ベースマッチングは、各画像のエッジやコーナー等の特徴点を抽出し、その特徴点どうしの対応を求めるものである。

　より正確な対応点を求める方法として、マルチベースラインステレオという方法がある。これは、１組のカメラによるステレオマッチングだけでなく、より多くのカメラによる複数のステレオ画像対を利用する方法である。基準となるカメラに対し、いろいろな長さ、方向の基線（ベースライン）のステレオカメラのペアを利用してステレオ画像を得る。複数の画像ペアにおける視差は、例えば平行ステレオの場合、各視差をそれぞれ基線長で割ることにより、奥行き方向の距離に対応した値となる。そこで、各ステレオ画像ペアから得られるステレオマッチングの情報、具体的には、それぞれの視差／基線長に対する対応の確からしさを表すＳＳＤ（Sum of Squared Differences）等の評価関数を足し合わせ、そこから最も確からしい対応位置を決定する。すなわち、各視差／基線長に対するＳＳＤの和であるＳＳＳＤ（Sum of SSD）の変化を調べれば、より明確な最小値が現れる。そのため、ステレオマッチングの対応誤差を低減することができ、かつ推定精度を向上させることができる。また、マルチベースラインステレオでは、あるカメラでは見えている部分が、別のカメラでは物体の陰に隠れて見えないというオクルージョン（occulusion）の問題も軽減することができる。

　図３３に視差画像の一例を示す。図３３の画像１は、原画像（基準画像）である。図３３の画像２は、図３３の画像１の各画素に対する視差を求めた結果の視差画像である。視差画像は、画像の輝度が高いほど視差が大きく、すなわち撮像物がカメラに近い位置にある。一方、輝度が低いほど視差が小さい、すなわち撮像物がカメラから遠い位置にあることを示す。

　次に、図３４を参照して、ステレオ画像処理における雑音除去について説明する。図３４は、ステレオ画像処理における雑音除去を行う場合の映像合成処理部３８の構成を示すブロック図である。図３４に示す映像合成処理部３８が、図１０に示す映像合成処理部３８と異なる点は、ステレオ画像雑音低減処理部７０５を設けた点である。図３５に示すステレオ画像処理における雑音除去の処理動作のフローチャートを参照して、図３４に示す映像合成処理部３８の動作を説明する。図３５において、ステップＳ３００１～Ｓ３００５の処理動作は、図３０に示すステレオ画像処理部７０４が行うステップＳ３００１～Ｓ３００５と同一である。ステレオ画像雑音低減処理部７０５は、ステップＳ３１０５で求められた画素毎の合成パラメータのシフト量が、隣接する周囲の合成パラメータのシフト量と大きく違う値である場合には、隣接する画素のシフト量の最頻値に置き換えることにより雑音除去を行う（ステップＳ３１０６）。

　再び図３３を参照して、処理量の低減動作について説明する。ステレオ画像処理部７０４で求めた合成パラメータを用いて、通常は画像全体を高精細化する。しかし、例えば、図３３の画像１の顔の部分（視差画像の輝度が高い部分）のみ高精細化し、背景の山の部分（視差画像の輝度が低い部分）は高精細化しないことで、処理量を低減することが可能となる。この処理は、前述したように、視差画像から、顔がある画像の部分（距離が近く、視差画像の輝度が高い部分）を抽出し、その画像部分の画像データと、ステレオ画像処理部で求めた合成パラメータとを用いて同様に高精細化することができる。これにより消費電力を低減できるため、バッテリー等で動作する携帯機器においては有効である。

　以上、説明したように、液晶レンズの光軸シフト制御により、個別の撮像装置で得られる映像信号を、高精細な映像に合成することが可能となる。また、従来、撮像素子上でのクロストークにより画質劣化が生じ、高画質化が難しかった。しかし、本実施形態の撮像装置によれば、撮像素子に入射する光の光軸を制御することによりクロストークを無くすことができ、高画質の画像を得ることができる撮像装置を実現することができる。また、従来の撮像装置では、画像処理によって、撮像素子上に結像したイメージを取り込むため、撮像素子の解像度を、必要とする撮像解像度より大きくする必要がある。しかし、本実施形態の撮像装置では、液晶レンズの光軸方向のみでなく、撮像素子に入射する光の光軸を任意の位置に設定する制御を行うことができる。そのため、撮像素子のサイズを小さくすることができ、軽薄短小が要求される携帯端末等にも搭載することが可能となる。また、撮影距離にかかわらず、高画質かつ高精細な２次元画像を生成することができる。さらに、ステレオマッチングによる雑音を除去することや、高精細化処理の高速化が可能となる。

　本発明は、ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質かつ高精細な２次元画像を生成することができる撮像装置などに適用できる。

１・・・撮像装置、
２～７・・・単位撮像部、
８～１３・・・撮像レンズ、
１４～１９・・・撮像素子、
２０～２５・・・光軸、
２６～３１・・・映像処理部、
３２～３７・・・制御部、
３８・・・映像合成処理部

Claims

　複数の撮像素子と、
　前記複数の撮像素子のそれぞれに像を結像させる複数の固体レンズと、
　前記複数の撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、
　前記複数の撮像素子のそれぞれが出力する光電変換信号を、映像信号に変換する複数の映像処理部と、
　前記複数の映像処理部が変換した複数の映像信号に基づいて、ステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記複数の撮像素子の画素ピッチを越えるシフト量を前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、
　前記複数の映像処理部のそれぞれが変換した前記映像信号を、前記ステレオ画像処理部が生成した前記合成パラメータに基づいて合成することにより、高精細映像を生成する映像合成処理部と、
　を備える撮像装置。
　前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部を、
　さらに備える請求項１に記載の撮像装置。
　前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて、所定領域のみ高精細化する請求項１または２に記載の撮像装置。
　複数の撮像素子にそれぞれに入射する光の光軸の方向を制御し、
　前記複数の撮像素子のそれぞれが出力する光電変換信号を、映像信号に変換し、
　変換した複数の映像信号に基づいて、ステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記複数の撮像素子の画素ピッチを越えるシフト量を前記画素ピッチで正規化した合成パラメータを生成し、
　前記映像信号を前記合成パラメータに基づいて合成することにより、高精細映像を生成する撮像方法。