JP5245716B2 - カメラレンズアダプタ及びカメラシステム - Google Patents

Description

本発明は、カメラレンズアダプタ及びカメラシステムに関する。

複数のマイクロレンズを２次元状に配列したマイクロレンズアレイと、光電変換素子を２次元状に配列した光電変換素子アレイとを撮影光学系の背後に順次配列し、任意の奥行き位置（撮影光学系の光軸方向）に焦点の合った画像を合成するようにした画像合成カメラが知られている（例えば、特許文献１参照）。
特開２００７−４４７１号公報

従来、このような画像合成カメラは、専用のカメラとして考えられており、製造する場合は高価なものとなる。

そこで、本発明は、安価に画像合成カメラを提供することを目的とする。

本発明のカメラレンズアダプタは、着脱可能な交換レンズを有する撮像装置に装着されるカメラレンズアダプタにおいて、前記交換レンズに着脱自在に装着されるレンズ側装着手段と、前記撮像装置に着脱自在に装着されるカメラ側装着手段と、前記レンズ側装着手段と前記カメラ側装着手段との間に設けられ、２次元状に配列された複数のレンズを有する光学素子と、前記光学素子と前記カメラ側装着手段との間に配置され、前記カメラ側装着手段が前記撮像装置に装着されたとき、前記光学素子の背後の所定位置と前記撮像装置の結像面とを共役にするリレーレンズとを備える。

本発明によれば、安価に画像合成カメラを構成することができる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、本発明を適用した光学系の概要を説明するための図である。

図１に示すように、被写体Ｈの像が撮像レンズ（対物レンズ）１１によってマイクロレンズアレイ（以下、MLAという）１２の表面に結像し、このMLA１２の背後に撮像素子１３が配置される。このとき、撮像素子１３の撮像面は、MLA１２を構成する各マイクロレンズＭＬを介して撮像レンズ１１の射出瞳と略共役となっている。

マイクロレンズＭＬと撮像素子１３の撮像面との位置関係は、例えば、マイクロレンズＭＬの焦点距離ｆに撮像素子１３の撮像面がある場合もあるが、重要なのは、図２で後述するように、撮像素子１３の撮像面上で各マイクロレンズＭＬによる撮像レンズ１１の射出瞳の像（ＭＬ領域と等価）が重ならないようにすることである。

なお、本実施の形態では、撮像素子１３の撮像面と撮像レンズ１１の射出瞳とを略共役にした構成について説明するが、この共役関係は正確でなくともよく、また、MLA１２の表面と撮像レンズ１１の射出瞳とを共役にした構成を採用してもよい。また、図１に示すように、撮像レンズ１１の射出瞳の位置は、絞り１４により調整された位置となる。

MLA１２を構成する複数のマイクロレンズＭＬは２次元状にならべられている。なお、図１の例では、説明の簡略化のため、３×３個のマイクロレンズＭＬを想定し、そのうちの縦方向の３個のマイクロレンズＭＬが図示されている。実際のマイクロレンズＭＬの数は、撮像素子１３により撮像される画像の分解能に関連しているので、必要な分解能に応じて適宜設定される。

撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各マイクロレンズＭＬを通過した光を受光するように、各マイクロレンズＭＬに対応して所定数の画素が割り当てられている。１つのマイクロレンズＭＬがカバーする画素の数は、例えば３×３個であり、個々のマイクロレンズＭＬを透過した光束をそれらの画素で受光する。

以上のような構成にすることで、撮像素子１３の撮像面上には、MLA１２の各マイクロレンズＭＬによって撮像レンズ１１の射出瞳の像が複数形成される。以下、撮像素子１３の撮像面において、各マイクロレンズＭＬで結像した像のできる領域を、ＭＬ領域と称する。

図２は、撮像素子１３の撮像面上のＭＬ領域（図中の点線）の例を示す図である。

図２においては、格子状に配列された１５×１５個の四角のそれぞれが、撮像素子１３撮像面上の各画素を表し、点線で描いた３×３個の円が各マイクロレンズＭＬによるＭＬ領域、つまり撮像レンズ１１の瞳像を表す。すなわち、図２の例では、MLA１２を構成する９個のマイクロレンズＭＬによって結像された像のそれぞれが、撮像素子１３の撮像面上の５×５個からなる画素群上にＭＬ領域を形成している。

そして、これらの９個のＭＬ領域より得られる画像信号を用いて、撮像素子１３の撮像面に入射した光が、MLA１２を構成する複数のマイクロレンズＭＬのうちのどのマイクロレンズＭＬに入射し、撮像レンズ１１の瞳のどの位置を通ってきたかを求めることが可能となる。すなわち、幾何学的に光線を考えると、光線が像面（MLA１２の位置）に入射する位置と、撮像レンズ１１の射出瞳を出る位置とが分かるため、任意の像面に入射する光線を特定できる。これにより、光軸上の任意の像面での光の集光に関する演算が可能となり、任意の像面での像の画像を取得することができる。

次に、図３を参照して、任意の像面における像の画像の演算方法の詳細について説明する。

図３に示すように、撮像レンズ１１の瞳上の位置を示す座標を点Ｐ（μ，ν）とし、MLA１２上の位置を示す座標を点Ｑ（ｘ，ｙ）とする。上述したように、任意の像面での像の画像を取得するには、特定の被写体距離からの光線が通る瞳上の点Ｐと、特定の被写体距離と共役になるMLA１２上の点Ｑだけが必要となるため、図３の例では撮像レンズ１１の瞳と、MLA１２の位置だけを図示している。

ところで、光線の通る瞳上での点ＰとMLA１２上での点Ｑは、撮像素子１３の撮像面上の各ＭＬ領域から得られる信号によって求められるので、実際は、それらの座標の値は撮像素子１３の画素の数に応じて離散的に得られるものである。しかし、本実施の形態においては、説明を分かり易くするために、はじめに、瞳上の点ＰとMLA１２上の点Ｑを連続的な座標として取得できるものと仮定して説明する。

まず、図３に示すような、瞳上の点Ｐ（μ，ν）を通り、かつMLA１２上の点Ｑ（ｘ，ｙ）を通る光線のエネルギー密度を、下記の式（１）のように定義する。

ｉ（μ，ν，ｘ，ｙ） ・・・（１）

次に、図３に示すように、像面から光軸方向にｚだけデフォーカスした任意の像面（以下、デフォーカス面ともいう）について考える。このデフォーカス面上の位置を示す座標を点Ｒ（ｘ'，ｙ'）とする。また、このデフォーカス面に到達する光線のエネルギー密度を、下記の式（２）のように定義する。

ｉ_d（μ，ν，ｘ'，ｙ'） ・・・（２）

そして、図３に示すように、点Ｐを通り、点Ｒを経由して点Ｑに到達する光線について考える。この光線のエネルギー密度に変化がないと考えると、式（１）と式（２）から、下記の式（３）の関係が得られる。

ｉ_d（μ，ν，ｘ'，ｙ'）＝ｉ（μ，ν，ｘ，ｙ） ・・・（３）

また、このとき、点Ｑ（ｘ，ｙ）と、点Ｒ（ｘ'，ｙ'）を、瞳の点Ｐ（μ，ν）を通過した一本の光線が通るとした場合、瞳上の点Ｐの座標をＮＡとして考えると、点Ｑ（ｘ，ｙ）と、点Ｒ（ｘ'，ｙ'）について、次の式（４），（５）の関係を得る。なお、瞳上の点Ｐの座標をＮＡとして考える理由は、撮像レンズ１１の焦点距離を１に規格化するためである。

ｘ'＝ｘ＋ｚ×μ ・・・（４）
ｙ'＝ｙ＋ｚ×ν ・・・（５）

ここで求めたいのは、デフォーカス面上での光のエネルギー分布であり、そのエネルギー分布をＩ_dとする。このエネルギー分布Ｉ_dの計算方法であるが、式（２）として定義したｉ_d（μ，ν，ｘ'，ｙ'）を、μ，νのそれぞれで積分すればよいので、下記の式（６）により求めることができる。

また、実際に得ることのできる値は、式（１）として定義したｉ（μ，ν，ｘ，ｙ）であるので、式（３），（４），（５）を、式（６）に代入すると、下記の式（７）が得られる。

すなわち、任意の像面であるデフォーカス面での光のエネルギー分布は、瞳上の点Ｐを通り、かつMLA１２上の点Ｑを通る光線のエネルギー密度から、式（７）を計算することにより求めることが可能となる。

以上、瞳上の点Ｐ（μ，ν）とMLA１２上の点Ｑ（ｘ，ｙ）を連続的な座標として取得できるものと仮定した場合について説明した。次に、実際に合わせて、瞳面上の点Ｐ（μ，ν）とMLA１２上の点Ｑ（ｘ，ｙ）が離散的に得られる場合について説明する。

ここで、瞳面上の点ＰとMLA１２上の点Ｑは離散的な変数となるので、ｘ，ｙ，μ，νの各点の座標を表す変数は、整数ｉ，ｊ，ｋ，ｌを用いて、次の式（８）のように表すことができる。

ｘ＝Δ_x×ｉ，
ｙ＝Δ_y×ｊ，
μ＝Δ_μ×ｋ，
ν＝Δ_ν×ｌ ・・・（８）

なお、式（８）のｘ，ｙに関しては、上記の式（７）では、ｘ'−ｚ×μ，ｙ'−ｚ×νの値が、それぞれｘ，ｙの値に対応するので、これから、ｉ，ｊを求める必要がある。ここでは、その簡単な例として、下記の式（９），（１０）に示すように、整数のみを扱う関数であるint関数を用いて小数点以下を切り捨てることで、整数ｉ，ｊを計算するようにする。

ｉ＝int（（ｘ'−ｚ×Δ_μ×ｋ）／Δ_x）・・・（９）
ｊ＝int（（ｙ'− ｚ×Δ_ν×ｌ）／Δ_x）・・・（１０）

一方、式（８）のμ，νに関しては、そのまま式（７）に代入すればよい。

このようにして、式（８），（９），（１０）を、式（７）に代入することで、式（７）を、下記の式（１１）のように表すことができる。

すなわち、この式（１１）の各変数に、撮像素子１３の撮像面上の各ＭＬ領域より得られる信号から求められる情報を代入することで、像面から光軸方向にｚだけデフォーカスしたデフォーカス面（任意の像面）での像に関する情報を計算することが可能となる。

以上のように、実際には、瞳面上の点Ｐ（μ，ν）とMLA１２上の点Ｑ（ｘ，ｙ）が離散的に得られる場合の説明で導かれた式（１１）によって、特定の被写体距離を光軸方向にずらしたときの画像を求めることが可能となる。

次に、上述した光学系の原理を、レンズ交換可能なカメラシステムに適用した場合について説明する。

図４は、本発明を適用したカメラシステムの光学系の構成を示す図である。

図４に示すように、カメラシステムは、交換レンズ２１、カメラボディ２２、及びカメラレンズアダプタ２３から構成される。交換レンズ２１とカメラボディ２２とは、それぞれのマウント部の規格が一致しているため、直接装着することが可能であるが、図４のカメラシステムでは、交換レンズ２１とカメラボディ２２との間に本発明の一実施形態に係るカメラレンズアダプタ２３が取り付けられている。

交換レンズ２１は、撮像レンズ１１及びレンズ側マウント部３１を備えたレンズ鏡筒である。撮像レンズ１１は、交換レンズ２１の鏡筒内部に保持され、合焦される被写体Ｈまでの距離に応じて、不図示のレンズ枠やアクチュエータ等による移動手段により、光軸方向に移動可能に設けられている。

カメラボディ２２は、撮像素子１３及びボディ側マウント部３２を有している。カメラボディ２２と交換レンズ２１とは、レンズ側マウント部３１とボディ側マウント部３２によって一体となる。カメラボディ２２には、撮像素子１３から出力される画像信号に対して所定の画像処理を実行する図不示の画像処理回路等が設けられているが、その詳細については後述する。

このように、一般的なカメラシステムにおいては、交換レンズ２１をカメラボディ２２に直接装着することで、交換レンズ２１内の撮像レンズ１１による被写体Ｈの像が、カメラボディ２２内の撮像素子１３の撮像面に結像され、撮像される。

本実施の形態では、図４のカメラシステムに示すように、交換レンズ２１とカメラボディ２２との間に、カメラレンズアダプタ２３を介挿している。

このカメラレンズアダプタ２３は、レンズ側取り付け用マウント部３３と、ボディ側取り付け用マウント部３４を有している。レンズ側取り付け用マウント部３３は、カメラレンズアダプタ２３の一方の端部に設けられ、カメラボディ２２のボディ側マウント部３２と同様の形状となっている。したがって、このレンズ側取り付け用マウント部３３には、交換レンズ２１のレンズ側マウント部３１が着脱可能である。

また、ボディ側取り付け用マウント部３４は、レンズ側取り付け用マウント部３３とは反対側の端部に設けられ、交換レンズ２１のレンズ側マウント部３１と同様の形状となっている。したがって、このボディ側取り付け用マウント部３４には、カメラボディ２２のボディ側マウント部３２が着脱可能である。

図４に示したように、カメラレンズアダプタ２３の内部には、フィールドレンズ４１、MLA１２、リレーレンズ４２が設けられている。カメラレンズアダプタ２３が、交換レンズ２１とカメラボディ２２との間に装着されることにより、MLA１２の各マイクロレンズＭＬの焦点の位置がリレーレンズ４２により撮像素子１３の撮像面と共役になる。その結果、図１で示した光学系と同じ関係が成立することになる。

また、カメラレンズアダプタ２３の内部に設けたフィールドレンズ４１は、交換レンズ２１内の撮像レンズ１１とMLA１２との間に配置することで、像高の高い位置に配置されたマイクロレンズＭＬに入射する光束の角度を抑えている。したがって、フィールドレンズ４１は必ずしも必要ではないが、配置するのが好ましい。

以上のように、図４のカメラシステムにおいては、図１の光学系と同様に、交換レンズ２１内に設けられた撮像レンズ１１により所定の位置にある被写体ＨがMLA１２を構成する各マイクロレンズＭＬの頂点位置を含む平面内に結像し、MLA１２の背後の各マイクロレンズＭＬの焦点位置を含む面が撮像レンズ１１の射出瞳と共役になる。カメラボディ２２内の撮像素子１３の撮像面は、リレーレンズ４２によって各マイクロレンズＭＬの焦点位置を含む面と共役になる。すなわち、カメラボディ２２内の撮像素子１３の撮像面は、カメラレンズアダプタ２３内のフィールドレンズ４１、MLA１２の各マイクロレンズＭＬ、及びリレーレンズ４２を介して、撮像レンズ１１の射出瞳と略共役となっている。

次に、図４のカメラボディ２２内の撮像素子１３から出力される画像信号に基づいて実行される画像処理について説明する。

図５は、本発明を適用したカメラシステムの一実施の形態の構成を示す図である。

図５では、カメラボディ２２内の撮像素子１３から出力される画像信号に基づいて実行される画像処理を中心に説明するため、図４の撮像素子１３より後段の処理を実行するブロックを主に図示している。すなわち、カメラボディ２２は、図５に示すように、上述した撮像素子１３の他に、制御回路５１、ユーザインターフェース５２、駆動回路５３、画像処理回路５４、記憶媒体５５、表示制御部５６、及びディスプレイ５７を含んでいる。

なお、図５において、撮像レンズ１１ないし撮像素子１３は、図４の撮像レンズ１１ないし撮像素子１３に対応している。

制御回路５１は、シャッタボタンやコントロールスイッチ等のユーザインターフェース５２を介してユーザから入力された指示にしたがって、駆動回路５３、画像処理回路５４、及び表示制御部５６の制御を行う。

駆動回路５３は、撮像素子１３を駆動する。また、駆動回路５３は、撮像素子１３からの画像信号を画像処理回路５４に出力する。

画像処理回路５４は、通常マイクロコンピュータの一部機能として構成されるもので、駆動回路５３から供給される画像信号に基づいて、所定の画像処理を実行する。画像処理回路５４は、画像処理によって得られた画像データを、メモリカード等の記憶媒体５５に記憶させる。また、この画像データは、表示制御部５６によってディスプレイ５７に表示される。なお、画像処理回路５４によって実行される画像処理の詳細については、後述する図６の画像処理回路５４の動作の説明の際に併せて説明する。

なお、本実施の形態では、撮像素子１３から出力される画像信号に対する画像処理は、カメラボディ２２の画像処理回路５４で実行されるとして説明するが、例えば、カメラボディ２２を、画像処理回路５４と同等の機能を有する図不示のパーソナルコンピュータ等の画像処理装置（外部装置）と接続させることで、画像処理装置によって、所定の画像処理を実行させてもよい。この場合、カメラボディ２２では、画像処理が実行されずに、撮像素子１３による画像信号がそのまま画像処理装置に出力されるので、画像処理装置は、カメラボディ２２から出力される画像信号に対して所定の画像処理を実行して、画像データを取得することになる。

次に、図６のフローチャートを参照して、図５の画像処理回路５４によって実行される立体画像生成処理について説明する。

ステップＳ１１において、画像処理回路５４は、駆動回路５３を介して撮像素子１３から出力される画像信号を取得する。

ステップＳ１２において、画像処理回路５４は、駆動回路５３から取得した画像信号に基づいて、任意の被写体距離における画像を生成（合成）する。具体的には、画像処理回路５４は、取得した画像信号、つまり、撮像素子１３の撮像面上の各ＭＬ領域に結像された像より得られる画像信号から求められる値を、式（１１）を用いて演算することで、像面（MLA１２の位置）から光軸方向にずらしたときの任意の像面（デフォーカス面）での像の画像を合成する。

ステップＳ１３において、画像処理回路５４は、生成された複数の画像（任意の像面における像の画像）から奥行き方向の距離情報を得ることにより、被写体Ｈの立体画像を生成し、立体画像生成処理は終了する。

以上のように、画像処理回路５４によって、図４の光学系の構成を採用することで得られる画像信号から任意の像面における像の画像が複数合成され、それらの任意の像面における像の画像から奥行き方向の距離情報が求められ、被写体Ｈの立体画像が生成される。

言い換えれば、交換レンズ２１をカメラボディ２２に直接装着して撮影を行うカメラシステムにおいて、単に、交換レンズ２１とカメラボディ２２との間にカメラレンズアダプタ２３を取り付けるだけで、任意の被写体距離における画像を生成（合成）することが可能になるので、画像処理回路５４に立体画像を得るためのプログラムを付加しておくだけで、立体画像を容易に撮影することが可能となる。勿論、図６のステップＳ１２に基づいて、任意の被写体距離における画像を得るようにするに止めてもよいし、さらに、異なる被写体距離における画像を合算して深度の深い画像を得ることができるし、全ての被写体距離における画像を合算すれば、全ての位置にピントの合った、いわゆる全焦点画像を得ることもできる。

このことは、従来のように専用の撮像装置等を用いることなく、既存のカメラボディと撮影レンズとの間にカメラレンズアダプタ２３を装着するだけで、容易に立体画像の撮影に必要な情報を得ることができ、カメラボディの画像処理回路に立体画像を得るためのプログラムを付加することで、カメラボディから立体画像の構築に必要な情報を得ることができる。したがって、安価に画像合成カメラを構成することができる。

また、カメラボディからは立体画像を得るための信号を得るだけに止め、上述したように、この信号をパーソナルコンピュータ等の外部装置に入力して、処理するようにしてもよい。

また、従来からあるステレオカメラ撮影では、２台のカメラから得られる２枚の画像から、それぞれの被写体までの視差を求めて、奥行き方向の距離情報を得ることで、立体画像を撮影するが、被写体の距離情報を得るためには、２つの画像の中から同一の被写体を認識しなければならない。これは、画像処理により行われるが、膨大な演算量を要するため、ステレオカメラ撮影では容易に立体撮影を行えるとは言えない。また、コストの観点からみても、カメラとレンズの組み合わせが２セット以上必要となるので安価であるとは言えない。それに対して、本発明では、図４の光学系の構成を採用することで、より少ない演算量の画像処理で任意の像面における像の画像を生成して、奥行き方向の距離情報を得ることができる。また、ハード的には、交換レンズ２１とカメラボディ２２との間に装着するカメラレンズアダプタ２３を用意するだけでよいので、安価に立体撮影を実現することができる。

なお、本実施の形態では、撮像装置として、デジタルカメラであるカメラボディ２２について説明したが、フィルムカメラを用いてもよい。その場合、２次元の撮像素子１３の撮像面の代わりに、フィルム面が設けられ、撮影されたフィルムをフィルムスキャナで取り込むことで、上述したデジタルカメラの場合と同様の信号を得ることができ、容易に立体撮影を行うことができる。

また、図６のフローチャートの処理を実現するためのプログラムは、カメラレンズアダプタ２３に付属してCD-ROM（Compact Disk Read Only Memory）などの記録媒体の形で配布され、カメラボディにインストールされ、又は汎用のパーソナルコンピュータへインストールして使用される。

さらに、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

なお、本明細書において、記憶媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した光学系の概要を説明するための図である。 撮像素子の撮像面上のＭＬ領域の例を示す図である。 任意の像面における像の画像の演算方法の詳細について説明するための図である。 本発明を適用したカメラシステムの光学系の構成を示す図である。 本発明を適用したカメラシステムの一実施の形態の構成を示す図である。 立体画像生成処理を説明するフローチャートである。

符号の説明

１１ 撮像レンズ， １２ MLA， １３ 撮像素子， １４ 絞り， ２１ 交換レンズ， ２２ カメラボディ， ２３ カメラレンズアダプタ， ３１ レンズ側マウント部， ３２ ボディ側マウント部， ３３ レンズ側取り付け用マウント部， ３４ ボディ側取り付け用マウント部， ４１ フィールドレンズ， ４２ リレーレンズ， ５１ 制御回路， ５２ ユーザインターフェース， ５３ 駆動回路， ５４ 画像処理回路， ５５ 記憶媒体， ５６ 表示制御部， ５７ ディスプレイ， ＭＬ マイクロレンズ

Claims (5)

1. 着脱可能な交換レンズを有する撮像装置に装着されるカメラレンズアダプタにおいて、
   前記交換レンズに着脱自在に装着されるレンズ側装着手段と、
   前記撮像装置に着脱自在に装着されるカメラ側装着手段と、
   前記レンズ側装着手段と前記カメラ側装着手段との間に設けられ、２次元状に配列された複数のレンズを有する光学素子と、
   前記光学素子と前記カメラ側装着手段との間に配置され、前記カメラ側装着手段が前記撮像装置に装着されたとき、前記光学素子の背後の所定位置と前記撮像装置の結像面とを共役にするリレーレンズと
   を備えることを特徴とするカメラレンズアダプタ。
2. 前記撮像レンズと前記光学素子との間に配置され、前記複数のレンズのそれぞれに入射する光束の角度を抑えるためのフィールドレンズをさらに備える
   ことを特徴とする請求項１に記載のカメラレンズアダプタ。
3. 前記撮像装置は、デジタルカメラであり、
   前記結像面は、前記デジタルカメラに設けられた２次元の撮像素子の撮像面である
   ことを特徴とする請求項１又は２の何れか一項に記載のカメラレンズアダプタ。
4. 前記撮像装置は、フィルムカメラであり、
   前記結像面は、前記フィルムカメラに設けられたフィルム面である
   ことを特徴とする請求項１又は２の何れか一項に記載のカメラレンズアダプタ。
5. カメラボディと、前記カメラボディに着脱可能な交換レンズとの間に、請求項１から３の何れか一項に記載のカメラレンズアダプタを介在させたカメラシステムにおいて、
   前記カメラボディは、
   前記撮像レンズによる被写体の像を撮像する２次元の撮像素子と、
   前記撮像素子の出力に基づいて、任意の被写体距離における画像を合成する画像合成手段と
   を備えることを特徴とするカメラシステム。

Images