JP2012230300A - 撮像装置及び撮像素子 - Google Patents

Abstract

【課題】画面全体のデフォーカス情報を取得できると共に、自然な画像を容易に生成できる撮像装置および撮像素子を提供する。
【解決手段】撮影レンズ１１Ａが装着可能、または、撮影レンズ１１Ａを備え、水平方向、垂直方向に画素が配列された撮像素子２０、及び、撮像素子２０からの信号を処理する機能を備え、撮像素子２０は、少なくとも共役面上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成され、緑色画素が市松模様に配置され、青色画素同士、赤色画素同士は、隣接しないように配置され、各緑色画素の隣接する４つの隣接する緑色画素の重心入射角度は、各緑色画素の中心入射角度に対して、同じ方向に異なっており、画像形成のための画像出力がされ、緑色画素の出力より像のデフォーカス情報を取得する。
【選択図】図１

Description

本発明は、撮像装置及び撮像素子に関するものである。

撮影画面全体のデフォーカス量を導出でき、かつ、画像データを得ることができる撮像装置としては、例えば特許文献１に開示された構成が知られている。
特許文献１においては、瞳を時分割で切り替えて、デフォーカス量を算出する。そして、瞳を分割しない状態で画像データを取得する。

特開平１１−１４２７２３号公報

特許文献１の構成の場合、例えば、撮影中に被写体が移動している場合、または撮影中に光量が変化した場合などに良好な画像を得られないという問題がある。

本発明は、上記に鑑みてなされたものであって、画面全体のデフォーカス情報を取得できると共に、自然な画像を容易に生成できる撮像装置および撮像素子を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の撮像装置は、撮影レンズが装着可能、または、撮影レンズを備え、
水平方向、垂直方向に画素が配列された撮像素子を備え、
撮像素子からの信号を処理する機能を備え、
撮像素子は、少なくとも共役面上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成され、
緑色画素が市松模様に配置され、
青色画素同士、赤色画素同士は、隣接しないように配置され、
各緑色画素の隣接する４つの隣接する緑色画素の重心入射角度は、各緑色画素の中心入射角度に対して、同じ方向に異なっており、
画像形成のための画像出力がされ、
緑色画素の出力より像のデフォーカス情報を取得することを特徴とする。

また、他の側面において、本発明にしたがう撮像素子は、水平方向及び垂直方向に画素が配列された撮像素子を備え、
撮像素子の各画素は、少なくとも撮影レンズ装着時の近軸的な共役面上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成され、
緑色画素が市松模様に配置され、
青色画素同士、赤色画素同士は、隣接しないように配置され、
各緑色画素の隣接する４つの隣接する緑色画素の重心入射角度は、各緑色画素の中心入射角度に対して、同じ方向に異なっていることを特徴とする。

本発明によれば、画面全体のデフォーカス情報を取得できると共に、自然な画像を容易に生成できる撮像装置および撮像素子を提供することができるという効果を奏する。

本発明の実施形態に係るデジタルカメラの内部構成を示す図である。 撮像素子の構成を示す平面図である。 撮像素子の他の構成を示す平面図である。 画素の入射角度の重心を説明する図である。 水平方向のデフォーカス量と信号強度との関係を説明する図である。 垂直方向のデフォーカス量と信号強度との関係を説明する図である。 赤色画素と青色画素とに関して水平方向のデフォーカス量と信号強度との関係を説明する図である。 視差像を生成する方法を説明する図である。 撮影のおおまかな流れを示すフローチャートである。 撮影サブルーチンの手順を示すフローチャートである。 デフォーカス量算出サブルーチンの手順を示すフローチャートである。 フォーカシングサブルーチンの手順を示すフローチャートである。 視差像生成サブルーチンの手順を示すフローチャートである。 青色画素、緑色画素、赤色画素の分光感度特性曲線を示す図である。 共役面上で独立した領域に投影される、短波長領域側から、青色画素、緑色画素、赤色画素について説明する図である。 入射光束の傾きと遮光部の方向を説明する図である。 従来の離散的にまたは一部のＧ色画素の開口の一部を遮光する画素配列を示す図である。 一つのオンチップレンズに対して複数の画素を配置した例を示す図である。

以下、本実施形態の撮像装置及び撮像素子の構成による作用効果を説明する。なお、この実施形態によって本発明は限定されるものではない。すなわち、実施形態の説明に当たって、例示のために特定の詳細な内容が多く含まれるが、これらの詳細な内容に色々なバリエーションや変更を加えても、本発明の範囲を超えない。従って、以下で説明する本発明の例示的な実施形態は、権利請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。

（第１実施形態）
まず、本発明の第１実施形態に係る撮像装置を備えたカメラについて説明する。
図１は、デジタルスチルカメラ１１（撮像装置）の内部構成を示している。デジタルスチルカメラ１１は、交換レンズ１１Ａと、カメラボディ１１Ｂと、から構成される。交換レンズ１１Ａは、マウント部１４によりカメラボディ１１Ｂに装着される。

交換レンズ１１Ａ（撮像光学系）は、レンズ駆動制御部１５、ズーミング用レンズ１６、レンズ１７、フォーカシング用レンズ１８、及び、絞り１９を備えている。レンズ駆動制御部１５は、マイクロコンピューターとメモリなどの周辺部品から構成されている。

レンズ駆動制御部１５は、フォーカシング用レンズ１８と絞り１９の駆動制御、絞り１９、ズーミング用レンズ１６およびフォーカシング用レンズ１８の状態検出、並びに、ボディ駆動制御部２１に対するレンズ情報の送信とカメラ情報の受信などを行う。
また、ズーミング用レンズ１６、レンズ１７、フォーカシング用レンズ１８、及び、絞り１９は、撮像光学系１２を構成する。

カメラボディ１１Ｂは、撮像素子２０、ボディ駆動制御部２１、撮像素子駆動回路２３、液晶表示素子駆動回路２５、液晶表示素子２６、メモリカード２９、画素信号取得部３０（演算部、画像構成部）を備えている。

撮像素子２０には、後述する画素が二次元状に配列されている。撮像素子２０は、交換レンズ１１Ａの予定結像面に配置されており、交換レンズ１１Ａにより結像される被写体像を撮像する。
また、撮像素子２０は、撮像素子駆動回路２３によって駆動される。そして、撮像素子駆動回路２３はボディ駆動制御部２１により動作を制御される。撮像素子２０（イメージャ）としては、例えば、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、裏面照射型ＣＭＯＳを用いることができる。

ボディ駆動制御部２１は、マイクロコンピューターとメモリなどの周辺部品から構成されている。ボディ駆動制御部２１は、上述の制御に加えて、撮像素子２０からの画像信号の読み出し、画像信号の補正、像面のデフォーカス状態の検出、レンズ駆動制御部１５からのレンズ情報の受信とカメラ情報（デフォーカス量）の送信、デジタルスチルカメラ全体の動作制御などを行う。

ボディ駆動制御部２１とレンズ駆動制御部１５は、マウント部１４の電気接点部１３を介して通信を行い、各種情報の授受（送受信）を行う。また、ボディ駆動制御部２１は、後述のデフォーカス量検出サブルーチン及び撮影サブルーチンを実行する為の構成を含んでいる。

液晶表示素子駆動回路２５は、カメラボディ背面に配置された液晶表示素子２６を駆動する。表示装置は、液晶に限らず所謂有機ＥＬ表示素子でも良い。さらに、表示装置は、表示装置に表示された像を撮影者が接眼レンズ２７を介して観察する電子ビューファインダーとしても良い。メモリカード２９は、カメラボディ１１Ｂに脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。

交換レンズ１１Ａを通過して撮像素子２０上に形成された被写体像は、撮像素子２０により光電変換される。そして、その出力は画素信号取得部３０に送られる。画素信号取得部３０（演算部、画像構成部）は、画素の信号を取得する。また、画像信号取得部３０は、演算部として、撮像素子２０上の緑色（適宜、「Ｇ色」と表記する）画素の出力データ（後述する第１像信号、第２像信号）に基づいて各像位置におけるデフォーカス量を算出する。
さらに、以下、青色を「Ｂ色」、赤色を「Ｒ色」と適宜表記する。

算出されたデフォーカス量は、ボディ駆動制御部２１に送られる。さらに、画像構成部として、取得した画素信号に基づいて基準の画像データを構成する。基準の画像データとは所謂２Ｄ画像であり、必要に応じて画像圧縮や間引き等の処理が加えられても良い。

構成された基準の画像データは、ボディ駆動制御部２１、液晶表示素子駆動回路２５及びメモリカード２９へ出力される。また、ボディ駆動制御部２１は、基準の画像データと各像位置におけるデフォーカス量より複数の視差画像データを生成する。複数の視差画像データの生成方法は、後述する。

ボディ駆動制御部２１は、生成した画像データをメモリカード２９に格納するとともに、画像信号を液晶表示素子駆動回路２５へ送り、液晶表示素子２６に画像を表示させる。表示される画像は、基準の画像データに基づく画像、または表示装置が視差画像表示可能であれば視差画像データによる画像でもよい。

カメラボディ１１Ｂには、不図示の操作部材（シャッターボタン、焦点検出位置の設定部材など）が設けられている。これらの操作部材からの操作状態信号をボディ駆動制御部２１が検出する。そして、ボディ駆動制御部２１は、検出結果に応じた動作（撮像動作、デフォーカス量検出動作、レンズ駆動制御部通信動作、画像処理動作等）の制御を行う。

レンズ駆動制御部１５は、レンズ情報を、レンズのフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御部１５は、ズームレンズ１６及びフォーカシング用レンズ１８の位置と、絞り１９の絞り位置をモニターする。

そして、レンズ駆動制御部１５は、モニター情報に応じてレンズ情報を演算すること、または予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。さらに、レンズ駆動制御部１５は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシング用レンズ１８を不図示のモータ等の駆動源により合焦点へと駆動する。

なお、本実施形態は、図１に示した交換レンズ型撮像装置に限るものではなく、所謂コンパクトカメラと称されるものを含むレンズ固定式撮像装置にも適用できる。また、撮影レンズはズームレンズに限らず単焦点レンズでも良い。

図２は、第１実施形態における撮像素子２０の画素配列を示している。
図２では、縦１６画素（Ｌ０１〜Ｌ１６）、横１６画素（Ｆ０１〜Ｆ１６）で合計２５６画素の例を示している。しかしながら、画素数はこれに限るものでなく、例えば合計画素が１０００万画素を超えるものでも構わない。
以下の説明においては、特定の画素を示すときに、行番号Ｌ０１〜Ｌ１６と列番号Ｆ０１〜Ｆ１６を並べて表す。例えば、Ｌ０１の行のうち、Ｆ０１の列に対応する画素を「Ｌ０１Ｆ０１」で表す。

ここで、各画素の分光感度特性を説明する。
図１４は、青色（Ｂ色）画素、緑色（Ｇ色）画素、赤色（Ｒ色）画素の分光感度特性曲線を示している。横軸は波長（ｎｍ）、縦軸は相対感度（％）を示している。青色画素は短波長領域に感度が高い。赤色画素は長波長領域に感度が高い。緑色画素は、青色画その主要な感度領域と赤色画素の主要な感度領域の中間域で感度が高い。
なお、一般的に撮影レンズと撮像素子の間に配置される赤外カットフィルタにより６５０ｎｍ付近から７００ｎｍ付近より長波長領域の光はカットまたは減光されて撮像素子に入射する。

さらに、撮像素子と撮影レンズとの光学的な位置関係について説明する。
図１５は、共役面上で独立した領域に投影される、短波長領域側から、青色画素、緑色画素、赤色画素について説明する図である。

図１５において、撮影レンズ２０１による撮像素子２０２の共役面２０４を考える。撮像素子２０２は、各画素２０３（Ａ〜Ｐ）を有している。たとえば、画素Ｄに対応する共役像域は、他の画素の共役像領域から独立である。

なお、この説明は、近軸的なレイアウトを想定したものである。実際には、撮影レンズ２０１の収差や、回折現象、撮影レンズ２０１と撮像素子２０２の間の光路中に配置されたローパスフィルター（不図示）により、共役面上で他の画素の投影領域と重なる場合もある。しかしながら、この近軸的なレイアウトで構成することで、基本的に高い解像力の画像得ることができる。

図１６は、入射光束の傾きと遮光部の方向を説明する図である。図１６に示す構成は、撮像素子２０（図１）の画素の開口部を光電変換素子の中心に対して偏心させることによって射出瞳を分割する例である。図１６は、撮像素子２０の隣り合う二つの画素の構造を示す断面図である。

画素４１は、最上部から、順に、マイクロレンズ４２、マイクロレンズ４２を形成するための平面を構成するための平滑層４３、色画素の混色防止のための遮光膜４４、色フィルタ層をのせる表面を平らにするための平滑層４５、及び、光電変換素子４６が配置されている。画素５１も画素４１と同様に、最上部から、順に、マイクロレンズ５２、平滑層５３、遮光膜５４、平滑層５５、及び、光電変換素子５６が配置されている。

さらに、これらの画素４１、５１においては、遮光膜４４、５４が、光電変換素子４６、５６中心部４７、５７から外側に偏心した開口部４８、５８をそれぞれ有している。

ここで、光線Ｌ４１の傾き方向と光線Ｌ５１の傾き方向はそれぞれ遮光部が形成されている方向であることがわかる。また、遮光部の設定の仕方によっては、入射光束の傾きと遮光部の方向が逆になる場合もある。これは、例えば、遮光部をオンチップレンズ４２、５２上に配置する場合である。

次に、図２に戻って説明を続ける。例えば画素Ｌ０５Ｆ０７はＧ色画素であり、図上で開口部の右下が斜線部で示すように遮光されている。すなわち、この画素の入射角度の重心は右下方向に傾いている。これは、入射角度の重心が図４（ａ）に示すように水平方向においては右側に傾いており、図４（ｂ）に示すように垂直方向においては下側に傾いていることを意味する。

また、Ｇ色画素は、いわゆる市松模様状に配置されている。
ここで、「市松模様に配置」とは、例えば、矩形上の画素を水平方向、垂直方向ともに、他の画素と交互に配置することをいう。

画素Ｌ０５Ｆ０７に隣接するＧ色画素は、４つの画素Ｌ０４Ｆ０６、Ｌ０４Ｆ０８、Ｌ０６Ｆ０６、Ｌ０６Ｆ０８である。これらの４つの画素は、開口部の左上が斜線部で示すように遮光されている。すなわち、この画素の入射角度の重心は左上方向に傾いている。

これは、入射角度の重心が、図４（ｃ）、図４（ｄ）に示すように水平方向においては左側に傾いており、垂直方向においては上側に傾いていることを意味する。このように、撮像素子２０のＧ色画素は隣接するＧ色画素に対して入射角度の方向が水平方向、垂直方向いずれも同じ方向に異なるように構成される。

換言すると、各Ｇ色画素の４つの隣接するＧ色画素の重心入射角度は、各Ｇ色画素の水平成分に関しては、中心入射角度に対して同じ方向に異なっており、各Ｇ色画素の垂直成分に関しては、中心入射角度に対して同じ方向に異なっている。

なお、「重心入射角度」とは、例えば、図４（ａ）、（ｂ）、（ｃ）、（ｄ）の各図において曲線で囲まれた領域の面積重心をいう。

これにより、合焦状態から離れた状態のボケ像も自然になる。また、回折現象におけるボケ像も自然になり、良好が画像を得られる。このような構成をとることにより必然的に入射角度範囲は広くなり、大きなＮＡ光束を受光できるようになり、デフォーカス検出と画質の両立をはかることができる。

図５（ａ）〜（ｊ）を用いて、Ｇ色画素の水平方向のデフォーカス量と信号強度との関係を説明する。図５（ａ）と（ｂ）、図５（ｃ）と（ｄ）、図５（ｅ）と（ｆ）、図５（ｇ）と（ｈ）、図５（ｉ）と（ｊ）は、それぞれ水平方向の隣接する画素の信号強度を示している。

ここで、合焦時の水平方向の出力信号を図５（ｅ）、（ｆ）とする。デフォーカス量が変化すると図５（ａ）、（ｂ）と、図５（ｃ）、（ｄ）と、図５（ｇ）、（ｈ）と、図５（ｉ）、（ｊ）とへと変化している。

図５（ａ）〜（ｊ）から明らかなように、信号強度曲線のピーク値の大きさとその位置とは、デフォーカス量に応じて変化している。このように、例えば、水平方向のＬ０４、Ｌ０６、Ｌ０８の出力信号と、Ｌ０５、Ｌ０７、Ｌ０９の出力信号とを相関演算等の手法により比較することによりデフォーカス量を検知することができる。

図６（ａ）〜（ｊ）を用いて、Ｇ色画素の垂直方向のデフォーカス量と信号強度との関係を説明する。図６（ａ）と（ｂ）、図６（ｃ）と（ｄ）、図６（ｅ）と（ｆ）、図６（ｇ）と（ｈ）、図６（ｉ）と（ｊ）は、それぞれ垂直方向の信号強度を示している。

ここで、合焦時の垂直方向の出力信号を図６（ｅ）、（ｆ）とする。デフォーカス量が変化すると図６（ａ）、（ｂ）と、図６（ｃ）、（ｄ）と、図６（ｇ）、（ｈ）と、図６（ｉ）、（ｊ）とへと変化している。

図６（ａ）〜（ｊ）から明らかなように、信号強度曲線のピーク位置の大きさとその位置とは、デフォーカス量に応じて変化している。このように例えば、垂直方向のＦ０４、Ｆ０６、ＦＬ０８の出力信号と、Ｆ０５、Ｆ０７、Ｆ０９の出力信号とを相関演算等の手法により比較することによりデフォーカス量を検知することができる。

次に、Ｒ色画素とＢ色画素とに関して、図７（ａ）〜（ｊ）を用いて、水平方向のデフォーカス量と信号強度との関係を説明する。図７（ａ）と（ｂ）、図７（ｃ）と（ｄ）、図７（ｅ）と（ｆ）、図７（ｇ）と（ｈ）、図７（ｉ）と（ｊ）は、それぞれ水平方向の隣接する画素の信号強度を示している。

図７（ａ）〜（ｊ）に示すようにＲ色画素とＢ色画素は、デフォーカスしても、信号強度曲線のピーク値は変化するが、曲線の位置は変化しない。すなわち、像のコントラストは低下するが像ずれは生じない。像ずれを起こしていない画素と像ずれを起こしている画素から画像形成をするとピントのあっていない像位置の画質が劣化する。

このように、各Ｂ色画素の重心入射角度は略同じであり、各Ｒ色画素の重心入射角度は略同じである。

本実施形態では、例えば、画像形成時に、Ｇ色成分は隣接する画素値と平均化することで、像ずれのないＧ色成分を少ない解像度の劣化で生成することができる。さらに、Ｒ色画素とＢ色画素とＧ色画素成分を用いて良質な画像を得ることができる。

また、本実施形態における撮像素子自体に着目すると、撮像素子は、以下の構成を有する。すなわち、撮像素子は、水平方向及び垂直方向に画素が配列された撮像素子を備え、
撮像素子の各画素は、少なくとも撮影レンズ装着時の近軸的な共役面上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成され、
緑色画素が市松模様に配置され、
青色画素同士、赤色画素同士は、隣接しないように配置され、
各緑色画素の隣接する４つの隣接する緑色画素の重心入射角度は、各緑色画素の中心入射角度に対して、同じ方向に異なっている。
これにより、画面全体のデフォーカス情報を取得できると共に、自然な画像を容易に生成できる。

図１７は、従来の離散的にまたは一部のＧ色画素の開口の一部を遮光する画素配列を示している。この場合は、Ｇ色成分は隣接する画素値を参照しても像ずれの生じない画素値を生成することが困難である。

このような場合は、開口の一部を遮光した画素を所謂画素欠陥のように画像形成に使わない処理方法が知られている。しかしながら、画面全体でデフォーカス量を算出する場合、遮光された画素が多くなり、画質を大きく劣化させることになってしまう。また、このような画素領域を離散的に配置すると、デフォーカス値を取得できる画面内の領域が離散的になり好ましくない。

さらに、図１８に、一つのオンチップレンズに対して複数の画素を配置した例を示す。この例は、本実施形態と比較するための参考例である。撮像素子３２０の光電変換部を分割することによって射出瞳を分割する構成例である。

撮像素子３２０は、基板内に形成されたＰ型ウエル３３１、Ｐ型ウエル３３１と共に光電荷を発生させ蓄積するｎ型領域３３２α、３３２β、ｎ型領域３３２α、３３２βに蓄積されている光電荷が転送される不図示のフローティングディフュージョン部（以下、「ＦＤ部」と称する。）、ｎ型領域３３２α、３３２βに蓄積された光電荷をＦＤ部へ効率よく転送するために光電荷を収集する表面ｐ＋層３３３α、３３３β、ＦＤ部へ光電荷を転送するための転送ゲート（不図示）、ゲート絶縁膜であるＳｉＯ_２膜３３４、ベイヤ配列のカラーフィルタ３３５、及び、被写体からの光を集めるマイクロレンズ３３６、を備える。

マイクロレンズ３３６は、交換レンズ（図１）の瞳と表面ｐ＋層３３３α、３３３βとが、概略共役になるような形状及び位置に形成されている。光電荷は、模式的には、領域３３７で発生する。

図１８に示す例では、光電変換部が、ｎ形領域３３２α及び表面ｐ＋層３３３αと、ｎ形領域３２β及び表面ｐ＋層３３βと、に分割されており、これにより射出瞳が分割される。光線Ｌ３１、Ｌ３２は、ｎ形領域３２α及び表面ｐ＋層３３αと、ｎ形領域３２β及び表面ｐ＋層３３βと、にそれぞれ入射する。

この構成では、容易に像ずれのない画素値を生成することができる。しかしながら、Ｒ色画素やＢ色画素の配置も離散的になってしまう。このため、画素数に対する解像度を得ることができないので好ましくない。

さらに、本実施形態と比較した場合の従来例の不具合点を以下に述べる。本実施形態は、これらの不具合点を解消していることはいうまでもない。

従来の撮像装置は、以下の問題点を有している。
・画像形成とデフォーカス量算出のための画像データ取得を同時にできないこと。
・動きのある被写体に対してデフォーカス量の算出が難しいこと。
・撮影レンズ側に瞳分割機構を配置する構成であること。

上記のような構成であると、撮像装置が交換レンズを使用する場合、各交換レンズごとに瞳分割機構を設ける必要がある。さらに、フォーカシングやズーミングで絞りの位置と絞りの径との少なくとも一方が変わる場合、瞳分割機構も移動や駆動量の調整が必要となる。
従来は、得られたデフォーカス量は、フォーカシングに用いることが提案されている。これに対して、画像データとデフォーカス量データを組み合わせ使う、または出力することは全く開示されていない。

このほかにも、所謂コントラストＡＦ（オートフォーカス）と呼ばれるような、複数枚の画像データを取得してコントラスト値の変化からデフォーカス量を推定する方法もある。

コントラストＡＦ方式では、動きのある被写体に対してデフォーカス量の算出が難しいという問題がある。また、撮影レンズの駆動システムを対応させる必要がある。

また、所謂位相差ＡＦ光学系として知られている方式は、同一物点を撮影レンズの異なる瞳位置を通過した２像として撮像する。そして、デフォーカス量を算出する。位相差ＡＦでは、複数の画素が同一物点の共役位置となり、また、高い解像力や画質を得るのが難しくなる。

尚、画面の一部の領域のみのデフォーカス量を算出し、フォーカシングを行う方式も知られている。当然ながら、このような方式では、画面全体のデフォーカス量分布を求めることはできない。さらに、デフォーカス算出用の画素を画像形成に用いるのは難しいとされている。

例えば、撮像面上に瞳の一部のみを受光する画素領域を離散的に配置し、デフォーカス量を算出する方式では、以下の問題がある。
・離散的な位置のデフォーカス情報しか得られないこと。これにより、視差像を形成するのが困難である。
・一般的には、デフォーカス時に異なる画像になること。これによるＡＦ用画素を画素形成に使うのは困難とされている。
・撮像画素近傍で瞳を分割するマイクロレンズを配置し、このマイクロレンズ下に複数の画素を配置する構成では、撮像画素数に対する解像度が劣化すること、という課題がある。また、入射ＮＡ（開口数）が小さくなり回折の影響で画質が劣化する場合もある。

さらに、立体撮影の可能な撮影システムの従来例の課題を説明する。
一般的にステレオカメラと呼ばれる従来の２眼式立体撮影システムがある。
２眼式立体撮影システムの問題点を以下に掲げる。
・近距離被写体の場合は、視差が大きくなる。このため、撮影ができなくなること。
・近距離被写体を撮影できるように２眼の光学系の光軸を内向させると、遠距離被写体の撮影が難しくなること。
・一般的な２Ｄ（２次元）撮影用の撮像システムに対して撮像素子の総画素数を同じとすると、ステレオ撮影装置での一方の光学系に対応する画素数は半分となる。このため、画質が劣化すること。
・一般的な２Ｄ撮影用の撮像システムと同じ画質を得るためには、２倍の画素数の撮像素子が必要となること。
・さらに、２眼にするため、撮影システムが大型になること。

また、撮像装置から光を対象に投射し、対象から反射してきた情報を用いて、立体形状を取得するシステムが知られている。このようなシステムは、以下の問題点を有している。
・遠距離被写体の情報取得が難しいこと。
・パララックス（視差）の問題で近距離被写体の取得が難しいこと。
・被写体側の照度が高いと、立体形状の取得が難しいこと。
・撮像素子の構造上、画面全体の立体情報を得る場合、カラー画像の取得が難しいこと。

さらに、所謂１枚の平面画像からデフォーカス情報無しに、立体画像に自動的に変換する手法も知られている。
この手法の問題点は、立体像に変換する手がかりが想定外の状態であると、不自然な立体画像に変換される場合があることである。例えば、具体的には以下の問題を生ずるおそれがある。
・平面画像内に撮影された平面ポスターまで立体像に変換してしまうこと。
・色情報を手がかりにして立体像に変換している場合、被写体内の信号やネオン等の光源が不自然に変換される現象がおきること。

上述したように、本実施形態は、これらの不具合点を解消している。

（変形例）
次に、本実施形態の変形例の画素配列について説明する。図３は、変形例に係る画素配列を示している。画素を左右に分割することで、縦成分に対するデフォーカス検出精度を向上できる。一般的な被写体は、縦線方向のデフォーカスを検出する場合が多い。このため、本変形例のように、縦線方向にデフォーカス検出精度が高い構成は有利である。

上記第１実施形態では、例えば、Ｌ０２Ｆ０２画素のように画素の右上、右下、左下を開口させている。このため、本変形例のように左半分遮光するより、十分な光量が得られ、また、回折の影響による画質劣化が少なくすることができる。

次に視差像の生成方法の例について説明する。
図８は、視差像を生成する方法を説明する図である。
任意の想定視差量（２・Ｐ）と想定観察距離ｄを設定する。これらの数値はカメラボディに対して固定値とすること、撮影レンズの焦点距離情報を用いて決定すること、または、観察機材を想定して入力する形にすることの何れでも良い。

面１０１は、取得した基準画像（２Ｄ）と想定し、図８で示されている場合では水平方向の断面とする。
仮想線１０３は、取得した基準画像（２Ｄ）の中心１０２を通る垂線（仮想線）であり、撮影時の撮影レンズの光軸と対応すると考えても良い。また、中心点１０２の座標を（０、０）とする。

与える視差量を２×Ｐとしたとき、仮想線１０３に対し、水平方向に−Ｐだけずらした位置に平行な仮想線１０４を想定する。仮想線１０４と基準画像の交わる点を点１０６とする。

同様に水平方向にＰだけずらした位置に平行な仮想線１０５を想定する。仮想線１０５と基準画像の交わる点を点１０７とする。このときそれぞれの座標は（−Ｐ、０）と（Ｐ、０）となる。

基準画像の任意の位置（ｘ、ｙ）の点１０８に対応する左側画像の点１１１、Ｌ（ｘ、ｙ）の位置を求める方法の例を説明する。基準画像の任意の点１０８を通る仮想線１０４に平行な線を想定する。この線上に基準画像の任意の点１０８のデフォーカス量Δｄ（ｘ、ｙ）ずれた点１０９を想定する。

点１０６から仮想観察距離ｄ離れた点１１２と点１０９を結ぶ仮想線１１０を想定し、この線と基準画像の交わる点を求める。この点の水平方向成分が点１１１の水平方向成分となる。垂直方向成分は、点１0８と同じである。

このことを条件式（１）、（２）で示す。ΔＬＨ（ｘ、ｙ）は、基準画像の像点（ｘ、ｙ）に対して左側画像での水平方向の偏移量である。同様に、ΔＲＨ（ｘ、ｙ）は、基準画像の像点（ｘ、ｙ）に対して右側画像での水平方向の偏移量である。
ΔＬＨ（ｘ、ｙ）＝（ｄ／（ｄ＋Δｄ（ｘ、ｙ）））×（ｘ＋Ｐ） （１）
ΔＲＨ（ｘ、ｙ）＝（ｄ／（ｄ＋Δｄ（ｘ、ｙ）））×（ｘ−Ｐ） （２）

このようにして、基準画像から視差画像である左側画像、右側画像を生成することができる。
図８で示したのは、視差像生成の一つの例示である。被写体のデフォーカス量の分布状況、３Ｄ観察時の見えやすさや、立体感の強調や立体感の抑制等目的に応じて、各像点のデフォーカス量を用いて、他の生成方法を使ってもよい。また、仮想パラメータとして、想定クロスポイントを設定してもよい。

また、撮影時のカメラ姿勢によっては（縦位置取りの場合）、上下（垂直方向）の視差像を生成するようにしてもよい。尚、観察機材に表示するときには、例えば上側画像を左側画像として、下側画像は右側画像として表示することにしても良い。

本実施形態では、デフォーカス量情報を使い視差像を生成している。これに限られず、デフォーカス量情報を使い他の画像処理を行っても良い。また、デフォーカス量を画像データと合わせて記録し、この記録を用いて外部装置で必要な画像処理を行っても良い。

次に、上述した構成を用いて、フォーカシングと撮影とを行なう手順をフローチャートを用いて説明する。
図９は、撮影のおおまかな流れを示すフローチャートである。

ステップＳ１０１において、撮影が開始される。ステップＳ１０２においてフォーカシングサブルーチンが呼び出される。ステップＳ１０３において、撮影サブルーチンが実行される。ステップＳ１０５において、デフォーカス量算出サブルーチンが実行される。そして、ステップＳ１０４において、視差像生成サブルーチンが実行される。

各サブルーチンの手順について、さらに説明を続ける。
図１０は、撮影サブルーチンの手順を示すフローチャートである。
ステップＳ２０１において、画像信号取得部３０は、撮影用画素からの信号を読み出す。ステップＳ２０２において、ボディ駆動制御部２１は、画像信号をメモリカード２９などに記録する。ステップＳ２０３において、液晶表示素子２６は、記録画像を表示する。

図１１は、デフォーカス量算出サブルーチンの手順を示すフローチャートである。
ステップＳ３０１において、画像信号取得部３０は、Ｇ色画素からの信号を読み出す。ステップＳ３０２において、画像信号取得部３０は、奇数画素列と偶数画素列とで相関演算を行なう。

ステップＳ３０３において、画像信号取得部３０は、奇数画素行と偶数画素行とで相関演算を行なう。ステップＳ３０４において、画像信号取得部３０は、各像点におけるデフォーカス量を算出する。そして、ボディ駆動制御部２１は、各像点のデフォーカス量をメモリカード２９などに記録する。

図１２は、フォーカシングサブルーチンの手順を示すフローチャートである。
ステップＳ４０１において、画像信号取得部３０は、測距領域であるＧ色画素の信号を読み出す。ステップＳ４０２において、画像信号取得部３０は、奇数画素列と偶数画素列とで相関演算を行なう。

また、ステップＳ４０２に並行して、ステップＳ４０３において、画像信号取得部３０は、奇数画素行と偶数画素行とで相関演算を行なう。そして、ステップＳ４０４において、画像信号取得部３０は、演算部として、撮像素子２０上の緑（適宜、「Ｇ」と表記する）色画素の出力データ（後述する第１像信号、第２像信号）に基づいて各像位置におけるデフォーカス量を算出する。

ステップＳ４０４において、算出されたデフォーカス量は、焦点深度内であるか、否かが判断される。ステップＳ４０５の判断結果がＹｅｓ（真）の場合、サブルーチンを終了する。

ステップＳ４０５の判断結果がＮｏ（偽）の場合、ステップＳ４０６へ進む。ステップＳ４０６において、画像信号取得部３０は、撮影レンズのうちのフォーカシングレンズ１８の駆動信号を出力する。レンズ駆動制御部１５は、撮影レンズのうちのフォーカシングレンズ１８の駆動を行なう。そして、ステップＳ４０１を繰り返す。

図１３は、視差像生成サブルーチンの手順を示すフローチャートである。本サブルーチンは、図８で説明した内容を実行するものである。
ステップＳ５０１において、想定視差量、想定観察距離、想定クロスポイント位置の設定を行う。
ステップＳ５０２において、ボディ駆動制御部２１は、画像信号をメモリカード２９などに画像信号記録データと各像点のデフォーカス量とを記録する。

ステップＳ５０３において、視差方向が設定されているか、否かが判断される。ステップＳ５０３において、水平方向に視差方向が設定されていると判断された場合、ステップＳ５０４、ステップＳ５０５へ進む。そして、ステップＳ５０４において、右側画像が生成される。ステップＳ５０５において、左側画像が生成される。

ステップＳ５０３において、上下方向に視差方向が設定されていると判断された場合、ステップＳ５０６、ステップＳ５０７へ進む。そして、ステップＳ５０６において、上側画像が生成される。ステップＳ５０７において、下側画像が生成される。

そして、水平方向の視差設定、上下方向の視差設定のいずれの場合でも、ステップＳ５０８において視差画像が記録される。
このように、デフォーカス情報と画像出力とにより、複数の視差画像を形成することができる。

以上の説明をまとめると、本実施形態およびその変形例のデジタルカメラ１１は、撮影レンズが装着可能、または、撮影レンズを備え、
水平方向、垂直方向に画素が配列された撮像素子２０を備え、
撮像素子２０からの信号を処理する機能を有する画像信号取得部３０を備えている。
さらに、撮像素子２０は、少なくとも共役面２０４上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成されている。
これにより、近軸的な共役面上で重ならない構成にすることで、撮影画像の解像度を確保することができる。これは、リフォーカスタイプや図１８の様にデフォーカス情報の取得ができるかわりに解像度を低下させる複数の画素の上に一つのオンチップレンズを配置するタイプに対する対策となっている。さらに、Ｂ色画素、Ｇ色画素、Ｒ色画素は、カラー画像取得を可能とし、主にモノクロタイプの撮像装置に比較して有利である。
緑色画素が市松模様に配置されている。
ここで、青色画素同士、赤色画素同士は、隣接しないように配置されている。
これにより、所謂ベイヤー配列を規定している。Ｇ色画素を連続的に配置する構成が特徴的である。
また、上述したように各緑色画素の隣接する４つの隣接する緑色画素の重心入射角度は、各緑色画素の中心入射角度に対して、同じ方向に異なっている。
これにより水平成分、垂直成分のいずれかで、画面全体で相関演算を行うことができる。また、画面全体のデフォーカス情報を取得できる。なお、ここでは特に絶対量でなく、周辺像点との奥行き関係が取得できれば良い。
さらに、隣接する画素同士で補間することで、撮影レンズの瞳全体の情報を得ることができる。この結果、合焦点近傍から非合焦点まで、自然な画像に形成できる。
また、各画素からは、画像形成のための画像出力がされる。
上述の画素構成により、自然な画像を容易に生成できる信号が出力される。
そして、画像信号取得部２０は、緑色画素の出力より像のデフォーカス情報を算出し、取得する。
これにより、位相差検出等でデフォーカス情報や輪郭情報を取得できる。
また、デフォーカス情報と画像出力により複数の視差画像を形成する。これにより、デフォーカス情報に基づいて、複数の視差画像を形成できる。

以上説明した実施形態の構成により、１回の撮影から、良質なカラー画像情報と画面全体のデフォーカス情報を得ることができる。また、この画像情報とデフォーカス情報を合わせた画像処理を行うことで、視差像の生成等により撮影の表現を豊かにできるなどの効果を奏する。

このように上述の実施形態では、画面全体のデフォーカス量を導出でき、かつ、良好な画質を得ることができる撮像装置およびこれに適用される撮像素子を提供する。更に、このような装置で、例えば良質な立体撮影の可能な撮影システムに適用することについても提供できる。ここで、「良質」とは、例えば小型で近距離から遠距離まで同時に撮影可能であることをいう。このように、良質な立体撮影システムを提供することや、被写体や撮影レンズの条件により生成する視差像を容易に調製することによって、良質の立体撮影システムを構成できる。

以上のように、本発明は、位相差ＡＦ方式の撮像装置に適している。

１１ デジタルスチルカメラ
１１Ａ 交換レンズ
１１Ｂ カメラボディ
１２ 撮像光学系
１４ マウント部
１５ レンズ駆動制御部
１６ ズーミング用レンズ
１７ レンズ
１８ フォーカシング用レンズ
１９ 絞り
２０ 撮像素子
２１ ボディ駆動制御部
２３ 撮像素子駆動回路
２５ 液晶表示素子駆動回路
２６ 液晶表示素子
２９ メモリカード
３０ 画素信号取得部（演算部、画像構成部）
４１ 画素
４２ マイクロレンズ
４３ 平滑層
４４ 遮光膜
４５ 平滑層
４６ 光電変換素子
４７ 中心部、５７
４８ 開口部
５２ マイクロレンズ
５３ 平滑層
５４ 遮光膜
５５ 平滑層
５６ 光電変換素子
５７ 中心部
５８ 開口部
Ｌ４１ 光線
Ｌ５１ 光線
３３１ ｐ形ウエル
３３２α、３３２β ｎ形領域
３３３α、３３３β 表面ｐ＋層
ＳｉＯ_２ 膜３３４
３３５ カラーフィルタ
３３６ マイクロレンズ

Claims (5)

1. 撮影レンズが装着可能、または、撮影レンズを備え、
   水平方向、垂直方向に画素が配列された撮像素子を備え、
   撮像素子からの信号を処理する機能を備え、
   前記撮像素子は、少なくとも共役面上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成され、
   前記緑色画素が市松模様に配置され、
   前記青色画素同士、前記赤色画素同士は、隣接しないように配置され、
   前記各緑色画素の隣接する４つの隣接する前記緑色画素の重心入射角度は、前記各緑色画素の中心入射角度に対して、同じ方向に異なっており、
   画像形成のための画像出力がされ、
   前記緑色画素の出力より像のデフォーカス情報を取得することを特徴とする撮像装置。
2. 前記各緑色画素の４つの隣接する緑色画素の重心入射角度は、前記各緑色画素の水平成分に関しては、中心入射角度に対して同じ方向に異なっており、前記各緑色画素の垂直成分に関しては、中心入射角度に対して同じ方向に異なっていることを特徴とする請求項１に記載の撮像装置。
3. 前記デフォーカス情報と前記画像出力とにより、複数の視差画像を形成することを特徴とする請求項１または２に記載の撮像装置。
4. 前記各青色画素の重心入射角度は略同じであり、
   各赤色画素の重心入射角度は略同じであることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 水平方向及び垂直方向に画素が配列された撮像素子を備え、
   前記撮像素子の各画素は、少なくとも撮影レンズ装着時の近軸的な共役面上で独立した領域に投影される青色画素、緑色画素、赤色画素で構成され、
   緑色画素が市松模様に配置され、
   前記青色画素同士、前記赤色画素同士は、隣接しないように配置され、
   前記各緑色画素の隣接する４つの隣接する前記緑色画素の重心入射角度は、前記各緑色画素の中心入射角度に対して、同じ方向に異なっていることを特徴とする撮像素子。
   

Images