JP5434761B2

JP5434761B2 - 撮像デバイスおよび撮像装置

Info

Publication number: JP5434761B2
Application number: JP2010089671A
Authority: JP
Inventors: 寛信村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-04-08
Filing date: 2010-04-08
Publication date: 2014-03-05
Anticipated expiration: 2030-04-08
Also published as: CN102213893B; US20110273599A1; JP2011223264A; CN102213893A; US8379121B2

Description

本発明は、焦点検出用画素を有する撮像素子を備える撮像デバイス、およびその撮像素子を備える撮像装置に関する。

撮像光学系からの光束をハーフミラーで２つに分割し、一方の光束を撮像兼焦点検出手段に導き、他方の光束を焦点検出手段に導き、この撮像兼焦点検出手段の焦点検出結果と焦点検出手段の焦点検出結果とに基づいて、撮影光学系の焦点調節を行う撮像装置が知られている。この撮像兼焦点検出手段は、二次元的に配置された多数の撮像用画素中に複数の焦点検出用画素を配置した撮像素子から構成され、この焦点検出用画素が配置された位置における画像信号は、周囲の撮像用画素の画像信号に基づき補間される（例えば、特許文献１参照）。

特開２００７−２３３０３２号公報

しかしながら、上述した従来の撮像装置にあっては、撮像兼焦点検出手段が撮影視野内の広範囲に焦点検出エリアを設定するためには、より多くの撮像用画素の代わりに焦点検出用画素に配置する、即ち、より多くの撮像用画素を焦点検出用画素に置換する必要があり、これは撮像画像の劣化を招来する。

（１）請求項１の発明に係る撮像デバイスは、光学系を通過した被写体光の分割された一方の光束を受光して、第１のカラー信号を生成する複数の第１の撮像用画素と第２のカラー信号を生成する複数の第２の撮像用画素と前記光学系の焦点検出状態を示す焦点検出信号を出力する複数の第１の焦点検出用画素とを有する第１の撮像素子と、前記被写体光の分割された他方の光束を受光して、第３のカラー信号を生成する複数の第３の撮像用画素と前記光学系の焦点検出状態を示す検出信号を出力する複数の第２の焦点検出用画素とを有する第２の撮像素子と、を備え、前記第１の撮像用画素の数をｎとすると、前記第２の撮像用画素の数はｎ、前記第３の撮像用画素の数は２ｎ、前記第１の焦点検出用画素の数は２ｎ、前記第２の焦点検出用画素の数は２ｎであり、前記第１の撮像素子における前記２色の撮像用画素に対する前記第１の焦点検出用画素の配置関係は、前記第２の撮像素子における前記第３の撮像用画素に対する前記第２の焦点検出用画素の配置関係と同一であることを特徴とする。
（２）請求項５の発明に係る撮像装置は、撮影光学系と、前記撮影光学系を通過した被写体光を２つの光束に分割する光束分割部材と、前記分割された一方の光束を受光して、第１のカラー信号を生成する複数の第１の撮像用画素と第２のカラー信号を生成する複数の第２の撮像用画素と前記撮影光学系の焦点検出状態を示す焦点検出信号を出力する複数の第１の焦点検出用画素とを有する第１の撮像素子と、前記分割された他方の光束を受光して、第３のカラー信号を生成する複数の第３の撮像用画素と前記撮影光学系の焦点検出状態を示す検出信号を出力する複数の第２の焦点検出用画素とを有する第２の撮像素子と、前記第１の撮像用画素による前記第１のカラー信号と前記第２の撮像用画素による前記第２のカラー信号と前記第３の撮像用画素による前記第３のカラー信号とから画像データを生成する画像データ生成手段と、前記第１の焦点検出用画素による焦点検出信号及び前記第２の焦点検出用画素による焦点検出信号に基づいて前記撮影光学系の焦点調節を行う焦点調節手段と、を備え、前記第１の撮像用画素の数をｎとすると、前記第２の撮像用画素の数はｎ、前記第３の撮像用画素の数は２ｎ、前記第１の焦点検出用画素の数は２ｎ、前記第２の焦点検出用画素の数は２ｎであり、前記第１の撮像素子における前記２色の撮像用画素に対する前記第１の焦点検出用画素の配置関係は、前記第２の撮像素子における前記第３の撮像用画素に対する前記第２の焦点検出用画素の配置関係と同一であることを特徴とする。

本発明の撮像デバイス及び撮像装置は、多数の撮像用画素中に複数の焦点検出用画素を配置しても撮像画像の劣化を十分に低減することができる。
本発明の撮像デバイスによれば、第１の撮像素子と第２の撮像素子とは、素子の構造も製造工程も同様であるので、品質管理や工程管理を共通化できる。

本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。第１の撮像素子１の構造を模式的に示す図であり、図２（ａ）は部分平面図、図２（ｂ）は図２（ａ）のＩ−Ｉ線に沿った部分断面図、図２（ｃ）は図２（ａ）のＩＩ−ＩＩ線に沿った部分断面図である。第２の撮像素子２の構造を模式的に示す図であり、図３（ａ）は部分平面図、図３（ｂ）は図３（ａ）のＩＩＩ−ＩＩＩ線に沿った部分断面図、図３（ｃ）は図３（ａ）のＩＶ−ＩＶ線に沿った部分断面図である。撮像素子１及び２の出力信号から画像信号と焦点検出信号を生成する過程を模式的に示す図である。撮像素子１及び２の画像信号演算を説明するための模式図である。

＜構成＞
本発明の実施の形態による撮像デバイス及び撮像装置（例えば、デジタルカメラ）について、図１〜５を参照しながら説明する。
図１に示されるように、デジタルカメラは、第１の撮像素子１、第２の撮像素子２、撮影レンズ３、ハーフミラー４、画像処理部５、ディスプレイ６、焦点調節部７及びレンズ駆動モータ８を備える。撮像デバイス１０は、第１の撮像素子１及び第２の撮像素子２などから構成される。

撮影レンズ３は、図示しないフォーカシングレンズ、ズーミングレンズ、絞りなどを備え、被写体像をハーフミラー４を介して第１及び第２の撮像素子１、２の撮像面にそれぞれ結像する。図１では簡単のため、撮影レンズ３は１枚のレンズで示されている。

ハーフミラー４は、透明基板の表面に所定厚さの反射膜、裏面に反射防止膜が形成されたものであり、入射光の一部を透過させて残りを反射し、波長分布が同等の透過光と反射光に分割する。撮像デバイス１０の主要構成部品である第１及び第２の撮像素子１、２は、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどから構成され、いずれの素子も撮像用画素と焦点検出用画素とが混在して規則的に２次元配列されている。第１及び第２の撮像素子１、２は、各撮像用画素が画像信号を出力すると共に、各焦点検出用画素が撮影レンズ３の焦点調節状態を示す焦点検出信号を出力する。

画像処理部５は、例えば、ＡＳＩＣとして構成され、第１及び第２の撮像素子１、２の撮像用画素から出力された画像信号に対して画像処理を行う。画像処理には、例えば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。また、画像処理部５は、撮影画像をディスプレイ６に表示させるための画像データを作成する。ディスプレイ６は、画像処理部５から入力される画像データに基づく再生画像を表示する。

焦点調節部７は、第１及び第２の撮像素子１、２の焦点検出用画素からそれぞれ出力された焦点検出信号に基づき焦点検出演算を行い、第１及び第２の撮像素子１、２の撮像面上の結像状態を検出する、すなわちデフォーカス量を算出する。そして、焦点調節部７は、このデフォーカス量をレンズ駆動モータ８へ送出する。レンズ駆動モータ８は、この出力信号に基づいて撮影レンズ３のフォーカシングレンズをその光軸方向に駆動することにより焦点調節を行う。

第１及び第２の撮像素子１、２は、それぞれ焦点検出信号を出力するが、焦点調節部７は、撮像素子１及び２のいずれかの焦点検出信号を用いて焦点調節を行ってもよいし、両者の焦点検出信号を用い、平均化などの補正処理を加えて焦点調節を行ってもよい。この場合、多数の焦点検出信号を用いることができるので、焦点検出精度の向上が期待できる。

図２及び図３を参照しながら、撮像デバイスの主要構成部品である第１及び第２の撮像素子１、２の構造を詳細に説明する。
図２（ａ）の部分平面図に示されるように、第１の撮像素子１は、赤のカラー信号を生成する赤色の撮像用画素１００Ｒと、青のカラー信号を生成する青色の撮像用画素１００Ｂと、図中、画素の右半分に開口、即ち受光部Ｗ１１を有する第１の焦点検出用画素１０１と、左半分に開口、即ち受光部Ｗ１２を有する第２の焦点検出用画素１０２とが規則的に２次元配列されている。赤色の撮像用画素１００Ｒと青色の撮像用画素１００Ｂと第１及び第２の焦点検出用画素１０１、１０２は互いにその大きさが等しく定められている。

詳述すると、赤色の撮像用画素１００Ｒと第１の焦点検出用画素１０１とは同一行に、即ち横方向に交互に配置され、同様に青色の撮像用画素１００Ｂと第２の焦点検出用画素１０２も同一行に交互に配置されている。また、赤色の撮像用画素１００Ｒ及び第１の焦点検出用画素１０１の横方向配列と、青色の撮像用画素１００Ｂ及び第２の焦点検出用画素１０２の横方向配列とは、図２において上下方向に交互に位置している。
更に、赤色の撮像用画素１００Ｒと青色の撮像用画素１００Ｂとは、行方向、即ち横方向に、互いに一画素分ずれている。

このように、赤色の撮像用画素１００Ｒ、青色の撮像用画素１００Ｂ、第１及び第２の焦点検出用画素１０１、１０２の４種類の画素は、赤色の撮像用画素１００Ｒと青色の撮像用画素１００Ｂが互いに直接に隣接することなく、且つ、第１の焦点検出用画素１０１と第２の焦点検出用画素１０２が互いに直接に隣接することなく均一に配列されている。
第１の撮像素子１は、赤色の撮像用画素１００Ｒの画素数をｎ個とすると、青色の撮像用画素１００Ｂ、第１の焦点検出用画素１０１、第２の焦点検出用画素１０２の画素数はいずれもｎ個である、即ち、４種類の画素は、それぞれの画素数が互いに等しく定められている。
なお、第１の焦点検出用画素１０１の列と第２の焦点検出用画素１０２の列は、瞳分割方式、即ち位相差検出方式の一対の焦点検出用画素列を構成するものである。

図２（ｂ）は図２（ａ）のＩ−Ｉ線に沿った断面図であり、図２（ｃ）は図２（ａ）のＩＩ−ＩＩ線に沿った部分断面図であり、いずれの図でも、被写体光は上から下へ進む。
図２（ｂ）において、赤色の撮像用画素１００Ｒは、被写体光の進路に沿って、マイクロレンズ１１と赤色フィルター１２ｒと配線層１４、１５と開口Ｗ１０が形成された遮光層１６とフォトダイオード（ＰＤ）１７とが積層配置されている。フォトダイオード１７は、分離層１８によって電気的に絶縁されている。赤色フィルター１２ｒは、被写体光中の赤のカラー成分の光のみを透過するため、フォトダイオード１７は、赤色の光を光電変換して画像信号を出力する。
なお、赤色の撮像用画素１００Ｒの開口Ｗ１０は、できるだけ多くの光量を受光するために１つの画素の寸法に略等しく定められている。

第１の焦点検出用画素１０１は、被写体光の進路に沿って、マイクロレンズ１１と無色の透明フィルター１３と配線層１４、１５と開口Ｗ１１が形成された遮光層１６とフォトダイオード１７とが積層配置されている。フォトダイオード１７は、分離層１８によって電気的に絶縁されている。透明フィルター１３は、入射光の赤、緑及び青の波長の全ての光を透過するため、フォトダイオード１７は、開口Ｗ１１を介して受光したすべてのカラー成分の光を光電変換して焦点検出信号を出力する。
なお、矢印線１１０は開口Ｗ１０の幅を示し、矢印線１１１は開口Ｗ１１の幅を示すもので、第１の焦点検出用画素１０１の開口Ｗ１１の幅または面積は、赤色の撮像用画素１００Ｒの開口Ｗ１０の幅または面積のほぼ半分程度に定められている。

図２（ｃ）において、青色の撮像用画素１００Ｂは、被写体光の進路に沿って、マイクロレンズ１１と青色フィルター１２ｂと配線層１４、１５と開口Ｗ１０が形成された遮光層１６とフォトダイオード１７とが積層配置されている。フォトダイオード１７は、分離層１８によって電気的に絶縁されている。青色フィルター１２ｂは、被写体光中の青色光のみを透過するため、フォトダイオード１７は、青色の光を光電変換して画像信号を出力する。

第２の焦点検出用画素１０２は、被写体光の進路に沿って、マイクロレンズ１１と無色の透明フィルター１３と配線層１４，１５と開口Ｗ１２が形成された遮光層１６とフォトダイオード１７とが積層配置されている。フォトダイオード１７は、分離層１８によって電気的に絶縁されている。第２の焦点検出用画素１０２の透明フィルター１３は、第１の焦点検出用画素１０１の透明フィルター１３と同一である。
なお、青色の撮像用画素１００Ｂの開口Ｗ１０は、赤色の撮像用画素１００Ｒの開口Ｗ１０と同一の寸法に定められる。矢印線１１２は開口Ｗ１２の幅を示すもので、この開口Ｗ１２の幅または面積は、青色の撮像用画素１００Ｂの開口Ｗ１０の幅または面積のほぼ半分程度である。

このように構成された第１の撮像素子１において、赤色の撮像用画素１００Ｒは、赤色フィルター１２ｒを透過した被写体光の赤色光を遮光層１６の開口Ｗ１０を介してフォトダイオード１７により受光し、赤色成分光の画像信号を出力する。
青色の撮像用画素１００Ｂは、青色フィルター１２ｂを透過した被写体光の青色光を遮光層１６の開口Ｗ１０を介してフォトダイオード１７により受光し、青色成分光の画像信号を出力する。
なお、撮像用画素１００Ｒ、１００Ｂは、できるだけ多くの光をフォトダイオード１７に導くように、マイクロレンズ１１の曲率、屈折率、マイクロレンズ１１とフォトダイオード１７との間の距離などが定められる。

第１の焦点検出用画素１０１は、透明フィルター１３を透過した被写体光を遮光層１６の開口Ｗ１１を介してフォトダイオード１７により受光する。このフォトダイオード１７が受光する光束は、撮影レンズ３の射出瞳の一対の領域のうちの一方の領域を通過した光束であり、フォトダイオード１７は、受光した光の強度に対応する焦点検出信号を出力する。

同様に、第２の焦点検出用画素１０２は、透明フィルター１３を透過した被写体光を遮光層１６の開口Ｗ１２を介してフォトダイオード１７により受光する。このフォトダイオード１７が受光する光束は、撮影レンズ３の射出瞳の一対の領域のうちの他方の領域を通過した光束であり、フォトダイオード１７は、受光した光の強度に対応する焦点検出信号を出力する。

焦点調節部７は、第１の焦点検出用画素列からの焦点検出信号列と第２の焦点検出用画素列からの焦点検出信号列とに基づき、デフォーカス量を算出する。
図２に示すように、画素の右半分に開口Ｗ１１を有する焦点検出用画素１０１と、左半分に開口Ｗ１２を有する焦点検出用画素１０２との出力信号に基づいて像ズレ量を検出する場合は、被写界の水平方向の焦点調節状態が検出できる。

次に、図３を参照しながら撮像素子２の構造を詳細に説明する。
図３（ａ）の部分平面図に示されるように、第２の撮像素子２は、緑のカラー信号を生成する緑色の撮像用画素２００Ｇと、図中、画素の右半分に開口Ｗ２１を有する第３の焦点検出用画素２０１と、左半分に開口Ｗ２２を有する第４の焦点検出用画素２０２とが規則的に２次元配列している。第２の撮像素子２の緑色の撮像用画素２００Ｇと第３及び第４の焦点検出用画素２０１、２０２は、その大きさが第１の撮像素子１の画素１００Ｒ、１０１、１０２の大きさと等しく定められている。

撮像用画素２００Ｇは、図３（ａ）の左右方向において、同一行、即ち横方向に第３の焦点検出用画素２０１と交互に配置される画素を撮像用画素２００Ｇ１とし、第４の焦点検出用画素２０２と交互に配置される画素を撮像用画素２００Ｇ２として便宜上称呼することもあるが、これらの撮像用画素２００Ｇ１、２００Ｇ２は実質的に同一である。

このように、緑色の撮像用画素２００Ｇと第３及び第４の焦点検出用画素２０１、２０２とは、撮像用画素２００Ｇ同士が互いに直接に隣接することなく、且つ、第３及び第４の焦点検出用画素２０１、２０２が互いに直接に隣接することなく配列されている。
また、緑色の撮像用画素２００Ｇの画素数を２ｎ個とすると、第３の焦点検出用画素２０１及び第４の焦点検出用画素２０２の画素数はいずれもｎ個である。撮像用画素２００Ｇ１も撮像用画素２００Ｇ２も画素数はｎ個で、同数である。

図３（ｂ）は図３（ａ）のＩＩＩ−ＩＩＩ線に沿った断面図であり、図３（ｃ）は図３（ａ）のＩＶ−ＩＶ線に沿った部分断面図であり、いずれの図でも、被写体光は上から下へ進む。
図３（ｂ）において、撮像用画素２００Ｇ１は、被写体光の進路に沿って、マイクロレンズ２１と緑色フィルター２２ｇと配線層２４、２５と開口Ｗ２０を有する遮光層２６とフォトダイオード２７とが積層配置されている。フォトダイオード２７は、分離層２８によって電気的に絶縁されている。
第３の焦点検出用画素２０１は、被写体光の進路に沿って、マイクロレンズ２１と無色の透明フィルター２３と配線層２４、２５と開口Ｗ２１を有する遮光層２６とフォトダイオード２７とが積層配置されている。フォトダイオード２７は、分離層２８によって電気的に絶縁されている。
矢印線２１０は撮像用画素２００Ｇ１の遮光層２６の開口Ｗ２０の幅を示し、矢印線２１１は第３の焦点検出用画素２０１の遮光層２６の開口Ｗ２１の幅を示す。開口Ｗ２１の幅は、撮像用画素２００Ｇ１の遮光層２６の開口Ｗ２０の幅のほぼ半分である。

図３（ｃ）において、緑色の撮像用画素２００Ｇ２は、被写体光の進路に沿って、マイクロレンズ２１と緑色フィルター２２ｇと配線層２４、２５と開口Ｗ２０を有する遮光層２６とフォトダイオード２７とが積層配置されている。フォトダイオード２７は、分離層２８によって電気的に絶縁されている。
第４の焦点検出用画素２０２は、被写体光の進路に沿って、マイクロレンズ２１と無色の透明フィルター２３と配線層２４、２５と開口Ｗ２２を有する遮光層２６とフォトダイオード２７とが積層配置されている。フォトダイオード２７は、分離層２８によって電気的に絶縁されている。
矢印線２１２は第４の焦点検出用画素２０２の遮光層２６の開口Ｗ２２の幅を示し、この開口Ｗ２２の幅は緑色の撮像用画素２００Ｇ２の遮光層２６の開口Ｗ２０の幅のほぼ半分である。

緑色の撮像用画素２００Ｇ１、２００Ｇ２は、緑色フィルター２２ｇを透過した被写体光の緑色光を遮光層２６の開口Ｗ２０を介してフォトダイオード２７により受光し、緑色成分光の画像信号を出力する。
また、第３及び第４の焦点検出用画素２０１、２０２は、それぞれ焦点検出信号を出力する。これらの焦点検出信号に基づき、第１の撮像素子１の第１及び第２の焦点検出用画素１０１，１０２と同様に、デフォーカス量が焦点調節部７によって算出される。

また、第１の撮像素子１と第２の撮像素子２とは、ハーフミラー４に対する相対的位置が以下のように定められている。即ち、第１の撮像素子１と第２の撮像素子２とは、第２の撮像素子２の緑色撮像用画素２００Ｇの位置が第１の撮像素子１の第１及び第２の焦点検出用画素１０１，１０２の位置に対応するように、互いに位置決めされている。
このような第１及び第２の撮像素子１、２の相対的な位置関係によって、互いの撮像素子の撮像用画素に注目してみると、緑色撮像用画素２００Ｇと赤色撮像用画素１００Ｒと青色撮像用画素１００Ｂとが被写体像に対して、ベイヤー配列状に配置されていることになる。
つまり、このように２つの撮像素子１、２を相対的に位置決めすることによって、２つの撮像素子の互いの撮像用画素の出力を組み合せると、ベイヤー配列の撮像素子から画像信号を得るのと同等の出力を得ることができる。即ち、撮像素子１の赤色撮像用画素１００Ｒ及び青色撮像用画素１００Ｂと、撮像素子２の緑色撮像用画素２００Ｇ１及び２００Ｇ２との合計４画素から、仮想的なベイヤー配列の画像信号が得られる。

＜動作＞
上記のように構成されたデジタルカメラの撮影動作の一例を説明する。
図４において、カメラの電源が投入されると、第１および第２の撮像素子１、２が起動される。第１の撮像素子１は、赤色の撮像用画素１００Ｒ及び青色の撮像用画素１００Ｂがそれぞれ赤色及び青色の画像信号を生成すると同時に、第１及び第２の焦点検出用画素１０１、１０２がそれぞれ焦点検出信号を生成する。
同様に、第２の撮像素子２は、緑色の撮像用画素２００Ｇが緑色の画像信号を生成すると同時に、第３及び第４の焦点検出用画素２０１、２０２がそれぞれ焦点検出信号を生成する。

図４においては、第１の撮像素子１の赤色の撮像用画素１００Ｒが生成した赤色の画像信号を「Ｒ」で示し、青色の撮像用画素１００Ｂが生成した青色の画像信号を「Ｂ」で示し、第１及び第２の焦点検出用画素１０１、１０２がそれぞれ生成した焦点検出信号を「Ｍ」、「Ｎ」で示している。同様に、第２の撮像素子２の緑色の撮像用画素２００Ｇ１及び２００Ｇ２がそれぞれ生成した緑色の画像信号を「Ｇｒ」、「Ｇｂ」で示し、第３及び第４の焦点検出用画素２０１、２０２がそれぞれ生成した焦点検出信号を「Ｍ」、「Ｎ」で示している。

第１の撮像素子１が生成した画像信号Ｒ、Ｂと焦点検出信号Ｍ、Ｎは、スイッチＳＷ１、ＳＷ２によって分離され、画像信号Ｒ、Ｂがバッファメモリ３１０に記憶され、焦点検出信号Ｍ、Ｎがバッファメモリ３２０に記憶される。
同様に、第２の撮像素子２が生成した画像信号Ｇｒ、Ｇｂと焦点検出信号Ｍ、Ｎは、スイッチＳＷ３、ＳＷ４によって分離され、画像信号Ｇｒ、Ｇｂがバッファメモリ３３０に記憶され、焦点検出信号Ｍ、Ｎがバッファメモリ３４０に記憶される。

バッファメモリ３１０、３３０に記憶された画像信号Ｒ、Ｂ、Ｇｒ、Ｇｂは、それぞれ読み出されて、画像処理部５の一部を構成する画像信号生成部５Ａにおいて、ベイヤー配列を構成するように合成される。
図５は、画像信号生成部５Ａによってベイヤー配列状に合成された画像信号Ｒ、Ｂ、Ｇｒ、Ｇｂを示す。

画像処理部５は、画像信号生成部５Ａによって合成された画像信号Ｒ、Ｂ、Ｇｒ、Ｇｂに対して所定の処理を施し、スルー画像を生成し、スルー画像はディスプレイ６に表示される。
また、カメラの撮影動作に応じて、画像処理部５によって画像処理された画像信号Ｒ、Ｂ、Ｇｒ、Ｇｂが不図示の記録媒体に記録される。
なお、画像処理部５は、画像信号Ｒ、Ｂ、Ｇｒ、Ｇｂに基づく画像データを画像処理する際に、被写体像の輝度信号を使用するが、この輝度信号として焦点検出信号を使用することもできる。特に、この焦点検出信号は、無色の透明フィルターを透過した光束の光強度に対応するものであるので、輝度信号として好都合である。

他方、バッファメモリ３２０、３４０に記憶された焦点検出信号Ｍ、Ｎは、それぞれ読み出されて、焦点調節部７の一部を構成する焦点検出信号生成部７Ａに送られる。
焦点調節部７は、第１の撮像素子１からの焦点検出信号に基づき焦点調節を行う第１のモードと、第２の撮像素子２からの焦点検出信号に基づき焦点調節を行う第２のモードと、第１及び第２の撮像素子１、２からの焦点検出信号に基づき焦点調節を行う第３のモードとを有する。

第１のモードが選択された場合には、焦点検出信号生成部７Ａは、バッファメモリ３２０からの焦点検出信号Ｍ、Ｎを焦点調節部７に送出し、焦点調節部７は、この焦点検出信号に基づきデフォーカス量を算出し、図１のレンズ駆動モータ８を駆動して撮影レンズの焦点調節を行う。
第２のモードが選択された場合には、焦点検出信号生成部７Ａは、バッファメモリ３４０からの焦点検出信号Ｍ、Ｎを焦点調節部７に送出し、焦点調節部７は、この焦点検出信号に基づきデフォーカス量を算出し、このデフォーカス量に基づき撮影レンズの焦点調節を行う。

第３のモードが選択された場合には、焦点検出信号生成部７Ａは、バッファメモリ３２０及び３４０からの焦点検出信号Ｍ、Ｎを合成し、合成した焦点検出信号を焦点調節部７に送出し、焦点調節部７は、この合成焦点検出信号に基づきデフォーカス量を算出し、撮影レンズの焦点調節を行う。なお、この合成は、例えばバッファメモリ３２０及び３４０の位置的に対応する焦点検出信号（被写体像の同一部分に関する焦点検出信号）を加算する、例えば、図４のバッファメモリ３２０の最上行の焦点検出信号Ｍ、Ｍ、・・・とバッファメモリ３４０の最上行の焦点検出信号Ｍ、Ｍ、・・・とを加算することによって行われる。

また、第３のモードでは、バッファメモリ３２０からの焦点検出信号Ｍ、Ｎに基づきデフォーカス量を算出すると共に、バッファメモリ３４０からの焦点検出信号Ｍ、Ｎに基づきデフォーカス量を算出し、この二つのデフォーカス量の平均を算出して、平均デフォーカス量に基づき撮影レンズの焦点調節を行うこともできる。

撮像素子１の製造では、半導体回路基板上に、フォトダイオード１７と分離層１８が形成され、その上に遮光層１６、配線層１５、配線層１４が順次形成され、その上に赤色フィルター１２ｒと青色フィルター１２ｂと透明フィルター１３とがパターン状に形成され、最上部にマイクロレンズ１１が形成される。マイクロレンズ１１は、透明樹脂を塗布した後にエッチングと熱処理によって所望の形状に形成される。撮像素子１は、半導体イメージセンサーの製造工程（シリコンプロセスの一つ）により一体に製作される。撮像素子２についても同様のプロセスで製作される。

このように、第１の撮像素子１の画素構造において、赤色の撮像用画素１００Ｒと青色の撮像用画素１００Ｂとを比較すると、赤色フィルター１２ｒと青色フィルター１２ｂに差異があるだけであり、第１の焦点検出用画素１０１と第２の焦点検出用画素１０２とを比較すると、開口Ｗ１１と開口Ｗ１２の位置に差異があるだけであり、また、撮像用画素１００Ｒ、１００Ｂと第１及び第２の焦点検出用画素１０１、１０２とを比べると、色フィルター１２ｒ、１２ｂと無色の透明フィルター１３との間及び開口Ｗ１０，Ｗ１１，Ｗ１２の間に差異があるだけである。４種の画素の構造は、非常に類似しているので、第１の撮像素子１は、４種類の画素の存在にも拘わらず、比較的簡単な工程で製造することができる。第２の撮像素子２も同様に、３種類の画素の構造が非常に類似しているので比較的簡単な工程で製造することができる。

本実施の形態による撮像デバイス１０、デジタルカメラによれば、以下の作用効果を奏する。
（１）撮像素子１の第１及び第２の焦点検出用画素１０１，１０２の位置における被写体像の画像信号は、第２の撮像素子２の撮像用画素２００Ｇによって得ることができ、また、撮像素子２の第３及び第４の焦点検出用画素２０１，２０２の位置における被写体像の画像信号は、第１の撮像素子１の撮像用画素１００Ｒ、１００Ｂによって得ることができる。
即ち、既述したように、２つの撮像素子１、２の出力を組み合せることによって、撮像面全面がベイヤー配列となる仮想的な撮像素子をもつことに等しくなるので、これらの２つの撮像素子１、２の出力を組み合せて使用することによって、焦点検出用画素の配置部分における画像信号を得るための補間演算処理などをしなくとも、通常の画像信号と同等の画像信号を得ることができる。従って、撮像素子に焦点検出用画素を配置したことによる撮像画像の劣化を防止することができる。
（２）撮像素子１と撮像素子２は、同様の積層構造を有するので、製造工程、品質管理を共通化でき、製造コストの大幅な低減が可能となる。
（３）２つの撮像素子１及び２は、性能が類似しているため、出力バランス調整が容易であり、組立コストの点からも非常に有効である。
（４）撮像素子２は、撮像用画素２００Ｇと焦点検出用画素２０１、２０２の画素を有するだけあり、撮像用画素２００Ｇ１と２００Ｇ２との出力差は非常に小さいため、撮像用画素２００Ｇ１と２００Ｇ２との出力段差の調整を省略することができる。

上述の実施の形態では、ハーフミラー４を用いて２つの同等の光束に分割したが、ハーフミラーに限らず、例えばハーフプリズムを用いてもよい。
上述の実施の形態では、デジタルカメラ内での撮像素子１と撮像素子２との位置精度については、もちろん撮像素子１と撮像素子２とが１画素の寸法未満で配置されているのが望ましい。しかし、組立コストとの兼ね合いで１画素の寸法以上のズレがある比較的低い精度で位置合わせをしてもよい。この場合は、信号処理により補正をすることができる。
また、上述のように、赤色の撮像用画素の画素数と青色の撮像用画素の画素数と第１、第２、第３及び第４の焦点検出用画素の画素数は、互いに同数にし、緑色の撮像用画素の画素数がその他の画素の画素数の２倍になるように定めることが望ましいが、これらの画素数の関係は、必ずしも厳密に同数、又は２倍に定める必要はなく、ほぼ同数または２倍であればよい。

上述の実施の形態は、本発明をデジタルカメラに適用したものであったが、ビデオカメラに適用することもできる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１：第１の撮像素子２：第２の撮像素子
３：撮影レンズ４：ハーフミラー
５：画像処理部６：ディスプレイ
７：焦点調節部８：レンズ駆動モータ
１０：撮像デバイス
１００Ｒ、１００Ｂ、２００Ｇ、２００Ｇ１、２００Ｇ２：撮像用画素
１０１、１０２、２０１、２０２：焦点検出用画素
３１０、３２０、３３０、３４０：バッファメモリ
Ｒ、Ｂ、Ｇｒ、Ｇｂ：画像信号Ｍ、Ｎ：焦点検出信号

Claims

光学系を通過した被写体光の分割された一方の光束を受光して、第１のカラー信号を生成する複数の第１の撮像用画素と第２のカラー信号を生成する複数の第２の撮像用画素と前記光学系の焦点検出状態を示す焦点検出信号を出力する複数の第１の焦点検出用画素とを有する第１の撮像素子と、
前記被写体光の分割された他方の光束を受光して、第３のカラー信号を生成する複数の第３の撮像用画素と前記光学系の焦点検出状態を示す検出信号を出力する複数の第２の焦点検出用画素とを有する第２の撮像素子と、を備え、
前記第１の撮像用画素の数をｎとすると、前記第２の撮像用画素の数はｎ、前記第３の撮像用画素の数は２ｎ、前記第１の焦点検出用画素の数は２ｎ、前記第２の焦点検出用画素の数は２ｎであり、
前記第１の撮像素子における前記２色の撮像用画素に対する前記第１の焦点検出用画素の配置関係は、前記第２の撮像素子における前記第３の撮像用画素に対する前記第２の焦点検出用画素の配置関係と同一であることを特徴とする撮像デバイス。
請求項１に記載の撮像デバイスにおいて、
前記第１及び第２の撮像用画素と前記第１の焦点検出用画素とは、２次元的に同じ画素が隣接することなく均一に配列され、
前記第３の撮像用画素と前記第２の焦点検出用画素とは、２次元的に同じ画素が隣接することなく均一に配列されることを特徴とする撮像デバイス。
請求項１または２に記載の撮像デバイスにおいて、
前記第１のカラーが赤色、前記第２のカラーが青色、前記第３のカラーが緑色であることを特徴とする撮像デバイス。
請求項１〜３のいずれか１項に記載の撮像デバイスにおいて、
前記第１の焦点検出用画素の出力する焦点検出信号と、前記第２の焦点検出用画素の出力する焦点検出信号の両方を用いて、前記光学系の焦点検出状態を検出する焦点検出手段を有することを特徴とする撮像デバイス。
撮影光学系と、
前記撮影光学系を通過した被写体光を２つの光束に分割する光束分割部材と、
前記分割された一方の光束を受光して、第１のカラー信号を生成する複数の第１の撮像用画素と第２のカラー信号を生成する複数の第２の撮像用画素と前記撮影光学系の焦点検出状態を示す焦点検出信号を出力する複数の第１の焦点検出用画素とを有する第１の撮像素子と、
前記分割された他方の光束を受光して、第３のカラー信号を生成する複数の第３の撮像用画素と前記撮影光学系の焦点検出状態を示す検出信号を出力する複数の第２の焦点検出用画素とを有する第２の撮像素子と、
前記第１の撮像用画素による前記第１のカラー信号と前記第２の撮像用画素による前記第２のカラー信号と前記第３の撮像用画素による前記第３のカラー信号とから画像データを生成する画像データ生成手段と、
前記第１の焦点検出用画素による焦点検出信号及び前記第２の焦点検出用画素による焦点検出信号に基づいて前記撮影光学系の焦点調節を行う焦点調節手段と、を備え、
前記第１の撮像用画素の数をｎとすると、前記第２の撮像用画素の数はｎ、前記第３の撮像用画素の数は２ｎ、前記第１の焦点検出用画素の数は２ｎ、前記第２の焦点検出用画素の数は２ｎであり、
前記第１の撮像素子における前記２色の撮像用画素に対する前記第１の焦点検出用画素の配置関係は、前記第２の撮像素子における前記第３の撮像用画素に対する前記第２の焦点検出用画素の配置関係と同一であることを特徴とする撮像装置。
請求項５に記載の撮像装置において、
前記第１及び第２の撮像用画素と前記第１の焦点検出用画素とは、２次元的に同じ画素が隣接することなく均一に配列され、
前記第３の撮像用画素と前記第２の焦点検出用画素とは、２次元的に同じ画素が隣接することなく均一に配列されることを特徴とする撮像装置。
請求項５または６に記載の撮像装置において、
前記第１のカラーが赤色、前記第２のカラーが青色、前記第３のカラーが緑色であることを特徴とする撮像装置。