JP4930109B2 - 固体撮像装置、撮像装置 - Google Patents

Description

本発明は、物理量分布検知の半導体装置の一例である固体撮像装置および撮像装置に関する。詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な物理量分布検知の半導体装置を利用した固体撮像装置などへの適用に好適な信号取得技術に関する。特に、高感度画素を利用する仕組みに関する。

光や放射線などの外部から入力される電磁波などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。

たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。

たとえば、固体撮像装置は、デバイス部の撮像部（画素部）に設けられている光電変換素子（受光素子；フォトセンサ）であるフォトダイオードにて、光や放射線などの外部から入力される電磁波を検知して信号電荷を生成・蓄積し、この蓄積された信号電荷（光電子）を、画像情報として読み出す。

ここで、カラー画像を取得する構成とする場合には、特定の波長成分のみを透過するような色フィルタを画素ごとに配置して、複数個の画素の組によって必要な色成分を復元することで色を識別するイメージセンサとするのが現在の主流となっている。

具体的には、色フィルタの組として、たとえば、色の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の減色フィルタを用いた色配列によって色を識別し、それぞれの色フィルタの下に光を検出する半導体層を設けることで、フィルタを透過した３原色光をそれぞれ別に検出する。また、輝度信号取得用としての白（Ｙ）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列を用いることも考えられる。これらは、いずれもベイヤー（Ｂａｙｅｒ）配列と呼ばれる。

単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しか持たないため、たとえば、周囲の画素の色情報を用いて補間処理を行なうことで、各画素において必要な色成分を復元するデモザイク処理が行なわれる（たとえば特許文献１参照）。

特開平０４−０８８７８４号公報号公報

一方、近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。

この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。

低照度条件下では色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。

その対策例として、既存のカラーコーディング配列をベースに高感度輝度信号用の白（Ｙ）を加えることが考えられている。たとえば、特許文献１には、ベイヤー配列赤（Ｒ）、緑（Ｇ）、青（Ｂ）が正方格子配置されたベイヤー配列をベースに輝度信号用の白（Ｙ）を加えたＹＲＧＢ配列を適用した撮像素子を用いて、高感度の画像を得る信号処理について開示している。この仕組みでは、白画素を市松配置したカラーフィルタアレイを適用し、全ての画素が可視光成分以外（たとえば赤外光）を感じないことを前提に、市松配置画素の白画素を利用して高い解像度および高感度を得る信号処理について説明している。

すなわち、特許文献１にて提案されている配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、緑（Ｇ）画素を市松配置にする構成より大きな信号が得られる。このため、緑画素市松配置の場合に比べて解像度や輝度情報を左右する市松配置の信号のＳ／Ｎ比を良くすることができるというものである。

しかしながら、既存のカラーコーディング配列をベースに高感度輝度信号用の白（Ｙ）を加えるには、既存の配列におけるある色（１色もしくは複数色）を白（Ｙ）に置き換えなければならず、色解像度の低下や、これに伴い偽色が多発することが懸念される。白（Ｙ）の画素が多くなればなるほど高感度化や高解像度化には有利であるか、その反面、色解像度低下や偽色発生の問題が大きくなる。

本発明は、上記事情に鑑みてなされたものであり、高感度画素をカラーコーディング配列に追加する場合においても、品質（特に色解像度低下に伴う色信号の性能）の良好な情報を取得することのできる仕組みを提供することを目的とする。

本発明に係る表示装置の一実施形態は、画像情報の第１の波長領域を複数に波長分離（典型的には可視光領域をＧ，Ｒ，Ｂの各色成分に分離）して各成分を検知する第１の検知部と、各第１の検知部により検知される第１の波長領域の各成分より高感度に第１の波長領域の成分を検知する第２の検知部とを設ける。つまり、高感度対応の検知部として第２の検知部を機能させる。

そして、第１の検知部で検知された各波長の単位信号に基づいて測定量を示す信号（第１の検知部による検知情報）を取得し、この測定量を示す信号と第２の検知部で検知される高感度の第１の波長領域の成分の信号（第２の検知部による検知情報）とを使って、第１の検知部で検知された各波長の単位信号に対して補正演算を実行する高感度化信号処理部を設ける。

ここで、高感度化信号処理部は、全ての各検知部の位置について、波長成分や感度が異なるモザイク状の情報から波長成分や感度が均一な情報を生成するデモザイク処理を実行する過程で、感度補正演算を実行するとともに、不正な色情報を抑制する処理（偽色抑制処理）を行なう。デモザイク画像を生成した後に感度補正演算を実行するのではなく、デモザイク処理の実行過程で、感度補正演算と偽色抑制処理を実行してしまうことで、デモザイク画像の品質を高める。

偽色抑制処理としては、たとえば、第１の検知部の検知情報と第２の検知部の検知情報との比例情報に基づく画素補間処理やアンチエリアス処理が考えられる。何れも、第２の検知部の検知情報が介在するので、偽色抑制処理を実行することで、自動的に感度補正演算も実行される利点がある。

なお、固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部または光学系とが纏めてパッケージングされた、撮像機能を有するモジュール状の形態であってもよい。

また、本発明は、固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置として、固体撮像装置と同様の効果が得られる。ここで、撮像装置は、たとえば、カメラ（あるいはカメラシステム）や撮像機能を有する携帯機器のことを示す。また「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。

本発明の一実施形態によれば、デモザイク処理を実行する過程で、高感度対応の第２の検知部による検知情報を使った感度補正演算や偽色抑制処理を行なうようにしたので、高感度画素をカラーコーディング配列に追加する場合に避けることのできない色解像度低下に起因する偽色の発生を効果的に抑制できる。デモザイク処理を実行した後に、感度補正演算を実行すると、生成されるデモザイク画像に偽色が発生していると、その後の感度補正演算では、偽色の抑制が困難になる。

これに対して、デモザイク処理過程で、たとえば、非高感度対応の第１の検知部の検知情報と高感度対応の第２の検知部の検知情報との比例情報を使って偽色抑制処理を実行すれば、同時に感度補正演算も実行され、偽色発生が抑制された高感度のデモザイク画像を取得できる。高感度の検知部出力を活用したデモザイク処理とすることによって、高感度、高Ｓ／Ｎ比の信号処理が実現でき、かつ、偽色を効果的に抑制することができるようになる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜＜基本概念＞＞
図１は、本実施形態で採用する色分離フィルタの色配置例の基本構造を示す図である。ここでは、可視光カラー画像用に色フィルタＣ１，Ｃ２，Ｃ３（何れも選択的な特定波長領域である第１の波長領域成分を透過）の３つの波長領域（色成分）用のものと、色フィルタＣ１，Ｃ２，Ｃ３とは異なる色フィルタＣ４といった別個のフィルタ特性を有する４種類の色フィルタを規則的（本例では正方格子状）に配設している。なお、本例の場合、第１の波長領域成分は可視光領域成分となる。

色フィルタＣ１，Ｃ２，Ｃ３，Ｃ４を通して対応する検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタＣ１，Ｃ２，Ｃ３が配される検知部が第１の検知部であり、色フィルタＣ４が配される検知部が第２の検知部である。また、色フィルタＣ１，Ｃ２，Ｃ３が配される検知部（検知要素）は、カラー画像取得のために第１の波長領域（可視光領域）を、さらに色分離に対応するように、波長分離して検知するためのものである。

本実施形態において、色フィルタＣ４を通して得られる第２の波長領域の成分は、第２の検知部を、カラー画像取得用の色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率が高い画素（高感度画素と称する）とし、この第２の波長領域の成分を検知した第２の検知部から出力される高光利用効率の検知信号を用いて、光の利用効率が高い画像信号を取得することができるようにするものである。

ここで、光の利用効率が高い画素とするに当たっては、本実施形態では、先ず第１の手法として、第２の波長領域の成分は、第１の波長領域の成分（可視光領域成分）のほぼ全体を含むとともに、この可視光領域成分以外の成分である不可視光領域成分（たとえば短波長側の紫外光成分や長波長側の赤外光成分）を含むものとすることができる。第１の波長領域の成分以外の成分をも利用することで、光（電磁波）の利用効率を高める思想である。

こうすることで、第２の検知部から出力される高光利用効率の検知信号は、可視光部分のいわゆる輝度信号成分と不可視光信号成分の双方を含む広波長領域信号となり、その結果として、解像度の高い広波長領域画像を得ることができる。また、第２の検知部で検知した広波長領域信号（検知信号の一例）と、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知した各第１の検知部から出力される各検知信号との間で所定の補正演算処理（ここでは色補正演算処理を意味する）を実行すれば、可視光カラー画像を色再現性の高い画像を取得することができるようになる。

また、不可視光成分として赤外光成分を適用したときには、眼で見ることのできない赤外光の像情報を同時に取得することができるので、たとえば、低照度環境下での撮像にも耐え得るようになる。可視光のない、たとえば夜間においても、赤外光を照射して撮像することで、鮮明な像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。このように、眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を可視光成分と同時に受けることができる。これによって新しい情報システムへのキーデバイスとして応用が広がる。また、不可視光成分として紫外光成分を適用したときには、眼で見ることのできない紫外光の像情報を同時に取得することができるので、たとえば、植物観察用の撮像にも使えるようになる。

なお、第１の手法を適用するに当たっては、第２の検知部では、不可視光領域成分を検知する必要があるので、第２の検知部に赤外光などの不可視光が入射するようにする必要があるので、従来よく使われている赤外光カットフィルタを取り除いて撮像する。

詳細については説明を割愛するが、光の利用効率が高い画素とするに当たっては、さらに好ましくは、第２の手法として、第２の波長領域の成分は、前述の第１の手法を適用しつつ、第１の波長領域の成分（可視光領域成分）に関しては、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知する各第１の検知部の全てもしくは特にＧ色成分よりも、さらに感度の高い画素となるような成分とすることができる。第１の波長領域の成分に関して、第２の検知部で、第１の検知部よりも高感度で検知することで、光（電磁波）の利用効率を高める思想である。

なお、この場合、第２の検知部で検知した高感度信号（検知信号の一例）と、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知した各第１の検知部から出力される各検知信号との間で所定の補正演算処理（ここでは高感度化補正演算処理を意味する）を実行することで、可視光カラー画像を高感度に取得することができるようにする。

ここで、色フィルタＣ１，Ｃ２，Ｃ３は、理想的には、たとえば、可視光帯内のある色成分で透過率が略１、その他で略ゼロとする原色フィルタとする。たとえば、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタであってもよい。

もしくは、色フィルタＣ１，Ｃ２，Ｃ３は、可視光帯内のある色成分で透過率が略ゼロ、その他で略１の透過率を持つ補色系の色フィルタとする。たとえば、黄Ｙｅ（たとえば波長λ＝４００〜５００ｎｍで透過率が略ゼロ、その他で略１）、マゼンダＭｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略ゼロ、その他で略１）、シアンＣｙ（たとえば波長λ＝６００〜７００ｎｍで透過率が略ゼロ、その他で略１）など、可視光の３原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。

補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。

なお、透過率が“略１”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。

また、原色系および補色系の何れも、可視光領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。

たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばＲ，Ｇ，Ｂの各々に対して透過率が高くその他の色（たとえばＲであればＧやＢ）の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色（たとえばＲであればＧやＢ）の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。

一方、色フィルタＣ４は、少なくとも、第２の検知部を色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第１の波長領域（本例では可視光）から赤外光領域までの全域の成分、あるいは、紫外光領域から第１の波長領域（本例では可視光）までの全域の成分、あるいは紫外光領域〜第１の波長領域（本例では可視光）〜赤外光領域の全域の成分を通過させるものであるのがよい。このような、色フィルタＣ４を全域通過フィルタと称する。

あるいは、色フィルタＣ４は、色フィルタＣ１，Ｃ２，Ｃ３と同様に理想的には第１の波長領域（本例では可視光）を除く成分は通さずに、かつ、第１の波長領域（本例では可視光）に関して色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率の高い画素とすることもできる。この場合、輝度成分への影響度合いの大きなＧ成分に関して特に色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率を高めておくのが好ましい。

たとえば、第２の検知部が、青色から赤色までの光（波長４５０〜６６０ｎｍ）に対して感度を持つようにする白色フィルタを用いるのがよい。可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるという点においては、色フィルタＣ４としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、「フィルタＣ４を通して」第２の検知部で検知すると称する。

なお、色フィルタＣ１，Ｃ２，Ｃ３が配される画素の検知部（たとえばフォトダイオードなどの撮像素子）は、可視光に感度を有していればよく、近赤外光に感度を有する必要はない。一方、色フィルタＣ４が配される画素のフォトダイオードなどで構成される検知部は、色フィルタＣ４が全域通過フィルタでかつ赤外光対応とする場合には、可視光と赤外光に感度を有することが必要である。

また、色フィルタＣ４が配される色画素は、この色フィルタＣ４が配される色画素に基づいて得られる第２の波長領域の成分に関わる物理情報（本例では広波長領域画像）再現用として使用されるだけでなく、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素に基づいて得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタＣ４は、色フィルタＣ１，Ｃ２，Ｃ３に対しての補正フィルタとして機能することになるのである。

たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素から第１の波長領域の信号成分ＳC1，ＳC2，ＳC3を、この第１の波長領域の成分とは異なる第２の波長領域（赤外）の成分から事実上分離して、それぞれ独立の検知領域で検知する。

また、色フィルタＣ４が配される高光利用効率対応の検知部で得られる信号成分ＳC4を使うことで、可視光成分の少ない低照度環境下での撮影時に、可視光領域以外の成分も使うことが可能となるので、可視光成分のみの場合よりも検知される信号レベルが大きくなり、効果的なノイズ低減を実現することができるようになる。

そして、さらに好ましくは、各信号成分ＳC1，ＳC2，ＳC3を、信号成分ＳC4を使ってより色再現の良好な補正演算（特に色再現補正演算と称する）を実行する、あるいはより高感度な信号となるように補正演算（特に高感度化補正演算と称する）を実行する。

なお、色フィルタＣ４を通して得られる広波長領域画像に関しては、可視光と不可視光との混在による像を取得するようにしてもよいが、たとえば、色フィルタＣ４が第１の波長領域（本例では可視光）から赤外光までの全域の成分を通過させる全域通過フィルタである場合には、信号成分ＳC4から信号成分ＳC1，ＳC2，ＳC3により得られる可視光像の成分を減算することで、赤外光像のみを抽出するようにしてもよい。

このようにして、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した４種類の波長領域（ここでは４種類の色フィルタを配設した各画素）で得られる信号出力をマトリクス演算すると、主に色フィルタＣ１，Ｃ２，Ｃ３を通した可視光カラー画像および色フィルタＣ４を通した広波長領域画像をそれぞれ独立かつ同時に取得することができるし、広波長領域画像に関しては、可視光カラー画像に対しての補正にも使えるようになる。

ここで、考え方としては、従前の撮像信号処理と同様にして、色フィルタＣ１，Ｃ２，Ｃ３を通した画素から得られる各画素信号に基づいて輝度信号（本実施形態では合成輝度信号と称する）を取得して出力用の輝度信号とすることができるが、本実施形態では、このようなことを行なわずに、色フィルタＣ４を通して得られる広波長領域信号ＳＡから出力用の輝度信号を取得する。なお、合成輝度信号に関しては、出力用の色信号の一例である色差信号の生成には使用する。

また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材（いわゆる赤外光カットフィルタ）を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタ（ＩＲカットフィルタ）を不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。

また赤外光カットフィルタが不用になることによって、赤外光カットフィルタによる光透過率低減を排除できるので、その分だけ高感度化も達成される。また、赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、低照度時であっても、色再現性が良好になるし、さらにその際に、色補正を加えることで、一層の色再現性の改善を図ることもできる。

＜＜カラーコーディング＞＞
図２および図３は、カラーコーディングの具体例を示す図である。基本的な考え方は、図２（Ａ）に示す正方格子配列の典型例であるベイヤー配列をベースにして、その配列をなすＲ，Ｇ，Ｂの何れかを高解像度画素用（以下では白（Ｗ）画素とする）に割り当てる。このとき、Ｒ，Ｇ，Ｂの何れと置き換えるのか、またその数を幾つにするかで様々な配置態様を取り得る。また、本実施形態では、最終的には正方格子を４５度傾けて斜行格子にする。

高感度画素用に可視光の全波長成分を受光・検知する検知部（検知領域）を設けるべく、Ｒ，Ｇ，Ｂの何れかを白色フィルタＷに置き換える。つまり、可視光カラー画像用に原色フィルタ１４Ｒ（Red ），１４Ｇ（Green ），１４Ｂ（Blue）の３つの波長領域（色成分）用のものと、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂの成分とは異なる赤外光用の白色フィルタ１４Ｗ（White ）といった別個のフィルタ特性を有する４種類の色フィルタ１４を規則的に配設することになる。白色フィルタ１４Ｗは、可視光帯の全成分（Ｒ，Ｇ，Ｂ成分）を透過する特性のものであるとともに、赤外光成分をも透過する特性のものとすることもできる。

なお、白色フィルタ１４Ｗが配される白色画素は、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるものであり、この点においては、事実上、色フィルタ１４を設けない広波長領域画素１２Ａ（All ）とする構成を採ることができる。

ただし、実際に撮像素子を形成する際には、色フィルタ層の上層にさらにマイクロレンズをオンチップで形成することがある。この場合、Ｃ４の部分のみに色フィルタが設けられていないと、その部分を埋めるなどの対処が必要になるが、Ｃ４に白色フィルタ１４Ｗを設けるとそれが不要になる。また、Ｃ４に白色フィルタ１４Ｗを設けると、可視光領域の検知感度を、Ｃ１，Ｃ２，Ｃ３についての検知感度に応じて調整できる利点もある。

ただし、画素配列に関して言えば、単純に従来のＲＧＢ原色フィルタの可視光の画素に広波長領域対応用の画素（広波長領域画素１２Ａ）を追加することになる。この場合、可視光カラー画像および赤外光画像の何れについても、解像度低下を招く可能性がある。たとえば、従来のＲＧＢベイヤー配列のＧの１つの画素を広波長領域画素１２Ａに置き換えると、解像度が低下する。しかしながら、広波長領域画素１２Ａと解像度に大きく寄与する波長成分の画素（たとえば緑色画素１２Ｇ）の配置態様を工夫することで、この解像度低下の問題を解消することができる。

この際に重要なことは、従来と同様に、各色の色フィルタ１４をモザイク状に配した色分離フィルタ構造を採用する場合、赤外光と可視光の混在の広波長領域画素１２Ａがある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系ＲＧＢまたは補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つの画素がある一定の格子間隔を持ってモザイク模様になるように配置することである。

ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。あるいは、可視光の原色系ＲＧＢまたは補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。

なお、赤色画素１２Ｒ、緑色画素１２Ｇ、および青色画素１２Ｂを纏めて可視光検知画素１２VLと称する。可視光検知画素１２VLは、ＲＧＢ信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。

広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度低下を抑えるには、たとえば図２（Ｂ）に示す配列態様（その２）のように、２行２列の単位画素マトリクス１２内において先ず、奇数行奇数列および偶数行偶数列に高感度画素として機能する白色フィルタ１４Ｗを設けたもしくは色フィルタ１４を設けない広波長領域画素１２Ａを配し、偶数行奇数列には可視光領域の緑色成分を感知するための色フィルタ１４Ｇを設けた緑色画素１２Ｇを配する。広波長領域画素１２Ａは、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である。

また、単位画素マトリクス１２の列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の青色成分を感知するための色フィルタ１４Ｂを設けた青色画素１２Ｂを配し、行方向の偶数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の赤色成分を感知するための色フィルタ１４Ｒを設けた赤色画素１２Ｒを配する。単位画素マトリクス１２の列方向の偶数番目においては、青色画素１２Ｂと赤色画素１２Ｒの配置を逆にする。全体としては、色フィルタ群３１４の繰返しサイクルは、２×２の単位画素マトリクス１２で完結することになる。

この場合、フィルタ配列の繰返単位では高感度画素の機能を持つ広波長領域画素１２Ａの割合が最も多く、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素１２Ａの配置密度をベイヤー配列の場合と同じにできるので、出力される輝度画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与する緑色画素１２Ｇの配置密度は、広波長領域画素１２Ａに対して１／２になるので、可視光カラー画像は、広波長領域画素１２Ａから得られる輝度画像の分解能よりも劣る。

色フィルタＣ４を通して得られる広波長領域信号ＳＡから出力用の輝度信号を取得することにするので、この点を考慮すれば、図２（Ｂ）に示したような、広波長領域画素１２Ａの配置密度ができるだけ高くなるような色フィルタ１４の配列態様、つまり白画素に相当する広波長領域画素１２Ａが最も高密度となるようにしつつ市松状に配置したカラーフィルタアレイとすることが、全体として、高解像度化に大きく寄与することになる。

こうすることで、可視光成分の少ない低照度環境下での撮影画像について、可視光領域以外の成分も使うことで効果的なノイズ低減を実現することに加えて、解像度の高い高品質な画像を取得することが可能となる。

さらに、図２（Ｂ）に示す正方格子状に色フィルタを配置する態様(正方格子配置と称する）に対して、右回りに略４５度回転させることで、図２（Ｃ）に示すように斜め格子状に配列する。このような配置態様を、斜行格子配置と称する。斜行格子配置では、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができるのである。なお、図２（Ｂ）に示す正方格子配置および図２（Ｃ）に示す斜行格子配置の何れも、高感度画素対応広波長領域画素１２Ａがジグザグ（ＷZigZag）状に配置されており、これらを纏めて高感度ジグザグ（Ｈigh-ZigZag）配列と称する。

図２（Ｃ）に示す斜行格子配置のカラーコーディングの場合、図３に示すように、斜行格子配置に対して演算処理により仮想の画素（空白画素１２BLとも称する）を埋め込むことで正方配置化し、この状態でデモザイク処理を行なうことで、さらに高解像度化を図る。たとえば、空白画素１２BLの輝度情報は、上下および／または左右の実在する広波長領域画素１２Ａの信号を元に補間処理で算出する。

このように、色フィルタ群３１４をなす色フィルタ１４の配列（色配列）としては様々なものを適用し得るが、何れにおいても、高感度画素対応の広波長領域画素１２Ａは、所定の間隔を持って市松状に配置する。このような色配列を持つ半導体装置としての固体撮像素子を適用して撮影した画素信号に基づいて信号処理を実行すれば、赤外光を抑制した白色フィルタ１４Ｗの広波長領域画素１２Ａからは、可視光領域で緑色画素１２Ｇよりも高感度になり、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることが可能となる。また、白色フィルタ１４Ｗを外して赤外光までの検知を可能とした広波長領域画素１２Ａにすれば、広波長領域画素１２Ａからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、特に、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることが可能となる。図２（Ｃ）に示す斜行格子配置を適用することで、高感度かつ高解像度の画像を得ることもできる。

＜高感度ジグザグ配列の利点と問題点＞
図４〜図６は、図２（Ｃ）に示した斜行格子配列の利点と問題点を説明する図である。ここで図４は、ベイヤー配列と図２（Ｃ）に示した斜行格子配列の輝度解像度の関係を説明する図である。図５は、同じく色解像度の関係を説明する図である。図６は、輝度解像度および色解像度の関係を水平方向Ｈおよび垂直方向Ｖにおけるサンプリング周波数fsとの関係で示した図である。

輝度情報を含む高感度画素Ｗが配置され、かつ正方に対して４５°傾いた前述のＨ２（Ｃ）に示した高感度ジグザグ配列を持つイメージセンサにおける画素補間は、色画素（特にＲ画素とＢ画素）の色解像度が低いため、偽色が出易い問題点がある。

原色もしくは補色系のカラーフィルタ配列は画素セルの微細化によって感度を確保することが難しくなるが、その対策として、図２（Ｃ）のように高感度画素を取り入れることが考えられるのであるが、色解像度の低下が問題となってくる。フィルタ配列（カラーコーディング）の一配列単位内では、高感度画素が多くなればなるほど高感度化や高解像度化には有利であるか、その反面、色解像度低下や偽色発生の問題が大きくなる。

たとえば、図４に示すように、画素サイズ同じの場合、高感度ジグザグ配列の輝度信号の水平・垂直解像度はベイヤー配列の√２（１．４）倍になる。図５に示すように、高感度ジグザグ配列のデモザイク画像Ｒ，Ｂの解像度はベイヤー配列の０．７倍になり、偽色が多発することが懸念される。これらの点をサンプリング周波数ｆｓとの関係で示したのが図６である。

高感度ジグザグ配列時の信号処理として、正方ベイヤー比１．４倍の輝度解像度を如何に維持するか（どこまで出せるか）と、正方ベイヤー比０．７倍の色解像度による偽色多発の問題を如何様に対策するかがが肝要となる。その対策として、本実施形態では、先ず、高感度画素Ｗの出力信号を利用することでＳ／Ｎ向上を図るとともに、デモザイク画像を生成する色信号処理時に高感度画素Ｗの出力信号を利用した補正を加える。

一例として、高感度画素Ｗを利用した高感度ジグザグ配列のデモザイク処理（同時化処理）として、先ず、高感度画素Ｗのみに基づいて相関係数を算出し、次に、高感度画素Ｗとの差分により色別のモザイク画像Ｇ，Ｒ，Ｂに対してアンチエリアス処理を加える。また、高感度画素Ｗと色別のモザイク画像Ｇ，Ｒ，Ｂの差分情報と相関係数に基づいた補間処理を行なう。高感度画素Ｗの情報を活用することによって、高感度、高Ｓ／Ｎ比の信号処理が実現できるし、また偽色を効果的に抑制することができる。これらの点については、後で詳しく説明する。

＜＜フィルタの分光特性＞＞
図７〜図９は、赤外光カットフィルタ層３１３および色フィルタ群３１４赤を用いた波長分離の具体例を説明する図である。ここで、図７は、色フィルタ群３１４をなす各色フィルタ１４の光透過特性（分光特性）の基本を示した図である。また、図８は、色フィルタ群３１４をなす各色フィルタ１４の第１の特性例を示す図である。図９は、色フィルタ群３１４をなす各色フィルタ１４の第２の特性例を示す図である。

まず、本例では、赤色近傍の波長を透過する赤（Ｒ）、緑色近傍の波長を透過する緑（Ｇ）、青色近傍の波長を透過する青（Ｂ）、これらに加え、赤外線（IR）とＲＧＢの全てを透過する白（もしくは色フィルタを使用しない）の各種類の分光特性を持つ色フィルタ１４によって色フィルタ群３１４を構成する。

これら色フィルタ１４の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢを全て透過するＡ（＝Ｙ＋IR）チャネルからなり、対応する赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ、赤外線（ＩＲ）とＲＧＢを全て検知する広波長領域画素１２Ａによって、４種類の分光からなるモザイク画像を得ることができる。

広波長領域画素１２Ａを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む広波長領域信号ＳＡとして広波長領域画素１２Ａにより測定できる。

なお、図７では、白色フィルタ１４Ｗの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。

ただし、広波長領域画素１２Ａから得られる広波長領域信号ＳＡには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。

具体的には、先ず、可視光カラー画像撮像用の色フィルタ群３１４として、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタ群３１４Ｒ，１４Ｇ，１４Ｂを用いる。

なお、透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。

また、通過波長領域成分である可視光VL領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜１によって赤外光IR成分をカットするからである。

一例として、図８に示すような第１例の分光感度特性のものを用いることができる。たとえば、Ｂチャネルに対応する青色フィルタ１４Ｂは、青色に相当する３８０ｎｍ〜４８０ｎｍ程度の波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応する緑色フィルタ１４Ｇは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応する赤色フィルタ１４Ｒは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。なお、これらのＲＧＢ対応の色フィルタ１４Ｒ，１４Ｇ，１４Ｂは、約７００ｎｍ以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。

一方、Ａチャネル対応の白色フィルタ１４Ｗは、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分の全ての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素１２Ａにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素１２Ａが、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにしている。

なお、本例では、白色フィルタ１４Ｗの可視光領域の透過率は、青色フィルタ１４Ｂ、緑色フィルタ１４Ｇ、赤色フィルタ１４Ｒの各可視光領域の透過率の比と概ね同じにしつつ、全体としてそれらの透過率よりも高く、広波長領域画素１２Ａでの可視光領域の感度自体も、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。

また、図９に示すような第２例の感度特性のものを用いることもできる。なお、図９では、ＡＤ変換出力で示している。この第２例は、赤外光領域（８００ｎｍ以上）では何れの成分も同程度の出力であり、赤外光カットフィルタを使って赤外光の検知を排除し、可視光領域の画像を取得する用途に適している。白色フィルタ１４Ｗの可視光領域の透過率は、青色フィルタ１４Ｂ、緑色フィルタ１４Ｇ、赤色フィルタ１４Ｒの各可視光領域の透過率の比と概ね同じにしつつ、全体としてそれらの透過率よりも高く、広波長領域画素１２Ａでの可視光領域の感度自体は、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂの感度よりも高くなる（Ｇに対して約２倍の感度）ようにしてある。可視光領域において、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにし、高感度化を図るようにしている。

＜撮像装置＞
図１０は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。撮像装置１は、可視光カラー画像および近赤外光成分を含む輝度画像を独立に得る撮像装置や、近赤外光成分を使った補正をした可視光カラー画像を得る撮像装置になっている。

具体的には、撮像装置１は、被写体Ｚの像を担持する光Ｌを撮像部側に導光して結像させる撮影レンズ３０２と、光学ローパスフィルタ３０４と、半導体装置の一例である固体撮像素子（イメージセンサ）３１２、不可視光カットフィルタ層の一例である赤外光カットフィルタ層３１３、および色フィルタ群３１４を有する全体として半導体装置をなす撮像部３１０と、固体撮像素子３１２を駆動する駆動部３２０と、固体撮像素子３１２から出力された不可視光成分信号の一例である赤外光信号ＳIR（赤外光成分）および可視光信号ＳVL（可視光成分）を処理する撮像信号処理部３３０と、撮像装置１の全体を制御する主制御部として機能するカメラ制御部９００とを有する。図では、一例として、撮影レンズ３０２から撮像信号処理部３３０までで固体撮像装置１０が構成されるものとして示している。

赤外光カットフィルタ層３１３は、第１の波長領域の成分としての可視光領域および第２の波長領域の成分としての赤外光成分に対して透過性を有する開口部３１３ａと第１の波長領域の成分としての可視光領域に対して透過性を有するとともに第２の波長領域の成分としての赤外光成分に対して非透過性を有する非開口部３１３ｂとを具備する第１の波長分離フィルタ部の一例である。

色フィルタ群３１４は、第１の波長領域としての可視光領域をそれぞれ異なる波長領域成分に分離する第２の波長分離フィルタ部の一例である。光学ローパスフィルタ３０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。

なお、図中に点線で示したように、一般的な撮像装置では、光学ローパスフィルタ３０４と合わせて、赤外光成分を低減させる赤外光カットフィルタ３０５を設けるが、赤外光像の撮像を可能とするには、赤外光カットフィルタ３０５を備えない構成を基本とする。また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ３０２を通して入射された光Ｌ１を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材（波長分離光学系という）を備える仕組みが採られることもある。

固体撮像素子３１２は、２次元マトリックス状に形成された光電変換画素群からなる撮像素子である。固体撮像素子３１２の撮像面では、被写体Ｚの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部３２０へ出力されるセンサ駆動用のパルス信号によって制御される。固体撮像素子３１２から読み出された電荷信号は撮像信号処理部３３０に送られ、所定の信号処理が加えられる。

ここで、本実施形態の構成においては、色フィルタＣ４としては、色フィルタＣ１，Ｃ２，Ｃ３を通して得られる信号よりも光の利用効率が高い広波長領域信号が得られるようにしており、色フィルタＣ４を通して赤外光成分まで検知すれば、広波長領域信号ＳＡに含まれる赤外光撮像信号ＳIRは、可視光帯域の全成分で示される、一般的に輝度信号ＳY と称されるものを補完する信号成分として機能する。ただし、本実施形態においては、赤外光成分まで検知することは必須ではなく、少なくとも、色フィルタＣ４を通したときの可視光領域での検知感度が他の色フィルタＣ１，Ｃ２，Ｃ３を通した色信号検知用の検知部での出力よりも高感度であればよい。

たとえば、撮像信号処理部３３０は、固体撮像素子３１２から出力されたセンサ出力信号（色フィルタＣ４を通して得られる輝度信号ＳY および赤外光撮像信号ＳIRでなる広波長領域信号ＳＡ並びに色フィルタＣ１，Ｃ２，Ｃ３を通して得られる色信号ＳＲ，ＳＧ，ＳＢ）に対して黒レベル調整やゲイン調整やクリッピング処理やガンマ補正などの前処理を行なう前処理部３３２と、前処理部３３２から出力されたアナログ信号をデジタイル信号に変換するＡＤ変換部３３４と、ホワイトバランス補正や撮影レンズ３０２で生じるシェーディングや固体撮像素子３１２の画素欠陥などを補正する補正処理部３３６と、本発明に係る信号処理装置の一例である画像信号処理部３４０とを備えている。

画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換する同時化処理部あるいは高感度化信号処理部の一例であるデモザイク信号処理部３４１を備えている。

詳細は後述するが、高感度化信号処理部としてのデモザイク信号処理部３４１は、色フィルタＣ１〜Ｃ３を通して信号を検知する第１の検知部で検知された各波長の単位信号に基づいて測光量（測定量）を示す信号を取得し、この測光量を示す信号と色フィルタＣ４を通して信号を検知する第２の検知部で検知される高感度の第１の波長領域（本例では少なくとも可視光領域の高感度情報を含む）の各色成分の信号とを使って、第１の検知部で検知された各波長の単位信号（色信号）に対して感度補正演算を実行する。

このため、デモザイク信号処理部３４１は、ここでは図示を割愛するが、撮像動作によって得られた色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度画像生成処理部、および、色・感度モザイク画像と輝度画像を用いて単色画像Ｒ，Ｇ，Ｂを生成する単色画像処理部とを有する。なお、一般に、波長成分（色成分）や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。

また、デモザイク信号処理部３４１は、単色画像処理部で得られる単色画像に対して、輝度画像生成処理部で得られる輝度画像（測光量を示す）と色フィルタＣ４を通して得られる高感度撮像信号ＳHSを用いて補正を加えることで、高感度補正がなされた単色画像Ｒ，Ｇ，Ｂを生成する高感度化補正部を備えている。

輝度画像生成処理部および単色画像処理部の何れも、注目する画素位置の成分について、変換色と同一の近傍の画素の情報や色フィルタＣ４を通して得られる高感度情報を用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像（デモザイク画像Ｗ，Ｇ，Ｒ，Ｂ）を生成する。

ここで、感度補正演算を実行するに当たり、一例としては、全ての検知部の位置について、波長成分や感度が異なるモザイク状の情報から波長成分や感度が均一な情報を生成するデモザイク処理を実行し、この後に、感度補正演算を実行することが考えられる。しかしながら、この手法では、既存のカラーコーディング配列をベースに高感度輝度信号用の白（Ｙ）を加えるために、既存の配列におけるある色（１色もしくは複数色）を白（Ｙ）に置き換えることに起因して、デモザイク処理で生成されるデモザイク画像において、色解像度の低下やこれに伴い偽色が多発する。そのため、各色別にデモザイク画像を生成してから高解像度画素の情報を使って高感度化処理を行なうと、色画像の高感度化を実現できても、色解像度の低下やこれに伴う偽色の問題が残ったままとなる。場合によっては、高感度化処理により偽色情報が強調されかねない。そこで、本実施形態の高感度化補正においては、デモザイク画像を生成した後ではなく、デモザイク処理を実行する過程で、感度補正演算を実行するとともに不正な色情報を抑制する処理を行なうようにする。

また、詳細は後述するが、信号処理形態によっても異なるものの、単色画像信号生成部の後段には、単色画像信号生成部で得られる単色画像Ｒ，Ｇ，Ｂに基づいて色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）を生成する色差信号処理部が設けられることもあるし、また、輝度信号生成部で得られる輝度信号に基づき取得される所定の信号成分と単色画像信号生成部で得られる単色画像Ｒ，Ｇ，Ｂに基づく単色画像信号Ｒａ，Ｇａ，Ｂａとを加算して最終的な色出力信号としての単色画像信号Ｒｚ，Ｇｚ，Ｂｚを生成する合成処理部が設けられることもある。後者の場合、さらに、その後段に色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）を生成する色差信号処理部が設けられることもある。

また、画像信号処理部３４０は、デモザイク信号処理部３４１の輝度信号生成部から出力された広波長領域信号ＳＡに対して所望の輝度信号処理を加えて最終的な輝度出力信号としての輝度信号Ｙｚを生成する輝度信号処理部を備えていてもよい。輝度信号処理部を設けない場合には、デモザイク処理で得られたものを、そのまま輝度信号Ｙｚとして出力することになる。

また、画像信号処理部３４０は、デモザイク信号処理部３４１の輝度信号生成部から出力された広波長領域信号ＳＡから赤外光撮像信号ＳIRを抽出することで赤外光画像を表わす赤外光信号ＳIRｚを生成する赤外信号処理部を備えていてもよい。

本実施形態では、輝度信号処理部、色差信号処理部、合成処理部、赤外信号処理部を纏めて、出力画像信号処理部３４３と称する。

出力画像信号処理部３４３の後段には、図示を割愛するが、さらにモニタ出力用のビデオ信号とするためのエンコーダが設けられることもある。エンコーダでは、２系統の色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）に基づいて、各種の放送方式に準拠したサブキャリアで変調することでクロマ信号を生成し、さらに輝度信号Ｙと合成することで、ビデオ信号を生成する。

単色画像信号生成部は、注目する色成分について、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＲ，ＳＧ，ＳＢを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。

輝度画像生成部も、同様に、色フィルタＣ４を通して得られる色・感度モザイク画像、色フィルタＣ４の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＡを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。

色フィルタＣ４を設けない、Ｒ，Ｇ，Ｂの３原色フィルタを配したベイヤー配列の場合、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、本実施形態では、このような演算が不要になる。

このような構成によって、撮像装置１は、撮影レンズ３０２により赤外光IRを含む被写体Ｚを表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部３１０に取り込み、撮像信号処理部３３０によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理（たとえばＲ，Ｇ，Ｂ成分への色信号分離など）を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。

たとえば、撮影レンズ３０２は、波長３８０ｎｍ程度から２２００ｎｍ程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子３１２上に結像させる。

なお、色フィルタＣ４として、白色フィルタＷを使用する場合には、色フィルタＣ４が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタＣ１，Ｃ２，Ｃ３が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。この問題を避けるには、色フィルタＣ４が配される第２の検知部の検知時間を駆動部３２０により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部３３２に送るようにするのがよい。この場合、６０フレーム／秒より高いレートで信号を送ることで飽和に対して効果が得られる。

あるいは単に０．０１６６７秒より短い時間（蓄積時間）で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、２４０フレーム／秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に４．１６ミリ秒より短い時間（蓄積時間）で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間（蓄積時間）で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。

さらに短い時間で読み取った信号を２回以上積算することで、弱い信号を強い信号に変換し、Ｓ／Ｎ比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いＳ／Ｎ比が得られ、ダイナミックレンジが広がることになる。

＜カメラ制御部＞
カメラ制御部９００は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたＣＰＵ（Central Processing Unit ）を代表例とする電子計算機の中枢をなすマイクロプロセッサ（microprocessor）９０２と、読出専用の記憶部であるＲＯＭ（Read Only Memory）９０４、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９０６と、図示を割愛したその他の周辺部材を有している。マイクロプロセッサ９０２、ＲＯＭ９０４、およびＲＡＭ９０６を纏めて、マイクロコンピュータ（microcomputer ）とも称する。カメラ制御部９００は、システム全体を制御するものであり、特に高感度の広波長領域画素の画素情報を参照した補間処理や、相関補正を伴う補間処理によってデモザイク画像を生成する際の各種の設定情報を調整する機能を有している。

上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。

また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、ＣＤ−ＲＯＭなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。

ＲＯＭ９０４にはカメラ制御部９００の制御プログラムなどが格納されているが、特に本例では、カメラ制御部９００によって、相関補正を伴う補間処理を行なうためのプログラムが格納される。ＲＡＭ９０６にはカメラ制御部９００が各種処理を行なうためのデータなどが格納される。

また、カメラ制御部９００は、メモリカードなどの記録媒体９２４を挿脱可能に構成し、またインターネットなどの通信網との接続が可能に構成している。たとえば、カメラ制御部９００は、マイクロプロセッサ９０２、ＲＯＭ９０４、およびＲＡＭ９０６の他に、メモリ読出部９０７および通信Ｉ／Ｆ（インタフェース）９０８を備える。

記録媒体９２４は、たとえば、マイクロプロセッサ９０２にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部８４０からの輝度系信号に基づく測光データＤＬの収束範囲や露光制御処理（電子シャッタ制御を含む）、並びに相関補正を伴う補間処理を行なうための各種の制御パルスのオン／オフタイミングや様々な設定値などのデータを登録するなどのために利用される。

メモリ読出部９０７は、記録媒体９２４から読み出したデータをＲＡＭ９０６に格納（インストール）する。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。

なお、このような撮像装置１は、駆動部３２０を、撮像部３１０と別体にしてモジュール状のもので示しているが、これらが撮像部３１０と同一の半導体基板上に一体的に形成されたワンチップものの固体撮像装置１０を利用してもよいのは言うまでもない。

また、図では、撮像部３１０や駆動部３２０の他に、撮影レンズ８０２、光学ローパスフィルタ８０４、あるいは赤外光カットフィルタ８０５などの光学系をも含む状態で、撮像装置１を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。

また、撮像部３１０と、ＡＤ変換機能や差分（ＣＤＳ）処理機能を具備した列並列信号処理部などの撮像部３１０側と密接に関連した信号処理部が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置１０を提供するようにし、そのモジュール状の形態で提供された固体撮像装置１０の後段に、残りの信号処理部である撮像信号処理部３３０を設けて撮像装置１の全体を構成するようにしてもよい。

または、図示を割愛するが、撮像部３１０と撮影レンズ８０２などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置１０を提供するようにし、そのモジュール状の形態で提供された固体撮像装置１０に加えて、撮像信号処理部３３０をもモジュール内に設けて、撮像装置１の全体を構成するようにしてもよい。

このような撮像装置１は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。

このような構成の撮像装置１においても、固体撮像装置１０の全ての機能を包含して構成されており、固体撮像装置１０の基本的な構成および動作と同様とすることができ、高感度ジグザグ配列カラーコーディングを採用する場合に、高感度の広波長領域画素１２Ａの画素情報を参照した補間処理や、相関補正を伴う補間処理によってデモザイク画像を生成することで、品質（特に色解像度に関する性能）の良好な情報を取得することのできる仕組みを実現できるようになる。

＜＜撮像信号処理部の詳細＞＞
図１１は、撮像信号処理部３３０（特に画像信号処理部３４０）の本実施形態の詳細構成を示した機能ブロック図である。本実施形態の撮像信号処理部３３０では、ＲＧＢの原色系やＣｙ，Ｍｇ，Ｙｅの補色系などの特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子（画素１２Ｒ，１２Ｇ，１２Ｒの組や画素１２Ｃｙ，１２Ｍｇ，１２Ｙｅ（，１２Ｇ）の組）と、可視光成分および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子（広波長領域画素１２Ａ）によって構成される色配列を持つ固体撮像素子３１２から出力される画素信号を処理する。

これまでの説明から分かるように、撮像信号処理部３３０での処理例は、たとえば低照度の下で色フィルタ群３１４を具備する撮像部３１０２を適用して撮影したノイズを多く含む１枚の画像データに基づいて、そのノイズを多く含む画像についてのノイズ低減処理に好適なものである。

ここで、撮像信号処理部３３０は、色フィルタ群３１４として、ＲＧＢＷの色配列を持つ撮像部３１０（たとえばＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子）において撮影された画像の信号処理によって、輝度信号（Ｙ）と、２つの色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を取得するための信号処理構成に対応したものである。

なお、撮像部３１０によって取得された画像データ（画素信号）に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図１１には示しておらず（図１０の前処理部３３２や補正処理部３３６を参照）、図１１では、特に画像信号処理部３４０に着目して示している。

図示のように、画像信号処理部３４０はＲＧＢＷの配列を持つ撮像部３１０によって取得される信号から、広波長領域画素１２Ａの取得信号（広波長領域信号ＳＡ）で示される高感度モザイク画像Ｗを取得し、広波長領域信号で示されるデモザイク画像Ｗ２（Ｙ＋IR）を輝度信号として生成する輝度信号生成部４１０と、ＲＧＢ素子（１２Ｒ，１２Ｇ，１２Ｂ）の取得信号ＳＲ，ＳＧ，ＳＢで示されるモザイク画像Ｒ，Ｇ，Ｂを取得し、可視光領域信号に対応するデモザイク画像Ｒ３，Ｇ３，Ｂ３（単色画像Ｒ，Ｇ，Ｂ）を示す色に関する信号を生成する単色画像信号生成部４２０と、単色画像信号生成部４２０で取得されたデモザイク画像Ｒ３，Ｇ３，Ｂ３（単色信号ＳＲ３，ＳＧ３，ＳＢ３）に基づいて色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する色信号生成部４３０とから構成されている。

輝度信号生成部４１０は第１の物理情報取得部の一例であり、単色画像信号生成部４２０は第２の物理情報取得部の一例であり、色信号生成部４３０は第３の物理情報取得部の一例である。輝度信号生成部４１０および単色画像信号生成部４２０によって、デモザイク信号処理部３４１が構成され、単色画像信号生成部４２０と色信号生成部４３０とで色成分抽出部が構成され、輝度信号生成部４１０と色信号生成部４３０が出力画像信号処理部３４３を構成するようになっている。

輝度信号生成部４１０は、高感度モザイク画像Ｗに対して最適化されたフィルタ定数を持つローパスフィルタ（ＬＰＦ；補間フィルタ）を具備し、高感度画素である広波長領域画素１２Ａ（１２Ｗ）に着目した補間処理を行なう補間処理部４１２を有する。高感度画素Ｗは低照度の状況でも、比較的に高いＳ／Ｎ比を保つことが可能なため、高感度画素Ｗを使用した輝度画像は、よりノイズ感が少なく、低照度条件でもノイズが良好に抑制された高品質（高Ｓ／Ｎ比の）な画像が得られる。

単色画像信号生成部４２０は、モザイク画像Ｒ，Ｇ，Ｂに対して最適化されたフィルタ定数を持つローパスフィルタを色別に具備し、色別に補間処理を行なう補間処理部４２２（それぞれ４２２Ｇ，４２２Ｒ，４２２Ｂ）と、補間処理部４２２の前段もしくは後段あるいは前段および後段の双方に、色別にアンチエリアス（Anti-Aliasing ）処理を行なうアンチエリアス処理部４２４を有する。前段側のアンチエリアス処理部４２４を前段アンチエリアス処理部４２４_F（それぞれ４２４Ｇ_F，４２４Ｒ_F，４２４Ｂ_F）と記述し、後段側のアンチエリアス処理部４２４を後段アンチエリアス処理部４２４_R（それぞれ４２４Ｇ_R，４２４Ｒ_R，４２４Ｂ_R）と記述する。

色成分Ｇ，Ｒ，Ｂ側についてアンチエリアス処理を加えることで、画素位相差による偽色を抑制することができるし、非高感度デモザイク画像Ｇ，Ｒ，ＢのＳ／Ｎ比を高めることもできる。なお、アンチエリアス処理部４２４を補間処理部４２２の前段、後段の何れか一方に設ける場合には、下記の点を考慮するのがよい。

すなわち、補間処理の前後のどちらでもアンチエリアス処理を行なうのが最適であるが、何れか一方にのみアンチエリアス処理部４２４を配置するときには、その存在効果や処理効率がより良好な方にするのがよいからである。本例であれば、アンチエリアス処理自体の効果は補間前と補間後とで大差はないのに対して、処理対象画素数は補間前の方が補間後よりも少ないので、アンチエリアス処理用の演算処理の回数は補間前の方が補間後よりも少なくなる。この点を加味すれば、アンチエリアス処理部４２４を補間処理部４２２の前段に配置して、補間前でアンチエリアス処理をやる方が、効果的なおかつ演算回数が少ない利点が得られる。

輝度信号生成部４１０の第１補間処理部４１２_1および第２補間処理部４１２_2並びに単色画像信号生成部４２０へは、撮像部３１０側から、各画素位置の画素信号が選択スイッチ４０２を介して対応するものへ切替入力される。

色信号生成部４３０は、単色画像信号生成部４２０から出力されるデモザイク画像Ｇ３，Ｒ３，Ｂ３を示す色別の単色信号ＳＧ３，ＳＲ３，ＳＢ３の信号レベルを調整するレベル調整部４３２（それぞれ４３２Ｇ，４３２Ｒ，４３２Ｂ）と、レベル調整部４３２によるレベル調整済みの単色信号ＳＧ４，ＳＲ４，ＳＢ４に基づいて輝度成分を示す合成輝度信号ＳＹ４を生成し、単色信号ＳＲ４，ＳＢ４との差を取ることで色差信号Ｒ−Ｙ，Ｂ−Ｙを生成するマトリクス演算部４３４を具備している。

色信号生成部４３０は、先ずレベル調整部４３２でＲＧＢの信号レベルと輝度信号レベルのバランスを調整して、次にマトリクス演算部４３４で色差信号Ｒ−Ｙ（あるいはＣｒ），Ｂ−Ｙ（あるいはＣｂ）に変換する。

レベル調整部４３２による信号レベルのバランス調整例としては、各デモザイク画像Ｇ，Ｒ，Ｂを表す単色画像信号生成部４２０から出力された単色信号ＳＧ，ＳＲ，ＳＢに基づく輝度信号をＹrgb （＝ｋ１＊Ｒ＋ｋ２＊Ｇ＋ｋ３＊Ｂ）とし、また高感度モザイク画像Ｗを表す輝度信号をＹｗとし、それらの比からゲインＫＫ＝Ｙｗ／Ｙrgb が求められる。レベル調整部４３２は、ゲインＫＫに基づき、ＳＲ３（出力ＲadjL）＝ＫＫ＊ＳＲ２，ＳＲ３（ＧadjL）＝ＫＫ＊Ｇ，ＳＢ３（ＢadjL）＝ＫＫ＊Ｂとしてマトリクス演算部４３４に渡す。高感度モザイク画像Ｗによる信号レベル調整することで、アパコン（aperture compensation ）効果や色差ノイズ抑制効果が得られる。

また、本実施形態の撮像信号処理部３３０は、高感度モザイク画像Ｗ（斜行配置のカラーフィルタコーディングがなされているときは正方配置化したもの：以下同様）に基づき相関検出を行なう相関検出部５００を備えている。高感度モザイク画像Ｗを表す高感度画素のみで、相関関係を求めることによって、相関のばらつきをなくすことができる。

相関検出部５００は、高感度モザイク画像Ｗの水平方向および垂直方向の各相関係数DIFF_H，DIFF_Vを統合した水平垂直相関係数DIFF_HV を検出する水平垂直相関検出部５００ＨＶと、高感度モザイク画像Ｗの右肩上がり方向および右肩下がり方向の各相関係数DIFF_P，DIFF_Nを統合した斜め相関係数DIFF_PN を検出する斜め相関検出部５００ＰＮを有する。

本実施形態の撮像信号処理部３３０は、デモザイク処理に相関関係を利用するため、相関検出部５００にて、高感度モザイク画像Ｗからの高感度信号ＳＷを利用して相関検出を行なう。輝度信号生成部４１０および単色画像信号生成部４２０では、全てのアンチエリアス処理および補間処理に、この相関検出部５００で検出された相関関係を示す相関係数を参照した処理を行なう点に特徴を有する。

高感度モザイク画像Ｗを表す高感度画素のみで相関関係を求めるので相関のばらつきをなくすことができ、このような水平垂直相関係数DIFF_HV および斜め相関係数DIFF_PN を参照すれば、たとえば輝度信号生成部４１０における補間処理時には解像度が高くなる効果が得られる。色信号系の補間処理時には画素位相差による偽色の抑制効果が得られ、アンチエリアス処理時には色信号系の位相が輝度信号に合わせられ、エイリアス抑制効果が高まり、色信号全体としては、色信号生成部４３０から出力される色差信号のノイズを抑制する効果が得られる。

＜＜デモザイク処理＞＞
＜処理概要＞
図１２は、高感度画素と原色ＲＧＢ画素によるカラーフィルタコーディングがなされた撮像部３１０からの各画素信号Ｒ，Ｇ，Ｂ，Ｗを処理対象とする本実施形態の撮像信号処理部３３０におけるデモザイク処理（同時化処理）の手順の概要を示す図である。図１３〜図１６は、図２（Ｃ）に示した斜行格子配置のカラーフィルタコーディングにおける各デモザイク画像Ｗ，Ｇ，Ｒ，Ｂを生成する過程を説明する図である。図１７〜図２０は、図２（Ｂ）に示した正方格子配置のカラーフィルタコーディングにおける各デモザイク画像Ｗ，Ｇ，Ｒ，Ｂを生成する過程を説明する図である。各図において、デモザイク画像中のＲＧＢＷはモザイク画像によって得られる画素値であり、ｒｇｂｗはデモザイク処理によって得られる補間画素値を示している。

高感度画素は透明あるいはグレーや白Ｗなど輝度情報を有するものである。これを式で表すと“Ｗ＝ｋ１＊Ｒ＋ｋ２＊Ｇ＋ｋ３＊Ｂ”となり、Ｒ，Ｇ，Ｂに対する各係数Ｋ１，Ｋ２，Ｋ３は透明やグレーあるいは白Ｗを表し得る任意の値である。カラーフィルタコーディング例としては、フィルタ配列の繰返単位では高感度画素の機能を持つ広波長領域画素１２Ａの割合が最もいものが望ましく、たとえば図２（Ｂ）に示した正方格子配列のものでもよいし、図２（Ｃ）に示した斜行格子配置など、高感度ジグザグ配列のものであればよい。図１２に示す例は図２（Ｃ）に示した斜行格子配置の場合であり、図１２は、図２（Ｂ）に示した正方格子配置の場合である。

白色フィルタ１４Ｗを具備したＲＧＢＷもしくは白色フィルタ１４Ｗを具備しないＲＧＢＡの配列を持つ撮像部３１０において撮影された信号は、図示を割愛したＡＤ変換部（図１０のＡＤ変換部３３４を参照）においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＷ（ＲＧＢＡ）各々に対応する４つのモザイク画像を示すものとなる。

たとえば、図２（Ｃ）に示した色配列の色フィルタ群３１４を具備した撮像部３１０を適用した場合、図１２に示すように、図３にても説明したが、撮像信号処理部３３０は、図１２（Ａ）（Ｈ２（Ｃ）と同様のもの）に示す配列に対して空白画素を埋め込む（Ｓ１００）。こうすることで、図１２（Ｂ）に示すように、“ＲＧＢＷ＋空白”の５種類の画素でフィルタ配列の繰返単位が構成される正方配列の状態が得られる（この処理を正方配置化処理と称する）。

次に、撮像信号処理部３３０は、図１２（Ｂ）に示す正方配置化処理後の画像を処理対象として、ある着目色のみを抽出した４つのモザイク画像Ｗ，Ｇ，Ｒ，Ｂ（もしくはＡ，Ｇ，Ｒ，Ａ；以下Ｗ，Ｇ，Ｒ，Ｂで説明する）を取得する。モザイク画像Ｗは輝度信号生成部４１０に入力され、モザイク画像Ｇ，Ｒ，Ｂは単色画像信号生成部４２０に入力され、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行することでデモザイク処理が実行され、図１２（Ｃ）〜（Ｆ）に示すような４つのデモザイク画像Ｗ，Ｇ，Ｒ，Ｂが取得される。この際、相関検出部５００で取得される水平垂直相関係数DIFF_HV や斜め相関係数DIFF_PN の内、補間処理方向と同一のものを参照してデータ修正を行なう。この機能を、相関補正付き補間処理を称する。

デモザイク処理は、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、全ての画素の画素値を設定する処理によって行なわれる。たとえば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行なうアルゴリズムである。

デモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる２次元ＦＩＲフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、モザイク画像Ｇ，Ｒ，Ｂについては、好ましくは補間処理に加えてアンチエリアス処理も施される。この補間処理やアンチエリアス処理については後で詳しく説明する。

補間処理において周囲画素の画素値を使うに当たっては様々な手法を採り得るが、たとえば、ある色に着目したときに、その着目色の色フィルタが配されていない画素の画素値を、その着目色の色フィルタが配されている近傍の有効画素の画素値を使って色補間処理を行なう手法がある。つまり、着目色に関して、実在しない画素位置の情報を、その画素位置近傍の同一色の画素情報を使って補間するのである。これに対して、ある色に着目したときに、その着目色の色フィルタが配されていない画素の画素値を、色を問わず、着目画素近傍の有効画素の画素値を使って、他の色信号との相関を利用して色補間処理を行なうことも考えられる。つまり、着目色に関して、実在しない画素位置の情報を、その画素位置近傍の同一色および他色の相関を利用して補間する考え方である。

本実施形態のデモザイク信号処理部３４１では、前記の２つの手法を組み合わせた補間処理を行なう。特に色信号系のデモザイク画像Ｇ，Ｒ，Ｂの生成に当たっては、輝度信号生成部４１０にて生成される高感度デモザイク画像Ｗの情報を参照した補間処理を行なう。たとえば、当初は、着目画素位置では実在するが変換先の色と異なるものに関して、近傍の変換先の色画素の情報を使うとともに、着目画素および近傍の色画素の各位置と同位置の高解像度デモザイク画像の情報を参照して補間処理を行ない（変換色によっては数回を要する）、着目色の画素および空白画素（もしくはＷ画素）で構成されたモザイク画像を生成する。その後に、着目色に関して、実在しない空白画素（もしくはＷ画素）の情報を、その画素位置近傍の着目色の画素情報を使うとともに、着目する空白画素（もしくはＷ画素）および近傍の色画素の各位置と同位置の高解像度デモザイク画像の情報を参照して補間処理を行なうことで、全ての画素位置に同一色が配置されたデモザイク画像を生成する。

＜斜行格子配置コーディングのデモザイク処理＞
たとえば、図２（Ｃ）に示した色配列の色フィルタ群３１４を具備した撮像部３１０を適用した場合、高感度デモザイク画像Ｗを取得するまでの過程では、図１３に示すように、斜行格子配列を正方配置化した“ＲＧＢＷ＋空白”の５種類の画素がコーディングされたモザイク画像を対象として、Ｒ色およびＢ色の画素を、そのＲ画素（もしくはＢ画素）を挟む上下左右近傍のＧ画素およびＲ画素（もしくはＢ画素）そのものを使って水平方向や垂直方向に補間することでＧ画素に変換して、“ＧＷ＋空白”の３種類の画素がコーディングされたＧＷBLモザイク画像Ｗ１を取得する。この後、ＧＷBLモザイク画像Ｗ１を対象として、Ｇ画素を、そのＧ画素を挟む右肩上がり方向（Ｐ方向）近傍や右肩下がり方向（Ｎ方向）近傍のＷ画素およびＧ画素そのものを使ってＰ方向やＮ方向に補間することでＷ画素に変換して、“Ｗ＋空白”の２種類の画素がコーディングされたＷBLモザイク画像Ｗ２を取得する。そして最後に、ＷBLモザイク画像Ｗ２を対象として、空白画素を挟む上下左右近傍のＷ画素を使って水平方向や垂直方向に補間することでＷ画素に変換して、Ｗ画素のみで構成される高感度デモザイク画像Ｗ３を取得する。

また、緑色デモザイク画像Ｇを取得するまでの過程では、図１４に示すように、斜行格子配列を正方配置化した“ＲＧＢＷ＋空白”の５種類の画素がコーディングされたモザイク画像を対象として、Ｒ色およびＢ色の画素を、そのＲ画素（もしくはＢ画素）を挟む上下左右近傍のＧ画素およびＲ画素（もしくはＢ画素）そのものを使って水平方向や垂直方向に補間することでＧ画素に変換して、“ＧＷ＋空白”の３種類の画素がコーディングされたＧＷBLモザイク画像Ｇ１を取得する。このＧＷBLモザイク画像Ｇ１は、事実上、高感度デモザイク画像Ｗを取得するまでの過程において取得されるＧＷBLモザイク画像Ｗ１と同じであり、何れか一方の処理で生成しておけばよい。

次に、ＧＷBLモザイク画像Ｇ１を対象として、Ｗ画素を、そのＷ画素を挟む右肩上がり方向（Ｐ方向）近傍や右肩下がり方向（Ｎ方向）近傍のＧ画素を使うとともに、着目するＷ画素および近傍のＧ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照してＰ方向やＮ方向に補間することでＧ画素に変換し、“Ｇ＋空白”の２種類の画素がコーディングされたＧBLモザイク画像Ｇ２を取得する。そして最後に、ＧBLモザイク画像Ｇ２を対象として、空白画素を挟む上下左右近傍のＧ画素を使うとともに、着目する空白画素および近傍のＧ画素の各位置と同位置の高感度デモザイク画像Ｗ３の情報を参照して水平方向や垂直方向に補間することでＧ画素に変換し、Ｇ画素のみで構成されるデモザイク画像Ｇ３を取得する。

また、赤色デモザイク画像Ｒを取得するまでの過程では、図１５に示すように、斜行格子配列を正方配置化した“ＲＧＢＷ＋空白”の５種類の画素がコーディングされたモザイク画像を対象として、Ｂ画素を、そのＢ画素を挟むＰ方向近傍やＮ方向近傍のＲ画素を使うとともに、着目するＢ画素および近傍のＲ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照して補間することでＲ画素に変換し、“ＲＧＷ＋空白”の４種類の画素がコーディングされたＲＧＷBLモザイク画像Ｒ０を取得する。次に、ＲＧＷBLモザイク画像Ｒ０を対象として、Ｇ画素を、Ｇ画素を挟む上下左右近傍のＲ画素を使うとともに、着目するＧ画素および近傍のＲ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照して水平方向や垂直方向に補間することでＲ画素に変換し、“ＲＷ＋空白”の３種類の画素がコーディングされたＲＷBLモザイク画像Ｒ１を取得する。

次に、ＲＷBLモザイク画像Ｒ１を対象として、Ｗ画素を、そのＷ画素を挟む右肩上がり方向（Ｐ方向）近傍や右肩下がり方向（Ｎ方向）近傍のＲ画素を使うとともに、着目するＷ画素および近傍のＲ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照してＰ方向やＮ方向に補間することでＲ画素に変換し、“Ｒ＋空白”の２種類の画素がコーディングされたＲBLモザイク画像Ｒ２を取得する。そして最後に、ＲBLモザイク画像Ｒ２を対象として、空白画素を挟む上下左右近傍のＲ画素を使うとともに、着目する空白画素および近傍のＲ画素の各位置と同位置の高感度デモザイク画像Ｗ３の情報を参照して水平方向や垂直方向に補間することでＲ画素に変換し、Ｒ画素のみで構成されるデモザイク画像Ｒ３を取得する。

また、青色デモザイク画像Ｂを取得するまでの過程では、図１６に示すように、斜行格子配列を正方配置化した“ＲＧＢＷ＋空白”の５種類の画素がコーディングされたモザイク画像を対象として、Ｒ画素を、そのＲ画素を挟むＰ方向近傍やＮ方向近傍のＢ画素を使うとともに、着目するＲ画素および近傍のＢ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照して補間することでＢ画素に変換し、“ＢＧＷ＋空白”の４種類の画素がコーディングされたＢＧＷBLモザイク画像Ｂ０を取得する。次に、ＢＧＷBLモザイク画像Ｂ０を対象として、Ｇ画素を、Ｇ画素を挟む上下左右近傍のＢ画素を使うとともに、着目するＧ画素および近傍のＢ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照して水平方向や垂直方向に補間することでＢ画素に変換し、“ＢＷ＋空白”の３種類の画素がコーディングされたＢＷBLモザイク画像Ｂ１を取得する。

次に、ＢＷBLモザイク画像Ｂ１を対象として、Ｗ画素を、そのＷ画素を挟む右肩上がり方向（Ｐ方向）近傍や右肩下がり方向（Ｎ方向）近傍のＢ画素を使うとともに、着目するＷ画素および近傍のＢ画素の各位置と同位置のＷBLモザイク画像Ｗ２の情報を参照してＰ方向やＮ方向に補間することでＢ画素に変換し、“Ｂ＋空白”の２種類の画素がコーディングされたＲBLモザイク画像Ｂ２を取得する。そして最後に、ＢBLモザイク画像Ｂ２を対象として、空白画素を挟む上下左右近傍のＢ画素を使うとともに、着目する空白画素および近傍のＢ画素の各位置と同位置の高感度デLモザイク画像Ｗ３の情報を参照して水平方向や垂直方向に補間することでＢ画素に変換し、Ｂ画素のみで構成されるデモザイク画像Ｂ３を取得する。

＜正方格子配置コーディングのデモザイク処理＞
また、図２（Ｂ）に示した色配列の色フィルタ群３１４を具備した撮像部３１０を適用した場合、高感度デモザイク画像Ｗを取得するまでの過程では、図１７に示すように、“ＧＲＢＷ”の４種類の画素がコーディングされたＧＲＢＷモザイク画像を対象として、他色画素を挟む上下左右近傍のＷ画素を使って水平方向や垂直方向に補間することでＷ画素に変換して、Ｗ画素のみで構成される高感度デモザイク画像Ｗ３を取得する。

また、緑色デモザイク画像Ｇを取得するまでの過程では、図１８に示すように、“ＧＲＢＷ”の４種類の画素がコーディングされたＧＲＢＷモザイク画像を対象として、Ｒ画素およびＢ画素を、そのＲ画素（もしくはＢ画素）を挟むＰ方向近傍やＮ方向近傍のＧ画素を使うとともに、着目するＲ画素（もしくはＢ画素）および近傍のＧ画素の各位置と同位置の高感度モザイク画像Ｗ２の情報を参照してＰ方向やＮ方向に補間することでＧ画素に変換し、ＧＷの２種類の画素がコーディングされたＧＷモザイク画像Ｇ２を取得する。そして最後に、ＧＷモザイク画像Ｇ２を対象として、Ｗ画素を挟む上下左右近傍のＧ画素を使うとともに、着目するＷ画素および近傍のＧ画素の各位置と同位置の高感度デモザイク画像Ｗ３の情報を参照して水平方向や垂直方向に補間することでＧ画素に変換し、Ｇ画素のみで構成されるデモザイク画像Ｇ３を取得する。

また、赤色デモザイク画像Ｒを取得するまでの過程では、図１９に示すように、“ＧＲＢＷ”の４種類の画素がコーディングされたＧＲＢＷモザイク画像を対象として、Ｂ画素を、そのＢ画素を挟む上下左右近傍のＲ画素を使うとともに、着目するＢ画素および近傍のＲ画素の各位置と同位置の高感度モザイク画像Ｗ２の情報を参照して水平方向や垂直方向に補間することでＲ画素に変換し、“ＧＲＷ”の３種類の画素がコーディングされたＧＲＷモザイク画像Ｒ１を取得する。

次に、ＧＲＷモザイク画像Ｒ１を対象として、Ｇ画素を、そのＧ画素を挟むＰ方向近傍やＮ方向近傍のＲ画素を使うとともに、着目するＧ画素および近傍のＲ画素の各位置と同位置の高感度モザイク画像Ｗ２の情報を参照してＰ方向やＮ方向に補間することでＲ画素に変換し、“ＲＷ”の２種類の画素がコーディングされたＲＷモザイク画像Ｒ２を取得する。そして最後に、ＲＷモザイク画像Ｒ２を対象として、Ｗ画素を挟む上下左右近傍のＲ画素を使うとともに、着目するＷ画素および近傍のＲ画素の各位置と同位置の高感度デモザイク画像Ｗ３の情報を参照して水平方向や垂直方向に補間することでＲ画素に変換し、Ｒ画素のみで構成されるデモザイク画像Ｒ３を取得する。

また、青色デモザイク画像Ｂを取得するまでの過程では、図２０に示すように、“ＧＲＢＷ”の４種類の画素がコーディングされたＧＲＢＷモザイク画像を対象として、として、Ｒ画素を、そのＲ画素を挟む上下左右近傍のＢ画素を使うとともに、着目するＲ画素および近傍のＢ画素の各位置と同位置の高感度ザイク画像Ｗ２の情報を参照して水平方向や垂直方向に補間することでＢ画素に変換し、“ＧＢＷ”の３種類の画素がコーディングされたＧＢＷモザイク画像Ｂ１を取得する。

次に、ＧＢＷモザイク画像Ｂ１を対象として、Ｇ画素を、そのＧ画素を挟むＰ方向近傍やＮ方向近傍のＲ画素を使うとともに、着目するＧ画素および近傍のＢ画素の各位置と同位置の高感度モザイク画像Ｗ２の情報を参照してＰ方向やＮ方向に補間することでＢ画素に変換し、“ＢＷ”の２種類の画素がコーディングされたＢＷモザイク画像Ｂ２を取得する。そして最後に、ＢＷモザイク画像Ｂ２を対象として、Ｗ画素を挟む上下左右近傍のＢ画素を使うとともに、着目するＷ画素および近傍のＢ画素の各位置と同位置の高感度デモザイク画像Ｗ３の情報を参照して水平方向や垂直方向に補間することでＢ画素に変換し、Ｂ画素のみで構成されるデモザイク画像Ｂ３を取得する。

また、本実施形態では、デモザイク処理（同時化処理）に相関関係を利用するため、相関検出部５００は、高感度モザイク画像Ｗに基づき相関検出を行ない、水平垂直相関係数DIFF_HV と斜め相関係数DIFF_PN とを求め、各相関係数DIFF_HV ，DIFF_PN をそれぞれ輝度信号生成部４１０、単色画像信号生成部４２０の各部（補間処理部４２２、前段アンチエリアス処理部４２４_F、後段アンチエリアス処理部４２４_R）に供給する。

輝度信号生成部４１０での補間処理や単色画像信号生成部４２０での補間処理およびアンチエリアス処理において、相関検出部５００で検出された水平垂直相関係数DIFF_HV と斜め相関係数DIFF_PN を参照した処理を行なう。この際には、補間処理の方向と合致した相関係数を使用する。

たとえば、輝度信号生成部４１０は、高感度モザイク画像Ｗを補間処理部４１２にて補間処理するとともに、補間処理方向と同方向の水平垂直相関係数DIFF_HV や斜め相関係数DIFF_PN を参照して修正することで高感度デモザイク画像Ｗを表す輝度信号Ｙを生成する。この後、単色画像信号生成部４２０では、補間処理部４２２にて色別のモザイク画像Ｇ，Ｒ，Ｇを補間処理するとともに、その前、後、途中の組合せで、アンチエリアス処理部４２４にてエリアスノイズを抑制するアンチエリアス処理を行なうことによって色ノイズ（本例では色信号生成部４３０から出力される色差出力に現れる色差ノイズ）を抑制する。この際にも、単色画像信号生成部４２０では、補間処理で得られた非高感度デモザイク画像Ｇ，Ｒ，Ｂをそれぞれ補間処理と同方向の水平垂直相関係数DIFF_HV や斜め相関係数DIFF_PN を参照して修正するし、アンチエリアス処理時にも、アンチエリアス処理で得られた非高感度モザイク画像Ｇ，Ｒ，Ｂ（補間処理前のとき）もしくは非高感度デモザイク画像Ｇ，Ｒ，Ｂ（補間処理後のとき）をそれぞれアンチエリアス処理と同方向の水平垂直相関係数DIFF_HV や斜め相関係数DIFF_PN を参照して修正する。

＜相関検出処理＞
図２１および図２２は、相関検出部５００の詳細を説明する図である。ここで図２１は、相関検出部５００の詳細構成例を示す図である。図２２は、高感度モザイク画像Ｗに基づいて各相関係数を求める際に設定される相関検出枠を示す図である。

カラーフィルタコーディング例としては、フィルタ配列の繰返単位では高感度画素の機能を持つ広波長領域画素１２Ａの割合が最もいものが望ましく、たとえば図２（Ｂ）に示した正方格子配列のものでもよいし、図２（Ｃ）に示した斜行格子配列など、高感度ジグザグ配列のものであればよい。以下では、図２（Ｃ）に示した斜行格子配列を例に説明する。この場合、図１２（Ａ）（Ｈ２（Ｃ）と同様のもの）に示す配列に対して空白画素を埋め込む正方配置化処理により、“ＲＧＢＷ＋空白”の５種類の画素でフィルタ配列の繰返単位が構成される正方配列の状態を得ておく。

図２１に示すように、水平垂直相関検出部５００ＨＶは、高感度モザイク画像Ｗの水平方向の相関係数DIFF_Hを検出する水平相関検出部５００Ｈと、高感度モザイク画像Ｗの垂直方向の相関係数DIFF_Vを検出する垂直相関検出部５００Ｖを有する。斜め相関検出部５００ＰＮは、高感度モザイク画像Ｗの右肩上がり方向の相関係数DIFF_Pを検出する右上相関検出部５００Ｐと、高感度モザイク画像Ｗの右肩下がり方向の相関係数DIFF_Nを検出する右下相関検出部５００Ｎを有する。

水平相関検出部５００Ｈは、図２２（Ａ）に示すように高感度モザイク画像Ｗの水平方向に所定の大きさの検出枠（水平相関検出枠ＦＲ_Hと称する）を設定し、その水平相関検出枠ＦＲ_H内について各行の水平方向の高周波成分を抽出する行別の水平ハイパスフィルタ処理部（以下水平ＨＰＦと記す）５１２と、各水平ＨＰＦ５１２の出力の絶対値をとる行別の絶対値化処理部（図ではＡＢＳと記す）５１４と、各行の処理結果に基づいて水平相関検出枠ＦＲ_H内の高感度画素Ｗの相関係数（水平相関係数と称する）DIFF_Hを求める相関処理部５１６を有する。

垂直相関検出部５００Ｖは、図２２（Ａ）に示すように高感度モザイク画像Ｗの垂直方向に所定の大きさの検出枠（垂直相関検出枠ＦＲ_Vと称する）を設定し、その垂直相関検出枠ＦＲ_V内について各列の垂直方向の高周波成分を抽出する列別の垂直ハイパスフィルタ処理部（以下垂直ＨＰＦと記す）５２２と、各垂直ＨＰＦ５２２の出力の絶対値をとる列別の絶対値化処理部（ＡＢＳ）５２４と、各列の処理結果に基づいて垂直相関検出枠ＦＲ_V内の高感度画素Ｗの相関係数（垂直相関係数と称する）DIFF_Vを求める相関処理部５２６を有する。

右上相関検出部５００Ｐは、図２２（Ｂ）に示すように高感度モザイク画像Ｗの右肩上がり方向に所定の大きさの検出枠（右上（Ｐ方向）相関検出枠ＦＲ_Pと称する）を設定し、その右上相関検出枠ＦＲ_P内についてその方向の高周波成分を抽出する方向別のハイパスフィルタ処理部（以下右上ＨＰＦと記す）５３２と、各右上ＨＰＦの出力の絶対値をとる方向別の絶対値化処理部（図ではＡＢＳと記す）５３４と、各方向の処理結果に基づいて右上相関検出枠ＦＲ_P内の高感度画素Ｗの相関係数（右上相関係数と称する）DIFF_Pを求める相関処理部５３６を有する。

右下相関検出部５００Ｎは、図２２（Ｂ）に示すように高感度モザイク画像Ｗの右肩下がり方向に所定の大きさの検出枠（右下（Ｎ方向）相関検出枠ＦＲ_Nと称する）を設定し、その右下相関検出枠ＦＲ_N内について各方向の高周波成分を抽出する方向別のハイパスフィルタ処理部（以下右下ＨＰＦと記す）５４２と、各右下ＨＰＦ５４２の出力の絶対値をとる方向別の絶対値化処理部（ＡＢＳ）５４４と、各方向の処理結果に基づいて右下相関検出枠ＦＲ_N内の高感度画素Ｗの相関係数（右下相関係数と称する）DIFF_Nを求める相関処理部５４６を有する。

各ハイパスフィルタ処理部（ＨＰＦ５１２，５２２，５３２，５４２）は、たとえば、（−１，２，−１）のような高周波通過特性を持つフィルタを具備する。各相関処理部５１６，５２６，５３６，５４６は、絶対値化処理部５１４，５２４，５３４，５４４で得られるＨＰＦの絶対値を積分演算することで各方向の相関係数DIFF_H，DIFF_V，DIFF_P，DIFF_Nを求める。

水平垂直相関検出部５００ＨＶは、相関処理部５１６が求めた水平相関係数DIFF_Hと相関処理部５２６が求めた垂直相関係数DIFF_Vとに基づき、両者の和と垂直相関係数DIFF_Vの比をとることで水平垂直相関係数DIFF_HV （＝DIFF_V／（DIFF_V＋DIFF_H）を求める。たとえば垂直方向に延びる直線のように垂直方向の相関が強い画像パターンでは、水平ＨＰＦ５１２によりエッジが検出されるので水平相関係数DIFF_Hが大きくなるのに対して、垂直ＨＰＦ５２２では殆ど信号は検出されないので垂直相関係数DIFF_Vは“０”に近い。逆に、水平方向に延びる直線のように水平方向の相関が強い画像パターンでは、垂直ＨＰＦ５２２によりエッジが検出されるので垂直相関係数DIFF_Vが大きくなるのに対して、水平ＨＰＦ５１２では殆ど信号は検出されないので水平相関係数DIFF_Hは“０”に近い。よって、式から推測されるように、DIFF_HV の値が“０”に近いほど垂直方向の相関が強く、逆に“１”に近いほど水平方向の相関が強い。

同様に、斜め相関検出部５００ＰＮは、相関処理部５３６が求めた右上相関係数DIFF_Pと相関処理部５４６が求めた右下相関係数DIFF_Nとに基づき、両者の和と右上相関係数DIFF_Pの比をとることで斜め相関係数DIFF_PN （＝DIFF_P／（DIFF_P＋DIFF_N）を求める。たとえば右肩下がり延びる直線のようにＮ方向の相関が強い画像パターンでは、右上ＨＰＦ５３２によりエッジが検出されるので右上相関係数DIFF_Pが大きくなるのに対して、右下ＨＰＦ５４２では殆ど信号は検出されないので右下相関係数DIFF_Nは“０”に近い。逆に、右肩上がりで延びる直線のようにＰ方向の相関が強い画像パターンでは、右下ＨＰＦ５４２によりエッジが検出されるので右下相関係数DIFF_Nが大きくなるのに対して、右上ＨＰＦ５３２では殆ど信号は検出されないので右上相関係数DIFF_Pは“０”に近い。式から推測されるように、DIFF_PN の値が“０”に近いほど右肩上がり方向（Ｐ方向）の相関が強く、逆に“１”に近いほど右肩下がり方向（Ｎ方向）の相関が強い。

＜補間処理：高感度輝度信号＞
図２３および図２４は、高感度輝度信号用の補間処理部４１２２２（４２２Ｇ，４２２Ｒ，４２２Ｂ）の詳細を説明する図である。ここで、図２３は、高感度輝度信号用の補間処理部４１２の詳細構成例を示す図である。図２４は、高感度輝度信号用の補間処理のアルゴリズムを説明する図であり、Ｇ色のみでなるモザイク画像Ｇを参照して高感度デモザイク画像Ｗを生成する場合を示している。

ここでは、カラーフィルタコーディング例として、図２（Ｃ）に示した斜行格子配列を例に説明する。この場合、図３に示したように、図２（Ｃ）に示した斜行格子配列に対して空白画素を埋め込む正方配置化処理により、“ＲＧＢＷ＋空白”の５種類の画素でフィルタ配列の繰返単位が構成される正方配列の状態を得ておく。

図２３に示すように、高感度輝度信号用の補間処理部４１２は、“ＲＧＢＷ＋空白”の５種類の画素がコーディングされたモザイク画像を対象として、Ｒ色およびＢ色の画素をＧ色に変換することで、“ＧＷ＋空白”の３種類の画素がコーディングされたＧＷBLモザイク画像を取得する第１補間処理部４６２と、第１補間処理部４６２で取得されたＧＷBLモザイク画像を対象として“Ｗ＋空白”の２種類の画素がコーディングされたＷBLモザイク画像を取得する第２補間処理部４６４とを有する。各補間処理部４６２，４６４は、フィルタ処理を行なうフィルタ処理部を具備している。

第１補間処理部４６２における補間処理では、Ｇ色に着目し、その着目色Ｇの色フィルタが配されていないＲ画素およびＢ画素の画素値を、Ｒ画素やＢ画素が配されている近傍の有効画素であるＧ画素の画素値を使って色補間処理を行なう。この補間処理は一般的なものであるので、ここではその詳細説明を割愛する。

一方、第２補間処理部４６４における補間処理では、補間処理でＧ画素をＷ画素に変換する際に、Ｗ画素に着目したときに、そのＷ画素が配されていないＧ画素の画素値を、色を問わず、着目するＷ画素近傍の有効画素であるＷ画素およびＧ画素の画素値を使って、各画素信号の相関を利用して色補間処理を行なう。つまり、Ｗ画素に関して、実在しないＧ画素の情報を、Ｗ画素だけでなくＧ画素も参照し、そのＷ画素位置近傍の同一色（Ｗ）および他色（Ｇ）の相関を利用して補間する考え方を適用する。この際、本実施形態では、相関検出部５００で得られた斜め相関係数DIFF_PN を参照した修正を行なう。図示を割愛するが、第２補間処理部４６４の後段には、当該第２補間処理部４６４で取得されたＷBLモザイク画像を対象として全ての画素がＷ画素となる高感度モザイク画像Ｗを取得する第２補間処理部が設けられ、そこでは、相関検出部５００で得られた水平垂直相関係数DIFF_HV を参照した修正を行なう。

第２補間処理部４６４（図示せず）は、着目するＧ画素を中心として斜め方向に補間処理を行なうＰＮ方向補間処理部６００ＰＮを備える。ＰＮ方向補間処理部６００ＰＮは、着目するＧ画素を中心として右肩上がり方向（Ｐ方向：図２４（Ａ）を参照）に補間処理を行なうＰ方向補間処理部６１０と、着目するＧ画素を中心として右肩下がり方向（Ｎ方向：図２４（Ａ）を参照）に補間処理を行なうＮ方向補間処理部６２０とを有する。

なお、図示を割愛するが、着目するＧ画素を中心として水平垂直方向に補間処理を行なう構成とするには、着目するＧ画素を中心として水平方向（図示は割愛する）に補間処理を行なう水平方向補間処理部と、着目するＧ画素を中心として垂直方向（図示は割愛する）に補間処理を行なう垂直方向補間処理部を備えた水平垂直方向補間処理部を設ける。処理対象の方向や画素位置が異なるだけであり、ＰＮ方向補間処理部６００ＰＮに準じた構成をとればよい。

Ｐ方向補間処理部６１０は、Ｐ方向にＧ画素に対してローパスフィルタ処理を行なうフィルタ処理部６１２ＰＧと、Ｐ方向にＷ画素に対してローパスフィルタ処理を行なうフィルタ処理部６１２ＰＷと、フィルタ処理部６１２ＰＧ，６１２ＰＷの各出力の比例処理を行なう比例処理部６１６と、比例処理部６１６の出力Ｋ_Pと着目する画素位置（ｘ，ｙ）のＧ画素の信号Ｇ（ｘ，ｙ）との積算を行なう積算処理部６１８を有する。

Ｎ方向補間処理部６２０は、Ｎ方向にＧ画素に対してローパスフィルタ処理を行なうフィルタ処理部６２２ＮＧと、Ｎ方向にＷ画素に対してローパスフィルタ処理を行なうフィルタ処理部６２２ＮＷと、フィルタ処理部６２２ＮＧ，６２２ＮＷの各出力の比例処理を行なう比例処理部６２６と、比例処理部６１６の出力Ｋ_Nと着目する画素位置（ｘ，ｙ）のＧ画素の信号Ｇ（ｘ，ｙ）との積算を行なう積算処理部６２８を有する。

また、ＰＮ方向補間処理部６００ＰＮは、積算処理部６１８および積算処理部６２８の後段に、Ｐ方向およびＮ方向の各補間出力Ｗ_P，Ｗ_Nに対して、相関検出部５００で得られるＰ方向補間処理部６１０およびＮ方向補間処理部６２０での補間処理の方向と同方向の斜め相関係数DIFF_PN を参照して修正演算（ここで積算する）を行なう相関修正部６０２を有する。

代表して、Ｐ方向におけるＷ画素の補間処理について、図２４（Ｂ）を参照して説明する。図２４（Ｂ）に示すように、可視光領域においてＧ画素は輝度情報の多くを担当することが知られている。一方、Ｗ画素はＲ，Ｇ，Ｂの各波長成分を含むもので高感度であるので、Ｇ画素の信号レベルよりも高レベルであり、Ｇ画素の情報と相対関係がある。たとえば、Ｇ画素のある信号レベルをＭ２とし、それに対応するＷ画素の信号レベルをＭ１とすると、その相対ゲインＫはＫ＝Ｍ１／Ｍ２となる。Ｇ画素の任意の信号レベルＰ２に対応するＷ画素の信号レベルＰ１は相対ゲインＫを使用して、Ｐ１＝Ｐ２＊Ｋ＝Ｐ２＊Ｍ１／Ｍ２で表すことができる。

このことから、フィルタ処理部６１２ＰＧの出力Ｇ_PLPF とフィルタ処理部６１２ＰＷの出力Ｗ_PLPF との比を比例処理部６１６にてとることでＰ方向における相対ゲインＫ_P（＝Ｗ_PLPF ／Ｇ_PLPF ）を求め、相対ゲインＫ_Pと信号Ｇ（ｘ，ｙ）との積算を積算処理部６１８にて行ないＧ（ｘ，ｙ）に対応するＷ画素の信号値Ｗ_P（ｘ，ｙ）を求める。同様に、フィルタ処理部６２２ＮＧの出力Ｇ_NLPF とフィルタ処理部６２２ＮＷの出力Ｗ_NLPF との比を比例処理部６２６にてとることでＮ方向における相対ゲインＫ_N（＝Ｗ_NLPF ／Ｇ_NLPF ）を求め、相対ゲインＫ_Nと信号Ｇ（ｘ，ｙ）との積算を積算処理部６２８にて行ないＧ（ｘ，ｙ）に対応するＷ画素の信号値Ｗ_N（ｘ，ｙ）を求める。

この後相関修正部６０２では、斜め相関を加味した画素データＷ（ｘ，ｙ）を、Ｗ（ｘ，ｙ）＝DIFF_PN ＊Ｗ_N（ｘ，ｙ）＋（１−DIFF_PN ）＊Ｗ_P（ｘ，ｙ）により求める。

＜補間処理：非高感度色信号＞
図２５および図２６は、色信号用の補間処理部４２２（４２２Ｇ，４２２Ｒ，４２２Ｂ）の詳細を説明する図である。ここで、図２５は、色信号Ｇ，Ｒ，Ｂ用の補間処理部４２２の詳細構成例を示す図である。図２６は、色信号Ｇ，Ｒ，Ｂ用の補間処理のアルゴリズムを説明する図であり、赤色のモザイク画像Ｒからデモザイク画像Ｒを生成する場合を示している。カラーフィルタコーディング例としては、高感度ジグザグ配列のものであればよく、以下では、図２（Ｂ）に示した正方格子配列を例に説明する。

図２５（Ａ）に示すように、補間処理部４２２は、着目する色画素Ｇ，Ｒ，Ｂ（図ではＲ）を中心として斜め方向に補間処理を行なうＰＮ方向補間処理部６０４ＰＮを備える。色信号用の補間処理部４２２の第１構成例では、ＰＮ方向補間処理部６０４ＰＮは、輝度信号生成部４１０にて補間処理により取得された高感度デモザイク画像Ｗ（Ｗadj ）の画素データＷと処理対象色のモザイク画像（Ｇ，Ｒ，Ｂの何れか）の画素データＧ，Ｒ，Ｂとの差分データＤ（＝Ｗ−Ｇ，Ｒ，Ｂ：“，”はＧ，Ｒ，Ｂの何れかを示す）を着目画素および近傍画素について取得する差分処理部４７２と、差分処理部４７２で生成された差分情報に対して相関検出部５００で取得された水平垂直相関係数DIFF_HV および斜め相関係数DIFF_PN を参照してフィルタ処理を行なうフィルタ処理部４７６と有する。

一方、図２５（Ｂ）に示すように、色信号用の補間処理部４２２の第２構成例では、ＰＮ方向補間処理部６０４ＰＮは、輝度信号生成部４１０にて補間処理により取得された高感度デモザイク画像Ｗ（Ｗadj ）の画素データＷと処理対象色のモザイク画像（Ｇ，Ｒ，Ｂの何れか）の画素データＧ，Ｒ，Ｂとの比例データＭ（＝Ｇ，Ｒ，Ｂ／Ｗ：“，”はＧ，Ｒ，Ｂの何れかを示す）を着目画素および近傍画素について取得する比例処理部４７４と、比例処理部４７４で生成された比例情報に対して相関検出部５００で取得された水平垂直相関係数DIFF_HV および斜め相関係数DIFF_PN を参照してフィルタ処理を行なうフィルタ処理部４７６と有する。

差分処理部４７２および比例処理部４７４では、実在する色画素の位置の画素データを元にして、実際には存在しない位置の画素データを、補間後の高感度画素Ｗadj の同位置の画素データを参照して補間する。この際、処理手順としては様々な手法を採り得るが、たとえば、図２（Ｂ）に示した正方格子配列の場合、先ず、斜め方向に実在する２つの色画素を近傍画素とし、その近傍画素に挟まれる位置に存在する他色の画素を着目画素とし、実在する２つの近傍画素の色画素データを元にして補間後の高感度画素Ｗadj の同位置の画素データを参照して補間する。たとえば、図２６に示すように、正方配列のカラーコンディングにおいて、実在するＲ画素の位置０，２とその間の実際には存在しない位置１（この例ではＧ画素になっている）の画素データを処理対象とする。そして、差分処理部４７２では、各画素位置の画素データＲ_0，Ｒ_1，Ｒ_2と補間後の高感度デモザイク画像Ｗadj における同位置の画素データＷ_0，Ｗ_1，Ｗ_2との各差分データＤ_0，Ｄ_1，Ｄ_2を計算する。

ここで、位置０，２にはＲ画素が存在するので、Ｄ_0＝Ｗ_0−Ｒ_0，Ｄ_2＝Ｗ_2−Ｒ_2として求められるが、位置１にはＲ画素が存在しないので、このままでは適正なＤ_1が求められない。そこで、フィルタ処理部４７６は、差分データＤ_1をＤ_0，Ｄ_2の平均値（Ｄ_1＝（Ｄ_0＋Ｄ_2）／２）で計算する。そして、フィルタ処理部４７６は、本来Ｄ_1＝Ｗ_1−Ｒ_1であるから、これより位置１のＲ画素データＲ_1を“Ｒ_1＝Ｗ_1−Ｄ_1”より求める。

なお、フィルタ処理部４７６が、平均値演算および自在しない色画素のデータ（前例ではＲ１）を演算で求めるのであるが、自在しない色画素のデータを求めるために参照する近傍の実在する画素位置に応じてフィルタの係数やタップ数を適当に調整する。

一方、比例処理部４７４では、各画素位置の画素データＲ_0，Ｒ_1，Ｒ_2と補間後の高感度デモザイク画像Ｗadj における同位置の画素データＷ_0，Ｗ_1，Ｗ_2との各比例データＭ_0，Ｍ_1，Ｍ_2を計算する。

ここで、位置０，２にはＲ画素が存在するので、Ｍ_0＝Ｒ_0／Ｗ_0，Ｍ_2＝Ｒ_2／Ｗ_2として求められるが、位置１にはＲ画素が存在しないので、このままでは適正なＭ_1が求められない。そこで、フィルタ処理部４７６は、比例データＭ_1をＭ_0，Ｍ_2の平均値（Ｍ_1＝Ｍ_0＋Ｍ_2）／２）で計算する。そして、フィルタ処理部４７６は、本来Ｍ_1＝Ｒ_1／Ｗ_1であるから、これより位置１の画素データＲ_1を“Ｍ_1＊Ｗ_1”より求める。

なお、図示を割愛するが、着目する色画素Ｇ，Ｒ，Ｂを中心として水平垂直方向に補間処理を行なう構成とするには、着目する色画素Ｇ，Ｒ，Ｂを中心として水平方向に補間処理を行なう水平方向補間処理部と、着目する色画素Ｇ，Ｒ，Ｂを中心として垂直方向に補間処理を行なう垂直方向補間処理部を備えた水平垂直方向補間処理部を設ける。処理対象の方向や画素位置が異なるだけであり、ＰＮ方向補間処理部６０４ＰＮに準じた構成をとればよい。

また、フィルタ処理部４７６は、相関検出部５００から供給される水平垂直相関係数DIFF_HV や斜め相関係数DIFF_PN のうちの補間処理と同方向のものを参照して、差分処理部４７２もしくは比例処理部４７４で求められる画素データに対して補間処理と同方向（水平垂直あるいは斜め方向）に、相関の強弱に応じてフィルタに重み付けして、色信号生成部４３０に渡す最終的な画素データ（本例ではＲ２）を計算する。

たとえば、前例のように斜め方向の補間処理の場合であれば、右上相関係数DIFF_P、右下相関係数DIFF_Nとした場合、斜め相関係数DIFF_PN ＝DIFF_P／（DIFF_P＋DIFF_N）であり、DIFF_PN の値が“０”に近いほど右肩上がり方向の相関が強く、逆に“１”に近いほど右肩下がり方向の相関が強い。この点を加味して、たとえば、右方上がり（Ｐ方向）、右肩下がり（Ｎ方向）それぞれフィルタ処理した後の画素データＲが、それぞれＲ_P，Ｒ_Nであるとした場合、斜め相関を加味した画素データＲは、Ｒ＝（１−DIFF_PN ）＊Ｒ_P＋DIFF_PN ＊Ｒ_Nにより求める。補間処理部４２２は、水平垂直並びに斜めの各方向に関する相関補正を行なって補間処理済みの画素データＲ２を色信号生成部４３０に渡す。

水平垂直方向に関しても同様であり、水平相関係数DIFF_H、垂直相関係数DIFF_Vとした場合、水平垂直相関係数DIFF_HV ＝DIFF_V／（DIFF_H＋DIFF_V）であり、DIFF_HV が“０”に近いほど垂直相関が強く、“１”に近いほど水平相関が強い。この点を加味して、たとえば、水平、垂直それぞれフィルタ処理した後の画素データＲが、それぞれＲ_H，Ｒ_Vであるとした場合、水平垂直相関を加味した画素データＲは、Ｒ＝（１−DIFF_HV ）＊Ｒ_V＋DIFF_HV ＊Ｒ_Hにより求める。

このように、本実施形態の補間処理部４２２では、差分処理部４７２や比例処理部４７４にて実在しない位置の色画素データを、高感度デモザイク画像Ｗの情報を利用して画素補間処理で求めるので、非高感度のデモザイク画像Ｇ，Ｒ，ＢのＳ／Ｎ比を高めることができる。また、フィルタ処理部４７６では、相関検出部５００にて求められる水平垂直並びに斜めの各方向の相関係数を参照して、各方向に関する相関補正を行なうので、画素位相差による偽色の抑制効果が得られる。

このような補間処理によって、図Ｇ３１に示すように、先ず輝度信号系の第２補間処理部４１２_2により図Ｇ３１（Ａ１）に示すモザイク画像Ｗから図Ｇ３１（Ｂ１）に示すデモザイク画像Ｗ２が得られ、また、補間処理部４２２Ｇにより図Ｇ３１（Ａ２）に示すモザイク画像Ｇから図Ｇ３１（Ｂ２）に示すデモザイク画像Ｇ２が得られ、また、補間処理部４２２Ｒにより図Ｇ３１（Ａ３）に示すモザイク画像Ｒから図Ｇ３１（Ｂ３）に示すデモザイク画像Ｒ２が得られ、また、補間処理部４２２Ｂにより図Ｇ３１（Ａ４）に示すモザイク画像Ｂから図Ｇ３１（Ｂ４）に示すデモザイク画像Ｂ２が得られる。

デモザイク画像Ｗ２を表す信号は、“Ｗ＝Ｙ＋ＩＲ”を示すものとなり、信号Ｗは、可視光領域から赤外光領域までを含み、より広範囲の波長の光成分を含みかつ可視光領域でもＧ成分に対して高感度（図８に示した感度特性例では約２倍）のデモザイク画像Ｗ２が出力されることになる。

一方、単色画像信号生成部４２０に設けられる補間処理部４２２Ｇ，４２２Ｒ，４２２Ｂにおいて生成されたＲＧＢ対応のデモザイク画像Ｇ２，Ｒ２，Ｂ２、すなわち、図Ｇ３１（Ｂ２）〜（Ｂ４）に示すデモザイク画像Ｇ２，Ｒ２，Ｂ２は、色信号生成部４３０に入力され、レベル調整部４３２にて高感度デモザイク画像Ｗとの関係でのゲイン調整が施された後、マトリクス演算部４３４にてレベル調整後のデモザイク画像Ｇ２，Ｒ２，Ｂ２を示す各信号に基づくマトリックス演算によって色差信号Ｒ−Ｙ，Ｂ−Ｙが生成されて出力される。

なお、色信号生成部４３０は、輝度信号生成部４１０で得られたデモザイク画像Ｗ２を利用して色差信号を生成する構成とすることもできる。この場合、詳細な説明は割愛するが、可視光領域内を複数に波長分離して各成分を検知して得られる単色画像信号生成部４２０の各デモザイク画像Ｒ２，Ｇ２，Ｂ２と 輝度信号生成部４１０で得られた高感度デモザイク画像Ｗ２における可視光成分（特に色別の成分）とを使って、各デモザイク画像Ｒ２，Ｇ２，Ｂ２に対して高感度化補正演算を実行し、その後に色差信号を生成するようにしてもよい。

本実施形態に従ったＲＧＢＷの色配列を持つ色フィルタ群３１４を具備した撮像部３１０を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むＷチャネルのデモザイク画像Ｗ２を得ることができ、これを輝度信号“Ｗ＝Ｙ＋ＩＲ”として使用することができる。

輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Ｗチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのＳ／Ｎ比を改善することが可能となる。本構成は、たとえば、高い色再現性を要求されないが感度やＳ／Ｎ比を高める必要がある監視カメラなどの用途に適している。

なお、図８に示した感度特性例の場合において、赤外光を利用しない構成とする場合には、図１０に示した構成において、感赤外光カットフィルタ３０５を入れた構成とすればよい。

＜アンチエリアス処理＞
図２７〜図２９は、色信号用の各アンチエリアス処理部４２４（４２４Ｇ，４２４Ｒ，４２４Ｂ）の詳細を説明する図である。ここで、図２７は、色信号Ｇ，Ｒ，Ｂ用のアンチエリアス処理部４２４の詳細構成例を示す図である。図２８は、色信号Ｇ用のアンチエリアス処理のアルゴリズムを説明する図であり、緑色を対象する場合を示している。図２９は、色信号Ｒ，Ｂ用のアンチエリアス処理のアルゴリズムを説明する図であり、一例として青色を対象する場合を示している。

図２７（Ａ）に示すように、色信号用のアンチエリアス処理部４２４の第１構成例では、輝度信号生成部４１０にて補間処理により取得された高感度デモザイク画像Ｗ（Ｗadj ）の画素データＷと処理対象色のモザイク画像（Ｇ，Ｒ，Ｂの何れか）の画素データＧ，Ｒ，Ｂとの間で所定の差分処理（補間処理での差分処理と異なる）を行なって差分データDDを着目画素について取得する差分処理部４８２と、差分処理部４８２で生成された差分データDDに対して相関検出部５００で取得された水平垂直相関係数DIFF_HV および斜め相関係数DIFF_PN を参照してフィルタ処理を行なうフィルタ処理部４８６と有する。

差分処理部４８２は先ず、輝度信号生成部４１０にて補間処理により取得された高感度デモザイク画像Ｗ（Ｗadj ）の画素データＷと処理対象色のモザイク画像（Ｇ，Ｒ，Ｂの何れか）の画素データＧ，Ｒ，Ｂとの差分データＤ（＝Ｗ−Ｇ，Ｒ，Ｂ：“，”はＧ，Ｒ，Ｂの何れかを示す）を着目画素および近傍画素について取得する。参照用の高感度デモザイク画像Ｗ（Ｗadj ）は、“Ｗ＋空白”の２種類の画素がコーディングされたＷBLモザイク画像Ｗ２でもよいし、Ｗ画素のみで構成される高感度デモザイク画像Ｗ３でもよい。

この後、フィルタ処理部４８６は、それぞれの差分データＤをフィルタ処理して平均データＤave を求める。この際、近傍画素よりも着目画素の方の重付けを大きくする。そして、平均データＤave と着目画素と同じ画素位置（同位置）の画素データＷとの差分処理により着目画素の修正データDD（＝Ｗ−Ｄave ）を求める。

一方、図２７（Ｂ）に示すように、色信号用のアンチエリアス処理部４２４の第２構成例では、輝度信号生成部４１０にて補間処理により取得された高感度デモザイク画像Ｗ（Ｗadj ）の画素データＷと処理対象色のモザイク画像（Ｇ，Ｒ，Ｂの何れか）の画素データＧ，Ｒ，Ｂとの間で所定の比例処理（補間処理での比例処理と異なる）を行なって比例データMMを着目画素について取得する比例処理部４８４と、比例処理部４８４で生成された比例データMMに対して相関検出部５００で取得された水平垂直相関係数DIFF_HV および斜め相関係数DIFF_PN を参照してフィルタ処理を行なうフィルタ処理部４８６と有する。

比例処理部４８４は先ず、輝度信号生成部４１０にて補間処理により取得された高感度デモザイク画像Ｗ（Ｗadj ）の画素データＷと処理対象色のモザイク画像（Ｇ，Ｒ，Ｂの何れか）の画素データＧ，Ｒ，Ｂとの比例データＭ（＝Ｇ，Ｒ，Ｂ／Ｗ：“，”はＧ，Ｒ，Ｂの何れかを示す）を着目画素および近傍画素について取得する。この後、フィルタ処理部４８６は、それぞれの比例データＭをフィルタ処理して平均データＭave を求める。この際、近傍画素よりも着目画素の方の重付けを大きくする。そして、平均データＭave と着目画素と同じ画素位置（同位置）の画素データＷとの積をとることで着目画素の修正データMM（＝Ｗ＊Ｍave ）を求める。

＜Ｇ色用のアンチエリアス処理＞
図２８を参照して、Ｇ色用のアンチエリアス処理の具体例を説明する。カラーフィルタコーディング例としては、高感度ジグザグ配列のものであればよく、ここでは図２（Ｂ）に示した正方格子配列を例に説明する。

差分処理部４８２および比例処理部４８４では、実在する色画素の複数位置（着目画素と近傍画素）の画素データを元にして着目画素の画素データを修正する。この際、処理手順としては様々な手法を採り得るが、たとえば、図２（Ｂ）に示した正方格子配列の場合、先ず、水平方向に実在する３つの色画素において、真ん中の画素を着目画素とし、その両隣の画素を近傍画素とし、各画素の位置と同位置の高感度画素Ｗadj の画素データを参照して着目画素の画素データを修正する。

たとえば、図２８に示すように、正方配列のカラーコンディングにおいて、実在する３つのＧ画素の位置０，１，２の画素データを処理対象とする。そして、差分処理部４８２で水平方向Ｇ画素とＷ画素の差分をとり、フィルタ処理部４８６で水平方向の差分平均を利用してＧ画素を修正する。図示を割愛するが、同様に、差分処理部４８２で垂直方向Ｇ画素とＷ画素の差分をとり、フィルタ処理部４８６で垂直方向の差分平均を利用してＧ画素を修正する。

具体的には、差分処理部４８２では、各画素位置の画素データＧ_0，Ｇ_1，Ｇ_2と補間後の高感度デモザイク画像Ｗadj における同位置の画素データＷ_0，Ｗ_1，Ｗ_2との各差分データＤ_0，Ｄ_1，Ｄ_2を計算する。アンチエリアス処理では、全ての位置０，１，２に色画素が存在するので、Ｄ_0＝Ｗ_0−Ｇ_0，Ｄ_1＝Ｗ_2−Ｇ_2，Ｄ_2＝Ｗ_2−Ｇ_2として求められる。

フィルタ処理部４８６は、差分処理部４８２で求められた差分データＤ_0，Ｄ_1，Ｄ_2を近傍画素よりも着目画素の方の重付けを大きくするフィルタ処理して平均データＤave （＝（Ｄ_0＋２＊Ｄ_1＋Ｄ_2）／４）を求める。さらに、フィルタ処理部４８６は、着目画素と同じ画素位置（同位置）の画素データＷ_1と平均データＤave との差分処理により着目するＧ画素Ｇ_1の修正データDD（＝Ｗ_1−Ｄave ）を求める。

また、比例処理部４８４では、各画素位置の画素データＧ_0，Ｇ_1，Ｇ_2と補間後の高感度デモザイク画像Ｗadj における同位置の画素データＷ_0，Ｗ_1，Ｗ_2との各比例データＭ_0，Ｍ_1，Ｍ_2を計算する。アンチエリアス処理では、全ての位置０，１，２に色画素が存在するので、Ｍ_0＝Ｗ_0−Ｇ_0，Ｍ_1＝Ｗ_2−Ｇ_2，Ｍ_2＝Ｗ_2−Ｇ_2として求められる。

フィルタ処理部４８６は、比例処理部４８４で求められた比例データＭ_0，Ｍ_1，Ｍ_2を近傍画素よりも着目画素の方の重付けを大きくするフィルタ処理して平均データＭave （＝（Ｍ_0＋２＊Ｍ_1＋Ｍ_2）／４）を求める。さらに、フィルタ処理部４８６は、着目画素と同じ画素位置（同位置）の画素データＷ_1と平均データＭave との積をとることで着目画素の修正データMM（＝Ｗ_1＊Ｍave ）を求める。

また、フィルタ処理部４８６は、相関検出部５００から供給される水平垂直相関係数DIFF_HV および斜め相関係数DIFF_PN を参照して、アンチエリアス処理と同方向に、相関の強弱に応じてフィルタに重み付けして、色信号生成部４３０に渡す最終的な画素データ（本例ではＧ２）を計算する。

たとえば、アンチエリアス処理の方向が水平垂直方向である前例では、水平相関係数DIFF_H、垂直相関係数DIFF_Vとした場合、水平垂直相関係数DIFF_HV ＝DIFF_V／（DIFF_H＋DIFF_V）であり、DIFF_HV が“０”に近いほど垂直相関が強く、“１”に近いほど水平相関が強い。この点を加味して、たとえば、水平、垂直それぞれフィルタ処理した後の各平均データＤave がそれぞれＤave _H、Ｄave _V、水平垂直相関を加味した位置１の修正データDDをＧadj_1 とすると、Ｇadj_1 ＝（１−DIFF_HV ）＊Ｄave _V＋DIFF_HV ＊Ｄave _Hにより求めることができ、位置１の元の画素データＧ_1に対するアンチエリアス処理を行なうことで偽色の発生を抑制できる。

図示を割愛するが、アンチエリアス処理の方向が斜め方向である場合も同様であり、右上相関係数DIFF_P、右下相関係数DIFF_Nとした場合、斜め相関係数DIFF_PN ＝DIFF_P／（DIFF_P＋DIFF_N）であり、DIFF_PN の値が“０”に近いほど右肩上がり方向の相関が強く、逆に“１”に近いほど右肩下がり方向の相関が強い。この点を加味して、たとえば、右方上がり（Ｐ方向）、右肩下がり（Ｎ方向）それぞれフィルタ処理した後の各平均データＤave がそれぞれＤave _P、Ｄave _N、斜め相関を加味した位置１の修正データMMをＧadj_1 とすると、Ｇadj_1 ＝（１−DIFF_PN ）＊Ｄave _P＋DIFF_PN ＊Ｄave _Nにより求めることができ、位置１の元の画素データＧ_1に対するアンチエリアス処理を行なえる。

＜Ｒ色，Ｂ色用のアンチエリアス処理＞
図２９を参照して、Ｂ色やＲ色用のアンチエリアス処理の具体例を説明する。カラーフィルタコーディング例としては、高感度ジグザグ配列のものであればよく、ここでは図２（Ｃ）に示した斜行格子配列を例に説明する。

基本的な手法は前述のＧ色用の処理と同じであり、差分処理部４８２および比例処理部４８４では、実在するＢ画素（もしくはＲ画素）の複数位置（着目画素と近傍画素）の画素データを元にして着目するＢ画素（もしくはＲ画素）の画素データを修正する。この際、処理手順としては様々な手法を採り得るが、たとえば、図２（Ｃ）に示した斜行格子配列の場合、先ず、水平方向に実在する３つのＢ画素（もしくはＲ画素）において、真ん中の画素を着目画素とし、その両隣の最近傍のＢ画素（もしくはＲ画素）との間で、３つの画素の位置と同位置の高感度画素Ｗadj の画素データを参照して着目画素の画素データを修正する。たとえば、図２９に示すようにＢ色で代表して差分処理部４８２における処理で説明すると以下の通りである。

差分処理部４８２で水平方向Ｂ画素とＷ画素の差分をとり、フィルタ処理部４８６で水平方向の差分平均を利用してＢ画素を修正する。同様に、差分処理部４８２で垂直方向Ｂ画素とＷ画素の差分をとり、フィルタ処理部４８６で垂直方向の差分平均を利用してＧ画素を修正する。

具体的には、差分処理部４８２では、座標（ｘ，ｙ）のＢ画素を着目画素とし、各画素位置の画素データＢ（ｘ−２，ｙ），Ｂ（ｘ，ｙ），Ｂ（ｘ＋２，ｙ）と補間後のモザイク画像Ｗadj （ＷBLモザイク画像Ｗ２）における同位置の画素データＷ（ｘ−２，ｙ），Ｗ（ｘ，ｙ），Ｗ（ｘ＋２，ｙ）との各水平方向差分データＤ_H１＝Ｂ（ｘ−２，ｙ）−Ｗ（ｘ−２，ｙ），Ｄ_H２＝Ｂ（ｘ，ｙ）−Ｗ（ｘ，ｙ），Ｄ_H３＝Ｂ（ｘ＋２，ｙ）−Ｗ（ｘ＋２，ｙ）を計算する。フィルタ処理部４８６は、差分処理部４８２により得られた水平方向の差分Ｄ_H１，Ｄ_H２，Ｄ_H３を利用してＢ画素をＢ_H＝Ｗ（ｘ，ｙ）＋（Ｄ_H１＋Ｄ_H２＋Ｄ_H３）／３に従って修正する。

垂直方向についても同様であり、差分処理部４８２では、各画素位置の画素データＢ（ｘ，ｙ−２），Ｂ（ｘ，ｙ），Ｂ（ｘ，ｙ＋２）と補間後のモザイク画像Ｗadj （ＷBLモザイク画像Ｗ２）における同位置の画素データＷ（ｘ，ｙ−２），Ｗ（ｘ，ｙ），Ｗ（ｘ，ｙ＋２）との各垂直方向差分データＤ_V１＝Ｂ（ｘ，ｙ−２）−Ｗ（ｘ，ｙ−２），Ｂ（ｘ，ｙ）−Ｗ（ｘ，ｙ），Ｂ（ｘ，ｙ＋２）−Ｗ（ｘ，ｙ＋２）を計算する。フィルタ処理部４８６は、差分処理部４８２により得られた垂直方向の差分Ｄ_V１，Ｄ_V２，Ｄ_V３を利用してＢ画素をＢ_V＝Ｗ（ｘ，ｙ）＋（Ｄ_V１＋Ｄ_V２＋Ｄ_V３）／３に従って修正する。

そして、最終的に、フィルタ処理部４８６は、アンチエリアス後のＢ画素のデータを、Ｂ（ｘ，ｙ）＝（１−DIFF_HV ）＊Ｂ_V＋DIFF_HV ＊Ｂ_Hにより求めることができ、位置座標（ｘ，ｙ）の元の画素データＢ（ｘ，ｙ）に対するアンチエリアス処理を行なうことで偽色の発生を抑制できる。

このように、本実施形態のアンチエリアス処理部４２４では、差分処理部４８２や比例処理部４８４にて着目画素の色画素データを、高感度デモザイク画像Ｗの情報を利用して画素補間処理で求めるので、非高感度のデモザイク画像Ｇ，Ｒ，ＢのＳ／Ｎ比を高めることができる。また、フィルタ処理部４８６では、相関検出部５００にて求められる水平垂直並びに斜めの各方向の相関係数を参照して、各方向に関する相関補正を行なうので、アンチエリアス処理においても画素位相差による偽色の抑制効果が得られる。

図３０は、色信号系の補間処理時のアンチエリアス効果を説明する図である。図３０（Ａ）はアンチエイリアスなしの補間の一例であり、図３０（Ｂ）はアンチエイリアスありの補間の一例である。高感度モザイク画像Ｗは理想状態、緑色画像Ｇはノイズによって信号レベルがばらついている。同様に、赤色画像Ｒや青色画像Ｂもばらつくと考えられるが、Ｒ／Ｇ／Ｂ画素のばらつきがばらばらになっているから色がついているノイズに見える。また、Ｒ／Ｇ／Ｂの位相の違いに加えて、そのまま補間すると、たとえ高感度モザイク画像Ｗを参照しても、その効果がまだ不十分である。アンチエイリアス処理はＲ／Ｇ／Ｂ画素のばらつきを高感度モザイク画像Ｗと同じなるように修正する手法であり、アンチエリアス処理時には高感度モザイク画像Ｗという共通の基準があるので、Ｒ／Ｇ／Ｂ間のばらつきが抑制され偽色抑制効果が高まる。

本実施形態で採用する色分離フィルタの色配置例の基本構造を示す図である。 カラーコーディングの具体例を示す図（その１）である。 カラーコーディングの具体例を示す（その２）である。 、ベイヤー配列と図２（Ｃ）に示した斜行格子配列の輝度解像度の関係を説明する図である。 ベイヤー配列と図２（Ｃ）に示した斜行格子配列の色解像度の関係を説明する図である。 輝度解像度および色解像度の関係を水平方向Ｈおよび垂直方向Ｖにおけるサンプリング周波数fsとの関係で示した図である。 色フィルタ群をなす各色フィルタの光透過特性（分光特性）の基本を示した図である。 色フィルタ群をなす各色フィルタの第１の特性例を示す図である。 色フィルタ群をなす各色フィルタの第２の特性例を示す図である。 物理情報取得装置の一例である撮像装置の概略構成を示す図である。 撮像信号処理部３３０（特に画像信号処理部３４０）の本実施形態の詳細構成を示した機能ブロック図である。 デモザイク処理の手順の概要を示す図である。 図２（Ｃ）に示した斜行格子配置における高感度デモザイク画像を生成する過程を説明する図である。 図２（Ｃ）に示した斜行格子配置における非高感度緑色デモザイク画像を生成する過程を説明する図である。 図２（Ｃ）に示した斜行格子配置における非高感度赤色デモザイク画像を生成する過程を説明する図である。 図２（Ｃ）に示した斜行格子配置における非高感度青色デモザイク画像を生成する過程を説明する図である。 図２（Ｂ）に示した正方格子配置における高感度デモザイク画像を生成する過程を説明する図である。 図２（Ｂ）に示した正方格子配置における非高感度緑色デモザイク画像を生成する過程を説明する図である。 図２（Ｂ）に示した正方格子配置における非高感度赤色デモザイク画像を生成する過程を説明する図である。 図２（Ｂ）に示した正方格子配置における非高感度青色デモザイク画像を生成する過程を説明する図である。 相関検出部の詳細構成例を示す図である。 相関係数を求める際に設定される相関検出枠を示す図である。 高感度輝度信号用の補間処理部の詳細構成例を示す図である。 高感度輝度信号用の補間処理のアルゴリズムを説明する図である。 色信号用の補間処理部の詳細構成例を示す図である。 色信号用の補間処理のアルゴリズムを説明する図であり、 色信号用のアンチエリアス処理部の詳細構成例を示す図である。 緑色信号用のアンチエリアス処理のアルゴリズムを説明する図である。 青色信号用のアンチエリアス処理のアルゴリズムを説明する図である。 色信号系の補間処理時のアンチエリアス効果を説明する図である。

符号の説明

１…撮像装置、１０…固体撮像装置、３１０…撮像部、３１２…固体撮像素子、
３１４…色フィルタ群、３２０…駆動部、３３０…撮像信号処理部、３３２…前処理部、３３４…ＡＤ変換部、３３６…補正処理部、３４０…画像信号処理部、３４１…デモザイク信号処理部、３４３…出力画像信号処理部、３４４…輝度信号処理部、３４６…色信号処理部、３４８…赤外信号処理部、４０２…選択スイッチ、４１０…輝度信号生成部、４１２…補間処理部、４２０…単色画像信号生成部、４２２…補間処理部、４２４Ｆ…前段アンチエリアス処理部、４２４Ｒ…後段アンチエリアス処理部、４３０…色信号生成部、４３２…レベル調整部、４３４…マトリクス演算部、４６２…第１補間処理部、４６４…第２補間処理部、４７２…差分処理部、４７４…比例処理部、４７６…フィルタ処理部、４８２…差分処理部、４８４…比例処理部、４８６…フィルタ処理部、５００…相関検出部、５００Ｈ…水平相関検出部、５００ＨＶ…水平垂直相関検出部、５００Ｐ…右上相関検出部、５００ＰＮ…斜め相関検出部、５００Ｖ…垂直相関検出部、５００Ｎ…右下相関検出部、５１２…水平ＨＰＦ、５１４…絶対値化処理部、５１６…相関処理部、５２２…垂直ＨＰＦ、５２４…絶対値化処理部、５２６…相関処理部、５３２…右上ＨＰＦ、５３４…絶対値化処理部、５３６…相関処理部、５４２…右下ＨＰＦ、５４４…絶対値化処理部、５４６…相関処理部、６００ＰＮ…ＰＮ方向補間処理部、６０２…相関修正部、６０４ＰＮ…ＰＮ方向補間処理部、６１０…Ｐ方向補間処理部、６１２ＰＧ…フィルタ処理部、６１２ＰＷ…フィルタ処理部、６１２ＮＷ…フィルタ処理部、６１６…比例処理部、６１８…積算処理部、６２０…Ｎ方向補間処理部、６２２ＮＧ…フィルタ処理部、６２２ＮＷ…フィルタ処理部、６２６…比例処理部、６２８…積算処理部

Claims (6)

1. 画像情報の第１の波長領域内を複数に波長分離して各成分を検知する第１の検知部と、
   前記第１の検知部により検知される前記第１の波長領域の成分より高感度に前記第１の波長領域の成分を検知する第２の検知部と、
   前記第１の検知部で検知された各波長の単位信号に基づいて測定量を示す信号を取得し、前記測定量を示す信号と前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号とを使って、前記第１の検知部で検知された各波長の単位信号に対して補正演算を実行する高感度化信号処理部を具備した信号処理部と
   を備え、
   前記高感度化信号処理部は、全ての前記各検知部の位置について、波長成分や感度が異なるモザイク状の情報から波長成分や感度が均一な情報を生成するデモザイク処理を実行する過程で、前記第２の検知部で検知される高感度の情報を使った前記補正演算を実行するとともに不正な色情報を抑制する処理を行ない、
   前記高感度化信号処理部は、前記第１の検知部で検知された各波長の単位信号に基づいて取得される測定量を示す信号と前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号との比例情報に基づいて画素補間処理を行なう補間処理部を有する
   固体撮像装置。
2. 前記高感度化信号処理部は、前記第１の検知部で検知された各波長の単位信号に基づいて取得される測定量を示す信号と前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号との比例情報に基づいてアンチエリアス処理を行なうアンチエリアス処理部を有する
   請求項１に記載の固体撮像装置。
3. 前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号に基づいて、画像情報の相関を検出する相関検出部を備え、
   前記高感度化信号処理部は、前記相関検出部で検出された相関の情報を参照して、前記補正演算や前記不正な色情報を抑制する処理を行なう
   請求項１又は２に記載の固体撮像装置。
4. 前複数の第１の検知部と前記第２の検知部の一配列単位内では、前記第２の検知部の数が最も多い
   請求項１〜３の何れか１項に記載の固体撮像装置。
5. 画像情報の第１の波長領域内を複数に波長分離して各成分を検知する第１の検知部と、
   前記第１の検知部により検知される前記第１の波長領域の成分より高感度に前記第１の波長領域の成分を検知する第２の検知部と、
   前記第１の検知部で検知された各波長の単位信号に基づいて測定量を示す信号を取得し、前記測定量を示す信号と前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号とを使って、前記第１の検知部で検知された各波長の単位信号に対して補正演算を実行する高感度化信号処理部を具備した信号処理部と、
   前記信号処理部における処理を制御する制御部と
   を備え、
   前記高感度化信号処理部は、全ての前記各検知部の位置について、波長成分や感度が異なるモザイク状の情報から波長成分や感度が均一な情報を生成するデモザイク処理を実行する過程で、前記第２の検知部で検知される高感度の情報を使った前記補正演算を実行するとともに不正な色情報を抑制する処理を行ない、
   前記高感度化信号処理部は、
   前記第１の検知部で検知された各波長の単位信号に基づいて取得される測定量を示す信号と前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号との比例情報に基づいて画素補間処理を行なう第２の補間処理部、
   前記第１の検知部で検知された各波長の単位信号に基づいて取得される測定量を示す信号と前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号との比例情報に基づいてアンチエリアス処理を行なう第２のアンチエリアス処理部、
   の少なくとも１つを有する
   撮像装置。
6. 前記第２の検知部で検知される高感度の前記第１の波長領域の成分の信号に基づいて、画像情報の相関を検出する相関検出部を備え、
   前記高感度化信号処理部は、前記相関検出部で検出された相関の情報を参照して、前記補正演算や前記不正な色情報を抑制する処理を行なう
   請求項５に記載の撮像装置。

Images