JPWO2011162155A1 - 撮像装置 - Google Patents

Abstract

赤外光が支配的である夜間においても、本来の被写体の色を再現可能で、違和感の少ない画像を得ることができる撮像装置を開示する。色空間変換部は、注目単位画素部が赤外画素であった場合、周囲の単位画素部の画像信号に基づいて、注目単位画素部の色差信号を作成する。より具体的には、注目単位画素部の色差信号Ｃｂ（ｘ₀，ｙ₀）、Ｃｒ（ｘ₀，ｙ₀）を、以下の式（３ａ）（３ｂ）に基づき、その周辺の単位画素部の色差Ｃｂ（ｘ，ｙ）、Ｃｒ（ｘ，ｙ）の加重平均により求める。但し、ｘ₀，ｙ₀は注目単位画素部の座標であり、ｘ、ｙは周囲の単位画素部の座標である。
Ｃｂ（ｘ₀，ｙ₀）＝Σｋ（ｘ，ｙ）・ａ（ｘ，ｙ）・Ｃｂ（ｘ，ｙ） （３ａ）
Ｃｒ（ｘ₀，ｙ₀）＝Σｋ（ｘ，ｙ）・ａ（ｘ，ｙ）・Ｃｒ（ｘ，ｙ） （３ｂ）

Description

本発明は、固体撮像素子により得られた原画像データを画像処理できる撮像装置に関する。

近年、近赤外照明光を車両等の前方に照射し、近赤外光に感度をもつカメラで被写体を撮像する夜間視界映像支援システムが開発されている。ここで、従来の夜間視界映像支援システムは、高画質の画像が要求されている一方で、被写体光において近赤外波長成分が支配的になるので、十分な色情報が得られないためモノクロ画像が生成されてしまい、実際の被写体画像と異なることによりドライバーの視認性が低下してしまうことがある。これに対し、特許文献１，２に示すような技術が開発されている。

特開２００６−１４８６９０号公報 特開２００７−２６４６２８号公報

特許文献１の技術によれば、可視光輝度信号のレベル値と近赤外輝度信号とのレベル値とを比較して、可視領域か赤外領域かを判定し、可視領域と判定されたブロックについては、色信号Ｒ、Ｇ、Ｂに基づいて、カラー画像を生成し、赤外領域と判定されたブロックについては、そのブロック内の近赤外輝度信号に基づいてモノクロ画像を生成するようにしている。しかしながら、特許文献１の技術では、同じ画像の中にカラーとモノクロの領域が混在し、実際の被写体画像と異なるため、ドライバーの視認性が低下してしまうという問題が残る。

一方、特許文献２の技術によれば、可視光および赤外光に対して透過性を有する開口部と可視光に対して透過性を有するとともに赤外光に対して非透過性を有する非開口部とが設けられた赤外光カットフィルタ層と可視光領域をＲ，Ｇ，Ｂ成分に分離する色フィルタ群を，固体撮像素子上に一体的となるように配置して、開口部を通過した可視光および赤外光を含む広波長領域成分を波長領域画素で検知し，その検知信号で輝度信号を生成すると共に、非開口部を通過したＲ，Ｇ，Ｂの各色成分を各色画素で検知し，その各色信号から色差信号を生成するようにしている。

ここで、赤外領域では被写体からの可視光量が非常に少ないので、被写体本来の色が正しく反映されず、ノイズに埋もれてしまうことがある。一方、赤外領域の輝度信号は、赤外光を含めると値が大きくなる傾向があるので、色差信号もそれに合わせ大きくなるように処理されるため、可視光では色がほとんど見えない被写体でも、処理後の画像では色が鮮やかになり、即ちノイズが強調されてしまうことがある。その結果、夜間撮影などにおいては、被写体の色情報が強調されたノイズに埋もれてしまい、正しく識別されない恐れがある。

本発明の目的は、赤外光が支配的である夜間においても、本来の被写体の色を再現可能で、違和感の少ない画像を得ることができる撮像装置を提供することである。

本発明の撮像装置は、分光感度の異なる少なくとも３種類の画素が配列され、そのうち、少なくとも１種類の画素は赤外領域に感度を持つ画素であって、可視光成分と赤外光成分とを検出可能な固体撮像素子と、前記固体撮像素子により被写体を撮像したときに、前記固体撮像素子から得られた前記可視光成分の輝度情報と、前記赤外光成分に基づく赤外光情報とに基づいて、カラー画像を生成するカラー画像生成手段と、を有することを特徴とする。

本発明によれば、カラー画像生成手段が、前記固体撮像素子により被写体を撮像したときに、前記固体撮像素子から得られた前記可視光成分の輝度情報と、前記赤外光成分に基づく赤外光情報とに基づいて、例えば色差信号を重み付けするなどして、カラー画像を生成するので、本来の被写体の色を再現可能で、違和感の少ないカラー画像を得ることができる。尚、「可視光成分の輝度情報」とは、例えば可視光信号における輝度信号値であり、「赤外光情報」とは、例えば赤外光信号値である。

本発明の撮像装置は、被写体からの可視光成分と赤外光成分とを検出可能な複数の画素を２次元的に配置した固体撮像素子と、前記固体撮像素子により被写体を撮像したときに、検出した可視光成分の輝度信号が所定値以下であった注目単位画素部の可視光成分の色差信号を、前記注目単位画素部に近接する近接単位画素部が検出した前記可視光成分の色差信号に基づき導出される名目色差信号と置換して、前記名目色差信号を用いてカラー画像を生成するカラー画像生成手段と、を有する。

本発明によれば、カラー画像生成手段が、前記固体撮像素子により被写体を撮像したときに、検出した可視光成分の輝度信号が所定値以下であった注目単位画素部の可視光成分の色差信号を、前記注目単位画素部に近接する近接単位画素部が検出した前記可視光成分の色差信号に基づき導出される名目色差信号と置換して、前記名目色差信号を用いてカラー画像を生成するので、注目単位画素部からの色情報を得られない場合でも、本来の被写体の色を再現可能で、違和感の少ないカラー画像を得ることができる。近接単位画素部とは、少なくとも注目単位画素部に隣接する単位画素部をいう。又、可視光成分が所定値以下とは、例えば可視光成分の輝度信号が、赤外光信号を下回る場合をいう。

本発明の一態様によれば、前記近接単位画素部とは、前記注目単位画素部の周囲に配置された単位画素部であると好ましい。これにより、注目単位画素部の本来の色情報に対して大きく偏ることのない色情報を得ることができる。

本発明の一態様によれば、前記カラー画像生成手段は、前記近接単位画素部が複数ある場合には、前記注目単位画素部と前記近接単位画素部との距離に応じて、当該複数の近接単位画素部で検出された可視光成分の色差信号それぞれを、前記注目単位画素部と前記近接単位画素部との関連度合いに応じて重み付けして加重平均を行うことにより、前記名目色差信号を導出すると好ましい。前記注目単位画素部と前記近接単位画素部との関連度合いに応じて重み付けして加重平均を行うことで、関連性の低い近接単位画素部の関与を抑えて、より色の再現性を高めることができる。「前記注目単位画素部と前記近接単位画素部との関連度合いに応じて重み付けする」とは、例えば、前記注目単位画素部と前記近接単位画素部との距離に応じて重み付けすることをいう。

本発明の一態様によれば、前記注目単位画素部と前記近接単位画素部との距離が短い程、前記重み付けの係数を高めると好ましい。注目単位画素部に対して距離が離れた近接単位画素部ほど、色が異なる可能性が高いと考えられるから、その関与を低めるのが望ましい。

本発明の一態様によれば、前記カラー画像生成手段は、同一の前記近接単位画素部で検出された可視光成分における輝度信号と、赤外光信号との差もしくは比に応じて、前記重み付けの係数を変更すると好ましい。

本発明の一態様によれば、前記カラー画像生成手段は、前記可視光成分における輝度信号が前記赤外光信号以上の場合には、前記重み付けの係数を高め、前記可視光成分における輝度信号が前記赤外光信号より小さい場合には、前記重み付けの係数を低めると好ましい。可視光成分における輝度信号の方が大きい場合には、注目単位画素部からの画像信号が本来の色情報を有している可能性が高いからである。

本発明の一態様によれば、前記可視光成分における輝度信号の方が大きい場合には、前記重み付けの係数を１とし、前記赤外光信号の方が低い場合は、前記重み付けの係数を０とすると好ましい。

本発明の一態様によれば、前記近接単位画素部が前記注目単位画素部を中心とする所定範囲内に位置しており、前記カラー画像生成手段は、前記所定範囲内において、前記可視光成分における輝度信号が前記赤外光信号以上となる前記単位画素部の数が、所定数を下回った場合、前記所定範囲を拡張すると、当該所定範囲内で検出される可視光が少ない場合も有効である。ここで、所定数とは、例えば前記可視光成分における輝度信号が前記赤外光信号より小さい前記単位画素部の数である。

本発明の一態様によれば、前記カラー画像生成手段は、前記固体撮像素子の撮像面を複数のブロックに分割し、ブロック毎に前記単位画素部から検出される可視光成分における輝度信号の平均値及び色差信号の平均値と、赤外光信号の平均値を求め、前記注目単位画素部と、前記注目単位画素部を含む前記ブロックの周囲の前記ブロックとの距離に応じて、前記近接単位画素が検出した色差信号の代わりに、前記周囲のブロックにおける色差信号の平均値それぞれを重み付けして加重平均を行うことにより、前記注目単位画素部の前記名目色差成分を導出すると、ブロックの平均値を用いることができるので、極端な着色がなされたカラー画像の生成を抑制できる。

本発明の一態様によれば、前記カラー画像生成手段は、前記注目単位画素部を含む前記ブロックの可視光成分における輝度信号の平均値が、同じブロックの赤外光信号の平均値を下回った場合に限り、前記近接単位画素が検出した色差信号の代わりに、前記周囲のブロックにおける色差信号の平均値それぞれを重み付けして加重平均を行うと好ましい。前記ブロックの可視光成分における輝度信号の平均値が、同じブロックの赤外光信号の平均値以上であれば、そのブロック内で十分な色情報を得ることができる可能性が高いからである。

本発明の撮像装置によれば、赤外光が支配的である夜間においても、本来の被写体の色を再現可能で、違和感の少ない画像を得ることができる。

本実施の形態にかかる撮像装置１のブロック図である。 固体撮像素子３の画素の配列を示す図である。 Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。 画像処理部４の詳細な構成を示すブロック図である。 固体撮像素子３の撮像面の一部を切り取って示す図である。 ｋ（ｘ，ｙ）の一例を示すグラフである。 Ｓ（ｘ，ｙ）の一例を示すグラフである。 Ｌ（ｘ，ｙ）の一例を示すグラフである。 固体撮像素子３の画素の一部を切り取って示す図である。 固体撮像素子３の撮像面を所定画素数のブロックＢＬ（例えば１０×１０の単位画素部）に分割して示す図である。 固体撮像素子３の撮像面を所定画素数のブロックＢＬ（例えば１０×１０の単位画素部）に分割して示す図である。

以下、本発明の実施の形態にかかる撮像装置１について説明する。図１は、本実施の形態にかかる撮像装置１のブロック図である。図１に示すように撮像装置１は、レンズ２、固体撮像素子（以下、撮像素子ともいう。）３、画像処理部４、制御部５、夜間など被写体輝度が低い場合に被写体に向かって近赤外光を照射する近赤外発光部６，及び制御部５の制御信号により近赤外発光部６を駆動する駆動部７を備えている。ここで、撮像装置１は、例えば車両に搭載され、車両の周囲の被写体を撮像する用途に用いられるが、用途はそれに限られない。

レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される、例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図示省略）、シャッタ（図示省略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。

撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭｌＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

本実施の形態において、撮像素子３は、被写体の光像を入射して、カラーフィルタを備える画素により可視カラー画像成分を変換出力し、赤外フィルタを備える画素により赤外画像成分を変換出力し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を変換出力するようになっているが、これに限られることはない。

画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３から出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。

制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、撮像装置１の全体制御を司る。

図２は、固体撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３には、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅ画素、Ｒ画素、ＩＲ画素、及びＷ画素とを含む単位画素部３１がマトリックス状に配列されている。尚、例えば「Ｙｅ」画素とは、「Ｙｅ」フィルタを有する画素の意味であり、以下同様とする。

図２に示すごとく、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されるというように、Ｒ画素、ＩＲ画素、Ｗ画素，及びＹｅ画素が千鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。

Ｙｅ画素はＹｅフィルタを備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅおよび赤外画像成分を出力する。Ｒ画素はＲフィルタを備えているため、Ｒの可視カラー画像成分である画像成分Ｒおよび赤外画像成分を出力する。ＩＲ画素はＩＲフィルタを備えているため、赤外画像成分である画像成分ＩＲを出力する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分ＩＲとを含む輝度画像成分である画像成分Ｗを出力する。

図３は、Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。可視波長領域の光を可視光成分とし、赤外波長領域の光を赤外光成分とする。

図３に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。

ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

他に似たような特性を実現するには、Ｙｅ、Ｒ、ＩＲの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）＋ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。

図４は、画像処理部４の詳細な構成を示すブロック図である。カラー画像生成手段である画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、及びＲＧＢ色信号生成部４４を備えている。

色補間部４１は、撮像素子３から出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、Ｒ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。

色信号生成部４２は、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分（以下、赤外光信号という）ＩＲと、画像成分Ｗとを下記式（１ａ）（１ｂ）（１ｃ）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ （１ａ）
ｄＧ＝Ｙｅ−Ｒ （１ｂ）
ｄＢ＝Ｗ−Ｙｅ （１ｃ）

色空間変換部４３は、式（２ａ）（２ｂ）（２ｃ）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、可視光の輝度信号Ｙと色差信号Ｃｂ、Ｃｒ（色差信号の一例）とを含む色空間に変換する。ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。
Ｙ＝０．３ｄＲ＋０．６ｄＧ＋０．１ｄＢ （２ａ）
Ｃｂ＝−０．１７ｄＲ−０．３３ｄＧ＋０．５ｄＢ （２ｂ）
Ｃｒ＝０．５ｄＲ−０．４２ｄＧ−０．０８ｄＢ （２ｃ）

また、色空間変換部４３は、単位画素部３１の出力した画像信号毎に、画像成分ＩＲから得られる赤外光信号Ｉｒと、可視光の輝度信号Ｙとを比較し、Ｉｒ≦Ｙの場合には、（３）式で用いる重み付け係数ｋ（ｘ，ｙ）を大きくし（極端な場合は１）、Ｉｒ＞Ｙの場合には、以下の（３ａ）（３ｂ）式で用いる重み付け係数ｋ（ｘ，ｙ）を小さくして（極端な場合は０）、以下の通り加重平均で値を求める。尚、赤外光信号と可視光の輝度信号の大小判定を行わず、単にＹ−Ｉｒを計算し、それに応じて重み付け係数ｋ（ｘ，ｙ）を決定しても良い。

図５は、固体撮像素子３の撮像面の一部を切り取って示す図である。図５において、中央に注目単位画素部ＴＧを含み、その周囲にわたって５×５の単位画素部３１が並んでいる。色空間変換部４３は、周囲の単位画素部３１の色差信号に基づいて、注目単位画素部ＴＧの色差信号を作成する。作成された色差信号を名目色差信号といい、実際に注目単位画素部ＴＧから検出された色差信号（（２ｃ）（２ｂ）式のＣｒ、Ｃｂ）と区別する。より具体的には、注目単位画素部ＴＧの色差信号Ｃｂ（ｘ₀，ｙ₀）、Ｃｒ（ｘ₀，ｙ₀）を、以下の式（３ａ）（３ｂ）に基づき、その周辺の単位画素部３１の色差Ｃｂ（ｘ，ｙ）、Ｃｒ（ｘ，ｙ）の加重平均により求める。但し、ｘ₀，ｙ₀は注目単位画素部ＴＧの座標であり、ｘ、ｙは周囲の単位画素部３１の座標である。
Ｃｂ（ｘ₀，ｙ₀）＝Σｋ（ｘ，ｙ）・ａ（ｘ，ｙ）・Ｃｂ（ｘ，ｙ） （３ａ）
Ｃｒ（ｘ₀，ｙ₀）＝Σｋ（ｘ，ｙ）・ａ（ｘ，ｙ）・Ｃｒ（ｘ，ｙ） （３ｂ）

ｋ（ｘ，ｙ）は、式（４）に示すように，可視光の輝度信号Ｙ（ｘ，ｙ）と赤外光信号Ｉｒ（ｘ，ｙ）の比で決まる値であり，可視光の輝度信号が赤外光信号より大きいほどｋ（ｘ，ｙ）を大きくすると、可視光の関与が高まるので好ましい。尚、加重平均を求めるので、ｋ（ｘ，ｙ）の合計は１とする（以下の（９ａ）（９ｂ）式においても同様）。図６にｋ（ｘ，ｙ）の一例を示す。
ｋ（ｘ，ｙ）＝ｆ（Ｙ（ｘ，ｙ），Ｉｒ（ｘ，ｙ）） （４）

ａ（ｘ，ｙ）は、重み付けの係数であって、例えば式（５）に示すようになる。
ａ（ｘ，ｙ）＝Ｓ（ｘ，ｙ）・Ｌ（ｘ，ｙ） （５）

ここで、Ｓ（ｘ，ｙ）は、式（６ａ）（６ｂ）に示すように、注目単位画素部ＴＧから周辺単位画素部３１への距離により決められる値であって、その距離が長いほど値が低下すると好ましい。図７にＳ（ｘ，ｙ）の一例を示す。
Ｓ（ｘ，ｙ）＝ｆ（Ｒ（ｘ，ｙ）） （６ａ）
Ｒ（ｘ，ｙ）＝√（（ｘ−ｘ₀）²＋（ｙ−ｙ₀）²） （６ｂ）

一方、Ｌ（ｘ，ｙ）は、式（７）に示すように、周辺単位画素部３１の可視光の輝度信号Ｙ（ｘ，ｙ）により決められ、可視光の輝度信号が大きいほど値が高くなるようにすると好ましい。図８にＬ（ｘ，ｙ）の一例を示す。
Ｌ（ｘ，ｙ）＝ｆ（Ｙ（ｘ，ｙ）） （７）

更に、ＲＧＢ色信号生成部４４は、注目単位画素部ＴＧについて、式（８ａ）に示すように、表示用輝度Ｙａｄｄを計算し、それに合わせて、（３ｂ）（３ａ）式で求められる色差信号Ｃｒ、Ｃｂに基づき式（８ｂ）（８ｃ）から表示用色差信号Ｃｒｍ、Ｃｂｍを計算する。
Ｙａｄｄ＝Ｙ＋Ｒ＋Ｇ＋Ｂ （８ａ）
Ｃｒｍ＝Ｃｒ×Ｙａｄｄ／Ｙ （８ｂ）
Ｃｂｍ＝Ｃｂ×Ｙａｄｄ／Ｙ （８ｃ）

その後、ＲＧＢ色信号生成部４４は、式（２ａ）（２ｂ）（２ｃ）を逆変換することで、輝度信号Ｙａｄｄと、色差信号Ｃｒｍ、Ｃｂｍとから、ＲＧＢ色信号ｄＲ’、ｄＧ’，ｄＢ’を算出する。

次に、本実施の形態の変形例について説明する。上述した実施の形態において、可視画素／赤外画素判定部としての色信号生成部４２は、任意の単位画素部３１から出力される可視光の輝度信号Ｙと、赤外光信号Ｉｒとを比較して、Ｉｒ＞Ｙの場合、その単位画素部３１を赤外画素と判定し、Ｉｒ≦Ｙの場合、その単位画素部３１を可視画素と判定する。尚、かかる判定の結果は画素のバラツキにより変わる恐れがあるが、判定前に画素のバラツキを補正する処理を行うものとする。図９に判定結果例を示す。

色信号生成部４２は、可視画素／赤外画素の判定結果により、注目単位画素部ＴＧが可視画素であった場合、上述の実施の形態とは異なり、（２ａ）（２ｂ）（２ｃ）式で計算した輝度信号、色差信号Ｃｂ、Ｃｒを、その単位画素部３１の値とする。一方、可視画素／赤外画素の判定結果により、注目単位画素部ＴＧが赤外画素であった場合、上述の実施の形態と同様に、その周囲の単位画素部３１の色差信号を用いて加重平均を行い、注目単位画素部ＴＧの名目色差信号を求めることができる。これにより、画像処理に必要な計算量を低減できる。

次に、本実施の形態の別な変形例について説明する。例えば注目単位画素部ＴＧの周囲に５×５で並んだ単位画素部３１のブロックにおいて、色信号生成部４２による可視画素／赤外画素の判定の結果、可視画素の数が所定数（例えば赤外画素の数）を下回った場合、注目単位画素部ＴＧの色差信号を形成する十分な可視光情報が得られない恐れがある。そこで、かかる場合にはブロックを拡張し、例えば注目単位画素部ＴＧの周囲に７×７或いは９×９で並んだ単位画素部３１のブロックにおいて、色信号生成部４２による可視画素／赤外画素の判定を行って、周囲の単位画素部３１の色差信号に基づいて注目単位画素部ＴＧの色差信号を計算する。ブロックの拡張は、色信号生成部４２による可視画素／赤外画素の判定の結果、可視画素の数が赤外画素の数を上回るまで行って良い。これにより色差信号の計算に必要な単位画素部３１の数を確保することで、色度の精度を保つことができる。

次に、本実施の形態の別な変形例について説明する。ここでは、図１０に示すように、固体撮像素子３の撮像面を、所定数（例えば１０×１０）の単位画素部３１を含むブロックＢＬに分割し、各ブロックＢＬ毎に可視光の輝度信号の平均値Ｙ_iと、赤外光信号の平均値Ｉｒ_iを計算し、それらを比較して、Ｉｒ_i≦Ｙ_iの場合には、当該ブロックＢＬの重み付け係数ｋ_iを大きくし、Ｉｒ_i＞Ｙ_iの場合には、当該ブロックＢＬの重み付け係数ｋ_iを小さくする。次に、各単位画素部３１の色信号Ｒ、Ｇ、Ｂに基づいて、色差信号を生成する。全ての単位画素部３１の色差信号を計算した後に、各ブロックＢＬ毎の平均色差信号Ｃｂ_i、Ｃｒ_iを計算する。尚、図１０の例では、Ｉｒ_i＞Ｙ_iの場合には、ｋ_i＝０として、計算から除外している。

注目ブロックＢＬ中の注目単位画素部ＴＧに対し、式（９ａ）（９ｂ）に示すように、注目ブロックＢＬの周辺にある周辺ブロックＢＬそれぞれの平均色差信号Ｃｂ_i、Ｃｒ_iを加重平均して、色差信号Ｃｂ（ｘ₀，ｙ₀）とＣｒ（ｘ₀，ｙ₀）を生成することができる。ここでｉはブロックの番号を示す。尚、周辺ブロックとは、注目単位画素部ＴＧを含むブロックに隣接するブロックとする。
Ｃｂ（ｘ₀，ｙ₀）＝Σｋ_i・Ｓ_i・Ｃｂ_i （９ａ）
Ｃｒ（ｘ₀，ｙ₀）＝Σｋ_i・Ｓ_i・Ｃｒ_i （９ｂ）

ｋ_iは、式（１０）に示すように、各ブロックＢＬ毎における可視光の輝度信号の平均値Ｙ_iと、赤外光信号の平均値Ｉｒ_iとの比較結果により決定される値であり，可視光の輝度信号が赤外光信号より大きいほど、大きくすると好ましい。
ｋ_i＝ｆ（Ｙ_i，Ｉｒ_i） （１０）

又、重み付けの係数Ｓ_iは、式（１１）に示される。ここで、Ｒは注目単位画素部から周辺ブロックＢＬ中心までの距離（例えば図１０のＲ１〜Ｒ５）を示す。距離が長いほどＳ_iを低下させると好ましい。
Ｓ_i＝ｆ（Ｒ） （１１）

次に、本実施の形態の別な変形例について説明する。同様に、固体撮像素子３の撮像面を所定数のブロックＢＬ（例えば１０×１０の単位画素部）に分割し、各ブロックＢＬ毎に可視光の輝度信号の平均値Ｙ_iと、赤外光信号の平均値Ｉｒ_iを計算し、それらを比較して、Ｉｒ_i≦Ｙ_iの場合には、当該ブロックＢＬは可視光が支配的な可視ブロックと判定し、Ｉｒ_i＞Ｙ_iの場合には、当該ブロックＢＬは赤外光が支配的な可視ブロックと判定する（図１１参照）。

可視ブロックと判定された場合，当該ブロックにおける単位画素部３１から出力される色信号Ｒ，Ｇ，Ｂに基づいて，（２ｂ）（２ｃ）式により色差信号を生成する。一方、赤外ブロック判定された場合，当該ブロックにおける注目単位画素部ＴＧの色差信号は、周辺にある可視ブロックの平均色信号Ｃｂ_i、Ｃｒ_iを加重平均して、色差情報Ｃｂ（ｘ₀，ｙ₀）とＣｒ（ｘ₀，ｙ₀）を生成することができる。これにより、画像処理に必要な計算量を低減できる。

本発明は、明細書に記載の実施の形態・変形例に限定されるものではなく、他の実施の形態・変形例を含むことは、本明細書に記載された実施の形態や思想から本分野の当業者にとって明らかである。

本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。ブロック分けした画素数は任意であり、縦横の数が一致しなくても良い。

１ 撮像装置
２ レンズ
３ 固体撮像素子
４ 画像処理部
５ 制御部
４１ 色補間部
４２ 色信号生成部
４３ 色空間変換部
４４ ＲＧＢ信号生成部

本参考例の撮像装置は、分光感度の異なる少なくとも３種類の画素が配列され、そのうち、少なくとも１種類の画素は赤外領域に感度を持つ画素であって、可視光成分と赤外光成分とを検出可能な固体撮像素子と、前記固体撮像素子により被写体を撮像したときに、前記固体撮像素子から得られた前記可視光成分の輝度情報と、前記赤外光成分に基づく赤外光情報とに基づいて、カラー画像を生成するカラー画像生成手段と、を有することを特徴とする。

本参考例によれば、カラー画像生成手段が、前記固体撮像素子により被写体を撮像したときに、前記固体撮像素子から得られた前記可視光成分の輝度情報と、前記赤外光成分に基づく赤外光情報とに基づいて、例えば色差信号を重み付けするなどして、カラー画像を生成するので、本来の被写体の色を再現可能で、違和感の少ないカラー画像を得ることができる。尚、「可視光成分の輝度情報」とは、例えば可視光信号における輝度信号値であり、「赤外光情報」とは、例えば赤外光信号値である。

Claims (11)

1. 分光感度の異なる少なくとも３種類の画素が配列され、そのうち、少なくとも１種類の画素は赤外領域に感度を持つ画素であって、可視光成分と赤外光成分とを検出可能な固体撮像素子と、
   前記固体撮像素子により被写体を撮像したときに、前記固体撮像素子から得られた前記可視光成分の輝度情報と、前記赤外光成分に基づく赤外光情報とに基づいて、カラー画像を生成するカラー画像生成手段と、を有することを特徴とする撮像装置。
2. 被写体からの可視光成分と赤外光成分とを検出可能な、複数の画素を含む単位画素部を２次元的に配置した固体撮像素子と、
   前記固体撮像素子により被写体を撮像したときに、検出した可視光成分の輝度信号が所定値以下であった注目単位画素部の可視光成分の色差信号を、前記注目単位画素部に近接する近接単位画素部が検出した前記可視光成分の色差信号に基づき導出される名目色差信号と置換して、前記名目色差信号を用いてカラー画像を生成するカラー画像生成手段と、を有することを特徴とする撮像装置。
3. 前記近接単位画素部とは、前記注目単位画素部の周囲に配置された単位画素部であることを特徴とする請求項２に記載の撮像装置。
4. 前記カラー画像生成手段は、前記近接単位画素部が複数ある場合には、前記注目単位画素部と前記近接単位画素部との距離に応じて、当該複数の近接単位画素部で検出された可視光成分の色差信号それぞれを、前記注目単位画素部と前記近接単位画素部との関連度合いに応じて重み付けして加重平均を行うことにより、前記名目色差信号を導出することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記注目単位画素部と前記近接単位画素部との距離が短い程、前記重み付けの係数を高めることを特徴とする請求項４に記載の撮像装置。
6. 前記カラー画像生成手段は、同一の前記近接単位画素部で検出された可視光成分における輝度信号の輝度信号と、赤外光信号との差もしくは比に応じて、前記重み付けの係数を変更することを特徴とする請求項４又は５に記載の撮像装置。
7. 前記カラー画像生成手段は、前記可視光成分における輝度信号が前記赤外光信号以上の場合には、前記重み付けの係数を高め、前記可視光成分における輝度信号が前記赤外光信号より小さい場合には、前記重み付けの係数を低めることを特徴とする請求項６に記載の撮像装置。
8. 前記カラー画像生成手段は、前記可視光成分における輝度信号の方が大きい場合には、前記重み付けの係数を１とし、前記赤外光信号の方が低い場合は、前記重み付けの係数を０とすることを特徴とする請求項６又は７に記載の撮像装置。
9. 前記近接単位画素部が前記注目単位画素部を中心とする所定範囲内に位置しており、前記カラー画像生成手段は、前記所定範囲内において、前記可視光成分における輝度信号が前記赤外光信号以上となる前記単位画素部の数が、所定数を下回った場合、前記所定範囲を拡張することを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置。
10. 前記カラー画像生成手段は、前記固体撮像素子の撮像面を複数のブロックに分割し、ブロック毎に前記単位画素部から検出される可視光成分における輝度信号の平均値及び色差信号の平均値と、赤外光信号の平均値を求め、前記注目単位画素部と、前記注目単位画素部を含む前記ブロックの周囲の前記ブロックとの距離に応じて、前記近接単位画素が検出した色差信号の代わりに、前記周囲のブロックにおける色差信号の平均値それぞれを重み付けして加重平均を行うことにより、前記注目単位画素部の前記名目色差成分を導出することを特徴とする請求項２乃至９のいずれか１項に記載の撮像装置。
11. 前記カラー画像生成手段は、前記注目単位画素部を含む前記ブロックの可視光成分における輝度信号の平均値が、同じブロックの赤外光信号の平均値を下回った場合に限り、前記近接単位画素が検出した色差信号の代わりに、前記周囲のブロックにおける色差信号の平均値それぞれを重み付けして加重平均を行うことを特徴とする請求項１０に記載の撮像装置。

Images