JP5527448B2 - 画像入力装置 - Google Patents

Description

本発明は、撮像素子により撮像された原画像データを画像処理する画像入力装置に関するものである。

近年、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば、特許文献１には、下記に示すようなカラー画像再生装置が開示されている。まず、Ｒ，Ｇ，Ｂのフィルタを備える画素により撮像された画像からＲ，Ｇ，Ｂの色成分からなる可視画像データを抽出する。次に、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する。次に、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する。次に、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似カラー画像を生成する。

特開２００７−１８４８０５号公報

ところで、夜間はフォトンの量が少ないため、撮影画像のＳ／Ｎ比が小さくなるという問題があるが、特許文献１の手法では、このようなことが考慮されていない。

本発明の目的は、フォトンの量が少ない夜間においても、画像のＳ／Ｎ比の高い輝度信号を生成することができる画像入力装置を提供することである。

（１）本発明の一局面による画像入力装置は、分光感度の異なる４種類の画素が配列され、４種類の原画像成分を含む原画像データを撮像する撮像素子と、前記原画像成分からＲＧＢ色信号を生成する色信号生成部と、前記原画像データを輝度信号と色度信号とを含む色空間に変換する色空間変換部とを備え、前記撮像素子は、それぞれ分光感度が異なる第１の画素、第２の画素、第３の画素、及び第４の画素を含む単位画素部がマトリックス状に配列され、可視波長領域と赤外波長領域とを有感度波長帯域とした際に、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、フィルタを備えておらず、前記色信号生成部は、前記ＲＧＢ色信号を、前記第１の画素、前記第２の画素、前記第３の画素及び前記第４の画素により得られる原画像成分の減算処理を用いて算出し、前記色空間変換部は、前記輝度信号を、前記第１の画素、前記第２の画素、前記第３の画素及び前記第４の画素より得られる原画像成分の加算処理を用いて算出するとともに、前記色度信号を、前記ＲＧＢ色信号を前記色空間に変換することで算出するものであり、赤外光の強度が可視光の強度よりも強くなるほど、前記色空間の色度信号が低くなるように算出することを特徴とする。

この構成によれば、撮像素子により少なくとも３種類の原画像成分を含む原画像データが撮像される。そして、色空間変換部は、原画像データを構成する原画像成分を加算処理することで第１の強度信号を生成し、この第１の強度画像信号を色空間の輝度信号とし算出している。そのため、フォトンの量が少ない夜間においても、Ｓ／Ｎ比の高い輝度信号を生成することができる。

また、この構成によれば、全画素が赤外波長領域に感度を有しているため、Ｓ／Ｎ比の高い赤外画像成分を得ることができる。また、分光透過特性の高い撮像素子を低コストで生産することができる。
また、この構成によれば、赤外光の強度が可視光の強度よりも強くなるほど、夜間を撮影している可能性が高く、色度信号が精度良く算出できていない可能性がある。そこで、本構成を採用することで、色度信号が低くなり、算出精度の低い色度信号の影響が低くなるように、Ｒ，Ｇ，Ｂの色信号を算出することができる。

（２）前記原画像成分の欠落画素データを補間する色補間部をさらに備えることが好ましい。

（３）前記色空間変換部は、前記原画像成分又は前記原画像成分に基づく色度信号に対してスムージング処理を行うことが好ましい。

この構成によれば、前記原画像成分又は前記原画像成分に基づく色度信号に対してスムージング処理が施されている。そのため、Ｓ／Ｎ比の高い色度信号が得られる。

（４）前記原画像成分からＲＧＢ色信号を生成する色信号生成部を更に備え、前記色空間変換部は、前記ＲＧＢ色信号を前記色空間に変換することで第２の強度信号を生成し、前記第２の強度信号に対する前記第１の強度信号の割合である第１の割合を用いて演算することで前記色空間の色度信号を算出することが好ましい。

この構成によれば、ＲＧＢ色信号を色空間変換することで第２の強度信号が生成されている。この第２の強度信号に対する第１の強度信号の割合が第１の割合として算出されている。そして、この第１の割合を用いて演算することで色空間の色度信号が算出されている。そのため、色空間変換部は、変換対象となる色空間でバランスの取れた色度信号と輝度信号とを生成することができる。

（５）前記原画像成分からＲＧＢ色信号を生成する色信号生成部を更に備え、前記色空間変換部は、前記ＲＧＢ色信号を前記色空間に変換することで前記第２の強度信号を生成し、スムージング処理を施した前記第１の強度信号に対するスムージング処理を施した前記第２の強度信号の割合である第２の割合を用いて演算することで前記第１の強度信号を補正し、補正後の第１の強度信号を前記色空間の輝度信号として算出することが好ましい。

この構成によれば、スムージング処理を施した第１の強度信号に対するスムージング処理を施した第２の強度信号の割合である第２の割合を用いて演算することで第１の強度信号が補正されている。そのため、人間が視認する画像の強度を精度良く再現した輝度信号を生成することができる。

（６）前記色空間変換部は、前記ＲＧＢ色信号を前記色空間に変換することで前記第２の強度信号を生成し、前記第２の強度信号に対する前記第１の強度信号の割合である第１の割合を用いて演算することで前記色空間の色度信号を算出することが好ましい。

この構成によれば、第１の割合を用いて演算することで色空間の色度信号が補正されている。そのため、変換対象となる色空間における強度信号と色度信号とのバランスを保つことができる。

（７）前記原画像データは赤外画像成分を含み、前記色空間変換部は、前記赤外画像成分を基に、赤外光の強度と可視光の強度とを比較し、赤外光の強度が強くなるに従って、前記第１の強度信号の重み付けが小さくなるように、前記第１の強度信号と前記原画像成分をそのまま用いた信号とを重み付け加算して前記色空間の輝度信号を算出することが好ましい。

この構成によれば、赤外光の強度が可視光の強度よりも強くなるに従って、第１の強度信号の重み付けが小さくなるように、第１の強度信号と原画像成分をそのまま用いた信号とが重み付け加算され、変換対象となる色空間の輝度信号が算出されている。そのため、人間が目視する画像の強度を精度良く表した輝度信号を生成することができる。

（８）前記原画像成分をスムージング処理するスムージング処理部と、前記スムージング処理部によりスムージング処理された原画像成分の欠落画素データを補間する色補間部と、前記原画像成分からＲＧＢ色信号を生成する色信号生成部とを更に備え、前記色信号生成部は、前記色補間部により欠落画素データが補間された原画像成分から前記ＲＧＢ色信号を生成することが好ましい。

この構成によれば、補間処理が行われる前にスムージング処理が行われているため、スムージング処理部の回路規模を小さくすることができる。

（９）前記撮像素子の分光感度の異なる少なくとも３種類の画素のうちの、少なくとも一つは赤外波長領域に感度を持つことが好ましい。

（１０）前記撮像素子の分光感度の異なる少なくとも３種類の画素のうちの、少なくとも一つは赤外波長領域のみに感度を有し、前記第１の強度信号は、赤外画像成分を含む原画像成分を加算処理することのみよって算出されることが好ましい。

この構成によれば、少なくとも一つは赤外波長領域に感度を有し、赤外画像成分を含む原画像成分を、減算処理することなく加算処理することのみによって算出しているため、Ｓ／Ｎ比の高い赤外画像成分を得ることができる。そのため、フォトンの量が少ない夜間においても、Ｓ／Ｎ比の高い輝度信号を生成することができる。

本発明によれば、原画像データを構成する原画像成分を加算処理することで第１の強度信号が生成され、この第１の強度信号が変換対象となる色空間の輝度信号として算出されている。そのため、フォトンの量の少ない夜間においても、Ｓ／Ｎ比の高い輝度信号を生成することができる。

また、ＲＧＢ色信号を色空間変換した後、スムージング処理することで色空間の色度信号を算出する場合には更に、フォトンの量の少ない夜間においても、Ｓ／Ｎ比の高い色度信号を生成することができる。

実施の形態１による画像入力装置１のブロック図を示している。 撮像素子の画素の配列を示す図である。 Ｙｅ，Ｒ，ＩＲフィルタの分光透過特性を示した図である。 画像処理部の詳細な構成を示すブロック図である。 ノイズ成分の分布を示すグラフである。 （ａ）は、減算処理されたノイズ成分を示す表であり、（ｂ）は加算処理されたノイズ成分を示す表である。 実施の形態１の画像入力装置１の動作を示すフローチャートである。 実施の形態２の画像入力装置１の動作を示すフローチャートである。 スムージング処理部を色補間部の前段に設けたときの画像処理部４のブロック図である。 シアンとマゼンタとの分光感度特性を示した図である。

（実施の形態１）
以下、本発明の実施の形態１による画像入力装置１について説明する。図１は、画像入力装置１のブロック図を示している。図１に示すように画像入力装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。ここで、画像入力装置１は、例えば自動車に搭載され、自動車の周囲の被写体を撮像する。

レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズや単焦点レンズ、その他のレンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備えていてもよく、この場合には制御部５の制御の下、絞り及びシャッタの駆動が制御される。

撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

そして、本実施の形態において、撮像素子３は、カラーフィルタを備える画素により、少なくとも可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、フィルタを備えない画素により可視画像成分と赤外画像成分とを含む画像成分を撮像する。

画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３から出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。

制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置１の全体制御を司る。

図２は、撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３は、Ｙｅ画素（第１の画素）、Ｒ画素（第２の画素）、ＩＲ画素（第３の画素）、及びＷ画素（第４の画素）を含む単位画素部３１がマトリックス状に配列されている。

図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が配列されていてもよい。

Ｙｅ画素はＹｅフィルタ（第１のカラーフィルタ）を備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を撮像する。Ｒ画素はＲフィルタ（第２のカラーフィルタ）を備えているため、Ｒの可視カラー画像成分である画像成分Ｒ（原画像成分）および赤外画像成分を撮像する。ＩＲ画素はＩＲフィルタ（赤外フィルタ）を備えているため、赤外画像成分である画像成分ＩＲ（原画像成分）を撮像する。Ｗ画素はフィルタを備えていないため、可視画像成分と画像成分ＩＲとを含む画像成分である画像成分Ｗ（原画像成分）を撮像する。

図３は、Ｙｅ，Ｒ，ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、赤外波長領域でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。なお、フィルタを有しない場合の画素の分光感度特性は、紫外領域まで感度を有しているが、レンズ２により紫外領域がカットされるため、４００ｎｍ〜１１００ｎｍが有感度波長帯域となる。また、分光感度特性は、図３に示すものに限るものでなく、可視光領域から赤外光領域にわたって感度を有するものであればよい。

図３に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。

ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

他に似たような特性を実現するには、Ｙｅ，Ｒ，ＩＲの代わりにＹｅ，Ｍ（マゼンタ）＋ＩＲ，Ｃ（シアン）＋ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、その遮蔽する波長領域の前後では透過波長領域を有するのに対し、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタは、遮蔽波長領域と透過波長領域との２つの隣接する波長領域となる特性を持たせれば良いので、急峻な分光透過特性を持たせることが容易にできる。そのため、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタは、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタよりも、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができる。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。

図４は、画像処理部４の詳細な構成を示すブロック図である。画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、及びＲＧＢ色信号生成部４４を備えている。

色補間部４１は、Ｙｅ画素より得られる画像成分Ｙｅ、Ｒ画素より得られる画像成分Ｒ、ＩＲ画素より得られる画像成分ＩＲ、及びＷ画素より得られる画像成分Ｗのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素の上述の配列のためである。また、補間処理としては、例えば線形補間処理を採用すればよい。

色信号生成部４２は、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを式（１）により合成して、色信号ｄＲ，ｄＧ，ｄＢ（ＲＧＢ色信号）を生成する。

ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ （１）
ｄＢ＝Ｗ−Ｙｅ
色空間変換部４３は、式（２）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ（第２の強度信号の一例）と色差信号Ｃｂ，Ｃｒ（色度信号の一例）とを含む色空間に変換する。ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。

Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ
Ｃｂ＝ｄＢ−Ｙ （２）
Ｃｒ＝ｄＲ−Ｙ
また、色空間変換部４３は、式（３）に示すように、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗを加算することで得られ輝度信号Ｙａｄｄ（第１の強度信号の一例）を、変換対象となる色空間の輝度信号として算出する。

Ｙａｄｄ＝（１／４）×（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ） （３）
ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため、減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。

図５は、ノイズ成分を含む画像成分の分布を示すグラフである。図６（ａ）は、減算処理されたノイズ成分を含む出力画像成分を示す表であり、図６（ｂ）は加算処理されたノイズ成分を含む出力画像成分を示す表である。図５において、縦軸はノイズ成分を含む画像成分の頻度を示し、横軸はノイズ成分を含む出力画像成分の強度を示している。

ａは例えば、ある画像成分Ａのノイズ成分を含む出力分布を示し、ｂはある画像成分Ｂのノイズ成分を含む出力分布を示しているものとする。ここでは、ノイズ成分を含む出力分布ａ，ｂは、例えば１０，９を平均値として、標準偏差が同一の正規分布を有しているものとしている。

図５に示す例において、ａ−ｂを簡略化して演算すると、図６（ａ）の結果が得られる。また、（１／２）×（ａ＋ｂ）を簡略化して演算すると、図６（ｂ）の結果が得られる。

減算処理を行った場合、図６（ａ）に示すように、ａ−ｂの最大値は３であり、最小値は−１である。よって、ノイズ成分の範囲は４となる。一方、加算処理を行った場合、図６（ｂ）に示すように、（ａ＋ｂ）／２の最大値は１０．５であり、最小値は８．５であり、ノイズ成分の範囲は２となる。この結果から、加算処理を行った方が減算処理を行った場合に比べて、ノイズ成分の範囲が小さくなり、Ｓ／Ｎ比が大幅に向上していることが分かる。なお、図５及び図６は、一例にすぎず、実際のノイズ成分の値を示したものではない。

図４に戻り、色空間変換部４３は、式（２）で求めた色差信号Ｃｂ，Ｃｒをスムージング処理し、色差信号Ｃｂｓ，Ｃｒｓを算出する。ここで、スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ，Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。

また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場合に平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。

このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ，Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ，ＣｒのＳ／Ｎ比を向上させることができる。

また、色空間変換部４３は、式（４）に示すように、式（２）で求めた輝度信号Ｙに対する式（３）で求めた輝度信号Ｙａｄｄの割合ＲＴ１（第１の割合：ＲＴ１＝Ｙａｄｄ／Ｙ）に応じて色差信号Ｃｒｓ，Ｃｂｓを補正し、色差信号Ｃｒｍ，Ｃｂｍを求める。

Ｃｒｍ＝Ｃｒｓ×Ｙａｄｄ／Ｙ
Ｃｂｍ＝Ｃｂｓ×Ｙａｄｄ／Ｙ （４）
このように割合ＲＴ１を用いて演算することで色信号を算出する、具体的には割合ＲＴ１を用いて色差信号Ｃｒｓ，Ｃｂｓを補正することで、変換対象となる色空間における色差信号と輝度信号とをバランス良く算出することができる。この処理を行うことにより、色信号ｄＲ′，ｄＧ′，ｄＢ′を計算したとき、輝度信号Ｙａｄｄが輝度信号Ｙよりも大きい場合でも鮮やかさが失われることがなく、輝度信号Ｙａｄｄが輝度信号Ｙよりも小さい場合でも鮮やかさが過剰になり過ぎる問題を引き起こすことを防止できる。

ＲＧＢ色信号生成部４４は、式（２）を逆変換することで、輝度信号Ｙａｄｄと、色差信号Ｃｒｍ，Ｃｂｍとから色信号ｄＲ′，ｄＧ′，ｄＢ′を算出する。具体的には、式（２）のＹをＹａｄｄとし、ＣｂをＣｂｍとし、ＣｒをＣｒｍとし、ｄＲ，ｄＧ，ｄＢをｄＲ′，ｄＧ′，ｄＢ′として、式（２）を逆変換すればよい。

なお、色信号ｄＲ′，ｄＧ′，ｄＢ′は、上述の処理を経て算出されたものであるため、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗを減算処理することで算出された色信号ｄＲ，ｄＧ，ｄＢに比べて遙かに精度の高い色信号となっている。

次に、画像入力装置１の動作について説明する。図７は、実施の形態１の画像入力装置１の動作を示すフローチャートである。まず、制御部５は、撮像素子３に１フレームの原画像データを撮像させる。これにより、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗが得られる（ステップＳ１）。

ここで、撮像素子３は、Ｙｅ画素により画像成分Ｙｅを撮像し、Ｒ画素により画像成分Ｒを撮像し、ＩＲ画素により画像成分ＩＲを撮像し、Ｗ画素により画像成分Ｗを撮像する。なお、画像入力装置１が動画像を撮像する場合、制御部５は、３０ｆｐｓ、６０ｆｐｓ等のフレームレートで撮像素子３に原画像データを撮像させればよい。また、画像入力装置１が静止画像を撮像する場合、制御部５は、ユーザによりレリーズボタンが押されたときに、撮像素子３に原画像データを撮像させればよい。

次に、色補間部４１により、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗに色補間処理が施される。次に、色信号生成部４２は、式（１）に示すｄＲ＝Ｒ−ＩＲ、ｄＧ＝Ｙｅ−Ｒ、ｄＢ＝Ｗ−Ｙｅの演算を行い色信号ｄＲ，ｄＧ，ｄＢを算出する（ステップＳ２）。

次に、色信号生成部４２は、式（２）に示すＹ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ、Ｃｂ＝ｄＢ−Ｙ、Ｃｒ＝ｄＲ−Ｙの演算を行い、輝度信号Ｙ、色差信号Ｃｒ，Ｃｂを算出する（ステップＳ３）。

次に、色空間変換部４３は、色差信号Ｃｒ，Ｃｂにスムージング処理を行い、色差信号Ｃｒｓ，Ｃｂｓを算出する（ステップＳ４）。

次に、色空間変換部４３は、式（１）に示すＹａｄｄ＝（１／４）×（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ）の演算を行い、輝度信号Ｙａｄｄを算出する（ステップＳ５）。

なお、本実施の形態では、式（１）に示すように、Ｒ，ＩＲ，Ｗ，Ｙｅを加算することで輝度信号Ｙａｄｄを算出したが、これに限定されず、例えば式（１）′に示すように重み付け加算することで輝度信号Ｙａｄｄを算出してもよい。

Ｙａｄｄ＝α・Ｒ＋β・ＩＲ＋γ・Ｗ＋σ・Ｙｅ （１）′
但し、α，β，γ，σは重み付け係数であり、α＋β＋γ＋σ＝１である。また、α，β，γ，σとしては、例えば予め定められた値を採用すればよい。

次に、色空間変換部４３は、式（４）に示す演算を行って色差信号Ｃｒｍ，Ｃｂｍを算出する（ステップＳ６）。なお、図７では、色差信号Ｃｒｍ、Ｃｂｍを纏めてＣｍと表し、色差信号Ｃｒｓ，Ｃｂｓを纏めてＣｓと表している。

次に、ＲＧＢ色信号生成部４４は、式（２）を逆変換することで、輝度信号Ｙａｄｄ、色差信号Ｃｒｍ，Ｃｂｍから色信号ｄＲ′，ｄＧ′，ｄＢ′を算出する（ステップＳ７）。

このように画像入力装置１によれば、式（１）を用いて輝度信号Ｙａｄｄを算出しているため、夜間であってもＳ／Ｎ比の高い輝度信号Ｙａｄｄを算出することができる。また、色差信号Ｃｒ，Ｃｂをスムージング処理しているため、夜間であってもＳ／Ｎ比の高い色差信号Ｃｒｓ，Ｃｂｓを算出することができる。

（実施の形態２）
実施の形態２による画像入力装置１は、色差信号Ｃｒｍ，Ｃｂｍの算出手法が実施の形態１と相違する点を特徴としている。なお、本実施の形態において実施の形態１と同一のものは説明を省略する。また、画像処理部４の詳細な構成は実施の形態１と同一であるため、図４を用いる。

本実施の形態において図４に示す色空間変換部４３は、式（２）で求めた輝度信号Ｙにスムージング処理を施し、輝度信号Ｙｓを求める。また、式（３）で求めた輝度信号Ｙａｄｄにスムージング処理を施し、輝度信号Ｙａｄｄｓを算出する。ここで、スムージング処理としては、カスケードフィルタ処理や、通常のフィルタ処理を採用すればよい。

そして、色空間変換部４３は、式（５）に示すように、スムージング処理を施した輝度信号Ｙａｄｄｓに対するスムージング処理を施した輝度信号Ｙｓの割合ＲＴ２（第２の割合：ＲＴ２＝Ｙｓ／Ｙａｄｄｓ）に応じて輝度信号Ｙａｄｄを補正し、補正した輝度信号Ｙａｄｄ′を変換対象となる色空間の輝度信号として算出する。

Ｙａｄｄ′＝Ｙａｄｄ×Ｙｓ／Ｙａｄｄｓ （５）
輝度信号Ｙは、式（２）に示す色空間変換処理により求められているため、人間が視認する画像の輝度を精度良く再現した信号となっている。一方、輝度信号Ｙａｄｄは、式（３）に示す加算処理により算出されているため、式（２）に比べて人間が視認する画像の輝度を精度良く再現することが難しくなっている。したがって、輝度信号Ｙｓに比べて輝度信号Ｙａｄｄｓが大きくなるにつれて、すなわち、割合ＲＴ２が１から小さくなるにつれて、輝度信号Ｙａｄｄは、人間が視認する画像の輝度を精度良く再現することができなくなってしまう虞がある。そこで、式（５）を用いて輝度信号Ｙａｄｄ′を求めることで、輝度信号Ｙａｄｄを人間が視認する画像の輝度を精度良く再現した信号にすることができる。なお、ここで、Ｙｓはスムージングされた値を用いているため、ノイズ成分が低減されている。ただし、絵柄によってはエッジ部で不自然なアーチファクトが発生する場合がある。

また、色空間変換部４３は、式（６）に示すように上述の割合ＲＴ１に応じて色差信号Ｃｒｓ，Ｃｂｓを補正し、色差信号Ｃｒｍ′，Ｃｂｍ′を算出する。なお、ここでは、Ｙａｄｄの代わりにＹａｄｄ′を用いるのがよい。

Ｃｒｍ′＝Ｃｒｓ×Ｙａｄｄ′／Ｙ
Ｃｂｍ′＝Ｃｂｓ×Ｙａｄｄ′／Ｙ （６）
これにより、変換対象となる色空間における輝度信号と色差信号とのバランスが保たれ、後段のＲＧＢ色信号生成部４４により生成される色信号ｄＲ′，ｄＧ′，ｄＢ′の算出精度を高めることができる。

また、色空間変換部４３は、赤外光の強度と可視光の強度とを比較し、赤外光の強度が強い場合、輝度信号Ｙａｄｄの重み付けが小さくなるように、輝度信号Ｙａｄｄと画像成分Ｙｅ，Ｒ，ＩＲ，Ｗをそのまま用いた信号Ｙｔとを重み付け加算して色空間の輝度信号を算出してもよい。

この場合、色空間変換部４３は、上記の割合ＲＴ２が、輝度信号Ｙａｄｄｓが支配的であることを示す閾値Ｔｈ１より小さい場合、赤外光の強度が可視光の強度よりも強いと判定すればよい。そして、式（７）に示すように輝度信号Ｙａｄｄの重み付けが小さくなるように、輝度信号Ｙａｄｄと信号Ｙｔとを重み付け加算することで、輝度信号Ｙａｄｄ′を算出すればよい。

Ｙａｄｄ′＝Ｙｔ×（１−Ｙｓ／Ｙａｄｄｓ）＋Ｙａｄｄ×（Ｙｓ／Ｙａｄｄｓ） （７）
但し、Ｙｔは、画像成分Ｙｅ，Ｒ，ＩＲ，Ｗのいずれかをそのまま用いた信号を表す。具体的には、ある画素の輝度信号Ｙａｄｄ′を算出する場合に当該画素が、Ｗフィルタに対応する場合はＹｔ＝Ｗとし、Ｙｅフィルタに対応する場合はＹｔ＝Ｙｅとし、Ｒフィルタに対応する場合はＹｔ＝Ｒとし、ＩＲフィルタに対応する場合はＹｔ＝ＩＲとする。

割合ＲＴ２において、輝度信号Ｙａｄｄｓが支配的である場合、輝度信号Ｙａｄｄ′は人間が目視する画像の輝度と大きく相違する可能性がある。そこで、輝度信号Ｙａｄｄ′が大きい場合は、輝度信号Ｙａｄｄに対して信号Ｙｔの割合が大きくなるように、輝度信号Ｙａｄｄ′を算出することで、輝度信号Ｙａｄｄ′を人間が目視する画像の輝度により近い信号にすることができる。

また、割合ＲＴ２において、輝度信号Ｙａｄｄｓが支配的である場合は、赤外光が支配的であることを示しているため、Ｙｅ，Ｒ，ＩＲ，Ｗの画素間での被写体の色による信号のレベル差が無視できる。すなわち、モノクロセンサの場合と同等とみなせる。したがって、Ｙｅ，Ｒ，ＩＲ，Ｗの画素を加算せず、それぞれ独立した信号として扱うことで、解像度（分解能）を最大とすることができる。

更に、色空間変換部４３は、画像成分Ｗと画像成分ＩＲとの差又は比を用いて、赤外光の強度と可視光の強度とを比較してもよい。この場合、ＩＲ／Ｗが、１に近い所定の値より大きいときは赤外光の強度が可視光の強度よりも強いと判定し、０に近い所定の値より小さいときは可視光の強度が赤外光の強度よりも強いと判定すればよい。

また、Ｗ−ＩＲが０に近い所定の値より小さいときは赤外光の強度が可視光の強度よりも強いと判定し、ＩＲが０に近い所定の値より小さいときは可視光の強度が赤外光の強度よりも強いと判定すればよい。

更に、ＩＲ／Ｗ又はＩＲ−Ｗの値が大きくなるほど、赤外光の強度が可視光の強度より強くなるため、ＩＲ／Ｗ又はＩＲ−Ｗの値に応じて信号Ｙｔの重み付け係数を定め、式（７）′の演算を行い輝度信号Ｙａｄｄ′を算出してもよい。

Ｙａｄｄ′＝ｋ・Ｙｔ＋Ｙａｄｄ・（１−ｋ） （７）′
但し、ｋ≦１であり、ｋはＩＲ／Ｗ又はＩＲ−Ｗが大きくなるにつれて値が大きくなる予め定められた信号Ｙｔの重み係数を示す。

次に、ＲＧＢ色信号生成部４４は、式（２）を逆変換することで、輝度信号Ｙａｄｄ′と色差信号Ｃｒｍ′，Ｃｂｍ′とから色信号ｄＲ′，ｄＧ′，ｄＢ′を算出する。

次に、画像入力装置１の動作について説明する。図８は、実施の形態２の画像入力装置１の動作を示すフローチャートである。

ステップＳ１１〜Ｓ１５は、図７に示すステップＳ１〜Ｓ５と同一であるため、説明を省く。ステップＳ１６において、色空間変換部４３は、輝度信号Ｙａｄｄにスムージング処理を施し、輝度信号Ｙａｄｄｓを算出すると共に、輝度信号Ｙにスムージング処理を施し、輝度信号Ｙｓを算出する。

次に、色空間変換部４３は、割合ＲＴ２が閾値Ｔｈ１以上の場合、式（５）の演算により輝度信号Ｙａｄｄ′を算出し、割合ＲＴ２が閾値Ｔｈ１未満の場合、式（７）の演算により輝度信号Ｙａｄｄ′を算出する（ステップＳ１７）。

次に、色空間変換部４３は、式（６）の演算により、色差信号Ｃｒｍ′，Ｃｂｍ′を求める（ステップＳ１８）。次に、ＲＧＢ色信号生成部４４は、式（２）を逆変換し、色信号ｄＲ′，ｄＧ′，ｄＢ′を求める（ステップＳ１９）。

このように、実施の形態２による画像入力装置１によれば、実施の形態１の効果に加え、割合ＲＴ２が閾値Ｔｈ１以上の場合は、式（５）を用いて輝度信号Ｙａｄｄ′を算出し、割合ＲＴ２が閾値Ｔｈ１未満の場合は、式（７）を用いて輝度信号Ｙａｄｄ′を算出しているため、人間が視認する画像の輝度を精度良く再現した輝度信号を生成することができる。

また、式（６）を用いて色差信号Ｃｒｓ，Ｃｂｓを補正して、色差信号Ｃｒｍ′，Ｃｂｍ′を算出しているため、変換対象となる色空間において輝度信号と色差信号とをバランス良く求めることができる。

なお、色空間変換部４３は、赤外光の強度が可視光の強度に近づくにつれて、色差信号Ｃｒｍ′，Ｃｂｍ′が低くなるように色差信号Ｃｒｍ′，Ｃｂｍ′を補正してもよい。

この場合、色空間変換部４３は、例えば式（６）に代えて、式（８）により色差信号Ｃｒｍ′，Ｃｂｍ′を算出すればよい。

Ｃｒｍ′＝Ｃｒｓ×Ｙａｄｄ×ＲＴ２／Ｙ
Ｃｂｍ′＝Ｃｂｓ×Ｙａｄｄ×ＲＴ２／Ｙ （８）
つまり、割合ＲＴ２が閾値Ｔｈ１より小さい場合は、輝度信号Ｙに対して輝度信号Ｙａｄｄ′が支配的となり、夜間を撮影している可能性が高く、色情報が不足するため色差信号が精度良く算出できていない可能性がある。そこで、式（８）を採用することで色差信号が低くなり、算出精度の低い色差信号の影響が低くなるように、色信号ｄＲ′，ｄＧ′，ｄＢ′を算出することができ、色信号ｄＲ′，ｄＧ′，ｄＢ′を視覚的に違和感なく算出することができる。さらに、色信号ｄＲ′，ｄＧ′，ｄＢ′は、標準的なディスプレイ（例えば、ＩＥＣ ６１９６６−２−１ ｓＲＧＢ規格）に合うようにさらに色変換されてもよい。

また、割合ＲＴ２を閾値と比較することで使用する数式を（６）又は（８）に切り替えることに限定されず、割合ＲＴ２が小さくなるにつれて、色差信号Ｃｒｓ，Ｃｂｓを小さくするような予め定められた補正値を記憶しておき、この補正値を用いて色差信号Ｃｒｍ′，Ｃｂｍ′を算出してもよい。この場合、式（８）において、ＲＴ２に代えて、この補正値を採用すればよい。

なお、上記実施の形態１，２では、第２〜第３の画素として、Ｒ画素、ＩＲ画素を用いたが、これに限定されず、シアン（Ｃ）画素、及びマゼンタ（Ｍ）画素を採用してもよいことは前述の通りである。すなわち、第１〜第４の画素をＹｅ，Ｍ，Ｃ，Ｗ画素としてもよい。この場合、ショットノイズが低くなり、原画像データに含まれるノイズ成分をより低くすることができる。

また、この場合、Ｙｅ，Ｃ，Ｍ，Ｗ画素により得られる画像成分を画像成分Ｙｅ，Ｃ，Ｍ，Ｗとすると、ＲＧＢ色信号生成部４２は、式（１）に代えて、式（９）により色信号ｄＲ，ｄＧ，ｄＢを求めればよい。

ｄＲ＝Ｗ−Ｃ
ｄＧ＝Ｗ−Ｍ （９）
ｄＢ＝Ｗ−Ｙｅ
また、色空間変換部４３は、式（３）に代えて、式（１０）により輝度信号Ｙａｄｄを求めればよい。

Ｙａｄｄ＝（１／４）×（Ｙｅ＋Ｃ＋Ｍ＋Ｗ） （１０）
なお、シアン（Ｃ）、マゼンタ（Ｍ）の分光感度特性を示すと図１０のようになる。

ここで、式（１０）のように単純加算平均ではなく、式（１）′と同様に重み付け加算を採用してもよい。また、上記実施の形態１、２では、色空間変換部４３が色差信号Ｃｂ，Ｃｒをスムージング処理したが、これに限定されない。すなわち、図９に示すように色補間部４１の前段にスムージング処理部４５を設け、スムージング処理部４５に画像成分Ｙｅ，Ｒ，ＩＲ，Ｗをスムージング処理させることで、色空間変換部４３によるスムージング処理を省略してもよい。

更にスムージング処理は、色信号ｄＲ，ｄＧ，ｄＢが算出されるまでであれば、どこで実施しても構わない。

また、上記実施の形態１，２では、撮像素子３は、第１〜第４の画素の４種類の画素を備えているが、これに限定されず、少なくとも３種類の画素を備えるものであればよい。

この場合、撮像素子３を構成する画素の種類として、各画素の分光透過特性からＲ，Ｇ，Ｂの色信号を生成することができる種類のものを採用すればよい。

（効果のまとめ）
以上の処理により、以下の効果が得られる。
（１）フォトンをなるべく受けられる分光感度のフィルタのため、ショットノイズが減る。

（２）色信号処理で、視覚的に目立つ輝度成分を加算のみで計算するため、ノイズが強調されない。

（３）色度信号の計算には減算が用いられ、ノイズが増えるが、スムージングするためのノイズが減り、かつ、人間の目の視覚特性のため、ボケて見えることがない。

（４）人間の目で見た明るさに合わせるようにすることができるため、可視光で見たような色再現ができる。

（５）赤外光しかない場合には、解像度をあげることができる。

１ 画像入力装置
２ レンズ
３ 撮像素子
４ 画像処理部
５ 制御部
４１ 色補間部
４２ 色信号生成部
４３ 色空間変換部
４４ ＲＧＢ色信号生成部
４５ スムージング処理部

Claims (3)

1. 分光感度の異なる４種類の画素が配列され、４種類の原画像成分を含む原画像データを撮像する撮像素子と、
   前記原画像成分からＲＧＢ色信号を生成する色信号生成部と、
   前記原画像データを輝度信号と色度信号とを含む色空間に変換する色空間変換部とを備え、
   前記撮像素子は、それぞれ分光感度が異なる第１の画素、第２の画素、第３の画素、及び第４の画素を含む単位画素部がマトリックス状に配列され、
   可視波長領域と赤外波長領域とを有感度波長帯域とした際に、
   前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、
   前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、
   前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、
   前記第４の画素は、フィルタを備えておらず、
   前記色信号生成部は、前記ＲＧＢ色信号を、前記第１の画素、前記第２の画素、前記第３の画素及び前記第４の画素により得られる原画像成分の減算処理を用いて算出し、
   前記色空間変換部は、前記輝度信号を、前記第１の画素、前記第２の画素、前記第３の画素及び前記第４の画素より得られる原画像成分の加算処理を用いて算出するとともに、前記色度信号を、前記ＲＧＢ色信号を前記色空間に変換することで算出するものであり、赤外光の強度が可視光の強度よりも強くなるほど、前記色空間の色度信号が低くなるように算出することを特徴とする画像入力装置。
2. 前記原画像成分の欠落画素データを補間する色補間部をさらに備えることを特徴とする請求項１記載の画像入力装置。
3. 前記色空間変換部は、前記原画像成分又は前記原画像成分に基づく色度信号に対してスムージング処理を行うことを特徴とする請求項１又は２記載の画像入力装置。
   

Images