JP2018093284A - 可視近赤外同時撮像装置 - Google Patents

Abstract

【課題】可視光帯域と近赤外光帯域の光を透過するＤＢＰＦと白Ｗの画素領域を有するカラーフィルタとを用いて可視画像と近赤外画像を同時に撮影する場合に、白Ｗ成分の信号出力を用いた演算により赤外ＩＲ成分の信号出力を求めることで発生するモアレを低減できる可視近赤外同時撮像装置を提供する。【解決手段】可視近赤外同時撮像装置は、可視光と近赤外光を透過するダブルバンドパスフィルタ（ＤＢＰＦ２）と、赤、緑、青、白の各画素領域が所定パターンで配置されるとともに、各画素領域が近赤外光に透過特性を有するカラーフィルタと、固体撮像素子３を備える。可視近赤外同時撮像装置は、赤外光成分の出力信号を算出するＩＲ信号生成部６と、ＩＲ信号生成部６により算出された赤外光成分の出力信号に生じるモアレを低減するローパスフィルタ２１とを備える。【選択図】図１

Description

本発明は、可視画像と赤外画像を同時に撮影して出力可能な可視近赤外同時撮像装置に関する。

一般に、監視用のカメラ等において、可視光での撮影と赤外光での撮影との両方が可能なカメラが求められている。一つの固体撮像素子で、可視画像と赤外画像を撮影するカメラとして、可視光帯域の光と、近赤外光帯域の光とを透過するダブルバンドパスフィルタと、赤Ｒ、緑Ｇ、青Ｂの画素領域に加えて赤外ＩＲの画素領域をモザイク状に有するカラーフィルタとを用いる撮像システムが提案されている（例えば、特許文献１参照）。

ＤＢＰＦは、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。この可視光帯域と第２の波長帯域の間の波長帯域（第１の波長帯域の一部）は、光に対して遮断特性を有する。上述の撮像システムとしてのカメラでは、通常のカメラで用いられる赤外カットフィルタを用いていないため、赤外光は、ＤＢＰＦの赤外光帯域（第２の波長帯域）を透過するとともに、カラーフィルタの赤外ＩＲ画素領域を透過する。この際に赤外光は、ダイクロイックのカラーフィルタのＩＲ画素領域を透過するだけではなく、Ｒ、Ｇ、Ｂの各画素領域を透過してしまう。すなわち、カラーフィルタには、赤外光を透過する特性があり、通常のカメラでは赤外カットフィルタを用いて赤外光の影響を排除している。

上述の撮像システムでは、カラーフィルタを有する固体撮像素子において、赤Ｒ、緑Ｇ、青Ｂの各画素領域では、赤外光の影響で信号強度が高くなり、不自然な画像となる虞がある。そこで、上述の撮像システムでは、画像処理として、ＲＧＢの各信号出力からＩＲの信号出力分を減算している。ここで、各画素領域の透過光がＩＲを含むことから赤Ｒの画素領域の透過光をＲ＋ＩＲ、緑Ｇの画素領域の透過光をＧ＋ＩＲ、青Ｂの画素領域の透過光をＢ＋ＩＲで表すことができるので、各色の画素領域に対応する出力信号から赤外ＩＲ成分を取り除くと、（Ｒ＋ＩＲ）−ＩＲ＝Ｒ、（Ｇ＋ＩＲ）−ＩＲ＝Ｇ、（Ｂ＋ＩＲ）−ＩＲ＝Ｂとなり、これにより赤外ＩＲ成分を取り除いた赤Ｒ、緑Ｇ、青Ｂの信号を得ることができる。これにより上述の撮像システムでは、ＩＲ画像とＩＲの影響を低減した可視画像とを同時に出力可能となっている。なお、ＩＲ画素領域は、可視光を遮断し、ＤＢＰＦの第２の波長帯域に対応する近赤外光を透過する。

特開２０１６−１０３７８６号公報

ところで、上述のように可視画像と赤外画像を同時に出力するカメラにおいて、カラーフィルタとしてＲＧＢの各画素領域にＩＲ画素領域ではなく、白（Ｗ）画素領域を加えたカラーフィルタを用いてもＲ、Ｇ、Ｂの信号出力からＩＲ成分の信号出力を除去することが可能である。ＩＲ画素領域は、可視光を透過させないので、可視画像に関しては、ＩＲ画素領域を例えばＲ、Ｇ、Ｂ各１画素に対してＩＲを１画素設けると、可視画像で使用する画素数が１／４だけ減ってしまう。通常ＩＲ画素領域の割合をもっと少なくするが、いずれにしろ、可視光帯域の光を遮断するＩＲ画素領域をカラーフィルタに設けることで、可視光（特に輝度）の解像度が低下することになる。

そこで、白Ｗの画素領域を用いると、赤外ＩＲの画素領域を用いる場合よりも可視画像に使用可能な画素が増えることになる。なお、白Ｗの画素領域とは、基本的に可視光も赤外光も透過させる画素領域であり、赤Ｒ、緑Ｇ、青Ｂの各画素領域がＩＲを含む場合に、各画素の透過光を上述のようにＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲで表すことができるのに対して白Ｗの画素領域の透過光をＲ＋Ｇ＋Ｂ＋ＩＲ（Ｗ＋ＩＲ）で表すことができる。なお、カラーフィルタの白Ｗの画素領域は、実際に白い分けではなく、可視光と赤外光を透過する画素領域であり、基本的に無色透明な領域である。ここでは、この透明な画素領域を白Ｗと称する。
図６は、このような赤Ｒ、緑Ｇ、青Ｂ、白Ｗの各画素領域を有するカラーフィルタの配色を示すもので、赤Ｒ、緑Ｇ、青Ｂ、白Ｗの各画素領域が２×２の画素配列中に一つずつ配置され、この配列が繰り返されて配置されている。また、各画素領域の透過光には、上述のようにＩＲが含まれている。

図７のグラフは、固体撮像素子に用いられるフォトダイオード等のセンサの分光感度と、各フィルタの分光透過率を示すもので、横軸が光の周波数とされ、縦軸が感度または透過率を照度として示すもので、目盛の最大を１００とするとともに透過率の上限がグラフ上においてセンサの感度以下となるように正規化したものである。なお、ＤＢＰＦの分光透過率は正規化しておらず、全透過を縦軸の１００としている。図７のグラフにおいて、二重線がセンサの分光感度であり、太線がＤＢＰＦの分光透過率であり、２点鎖線が青Ｂのカラーフィルタの分光透過率であり、１点鎖線が緑Ｇのカラーフィルタの分光透過率であり、破線が赤Ｒのカラーフィルタの分光透過率であり、実線がＮＩＲフィルタの分光透過率である。

図７に示すように、赤外側で赤Ｒ、緑Ｇ、青Ｂの各カラーフィルタの透過率は、全透過となる。また、図７では、白Ｗのカラーフィルタではなく、上述のＩＲの画素領域のカラーフィルタとしてＮＩＲフィルタの分光透過率を示しており、ＮＩＲフィルタが透過する光の波長の範囲と赤Ｒ、緑Ｇ、青Ｂのカラーフィルタの各画素領域が赤外側で全透過となる波長の範囲とが重なるとともに、これら波長の範囲とＤＢＰＦの光を透過する赤外光帯域（第２の波長帯域）と重なるようになっている。図７に図示されない白Ｗの画素領域では、基本的に可視光および近赤外光が全透過であり、上述のように正規化すると、図７のフォトダイオード（センサ）の分光感度を示す二重線と略同様となる。

このようなカメラにおいて、白Ｗを有するカラーフィルタを用いて赤外ＩＲの出力信号を得るためには、上述のように赤Ｒの画素領域からの画素出力をＲ＋ＩＲ、緑Ｇの画素領域からの画素出力をＧ＋ＩＲ、青Ｂの画素領域からの画素出力をＢ＋ＩＲ、白Ｗの画素領域からの画素出力をＲ＋Ｇ＋Ｂ＋ＩＲとすると、すなわち、R＋Ｇ＋Ｂ−Ｗ＝０とすると、ＩＲ＝（（Ｒ画素出力）＋（Ｇ画素出力）＋（Ｂ画素出力）−（Ｗ画素出力））／２＝（（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）−（Ｒ＋Ｇ＋Ｂ＋ＩＲ））／２となる。より詳細には、フォトダイオード等のセンサの感度（分光感度）が周波数によって異なるため、センサの感度に応じた各色の係数として赤Ｒの係数をＫｒ、緑Ｇの係数をＫｇ、青Ｂの係数をＫｂとし、Ｋｒ＊Ｒ＋Ｋｇ＊Ｇ＋Ｋｂ＊Ｂ−Ｗ＝０とすると、ＩＲは以下の式で示される。
ＩＲ＝（（Ｋｒ＊（Ｒ画素出力）＋Ｋｇ＊（Ｇ画素出力）＋Ｋｂ＊（Ｂ画素出力）−（Ｗ画素出力））／（Ｋｒ＋Ｋｇ＋Ｋｂ−１）＝（ｋｒ＊（Ｒ＋ＩＲ）＋Ｋｇ＊（Ｇ＋ＩＲ）＋Ｋｂ＊（Ｂ＋ＩＲ）−（Ｗ＋ＩＲ））／（Ｋｒ＋Ｋｇ＋Ｋｂ−１）となる。

実際に上述のＤＢＰＦと白Ｗ画素領域を含むカラーフィルタを用いた場合に、上述の白Ｗ画素領域の信号出力を用いた計算でＩＲ信号成分を求めると、ＩＲ信号にモアレが生じることが分かった。この場合にＩＲ信号にモアレが生じると、赤Ｒ、緑Ｇ、青Ｂの信号出力においても、モアレが生じたＩＲ信号を減算することでモアレが生じてしまう。
特に、図８に示す空間周波数のグラフにおいてサンプリング周波数ｆｓの１／２および１／４にモアレが発生する。なお、このグラフにおいて、縦軸が垂直方向の空間周波数を示し、横軸が水平方向の空間周波数を示し、サンプリング周波数は、固体撮像素子の水平方向および垂直方向の単位長さ当たりの画素数（画素ピッチ）に対応する。

このようなモアレが撮影によって生じてしまうと、実際の被写体にはない色や模様が生じてしまい、被写体をまともに撮影することが困難になってしまう。すなわち、可視画像の解像度を高めるために赤外ＩＲの画素領域に代えて白Ｗの画素領域をカラーフィルタに設けるとＩＲの信号出力にモアレが生じてしまい赤外画像に問題が生じるとともに、可視画像にも問題が生じてしまい、白Ｗの画素領域を用いるメリットがなくなってしまう。

本発明は、前記事情に鑑みてなされたものであり、可視光帯域と近赤外光帯域の光を透過するＤＢＰＦと白Ｗの画素領域を有するカラーフィルタとを用いて可視画像と近赤外画像を同時に撮影する場合に、白Ｗ成分の信号出力を用いた演算により赤外ＩＲ成分の信号出力を求めることで発生するモアレを低減できる可視近赤外同時撮像装置を提供することを目的とする。

前記課題を解決するために本発明の可視近赤外同時撮像装置は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタであるダブルバンドパスフィルタと、
赤、緑、青、白の各画素領域が所定パターンで配置されるとともに、各画素領域が第２の波長帯域に透過特性を有するカラーフィルタと、
前記カラーフィルタの前記画素領域毎にセンサを備える固体撮像素子と、
前記固体撮像素子上に被写体の像を結像させるレンズと、
前記カラーフィルタ上で互いに近接する赤、緑、青、白の前記画素領域を組み合わせて設定される各赤外算出領域に対応する前記固体撮像素子の出力信号から第２の波長帯域に対応する赤外光成分の出力信号を算出する赤外算出手段と、
前記赤外算出手段により算出された赤外光成分の出力信号に生じるモアレを低減する赤外モアレ低減手段とを備えたことを特徴とする。

このような構成によれば、赤外ＩＲ光成分の出力信号を、それぞれ赤外ＩＲに透過特性を有するカラーフィルタの赤Ｒ、緑Ｇ、青Ｂ、白Ｗの各画素領域に対応する固体撮像素子の各センサ（例えば、フォトダイオード）の出力信号から算出することにより生じるモアレを無くしたり、弱めたりすることができる。これにより、可視画像から第２の波長帯域を透過する赤外光の影響を排除するために、カラーフィルタの赤Ｒ、緑Ｇ、青Ｂの各画素領域に対応する出力信号から赤外ＩＲ成分のモアレが生じた出力信号を減算することにより、赤Ｒ、緑Ｇ、青Ｂの出力信号にもモアレが生じてしまうのを、モアレが低減された赤外ＩＲの出力信号を用いることで防止することができる。

本発明の前記構成において、前記赤外モアレ低減手段は、前記固体撮像素子と前記レンズとの間にローパスフィルタを有することが好ましい。

このような構成によれば、ローパスフィルタによりモアレを低減することができる。ここでのローパスフィルタは、例えば、複屈折率を有する水晶を用いたもので、空間周波数が高い光をぼかした状態として遮断し、空間周波数の低い光を透過させる。ここでは、サンプリング周波数の１／２の空間周波数や１／４の空間周波数の近傍の空間周波数の光をぼかすことが好ましい。なお、サンプリング周波数は、固体撮像素子における画素ピッチに基づくものであり、単位長さ当たりの画素数に対応する。したがって、正方画素の固体撮像素子では、画素ピッチが水平方向でも垂直方向でも同じなので、図８のグラフにおいて、Ｘ軸とＹ軸とで目盛間隔が同じとなる。
ここで、固体撮像素子が正方画素の場合に、ローパスフィルタとなる水晶の光学軸方向が、固体撮像素子の上述の水平方向および垂直方向に対して４５度ずれた角度となっていることが好ましい。

本発明の前記構成において、前記赤外モアレ低減手段は、
前記固体撮像素子からの出力信号からエッジを検出するエッジ検出手段と、
前記エッジ検出手段に検出された前記エッジが前記赤外算出領域と重なる場合に、前記赤外算出領域が前記エッジと重ならにように、前記赤外算出領域に含まれる前記画素領域を変更して前記赤外算出領域の位置を変更することが好ましい。

このような構成によれば、例えば、カラーフィルタの赤Ｒ、緑Ｇ、青Ｂ、白Ｗの画素領域からなる赤外算出領域にエッジが重なっていると、各色の画素領域のエッジとなるラインの出力が高くなる側では、画素領域の出力が相対的に大きく（明るく）、エッジの出力が小さくなる側では、画素領域の出力が相対的に小さく（暗く）なってしまい、不連続的に明るさが変化し、互いに相関性の無いこれらの出力を用いて赤外ＩＲ成分の出力を正確に算出できなくなり、誤った信号が出力され、モアレの要因となってしまう。

ここで、各赤外算出領域は、基本的に縦横にマトリックス状に配置されており、エッジ検出で検出されたエッジが重なる赤外算出領域では、エッジとなる光強度の高い側と低い側との境界を超えないように、光強度の低い側にある赤Ｒ、緑Ｇ、青Ｂ、白Ｗの画素領域を組合せて赤外算出領域を設定しなおすことにより、赤外算出領域がエッジと重ならないようにする。また、同様に前記境界の光強度の高い側にある赤Ｒ、緑Ｇ、青Ｂ、白Ｗの画素領域を組合せて赤外算出領域を設定しなおすことにより、赤外算出領域がエッジと重ならないようにする。これらの赤外算出領域の配置の変更により、モアレを低減することができる。

本発明によれば、ＤＢＰＦと赤Ｒ、緑Ｇ、青Ｂ、白Ｗの画素領域を備えるカラーフィルタとを有する可視近赤外同時撮像装置において、モアレの発生を低減できる。

本発明の実施の形態の可視近赤外同時撮像装置を示すブロック図である。 同、垂直方向の同時化処理を説明するための図である。 同、水平方向の同時化処理を説明するための図である。 同、ローパスフィルタの光学軸方向を説明するためのグラフである。 同、カラーフィルタを示す図であって、（ａ）、（ｂ）、（ｃ）は、エッジと赤外算出領域との関係を説明する図である。 白Ｗの画素領域を有するカラーフィルタの配色を説明するための図である。 可視近赤外同時撮像装置におけるセンサの分光感度と各フィルタの分光透過率を示すグラフである。 モアレの発生し易い空間周波数を説明するためのグラフである。

以下、本発明の実施の形態について説明する。
図１に示すように、本実施の形態の可視近赤外同時撮像装置は、レンズ１とＤＢＰＦ２とセンサおよびカラーフィルタを備える固体撮像素子３とを備える。また、この可視近赤外同時撮像装置は、固体撮像素子から図６に示すカラーフィルタの赤Ｒ、緑Ｇ、青Ｂ、白Ｗの各画素領域に対応して出力される画素毎の出力信号が入力されて同時化処理を行う同時化処理部４と、同時化処理部４で画素毎に決定された赤Ｒ、緑Ｇ、青Ｂ、白Ｗの出力がそれぞれ入力される輝度信号生成部５、ＩＲ信号生成部６およびＲＧＢ信号生成マトリックス部７を備える。

また、可視近赤外同時撮像装置において、輝度信号生成部５で生成された輝度信号の一部は、赤外ＩＲ成分を取り除く処理を施すことなく、ＩＲ未補正輝度信号として出力される。輝度信号の残りの一部は、ＩＲ減算処理部８においてＩＲ信号生成部６で生成されたＩＲ信号が減算され、赤外ＩＲが補正された輝度信号としてガンマ処理部９で処理されて輝度Ｙ信号として可視近赤外同時撮像装置の外部に送信される。ＩＲ信号生成部６で生成されたＩＲ信号は、赤外画像用の信号として外部に出力される。ＲＧＢ信号生成マトリックス部７から出力される赤Ｒ、緑Ｇ、青Ｂの各信号は、ＩＲ減算処理部８においてＩＲ信号生成部６で生成されたＩＲ信号が除去される。ＩＲ信号が除去されたＲＧＢ信号は、Ｗ／Ｂ処理部１０でホワイトバランスが調整され、ガンマ処理部１１でガンマ補正され、色差信号生成部１２でＲＧＢ信号が色差信号に変換されるようになっている。

レンズ１は、被写体の像を結像するものであり、通常、複数枚のレンズからなっている。ＤＢＰＦ２は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタであり、各帯域の波長の上限および下限は製造に際して調整可能であり、図７に示すように、センサの分光感度と、カラーフィルタの各画素領域の分光透過率に対応して各帯域の上限および下限の波長が決定されている。

固体撮像素子３は、画素毎にフォトダイオード等のセンサを有するとともに、カラーフィルタの各画素領域が配置されている。したがって、固体撮像素子３からの出力は、各画素領域に対応する色の出力信号となり、一画素から赤Ｒ、緑Ｇ、青Ｂ、白Ｗのうちのいずれか１色の出力信号が出力される。同時化処理部４では、画素毎に赤Ｒ、緑Ｇ、青Ｂ、白Ｗの４色の信号が同時に出力されるように同時化される。本実施の形態では、同時化処理において、ラインメモリを用いる方法で行っているが、他の方法を用いてもよい。

但し、モアレを防止する上では、白Ｗの出力信号を用いた演算を行わないことが好ましい。例えば、白Ｗの信号から赤Ｒと緑Ｇの出力信号を減算すれば、青Ｂの信号が得られ、白Ｗの信号から緑Ｇと青Ｂの出力信号を減算すれば、赤Ｒの信号が得られ、白Ｗの信号から赤Ｒと青Ｂの出力信号を減算すれば、緑Ｇの信号が得られる。この実施形態では、このような白Ｗを用いた演算を行うことなく、ラインメモリを用いて同時化処理を行う。

図２に示すように同時化処理部４では、固体撮像素子３から出力される出力信号を２つのラインメモリ４１、４２と加算処理部４３と、ライン切替スイッチ４４を利用して垂直方向の同時化処理を行う。図６に示す画素配列において、固体撮像素子３からの出力は、例えば、水平方向の画素１列分の出力としてＷ・Ｒ・Ｗ・Ｒ・Ｗ・Ｒ・Ｗ・Ｒ・・・という１ラインの出力の後に、次の画素一列分のＢ・Ｇ・Ｂ・Ｇ・Ｂ・Ｇ・Ｂ・Ｇ・・・という１ラインの出力を行うことを繰り返すもので、これが固体撮像素子３からのスルーの信号となる。

それに対して、第１ラインメモリ４１では、上述の１ライン分を記憶してから出力されるので、スルーの出力信号より１ライン分遅れて出力される。さらに、第２ラインメモリ４２では、第１ラインメモリ４１の１ライン分の出力を記憶してから出力するのでスルーに対して２ライン分遅れた状態となります。これを第１ラインメモリ４１の出力を基準にして考えると、第１ラインメモリ４１の出力に対してスルーの出力は１ライン分早く、第２ラインメモリ４２の出力は１ライン分遅くなる。

また、１ライン分の出力は、白Ｗと赤Ｒの出力だけとなるか、緑Ｇと青Ｂの出力だけとなる。この場合に第１ラインメモリ４１の出力を基準とすると、第１ラインメモリ４１の出力が緑Ｇと青Ｂの場合に、スルーと第２ラインメモリ４２の出力が白Ｗと赤Ｒとなる。また、第１ラインメモリ４１の出力が白Ｗと赤Ｒの場合に、スルーと第２ラインメモリ４２の出力が緑Ｇと青Ｂとなる。そこで、第１ラインメモリ４１の出力と、スルーおよび第２ラインメモリ４２の出力とを組合せて、１ライン分の出力に白Ｗと赤Ｒの出力と、緑Ｇと青Ｂの出力が行われるようにしている。

図２に示すように、スルーの出力の１／２と、第２ラインメモリ４２の出力の１／２とを加算処理部４３で足し合わせて白Ｗと赤Ｒの出力または緑Ｇと青Ｂの出力を生成している。すなわち、水平方向と垂直方向の両方に沿うマトリックス状の画素群において、基準となる水平な１列の画素の出力信号に、その上の水平な１列の画素の出力と、その下の水平な１列の画素の出力との平均となる出力を組合せている。
また、１ライン分の出力毎に第１ラインメモリ４１、第２ラインメモリ４２、スルーの出力が白Ｗおよび赤Ｒの出力と、緑Ｇおよび青Ｂの出力とが入れ替わるとともに、第１ラインメモリ４１の出力に対して、スルーおよび第２ラインメモリ４２の出力が白Ｗおよび赤Ｒの出力と、緑Ｇおよび青Ｂの出力とで常に逆となる。
したがって、第１ラインメモリ４１の出力が白Ｗおよび赤Ｒの出力と、緑Ｇおよび青Ｂの出力とで切り替わり、加算処理部４３の出力が緑Ｇおよび青Ｂの出力と、白Ｗおよび赤Ｒの出力とで切り替わる。そこで、ライン切替スイッチ４４により、第１ラインメモリ４１の出力と、加算処理部４３の出力とを切り替えて、一方の端子からは撮影中に常時白Ｗと赤Ｒの信号が出力され、他方の出力端子からは撮影中に常時緑Ｇと青Ｂの信号が出力されるようにしている。これにより、垂直方向の同時化処理が行われたことになる。

次に同時化処理部４の水平方向の同時化処理を、図３を参照して説明する。水平方向の同時化処理では、第１レジスタ４５、第２レジスタ４６、画素加算処理部４７、画素切替スイッチ４８を用いて水平方向の同時化処理を行う。なお、図３に示す構成は、図２に示す白Ｗおよび赤Ｒを出力する端子用と、緑Ｇおよび青Ｂを出力する端子用との２つを必要とする。ここでは、白Ｗおよび赤Ｒの出力の水平方向の同時化処理を説明する。ます、スルーとなる信号は、白Ｗ及び赤Ｒが繰り返す信号であり、第１レジスタ４５の出力は、スルーの１画素分の出力を記憶してから出力するようになっており、スルーの出力に対して１画素分遅くなるようにしている。また、第２レジスタ４６の出力は、第１レジスタ４５の出力を１画素分記憶してから出力するようになっており、第１レジスタ４５の出力に対して１画素分遅くなるようにしている。

したがって、第１レジスタ４５の出力を基準にすると、スルーの出力は１画素分速く、第２レジスタ４６の出力は一画素分お遅くなる。ここで、白Ｗおよび赤Ｒの出力が１画素分毎に切り替わる場合に、第１レジスタ４５の出力が白Ｗの場合に、スルーおよび第２レジスタ４６の出力が赤Ｒとなり、第１レジスタ４５の出力が赤Ｒの場合に、スルーおよび第２レジスタ４６の出力が白Ｗとなる。そこで、第１レジスタ４５の出力と、スルーおよび第２レジスタ４６の出力とを組み合わせることにより、１画素に白Ｗおよび赤Ｒの出力の両方の出力を得ることができる。ここでは、スルーの信号出力の１／２と、第２レジスタ４６の信号出力の１／２を画素加算処理部４７で加算して出力している。この出力は、第１レジスタ４５の信号出力する画素の一つ前の画素と一つ後の画素の出力の平均となる。

また、第１レジスタ４５の出力は、１画素分毎に白Ｗと赤Ｒが切り替わり、画素加算処理部４７の出力は、１画素分毎に赤Ｒと白Ｗとが切り替わるので、画素切替スイッチ４８により第１レジスタ４５の出力と、画素加算処理部４７の出力とを１画素分毎に切り替えて、白Ｗの端子からは白Ｗが撮影中常時出力され、赤Ｒの出力端子からは赤Ｒが撮影中常時出力されるようにしている。また、緑Ｇおよび青Ｂも同様に処理される。これにより、同時化処理部４からの出力は、１画素当たり、白Ｗ、赤Ｒ、緑Ｇ、青Ｂの４つの信号が出力される。ここでは、白Ｗを含む複数色の出力信号の演算は行われず、上述のように同じ色の異なるタイミングの信号の平均を取る処理だけであり、上述のように白Ｗと他の色との演算により画素の色の補間処理を行っていないので、モアレの発生を抑止することができる。

本実施の形態の可視近赤外同時撮像装置においては、上述のように赤外ＩＲ成分の出力を減算していない未補正の輝度信号を出力するようになっており、例えば、画像認識を行う場合に、未補正のモアレのない輝度信号を用いることができるようになっている。

ＩＲ信号生成部６では、赤外算出手段として、上述のように、赤Ｒ、緑Ｇ、青Ｂ、白Ｗの出力信号を用いて赤外ＩＲ成分の出力信号を算出しているので、赤外ＩＲの信号にモアレが生じる虞がある。本実施例では、モアレを予防するために、レンズ１と固体撮像素子３との間に、赤外モアレ低減手段としてのローパスフィルタ２１が配置されている。ローパスフィルタ２１は、例えば、水晶（ＳｉＯ₂）の複屈折性を利用したものであり、空間周波数の高い高周波成分を遮断し、空間周波数の低い低周波成分を透過する。本実施の形態では、固体撮像素子３における単位長さ当たりの画素数（または画素ピッチ）に対応するサンプリング周波数（ｆｓ）に対応して設定されたローパスフィルタ２１を用いるようになっており、サンプリング周波数の１／２、１／４を含む周波数成分をぼかして遮断するようになっている。

図４に示すグラフは、水平（Ｈ）と垂直（Ｖ）の空間周波数を示すものであり、上述のサンプリング周波数の１／２・１／４となる位置が示されている。ここで、固体撮像素子３における画素が正方画素の場合に、水平方向および垂直方向における目盛が等間隔となり、１／２および１／４のサンプリング周波数の位置は、水平方向の軸と、垂直方向の軸とで同じとなり、これらのサンプ周波数の1／２および１／４を結ぶ線分は、図４に示すように４５度となる。ここでは、横軸の水平方向（Ｈ）を０度とし、垂直方向（Ｖ）を９０度としている。サンプ周波数の1／２および１／４を結ぶ線分は右から左に４５度の角度で上り傾斜している。

これに対して、ローパスフィルタ２１の光学軸が固体撮像素子３の撮像面上の水平方向および垂直方向に対して４５度の角度となるようにローパスフィルタ２１が設定されている。このようなローパスフィルタ２１により、上述のように赤外ＩＲ成分の出力に生じるモアレを抑制することができる。これにより、赤Ｒ、緑Ｇ、青Ｂおよび輝度Ｙから赤外ＩＲ成分を減算した際に、赤Ｒ、緑Ｇ、青Ｂおよび輝度Ｙにモアレが発生するのを抑制することができる。

また、本実施の形態のＩＲ信号生成部６において、ＩＲ信号を生成する場合に、例えば、図６における色配列において、２×２＝４画素に含まれる赤Ｒ、緑Ｇ、青Ｂおよび白Ｗに対応する出力信号から上述のように赤外ＩＲ成分を算出するようになっている。したがって、固体撮像素子３は、４画素ずつの赤外算出領域に分けられて、各赤外算出領域の４つの出力信号からＩＲ信号が算出される。ここで、撮像される画像中にエッジ検出で検出されるエッジがあり、このエッジが赤外算出領域を横切る場合に、算出されるＩＲ信号にモアレが発生する要因となる。エッジは、明るさが不連続的に変化する部分であり、例えば、エッジの一方側は明るく、他方側は暗くなっている。図５（ａ）に示すように、エッジとなる明るさが不連続に変化する部分を繋いだ線分５１が水平方向に存在する場合に、赤外算出領域が線分５１と重なると、白Ｗおよび赤Ｒと、緑Ｇおよび青Ｂとの間に線分５１が配置されることになる。この場合に、例えば、白Ｗおよび赤Ｒが明るく、緑Ｇおよび青Ｂが暗くなり、これらの間相関性がなく、これら赤Ｒ、緑Ｇ、青Ｂ、白Ｗの出力から赤外ＩＲ成分を算出すると実際の赤外ＩＲ成分と異なる誤差信号となり、これがモアレ発生の要因となる。

そこで、赤外モアレ低減手段としてのＩＲ信号生成部６には、エッジ検知部が設けられており、エッジとなる画素間の明るさが不連続的に違う部分（線分５１）を検出する。なお、エッジ検出は、周知のエッジ検出方法を用いることができる。前記エッジの線分５１が上下の画素の間に水平に配置されている状況で、上下左右２個ずつの画素からなる赤外算出領域の上下の中央にエッジとなる線分５１が位置してしまう場合に、赤外算出領域を構成する赤Ｒ、緑Ｇ、青Ｂ、白Ｗの画素領域を変更し、赤外算出領域がエッジとなる線分５１と重なることなく、線分５１の上側、または下側に配置されるように変更後の赤外算出領域５２を設定する。このようにすることで、エッジの一方側の光強度が強い方の画素領域の出力と、境界の他方側の光強度の弱い方の画素領域の出力とを組合せて赤外ＩＲ成分が計算されるのを防止できる。

また、図５（ｂ）に示すようにエッジの上述の線分５１が画素を左右に分離するように垂直に配置される状況で、赤外算出領域の左右の中央に垂直に線分５１が重なる場合には、赤外算出領域の赤Ｒ、緑Ｇ、青Ｂ、白Ｗを変更して、変更後の赤外算出領域５２が線分５１の右側または左側に配置されるように位置を変更する。また、図５（ｃ）に示すように、エッジの上述の線分５１が斜めに配置される状況で、赤外算出領域に斜めに線分５１が重なる場合には、赤外算出領域の赤Ｒ、緑Ｇ、青Ｂ、白Ｗを変更して、変更後の赤外算出領域５２が線分５１と重ならないように位置を変更する。

これにより、明るさが不連続に変化して相関性のない白Ｗ、赤Ｒ、緑Ｇ、青Ｂの組合せでＩＲ信号を生成することがなくなり、モアレを抑制することができる。なお、この実施の形態において、ＩＲ信号の生成を、同時化処理前の各色の画素領域に対応する画素出力からＩＲ信号を生成しており、同時化処理前の４色の画素出力からＩＲ信号を算出している。

本実施の形態では、白Ｗ、赤Ｒ、緑Ｇ、青Ｂのカラーフィルタと、ＤＢＰＦ２を用いて可視画層と、赤外画像を同時に出力する場合に、上述の白Ｗ、赤Ｒ、緑Ｇ、青Ｂの出力からＩＲ信号を算出することで、ＩＲ信号にモアレが生じるのを、ローパスフィルタ２１と、上述のようにエッジに適応してＩＲ信号を生成する際に用いる画素を変更することとにより防止することができる。また、これにより、各色の出力信号に含まれる赤外成分を各色の出力信号から算出された赤外信号を減算して取り除く際に、各色にモアレが生じるのを防止することができる。なお、本実施例では、ローパスフィルタの設置と、赤外信号算出に使用する画素のエッジに対応した変更との両方を行ったがどちらか一方だけを行うようにしてもよい。

１ レンズ
２ ＤＢＰＦ（ダブルバンドパスフィルタ）
３ 固体撮像素子
６ ＩＲ信号生成部（赤外算出手段、赤外モアレ低減手段）
２１ ローパスフィルタ（赤外モアレ低減手段）

Claims (3)

1. 可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタであるダブルバンドパスフィルタと、
   赤、緑、青、白の各画素領域が所定パターンで配置されるとともに、各画素領域が第２の波長帯域に透過特性を有するカラーフィルタと、
   前記カラーフィルタの前記画素領域毎にセンサを備える固体撮像素子と、
   前記固体撮像素子上に被写体の像を結像させるレンズと、
   前記カラーフィルタ上で互いに近接する赤、緑、青、白の前記画素領域を組み合わせて設定される各赤外算出領域に対応する前記固体撮像素子の出力信号から第２の波長帯域に対応する赤外光成分の出力信号を算出する赤外算出手段と、
   前記赤外算出手段により算出された赤外光成分の出力信号に生じるモアレを低減する赤外モアレ低減手段とを備えたことを特徴とする可視近赤外同時撮像装置。
2. 前記赤外モアレ低減手段は、前記固体撮像素子と前記レンズとの間にローパスフィルタを有することを特徴とする請求項１に記載の可視近赤外同時撮像装置。
3. 前記赤外モアレ低減手段は、
   前記固体撮像素子からの出力信号からエッジを検出するエッジ検出手段と、
   前記エッジ検出手段に検出された前記エッジが前記赤外算出領域と重なる場合に、前記赤外算出領域が前記エッジと重ならにように、前記赤外算出領域に含まれる前記画素領域を変更して前記赤外算出領域の位置を変更することを特徴とする請求項１または２に記載の可視近赤外同時撮像装置。

Images