JP2023013549A - 撮像装置、撮像方法、及びプログラム - Google Patents

Abstract

【課題】赤外光が含まれる度合いが小さい環境下において、ノイズを抑制した可視光の画像を生成できるようにする。【解決手段】対象画素の第１画素値を、第１波長域の光及び第２波長域の光を受光する第１画素から取得する第１画素取得部と、対象画素の第２画素値を、第２波長域の光を受光する第２画素から取得する第２画素取得部と、度合いが小さくなるに従って値を小さくする係数であって、画像において第２波長域の光の成分が含まれる度合いに応じて係数を取得する係数取得部と、第１画素値と、取得された係数が乗じられた第２画素値とから対象画素の第１波長域の画素値を生成する。【選択図】図４

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）などのイメージセンサーは、一般的に可視光だけでなく近赤外光にも感度を持つ。可視光は波長が３８０ｎｍから７８０ｎｍ程度であり、近赤外光は波長が７００ｎｍから２５００ｎｍ程度である。可視光画像と近赤外光画像の両方をビューイングやセンシングに用いるシステムでは、１台で可視光画像と近赤外光画像の２つの画像を同時に取得できる撮像装置が求められる。

下記式に示すように、可視光と赤外光を同時に受光する画素の値（Ｒ_+IR、Ｇ_+IR、Ｂ_+IR）から、赤外光を受光する画素の値（ＩＲ）を減算することで、可視光の画素値（Ｒ、Ｇ、Ｂ）を得る方法が、特許文献１に開示されている。
Ｒ＝Ｒ_+IR－ｋ×ＩＲ
Ｇ＝Ｇ_+IR－ｋ×ＩＲ …（式１）
Ｂ＝Ｂ_+IR－ｋ×ＩＲ
（式１）において、Ｒ_+IRは赤色光と赤外光を受光する画素の値、Ｇ_+IRは緑色光と赤外光を受光する画素の値、Ｂ_+IRは青色光と赤外光を受光する画素の値、ＩＲは赤外光のみを受光する画素の値である。また、ＲとＧとＢは、それぞれ赤外光成分が分離された、赤色光成分と緑色光成分と青色光成分の値である。また、ｋは画素値ＩＲを減算する程度を示す係数である。特許文献１では、可視光と赤外光を同時に受光する画素の値と、赤外光を受光する画素の値との比率によって係数ｋを求める。可視光と赤外光を受光する画素の値の比率が大きい場合にｋ＝１とし、赤外光を受光する画素の値の比率が大きい場合にｋ＝０とする。中間の比率の場合に、赤外光を受光する画素の値の比率が大きくなるに従って、ｋの値を１から０へ徐々に小さくする。この係数ｋによれば、可視光と赤外光を受光する画素の値の比率のほうが大きい場合に、可視光の画素値が支配的となり、赤外光を受光する画素の値の比率のほうが大きい場合に、赤外光の画素値が支配的となる。

特開２００７－２０２１０８号公報

ここで、ＬＥＤ（Light Emitting Diode）光環境下等の、近赤外光が含まれる度合いが小さい環境下においては、近赤外光を受光する画素の値は本来小さい値であるべきである。また、近赤外光が含まれる度合いが小さい環境下でも、近赤外光を受光する画素の値は、実際にはノイズの値を持つ。一方で、特許文献１の技術に拠ると、近赤外光が含まれる度合いが小さい場合には、可視光と近赤外光を同時に受光する画素の値から、近赤外光を受光する画素の値を相対的に大きく減算することになる。その結果、算出される可視光の値にノイズが付加されてしまう。

本発明は、撮像素子が可視光及び赤外光を受光可能であり、赤外光が含まれる度合いが小さい環境下である場合に、ノイズを抑制した可視光の画像を生成できるようにすることを目的とする。

本発明に係る撮像装置は、対象画素の第１画素値を、第１波長域の光及び第２波長域の光を受光する第１画素から取得する第１画素取得手段と、前記対象画素の第２画素値を、前記第２波長域の光を受光する第２画素から取得する第２画素取得手段と、度合いが小さくなるに従って値を小さくする係数であって、画像において前記第２波長域の光の成分が含まれる前記度合いに応じて前記係数を取得する係数取得手段と、前記第１画素値と、前記係数が乗じられた前記第２画素値とから前記対象画素の前記第１波長域の画素値を生成する画素値生成手段とを有することを特徴とする。

本発明によれば、赤外光が含まれる度合いが小さい環境下において、ノイズを抑制した可視光の画像を生成することが可能となる。

第１実施形態における撮像装置の構成例を示す図である。 撮像素子１０３の画素配置を説明する図である。 撮像装置の動作例を示すフローチャートである。 分離部の構成例を示す図である。 分離処理の例を示すフローチャートである。 度合いと係数の関係を説明する図である。 第２実施形態における撮像装置の構成例を示す図である。 第３実施形態における撮像素子の画素配置を説明する図である。 第３実施形態における分離処理の例を示すフローチャートである。 第４実施形態における撮像装置の構成例を示す図である。 度合いと係数の関係を説明する図である。 第５実施形態における撮像装置の構成例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１実施形態）
図１は、第１実施形態における撮像装置１００の概略的な構成例を示す図である。撮像装置１００は、被写体の光学像を撮像する撮像部１０１と、撮像した画像のデジタル信号処理を行うデジタル処理部１０７と、撮像部１０１及びデジタル処理部１０７を制御する制御部１１３とを有する。

撮像部１０１は、被写体の光学像を画素値に変換する。撮像部１０１は、光学系１０２、撮像素子１０３、及びアナログ処理部１０４を有する。光学系１０２は、レンズ、絞りを含み、被写体等からの光学像を撮像素子１０３の撮像面上に結像させる。撮像素子１０３は、図２に一例を示すように配置された複数の画素を有し、被写体等の光学像を光電変換により撮像して信号に変換する。撮像素子１０３は、例えば、ＣＣＤやＣＭＯＳなどのイメージセンサーである。撮像素子１０３から出力された信号は、アナログ処理部１０４に入力される。

図２は、撮像素子１０３の画素配置を説明する図である。撮像素子１０３の画素には、赤色の波長域の光を透過する赤色フィルター、緑色の波長域の光を透過する緑色フィルター、青色の波長域の光を透過する青色フィルター、赤外線の波長域の光を透過する赤外線フィルターの何れかのフィルターが配置されている。赤色フィルター、緑色フィルター、及び青色フィルターは、赤外線の波長域の光も透過する。

画素２０１は、赤色フィルターが配置され、赤色の波長域の光及び赤外線の波長域の光を受光する画素である。画素２０２は、緑色フィルターが配置され、緑色の波長域の光及び赤外線の波長域の光を受光する画素である。画素２０３は、青色フィルターが配置され、青色の波長域の光及び赤外線の波長域の光を受光する画素である。画素２０４は、赤外線フィルターが配置され、赤外線の波長域の光を受光する画素である。画素２０１～２０４の周辺に配置された画素２０１－ｎ、画素２０２－ｎ、画素２０３－ｎ、及び画素２０４－ｎも、画素２０１、画素２０２、画素２０３、及び画素２０４とそれぞれ同様である。なお、ｎは添え字であり、図２に示した例ではｎは１～８である（以下についても同様）。なお、図２には、撮像素子１０３の一部の範囲を示しており、実際にはこの周辺に数百～数千の画素が配置されている。以下では、赤色の波長域の光を「赤色光」とも称す。同様に、緑色の波長域の光、青色の波長域の光、赤外線の波長域の光を、それぞれ「緑色光」、「青色光」、「赤外光」とも称す。赤色の波長域、緑色の波長域、青色の波長域は第１波長域の一例であり、赤外線の波長域は第２波長域の一例である。

図１に戻り、アナログ処理部１０４は、撮像素子１０３から出力された信号に対してアナログ信号処理を行う。アナログ処理部１０４は、ゲイン部１０５及びＡ／Ｄ変換部１０６を有する。ゲイン部１０５は、撮像素子１０３から出力された信号を、アナログゲインにより増幅する。Ａ／Ｄ変換部１０６は、ゲイン部１０５で増幅した信号をデジタルの画素値へ変換するアナログデジタル変換を行う。例えば、画素２０１の信号は画素値Ｒ_+IR0となり、画素２０２の信号は画素値Ｇ_+IR0となる。画素２０３の信号は画素値Ｂ_+IR0となり、画素２０４の信号は画素値ＩＲ₀となる。また、例えば、画素２０１－ｎの信号は画素値Ｒ_+IRnとなり、画素２０２－ｎの信号は画素値Ｇ_+IRnとなり、画素２０３－ｎの信号は画素値Ｂ_+IRnとなり、画素２０４－ｎの信号は画素値ＩＲ_nとなる。Ａ／Ｄ変換部１０６でアナログデジタル変換して得られたそれぞれの画素値はデジタル処理部１０７に送られる。

デジタル処理部１０７は、撮像した画像のデジタル信号処理を行う。デジタル処理部１０７は、分離部１０８、現像処理部Ａ１０９、可視光出力部１１０、現像処理部Ｂ１１１、及び赤外光出力部１１２を有する。分離部１０８は、撮像部１０１から受けとった画素値を可視光（赤色光、緑色光、青色光）の画素値と赤外光の画素値とに分離して出力する。分離部１０８の詳細については後述する。

現像処理部Ａ１０９は、分離部１０８から出力される可視光の画素値に対して、ホワイトバランス、ノイズリダクション、シャープネス、及びガンマ補正等の現像処理を行う。可視光出力部１１０は、現像処理部Ａ１０９で処理して得られた可視光の画像（可視光の画素値）を出力する。現像処理部Ｂ１１１は、分離部１０８から出力される赤外光の画素値に対して、ノイズリダクション、シャープネス、及びガンマ補正等の現像処理を行う。赤外光出力部１１２は、現像処理部Ｂ１１１で処理して得られた赤外光の画像（赤外光の画素値）を出力する。

以下、前述した撮像装置１００における動画の撮影動作の流れについて説明する。図３は、撮像装置１００の動作例を示すフローチャートである。図３に示すフローチャートの各処理ステップは、制御部１１３による制御の下で、撮像装置１００の各構成によって実施される処理である。また、図３に示すフローチャートの説明では、各処理ステップＳ３０１～ステップＳ３０４をＳ３０１～Ｓ３０４と略記する。これらのことは後述する他のフローチャートにおいても同様とする。

Ｓ３０１では、制御部１１３の指示に応じて、撮像部１０１が撮影動作を開始する。撮像素子１０３では、被写体の光学像が撮像されてアナログの電気信号に変換されアナログ処理部１０４に入力される。アナログ処理部１０４に入力された信号は、ゲイン部１０５にて増幅された後にＡ／Ｄ変換部１０６にて画素値に変換されて、デジタル処理部１０７に出力される。

Ｓ３０２では、分離部１０８が分離処理を行い、撮像部１０１から受けとった画素値を可視光の画素値と赤外光の画素値とに分離して出力する。このステップＳ３０２で行う分離処理の詳細については後述する。

Ｓ３０３では、現像処理部Ａ１０９が、分離部１０８から出力された可視光の画素値に対し現像処理を施して出力する。また、現像処理部Ｂ１１１が、分離部１０８から出力された赤外光の画素値に対し現像処理を施して出力する。現像処理には、ホワイトバランス、色変換、ノイズリダクション、及びガンマ補正等が含まれる。

Ｓ３０４では、可視光出力部１１０が現像処理部Ａ１０９で現像処理された可視光の画像（可視光の画素値）を出力し、赤外光出力部１１２が現像処理部Ｂ１１１で現像処理された赤外光の画像（赤外光の画素値）を出力する。

＜分離処理＞
次に、図３に示したステップＳ３０２の分離処理について説明する。
図４は、本実施形態における分離部１０８の構成例を示す図である。分離部１０８は、画素値取得部４０１、データバッファ４０２、第１画素取得部４０３、第２画素取得部４０４、度合い取得部４０５、係数取得部４０６、減算部４０７、補間部４０８、可視光出力部４０９、及び赤外光出力部４１０を有する。

画素値取得部４０１は、撮像部１０１から各画素の画素値を取得する。画素値取得部４０１により取得された画素値は、データバッファ４０２に保持される。第１画素取得部４０３は、可視光及び赤外光を受光した対象画素の画素値をデータバッファ４０２から取得する。第２画素取得部４０４は、データバッファ４０２から画素値を取得し、取得した画素値に基づいて対象画素における赤外光の画素値を取得する。第２画素取得部４０４は、例えば対象画素の周辺に配置されている、赤外光のみを受光する画素の画素値を用いて補間処理を行い対象画素における赤外光の画素値を取得する。なお、赤外光の画素値の取得は、対象画素が取得可能であれば対象画素から取得してもよい。また、撮像素子１０３を２枚並べて配置し、片方の撮像素子から対象画素の可視光を受光し、もう片方の撮像素子で対象画素に対応する位置の画素から赤外光を受光してもよい。

度合い取得部４０５は、データバッファ４０２から画素値を取得し、取得した画素値に基づいて対象画素において赤外光成分を含む度合いを取得する。度合い取得部４０５は、例えば対象画素の周辺に配置されている、赤外光を受光する複数の画素の画素値を平均化して得られる値を度合いとして取得する。係数取得部４０６は、度合い取得部４０５により取得された度合いに基づいて、減算部４０７での演算処理に用いる係数を取得する。この係数は、第１画素取得部４０３で取得された対象画素の画素値から、第２画素取得部４０４で取得された対象画素における赤外光の画素値を減算する際に用いられる。

減算部４０７は、第１画素取得部４０３で取得された対象画素の画素値、第２画素取得部４０４で取得された赤外光の画素値、及び係数取得部４０６で取得された係数を用いて、対象画素の可視光の画素値を生成する。減算部４０７は、画素値生成手段の一例である。補間部４０８は、減算部４０７で生成した可視光の画素値に補間処理（デモザイク）を行い、可視光出力部４０９に出力する。また、補間部４０８は、第２画素取得部４０４で取得された赤外光の画素値を赤外光出力部４１０に出力する。可視光出力部４０９は、補間部４０８から入力された可視光の画素値を出力し、赤外光出力部４１０は、補間部４０８から入力された赤外光の画素値を出力する。

図５は、図３に示したステップＳ３０２の分離処理の例を示すフローチャートである。
Ｓ５０１では、画素値取得部４０１が、撮像部１０１から複数の画素値Ｒ_+IRm、Ｇ_+IRm、Ｂ_+IRm、ＩＲ_m等（ｍは添え字であり、図２に示した画素配置の例ではｍは０～８）を取得してデータバッファ４０２に保持する。以下の説明では、可視光のうちの赤色光を例に、注目画素を画素２０１とした場合を例に説明する。なお、可視光を緑色光とする場合には下記の説明において「Ｒ」を「Ｇ」と読み替え、例えば注目画素を画素２０２とすればよい。また、可視光を青色光とする場合には、下記の説明において「Ｒ」を「Ｂ」と読み替え、例えば注目画素を画素２０３とすればよい。

Ｓ５０２では、第１画素取得部４０３が、可視光及び赤外光を受光した画素２０１の画素値Ｒ_+IR0をデータバッファ４０２から取得し、これを画素値Ｒ_+IRとする。

Ｓ５０３では、第２画素取得部４０４が、データバッファ４０２から画素値を取得して、注目画素である画素２０１の赤外光の画素値ＩＲを取得する。ここで、注目画素である画素２０１の位置には、赤外光を受光する画素は存在しない。そこで、第２画素取得部４０４は、画素２０１の周辺、例えば、赤外光を受光する画素２０４と画素２０４－２とのそれぞれの画素値、画素値ＩＲ₀と画素値ＩＲ₂を取得し、画素補間（デモザイク）して画素値ＩＲを生成する。デモザイクに使用する画素値は、より広い範囲の画素から取得しても良い。また、デモザイクのアルゴリズムは、線分や折り返しを考慮した高度なものでも良い。また、事前の処理で、さらに周辺を参照したノイズ除去処理を施した画素値であっても良い。

Ｓ５０４では、度合い取得部４０５が、データバッファ４０２から画素値を取得して、画素値に赤外光成分を含む度合いＪを取得する。度合い取得部４０５は、注目画素である画素２０１の周辺に配置されている、赤外光を受光する複数の画素の画素値を取得して、取得した画素値を平均化処理して度合いＪを生成する。例えば、度合い取得部４０５は、画素２０４と画素２０４－ｎ（本例ではｎは１～８）の画素値ＩＲ_m（本例ではｍは０～８）を取得して平均化する。赤外光と可視光との比率を求めるにあたり、可視光は画素値を輝度値に変換することで比率を求め、度合いＪとしてもよい。なお、注目画素との位置関係や距離を考慮して画素値を加重平均し平均化するようにしても良い。また、事前の処理で、さらに周辺を参照したノイズ除去処理を施した画素値であっても良い。赤外光を含む度合いが小さい場合、赤外光を受光する画素はノイズの割合が大きいが、平均化することでノイズの影響を小さくすることができる。平均化する画素の範囲は、この例に限らず、範囲が広い方がノイズの影響をより小さくできるが、処理負荷増加や遅延の原因となるため、トレードオフを考慮して決めれば良い。

Ｓ５０５では、係数取得部４０６が、度合い取得部４０５から度合いＪを受けとって、係数ｋを取得する。度合いＪと係数ｋとの関係は、例えば、図６（Ａ）に示すグラフのように定める。図６（Ａ）に示す例では、度合いＪに対して閾値ｈを設けて、閾値ｈ以下では度合いＪが小さくなるに従って係数ｋの値が小さくなるようにする。詳細には、度合いＪが０又はほぼ０の場合、係数ｋの値を０又はほぼ０とする。度合いＪが閾値ｈ以上の場合、係数ｋの値を１とする。度合いＪが０と閾値ｈの間である場合、線形補間やｎ次関数補間などで係数ｋの値が連続に変化するようにすれば良い。係数ｋの値を急に０にすると、度合いＪが閾値ｈ以下である場合と閾値ｈ以上である場合が切り替わるところでアーティファクトが発生するので、度合いに対して連続関数とする。または、図６（Ｂ）に示すグラフのように、度合いＪが閾値ｆ以下であるときには、係数ｋの値を０とするようにしても良い。また、上記に限らず、度合いＪが小さければ係数ｋの値が相対的に小さくなる関係であればよい。撮像素子におけるノイズ量は、撮像素子の種類によって異なるため、閾値ｈや補間等に用いるカーブ（関数）は、撮像素子のノイズ特性を測定することによって定めることができる。

Ｓ５０６では、減算部４０７が、前述の処理において取得された画素値Ｒ_+IRと画素値ＩＲと係数ｋとを受けとって、注目画素の可視光の画素値Ｒを、下記（式２）に従って生成する。
Ｒ＝Ｒ_+IR－ｋ×ＩＲ …（式２）
つまり、画素値Ｒ_+IRから係数ｋが乗じられた画素値ＩＲを減ずることにより、注目画素の可視光の画素値Ｒが算出される。

Ｓ５０７では、補間部４０８が、Ｓ５０６において得られた可視光の画素値Ｒに補間処理（デモザイク）を行い、可視光出力部４０９で出力する。また、Ｓ５０３において補間して取得した赤外光の画素値ＩＲをそのまま、赤外光出力部４１０で出力する。

以上が第１実施形態における撮像装置で行われる処理である。第１実施形態によれば、第２波長域としての赤外光の成分が画像に含まれる度合いに応じて、第２波長域の光の成分を減ずる際の係数を取得する。これにより、第２波長域の光の成分が画像に含まれる度合いが小さい場合には係数を小さくし、可視光及び赤外光を受光可能な撮像素子を用いた場合に、赤外光が含まれる度合いが小さい環境下において、ノイズを抑制した画像を得ることができる。

（第２実施形態）
第１実施形態では図５に示すＳ５０４において、度合い取得部４０５が、注目画素の周辺に配置されている、赤外光を受光する複数の画素の画素値を取得し平均化して度合いＪを生成する。第２の実施形態では、度合い取得部４０５が、ホワイトバランス集計に使うような画像の特定の範囲の画素値を平均化することによって度合いＪを取得する。

図７は、第２実施形態における撮像装置の構成例を示す図である。図７において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。なお、図７に図示していない、撮像装置の他の構成要素については、図１に示した撮像装置１００及び図４に示した分離部１０８と同様である。また、撮像装置の動作において、度合い取得部４０５が度合いＪを取得する処理以外は、第１実施形態と同様である。

図７において、現像処理部Ａ１０９は、ホワイトバランス集計部Ａ７０１及びその他の現像処理部Ａ７０２を有する。また、現像処理部Ｂ１１０は、ホワイトバランス集計部Ｂ７０３及びその他の現像処理部Ｂ７０４を有する。ホワイトバランス集計部Ａ７０１は、撮像素子１０３における特定の範囲の画素について、赤色光の画素値の和ΣＲ、緑色光の画素値の和ΣＧ、及び青色光の画素値の和ΣＢを算出する。また、ホワイトバランス集計部Ｂ７０３は、撮像素子１０３における特定の範囲の画素について、赤外光の画素値の和ΣＩＲを算出する。その他の現像処理部Ａ７０２及びその他の現像処理部Ｂ７０４は、ホワイトバランス処理を除く、色変換、ノイズリダクション、及びガンマ補正等の現像処理を行う。

ここで、ホワイトバランス集計部Ａ７０１及びホワイトバランス集計部Ｂ７０３において画素値の和を算出する特定の範囲は、制御部１１３から指定される。例えば、画像全体で平均的にホワイトバランスを合わせたい場合には、特定の範囲として画像全体を指定する。例えば、青空にホワイトバランスを合わせたくない場合には、特定の範囲として水平又は地平より下の範囲を指定する。範囲内の部分毎に加重ｗを設定して、範囲の一部を重視するように重み付けしてホワイトバランスを合わせることもできる。例えば、画像の中心の加重を上げることで、画像中心を重視したホワイトバランスにすることができる。そのとき、和ΣＲ、和ΣＧ、和ΣＢ、及び和ΣＩＲは、加重ｗがかけられた画素値の和であって良い。加重ｗを使用する場合は、加重の和Σｗも算出する。また、制御部１１３は、認識された人物や移動物に合わせて、範囲や加重を動的に変化させて各ホワイトバランス集計部に与えても良い。

制御部１１３は、ホワイトバランス集計部Ａ７０１から、和ΣＲ、和ΣＧ、及び和ΣＢを取得する。通常、これらの和の比率（ΣＧ÷ΣＲ）、（ΣＧ÷ΣＢ）から、次のフレームで使用するホワイトバランスゲインが算出される。制御部１１３がゲイン部１０５等にゲインパラメータとして算出したホワイトバランスゲインを与えることによって、オートホワイトバランス制御を行う。

また、制御部１１３は、ホワイトバランス集計部Ｂ７０３から和ΣＩＲを取得する。この和ΣＩＲを集計に用いられた画素数で割ることで、特定の範囲の画素の画素値ＩＲの平均値を算出し、これを度合いＪとする。ただし、ホワイトバランス集計部で、加重を設定して和を算出する場合、和ΣＩＲを加重の和Σｗで割って平均を算出し、これを度合いＪとする。この値は、動画撮影カメラでは一般に、前のフレームの情報となってしまうが、画像の全体又は広範囲の平均値を取得することで、ノイズの影響を小さくすることが可能である。また、注目画素ごとに周辺の赤外光の画素を参照する場合に比べて、遅延が小さく、処理が画像全体に対して１回で済むという利点もある。なお、制御部１１３が、取得した和ΣＩＲと、集計に用いられた画素数又は加重の和Σｗを度合い取得部４０５に与えて度合い取得部４０５が平均値を算出しても良いし、制御部１１３が平均値を算出して度合い取得部４０５に与えるようにしても良い。

以上が第２実施形態における撮像装置で行われる処理である。第２実施形態によれば、ホワイトバランス集計に使うような画像の全面又は画像内の広範囲の画素値の平均化によって、度合いを算出することにより、度合いが受けるノイズの影響を限りなく小さくできる。また、ホワイトバランス集計のような一般的に行われる処理と共通化して、演算を簡略化できる。したがって、赤外光が含まれる度合いが小さい環境下において、ノイズを抑制した画像を得ることができる。

なお、度合いＪの取得方法は、第１実施形態のように注目画素の周辺の画素の平均値を度合いＪとする方法と、第２実施形態のように画像の特定の範囲の画素の平均値を度合いＪとする方法とを、組み合わせたものであっても良い。このようにすることで、周辺画素を参照する負荷や遅延と、ノイズの影響のバランスを取ることができる。

（第３実施形態）
第３実施形態における撮像装置の構成は、撮像素子１０３の画素配置以外は、第１実施形態と同様である。また、第３実施形態における撮像装置の動作は、分離処理以外は第１実施形態と同様である。以下では、第３の実施形態における撮像素子１０３の画素配置及び分離処理について説明する。

図８は、第３実施形態における撮像素子１０３の画素配置を説明する図である。図８において、画素２０１、２０２、２０３、及び画素２０１－ｎ、２０２－ｎ、２０３－ｎは、第１実施形態で説明した図２に示した画素と同様である。画素８０４及び画素８０４－ｎは、赤色光、緑色光、青色光、及び赤外光の４種の光を受光する。画素８０４及び画素８０４－ｎは、カラーフィルターがないことから、Ｃｌｅａｒ（クリア）ピクセルなどとも呼ばれる。画素８０４及び画素８０４－ｎの信号は、ゲイン部１０５及びＡ／Ｄ変換部１０６を経て、画素値Ｖ_m（図８に示す例ではｍは０～８）として出力される。

次に、第３実施形態における分離処理について説明する。以下では、画素２０１を注目画素とする場合を例に説明する。
Ｓ９０１では、画素値取得部４０１が、撮像部１０１から複数の画素値Ｒ_+IRm、Ｇ_+IRm、Ｂ_+IRm、Ｖ_m等（ｍは添え字であり、図８に示した画素配置の例ではｍは０～８）を取得してデータバッファ４０２に保持する。

Ｓ９０２では、第１実施形態におけるＳ５０２とは異なり、第１画素取得部４０３が、データバッファ４０２から注目画素である画素２０１の周辺の複数の画素値Ｖ_mを取得し補間して第１画素値Ｐ_+Qを取得する。これは、第１実施形態で説明した、Ｓ５０３で複数の画素の画素値ＩＲ_mを補間して画素値ＩＲを取得するのと同様の処理である。例えば、第１画素取得部４０３は、画素２０１の周辺、例えば、画素８０４と画素８０４－２とのそれぞれの画素値、画素値Ｖ₀と画素値Ｖ₂を取得し、補間（デモザイク）して画素値Ｐ_+Qを生成する。

Ｓ９０３では、第１実施形態のＳ５０３とは異なり、第２画素取得部４０４が、データバッファ４０２から注目画素である画素２０１の画素値Ｒ_+IR0を取得して、第２画素値Ｑとする。ここで、Ｓ９０２において注目画素の周辺の画素を参照し、Ｓ９０３において注目画素を参照することは、第１実施形態でＳ５０２において注目画素を参照し、Ｓ５０３において注目画素の周辺の画素を参照することと逆になっている。

第１画素値Ｐ_+Q（画素値Ｖ_mの補間値）は、赤色光、緑色光、青色光、及び赤外光の４種の光を受光した画素の画素値である。一方、第２画素値Ｑ（Ｒ_+IR0）は、赤色光及び赤外光の２種の光を受光した画素の画素値である。この場合、第１波長域を緑色光及び青色光の２種の光の波長域、第２波長域を赤色光及び赤外光の２種の光の波長域とする。

Ｓ９０４では、度合い取得部４０５が、第２波長域である赤色光及び赤外光の２種の光の成分を含む度合いＪを取得する。度合いＪの取得方法は、第１実施形態、第２実施形態、後述する第５実施形態に示した、いずれの方法でも良い。
Ｓ９０５では、係数取得部４０６が、度合い取得部４０５から度合いＪを受けとって、第１実施形態と同様にして係数ｋを取得する。

Ｓ９０６では、減算部４０７が、前述の処理において取得された画素値Ｐ_+Qと画素値Ｑと係数ｋとを受けとって、注目画素の第１波長域の画素値Ｐを、下記（式３）に従って生成する。
Ｐ＝Ｐ_+Q－ｋ×Ｑ …（式３）
つまり、画素値Ｐ_+Qから係数ｋが乗じられた画素値Ｑを減ずることにより、注目画素の第１波長域の画素値Ｐが算出される。これは第１実施形態のＳ５０６で、画素値Ｒ_+IR、ＩＲ、Ｒとしていたものが、それぞれ画素値Ｐ_+Q、Ｑ、Ｐに置き換わっただけで、処理内容は同様である。

このＳ９０６までの処理が、第１波長域の光（この例では緑色光及び青色光）及び第２波長域の光（この例では赤色光及び赤外光）を受光した画素の画素値から第２波長域の光を受光した画素の画素値を減算して、第１波長域の光の画素値を算出する処理である。

以上は、画素２０１を注目画素とした場合の説明である。一方で、画素２０２を注目画素とした場合、第１波長域は赤色光及び青色光の２種の光の波長域であり、第２波長域は緑色光及び赤外光の２種の光の波長域であり、前述と同様の処理で第１波長域である赤色光及び青色光の画素値を生成できる。また、画素２０３を注目画素とした場合、第１波長域は赤色光と緑色光の２種の光の波長域であり、第２波長域は青色光と赤外光の２種の光の波長域であり、前述と同様の処理で第１波長域である赤色光及び緑色光の画素値を生成できる。

生成された第１波長域の光の画素値Ｐは、緑色光及び青色光、又は赤色光及び青色光、又赤色光及び緑色光の、２種の波長域に対応する画素値が含まれている。以下、この２種の波長域に対応する画素値が含まれた画素値Ｐから、１種の波長域に対応する画素値を抽出する方法について説明する。ここで、緑色光と青色光の混色はシアン（Ｃ）、赤色光と青色光の混色はマゼンダ（Ｍ）、赤色光と緑色光の混色はイエロー（Ｙ）であり、ＲＧＢ三原色の補色に該当する。Ｓ９０７、Ｓ９０８、及びＳ９０９の一連の処理は、補色フィルターを配置した撮像素子（イメージセンサー）で得られた信号（画素値）を原色の画素値に分離する方法と同様である。

Ｓ９０７では、Ｓ９０６で生成された第１波長域の光の画素値Ｐが、データバッファ４０２に保持される。

Ｓ９０８では、補間部４０８が、データバッファ４０２から複数の画素の画素値を取得して補間処理（デモザイク）を行い、緑色光と青色光の混合値Ｃ、赤色光と青色光の混合値Ｍ、赤色光と緑色光の混合値Ｙを生成する。また、補間部４０８が、画素８０４及び８０４－ｎの画素値を補間処理して、赤色光と緑色光と青色光と赤外光との混合値Ｖを生成する。第１実施形態のＳ５０３での説明と同様に、デモザイクの方法はいかなるものでも良い。

Ｓ９０９では、補間部４０８が、生成した混合値Ｃ、Ｍ、Ｙ、Ｖに基づいて、分離された可視光の画素値Ｒ、Ｇ、Ｂ、及び赤外光の画素値ＩＲを、下記（式４）に従って生成する。
Ｗ＝（Ｃ＋Ｍ＋Ｙ）÷２
Ｒ＝Ｗ－Ｃ
Ｇ＝Ｗ－Ｍ …（式４）
Ｂ＝Ｗ－Ｙ
ＩＲ＝Ｖ－Ｗ
このようにして算出された可視光の画素値Ｒ、Ｇ、Ｂが可視光出力部４０９から出力され、非可視光の画素値ＩＲが赤外光出力部４１０から出力される。

以上が第３実施形態における撮像装置で行われる処理である。第３実施形態によれば、いかなる第１波長域と第２波長域との組合せにおいて、第２波長域が含まれる度合いが小さい環境下で、ノイズを抑制した画像を得ることができる。これにより、良好な第１波長域の画像を生成して、ビューイング並びにセンシング画像処理に利用できる。

第１波長域の光と第２波長域の光は、それぞれ可視光や非可視光などの単数又は複数の波長域の光の組合せから構成されることができる。可視光は、赤色光、緑色光、及び青色光に限らず、それらをより細かく分割した波長域の光としても良い。非可視光は、近赤外光に限らず、受光可能な画素を有する撮像素子があれば、中・遠赤外線でも良いし、紫外線でも良い。また、光線を一般化して電磁波とすれば、ミリ波のようなものや、その他の波であっても、本発明を適用可能である。

なお、第１実施形態～第３実施形態では、注目画素である画素２０１の周辺にある複数の画素の画素値を補間することで注目画素における非可視光の画素値を生成する方法を説明した。しかし、注目画素の位置から非可視光の成分を取得することができれば、注目画素の位置から非可視光の成分を取得して非可視光の画素値としても良い。例えば、垂直色分離方式の撮像素子は、１つの画素で複数の波長の成分を取得可能である。一例によれば、画素の上層では長い波長の光と短い波長の光との両方の信号を取得し、下層では長い波長の光の信号を取得する。短い波長を第１波長域、長い波長を第２波長域とすれば、第３実施形態で示したように、長い波長（第２波長域）が含まれる度合いが小さい環境下において、ノイズが増大することを抑制できる。

（第４実施形態）
第１実施形態では、係数取得部４０６が度合いＪから係数ｋを生成する方法について、撮像素子のノイズ量に対して一定の閾値やカーブ（関数）を定めている。第４実施形態では、度合いＪと係数ｋとの関係は、状況に応じて閾値やカーブ（関数）を変化させる。

図１０は、第４実施形態における撮像装置の構成例を示す図である。図１０において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。なお、図１０に図示していない、撮像装置の他の構成要素については、図１に示した撮像装置１００及び図４に示した分離部１０８と同様である。また、撮像装置の動作については、度合いＪから係数ｋを取得する際の度合いＪと係数ｋの関係を変化させる以外は、第１実施形態と同様である。

図１０において、現像処理部Ａ１０９は、オートエクスポージャー集計部Ａ１００１及びその他の現像処理部Ａ１００２を有する。また、現像処理部Ｂ１１１は、オートエクスポージャー集計部Ｂ１００３及びその他の現像処理部Ｂ１００４を有する。オートエクスポージャー集計部Ａ１００１及びオートエクスポージャー集計部Ｂ１００３は、入力される画素値に基づいて、明るさの平均値やヒストグラムなどの明るさ情報Ｌを生成する。

制御部１１３は、オートエクスポージャー集計部Ａ１００１及びオートエクスポージャー集計部Ｂ１００３がそれぞれ生成した明るさ情報Ｌを取得する。制御部１１３は、取得した明るさ情報に応じて、ゲイン部１０５に設定するゲイン倍率ｇを変化させる。

撮像素子１０３から出力された信号は、ゲイン部１０５でｇ倍される。このとき、一般的には、信号だけでなくノイズも増加される。第２画素取得部４０４及び度合い取得部４０５が、注目画素である画素２０１の周辺の赤外光を受光する画素の画素値を取得するに当たっては、ゲイン部１０５に設定するゲイン倍率ｇを大きくすると、取得する画素値に含まれるノイズが増加する。したがって、複数の画素の画素値を平均化して生成する度合いＪが、ノイズの平均値の分だけ増加することとなる。

制御部１１３は、このノイズの増加分に応じて閾値ｈを大きく設定する。例えば、図１１（Ａ）に示すグラフのように、ゲイン倍率ｇが所定の倍率より小さいときには閾値ｈをｈ１に設定し、ゲイン倍率ｇが所定の倍率より大きいときには閾値ｈをｈ１より大きいｈ２に設定する。度合いＪが０と閾値ｈの間であるときの係数ｋの値を示すカーブ（関数）は、ゲイン倍率ｇが所定の倍率より小さいときにはカーブ１１０１とし、ゲイン倍率ｇが所定の倍率より大きいときには、カーブ１１０１を横方向に拡大したカーブ１１０２とする。

または、制御部１１３は、ノイズの増加分に応じて、度合いＪが閾値ｈより小さいときに、度合いＪに対する係数ｋの値がより小さくなるようなカーブ（関数）を設定するようにしても良い。例えば、図１１（Ｂ）に示すグラフのように、ゲイン倍率ｇが所定の倍率より小さいときにはカーブ１２０１とし、ゲイン倍率ｇが所定の倍率より大きいときにはカーブ１２０２とする。

ゲイン部１０５によるアナログゲインで、信号はｇ倍に増幅されるが、一般にノイズはｇ倍より小さい割合で増加する。ノイズの増加の割合は、撮像素子１０３とゲイン部１０５の特性によって異なるから、ゲイン倍率ｇに対してどの程度閾値ｈを大きくするか、又はどのようにカーブを変化させるかは、撮像素子のノイズ特性を測定することによって定めることができる。

また、デジタル処理部１０７が、画素値取得部４０１よりも前に、デジタルゲイン部を有する場合がある。例えば、制御部１１３が、デジタルゲイン部に対してデジタルゲイン倍率Ｄを設定し、画素値がＤ倍されると、信号とともにノイズもＤ倍される。このような場合は、単純に閾値ｈをＤ倍すれば良い。また、ゲイン部１０５によるアナログゲインとデジタルゲイン部によるデジタルゲインとを併用する場合、アナログゲイン倍率ｇとデジタルゲイン倍率ｄの両方に応じて、閾値ｈやカーブの形状を変化させれば良い。

以上が第４実施形態における撮像装置で行われる処理である。第４実施形態によれば、ゲイン部によってノイズが変化する場合にも、赤外光が含まれる度合いが小さい環境下において、ノイズを抑制した可視光の画像を生成することができる。

なお、ゲイン部１０５以外にノイズ量が変化する要因があれば、それに応じて閾値又はカーブを変化させて良い。例えば、撮像素子１０３の温度が上昇すると、一般的にノイズが増加するので、温度センサーを設置して温度センサーから取得した温度に応じて、制御部１１３が閾値ｈやカーブを変化させても良い。

（第５実施形態）
前述した各実施形態では、度合い取得部４０５は、画像内から度合いＪを取得している。第５実施形態では、外部装置から度合いＪを取得する。図１２は、第５実施形態における撮像装置の構成例を示す図である。図１２に図示していない、撮像装置の他の構成要素については、図１に示した撮像装置１００及び図４に示した分離部１０８と同様である。また、撮像装置の動作については、度合い取得部４０５が度合いＪを取得する方法以外は、第１実施形態と同様である。

図１２において、撮像装置１００は、別途、単独素子型の赤外線センサー１２０１を有する。赤外線センサー１２０１は、周辺の赤外線の量を測定して出力する。度合い取得部４０５は、赤外線センサー１２０１から赤外線の量を受けとって、これを赤外光成分を含む度合いＪとする。単独素子型の赤外線センサーは光電変換素子を単体で使用するため、広範囲の光量を受光することからノイズの影響を受けにくい。これにより、度合いが受けるノイズの影響を小さくすることができる。

（その他の実施形態）
前述した実施形態の説明において、Ｓ５０６では、画素値Ｒ_+IRから画素値ＩＲを減算して可視光の画素値Ｒを算出する。しかし、一般的には、画素２０１は赤色光のスペクトルと近赤外光のスペクトルだけに感度を持っているわけではなく、わずかに緑色光と青色光のスペクトルにも感度を持つ。そのようなことから色再現性を向上させるために、一般的にカラーマトリックス補正が行われる。

赤外カットフィルターを用いて可視光だけを扱う場合の一般的なカラーマトリックス補正は下記（式５）で表される。
Ｒ＝ａ×Ｒ_+GB－ｂ×Ｇ_+RB－ｃ×Ｂ_+RG …（式５）
緑色光と青色光のスペクトルを含む赤色光の画素値Ｒ_+GBから、赤色光と青色光のスペクトルを含む緑色光の画素値Ｇ_+RB及び赤色光と緑色光のスペクトルを含む青色光の画素値Ｂ_+RGを減算する。このようにして緑色光と青色光のスペクトルを低減した赤色光の画素値Ｒを算出する。ａとｂとｃはカラーフィルターの特性を測定して算出される。

本実施形態において、近赤外光も含む場合のカラーマトリックス補正は下記（式６）で表される。
Ｒ＝ａ×Ｒ_+IR－ｂ×Ｇ_+IR－ｃ×Ｂ_+IR－ｋ×ＩＲ …（式６）
ａとｂとｃの算出方法は可視光だけを扱う場合と同様である。係数ｋの算出方法は、前述した第１実施形態、第２実施形態、第４実施形態、及び第５実施形態に示すいずれでも良い。

このようにして、カラーマトリックス補正に近赤外光成分の項を加えることで、カラーマトリックス補正の一部に組み込むことが可能である。前述した説明、及び（式５）と（式６）は、赤色光の画素値を算出するためのものである。緑色光の画素値を算出する場合には、「Ｒ」を「Ｇ」に、「Ｇ」を「Ｂ」に、「Ｂ」を「Ｒ」に、それぞれ読み替えれば良い。また、青色光の画素値を算出する場合には、「Ｒ」を「Ｂ」に、「Ｇ」を「Ｒ」に、「Ｂ」を「Ｇ」に、それぞれ読み替えれば良い。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置 １０１：撮像部 １０３：撮像素子 １０４：アナログ処理部 １０７：デジタル処理部 １０８：分離部 １１３：制御部 ４０１：画素値取得部 ４０３：第１画素取得部 ４０４：第２画素取得部 ４０５：度合い取得部 ４０６：係数取得部 ４０７：減算部 ４０８：補間部

Claims (14)

1. 対象画素の第１画素値を、第１波長域の光及び第２波長域の光を受光する第１画素から取得する第１画素取得手段と、
   前記対象画素の第２画素値を、前記第２波長域の光を受光する第２画素から取得する第２画素取得手段と、
   度合いが小さくなるに従って値を小さくする係数であって、画像において前記第２波長域の光の成分が含まれる前記度合いに応じて前記係数を取得する係数取得手段と、
   前記第１画素値と、前記係数が乗じられた前記第２画素値とから前記対象画素の前記第１波長域の画素値を生成する画素値生成手段とを有することを特徴とする撮像装置。
2. 前記画素値生成手段は、前記第１画素値から、前記係数が乗じられた前記第２画素値を減じて前記対象画素の前記第１波長域の画素値を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第２波長域の光を受光する画素の画素値を用いて、画像において前記第２波長域の光の成分が含まれる前記度合い取得する度合い取得手段を有し、
   前記係数取得手段は、前記度合い取得手段により取得された前記度合いに応じて前記係数を取得することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記対象画素の周辺の前記第２波長域の光を受光する画素の画素値を平均化処理して、画像において前記第２波長域の光の成分が含まれる前記度合い取得することを特徴とする請求項１～３の何れか１項に記載の撮像装置。
5. 画像の特定の範囲の前記第２波長域の光を受光する画素の画素値を平均化処理して、画像において前記第２波長域の光の成分が含まれる前記度合い取得することを特徴とする請求項１～３の何れか１項に記載の撮像装置。
6. 前記係数は、前記度合いが第１閾値より小さい場合に前記度合いが小さくなるに従って値を小さくすることを特徴とする請求項１～５の何れか１項に記載の撮像装置。
7. 前記第２波長域の光を受光する第２画素に係るゲイン倍率が所定の倍率より大きいときには、前記度合いが前記第１閾値より大きい第２閾値より小さい場合に前記度合いが小さくなるに従って前記係数の値を小さくすることを特徴とする請求項６に記載の撮像装置。
8. 前記第２画素取得手段は、前記対象画素の周辺の前記第２波長域の光を受光する第２画素から取得した画素値を補間して前記対象画素の第２画素値を取得することを特徴とする請求項１～７の何れか１項に記載の撮像装置。
9. 前記第２画素取得手段は、前記対象画素の周辺の前記第２波長域の光を受光する第２画素から取得した画素値を平均化処理して前記対象画素の第２画素値を取得することを特徴とする請求項１～７の何れか１項に記載の撮像装置。
10. 前記第１波長域の光は可視光であり、前記第２波長域の光は非可視光であることを特徴とする請求項１～９の何れか１項に記載の撮像装置。
11. 前記第１波長域の光は可視光であり、前記第２波長域の光は赤外光であることを特徴とする請求項１～９の何れか１項に記載の撮像装置。
12. 前記第１波長域の光は赤色光、緑色光、青色光、及び赤外光であり、前記第２波長域の光は前記赤色光、緑色光、及び青色光のうちの１種の光と前記赤外光とであることを特徴とする請求項１～９の何れか１項に記載の撮像装置。
13. 対象画素の第１画素値を、第１波長域の光及び第２波長域の光を受光する第１画素から取得する第１画素取得工程と、
    前記対象画素の第２画素値を、前記第２波長域の光を受光する第２画素から取得する第２画素取得工程と、
    度合いが小さくなるに従って値を小さくする係数であって、画像において前記第２波長域の光の成分が含まれる前記度合いに応じて前記係数を取得する係数取得工程と、
    前記第１画素値と、前記係数が乗じられた前記第２画素値とから前記対象画素の前記第１波長域の画素値を生成する画素値生成工程とを有することを特徴とする撮像方法。
14. 撮像装置のコンピュータに、
    対象画素の第１画素値を、第１波長域の光及び第２波長域の光を受光する第１画素から取得する第１画素取得ステップと、
    前記対象画素の第２画素値を、前記第２波長域の光を受光する第２画素から取得する第２画素取得ステップと、
    度合いが小さくなるに従って値を小さくする係数であって、画像において前記第２波長域の光の成分が含まれる前記度合いに応じて前記係数を取得する係数取得ステップと、
    前記第１画素値と、前記係数が乗じられた前記第２画素値とから前記対象画素の前記第１波長域の画素値を生成する画素値生成ステップとを実行させるためのプログラム。

Images