JP6835227B2 - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、複数の画像を合成する技術に関する。

昨今、様々な画像合成手法が提案されている。また、撮影に係る設定（露光量や露出時間）を変更できるカメラは、光の波長帯域に対する感度特性が異なる様々な画像を取得できる。さらに、露出時間等の設定が同じでも、撮影時にフラッシュを焚くか焚かないかの相違によって実質的に異なる画像がカメラにより取得される。さらにまた、様々な目的対象を撮影するために、目的に応じたセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。また、夜間における監視に対して、近赤外線や遠赤外線などの非可視光利用のセンサを搭載したカメラも広く普及している。他にも、近紫外線カメラも市販されている。あるいは、テラヘルツ波や電波など可視光の波長帯域よりも長い波長を撮影する装置も市販されている。

このように様々な撮影装置が普及していることから、波長帯域が異なる複数の撮影画像を医療やセキュリティなどの多くの分野に応用する画像処理技術が開発されている。特許文献１には、撮影領域と撮影タイミングが同じ可視光画像と近赤外画像を合成する技術が開示されている。特許文献１に開示されている技術では、可視光画像と近赤外画像を合成するに際し、各画素において、可視光画像と近赤外画像の各輝度情報が比較され、高い方の輝度情報が合成画像における画素の輝度情報として選択されている。また、非特許文献１には、複数の画像を合成する場合に、画像における各画素の画像勾配（隣接間の画素値の差分の情報）を利用して合成画像を生成する技術が開示されている。

特開２０１０−１６６３６３号公報

Graham D. Finlayson, David Connah and Mark S. Drew, "Lookup-table-based Gradient Field Reconstruction", IEEE Transactions on Image Processing, Volume 20, Issue 10, Oct. 2011, page 2827−2836

ところで、画像勾配の情報を利用して画像処理を行うことにより、画像処理後の画像の用途に適した画質が得やすくなり、用途に応じた画像の画質改善を図ることができる。非特許文献１では、画像勾配の情報を利用して画像を合成する技術が開示されているが、次のような問題発生の虞がある。

すなわち、非特許文献１に開示されている技術では、合成対象の複数の画像のそれぞれにおいて、画素毎に画像勾配が算出される。そして、合成対象の各画像における対応する画素同士の画像勾配の和による算出値を利用して、合成対象の複数の画像を合成した後の合成画像における画素毎の画像勾配が算出される。このように算出される画像勾配の情報をも利用して、合成画像が生成される。

しかしながら、このような手法では、合成画像の生成に際し、画像勾配の和による算出値が利用されることから、局所的に大きな画像勾配の情報は合成画像に反映され易い。一方、グラデーションなどの大域的に変化する小さな画像勾配の情報は合成画像に反映され難い。例えば、遠赤外画像は、テクスチャが少なくて全体的に画像勾配が小さい。このような画像勾配が小さい遠赤外画像などの画像と、当該画像よりも大きな画像勾配を多く持つ可視光画像とを非特許文献１に開示されている手法により合成すると、画像勾配が小さい画像の情報がほとんど反映されていない合成画像が生成されてしまう。このため、例えば、可視光画像に遠赤外画像（換言すれば、遠赤外線センサによる画像）を重ねることにより得られる合成画像を利用して、遠赤外画像に撮影されている事象を解析することが難しいという問題が生じる。

本発明は上記のような課題を解決するために考え出された。すなわち、本発明の主な目的は、画像勾配の情報を利用して複数の画像を合成する場合に、小さな画像勾配の画像の情報も反映された合成画像を生成でき、合成画像に要求される画質の改善を図ることができる技術を提供することにある。

上記目的を達成するために、本発明の画像処理装置は、
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出部と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索部と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出部と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定部と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出部と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成部と
を備える。

また、本発明に係る画像処理方法は、
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する。

さらに、本発明のプログラム記憶媒体は、
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。

本発明によれば、画像勾配の情報を利用して複数の画像を合成する場合に、小さな画像勾配の画像の情報も反映された合成画像を生成でき、合成画像に要求される画質の改善を図ることができる。

本発明に係る第１実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第１実施形態の画像処理装置における画像合成の動作例を表すフローチャートである。 第１実施形態の画像処理装置における画像合成処理により得られる効果を説明する図である。 本発明に係るその他の実施形態を説明する図である。

以下に、本発明に係る実施形態を図面に基づいて説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の画像処理装置の構成を表すブロック図である。第１実施形態の画像処理装置１は、入力部３と、処理装置４と、記憶部５と、出力部６とを備えている。

入力部３は、インターフェース装置であり、例えば撮影装置７と接続し当該撮影装置７から出力される画像を受信するインターフェース機能を備えている。第１実施形態では、入力部３に接続される撮影装置７は、可視光と近赤外を撮影可能な装置（近赤外センサ搭載の撮影装置）であり、可視光画像（以下、スカラー画像とも記す）と、近赤外画像とを出力する機能を備えている。撮影装置７から出力されるスカラー画像と近赤外画像は撮影範囲がほぼ等しく、ここでは、当該撮影範囲は一致しているとみなす。

なお、入力部３に接続される撮影装置は、可視光と近赤外を撮影可能な撮影装置に限定されず、例えば、可視光を撮影する撮影装置と、近赤外を撮影する撮影装置（近赤外センサとも称す）とが入力部３に接続されてもよい。また、入力部３には撮影装置が接続されるのに代えて、記憶装置が接続されてもよい。この場合には、例えば、撮影装置によって撮影されたスカラー画像と近赤外画像が記憶装置に格納され、当該記憶装置から例えば処理装置４の機能により読み出されたスカラー画像と近赤外画像を入力部３が受信してもよい。

記憶部５は、記憶媒体を備え、様々なデータや、コンピュータプログラム（プログラム）を記憶可能な構成を備える。記憶媒体を備える記憶装置には、例えば、ハードディスク装置や半導体メモリなど様々な種類が有り、ここでは、画像処理装置１に搭載される複数種の記憶装置をまとめて記憶部５として表している。

第１実施形態では、記憶部５には、入力部３で受信された撮影画像（スカラー画像と近赤外画像）が処理装置４により登録される。

また、記憶部５には、予め定められた基底ベクトル群Φの情報が格納されている。ここでの基底ベクトル群Φは、合成対象のスカラー画像と近赤外画像を合成した場合における合成画像に設定された複数の基底ベクトルφ_ｊ（“ｊ”は１以上の整数）のグループである。なお、基底ベクトルφ_ｊの“ｊ”は、基底ベクトルを識別する情報であり、ここでは、基底ベクトル群Φを構成する複数の基底ベクトルをΦ＝｛φ1，φ2，φ3，・・・｝というように予め定められた順に並べて基底ベクトル群Φを表す場合の配列順を示す。

例えば、入力部３に入力されるスカラー画像のチャネルが赤（Ｒ）、緑（Ｇ）、青（Ｂ）であり、近赤外画像のチャネルが近赤外（Ｎ）であるとする。この場合には、スカラー画像と近赤外画像の合成画像（以下、単に合成画像とも記す）における各画素ｉの画素値を表す基底ベクトル群Φ_ｉは、例えば下式（１）により設定される。
式（１）：
Φ_ｉ＝｛φ_ｊｉ｝
＝｛Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ，Ｎ_ｉ，Ｒ_ｉ ^２，Ｇ_ｉ ^２，Ｂ_ｉ ^２，Ｎ_ｉ ^２，Ｒ_ｉ*Ｂ_ｉ，Ｒ_ｉ*Ｇ_ｉ，Ｇ_ｉ*Ｂ_ｉ，Ｒ_ｉ*Ｎ_ｉ，Ｇ_ｉ*Ｎ_ｉ，Ｂ_ｉ*Ｎ_ｉ｝
なお、式（１）中における“ｉ”は、１以上の整数であり、スカラー画像あるいは近赤外画像あるいは合成画像における各画素を識別する情報を表し、ここでは、画像をラスタスキャンした場合における画素の順番を表している。また、式（１）中における“*”は乗算記号である。さらに、“φ_ｊｉ”における“ｊ”は、上述した“ｊ”と同様に、基底ベクトルを識別する情報である。例えば、基底ベクトル群Φ_ｉが式（１）のように表される場合には、例えば、画素ｉにおける基底ベクトルφ_３ｉ（ｊ＝３）は、“Ｂ_ｉ”であり、また、基底ベクトルφ_９ｉ（ｊ＝９）は、“Ｒ_ｉ*Ｂ_ｉ”である。

なお、式（１）に表される基底ベクトル群Φ_ｉは、一例であって、基底ベクトル群Φ_ｉは、式（１）に限定されない。例えば、基底ベクトル群Φ_ｉを構成する基底ベクトルφ_ｊｉは、式（１）よりも少なくてもよいし、式（１）に加えて、Ｒ_i ³，Ｇ_i ³，Ｂ_i ³，Ｎ_i ³などの基底ベクトルをさらに加えてもよい。基底ベクトル群Φ_ｉを構成する基底ベクトルφ_ｊｉは、合成画像に要求される解像度などを考慮して適宜設定される。また、合成対象の各画像に含まれている画素値の情報等を考慮し、基底ベクトルφ_ｊの組み合わせが異なる複数の基底ベクトル群Φが設定され記憶部５に格納されてもよい。この場合には、例えば、装置のユーザが要求する画質等に応じて、処理に利用する基底ベクトル群Φが択一的に選択されてもよい。

合成画像を生成する場合には、合成画像における各画素の上記のような基底ベクトル群Φ_ｉを構成する各基底ベクトルφ_ｊｉの係数がスカラー画像と近赤外画像（入力画像）に基づき決定されることにより、合成画像の各画素の画素値が定まり、これにより、合成画像が生成できる。第１実施形態では、その合成画像における各基底ベクトルφ_ｊｉの係数を算出する手法およびそれを処理する画像処理装置（処理装置４）に特徴がある。

処理装置４は、例えば、１つ又はそれ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。第１実施形態では、処理装置４は、記憶部５に格納されているコンピュータプログラムを読み出し実行することにより、次のような機能を持つことができる。すなわち、処理装置４は、機能部として、勾配算出部４０と、スコア算出部４１と、勾配確定部４２と、係数算出部４３と、合成部４４とを備えている。

勾配算出部４０は、各画素の特徴を表す情報として画像勾配を算出する機能を備える。画像勾配とは、隣接する画素間の画素値の差分の情報である。画像勾配を算出する手法には様々な手法が提案されており、ここでは、合成画像に要求される画質や、処理装置４の処理能力などの事項を考慮した適宜な手法が採用される。勾配算出部４０は、その採用した勾配算出手法に基づいて、入力部３で受信したスカラー画像と近赤外画像のそれぞれにおいて各画素の画像勾配を算出する。

なお、第１実施形態では、各画素ｉにおいて、基底ベクトル群Φ_ｉを構成する各基底ベクトルφ_ｊｉを考慮した画素値の成分（チャネル）毎に、画像勾配が算出される。例えば、基底ベクトル群Φ_ｉが前述した式（１）のように設定されている場合には、画素毎に、画像勾配は、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関して算出される。ここでは、勾配算出部４０により算出される赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関する画像勾配は、画素毎に、∇Ｒ_ｉ，∇Ｇ_ｉ，∇Ｂ_ｉ，∇Ｎ_ｉとも表される。なお、“ｉ”は、式（１）における“ｉ”と同様に、画素を識別する情報を表す。以下、明細書中における“ｉ”は、同様に、画素を識別する情報を表す。

スコア算出部４１は、スカラー画像と近赤外画像において、各画素の特徴を数値により表すスコアを算出する機能を備えている。画像処理装置１では、スコア算出部４１は、スケール探索部４１１と勾配部（勾配スコア算出部）４１２を有している。スケール探索部４１１は、スカラー画像と近赤外画像において、各画素における空間周波数成分の含有度合いに関連するスケール（以下、単にスケールとも記す）に基づくスコア（ここでは、便宜上、スケールスコアとも記す）を算出する機能を備えている。例えば、スケール探索部４１１は、画素値に基づいて画像を空間周波数毎の画像に分解するスケールスペース手法を利用して、各画素におけるスケールスコアを算出する。より具体的には、スケール探索部４１１は、例えば、画素毎に、Lindebergらにより提案されている下式（２）に表されるＬｏＧ（Laplacian of Gaussian）オペレータにおける“σ”の値を変化させ、最も値が大きいＬｏＧの数値を各画素におけるスケールスコアとして算出する。
式（２）：

なお、式（２）中における“σ”はスケールを表す。また、“ｘ”は、入力部３に入力する画像（入力画像）の各画素の位置をｘ，ｙの二次元直交座標系を利用して表す場合に、基準画素からのｘ軸方向の距離を表し、“ｙ”は、基準画素からのｙ軸方向の距離を表す。

また、第１実施形態では、スケール探索部４１１は、予め設定されている基底ベクトル群Φ_ｉを構成する各基底ベクトルφ_ｊｉを考慮した画素値の成分（チャネル）毎に、スケールスコアを算出する。例えば、基底ベクトル群Φ_ｉが前述した式（１）のように設定されている場合には、スケール探索部４１１は、画素毎に、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関するスケールスコアを算出する。ここでは、スケール探索部４１１により算出されたスケールスコアは、ｓ_Ri，ｓ_Gi，ｓ_Bi，ｓ_Niとも表されるとする。

なお、スケール探索部４１１がスケールスコアを算出する手法は、上記のようなＬｏＧオペレータを利用する手法に限定されない。例えば、スケールスコアを算出する手法としては、式（２）に表されるｆ（σ）の最大値に、σ（スケール）を変数として持つ単調増加関数あるいは単調減少関数の値を乗じた値をスケールスコアとする手法を採用してもよい。又は、スケールスコアを算出する手法として、式（３）に表されるｆ（σ）の最大値をスケールスコアとする手法を採用してもよい。
式（３）：

勾配部４１２は、スカラー画像と近赤外画像において、スケール探索部４１１により算出されたスケールスコアをも考慮して、各画素における勾配に基づくスコア（以下、勾配スコアと記す）を算出する機能を備えている。例えば、勾配算出部４０により算出される画像勾配とスケール探索部４１１により算出されるスケールスコアとを変数として持ち画像勾配とスケールスコアの大きさに応じた値を算出する数式のデータが記憶部５に予め与えられている。勾配部４１２は、スカラー画像と近赤外画像のそれぞれにおいて、そのデータを利用して各画素における基底ベクトル群Φ_ｉを構成する基底ベクトルφ_ｊｉを考慮した画素値の成分毎に勾配スコアを算出する。具体例としては、基底ベクトル群Φ_ｉが前述した式（１）のように設定されている場合には、勾配スコアは、画素ｉ毎に、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関して算出される。すなわち、勾配算出部４０により、各画素ｉにおいて、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関する画像勾配∇Ｒ_ｉ，∇Ｇ_ｉ，∇Ｂ_ｉ，∇Ｎ_ｉが算出されているとする。また、スケール探索部４１１により、各画素ｉにおいて、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関するスケールスコアｓ_Ｒｉ，ｓ_Ｇｉ，ｓ_Ｂｉ，ｓ_Ｎｉが算出されているとする。この場合、勾配部４１２は、各画素ｉにおいて、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関する勾配スコアｇ_Ｒｉ，ｇ_Ｇｉ，ｇ_Ｂｉ，ｇ_Ｎｉとして、ｓ_Ｒｉ×∇Ｒ_ｉ，ｓ_Ｇｉ×∇Ｇ_ｉ，ｓ_Ｂｉ×∇Ｂ_ｉ，ｓ_Ｎｉ×∇Ｎ_ｉを算出する。

勾配確定部４２は、スカラー画像と近赤外画像の合成に際し、当該合成画像における各画素ｉの画像勾配（以下、ターゲット勾配とも記す）を、勾配部４１２により算出される勾配スコアを利用して確定する機能を備えている。換言すれば、勾配確定部４２は、スカラー画像と近赤外画像のそれぞれの画像勾配の情報だけでなく、スケールスコア（空間周波数に関連する情報）をも考慮された勾配スコアを利用して、ターゲット勾配を確定する。

例えば、勾配確定部４２は、各画素ｉにおける勾配スコアｇ_Ｒｉ，ｇ_Ｇｉ，ｇ_Ｂｉ，ｇ_Ｎｉの中で最もスコアが大きい成分（チャネル）を選択し、選択した成分（チャネル）の勾配スコアの算出に利用した画像勾配をターゲット勾配∇Ｊ_ｉとして確定する。具体例を挙げると、画像_５（ｉ＝５）における勾配スコアｇ_Ｒ５，ｇ_Ｇ５，ｇ_Ｂ５，ｇ_Ｎ５の中で最もスコアが大きい成分（チャネル）が赤である場合には、ｇ_Ｒ５＝ｓ_Ｒ５×∇Ｒ_５の“∇Ｒ_５”がターゲット勾配∇Ｊ_５として確定される。

なお、ターゲット勾配∇Ｊ_ｉの算出手法は上述した手法に限定されない。例えば、勾配確定部４２は、勾配算出部４０により算出される画像勾配の情報と、勾配部４１２により算出される勾配スコアと、下式（４）とに基づいて、ターゲット勾配∇Ｊ_ｉを算出してもよい。つまり、勾配確定部４２は、画素毎に、算出された勾配スコアを画像勾配で加重平均することによりターゲット勾配∇Ｊ_ｉを算出してもよい。
式（４）：
∇Ｊ_ｉ＝ｇ_Ｒｉ×∇Ｒ_ｉ＋ｇ_Ｇｉ×∇Ｇ_ｉ＋ｇ_Ｂｉ×∇Ｂ_ｉ＋ｓ_Ｎｉ×∇Ｎ_ｉ

係数算出部４３は、スカラー画像と近赤外画像の合成に際し、合成画像における各画素ｉにおいて、勾配確定部４２により画定される各画素ｉのターゲット勾配∇Ｊ_ｉを利用して、基底ベクトル群Φｉを構成する基底ベクトルφ_ｊｉの係数を算出する機能を備えている。例えば、係数算出部４３は、画素ｉにおける基底ベクトル群Φｉの基底ベクトルφ_ｊの係数をλ_ｊとした場合に、下式（５）に表される二乗誤差Ｅ（λ_ｊ）を最小化するλ_ｊの値を、基底ベクトルφ_ｊの係数として算出する。
式（５）：

なお、式（５）における∇Φ_ｉは、画素ｉにおける基底ベクトル群Φ_ｉの画像勾配（ここでは、例えば、基底ベクトルφ_ｊの勾配）を表す。∇Ｊ_ｉは勾配確定部４２により算出されるターゲット勾配を表す。

合成部４４は、係数算出部４３により算出された各画素ｉの基底ベクトルφ_ｊｉの係数λ_ｊｉに基づいた基底ベクトルの線形結合により合成画像を生成する機能を備えている。

処理装置４は、上記のように、スカラー画像と近赤外画像の合成画像を生成する。出力部６は、インターフェース装置であり、例えば表示装置８に接続されスカラー画像や近赤外画像や合成画像の情報を表示装置８に向けて出力するインターフェース機能を備えている。表示装置８は、出力部６から出力された画像の情報に基づいて、スカラー画像や近赤外画像や合成画像をディスプレイに表示する機能を備えている。

次に、処理装置４における合成画像の生成に係る処理動作の一例を図２のフローチャートに基づいて説明する。

例えば、処理装置４の勾配算出部４０は、合成対象のスカラー画像と近赤外画像を例えば記憶部５から読み出す。そして、勾配算出部４０は、読み出したスカラー画像と近赤外画像のそれぞれにおいて、各画素の画像勾配を算出する（ステップＳ１０１）。

また、スコア算出部４１のスケール探索部４１１は、合成対象のスカラー画像と近赤外画像のそれぞれにおいて、各画素におけるスケールスコアを算出する（ステップＳ１０２）。

その後、スコア算出部４１の勾配部４１２は、スカラー画像と近赤外画像のそれぞれの各画素において、算出された画像勾配およびスケールスコアの大きさに応じた勾配スコアを算出する（ステップＳ１０３）。

然る後に、勾配確定部４２は、勾配部４１２により算出される勾配スコアを利用して、スカラー画像と近赤外画像の合成画像における各画素のターゲット勾配を確定する（ステップＳ１０４）。

その後、係数算出部４３は、確定したターゲット勾配を利用して、基底ベクトル群を構成する基底ベクトルの係数を算出する（ステップＳ１０５）。そして、合成部４４は、係数算出部４３により算出された基底ベクトルの係数に基づいた基底ベクトルの線形結合により合成画像を生成する（ステップＳ１０６）。

第１実施形態の画像処理装置１は、上記のような構成を備えていることにより、次のような効果を奏することができる。すなわち、画像処理装置１の処理装置４は、複数の画像を合成する際に、それら画像の各画素における空間周波数に関連する情報をスケールスコアとして算出し、当該スケールスコアを考慮して合成画像における各画素の勾配スコアを算出する。そして、処理装置４は、算出した勾配スコアを利用して、各画素の基底ベクトルの係数を算出することにより、合成画像を生成する。つまり、処理装置４は、合成前の各画像における空間周波数の情報をも考慮して合成画像を生成している。このため、処理装置４（画像処理装置１）は、合成画像の画質の向上を図ることができる。

例えば、図３において、（ａ）部分に表されるようなスカラー画像と、（ｂ）部分に表されるようなテクスチャが少なくグラデーションが含まれる近赤外画像とを、前述した非特許文献１における手法を利用して合成したとする。この場合には、近赤外画像におけるグラデーションの情報は合成画像に現れない。これに対し、第１実施形態では、空間周波数に関連する情報がスケールスコアとして算出され、当該スケールスコアを利用して勾配スコアが算出される。図３における（ｃ）部分は、（ａ）部分のスカラー画像における各画素の勾配スコアの大きさの一例が白黒度合いにより表され、（ｄ）部分は、（ｂ）部分の近赤外画像における各画素の勾配スコアの大きさの一例が白黒度合いにより表されている。図３における（ｃ），（ｄ）部分において、勾配スコアが大きくなるに従って白くなるように（勾配スコアが小さくなるに従って黒くなるように）、勾配スコアが白黒度合いにより表されている。図３の（ｄ）部分に表されているように、グラデーションが含まれる部分に高い勾配スコアが与えられることにより、図３の（ｅ）部分に表されている合成画像のように、グラデーションの情報が反映された合成画像が生成される。

このように、第１実施形態の画像処理装置１（処理装置４）は、複数の画像を合成する場合に、画像勾配の情報を利用することにより、例えば合成画像を利用して画像解析を行う解析者にとって解析し易い合成画像を生成できるという効果を得ることができる。その上、第１実施形態の画像処理装置１は、空間周波数の情報（スケール）をも利用して合成画像を生成するので、大域的に変化するグラデーションの情報をも反映された合成画像を生成でき、これにより、合成画像に要求される画質の改善を図ることができる。

＜その他の実施形態＞
なお、この発明は第１実施形態に限定されず、様々な実施の形態を採り得る。例えば、第１実施形態では、画像全体を考慮して基底ベクトル群を構成する基底ベクトルが設定されている。これに代えて、例えば、画像の一部の領域に着目することにより基底ベクトル群を構成する基底ベクトルが設定されてもよい。また、基底ベクトル群を構成する例えば式（１）に表されるような多くの基底ベクトルが設定された後に、例えば、主成分分析や非負行列因子分解などを利用して基底ベクトルの数が削減されることにより、基底ベクトル群の基底ベクトルが設定されてもよい。

さらに、画像が複数の分割領域に区分され、分割領域毎に上記のような画像処理が実行され、分割領域毎に合成画像が生成されてもよい。この場合には、例えば、画像の分割領域毎に基底ベクトル群が設定されてもよい。また、このように分割領域毎に基底ベクトル群が設定される場合には、分割領域毎に、第１実施形態と同様に基底ベクトル群を構成する基底ベクトルの係数が算出された後に、次のような処理が行われてもよい。例えば、係数算出部４３は、さらに、分割領域間の空間的な平滑化を考慮した下式（６）に表されるような最適化関数を最小化させる基底ベクトルの係数を算出し、当該算出した係数を合成画像全体を考慮した各画素の基底ベクトルの係数として確定する。
式（６）：

なお、式（６）におけるλ_ｊｉは、式（６）を利用して係数算出部４３が確定する画素ｉにおける基底ベクトル群のｊ番目の基底ベクトルの係数を表す。λ_ｊｉ０は、第１実施形態で説明したように係数算出部４３が算出する係数λ_ｊｉと同様であり、ここでは、便宜上、λ_ｊｉ０と表す。∇λ_ｊｉは、係数λ_ｊｉの勾配を表し、∇λ_ｊｉ０は、λ_ｊｉ０の勾配を表す。

なお、式（６）に代えて、下式（７）を採用して分割領域における各画素の基底ベクトルの係数を確定してもよい。
式（７）：

なお、式（７）におけるｐは、零以上の整数である定数を表す。このｐは適宜設定される。

また、第１実施形態では、スカラー画像（可視光画像）と近赤外画像との合成を例にして説明しているが、第１実施形態における画像処理装置１は、スカラー画像と遠赤外画像との合成というように、合成対象の複数の画像の組み合わせは第１実施形態における組み合わせに限定されない。また、画像処理装置１が実行する画像合成に係る処理は、２つの画像の合成に限定されず、例えば、３つ以上の画像を合成する際にも適用される。

さらに、本発明に係る画像処理装置は、第１実施形態の構成に限定されず、図４のブロック図に表されるような構成を備えていればよい。すなわち、図４に示される画像処理装置２０は、勾配算出部２１と、スケール探索部２２と、勾配スコア算出部２３と、勾配確定部２４と、係数算出部２５と、合成部２６とを備えている。

勾配算出部２１は、合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する機能を備える。スケール探索部２２は、合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する機能を備える。勾配スコア算出部２３は、算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを画素毎に算出する機能を備える。

勾配確定部２４は、合成対象の複数の画像における対応する画素同士の勾配スコアを比較し、合成対象の複数の画像のうち、他の画像よりも勾配スコアが大きい画像の勾配スコアに応じた画像勾配を、合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する機能を備える。

係数算出部２５は、合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数をターゲット勾配に基づいて合成画像の画素毎に算出する機能を備える。合成部２６は、算出された係数に基づいた基底ベクトルの線形結合により、合成画像を生成する機能を備える。

この画像処理装置２０においても、第１実施形態と同様に、空間周波数成分を考慮して合成画像を生成するので、第１実施形態と同様の効果を得ることができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

１，２０ 画像処理装置
２１，４０ 勾配算出部
２２，４１１ スケール探索部
２３ 勾配スコア算出部
２４，４２ 勾配確定部
２５，４３ 係数算出部
２６，４４ 合成部
４１２ 勾配部

Claims (7)

1. 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出手段と、
   前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索手段と、
   算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出手段と、
   前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定手段と、
   前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出手段と、
   算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成手段と
   を備える画像処理装置。
2. 前記係数算出手段は、前記合成画像を複数に区分した分割領域毎において、各画素における基底ベクトルの係数を算出した後に、さらに、前記分割領域間が空間的に滑らかになる平滑化を考慮した処理を前記算出した係数に行って前記合成画像の全体を考慮した基底ベクトルの係数を確定する請求項１に記載の画像処理装置。
3. 前記勾配確定手段は、前記合成対象の複数の画像における算出された勾配スコアを比較し、最も大きい勾配スコアを持つ画像の前記画像勾配を前記ターゲット勾配として確定する請求項１又は請求項２に記載の画像処理装置。
4. 前記勾配確定手段は、画素毎に、算出された前記勾配スコアを前記画像勾配で加重平均することにより前記ターゲット勾配を算出する請求項１又は請求項２に記載の画像処理装置。
5. 前記係数算出手段は、前記合成画像における前記基底ベクトルの係数を算出する際に、画像勾配に関する二乗誤差を最小化する係数を前記基底ベクトルの係数として算出する請求項１乃至請求項４の何れか１つに記載の画像処理装置。
6. 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
   前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
   算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
   前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
   前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
   算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する画像処理方法。
7. 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
   前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
   算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
   前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
   前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
   算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
   をコンピュータに実行させるコンピュータプログラム。

Images