JP5996315B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像を補正する為の画像処理装置、画像処理方法、及び画像処理プログラムに関する。

撮像センサとして例えばＣＣＤ（Ｃｈａｒｇｅ ＣｏｕＰｌｅｄ Ｄｅｖｉｃｅ）のような固体撮像素子を利用した撮像装置においては、当該固体撮像素子への入射光レベルが略均一であるにも関わらず周辺の画素と比べて特異な値を出力する孤立点が生じることがある。孤立点は、例えば、入力画像に含まれる欠陥画素、インパルス性ノイズ、または画像情報検出用画素等に起因して生じる。

欠陥画素に対しては、従来より次のような手段が講じられている。すなわち、ユーザーに撮像装置を出荷する前に欠陥画素の位置情報をメモリ等に記憶させておき、欠陥画素からの出力値を補正回路によって周辺画素の出力信号を用いて生成した補正信号に置換する。この手法によれば、例えば、所定サイズの周囲画素から所定方向の相関値を求め、その相関が最大になる方向に属する周囲画素を用いて、欠陥画素の補正値を算出する。

このように、欠陥画素の周辺画素から方向相関を求め、この方向相関に基づいて欠陥画素の出力値を補正する技術は、例えば特許文献１に開示されている。この特許文献１に開示されている欠陥画素補正装置は、周辺画素から方向相関を検知する方向相関検出部と、メモリからの欠陥有無情報と方向相関検出部からの補正方向情報及び空間フィルタからの周辺画素データにより欠陥補正を行う欠陥補正部と、を具備している。

特開２００５−１４２９９７号公報

ところで、方向相関を求めて相関の高い方向を検出し、その方向の周囲画素の画素値に基づいて欠陥画素の補正値を算出する場合、当該欠陥画素の周辺で何れかの方向に相関が無ければ、補正後の画像においては、エッジがぼかされてしまったり、細い線が消えてしまったり等の問題が生じてしまう。つまり、特許文献１に開示されている技術では、例えばエッジ上や細い線上に孤立点が存在する場合、精度の低い補間処理になってしまう虞がある。

本発明は、上述の事情に鑑みて為されたものであり、画素値を補正する画像処理装置、画像処理方法、及び画像処理プログラムであって、例えば孤立点がエッジや細い線上に存在する場合であっても、それらエッジや細い線をぼかすことがない高精度の補正処理を行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様による画像処理装置は、
デジタル画像の画素値を補正する画像処理装置であって、
補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定する注目領域設定部と、
前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定する参照領域設定部と、
前記注目領域を構成する画素の画素値と、前記参照領域を構成する画素の画素値と、を比較し、前記注目領域と前記参照領域との間の相関性を示す相関値を算出する比較部と、
前記相関値に基づいて、前記補正に係る重み付け係数である相関性重み係数を算出する相関性重み算出部と、
前記相関性重み係数と前記注目画素の画素値とに基づいて、前記注目画素の補正値を算出する補正値算出部と、
を具備することを特徴とする。

前記の目的を達成するために、本発明の第２の態様による画像処理装置は、
デジタル画像の画素値を補正する画像処理装置であって、
補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定する注目領域設定部と、
前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定する参照領域設定部と、
前記注目領域を構成する画素値を所定の順番に並べた成分から成るベクトルである注目領域特徴ベクトルを生成する注目領域特徴ベクトル生成部と、
前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とを各画素毎に比較し、前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とが、全て等しいか否かを判定する色情報判定部と、
前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とが全て等しい場合、前記参照領域に含まれる画素値を所定の順番に並べた成分から成るベクトルである参照領域特徴ベクトルを生成し、前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とが異なる画素が存在する場合、その異なる色情報を持つ画素の画素値を、当該異なる色情報を持つ画素の近傍に位置する等しい色情報を持つ画素を用いて算出して置き換えた後、当該参照領域に含まれる画素値を所定の順番に並べた成分から成る参照領域特徴ベクトルを生成する参照領域特徴ベクトル生成部と、
前記注目領域特徴ベクトル生成部により生成された注目領域特徴ベクトルと、前記参照領域特徴ベクトル生成部により生成された参照領域特徴ベクトル、との相関性を示す相関値を算出する比較部と、
前記相関値に基づいて、前記注目画素と同じ位置関係にある前記参照領域の画素である参照画素の相関性重み係数を決定する重み決定部と、
前記重み決定手段により決定された相関性重み係数と、前記注目画素の画素値とから前記注目画素の補正値を算出する補正部と、
を有することを特徴とする。

前記の目的を達成するために、本発明の第３の態様による画像処理方法は、
デジタル画像の画素値を補正する画像処理方法であって、
補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定し、
前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定し、
前記注目領域を構成する画素の画素値と、前記参照領域を構成する画素の画素値とを比較し、それらの間の相関性を示す相関値を算出し、
前記相関値に基づいて、前記補正に係る重み付け係数である相関性重み係数を算出し、
前記相関性重み係数と前記注目画素の画素値とに基づいて、前記注目画素の補正値を算出する、
ことを特徴とする。

前記の目的を達成するために、本発明の第４の態様による画像処理プログラムは、
デジタル画像の画素値を補正する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定する注目領域設定機能と、
前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定する参照領域設定機能と、
前記注目領域を構成する画素と、前記参照領域を構成する画素とを比較し、それらの間の相関性を示す相関値を算出する比較機能と、
前記相関値に基づいて、前記補正に係る重み付け係数である相関性重み係数を算出する相関性重み算出機能と、
前記相関性重み係数と前記注目画素の画素値とに基づいて、前記注目画素の補正値を算出する補正値算出機能と、
をコンピュータに実現させることを特徴とする。

本発明によれば、画素値を補正する画像処理装置、画像処理方法、及び画像処理プログラムであって、例えば孤立点がエッジや細い線上に存在する場合であっても、それらエッジや細い線をぼかすことがない高精度の補正処理を行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

図１は、本発明の第１実施形態に係る画像処理装置の一構成例を示す図である。 図２は、注目画素、注目ブロック、参照画素、及び参照ブロックの設定例を示す図である。 図３は、画素間差分係数ｄｉｆｆ_ｎの算出の概念を示す例である。 図４は、画素間差分係数ｄｉｆｆ_ｎの算出の概念を示す例である。 図５は、相関値ＳＵＭ_ｄｉｆｆの算出の概念を示す図である。 図６は、相関値ＳＵＭ_ｄｉｆｆと類似度重み係数Ｗ_ｃｏｎｆとの関係の一例のグラフを示す図である。 図７は、孤立度ＩＳＯと孤立度重み係数Ｗ_ｉｓｏとの関係の一例のグラフを示す図である。 図８は、注目画素孤立度ＩＳＯ_ｔａｒと重み付け平均値混合比Ｗ_ａｖｅとの関係の一例のグラフを示す図である。 図９は、第１実施形態の第１変形例に係る画像処理装置の一構成例を示す図である。 図１０はランクオーダーを説明する図である。 図１１は、第１実施形態の第２変形例に係る画像処理装置の一構成例を示す図である。 図１２は、本第２変形例に係る画像処理装置に特有の処理（適応比較制御部及び除外画素数制御部による処理）のフローチャートを示す図である。 図１３は、第１実施形態の第３変形例に係る画像処理装置の一構成例を示す図である。 図１４は、本発明の第２実施形態に係る画像処理装置の一構成例を示す図である。 図１５は、注目ブロックＢについての特徴ベクトルの生成処理例を示す図である。 図１６は、参照ブロックＢｉについての特徴ベクトルの生成処理例を示す図である。 図１７は、参照ブロックＢｉについての特徴ベクトルの生成処理例を示す図である。 図１８は、中心画素を除いた３×３領域の画素数よりも少ない成分数の特徴ベクトルを生成する一処理例を示す図である。 図１９は、中心画素を除いた３×３領域の画素数よりも少ない成分数の特徴ベクトルを生成する一処理例を示す図である。 図２０は、中心画素を除いた３×３領域の画素値を特徴ベクトルとした場合における比較部による処理の一例を示図である。 図２１は、重み算出部による各参照画素Ｑｉに対する類似度重みＷ_ｃｏｎｆの算出処理の一例を示す図である。 図２２は、本発明の第３実施形態に係る画像処理装置の一構成例を示す図である。 図２３は、中心画素を除いた３×３領域の画素数よりも少ない成分数の特徴ベクトルを生成する一処理例を示す図である。 図２４は、中心画素を除いた３×３領域の画素値を特徴ベクトルとした場合における比較部による処理の一例を示図である。 図２５は、各実施形態及び各変形例に係る画像処理装置を適用したデジタルカメラの概略構成例を示す図である。

以下、図面を参照して本発明の第１実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の一構成例を示す図である。図２は、後述する注目画素、注目ブロック、参照画素、及び参照ブロックの設定例を示す図である。

図１に示すように、画像処理装置１００は、ブロック選択部１１０と、比較部１１１と、重み算出部１１２と、補正部１１３と、を有する。当該画像処理装置１００は、入力画像の“孤立点”の画素値を補正して生成した補正画像を出力する。ここで、“孤立点”とは、例えば入力された画像に含まれる欠陥画素、インパルス性ノイズ、または画像情報検出用画素等に起因して、画像を構成する画素のうち近傍の画素と比べて特異な画素値を示す画素のことである。

なお、本第１実施形態に係る画像処理装置１００は、当該画像処理装置１００の外部から供給される“孤立度（本第１実施形態においては、孤立点らしさの度合いを示す情報）”に基づいて、入力画像における孤立点を特定する（各画素の孤立点らしさを特定する）。

前記ブロック選択部１１０は主として次の処理を行う。
《処理１》注目画素Ｐを設定し、当該注目画素Ｐの近傍所定範囲（例えば注目画素Ｐを中心とする所定の大きさの領域内）で、注目画素Ｐと同色のＭ個の画素を参照画素Ｑｉ（１≦ｉ≦Ｍ)として選択し、比較部１１１へ出力する。
《処理２》各々の参照画素Ｑｉについて、それら参照画素Ｑｉを中心画素とする所定範囲（本例では“３×３領域”）を“参照ブロックＢｉ”としてＲＡＭ１０３から読み出す。すなわち、ブロック選択部１１０は参照領域設定部として機能する。

図２に示す例では、入力画像としてＲＧＢ三板画像を想定しており、参照画素Ｑｉとしては注目画素Ｐ近傍の任意の画素を用いることができる。なお、処理対象の画像はＲＧＢ三板画像に限られず、ベイヤー単板画像やグレースケール画像等であっても勿論良い。

前記比較部１１１は、主として次の処理を行う。
《処理１》注目画素Ｐを中心とする所定範囲（本例では“３×３領域”）を“注目ブロックＢ”としてＲＡＭ１０３から読み出す。すなわち、比較部１１１は注目領域設定部として機能する）。
《処理２》ブロック選択部１１０から出力された各参照ブロックＢｉのそれぞれについて、図３及び図４に示すように注目ブロックＢと参照ブロックＢｉとの互いに対応する位置の画素の画素値を引数として画素間差分係数ｄｉｆｆ_ｎを算出する。
《処理３》図５に示すように、注目ブロックＢ及び参照ブロックＢｉの全画素についての画素間差分係数ｄｉｆｆ_ｎを合計して画素間差分係数合計値（以降、相関値と称する）ＳＵＭ_ｄｉｆｆを算出し、重み算出部１１２に出力する。この相関値ＳＵＭ_ｄｉｆｆは、注目ブロックＢと参照ブロックＢｉとの間の相関性（類似度、相違度）を表す指標である。

すなわち、注目ブロックの画素値をａ、参照ブロックの画素値をｂとし、画素間差分係数ｄｉｆｆ_ｎを求める関数をｆ（ａ，ｂ）とすると、

ここで、画素間差分係数ｄｉｆｆ_ｎは、種々の方法によって算出できる。以下、画素間差分係数ｄｉｆｆ_ｎの算出方法例を説明する。

式（２）は、処理対象画像がベイヤー単板画像の場合に、差分絶対値として画素間差分係数ｄｉｆｆ_ｎを算出する例である。

式（３）は、差分の二乗として画素間差分係数ｄｉｆｆ_ｎを算出する例である。

式（４）は、画素値を関数で変換してから差分絶対値で求める例である。変換関数Ｌ（ａ）には、ガンマ変換や折れ線関数、テーブル参照等がある。このように変換関数を介することによって、暗い所の差分を重視したり明るい所の差分を重視したり、人間の目の感度に合わせて画素値を変換したりすることができる。

また、図２に示す例のように、各画素が複数の色成分を有するＲＧＢ三板画像が処理対象の画像である場合、画素間差分係数ｄｉｆｆ_ｎは、例えば下記のように算出してもよい。

式（５）において、(Ｒｐ,Ｇｐ,Ｂｐ)は注目画素ＰのＲＧＢ画素値、(Ｒｑ,Ｇｑ,Ｂｑ)は参照画素ＱのＲＧＢ画素値を示している。このように注目画素Ｐ、参照画素Ｑの各色成分毎の差として算出しても良いし、他にも、各色成分を色相や彩度に変換した後で差を算出しても良いし、あるいは、異なる色成分間の差分まで含む複雑な数式を用いても良い。

なお、画素間差分係数ｄｉｆｆ_ｎは、その算出方法によって、類似度が高い程大きい値を示すものと、類似度が低い程小さい値を示すものとがある。

前記重み算出部１１２は、比較部１１１から出力された各参照ブロックＢｉの相関値ＳＵＭ_ｄｉｆｆと、当該画像処理装置１００に入力される“各参照画素Ｑｉの孤立度ＩＳＯ(ｉ)”に基づいて、各参照画素Ｑｉの重み係数Ｗ_ｒｅｆ（ｉ）を算出して補正部１１３に出力する。

すなわち、重み算出部１１２は、まず相関値ＳＵＭ_ｄｉｆｆに基づいて、“類似度重み（類似している程大きい値となる）Ｗ_ｃｏｎｆ”を算出する。式（６）は、類似度重み係数Ｗ_ｃｏｎｆの算出例を示す式である。

ここで、Ｔ_{ＣｏｎｆＨ}及びＴ_{ＣｏｎｆＬ}は予め与えられているパラメータである。

図６は、相関値ＳＵＭ_ｄｉｆｆと類似度重み係数Ｗ_ｃｏｎｆとの関係の一例のグラフを示す図である。同図に示す例では、相関値ＳＵＭ_ｄｉｆｆがＴ_{ＣｏｎｆＬ}以下の値では類似度重み係数Ｗ_ｃｏｎｆを１とし、相関値ＳＵＭ_ｄｉｆｆがＴ_{ＣｏｎｆＬ}以上Ｔ_{ＣｏｎｆＨ}以下の値では相関値ＳＵＭ_ｄｉｆｆの増加に伴って類似度重み係数Ｗ_ｃｏｎｆを低下させていき、相関値ＳＵＭ_ｄｉｆｆがＴ_{ＣｏｎｆＨ}以上のときに類似度重み係数Ｗ_ｃｏｎｆを零としている。

なお、テーブル参照や、各参照画素Ｑｉに係る相関値のうち最小の相関値ＳＵＭ_ｄｉｆｆを持つ参照画素Ｑｉのみ類似度重み係数Ｗ_ｃｏｎｆ＝１であって、それ以外の参照画素Ｑｉの類似度重み係数Ｗ_ｃｏｎｆ＝０とする等してもよい。

ところで、重み算出部１１２は、さらに孤立度ＩＳＯから孤立度重み係数Ｗ_ｉｓｏを算出する。式（７）は、孤立度重み係数Ｗ_ｉｓｏの算出例を示している。

ここで、Ｉ_ＳＯＨ及びＩ_ＳＯＬは予め与えられているパラメータである。

図７は、孤立度ＩＳＯと孤立度重み係数Ｗ_ｉｓｏとの関係の一例のグラフを示す図である。そして、類似度重み係数Ｗ_ｃｏｎｆと孤立度重み係数Ｗ_ｉｓｏとから、参照画素Ｑｉに対する重み係数Ｗ_ｒｅｆを例えば式（８）によって算出する。

ところで、前記重み算出部１１２は、入力された“注目画素Ｐの孤立度ＩＳＯ_ｔａｒ”に基づいて、注目画素Ｐの孤立度ＩＳＯ_ｔａｒから補正画素値を算出する際の入力画素値と重み付け平均値の混合比Ｗ_ａｖｅを算出し、補正部１１３に出力する。例えば、注目画素Ｐの孤立度ＩＳＯ_ｔａｒが高ければ重み付け平均値の比率を高くし、注目画素の孤立度が低ければ入力画素値の比率を高くする。

以下、注目画素孤立度ＩＳＯ_ｔａｒから重み付け平均値混合比Ｗ_ａｖｅを算出する一例を説明する。

ここで、Ｔ_ｉｓｏＬ及びＴ_ｉｓｏＨは予め与えられているパラメータである。

図８は、注目画素孤立度ＩＳＯ_ｔａｒと重み付け平均値混合比Ｗ_ａｖｅとの関係の一例のグラフを示す図である。同図に示す例では、注目画素孤立度ＩＳＯ_ｔａｒがＴ_ｉｓｏＬ以下の値では重み付け平均値混合比Ｗ_ａｖｅを零とし、注目画素孤立度ＩＳＯ_ｔａｒがＴ_ｉｓｏＬ以上Ｔ_ｉｓｏＨ以下の値では注目画素孤立度ＩＳＯ_ｔａｒの増加に伴って重み付け平均値混合比Ｗ_ａｖｅを増加させていき、注目画素孤立度ＩＳＯ_ｔａｒがＴ_ｉｓｏＨ以上のときに重み付け平均値混合比Ｗ_ａｖｅを１としている。

前記補正部１１３は、重み算出部によって算出された各参照画素Ｑｉの重み係数Ｗ_ｒｅｆ（ｉ）に基づいて、補正画素値を算出する。

すなわち、補正部１１３は、ブロック選択部１１０から入力される各参照画素Ｑｉ及び注目画素Ｐの値Ｄ_ｉｎ（ｉ）と、重み係数Ｗ_ｒｅｆ（ｉ）を用いて、重み付け平均値Ｄ_ａｖｅを求める。例えば、参照ブロックＢｉが５×５領域である場合には、重み付け平均値Ｄ_ａｖｅを求める計算式は、

を挙げることができる。

また、補正部１１３は、ブロック選択部１１０から出力された注目画素の画素値Ｄ_ｉｎ、重み算出部１１２から出力された重み付け平均値Ｄ_ａｖｅ、及び平均値混合比Ｗ_ａｖｅに基づいて補正画素値Ｄ_ｏｕｔを算出する。式（１１）は、注目画素の値Ｄ_ｉｎ、重み付け平均値Ｄ_ａｖｅ、及び平均値混合比Ｗ_ａｖｅに基づいて補正画素値Ｄ_ｏｕｔを算出する例を示している。

以上説明した一連の処理を、当該画像処理装置１００への入力画像の全画素について完了すると、当該入力画像の欠陥画素等の種々の原因に起因する孤立点が補正された画像が当該画像処理装置１００から出力されたこととなる。

なお、欠陥画素等の孤立点の画素が予め判明している場合には、画像処理装置１００による一連の処理を入力画像の全画素について行う必要はなく、予め位置がわかっている孤立点の画素のみについて上述の一連の処理を行えばよい。この場合、孤立点でない画素については入力された画素値をそのまま出力すればよい。

ところで、本第１実施形態に係る画像処理装置による上述の一連の処理は、プログラム化することで、或いはプログラム化した後に当該プログラムを記憶媒体に読み込むことによって、当該画像処理装置とは独立したソフトウェア製品単体としての販売、配布も容易になり、また本一実施形態に係る技術を他のハードウェア上で利用することも可能となる。

以上説明したように、本第１実施形態によれば、画素値を補正する画像処理装置、画像処理方法、及び画像処理プログラムであって、例えば孤立点がエッジや細い線上に存在する場合であっても、それらエッジや細い線をぼかすことがない高精度の補正処理を行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

具体的には、注目画素Ｐに類似した近傍の参照画素Ｑｉの画素値を、相関値（類似度、相違度）と孤立度とに応じて重み付けして、注目画素Ｐの補正画素値を得る為、例えばエッジ上や細い線上にある欠陥画素等の孤立点に対しても、エッジや細い線をぼかすことがない高精度の補正をすることができる。

また、孤立度の低い注目画素Ｐにおいては、相関値（類似度、相違度）に関わらず入力画素の画素値の重みを大きくすることで、非孤立点の画素への悪影響を抑えることができる。さらには、注目画素Ｐ及び／または参照画素Ｑｉ自身が欠陥画素等の孤立点であった場合にも、精度の良い相関性の判定及び補正をすることができる。
［第１変形例］
以下、第１実施形態の第１変形例に係る画像処理装置、画像処理方法、及び画像処理プログラムについて説明する。説明の重複を避ける為、第１実施形態との相違点を説明する。

図９は、第１実施形態の第１変形例に係る画像処理装置の一構成例を示す図である。図９に示すように、本第１変形例に係る画像処理装置１００では、重み算出部１１２は、重み係数算出部１２１と、混合比算出部１２３と、を備える。補正部１１３は、重み付け平均値算出部１２２と、重み付け平均値混合部１２４と、を備える。

また、本第１変形例に係る画像処理装置１００には欠陥・孤立点検出部１０５が接続されており、当該欠陥・孤立点検出部１０５から、前記混合比算出部１２３に、“孤立度”が入力される。さらに、本第１変形例に係る画像処理装置１００には、デジタル画像が記録されたＲＡＭ１０３と、当該画像処理装置１００の出力である補正画像を現像する現像部１０６と、が接続されている。

本第１変形例に係る画像処理装置１００では、ブロック選択部１１０がＲＡＭ１０３から画像を読み出し、当該画像について上述の一連の処理を開始する。

前記欠陥・孤立点検出部１０５は、ＲＡＭ１０３に記録された画像を読み出し、各画素が孤立点状であるか否かを判定し、判定結果である“孤立らしさを表す指標である孤立度ＩＳＯ”を各画素に割り当て、“各画素の孤立度ＩＳＯ”を前記混合比算出部１２３に出力する。ここで、孤立度ＩＳＯは、孤立状でない場合には零となり、孤立らしさが大きい程大きな値となる。

なお、欠陥・孤立点検出部１０５による前記判定には、例えば下記のような公知の技術を用いればよい。

式（１２）は、近傍画素の平均値との差分絶対値を算出する例である。

式（１３）は、ランクオーダーＲを算出する例である。図１０はランクオーダーを説明する図である。図１０に示す例では、画素間差分係数ｄｉｆｆ_ｎの値に基づいて、孤立度が小さい方から順に４個のｄｉｆｆ_ｎだけ足し合わせてランクオーダーＲを算出する。そして、このランクオーダーＲを入力画像の全画素について算出する。

なお、ランクオーダーに係る技術については、例えば下記論文に開示されている。
Roman Garnett, Timothy Huegerich, Charles Chui, Fellow, IEEE, and Wenjie He, Member, IEEE, “A Universal Noise Removal Algorithm with an Impulse Detector”
前記重み係数算出部１２１は、各参照画素Ｑｉの重み係数Ｗ_ｒｅｆ（ｉ）を算出して前記重み付け平均値算出部１２２に出力する。なお、各参照画素Ｑｉの重み係数Ｗ_ｒｅｆ（ｉ）の算出方法は上述した通りである。

前記混合比算出部１２３は、欠陥・孤立点検出部１０５から出力された“注目画素Ｐの孤立度ＩＳＯ_ｔａｒ”に基づいて、注目画素Ｐの孤立度ＩＳＯ_ｔａｒから補正画素値を算出する際の入力画素値と重み付け平均値の混合比Ｗ_ａｖｅを算出し、前記重み付け平均値混合部１２４に出力する。なお、混合比Ｗ_ａｖｅの算出方法は上述した通りである。

前記重み付け平均値算出部１２２は、ブロック選択部１１０から出力された各参照画素Ｑｉ及び注目画素Ｐの値Ｄ_ｉｎ（ｉ）と、重み係数算出部１２１から出力された重み係数Ｗ_ｒｅｆ（ｉ）を用いて、上述の重み付け平均値Ｄ_ａｖｅを算出し、前記重み付け平均値混合部１２４に出力する。なお、重み付け平均値Ｄ_ａｖｅの算出方法は上述した通りである。

前記重み付け平均値混合部１２４は、ブロック選択部１１０から出力された注目画素の値Ｄ_ｉｎ、重み付け平均値算出部１２２から出力された重み付け平均値Ｄ_ａｖｅ、及び、混合比算出部１２３から出力された平均値混合比Ｗ_ａｖｅに基づいて補正画素値Ｄ_ｏｕｔを算出する。

前記現像部１０６は、入力画像の全画素について、重み付け平均値混合部１２４から補正画素値Ｄ_ｏｕｔが出力されると、当該入力画像に公知の現像処理を施して現像する。現像部１０６によって現像された画像データは、公知の圧縮処理等が施された後、例えばメモリカード等の記録媒体である記録部に記録される。

なお、重み係数算出部１２１において、混合比算出部１２３と同様に混合比Ｗ_ａｖｅを算出し、さらに注目画素Ｐとその他の画素に対する重み係数Ｗ´_ｒｅｆを、Ｗ_ａｖｅ及びＷ_ｒｅｆから新たに式（１４）で求めて重み付け平均値算出部１２２に出力しても良い。

この場合、重み付け平均値算出部１２２がＷ_ｒｅｆをＷ´_ｒｅｆに代えて式（１０)の計算を行うと、式（１１）で得られる結果と同じ結果が算出される。従って、混合比算出部１２３及び重み付け平均値混合部１２４を設けず、重み付け平均値算出部１２２の出力をそのまま現像部１０６に出力する構成として、回路構成を簡略化してもよい。

以上説明したように、本第１変形例によれば、上述の第１実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムと同様の効果を奏する画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。また、注目ブロックＢまたは参照ブロックＢｉ内に欠陥画素等の孤立点が存在する場合であっても精度の良い相関性の判定及び補正をすることができる。
［第２変形例］
以下、第１実施形態の第２変形例に係る画像処理装置、画像処理方法、及び画像処理プログラムについて説明する。説明の重複を避ける為、第１変形例との相違点を説明する。

図１１は、第１実施形態の第２変形例に係る画像処理装置の一構成例を示す図である。図１１に示すように、本第２変形例に係る画像処理装置１００は、比較部１１１の代わりに適応比較部２１１を具備する。また、重み算出部２１２は、重み係数算出部１２１と混合比算出部１２３とに加えて、除外画素数制御部２２５と、適応比較制御部２２６と、を備える。

上述したように比較部１１１は、注目画素Ｐを中心とする３×３領域である注目ブロックと参照画素Ｑｉを中心とする３×３領域である参照ブロックとについて、各ブロック内の対応画素同士の差分を表す画素値差分係数の総和により相関値を算出する。

一方、本第２変形例においては、適応比較部２１１は、一部の画素間差分係数ｄｉｆｆ_ｎを除外して算出した画素間差分係数合計ＳＵＭ_ｄｉｆｆを、画素間差分係数合計ＳＵＭ_ｄｉｆｆの算出に用いた画素間差分係数ｄｉｆｆ_ｎの個数で除することで、相関値（適応相関値と称する）ＳＵＭ_ｄｉｆｆを算出する。以降、適応相関値ＳＵＭ_ｄｉｆｆの算出の際に除外する画素間差分係数ｄｉｆｆ_ｎの個数を、除外画素数と称する。

除外する画素間差分係数ｄｉｆｆ_ｎは、最も類似していない画素間差分係数ｄｉｆｆ_ｎから順に選ぶ。ここで、類似するほど値が大きくなるような画素間差分係数ｄｉｆｆ_ｎの算出式の場合は小さい画素間差分係数ｄｉｆｆ_ｎから順に選択し、類似するほど値が小さくなるような画素間差分係数ｄｉｆｆ_ｎの算出式の場合は大きい画素間差分係数ｄｉｆｆ_ｎから順に選択する。

このように適応相関値ＳＵＭ_ｄｉｆｆは、近傍孤立点の影響を排して算出する相関値である。この適応相関値ＳＵＭ_ｄｉｆｆを利用することで、例えば注目ブロックＢ内の注目画素Ｐ以外の画素や、参照ブロックＢｉ内の参照画素Ｑｉ以外の画素に孤立点が含まれていた場合であっても、孤立点によって類似度重み係数Ｗ_ｃｏｎｆが大きく低下してしまうことを防ぐことができる。

図１２は、本第２変形例に係る画像処理装置２００に特有の処理（適応比較制御部２２６及び除外画素数制御部２２５による処理）のフローチャートを示す図である。

適応比較部２１１は、上述の処理によって適応相関値ＳＵＭ_ｄｉｆｆを算出する（ステップＳ１）。重み係数算出部１２１は、適応比較部２１１から出力された適応相関値ＳＵＭ_ｄｉｆに基づいて、上述の式（３）、式（７）、式（８）により重み係数Ｗ_ｒｅｆを算出し、適応比較制御部２２６に出力する（ステップＳ２）。

適応比較制御部２２６は、入力された重み係数Ｗ_ｒｅｆの最大値を所定の閾値と比較し、重み係数Ｗ_ｒｅｆの最大値が閾値未満であるか否かを判定する（ステップＳ３）。このステップＳ３をＮＯに分岐する場合、適応比較制御部２２６は、現在設定されている除外画素数が所定の上限値未満であるか否かを判定する（ステップＳ４）。

このステップＳ４をＮＯに分岐する場合、すなわち、重み係数Ｗ_ｒｅｆの最大値が閾値未満であり、且つ、現在設定されている除外画素数が所定の上限値未満である場合に、除外画素数制御部２２５に制御信号を出力する。この適応比較制御部２２６からの制御信号が入力されると、除外画素数制御部２２５は、現在設定されている除外画素数を１増加させる制御信号を、適応比較部２１１に出力する。この除外画素数制御部２２５からの制御信号が入力されると、適応比較部２１１は、新しく設定された除外画素数に基づいて、再度、適応相関値ＳＵＭ_ｄｉｆｆを算出し（ステップＳ１）、重み係数算出部１２１に出力する。

ところで、ステップＳ３をＹＥＳに分岐する場合（重み係数Ｗ_ｒｅｆの最大値が閾値以上である場合）、または、ステップＳ４をＹＥＳに分岐する場合（現在設定されている除外画素数が所定の除外画素数の上限値以上である場合）には、適応比較制御部２２６は重み係数Ｗ_ｒｅｆを、補正部１１３の重み付け平均値算出部１２２に出力する。

上述のステップＳ１乃至ステップＳ５の処理は、除外画素数の初期値を零として開始し、且つ、重み係数Ｗ_ｒｅｆの最大値が閾値以上（すなわち、孤立点の影響を除外して、注目ブロックＢと充分に類似した参照ブロックＢｉを検出した場合）、或いは、除外画素数が所定の上限値に達するまで繰り返される。
［第３変形例］
以下、第１実施形態の第３変形例に係る画像処理装置、画像処理方法、及び画像処理プログラムについて説明する。説明の重複を避ける為、第１変形例との相違点を説明する。

図１３は、第１実施形態の第３変形例に係る画像処理装置の一構成例を示す図である。図１３に示すように、本第３変形例に係る画像処理装置３００は、当該画像処理装置３００に特有の処理に係る構成要件として、比較部３１１と、参照画素選択部３２０と、補正値決定部３２１と、を具備する。

本第３変形例では、欠陥・孤立点検出部３０５から出力される孤立度は、孤立点であるか否かを示す情報である。具体的には、欠陥・孤立点検出部３０５は、注目画素が孤立点であれば１を出力し、孤立点でなければ０を出力する。

前記比較部３１１は、各参照ブロックＢｉに対する相関値を算出する際に、欠陥・孤立点検出部３０５から入力された孤立度を用いる。すなわち、比較部３１１は、各参照ブロックＢｉについて、式（１５）によって相関値を算出し、参照画素選択部３２０に出力する。

により相関値を算出する。

式（１５）において、Ｔｊ,Ｒｊは注目ブロックＢ及び参照ブロックＢｉの、添え字ｊで表されるブロック相対位置での画素値であり、ＩＳＯ_Ｔ(ｊ)及びＩＳＯ_Ｒ(ｊ)は、注目ブロックＢ及び参照ブロックＢｉの、添え字ｊで表されるブロック相対位置での孤立度を示している。

前記参照画素選択部３２０は、比較部３１１により算出された各参照ブロックＢｉに対する相関値ＳＵＭ_ｄｉｆｆ（ｉ）を内部に蓄積する。参照画素選択部３２０は、全参照ブロックＢｉに対する相関値を蓄積した後、相関値の最小値に所定の定数を乗じた閾値未満の相関値を持つ参照ブロックの添え字を特定して補正値決定部３２１に出力する。

前記補正値決定部３２１は、ブロック選択部１１０から出力される参照画素Ｑｉ及び注目画素Ｐの画素値の中から、参照画素選択部３２０から出力される添え字に対応した画素の画素値を選択し、それらの平均値を算出して補正画素値として現像部１０６に出力する。

上述の処理の結果、孤立点の周囲に更に孤立点が存在する場合であっても、参照ブロックＢｉの相関値を適切に算出することができ、更に、相関値の充分小さい（本例の場合、最も類似度が高い）参照ブロックＢｉに対応する参照画素Ｑｉのみを選択して平均値を算出して補正画素値とする為、安定した補正処理となる。

なお、注目画素Ｐが孤立点でない場合（孤立度＝０の場合)には、画像処理装置３００は、当該注目画素Ｐをそのまま現像部１０６に出力してもよい。

また、参照画素選択部３２０における選択処理においては、相関値の最小値（最も類似度が大きいことを示す相関値）に所定の定数を乗じた閾値未満の相関値を持つ参照ブロックＢｉの添え字を全て出力するのではなく、出力個数を相関値の小さい順（類似度が大きい順）に所定個数以下に絞っても良いし、相関値が最小（類似度が最大）の参照ブロックに対応する添え字のみを出力するようにしても良い。

なお、参照画素選択部３２０から出力される添え字が１個だけの場合は、補正値決定部３２１は平均値の算出を行うことなく、添え字に対応した参照画素Ｑｉの画素値を現像部１０６に出力することが望ましい。

以上説明したように、本第３変形例によれば、上述の第１実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムと同様の効果を奏する上に、下記の効果を奏する画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

相関値に基づいて、相違度の充分小さい参照ブロックＢｉに対応する参照画素Ｑｉのみを選択して補正に用いる為、簡単な回路構成にも関わらず安定した補正を行うことができる。

相関値の分布が偏っている場合（例えば飛び抜けて相違度が小さく、注目ブロックＢに非常に類似した参照ブロックＢｉが少数ある場合）には、その参照ブロックＢｉに対応する少数の参照画素Ｑｉを用いて補正画素値を算出し、相違度の分布が偏っていない場合（どの参照ブロックＢｉも注目ブロックＢにそれほど類似していない）場合には、多数の参照画素Ｑｉを用いて補正値を算出する。これにより、簡単な回路構成にも関わらず、精度が高く且つ安定した補正を行うことができる。また、注目ブロックＢまたは参照ブロックＢｉ内に欠陥画素等の孤立点が存在する場合であっても、精度の良い相関性の判定及び補正を行うことができる。
［第２実施形態］
以下、第２実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて説明する。説明の重複を避ける為、第１実施形態の第１変形例との相違点を説明する。また、第１実施形態の第１変形例に係る画像処理装置の構成部材と同様の機能を有する部材には同様の符号を付して説明を省略する。

図１４は、本発明の第２実施形態に係る画像処理装置の一構成例を示す図である。図１５は、後述する注目ブロックＢについての特徴ベクトルの生成処理例を示す図である。図１６及び図１７は、後述する参照ブロックＢｉについての特徴ベクトルの生成処理例を示す図である。

図１４に示すように、画像処理装置４００は、ブロック選択部１１０と、ベクトル生成部４１４と、比較部４１１と、重み算出部４１２と、補正部４１３と、を具備する。

本第２実施形態に係る画像処理装置４００には、欠陥・孤立点検出部１０５が接続されており、当該欠陥・孤立点検出部１０５から孤立度が入力される。また、本第２実施形態に係る画像処理装置４００には、デジタル画像が記録されたＲＡＭ１０３と、当該画像処理装置４００の出力である補正画像を現像する現像部１０６と、が接続されている。

本第２実施形態においては、欠陥・孤立点検出部１０５から出力される孤立度は、孤立点であるか否かを示す情報である。具体的には、欠陥・孤立点検出部１０５は、注目画素が孤立点であれば１を出力し、孤立点でなければ０を出力する。

本第２実施形態においては、ブロック選択部１１０は、注目画素Ｐと同色であって且つ孤立点でない画素を参照画素Ｑｉとして選択する。

前記ベクトル生成部４１４は、注目ブロックＢの特徴を表す特徴ベクトル（以降、注目ブロック特徴ベクトルＶ_Ｂと称する）、及び、参照ブロックＢｉの特徴を表す特徴ベクトル（以降、参照ブロック特徴ベクトルと称する）を生成する。すなわち、ベクトル生成部４１４は、注目領域特徴ベクトル生成部及び参照領域特徴ベクトル生成部として機能する。
図１５に示す例では、注目ブロックＢについて、中心画素（注目画素Ｐ）を除いた３×３領域近傍の画素の画素値を注目ブロック特徴ベクトルＶ_Ｂとしている。なお、詳細は後述するが、参照ブロックＢｉについても同様に、中心画素（参照画素Ｑｉ）を除いた３×３領域近傍の画素の画素値を参照ブロック特徴ベクトルＶ_Ｂｉとしている。

具体的には、ベクトル生成部４１４は、注目画素Ｐを中心とする３×３領域を注目ブロックＢとしてＲＡＭ１０３から読み出し、当該注目画素Ｐを除いた３×３領域の画素値を成分とする注目ブロック特徴ベクトルＶ_Ｂを次のように生成する。すなわち、注目画素Ｐに対する注目ブロックの画素値をａ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）とすると、注目ブロック特徴ベクトルの成分ａ´_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１，（ｍ，ｎ）≠（０，０））は、下式（１６）によって算出する。

ａ´_ｍ，ｎ＝ａ_ｍ，ｎ ・・・（１６）
（−１≦ｍ≦１，−１≦ｎ≦１，（ｍ，ｎ）≠（０，０））
また、ベクトル生成部４１４は、参照ブロック特徴ベクトルＶ_Ｂｉを次のように生成する。すなわち、ベクトル生成部４１４は、ブロック選択部１１０により選択された注目画素Ｐと同色であって且つ孤立点でない参照画素Ｑｉについて、当該参照画素Ｑｉを中心とする３×３領域を参照ブロックＢｉとしてＲＡＭ１０３から読み出す。次に、ベクトル生成部４１４は、注目ブロックＢに含まれる色情報と、参照ブロックＢｉに含まれる色情報と、を画素ごとに比較する。すなわち、ベクトル生成部４１４は、色情報判定部として機能する。

ここで、注目ブロックＢに含まれる色情報と参照ブロックＢｉに含まれる色情報とが全て等しい場合、図１６に示すように、中心画素である参照画素Ｑｉを除いた３×３領域の画素値を成分とする参照ブロック特徴ベクトルＶ_Ｂｉを生成する。

一方、注目ブロックＢに含まれる色情報と、参照ブロックＢｉに含まれる色情報とが異なる画素が存在する場合、図１７示すように、参照ブロックＢｉの異なる色情報を持つ画素については、参照ブロックＢｉ中の当該異なる色情報を持つ画素の近傍に位置する“等しい色情報を持つ画素の画素値”を用いて画素値を算出し、この画素値に置き換えた成分を持つ参照ブロック特徴ベクトルＶ_Ｂｉを生成する。

このように、本第２実施形態においては、異なる色情報を持つ画素の近傍に位置する“等しい色情報を持つ画素の画素値”を用いて、参照ブロック特徴ベクトルＶ_Ｂｉの成分を生成する。生成処理の具体例としては、“等しい色情報を持つ画素”の画素値の平均値や中央値を算出する等を挙げることができ、この他にも許容され得る演算量に応じた適切な処理を採用すればよい。

図１７に示す例は、“等しい色情報を持つ画素”の画素値の平均値を算出する例であり、参照画素Ｑｉに対する参照ブロックＢｉの画素値をｂ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）とし、参照画素Ｑｉに対する参照ブロック特徴ベクトルＶ_Ｂｉの成分ｂ´_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１，（ｍ，ｎ）≠（０，０））を、下記の式（１７）により算出する。

以上説明したように、本第２実施形態によれば、第１実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムと同様の効果を奏する上に、次のような効果を奏する画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

すなわち、注目ブロックＢに含まれる画素の色情報と、参照ブロックＢｉに含まれる画素の色情報とが等しくなるように、参照ブロック特徴ベクトルＶ_Ｂｉを生成することにより、補正に使用できる参照画素Ｑｉの個数が増加し、より精度の高い補正を行うことが可能になる。

ところで、図１８は、中心画素を除いた３×３領域の画素数よりも少ない成分数の特徴ベクトルを生成する一処理例を示す図である。注目ブロック特徴ベクトルＶ_Ｂ及び参照ブロック特徴ベクトルＶ_Ｂｉは、注目画素Ｐ及び参照画素Ｑｉを中心とする３×３領域の画素の画素値に基づいて生成された、Ｒ、Ｇ、Ｂの色情報ごとに一つの成分を持つ特徴ベクトルである。

各成分の生成処理の具体例としては、注目画素Ｐまたは参照画素Ｑｉを中心とする３×３領域の等しい色情報を持つ画素値の平均値や中央値を算出する等を挙げることができ、この他にも許容され得る演算量に応じて適切な処理を採用すればよい。

例えば“等しい色情報を持つ画素”の画素値の平均値を用いて特徴ベクトルの成分を生成する場合、注目画素Ｐに対する注目ブロックの画素値をａ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）、参照画素Ｑｉに対する参照ブロックＢｉの画素値をｂ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）、注目ブロック特徴ベクトルと参照画素Ｑｉに対する参照ブロック特徴ベクトルのＲ、Ｇ、Ｂの色情報ごとに一つの成分を、それぞれａ_ｋ´、ｂ_ｋ´（ｋ＝０，１，２）は、下記の式（１８）により算出される。

図１８に示す例のように、注目領域Ｂまたは参照領域Ｂｉに含まれる画素数よりも少ない成分数を持つ特徴ベクトルを生成し、該特徴ベクトルを相関値算出に用いることで、相関値算出に係る演算量を削減することができる。

図１９は、中心画素を除いた３×３領域の画素数よりも少ない成分数の特徴ベクトルを生成する一処理例を示す図である。注目ブロック特徴ベクトルＶ_Ｂ及び参照ブロック特徴ベクトルＶ_Ｂｉは、注目画素Ｐ及び参照画素Ｑｉを中心とする３×３領域の画素に基づいて生成された、Ｇの色情報に対して２つの成分、及び、ＲとＢの色情報に対して１つの成分を持つ特徴ベクトルである。

各成分の生成処理の具体例としては、注目画素Ｐまたは参照画素Ｑｉを中心とした３×３領域に含まれる等しい色情報を持つ画素の画素値の平均値や中央値を算出する等を挙げることができ、この他にも許容され得る演算量に応じて適切な処理を採用すればよい。等しい色情報を持つ画素値の平均値を用いて成分を生成する場合、下記の式（１９）により算出される。

図１８及び図１９に示す例のように、注目画素Ｐまたは参照画素Ｑｉの近傍領域（本例では３×３領域）に含まれる画素数よりも少ない成分数を持つ特徴ベクトルを生成することにより、比較部４１１における相関値算出（類似度算出）に係る演算量を削減することができる。

また、図１９に示す例のように、色情報の配置パターンや色成分ごとの特性など、入力画像が持つ色成分に関する固有の特性を利用した成分を生成することにより、成分の削減に伴う特徴量の精度の低下を抑えつつ、比較部４１１における相関値算出（類似度算出）に係る演算量を削減することができる。

ところで、入力画素に孤立点が多く含まれる場合、特徴ベクトルの成分において注目画素Ｐ以外に補正すべき孤立点が存在する可能性がある。従って、注目画素Ｐ近傍の孤立度と参照画素Ｑｉ近傍の孤立度とを考慮し、正常な画素（孤立点でない画素）のみを用いて相関値（類似度）を算出することが望ましい。

図２０は、中心画素を除いた３×３領域の画素値を特徴ベクトルとした場合における比較部４１１による処理の一例を示図である。前記比較部４１１は、ベクトル生成部４１４から入力される注目ブロック特徴ベクトルＶ_Ｂと各参照ブロック特徴ベクトルＶ_Ｂｉに対して、類似度を表す指標を算出する。

詳細には、まず比較部４１１は、注目ブロック特徴ベクトルＶ_Ｂと参照ブロック特徴ベクトルＶ_Ｂｉとをベクトル生成部４１４から取得し、注目ブロック特徴ベクトルＶ_Ｂと参照ブロック特徴ベクトルＶ_Ｂｉとの各成分ａ_ｎ´、ｂ_ｎ´の差分絶対値ｄｉｆｆ_ｎを算出する（ステップＳ４１）。

また、比較部４１１は、注目ブロックＢと参照ブロックＢｉとの各成分の孤立度を欠陥・孤立点検出部１０５から取得し、注目ブロックＢの孤立度と参照ブロックＢｉの各成分の孤立度とに基づいて有効画素を判定し（ステップＳ４２）、予め定められた各成分の重みｗ_ｎに対して、前記ステップＳ４２にて有効画素であると判定されたもののみを残すようにマスクして重みｗ_ｎ´を生成する（ステップＳ４３）。

差分絶対値ｄｉｆｆ_ｎと重みｗ_ｎ´とを積和演算し（ステップＳ４４）、且つ、重みｗ_ｎ´の合計値を算出する（ステップＳ４５）。さらに、前記積和演算結果を、前記合計値により除算する（ステップＳ４６）ことにより、差分絶対値の重み付け平均値ＡＳＵＭ_ｄｉｆｆを算出し、参照画素Ｑｉに対する相関値（類似度）とする。

なお、各成分に設定する重みｗ_ｎの設定方法に制限はなく、例えば中心画素からの距離等に応じて適宜設定すればよい。例えば、参照ブロックＢｉの設定をより広範囲で行う場合には、参照ブロックＢｉの設定数が増加し、参照ブロックＢｉ中に欠陥画素等の孤立点が含まれる可能性も高くなる。このような場合に、重みｗ_ｎを中心画素からの距離に応じて設定することで、中心画素からの距離が遠距離であるほど重みを軽くすることができ、広範囲から多くのデータを取りつつも、そこに含まれる孤立点の悪影響を軽くすることができる。
上述したように、正常な画素（孤立点でない画素）のみを用いて相関値（類似度）を算出することにより、入力画素に孤立点が多く含まれる場合であっても、精度の高い相関値（類似度）を算出することができる。また、特徴ベクトルの各成分の重みｗ_ｎを調節する手段を備えさせることにより、当該特徴ベクトルの生成方法や入力画像の持つ特性に応じた相関値（類似度）を算出することが可能になる。

前記重み算出部４１２では、比較部４１１から入力される各参照画素Ｑｉの相関値（類似度）ＡＳＵＭ_ｄｉｆｆから、各参照画素Ｑｉに対する相関値重みＷ_ｃｏｎｆを算出する。

図２１は、重み算出部４１２による各参照画素Ｑｉに対する類似度重みＷ_ｃｏｎｆの算出処理の一例を示す図である。各参照画素Ｑｉの相関値（類似度）ＡＳＵＭ_ｄｉｆｆから、最も高い相関値（最も類似）の参照画素の相関値（類似度）をＡＳＵＭ＿ＭＩＮとし、ＡＳＵＭ＿ＭＩＮと各参照画素Ｑｉに対する相関値（類似度）との比に応じて、各参照画素Ｑｉに対する類似度重みＷ_ｃｏｎｆを算出する。

この類似度重みＷ_ｃｏｎｆは０から１までの値を持つものとし、相関値（類似度）ＡＳＵＭ＿ＭＩＮと参照画素Ｑｉに対する相関値（類似度）ＡＳＵＭ_ｄｉｆｆとの比が、予め設定された定数Ｃ以下の場合、有効な参照画素として非零の類似度重みＷ_ｃｏｎｆを割り当て、相関値（類似度）ＡＳＵＭ＿ＭＩＮと、参照画素Ｑｉに対する相関値（類似度）ＡＳＵＭ_ｄｉｆｆとの比が、予め設定された定数Ｃよりも大きい場合は、無効な参照画素として類似度重み０を割り当てる。

なお、各参照画素Ｑｉに対する類似度重みＷ_ｃｏｎｆを割り当てる方法としては、上述の例の他に、相関値（類似度）ＡＳＵＭ＿ＭＩＮと予め設定された定数Ｃとの差の値を利用しても良い。

ところで、各参照画素Ｑｉの相関値（類似度）ＡＳＵＭ_ｄｉｆｆの分布は、注目画素Ｐの近傍領域の画素値の傾向によって異なる。従って、相関値（類似度）ＡＳＵＭ_ｄｉｆｆと予め定められた閾値との単純な比較によって類似度重みＷ_ｃｏｎｆを算出した場合には、非零の有効な類似度重みＷ_ｃｏｎｆが割り当てられる参照画素Ｑｉの個数にバラツキが生じ、エッジ部のボケや段差の発生といった補正後の画質の劣化の原因となる。

各参照画素Ｑｉに対して算出される相関値（類似度）ＡＳＵＭ_ｄｉｆｆから最も高い類似度の相関値（類似度）ＡＳＵＭ＿ＭＩＮを基準とした類似度重みＷ_ｃｏｎｆを割り当てることにより、注目画素Ｐの近傍領域の画素値の状況に応じて安定した類似度重みＷ_ｃｏｎｆの割り当てを行うことができる。

前記補正部４１３は、ブロック選択部１１０から入力される注目画素Ｐ及び各参照画素Ｑｉの画素値と、重み算出部４１２から入力される各参照画素Ｑｉに対する類似度重みＷ_ｃｏｎｆと、欠陥・孤立点検出部１０５から入力される孤立度と、を用いて、補正画素値Ｄ_ｏｕｔを求める。
具体的には、重み付け平均値算出部１２２が、ブロック選択部１１０から入力される各参照画素Ｑｉの画素値Ｄ_ｉｎ（ｉ）と重み算出部４１２から入力される各参照画素Ｑｉに対する類似度重みＷ_ｃｏｎｆ（ｉ）とを用いて、重み付け平均値Ｄ_ａｖｅを求める。

前記出力選択部４２４は、欠陥・孤立点検出部１０５から入出力される孤立度を用いて、ブロック選択部１１０から入力される注目画素Ｐの画素値Ｄ_ｉｎもしくは重み付け平均値算出部１２２から入力される補正画素値Ｄ_ａｖｅを選択し、補正画素値Ｄ_ｏｕｔを出力する。
下記の式（２５）の例では、出力選択部４２４は、注目画素Ｐが孤立点であるとき（孤立度＝１のとき）には重み付け平均値算出部１２２から入力される補正画素値Ｄ_ａｖｅを選択し、注目画素Ｐが孤立点でないとき（孤立度＝０のとき）にはブロック選択部１１０から出力された注目画素Ｐの画素値Ｄ_ｉｎを選択する。

［第３実施形態］
以下、第３実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて説明する。説明の重複を避ける為、第２実施形態との相違点を説明する。また、第２実施形態に係る画像処理装置の構成部材と同様の機能を有する部材には同様の符号を付して説明を省略する。

図２２は、本発明の第３実施形態に係る画像処理装置の一構成例を示す図である。図２３は、中心画素を除いた３×３領域の画素数よりも少ない成分数の特徴ベクトルを生成する一処理例を示す図である。図２４は、中心画素を除いた３×３領域の画素値を特徴ベクトルとした場合における比較部による処理の一例を示図である。

図２２に示すように、画像処理装置５００は、ブロック選択部５１０と、ベクトル生成部５１４と、比較部５１１と、重み算出部４１２と、補正部４１３と、を具備する。

本第３実施形態に係る画像処理装置５００には、欠陥・孤立点検出部１０５が接続されており、当該欠陥・孤立点検出部１０５から孤立度が入力される。また、本第３実施形態に係る画像処理装置４００には、デジタル画像が記録されたＲＡＭ１０３と、当該画像処理装置５００の出力である補正画像を現像する現像部１０６と、が接続されている。

前記ブロック選択部５１０は、注目画素Ｐと同色且つ孤立点でない画素を参照画素Ｑｉとして選択し、さらに選択した各参照画素Ｑｉを中心とする３×３領域の画素値をＲＡＭ１０３から読み出すと共に、３×３領域の孤立度を欠陥・孤立点検出部１０５から読み出す。

この３×３領域の構成画素に孤立点が含まれている場合であって、重み付け平均値算出部４２２によってその孤立点に対する重み付け平均値Ｄ_ａｖｅが既に算出されている場合には、ブロック選択部５１０は、ＲＡＭ１０３から読み出した画素値Ｄ_ｉｎを、重み付け平均値算出部４２２により算出された重み付け平均値Ｄ_ａｖｅに置き換え、各参照画素Ｑｉに対する参照ブロックＢｉとして出力する。

前記ベクトル生成部５１４は、注目画素Ｐに対し、３×３領域の画素値をＲＡＭ１０３から読み出すとともに、３×３領域の孤立度を欠陥・孤立点検出部１０５から読み出す。３×３領域に孤立点が含まれている場合であって、重み付け平均値算出部４２２によりその孤立点に対する重み付け平均値Ｄ_ａｖｅが既に算出されている場合、ブロック選択部５１０はＲＡＭ１０３から読み出した画素値Ｄ_ｉｎを重み付け平均値算出部４２２により算出された重み付け平均値Ｄ_ａｖｅに置き換えた注目ブロックを出力する。

前記比較部５１１は、ベクトル生成部５１４から出力されて当該比較部５１１に入力される注目ブロック特徴ベクトルＶ_Ｂと各参照ブロック特徴ベクトルＶ_Ｂｉとについて、類似度を表す指標を算出する。この一連の処理においては、有効画素の判定処理が、第２実施形態におけるそれとは異なる。
すなわち本第３実施形態においては、前記比較部５１１は、ベクトル生成部５１４から出力された注目ブロック特徴ベクトルＶ_Ｂと各参照ブロック特徴ベクトルＶ_Ｂｉとを入力すると共に、注目ブロックＢ及び参照ブロックＢｉの各成分の孤立度を欠陥・孤立点検出部１０５から読み出し、重み付け平均値算出部４２２により重み付け平均値Ｄ_ａｖｅが既に算出されている画素については有効な成分とみなし、当該画素に係る孤立度を０に置き換えた後、注目ブロックＢの孤立度と参照ブロックＢｉの各成分の孤立度とから有効画素を判定する（ステップＳ５２）。

なお、図２４に示す処理ステップのうち、前記ステップＳ５２以外のステップは、第２実施形態において説明した図２０に示す同じステップ番号のステップにおける処理と同様の処理を実行するステップである。

以上説明したように、本第３実施形態によれば、上述の第２実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムと同様の効果を奏する上に、下記の効果を奏する画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

すなわち、例えば入力画像に孤立点が多く含まれることによって、注目画素特徴ベクトルＶ_Ｂの成分と参照画素特徴ベクトルＶ_Ｂｉの成分とに孤立点が多く混入してしまい、有効な成分の不足による相関値（類似度）の精度の低下を招くような場合であっても、或る定められた順番に画素を処理する順次方式を採用して処理する場合には、本第３実施形態を適用することで、既に補正済みの孤立点を特徴ベクトルの有効な成分として利用することができ、相関値（類似度）の精度の向上を図ることができる。

特徴ベクトルの各成分の重みを調節することが可能なので、特徴ベクトルの生成方法や入力画像の持つ特性に応じた、精度の高い相関値（類似度）を算出することができる。

ところで、上述した本発明の各実施形態及び各変形例に係る画像処理装置は、種々の機器に適用することができる。ここでは、第１実施形態に係る画像処理装置をデジタルカメラに適用した例を説明する。図２５は、本発明の第１実施形態に係る画像処理装置を適用したデジタルカメラの概略構成例を示す図である。

デジタルカメラ１０は、光学系１０１と、原色ベイヤー配列撮像素子１０２と、ＲＡＭ１０３と、画像処理装置１００と、現像部１０６と、記録部１０７と、を具備する。

前記デジタルカメラ１０は、シャッタボタン（不図示）が押下されると、前記光学系１０１及び前記原色ベイヤー配列撮像素子１０２が制御されて撮像動作を実行する。この撮像動作によって取得された画像データは、ＲＡＭ１０３に記録される。

前記ＲＡＭ１０３に記録された画像データは、原色ベイヤー配列の単板画像であり、各画素についてＲ,Ｇ,Ｂのうち何れか１色についての情報のみ得ている。このＲＡＭ１０３に記録された画像データは、画像処理装置１００によって上述の補正処理を施された後、現像部１０６によって公知の現像処理が施されて現像される。

前記現像部１０６によって現像された画像データは、公知の圧縮処理等が施された後、例えばメモリカード等の記録媒体である記録部１０７に記録される。全ての処理が終了すると、記録媒体上には撮像素子１０２の特性に起因する欠陥画素や種々の原因により生じた孤立点の画素値が補正された現像済み画像が得られ、当該デジタルカメラ１０の撮像動作が完了する。

なお、デジタルカメラ１０が具備する画像処理装置として第１実施形態に係る画像処理装置を例に説明したが、他の実施形態及び変形例に係る画像処理装置もデジタルカメラ１０等の各種機器に適用可能であることは勿論である。

さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０…デジタルカメラ、 １００…画像処理装置、 １０１…光学系、 １０２…原色ベイヤー配列撮像素子、 １０３…ＲＡＭ、 １０５…欠陥・孤立点検出部、 １０６…現像部、 １０７…記録部、 １１０…ブロック選択部、 １１１…比較部、 １１２…重み算出部、 １１３…補正部、 １２１…重み係数算出部、 １２２…重み付け平均値算出部、 １２３…混合比算出部、 １２４…重み付け平均値混合部、 ２００…画像処理装置、 ２１１…適応比較部、 ２１２…重み算出部、 ２２５…除外画素数制御部、 ２２６…適応比較制御部、 ３００…画像処理装置、 ３０５…欠陥・孤立点検出部、 ３１１…比較部、 ３２０…参照画素選択部、 ３２１…補正値決定部、 ４００…画像処理装置、 ４１１…比較部、 ４１２…重み算出部、 ４１３…補正部、 ４１４…ベクトル生成部、 ４２２…平均値算出部、 ４２４…出力選択部、 ５００…画像処理装置、 ５１０…ブロック選択部、 ５１１…比較部、 ５１４…ベクトル生成部。

Claims (15)

1. デジタル画像の画素値を補正する画像処理装置であって、
   補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定する注目領域設定部と、
   前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定する参照領域設定部と、
   前記注目領域を構成する画素の画素値と、前記参照領域を構成する画素の画素値と、を比較し、前記注目領域と前記参照領域との間の相関性を示す相関値を算出する比較部と、
   前記相関値に基づいて、前記補正に係る重み付け係数である相関性重み係数を算出する相関性重み算出部と、
   前記相関性重み係数と前記注目画素の画素値とに基づいて、前記注目画素の補正値を算出する補正値算出部と、
   を具備することを特徴とする画像処理装置。
2. 前記注目画素と、前記注目画素と同じ位置関係にある前記参照領域の画素である参照画素との孤立点らしさを示す指標である孤立度を取得し、該孤立度に基づいて前記補正を行う為の重み付け係数である孤立度重み係数を算出する孤立度重み算出部を更に具備し、
   前記補正値算出部は、前記相関性重み係数と前記注目画素の画素値と前記孤立度重み係数とに基づいて、前記注目画素の補正値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記相関性重み算出部及び前記孤立度重み算出部は、
   一つ以上設定されている前記参照領域の中から、前記相関値に基づいて、前記注目領域に類似する一つ以上の参照領域を選択し、該選択した参照領域を構成する画素以外の画素に係る前記相関性重み係数を零に設定し、
   前記補正値算出部は、前記重み係数が零に設定されていない前記参照画素について加重平均を行うことで、前記注目画素の補正値を算出する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記相関性重み算出部は、
   前記相関値に基づいて、前記注目領域に対して最も類似する参照領域を基準として所定の類似性を有する範囲内の参照領域を選択し、該選択した参照領域についてのみ前記相関性重み係数を算出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記相関性重み算出部は、
   前記相関値に基づいて、前記注目領域に対して最も類似する参照領域を選択し、該選択した参照領域を構成する画素の画素値を、前記補正値算出部がそのまま補正値として用いるように、前記相関性重み係数を算出する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記比較部は、
   前記注目領域を構成する画素の画素値と、前記参照領域を構成する画素の画素値とを比較し、それらの間の相関性を判定する際に、前記注目画素及び前記参照画素以外の画素について前記判定を行う
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記比較部は、
   前記注目領域と前記参照領域とについて、それぞれ対応する画素間の差分値であるブロック対応画素間差分値を算出し、前記参照領域を構成する画素のうち、前記ブロック対応画素間差分値が大きい画素から順に所定数の画素を除外したものについて前記相関値を算出し、
   前記相関性重み決定部は、
   前記所定数を制御する除外画素数制御部と、
   前記相関性重み係数の最大値が所定の閾値未満であって、且つ、前記所定数が上限値未満であるか否かを判定する適応比較制御部と、
   を備え、
   前記適応比較制御部の判定が真の場合には、前記比較部は、前記所定数を増加させた後に相関値を再度算出し、
   前記適応比較制御部の判定が偽の場合には、前記相関性重み決定部は、前記相関性重み係数を前記補正値算出部に出力する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記孤立度に基づいて、当該画素が孤立点であるか否かを判定する孤立判定部を更に具備し、
   前記比較部は、
   前記注目領域と前記参照領域とについて、それぞれ互いに対応する画素間の差分値であるブロック対応画素間差分値を算出し、それらブロック対応画素間差分値の算出に係る互いに対応する画素のうち少なくとも何れか一方が孤立点であるものを除外して、前記相関値を算出する
   ことを特徴とする請求項２に記載の画像処理装置。
9. デジタル画像の画素値を補正する画像処理装置であって、
   補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定する注目領域設定部と、
   前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定する参照領域設定部と、
   前記注目領域を構成する画素値を所定の順番に並べた成分から成るベクトルである注目領域特徴ベクトルを生成する注目領域特徴ベクトル生成部と、
   前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とを各画素毎に比較し、前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とが、全て等しいか否かを判定する色情報判定部と、
   前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とが全て等しい場合、前記参照領域に含まれる画素値を所定の順番に並べた成分から成るベクトルである参照領域特徴ベクトルを生成し、前記注目領域に含まれる色情報と前記参照領域に含まれる色情報とが異なる画素が存在する場合、その異なる色情報を持つ画素の画素値を、当該異なる色情報を持つ画素の近傍に位置する等しい色情報を持つ画素を用いて算出して置き換えた後、当該参照領域に含まれる画素値を所定の順番に並べた成分から成る参照領域特徴ベクトルを生成する参照領域特徴ベクトル生成部と、
   前記注目領域特徴ベクトル生成部により生成された注目領域特徴ベクトルと、前記参照領域特徴ベクトル生成部により生成された参照領域特徴ベクトル、との相関性を示す相関値を算出する比較部と、
   前記相関値に基づいて、前記注目画素と同じ位置関係にある前記参照領域の画素である参照画素の相関性重み係数を決定する重み決定部と、
   前記重み決定手段により決定された相関性重み係数と、前記注目画素の画素値とから前記注目画素の補正値を算出する補正部と、
   を有することを特徴とする画像処理装置。
10. 前記参照領域特徴ベクトル生成部は、
    前記参照領域に含まれる画素値を用いて、当該参照領域に含まれる画素数よりも少ない成分数のベクトルとして、前記参照領域特徴ベクトルを生成する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記比較部は、
    前記注目領域特徴ベクトルと前記参照領域特徴ベクトルとについて、それらの成分毎に差分絶対値を算出し、該差分絶対値について所定の重み付けによる重み付け平均値を算出して相関値とする
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記重み決定部は、前記比較部によって算出された前記相関値から、最も高い類似性を示す相関値と各参照画素に対する相関値との比または差に応じて、各参照画素に係る相関性重み係数を決定する
    ことを特徴とする請求項９に記載の画像処理装置。
13. 前記注目領域特徴ベクトル生成部及び前記参照領域特徴ベクトル生成部は、入力された画素値及び前記補正部によって算出された補正値を用いて、特徴ベクトルを生成する
    ことを特徴とする請求項９に記載の画像処理装置。
14. デジタル画像の画素値を補正する画像処理方法であって、
    補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定し、
    前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定し、
    前記注目領域を構成する画素の画素値と、前記参照領域を構成する画素の画素値とを比較し、それらの間の相関性を示す相関値を算出し、
    前記相関値に基づいて、前記補正に係る重み付け係数である相関性重み係数を算出し、
    前記相関性重み係数と前記注目画素の画素値とに基づいて、前記注目画素の補正値を算出する、
    ことを特徴とする画像処理方法。
15. デジタル画像の画素値を補正する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
    補正対象である注目画素と、前記注目画素近傍の複数の画素と、から成る注目領域を設定する注目領域設定機能と、
    前記注目領域の近傍において、前記注目領域と略同一の形状及び画素数の参照領域を一つ以上設定する参照領域設定機能と、
    前記注目領域を構成する画素と、前記参照領域を構成する画素とを比較し、それらの間の相関性を示す相関値を算出する比較機能と、
    前記相関値に基づいて、前記補正に係る重み付け係数である相関性重み係数を算出する相関性重み算出機能と、
    前記相関性重み係数と前記注目画素の画素値とに基づいて、前記注目画素の補正値を算出する補正値算出機能と、
    をコンピュータに実現させることを特徴とする画像処理プログラム。

Images