JP2000137804A - デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ダストやキズ画像のように、デジタル画像の
異常を画像から除去できるにあたって、擬似陽性、つま
り異常でない画像部分を誤って異常と認識してしまう数
を最小にすること。 【解決手段】 画像の各格子点の画像グラディエントと
その近傍点の平均画像グラディエントとの差に基づい
て、最初にパスする異常画像領域の初期認識を行う。直
近のオリジナル画像の画素値の変化が、より広範囲の近
傍画素値の変化よりも大きい場合、その領域は異常と認
識される。この技術によって、日中の木の葉や小石の多
いビーチなど、ノイズの多い画像領域で検出される擬似
陽性の数が大幅に削減される。最初にパスした異常候補
領域のリストが作成された後、一連の検出指標によって
そのリストを間引く。この一連の検出指標は、形状、サ
イズ、カラー、および可視性指標を含むことができる。
またこれら指標は、異常候補がどれほどダスト粒子やキ
ズに近いかを示すようになっている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、主としてコンピ
ュータ画像処理技術に関するものであり、特に、オリジ
ナルハードコピー画像上に存在するダストやキズに起因
する異常部分を、デジタル画像で正確かつ迅速に認識す
る技術に関する。

【０００２】

【従来の技術】画像処理における周知の問題点として、
ハードコピーのポジ画像またはネガ陰画像上にダストの
粒子が堆積したり、カメラやスキャナでその画像の二次
コピーをとる前にハードコピーにキズがついたりすると
いう問題がある。そして、写真ポジ／ネガ画像をコンピ
ュータ処理に適したデジタル画像に変換するには、その
画像を二次コピーするため、通常のデジタル画像はキズ
ついていたりダストで汚れていたりすることになる。こ
のようなダストやキズを以下では「画像の異常」ないし
は「画像の欠陥」と総称することにする。

【０００３】ダストによる汚れの問題は、早期検出技術
（デジタル化する前での画像欠陥の検出技術）または、
後期検出技術（デジタル化した後の画像欠陥の検出技
術）によって、ある程度解決することができる。

【０００４】例えばGuter et al.による米国特許第４,
１８９,２３５号 ”Test Device forDynamically Measu
ring the Degree of Dirt Accumulation on Bank-Note
s”で教示されているように、早期検出技術では走査前
にオリジナルハードコピー画像上のダストを検出してお
り、機械的手段によって走査前に画像をクリーンにする
ことができる。

【０００５】これに対して後期検出技術は、オリジナル
画像上でデジタル画像化されたダストを検出して、コン
ピュータシステムのユーザがダストを取り除く画像修正
を行うというものである。一般に、早期検出技術を実行
するには、標準的なデジタル画像処理装置の一部ではな
い特別なハードウエアが必要となる。それに対し後期検
出技術は、通常のデジタル画像処理ハードウエアのみで
行うことができる。後期検出技術では画像処理装置のメ
インコンピュータを使ってデジタル画像中のダストを認
識するため、オペレータによる手動操作あるいは増設し
たコンピュータソフトウエアのどちらかによって画像か
らダストを取り除くことが可能となる。後述するよう
に、本願発明は後期検出技術に分類される。

【０００６】一方、Gray et al.による米国特許第５,４
３６,９７９号 ”Process for Detecting and Mapping
Dirt on the Surface of a Photographic Element”で
は、早期検出技術と後期検出技術とを合成した技術が教
示されている。従来の画像処理ハードウエア及びソフト
ウエアを使って画像をスキャンしてデジタル画像のダス
ト画像を検出する、という点ではこの特許は後期検出技
術と類似している。しかし、この先行技術の発明では空
白画像（フィルムの空白部分）を走査して、ダストが空
白画像上で見つかった場合にその後の空白以外の画像上
でのダストレベルを最小にするよう、画像スキャナのオ
ペレータがスキャナのクリーニングプロセスを調整でき
るようにしている。

【０００７】この技術で走査する「空白」画像は画像と
しての構造を全く持たないわけではなく、たとえば未露
光のフィルムであってもそのフィルム自身の粒状性を含
んでいるように、微視的には画像としての構造を持って
いる。

【０００８】従って、粒子の粗い走査背景をバックにし
てダストの走査画像を認識する問題は、現像済フィルム
を走査してダストの走査画像を認識する問題と共通する
部分がある。

【０００９】この米国特許では、(a)デジタル画像をぼ
かしてボケ画像とし、(b)そのボケ画像とオリジナル画
像との差分画像を生成する工程を説明している。この差
分画像の中でボケ画像と大きく異なる部分はすべて異常
とみなされる。このように検出された異常は、さらなる
テストを経て“みなし”ダスト候補となる。

【００１０】先の米国特許第５,４３６,９７９号に記載
されているように、デジタル画像中のダストを探す工程
は、画像の異常を探す工程といえる。同じことがキズを
探す工程にもいえる。従って、画像中のダスト／キズ検
出技術の研究者は、画像の異常を検出する別の技術、例
えば特に腫瘍の画像を検出するための医学画像ソフトウ
エアなどを参考にすることができる。後者の技術は例え
ば、Doi et al. による米国特許第４,９０７,１５６号
”Method and System for Enhancement and Detection
of Abnormal Anatomic Regions in a Digital Image”
で教示されている。

【００１１】”Abnormal anatomic region”に関する米
国特許第４,９０７,１５６号は、オリジナル画像（ある
いは単純にそこから派生してできた画像）とぼかしたオ
リジナル画像との違いから異常候補を検出する、という
点で”Detecting and Mapping Dust”に関する米国特許
第５,４３６,９７９号に類似している。差分画像の中で
極値をとる画素は、オリジナル画像でそれに対応する画
素の近傍画素とはかなり異なる値を持つ画素を表してい
るので、異常候補となる。”Anatomic regions”特許に
特有の技術では、腫瘍などの異常な特徴が強調されるＳ
ＮＲ最大化画像（ＳＮＲ＝Ｓ／Ｎ比）と、ボケ画像また
はＳＮＲ最小化画像が生成される。そして、ＳＮＲ最大
化画像とＳＮＲ最小化画像との差異を示す差分画像が生
成される。

【００１２】差分画像の中で極値をとる画素あるいは画
素群は、腫瘍の“みなし”画像候補となる。そして、円
環性（circularity）テスト、サイズテスト、及び成長
テストを使った続く画像処理を行うことによって、すで
に検出された腫瘍候補をさらに特徴づけている。

【００１３】

【発明が解決しようとする課題】上述のような、画素値
を局部近傍の平均画素値と比較する差分技術は、空など
の一様なあるいはスムーズに変化する背景をバックにし
た場合の異常（ダスト、キズ、腫瘍など）を検出するの
には役立つが、陽の当たった木の葉や小石だらけのビー
チなど多様に変化したり雑然とした背景をバックにした
場合の異常検出にはあまり役立たない。

【００１４】後者の場合、上記差分技術では、疑似陽
性、つまり、間違って異常とみなされる画素群を多数作
ってしまう。これは、雑然とした画像部分の画素の多く
が近傍の平均値とは大きく異なる値を持つという特徴か
ら起こる。通常の差分技術では、この特徴はまさに“異
常”の特徴となるので、雑然とした画像領域では極端に
多くの疑似陽性ができることになる。

【００１５】結果的に、そのような技術を用いる場合に
は、画面からの手動操作あるいは別のコンピュータ処理
によって大幅な後処理を行い、疑似陽性画素または画素
群をダスト／キズ候補から除外しなければならないとい
う問題がある。

【００１６】

【発明の目的】この発明は従来技術における上記の問題
の克服を意図しており、比較的変化が多い背景をバック
にした場合に画像の異常部分の検出を効率よく行うこと
を目的としている。

【００１７】

【発明の概要】後に詳述する実施形態での例を引用しつ
つこの発明を概要を説明すると以下のようになる。ただ
し、ここでの説明は例示的なものを多分に含んでおり、
それらの例示による説明は、この発明の範囲を規定する
ものではない。

【００１８】この発明は、例えば写真など、画像上のダ
ストやキズなどの異常を検出するシステムを提供し、先
行技術で取り組まれてきた問題を克服している。

【００１９】例えば、この発明では、誤検出が結果的に
減少する。疑似異常の数すなわち疑似陽性数を減らすこ
の発明の手法の元となる主要概念は、雑然とした画像領
域（小石だらけのビーチなど）では一様なまたはスムー
スに変化する領域（空など）よりもずっと強力な指標を
用いて、ダスト／キズ候補として画素をタグ付けすると
いうものである。

【００２０】この発明では、近傍画素の平均値と大きく
異なる値を持つ画素領域ではなく、むしろ近傍画素のグ
ラディエント（微分値ないしは差分値）の平均値と大き
く異なるグラディエント値を持つ画素領域をダストやキ
ズ粒子の第１候補として選ぶことによって、最初にパス
する疑似陽性の数を減らしている。

【００２１】画素のグラディエント値は、その画素のす
ぐ近傍で画像がどのくらい急激に変化しているかを見極
める指標となる。この発明では最初にパスするダスト／
キズ候補は近傍画素の平均グラディエント値と大きく異
なるグラディエント値を持つ画素群なので、画素をダス
ト／キズ候補としてタグ付けするために必要なグラディ
エント値は、平滑な画像部分よりも雑然と急激に変化す
る画像部分での方が高くなる。

【００２２】総体的に、この発明のダスト／キズ検出手
法は以下のように構成されている： a) 最初にパスする疑似陽性の数を減らす； b) ロバストで且つバランスがとれている（すなわち、
検出される疑似陽性は多すぎも少なすぎもしない）； c) 処理速度が速い。

【００２３】これらは相互に関係している。つまり、
(a)のように疑似陽性数を減らすと疑似陽性をより分け
るのに必要な後処理量が減り、したがって(c)にあるよ
うにシステムが速くなる。

【００２４】この発明はさらに、（ダスト画素やキズ領
域を無効にしたときにできるような）画像中の空隙を埋
める発明と組み合わせて実施することにより、デジタル
画像のダストやキズを検出し除去する好ましい全体シス
テムを構成することができる。

【００２５】ここでの穴埋め発明とは、１９９９年５月
２９日に出願され、本願と同じ譲受人に譲渡されたMinn
erによる米国特許出願第０９／０８７,２８４号”Image
Enhancing Brush using Minimum Curvature Solutio
n”のことである。

【００２６】この発明は、パーソナルコンピュータやデ
スクトップ型コンピュータのプログラム内で実行される
方法を含む。コンピュータユーザはデジタル画像がコン
ピュータの記憶装置の１つに格納されるようにする。一
般にデジタル画像は何百万もの画素からなり、それらの
画素は多くの場合に長方形の格子状に配列している。各
画素は一つまたはそれ以上のチャネルに分割され、カラ
ーチャネルでの光の強度を符号化している。単チャネル
画像は白黒である。一般的な３チャネル画像では、各チ
ャネルが赤（Ｒ）、青（Ｂ）、緑（Ｇ）の光の強度をそ
れぞれ符号化している。また、典型的な画像では、各画
素の各チャネルごとに一定の可能輝度レベル範囲が決ま
っている。２つしか可能輝度レベルを持たない画像は２
値画像である。典型的な多値画像は各チャネルそれぞ
れ、２５６（またはそれ以上）の輝度レベルないしは階
調を持っている。

【００２７】この発明の好ましい態様では、オリジナル
画像に加えて二つの画像を用いることによって、最初に
パスするダスト／キズ領域を正確に認識している。

【００２８】第１の補足画像、つまりグラディエント画
像は、オリジナル画像のチャネル（一つまたはそれ以上
の）の平均的なグラディエントの大きさの指標となる。
この第１補足画像に用いられているグラディエント指標
は、オリジナル画像の一つあるいはそれ以上のチャネル
を、一つあるいはそれ以上の（通常、２行２列の）カー
ネルとたたみ込み（convolve）することによって得られ
る。その目的は、オリジナル画像のうち４つの画素の頂
点あるいは交点を中心とする極めて小さなオリジナル画
像領域のばらつき度の指標を得ることである。

【００２９】偶数行列のカーネルを選ぶことによって、
これらグラディエント指標のグリッドがオリジナル画像
のグリッドの半分だけオフセットされる。つまり、グラ
ディエント画像の各画素の中心が、オリジナル画像の４
つの画素の頂点に集中する。従って、グラディエント画
像のグリッドとこの画像から派生する画像のグリッドと
が、オリジナル画像のグリッドの頂点（画素の中心とは
異なる）に定義され、それによって（オリジナル画像に
対して）頂点中心のグリッドとなる。オリジナル画像は
多くのチャネルを持っているが、グラディエント画像は
単チャネル画像である。各画素における最終グラディエ
ント指標は、それぞれのチャネルの同じ位置にある画素
のグラディエント指標を組み合わせる処理（平均化また
は最大値をとる処理など）によって得られる。

【００３０】第２補足画像、つまりボケ・グラディエン
ト画像は、グラディエント画像の各画素の値をその近傍
画素の平均値で置き換えることによって得られる。一般
に、この置き換えグラディエント画像をより大きな奇数
行列の平均カーネルでたたみ込むことによって行われ
る。ここで使われるカーネルは、例えば、４１行４１列
である。画像端付近の画素の平均値はカーネルの大きさ
を小さくして実際に画像内にある画素のみをサンプリン
グするようにすることで得られる。

【００３１】グラディエント画像とボケ・グラディエン
ト画像は、デジタル画像中のデジタル化されたダスト粒
子やキズなどの異常を認識する基礎となる。この認識工
程では、ダスト粒子やキズの走査画像は一般に以下の２
つの性質を持っているという実験上証明された結果を利
用している。

【００３２】そのような典型的異常の第１の性質は、近
傍画素のグラディエント平均値よりずっと大きいグラデ
ィエント値を持つ画素を少なくとも一つ（多くの場合は
複数）有しているという点である。そのような一まとま
りの画素を「卵」との類似によってダスト粒子の「卵
黄」と呼ぶ。

【００３３】第２の性質は、ダスト粒子の「卵黄」から
外側にはみ出した画素であって、かつ「卵黄」の画素が
局所平均値を越える分よりは少ないものの、ある一定範
囲分だけは局所グラディエント平均値を越えるグラディ
エント値を持った画素も、すべてダスト粒子の一部であ
る、という点である。そのような一まとまりの画素を、
再び卵との類似によって、異常の「卵白」と呼ぶ。

【００３４】この発明の好ましい実施形態では、グラデ
ィエント画像の頂点中心画素をスキャンして、 ・第１の閾値だけ局所平均値を越えるグラディエント値
を持つ画素と、 ・それより小さい第２の閾値だけ局所平均値を越えるグ
ラディエント値を持つ画素と、を探しだす。

【００３５】そして、それらの画素にはそれぞれ、
「２」と「１」が割り当てられる。頂点グリッドのその
他の画素は全て「０」とされる。

【００３６】グラディエント画像とボケ・グラディエン
ト画像に基づいて頂点中心３値画像を形成した後、その
画像をスキャンして、「２」の値の画素を少なくとも数
個含む、正の値を持つ画素の小塊（一連のセット）を探
し出す。つまり、「卵黄」を含む小塊を探し出すのであ
る。「卵白」を含む小塊は全て異常候補と認識され、そ
れらの構成画素は、新たな頂点中心ダスト／キズ候補２
値画像で「１」に設定される。そして、「卵黄」を含ん
でいない小塊は全て無視され、それらの構成画素は新し
い２値画像では「０」に設定される。これらの画素イン
デクス値「０」、「１」、「２」は例示的な値であり、
一般には第１から第３の画素インデックス値として定義
することができる。

【００３７】以上がこの発明によるファースト・パス手
法である。この手法の目的は、先の先行技術ほどではな
いが、わずかに疑似陽性よりにある粒子やキズ候補のリ
ストを作成することにある。つまり、ファースト・パス
・リストでは、いくつかの実際には存在するダスト粒子
が誤って外され（疑似陰性もいくらか含む）、おそらく
ある程度の数の疑似陽性（疑似陰性よりは多い）が含ま
れている。このようなリストは、いくつかの疑似陽性を
間引くことによって、ダスト粒子やキズの最終リストと
なる。

【００３８】最終的な間引き処理には、疑似陽性をリス
トから除去するために、可視性（visibility）テスト、
カラーテスト、形状テスト、サイズテストなどのうちの
少なくとも１つ（好ましくはこれらのうちの複数、さら
に好ましくはこれらのすべて）を含む一連の検出的手法
が用いられる。

【００３９】以上の概略では、最初にパスするダスト粒
子やキズの認識は、画像値と近隣画像平均値との比較で
はなく、求めたグラディエント値と近傍の平均グラディ
エント値との比較を基礎として行われる、というこの発
明の実施形態において最も重要な点を強調した。先にも
述べたように、この発明のこの態様によって、疑似陽性
の数を先行技術の手法に比べて大幅に削減することがで
きる。

【００４０】この発明の第２の重要な態様は、頂点中心
グリッド上のグラディエント画像とボケ・グラディエン
ト画像（従ってその後のファースト・パス２値ダストマ
ップも）の位置をオリジナル画像の画素からＸ及びＹ方
向に半画素分ずらすという点である。オリジナル画像の
各画素または一連の画素は、頂点中心グリッドの画素か
らなる閉じた曲線で囲むことができる。例えば、後述す
る図２では、オリジナルグリッドの一つの画素１００が
頂点中心グリッドの４つの画素１０１、１０２、１０
３、１０４で囲まれている。

【００４１】結果的にこの発明では、前述のファースト
パスの最後に生成された頂点中心２値ダスト／キズマッ
プ（リスト）を分析する際、頂点中心画像の正の値から
なる閉じた輪郭線を元にしてオリジナル画像のダストや
キズの認識を行うことができる。正の値からなる開いた
輪郭線は、オリジナル画像のダスト認識をなんら損なう
ことなく、２値画像から切り捨てることができる。

【００４２】例えば、図３に仮想の頂点中心ダスト／キ
ズ２値画像が示されている。この画像には、一つの開い
た輪郭線２００、一つの閉じた輪郭線２１０、そして閉
じた部分２３０と尾部２４０を含む一つの複合輪郭線２
２０が含まれている。図４は開いた輪郭線２００と複合
輪郭線２２０の尾部２４０が削除された後の、図３と同
じ仮想頂点中心ダスト／キズ２値画像を示す。図４で残
ったのは、二つの閉じた輪郭線２１０と２３０である。

【００４３】この発明の実施形態では、オリジナル画像
のダストの認識は全て、補助頂点中心２値画像の閉じた
輪郭線に基づいて行われる。

【００４４】この発明のこの態様により、グラディエン
ト画像とその派生画像（２値画像など）が頂点中心画像
でない場合と比べて、オリジナル画像のダストとキズの
認識がより高速に且つ計算上より簡単に行うことが可能
となる。

【００４５】

【発明を構成する手段】上記の原理に対応した構成とし
て、この発明の請求項１〜請求項２５の方法は、オリジ
ナルデジタル画像中の異常の有無および位置を決定する
方法であって、画素の値がオリジナル画像上の対応する
位置でのグラディエントの大きさの判断指標となってい
るグラディエント画像を形成するグラディエント画像形
成工程と、前記グラディエント画像を用いて、前記オリ
ジナル画像の異常を決定する異常決定工程とを備える方
法と、その好ましい態様を提供する。

【００４６】また、請求項２６〜請求項２９の発明は、
デジタルのオリジナル画像の欠陥に相当する異常部分を
検出するシステムであって、(a)前記オリジナル画像の
各部のグラディエントを表現したグラディエント画像を
生成するグラディエント画像生成手段と、(b)前記グラ
ディエント画像の各画素値の大きさに応じて、前記グラ
ディエント画像の各画素を、 1) 比較的大きなグラディエントを有する異常画素と、 2) 中間的なグラディエントを有する疑似異常画素と、 3) 比較的小さなグラディエントを有する正常画素と、
に分類した第１中間画像を得る第１中間画像生成手段
と、(c)分類された各画素の空間的な相互分布関係に応
じて前記第１中間画像中の疑似異常画素の分類を画素ご
とに変更することによって、各画素が正常画素と異常画
素との２種に区別された第２中間画像を生成する第２中
間画像生成手段と、(d)前記２中間画像において異常画
素の連鎖からなる輪郭線を特定する輪郭線特定手段とを
備え、前記輪郭線の情報に基づいて前記オリジナル画像
の異常部分を特定することを特徴とするシステムと、そ
の好ましい態様を提供する。

【００４７】またこの発明では、コンピュータを用いて
これらの方法ないしはシステムを実現するためのプログ
ラムを記憶した記憶媒体も提供する。

【００４８】

【発明の実施の形態】

【システム構成】図１は、デジタル画像のダストおよび
キズを検出しタグ付けする画像処理システムの実施形態
を示す。画像処理システム７０は、マイクロプロセッサ
７２およびメモリ７４を含むコンピュータシステム７１
を備える。マイクロプロセッサ７２は画像処理を行い、
メモリ７４は画像処理用のコンピュータコードを保存す
る。コンピュータシステム７１は、たとえばＰＣ、マッ
キントッシュ、ラップトップ、メインフレームなど、ど
のようなタイプのコンピュータでもよい。画像システム
７０はまた画像を直接走査するスキャナ８０も備えてい
る。コンピュータシステム７１は、オリジナル画像や処
理後の画像（キズなどの修復後の画像）を表示するグラ
フィカル・ユーザ・インターフェイスとしてのモニタ
（ディスプレイ）７６に接続されている。コンピュータ
システム７１はまた、内蔵または外付の記憶装置ドライ
ブやマウス、キーボード（図示せず）などさまざまなイ
ンターフェイス装置にも接続されている。カラーまたは
モノクロのプリンター７８によって、ユーザはどのよう
な画像でも印刷することができる。またケーブル８２を
付加することによって、オリジナル画像や修復画像をE
メールやインターネット、または直接アクセスなどで別
のコンピュータデバイスに伝送することができる。

【００４９】また、後述するプロセスを実行するための
ソフトウエアプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ
ＯＭなどの記憶媒体８５に記憶させておくことができ
る。このプログラムは、コンピュータシステム７１によ
って読取られてその中にインストールされると、コンピ
ュータシステム７１内のオペレーティングシステム（Ｏ
Ｓ）と協働することによって後記の画像処理プロセスを
実行することができる。

【００５０】画像は、たとえば写真や印刷紙、本のペー
ジなどのハードコピーを平面走査型のスキャナ（たとえ
ば図１のスキャナ８０）によってスキャニングすること
で得られる。走査画像はバス７５を介して直接コンピュ
ータシステム７１に送られ、そこでこの発明に基づいて
処理される。この発明では、取得画像をコンピュータシ
ステム７１へ送る方法を直接接続のみには限定していな
い。取得した画像をコンピュータシステム７１に送る際
には、周知のどのような技術を用いてもよい。例えば、
従来から既知のように、取得画像をメモリディスクに保
存してメモリドライブで入力してもよいし、別のコンピ
ュータシステムで印刷してその印刷画像をスキャナ８０
で走査してもいいし、また画像伝達はインターネットを
通してケーブル８２で行うこともできるし、衛星送信機
や地上アンテナを使って行っても良い。

【００５１】

【処理対象画像例】図５は、例として、平面走査型スキ
ャナを使ってオリジナルの写真画像から取得したデジタ
ル化ダストの写真画像の一部を模式的に示す。図５の左
側にはコテージの二階部分が、また右側には木々が、そ
して中央と上部には空の一部が示されている。目に見え
るダスト粒子はほぼ一様な画像のほんの一部分、つまり
空の部分だけだが、全体の画像は非常にほこりっぽい
（図示の都合上、細かなダストやキズは図５中には現れ
ていない）。物体３００と３０１は大きなダスト粒子で
ある。物体３０２は家の屋根につけられたアンテナであ
る。物体３０３は家につながっている一対の電線であ
る。

【００５２】図６は、家と空と木の共通部分の領域を中
心に図５を引き伸ばしたものである。この図では、ダス
ト粒子３００、３０１、アンテナ３０２、配線３０３の
個々の画素を見ることができる。

【００５３】このシステムの目的は、アンテナ３０２や
配線３０３のように見た目にはダストやキズに似ている
が実際には画像の特徴であるという部分をそのままにし
つつ、ダスト粒子３００、３０１のような異常ないしは
欠陥を（最終的には除去する目的で）図５および図６で
示されたような画像の中から検出してタグ付けすること
である。

【００５４】

【処理の概要】図７は、本実施形態によって、図５や図
６で示されるような取得画像のダストやキズを検出しタ
グ付けする工程を示すフローチャートである。コンピュ
ータシステム７１では、ダストやキズを含む初期ステッ
プ４００のオリジナル画像を図７に示される一連の工程
によって処理する（詳細は後述する）。そして、ダスト
粒子やキズ部分でない原画像の各画素が「０」に設定さ
れ、ダスト粒子やキズ部分の画素が「１」に設定された
２値画像が、ステップ４５５で生成される。このタグ付
けされたダスト２値画像はステップ４６０で、自動的に
またはユーザの介入によってダストやキズを消去するた
めの別のソフトウエアに渡される。

【００５５】

【グラディエント画像の生成】図７のステップ４１０で
は、図８に示される方法を使って、オリジナル画像４０
０から第１補助・多値・単チャネル・頂点中心画像が形
成される。一般に、オリジナル画像は一つまたはそれ以
上のカラーチャネルを有し、典型的な多チャネル画像は
３つ以上のカラーチャネルを有している。多用されてい
るのが、各要素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の
３つのチャネルを持っている画像である。図８は、この
ような３チャネル構成の例を示している。画像の各チャ
ネルは二つのカーネル（ｘカーネルｋ_x、およびｙカー
ネルｋ_y）でたたみ込み（convolve）され、グラディエ
ント画像（エッジ強調画像）ｇ_x、ｇ_yが生成される。

【００５６】ここで、ｘカーネルｋ_xおよびｙカーネル
ｋ_yは、以下の式１のように定義される。

【００５７】

【数１】

【００５８】このうち、ｙカーネルｋ_yはｘカーネルｋ_x
の転置行列ｋ_x(T)に相当する。ここにおいて、記号(T)
は行列の転置を表現している。

【００５９】これらのｘカーネルｋ_xおよびｙカーネル
ｋ_yは、２行２列の空間微分フィルタである。これらの
カーネルｋ_x，ｋ_yのそれぞれとオリジナル画像とのたた
み込みを求めることは、オリジナル画像の画素値につい
てＸ方向およびＹ方向の微分画像（差分画像）ないしは
エッジ（輪郭）強調画像を求めることに相当する。

【００６０】これらのカーネルのパラメータαは正の数
である。必須ではないが、最終グラディエント画像ｇ
は、オリジナル画像の個々のカラーチャネルと同じ範囲
（同じ最大値および最小値；ないしはダイナミックレン
ジ）を持つように行列要素の値αを選ぶことが好まし
い。αの好ましい値は１／sqrt（８）である。ただし、
記号 sqrt（…）は、「…」部分の平方根をとる演算を
表している。

【００６１】各カラーチャネル面は別々にたたみ込み処
理される。二つのカーネルの行数と列数はともに偶数
（２）であるため、図２の点１０１、１０２、１０３、
１０４のようにオリジナル画像の４つの画素の境界頂点
を中心としたたたみ込み値が生成されることになる。つ
まり、たたみ込み画像のすべては、画素を中心とするオ
リジナル画像に対して、画素の境界頂点を中心とする画
像となっている。図８のステップ５１０では、ｘカーネ
ルｋ_xが各カラーチャネル面でオリジナル画像の画素値
Ｍとたたみ込み処理され、もとの各面から新しい面上の
画像ｇ_xが形成される。ステップ５２０では、ｙカーネ
ルｋ_yが各カラーチャネル面でオリジナル画像の画素値
Ｍとたたみ込み処理され、もとの各面から新しい面上の
画像ｇ_yが形成される。

【００６２】ただし、図８において×印を丸で囲んだ記
号はたたみ込み演算を示しており、記号Ｍはオリジナル
画像の画素の値を示している。

【００６３】より具体的には、オリジナル画像の任意の
２×２の画素クラスタのそれぞれの画素値をそれぞれ, Ｍij、Ｍi(j+1)、Ｍ(i+1)j、Ｍ(i+1)(j+1) とし、２×２カーネルの各成分をそれぞれ、 ｋ₁₁、ｋ₁₂、ｋ₂₁、ｋ₂₂ としたとき、このカーネルと画素クラスタとのたたみ込
みは、下記の式２：

【００６４】

【数２】

【００６５】で定義される。次のステップ５３０では各
チャネルごとに、画像ｇ_xと画像ｇ_yが、下記の式：

【００６６】

【数３】

【００６７】と組み合わされ、Ｒ、Ｇ、Ｂのそれぞれの
カラー成分ごとの画像ｇ_s（ｓ＝ｒ，ｇ，ｂ）として、
３つで一組のエッジ強調画像カラーチャネルｇ_r，ｇ_g，
ｇ_bが生成される。画像ｇ_sは、ｘ方向およびｙ方向のグ
ラディエント値の２乗和の平方根であるから、グラディ
エント画像ベクトル（画素値の勾配方向に向き、かつ画
素値変化率に比例した大きさを持つベクトル）の絶対値
に相当する。

【００６８】最後に、ステップ５４０では、各画素ごと
に同じ画素の３つのチャネルの最大値ｇが、下記の式
４：

【００６９】

【数４】

【００７０】のように求められ、ステップ５３０で生成
された３チャネル画像ｇ_r，ｇ_g，ｇ_bが単チャネル画像
ｇに縮約される。

【００７１】既述したように、ステップ４１０の目的
は、オリジナル画像の３つのチャネルから単チャネル・
グラディエント画像ｇを生成することである。上述の方
法では、各チャネルごとにグラディエント値ｇ_r，ｇ_g，
ｇ_bを算出し、最後にそれぞれの最大値（ｇ_r，ｇ_g，
ｇ_b）によって画像ｇを定義することによって、３つの
別個のグラディエントチャネルを結合して一つのグラデ
ィエント画像ｇとしている。

【００７２】上記のカーネルは微分カーネルであるか
ら、チャネルの値が急激に変化するオリジナル画像領域
の中心画素においてその値が大きくなる。そして、各チ
ャネルについてのグラディエント画像の画素値の最大値
をとるという合成手法を用いて最終的なグラディエント
画像が得られるため、その最終的なグラディエント画像
においても、チャネルの値が局所的に最も急激に変化す
るオリジナル画像領域の中心画素（に対応する位置）に
おいて、グラディエント画像の値が極値をとる。

【００７３】この方法の変形例でも同じ結果が得られ
る。ある変形例では、三つの値（ｇ_r，ｇ_g，ｇ_b）で定
義される平均関数から画像ｇが得られる。また別の変形
例では、オリジナル多チャネル画像がまず単チャネルの
白黒画像に変換され、その白黒画像からｘ−たたみ込み
画像ｇ_xおよびｙ−たたみ込み画像ｇ_yが算出される。

【００７４】

【ボケ・グラディエント画像の生成】図７のフローチャ
ートの次のステップ４１５では、単チャネル・多値・頂
点中心ボケ・グラディエント画像ｂｇがグラディエント
画像ｇから生成される。ボケ・グラディエント画像ｂｇ
は、グラディエント画像ｇを正方形の（square）平均カ
ーネルでたたみ込に処理することによって得られる。こ
の平均カーネルには、ステップ４１０のグラディエント
画像の生成に使用したカーネル（たとえば２行２列カー
ネル）よりもずっと大きいものや、奇数の行および列を
持つ行列を持つものが選ばれる。こうすることによっ
て、ボケ・グラディエント画像ｂｇをグラディエント画
像と同じグリッド上に生成することができる。後者のカ
ーネルの例として、４１行４１列のものが使われる。具
体的には、この平均化処理は、下記の式５にしたがって
行うことができる。

【００７５】

【数５】

【００７６】ただし、Ｍ、Ｎは、矩形カーネルの行およ
び列方向のサイズ（画素数）；Σは、算出しようとする
Ｍ行Ｎ列のボケ・グラディエント画像の画素の近傍（周
囲）の矩形の画素マトリクスに含まれる各画素番号
（ｉ,ｊ）についての和；である。

【００７７】ボケ・グラディエント画像ｂｇもまた、オ
リジナル画像の４つの画素の境界頂点を中心とする画像
となっている。

【００７８】より一般的には、グラディエント画像ｇの
各画素の値を、その近傍の複数の画素値の組合せで置き
換えることによって、ボケ・グラディエント画像を形成
することができる。

【００７９】上記のようなの平均カーネルは、ボケ・グ
ラディエント画像ｇのそれぞれの画素につき、当該画素
の近傍にある各画素のグラディエント値をグラディエン
ト画像ｇから求め、それら各画素のグラディエント値の
加重和を用いて、ボケ・グラディエント画像の画素値を
算出する手段のひとつの態様として機能する。

【００８０】上記の平均カーネルは、近傍画素のそれぞ
れに等じウエイト値を与えた加重和を求めるものである
が、近傍画素の位置によってウエイト値を異なるものと
することもできる。後者の場合には近傍画素の加重平均
によってボケ・グラディエント画像が得られる。また、
単純平均および加重平均のいずれにおいても、加重和の
値は、各近傍画素のうちの最大値と最小値と間の中間値
をとる。

【００８１】ボケ・グラディエント画像を生成する工程
では、たたみ込み処理される画素が画像の端部に近すぎ
てカーネルが画像境界からあふれてしまってたたみ込み
値が簡単に定義できない場合であっても、たたみ込みの
結果が確実に定義されるような手段を講じている。この
実施形態では、画像端付近の画素の平均カーネルを、画
像外の画素を抽出しないように調整している。別の変形
例では、たたみ込み処理する前の画像をｘ、ｙ両方向に
外側に拡大し、そうしてできた境界をオリジナル画像の
近傍画素の平均値で埋めることによって、同じ結果を得
ている。画像外のサンプリングを避けるためにカーネル
や画像を調整するという問題は、グラディエント画像ｇ
自身の場合には起こらない。この実施形態のグラディエ
ント画像ｇの生成用カーネルは２行２列の大きさであ
り、さらにグラディエント画像ｇはオリジナル画像グリ
ッドの内部頂点でのみ定義されるので、グラディエント
がどこに定義されたとしても、その生成カーネルは境界
線内にあり、またその逆も同じである。

【００８２】

【異常／疑似異常／正常の分類】図７のフローチャート
の次のステップ４２０では、単チャネル・頂点中心・３
値画像ｔが、グラディエント画像ｇとボケ・グラディエ
ント画像ｂｇから生成される。この３値画像ｔは、(1)
ダストやキズなどの異常と判断できる画素と、(2)
ダストやキズなどの異常の可能性があるが、それだけで
は異常と判断できない疑似異常状態にある画素と、(3)
異常状態や疑似異常状態にはない正常の画素と、を識
別し、それらにラベル（画素インデクスないしはタグ）
を付与するプロセスである。

【００８３】具体的には、グラディエント画像ｇの各画
素を、 1) 比較的大きなグラディエントを有する異常画素と、 2) 中間的なグラディエントを有する疑似異常画素と、 3) 比較的小さなグラディエントを有する正常画素と、
に分類する。

【００８４】このプロセスでは、図９に示すように、大
きい閾値関数ｈ₁と小さい閾値関数ｈ₂とを利用する。

【００８５】図９には、ボケ・グラディエント画素値a
の二つの非減少関数ｈ₁とｈ₂とが示されている。具体的
な関数形も図９中に示されている。これらの関数形は、
(1) 二つの関数がともに非減少関数であり、かつ(2) 前
者の関数の値ｈ₁(a)がどの場所においても後者の関数の
値ｈ₂(a)よりも大きな値を持つ、ために求められる一般
的条件の一例である。

【００８６】頂点中心３値画像は、グラディエント画像
からのグラディエント値ｇと、このグラディエント値ｇ
と同じグリッド位置におけるボケ・グラディエント値ａ
から算出される二つの関数ｈ₁(ａ)，ｈ₂(ａ)とを比較す
ることによって構成される。この方式では、３値マップ
での値ｔは以下の式６のようになる。

【００８７】

【数６】

【００８８】換言すれば、３値マップの値ｔは、グラデ
ィエント値ｇがボケ・グラディエント画像の対応する値
ａに対して小さい場合は最小（ｔ＝０）とされ、グラデ
ィエント値ｇがボケ・グラディエント値ａよりもいくぶ
ん大きい場合は中間（ｔ＝１）とされ、グラディエント
値ｇがボケ・グラディエント値ａよりも大きい場合は最
大（ｔ＝２)とされる。

【００８９】図９からわかるように、関数ｈ₁、ｈ₂の双
方は、ボケ・グラディエント画素値ａの低レベル領域に
規定された比例区間（一般には単調増加区間ないしは単
調変化区間）と、中〜高レベル領域での飽和区間（一定
区間）とを有している。これは次のような事情に対応し
ている。

【００９０】すなわち、ボケ・グラディエント画素値ａ
が比較的小さい領域（すなわち画像の背景が平坦な領
域）では、背景平均レベルとの間にエッジ強度（濃度の
変化率）に差がある部分はダストやキズである可能性が
高いため、それらを異常画素として積極的に検出できる
ように、上側閾値ｈ₁をボケ・グラディエント画素値ａ
に比例して小さめにとる。

【００９１】これに対して、ボケ・グラディエント画素
値ａが大きい領域（すなわち画像のエッジ強度が平均と
して高い領域）では、グラディエント画素値ｇが比較的
大きくても、それが被写体の一部分の像である可能性も
高いため、それらは疑似異常画素として判断を保留する
ことができるように、上側閾値ｈ₁を大きめに固定的に
設定し、かつ、下側閾値ｈ₂を上側閾値ｈ₁から比較的離
したレベルに固定的に設定する。

【００９２】以上までの工程で得られる画像が第１中間
画像である。

【００９３】なお、疑似異常画素に分類された画素は、
下記の工程において別の基準によって異常画素／正常画
素のいずれかに再分類される。

【００９４】

【疑似異常の異常／正常への変換】図７のフローチャー
トの次のステップ４２５では、３値画像ｔから単チャネ
ル／頂点中心／２値画像ｂが形成される。

【００９５】この工程は図１０，図１１，図１２に示さ
れている。

【００９６】図１０は３値画像を示す。「０」の値を持
つ画素を空白、「１」の値を持つ画素を軽いハッチン
グ、「２」の値を持つ画素を網目のハッチングで示す。
図１０では３つの「小塊」ないしは画素クラスター、つ
まり連続するゼロ以外の値を持つ画素の領域が示されて
いる。小塊６００は「２」の値を持つ画素と、「１」の
値を持つ画素との両方を含んでいる。小塊６１０は
「２」の値を持つ画素のみを含んでいる。小塊６２０は
「１」の値を持つ画素のみを含んでいる。

【００９７】２値マップ生成工程の目的は、「２」の値
を持つ画素を少なくとも１つ含む小塊（６００と６１
０）のみを保持し、「１」の値を持つ画素のみを含む小
塊を切り捨てることにある。この処理の基本原理は、極
値画素（「２」の値を持つ画素）を少なくとも一つ含む
異常領域（例えば、図１０の小塊６００,６１０）はダ
ストあるいはキズである可能性が高く、そのような極値
画素を持たない異常領域（例えば、図１０の小塊６２
０）はダスト粒子やキズでない可能性が高い、という経
験的結果から来ている。

【００９８】前工程において、画像の各画素は異常・疑
似異常・正常の３種類に分類されたが、次にこのうちの
疑似異常画素を、周囲の画素値との関係（空間的な相対
分布関係）に基づいて異常画素または正常画素に変換す
る。これによって得られる画像が第２中間画像である。

【００９９】具体的なアルゴリズムは以下の通りであ
る。

【０１００】コンピュータによるデジタル画像処理の分
野において、画素領域を埋める手法は周知である。この
埋めこみアルゴリズムの詳細については、James D. Fol
ey et al. の”Computer Graphic Principles and Prac
tice, Addison-Wesley Publishing Company, Second Ed
ition in C. １９９５, pp.９７９-９８６”または And
rew Glasner, editor,”Graphic Gens, Academic Pres
s, Inc., １９９０, pp.２７５-２８４”に開示されて
いる。埋めこみアルゴリズムの目的は、すべての候補画
素を検出し、その値を目標値にリセットすることである
といえる。ここで候補画素とは、 Ｘ属性 ＝ 画素値「１」または「２」を持つという属
性； Ｙ属性 ＝ 画素値「２」を持つという属性； と定義したとき、それ自身はＸ属性を持つとともに、Ｙ
属性を持つ他の画素と間接的につながっているすべての
画素を指す。「間接的につながる」とは、任意の画素か
らＹ属性を持つ画素との間にＸ属性を持つ画素のみを通
る経路が存在する、という意味である。

【０１０１】図１１は、図１０の小塊のうちで「２」の
値を持つ画素を少なくとも一つ含む小塊が全て「２」の
値を持つ画素で埋められた後の状態を示す。

【０１０２】図１１のケースでの埋めこみ処理の結果、
すべての小塊が一様に同一の値（すなわち「２」か
「１」）で埋められ、「１」と「２」両方の画素を持つ
小塊はなくなっている。

【０１０３】図１１から図１２の次のステップは２部構
成になっている。まず、「１」の値を持つ画素がすべて
「０」に設定される。これによって、小塊６２０は消去
される。次に、「２」の値を持つ画素がすべて「１」に
設定される。これによってできる２値画像（図１２）で
は、小塊の中の画素はすべて「１」の値をとり、小塊外
の画素は全て「０」の値をとる。

【０１０４】これらをまとめると、正常画素／疑似異常
画素／異常画素を区別するための第１ないし第３の画素
インデクス値として「０」、「１」、「２」を割り当て
たとき、下記のルールによって変換を行っていることに
なる。

【０１０５】(a) まず、第２の画素インデクス値
（１）または第３の画素インデクス値（２）を持つ画素
が連続した領域を含み、かつ、第３の画素インデクス値
（２）を持つ画素を少なくとも１つ含む３値画像部分に
おいて、第２の画素インデクス値（１）を持つ画素を全
て前記第３の画素インデクス値（２）に置き換える。

【０１０６】(b) 次に、画像全体において、第２の画
素インデクス値（１）を持つ画素を全て第１の画素イン
デクス値（０）に置き換える。

【０１０７】(c) そして、画像全体において、第３の
画素インデクス値（２）を持つ画素を全て前記第２の画
素インデクス値（１）に置き換える。

【０１０８】これによって、第１の画素インデクス値
（０）と第２の画素インデクス値（１）の２値のいずれ
かによって各画素が表現された２値画像が得られる。

【０１０９】

【異常画素の小塊の輪郭線の抽出】図７のフローチャー
トの次のステップ４３０では、図１２の２値画像から一
連の閉じた輪郭線が抽出される。この輪郭線抽出工程は
図１３〜図１７、図２、図３で示されている。

【０１１０】図１３は、図１０〜図１２で示されたのと
同じ小塊６００を示している。図１３で小塊６００は拡
大され、その２９個の構成画素にはそれぞれ番号がつけ
られている。

【０１１１】小塊６００は２値画像ｂの構成要素なの
で、２値画像と同じ頂点中心グリッドに関係づけられて
いる。この頂点中心グリッドはオリジナル画像グリッド
の４つの画素の交点を中心としている。

【０１１２】小塊６００およびその２値グリッドと、オ
リジナル画像およびその画素グリッドとの関係を図１４
に示す。図１４では、小塊６００の２９個の画素がオリ
ジナルグリッドの頂点を中心としていることがはっきり
と示されている。図１４は、ｂ１〜ｂ１５の番号のつい
たオリジナル画像の１５個の画素を示している。各画素
は、小塊６００の４つの頂点中心画素によって完全に囲
まれている。

【０１１３】オリジナル画像の１５個の画素ｂ１〜ｂ１
５はまた、小塊６００の輪郭線、つまり小塊６００の端
にある一連の画素にも囲まれている。デジタル画像処理
分野において、小塊６００のような形の輪郭線を抽出す
ることは周知である。そのような技術は例えば、Willia
m K. Prattの”Digital Image Processing, John Wiley
&Sons, １９７８,p.５４３”で述べられている。図１５
および図１６は小塊６００の輪郭線を示す。図１５では
輪郭線の画素が正方形で示され、図１６ではグリッドの
画素が×印で示されている。図１４と図１６を比べると
明らかなように、図１４で小塊６００の４つの画素によ
ってそれぞれ囲まれたのと同じオリジナル画像グリッド
の同じ画素ｂ1〜ｂ15が、小塊６００の輪郭線によって
完全に囲まれている。図１４と図１６との比較からさら
に、輪郭線から突き出ている輪郭線の異常値点、a1、a
2、a24、a29は、オリジナル画像のうち囲まれている点
（画素）を認識する場合に何も貢献していないことも明
らかである。これらの異常値点は、輪郭線に囲まれた一
連の組（ｂ1〜ｂ15）やオリジナル画像の画素に何ら影
響を与えず、除去することができる。

【０１１４】図１６に示されているような第１の輪郭
線、ないしは図３に示されているような第１の輪郭線の
組を形成した後、図３の輪郭線２００のような開いた輪
郭線すべてと、図３の輪郭線２２０の突出部２４０のよ
うな閉じた輪郭線のすべての突出とを除去する。その結
果、図４および図１７に示すようになる。

【０１１５】

【輪郭線のリスト登録】それぞれがオリジナル画像の一
連の囲まれた画素をはっきりと示すような、上述の閉じ
た輪郭線はその後すべて、図７のステップ４３５に示す
ように、第１異常候補リストに登録される。

【０１１６】それぞれがダスト粒子やキズの候補となる
第１異常候補リストのひとつひとつの異常は、必ずしも
重複することなく完全に登録されるように保証されてい
るわけではい。つまり、オリジナル画像の各異常画素が
第１異常候補リストの一つの輪郭線で囲まれているとは
限らない。

【０１１７】ここでの問題は、輪郭線は図１８に示すよ
うにお互いに囲まれている可能性がある、という点であ
る。図１８では、第１異常候補リストの４つの輪郭線７
００、７１０、７２０、７３０が示されている。輪郭線
は、×印で示される頂点中心グリッドの各点を結んでい
る。オリジナル画像の画素は正方形で示されている。オ
リジナル画像の画素７４０は２つ以上の輪郭によって囲
まれる画素の一例である。この画素は輪郭線７２０、７
１０、７００で囲まれている。

【０１１８】図７で示されるこの実施形態の次のステッ
プ４４０では、オリジナル画像の各画素が最高１つの輪
郭線で囲まれるように、十分な要素を第１異常候補リス
トから間引いている。このステップはまず第１異常候補
リストを一連の包含関係輪郭線（enclosure-related co
utours）に区分けすることから始まる。

【０１１９】一方が他方を囲んでいる場合、それら２つ
の輪郭線は「直接包含関係状態」（directly enclosure
-related）にある。

【０１２０】第１の輪郭線から複数の第三の輪郭線を介
して第２の輪郭線まで「直接包含関係性」（direct enc
losure relationship）が存在する場合、それら２つの
輪郭線は「間接包含関係状態」（indirect enclosure r
elationship）にある。

【０１２１】各ペアが間接包含関係態にある一連の輪郭
線を包含関係型セット（enclosure-related set）とい
う。第１異常候補リストが包含関係型セットに区分けさ
れた場合、そのようなセットの多くは単集合になる。つ
まり、第１異常候補リストのほとんどの輪郭線は別の輪
郭線を囲んでもいなければ囲まれてもおらず、単集合の
包含関係型セットとなる。しかし、図１８に示される４
要素セットのように、単集合でない包含関係輪郭線セッ
トもいくつか存在する。

【０１２２】この実施形態では、そのような多要素一組
の包含関係輪郭線はそれぞれ、１つの輪郭線または他の
輪郭線を囲まない複数の輪郭線だけ残るように十分な数
の輪郭線を除去することによって間引いている。この除
去工程については後述するが、その準備段階は、セット
の各輪郭線に異常得点（anomaly score）をつけること
によって行われる。この異常得点は、図７のステップ４
５０の最終検出的間引き処理に関して後で述べられるの
と同じ一連の検出テスト（形状テスト、サイズテスト、
可視性テストを含むことが好ましいが、必ずしもそれだ
けには限られていない）のうち１または複数を組み合わ
せたものに基づいている。輪郭線がダスト粒子やキズで
ある可能性が高いほど、異常得点は高くなる。

【０１２３】このようにして得られる第１異常候補リス
トは、補助２値画像の閉じた輪郭線すべてのリストとな
っており、閉じた輪郭線のそれぞれは、オリジナル画像
において輪郭線で囲まれた画素群を一義的に特定してい
る。そして、それぞれの輪作線（リストの各要素）に異
常得点が与えられている。

【０１２４】

【輪郭線リスト中の要素の間引きによる整理】包含関係
型セットの輪郭は、その後、図１９に示されるようにノ
ードの従属関係の系列をツリー表現してグループ分けさ
れる。図１９の矢印は包含関係を示し、丸印で囲まれた
ひとつひとつがノードである。

【０１２５】包含関係によって相互に関係付けられてい
るノード（輪郭線）のセットはひとつに限らず、複数存
在している場合も多い。図１９において参照番号が付さ
れていないノードのセットは、輪郭線７００から始まる
セットとは別のセットである。

【０１２６】このようなツリーにおいて各輪郭線はノー
ドとして表現され、輪郭線相互の幾何学的包含関係がノ
ード間の親子関係で示される。親子関係ないしは従属関
係において、従属ノードを「子ノード」と呼び、従属先
ノードを「親ノード」と呼ぶ。この系列図（ツリー）の
それぞれはルートノード（たとえばノード７００）から
始まる深さを指標とする方式で縦断的に評価される。そ
して、各輪郭線の異常得点が閾値と比較される。

【０１２７】異常得点が閾値より低い場合、その輪郭線
は異常候補リストから除外される。異常得点が閾値を越
える場合、その輪郭線は異常候補リストに保持され、そ
の子輪郭線（その輪郭線で囲まれているすべての輪郭
線）は全てリストから除外される。たとえば、図１９の
ルートノード７００の異常得点が閾値に及ばないとする
と、輪郭線７００は異常候補リストから除外される。次
に、輪郭線７１０の異常得点が閾値を越えたとする。そ
うすると、輪郭線７１０は異常候補リストに残され、そ
の子輪郭線７２０、７３０はリストから除外される。

【０１２８】縦断的評価中に子輪郭を持たない輪郭線に
出くわした場合、その輪郭線は異常候補リストに保持さ
れる。たとえば、図１９で、輪郭線７００が閾値テスト
に落ちた場合、縦断的評価処理は輪郭線７１０に移る。
そして輪郭線７１０が閾値テストに落ちた場合、縦断的
評価処理は輪郭線７２０に移る。輪郭線７２０は子輪郭
線を持っていないので、異常候補リストに保持される。
つぎに縦断的評価処理は輪郭線７３０に移り、子輪郭線
を持たないこの輪郭線も異常候補リストに保持される。

【０１２９】上述の間引き工程が第１異常候補リストの
すべての包含関係輪郭線セットに対して行われた場合、
十分な数の輪郭線がリストから除外され、互いに包含関
係を持つ輪郭線は残らない。これによって得られた輪郭
線リストが、図７のステップ４４５で示される第２異常
候補リストである。現時点でのオリジナル画像の各領域
はすべて、第２異常候補リストのうちの最大一つの輪郭
線で囲まれていることになる。

【０１３０】すなわち、第１異常候補リストは、相互に
空間的包含関係にある領域を含めてダスト／キズ候補領
域をリストアップしたものであり、その第１異常候補リ
ストにおけるダスト／キズ候補領域のうち相互に空間的
包含関係にあるものを除去することによって、第１異常
候補リストを第２異常候補リストに再編成するわけであ
る。

【０１３１】ここにおいては、唯一のノード（輪郭線）
を残すか、あるいは相互に空間的包含関係にない複数の
ノード（輪郭線）を残すような再編成がなされている。

【０１３２】上記の処理規則をまとめると、以下のよう
になる。

【０１３３】(a) 所定の付与基準によって各輪郭線に
付与された異常性指標（異常得点）の値が所定の閾値以
下のノードについては、そのノードを第２異常候補リス
トから除外する。

【０１３４】(b) 異常性指標の値が閾値以上のノード
については、そのノードを第２異常候補リストに残し、
その輪郭線を親ノードとする子ノードの輪郭線をすべて
第２異常候補リストから除外する。

【０１３５】(c) 子ノードの輪郭線を持たないノード
を第２異常候補リストに残す。

【０１３６】

【諸テストによるダスト／キズの抽出】ダスト／キズ検
出およびタグ付け工程の最後のステップ４５０では、一
連の検出テストを第２異常候補リストにあてはめて、お
そらくダストやキズではなく、真のデジタル画像の状況
を示していると思われる輪郭線をリストから除外する。
上記一連のテストは、以下で説明されるような一連の可
視性テスト、形状テスト、サイズテスト、カラーテスト
を含むが、これに限定されるものではない。各テストで
は得点がつけられ、高い点はダストやキズ、低い点は真
の画像の状況を示す。いくつかのテストを以下に説明す
る。

【０１３７】

【１．可視性テスト】上述したように、この発明は基本
的にオリジナル画像のグラディエントに基づいている。
ここで、高いグラディエント値をもつ可能性のあるオリ
ジナル画像のさまざまな特徴を考えてみよう。オリジナ
ル画像のうち、画素値が急速に変化するような領域はど
れも高いグラディエント値を持つ。図２０に示すよう
に、そのような領域は図２０(a)のような開いた「崖（c
liffs）」と図２０(ｂ)のような閉じた「島（island
s）」との両方を含んでいる。そのように基本的に異な
る二種類の状況が、第２異常候補リスト４４５の同一の
輪郭で囲まれる可能性がある。例えば、図２０(a)は、
オリジナル画像の砂丘状の状況８１０を示している。状
況８１０の右側では徐々に階調値が上昇しているが、左
側は険しい崖になっている。この崖によって画像領域は
高いグラディエント値を持つことになる。この高グラデ
ィエント画像部分は輪郭線８００で囲まれている。一
方、図２０(ｂ)では、全く同じ輪郭線８００は、オリジ
ナル画像において周囲とは異なる画素値を持つ完全な島
領域８２０を囲んでいる。

【０１３８】図２０(a)の輪郭線８００で囲まれる崖の
ような開いた状況は、画像のダストやキズの特徴ではな
い。それに対して、図２０(b)の輪郭線８００で囲まれ
る島７２０のような閉じた特徴はダストやキズの特徴で
ある。

【０１３９】この発明は、図２０(a)で示されたような
崖状態を第２異常候補リストから間引く方法を含んでい
る。この方法を図２１に示す。

【０１４０】図２１(a)および図２１(b)は、横座標軸ｘ
に画像中の位置を、Ｌ縦座標軸にそれらの位置に沿った
画素の輝度（濃度）を示している（輝度であるか濃度で
あるかは画像がネガであるかポジであるかなどの事情に
よって定まる）。図２１(ａ)からわかるように、崖領域
８００の状況においては、異常部分内の平均輝度ＭＡ１
が、異常部分の近傍にある外部画素の平均輝度ＭＮ１と
非常に類似している。それに対して、図２１(b)による
と、島構造の状況では、異常部分内の平均輝度ＭＡ２は
異常部分の近傍の平均輝度ＭＮ２とはかなり異なる。

【０１４１】崖領域とその周囲間とでは平均輝度差が小
さく、島領域とその周囲間とでは平均輝度差が大きい、
というこのような相異は、以下の意味では目に見える違
いとなる。図２１(ａ)および図２１(b)に示される二つ
の異常部分を、その画素値を周囲の平均画素値から計算
された新しい画素値で置換することによって修復したと
する。この場合、当初平均値ＭＡ１を持つ図２１(ａ)の
崖領域７００の画素は、そのオリジナル画像の値とほと
んど変らない平均値ＭＮ１を持つ新しい値に置き換えら
れる。したがって、修復は視覚的にはあまり目立たな
い。それに対し、当初平均画素値ＭＡ２を持つ図２１
(b)の島領域７００が、周囲から算出された平均値ＭＮ
２を持つ新しい画素値で置き換えられて修復された場
合、その修復は視覚的にかなり目立つものとなる。

【０１４２】従って、オリジナル画像の特徴が崖状かそ
うでないかは、領域の修復が視覚的にどれほど目立つか
どうかで判断できる。視覚的に目立つような修復は、そ
の候補領域がダスト粒子やキズである可能性が高く、崖
状でないということを意味する。ほとんど目立たない修
正はその逆を意味する。

【０１４３】したがって、着目領域内の平均輝度（濃
度）とその周囲の近傍領域の平均輝度（濃度）との差を
表現した可視性指標は、その特徴がどれくらいダスト状
またはキズ状であるかを計る指標となる。この実施形態
では、異常リストの各輪郭ごとに、得点としてそのよう
な可視性指標を生成して各異常候補に付与している。

【０１４４】

【２．サイズテスト】小さな候補領域は大きな領域より
もダスト粒子やキズである可能性が高い。この実施形態
では、各候補領域のサイズ（画素数）を算出し、そのサ
イズから、サイズの逆数のように、領域のサイズが小さ
くなるとともに増加する指標を作成している。そのよう
な指標はダストを示す指標となり、これも得点として異
常リストの各輪郭に与えられる。

【０１４５】

【３．形状テスト】ダスト粒子やキズは両方とも、その
厚さが薄い傾向にある。画素領域の厚みの定義づけは、
領域の画素の埋めこみ度（embeddedness）を指標として
行うことができる。ある画素の埋めこみ度を（画素を四
角と考えて）画素間の境界線の数と定義する。ここで画
素境界線とは画素の中心から領域外のある画素の中心へ
移動する場合に横断しなければならない線のことであ
る。したがって、例えば、領域の端部にある画素は埋め
こみ度「１」、境界内のさらに奥にある画素を埋めこみ
度「２」とする。したがって、着目領域の厚みは、領域
の一番奥まった位置にある画素の埋めこみ度と定義する
ことができる。厚み値が大きいということは、その領域
がダストでもキズでもないということを表している。逆
に言えば、厚みの逆数（つまり領域の薄さ）がダストの
指標となり、これも得点として異常リストの各輪郭に与
えられる。

【０１４６】

【４．カラーテスト】デジタル画像処理の分野におい
て、色を表す三要素（赤、緑、青）を新しい三要素（色
相、彩度、輝度）に変換することは周知である。この新
しい三要素の構成要素はそれぞれ、色の色相を０〜３６
０度の間の角度で、色の彩度を「０」と「１」の間の数
で、色の輝度を「０」と「１」の間の数で表す。そのよ
うな指標の詳細については、たとえばJames D. Foley e
t al.の”Computer Graphics Principles and Practic
e, Addison-Wesley Publishing Company, Second Editi
onin C, １９９５, Ch.１３, pp. ５６３-６０４”に開
示されている。既述したように、ダストらしいものを検
出する指標のひとつは、周囲画素の平均輝度に対する候
補画素群の平均輝度が大きいとダストである可能性が高
いことに基づいている。ダストらしいものを検出する指
標の他のものは、画素群の平均色相／彩度指標および周
囲画素の平均色相／彩度指標が大きいとダストではない
可能性が高いことに基づいている。

【０１４７】そのような指標は、候補領域の平均ペア
（色相、彩度）と周囲領域の平均ペア（色相、彩度）間
のユークリッド距離から構成できる。また、彩度を無視
して色相の角度差のみから構成された別の指標は、候補
領域の平均色相角と周囲領域の平均色相角との差であ
る。

【０１４８】たとえば、着目している領域におけるオリ
ジナル画像の平均色ベクトルをＣ0し、その周囲領域に
おける平均色ベクトルをＣ1としたとき、それらの色相
の角度差は、以下の式７で表現することができる。

【０１４９】

【数７】

【０１５０】ただし、記号 Abs(…) は、ベクトルの絶
対値を示す記号であり、「Ｃ0・Ｃ1」はベクトルＣ0と
Ｃ1との内積である。

【０１５１】これらの距離や差は、その逆数をとって近
接性指標(proximity measure)に変換される。ここで明
確になったことは、異常候補と周囲との色相や彩度の違
いが大きいほど、その候補はダストやキズというよりは
むしろ画像の本物の物体（たとえば花など）である可能
性が高い、ということである。したがって、色相や彩度
の近接性指標がダスト指標となり、これも得点として異
常リストの各輪郭に与えられる。

【０１５２】

【最終異常リストの生成と異常領域修復】一連の検出指
標を計算した結果は表形式で表現されるが、この表の行
には第２異常候補リスト４４５の輪郭線の認識番号が、
列にはそれら粒子がどれほどダスト状かキズ状かを表す
それぞれの検出指標（可視性、サイズ、形状、カラー指
標を含むがそれのみに限定されない）の値が示される。
そして、これらに基づく異常決定規則を公式化する。こ
の規則によって、いくつか（好ましくは２以上）のテス
トにおいてスコアの低い（すなわち所定の閾値以下のス
コアを持つ）ダスト／キズ候補領域が、異常リストから
除外される領域とみなされる。この決定規則がリストの
各輪郭ごとの一連の検出指標にあてはめられ、指標につ
いての条件を満たさない輪郭線がリストから除外（間引
き）される。

【０１５３】この輪郭線選別プロセスないしは検出／間
引きプロセスの結果、第２異常候補リスト４４５の要素
の部分集合を含む新しいリストができる。このリストが
図７の最終異常リスト４４５である。最終異常リスト４
４５の各要素は、頂点中心グリッドの閉じた輪郭線であ
る。このため、図１７に示すように、各輪郭線はそれぞ
れオリジナル画像のどの画素を囲むかを一意に決定す
る。従って、ステップ４４５の最終異常リストによっ
て、ステップ４４５でオリジナル画像の画素グリッド上
の最終２値画像が決定されることになる。この２値画像
では、ダストやキズ領域内のすべてのオリジナル画像画
素は「１」の値を持ち、それ以外の画素はすべて「０」
の値を持っている。

【０１５４】オリジナル画素のそれぞれは画面上での２
次元的位置がそれぞれ定義されており、それから導出さ
れたグラディエント画像その他の各画像の画素もまたそ
の座標値が付随している。したがって、最終異常リスト
に登録されている輪郭線もそれ自身の位置情報を有して
おり、それによって囲まれる領域の各画素の座標値も特
定することができる。このため、最終異常リストを参照
することによって、ダストやキズなどの異常部分の有無
と、（異常部分がある場合には）その位置とを特定する
ことができる。

【０１５５】本発明を実現する、ダストやキズを検出し
タグ付けするためのコンピュータソフトウエアを実際に
応用することによって実行される次のステップでは、オ
リジナル画像からダストやキズのサブ画像を除去する。
この異常を除去するステップは図７のステップ４６０に
相当し、さまざまな度合いのユーザ介入によって行うこ
とができる。最も非自動的な例としては、異常候補リス
トの一連の異常がコンピュータスクリーン上に強調表示
され、どの異常を除去するかをコンピュータユーザが選
ぶことができる。最も自動的な例としては、最終異常リ
ストのすべての異常を、１９９８年５月２９日に米国特
許庁に出願され、本願と同じ出願人に譲渡されたMinner
による米国特許出願第０９／０８７,２８４号“Image E
nhancingBrush using Minimum Curvature Solution”の
発明手法を用いて除去することができる。上記発明で
は、最終異常リストの全ての異常がまず、オリジナル画
像で空隙に変換される。つまり、すべての画素が「０」
にセットされる。そして空隙がそれらを取り囲む領域の
画素値を元に埋められる。

【０１５６】

【変形例】この発明の変形例として、先に引用された異
常除去技術を検出／間引きステップ４５０の手段として
用いることができる。この変形例では、図７のステップ
４５０〜４６０を図２２のステップ４６５〜４８０に置
き換える。

【０１５７】上述の検出／間引き工程（図７のステップ
４５０）では、異常候補の平均輝度を周囲画素の平均輝
度と比べる可視性テストを行っていた。また、異常候補
の平均色相／彩度と周囲画素の平均色相／彩度とを比べ
るカラーテストも行っていた。

【０１５８】このようにある領域とその近傍領域とを比
較する手法の一つとして、まずその領域の試行的修復を
行って、それからその領域の修復前後の画素の平均特徴
（輝度、色相、彩度など）を比べるというのがある。こ
の修復アルゴリズムは、周囲の画素領域の画素値を使用
して修復された異常候補領域の画素は、周囲の領域その
ものの画素に類似している、というものである。したが
って、修復前後の領域の画素を比べるということは、異
常候補領域の画素とその周囲の領域の画素とを比べると
いうこととほぼ同じである。

【０１５９】この変形例では、異常の除去を実行するス
テップ（図２２のステップ４６５）を、第２異常候補リ
ストの生成直後に行う。ステップ４６５では、すべての
異常が、図７の実施形態の最終ステップ４６０と同じ手
法を用いて除去される。しかし、異常除去ステップ４６
５は、最終ステップではなく試行ステップである。特
に、推定された異常候補が実際の異常でないとわかった
場合に第２異常候補リスト４４５の削除された異常をど
れでも元に戻せるように、オリジナル画像は修復された
異常画像と共にコンピュータメモリに保存されている。

【０１６０】図２２のステップ４７０においては、試行
的に異常部分を修復したものを対象として、検出／間引
き処理を行う。特に、異常得点を生成する工程では、修
復前と修復後の異常画素を比較することによって得られ
る統計を利用している。

【０１６１】図２２のステップ４７５では、検出／間引
き工程の結果として、図７のステップ４５５のような、
最終異常リストが得られる。

【０１６２】この図２２の変形例は、図７の実施形態よ
りも計算処理上かなり有利である。すなわち、すべての
異常候補の試行的修復を完了したものが、ステップ４６
５の結果としてコンピュータビットマップに保存されて
おり、オリジナル画像もまた保存されている。したがっ
て、オリジナル画像からすべての異常を除去するという
図２２のステップ４８０の工程は、単に第２異常候補リ
スト４４５について、(a) 異常が最終異常リストから
はねられている場合には、試行的修復を行った画像部分
にオリジナル画像の該当部分のビットマップ画像を与え
て復元し、(b) 異常が最終異常リストに保持されてい
る場合には、試行的修復を行った画像部分には何も行わ
ない（したがって、修復されたままの状態となる）、と
いう処理に相当している。そして、このようにして修正
された試行画像が最終修復画像となる。

【０１６３】このように、最終画像に必要な画像は全て
オリジナル画像かあるいはステップ４６５で生成された
試行画像に存在するために、図２２の最終ステップ４８
０は、修正画像を明確化する工程といえる。

【０１６４】すなわち、この変形例においては、ダスト
とキズとの候補としてダスト／キズ候補領域が含まれた
異常候補について、各ダスト／キズ候補領域の画素を、
当該ダスト／キズ候補領域の周囲領域の画素値に応じた
値に置換する。

【０１６５】そして、各ダスト／キズ候補領域およびそ
の周囲領域に、形状指標、サイズ指標、可視性指標およ
びカラー指標のうちの２以上の指標の値を与える。

【０１６６】そして、各ダスト／キズ候補領域およびそ
の周囲領域におけるそのような２以上の指標の差を所定
の閾値と比較し、閾値以下の指標差を持つダスト／キズ
候補領域（つまり修復前後のこれらの指標の差が小さい
ダスト／キズ候補領域）については、異常候補リストか
ら選択的に間引かれる。

【０１６７】そして、異常候補リストから選択的に間引
かれたダスト／キズ候補領域については、上記の試行修
復工程でいったん置換された画素値をオリジナル画像の
画素値に戻すのである。

【０１６８】結果として、この発明は、デジタル画像の
ダストやキズ部分を認識しタグ付けするという問題に対
して効果かつ効率的な解決法を提供している。以上がこ
の発明の実施形態に関する記述の全てだが、これ以外に
もさまざまな代替案や、変形例、また同等な方法を用い
ることが可能である。

【０１６９】たとえば、実施形態に含まれる多くの処理
ステップはそれぞれ、異常候補やその他の要素に順次に
適用されている。すなわち、処理ステップをＡ，Ｂ，Ｃ
としたとき、異常候補やその他の要素１、２、…ｎにこ
れらの処理ステップＡ，Ｂ，Ｃが順次適用されており、
ｎ＝２の場合には、動作順序は、Ａ１、Ａ２、Ｂ１、Ｂ
２、Ｃ１、Ｃ２となる。ただし、Ａ１はステップＡを要
素１に適用することを表しており、他も同様である。こ
のような場合の多くは、それぞれの処理を各要素に順次
適用することもできる。例えば上の例で言えば、処理順
序はＡ１、Ｂ１、Ｃ１、Ａ２、Ｂ２、Ｃ２とすることも
できる。

【０１７０】より具体的な例として、図２２の場合、ま
ずステップ４６５でｎ個の異常すべてに対して異常除去
実行工程（Ａ）が行われ、つぎにｎ個の異常すべてに対
して検出／間引き工程（Ｂ）を行うことができる。その
かわりに、異常１に対して工程（Ａ），（Ｂ）を行い、
その次に異常２に対して工程（Ａ），（Ｂ）を行う、と
いうやり方でもよい。

【０１７１】ダスト／キズ除去に関する発明は通常、ユ
ーザ操作によって行われる、より大規模なコンピュータ
アプリケーションの一部である。画像汚染がダストやキ
ズが原因で生じる可能性があるという印象をユーザが持
っている場合もある。この場合、ユーザは、ダストであ
る可能性を示す一方の極値からキズである可能性を示す
他方の極値へスケールを絶えず動かしながら調節する。
ここで中間の値はダストとキズ両方の可能性があること
を示す。そして、このような指針に基づいて、異常候補
のダストらしさの特性またはキズらしさの特性の指標
に、大きなまたは小さなウエイトを与えるように、図７
の検出／間引き処理４５０のために得られた検出指標の
重み付けが行われる。

【０１７２】これまでに説明されたものに加えて、ダス
トらしさの指標またはキズらしさの指標の他ものを、ダ
ストやキズの検出のために使うこともできる。たとえ
ば、図７のステップ４１０のオリジナル・グラディエン
ト画像の構造は、画像の各チャネルごとに別個のｘグラ
ディエント指標ｇ_xおよびｙグラディエント指標ｇ_yの構
造を含んでいた。これら別個のｘグラディエント及びｙ
グラディエントは、各チャネルごとに g ＝ sqrt（ｇ_x ²
＋ｇ_y ²）の式によって一つに合成され、その後、構成要
素ｇ_xとｇ_yは切り捨てられていた。ここでｘグラディエ
ントおよびｙグラディエント構成要素を保持し、頂点中
心・２チャネル２値グラディエントマップ（ｇ_x、ｇ_yが
二つのチャネルとなる）を生成することは、後の検出／
間引き工程で役立つ。後者のマップは各画素ごとのベク
トルグラディエント（ｇ_x，ｇ_y）を示している。後者の
ペアはその後、別の形式の可視性検出テストを発展させ
るのに利用できるかもしれない。このテストの目的は、
図２０および図２１で示したように、輪郭線で囲まれた
オリジナル画像の特徴が崖状か島状かを判断することで
ある。その領域のグラディエントベクトル（ｇ_x，ｇ_y）
に関する知識はそのような判断を行う際の助けとなる。

【０１７３】上記の実施形態ではＢＧＲの３原色カラー
チャネルを持つオリジナル画像を処理したが、ＹＭＣＫ
の４色カラーチャネルを持つオリジナル画像についての
処理などにも適用できる。モノクロ画像への適用も可能
である。

【０１７４】以上、この発明の実施形態について説明し
たが、これはこの発明の範囲を限定するものではなく、
特許請求の範囲に規定する範囲内においてさまざまな代
案、変更などが可能である。

【０１７５】

【発明の効果】以上説明したように、請求項１ないし請
求項２９の発明ではグラディエント画像の状況に応じて
異常検出を行っており、比較的変化が多い背景をバック
にした場合に画像欠陥の検出を効率よく行うことができ
る。

【０１７６】請求項２の発明では、グラディエント画像
のほかにボケ・グラディエント画像をも作成し、それら
を用いてオリジナル画像の異常を検出する。したがっ
て、背景部分の平均的レベルを考慮しつつ画像欠陥を特
定できる。

【０１７７】請求項３の発明では、グラディエント画像
とボケ・グラディエント画像とを利用して検出した異常
候補をすべて画像欠陥とするのではなく、それらから間
引きを行うことによって真の画像欠陥に対応した異常の
みを残すことができる。

【０１７８】請求項１２の発明では、カラー画像につい
ての異常検出を、単一チャネルの画像の異常検出で実行
可能となり、処理がさらに効率化する。

【０１７９】請求項１９の発明では、異常、疑似異常、
正常を区別する３種類の画素インデクス値のいずれかが
それぞれ与えられた各画素の相対的分布関係から画素イ
ンデクス値の再構成を行うため、疑似異常を異常または
正常の画素として扱うことが可能になり、異常検出の正
確性が向上する。

【０１８０】請求項２２の発明では、異常候補の輪郭線
を、それらの空間的関係からツリー構造に整理し、互い
に包含関係にある輪郭線についてはひとつのみを残すよ
うにしているため、実質的に同じ異常領域が複数の輪郭
線によって重複して表現されてしまうことがない。

【０１８１】請求項２４の発明では、異常候補について
複数のテストを行って真の異常部分を特定するため、擬
似的な異常部分が排除される。

【０１８２】請求項２６〜請求項２９のシステムでは、
グラディエント画像の画素値に応じて異常画素、疑似異
常画素、正常画素に分類し、これらの画素の空間的な相
互分布関係に基づいて疑似異常画素を異常画素と正常画
素とに再構成するために、正常と異常との境界にある画
素を正常とするか異常とするかを系統的に決定できる。

【０１８３】請求項３０および請求項３１の記憶媒体を
利用することによって、上記の利点を有する方法ないし
はシステムを、コンピュータを用いて実現可能である。

【図面の簡単な説明】

【図１】 デジタル画像のダストおよびキズを検出しタ
グ付けする画像処理システムの実施形態を示す図であ
る。

【図２】 オリジナル画素グリッドと頂点中心画素グリ
ッドの相対位置を示す図である。

【図３】 頂点中心グリッド上の開いた輪郭線、閉じた
輪郭線、複合輪郭線を示す図である。

【図４】 簡略化後の図３の輪郭線を示す図である。

【図５】 デジタル化されたダストの一部を示す図であ
る。

【図６】 図５の拡大図であり、個々の画素を示す図で
ある。

【図７】 実施形態の動作を示すフローチャートであ
る。

【図８】 オリジナル画像からのグラディエント画像生
成を示す図である。

【図９】 ボケ・グラディエント画像値からの上側閾値
および下側閾値算出を示す図である。

【図１０】 頂点中心３値画像からの頂点中心２値画像
生成を示す図である。

【図１１】 頂点中心３値画像からの頂点中心２値画像
生成を示す図である。

【図１２】 頂点中心３値画像からの頂点中心２値画像
生成を示す図である。

【図１３】 輪郭線抽出工程を示す図である。

【図１４】 輪郭線抽出工程を示す図である。

【図１５】 輪郭線抽出工程を示す図である。

【図１６】 輪郭線抽出工程を示す図である。

【図１７】 輪郭線抽出工程を示す図である。

【図１８】 包含関係による輪郭線クラスを示す図であ
る。

【図１９】 それ以上包含関係が存在しなくなるまで包
含クラスからセットを取り除くのに用いられる包含ツリ
ー系列図である。

【図２０】 同じ輪郭線を持つオリジナル画素領域にお
ける二つの異なる特徴を示す図である。

【図２１】 間引き工程で用いられる画素領域の性質を
示す図である。

【図２２】 変形例の最後の５処理を示す図である。

【符号の説明】

１００ オリジナル画像の画素 １０１〜１０４ 頂点グリッド上の画素 ２００〜２４０，８００〜８２０ 輪郭線 ３００，３０１ ダスト Ｍ オリジナル画像 ｋ_x ｘ−カーネル ｋ_y ｙ−カーネル ｇ_x ｘ方向のグラディエント画像 ｇ_y ｙ方向のグラディエント画像 ｇ_s グラディエント画像ベクトルの絶対値 ｇ_r，ｇ_g，ｇ_b エッジ強調画像のカラーチャネル ｇ （ｇ_r，ｇ_g，ｇ_b）の最大値

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） (71)出願人 599132649 Ｗｏｏｄ Ｉｓｌａｎｄ，80 Ｓｉｒ Ｆ ｒａｎｃｉｓ Ｄｒａｋｅ Ｂｏｕｌｅｖ ａｒｄ，Ｌａｒｋｓｐｕｒ， ＣＡ 94939 (72)発明者 アレクセイ カライニュク アメリカ合衆国 94904 カリフォルニア, グリーンバラエ アパートメント307，210 ローワー ヴィア カシタス (72)発明者 リチャード ミナー アメリカ合衆国 95608 カリフォルニア, カーマイカル 2635ナポリコート

Claims (31)

【特許請求の範囲】
1. 【請求項１】 オリジナルデジタル画像中の異常の有無
   および位置を決定する方法であって、 画素の値がオリジナル画像上の対応する位置でのグラデ
   ィエントの大きさの判断指標となっているグラディエン
   ト画像を形成するグラディエント画像形成工程と、 前記グラディエント画像を用いて、前記オリジナル画像
   の異常を決定する異常決定工程と、を備えることを特徴
   とするデジタル画像の異常検出方法。
2. 【請求項２】 請求項１に記載の方法であって、さら
   に、 前記グラディエント画像の画素の値を、その近傍の複数
   の画素値を組み合わせて得た値で置き換えることによっ
   て、前記グラディエント画像からボケ・グラディエント
   画像を形成するボケ・グラディエント画像形成工程、を
   備え、 前記異常決定工程が、 前記グラディエント画像と前記ボケ・グラディエント画
   像とを用いて、前記オリジナル画像の異常を決定する工
   程、を備えることを特徴とするデジタル画像の異常検出
   方法。
3. 【請求項３】 請求項２に記載の方法であって、 前記異常決定工程がさらに、 前記グラディエント画像と前記ボケ・グラディエント画
   像とを用いて、前記オリジナル画像における各異常候補
   が重複することなく登録された異常候補リストを作成す
   る異常候補リスト作成工程と、 前記異常候補リストを間引く間引き工程と、を備えるこ
   とを特徴とするデジタル画像の異常検出方法。
4. 【請求項４】 請求項２に記載の方法であって、 前記オリジナル画像について検出される前記異常とし
   て、ダスト像が含まれることを特徴とするデジタル画像
   の異常検出方法。
5. 【請求項５】 請求項３に記載の方法であって、 前記オリジナル画像について検出される前記異常とし
   て、キズ像が含まれることを特徴とするデジタル画像の
   異常検出方法。
6. 【請求項６】 請求項３に記載の方法であって、 前記グラディエント画像として単チャネル多値画像を生
   成することを特徴とするデジタル画像の異常検出方法。
7. 【請求項７】 請求項３に記載の方法であって、 前記ボケ・グラディエント画像として多値画像を生成す
   ることを特徴とするデジタル画像の異常検出方法。
8. 【請求項８】 請求項３に記載の方法であって、 前記ボケ・グラディエント画像形成工程は、 前記ボケ・グラディエント画像のそれぞれの画素につ
   き、当該画素の近傍にある各近傍画素のグラディエント
   値を前記グラディエント画像から求め、前記各画素のグ
   ラディエント値の加重和を用いて、前記ボケ・グラディ
   エント画像の画素値を算出する平均化工程、を備えるこ
   とを特徴とするデジタル画像の異常検出方法。
9. 【請求項９】 請求項８に記載の方法であって、 前記平均化工程においては、前記加重和は、前記各近傍
   画素の平均値の指標として、前記各近傍画素の最大値と
   最小値と間の中間値をとるように決定されることを特徴
   とするデジタル画像の異常検出方法。
10. 【請求項１０】 請求項３に記載の方法であって、 前記間引き工程が、 前記異常候補リストから間引くべき要素を所定のテスト
    を用いて検出する工程、を備えることを特徴とするデジ
    タル画像の異常検出方法。
11. 【請求項１１】 請求項３に記載の方法であって、 各画像は画素グリッド上で定義されており、 前記グラディエント画像の画素グリッドと、前記ボケ・
    グラディエント画像の画素グリッドとは、前記オリジナ
    ル画像の画素グリッドに対して、それらの画像のある画
    素の中心位置が前記オリジナル画像の４つの画素の角境
    界に形成された頂点に対応していることを特徴とするデ
    ジタル画像の異常検出方法。
12. 【請求項１２】 請求項３に記載の方法であって、 前記オリジナル画像は複数のカラーチャネルを有し；前
    記グラディエント画像を形成する工程は、 前記オリジナル画像の各カラーチャネルを、カーネルで
    たたみ込み処理する工程と、 得られたたたみ込み画像を一つの単チャネル多値画像に
    合成して合成画像を得る合成工程と、を備え、 チャネルの値が局所的に最も急激に変化するオリジナル
    画像領域の中心画素が前記合成画像の極値によって指示
    されるように、前記カーネルの構造と前記合成工程の合
    成態様とが決定されることを特徴とするデジタル画像の
    異常検出方法。
13. 【請求項１３】 請求項１２に記載の方法において、 前記合成工程においては、 (a) 前記たたみ込みにおいては偶数行列のカーネルが
    用いられることによって、各たたみ込み画像の画素グリ
    ッドすなわち頂点グリッドにおいて各画素の中心が前記
    オリジナル画像の４つの画素の交点の頂点に揃ってお
    り、 (b) 前記オリジナル画像の各カラーチャネルが、行数
    および列数が偶数であるような偶数行列の正方カーネル
    となっているｘカーネルを用いてたたみ込みされてｘ−
    たたみ込み値が得られ、かつ前記ｘ−たたみ込み値の極
    値が、たたみ込み対象となる画像の値がｘ方向に急激に
    変化している場所を示すように前記ｘカーネルの値が設
    定され、 (c) 前記オリジナル画像の各カラーチャネルが、前記
    ｘカーネルで使われたのと同じ偶数ｎの行数および列数
    を持つ正方カーネルのｙカーネルを用いてたたみ込みさ
    れてｙ−たたみ込み値が得られ、かつ前記ｙ−たたみ込
    みの極値が、たたみ込み対象となる画像の値がｙ方向に
    急激に変化している場所を示すように前記ｙカーネルの
    値が設定され、 (d) 前記頂点グリッド上の各カラーチャネルの各画素
    ごとに、前記ｘ−たたみ込み値の二乗と前記ｙ−たたみ
    込み値の二乗との和の平方根をとって、前記頂点グリッ
    ド上の各カラーチャネルの各画素ごとに固有のグラディ
    エント指標が作成され、 (e) 前記頂点グリッドの各画素ごとに、前記頂点グリ
    ッドの各チャネルにおける対応画素の前記グラディエン
    ト指標の最大値を、当該画素のグラディエント指標とす
    ることを特徴とするデジタル画像の異常検出方法。
14. 【請求項１４】 請求項３に記載の方法であって、 前記グラディエント画像は第１補助多値画像として形成
    されるものであり、 前記ボケ・グラディエント画像形成工程は、 前記グラディエント画像の各画素の値をその近傍にある
    画素のグラディエント値の加重和で置き換えて前記ボケ
    ・グラディエント画像を第２補助多値画像として形成す
    る第２補助多値画像形成工程、を備え、 前記第２補助多値画像形成工程が、 前記グラディエント画像を、前記グラディエント画像そ
    のものを生成するために使われたカーネルよりも実質的
    に大きい平均カーネルでたたみ込む工程、を備えること
    を特徴とするデジタル画像の異常検出方法。
15. 【請求項１５】 請求項３に記載の方法であって、 前記異常候補リスト作成工程が、 (a) 前記グラディエント画像および前記ボケ・グラデ
    ィエント画像から、それらの画像と同じ画素グリッド上
    に、単チャネルの補助２値画像を生成する工程と、 (b) 前記補助２値画像から、前記異常候補リストを生
    成する工程と、を備えることを特徴とするデジタル画像
    の異常検出方法。
16. 【請求項１６】 請求項１５に記載の方法であって、 前記補助２値画像を生成する工程が、 (a) 前記グラディエント画像と前記ボケ・グラディエ
    ント画像から、それら画像と同じ画素グリッド上に、単
    チャネルの補助３値画像を生成する工程と、 (b) 前記補助３値画像を前記補助２値画像に変換する
    工程と、を備えることを特徴とするデジタル画像の異常
    検出方法。
17. 【請求項１７】 請求項１６に記載の方法であって、 前記補助３値画像を形成する工程が、 前記グラディエント画像の画素値（第１値）と前記ボケ
    ・グラディエント画像の対応する画素値（第２値）とを
    比較し、前記第１値と前記第２値との大小関係に応じ
    て、前記補助３値画像の対応する画素に所定の３つの画
    素インデクス値のいずれかを割り当てる画素インデクス
    値割当て工程、を備えることを特徴とするデジタル画像
    の異常検出方法。
18. 【請求項１８】 請求項１７に記載の方法であって、 前記３つの画素インデクス値が第１、第２および第３の
    画素インデクス値からなっており、 前記画素インデクス値割当て工程が、 (a) 前記ボケ・グラディエント画像の一連の値に対し
    て定義され、かつ前記ボケ・グラディエント画像のどの
    値ｖに対してもｈ₁（ｖ）＞ｈ₂（ｖ）となる二つの非減
    少関数 ｈ₁ および ｈ₂ を定義する工程と、 (b) 前記非減少関数ｈ₁およびｈ₂を使用して、前記ボ
    ケ・グラディエント画像のそれぞれの値ａを、 第１の閾値 ｈ₁ （ａ）、および第２の閾値 ｈ₂ （ａ）
    に変換する工程と、 前記グラディエント画像の画素ごとの値をｇとして、 (c) ｇ ＜ ｈ₂（ａ） のとき、 当該画素に前記第１の画素インデクス値を与える工程
    と、 (d) ｈ₂（ａ） ≦ ｇ ＜ ｈ₁（ａ） のとき、 当該画素に前記第２の画素インデクス値を与える工程
    と、 (e) ｈ₁（ａ） ≦ ｇ のとき、 当該画素に前記第３の画素インデクス値を与える工程
    と、を備えることを特徴とするデジタル画像の異常検出
    方法。
19. 【請求項１９】 請求項１６に記載の方法において、 前記補助２値画像を生成する工程が、 (a) 前記第２または第３の画素インデクス値を持つ画
    素が連続した領域を含み、かつ、前記第３の画素インデ
    クス値を持つ画素を少なくとも１つ含む３値画像部分に
    おいて、前記第２の画素インデクス値を持つ画素を全て
    前記第３の画素インデクス値に置き換える工程と、 (b) 次に、画像全体において、前記第２の画素インデ
    クス値を持つ画素を全て前記第１の画素インデクス値に
    置き換える工程と、 (c) その後、画像全体において、前記第３の画素イン
    デクス値を持つ画素を全て前記第２の画素インデクス値
    に置き換える工程と、を備え、 前記補助２値画像が、前記第１と第２の画素インデクス
    値によって表現された２値画像によって得られることを
    特徴とするデジタル画像の異常検出方法。
20. 【請求項２０】 請求項１５に記載の方法であって、 前記異常候補リスト作成工程が、 (a) 前記補助２値画像から、相互に空間的包含関係に
    ある領域を含めてダスト／キズ候補領域をリストアップ
    した第１異常候補リストを作成する工程と、 (b) 前記第１異常候補リストにおける前記ダスト／キ
    ズ候補領域のうち相互に空間的包含関係にあるものを除
    去することによって、前記第１異常候補リストを第２異
    常候補リストに再編成する工程と、を備えることを特徴
    とするデジタル画像の異常検出方法。
21. 【請求項２１】 請求項２０に記載の方法において、 前記第１異常候補リストを形成する工程が、 前記補助２値画像の閉じた輪郭線すべてのリストを作成
    する工程、を備え、 前記閉じた輪郭線のそれぞれは、前記オリジナル画像に
    おいて輪郭線で囲まれた画素群を一義的に特定している
    ことを特徴とするデジタル画像の異常検出方法。
22. 【請求項２２】 請求項２０に記載の方法において、 前記第１異常候補リストを前記第２異常候補リストに再
    編成する工程が、 (a) 互いに包含関係にある輪郭線同士は同一のセット
    に含ませるようにしつつ、前記第１異常候補リストを複
    数のセットへと分割する工程と、 (b) 前記複数のセットのうち単集合でないセットにつ
    いて、輪郭線同士の包含関係を系列表現することによっ
    て、各輪郭線がノードとして定義されたツリーを作成す
    る工程と、 (c) 前記ツリーを順次に検査し、下記の第１規則また
    は第２の規則によって前記ツリーの各ノードを保持また
    は除外するノード検査処理工程と、を備え、 ここにおいて、前記第１および第２規則は、 (c-１) 第１規則：前記ツリーに１つのノードだけを残
    す規則、 (c-２) 第２規則：相互に包含関係にない複数のノード
    を前記ツリーに残す規則、であることを特徴とするデジ
    タル画像の異常検出方法。
23. 【請求項２３】 請求項２２に記載の方法において、 前記ツリーにおける従属ノードを「子ノード」と呼び、
    従属先ノードを「親ノード」と呼んだとき、 前記ノード検査処理工程が、 (a) 所定の付与基準によって各輪郭線に付与された異
    常性指標の値が閾値以下のノードについては、そのノー
    ドを前記第２異常候補リストから除外する工程と、 (b) 前記異常性指標の値が前記閾値以上のノードにつ
    いては、そのノードを前記第２異常候補リストに残し、
    その輪郭線を親ノードとする子ノードの輪郭線をすべて
    前記第２異常候補リストから除外する工程と、 (c) 子ノードの輪郭線を持たないノードを前記第２異
    常候補リストに残す工程と、を備えることを特徴とする
    デジタル画像の異常検出方法。
24. 【請求項２４】 請求項３に記載の方法であって、 前記異常候補には、ダストとキズとの候補としてダスト
    ／キズ候補領域が含まれており、 前記間引き工程が、 (a) 各ダスト／キズ候補領域およびその周囲領域に、
    形状指標、サイズ指標、可視性指標およびカラー指標の
    うちの２以上の指標の値を与える工程と、 (b) 前記２以上の指標の値に基づいて、前記異常候補
    リストから前記ダスト／キズ候補領域を選択的に間引く
    工程と、を備えることを特徴とするデジタル画像の異常
    検出方法。
25. 【請求項２５】 請求項３に記載の方法において、 前記異常候補には、ダストとキズとの候補としてダスト
    ／キズ候補領域が含まれており、 前記間引き工程が、 (a) 各ダスト／キズ候補領域の画素を、当該ダスト／
    キズ候補領域の周囲領域の画素値に応じた値に置換する
    試行修復工程と、 (b) 各ダスト／キズ候補領域およびその周囲領域に、
    形状指標、サイズ指標、可視性指標およびカラー指標の
    うちの２以上の指標の値を与える工程と、 (c) 前記２以上の指標の値に基づいて、前記異常候補
    リストから前記ダスト／キズ候補領域を選択的に間引く
    工程と、 (d) 前記異常候補リストから選択的に間引かれたダス
    ト／キズ候補領域については、前記試行修復工程でいっ
    たん置換された画素値を前記オリジナル画像の画素値に
    戻す工程と、を備えることを特徴とするデジタル画像の
    異常検出方法。
26. 【請求項２６】 デジタルのオリジナル画像の欠陥に相
    当する異常部分を検出するシステムであって、 (a) 前記オリジナル画像の各部のグラディエントを表
    現したグラディエント画像を生成するグラディエント画
    像生成手段と、 (b) 前記グラディエント画像の各画素値の大きさに応
    じて、前記グラディエント画像の各画素を、 1) 比較的大きなグラディエントを有する異常画素と、 2) 中間的なグラディエントを有する疑似異常画素と、 3) 比較的小さなグラディエントを有する正常画素と、
    に分類した第１中間画像を得る第１中間画像生成手段
    と、 (c) 分類された各画素の空間的な相互分布関係に応じ
    て前記第１中間画像中の疑似異常画素の分類を画素ごと
    に変更することによって、各画素が正常画素と異常画素
    との２種に区別された第２中間画像を生成する第２中間
    画像生成手段と、 (d) 前記２中間画像において異常画素の連鎖からなる
    輪郭線を特定する輪郭線特定手段と、を備え、 前記輪郭線の情報に基づいて前記オリジナル画像の異常
    部分を特定することを特徴とするデジタル画像の異常検
    出システム。
27. 【請求項２７】 請求項２６に記載のシステムであっ
    て、 前記第１中間画像生成手段が、 (b-1) 前記グラディエント画像のそれぞれの画素値を
    複数の閾値と比較して前記分類を行う比較手段、を備
    え、 前記複数の閾値は、前記グラディエント画像の各部を平
    均化したボケ・グラディエント画像の画素値に応じて定
    められることを特徴とするデジタル画像の異常検出シス
    テム。
28. 【請求項２８】 請求項２７に記載のシステムであっ
    て、 前記複数の閾値は、前記ボケ・グラディエント画像の画
    素値に対して、単調変化区間と飽和区間とを有する特性
    線に従って定められることを特徴とするデジタル画像の
    異常検出システム。
29. 【請求項２９】 請求項２６ないし請求項２８のいずれ
    かに記載のシステムであって、 (e) 前記輪郭線のそれぞれについて、検出すべき異常
    部分の特性をあらかじめ規定した所定のテストを行い、
    それによって前記輪郭線から選別を行う輪郭線選別手
    段、をさらに備えることを特徴とするデジタル画像の異
    常検出システム。
30. 【請求項３０】 コンピュータにインストールされるこ
    とによって、当該コンピュータを請求項１ないし請求項
    ２５のいずれかに記載の方法を実行する装置として機能
    させるためのプログラムを記憶してあることを特徴とす
    る、コンピュータ読取り可能な記憶媒体。
31. 【請求項３１】 コンピュータにインストールされるこ
    とによって、当該コンピュータを請求項２６ないし請求
    項２９のいずれかに記載のシステムとして機能させるた
    めのプログラムを記憶してあることを特徴とする、コン
    ピュータ読取り可能な記憶媒体。