JP3442466B2

JP3442466B2 - 画像処理装置および画像処理方法

Info

Publication number: JP3442466B2
Application number: JP09064594A
Authority: JP
Inventors: ビラワーラナツニーン; ハートピーター; ピアースマーク
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-04-12
Filing date: 1994-04-04
Publication date: 2003-09-02
Anticipated expiration: 2018-09-02
Also published as: US5623558A; JPH06318251A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像中の欠陥や損傷の
修復などに用いられる画像処理方法および画像処理装置
に関し、特に、文書画像，写真画像，絵図画像中の欠陥
や損傷の修復などに用いられる画像処理技術に関する。

【０００２】

【従来の技術】現実のシステムによって得られる画像
は、しばしば欠陥や損傷を含んでおり、このような欠陥
や損傷を含んだ画像が種々の用途に用いられるときに
は、様々な不具合が予想される。画像中のこのような欠
陥や損傷は、色々な原因で発生する。例えば、画像を得
るのに用いられる光学系の不完全さや、大気の影響，電
気的センサによって生ずるノイズ、あるいは、画像入力
系の他の不完全さによって、発生する。これらの不完全
さを補うために、多くの研究者により種々の画像の復元
手段が提案されている。

【０００３】しかしながら、ある特定の用途において画
像復元にどの手法を選択して用いるかは、画像を劣化さ
せた原因に強く依存している。例えば、あるタイプの画
像の欠陥は、航空カメラから得られる画像に共通してお
り、この種の画像には、カメラの動きや大気の影響によ
って、「ぼけ」や「ぶれ」が生じ易い。これらの用途で
は、撮像デバイスは、撮影されるべき対象物から相当離
れたところに存在する。

【０００４】他のタイプの画像欠陥は、文書画像の読み
取りにおいて生ずる。文書画像読み取りにおいては、ス
キャナ，複写機等のコンタクトガラスが文書(対象物)に
近接して配置される。この結果、コンタクトガラス上に
傷などがあると、これらが、文書とほぼ同じ焦点面に位
置することになり、コンタクトガラス上の傷などに対応
した欠陥が文書画像に生じる。

【０００５】また、画像読み取り系における他の不完全
さは、電気的な画像データを得る際に発生する。例え
ば、電気素子に故障があると、これによって個々の画素
の情報内容が破壊され、その結果、最終的な画像に欠陥
が生ずる。

【０００６】

【発明が解決しようとする課題】画像情報を復元するの
に、線形ローパスフィルタを用いることが良く知られて
る。しかしながら、線形フィルタリングでは、フィルタ
に用いられる核の大きさを、必要な演算がなされるべき
未知の画像領域の大きさと少なくとも同じ大きさのもの
にしなければならず、これによって、ぼけが生じてしま
う。従って、ローパスフィルタ技術は、文書画像を復元
するのには広く用いられていない。

【０００７】ローパスフィルタ(あるいはハイパスフィ
ルタ)の欠点は、さらに、画像中の有用な情報を変化さ
せてしまうことである。

【０００８】従来の各種画像復元方法については、例え
ば、著書 M.I.Sezan and A.M.Teklap,による文献 "Surv
ey of Recent Developments in Digital Image Restora
tion"Optifal Engineering(May,1990),vol.29(5);393-4
04に示されている。

【０００９】また、例えば、著書 E.Dohertyによる文献
"An Introduction to Morphological Image Processin
g," SPIE Optical Engineering Press,Bellingham,Wash
ington,1992.には、数学的な形態方法(morphology meth
ods)を利用し、ノイズ画像から１つの局所画素情報を用
いて情報を復元する方法が示されている。しかしなが
ら、これらの方法は、画像がどのようなものであるかの
先見的な知識を必要とし、従って、一般に用いることは
できない。すなわち、従来では、画像の種類が特定され
ている場合について、その画像中の予め予想される欠陥
や損傷を修復する画像処理技術は知られているが、画像
の種類が特定されない場合についての汎用的な画像処理
技術は確立されておらず、特に、画像中に生じた任意の
形状，大きさの欠陥や損傷について、これらを良好に修
復，推定等することができないという欠点があった。

【００１０】本発明は、画像中の所定領域内の画素につ
いてのみ修復や推定などの処理を行なうことができ、画
像を高速にかつ高品質に修復，推定等することの可能な
画像処理装置および画像処理方法を提供することを目的
としている。

【００１１】また、本発明は、不特定の画像に適用で
き、特に、画像中に生じた任意の形状，大きさの欠陥に
ついても、これらを良好にかつ高速に修復，推定等する
ことの可能な画像処理装置および画像処理方法を提供す
ることを目的としている。

【００１２】

【課題を解決するための手段および作用】上記目的を達
成するために、本発明は、既知の画素値をもつある定ま
った画像領域と未知の画素値をもつある定まった画像領
域とを有する画像を処理する画像処理装置および画像処
理方法であって、未知画素領域(ドロップアウト領域)に
含まれる画素に対してのみに画像処理を施すことを特徴
としている。

【００１３】また、本発明は、所定対象領域内の各画素
に対して所定の画像処理を施す画像処理手段を備えた画
像処理装置において、画像処理手段は、処理対象領域内
の各画素が当初、完全に未知の値あるいは不確かな値を
もつ未知画素であるとし、処理対象領域内の特定の未知
画素に着目するとき、該未知画素の近傍画素のうちで既
知の値をもつ既知画素の個数が所定の閾値よりも大きい
場合に限り、近傍画素のうちの既知画素の値を用いて未
知画素の値を決定する一方、既知画素の個数が所定の閾
値よりも小さいときには、未知画素の値を決定せず未知
画素のまま残すようになっており、処理対象領域内の各
画素について所定の閾値での前記処理がなされた後、値
の決定された未知画素を既知画素とし、また、閾値を変
更し、残されている未知画素に対して前記処理を繰り返
し行なうようになっていることを特徴としている。

【００１４】ここで、閾値および近傍については、初期
条件として設定される。“近傍”は、修復されるべきタ
ーゲート画素(ある1つの未知画素)を取り囲む例えば所
定数の画素からなる幾何学的領域のことである。また、
閾値は、近傍画素のうちの既知画素の個数に対して設定
される。

【００１５】本発明では、１つの未知画素領域(ドロッ
プアウト領域)内の各画素について、その近傍領域に関
して解析を行なう。この近傍領域内において、未知画素
ではない画素(すなわち既知画素)の個数を計数する。こ
の結果、計数値が閾値よりも大きい場合には、未知画素
の値を計算する。この計算は、例えば、近傍領域の各画
素の値の単純平均をとることによってなされる。各未知
画素を解析してその値を計算する処理は、閾値よりも大
きな個数の近傍画素をもつ未知画素が残らなくなるまで
続けられる。

【００１６】次いで、計算された画素値を未知画素領域
に戻す(設定する)。これにより、未知画素領域の大きさ
(サイズ)，すなわち未知画素を減らし、既知画素領域，
すなわち既知画素を増加させる。しかる後、閾値を減少
させて、同様の処理を繰り返し行なう。すなわち、未知
画素を解析してその結果を閾値と比較する処理を、値を
計算できる未知画素が十分小さくなるまで(例えば
“０”になるまで)、繰り返し行なう。このようにし
て、全ての未知画素は、最終的に既知画素となり、これ
により、画像が復元される。

【００１７】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る画像処理装置の構成例を示す
図である。図１を参照すると、この画像処理装置は、図
２に示すように、画像ＰＣ中において処理対象(例えば
修復対象)となる領域ＰＣＵを特定する領域特定部１
と、領域特定部１によって特定された処理対象領域ＰＣ
Ｕに含まれる画素に対して所定の画像処理を施す画像処
理部２とを備えている。

【００１８】ここで、画像処理部２は、領域特定部１に
よって特定された処理対象領域ＰＣＵに含まれる各画素
が当初、完全に未知の値あるいは完全には未知でないが
不確かな値をもつ画素(以後、これを未知画素と称す)で
あり、この処理対象領域ＰＣＵ外の画像ＰＣの領域ＰＣ
Ｋの各画素が全て既知の値をもつ既知画素であるとし、
処理対象領域ＰＣＵ内の未知画素の値を、既知領域ＰＣ
Ｋの既知画素の値を用いて既知の(確かな)ものに定める
ようになっている。すなわち、画像処理部２は、画像Ｐ
Ｃ中の全ての画素に対して処理を行なうのではなく、画
像ＰＣ中の処理対象領域ＰＣＵ内の画素のみに着目し、
処理対象領域ＰＣＵ内の画素のみに対して処理を行なう
ようになっている。

【００１９】また、画像処理部２は、処理対象領域ＰＣ
Ｕ内の特定の未知画素に対する処理を行なうのに、該特
定の未知画素の近傍の画素に着目し、近傍画素のうちで
既知の値をもつ既知画素を用いて、該特定の未知画素の
値を定める(既知のものとする)ようになっている。この
際、画像処理部２は、処理対象領域ＰＣＵ内の特定の未
知画素の近傍画素のうちで既知の値をもつ画素の個数を
計数し、既知の値をもつ画素の個数が所定の閾値よりも
大きい場合に限り、近傍画素のうちの既知の値をもつ既
知画素の値を用いて未知画素の値を決定する一方、既知
の値をもつ画素の個数が所定の閾値よりも小さいときに
は、未知画素の値を決定せずに未知画素のまま残すよう
にしている。そして、処理対象領域ＰＣＵ内の各画素に
ついて所定の閾値で上記処理がなされた後、値の決定さ
れた未知画素を既知画素とし、また、閾値を大きい値か
ら小さい値に段階的に変更し、まだ値の定まっていない
残されている未知画素の個数が所定数("０"あるいは
“０”に近い数)になるまで、まだ値の定まっていない
未知画素に対して同様の処理を繰り返し行なうようにな
っている。なお、このような処理は、未知画素の値が順
次に伝播継続して求まるので、画像継なぎ技術 "image
continuation"と呼ぶことができ、画像の修復等を行な
うのに特に適している。

【００２０】このような処理機能を実現するため、図１
の構成例では、画像処理部２には、処理全体の制御を行
なう制御部３と、近傍画素を定義するための近傍画素定
義部４と、閾値の初期値を設定するための閾値初期設定
部５と、演算の種類を設定するための演算種類設定部６
と、演算種類設定部６に設定された種類の演算を行なう
演算部７とが備わっている。

【００２１】図３は本発明を実現するためのシステムの
一例を示す図である。図３のシステムは、コンピュータ
システム２００を有している。このコンピュータシステ
ム２００には、例えば、ワークステーションやパーソナ
ルコンピュータを備えた良く知られたコンピュータシス
テムを用いることができる。コンピュータシステム２０
０には、画像情報を少なくとも一時的に蓄積するための
画像蓄積装置２０３が接続されている。画像蓄積装置２
０３としては、半導体メモリ，ハードディスクメモリ，
テープ装置などの良く知られた記憶装置を用いることが
できる。

【００２２】また、コンピュータシステム２００には、
画像取得システム(画像入力システム)２０５が接続され
ている。この画像取得システム２０５には、画像を読取
って、画像をデジタル画素値に変換する機能を有するス
キャナ，ファクシミリ，複写機等の良く知られた画像入
力システムを用いることができ、画像取得システム２０
５としては処理されるべき画像をデジタル情報に変換し
うるものであれば良く、画像取得システム２０５の特徴
等については本発明にとって重要ではない。さらに、あ
る用途では、コンピュータシステム２００には、表示／
制御装置２０８が接続される。表示／制御装置２０８と
しては、キーボード，モニタ，あるいはコンピュータシ
ステム２００の動作を制御するための他の制御装置を用
いることができる。また、表示／制御装置２０８とし
て、本発明のシステムを起動するための付加的なプッシ
ュボタンや他の簡単な装置を用いることもできる。さら
には、表示／制御装置２０８を自動制御装置として構成
し、ユーザから見えないようにすることもできる。この
ため、図において、表示／制御装置２０８を破線で囲ん
でいる。図３のシステムは、コンピュータプログラムの
制御の下で作動し、本発明の画像処理，すなわち、画像
の継なぎおよび修復処理を実行するようになっている。
すなわち、図１の領域特定部１，画像処理部２は、図３
のシステムのコンピュータシステム２００，画像蓄積装
置２０３によって実現することができる。

【００２３】図４はこの画像処理部２の処理例を示すフ
ローチャートである。なお、以下では、説明を簡単にす
るため、一例として、処理対象領域ＰＣＵ内の各画素に
対し、１画素単位に処理がなされ、また、演算部７で
は、処理対象領域ＰＣＵ内の未知画素を完全に未知の値
のものと仮定し(未知画素が不確かな値をもっていても
これを一切考慮せずに)、近傍画素のうちの既知画素の
値だけに基づいて、未知画素の値を決定する処理がなさ
れるものとする。

【００２４】画像処理部２が実際の処理を開始する前提
として、画像の画素データ(ステップ１００)において、
未知画素からなる処理対象領域ＰＣＵと、処理対象領域
ＰＣＵ以外の既知画素からなる既知領域ＰＣＫとが、領
域特定部１により特定されており、未知画素の個数およ
び各未知画素の存在する位置(例えばメモリ内位置)がわ
かっている必要がある(ステップ１１０)。

【００２５】また、近傍画素定義部４により、１つの未
知画素に対する近傍画素が予め定義されている必要があ
る(例えば、近傍の形状，大きさなど)(ステップ１１
７)。また、閾値初期設定部５により閾値ｋの初期値が
設定されている必要がある(ステップ１２０)。なお、閾
値ｋの初期値は、例えばオペレータの指定によって設定
することができる。また、演算種類設定部６により処理
演算の種類(例えば近傍画素のうちの既知画素の値の平
均値をとるなどの演算の種類)が設定されている必要が
ある。

【００２６】すなわち、近傍画素の定義，閾値の初期
値，演算の種類が、処理対象となる画像の種類(例え
ば、画像が２値画像であるか多値画像であるか、あるい
は、画像が文書画像であるか、写真画像であるか、絵図
画像であるかなど)に応じて、あるいは、処理対象領域
の種類(処理対象領域の大きさ，形状など)に応じて、適
切なものに設定されている必要がある。

【００２７】このような前提が整った後、実際の画素処
理を開始する。すなわち、先ず、画像の画素データを解
析して、画像中に、未知画素が残っているか否かを調べ
る。この処理は、例えばメモリ等に保持されている未知
画素の個数および位置の記録を参照することによってな
される。未知画素の個数が、“０”(あるいは許容され
うる程度の小さい数)になると、処理を終了する(ステッ
プ１１２)。

【００２８】これに対し、未知画素が画像中に残ってい
るならば、次の未知画素位置を読出す(ステップ１１
４)。ステップ１１５では、いま読出した未知画素に関
して、既知のデータ値をもつ近傍画素の個数をカウント
する。

【００２９】ここで、近傍画素は、前述のようにステッ
プ１１７で予め定義されており、近傍画素として、例え
ば近傍画素のすぐ近くの画素(例えば隣接画素)，すなわ
ち、未知画素として選択された１つの画素を囲む８つの
画素を定義することができる。これらの８つの画素は、
１つの未知画素の上の行の３つの画素と、未知画素の下
の行の３つの画素と、ドロップアウト画素の左右のそれ
ぞれ１つの画素とからなっている。

【００３０】なお、この近傍の定義は任意であることが
認識されるべきである。従って、ステップ１１７におい
ては、画像のタイプ，品質が異なる毎に、システムの性
能を最適化するよう、「近傍」の定義を選ぶことができ
る。例えば、他のタイプの画像では、半球レンズ状のパ
ターン，より大きい領域のパターン，あるいは他のパタ
ーンを用いることができる。普通でない画像に対して
は、処理されるべき未知画素の近くにない画素を使っ
て、「近傍」を定義することも可能である。

【００３１】既知のデータ値をもつ近傍画素数のカウン
トが完了すると、このカウント値ＫＮを閾値と比較する
(ステップ１２２)。

【００３２】ここで、閾値は、前述のようにステップ１
２０で予め初期設定されており、この閾値は、既知の値
をもっている必要がある近傍画素の数に対応している。
１つの例では、この閾値は、７(８つの近傍画素のうち
７個)に設定されている。８つの近傍画素に対して７の
閾値を用いることによって、処理結果画像は高品質のも
のとなる。処理をより高速にするために、より小さな値
の閾値を選択することもできる。

【００３３】ある１つの未知画素に関し、既知のデータ
値をもつ近傍画素数が十分でなく、閾値よりも小さい場
合には、この未知画素を未知画素のまま残し、次の未知
画素を選択するため、ステップ１１４に戻る。これに対
し、ステップ１２２において、近傍画素数が閾値と同じ
かこれよりも大きい場合には、この未知画素に対して、
新しい値を計算する(ステップ１２５)。この新しい値
は、適当な手段を用いて計算することができる。例え
ば、近傍の画素の値の平均値として計算できる。もちろ
ん、重み付け平均や、統計的相関のようなより複雑な数
学演算を含む他の手法を用いたり、より大きな比較領域
を用いて、計算することもできる。ステップ１２５にお
いて、１つの未知画素の値が計算されると、値を計算す
ることの可能な他の未知画素が残っているか否かを調べ
る(ステップ１２７)。値を計算することの可能な他の未
知画素がまだ残っている場合には、次の未知画素を取り
込み、ステップ１１４に戻る。

【００３４】このような処理を繰り返し、最早、値を計
算することができる未知画素がなくなると、ステップ１
３０に進む。なお、処理のこの段階では、多数の未知画
素が残っている可能性があるが、これらの画素はいずれ
も、既知の値を持つ近傍画素の個数が閾値を満たしてい
ないもの(閾値よりも小さいもの)である。

【００３５】値を計算することができる未知画素が最早
なくなると、画像は、新しい値に更新される。換言すれ
ば、いま計算のなされた結果、値をもった未知画素を、
既知画素として、計算された値を用いて画像中に戻す。
これにより、既知の画素の組が拡張し、未知画素の組は
減少する。

【００３６】次に、“十分”な個数の未知画素が更新さ
れたかを調べる（ステップ１３５）。ここで、“十分”
な個数を、任意所望の画素数，パ−セント，あるいは他
の画素尺度のものにすることができる。このステップ１
３５のゴールは、システムの繰り返し数を学習すること
である。例えば、上にステップ１１４乃至１３０を繰り
返し行なった結果、１つ，２つ，あるいは２，３の画素
の値しか計算できなかった場合には、閾値を設定し直す
ことによって、より効率的に処理を行なうことができ
る。十分な（多数の）画素が更新されたならば、次の画
素を処理するため、ステップ１１４に戻る。

【００３７】これに対し、少数の画素しか更新されなか
った場合には、画素の更新を促進するため、閾値を設定
し直すことができる。この場合、ステップ１０２に戻
り、次の繰り返し処理がなされる。未知画素が最早残っ
ていない場合には、処理を終了する。

【００３８】要約すると、本実施例の方法では、画像か
らの既知の情報と未知画素の位置についての既知の情報
とを使用している。また、未知画素の各々について、画
像中の局所的な近傍画素を考慮している。十分な近傍情
報が知られているならば、その未知画素の位置をマーク
し、その位置に値をセーブする。未知画素の位置の組を
連続して走査した後、マークされた位置の値によって、
画素を更新し、次いで、これらを未知画素でなく既知画
素とする。これによって、既知の画素の個数が増加す
る。このような処理を繰り返し行なって、値を計算する
ことのできる未知画素の個数が十分に小さくなると(例
えば"０"になると)、必要に応じ、閾値を変更して処理
を繰り返し行ない、未知画素の組を漸次少なくし、全て
の未知画素位置が値をもつようになったとき、処理を終
了する。

【００３９】好適な実施例では、全ての未知画素が値を
もったときに(復元されたときに)処理を終了するように
なっているが、未知画素の全てが値をもつ必要はなく
（すなわち、未知画素の全てが復元される必要はな
く)、この場合でも処理を終了することができる。

【００４０】元の画像は、任意のものであるので、本発
明は、元の画像情報の内容については何ら条件を設けて
いない。全ての必要な情報は、画素レベルである。

【００４１】画像処理部２における上述した処理の第１
の特徴(利点)は、処理対象領域ＰＣＵ内の画素の値のみ
を決定することにある。すなわち、画像ＰＣ中の全ての
画素に対する処理を行なうのではなく、画像ＰＣ中の一
部の領域の画素に対してだけ処理を行なうので、画像処
理時間を従来に比べ短縮することができ、また、処理を
行なう必要のない既知領域ＰＣＫ内の画素については処
理を行なわないので、全体の画像品質を劣化させずに済
む。

【００４２】また、上述した処理の第２の特徴(利点)
は、未知画素のうち、最も信頼性良く値が決定されうる
画素から順に、値を決定することである。すなわち、既
知の値をもつ近傍画素数が最も多い未知画素から順に値
が決定される。

【００４３】また、上述した処理の第３の特徴(利点)
は、未知画素の値が決定され、この未知画素が既知の値
をもつ既知画素となるとき、次の段階で、この画素を近
傍画素の既知の値をもつ画素の仲間に加えて、未知のま
ま残っている画素の値を決定することにある。これによ
り、各画素の連続性を確保することができる。

【００４４】また、上述した処理の第４の特徴(利点)
は、画像の種類に依らず、全ての種類の画像を処理対象
とすることができることにある。すなわち、近傍画素の
定義，閾値の初期値，演算の種類を適宜設定することに
より、画像が文書画像のような２値画像であっても、ま
た、写真画像や絵図画像のような多値画像であっても、
画像の修復や推定を良好に行なうことができることにあ
る。

【００４５】このような特徴（利点）を有することか
ら、本発明の画像処理装置は、処理対象となる領域が特
定できるものであれば、種々の用途に適用可能である。
なお、適用される用途が異なるごとに、処理対象領域の
特定の仕方も異なるので、画像処理装置の領域特定部１
は、適用される用途に適した構成をとる必要がある。

【００４６】本発明の画像処理装置の適用例として、図
３に示したようなファクシミリ，複写機あるいはイメー
ジスキャナ等の画像取得システム(画像読取システム)２
０５で取得した画像を修復する場合が考えられる。

【００４７】このような画像においては、例えばスキャ
ナのコンタクトガラスや、電荷結合素子ＣＣＤの故障，
あるいはデータ電送時の障害などの種々の原因によっ
て、既知の画素位置に未知の画素値が生ずることがあ
る。これらの既知の画素位置が一旦識別されれば、これ
らの既知の画素位置によって処理対象領域ＰＣＵが特定
され、これに基づき、本発明を適用することで、信頼性
のある領域，すなわち既知領域ＰＣＫから信頼性のない
領域，すなわち処理対象領域ＰＣＵへ画像を“継げる(c
ontinue)”ことによって、画像を復元することができ
る。

【００４８】換言すれば、出現頻度の高いタイプの画像
欠陥に対しては、領域特定部１において、欠陥の形状お
よび位置を処理対象領域ＰＣＵとして予想できるので、
本発明をより容易に適用できる。一例として、複写紙上
に現れる傷マークを考えると、この傷マークの形状は例
えば、２回の繰返しスキャンによって全く同一ではない
２つの画像が得られるときに、各画像で僅かに変化して
はいるがほぼ同じ形状のものとなる。各場合において、
欠陥領域は、同じ位置に現われるか、あるいは、サイク
リックに出現するか、あるいは、他の予期される仕方で
または予期されない仕方で出現する。

【００４９】図６(ａ)，(ｂ)には、傷のある文書画像が
示されている。図６(ａ)，(ｂ)の各文書画像の唯一の相
違は、スキャナにおけるコントラストと輝度の設定にあ
る。すなわち、コントラストの設定の相違によって、図
６(ａ)の画像では、傷のある領域が暗く現われ、一方、
図６(ｂ)の画像では、傷のある領域が明るく現われてい
る。このタイプの欠陥に対しては、傷のあるスキャナに
よって、スキャンされた全ての文書は、ほぼ正確に同じ
画素座標値に傷が現われ、劣化したものとなる。傷に対
応する画素は、全て、信頼性のない値をもつ。しかしな
がら、図６(ａ)，(ｂ)に示されているように、傷に対応
する画素の値は、黒または白(または他の値)として知る
ことができる。

【００５０】このタイプの画像欠陥は、常に繰返し現わ
れる画素位置の組において、不明の(未知な)データ値を
もつことによって特徴付けされる。この繰返しノイズの
性質は、ランダムノイズと比べてユニークである。位置
情報が付加されることによって、ランダムノイズに対す
る処理を行なう場合に比べて、より特定の選択された仕
方で、画像の修正処理を行なうことができる。すなわ
ち、画像を繰り返し読取ったときに、画像中でほぼ同じ
位置に再現性良く表われる傷に対応する画素を欠陥画素
(未知画素)とし、この画素位置の組を処理対象領域とし
て特定することができる。

【００５１】具体的には、領域特定部１は、例えば、読
取るべき対象(例えば原稿)がない状態でプレスキャンを
行ない、このとき、例えばコンタクトガラス上の傷によ
って再現性良く表われる例えば黒画素の領域を処理対象
領域として特定することができる。

【００５２】もちろん、傷は、信頼性のない画素の考え
られうる１つの原因でしかない。上述のように、数々の
他の原因が存在し、このため、欠陥のある画素の組(欠
陥領域)を以後“ドロップアウトの組(dropout set))”
と称す。ドロップアウトの組は、信頼性のない値をもつ
デジタル画像の画素のサブセットである。図６(ａ)，
(ｂ)の例では、ドロップアウトの組は、図６(ａ)に最も
わかりやすく示されているように、画素の２ライン状の
サブセットである。

【００５３】本発明では、前述のように、画像中の既知
の欠陥位置(処理対象領域内位置)における値を決定し、
設定するために、画素レベルでの局所情報を使用する。
欠陥位置の組に連続して進ませながら、画像を欠陥領域
内に成長させる。欠陥領域の周辺は、既知となるので、
未知の領域が浸食され、最終的に、欠陥領域が完全に消
される。

【００５４】図７(ａ)，(ｂ)，(ｃ)は本発明の処理例を
示す図である。図７(ａ)は、傷をもつ元の画像であり、
図７(ｃ)は、全ての処理がなされた結果の画像であり、
図７(ｂ)は、処理の中間段階の画像である。図７(ａ)，
(ｂ)，(ｃ)の例では、“近傍”を、１つの辺に３つの画
素をもつ正方形のものとして定義した。また、図７(ａ)
乃至(ｃ)において用いた閾値は、図７(ａ)の画像に対し
ては、“４”であり、図７(ｂ)の画像に対しては、
“３”であり、図７(ｃ)の画像に対しては、“０”であ
った。

【００５５】ここで用いた方法の利点は、上述のような
仕方で閾値を変更することによって、値をもつ既知画素
によって完全に囲まれた未知画素に対して、先ず、処理
がなされることにある。これらの未知画素を処理し(こ
れらの未知画素の値を先ず決定し)、これらを未知画素
の組から取り除いた後、閾値を適当に，例えば１画素分
だけ減らし、既知の値をもつ画素数がより少ない近傍画
素によって囲まれた未知画素を更新する。これらの画素
を更新すると、未知画素数が減少し、これによって、既
知の値をもつ近傍画素数が少なかった未知画素も、既知
の値をもつ隣接画素数が多くなる。閾値は、繰り返し処
理において、画素にほとんど変化が生じなくなるまで、
一定に保持される。このような仕方で処理を進めること
によって、画像を完全に復元することができる。さら
に、各繰り返し処理は、各画素について、他の未知画素
と独立して(無関係に)なされるので、各繰り返しにおけ
る画素の更新は、前の繰り返し処理の最後に得られた画
素値にのみ依存し、より以前の繰り返し処理で計算され
た値には依らない。このようにして処理を進めることに
よって、目立った異方性(不自然さ)をなくすことができ
る。さらに、画素の処理を適当な装置を用いて並行に行
なうことができる。

【００５６】次に、種々の実験を行なった結果について
述べる。実際に、１ビットの文書画像，１ビットのディ
ザ画像，８ビットの印刷画像，８ビットの連続階調画
像，２４ビットのカラー画像を含む一連の画像に本発明
を適用した。なお、画像に対して並列に処理を行なっ
た。すなわち、欠陥画素のリスト(ｌｉｓｔ)の各走査の
終わりにのみ画像データを更新した。図８乃至図１１は
処理中の４つの段階における各画像を示す図であり、図
８は毛髪状細線マークの欠陥領域をもつ原画像を示す
図、図１１は処理後の修復済画像を示す図であり、図
９，図１０は中間段階の画像を示す図である。図８乃至
図１１からわかるように、最も細い欠陥領域の画素につ
いて値が先ず最初に決定される。すなわち、最も細い欠
陥領域では、近傍画素において既知の画素数がより多く
存在するため、この欠陥領域の未知画素の値が最初に決
まる。

【００５７】また、図１２乃至図１５は太い垂直方向の
欠陥をもつ画像についての各処理段階における状態を示
す図であり、図１２は垂直方向の黒線マークの欠陥領域
をもつ原画像を示す図、図１５は処理後の修復済画像を
示す図、図１３，図１４は中間段階の画像を示す図であ
る。図１２乃至図１５の例では、ドロップアウト(欠陥)
“ストローク”の太さは、文書の文字を形成するストロ
ーク幅にほぼ等しい。図１２乃至図１５に示すように、
文書のライン間の画像は、本発明による閾値の繰り返し
変更によって、周囲の白領域で置き換えられる。また、
一方の側が“白”，他方の側が黒の文字の１つを形成す
るのに用いられるストロークとドロップアウト領域(欠
陥領域)とが整列するとき(重なり合うとき)、ドロップ
アウト画素は、半分が白，半分が黒の性質をとり易いこ
とに着目すべきである。この１つの例が語“Ｅｇｙｐｔ
ｉｏｎ”の“ｐ”である。また、本発明の修復メカニズ
ムが文書の行および行間隔を非常に良く保存しているこ
とに着目すべきである。

【００５８】図１６は“損傷”を受ける前の状態を示す
写真のコピーを示す図である。また、図１７は“損傷”
を受けた後の写真画像の状態を示す図であり、図１７の
状態の画像に対し、本発明の修復処理技術を適用するこ
とができる。

【００５９】また、図１８は、図１７の状態の画像に対
し本発明の修復処理を施した後の画像状態を示す図であ
る。図１８を図１６と比べれば明らかなように、図１８
と図１６とのどちらかが原画像であるかを厳密に注意深
く調べなければわからない程、図１８の画像は損傷を受
ける前の画像に近く、良好に修復されているのがわか
る。

【００６０】本発明を種々の態様に変形する場合にも、
十分に良好な画像修復ができる一方で、処理をかなり高
速にできる場合があることが確かめられた。例えば、あ
る１つの変形態様として、更新される画素数が“０”で
なくともこれが少ない場合に閾値を減少させるようにす
る態様も可能である。この態様では、閾値をより迅速に
低い値に到達し、１回の繰り返し処理で更新されるドロ
ップアウト画素数をより多くすることができ、これによ
り、必要とされる繰り返し数を少なくすることができ
る。

【００６１】また、１回の繰り返し処理当りにより多く
の画素を更新させることのできる他の態様として、閾値
をより小さな値に初期設定し、この小さな値の閾値のと
ころから処理を開始させることができる。例えば、閾値
“１”，換言すれば、ドロップアウト画素が少なくとも
１つの既知の近傍画素をもつものであれば、そのドロッ
プアウト画素を更新する閾値“１”から処理を開始させ
ることができる。最低の閾値“１”を初期値として用い
る場合にも原画像を修復できるが、閾値を当初より大き
な値に設定して画像を修復する場合に比べて画質は低下
する。

【００６２】本発明は、従来技術に比べて種々の利点を
有している。特に、単一の固定サイズの窓(マスク)を用
いるが、繰り返し処理を行なうことによって、任意のサ
イズの欠陥を修復できる。本発明は、また、欠陥を修復
する場合にも文書の行間隔についてはこれを保存でき
る。このことは、ドキュメントに含まれている文字の情
報を処理する上で、非常に有利である。

【００６３】上述の実施例は、あくまで例示であり、こ
れに限定されるべきでなく、本発明は、特許請求の範囲
を逸脱しない限り、広義に捉えられるべきである。

【００６４】

【発明の効果】以上に説明したように、本発明によれ
ば、所定対象領域内の各画素に対して所定の画像処理を
施す画像処理手段を備えた画像処理装置において、前記
画像処理手段は、前記処理対象領域内の各画素が当初、
完全に未知の値あるいは不確かな値をもつ未知画素であ
るとし、処理対象領域内の特定の未知画素に着目すると
き、該未知画素の近傍画素のうちで既知の値をもつ既知
画素の個数が所定の閾値よりも大きい場合に限り、近傍
画素のうちの既知画素の値を用いて未知画素の値を決定
する一方、既知画素の個数が所定の閾値よりも小さいと
きには、未知画素の値を決定せず未知画素のまま残すよ
うになっており、処理対象領域内の各画素について所定
の閾値での前記処理がなされた後、値の決定された未知
画素を既知画素とし、また、閾値を変更し、残されてい
る未知画素に対して前記処理を繰り返し行なうようにな
っているので、不特定の画像に適用でき、特に、画像中
に生じた任意の形状，大きさの欠陥についても、これら
を良好にかつ高速に修復，推定等することができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置の構成例を示す図で
ある。

【図２】画像中の処理対象領域を説明するための図であ
る。

【図３】本発明を実現するためのシステムの一例を示す
図である。

【図４】本発明の好適な実施例を示すフローチャートで
ある。

【図５】本発明の好適な実施例を示すフローチャートで
ある。

【図６】復元対象となる文書画像の例を示す図である。

【図７】本発明による処理の具体例を示す図である。

【図８】本発明を欠陥のある文書画像に適用したときの
処理を示す図である。

【図９】本発明を欠陥のある文書画像に適用したときの
処理を示す図である。

【図１０】本発明を欠陥のある文書画像に適用したとき
の処理を示す図である。

【図１１】本発明を欠陥のある文書画像に適用したとき
の処理を示す図である。

【図１２】本発明を垂直方向に欠陥のある文書画像に適
用したときの処理を示す図である。

【図１３】本発明を垂直方向に欠陥のある文書画像に適
用したときの処理を示す図である。

【図１４】本発明を垂直方向に欠陥のある文書画像に適
用したときの処理を示す図である。

【図１５】本発明を垂直方向に欠陥のある文書画像に適
用したときの処理を示す図である。

【図１６】元の写真画像を示す図である。

【図１７】損傷を受けた後の写真画像を示す図である。

【図１８】図１７に示す写真画像を本発明の処理を用い
て復元した後の写真画像を示す図である。

【符号の説明】

１領域特定部２画像処理部３制御部４近傍画素定義部５閾値初期設定部６演算種類設定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者マークピアースアメリカ合衆国カリフォルニア州メンロパークサンドヒルロード 2882 スイート 115 リコーコーポレーション内 (56)参考文献特開平４−270475（ＪＰ，Ａ) 特開平２−89187（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 5/00 - 5/50 H04N 1/40

Claims

(57)【特許請求の範囲】

【請求項１】所定対象領域内の各画素に対して所定の
画像処理を施す画像処理手段を備えた画像処理装置にお
いて、前記画像処理手段は、前記処理対象領域内の各画
素が当初、完全に未知の値あるいは不確かな値をもつ未
知画素であるとし、処理対象領域内の特定の未知画素に
着目するとき、該未知画素の近傍画素のうちで既知の値
をもつ既知画素の個数が所定の閾値よりも大きい場合に
限り、近傍画素のうちの既知画素の値を用いて未知画素
の値を決定する一方、既知画素の個数が所定の閾値より
も小さいときには、未知画素の値を決定せず未知画素の
まま残すようになっており、処理対象領域内の各画素に
ついて所定の閾値での前記処理がなされた後、値の決定
された未知画素を既知画素とし、また、閾値を変更し、
残されている未知画素に対して前記処理を繰り返し行な
うようになっていることを特徴とする画像処理装置。
【請求項２】既知の値をもつ既知画素からなる第１の
領域と未知画素からなる第２の領域とを有し、前記第２
の領域の位置が既知となっている画像を修復するための
画像処理方法であって、 (ａ)閾値および近傍配置を設定し、 (ｂ)前記第２の領域内の各未知画素に対して、(１)その
近傍配置によって規定される領域内に存在する既知画素
の個数を計数し、(２)該計数値が閾値よりも大きい場合
には、その未知画素に対して値を計算して与え、(３)全
ての未知画素について上記各処理を繰り返し行ない、 (ｃ)上記(ｂ)の処理において値が計算された画素につい
て、これを第２の領域から取り除いて、第１の領域に加
え、 (ｄ)所望の場合には、前記閾値を調整し、未知画素の個
数が所望個数となるまで前記(ｂ)および(ｃ)の処理を繰
り返すことを特徴とする画像処理方法。
【請求項３】請求項２記載の画像処理方法において、
前記近傍配置は、未知画素に隣接し、未知画素を取り囲
む幾何学的領域であることを特徴とする画像処理方法。
【請求項４】請求項２記載の画像処理方法において、
前記閾値は、近傍の画素数よりも小さな値であることを
特徴とする画像処理方法。
【請求項５】請求項２記載の画像処理方法において、
未知画素の値は、近傍画素のうち既知の値をもつ既知画
素の値に数学的演算を施して計算されることを特徴とす
る画像処理方法。
【請求項６】請求項２記載の画像処理方法において、
未知画素の値は、近傍画素のうち既知の値をもつ既知画
素の値の平均値として決定されることを特徴とする画像
処理方法。
【請求項７】請求項２記載の画像処理方法において、
各画素はマトリックスに配置され、前記近傍配置は３×
３の大きさの領域であることを特徴とする画像処理方
法。
【請求項８】請求項２記載の画像処理方法において、
(ｄ)の処理では閾値を“１”ずつ減少させることを特徴
とする画像処理方法。
【請求項９】請求項８記載の画像処理方法において、
前記閾値は“７”に初期設定されることを特徴とする画
像処理方法。
【請求項１０】請求項２記載の画像処理方法におい
て、前記未知画素の所望個数は“０”であることを特徴
とする画像処理方法。
【請求項１１】既知の値をもつ既知画素からなる第１
の領域と未知画素からなる第２の領域とを有し、前記第
２の領域の位置が既知となっている画像を修復するため
の画像処理方法であって、 (ａ)閾値および近傍配置を設定し、 (ｂ)前記第２の領域内の各未知画素に対して、(１)その
近傍配置によって規定される領域内に存在する既知画素
の個数を計数し、該計数値が閾値よりも大きい場合に
は、その未知画素に対して値を計算して与え、(２)値を
計算することのできる未知画素が存在しなくなるまで上
記処理を繰り返し、 (ｃ)上記(ｂ)の処理において値が計算された画素につい
て、これを第２の領域から取り除いて、第１の領域に加
え、 (ｄ)前記閾値を減少させて、前記(ｂ)および(ｃ)の処理
を繰り返すことを特徴とする画像処理方法。
【請求項１２】請求項１１記載の画像処理方法におい
て、前記近傍配置は、未知画素に隣接し、未知画素を取
り囲んで、未知画素から各方向に少なくとも１画素延び
る幾何学的領域であることを特徴とする画像処理方法。
【請求項１３】請求項１１記載の画像処理方法におい
て、前記閾値は、近傍の画素数よりも小さな値であるこ
とを特徴とする画像処理方法。
【請求項１４】請求項１１記載の画像処理方法におい
て、未知画素の値は、近傍画素のうち既知の値をもつ既
知画素の値に数学的演算を施して計算されることを特徴
とする画像処理方法。
【請求項１５】請求項１１記載の画像処理方法におい
て、未知画素の値は、近傍画素のうち既知の値をもつ既
知画素の値の平均値として決定されることを特徴とする
画像処理方法。
【請求項１６】請求項１１記載の画像処理方法におい
て、各画素はマトリックスに配置され、前記近傍配置は
３×３の大きさの領域であることを特徴とする画像処理
方法。
【請求項１７】請求項２記載の画像処理方法におい
て、ステップ(ｄ)では閾値を変化させることを特徴とす
る画像処理方法。
【請求項１８】既知の値をもつ既知画素からなる第１
の領域と未知画素からなる第２の領域とを有し、前記第
２の領域の位置が既知となっている画像を修復するため
の画像処理装置であって、 (ａ)閾値および近傍配置を設定するための手段と、 (ｂ)前記第２の領域内の各未知画素に対して、(１)その
近傍配置によって規定される領域において、前記第１の
領域の既知画素の個数を計数し、(２)該計数値が閾値よ
りも大きい場合には、その未知画素に対して値を計算し
て与え、(３)全ての未知画素について上記各ステップを
繰り返し行なう手段と、 (ｃ)上記(ｂ)のステップにおいて値が計算された画素に
ついて、これを第２の領域から取り除いて、第１の領域
に加える手段と、 (ｄ)前記閾値を減少させて、前記(ｂ)および(ｃ)の処理
を繰り返す手段とを有していることを特徴とする画像処
理装置。