WO2009142333A1

WO2009142333A1 - 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体

Info

Publication number: WO2009142333A1
Application number: PCT/JP2009/059824
Authority: WO
Inventors: 茂樹嵯峨山; 小野　順貴; 浩郭
Original assignee: 国立大学法人東京大学
Priority date: 2008-05-22
Filing date: 2009-05-22
Publication date: 2009-11-26
Also published as: JPWO2009142333A1

Abstract

　本発明の画像処理方法は、特定画像領城における未知の画像情報を、前記特定画像領城の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。まず、特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第１構造特徴パッチを定義し、第１構造特徴パッチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第２構造特徴パッチを、特定画像領域の前記周辺領城の既知領域において検索する。第１構造特徴パッチの前記注目未知画素の値を、前記第２構造特徴パッチで対応する配置にある画素の画素値で決定する。このように輪郭部分において注目未知画素の画素値を決定することにより、特定画像領域の外縁の画素から内側に向かって画素値を決定していくことを特徴とする。

Description

明細書画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体技術分野

[ 0 0 0 1 ]

本発明は、画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体に関する。背景技術

[ 0 0 0 2]

従来から、イメージインペインティング（Image inpainting)という技術が知られている。非特許文献 1乃至 3に開示されているように、 Bertalmio らが開発した B S C Bィンペインティングァルゴリズムが、 2 0 0 0年〜 2 0 0 1年に発表されてから、イメージインペインティングは、大きな注目を集め、多くのイメージインぺインティングメソッドが新たに開発されてきた。それらのィメージィンペインティングァルゴリズムは、図 1 7に示すように、大きく 2つのグループ（1 7 0 1、 1 7 0 2 ) に分類することができる。第 1のグループ 1 7 0 1は、小さな或いは細長いギャップを埋めるための「補完方法（interpolation method) 」であり、第 2のグループ 1 Ί 0 2は、大きな欠損領域を埋めるための「テクスチャ合成方法（texture synthesis method) J である。

[ 0 0 0 3 ]

また、従来の多くのイメージインペインティングメソッドは、第 1のグループ 1 7 0 1に属している。 B S B Cモデルでは、画像の平滑度情報がラプラシアン画像によって推定され、ァイソフォト（等しい明度を持つ線又は表面、図 1 8の 1 8 0 1 ) 方向に沿って、欠損領域（ 1 8 0 2) に対し、伝搬する（ 1 8 0 3) 。非特許文献 4に記載された全変動（T V： Total Variational) モデル及び非特許文献 5に記載された曲率駆動拡散（CD D : Curvature-Driven Diffusion) モデルは、異方性拡散方程式に加えてオイラー · ラグランジュ方程式を用いることによってアイソフォトの方向を維持させる。これら全ての方法は、基本的に、ァイソフォトの方向を維持しょうとする様々なヒューリスティックス（思考モデル）に従って、欠損領域内への色の伝搬を示す偏微分方程式（P D E : Partial Differential Equation) を解くものである。

[先行技術文献] ' [非特許文献]

[ 0 0 0 4]

非特許文献 1 ： Bertalmio M, Sapiro G, Caselles V, Ballester C, "Image inpainting" , Proc. of the ACM SIGGRAPH 2000, New Orleans, 2000, pp.417-424 非特許文献 2 ： Bertalmio M， Bertozzi AL, Sapiro G. Navier - Stokes, "fluid dynamics, and image and video inpainting , Proc. Of the IEEE Int' 1 Conf . on Computer Vision and Pattern Recognition, Volume I. Hawaii, 2001, pp.355—362 非特 F文献 3 ： C. Ballester, M. Bertalmio, V. Caselles, G. Sapiro, J. Verdera, "Filling - In by Joint Interpolation of Vector Fields and Gray Levels" , IEEE Transactions on Signal Processing, 10 (8) , 2001, pp.1200-1211

非特許文献 4 ： T. Chan, J. Shen, "Mathematical Models for Local Deterministic Inpaintings , Technical Report CAM 00 - 11， Image Processing Research Group, UCLA, 2000

非特許文献 5 ： T. Chan, J. Shen, "Non-Texture Inpainting by Curvature Driven Diffusions (CDD) , Technical Report CAM 00 - 35， Image Processing Research Group, UCLA, 2000

非特許文献 6 ： Alexandru Telea, 'An Image Inpainting Technique Based on the Fast Marching Method" , Journal of Graphics Tools, 9(1), 2004, pp.25 - 36 非特許文献 7 ： A. A. Efros, T. K. Leung, ι exture Synthesis by Nonparametric Sampling" , In IEEE International Conf . on Computer Vision, volume 2, 1999, 1033 - 1038

非特許文献 8 ： L. -Y. Wei, M. Levoy, Fast Texture Synthesis Using

Tree-Structured Vector Quantization , Computer Graphics (SIGGRAPH 2000 Conf. Proc.), 2000, pp. 479-488

非特許文献 9 ： Peng Tang, "Application of Non-parametric Texture Synthesis to Image Inpainting" , M. S. , Computer Science, University of New Mexico, 2004 非特許文献 1 0 ： Antonio Criminisi, Patrick Perez, Kentaro Toyama, Object Removal by Exemplar-based Inpainting (PDF) Jun" , WI Proc. IEEE Computer Vision and Pattern Recognition, 2003 (2) , pp. 721-728

被特許文献 1 1 ： Hitostii Yamauchi, Jorg Haber, Hans-Peter Seidel, "Image

Restoration using Multiresolution Texture Synthesis and Image Inpainting" ，

Proc. Computer Graphics International (CGI) 2003, pp. 120 - 125

非特許文献 1 2 ： H. Grossauer, A Combined PDE and Texture Synthesis Approach to Inpainting , European Conference on Computer Vision, LNCS 3022, 2004, pp.

214-224

[ 0 0 0 5 ]

上述の非特許文献 1乃至 5に登場する P D Eベースのアルゴリズムの複雑さを抜きにすれば、その主な問題は、ァイソフォトの推定及びその情報の伝搬が、両方とも数値の拡散の影響を受けてしまう点にある。解くべき P D Eを安定化させる拡散であれば好ましいが、修復しょうとする領域が「ボケ」てしまうことは避けられない（図 1 9 ) 。非特許文献 6にて論じられた FMM (Fast Marching Method) モデルは、非特許文献 1及び 2の B S B Cモデルと同様に、画像の階調変化に従って画像平滑度を伝搬する。しかしながら、この画像平滑度は、修復すべき画素に近接した既知の画像における加重平均値に基づいて ¾かれるので、この方法も、やはり「ボケ」を発生させてしまう。細く長い欠損領域の修正においては目立たないかもしれない（図 1 9の 1 9 0 1 ) 力';、大きく太い欠損領域の修正においては、そのような「ボケ」は許容できない（図 1 9の 1 9 0 2 ) 。

[ 0 0 0 6 ] これに対し、従来から、様々な研究者が、大きく太い欠損領域を埋める方法として、テクスチャ合成インペインティングについて研究を行なってきた (非特許文献 7乃至 1 0 ) 。テクスチャ合成は、「ピュアな」テクスチャ、つまり、モデレ一 1、な確率変動を有する 2次元テクスチャパターンの繰り返し、を用いて大きな画像領域を埋めるのに適している。異なる領域がそのようなテクスチャを有すると、常に、近似した（同一性の高い）ものとして認識される。多くのリアル画像及び合成画像においては、欠損領域は、リニアなストラクチャ一と混合テクスチャ (多くのリアル画像及び合成画像において空間的に相互作用する複数のテクスチャ）から構成される。従来のテクスチャ合成技術の中には、事例ベース（exemplar-based) 技術のように、ソースから色値をサンプリングしてコピーすることにより、安価かつ効果的に新しいテクスチャを生成する技術もあるが、このようなテクスチャ合成技術では、上述のような領域を埋めることは困難であり、混合テクスチャに対してなすすベがない。一方、非特許文献 1 1、 1 2に示すように、近年では補完法

( interpo lat i on)とテクスチャ合成とを組み合わせた方法も提案されてきている力 S、 (データ値の）補完には時間がかかるため、処理スピードが非常に遅くなる。

発明の開示

発明が解決しょうとする課題

[ 0 0 0 7 ]

このように、従来は、イメージインペインティングよって、大きな欠損領域を修復することは困難であった。具体的には、以下の 2つの主な懸念事項が存在していた。つまり、（ 1 ) 既知のパッチのテクスチャ特徴情報及び構造特徴情報を欠損領域に伝搬しつつアイソフォトの連続性を維持するにはどうすればよいのカそして、 ( 2 )短時間に効果的にアルゴリズムを実行するにはどうすればよいの力、である。

[ 0 0 0 8 ]

本発明は、上記従来技術を踏まえ、ィメージィンペインティング技術を用いつつ、高速且つ効果的に画像を処理し、高品質の画像処理結果を得る。

[課題を解決するための手段]

[ 0 0 0 9 ]

本発明は、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。その特徴は、前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第 1構造特徴パツチを定義し、前記第 1構造特徴パツチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第 2構造特徴パッチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索ステップと、前記第 1構造特徴パッチに含まれる前記注目未知画素の画素値を、第 2構造特徴パッチにおいて対応する配置にある画素の画素値で決定する画素値決定ステツプと、を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かつて画素値を決定していくことである。

[ 0 0 1 0 ]

発明の効果

本発明は、イメージインペインティング技術を用いつつ、高速且つ効果的に画像を処理することができ、高品質の画像処理結果を得ることができる。図面の簡単な説明

[0 0 1 1]

[図 1] 本発明の実施形態に係る画像処理の一例を示す図である。

[図 2 ] 本発明の実施形態に係る画像処理の基礎理論を説明するための図である。

[図 3 ] 本発明の実施形態に係る処理対象画素を示す図である。

[図 4 ] 本発明の実施形態に係る画像処理方法に用いられる構造特徴とテクスチャ特徴を例示する図である。

[図 5] 本発明の実施形態に係る画像処理方法における、構造特徴の伝搬を示す図である。

[図 6] 本発明の実施形態 ίこ係る画像処理方法による、エラー蓄積回避の様子を示す図である。

[図 7] 本発明の実施形態 ίこ係る画像処理方法による、エラー蓄積回避の方法を示す図である。

[図 8] 本発明の実施形態 ίこ係る画像処理方法による、様々な画像処理結果の例を示す図である。

[図 9] 本発明の実施形態 ίこ係る画像処理方法による、画像処理結果の一例を示す図である。

[図 1 0] 本発明の実施形態に係る画像処理方法による画像処理結果と、過去の画像処理方法による画像処理結果の比較例を示す図である。

[図 1 1] 本発明の実施形態に係る画像処理方法を実現するシステムの一例を示す図である。

[図 1 2] 本発明の実施形態に係る画像処理方法を実現するアプリケーションのユーザィンタフェースの一例を示す図である。

[図 1 3] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの処理の流れを説明するフローチヤ一トである。

[図 1 4] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの実行結果例を示す図である。

[図 1 5] 本発明の実施形態に係る画像処理方法を実現するアプリケーションの実行結果例を示す図である。

[図 1 6] 本発明の実施形態に係る画像処理方法を実現するアプリケーションのユーザィンタフェースの他の例を示す図である。

[図 1 7] イメージインペインティング技術について説明する図である。

[図 1 8] アイソフォトの連続性の維持について説明する図である。

[図 1 9] 従来の画像処理結果を示す図である。

[発明を実施するための形態]

[0 0 1 2]

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

[0 0 1 3]

1. 概要本発明の実施形態としての画像処理方法は、画像において特定画像領域を、その周辺領域の既知の画像情報を用いて埋め、完全かつ自然に見える画像を生成するものである。以下の説明では、「欠損領域」や「未知の画像領域」という表現が用いられているが、これは「損傷を受けた画像領域」や「情報のない画像領域」を示すのだけではなく、周辺領域の画像情報を用いて埋めようとするあらゆる領域を意味し、本発明でいう「特定画像領域」である。つまり、処理前から何ら情報が欠落していない領域であっても、ユーザによって作為的に特定された処理対象領域は「欠損領域」（「特定画像領域」）の概念に含まれるものとする。

[ 0 0 1 4

イメージインペインティングは、画像において欠損領域を修復し、修復後の画像が、完全かつ自然に見えるようにするための 1つの手段であり、本実施形態に係る画像処理方法では、新しいイメージインペインティングアルゴリズムを提案し利用する。本実施形態で提案する新しい画像処理アルゴリズムによれば、モルフォロジ一収縮演算及びストラクチャ一特性の複製によって、特定画像領域の処理を行なう。構造特徴及びテクスチャ特徴マッチングアルゴリズムに基づく方法によれば、周辺領域のパッチのテクスチャ特徴情報と構造特徴情報の両方を、特定画像領域に伝搬 (propagate) させることによって、ァイソフォト（i sophote) の連続性を維持することができる。結果として、完全かつ自然に見え、ぼやけていない画像を出力することが可能となる。モルフォロジ一収縮によって領域を埋める方法によれば、各ィンペインティングステップにおいて、 1画素のみならず複数の画素をまとめて処理することができるので、従来の多くのテクスチヤ合成ィンペインティングアルゴリズムょりも高速に処理を行なうことができる。イメージインペインティングを適用できる技術範囲は広く、例えば、スキャンした画像データ上の傷やゴミを取り除くことによる劣化した画像の再構築にも利用できるし、デジタル画像から文字や口ゴの除去するために利用することもできる。更には、芸術的効果の創作などの様々な目的にも利用可能である。

[ 0 0 1 5 ]

2 . モルフォロジー収縮処理に基づくィメージィンペインティング

2 . 1 モルフォロジ一収縮処理

モルフォロジー収縮演算とは、非線形フィルタの一種（モルフォロジ一フィルタ）を用いた演算である。モルフォロジ一演算とは、「構造要素（structural el ement)」と呼ばれる図形要素（ェッジ、輪郭など）を利用して、画像データに拡張（Di lat ion)、収縮（Eros ion) を施すことをいう。構造要素とは、複数の位置べクトルの集合を画素に置き換えたものである。つまり、拡張（Di lat i on)及び収縮（Eros ion)の 2種類の処理が、基本的なモルフォロジ一カル動作である。「拡張」は、画像中のオブジェタトの境界部分に画素を追加する処理であり、「収縮」は、その境界部分から画素を取り除く処理である。特定の領域が、小さくなるべき領域として認識される場合、「収縮」をイメージインペインティングに用いる。

[ 0 0 1 6 ]

モルフォロジ一収縮処理は、下の式のように定義される。

[数 1 ] ΑΘΒ = {x e A \ (B)_x C A}. (数式 1 ) [0 0 1 7]

上記数式 1において、 Aは入力二値画像であり、 Bは構造要素であって、数式 1 は、二値画像 Aが構造要素 Bによって収縮されることを示している。構造要素（B)_X は、画素 Xを中心とする構造要素 Bを示す。拡張及び収縮処理において重要なのは、入力画像を処理するために用いられる構造要素である。構造要素は、 0と 1のみからなり任意の構成及びサイズを持つマトリクスである。構造要素のサイズは、通常、処理すべき画像のサイズよりもずっと小さい。「オリジン（origin)」と呼ばれる構造要素の中心画素は、注目未知画素、つまり処理すべき画素である。

[0 0 1 8]

2. 2 領域充填アルゴリズム '

図 2を用いて、 2値画像のィメージィンペインティング収縮処理について説明する。ここでは、構造要素の領域を表す画素が 1 (理論値）で定義されている。図 2 において、構造要素 1 0 1は、オリジン 1 0 2を中心とする 3 X 3画素のマトリクスであり、構造要素 1 0 1に含まれる全ての画素の値は 1 となっている。これにより図 2では、 1画素幅の帯状部分のみが、収縮処理の各ループにおいて収縮される模式を示している。

[0 0 1 9]

この処理の主な利点は、（特定画像領域、欠損領域等の）未知の画像領域をモルフォロジー収縮処理で用いる構造要素の領域とし、既知の画像領域から切り離し、次に修復すべき画素を示すナローバンド（細い帯状領域）を確実に維持できることにある。一方、グレースケール画像又はカラ一画像においても、隣接画素の情報に基づいて未知の画素のグレー情報又はカラー情報を復元可能な場合には、やはり、欠損領域等のィメージィンペインティング処理を、収縮処理を利用して実行することができる。このような領域を埋める処理を、図 1に示す。図 1において、欠損領域 2 ◦ 2を含む入力画像 2 0 1に対し、 1つの収縮ループにおいて、構造要素 2 0 4における構造特徴及びテクスチャ特徴を修復する（ 2 0 3 ) 。これの収縮ループを繰り返して、欠損領域 2 0 2を完全に埋めた後、出力する（ 2 0 5 ) 。

[ 0 0 2 0]

簡単に言えば、欠損領域 2 0 2を修復するために、 1つの構造要素 204を繰り返し適用し、結果として、処理対象の境界部分 δ Ωΐの不明瞭な（discrete)画素を全て収縮させ、修復する。 δ Ωΐ:は、時間 t (t=0, 1， ·'·，Τ, ···) のタイミングでの境界部分を示し、 δ Ω0は初期境界部分である。そして、全体領域が修復されるまで、領域 Ω の内側に向かって境界部分は移動していく。

[ 0 0 2 1 ]

ここで、インペインティングアルゴリズムの 1ループについて説明する。時間 t において、欠損領域 Ω と既知の画像領域との間の境界部分 3 0 1 ( δ Qt) を抽出し、図 3に示すように、「KN0WN (既知）」 3 0 2、「EDGE (境界）」 3 0 3、「UNKN0WN (未知）」 3 04という、 3つのフラグで、画素をマークする。ここで、「KN0WN」 3 0 2は、境界部分 δ Ωΐの外側、つまり既知の画像領域の画素を示し、「UNKN0WN」 3 0 4は、境界部分 3 0 1の内側、つまり修復すべき領域の画素を示し、「EDGE」 3 0 3は、「KN0WN」 3 0 2と「UNKN0WN」 3 04との間の画素であって、欠損領域 Ω に属する画素を示す。 [ 0 0 2 2 ]

構造要素は、処理対象となる境界部分のそれぞれの画素を全て収縮（erode)するために繰り返し適用される。この収縮処理の各ステップでは、構造要素によってカバ一された画素が、後述する構造特徴及びテクスチャ特徴マツチング処理を経て修復される。修復された全ての画素は、「KN0WNJ のフラグでマークされる。「EDGE」のフラグでマークされた画素が無くなるまでこの処理は繰り返し行なわれる。

1つの収縮ループが終了すると、 1つのレイヤーの画素が修復される。そして、「UNKN0WN」のフラグでマークされた画素が無くなるまで、このループ処理は繰り返される。

各領域充填ループの各収縮ステップでは、修復すべき次の画素或いは次のパッチは、構造要素によってカバ一された範囲として明確に特定される。その範囲の画素が充填され、その範囲の構造特徴及びテクスチャ特徴が修復されるまで、グレースケール画像又はカラー画像のィンペインティング処理は完了しない。

[ 0 0 2 3 ]

2 . 3 各収縮ステップにおける構造特徴及びテクスチャ特徴の修復ほぼ全ての P D Eベ一スのィンペインティング方法は、ボケを回避することはできず、ボケが目立たない長くて細い欠損領域についてのみ効果的であるということがよく知られている。一方、大きく太い欠損領域については、ボケは許容されない。ボケることなく構造特徵及びテクスチャ特徴が修復された場合のみ、完全かつ自然に見える画像を実現することができる。本発明では、グレースケール又はカラー画像において、どの種の構造特徴及びテクスチャ特徴について図 4にその定義が示されている。処理対象画像 4 0 1の部分拡大画像 4 ◦ 2において、テクスチヤ特徴 4 0 4は、類似或いはほぼ同一に認識される領域であって、その領域中の各画素は少しの隣接画素群にしか関連しないような、異なる領域のグレー画素値又はカラー画素値を示す。構造特徴 4 0 3は、異なるテクスチャ領域の境となる輪郭線であり、各画素は、その輪郭線に沿った複数の画素と強く関連している。

[ 0 0 2 4 ]

また、本発明では、既知の画像（画素）情報を三次元のデータであらわすことができる。 X及び Yの値はその既知の画像の各々画素の平面座標の値であり、 Zはその画素の色材等を表す値（その値は予め個別で決めておくことができる）である。したがって、多くの画素で構成した既知の画像のデータは、そこにある各々の画素の三次元のデータで集まりである。その三次元データでは、連続性の持つ三次元の面（曲面）を表すデータに匱き換えることができる。その連続性のある三次元の曲面において、前記特定画像領域（修復すべき欠損領域）が生じると、そこだけは前記連続性を失うことになる。そこで、特定画像領域にある画素の構造特微及びテクスチヤ特徴のマツチングは、既知の画像の画素データと連続性を有する画素データを特定画像領域の未知画素のデータとして^出することで行う。

[ 0 0 2 5 ]

よって、本発明は、特定画像領域にある画素の構造特徴及びテクスチャ特徴のマッチングは当該構造特徴及びテクスチャ特徴を個別に取り出して別々で行うのではなく、後述する、所定の画素数を有する構造特徴パツチにより一体的に行っている。また、本発明では、既知の画像の画素データからァイソフォトの方向を維持した、前記特定画像領域の画素データを算出することができる。

次に図 5を用いて、構造特徴及びテクスチャ特徴マッチングアルゴリズムについて説明する。このアルゴリズムは、大きく太い欠損領域についても、細長い欠損領域についても、いくつかの構造特徴（直線的な輪郭線や小さな曲率を有するカーブといった普通の構造）を、ボケを発生させることなく修復できる。

[ 0 0 2 6 ]

欠損領域 5 1 2を含む処理対象画像 5 0 1の一部 5 0 2を拡大した場合、前記注目未知画素 5 0 6を中心とする構造特徴パッチ 5 0 7 (第 1構造特徴パッチ）内のグレー画素値（又はカラー画素値） 5 1 0と同じ或いは類似の画素値を有する構造特徴パッチ（ここでは 7 X 7画素領域） 5 1 1 (第 2構造特徴パッチ）を、サーチ範囲 5 0 3 (特定画像領域の周辺領域の既知領域）の内部において左から右へ、上から下へ向かって検索する。ここで、本発明において、前記注目未知画素 5 0 6を一画素とすることが好ましい。

[ 0 0 2 7 ]

2つのパッチの類似性は、そこに含まれる全ての既知画素の S S D ( Sum of Squared Di f f erenc e：輝度差の二乗和）の最小値を用いて測定される。検索範囲において、既知画素 5 0 5を中心とする構造特徴パッチ 5 1 1が最大の類似性（最小 S S D ) を有することが分かれば、構造要素 5 0 7に含まれる未知画素群 5 0 8の画素値は、構造特徴パッチ 5 1 1の構造要素 5 0 4の範囲に含まれる既知画素群 5 0 9の画素値によって置き換えられる。このようにして、インペインティング処理の 1ステップが完了する。この方法によれば、インペインティング処理の 1ステツプで複数画素（図 5の例では 6画素）を処理することができ、処理を高速化できる。また、既知領域の構造特徴及ぴテクスチャ特徴が欠損領域内に伝搬し、同時にナロ一バンドが維持される。

[ 0 0 2 8 ]

このように、本実施形態に係る画像処理方法は、図 2 0のように、特定画像領域 (欠損領域）における未知の画像情報を該特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法である。まず、前記特定画像領域の輪郭部分に含まれる注目未知画素を特定（ 2 0 0 1 ) し、前記注目未知画素を中心とする所定の画素数を有する第 1構造特徴パッチを定義（ 2 0 0 2 ) する。そして、前記第 1 構造特徴パツチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第 2構造特徴パッチを、前記特定画像領域の周辺領域の既知領域において検索（ 2 0 0 3 ) する。次いで前記第 1構造特徴パッチに含まれる前記注目未知画素の周囲にある未知画素群の画素値を、第 2構造特徴パッチにおいて対応する配置にある画素の画素値で決定（2 0 0 4 ) する。最後に、前記特定画像領城に注目未知画素が含まれているか否かと判断（ 2 0 0 5 ) する。存在するなら、前記輪郭部分に含まれる別の前記注目未知画素に対して 2 0 0 1、 2 0 0 2、 2 0 0 3及び 2 0 0 4のステップを繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していく。存在しないなら、画像処理を終了する。

[ 0 0 2 9 ] また、本実施形態によれば、特定画像領域の構造特徴及びテクスチャ特徴を個別に識別しない。前記第 1構造特徴パッチの未知画素の値を第 2構造特徴パッチにおいて対応する配置の画素の値を置き換える（複製する）ことによって、特定画像領域の構造特徴及びテクスチャ特徴のマッチングを一緒に行うことができる。さらに、第 1構造特徴パッチの画素数をたとえば、 5 X 5、 7 X 7等とすることで、前記モルフォロジー収縮演算は 1画素ずつではなく、 5 X 5又は 7 X 7画素を単位として前記特定画像領域の輪郭に沿つて収縮していき、特定画像領域の未知画素の処理の高速化を可能にすることができる。本発明では、第 1構造特徴パッチ（第 2構造特徴パッチ）の画素数をたとえば、 5 X 5、 7 X 7または 9 X 9等とすることが好ましい。

また、本実施形態でいう、「置き換える」とは、第 2構造特徴パッチにおいて対応する配置の画素の値を完全に第 1構造特徴パッチの未知画素の値として複製する場合以外に、適宜に加工（エラー修正等）を加えて算出することもできる。

[ 0 0 3 0 ]

2 . 4 改良点の詳細

2 . 4 . 1 エラー蓄積回避方法

本方法では、境界部分に沿ったインペインティングの 1ループの後で、欠損領域と既知領域との間の境界部分に沿った新しいナローバンドが前のナローバンドに基づいて形成される。この場合、例えば、図 6のように、欠損領域 6 0 4を有するリアル画像（又は合成画像） 6 0 1に対し、インペインティング処理を施した結果、画像 6 0 2に示すようにエラー蓄積現象 6 0 5が起こりうることが分かる。すなわち、なんらかの理由で以前のナローバンドにおける情報に誤りがあった場合、次々と新しいナローバンドにその誤りが伝搬する可能性がある。

[ 0 0 3 1 ]

この問題を解決するため、各収縮ステップにおける構造特徴及びテクスチャ特徴の修復処理を改良する。すなわち、サーチ範囲の中心を、始めからずっとオリジナルの境界線に合わせる。そして、オリジナル画像からの情報しか信頼性がないという事実に基づき、オリジナル画像の内部にあるサーチ範囲の一部のみが用いられる。この処理は、図 7に示されており、次の 2つのステップを含む。まず、サーチ範囲 7 0 3の中心画素 7 0 4を、処理しようとする未知画素に最も近いオリジナルの境界線上で検索する。そして、そのサーチ範囲 7 0 3を、その中心画素 7 0 4に基づいて決定する。この時、オリジナルの境界部分 7 0 5 と処理進行後の境界部分 7 0 6の間にある、既に修復された領域（オリジナルの欠損領域）をサーチ範囲から排除する。つまり、ィンペインティング処理が進んで、輪郭部分が内側に移動しても、修復領域をサーチ範囲に加えず、例えばサーチ範囲 7 0 3内の斜線部分のみから類似した構造特徴パッチを探し続ける。言い換えれば、処理対象となる注目未知画素がォリジナルの欠損領域の内側になっても、第 2構造特徴パッチを検索する周辺領域の範囲には、オリジナルの欠損領域を含めない。この方法により、エラー蓄積現象を避けることができる（図 6の画像 6 0 3 ) 。

[ 0 0 3 2 ]

2 . 4 . 2 インペインティング処理の髙速化方法図 2に示された 2値画像の収縮処理では、各収縮ステップにおいて、一層の画素のみが収縮される。しかし、ここには、少なくとも以下の 2つの問題（1 ) 、（ 2 ) がある。隣接画素間の相互関係を無視すること、及び、収縮ループの各ステップにおいて、 1つの画素のみを修復することは、（ 1 ) 最適解とは言えず、完全に分析されきれていない情報を含み、（2 ) 修復スピードを低速化してしまう。

[ 0 0 3 3 ]

そこで、図 1や図 5に示したように各収縮ステップにおいて構造特徴及びテクスチヤ特徴の修復処理を行なえば、各インペインティングステップにおいて、 1画素のみならず複数画素を修復できるので、従来のテクスチャ合成インペインティングアルゴリズムに比べて処理は高速になり、同時に、情報の信頼性を示すナローバンドも維持される。具体的には、前記のように、本発明では、第 1構造特徴パッチ（第 2構造特徴パッチ）の画素数をたとえば、 5 X 5、 7 X 7または 9 X 9等とすることができる。

[ 0 0 3 4 ]

3 . 実験結果

本アルゴリズムは、図 8に示すように様々な画像の修復に適用される。画像中、塗りつぶされた領域が欠損領域である。 8 0 0 X 6 0 0画素のカラー画像の 1 8 % の画素を修復しょうとする場合、クロックが 1 . 2 G H zのコンピュータによって本実施形態で説明してきたアルゴリズムに基づくプログラム（C + + (登録商標）で書かれたもの）を実行すると、 5分で修復できる。一方同様の画像に対して同様のコンピュータで Javaで書かれた同様のプ口グラムを実行すると、約 2 0秒で修復できる。

[ 0 0 3 5 ]

図 8の例 1、例 2の結果を見れば、本インペインティングメソッドが、大きく太い欠損領域においてテクスチャ特徴と構造特徴をボケ為しに修復できることが分かる。図 8の例 3、例 4では、本方法を、様々な形状の欠損領城に対して実行している。図 9には、画像を加工する例を示している。図 1 0には、欠損領域 1 0 0 4を有する画像 1 0 0 1に対する処理について、他の方法との比較例を示している。これによれば、本方法の結果 1 0 0 3が、従前の方法の結果 1 0 0 2に比べて高品質であることがわかる。

[ 0 0 3 6 ]

これらの例を見れば、本方法が、テクスチャ特徴情報と構造特徴情報の両方を、既知領域から欠損領域へ受け渡すことにより、アイソフォトの連続性を維持することができ、完全且つ自然な、ボケの無い画像を出力できることが分かる。

[ 0 0 3 7 ]

4 . 結論

インペインティング処理とは、画像の欠損領域を修復する一つの手段である。過去の文献に開示された大部分のィンペインティングアルゴリズムは、理解及び実行するには複雑すぎた。本インペインティングアルゴリズムは、モルフォロジ一収縮処理及び構造特徴のマッチング処理に基づいて欠損領域を充填する新しいアルゴリズムである。言い換えれば、モルフォロジ一収縮処理と、構造特徴及びテクスチャ特徴のマツチング処理と組み合わせることにより、特定画像領域における未知の画像情報を、該特定画像領域の周辺領域の既知の画像情報に基づいて算出する。簡単に言えば、本画像処理方法は、以下の特徴を有する。

[ 00 3 8]

(1 ) 画像処理方法は、構造特徴及びテクスチャ特徴のマッチングアルゴリズムに基づき、大きく太い欠損領域又は細長い欠損領域の両方について、いくつかの構造特徴（輪郭線又は小さな曲率を持つカーブなど）をぼけさせることなく修復する。

[ 0 0 3 9]

(2) モルフォロジ一収縮処理に基づく画像処理方法により、各インペインティングステップにおいて、単一の画素ではなく複数画素を修復する。これにより、従来の多くのテクスチャ合成ィンペインティングアルゴリズムに比べて、高速に処理を行なうことが可能である。

[00 4 0]

これにより、パッチのテクスチャ特徴情報及び構造特徴情報を欠損領域に伝搬しつつアイソフォトの連続性を維持し、かつ、短時間に効果的にアルゴリズムを実行する。

[ 00 4 1 ]

5. 画像処理システム

5. 1 ハードウェア構成

図 1 1に、上述してきた画像処理方法を実現する画像処理システム 1 1 0 0を示す。 C PU 1 1 0 1は画像処理システム全体を制御する中央処理ュニットである。 ROM1 1 0 2は、 C PU 1 1 0 1によってブー卜される基本プログラムを格納したリードオンリ一メモリである。 RAM 1 1 0 3は、 HD 1 1 0 4に格納されたプ口グラムやデータを展開するための記憶領域を有するランダムアクセスメモリである。 HD 1 1 04は、ハードディスクであり、本実施形態の画像処理システムにおいては、 O S (オペレーションシステム） 1 1 0 5や、画像データ 1 1 0 6の他に、上述した画像処理方法を実行するプログラムとして、ィンペインティングアプリケ —シヨン 1 1 0 7を備えている。

[ 0 0 4 2]

ィンペインティングアプリケーション 1 1 0 7は、図のように、パラメータ設定モジュール 1 1 0 7 a と、画像処理領域設定モジュール 1 1 0 7 b と、画像処理モジュール 1 1 0 7 c と、画像描画モジュール 1 1 0 7 dとを備える。このうち、パラメータ設定モジュール 1 1 0 7 aは、ュ一ザの操作に応じて各種のパラメータを設定する。また、画像処理領域設定モジュール 1 1 0 7 bは、処理対象となる画像において、ユーザの操作に応じて或いは g動的に画像処理領域（いわゆる欠損領域）を設定する。更に、画像処理モジュール 1 1 0 7 cは、設定された画像処理領域に対して、周辺画像領域のデータを用いてィンペインティング処理を行なう。そして、画像描画モジュール 1 1 0 7 dは、各種の指示やタイミングに応じて、 O S 1 1 0 5の機能を利用して様々な画像を描画する。

[00 4 3]

本画像処理システム 1 1 0 0は更に、外部の画像入力装置 1 1 1 0から画像データを入力したり、ディスプレイ 1 1 1 1に画像データを出力したり、マウスやキーボードなどの入力装置 1 1 1 2から情報を入力したりするための、インタフェースである入出力部（ I ZO) 1 1 0 8を備えている。

[ 0 0 4 4]

5. 2 ユーザインターフェース

C PU 1 1 0 1が O S 1 1 0 5及び本実施形態に係るィンペインティングアプリケーシヨン 1 1 0 7を実行した場合に、ディスプレイ 1 1 1 1に表示されるユーザィンタフェースの一例を図 1 2に示す。図 1 2のュ一ザィンタフェース 1 2 0 0において、最上部には、「File」、「Inpainting」、「Extras」、「Help」の 4種類のコマンドを選択できるコマンドライン 1 2 0 1が設けられている。そして上から 2段目には、「0pen」、「SaveJ ゝ「Save AsJ、「Zoom -」、「（Zoom) ResetJ 、「Zoom+」、「Brush」、「ShapeJ 、「Area」、「By ColorJ 、「By AreaJ 、「UndoJ 、「Redo」、 inpaintingj 、「Pause」、「Stop」といったコマンドを選択できるアイコンライン 1 2 0 2が設けられ、各アイコンが状況に応じて選択可能となっている。アイコン「Brush」、「Shape」、「Area」、「By ColorJ 、「By AreaJ は、それぞれ、表示された画像に対して、画像処理を行なう領域（いわゆる欠損領域）を設定するためのコマンドに対応する。例えば、「Brush」は、ペンによって欠損領域を描くコマンドであり、「Shape」は、図形によって欠損領域を描くコマンドであり、「Area」は、ドラッグして囲むことにより欠損領域を描くコマンドである。更に、「By ColorJ は、開かれた画像データ中において共通の色値（又は色値範囲）を有する画素を一度に欠損領域として選択するコマンドである。「ByArea」は、選択された画素と共通の色値（又は色値範囲）を有する画素であって、選択された画素と連続するものを欠損領城として選択するコマンドである。

[ 0 0 4 5]

アイコンライン 1 2 0 2の下方には、画像表示ェリア 1 2 0 3が設けられ、 File メニューを選択して表示される Openコマンドの選択、或いは Openアイコンのクリックによって開かれた画像データ又は動画データを表示する。画像表示ェリア 1 2 0 3には、複数の画像デ一タを仮想的に重ねて表示することができるようになっており、上方に表示されたタブにより、一旦開かれた複数の画像データの中から、表示される画像データを切り替えることができる。

[ 0 0 4 6 ]

画像表示エリア 1 2 0 3の、右側には、各種パラメータを設定するためのダイァ口グがならんでいる。まず、アイコンライン 1 2 0 2の「Brush」を選択した場合の線の太さを設定するダイァログ 1 2 0 4、アイコンライン 1 2 0 2の「Brush」を選択した場合の線の端部形状（スクェアかラウンド力を設定するダイアログ 1 2 0 5が表示される。またその下方には、アイコンライン 1 2 0 2の「By Color」や「By Area」を選択した場合に用いられる色値範囲を決定する許容差ダイアログ 1 2 0 6 が表示されている。

[ 0 0 4 7]

更に下方には、アイコンライン 1 2 0 2において、「Shape」アイコンを選択した場合に描かれる図形（四角形、円形、多角形）を選択するダイアログ 1 2 0 7が表示される。

[ 0 0 4 8] さらに、動画データを開いた場合に、マスク（欠損領域）をコピーする対象となるフレームを設定するダイアログ 1 20 8が設けられている。これにより、動画データの複数のフレームにおいて同じマスクを用いてィンペインティング処理を行なうことが可能となる。

[0 04 9]

5. 3 処理の流れ

上述のィンペインティングアプリケーション 1 1 0 7を起動後の通常の処理の流れについて、図 1 3のフローチャートを用いて説明する。

[ 0 0 5 0 ]

まず、ステップ S 1 3 0 1において、 O S 1 1 0 5及びィンペインティングァプリケ一ション 1 1 0 7を実行中の C PU 1 1 0 1は、図 1 2における「0pen」アイコンの選択及び開くべき画像データの特定操作に応じて、 HD 1 2 04から処理対象画像データを読み込む。

[ 0 0 5 1 ]

次に、ステップ S 1 3 0 2において、 C PU 1 1 0 1は、 O S 1 1 0 5及ぴィンペインティングアプリケーション 1 1 0 7の機能を協働させて、読み込まれた処理対象画像を、ユーザィンタフエース 1 2 0 0の画像表示ェリア 1 2 0 3に描画する。

[ 0 0 5 2]

次に、ステップ S 1 3 0 3において、ユーザからの各種パラメータ設定、コマンド又はアイコンの選択、及ぴ、画像表示エリア 1 2 0 3に表示された画像上におけるカーソルの操作に応じて、描画画像に対する処理対象領域（欠損領域）を決定する。

[ 0 0 5 3 ]

更に、ステップ S 1 3 04において、ユーザによる「Inpainting」アイコンの選択などに応じて、処理対象領域に対してインペインティング処理を施す。そして、ステップ S 1 3 0 5において、処理中及び処理後の画像を描画する。

[0 0 5 4]

次に、ステップ S 1 3 0 6においては、ユーザによる指示に応じて、ィンペインティング処理前の状態に戻すか、保存するか、或いは追加的にインペインティング処理を行なうか等を選択する。これらの選択肢は一例に過ぎず、更に、処理対象領域が無い状態に戻すなど、他の処理を選択することもできる。

[0 0 5 5]

ステップ S 1 306において、 rundoj アイコンが選択されれば、ステップ S 1 3 0 に戻り、ィンペインティング処理前の画像を表示する。ステップ S 1 3 0 6 ίこおレヽて、「BrushJ 、「Shape」、「AreaJ 、「By ColorJ 又 ίま「By AreaJ アイコンが選択されると、それぞれ、インペインティング処理後の画像に対して、更に追加的にィンペインティング処理を行なうべく、ステップ S 1 30 3に戻る。

[ 0056 ]

ステップ S 1 3 0 6において、 rsavej アイコンゃ「Save asj アイコンが選択されれば、ステップ S 1 3 0 7に進み、インペインティング処理後の画像を上書き或いは新たに保存する。保存後、再度処理を行なう場合には、ステップ S 1 3 0 8からステップ S 1 3 0 3に戻ることもできるが、処理を終了する指示を受け付けた場合には、アプリケーションを終了する。

[ 0 0 5 7 ]

5 . 4 処理例

図 1 1乃至図 1 3を用いて説明したィンペインティングアプリケーションの実行例を図 1 4に示す。図 1 4に示されているように、インペインティング処理前の画像 1 4 0 1においては、子供の顔についたひっかき傷と鼻水が写ってしまっている。これに対し、「Brush」アイコンを選択後、画像 1 4 0 2に示すように、マウスなどでひっかき傷部分と鼻水部分とをドラッグしてなぞり、更に r inpaint ingj をクリックすれば、トータル 1 0秒ほどで画像 1 4 0 3が生成される。すなわち、非常に簡便且つ高速に画像の修正/加工を行なうことができる。

[ 0 0 5 8 ]

5 . 5 画像比較

更に、図 1 2のコマンドライン 1 2 0 1に含まれる「Extras」を選択した場合、画像比較コマンドが更に表示される。この画像比較コマンドが選択されると、 C P U 1 1 0 1は、ィンペインティング処理前後の 2つの画像を 1枚の画像に含めて描画し、図 1 5に示すように画像比較ウインドウ 1 5 0 1をディスプレイ 1 1 1 1に表示する。画像比較ウインドウ 1 5 0 1において、 1 5 0 2は、ィンペインティング処理前の画像を示し、 1 5 0 3は、インペインティング処理後の画像を示す。更に、ィンペインティング処理による変化率が、 1 5 0 4に示されている。

[ 0 0 5 9 ]

以上の画像比較処理により、ユーザは、インペインティング処理による画像処理を効果的に確認することができる。

[ 0 0 6 0 ]

5 . 6 ユーザインタフェースの他の例

本実施形態に係るィンペインティングアプリケーション 1 1 0 7によるユーザィンタフェースの他の例を図 1 6に示す。図 1 6のユーザィンタフェース 1 6 0 0は、図 1 2のユーザィンタフェース 1 2 0 0に加えて、処理の進埗を表示するパーセンテージバー 1 6 0 1 と、スピードと画質とをどのようなバランスで達成したいかを設定するスピードークオリティバー 1 6 0 2とを備えている。スピードを重視したい場合には、 ▽のマークを図中左側に移動させ、画質を重視したい場合には、 ▽のマークを図中右側に移動させればよい。そして、この▽の位置に応じて、図 5のサーチ範囲 5 0 3や、構造特徴パッチ 5 0 7、 5 1 1、構造要素 5 0 4の大きさを決定すればよい。

[ 0 0 6 1 ]

(他の実施形態）

本発明の他の実施形態として、上述の実施形態の機能を実現するソフトウエアのプログラムが举げられる。直接或いは遠隔から供給されたそのプログラムを、システム或いは装 Eのコンピュータが読み出して実行しても、同様の結果が得られるからである。その場合、プログラムの機能を有していれば、オブジェクトコード、ィンタプリタにより実行されるプログラム、 O Sに供給するスクリプトデータ等、プログラムの形態を問わない。また、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、 M〇、 CD-ROM, CD— R、 C D— RW、磁気テープ、不揮発性のメモリカード、 R〇M、 DVD (DVD-RO M, DVD-R) などの記録媒体に記憶されたプログラムも本発明の範嶋に含まれる。更に、インターネットのサイトからダウンロードされたプログラム又はサーバコンピュータにおいてダウンロード可能に記憶されたプログラムゃフアイルも本発明の範疇に含まれる。

[ 0 0 6 2]

さらに、一般的なコンピュータに含まれるオペレーションシステムやハードゥエァが提供する機能と協働することで、上記実施形態に示した機能を実現するプログラムも本発明の範疇に含まれるものとする。

[ 0 0 6 3 ]

[産業上の利用可能性]

画像処理装置及び画像処理アプリケーション、例えば、画像の加工を目的とするもの、画像の修復を目的とするもの、画像の合成を目的とするものなどに利用可能である。具体的には、人物が含まれた画像から人物を消す処理、更にその人物を他のキャラクター画像で置き換える処理、人物画像と背景画像との合成処理（境界部分を自然に見せる）などに利用でき、非常に高速に高品質の結果を得ることができる。

Claims

請求の範囲

[ 1 ] 特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理方法であって、

前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第 1構造特徴パツチを定義し、前記第 1構造特徴パツチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第 2構造特徴パツチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索ステツプと、

前記第 1構造特徴パッチに含まれる前記注目未知画素の画素値を、第 2構造特徴パツチにおいて対応する配置にある画素の画素値で決定する画素値決定ステップと、を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していくことを特徴とする画像処理方法。

[ 2 ] 前記画素値決定ステップでは、前記第 1構造特徴パッチに含まれる前記注目未知画素の周囲にある未知画素の画素値を、前記第 2構造特徴パツチで対応する配置にある画素の画素値によって置き換えることを特徴とする請求項 1に記載の画像処理方法。

[ 3 ] 前記検索ステップでは、輝度差の二乗和の最小値を用いて、前記第 1構造特徴パツチと類似する前記第 2構造特徴パツチを検索することを特徴とする請求項 1に記載の画像処理方法。

[ 4 ] 前記注目未知画素が前記特定画像領域の内側に移動しても、前記第 2構造特徴パッチを検索する周辺領域として、前記特定画像領域を含めないことを特徴とする請求項 1に記載の画像処理方法。

[ 5 ] モルフォロジ一収縮処理と、構造特徴及びテクスチャ特徴のマッチング処理とを組み合わせたィンペインティングアルゴリズムにより、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出することを特徴とする画像処理方法。

[ 6 ] 特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出する画像処理装置であって、

前記特定画像領域の輪郭部分に含まれる注目未知画素を中心とする所定の画素数を有する第 1構造特徴パツチを定義し、前記第 1構造特徴パツチに含まれる既知画素の画素値の配置と類似した画素値の配置を有し、同じ画素数を持つ第 2構造特徴パツチを、前記特定画像領域の前記周辺領域の既知領域において検索する検索手段と、前記第 1構造特徴パッチに含まれる前記注目未知画素の画素値を、前記第 2構造特微パッチで対応する配置にある画素の画素値で決定する画素値決定手段と、による、検索処理及び画素値決定処理を前記輪郭部分に含まれる別の前記注目未知画素に対して繰り返すことにより、前記輪郭部分から前記特定画像領域の内側に向かって画素値を決定していくことを特徴とする画像処理装置。

[ 7 ] 前記画素値決定手段では、前記第 1構造特徴パッチに含まれる前記注目未知画素の周囲にある未知画素の画素値を、前記第 2構造特徴パッチで対応する配置にある画素の画素値によって置き換えることを特徴とする請求項 6に記載の画像処理装置。

[ 8 ] 前記検索手段では、輝度差の二乗和の最小値を用いて、前記第 1構造特徴パッチと類似する前記第 2構造特徴パツチを検索することを特徴とする請求項 6に記載の画像処理装置。

[ 9 ] 前記注目未知画素が前記特定画像領域の内側に移動しても、前記第 2構造特徴パッチを検索する周辺領域として、前記特定画像領域を含めないことを特徴とする請求項 6に記載の画像処理装置。

[ 1 0 ] モルフォロジ一収縮処理と、構造特徴及びテクスチャ特徴のマッチング処理とを組み合わせたィンペインティングアルゴリズムにより、特定画像領域における未知の画像情報を、前記特定画像領域の周辺領域の既知の画像情報に基づいて算出することを特徴とする画像処理装置。

[ 1 1 ] コンピュータによつて実行されることにより、

請求項 1乃至 5の何れか 1項に記載の画像処理方法を実現する画像処理プロダラム。

[ 1 2 ] 請求項 1 1に記載の画像処理プログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。