JP2011170838A - 画像処理装置及び電子機器 - Google Patents

Abstract

【課題】画像上に写り込んでいる不要オブジェクトを簡便に除去する。
【解決手段】人物３１２が不要オブジェクトである場合、タッチパネル機能を利用してユーザが人物３１２を指定することで、人物３１２の画像領域が不要領域に設定される。画像補正部は、不要領域を含む補正対象領域３２０を設定する一方で、補正対象領域３２０から不要領域を除外した部分の画像をテンプレートとして用いて、その画像の類似領域を入力画像３１０内から探索する。類似領域３３１が見つかると、画像補正部は、類似領域３３１を包含する画像領域を補正パッチ領域３４０として設定し、補正対象領域３２０の画像データと補正パッチ領域３４０の画像データを混合することで補正対象領域３２０内の画像を補正する。
【選択図】図６

Description

本発明は、画像処理を行う画像処理装置及び画像処理機能を備えた電子機器に関する。

デジタルカメラを用いた写真撮影等によって得た任意のデジタル画像に、意図しない傷（傷のような模様）や、意図せず写りこんでしまった不要な物体が含まれることがある。画像編集ソフトウェアを用いてデジタル画像を編集（補正）すれば、これらの不要オブジェクト（不要な物体や模様等）をデジタル画像から除去することが可能である。

図１８（ａ）の符号９１０は、補正の対象となるデジタル画像を表している。入力画像９１０には二人の人物９１１及び９１２が現れている。人物９１１がユーザの注目人物であり、人物９１２がユーザにとっての不要オブジェクトであるとする。画像編集ソフトウェアでは、入力画像９１０を液晶ディスプレイ等の表示画面に表示させた状態で、ユーザによる編集操作を受け付ける。ユーザは、入力画像９１０上における人物９１１の画像領域を不要領域とみなし、適当な塗りつぶし色を用いて該不要領域を塗りつぶす編集操作を行う。これにより、ユーザは、不要オブジェクトが除去された所望の画像を得ることができる。図１８（ｂ）は、編集操作中における表示画像の様子を示しており、符号９１３は、塗りつぶし用のアイコン（筆を模したアイコン）を示している。

従来の画像編集ソフトウェアによる方法では、上記のような編集作業を全て手動で行う必要があり、非常に手間がかかる。特に、デジタルカメラ等の携帯型電子機器において、小型モニタ及び十字カーソルを用い、上記の細かな編集作業を行うことは非常に困難である。

尚、下記特許文献１及び２には、画像上の顔のしみやしわを除去する方法が提案されているが、この方法では、しみやしわ以外の不要オブジェクト除去に対応することができない。

特開２００９−２０８３４号公報 特開２００９−１８２４２３号公報

そこで本発明は、入力画像の対象領域内の画像を容易に補正することのできる画像処理装置及び電子機器を提供することを目的とする。

本発明に係る画像処理装置は、第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置において、前記補正部は、前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、を備えたことを特徴とする。

対象領域内の画像を補正するための補正用領域を画像データに基づいて自動的に抽出するようにすれば、ユーザの作業負担が軽減され、対象領域内の画像の補正が容易化される。

具体的には例えば、前記補正部は、前記第１入力画像に含まれる不要領域を指定し、該不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部を更に備え、前記補正用領域抽出部は、前記対象領域内の、前記不要領域以外の画像領域である残部領域の画像データを、前記第２入力画像の画像データと対比することにより、前記第２入力画像から前記補正用領域を検出して抽出するようにしても良い。

より具体的には例えば、前記補正用領域抽出部は、前記残部領域の画像特徴に類似する画像特徴を有する画像領域を前記第２入力画像内から探索し、探索された画像領域を内包する画像領域を前記補正用領域として前記第２入力画像から抽出するようにしても良い。

不要領域を含まない残部領域の類似領域を探索することで補正用領域を設定するようにすれば、不要オブジェクトの影響を受けることなく、不要オブジェクトの除去に適した補正用領域を抽出することが可能となる。

また例えば、当該画像処理装置に接続された表示部を用いて、前記補正用領域は明示されてもよい。

また例えば、前記補正処理部による補正の実行中又は実行後において、前記補正のやり直しが指示された場合、前記補正用領域抽出部は、既に抽出した補正用領域とは異なる画像領域を新たな補正用領域として前記第２入力画像から抽出しても良く、前記補正処理部は、新たに抽出された補正用領域内の画像を用いて、前記対象領域内の画像を補正しても良い。

また例えば、上記画像処理装置は、前記残部領域の画像特徴に類似する画像特徴を有する画像領域が前記第２入力画像内に複数存在する場合、その複数の画像領域の中から、前記補正用領域に含められるべき画像領域を外部操作に従って選択するようにしても良い。

また例えば、前記補正用領域抽出部は、前記対象領域内に人物の顔の画像が含まれている場合、前記第２入力画像から人物の顔の画像を検出する顔検出処理の結果を利用して、前記補正用領域を検出するようにしても良い。

また例えば、前記補正処理部は、設定された混合比率にて前記対象領域の画像データと前記補正用領域の画像データとを混合することにより前記対象領域内の画像を補正するようにしても良い。

また例えば、前記補正処理部は、設定された混合比率にて前記対象領域の画像データと前記補正用領域の画像データとを混合することにより前記対象領域内の画像を補正し、前記混合比率を、前記残部領域の画像特徴と前記補正用領域に含まれる画像領域の画像特徴との類似度に応じて設定するようにしても良い。

また例えば、上記画像処理装置は、前記混合比率を調整するための調整操作に従って前記混合比率を調整するようにしても良い。

また例えば、前記補正処理部は、前記対象領域の画像データと前記補正用領域の画像データとを互いに異なる複数の混合比率にて混合する処理を個別に実行することで複数の補正候補画像を生成し、前記複数の補正候補画像を表示部に表示させ、外部からの選択操作に従って前記複数の補正候補画像の中の１つを選択し、選択した補正候補画像に対応する混合比率を用いて前記対象領域内の画像を補正するようにしても良い。

また例えば、前記補正部は、第１補正処理部としての前記補正処理部に加えて、前記不要領域を縮小するための膨張処理を用いて前記対象領域内の画像を補正する第２補正処理部を、更に備え、前記不要領域の形状に応じて前記第１及び第２補正処理部を選択的に用いて、前記対象領域内の画像を補正するようにしても良い。

これにより、不要領域の形状に応じた適切な補正を成すことが可能となる。

また例えば、指定位置の入力を受け、前記指定位置が前記不要領域に内包されるように前記指定位置と前記第１入力画像の画像データに基づき前記不要領域を設定する不要領域設定部を、前記補正部に更に設けるようにしてもよい。

これにより、ユーザの操作負担の軽減が図られる。

また例えば、記補正処理部は、前記対象領域内の画像に対する補正を複数回に分けて段階的に実行し、段階的な補正の実行によって得られる複数の補正結果画像を、順次、表示部に出力しても良い。

また例えば、前記補正処理部は、前記対象領域内の画像に対する補正を複数回に分けて段階的に実行し、段階的な補正の実行によって得られる複数の補正結果画像を、同時に、表示部に出力しても良い。

本発明に係る電子機器は、上記の画像処理装置を備えたことを特徴とする。

本発明に係る他の電子機器は、第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置と、前記第１入力画像の全部又は一部を表示する表示部と、前記第１入力画像に含まれる不要領域を指定する不要領域指定操作を受け付けるとともに、前記不要領域内の画像の補正を指示する補正指示操作を受け付ける操作部と、を備えた電子機器であって、前記補正部は、前記不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部と、前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、を備え、前記補正指示操作に応じて前記対象領域内の画像を補正し、その補正が成された際、前記表示部は、補正後の対象領域内の画像を表示することを特徴とする。

対象領域内の画像を補正するための補正用領域を画像データに基づいて自動的に抽出するようにすれば、ユーザの作業負担が軽減され、対象領域内の画像の補正が容易化される。

また例えば上記他の電子機器において、前記補正部は、第１補正処理部としての前記補正処理部に加えて、前記不要領域を縮小するための膨張処理を用いて前記対象領域内の画像を補正する第２補正処理部を、更に備え、前記補正指示操作が成された際、前記不要領域の形状に応じて前記第１及び第２補正処理部を選択的に用いて、前記対象領域内の画像を補正するようにしても良い。

本発明によれば、入力画像の対象領域内の画像を容易に補正することのできる画像処理装置及び電子機器を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の全体的構成を表すブロック図である。 本発明の実施形態に係り、入力画像から出力画像を生成する画像補正部を示す図である。 二次元画像と二次元座標系ＸＹとの関係を示す図である。 図２の画像補正部に対する入力画像の例を示す図である。 図４の入力画像の一部である、補正対象領域内の画像を示す図（ａ）と、該画像から生成されたマスク画像を示す図（ｂ）である。 上記マスク画像の類似領域を示す図（ａ）と、その類似領域を包含する補正パッチ領域を示す図（ｂ）である。 図４の入力画像に基づく出力画像の例を示す図である。 上記マスク画像の類似領域が複数個検出された場合に設定される複数の補正パッチ領域候補を入力画像上に示した図（ａ）と、該複数の補正パッチ領域候補が表示画像上で強調される様子を示した図（ｂ）である。 画像データ混合の係数（ｋ_ＭＩＸ）を変化させた時における、補正対象画像の補正結果変化を示す図である。 補正対象領域内の画像が拡大表示されている時における表示画面の様子を示す図である。 補正対象領域内の画像が拡大表示されている時において、ユーザによりタッチパネル調整操作が成される様子を示す図である。 不要オブジェクト除去モードにおける、図１の撮像装置の動作フローチャートである。 不要領域と補正対象領域との関係を示す図である。 補正対象領域内の注目画素位置と補正対象領域の外周との距離を説明するための図である。 上記距離と画像データ混合の係数との関係例を示す図である。 図１２に示される調整処理の詳細フローチャートである。 図１に示される画像補正部の内部ブロック図である。 従来の画像編集ソフトウェアによる不要オブジェクト除去方法を説明するための図である。 本発明の第２実施形態に係る不要領域指定操作を説明するための図である。 本発明の第３実施形態に係り、入力画像内の指定位置を示す図である。 本発明の第３実施形態に係る後頭部検出処理を説明するための図である。 本発明の第３実施形態に係る線検出処理を説明するための図である。 本発明の第３実施形態に係る移動物体検出処理を説明するための図である。 本発明の第３実施形態に係る看板検出処理を説明するための図である。 本発明の第３実施形態に係るほくろの検出方法を説明するための図である。 本発明の第３実施形態に係る不要領域の設定動作フローチャートである。 本発明の第４実施形態に係り、不要オブジェクト除去モードにおける撮像装置の動作フローチャートである。 本発明の第４実施形態に係り、複数の補正結果画像が順次表示される様子を示す図である。 本発明の第４実施形態に係り、複数の補正結果画像が同時表示される様子を示す図である。 本発明の第４実施形態に係り、表示画面の表示内容例を示す図である。 本発明の第４実施形態に係り、表示画面の表示内容例を示す図である。 本発明の第４実施形態に係り、補正の再試行を説明するための図である。

以下、本発明の実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体的構成を表すブロック図である。撮像装置１は、符号１１〜１８によって参照される各部位を備える。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い。尚、表示部１６は、撮像装置１と異なる表示装置等に設けられたものである、と解釈するようにしても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部１１は、図示されない光学系、絞り、及び、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。

画像メモリ１２に記録された１フレーム周期分の画像データによって表される１枚分の画像を、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。また、或る画素に対する画像データを、画素信号と呼ぶことがある。画素信号は、例えば、画素の明るさを表す輝度信号及び画素の色を表す色差信号から成る。

撮影制御部１３は、ユーザの指示やフレーム画像の画像データに基づき、撮像部１１の画角（焦点距離）及び焦点位置並びに撮像素子への入射光量を調節する。

画像処理部１４は、フレーム画像に対して所定の画像処理（デモザイキング処理、ノイズ低減処理、エッジ強調処理など）を行う。

記録媒体１５は、不揮発性の半導体メモリや磁気ディスク等から成り、上記画像処理後のフレーム画像の画像データや、上記画像処理前のフレーム画像の画像データなどを記録する。表示部１６は、液晶ディスプレイパネル等から成る表示装置であり、フレーム画像等の表示を行う。操作部（操作受付部）１７は、ユーザによる操作を受け付ける。操作部１７に対する操作内容は主制御部１８に伝達される。主制御部１８は、操作部１７に対して成された操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。

表示部１６には所謂タッチパネル機能が設けられており、ユーザは、表示部１６の表示画面を操作体で触れることによりタッチパネル操作を成すことができる。操作体とは、指や所定のタッチペンである。タッチパネル機能の実現には操作部１７も関与しており、本実施形態では、タッチパネル操作も操作部１７に対する操作の一種であると考える（後述の他の実施形態においても同様）。操作部１７は、操作体が触れている、表示画面上の位置を逐次検出することによって、ユーザによるタッチパネル操作の内容を認識する。尚、以下の説明文中における表示及び表示画面とは、特に記述なき限り表示部１６における表示及び表示画面を指し、以下の説明文中における操作とは、特に記述無き限り操作部１７に対する操作を指す。

画像処理部１４には、画像補正部（補正部）３０が設けられている。図２に示す如く、画像補正部３０は、入力画像を補正する機能を備えており、補正が成された入力画像を出力画像として生成する。入力画像は、記録媒体１５に記録されている画像（撮像部１１の撮影によって得られた画像）であっても良いし、撮像装置１以外の装置より供給される画像（例えば、遠隔地にあるファイルサーバの記録画像）であっても良い。本明細書にて述べられる画像は、特に記述なき限り二次元画像である。

また、図３に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。二次元画像３００は、例えば、上記の入力画像、出力画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。また、本明細書では、画素位置（ｘ，ｙ）に配置された画素をも（ｘ，ｙ）にて参照することがある。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

［入力画像の補正方法］
端的に説明すると、画像補正部３０では、入力画像中に存在する不要オブジェクトの画像領域に類似しつつも不要オブジェクトを含まない画像領域を自動的に検出し、検出領域を補正パッチ領域として用いて不要オブジェクトの画像領域を補正することで（単純には不要オブジェクトの画像領域を補正パッチ領域にて置き換えることで）出力画像を生成する。画像補正部３０による補正処理は、記録媒体１５に記録されている画像等を表示部１６にて再生表示する再生モードにて実行される。以下の説明は、特に記述なき限り、再生モードにおける撮像装置１の動作説明である。入力画像の補正方法を詳細に説明する。

図４の符号３１０は、補正の対象となる入力画像を表している。入力画像３１０は表示部１６に表示される。ユーザにとって不要な物体又は模様等が入力画像３１０に存在しており、ユーザが、その不要な物体又は模様等を入力画像３１０から排除することを望んでいることを想定する。不要な物体又は模様等を、不要オブジェクトと呼ぶ。不要オブジェクトの画像データが存在している画像領域を不要領域と呼ぶ。不要領域は、入力画像の全画像領域の一部であって、不要オブジェクトを含む閉じた領域である。

図４に示す如く、入力画像３１０には二人の人物３１１及び３１２が現れている。人物３１１がユーザの注目人物であり、人物３１２がユーザにとっての不要オブジェクトであるとする。この場合、ユーザは、不要領域を指定する不要領域指定操作を操作部１７に対して成す。不要領域指定操作が成される際、入力画像３１０の全体が表示画面に表示される。或いは、不要オブジェクトが拡大表示されるように、入力画像３１０の一部が表示画面に表示される。ユーザは、不要領域の指定を容易とするべく、この拡大表示をなすべきことを、操作部１７を介して撮像装置１に指示することができる。

不要領域指定操作を、タッチパネル操作によって実現することができる。例えば、不要オブジェクトとしての人物３１２が表示されている位置を操作体を用いて指定することにより不要領域を指定することができる。画像補正部３０は、人物３１２の表示位置が指定された場合、入力画像３１０の画像データに基づく公知の輪郭追跡等を用いて人物３１２の輪郭を抽出し、人物３１２の輪郭にて囲まれる画像領域を不要領域として設定することができる。但し、不要領域の輪郭をユーザが直接指定することも可能である。尚、タッチパネル操作以外の操作（例えば、操作部１７に設けられた十字キーに対する操作）によって、不要領域指定操作を成すことも可能である。

画像補正部３０は、不要領域の指定が成されると、不要領域を内包する画像領域を補正対象領域として設定する。不要領域は、補正対象領域の一部である。補正対象領域の設定は、ユーザの操作に依らず自動的に成される。但し、ユーザが、補正対象領域の位置及び大きさを指定するようにしても良い。図４において、破線で囲まれた領域が補正対象領域３２０であり、図５（ａ）に、補正対象領域３２０内の画像である補正対象画像３２１を示す。今、不要領域の輪郭は人物３１２の輪郭そのものであるとする。

補正対象領域３２０の設定後、画像補正部３０は、補正対象領域３２０内の不要領域の部分のみをマスクした画像をマスク画像３２２として作成する。図５（ｂ）はマスク画像３２２のイメージ図である。図５（ｂ）において、斜線領域はマスクの成されている領域を表す。補正対象領域３２０を、不要領域とそれ以外の画像領域（残部領域）とに分解することができるが、後者の画像領域の画像データのみから形成される画像（穴あき二次元画像）がマスク画像３２２である。

マスク画像３２２の設定後、画像補正部３０は、マスク画像３２２の画像データと入力画像３１０の画像データ（但し、補正対象領域３２０以外の画像データ）との対比に基づく画像マッチング等を用いて、マスク画像３２２に類似する画像を持つ画像領域（以下、マスク画像３２２の類似領域という）を入力画像３１０内から探索する。即ち例えば、マスク画像３２２をテンプレートとして用い、マスク画像３２２の画像特徴に類似する画像特徴を有する画像領域を入力画像３１０内から探索する。そして、探索した類似領域を内包する画像領域を補正パッチ領域（補正用領域）として入力画像３１０から抽出する。

例えば、マスク画像３２２の画像領域と同一の大きさ及び形状を有する評価領域を入力画像３１０上に設定し、マスク画像３２２内の画素信号と評価領域内の画素信号とのＳＳＤ（Sum of Squared Difference）又はＳＡＤ（Sum of Absolute Difference）を求め、ＳＳＤ又はＳＡＤに基づき、マスク画像３２２及び評価領域間の類似度（換言すれば、マスク画像３２２と評価領域内の画像との類似度）を定める。類似度は、ＳＳＤ又はＳＡＤが増加するに従って減少し、ＳＳＤ又はＳＡＤが減少するに従って増加する。マスク画像３２２内の画素信号（例えば輝度値）と評価領域内の画素信号（例えば輝度値）との差の二乗値を、マスク画像３２２及び評価領域の対応画素間で求めたとき、マスク画像３２２の全画素について求めた二乗値の合計値がＳＳＤである。マスク画像３２２内の画素信号（例えば輝度値）と評価領域内の画素信号（例えば輝度値）との差の絶対値を、マスク画像３２２及び評価領域の対応画素間で求めたとき、マスク画像３２２の全画素について求めた絶対値の合計値がＳＡＤである。画像補正部３０は、入力画像３１０上において評価領域を水平又は垂直方向に１画素ずつ移動させながら、移動の度に、ＳＳＤ又はＳＡＤと類似度とを求める。そして、求めた類似度が所定の基準類似度以上となる評価領域を、マスク画像３２２の類似領域として検出する。つまり、或る注目画像領域がマスク画像３２２の類似領域であるとは、その注目画像領域内の画像とマスク画像３２２との間の類似度が所定の基準類似度以上であることを指す。

今、図６（ａ）に示す画像領域３３１が、マスク画像３２２の類似領域として探索されたとする。この場合、画像補正部３０は、画像領域３３１を内包する、図６（ｂ）に示す補正パッチ領域３４０を設定する。画像領域３３１は図６（ａ）において斜線で満たされた領域であり、補正パッチ領域３４０は図６（ｂ）において斜線で満たされた領域である。画像領域３３１の形状及び大きさはマスク画像３２２のそれらと同じであり、補正パッチ領域３４０の形状及び大きさは補正対象領域３２０のそれらと同じである。画像領域３３１は、矩形領域の一部が欠落した領域であるが、補正パッチ領域３４０には該欠落はない。補正パッチ領域３４０は、その欠落した領域と画像領域３３１とを合成した領域である。

画像補正部３０は、補正パッチ領域３４０の設定後、補正対象領域３２０内の画像データと補正パッチ領域３４０内の画像データを混合することで（換言すれば加重加算することで）、補正対象領域３２０内の画像を補正する。その混合によって得られた画像データは、出力画像における補正対象領域３２０内の画像データとして取り扱われる。即ち、入力画像３１０に基づく出力画像は、入力画像３１０に対して上記混合を施して得た画像である。

図７に、入力画像３１０に基づく出力画像の例としての出力画像３５０を示す。補正対象領域３２０内の画像データが入力画像３１０及び出力画像３５０間で異なる以外、入力画像３１０及び出力画像３５０は同じものである。出力画像３５０は、補正パッチ領域３４０内の画像データの混合比率を相当に高く設定した場合に得られ、出力画像３５０において、人物３１２は全く或いは殆ど見られない。補正パッチ領域３４０内の画像データの混合比率（後述の係数ｋ_ＭＩＸの値）は１であっても良く、その混合比率が１の場合、補正対象領域３２０内の画像データが補正パッチ領域３４０内の画像データそのものにて置き換えられることになる。このように、補正対象領域３２０内の画像を補正パッチ領域３４０内の画像を用いて補正する処理を入力画像３１０に施すことで、出力画像３５０は得られる。

補正対象領域３２０内の或る画素位置が（ｘ_１，ｙ_１）であって、且つ、画素位置（ｘ_１，ｙ_１）に配置された画素に対応する、補正パッチ領域３４０内の画素の画素位置が（ｘ_２，ｙ_２）である場合、出力画像３５０の画素位置（ｘ_１，ｙ_１）における画素信号Ｐ_ＯＵＴ（ｘ_１，ｙ_１）は、下記式（１）に従って算出される。
Ｐ_ＯＵＴ（ｘ_１，ｙ_１）＝（１−ｋ_ＭＩＸ）・Ｐ_ＩＮ（ｘ_１，ｙ_１）＋ｋ_ＭＩＸ・Ｐ_ＩＮ（ｘ_２，ｙ_２）
・・・（１）

ここで、Ｐ_ＩＮ（ｘ_１，ｙ_１）及びＰ_ＩＮ（ｘ_２，ｙ_２）は夫々入力画像３１０の画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素信号を表している。入力画像３１０上において、補正対象領域３２０の中心位置を右側にΔｘ画素分だけ且つ下側にΔｙ画素分だけ移動した位置が補正パッチ領域３４０の中心位置であるならば、ｘ_２＝ｘ_１＋Δｘ且つｙ_２＝ｙ_１＋Δｙである（Δｘ及びΔｙは整数）。画素信号Ｐ_ＩＮ（ｘ_１，ｙ_１）及びＰ_ＩＮ（ｘ_２，ｙ_２）は、入力画像３１０の画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。同様に、画素信号Ｐ_ＯＵＴ（ｘ_１，ｙ_１）は、出力画像３５０の画素位置（ｘ_１，ｙ_１）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。各画素信号がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ_ＩＮ（ｘ_１，ｙ_１）及びＰ_ＩＮ（ｘ_２，ｙ_２）を混合することにより画素信号Ｐ_ＯＵＴ（ｘ_１，ｙ_１）を得ればよい。画素信号Ｐ_ＩＮ（ｘ_１，ｙ_１）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

画像補正部３０は、係数ｋ_ＭＩＸの値を、「０＜ｋ_ＭＩＸ≦１」を満たす範囲内で決定する。係数ｋ_ＭＩＸは出力画像３５０に対する補正パッチ領域３４０の混合比率（加重加算比率）に相当し、係数（１−ｋ_ＭＩＸ）は出力画像３５０に対する補正対象領域３２０の混合比率（加重加算比率）に相当する。

仮に、補正対象領域３２０内の画像３２１（図５（ａ）参照）そのものをテンプレートとして用いて補正パッチ領域を探索すると、人物３１１を含む画像領域が補正パッチ領域として設定される可能性が高くなる。人物３１１を含む画像領域が補正パッチ領域として設定されると、上記の画像データの混合（加重加算）により、補正後の補正対象領域に人物３１１の像が現れてしまう。このような像の出現は望まれない。これを考慮し、画像補正部３０では、不要領域をマスクしたマスク画像３２２を用いて補正パッチ領域を探索、設定する。このため、不要オブジェクトの影響を受けることなく、不要オブジェクトの除去に適した補正パッチ領域を検出することが可能となる。

尚、マスク画像３２２の類似領域が複数個検出された場合には、その検出された複数の類似領域の中から、補正パッチ領域に含められるべき類似領域をユーザに選択させると良い。例えば、マスク画像３２２の類似領域として５つの類似領域が探索された場合、画像領域３３１から補正パッチ領域３４０を設定したのと同様の方法を用いて（図６（ａ）及び（ｂ）参照）、各類似領域に対応する補正パッチ領域候補を設定する。図８（ａ）の符号３６１〜３６５は、ここで設定した５つの補正パッチ領域候補を表している。各補正パッチ領域候補の設定後、画像補正部３０は、補正対象領域３２０及び補正パッチ領域候補３６１〜３６５を明示した、図８（ｂ）に示すような表示画像３６０を表示部１６に表示させる。表示画像３６０は、補正対象領域３２０及び補正パッチ領域候補３６１〜３６５を視認させるための枠を入力画像３１０に重畳した画像である。表示画像３６０を表示している状態において、操作部１７は、補正パッチ領域候補３６１〜３６５の中の１つを選択する選択操作（タッチパネル操作を含む）を受け付け、その選択操作が成された際、画像補正部３０は、選択された補正パッチ領域候補を補正パッチ領域として設定する。このような選択操作を可能にしておくことにより、ユーザに大きな操作負担を課すことなく、不要オブジェクトの除去により適した補正パッチ領域を設定することが可能となる

また、上述の例では、入力画像３１０内でマスク画像３２２の類似領域を探索するようにしているが、入力画像３１０と異なる入力画像３７０（不図示）内でマスク画像３２２の類似領域を探索し、入力画像３７０から補正パッチ領域を抽出するようにしてもよい。これにより、入力画像３１０にマスク画像３２２の類似領域が含まれない場合でも、不要オブジェクトを良好に除去することが可能なる。但し、以下の各説明では、特に記述なき限り、共通の入力画像内に補正対象領域及び補正パッチ領域が設定されることを想定する。入力画像３７０は、入力画像３１０と同様、記録媒体１５に記録されている画像（撮像部１１の撮影によって得られた画像）であっても良いし、撮像装置１以外の装置より供給される画像（例えば、遠隔地にあるファイルサーバの記録画像）であっても良い。

また、上述の説明では、補正対象領域３２０内の画像データのみを用いてマスク画像３２２を形成しているが、補正対象領域３２０の周辺画素の画像データをもマスク画像３２２に含めた上で、マスク画像３２２の類似領域の探索及び探索結果に基づく補正パッチ領域の設定を行うようにしても良い。即ち例えば、補正対象領域３２０を内包する、補正対象領域よりも大きな画像領域に注目し、その注目画像領域から不要領域を除外して残った領域より形成される画像をマスク画像３２２として用いるようにしても良い。

また、人間の肌や毛などを補正する場合、人間の体の各部位（顔、眼、鼻、腕など）の位置情報（入力画像上における位置を表す情報）を利用して補正パッチ領域を設定するようにしても良い。例えば、入力画像上に第１及び第２人物の顔が含まれている場合において、第１人物の目尻のしわが不要オブジェクトであるとき、まず、画像補正部３０は、入力画像の画像データに基づく顔検出処理によって第１人物の顔を含む顔領域と第２人物の顔を含む顔領域を入力画像から検出すると共に各顔領域において目尻の存在する部分の画像領域を特定する。そして、第１人物の目尻の存在する部分の画像領域を補正対象領域に設定する一方で、第２人物の目尻の存在する部分の画像領域を補正パッチ領域に設定し、補正対象領域の画像データと補正パッチ領域の画像データを混合することによって、或いは、補正対象領域を補正パッチ領域にて単純に置き換えることによって、入力画像を補正するようにしてもよい。第２人物の目尻にしわが存在していなければ、この補正によって得られる出力画像上において、第１人物の目尻のしわは目立たなくなる或いは第１人物の目尻にしわは存在しなくなる。このような方法を用いれば、テンプレートを用いたマッチングで類似領域が検出できない場合でも、所望の不要オブジェクト除去が可能となる。

［補正強度の調整機能］
画像補正部３０は、上記の係数ｋ_ＭＩＸの値を調整することで補正対象領域３２０の補正強度（補正量）を調整する機能を備える。例えば、マスク画像３２２の画像特徴と補正パッチ領域３４０に含まれる画像領域３３１（図６（ａ）及び（ｂ）参照）の画像特徴との類似度ＤＳ（類似の度合い）に応じて、画像補正部３０は、係数ｋ_ＭＩＸの値を決定することができる。類似度ＤＳが低い場合において出力画像に対する補正パッチ領域３４０の寄与度（ｋ_ＭＩＸ）を高く設定しすぎると、補正部分の境界が目立ち、不自然な出力画像が得られることがある。これを考慮し、画像補正部３０は、類似度ＤＳが大きいほど係数ｋ_ＭＩＸの値が大きくなり且つ類似度ＤＳが小さいほど係数ｋ_ＭＩＸの値が小さくなるように、類似度ＤＳに応じて係数ｋ_ＭＩＸの値を調整する。これにより、補正部分の境界が目立ちにくくなる。

尚、補正対象領域内の画像データと補正パッチ領域内の画像データを混合することによる補正は、補正パッチ領域内の画像データを補正対象領域内に移植する方法であるとも言える（ｋ_ＭＩＸ＝１の場合には、補正パッチ領域内の画像データが完全に移植されるが、ｋ_ＭＩＸ＜１の場合には、不完全な移植が成される）。また、補正対象領域内の画像データと補正パッチ領域内の画像データを混合することによる補正を、以下、特に混合補正と呼び、混合補正後の補正対象領域内の画像を混合結果画像と呼ぶ。

図９に、係数ｋ_ＭＩＸを変化させた時における、補正対象画像の補正結果変化を示す。図９において、画像３８１〜３８４の夫々は、補正対象領域３２０及び補正パッチ領域３４０に基づく混合結果画像を表している。但し、画像３８２、３８３及び３８４は、夫々、係数ｋ_ＭＩＸが０．３、０．７及び１．０である時の混合結果画像を表しており、画像３８１は係数ｋ_ＭＩＸが殆どゼロである時の混合結果画像を表している。このように、係数ｋ_ＭＩＸを増大させるに従って補正対象領域３２０の補正強度が増大して不要オブジェクトの除去度合いが大きくなる。

また、ユーザは操作部１７に対して所定の調整操作を施すことにより係数ｋ_ＭＩＸを調整することができる。以下に示すような調整操作を利用することで、簡単な作業で不要オブジェクトの像を薄くしつつ補正部分の境界が目立ちにくくする、といったことが可能となる。調整操作として、タッチパネル機能を利用したタッチパネル調整操作を採用することができる。

タッチパネル調整操作を含む調整操作の実行時において、画像補正部３０は、補正前又は補正後の補正対象領域３２０内の画像を表示画面に拡大表示させることができる。ユーザが、この拡大表示をすべきことを撮像装置１に指示することもできる。図１０に、補正対象領域３２０内の画像が拡大表示されている時における表示画面の様子を示す。図１０及び後述の図１１において、斜線領域は表示部１６の筐体を表しており、斜線領域の内側に位置している部分が表示画面を表している。調整操作によって係数ｋ_ＭＩＸが変更されると、即時、補正対象領域３２０に対する混合補正が変更後の係数ｋ_ＭＩＸを用いて成され、変更後の係数ｋ_ＭＩＸを用いて生成された混合結果画像が表示画面に表示される。

タッチパネル調整操作を用いる場合、
表示部１６の表示画面上で操作体を振動運動させるときにおける操作体の振動回数、
上記振動運動における操作体の振動の周波数、
上記振動運動における操作体の移動の速度、
上記振動運動における操作体の振動の振幅、
表示画面上における操作体の移動方向、
表示画面に触れている操作体の個数（例えば指の本数）、及び
表示画面に対して操作体が付与する圧力の大きさ、の内の、少なくとも１つに応じて係数ｋ_ＭＩＸを調整することができる。
勿論、タッチパネル調整操作が成される時における操作体は、表示部１６の表示画面上に触れているものとする。

図１１に、操作体が指である時における、上記振動運動のイメージ図を示す。上記振動運動とは、表示画面と操作体との接触位置を表示画面上の第１及び第２位置間で往復させる運動を指す。ここで、第１及び第２位置は互いに異なる位置である。第１及び第２位置は、或る程度の広がりを有する位置を解釈されるべきであり、第１及び第２位置を夫々第１及び第２表示領域と言い換えることもできる。

例えば、係数ｋ_ＭＩＸの値が或る基準値である状態を起点として、上記振動回数が増大するに従って係数ｋ_ＭＩＸを増大又は減少させるようにしても良い。この場合、上記振動回数が１回増えるごとに、係数ｋ_ＭＩＸがΔｋずつ増加又は減少する（Δｋ＞０）。また、上記振動回数によって係数ｋ_ＭＩＸを増大又は減少させる場合、上記周波数、速度又は振幅が増大するに従って係数ｋ_ＭＩＸの単位変化量であるΔｋを増大させるようにしても良い。
典型的には、上記振動回数が増大するに従って係数ｋ_ＭＩＸを増大させるようにすると良い。この場合、操作体を表示画面上で往復運動させる度に不要オブジェクトが薄れていく様子が表示画面上で確認される。また、上記速度等の増大に伴うΔｋの増大も実行するようにすれば、操作体を表示画面上でより速く往復運動させる度に不要オブジェクトがより素早く薄れていく様子が表示画面上で確認される。つまり、紙面上の不要記載を消しゴムで消すかのような直感的なユーザインターフェースを実現することができる。

尚、ｋ_ＭＩＸ＝０であるならば補正対象領域内の画像が全く補正されないため、原則として「０＜ｋ_ＭＩＸ≦１」を満たす範囲内で係数ｋ_ＭＩＸが調整されるのであるが、補正の効果確認等のため、調整操作の実行時に限ってはｋ_ＭＩＸはゼロとされうる。調整操作によってｋ_ＭＩＸがゼロよりも大きく設定されたならば、ｋ_ＭＩＸの値に従って補正対象領域内の画像が補正されることとなる。従って、調整操作は、補正対象領域内の画像（不要領域内の画像）の補正を指示する操作であるとも言える。

また例えば、表示画面上における操作体の移動方向に応じて係数ｋ_ＭＩＸの増減方向を決定するようにしても良い。つまり例えば、上記移動方向が表示画面の水平方向と平行であるならば係数ｋ_ＭＩＸを増大方向に調整し、上記移動方向が表示画面の垂直方向と平行であるならば係数ｋ_ＭＩＸを減少方向に調整するようにしても良い（勿論、この逆でも良い）。操作体の移動方向による係数ｋ_ＭＩＸの増減方向決定と操作体の振動運動による係数ｋ_ＭＩＸの調整とを組み合わせることが可能であり、この組み合わせを行った場合、操作体の振動運動における操作体の移動方向に応じて係数ｋ_ＭＩＸを増大方向に変更するのか或いは係数ｋ_ＭＩＸを減少方向に変更するのかを決定すればよい。

また例えば、表示画面に触れている操作体の個数に応じて、係数ｋ_ＭＩＸの変化量や係数ｋ_ＭＩＸの増減方向を決定するようにしても良い。上記個数による係数ｋ_ＭＩＸの変化量決定と操作体の振動運動による係数ｋ_ＭＩＸの調整とを組み合わせることが可能であり、この組み合わせを行った場合、例えば、上記個数が増大するにつれてΔｋを増大させると良い。この場合、１つの操作体を表示画面上で振動運動させたときよりも、２つの操作体を表示画面上で振動運動させたときの方が、速く係数ｋ_ＭＩＸが変化していくこととなる。また、上記個数による係数ｋ_ＭＩＸの増減方向決定と操作体の振動運動による係数ｋ_ＭＩＸの調整とを組み合わせることが可能であり、この組み合わせを行った場合、表示画面上で振動運動を行う操作体の個数に応じて係数ｋ_ＭＩＸを増大方向に変更するのか或いは係数ｋ_ＭＩＸを減少方向に変更するのかを決定すればよい。

また例えば、表示画面に対して操作体が付与する圧力の大きさが大きくなるほど、係数ｋ_ＭＩＸを大きくするようにしても良い（その逆でも良い）。また、圧力の大きさと振動運動を組み合わせて係数ｋ_ＭＩＸの調整を行うようにしても良い。この場合、例えば、圧力の大きさが増大するにつれてΔｋを増大させた上で、操作体の振動運動による係数ｋ_ＭＩＸの調整を行うようにしても良い。

尚、係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を、タッチパネル調整操作以外の調整操作にて成すことも可能である。例えば、操作部１７にスライダー式スイッチやダイヤル式スイッチが設けられている場合には、それらのスイッチに対する操作を調整操作として用いて、係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を行うようにしても良い。操作部１７にトグルスイッチが設けられている場合には、トグルスイッチに対する操作に応じて係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を行うようにしても良い。また、調整用メニュー（例えば、補正強度の強／中／弱を選択させるメニュー）を表示画面に表示し、調整用メニューに対応したユーザの操作に応じて、係数ｋ_ＭＩＸの増減方向決定及び係数ｋ_ＭＩＸの変更を行うようにしても良い。

また、タッチパネル調整操作によって補正強度を調整している時、混合結果画像の表示位置によっては、混合結果画像が操作体に隠れて確認しづらくなる。そこで、タッチパネル調整操作による補正強度の調整時（係数ｋ_ＭＩＸの調整時）には、操作位置以外の表示位置に混合結果画像を表示すると良い。これにより、補正強度の調整が容易となる。操作位置とは、表示画面と操作体の接触位置を含み、更に、操作体が表示画面に接触すると予想される位置（例えば、上記振動運動における、表示画面及び操作体間の接触位置の軌跡上の位置）をも含みうる。加えて、表示画面の下方側にはユーザの手の甲などが存在することが想定されるため、表示画面の上方側に混合結果画像を表示するとよい。

また、画像補正部３０において以下のような処理を行うようにしても良い。
係数ｋ_ＭＩＸに代入されるべき、互いに異なる第１〜第ｎの係数値を用意し、第ｉの係数値を係数ｋ_ＭＩＸに代入した状態で混合補正を行うことにより第ｉの混合結果画像を生成する（ｎは２以上の整数であって、ｉは１以上ｎ以下の整数）。この生成処理を、ｉが１、２、・・・（ｎ−１）、ｎの夫々であるときに対して実行することで、第１〜第ｎの混合結果画像を生成し、得られた第１〜第ｎの混合結果画像（補正候補画像）を表示画面に表示させる。この表示を行っている状態で、操作部１７は、第１〜第ｎの混合結果画像の内の１つを選択する選択操作を受け付ける。画像補正部３０は、その選択操作にて選択された混合結果画像を用いて出力画像を生成する。例えば、ｎ＝３である場合、第１〜第３の混合結果画像としての混合結果画像３８２〜３８４（図９参照）を生成し、混合結果画像３８２〜３８４を表示画面に表示する。そして例えば、上記選択操作によって画像３８３が選択されたならば、画像３８３を用いて出力画像を生成する。即ち、画像３８３に対応する係数ｋ_ＭＩＸ（＝０．７）を用いた混合補正にて入力画像３１０の補正対象領域３２０を補正し、この補正によって得られた混合結果画像３８３を内包する出力画像を生成する。このような処理を可能としておくことにより、ユーザは簡単な作業で所望の補正結果（出力画像）を得ることが可能となる。

［膨張処理による補正］
不要オブジェクトを画像処理で除去する方法は、移植法と膨張法に大別される。移植法は、上述したような、補正対象領域とは別の画像領域内の画像を用いて補正対象領域内の不要オブジェクトを除去する方法である。膨張法は、不要領域の周辺領域を膨張させる膨張処理を用いることで不要領域を縮退（shrinking）又は完全消滅させる方法である。移植法では、類似領域が入力画像から見つからない場合に、補正ができないという問題がある。一方、膨張法では、不要オブジェクトが細い線状のもの（文字や電線など）である場合には違和感なく不要オブジェクトを除去することができるが、不要オブジェクトがある程度の厚みを持つ場合には単色で塗りつぶしたような補正結果が得られ、補正部分の境界が目立つというデメリットがある。これらの特性を考慮し、不要領域の形状が細線状である場合には膨張法によって補正対象領域を補正し、そうでない場合には移植法によって補正対象領域を補正するようにしても良い。これにより、不要領域の形状に応じた最適な補正が行われるようになる。

膨張法を用いる場合、画像補正部３０は、入力画像の補正対象領域の画像データのみに基づき膨張処理を用いて補正対象領域内の画像を補正する。補正方法の具体的切り替え方法、及び、膨張処理を用いた補正対象領域の具体的補正方法は、後述される。

［動作フローチャート］
次に、画像補正部３０の動作に特に着目した、撮像装置１の動作の流れを説明する。図１２は、この動作の流れを表すフローチャートである。

再生モードにて、ユーザは、記録媒体１５等に記録されている所望の画像を表示部１６に表示させることができる。表示されている画像に不要オブジェクトが写りこんでいる場合、ユーザが操作部１７に対して所定操作を成すことで、撮像装置１の動作モードは、再生モードの一種である不要オブジェクト除去モードに移行する。図１２に示される各ステップの処理は、不要オブジェクト除去モードにて実行される処理である。この不要オブジェクト除去モードにおける入力画像及び出力画像を、夫々、記号Ｉ_ＩＮ及びＩ_ＯＵＴによって参照する。

不要オブジェクト除去モードでは、まず、ユーザの指示に従って入力画像Ｉ_ＩＮの不要領域周辺が拡大表示され、この状態でユーザは不要領域指定操作を成す。画像補正部３０は、ステップＳ１１においてユーザの不要領域指定操作に基づき不要領域を設定した後、ステップＳ１２において該不要領域を内包する矩形領域を補正対象領域Ａとして設定する。図１３に示す如く、この矩形領域は、例えば、不要領域に外接する長方形（換言すれば、不要領域を取り囲むことのできる最小の長方形）を基準として、該長方形の大きさを上下左右に夫々Δ画素分だけ拡大した領域である（Δは正の整数）。補正対象領域Ａの中心位置と不要領域の中心位置は同じであるとする。Δの値を予め定めた固定値とすることができる。但し、補正対象領域Ａから不要領域を除いて残った領域の面積が所定の基準面積（例えば、１０２４画素に相当する面積）未満になる場合には、その面積が基準面積以上になるようにΔの値を調整するようにしても良い。

補正対象領域Ａの設定後、ステップＳ１３において、画像補正部３０は、補正対象領域３２０からマスク画像３２２を生成したのと同様の方法により補正対象領域Ａに基づくマスク画像Ａ_ＭＳＫを生成する。補正対象領域Ａ及びマスク画像Ａ_ＭＳＫは、夫々、上述の補正対象領域３２０及びマスク画像３２２に対応する。

続くステップＳ１４において、画像補正部３０は、不要領域の形状が細線状であるか判定する。具体的には、まず、補正対象領域Ａ内の画像を二値化画像に変換する。この二値化画像では、不要領域に属する画素の画素値が「０」とされ且つそれ以外の画素の画素値が「１」とされる。そして、その二値化画像における不要領域が縮退する方向に、該二値化画像に膨張処理（モフォロジー膨張処理とも呼ばれる）を施す。画素（ｘ，ｙ）又は画素（ｘ，ｙ）の８近傍画素の少なくとも１つに「１」の画素値が存在する場合、膨張処理によって画素（ｘ，ｙ）の画素値は「１」に設定される。このような膨張処理を上記二値化画像に対して所定回数（例えば５回）実行することで得られる画像上において不要領域の面積がゼロである場合（即ち、「０」の画素値を有する領域が存在しなくなった場合）、不要領域の形状は細線状であると判断し、そうでない場合には、不要領域の形状は細線状でないと判断する。

不要領域の形状が細線状でないと判断された場合（ステップＳ１４のＮ）、ステップＳ１４からステップＳ１５に移行する。画像補正部３０は、ステップＳ１５において、マスク画像Ａ_ＭＳＫをテンプレートとして用いたテンプレートマッチングを行って、マスク画像Ａ_ＭＳＫの類似領域を入力画像Ｉ_ＩＮ内から探索する。そして、ステップＳ１６において、探索された複数の類似領域を強調表示する。即ち、上述したように、各類似領域に対応する補正パッチ領域候補が視認可能となるように表示画面の入力画像Ｉ_ＩＮ上における各補正パッチ領域候補を強調表示し（即ち、図８（ｂ）に示すような表示画像３６０を表示し）、ステップＳ１７において、複数の補正パッチ領域候補の１つを選択する、ユーザからの選択操作を操作部１７を用いて受け付ける。そして、選択操作が成されると、ステップＳ１８において、選択された補正パッチ領域候補を補正パッチ領域Ｂに設定する。

また、マスク画像Ａ_ＭＳＫの類似領域が複数存在している場合、その複数の類似領域に対して求められた複数の類似度の内、最大の類似度を特定し、最大の類似度に対応する類似領域についての補正パッチ領域候補を上記選択操作に依らず自動的に補正パッチ領域Ｂに設定するようにしても良い。また、マスク画像Ａ_ＭＳＫの類似領域が１つしか存在していなかった場合には、ステップＳ１６及びＳ１７の処理の実行を省略し、ステップＳ１８において、その１つの類似領域を包含する画像領域を補正パッチ領域Ｂに設定する。

尚、マスク画像Ａ_ＭＳＫの類似領域が入力画像Ｉ_ＩＮから検出されない場合（即ち、基準類似度以上の類似度を有する画像領域が入力画像Ｉ_ＩＮから検出されない場合）、その旨をユーザに通知し、ユーザに手動で補正パッチ領域Ｂを設定してもらうようにしても良いし、入力画像Ｉ_ＩＮの補正の実行を取りやめるようにしても良い。ステップＳ１８にて設定される補正パッチ領域Ｂは、上述の補正パッチ領域３４０に対応し、補正パッチ領域Ｂの画像データは撮像装置１のメモリ上に記憶される。

一方、不要領域の形状が細線状であると判断された場合（ステップＳ１４のＹ）、ステップＳ１４からステップＳ１９に移行する。ステップＳ１９に移行した場合、画像補正部３０は、膨張処理によって補正対象領域Ａ内の不要領域を除去する。即ち、補正対象領域Ａの不要領域内における画素を一旦削除して考え、補正対象領域Ａの不要領域内における各画素及び各画素信号を、補正対象領域Ａ内の画素であって且つ不要領域の周辺に位置する画素及び画素信号を用いて補間する。この補間は、公知の膨張処理（モフォロジー膨張処理とも呼ばれる）によって実現される。単純な例として例えば、不要領域の周辺に位置する画素が全て共通の画素信号を持っているならば、膨張処理によって、補正対象領域Ａの不要領域内における各画素の画素信号に該共通の画素信号が設定される（即ち、不要領域内が単一色で塗りつぶされる）。不要領域の形状が細線状であると判断された場合、ステップＳ１９の膨張処理後の補正対象領域Ａが補正パッチ領域Ｂに設定され、膨張処理後の補正対象領域Ａの画像データが補正パッチ領域Ｂの画像データとして撮像装置１のメモリ上に記憶される。

ステップＳ１８又はステップＳ１９の処理の後、ステップＳ２０の処理が実行される。ステップＳ２０において、画像補正部３０は、補正対象領域Ａの画像データと補正パッチ領域Ｂの画像データを混合することで混合結果画像を生成する。この混合の方法は、上述した補正対象領域３２０及び補正パッチ領域３４０に対する混合の方法と同様である。即ち、補正対象領域Ａ内の或る画素位置が（ｘ_１，ｙ_１）であって、且つ、画素位置（ｘ_１，ｙ_１）に配置された画素に対応する、補正パッチ領域Ｂ内の画素の画素位置が（ｘ_２，ｙ_２）である場合、混合結果画像の画素位置（ｘ_１，ｙ_１）における画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）は、下記式（２）に従って算出される。
Ｐ_Ｃ（ｘ_１，ｙ_１）＝（１−ｋ_ＭＩＸ）・Ｐ_Ａ（ｘ_１，ｙ_１）＋ｋ_ＭＩＸ・Ｐ_Ｂ（ｘ_２，ｙ_２）
・・・（２）

ここで、Ｐ_Ａ（ｘ_１，ｙ_１）及びＰ_Ｂ（ｘ_２，ｙ_２）は夫々入力画像Ｉ_ＩＮの画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素信号を表している。入力画像Ｉ_ＩＮ上において、補正対象領域Ａの中心位置を右側にΔｘ画素分だけ且つ下側にΔｙ画素分だけ移動した位置が補正パッチ領域Ｂの中心位置であるならば、ｘ_２＝ｘ_１＋Δｘ且つｙ_２＝ｙ_１＋Δｙである（Δｘ及びΔｙは整数）。画素信号Ｐ_Ａ（ｘ_１，ｙ_１）及びＰ_Ｂ（ｘ_２，ｙ_２）は、入力画像Ｉ_ＩＮの画素位置（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）における画素の輝度及び色を表す信号である。同様に、画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）は、出力画像Ｉ_ＯＵＴの画素位置（ｘ_１，ｙ_１）における画素の輝度及び色を表す信号である。但し、後述されるステップＳ２６の調整処理が実行された場合には、画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）の具体的な信号値は変更されうる。各画素信号がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ_Ａ（ｘ_１，ｙ_１）及びＰ_Ｂ（ｘ_２，ｙ_２）を混合することにより画素信号Ｐ_Ｃ（ｘ_１，ｙ_１）を得ればよい。画素信号Ｐ_Ａ（ｘ_１，ｙ_１）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

式（２）における係数ｋ_ＭＩＸの設定方法及び意義は上述した通りである。即ち、マスク画像Ａ_ＭＳＫの画像特徴と補正パッチ領域Ｂに内包される類似領域の画像特徴（補正パッチ領域Ｂに内包される、マスク画像Ａ_ＭＳＫの類似領域の画像特徴）との類似度ＤＳ_１に応じて、式（２）における係数ｋ_ＭＩＸの値を設定すればよい。ここにおける類似度ＤＳ_１は、上述の類似度ＤＳに相当するものであり、類似度ＤＳ_１が大きいほど係数ｋ_ＭＩＸの値が大きくなり且つ類似度ＤＳ_１が小さいほど係数ｋ_ＭＩＸの値が小さくなるように、画像補正部３０は、類似度ＤＳ_１に応じて係数ｋ_ＭＩＸの値を調整する。但し、補正パッチ領域ＢがステップＳ１９にて設定されたものであるならば、式（２）における係数ｋ_ＭＩＸを予め定めた固定値ｋ_ＦＩＸとしておくことができる。

補正対象領域Ａ及び補正パッチ領域Ｂの画像データを混合する際、混合対象の画素位置に関わらず係数ｋ_ＭＩＸの値として共通の値を用いるようにしても良いが、補正部分と非補正部分との間の境界を目立ちにくくするために、補正対象領域Ａの周辺に近い画素ほど、係数ｋ_ＭＩＸを小さくするようにしてもよい。

これについて説明を加える。今、Ｐ_Ｃ（ｘ，ｙ）を算出する際の係数ｋ_ＭＩＸをｋ_ＭＩＸ（ｘ，ｙ）にて表すと共に、図１４に示す如く、補正対象領域Ａ内の画素位置（ｘ，ｙ）と補正対象領域Ａの外周との最短距離をｄ（ｘ，ｙ）にて表す。ｄ（ｘ，ｙ）は、画素位置（ｘ，ｙ）と補正対象領域Ａの外周とを接続する線分の内、最小の長さを有する線分の長さである。この場合、距離ｄ（ｘ，ｙ）が小さいほどｋ_ＭＩＸ（ｘ，ｙ）を小さくすると良い。これにより、補正対象領域Ａの周辺に近い画素ほど、係数ｋ_ＭＩＸを小さくなって、混合結果画像に対する補正対象領域Ａの画像データの寄与率が増大するからである。具体的には例えば、図１５に示す如く、ｄ（ｘ，ｙ）＝０の時にはｋ_ＭＩＸ（ｘ，ｙ）＝０とし、且つ、０＜ｄ（ｘ，ｙ）＜Δの時にはｄ（ｘ，ｙ）がゼロからΔに向かって増大するに従ってｋ_ＭＩＸ（ｘ，ｙ）をゼロからｋ_Ｏに向かって線形的に又は非線形的に増大させ、Δ≦ｄ（ｘ，ｙ）の時にはｋ_ＭＩＸ（ｘ，ｙ）＝ｋ_Ｏとすればよい。ここで、ｋ_Ｏは、上記類似度ＤＳ_１に応じて設定された係数ｋ_ＭＩＸの値、又は、固定値ｋ_ＦＩＸである。

ステップＳ２０にて生成された混合結果画像はステップＳ２１において表示部１６に表示される。この際、混合結果画像と混合補正の成されていない補正対象領域Ａ内の画像とを表示部１６に並列表示すると良い。並列表示を見ることで、ユーザは、補正効果及び補正による弊害発生有無を確認することができるからである。混合結果画像の表示を行いつつ、ステップＳ２２において、撮像装置１は、メッセージ表示等を用いてユーザに補正内容の確定を促す。

ステップＳ２２において、所定の確定操作が操作部１７に成された場合には、ステップＳ２３及びＳ２４の処理を実行して出力画像Ｉ_ＯＵＴの生成処理を完了する。ステップＳ２３において、画像補正部３０は、ステップＳ２０又は後述のステップＳ３４（図１６参照）にて得られた最新の混合結果画像を入力画像Ｉ_ＩＮの補正対象領域Ａに嵌め込むことで出力画像Ｉ_ＯＵＴを生成する。つまり、入力画像Ｉ_ＩＮの補正対象領域Ａの画像をステップＳ２０又はＳ３４にて得られた最新の混合結果画像にて置きかえることで出力画像Ｉ_ＯＵＴを生成する。ステップＳ２４では、得られた出力画像Ｉ_ＯＵＴの画像データを記録媒体１５に記録する。この際、ユーザの指示に応じて、出力画像Ｉ_ＯＵＴの画像データを入力画像Ｉ_ＩＮの画像データに上書き保存するようにしても良いし、入力画像Ｉ_ＩＮの画像データを記録媒体１５に残しつつ、別途、出力画像Ｉ_ＯＵＴの画像データを記録媒体１５に記録するようにしても良い。

一方、ステップＳ２２において、所定の確定操作が操作部１７に成されなかった場合には、ステップＳ２２からステップＳ２５に移行する。ステップＳ２５において、撮像装置１は、メッセージ表示等を用いて、入力画像Ｉ_ＩＮの補正を最初からやり直すのか又は補正強度の調整を行うのかを問い合わせる。ステップＳ２５において、補正を最初からやり直すことを指示する操作が成された場合には、ステップＳ１１に戻ってステップＳ１１以降の処理を再度実行しなおす。ステップＳ２５において、補正強度の調整を行うことを指示する操作が成された場合には、ステップＳ２６における調整処理を実行し、調整処理の完了後、ステップＳ２２に戻ってステップＳ２２以降の処理を再度実行する。尚、ステップＳ２６の調整処理の実行中を含め、何れのタイミングにおいても、所定の終了指示操作が成された場合には、不要オブジェクト除去モードにおける動作を終了する。

図１６は、ステップＳ２６の調整処理の詳細フローチャートである。調整処理は、ステップＳ３１〜Ｓ３５の処理から成る。ステップＳ２６の調整処理が開始されると、まず、ステップＳ３１の処理が実行される。ステップＳ３１において、画像補正部３０は、操作部１７に対して調整処理の終了を指示する調整終了操作が成されたか否かを確認し、調整終了操作が成されている場合には調整処理を終了してステップＳ２２に戻る。一方、調整終了操作が成されていない場合には、続くステップＳ３２において、調整操作が操作部１７に成されているかを確認する。調整操作が成されていない場合にはステップＳ３２からステップＳ３１に戻るが、調整操作が成されている場合にはステップＳ３２からステップＳ３３に移行し、画像補正部３０は、ステップＳ３３において、調整操作に従って補正対象領域Ａに対する補正強度を調整する。即ち、調整操作に従って係数ｋ_ＭＩＸを変更する。ここにおける調整操作は、上述したそれと同じものであり、調整操作に従う係数ｋ_ＭＩＸの変更方法も上述したとおりである。特に、タッチパネル調整操作により係数ｋ_ＭＩＸを変更可能にしておけば、非常に使い勝手が良い。

ステップＳ３３に続くステップＳ３４では、変更後の係数ｋ_ＭＩＸを用いた式（２）に従い、補正対象領域Ａの画像データと補正パッチ領域Ｂの画像データを混合することで混合結果画像を生成する。この生成方法は、図１２のステップＳ２０のそれと同様である。ステップＳ３４にて生成された混合結果画像はステップＳ３５において表示部１６に表示され、その後、ステップＳ３１に戻ってステップＳ３１以降の処理を繰り返し実行する。従って、調整終了操作が成されることなく調整操作が再度成された場合には、補正強度（係数ｋ_ＭＩＸ）の調整が継続されることとなる。

尚、上述の説明とは異なるが、ステップＳ１８又はＳ１９にて補正パッチ領域Ｂを設定した後、ステップＳ２０〜Ｓ２２の処理を行うのではなく、直接ステップＳ２６に移行してステップＳ２６の調整処理を行うようにしても良い。この場合、補正パッチ領域Ｂの設定後、撮像装置１は、入力画像Ｉ_ＩＮの全体を表示画面に表示しつつ或いは補正対象領域Ａ内の画像を表示画面に拡大表示しつつ（即ち、入力画像Ｉ_ＩＮの一部を表示画面に表示しつつ）、調整終了操作又は調整操作が成されるのを待機する。この状態で、例えば、ユーザが表示画面上において操作体を上記振動運動（図１１参照）させると、その振動運動が補正対象領域Ａ内の画像（不要領域内の画像）の補正を指示する操作として取り扱われ、係数ｋ_ＭＩＸが初期値（例えばゼロ）を起点として増大方向に変更される（ステップＳ３３）。その結果、ステップＳ３４にて混合補正が成され、ユーザは、ステップＳ３５の混合結果画像の表示を介して不要オブジェクトの除去効果を表示画面上で確認することができる。この際、操作体の振動運動の繰り返し実行によって係数ｋ_ＭＩＸが段階的に増大するようにしておけば、紙面上の不要記載が消しゴムにより徐々に薄れていくかの如く、表示画面上で不要オブジェクトが徐々に薄れていく様子が確認される。

［画像補正部の内部ブロック］
次に、画像補正部３０の内部構成を説明する。図１７は、画像補正部３０の内部ブロック図である。画像補正部３０は、符号３１〜３８によって参照される各部位を備える。

不要領域設定部３１は、上述の不要領域指定操作に従って不要領域を設定する。補正対象領域設定部３２は、設定された不要領域を内包する補正対象領域（上述の補正対象領域３２０や補正対象領域Ａ）を設定する。マスク画像生成部３３は、不要領域設定部３１及び補正対象領域設定部３２の設定の内容に基づいて入力画像からマスク画像（上述のマスク画像３２２やマスク画像Ａ_ＭＳＫ）を生成する。

補正方法選択部３４は、不要領域の形状が細線状であるか否かを判定することによって、移植法及び膨張法のどちらを用いて補正対象領域を補正するのかを選択する（即ち、補正方法選択部３４は図１２のステップＳ１４の処理を実行する）。補正方法選択部３４の判定結果及び選択結果は、補正パッチ領域抽出部３５、第１補正処理部３６及び第２補正処理部３７に伝達される。

補正パッチ領域抽出部（補正パッチ領域検出部）３５は、不要領域の形状が細線状ではないと判定された場合、マスク画像を用いたテンプレートマッチングにより、補正パッチ領域（上述の補正パッチ領域３４０やステップＳ１８における補正パッチ領域Ｂ）を入力画像から検出して抽出する。不要領域の形状が細線状ではないと判定された場合、例えば、補正パッチ領域抽出部３５は、図１２のステップＳ１５〜Ｓ１８の処理を実行することにより補正パッチ領域を抽出及び設定する。一方、不要領域の形状が細線状であると判定された場合、補正パッチ領域抽出部３５は、補正対象領域に対する膨張処理によって補正パッチ領域を生成する。即ち例えば、不要領域の形状が細線状であると判定された場合、補正パッチ領域抽出部３５は、図１２のステップＳ１９の処理を実行することにより補正パッチ領域を生成する。

第１補正処理部３６及び第２補正処理部３７の夫々は、補正対象領域の画像データと補正パッチ領域の画像データを混合することで混合結果画像を生成する。但し、第１補正処理部３６は、補正方法選択部３４にて不要領域の形状が細線状ではないと判定されて移植法が選択された場合にのみ動作し、第２補正処理部３７は、補正方法選択部３４にて不要領域の形状が細線状であると判定されて膨張法が選択された場合にのみ動作する。図１７では、便宜上、第１補正処理部３６と第２補正処理部３７を別個の部位として示しているが、それらにて行われる処理は共通処理を含んでいるため、第１補正処理部３６と第２補正処理部３７を１つの部位に統合することも可能である。尚、不要領域の形状が細線状であると判定された場合、補正パッチ領域の画像データを生成するための膨張処理は第２補正処理部３７にて行われても構わない。画像合成部３８は、第１補正処理部３６又は第２補正処理部３７からの混合結果画像を入力画像の補正対象領域に嵌め込むことで出力画像を生成する。

［類似領域の他の検出方法］
上述の説明内容とは異なるが、画像補正部３０において、以下のようにして補正対象領域３２０の類似領域を探索するようにしても良い。まず、補正対象領域３２０を設定した後、入力画像３１０の全画像領域をぼかすぼかし処理を実行する。ぼかし処理では、例えば、平均化フィルタ等を用いた空間フィルタリングを入力画像３１０の全画素を対象として実行することにより、入力画像３１０の全体をぼかす。この後、ぼかし処理後の補正対象領域３２０内の画像Ｑ_１をテンプレートとして用いたテンプレートマッチングにより、画像Ｑ_１の画像特徴に類似する画像特徴を持つ画像Ｑ_２を、ぼかし処理後の入力画像３１０から検出及び抽出する。画像Ｑ_１及びＱ_２の形状及び大きさは互いに同じであるとする。

画像Ｑ_１と注目画像との間の類似度が所定の基準類似度以上であるとき、該注目画像は、画像Ｑ_１の画像特徴に類似する画像特徴を持つと判断される。対比画像間又は対比画像領域間の類似度は、上述したように、対比画像間又は対比画像領域間における画素信号のＳＳＤ又はＳＡＤから求まる。

画像Ｑ_２が位置する画像領域は、補正対象領域３２０の類似領域として取り扱われる。画像補正部３０は、ぼかし処理前の入力画像３１０から画像Ｑ_２が位置する画像領域を補正パッチ領域として抽出する。即ち、ぼかし処理前の入力画像３１０から画像Ｑ_２が位置する画像領域内の画像データを抽出し、抽出した画像データを補正パッチ領域の画像データとして設定する。そして、ぼかし処理前の補正対象領域３２０の画像データと補正パッチ領域の画像データを混合することにより混合結果画像を生成し、生成した混合結果画像をぼかし処理前の入力画像３１０の補正対象領域３２０に嵌め込むことで出力画像を生成する。つまり、入力画像３１０の補正対象領域３２０内の画像を混合結果画像で置きかえることで出力画像を生成する。

このようなぼかし処理を用いて補正対象領域の類似領域を探索するようにすれば、不要領域をマスクするといった処理を割愛することが可能となる。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態及び後述の他の実施形態は、第１実施形態を基礎とする実施形態であり、矛盾なき限り、第２実施形態及び後述の他の実施形態に記載の技術を、第１実施形態に記載の技術と組み合わせて実施することができる。加えて、第２実施形態及び後述の他の実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載を第２実施形態及び後述の他の実施形態に適用することができる。

第１実施形態において、不要領域（不要オブジェクトの画像データが存在している画像領域）を指定するための不要領域指定操作にタッチパネル操作を用いても良いことを述べたが、第２実施形態では、タッチパネル操作を用いた不要領域指定操作の更なる具体例を説明する。第２実施形態における不要領域指定操作を用いて、他の任意の実施形態における不要領域を設定しても良い。不要領域の設定には、入力画像における不要領域の位置、大きさ、形状及び輪郭の設定が含まれる（他の任意の実施形態においても同様）。第２実施形態及び後述の他の実施形態では、説明の具体化のため、タッチパネル操作における操作体がユーザの指であることを想定する。

撮像装置１は、図２の画像補正部３０への入力画像を表示部１６の表示画面に表示した状態で、不要領域指定操作を受け付ける。図１７の不要領域設定部３１は、不要領域指定操作の内容を指し示す不要領域指定情報に従って不要領域を設定することができる。不要オブジェクトの除去を望むユーザは、例えば、以下の第１〜第５操作方法の何れかにて不要領域指定操作を成すことができる。図１９に、第１〜第５操作方法による不要領域指定操作の概要を示す。不要領域指定操作の入力を受ける際、入力画像Ｉ_ＩＮは表示画面に表示される。入力画像Ｉ_ＩＮの全体が表示画面に表示されても良いし、ユーザの指示に従って入力画像Ｉ_ＩＮの一部が拡大表示されても良い。図１９において、符号ＵＲ_１〜ＵＲ_５が付された破線内領域は、夫々、第１〜第５操作方法によって入力画像Ｉ_ＩＮ内に設定された矩形の不要領域を表している。

第１操作方法を説明する。第１操作方法によるタッチパネル操作は、表示画面上における入力画像Ｉ_ＩＮ内の所望位置４１１を指にて必要な時間だけ押し続ける操作である。不要領域設定部３１は、位置４１１を不要領域ＵＲ_１の中心位置に設定すると共に、位置４１１が指にて押されている時間に応じて不要領域ＵＲ_１の大きさを設定することができる。例えば、その時間が増大するにつれて不要領域ＵＲ_１の大きさを増大させることができる。第１操作方法では、不要領域ＵＲ_１のアスペクト比を予め定めておくことができる。

第２操作方法を説明する。第２操作方法によるタッチパネル操作は、表示画面上における入力画像Ｉ_ＩＮ内の所望位置４２１及び４２２を指にて押す操作である。位置４２１及び４２２は互いに異なる位置である。位置４２１及び４２２を順番に指で押しても良いし、２本の指にて位置４２１及び４２２を同時に押しても良い。不要領域設定部３１は、位置４２１及び４２２を対角線の両端に配置した矩形領域を不要領域ＵＲ_２として設定することができる。

第３操作方法を説明する。第３操作方法によるタッチパネル操作は、表示画面に指を触れさせながら表示画面上における入力画像Ｉ_ＩＮ内の所望領域（ユーザが望む領域）を指で囲む操作である。この際、所望領域を囲む図形を描く指先は、表示画面から離れない。即ち、ユーザの指は、所望領域を囲む図形を一筆書きにて描く。不要領域設定部３１は、指で囲まれた所望領域そのもの又は該所望領域を内包する矩形領域を不要領域ＵＲ_３に設定することができる。

第４操作方法を説明する。第４操作方法によるタッチパネル操作は、指を表示画面に触れさせながら不要領域ＵＲ_４になるべき領域の対角線を指でなぞる操作である。具体的には例えば、ユーザは、表示画面上における入力画像Ｉ_ＩＮ内の所望位置４４１を指にて触れた後、指と表示画面との接触状態を保った状態で、指を入力画像Ｉ_ＩＮ内の位置４４１から位置４４２まで移動させ、その後、指を表示画面から離す。この場合、不要領域設定部３１は、位置４４１及び４４２を対角線の両端に配置した矩形領域を不要領域ＵＲ_４として設定することができる。

第５操作方法を説明する。第５操作方法によるタッチパネル操作は、指を表示画面に触れさせながら不要領域ＵＲ_５になるべき領域の対角線の半分を指でなぞる操作である。具体的には例えば、ユーザは、表示画面上における入力画像Ｉ_ＩＮ内の所望位置４５１を指にて触れた後、指と表示画面との接触状態を保った状態で、指を入力画像Ｉ_ＩＮ内の位置４５１から位置４５２まで移動させ、その後、指を表示画面から離す。この場合、不要領域設定部３１は、不要領域ＵＲ_５の中心位置を位置４５１に設定すると共に、矩形領域としての不要領域ＵＲ_５の一頂点を位置４５２に配置することができる。

尚、上述の説明では、不要領域ＵＲ_ｉが矩形領域であることを想定しているが、不要領域ＵＲ_ｉは、矩形以外の形状を有する領域であっても良く、閉領域であればどのような領域でも良い（ｉは整数）。例えば、不要領域ＵＲ_ｉの形状は円又は多角形であっても良いし、任意の曲線で囲まれた閉領域が不要領域ＵＲ_ｉであってもよい。また、上述の第１〜第５操作方法は例示に過ぎず、この他、様々なタッチパネル操作によってユーザは不要領域を指定することができる。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態では、画像解析を用いた不要領域の設定方法を例示する。第３実施形態における不要領域の設定方法を用いて、他の任意の実施形態における不要領域を設定しても良い。尚、以下の説明では、図１の操作部１７に設けられたボタン（不図示）等に対する操作を、便宜上、ボタン操作と呼ぶ。図２の画像補正部３０に対する入力画像Ｉ_ＩＮが表示画面に表示されている状態において、ユーザは、入力画像Ｉ_ＩＮ内の所望の位置ＳＰを、タッチパネル操作又はボタン操作にて指定することができる（図２０参照）。以下、位置ＳＰを指定位置ＳＰと呼ぶ。指定位置ＳＰは、入力画像Ｉ_ＩＮ上における不要オブジェクトの一部の位置である。指定位置ＳＰを表す情報が不要領域指定情報として不要領域設定部３１に入力される（図１７参照）。

不要領域設定部３１は、指定位置ＳＰを内包するオブジェクトを不要オブジェクトとみなして、入力画像Ｉ_ＩＮにおける、指定位置ＳＰを内包する画像領域を不要領域として設定する（即ち、指定位置ＳＰは不要領域の一部の位置になる）。この際、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく画像解析を利用して、指定位置ＳＰを内包する不要オブジェクトの輪郭（外枠）を推定し、推定された不要オブジェクトの輪郭の内側領域を不要領域に設定することができる。このような不要領域の設定動作手順（図２６参照）を説明する前に、上記画像解析の要素技術例を説明する。

入力画像Ｉ_ＩＮ内に存在する人体を検出する人体検出処理を、上記の画像解析に含めておくことができる。入力画像Ｉ_ＩＮ上の人体の内側領域に指定位置ＳＰが存在する場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく人体検出処理によって入力画像Ｉ_ＩＮから人体領域を検出し、指定位置ＳＰを含む人体領域を不要領域に設定することができる。人体領域の検出は、入力画像Ｉ_ＩＮ上おける人体の位置、大きさ、形状及び輪郭などの検出を含む。人体領域は人体の画像データが存在する画像領域であり、人体の輪郭の内側領域を人体領域とすることができる。人体検出処理の方法は周知であるため、その処理方法の説明を割愛する。

入力画像Ｉ_ＩＮ内に存在する後頭部（人体の後頭部）を検出する後頭部検出処理を、上記の画像解析に含めておくことができる。入力画像Ｉ_ＩＮ上の後頭部の内側領域に指定位置ＳＰが存在する場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく後頭部検出処理によって入力画像Ｉ_ＩＮから後頭部領域を検出し、指定位置ＳＰを含む後頭部領域を不要領域に設定することができる。後頭部領域の検出は、入力画像Ｉ_ＩＮ上おける後頭部の位置、大きさ、形状及び輪郭などの検出を含む。後頭部領域は後頭部の画像データが存在する画像領域であり、後頭部の輪郭の内側領域を後頭部領域とすることができる。後頭部の検出方法として公知の方法を利用することができる。

図２１を参照して、後頭部検出処理の一例を説明する。図２１には、入力画像Ｉ_ＩＮの一例としての入力画像５００が示されている。入力画像５００は、有名人５０１を人だかりの中で撮影することで得られた画像であるとする。図２１において、入力画像５００の下側に示された半円弧状のドット部分は、入力画像５００の撮影時に撮像装置１及び有名人５０１間に立っていた他の人物の後頭部を表している。後頭部検出処理では、まず、入力画像５００の各画素信号を二値化することにより入力画像５００を二値化画像５０２に変換し、二値化画像５０２からエッジ（各オブジェクトの輪郭）を抽出することでエッジ抽出画像５０４を生成する。二値化画像５０２に対してエッジ抽出フィルタ（微分フィルタ等）を用いた空間フィルタリングを施すことでエッジ抽出画像５０４が得られる。不要領域設定部３１は、エッジ抽出画像５０４の下側領域に存在する円弧状の輪郭５０５を抽出し、輪郭５０５内の画像領域（即ち、図２１の斜線領域５０６）を後頭部領域として検出することができる。画像において、上下方向は重力方向に対応しており、エッジ抽出画像５０４の下側領域とは、エッジ抽出画像５０４における地面側の領域（例えば、エッジ抽出画像５０４を水平方向に沿って複数の画像領域に等分割し、得られた複数の画像領域の内、最も地面側の領域）を指す。

入力画像Ｉ_ＩＮ内に存在する線状オブジェクトを検出する線検出処理を、上記の画像解析に含めておくことができる。線状オブジェクトとは、線状（特に例えば直線状）の形態を有する物体であり、例えば、網、電線である。入力画像Ｉ_ＩＮ上の線状オブジェクトの内側領域に指定位置ＳＰが存在する場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく線検出処理によって入力画像Ｉ_ＩＮから線領域を検出し、指定位置ＳＰを含む線領域を不要領域に設定することができる。線領域の検出は、入力画像Ｉ_ＩＮ上おける線状オブジェクトの位置、大きさ、形状及び輪郭などの検出を含む。線領域は、線状オブジェクトの画像データが存在する画像領域であり、線状オブジェクトの輪郭の内側領域を線領域とすることができる。線状オブジェクトの検出方法として公知の方法を利用することができる。

例えば、ハフ変換を用いた直線検出により入力画像Ｉ_ＩＮから線状オブジェクトを検出することができる。ここにおける直線には線分も含まれるものとする。入力画像Ｉ_ＩＮに複数の線状オブジェクトが存在する場合、複数の線状オブジェクトをまとめて１つの不要オブジェクトとみなし、複数の線状オブジェクトについての複数の線領域の合成領域を不要領域に設定してもよい。

図２２を参照して、線検出処理の一例を説明する。図２２には、入力画像Ｉ_ＩＮの一例としての入力画像５１０が示されている。入力画像５１０は、キリン５１１を金網越しで撮影することで得られた画像であるとする。図２２の入力画像５１０において、格子状に示された複数の線分は金網を表している。線検出処理では、入力画像５１０の各画素信号を二値化することにより入力画像５１０を二値化画像５１２に変換し、二値化画像５１２に対してハフ変換を施すことで直線検出結果５１４を得る。二値化画像５１２に対するハフ変換によって検出された各直線の線領域を合成し、合成領域を不要領域に設定することができる。

尚、不要領域に含められるべき直線（線状オブジェクト）の方向をユーザが指定できるように、撮像装置１を形成しておいても良い。例えば、入力画像５１０が表示画面に表示されている状態において、ユーザが、入力画像５１０上の金網の一部を指定位置ＳＰとして指にて触れた後、指と表示画面との接触状態を保ったまま当該指を入力画像５１０の水平方向（表示画面の水平方向）に移動させた場合、水平方向に伸びる線状オブジェクトのみを不要領域に含めても良い（換言すれば、垂直方向に伸びる線状オブジェクトを不要領域から除外しても良い）。

入力画像Ｉ_ＩＮ内に存在する移動物体を検出する移動物体検出処理を、上記の画像解析に含めておくことができる。入力画像Ｉ_ＩＮ上の移動物体の内側領域に指定位置ＳＰが存在する場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく移動物体検出処理によって入力画像Ｉ_ＩＮから移動物体領域を検出し、指定位置ＳＰを含む移動物体領域を不要領域に設定することができる。移動物体領域の検出は、入力画像Ｉ_ＩＮ上おける移動物体の位置、大きさ、形状及び輪郭などの検出を含む。移動物体領域は移動物体の画像データが存在する画像領域であり、移動物体の輪郭の内側領域を移動物体領域とすることができる。

移動物体検出処理を、入力画像Ｉ_ＩＮを含む時系列に並んだ複数のフレーム画像を用いて成すことができる。図２３（ａ）及び（ｂ）を参照して、移動物体検出処理の一例を説明する。撮像装置１は、所定のフレーム周期での順次撮影によりフレーム画像を次々と撮影することができ、所定のシャッタ操作後のフレーム画像を入力画像Ｉ_ＩＮとして記録媒体１５（図１参照）に記録することができる。今、図２３（ａ）及び（ｂ）に示すフレーム画像５２４が入力画像Ｉ_ＩＮとして記録媒体１５に記録されたことを想定すると共に、フレーム画像５２１、５２２、５２３及び５２４が、この順番で順次撮影されたことを想定する。画像処理部１４（例えば、不要領域設定部３１）は、フレーム画像５２４の撮影前又は撮影後において、フレーム画像５２１及び５２４間の差分、フレーム画像５２２及び５２４間の差分及びフレーム画像５２３及び５２４間の差分を求める。そして、求めた差分から、フレーム画像５２１〜５２４より成る動画像上の移動物体を検出すると共にフレーム画像５２４上の移動物体及び移動物体領域５２５を検出する（図２３（ｂ）参照）。移動物体とは、フレーム画像５２４を含む動画像上において移動する物体である。

撮像装置１は、フレーム画像５２４を記録媒体１５に記録する際、フレーム画像５２４上の移動物体領域５２５を特定する移動物体領域情報もフレーム画像５２４の画像データに関連付けて記録媒体１５に記録しておく。フレーム画像５２４が入力画像Ｉ_ＩＮとして画像補正部３０（図２参照）に入力される際、記録媒体１５から読み出された移動物体領域情報が不要領域設定部３１に与えられることで、不要領域設定部３１は入力画像Ｉ_ＩＮ上の移動物体領域５２５を認識することができ、指定位置ＳＰが移動物体領域５２５内に存在するならば移動物体領域５２５を不要領域に設定することができる。

尚、上述の例では、フレーム画像５２４とフレーム画像５２４の前に撮影された３枚のフレーム画像とを用いて移動物体検出が成されているが、フレーム画像５２４とフレーム画像５２４の前に撮影された１枚以上のフレーム画像とを用いて、或いは、フレーム画像５２４とフレーム画像５２４の後に撮影された１枚以上のフレーム画像とを用いて、移動物体検出を成すことができる。また、フレーム画像５２４が記録媒体１５に記録された動画像の一部である場合など、フレーム画像５２４の前後に撮影されたフレーム画像の画像データも記録媒体１５に記録されている場合には、フレーム画像５２４が入力画像Ｉ_ＩＮとして画像補正部３０に入力された際に、記録媒体１５の記録データを用いて移動物体領域５２５の検出を行っても良い。

入力画像Ｉ_ＩＮ内に存在する看板を検出する看板検出処理を、上記の画像解析に含めておくことができる。入力画像Ｉ_ＩＮ上の看板の内側領域に指定位置ＳＰが存在する場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく看板検出処理によって入力画像Ｉ_ＩＮから看板領域を検出し、指定位置ＳＰを含む看板領域を不要領域に設定することができる。看板領域の検出は、入力画像Ｉ_ＩＮ上おける看板の位置、大きさ、形状及び輪郭などの検出を含む。看板領域は看板の画像データが存在する画像領域であり、看板の輪郭の内側領域を看板領域とすることができる。

図２４を参照して、看板検出処理の一例を説明する。図２４には、入力画像Ｉ_ＩＮの一例としての入力画像５３０が示されている。入力画像５３０は、森及び森の前に設置されている看板５３１を撮影することで得られた画像である。看板検出処理では、公知の文字抽出処理を用いて入力画像５３０上に描かれている文字を抽出し、抽出した文字群を囲む輪郭を看板の輪郭として抽出する。より具体的には例えば、入力画像５３０の各画素信号を二値化することで入力画像５３０を二値化画像５３２に変換する。そして、二値化画像５３２から文字を抽出する一方で、二値化画像５３２に対するエッジ抽出処理（輪郭抽出処理）の結果に基づき抽出文字を取り囲む輪郭を看板５３１の輪郭（看板５３１の外枠）として抽出し、抽出した輪郭内の画像領域（図２４の斜線領域５３３）を看板領域として検出する。

入力画像Ｉ_ＩＮ内に存在する顔を検出する顔検出処理及び顔に存在するほくろを検出する顔特定部検出処理を、上記の画像解析に含めておくことができる。入力画像Ｉ_ＩＮ上の顔の内側領域に指定位置ＳＰが存在する場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく顔検出処理によって入力画像Ｉ_ＩＮから、指定位置ＳＰを含む顔領域を検出する。顔領域の検出は、入力画像Ｉ_ＩＮ上おける顔の位置、大きさ、形状及び輪郭などの検出を含む。顔領域は顔の画像データが存在する画像領域であり、顔の輪郭の内側領域を顔領域とすることができる。

指定位置ＳＰを含む顔領域を指定顔領域と呼ぶ。指定顔領域が検出されると、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データに基づく顔特定部検出処理によって、指定顔領域内からほくろを検出する。顔特定部検出処理によって、ほくろだけではなく、例えば、しみ、しわ、あざ、きず等を検出するようにしても良い。そして、ほくろ、しみ、しわ、あざ、きず等の画像データが存在する画像領域を不要領域に設定することができる。

図２５を参照して、ほくろの検出方法の一例を説明する。図２５は、入力画像Ｉ_ＩＮの一例としての入力画像５４０が示されている。入力画像５４０上の人物の顔には、ほくろ５４１が存在している。不要領域設定部３１は、入力画像５４０上における肌色領域を抽出した後、肌色領域の内側に存在する肌色領域以外の領域（ほくろ５４１の領域を含む）が縮退する方向に膨張処理を施す（換言すれば、肌色領域の内側に存在する肌色領域以外の領域を収縮させる）。一方において、エッジ抽出処理により入力画像５４０からインパルス状のエッジを抽出し、インパルス状のエッジの存在領域と膨張処理後の肌色領域との共通領域を、ほくろ５４１の画像データが存在する画像領域として検出することができる。尚、指定顔領域の各画素の輝度値を所定の閾値と比較し、その閾値以下の輝度値を有する画素が所定数以上集まっている部分をほくろとして検出するようにしてもよい。

図２６のフローチャートを参照して、不要領域の設定動作手順を説明する。まず、ユーザは、タッチパネル操作又はボタン操作を用いて上述の指定位置ＳＰを撮像装置１に入力する（ステップＳ５１）。指定位置ＳＰが入力されると、不要領域設定部３１は、入力画像Ｉ_ＩＮにおいて指定位置ＳＰを内包するオブジェクトが人体であるか否かを人体検出処理を用いて判断する（ステップＳ５２）。そして、指定位置ＳＰを内包するオブジェクトが人体であると判断した場合には、人体検出処理を用いて検出された、指定位置ＳＰを内包する人体領域を不要領域に設定する（ステップＳ５９）。

指定位置ＳＰを内包するオブジェクトが人体ではないと判断した場合、不要領域設定部３１は、入力画像Ｉ_ＩＮにおいて指定位置ＳＰを内包するオブジェクトが後頭部であるか否かを後頭部検出処理を用いて判断する（ステップＳ５３）。そして、指定位置ＳＰを内包するオブジェクトが後頭部であると判断した場合には、後頭部検出処理を用いて検出された、指定位置ＳＰを内包する後頭部領域を不要領域に設定する（ステップＳ５９）。

指定位置ＳＰを内包するオブジェクトが後頭部ではないと判断した場合、不要領域設定部３１は、入力画像Ｉ_ＩＮにおいて指定位置ＳＰを内包するオブジェクトが線状オブジェクトであるか否かを線検出処理を用いて判断する（ステップＳ５４）。そして、指定位置ＳＰを内包するオブジェクトが線状オブジェクトであると判断した場合には、線検出処理を用いて検出された、指定位置ＳＰを内包する線領域を不要領域に設定する（ステップＳ５９）。

指定位置ＳＰを内包するオブジェクトが線状オブジェクトではないと判断した場合、不要領域設定部３１は、入力画像Ｉ_ＩＮにおいて指定位置ＳＰを内包するオブジェクトが移動物体であるか否かを上述の移動物体領域情報又は移動物体検出処理を用いて判断する（ステップＳ５５）。そして、指定位置ＳＰを内包するオブジェクトが移動物体であると判断した場合には、移動物体領域情報が指し示す又は移動物体検出処理を用いて検出された、指定位置ＳＰを内包する移動物体領域を不要領域に設定する（ステップＳ５９）。

指定位置ＳＰを内包するオブジェクトが移動物体ではないと判断した場合、不要領域設定部３１は、入力画像Ｉ_ＩＮにおいて指定位置ＳＰを内包するオブジェクトが看板であるか否かを看板検出処理を用いて判断する（ステップＳ５６）。そして、指定位置ＳＰを内包するオブジェクトが看板であると判断した場合には、看板検出処理を用いて検出された、指定位置ＳＰを内包する看板領域を不要領域に設定する（ステップＳ５９）。

指定位置ＳＰを内包するオブジェクトが看板ではないと判断した場合、不要領域設定部３１は、入力画像Ｉ_ＩＮにおいて指定位置ＳＰを内包するオブジェクトが顔であるか否かを顔検出処理を用いて判断する（ステップＳ５７）。そして、指定位置ＳＰを内包するオブジェクトが顔であると判断した場合には、顔検出処理を用いて検出された、指定位置ＳＰを内包する顔領域を指定顔領域として抽出し、上述の顔特定部検出処理を用いて（ステップＳ５８）、ほくろ等の画像データが存在する画像領域を不要領域に設定する（ステップＳ５９）。

指定位置ＳＰを内包するオブジェクトが、人体、後頭部、線状オブジェクト、移動物体、看板及び顔の何れでもないと判断した場合、不要領域設定部３１は、入力画像Ｉ_ＩＮの画像データ（色情報やエッジ情報）に基づく公知の領域分割処理により入力画像Ｉ_ＩＮの全画像領域を複数の画像領域に分割し、得られた複数の画像領域の内、指定位置ＳＰを内包する画像領域を不要領域に設定する（ステップＳ６０）。

尚、入力画像Ｉ_ＩＮに人の顔が存在する場、人体領域とほくろ領域のどちらを不要領域に設定するのかを、顔の大きさを考慮して判断するようにしてもよい。例えば、入力画像Ｉ_ＩＮに人の顔が存在する場合において指定位置ＳＰが当該顔に内包されるとき、入力画像Ｉ_ＩＮ上における当該顔の顔領域の大きさＦ_ＳＩＺＥを検出する。そして、大きさＦ_ＳＩＺＥが所定の基準値未満であれば指定位置ＳＰを内包する人体領域を不要領域に設定するようにしてもよい。一方、大きさＦ_ＳＩＺＥが所定の基準値以上であれば、指定位置ＳＰを内包する指定顔領域に対して顔特定部検出処理を適用し、指定顔領域内において、ほくろ等の画像データが存在する画像領域を不要領域に設定するようにしてもよい。また、図２６の動作例では、ステップＳ５２〜Ｓ５７の処理が、この順番で実行されているが、ステップＳ５２〜Ｓ５７の処理の実行順序を任意に変更することも可能である。

第３実施形態では、ユーザが成すべき不要領域指定操作が指定位置ＳＰを入力する操作で完了する。即ち例えば、表示画面上における不要オブジェクトの一部を指にて触れるだけで自動的に不要領域が設定されるため、ユーザの操作負担が軽減される。

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。図２７は、第４実施形態に係る撮像装置１の動作フローチャートである。撮像装置１は、不要オブジェクト除去モードにおいてステップＳ８１〜Ｓ８８の処理を順次実行することができる。

まず、ステップＳ８１において、ユーザによる不要領域指定操作に基づき、入力画像Ｉ_ＩＮ内に不要領域を設定する。他の任意の実施形態で述べた方法を用いて不要領域を設定することができる。続くステップＳ８２において、表示部１６は、設定された不要領域の確認表示を行う。即ち、設定された不要領域をユーザが視覚にて認識できるように、入力画像Ｉ_ＩＮの全体表示又は部分表示を行いつつ、表示画面上で不要領域を明示する（例えば、不要領域の明滅表示や輪郭強調表示を行う）。ステップＳ８３において、ユーザは、必要に応じ、一旦設定された不要領域の修正を指示することができる。この修正は、例えば、ユーザの手動操作によって又は不要領域指定操作の再実行によって実現される。

ユーザによる不要領域の確認後、ユーザが所定操作を行うと、ステップＳ８４において画像補正部３０は不要領域除去用の画像処理を実行開始する。不要領域除去用の画像処理は、第１実施形態で述べたものと同様である。即ち例えば、不要領域除去用の画像処理として、図１２のステップＳ１２〜Ｓ２０の処理を用いることができる。

不要領域除去用の画像処理の開始後、ステップＳ８５において、表示部１６は補正途中結果を順次表示する。この表示の様子を、図２８（ａ）及び（ｂ）を参照して説明する。今、説明の具体化のため、図４の入力画像３１０が入力画像Ｉ_ＩＮであって、且つ、人物３１２の輪郭にて囲まれる画像領域が不要領域であって、且つ、領域３２０が補正対象領域であることを想定する。また、時刻を表す記号としてｔ_ｉを導入する（ｉは整数）。時刻ｔ_ｉ＋１は時刻ｔ_ｉよりも後の時刻である。

図２８（ａ）の画像６００［ｔ_ｉ］は、時刻ｔ_ｉにおいて表示画面に表示される画像である。ステップＳ８５において、表示部１６は、画像６００［ｔ_１］、６００［ｔ_２］、・・・、６００［ｔ_ｍ−１］及び６００［ｔ_ｍ］を順次表示する。ｍは３以上の整数である。画像６００［ｔ_１］は、不要領域除去用の画像処理前における入力画像Ｉ_ＩＮ、即ち入力画像３１０そのものである。変数ｉが２以上であると仮定した場合、画像６００［ｔ_ｉ］は、値ＶＡＬ_ｉを係数ｋ_ＭＩＸ（図９参照）に代入した状態で図１２のステップＳ１２〜Ｓ２３の処理を施して得られる出力画像Ｉ_ＯＵＴに相当する。ここで、任意の整数ｉに対して、値ＶＡＬ_ｉ＋１は値ＶＡＬ_ｉよりも大きい。但し、値ＶＡＬ_ｉは０より大きく、且つ、値ＶＡＬ_ｍは１である。

尚、時刻ｔ_ｉにおいて、図２８（ａ）の画像６００［ｔ_ｉ］の代わりに図２８（ｂ）の６００’［ｔ_ｉ］を表示するようにしても良い。即ち、ステップＳ８５において、画像６００’［ｔ_１］、６００’［ｔ_２］、・・・、６００’［ｔ_ｍ−１］及び６００’［ｔ_ｍ］の順次表示を行うようにしても良い。画像６００’［ｔ_１］は、不要領域除去用の画像処理前における補正対象領域内の画像、即ち入力画像３１０における補正対象領域内の画像そのものである。変数ｉが２以上であると仮定した場合、画像６００’［ｔ_ｉ］は、値ＶＡＬ_ｉを係数ｋ_ＭＩＸ（図９参照）に代入した状態で図１２のステップＳ１２〜Ｓ２０の処理を施して得られる混合結果画像に相当する。

このように、画像補正部３０では（図１７の第１補正処理部３６又は第２補正処理部３７では）、補正対象領域内の画像に対する補正を複数回に分けて段階的に実行する（係数ｋ_ＭＩＸの値を徐々に増大させながら段階的に実行する）。段階的な補正の実行によって得られる補正結果画像６００［ｔ_２］〜６００［ｔ_ｍ］（又は６００’［ｔ_２］〜６００’［ｔ_ｍ］）は、順次、表示部１６に出力されて表示される。ＶＡＬ_ｉ＜ＶＡＬ_ｉ＋１であるため、時間が経過するにつれて表示画面上における不要オブジェクトが徐々に薄れていくような映像効果が得られる。

尚、ユーザは、時刻ｔ_ｍの前に所定の強制終了操作を撮像装置１に成すことで、ステップＳ８５における表示を強制的に終了させることもできる。

ステップＳ８５に続くステップＳ８６において、撮像装置１は、ユーザによる補正強度（補正量）の調整指示を受け付け、調整指示に従って補正強度を調整する。補正強度の調整方法として、第１及び第２調整方法を例示する。

第１調整方法を説明する。上記の強制終了操作が成されていなければ、ステップＳ８５からステップＳ８６への移行時点において、画像６００［ｔ_ｍ］又は６００’［ｔ_ｍ］が表示されている（図２８（ａ）又は（ｂ）参照）。この状態において、ユーザは、第１実施形態で述べたタッチパネル調整操作を成すことができ、画像補正部３０は、タッチパネル調整操作の内容に従って補正強度を調整することができる。より具体的には例えば、タッチパネル調整操作が成されたとき、第１実施形態で説明した操作体の振動回数等に応じて、係数ｋ_ＭＩＸの値を１から減少させ、減少後の係数ｋ_ＭＩＸを用いて得た補正結果画像をリアルタイムで表示する。減少後の係数ｋ_ＭＩＸの値が例えば値ＶＡＬ_ｍ−１である場合、減少後の係数ｋ_ＭＩＸを用いて得た補正結果画像とは、画像６００［ｔ_ｍ−１］又は６００’［ｔ_ｍ−１］である（図２８（ａ）又は（ｂ）参照）。減少後の係数ｋ_ＭＩＸを用いて得た補正結果画像が、調整後の補正結果画像に相当する。尚、タッチパネル調整操作が成されることなく所定の調整終了操作が成された場合、画像６００［ｔ_ｍ］又は６００’［ｔ_ｍ］が調整後の補正結果画像として機能する。

第２調整方法を説明する。第２調整方法の採用時において、画像補正部３０は、ステップＳ８５にて得られる各補正途中結果を一時的に記憶しておく。そして、ステップＳ８６において、記憶しておいた複数の補正途中結果を同時に表示部１６に出力する。即ち、図２９に示す如く、複数の補正途中結果を水平及び垂直方向に並べて同時に表示する。例えば、係数ｋ_ＭＩＸに０．２５、０．５、０．７５及び１を代入した状態で図１２のステップＳ１２〜Ｓ２０の処理を施して得られる４つの混合結果画像６０１〜６０４を水平及び垂直方向に並べて同時に表示する。図２９において、斜線領域は表示部１６の筐体を表している。混合結果画像６０１〜６０４を同時に表示している状態において、ユーザは、タッチパネル操作又はボタン操作を介して混合結果画像６０１〜６０４の何れかを調整後の補正結果画像として選択することができる。表示すべき混合結果画像の枚数が多数存在する場合には、複数回に分けて混合結果画像を表示しても良い。

第２調整方法に関し、以下のように表現することができる。画像補正部３０では（図１７の第１補正処理部３６又は第２補正処理部３７では）、補正対象領域内の画像に対する補正を複数回に分けて段階的に実行する（係数ｋ_ＭＩＸの値を徐々に増大させながら段階的に実行する）。段階的な補正の実行によって得られる複数の補正結果画像（図２９の例において画像６０１〜６０４）は、同時に表示部１６に出力されて表示される。この表示が成されている状態において、ユーザの選択操作に従い調整後の補正結果画像を選択する。

尚、第１及び第２調整方法の実現においては、撮像装置１及びユーザ間でインタラクティブの関係を保つ必要がある（例えば、ユーザ操作に従って、表示されるべき補正結果画像をリアルタイムで更新する必要がある）。従って、調整内容が確定するまでは入力画像Ｉ_ＩＮを縮小した状態で補正処理を実行し（即ち、最大の解像度よりも低い解像度の状態で補正処理を実行し）、調整内容の確定後に、入力画像Ｉ_ＩＮを縮小していない状態で（最大の解像度の状態で）補正処理を実行するようにすることが望ましい。

ステップＳ８６における調整後、ステップＳ８７において撮像装置１は補正結果画像の確認表示を行う。

単純には例えば、入力画像Ｉ_ＩＮから不要オブジェクトを完全に又は部分的に除去した画像である出力画像Ｉ_ＯＵＴを、表示する。
或いは例えば、図３０（ａ）に示す如く、入力画像Ｉ_ＩＮと出力画像Ｉ_ＯＵＴを、一定時間間隔で自動的に交互表示する、或いは、ユーザ操作に従って交互表示する。
或いは例えば、図３０（ｂ）に示す如く、入力画像Ｉ_ＩＮと出力画像Ｉ_ＯＵＴと補正箇所（即ち不要オブジェクト又は不要領域）を、一定時間間隔で自動的に切り換え表示する、或いは、ユーザ操作に従って切り換え表示する。

或いは例えば、入力画像Ｉ_ＩＮと出力画像Ｉ_ＯＵＴを同時に並列表示するようにしてもよい。この際、補正対象領域の部分が拡大表示されるように、入力画像Ｉ_ＩＮの一部と出力画像Ｉ_ＯＵＴの一部とを同時に並列表示するとよい。例えば、図４及び図７の画像３１０及び３５０が夫々入力画像Ｉ_ＩＮ及び出力画像Ｉ_ＯＵＴである場合、図３１に示す如く、補正前後の補正対象領域内の画像（例えば、図５（ａ）の画像３２１及び図９の画像３８４）を拡大して同時に並列表示するとよい。表示の拡大率は任意であり、ユーザ操作に従って該拡大率を変更できるようにしておいてもよい。補正前後の補正対象領域内の画像の並列表示を行っている状態においてタッチパネル調整操作を受け付け、タッチパネル調整操作に従い、補正後の補正対象領域内の画像を更新するようにしてもよく、更新結果をリアルタイムで表示内容に反映するようにしてもよい。

ステップＳ８７の後、他の不要領域を追加する指示がユーザより成されれば、ステップＳ８１に戻って、他の不要領域に対してステップＳ８１〜Ｓ８７の処理を実行する（ステップＳ８８）。他の不要領域を追加する指示がなければ、その時点で最終的に得られている出力画像Ｉ_ＯＵＴを記録媒体１５に記録する。

また、ステップＳ８４及びＳ８５にて実行される不要領域除去用の画像処理において、不要領域の除去のために補正パッチ領域（図６（ｂ）の領域３４０など）が抽出及び設定されるが、この抽出及び設定された補正パッチ領域に問題がある場合、良好に不要領域が除去されない（ユーザの望むように不要領域が除去されない）ことがある。良好に不要領域が除去されていないことを確認したユーザは、所定の再試行指示操作を成すことができる。ユーザは、ステップＳ８５にて補正途中結果が表示部１６に表示されている最中において、又は、ステップＳ８５における表示の完了後の任意のタイミングにおいて、再試行指示操作を成すことができる。再試行指示操作は、不要領域除去用の画像処理の再試行（換言すれば、補正対象領域内の画像の補正のやり直し）を指示する操作であり、所定のボタン操作又はタッチパネル操作にて実現される。

再試行指示操作が成されるときの動作例及び表示画面例を、図２８（ａ）及び図３２（ａ）等を参照して説明する。説明の具体化のため、ステップＳ８５において、画像６００［ｔ_１］、６００［ｔ_２］、・・・、６００［ｔ_ｍ−１］及び６００［ｔ_ｍ］が表示部１６に順次表示されることを想定する。画像６００［ｔ_１］は、ステップＳ８４においても表示され、この際、撮像装置１は、図３２（ａ）に示す如く、削除アイコン６３１を画像６００［ｔ_１］と共に表示することができる。斜線領域６２０は、不要領域を表している。削除アイコン６３１を含む任意のアイコンは、表示されるべき画像上に重畳して表示することができる或いは表示されるべき画像と並べて表示することができる。ユーザは、表示画面上のアイコンを指にて触れることで当該アイコンに割り当てられた処理の実行を指示することができる。

ユーザが削除アイコン６３１を指にて触れると、画像補正部３０は、上述してきた方法によって不要領域除去用の補正パッチ領域（補正用領域）６４１を抽出及び設定する（図３２（ｂ）参照）。補正パッチ領域６４１は、上述したように、類似領域の探索を介して、不要領域を内包する入力画像としての画像６００［ｔ_１］から抽出される。但し、上述したように、画像６００［ｔ_１］と異なる入力画像から補正パッチ領域６４１が抽出されても良い。この後、画像補正部３０は、補正パッチ領域６４１内の画像を用いて不要領域除去用の画像処理を成し、ステップＳ８５において、補正結果画像６００［ｔ_２］〜６００［ｔ_ｍ］が順次表示される（図２８（ａ）参照）。

不要領域除去用の画像処理の開始後における任意のタイミングにおいて、撮像装置１は、表示画面上にキャンセルアイコン６３２及びリトライアイコン６３３を表示することができる（図３２（ｃ）参照）。図３２（ｃ）の例では、補正結果画像６００［ｔ_ｉ］と共にアイコン６３２及び６３３が表示されている。キャンセルアイコン６３２が指にて押された場合、画像補正部３０は、現在行っている不要領域除去用の画像処理を中止する。リトライアイコン６３３は、補正パッチ領域６４１を用いた不要領域除去用の画像処理の完了後にも表示することができる。即ち、補正パッチ領域６４１を用いた不要領域除去用の画像処理の実行中又は実行後において、リトライアイコン６３３を表示することができる。ユーザは、ステップＳ８５にて表示される補正結果画像６００［ｔ_ｉ］に満足しない場合、リトライアイコン６３３を指にて押すことができる。補正結果画像の不満足は、補正パッチ領域が適切でないことが主要因になって生じる。

ユーザがリトライアイコン６３３を指にて押す操作は再試行指示操作の一種であり、再試行指示操作が成されると、画像補正部３０は、上述してきた方法によって不要領域除去用の補正パッチ領域を再度抽出及び設定する。図３２（ｄ）の斜線領域６４２は、再試行指示操作後において新たに抽出及び設定された補正パッチ領域を表している。新たな補正パッチ領域６４２は、補正パッチ領域６４１とは異なる。即ち、再試行指示操作後においては、既に抽出された補正パッチ領域６４１とは異なる画像領域が補正パッチ領域６４２として抽出される。補正パッチ領域６４２は、上述したように、類似領域の探索を介して、不要領域を内包する入力画像としての画像６００［ｔ_１］から抽出される。但し、上述したように、画像６００［ｔ_１］と異なる入力画像から補正パッチ領域６４２が抽出されても良い。この後、画像補正部３０は、補正パッチ領域６４２内の画像を用いて、改めて不要領域除去用の画像処理を成す。不要領域除去用の画像処理後の動作は、上述したものと同様である。尚、補正パッチ領域６４２を用いた補正結果にもユーザが満足しない場合、２回目の再試行指示操作を成すこともでき、この場合は、補正パッチ領域６４１及び６４２と異なる補正パッチ領域６４３（不図示）の抽出、及び、補正パッチ領域６４３内の画像を用いた補正が成される。

また、補正パッチ領域６４１が抽出されたとき、入力画像上における補正パッチ領域６４１の位置及び大きさ等をユーザが確認できるように、補正パッチ領域６４１の明示（例えば、補正パッチ領域６４１の明滅表示や輪郭強調表示）を行うと良い。同様に、補正パッチ領域６４２が抽出されたとき、入力画像上における補正パッチ領域６４２の位置及び大きさ等をユーザが確認できるように、補正パッチ領域６４２の明示（例えば、補正パッチ領域６４２の明滅表示や輪郭強調表示）を行うと良い。補正パッチ領域の明示を、任意の補正パッチ領域に適用することができる。即ち、本実施形態を含む各実施形態において、補正パッチ領域を明示するようにしても良いし、該明示を行わないようにしてもよい。

図３２（ａ）〜（ｄ）に示したような処理を実行可能にしておけば、一旦設定した補正パッチ領域に問題があった場合でも、最終的には、満足のいく補正結果画像をユーザに提供することができる。

［変形等］
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

上述の実施形態では、画像処理部１４及び画像補正部３０が撮像装置１内に設けられていることを想定したが（図１参照）、画像処理部１４又は画像補正部３０は、撮像装置１と異なる電子機器（不図示）に搭載されていてもよい。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。上記電子機器に、画像処理部１４又は画像補正部３０に加え、記録媒体１５、表示部１６及び操作部１７を設けておくと良い。

図１の撮像装置１又は上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は上記電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

１ 撮像装置
１１ 撮像部
１４ 画像処理部
１５ 記録媒体
１６ 表示部
１７ 操作部
３０ 画像補正部

Claims (11)

1. 第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置において、
   前記補正部は、
   前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、
   前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、を備えた
   ことを特徴とする画像処理装置。
2. 前記補正部は、前記第１入力画像に含まれる不要領域を指定し、該不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部を更に備え、
   前記補正用領域抽出部は、前記対象領域内の、前記不要領域以外の画像領域である残部領域の画像データを、前記第２入力画像の画像データと対比することにより、前記第２入力画像から前記補正用領域を検出して抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正用領域抽出部は、前記残部領域の画像特徴に類似する画像特徴を有する画像領域を前記第２入力画像内から探索し、探索された画像領域を内包する画像領域を前記補正用領域として前記第２入力画像から抽出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 当該画像処理装置に接続された表示部を用いて、前記補正用領域は明示される
   ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
5. 前記補正処理部による補正の実行中又は実行後において、前記補正のやり直しが指示された場合、
   前記補正用領域抽出部は、既に抽出した補正用領域とは異なる画像領域を新たな補正用領域として前記第２入力画像から抽出し、
   前記補正処理部は、新たに抽出された補正用領域内の画像を用いて、前記対象領域内の画像を補正する
   ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
6. 前記補正部は、第１補正処理部としての前記補正処理部に加えて、
   前記不要領域を縮小するための膨張処理を用いて前記対象領域内の画像を補正する第２補正処理部を、更に備え、
   前記不要領域の形状に応じて前記第１及び第２補正処理部を選択的に用いて、前記対象領域内の画像を補正する
   ことを特徴とする請求項２〜請求項５の何れかに記載の画像処理装置。
7. 指定位置の入力を受け、前記指定位置が前記不要領域に内包されるように前記指定位置と前記第１入力画像の画像データに基づき前記不要領域を設定する不要領域設定部を、前記補正部は更に備える
   ことを特徴とする請求項２〜請求項６の何れかに記載の画像処理装置。
8. 前記補正処理部は、前記対象領域内の画像に対する補正を複数回に分けて段階的に実行し、段階的な補正の実行によって得られる複数の補正結果画像を、順次、表示部に出力する
   ことを特徴とする請求項１〜請求項７の何れかに記載の画像処理装置。
9. 前記補正処理部は、前記対象領域内の画像に対する補正を複数回に分けて段階的に実行し、段階的な補正の実行によって得られる複数の補正結果画像を、同時に、表示部に出力する
   ことを特徴とする請求項１〜請求項７の何れかに記載の画像処理装置。
10. 請求項１〜請求項９の何れかに記載の画像処理装置を備えた
    ことを特徴とする電子機器。
11. 第１入力画像に含まれる対象領域内の画像を補正する補正部を備えた画像処理装置と、
    前記第１入力画像の全部又は一部を表示する表示部と、
    前記第１入力画像に含まれる不要領域を指定する不要領域指定操作を受け付けるとともに、前記不要領域内の画像の補正を指示する補正指示操作を受け付ける操作部と、を備えた電子機器であって、
    前記補正部は、
    前記不要領域を内包する画像領域を前記対象領域として設定する対象領域設定部と、
    前記対象領域内の画像を、前記第１入力画像と同じ又は相違する第２入力画像に含まれる補正用領域内の画像を用いて補正する補正処理部と、
    前記対象領域の画像データに基づいて前記第２入力画像から前記補正用領域を抽出する補正用領域抽出部と、を備え、前記補正指示操作に応じて前記対象領域内の画像を補正し、
    その補正が成された際、前記表示部は、補正後の対象領域内の画像を表示する
    ことを特徴とする電子機器。