JP6467817B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像から例えば顔などの特定領域の輪郭を抽出し、その領域を切り抜くための処理を行なう画像処理装置、画像処理方法、およびプログラムに関する。

画像処理技術の発達と、いわゆるスマートフォン端末やタブレット端末などの高性能モバイル端末の発達、あるいは電子看板（デジタルサイネージ）装置などの新デバイスの発達により、例えば図７（ａ）に例示されるような撮影した画像から例えば図７（ｂ）に例示されるような顔画像を切り抜いて、その顔画像を様々なアプリケーション、例えばスタンプを作成するアプリケーションや電子広告を表示するアプリケーションなどに提供する技術が開発されている。

提供された画像から顔画像を切り抜くためには、画像から顔の輪郭を抽出する必要がある。画像から顔を切り抜くための輪郭を取得する場合、初期輪郭から、輪郭を少しずつ変形して、最適な輪郭を探す方法がある。しかし、この方法では、輪郭点の数が多いと探索に時間がかかる、輪郭点の数が少ないと複雑な形状の輪郭を正確に取得できないという問題がある。

この問題を解決するため、大まかな輪郭を取得した後、Ｇｒａｐｈ Ｃｕｔｓ法（以下「グラフカット」と記載する）と呼ばれる技術を用いてより正確な輪郭を取得する方法が知られている（例えば非特許文献１、特許文献１に記載の技術）。

さらに、顔領域について精度良くグラフカットを行なうための従来技術が知られている（例えば特許文献２に記載の技術）。この従来技術は、既に格納されている複数の人物領域パターンを用いて入力イメージで初期顔領域及び初期背景領域を設定し、これらの領域に対してグラフカットのための初期値をそれぞれ付与することによって、グラフカットを用いたイメージの編集をより精度良く行なう技術である。

特開２０１１−３５６３６号公報 特開２０１３−５１１０７６号公報

Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ："Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ "Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

しかし、グラフカットを用いた従来技術では、頭部の輪郭は、頭部と背景との色の差により、正確に輪郭を取得できる場合が多いが、顎の輪郭は、顎の部分の色と首の部分の色が似ているため、グラフカットで取得した輪郭は、がたがたしたりして不自然な輪郭となる問題点を有していた。

本発明は、例えば顔画像の切抜きにおける頭部の輪郭と顎の輪郭のような背景との色の差が異なる輪郭部分をあわせ持つ特定領域の切抜きの精度を向上させることを目的とする。

前記目的を達成するため、本発明の画像処理機器の一態様は、画像において前記画像から分割する特定領域を特定する特定手段と、前記特定手段によって特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価する境界適正評価手段と、前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するトライマップ作成手段と、前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割する分割手段と、を備え、前記境界適正評価手段は、更に、前記特定手段によって特定された前記特定領域の画素と前記特定領域以外の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更することを特徴とする。
前記目的を達成するため、本発明の画像処理方法の一態様は、画像において前記画像から分割する特定領域を特定し、特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価し、前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成し、前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割し、前記境界としての適正の評価は、更に、前記特定領域の画素と前記特定領域以外の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更することを含むことを特徴とする。
前記目的を達成するため、本発明のプログラムの一態様は、画像において前記画像から分割する特定領域を特定するステップと、特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価するステップと、前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するステップと、前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割するステップと、
をコンピュータに実行させるとともに、前記適正を評価するステップは、前記特定するステップにて特定された前記特定領域の画素と前記特定領域以外の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更するステップを含むことを特徴とする。
前記目的を達成するため、本発明の画像処理装置の一態様は、画像において前記画像から分割する特定領域を特定する特定手段と、前記特定手段によって特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価する境界適正評価手段と、前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するトライマップ作成手段と、前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割する分割手段と、を備え、前記画像は人物画像であるとともに、前記特定領域と前記特定領域以外の領域は、夫々、顔画像領域と背景領域であり、前記トライマップ作成手段は、前記顔画像領域における顎と首との境界領域と、前記顎以外の前記顔画像領域における頭部と前記背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定することを特徴とする。
前記目的を達成するため、本発明の画像処理方法の一態様は、画像において前記画像から分割する特定領域を特定し、特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価し、前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成し、前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割し、更に、前記画像は人物画像であるとともに、前記特定領域と前記特定領域以外の領域は、夫々、顔画像領域と背景領域であり、前記トライマップの作成においては、前記顔画像領域における顎と首との境界領域と、前記顎以外の前記顔画像領域における頭部と前記背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定することを含むことを特徴とする。
前記目的を達成するため、本発明のプログラムの一態様は、画像において前記画像から分割する特定領域を特定するステップと、特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価するステップと、前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するステップと、前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割するステップと、をコンピュータに実行させるとともに、前記画像は人物画像であるとともに、前記特定領域と前記特定領域以外の領域は、夫々、顔画像領域と背景領域であり、前記トライマップを作成するステップは、前記顔画像領域における顎と首との境界領域と、前記顎以外の前記顔画像領域における頭部と前記背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定するステップを含むことを特徴とする。

本発明によれば、例えば顔画像の切抜きにおける頭部の輪郭と顎の輪郭のような背景との色の差が異なる輪郭部分をあわせ持つ特定領域の切抜きの精度を向上させることが可能となる。

本実施形態に係る画像処理装置のブロック図である。 本実施形態に係る画像処理装置を実現するハードウェア構成例を示すブロック図である。 本実施形態に係る画像処理の例を示すフローチャートである。 不定領域の幅の決定動作の説明図である。 本実施形態における頭部の切抜き動作の説明図である。 本実施形態における顎の切抜き動作の説明図である。 顔画像の切抜き動作の説明図である。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、本発明の一実施形態（以下「本実施形態」と記載）に係る画像処理装置１００のブロック図である。本実施形態に係る画像処理装置１００は、顔検出部１０１、輪郭取得部１０２、トライマップ作成部１０３、グラフカット切抜き部１０４、および輪郭学習部１０５を備える。輪郭取得部１０２はさらに、頭部初期輪郭作成部１０６、顎初期輪郭作成部１０７、頭部輪郭フィッティング部１０８、および顎輪郭フィッティング部１０９を備える。輪郭学習部１０５はさらに、頭部輪郭学習部１１０および顎輪郭学習部１１１を備える。

顔検出部１０１は、入力した画像において分割する特定領域を特定する特定手段であり、具体的には、人物画像における顔領域と背景領域とを分割する。

境界適正評価手段として動作する輪郭取得部１０２は、顔検出部１０１によって特定された顔領域の輪郭（境界）を、輪郭らしさ（境界らしさ）を評価する評価値を算出しながら、その評価値に基づいて境界としての適正を評価する。本実施形態では、輪郭を取得するために、予め輪郭学習部１０５において、代表的な輪郭を学習によって取得しておく。より具体的には、頭部輪郭学習部１１０が代表的な頭部輪郭を学習によって取得し、顎輪郭学習部１１１が代表的な顎輪郭を学習によって取得しておく。そして、輪郭取得部１０２において、頭部初期輪郭作成部１０６が、顔検出部１０１によって特定された顔領域の頭部に対して、頭部輪郭学習部１１０が取得した代表的な頭部輪郭をあてはめることにより、頭部初期輪郭を作成する。同様に、顎初期輪郭作成部１０７が、顔領域の顎に対して、顎輪郭学習部１１１が取得した代表的な顎輪郭をあてはめることにより、顎初期輪郭を作成する。さらに、輪郭取得部１０２において、頭部輪郭フィッティング部１０８が、頭部輪郭のための評価値を算出して評価しながら、頭部初期輪郭作成部１０６が作成した頭部初期輪郭を変形してゆき、最適な頭部輪郭を作成する。同様に、顎輪郭フィッティング部１０９が、顎輪郭のための評価値を算出して評価しながら、顎初期輪郭作成部１０７が作成した顎初期輪郭を変形してゆき、最適な顎輪郭を作成する。

ここで、頭部輪郭フィッティング部１０８は、顔検出部１０１によって特定された顔領域の画素と背景領域の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更するように構成できる。具体的には、頭部輪郭フィッティング部１０８は、顎と首の境界領域と、顎以外の頭部と背景領域との境界領域と、で評価のための感度に関するパラメータを異なるように構成できる。

トライマップ作成部１０３は、評価値に基づいて輪郭近傍の不定領域の幅を設定しながら、画像に対して顔領域、顔領域以外の背景領域、および不定領域からなるトライマップを作成する。具体的には、トライマップ作成部１０３は、前述の評価値に応じて、異なる領域毎にトライマップの不定領域の幅を異なるように設定することができる。より具体的には、トライマップ作成部１０３は、顎と首の境界領域と、顎以外の頭部と背景領域との境界領域と、でトライマップの不定領域の幅を異なるように設定することができる。

図２は、本実施形態に係る図１の画像処理装置１００を実現するハードウェア構成例を示すブロック図である。

この画像処理装置１００は例えば、いわゆるスマートフォン端末やタブレット端末などの携帯情報端末装置、パーソナルコンピュータ、またはデジタルサイネージなどのコンピュータシステム上に実現される。

画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３を備える。また、画像処理装置１００は、ソリッド記憶装置やハードディスク記憶装置等の外部記憶装置２０４と、通信インタフェース２０５と、タッチパネルディスプレイ装置などの入力装置２０６および表示装置２０７を備える。さらに、画像処理装置１００は、ＳＤ／マイクロＳＤメモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカード、コンパクトフラッシュメモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスクなどの可搬記録媒体２０９をセット可能な可搬記録媒体駆動装置２０８を備える。撮像装置２１１は、画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。なお、撮像装置２１１を備えずに、外部から画像を取得するようにしてもよい。上述の各機器２０１〜２０８および２１１は、バス２１０によって相互に接続される。

ＲＯＭ２０２には、コンピュータ全体の一般的な動作を制御するプログラムのほか、後述する図３のフローチャートで例示される画像処理の制御プログラムが記憶されている。ＣＰＵ２０１は、ＲＯＭ２０２から、この制御プログラムを読み出し、ＲＡＭ２０３をワークメモリとして実行する。これにより、図１の機能ブロックで示される画像処理機能が実現される。この結果、例えばユーザが撮像装置２１１によって撮像した人物画像などから顔画像を切り抜く画像処理が実行される。これにより得られた顔画像のデータは、様々なアプリケーション、例えばスタンプを作成するアプリケーションや電子広告を表示するアプリケーションなどに転送されて利用され、表示装置２０７に表示等される。

通信インターフェース２０５は、例えばＬＡＮ（ローカルエリアネットワーク）又はＷＡＮ（ワイドエリアネットワーク）の通信回線を接続するための装置である。

本実施形態によるシステムは、図３のフローチャート等で実現される機能を搭載したプログラムをＣＰＵ２０１が実行することで実現される。そのプログラムは、例えば外部記憶装置２０４や可搬記録媒体２０９に記録して配布してもよく、或いは通信インタフェース２０５によりネットワークから取得できるようにしてもよい。

なお、本実施形態による画像処理装置１００は、端末装置上ではなく、サーバコンピュータ上などに実現されてもよい。

図３は、図２に例示される画像処理装置１００のハードウェア構成によって実現される本実施形態に係る画像処理の例を示すフローチャートである。以下、随時図２のハードウェア構成を参照するものとする。

まず、ＣＰＵ１０１は、顔検出処理を実行する（ステップＳ３０１）。ＣＰＵ１０１は、認識対象の元画像において顔検出を行い、顔の位置、大きさを取得する。例えば、ＣＰＵ１０１は、元画像における顔の輝度差の分布について目、鼻、口等の特徴量を学習しておいて、それを用いて比較、検出を行う。あるいは、テンプレートマチングなどによって行なってもよい。この処理は、図１の顔検出部１０１の機能を実現するものである。

次に、ＣＰＵ１０１は、頭部初期輪郭と顎初期輪郭のベースデータを計算する（ステップＳ３０２）。ここで予め、例えば２００サンプルほどの人物画像から顔検出と顔の頭部輪郭と顎輪郭の検出を行っておく。これらの輪郭の検出は、正確な輪郭を必要とするため手動で行っておく。そして、顔検出によって取得した顔の位置と大きさについて、例えば目の位置と間隔の距離などを利用して輪郭座標の正規化を行なった後、全ての画像の平均の輪郭を計算し、その計算結果を代表的な頭部輪郭および顎輪郭として取得しておく。この処理は、図１の頭部輪郭学習部１１０および顎輪郭学習部１１１の機能を実現するものである。そして、ＣＰＵ１０１は、このようにして得ておいた頭部輪郭と顎輪郭の各学習画像から、ステップＳ３０１で検出した顔に適合するように、頭部初期輪郭ＣＩｈと顎初期輪郭ＣＩａを決定する。この処理は、図１の頭部初期輪郭作成部１０６と顎初期輪郭作成部１０７の機能を実現するものである。

次に、ＣＰＵ１０１は、頭部初期輪郭ＣＩｈを順次変形させ、その変形した輪郭を評価する評価値を算出しながら最適な輪郭を探索し、切り出そうとしている顔画像の頭部輪郭Ｃｈを取得する（ステップＳ３０３）。例えば、ＣＰＵ１０１は、ステップＳ３０２で算出した初期輪郭ＣＩｈを構成する点の中から１画素を選び、切り出そうとしている顔画像の頭部の輪郭付近をその画素と比較し、顔の輪郭に適している画素かどうかの評価値を計算する。ＣＰＵ１０１は、この評価値の算出において例えば、初期輪郭ＣＩｈの画素が元画像で輪郭とすべきエッジ上にある場合は評価値に１を加え、エッジ上にない場合は評価値に−１を加える。ＣＰＵ１０１は、この処理を繰り返し、最も評価値の高い輪郭を選択する。この処理は、図１の頭部輪郭フィッティング部１０８の機能を実現するものである。

続いて、ＣＰＵ１０１は、顎についてもステップＳ３０３の場合と同様に、顎初期輪郭ＣＩａを順次変形させ、その変形した輪郭を評価する評価値を算出しながら最適な輪郭を探索し、切り出そうとしている顔画像の顎輪郭Ｃａを取得する（ステップＳ３０４）。ただし、評価値の計算方法を、頭部輪郭Ｃｈの場合（ステップＳ３０３）と、顎輪郭Ｃａの場合（ステップＳ３０４）とで変える。頭部の場合は、頭と背景の差があることが多くエッジとして現れやすいので、エッジが多く現れないようなパラメータでエッジ画像を作成する。顎の場合は、顎と首の差が少なくエッジが現れにくいので、多くのエッジが現れるようなパラメータ（頭部より高い感度）でエッジ画像を作成する。例えば、エッジフィルタとして、顎の場合は、横方向のエッジに重みをおいて検出し、または、例えば輝度の微分値でエッジを検出するときの閾値を低くしてエッジの抽出感度を高める。この処理は、図１の顎輪郭フィッティング部１０９の機能を実現するものである。

次に、ＣＰＵ１０１は、ステップＳ３０３およびＳ３０４で取得した頭部輪郭Ｃｈと顎輪郭Ｃａとから、トライマップを作成する（ステップＳ３０５）。トライマップは、ステップＳ３０６でのグラフカット処理の際に使用する情報で、画像の各画素に、前景、背景、不定のいずれかのラベルを与えたものである。この処理において、ＣＰＵ１０１は、ステップＳ３０３とＳ３０４で取得した頭部輪郭Ｃｈおよび顎輪郭Ｃａの周辺画素を不定にする。

このとき、ＣＰＵ１０１は、図４に示されるように、頭部輪郭Ｃｈの周辺画素については不定領域の幅Ｗｈを太くし、顎輪郭Ｃａの周辺画素については不定領域を細く（例えば１画素幅に）してグラフカットで探索しなくてよいようにする。図５の（ａ）―１または（ａ）―２として例示されるように、頭部は髪型に個人差がある。その差を吸収するために、図５の（ｂ）−１または（ｂ）−２として例示されるように、不定領域を太くし、その不定領域の中をグラフカットで探索させるようにする。頭部の輪郭の場合は、頭部と背景との色の差により、正確に輪郭を取得できるため太くすることができる。この結果、図５の（ｃ）−１または（ｃ）−２として例示されるように、髪型が異なってもグラフカットで幅Ｗｈが太い不定領域内が探索されることにより、頭部を背景から適切に分割することができる。

一方、顎は個人差が少ないため、不定領域を細くしてよい。不定領域の幅が狭いのでグラフカットの探索があまり行われず、この結果、例えば図６（ａ）または（ｂ）として例示されるように、顎を背景から滑らかに分割することができる。顎の部分の不定領域が頭部と同じ幅だと、グラフカットは１画素単位で探索を実行するため、顎の部分の色と首の部分の色が似ていることにより、例えば図６（ｃ）または（ｄ）に例示されるように、得られる輪郭が滑らかにならず不自然となる。

ステップＳ３０５において、評価値から不定領域の幅Ｗｈを決める例としては、評価値にエッジの勾配強度などを使って、勾配強度が強い所はエッジらしさが高いので、不定領域の幅Ｗｈを狭くし、勾配強度の弱いところはエッジらしさが低いので、不定領域の幅Ｗｈを広くするなどの手法を採用できる。グラフカットは、トライマップで得られた不定領域について探索処理を実行し、その画素の中から前景と背景の最適な境界を探す手法である。顔の切抜きにおいては、顔の輪郭周辺を不定とすることで、最適な顔の輪郭が得られる。このとき、頭部輪郭Ｃｈは、頭髪と背景の色の差で、グラフカットにより、正確に輪郭を得ることができるが、顎輪郭Ｃａは、顎の色と首の色の差がほとんどないことが多いため、グラフカットで正しい輪郭を取得することが困難である。そこで、本実施形態では、トライマップの作成において、図４に示すように、頭部輪郭Ｃｈを中心とした幅Ｗｈの領域を不定領域とし、顎輪郭Ｃａに沿った１画素の幅の領域を不定領域とするものである。
なお、ここでは、顎輪郭Ｃａに沿った１画素の幅の領域を不定領域としているが、１画素に限ることなく、２画素あるいはそれ以上であってもよい。

以上のステップＳ３０５のトライマップ処理は、図１のトライマップ作成部１０３の機能を実現するものである。

その後、ＣＰＵ１０１は、ステップＳ３０５で作成したトライマップを使用し、グラフカット処理を実行する（ステップＳ３０６）。グラフカットは、主要オブジェクト（本実施形態の場合、顔）を含む画像を主要オブジェクト領域と背景領域とに分割する技術である。領域分割を行う場合，主要オブジェクトと背景の関係によりその境界が不明確な部分（以下「不定領域」と記載する）が存在する可能性があり，最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では，領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。具体的な計算方法としては、例えば非特許文献１に記載の技術を採用することができる。この処理は、図１のグラフカット切抜き部１０４の機能を実現するものである。

最後にＣＰＵ１０１は、ステップＳ３０６でのグラフカットの結果を使って、元画像から顔領域を切り抜いて出力する（ステップＳ３０７）。

以上説明した実施形態により、グラフカットに与えるトライマップの、頭部（頭髪部分）の輪郭を太くすることで、グラフカットにより複雑な形状の輪郭を取得できる。また、グラフカットに与えるトライマップの、顎の輪郭を細くすることで、グラフカットによらず、指定した滑らかで自然な顎輪郭が取得できる。頭部輪郭と顎輪郭を別々に計算して取得することで、それぞれの輪郭に適したフィッティングができ、輪郭の取得精度を向上させることが可能となる。

なお、本実施例は、顔画像の切抜きについて説明したが、これに限ることはなく、例えばマスコットキャラクターや動物、あるいは花などといった人物以外の特定領域を切抜く場合に用いてもよい。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像において分割する特定領域を特定する特定手段と、
前記特定手段によって特定された特定領域の境界を、境界らしさを評価する評価値を算出しながら、当該評価値に基づいて境界としての適正を評価する境界適正評価手段と、
前記評価値に基づいて前記境界近傍の不定領域の幅を設定しながら、前記画像に対して前記特定領域、前記特定領域以外の領域、および前記不定領域からなるトライマップを作成するトライマップ作成手段と、
前記トライマップの不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域を分割する分割手段と、
を備えることを特徴とする画像処理装置。
（付記２）
前記特定手段は、人物画像における顔領域と背景領域とを分割することを特徴とする付記１記載の画像処理装置。
（付記３）
前記境界適正評価手段は、前記特定手段によって特定された顔領域の画素と背景領域の画素との色差の大きさに応じて、前記評価のための感度に関するパラメータを変更することを特徴とする付記２記載の画像処理装置。
（付記４）
前記境界適正評価手段は、顎と首の境界領域と、顎以外の頭部と背景領域とで、前記評価のための感度に関するパラメータを異なるようにすることを特徴とする付記３記載の画像処理装置。
（付記５）
前記トライマップ作成手段は、前記評価値に応じて、異なる領域毎に前記トライマップの不定領域の幅を異なるように設定することを特徴とする付記１乃至４のいずれか１項に記載の画像処理装置。
（付記６）
前記トライマップ作成手段は、顎と首の境界領域と、顎以外の頭部と背景領域とで、前記トライマップの不定領域の幅を異なるように設定することを特徴とする付記５記載の画像処理装置。
（付記７）
画像において分割する特定領域を特定し、
前記特定手段によって特定された特定領域の境界を、境界らしさを評価する評価値を算出しながら、当該評価値に基づいて境界としての適正を評価し、
前記評価値に基づいて前記境界近傍の不定領域の幅を設定しながら、前記画像に対して前記特定領域、前記特定領域以外の領域、および前記不定領域からなるトライマップを作成し、
前記トライマップの不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域を分割する、
ことを特徴とする画像処理方法。
（付記８）
画像において分割する特定領域を特定するステップと、
前記特定手段によって特定された特定領域の境界を、境界らしさを評価する評価値を算出しながら、当該評価値に基づいて境界としての適正を評価するステップと、
前記評価値に基づいて前記境界近傍の不定領域の幅を設定しながら、前記画像に対して前記特定領域、前記特定領域以外の領域、および前記不定領域からなるトライマップを作成するステップと、
前記トライマップの不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域を分割するステップと、
をコンピュータに実行させるためのプログラム。

１０１ 顔検出部
１０２ 輪郭取得部
１０３ トライマップ作成部
１０４ グラフカット切抜き部
１０５ 輪郭学習部
１０６ 頭部初期輪郭作成部
１０７ 顎初期輪郭作成部
１０８ 頭部輪郭フィッティング部
１０９ 顎輪郭フィッティング部
１１０ 頭部輪郭学習部
１１１ 顎輪郭学習部１１１
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 外部記憶装置
２０５ 通信インタフェース
２０６ 入力装置
２０７ 出力装置
２０８ 可搬記録媒体駆動装置
２０９ 可搬記録媒体
２１０ バス
２１１ 撮像装置

Claims (11)

1. 画像において前記画像から分割する特定領域を特定する特定手段と、
   前記特定手段によって特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価する境界適正評価手段と、
   前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するトライマップ作成手段と、
   前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割する分割手段と、
   を備え、
   前記境界適正評価手段は、更に、前記特定手段によって特定された前記特定領域の画素と前記特定領域以外の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更することを特徴とする画像処理装置。
2. 前記特定手段は、人物画像において前記人物画像から、前記特定領域としての顔領域と前記特定領域以外の領域としての背景領域とを分割することを特徴とする請求項１記載の画像処理装置。
3. 前記境界適正評価手段は、顎と首との境界領域と、前記顎以外の頭部と前記背景領域との境界領域と、で評価のための感度に関する前記パラメータを異なるようにすることを特徴とする請求項２記載の画像処理装置。
4. 前記トライマップ作成手段は、前記評価値に応じて、異なる領域毎に前記トライマップの前記不定領域の幅を異なるように設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記トライマップ作成手段は、顎と首との境界領域と、前記顎以外の頭部と背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定することを特徴とする請求項４記載の画像処理装置。
6. 前記トライマップ作成手段は、前記顎と前記首との境界領域における前記不定領域の幅を、前記顎以外の前記頭部と前記背景領域との境界領域における前記不定領域の幅よりも細く設定することを特徴とする請求項５記載の画像処理装置。
7. 画像において前記画像から分割する特定領域を特定し、
   特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価し、
   前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成し、
   前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割し、
   前記境界としての適正の評価は、更に、前記特定領域の画素と前記特定領域以外の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更することを含むことを特徴とする画像処理方法。
8. 画像において前記画像から分割する特定領域を特定するステップと、
   特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価するステップと、
   前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するステップと、
   前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割するステップと、
   をコンピュータに実行させるとともに、
   前記適正を評価するステップは、前記特定するステップにて特定された前記特定領域の画素と前記特定領域以外の画素との色差の大きさに応じて、評価のための感度に関するパラメータを変更するステップを含むことを特徴とするプログラム。
9. 画像において前記画像から分割する特定領域を特定する特定手段と、
   前記特定手段によって特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価する境界適正評価手段と、
   前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するトライマップ作成手段と、
   前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割する分割手段と、
   を備え、
   前記画像は人物画像であるとともに、前記特定領域と前記特定領域以外の領域は、夫々、顔画像領域と背景領域であり、
   前記トライマップ作成手段は、前記顔画像領域における顎と首との境界領域と、前記顎以外の前記顔画像領域における頭部と前記背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定することを特徴とする画像処理装置。
10. 画像において前記画像から分割する特定領域を特定し、
    特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価し、
    前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成し、
    前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割し、更に、
    前記画像は人物画像であるとともに、前記特定領域と前記特定領域以外の領域は、夫々、顔画像領域と背景領域であり、
    前記トライマップの作成においては、前記顔画像領域における顎と首との境界領域と、前記顎以外の前記顔画像領域における頭部と前記背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定することを含むことを特徴とする画像処理方法。
11. 画像において前記画像から分割する特定領域を特定するステップと、
    特定された前記特定領域の境界の前記境界らしさを評価する評価値を算出し、前記評価値に基づいて前記境界としての適正を評価するステップと、
    前記評価値に基づいて、前記境界の近傍であって前記境界を含む不定領域の幅を設定し、前記画像に対して前記特定領域、前記特定領域以外の領域および前記不定領域からなるトライマップを作成するステップと、
    前記トライマップの前記不定領域においてグラフカット法によって前記特定領域と前記特定領域以外の領域とを分割するステップと、
    をコンピュータに実行させるとともに、
    前記画像は人物画像であるとともに、前記特定領域と前記特定領域以外の領域は、夫々、顔画像領域と背景領域であり、
    前記トライマップを作成するステップは、前記顔画像領域における顎と首との境界領域と、前記顎以外の前記顔画像領域における頭部と前記背景領域との境界領域と、で前記トライマップの前記不定領域の幅を異なるように設定するステップを含むことを特徴とするプログラム。