JP2011509451A - 画像データのセグメント化 - Google Patents

Abstract

画像データを処理する方法は、画像データを受け取る工程と、第１の基準及び第１の閾値を使用して画像データをセグメント化して画像データの第１のセグメント化ビューを作成する工程と、第１の基準及び第２の閾値を使用して画像データをセグメント化して画像データの第２のセグメント化ビューを作成する工程と、画像データの第１のセグメント化ビューを表示する工程と、第１のセグメント化ビューにおいて表示されるように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取る工程と、定義されたユーザ入力を受け取る工程と、画像データの第２のセグメント化されたビューを表示する工程と、第２のセグメント化ビューにおいて表示されるように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取る工程とを含む。前述の方法は、深度マップの作成において使用することが可能である。この場合、処理は、１つ又は複数の深度ユーザ入力を受け取る工程であって、各深度ユーザ入力は、それぞれの選択ユーザ入力に関係する工程と、相応に画像データの深度マップを生成する工程を更に含む。

Description

本発明は、画像データを処理するための方法、システム、及びコンピュータ・プログラム・プロダクトに関する。

３Ｄテレビなどの３次元ビューイング装置の提供が増加傾向にある。前述の装置は一般に、２つの分類のうちの１つに入る傾向にある。第１の分類は、立体装置のものであり、これにより、ユーザが、特殊めがねをかけることにより、３次元画像を認識することが可能になる。ユーザがかけるめがねにより、ユーザの眼が離間している距離を偽装し、短距離で離間した視点による、同じシーンのわずかに異なるビューである別々の画像をそれぞれの眼がみるということが確実になる。ユーザの脳は、３次元画像を生成するよう前述の２つの画像を処理する。ディスプレイ(表示)装置の第２の分類は、何れの特殊めがねをユーザがかけることなく、３次元効果をもたらす自動立体表示装置を含む。前述の装置は、ディスプレイからの複数のビューを投影することによって機能する。これにより、この場合にも、ユーザの各眼は別々の画像をみることが確実になる。このことを達成することが可能な１つのやり方には、画像の複数のビューをもたらすために、通常のディスプレイ装置上にレンチキュラー光学アレイをオーバレイするということがある。

自動立体ディスプレイ装置による使用のためのコンテンツの利用可能性はその市場での受け入れにとって重要である。自動立体表示装置が満足なビデオ出力を生成するために、ビデオ内のフレーム毎に深度マップが利用可能でなければならない。深度マップ及び元のフレームは、自動立体ディスプレイによって必要な複数ビューを生成するために使用される。ビデオ系列は、１秒間に多くのフレームを含む、例えば、ＰＡＬ手法は、毎秒２５フレームというフレーム・レートを有し、画像系列に必要な深度マップの生成は、問題にならない作業でない。

高品質３Ｄビデオの利用可能性は、３Ｄテレビの成功にとって重要である。現在、３次元ビデオのキャプチャ、及び深度を加えることによる、既存又は新たに取得された２Ｄビデオから３Ｄビデオへの変換が、種々の企業において検討されている。周知の変換手法は、グラフィカル・エディタを介して手作業入力を使用して、キー・フレームにおいて深度を割り当て、次いで、ビデオ・ショットの持続時間（通常、数秒間）の間、この深度情報を自動的に伝播させるというものである。自動伝播は急速に成熟しているが、（エディタを使用した）キー・フレームでの深度の手作業の評価はなお低く（ユーザは通常、深度プロファイルが規定される多角形を描き）、よって高価である。

キー・フレームにおいて深度を割り当てるのは現在、多くの場合、共通のグラフィッカル・エディタを使用して行われる。ポリゴン描画ツ―ルのみが、非常に多くの場合、一定の距離又は深度プロファイルが割り当てられる領域を選択するために使用される。前述の処理は遅い。ユーザは、マウスを使用して物体輪郭に近いカーソルを配置しなければならない。通常、多くのマウス・クリックが、曲線を物体と正確に合わせるために必要である。

画像処理の別の分野では、選択を支援するために自動セグメント化が提案されている（Ｃ． Ｏｌｉｖｅｒ及びＳ． Ｑｕｅｇａｎによる「Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ Ｉｍａｇｅｓ, Ａｒｔｅｃｈ−Ｈｏｕｓｅ， １９９８）。前述の選択手法は、画像を方形領域に区分し、領域フィッティングを使用して領域エッジを物体境界と自動的に合わせるために使用することができる。前述の手法は、Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ、 Ｐｅｔｅｒ Ｅ． Ｈａｒｔ及びＤａｖｉｄ Ｇ． Ｓｔｏｒｋによる「Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ， Ｊｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ， Ｉｎｃ．， Ｎｅｗ Ｙｏｒｋ， ２００１」に示すデータのクラスタ化と非常に類似しているが、その相違点として、局所最適化基準において境界の正則性を組み入れている。これにより、雑音による非正則エッジを避けることがより容易になる。

カーソルで領域を選択し、次いで、深度を領域に割り当てることは、自動的に生成されたセグメント化が深度マップの生成に寄与し得る明白なやり方である。しかし、セグメント化において領域の数を選択することは困難である。重要な輪郭の欠落を避けるために、多くの小領域が必要である。他方で、大領域は、より速い深度割り当てを可能にする。考えられる最善のセグメント化の選択が課題として残るので、選択の手作業による区分がなお広く使用される。

本発明の目的は、公知技術を改良し、選択された処理を改良することである。

本発明の第１の局面によれば、第１の基準及び第１のパラメータを使用して画像データをセグメント化して、画像データの第１のセグメント化ビューを生成する工程と、第１の基準又は第２の基準及び第２のパラメータを使用して画像データをセグメント化して、画像データの第２のセグメント化ビューを生成する工程と、画像データの第１のセグメント化ビューを表示する工程と、第１のセグメント化ビューにおいて表示されたように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取る工程と、画像データの第２のセグメント化ビューを表示する工程と、第２のセグメント化ビューに表示されたように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取る工程とを含む、画像データを処理する方法が提供される。

本発明の第２の局面によれば、上記システムは、第１の基準及び第１のパラメータを使用して画像データをセグメント化して、画像データの第１のセグメント化ビューを生成し、第１の基準又は第２の基準及び第２のパラメータを使用して画像データをセグメント化して、画像データの第２のセグメント化ビューを生成するよう構成されたプロセッサと、画像データの第１のセグメント化ビュー及び第２のセグメント化ビューを表示するよう構成された表示装置と、第１のセグメント化ビューにおいて表示されたように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取り、第２のセグメント化ビューにおいて表示されたように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取るよう構成されたユーザ・インタフェースとを備える、画像データを処理するシステムが提供される。

本発明の第３の局面によれば、第１の基準及び第１のパラメータを使用して画像データをセグメント化して、画像データの第１のセグメント化ビューを生成するための命令と、第１の基準又は第２の基準及び第２のパラメータを使用して画像データをセグメント化して、画像データの第２のセグメント化ビューを生成するための命令と、画像データの第１のセグメント化ビューを表示するための命令と、第１のセグメント化ビューにおいて表示されたように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取るための命令と、画像データの第２のセグメント化ビューを表示するための命令と、第２のセグメント化ビューにおいて表示されたように、画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取るための命令とを含む、画像データを処理するための、コンピュータ読み取り可能な媒体上のコンピュータ・プログラム・プロダクトを提供する。

本発明の結果、（ビデオ・フレームや静止画像などの）画像データのセグメント化領域を選択するために使用することが可能なツールを提供することが考えられる。方法及びシステムは、別々の領域マージ・レベルにおける複数のセグメント化を提示することにより、ユーザに対する支援を提供する。本発明は、所定の２つのマージ・レベルに基づいてセグメント化された２つのビューと組合せて使用することが可能であるが、好ましくは、ユーザは、単一の領域が別々の物体を含むことを妨げるようマージ・レベルを相互作用で調節することが可能である。本発明を使用することが可能な通常の適用例には、入力として平面（２Ｄ）ビデオを使用して３Ｄビデオの半自動生成が含まれる。更に、本発明は、相互作用（画素ベースの）画像処理のための汎用的な画像編集ソフトウェアにおいて選択ツールを提供するために使用することも可能である。本発明は、選択のために最適なやり方で画像をセグメント化しようとするよりも、特定の選択に最もよく適したセグメント化から選択するためのやり方を効果的に提供する。

好ましくは、方法は、第１のセグメント化ビューからの１つ又は複数の選択されたセグメント、及び第２のセグメント化ビューからの１つ又は複数の選択されたセグメントを結合する工程を更に含む。根底にある考えは、まず、第１のセグメント化ビューに基づいて、ユーザ選択セグメントを、選択に加えるか、又は選択から減らすことを可能にするということである。例えば、セグメント上で左クリックすることにより、選択に加えられ、右クリックすることにより、選択から取り除かれる。

その後、前述の選択は、第２のセグメント化ビューに基づいて選択に対してセグメントを増やすか又は減らすことにより、補正することが可能である。例えば、セグメント上で左クリックすることにより、選択に加えられ、右クリックすることにより、選択から取り除かれる。結果として生じる選択の選択領域は、第１のセグメント化ビューからの部分又は完全セグメント化境界、及び第２のセグメント化ビューの部分又は完全セグメント境界と一致し得る。

好ましくは、処理は、１つ又は複数の深度ユーザ入力を受け取る工程であって、各深度ユーザ入力は、それぞれの選択ユーザ入力に関係する工程と、相応に画像データの深度マップを生成する工程を更に含む。システムは、画像データのセグメント化ビューに沿って深度マップを表示するよう更に構成することが可能である。本発明によって提供されるシステム及び方法は、深度マップの作成のための開発ツールに非常に適している。

好ましくは、処理は、第１のセグメント化ビューからセグメントを選択した後に、定義されたユーザ入力を受け取る工程を更に含み、定義されたユーザ入力は、第２のセグメント化ビューの表示をトリガする。このようにして、ユーザは、セグメント化及び／又はセグメント化基準の別々のレベル間で切り換えることが可能であり、その要件に応じて、別々のビューにおけるセグメントを選択することが可能である。深度マップを生成するためにユーザがみたい厳密なセグメント化をもたらすセグメント化アルゴリズムはないので、上記ツールは、適切なレベルのセグメント化及び／又はセグメント化基準をユーザが選択することを可能にすることにより、深度マップを生成する単純かつ効率的な方法を提供する。

効果的には、第１のセグメント化ビュー及び第２のセグメント化ビューが何れも第１の基準に基づく場合、方法は、第２の基準及び第３のパラメータを使用して画像データをセグメント化して、画像データの第３のセグメント化ビューを生成する工程と、更に定義されたユーザ入力を受け取る工程と、画像データの第３のセグメント化ビューを表示する工程と、第３のセグメント化ビューに表示されるように、画像データの１つ又は複数のセグメントを選択する選択ユーザ入力を受け取る工程とを更に含む。このようにして、本発明は効果的に、データのセグメント化レベル間の切り換え、及びデータのセグメント化基準間の切り換えを可能にする。

この考えは、前述の２つのセグメント化基準（すなわち、色、動き）を考慮に入れることによって最もうまく示される。画像データが色によってセグメント化される場合、ユーザは、深度マップの生成などの作業を完了すると、セグメント化のレベルを調節することができる。しかし、ユーザは、「色」よりも「動き」にセグメント化ビューを切り替えることも可能である。これは、この基準に応じて画像をセグメント化する。例えば、画像内の動くサッカーボールは、色セグメント化によって高密度でセグメント化されているが、「動き」セグメント化に切り換えると、サッカーボールは、もうあまり区分されない。移動する単一の物体であるからである。物体の画素は通常、同様の深度値を有するので、前述の選択のやり方は、小さな数又は最小の数のユーザ入力を使用して物体の画素全てをユーザが選択することを可能にする。このようにして、物体に深度値を注釈することはかなり単純化することが可能である。セグメント化に使用することが可能な基準の例には、全て、画像から容易に抽出することが可能な色、セグメント・サイズ（例えば、近傍セグメントの色が最も類似している固定閾値よりも小さいセグメントをマージする）、輝度、クロミナンス、動き及びテクスチャがある。

画像データを処理するシステムの概略図である。 画像データのフレームの概略図である。 図２の画像データのフレームの別々の３つのセグメント化ビューを示す概略図である。 更なる画像データの別々の３つのセグメント化ビューを示す概略図である。 画像データを処理する方法のフローチャートである。 別々のセグメント化ビュー間の関係を示す図である。 図６のビュー間のナビゲーションを示す図である。 画像データの２つの検査フレームを示す図である。 図８の画像データの８つのセグメント化ビューの図である。 図８の画像データ、及び対応する深度マップの概略図である。

本発明の実施例を例としてのみ、添付図面を参照して説明する。

図１は、画像データを処理するために使用することが可能なシステムを示す。システムは、プロセッサ１０、表示装置１２、及び、キーボード１４とダイアル１６とを備えたユーザ・インタフェース（以下に更に詳細にその機能を説明する）を含む。ユーザ・インタフェースは、表示装置１２のタッチスクリーン構成部分を含み得る。これは、セグメントの効率的な選択を可能にする。図１のシステムは、通常のデスクトップ型ＰＣ、テーブルトップ型ＰＣ、ディスプレイを内蔵したタッチ・タブレットを中心に構成することが可能であるか、又は、画像データを処理する作業のために特に構成された専用（グラフィカル）ワークステーションであり得る。システムは、画像データを扱うユーザを支援するためのツールである。プロセッサ１０は、本願においてユーザが利用するために画像データのセグメント化を行う。以下の説明では、深度マップの作成を支援するためにユーザがツールを使用しているという前提で実施例を示す。

セグメント化の概念を説明するために、図２は、画像データ１８の非常に様式化されたフレームを示す。画像データ１８は、青空、緑の草、白色のゴールポスト、及び多色のサッカーボール（画像の唯一の、動いている構成部分である）を示す。明らかに、画像フレーム１８は、静止状態の単一のシーンを表すが、フレーム１８は、ビデオ信号を構成するフレーム列の１つを備え、サッカーボールは、先行フレームにおけるその位置に対して移動する。画像フレーム１８を記録させたカメラは静止状態にある。

画像は、処理システムのプロセッサ１０などのプロセッサによって実行されるアルゴリズムによってセグメント化することが可能である。セグメント化に関する考えは２つ存在している。これらは、使用されるセグメント化基準、及び施される（閾値であり得る）セグメント化パラメータである。別々の多くの基準（色、セグメント・サイズ、輝度、クロミナンス、動き及びテクスチャ）が考えられる。前述の基準全てを、画像フレーム１８を構成するデータにおいて検出することが可能である。例えば、閾値をセグメント化パラメータとして使用してデータ１８のセグメント化基準として色を使用する場合、同じ又は類似した色を有する画像データ１８内の画素は同じ領域にあるとみなされる。施される閾値は、隣接した２つの画素が類似しているとみなされるか否かを定める。隣接した２つの画素が同一の青色値及び緑色値を有するが、それらの赤色値が１０だけ異なるとした場合、閾値は、それらが同じ領域に属すると判断されるか否かを定める。閾値を高又は低に設定することにより、画像データ１８が、より小さな数の領域にセグメント化されるか、より大きな数の領域にセグメント化されるかが定められる。セグメント化はそういうものとしてＲＧＢ色空間に制限されないということが当業者に明らかになる。

輝度値全てに対する単一の閾値、輝度に依存する閾値から、個々の色成分に対する差別化された閾値に及ぶ別々の多くのセグメント化パラメータが想定される。単一のセグメント化基準を使用してセグメント化の範囲を得るための単純なやり方には、特定の基準を使用して、ファイン・グレインのセグメント化をもたらし、後に、セグメントをマージして、より粗いセグメントを得るということがある。その後、セグメント化されたビューの範囲からのセグメント化ビューのその後の選択は、マージ・レベルを示すパラメータに基づき得る。前述のセグメントをブラウジングするユーザは、画像データ１８のセグメント化ビューにおいて存在するセグメントをマージ又は分離した結果として、選択されたビューを認識する。

図１のシステムによって行われる画像データ１８を処理する方法は、画像データ１８を受信する工程と、次いで、画像データ１８をセグメント化する工程とを含む。図３は、図２の画像データ１８の別々の３つのセグメント化ビュー２０ａ、２０ｂ及び２０ｃを示す。これらは、一度に１つ、ユ―ザに向けて表示装置１２上に表示され、ユーザは、望みとしてビュー間で切り換えることができる。あるいは、ビュー２０はユーザに向けて同時に表示することが可能であり、ユーザは、適切なユーザ・インタフェース動作を介して現在のセグメント化ビュー２０間で切り換えることができる。

プロセッサ１０は、第１の基準及び第１の閾値を使用して画像データ１８をセグメント化して画像データ１８の第１のセグメント化ビュー２０ａをもたらし、第１の基準及び第２の閾値を使用して画像データ１８をセグメント化して画像データ１８の第２のセグメント化ビュー２０ｂをもたらし、第２の基準及び第３の閾値を使用して画像データ１８をセグメント化して画像データ１８の第３のセグメント化ビュー２０ｃをもたらす。この例では、第１の基準は色であり、第２の基準は動きである。第２のセグメント化ビュー２０ｂは、パラメータ・レベルに応じて併せてビュー２０ａのセグメントをマージすることによって作成することが可能である。

図３で分かるように、セグメント化ビュー２０自体は何れも、画像データ１８の理想的なセグメント化をもたらすものでない。複数のセグメント化ビュー２０からの情報をシームレスに結合する機能をユーザに備えることにより、ユーザが正しい細粒度で別々の構成部分にアクセスするための効率的な方法論がもたらされる。基本的には、画像データ１８内に４つの物体（すなわち、地面、空、サッカーボール、及びゴールポスト）が存在している。ユーザは、この画像データ１８の深度マップを作成することを望み、各物体に１つ、別々の４つの深度値を割り当てることができることが必要である。従来技術のソリューション（解決策）では、ユーザは、ソフトウェアを使用して、画像データ１８において領域を作成することにより、手作業で深度値を割り当てるか、又は、単一のセグメント化が行われ、次に、ユーザによって修正される。

しかし、プロセッサ１０によって生成される別々のビュー２０は、現在達成可能であるよりも、より簡単でかつより高精度に深度マップを作成するうえでユーザをサポートする。第１のセグメント化ビュー２０ａは、閾値が低い、色の基準に基づいたセグメント化である。このビューでは、ボールは、高密度にセグメント化され、緑の草も過剰にセグメント化される（閾値により、草の中の緑色の別々の濃淡の度合いが検出されることを示唆している）。実際には、セグメント化により、草の中で生成される領域は、正則の矩形でない。これは、領域へのセグメント化の概念を示すために使用される。しかし、第１のビュー２０ａは、空をゴールポストから区別するために必要である。セグメント化に色を使用し、閾値が高い第２のセグメント化ビュー２０ｂにみられるように、草はその場合、単一の領域にマージされているが、空及びゴールポストは更に単一の領域に合成される。ボールはなお高密度にセグメント化される。複数のセグメント化基準に基づいて複数のセグメント化ビューに対するシーケンシャル・アクセスを提供するシステムでは、ユーザは、図２０ｃのビューである、第２のセグメント化基準（ここでは、動き）に変更するという選択肢を有する。この場合、唯一の動いているオブジェクト（すなわち、ボール）は単一の領域である。

別々のビュー２０にわたって移動することにより、ユーザは深度マップを作成することが可能である。事実上、これは、画像データ１８の第１のセグメント化ビュー２０ａを表示し、第１のセグメント化ビュー２０において表示されるように、画像データ１８の１つ又は複数のセグメントを選択する（例えば、最初に空を選択し、次にゴールポストを選択する）１つ又は複数の選択ユーザ入力を受信し、ビューを切り換える旨の規定されたユーザ入力を受信し、画像データ１８の第２のセグメント化ビュー２０ｂを表示し、第２のセグメント化ビュー２０ｂ（地面）において表示されるように、画像データ１８の１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受信することによって達成される。画像データ１８を、第２の基準（動き）及び第３の閾値を使用してセグメント化して画像データ１８の第３のセグメント化ビュー２０ｃを作成し、ビューを切り換える旨の規定された更なるユーザ入力を受信した後、画像データ１８の第３のセグメント化ビュー２０ｃが表示され、ユーザ・インタフェースは、第３のセグメント化ビュー２０ｃに表示されるように、画像データ１８の１つ又は複数のセグメント（ボール）を選択する１つ又は複数の更なる選択ユーザ入力を受信する。

元の画像データ１８の「最適な」セグメント化を生成することが可能でないので、システムは、予め計算された複数のセグメント化間で切り換えるための高速選択機構を深度エディタのユーザに提示する。別々の複数のセグメント化ビューを同じ場所に表示することにより、ユーザは、物体又は画像の特定の一部分に焦点を当て、一致するセグメントが見つかるまでセグメント化を切り換えることが可能である。複数のセグメント化が別々の場所に同時に表示されるシナリオと比較して、これは、かなりの改良を表す。

他方で、並列に、複数のセグメント化ビューを視覚化することは、どの特定のセグメント化が、前述の注釈の好適な開始点をもたらすかを評価するうえで有用であり得る。よって、並列に別々のセグメント化基準に基づいて複数のセグメント化を表示することにより、他の便益がもたらされる。

図３では、別々の２つのセグメント化ビュー２０ａ及び２０ｂのみが色の基準によって計算された。これはしかし例示に過ぎず、実際には、そこから選ばれる、より多くの数のセグメント化ビューを有することが有用であり得る。これは、画像データ１８のセグメント化ビュー２２ａ、２２ｂ及び２２ｃを示す図４に示す。図４では、深度マップ作成のための本願提案のエディタの例示的な使用を示す。ビュー２２ａ乃至２２ｃは、別々の領域マージ・レベルにおけるセグメント化である。別々のマージ・レベルにおける領域を選択し、領域毎又は領域群毎に深度値を調節することにより、ピクチャにおける個人に、一定の深度が割り当てられる。

中央ビュー２２ｂは画像データ１８のデフォールト・ビューとみなし得、ユーザは、キーボード１４上の左矢印キーを使用して左画像２２ａを表示し、同様に、キーボード１４上の右矢印キーを使用して右画像２２ｃを表示することが可能である。このようにして、単純かつ簡単な選択機構が、深度エディタのユーザに向けて提示される。中央ピクチャ２２ｂは、深度を円に割り当てるために使用される。これが最も効率的であるからである（３つの領域のみを選択すればよい）。右矢印キー（→）を押すことにより、類似した色の領域がマージされる（円は別の物体とマージする）。左矢印キー（←）を押すことにより、マージされた領域は、より多くの部分に分離される（円を選択することは、５つの領域の選択を必要とする）。ユーザはよって、物体に深度を割り当てるために、適切な細粒度を使用することが可能である。実際には、特に、セグメント化に使用される、色などの基準により、ユーザが巡回し得る、より多くの数のビューを使用することが可能である。この目的で、図１のダイアル１が提供され、これは、現在行っている作業（又はサブ作業）の細粒度の正しいレベルにユーザが「チューニングする」ことを可能にする。

ツールによって使用するためにビュー２０及び２２を提供するために、例えば、上述の、Ｏｌｉｖｅｒによる論文に記載されたような領域フィッティングを使用して、当初セグメント化が行われる。この当初セグメント化Ｓ_１は、重要な深度の不連続性全てが領域エッジと一致することを確実にするために多くの小領域を含む。その後のセグメント化Ｓ_２…Ｓ_１０は、Ｓ_１の領域を順次にマージすることによって作成される。マージされた第１のセグメント化Ｓ_２は、Ｓ_１における隣接領域（Ｒ_ｉ，Ｒ_ｊ）全てをマージすることによって生成される。

ここで、（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）及び（ｒ_ｊ，ｇ_ｊ，ｂ_ｊ）はそれぞれ、領域Ｒ_ｉ及びＲ_ｊの平均色ベクトルである。マージ閾値の通常の値はＴ_１＝１０である。新たな平均色ベクトルは次いで、マージされた領域について計算される。第２のマージされたセグメント化Ｓ_３が、Ｓ_２から、同じ手順を使用して、しかし、マージ閾値Ｔ_２を使用して計算される。セグメント化Ｓ_１０が作成されるまで、この処理が続行する。一実施例では、閾値は、新たなマージ・レベル毎に１０だけ増加させる。この場合、Ｔ_１０＝１００である。前述のセグメント化処理は、ユーザによる何れかの作業の前に行うことが可能であるか、又は、左矢印キー及び右矢印キーを押すことにより、ユーザが新たなビューを選択するにつれ、即座に行うことが可能である（図４の実施例）。実際に、ユーザが行っている現在の作業に何れのビューも適していない場合、例えば、図４の２２ａ及び２２ｂ間の新たなビューについて、ユーザは、中間セグメント化を行うことを要求することが可能である。この新たなビュー２２は、２つのビュー２２ａ及び２２ｂに関して使用される新たな中間閾値を使用してセグメント化を行うことにより、直ちに作成される。

図４は、どのようにして、別々の３つのセグメント化マージ・レベルが、例えば、画面上のカーソルにより、ユーザがセグメントを選択することにより、深度マップを生成するために使用されるかを示す。ビュー２２ｃでは、大きなセグメントを単一のマウス・クリックで選択することが可能である。しかし、背景の一部は、前景において誤って配置され得る。これは、より低いマージ・レベルにおけるセグメント化に移動することにより、ビュー２２ｂにおいて部分的に補正することが可能である。しかし、背景の小部分が前景になお配置されている場合でなおあり得る。この誤りは、更に低いマージ・レベルを有するセグメント化を選択することによって補正される（ビュー２２ａ）。

図５は、対話型セグメント・マージを備えた深度エディタの動作のフローチャートを示す。破線の上には、ユーザの目に見えないオフライン処理がある。破線の下は、システムの対話部分である。エディタへの入力は、深度マップｄが構成される画像データＩである。

オフライン部分では、領域色セグメント化Ｓ_１が計算される。好ましくは、これは、いわゆるオーバセグメンテーションである（シーン内の物体よりも多くのセグメントが画像内に存在しているということを意味している）。この最も基本的な色セグメント化Ｓ_１が次いで、領域サイズ、領域平均色、領域テクスチャ、領域動き等などの領域特性に基づいて再帰的にマージされる。第１のマージ工程の結果がマージされたセグメント化Ｓ_２である。Ｓ_２に基づいて、領域サイズ、領域平均色、領域テクスチャ、領域動き等などの領域特性が再計算され、マージされた新たなセグメント化Ｓ_２が計算される。特定の数Ｋに達するまで、この処理が繰り返される。セグメント化Ｓ_１乃至Ｓ_Ｋ全てが記憶される。更に、前述のセグメント化の次に、リアルタイム・エッジ表示のためにオンライン部分において使用されるＫ個のエッジ・マップが計算され、記憶される。

オンライン部分は、当初マージ・レベル・セグメント化及び当初背景深度マップを選択することによって開始する。当初マージ・レベルはデフォールトで中間マージ・レベルになる。当初背景深度マップは、ピクチャ内の高さの関数として深度を線形的に変える一定の背景値又は勾配である。

コントラスト色、又は当初マージ・レベルの他の強調表示手法を使用してセグメント化エッジを示す画像データを次いで表示してセグメント化ビューをもたらす。次に、ユーザは、画面を指し示し、左マウス・ボタンにクリックすることにより、領域を選択する。次いで、選択された領域は、ディスプレイ上で青色ピクチャ・チャネルを２５５にセットすることによって目に見えるようになる。領域は、現在の選択された領域の組に自動的に追加される。ユーザは、望む場合、マージ・レベルを変更し、かつ／又は新たな領域を選択することが可能である。左矢印キーを押すことにより、ユーザはより細かいセグメント化を選択する。右矢印キーを押すことにより、ユーザは、より粗いセグメント化を選択する。ユーザは、当該領域内の既に選択された画素上の左マウス・ボタンをクリックすることにより、領域を選択解除することが可能である。

ユーザが領域選択処理を完了すると、キーボード上のタブ・キーを押すことにより、画像のかわりに同じウィンドウ内で深度マップを示すことが可能である。現在の深度マップは次いで、緑色で描かれた選択された領域とともに表示される。次いで、ユーザは深度レベルを選択することが可能である。これは、スペースバーを押すことにより、５つの深度レベルのうちの１つの選択によってもたらすことができる。当初の深度値は２５５であり、ユーザがスペースバーを押す都度、深度レベルを５０だけ減少させる。深度レベルが５の場合、次のレベルは２５５になる。ユーザは、Ｅｎｔｅｒを押すことにより、処理を完了することが可能である。これにより、現在の領域選択が空になり、更に、深度マップが例えばディスクに保存される。画像にもう一度切り換えることは、Ｔａｂキーを押すことによって行われる。その後、ユーザは新たな選択を行うことが可能である。

上述の通り、動きに基づいたマージを使用して作成されている１つ又は複数のビュー２０をユーザに向けて供給することが可能である。連続した２つの画像フレームが利用可能な場合、動き推定は、同じ物体に属している可能性が高いセグメントのグループ化に寄与し得る。これを達成する１つのやり方には、１６×１６個の画素の、重ならないブロック、及び３３×３３個の画素のサーチ・ウィンドウを使用して、まず動きを推定するということがある。ブロック毎に、絶対差の最小和をもたらす動きベクトルが選択される（絶対差が、赤色成分、緑色成分、及び青色成分にわたって合計される）。次いで、動きベクトルのサイズ３３×３３を有する２次元ヒストグラムが生成される。ヒストグラム内の各ビンは、特定のブロックについて、対応するベクトルが最善の一致であることが明らかになった回数のカウントを含む。

前述のヒストグラムから、次いで、ヒストグラムにおいて、Ｎ_{ｍｏｄｅｌｓ}個の最大カウントを有するＮ_{ｍｏｄｅｌｓ}個の動きベクトルを選択することが可能である。一実現形態では、Ｎ_{ｍｏｄｅｌｓ}＝３を使用することが望ましいが、Ｎ_{ｍｏｄｅｌｓ}の、より大きな値により、更に、有用な出力が得られる。Ｎ_{ｍｏｄｅｌｓ}個の候補動きベクトルが次いで、動きに基づいてマージしなければならない入力セグメント化の各セグメントを分類するために使用される。特に、入力セグメント化におけるセグメント毎に、動きベクトル毎に、セグメントにおける画素にわたる絶対色差の和が計算される（絶対差は、赤色成分、緑色成分、及び青色成分にわたって加算される）。絶対差の和が最小になる動きモデルが最もよく一致し、よって、セグメントに割り当てられる。最後に、動きに基づいて、マージされたセグメント化を作成するために、同じ動きモデル識別子を有する空間的に隣接したセグメントが、出力セグメント化において単一のセグメントにマージされる。

限定された数の所定の候補動きモデルを使用する上記手法は、解決策が、限定された数の考えられる動きに制約されるという利点を有する。画像が、均質な色領域又は雑音を有する場合、又はセグメントが小さい場合、特に有用である。その場合、別々の動きベクトルは、信頼できるやり方で、空間的に隣接したセグメントをマージすることがそれに基づいて困難であるその、雑音のある動きフィールドをもたらす絶対差の類似した小さな和をもたらし得る。（適切なパラメータの組を伴い、）セグメント化基準として動き及び色を使用することにより、単一のマージ図において２つのモダリティを合成することが可能になる。動き関連の情報を使用して他のセグメント化を行うことが可能であるということは当業者に明確になるであろう。

図６は、どのようにして２つのマージ・モダリティを使用して、別々の８つのセグメント化を生成することが可能であるかを示す。前述の実施例では、モダリティ（色及び動き）を使用して、「マージ図」を生成した。図７は、「マージ図」において別々のセグメント化間でユーザがどのようにして切り換えることが可能であるかを示す。図６では、別々のマージ・レベルでのセグメント化が、別々の２つのマージ・モダリティ（この場合、色及び動き）を使用してどのように作成されるかを示す。「マージ図」における各円は、セグメント化ビューを表し、各矢印は、マージされたセグメント化の方向を指し示す。開始セグメント化は、閉じた円で示す。前述のセグメント化は一度、（ｘ軸方向において）色を使用してマージされ、２度目で、（ｙ軸方向において）動きを使用してマージされる。色に基づいた、結果として生じるマージされたセグメント化は次いで、一度、色を使用してマージされ、２度目で、動き等を使用してマージされる。

図７では、キーボード上の４つの矢印キーのうちの１つを使用して「マージ図」における別々の２つのセグメント化図間でユーザがどのようにして切り換えることが可能であるかを示す。実際には、例えば、数字キーパッドのように配置された専用キーの組を使用して、前述のセグメント化が利用可能になるという前提で、更に多くの方向で実際にナビゲートすることが可能になる。あるいは、又は更に、マージ図の画面上のディスプレイをレンダリングし、種々のセグメント化ビューにわたるナビゲーションを容易にし得る。あるいは、マウスのストローク、又はマウスのジェスチャをナビゲーションのために使用することが可能である。

図８は、同じ背景に前景物体（スピーカ）を合成することによって作成された２つの検査画像１８を示す。動きは、別の空間位置（右画像）における背景上にスピーカを貼り付け、それにより、動きをもたらすことによってシミュレートされている。前景内のスピーカは、暗い背景に対して写真撮影され、セグメント化され、別のピクチャ上に貼り付けられている。第２のピクチャでは、スピーカは、第１の画像に対して右に移動している。図８中の左画像は、ユーザに向けて提示され、セグメント化されており、図８中の右画像は、動きモデルの計算及び動きモデルの分類のための基準としてのみ使用されている。ユーザには示されない。画像フレームのビデオ系列を使用した例では、２つの画像１８は連続フレームになる。

図９は、図７及び図８のマージ図によって構成された８つのセグメント化ビュー２０全てを示す。８つのセグメント化は、マージ図の色軸及び動き軸に応じて構成される。セグメントはまず、水平方向に色に基づいてマージされており、次いで、垂直方向に動きに基づいてマージされている。左キー、右キー、下キー、及び上キーを使用して、前述の８つのセグメント化間でナビゲートする。明らかに、正の色マージ軸に沿って、セグメントがマージされ、正の動き軸に沿って、セグメントがマージされる。前述の８つのセグメント化間ですばやくナビゲートしながら、色ベースの２つのマージ工程、及びそれに続く、動きベースのマージ工程が、スピーカを選ぶ単一のマージ・セグメントをもたらすということが明らかになる。何れかのセグメント領域における一マウス・クリックにより、セグメントが強調表示される。キーボード上のＴＡＢキーを押すことにより、深度ウィンドウに切り換えた後、好適な深度が求められるまで、キーボード上のスペースバーを押すことにより、深度値を選択することができる。図１０は、選択されたセグメント・ビュー２０（左）、及び最終深度マップ２４（右）を示す。

図１０は、入力画像１８から深度マップ２４を得る処理を示す。図１０は、当初マージ・レベル２０、及びユーザ選択された大局深度プロファイル（深度マップ２４）を示す。ディスプレイ装置１２は、画像データ１８のセグメント化ビュー２０に沿って深度マップ２４を表示するよう構成される。セグメント化ビュー２０は、一連のエッジがオーバレイされた元の画像データ１８とみなし得る。前述のエッジは、セグメント化アルゴリズムの出力である領域（又はセグメント）を規定する。深度マップ２４は、少なくとも処理のこの時点では、その中にユーザ定義データを有しないことによって開始する。ユーザが深度マップ２４を容易に構築することを可能にするために、ツールが提供される。

ユーザは次いで、画像データ１８のセグメントを選択する選択ユーザ入力を供給することが可能である。システムは次いで、その領域２６を深度マップ２４に深度領域２８として移す。システムは、領域２６の当該選択ユーザ入力に関する深度ユーザ入力を受け取り、画像データ１８の深度マップ２４が相応に作成される。ユーザは、ビュー２０において選択した領域の深度値を選択する。ユーザは、望む場合、ビュー２０からの複数の領域を選択することが可能である。選択されたビューは全て、次いで、深度マップ２４に移され、ユーザは、深度値を前述の領域に割り当てることが可能である。実際に、別々の深度値を、深度マップ２４に現在移されている別々の領域について選択することが可能である。

（ダイアル１６などを介して）規定されたユーザ入力の後、ユーザは、別のセグメント化ビューに切り換えることが可能である。ユーザは、より粗いマージ・レベル（細粒度）に切り換えることが可能であり、これにより、複数のマウス・クリック（その後、深度値が割り当てられる）で、画像１８の更なる部分をユーザが選択することが可能になる。ユーザによって選択された領域は、深度マップ２４内の成分に変換される。ユーザは、所望の深度を、選択された領域に割り当てる旨の深度入力を行う。前述の処理は続く。ユーザは、セグメント化レベル間で移動し、現在のビュー内の１つ又は複数のセグメントを選択し、次いで、選択された領域に深度値を割り当てて深度マップｄを構築する。ユーザが終了すると、深度マップｄは、画像データ処理の出力になる。

図１０を参照して説明したシステム及び方法は、色距離に基づいて隣接領域を再帰的にマージすることによって、マージされたセグメント化が作成されるということを表している。しかし、前述のセグメント化基準は、領域特性の選択を制限する。色距離以外の基準を使用することが可能である。例えば、複雑度がより高い手法には、１０％の最小領域を選択し、色において最も類似した隣接領域と前述それぞれをマージするということがある。更に、第２の画像に関する動き情報を使用して、マージされたセグメント化を作成することが可能である。次いで、セグメントを、動きの類似度についてマージすることが可能である。

画像セグメント化は既知の手法である。Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ、 Ｐｅｔｅｒ Ｅ． Ｈａｒｔ及びＤａｖｉｄ Ｇ． Ｓｔｏｒｋによる「Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ， Ｊｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ， Ｉｎｃ．， Ｎｅｗ Ｙｏｒｋ， ２００１」並びにＣ． Ｏｌｉｖｅｒ、 Ｓ． Ｑｕｅｇａｎによる「Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ Ｉｍａｇｅｓ」に説明された領域フィッティング・セグメント化アルゴリズムに対する基準を表す。Ｄｕｄａの参考文献（ページ５４８及び５４９）により、反復的フィッティング中に一セグメントから別のセグメントに一サンプルが移動すると、誤り基準の単述かつ効率的な更新のための等式が得られる。この反復的フィティング手法は、上記処理において第１の（マージされていない）セグメント化を生成するよう施すことが可能である。領域フィティングにより、Ｏｌｉｖｅｒの参考文献において提示される尺度を使用して、セグメント境界が平滑であることも徹底される。境界の平滑性による反復的領域フィッティングにより、受け入れ可能な結果が得られる。しかし、場合によっては、縦長の長い領域が、ぼやけた物体エッジに沿って形成される。したがって、前述のセグメント化は、２つの領域フィッティング工程間で「フォールス・エッジ除去」を使用することによって改善することが可能である。２つの領域フィッティング工程間でフォールス・エッジ除去を使用するという考えは、「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｒｅｍｏｖｉｎｇ ｆａｌｓｅ ｅｄｇｅｓ ｆｒｏｍ ａ ｓｅｇｍｅｎｔｅｄ ｉｍａｇｅ」と題する、先願の国際公開２００４／０５１５７３号に開示されている。

一般的な規則として、より小さいセグメント／領域に元の画像データを分割する何れかの適切なセグメント化アルゴリズムを使用することが可能である。パラメータの調節により、別々のセグメント化ビューを生成するようセグメント化の細粒度を調節することが可能であるということが必要であるに過ぎない。前述の別々のビューは次いで、それらの間で切り換え、深度マップの作成などの現在の作業について別々のレベルで別々のセグメントを選択することが可能なユーザに対して利用可能である。

上述の通り、本発明は、ロトスコープ、画像復元、映画の着色化などの他のグラフィカル・アプリケーションにおいて、又はグラフィカル・エディタにおいて物体、領域を選択するために使用することも可能である。選択を視覚化するために、選択されたセグメントは好ましくは、選択処理を通じて、コントラスト色を使用して着色化され、かつ／又はアウトライン化される。

上記は、主に、画像系列からの画像に関して説明してきたが、本発明は、静止画像に深度マップを注釈するために、同様な利点で使用することも可能である。静止画像が画像系列から得られるとすれば、セグメント化のために動きキューを使用することがなお可能であり得る。しかし、単一の静止画像のみが利用可能な場合、動きキューは存在せず、前述の場合、輝度、クロミナンス及び／又はテクスチャなどの他のキューを、画像データをセグメント化するために使用することができる。前述の実施例は本発明を限定するよりも例証するものであり、本特許請求の範囲記載の範囲から逸脱しない限り、当業者は多くの別の実施例を企図することができる。

特許請求の範囲では、括弧内にある参照符号は何れも、請求項を限定するものと解されるべきでない。

本発明の枠組み内で、多くの変形が可能であることが明らかである。本明細書で具体的に示し、説明してきたものに本発明が限定されないということを当業者は認識するであろう。本発明は、新規な特徴的構成全て、及び特徴的構成の組合せ全てにおいて存在している。特許請求の範囲における参照符号は、その保護の範囲を限定するものでない。

「ｃｏｍｐｒｉｓｅ」という動詞、及びその活用形を使用していることは、請求項記載のもの以外の構成要素が存在することを排除するものでない。構成要素に先行する冠詞「ａ」又は「ａｎ」を使用していることは、前述の複数の構成要素が存在していることを排除するものでない。

Claims (18)

1. 画像データを処理する方法であって、
   第１の基準及び第１のパラメータを使用して前記画像データをセグメント化して、前記画像データの第１のセグメント化ビューを生成する工程と、
   前記第１の基準又は第２の基準及び第２のパラメータを使用して前記画像データをセグメント化して、前記画像データの第２のセグメント化ビューを生成する工程と、
   前記画像データの前記第１のセグメント化ビューを表示する工程と、
   前記第１のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取る工程と、
   前記画像データの前記第２のセグメント化ビューを表示する工程と、
   前記第２のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取る工程と
   を含む方法。
2. 請求項１記載の方法であって、前記第１のセグメント化ビューからの前記１つ又は複数の選択されたセグメント、及び前記第２のセグメント化ビューからの前記１つ又は複数の選択されたセグメントを合成する工程を更に含む方法。
3. 請求項１又は２に記載の方法であって、前記第１のセグメント化ビューからセグメントを選択した後に、定義されたユーザ入力を受信する工程を更に含み、前記定義されたユーザ入力は、前記第２のセグメント化ビューの表示をトリガする方法。
4. 請求項１又は２に記載の方法であって、前記セグメント化ビューにおける合成された選択画像セグメントの輪郭を連続して視覚化する工程を更に含む方法。
5. 請求項１又は２に記載の方法であって、１つ又は複数の深度ユーザ入力を受け取る工程であって、各深度ユーザ入力は、それぞれの選択ユーザ入力に関係する工程と、相応に前記画像データの深度マップを生成する工程とを更に含む方法。
6. 請求項５記載の方法であって、前記画像データのセグメント化ビューに沿って前記深度マップを表示する工程を更に含む方法。
7. 請求項１又は２に記載の方法であって、前記第２のセグメント化ビューが何れも前記第１の基準に基づく場合、前記方法は、第２の基準及び第３のパラメータを使用して画像データをセグメント化して、画像データの第３のセグメント化ビューを生成する工程と、更に定義されたユーザ入力を受け取る工程と、画像データの第３のセグメント化ビューを表示する工程と、前記第３のセグメント化ビューに表示されるように、画像データの１つ又は複数のセグメントを選択する選択ユーザ入力を受け取る工程とを更に含む方法。
8. 請求項１又は２に記載の方法であって、マージ・ユーザ入力を受信する工程、前記画像データのセグメントを選択するユーザ入力によって定義される前記画像データのセグメントをマージする工程とを更に含む方法。
9. 請求項１又は２に記載の方法であって、前記基準は、色、セグメント・サイズ、輝度、クロミナンス、動き及びテクスチャから選択される方法。
10. 画像データを処理するシステムであって、
    第１の基準及び第１のパラメータを使用して前記画像データをセグメント化して、前記画像データの第１のセグメント化ビューを生成し、前記第１の基準又は第２の基準及び第２のパラメータを使用して前記画像データをセグメント化して、前記画像データの第２のセグメント化ビューを生成するよう構成されたプロセッサと、
    前記画像データの前記第１のセグメント化ビュー及び前記第２のセグメント化ビューを表示するよう構成された表示装置と、
    前記第１のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取り、前記第２のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取るよう構成されたユーザ・インタフェースと
    を備えるシステム。
11. 請求項１０記載のシステムであって、前記ユーザ・インタフェースは、１つ又は複数の深度ユーザ入力を受け取るよう更に構成され、前記深度ユーザ入力はそれぞれの選択ユーザ入力に関し、前記プロセッサは、相応に、前記画像データの深度マップを作成するよう更に構成されるシステム。
12. 請求項１１記載のシステムであって、前記表示装置は、前記画像データのセグメント化ビューに沿って前記深度マップを表示するよう更に構成されるシステム。
13. 請求項１０、１１、又は１２に記載のシステムであって、前記第第２のセグメント化ビューが何れも前記第１の基準に基づいており、前記プロセッサは、第２の基準及び第３のパラメータを使用して前記画像データをセグメント化して、前記画像データの第３のセグメント化ビューを生成するよう更に構成され、前記表示装置は、前記画像データの前記第３のセグメント化ビューを表示するよう更に構成され、前記ユーザ・インタフェースは、前記第３のセグメント化ビューに表示されるように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取るよう更に構成されるシステム。
14. 画像データを処理するためのコンピュータ読み取り可能な媒体上のコンピュータ・プログラム・プロダクトであって、前記プロダクトは、命令を有し、前記命令は、
    第１の基準及び第１のパラメータを使用して前記画像データをセグメント化して、前記画像データの第１のセグメント化ビューを生成するための命令と、
    前記第１の基準又は第２の基準及び第２のパラメータを使用して前記画像データをセグメント化して、前記画像データの第２のセグメント化ビューを生成するための命令と、
    前記画像データの前記第１のセグメント化ビューを表示するための命令と、
    前記第１のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の選択ユーザ入力を受け取るための命令と、
    前記画像データの前記第２のセグメント化ビューを表示するための命令と、
    前記第２のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取るための命令と
    を含むコンピュータ・プログラム・プロダクト。
15. 請求項１４記載のコンピュータ・プログラム・プロダクトであって、１つ又は複数の深度ユーザ入力を受け取るための命令を更に備え、各深度ユーザ入力は、それぞれの選択ユーザ入力に関係するための命令と、相応に前記画像データの深度マップを生成するための命令を更に含むコンピュータ・プログラム・プロダクト。
16. 請求項１５記載のコンピュータ・プログラム・プロダクトであって、前記画像データのセグメント化ビューに沿って前記深度マップを表示するための命令を更に含むコンピュータ・プログラム・プロダクト。
17. 請求項１４、１５又は１６に記載のコンピュータ・プログラム・プロダクトであって、前記第２のセグメント化ビューは前記第１の基準に基づいており、更に、第２の基準及び第３のパラメータを使用して前記画像データをセグメント化して前記画像データの第３のセグメント化ビューを作成するための命令と、前記画像データの前記第３のセグメント化ビューを表示するための命令と、前記第３のセグメント化ビューにおいて表示されたように、前記画像データの１つ又は複数のセグメントを選択する１つ又は複数の更なる選択ユーザ入力を受け取るための命令とを更に備えるコンピュータ・プログラム・プロダクト。
18. 請求項１４乃至１７の何れか一項に記載のコンピュータ・プログラム・プロダクトであって、マージ・ユーザ入力を受信する命令と、前記画像データのセグメントを選択するユーザ入力によって定義される前記画像データのセグメントをマージするための命令とを更に備えるコンピュータ・プログラム・プロダクト。

Images