JP2004503017A - 画像中のオブジェクトを表現および探索する方法および装置 - Google Patents

Abstract

画像に出現するオブジェクトを表現する方法であって、本方法は、オブジェクトの複数のビュー記述子を導出することを含み、各ビュー記述子はオブジェクトの異なるビューに対応し、２つ以上のビュー記述子を関連付けることを含み、さらに、本方法は、それぞれのビューが画像に出現するオブジェクトのビューに対応するときに各ビュー記述子に対して示すことを含む。

Description

【０００１】
本発明は、例えばマルチメディア・データベースにおいて、特に探索に使用するための、画像中のオブジェクトを表現する方法および装置に関する。また、本発明は、画像中のオブジェクトを探索する方法および装置に関する。
【０００２】
画像に出現するオブジェクトの表現を使用して、静止画像またはビデオ画像を、例えば画像ライブラリに記憶することが知られている。表現は、注目のオブジェクトを含んでいる画像を取り出すことを可能にするために、探索方法において使用される。表現は、色、テクスチャ、および形状を含む、オブジェクトの様々な特徴に基づく可能性がある。
【０００３】
画像中のオブジェクトの形状を表現する様々な方法が、知られている。既知の方法には、チェーン符号化、四分木法、および曲率スケール空間表現方法が含まれる。
【０００４】
画像探索システムにおいて探索を実施するために、ユーザは、求めるオブジェクトのスケッチまたは画像をシステムに提示することによって、または、システム上に記憶されたオブジェクトのビューを選択することによって、クエリを入力する。次いで、システムは、クエリオブジェクトの表現を導出または獲得し、適切な整合方法を使用して、クエリ表現をデータベースに記憶された画像の表現と比較する。最も近い整合が、表示ユニット上に表示される。
【０００５】
ほとんどの場合、ビデオ画像に出現するオブジェクトは、３次元の実際のオブジェクトを２次元の像平面上に投影したものである。したがって、画像に出現する、オブジェクトの２次元の形状または輪郭と、可視であるオブジェクト表面の色およびテクスチャとは、視点位置、視角、カメラおよび光学システムのパラメータなどの要因に依存する。したがって、オブジェクトは、輪郭、形状、色、テクスチャなど、異なるビューに関連する異なる特徴を有することになる。
【０００６】
本出願人の同時係属中の特許出願であるＰＣＴ／ＧＢ００／０１６６２は、その内容を参照により本明細書に組み込んでおり、複数の異なる２次元ビューのオブジェクトの表現を導出し、関連付けて、オブジェクト表現を形成する、画像に出現するオブジェクトを表現する方法および装置について開示している。表現は、オブジェクトの形状に関することが好ましいが、例えば、異なるビューの色またはテクスチャに関する可能性もある。
【０００７】
上述した方法を、静止画像または映画などの内部のオブジェクトに適用するとき、異なるビューに関連するオブジェクトの特徴を表現するため、画像に関連付けられたいくつかの形状または他の記述子が存在する。しかし、通常、これらのビューのいずれも、元の画像内で可視である。特徴のいくつかは、オブジェクトの可視でない部分に関連し、オブジェクトの３Ｄ特性を記述するためのみのものである可能性がある。
【０００８】
オブジェクトの複数のビューのどれが可視で、どれが可視でないかを決定することができない場合、探索方法は、指定のビューを正確に見つけることができない。例えば、側面ビューを使用して、自動車を描写している画像を探索すると、自動車の上面および前面のビューも見つけることになる。
【０００９】
本発明の概念は、どの記述子が、その記述子が連結される画像または映画の内部の可視特徴に実際に関係するかを示す可視フラグを使用することである。
【００１０】
したがって、本発明は、画像に出現するオブジェクトを表現する方法を提供する。本方法は、オブジェクトの複数のビュー記述子を導出することを含み、各ビュー記述子は、オブジェクトの異なるビューに対応し、さらに、ビューが、画像に出現するオブジェクトのビューに対応するときに示すことを備える。
【００１１】
ＰＣＴ／ＧＢ００／０１６６２に開示された発明では、形状記述子は、１つのマルチメディアコンテントの内部に存在するオブジェクトに関連付けられる。そのような記述子は、異なるビューからオブジェクトの形状を記述した。これらのビューは、マルチメディア素材内で、可視または可視でないことがあり得る。可視フラグは、この可視情報を記憶する。
【００１２】
各ビューの可視データが、使用可能であるとき、探索方法は、必要なときに、可視でないビューを有するオブジェクトをフィルタリングすることができる。
【００１３】
本発明の一実施の形態について、添付の図面を参照して説明する。
【００１４】
本発明の一実施の形態によるシステムを図１に示す。システムは、システムの動作を制御するコンピュータなどの制御ユニット２と、画像およびテキストを含む出力を表示する制御ユニット２に接続されたモニタなどの表示ユニット４と、制御ユニット２に命令を入力するマウスなどのポインティングデバイス６とを含む。また、システムは、複数の静止画像およびビデオ・シーケンスの形態の画像のグループのデジタル・バージョンを記憶する画像データベース８と、画像データベース８に記憶された静止画像およびビデオ・シーケンスのそれぞれに出現するオブジェクトに対し、以下でより詳細に説明する記述子の情報を記憶する記述子データベース１０とを含む。画像データベース８と記述子データベース１０のそれぞれは、制御ユニット２に接続される。
【００１５】
この実施の形態では、システムの要素は、画像ライブラリなど、システムの構成要素が永続的に連結される、単一のサイト上に提供される。
【００１６】
本発明の一実施の形態によるオブジェクトに対する記述子を導出する方法について、以下で説明する。まず、この場合は円柱状のオブジェクトである、比較的単純な形状を有するオブジェクトについて、方法を説明する。
【００１７】
この例では、画像データベース８に記憶されたビデオ・シーケンスに、円柱状のオブジェクトは、２度出現する。図２を参照すると、第１の出現では、オブジェクトの輪郭は、側方からのビューであるビュー１に対応し、第２の出現では、オブジェクトの輪郭は、側方かつ上方からの斜視ビューであるビュー３に対応する。
【００１８】
データベース・インデクサは、２つの輪郭が同じオブジェクトのものであり、かつ、それらの輪郭に対応する３次元のオブジェクトが円柱であることを認識する。ビュー１およびビュー３のそれぞれに対して、曲率スケール空間（ＣＳＳ）表現を使用する形状記述子が導出される。また、データベース・インデクサは、オブジェクトを表現していると見なされる追加のビューを、それらが考慮中のビデオ・シーケンスに出現しない場合でも、選択する。この例では、上方からの円柱のビューであるビュー２が、表現しているとして選択される。そのビューのＣＳＳ表現も、獲得される。
【００１９】
Ｆａｒｚｉｎ Ｍｏｋｈｔａｒｉａｎ、Ｓａｄｅｇｈ ＡｂｂａｓｓｉおよびＪｏｓｅｆ Ｋｉｔｔｌｅｒによる論文「Ｒｏｂｕｓｔ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｈａｐｅ Ｉｎｄｅｘｉｎｇ ｔｈｒｏｕｇｈ Ｃｕｒｖａｔｕｒｅ Ｓｃａｌｅ Ｓｐａｃｅ」（Ｐｒｏｃ． Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ．５３−６２， Ｅｄｉｎｂｕｒｇｈ， ＵＫ １９９６）は、曲率スケール空間表現の方法について記載しており、これは、参照により、本明細書に組み込まれている。簡潔には、形状の輪郭を表現する曲線は、曲線を平滑化することによって展開される。曲線は、展開の多数の異なる段階において考察される。より具体的には、曲率ゼロの交差は、展開段階のそれぞれにおける曲率関数において識別される。曲率ゼロの交差のグラフが、展開の全段階からゼロの交差を組み合わせることによって獲得される。グラフの一方の軸は、曲線の展開パラメータを表すσに対応し、他方の軸は、曲線の弧の長さのパラメータｕに対応する。次いで、形状が、グラフの輪郭の極大点（ｍａｘｉｍａ）の位置によって表現される。
【００２０】
各ビューに対し、適切なＣＳＳ表現を含むビュー記述子が形成される。ビュー記述子は、ＰＣＴ／ＧＢ００／０１６６２に記載されたグローバルパラメータ、または、対応する可視表面の色／テクスチャの特性など、他の情報を含む可能性がある。
【００２１】
ビュー形状記述子は、３Ｄオブジェクト形状記述子を形成するように、組み合わされる。さらに、所与のビューが、ビデオ・シーケンスの少なくとも１つのフレームにおいて、可視であるか否かを示す可視フラグが、オブジェクト記述子に関連付けられる。この例では、可視フラグは、各ビュー記述子の一部を形成する。したがって、ここでは、ビュー１とビュー３のそれぞれのビュー記述子は、そのビューがビデオのフレームにおいて可視であることを示す可視フラグ「１」を含み、ビュー２のビュー記述子は、そのビューがいずれのフレームにおいても可視でないことを示す可視フラグ「０」を有する。
【００２２】
３Ｄオブジェクト形状記述子が、画像データベース８の画像または画像のグループに出現する注目のすべてのオブジェクトに対して、上記の方式で獲得される。
【００２３】
他の例として、図３を参照すると、３つのビューが、写真に出現する自動車に対して導出される。ＣＳＳ表現を含んでいる対応するビュー記述子が、各ビューの自動車の輪郭に対して、上述したように獲得される。第１のビューは、写真のビューに対応し、したがって、関連するビュー記述子は、可視ビューを示す可視フラグ「１」を有する。他の２つのビューに対するビュー記述子は、それらが写真には示されていないビューに対応することを示す可視フラグ「０」を有する。この例では、可視フラグは、写真から輪郭を抽出するときに決定される。すなわち、形状が写真から直接抽出される場合、それには「１」の可視フラグが与えられるが、形状がインデクサによって選択される場合、それは「０」の可視フラグを有する。代替として、可視フラグは、検査によって、後に手作業で追加することができる。
【００２４】
また、各ビュー記述子は、どの画像、またはどのビデオ・シーケンスのどのフレームにそれが出現するかを示し、また、画像またはフレームのどのオブジェクトがそれであるかをも示す、参照ポインタを有する。例えば、オブジェクトのビューは、それが、ビデオ１８１のフレーム１０００に出現し、かつ、オブジェクト番号３であることを示すポインタを有する可能性がある。
【００２５】
記述子データベース１０は、画像データベース８に記憶された画像およびビデオ・シーケンスのオブジェクトに対する３Ｄオブジェクト形状記述子を記憶する。
【００２６】
上述した実施の形態では、ビデオ・シーケンスに出現するオブジェクトに対し、１組のビュー記述子が、シーケンス全体に対して導出され、このビュー記述子は、関連するビューが、シーケンスの少なくとも１つのフレームに出現するか否かを示すために使用される。代替実施の形態では、各フレームは、別々に処理される。より詳細には、１組のビュー記述子が、フレームに出現するオブジェクトに対して導出され、可視フラグは、関連するビューが、シーケンスの別のフレームに出現するか否かに関係なく、そのフレームに出現するか否かを示す。別の代替実施の形態では、１組のビュー記述子が、ビデオ・シーケンスに出現するオブジェクトに対して導出され、１組の対応する可視フラグが、各フレームに対して、導出され、記憶される。
【００２７】
可視フラグは、以下で説明するように、画像のオブジェクトを探索する方法において使用される。
【００２８】
ユーザは、クエリを入力することによって、探索を開始する。クエリは、ポインティングデバイス６を使用して、表示ユニット４上に１つまたは複数の形状の輪郭を描くことによって入力される。次いで、制御ユニット２は、そのクエリビューに対するＣＳＳビュー記述子を導出する。代替として、ユーザは、制御ユニット２によって表示ユニット４上に表示された形状のメニューから、１つまたは複数のクエリ形状を選択することによって、クエリを入力することが可能である。そのような場合、ビュー記述子は、記述子データベース１０において、すでに使用可能である可能性がある。また、ユーザは、ボックスをチェックすることによって、探索が、クエリビューと同じビューに限定されるべきであるか否かを示す。探索が、そのように限定されない場合、探索と整合の手続きが、クエリオブジェクト記述子と、これ以降モデルオブジェクト記述子と呼ぶ、記述子データベース１０に記憶されたオブジェクト記述子との類似性を判定することによって、本質的にＰＣＴ／ＧＢ００／０１６６２に記述されているように実施される。
【００２９】
簡潔には、ビュー類似性測度を導出すべく、整合関数を使用したコンパレータにおいて、各クエリビュー記述子は考慮中のモデルオブジェクト記述子に対する各モデル・ビュー記述子と比較される。ｉ番目のクエリビュー記述子とｊ番目のモデル・ビュー記述子の比較により、ビュー類似性測度ｓ_{ｉ 、 ｊ}が得られる。２つ以上のクエリビューが存在する場合は、ビュー類似性測度の中央値を、オブジェクト類似性測度Ｓとして取る。
【００３０】
整合手続きにより、ｎの類似性測度Ｓが得られる。ｎは、記述子データベースの３Ｄオブジェクト記述子の数である。次いで、ｎの類似性測度は、最も近い整合を示す最低値から開始して順序付けられる。次いで、ｍの最低値（ここで、ｍはユーザよって選択された値、または制御ユニットの設定によって決定された値である）が選択され、オブジェクトを含んでいる対応するｍの画像（そのいくつかは、ビデオ・シーケンスからの画像である可能性がある）が、表示ユニット４上に表示される。
【００３１】
探索が、クエリビューと同じであるビューに限定される場合、可視でないモデル・ビューは、探索プロセス中にフィルタリングにより除去される。これは、整合関数を使用して、クエリビュー記述子を、対応するビューが画像において可視であることを示すモデル・ビュー記述子とのみ整合することによって、行うことができる。すなわち、整合関数を使用して類似性測度を計算するとき、可視フラグ「０」を有するモデル・ビュー記述子は、省かれる。代替として、ビュー類似性測度は、すべてのモデル・ビュー記述子に対して計算することが可能であるが、可視フラグがゼロであるモデル・ビュー記述子に対する結果は、さらなる処理から省かれる。代替として、可視フラグは、表示する探索結果を選択するときに考慮することができる。整合手続きの結果を表示するとき、ビデオ・シーケンスの場合、整合されたビューを含んでいるフレームが表示される。
【００３２】
図４は、ＰＣＴ／ＧＢ００／０１６６２に開示された複数のビューを探索する方法が、クエリ項目と同じ形状であるが、同じビューではない結果を見つけ、それを返す方法の一例を示す。一方、図５は、ビュー記述子のそれぞれの内部にある可視フラグが、クエリ項目と同じ形状であり、かつ同じビューである結果を返す助けとなることができる方法を示す。
【００３３】
本発明によるシステムは、例えば、画像ライブラリにおいて提供することが可能である。代替として、データベースは、システムの制御ユニットから遠隔して配置し、電話線など一時的な連結によって、またはインターネットなどのネットワークによって、制御ユニットに接続することが可能である。画像および記述子データベースは、例えば、永続的な記憶装置において、または、ＣＤ−ＲＯＭあるいはＤＶＤなどの携帯型データ記憶媒体上に提供することが可能である。
【００３４】
セレクタおよびコンパレータなど、記述したシステムの構成要素は、ソフトウエアまたはハードウエアの形態で提供することが可能である。本発明をコンピュータ・システムの形態において説明してきたが、例えば専用チップを使用して、他の形態で実施することができる。
【００３５】
特定の例を、オブジェクトの２Ｄ形状を表現する方法と、２つの形状の類似性を表現する値を計算する方法とについて与えたが、任意の適切なそのような方法を使用することができる。
【００３６】
完全または準完全な形状記述を作成するオブジェクトの様々なビューは、例えば、フィルム・プロデューサによって提供することが可能である。例えば、自動車を含んでいるフィルムでは、プロデューサは、自動車の２０の異なるビューを撮影して、データベースのフィルムを指標付けすることに使用するように構成することが可能である。代替として、ビューを見つけることを可能にするように、シーケンスにおけるオブジェクトのすべての異なるビュー間を連結することが可能であり、また、シーケンスに出現していないあらゆる有用なビューに対する形状を、例えば、オブジェクトの第１のビューのデータが含まれているとき、提供することが可能である。
【００３７】
また、本発明は、例えば、確認の目的で、またはフィルタリングするために、オブジェクトの画像を整合することに使用することができる。
【００３８】
本発明は、単一の画像、および、フィルムまたはビデオからの画像など、画像シーケンスの画像、または、同じウエッブ・ページ上にあるような、何らかの方法で関連付けられる画像の集合に適用可能である。
【００３９】
上述した実施の形態では、ビュー記述子は、異なるビューのオブジェクトの形状から導出される。ビュー記述子は、形状からの代わりに、または形状からの他に、色またはテクスチャなど、オブジェクトの他の特徴から導出することができる。形状、色、テクスチャなど、オブジェクトの様々な特徴は、単独でまたは組み合わされて、ビュー記述子の基盤を形成することができ、ビュー記述子は、異なるビューの異なる特徴に基づくことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態によるシステムのブロック図である。
【図２】ビデオ・シーケンス中のオブジェクトの表現を示す図である。
【図３】静止画像中のオブジェクトの表現を示す図である。
【図４】第１の探索方法の結果を示す図である。
【図５】第２の探索方法の結果を示す図である。

Claims (19)

1. 画像に出現するオブジェクトを表現する方法であって、前記オブジェクトの複数のビュー記述子を導出することを含み、各ビュー記述子は前記オブジェクトの異なるビューに対応し、それぞれのビューが前記画像に出現する前記オブジェクトのビューに対応するときに各ビュー記述子に対して示すことを含む方法。
2. 前記それぞれのビューが前記画像に出現する前記オブジェクトのビューに対応するか否かを示すためにフラグを前記各ビュー記述子に関連付けることを含む、請求項１に記載の方法。
3. 画像のグループに出現するオブジェクトを表現する方法であって、前記オブジェクトの複数のビュー記述子を導出することを含み、各ビュー記述子は前記オブジェクトの異なるビューに対応し、それぞれのビューが前記画像のグループに出現する前記オブジェクトのビューに対応するときに各ビュー記述子に対して示すことを含む方法。
4. 前記それぞれのビューが前記画像のグループの少なくとも１つの画像に出現するか否かを示すためにフラグを前記各ビュー記述子に関連付けることを含む、請求項３に記載の方法。
5. 画像のグループの各画像について、前記それぞれのビューが前記画像に出現する前記オブジェクトのビューに対応するか否かを前記各ビュー記述子に対して示すことを含む、請求項３に記載の方法。
6. 前記画像のグループは、画像のシーケンスである、請求項３ないし５のいずれか一項に記載の方法。
7. 前記画像のシーケンスは、ビデオまたはフィルムからのものである、請求項６に記載の方法。
8. 少なくとも１つのビュー記述子が、前記それぞれのビューにおける前記オブジェクトの可視特徴の表現を備える、請求項１ないし７のいずれか一項に記載の方法。
9. 少なくとも１つのビュー記述子が、前記それぞれのビューにおける前記オブジェクトの形状の表現を備える、請求項８に記載の方法。
10. 形状ビュー記述子は、曲率スケール空間表現を使用して導出される、請求項９に記載の方法。
11. 少なくとも１つのビュー記述子が、前記それぞれのビューにおける前記オブジェクトの色の表現を備える、請求項８に記載の方法。
12. 少なくとも１つのビュー記述子が、前記それぞれのビューにおける前記オブジェクトのテクスチャの表現を備える、請求項８に記載の方法。
13. 探索の目的で、画像または画像の集合に指標付けするためのものである、請求項１ないし１２のいずれか一項に記載の方法。
14. 探索の目的で、データベースに記憶された画像または画像のグループに指標付けする方法であって、画像または画像のグループに出現するオブジェクトを識別すること、前記オブジェクトの複数の異なるビューの表現を導出すること、および、表現されたビューが前記オブジェクトの前記ビューに対応するときにそれが画像に出現するように示すことを含む方法。
15. 画像または画像のグループに記憶されたクエリオブジェクトを探索する方法であって、クエリを入力すること、前記クエリを、請求項１ないし１４のいずれか一項に記載された方法を使用して導出された記憶画像の表現と整合すること、および、最も近い整合を取り出すことを備え、クエリ入力は、クエリビューと同じビューに前記クエリオブジェクトを示す画像または画像のグループに前記探索が限定されるべきであるか否かを示すことを含む方法。
16. 請求項１ないし１５のいずれか一項に記載された方法を実施するように適合された画像探索および取出しシステム。
17. 請求項１ないし１５のいずれか一項に記載された方法を実施するためのコンピュータ・プログラム。
18. 請求項１ないし１５のいずれか一項に記載された方法により動作するようにプログラミングされたコンピュータ・システム。
19. 請求項１ないし１５のいずれか一項に記載された方法を実施するためのコンピュータ実行可能プロセス・ステップを記憶するコンピュータ読取り可能記憶媒体。

Images