JP5868978B2 - コミュニティベースのメタデータを提供するための方法および装置 - Google Patents

Description

関連出願に対する相互参照

本出願は、Ｚｈｉｂｉｎｇ Ｗａｎｇ氏らにより、２００９年２月１９日に出願され、“サーチパラメータサムネイルを含むプログラムガイドを提供する方法および装置”と題する米国特許出願シリアル番号１２／３８９，２４９の一部継続出願（ＣＩＰ）であり、本出願は、ここでの参照によりここに組み込まれている。

発明の背景

［１．発明の分野］
本発明は、ユーザへのストリーミングメディアを提供するシステムおよび方法に関連し、より詳細には、コミュニティベースのメタデータを提供するシステムおよび方法に関連する。

［２．関連発明の説明］
メディアプログラムの普及および再生は、過去１０年間において相当な変化を経験してきた。以前は、メディアプログラムは、アナログブロードキャスト（従来の、衛星またはケーブル）により、または、映画館へのフィルムの普及のいずれかにより、広まった。

これらの従来の普及および再生手段は、デジタル技術の出現の後にも使用されている。しかしながら、デジタル技術は、メディアプログラムの普及および再生に深く影響した。

第１に、デジタル技術は、デジタルビデオレコーダ（ＤＶＲ）の使用を可能にした。機能において標準アナログビデオカセットレコーダ（ＶＣＲ）に類似する一方で、ＤＶＲは、ライブポーズ、１つのプログラムを録画しつつ別のプログラムを再生する能力、電子プログラムガイドのＤＶＲ機能との統合（これにより、メディアプログラムの録画をだいぶ前にスケジューリングすることが可能になる）を含む、多数の追加の有用な機能を提供する。

第２に、技術はまた、インターネットを介してのメディアプログラムの普及および再生を可能にし、高速インターネットアクセス（例えば、ＤＳＬ、ファイバ、衛星）による発達した信号処理およびますます増える世帯とともに、この普及および再生の方法は、従来の手段と競合するものとなった。インターネットを介したメディアプログラムの普及は、単純なダウンロード、プログレッシブダウンロードおよびストリーミングのうちのいずれかにより起きるだろう。

プログレッシブダウンロードに対して、メディアプログラムを含むメディアファイルは、ダイアルアップ、ＤＳＬ、ＡＤＳＬ、ケーブル、Ｔ１を使用するインターネット、または、他の高速インターネット接続を介してダウンロードされる。単純なダウンロードは、任意の都合のよい順序でメディアファイルのバイトをダウンロードする一方で、プログレッシブダウンロードは、ファイルの始まりにおけるバイトをダウンロードし、最後のバイトまで、シーケンシャルに、かつ、連続的にファイルのダウンロードを継続する。プログレッシブダインロードの間の任意の特定の時間において、ファイルのうちの一部分は、再生に対して即時に利用可能ではない。いくつかの状況では、メディアプレイヤーが再生を開始する前にファイル全体が初めにダウンロードされなければならない。他の状況では、メディアプレイヤーは、いったんファイルの始まりのうちの十分なものがダウンロードされると再生を開始することできるが、メディアプレイヤーは、再生が起こすことができる前に、再生のいくつかの形態をサポートするために十分な情報をダウンロードしなければならない。再生は、しばし、低速なインターネット接続により遅らされ、とぎれとぎれであることも多く、および／または、ほんの数秒後に停止する高い可能性を含む。ダウンロードされたマテリアルはその後、エンドユーザコンピュータ上に記憶される。

ストリーミングはメディアプレイヤーに継続的にメディアコンテンツを配信し、メディア再生は同時に起こる。エンドユーザは、コンテンツプロバイダによる配信の際に、即時にメディアを再生することが可能である。従来のストリーミング技術は、単一のプロバイダがデータのストリームを１組のエンドユーザに配信することから始まる。単一のストリームを大きなオーディエンスに配信するためには、高帯域幅および中央処理ユニット（ＣＰＵ）パワーが必要とされ、プロバイダに必要とされる帯域幅は、エンドユーザの数が増加するにつれて増加する。

プログレッシブダウンロードとは異なり、ストリーミングメディアは、オンデマンドまたはライブで配信される。プログレッシブダウンロードは、ファイル全体をダウンロードすること、または、ファイル全体のうちの始まりにおいて再生を開始するのに十分なものをダウンロードすることを必要とするが、ストリーミングは、ファイルの内の任意のポイントにおける即時の再生を可能にする。エンドユーザは、メディアファイルを通してスキップし、メディアファイル中の任意のポイントで再生を開始、または、再生を変更してもよい。したがって、エンドユーザは、ファイルが漸進的にダウンロードされるのを待つ必要がない。典型的に、ストリーミングメディアは、典型的に高帯域幅特性を持つ少数の専用のサーバから配信される。

オンデマンドストリーミングメディアサービスは、メディアプログラムのブロードスペクトルを、ユーザに対して即時の視聴に対して利用可能にすることができる。オンデマンドストリーミングメディアサービスを提供する際の課題のうちの１つは、ユーザが視聴したいメディアプログラムをユーザが効率的に選択することを可能にするインターフェースをユーザに提供することである。ブロードキャストテレビの黄金時代では、少数のチャネルが利用可能であったし、ユーザにとって、単純に各チャンネルをチェックし、または、印刷されたガイドを参照することは単純な問題であった。衛星またはケーブルテレビの出現は、このようなチャンネルの数を倍増させ、印刷されたスケジュールに類似するプログラムガイドを提供した。しかしながら、チャンネルの数は、依然として比較的制限されていた。ＤＶＲの記憶容量は、単純な階層的なメニューインターフェースにより、ユーザが、録画されたプログラムへのアクセスを簡単に、かつ、速く獲得できるようなものである。しかしながら、ストリーミングビデオのケースでは、利用可能なメディアプログラムの数は、実質的に無限である。これは、非常に大多数のメディアプログラムについての有用なプログラム情報をどのように提供するかという極めて本質的な問題を提起する。

ユーザに、利用可能なメディアプログラムについての情報を提供する１つの方法は、メディアプログラムに関係付けられているメタデータを利用することである。このようなメタデータは、メディアプログラムの発信元、俳優、ジャンル（ドラマ、コメディー）、対象年齢層、および／または、メディアプログラムの１つ以上のサムネイル（メディアプログラムの小さなスチルビデオフレーム）のような、ファクタを含んでもよい。このメタデータは、その後、関心のメディアプログラムをサーチする際にユーザを支援し、または、ユーザが関心のメディアプログラムを都合良く見つけることができるように、メディアプログラムを編成するメディアプログラムの普及者（disseminator）を支援するために使用できる。

特定の出演者（例えば、俳優または女優）を含むメディアプログラムのサーチへの典型的な応答は、このようなプログラムのテキストリストとともに他の関連する情報を提供することである。リストは、メディアプログラムのフレームのサムネイルも含んでいるかもしれず、または、含まないかもしれない。このようなサムネイルは、典型的に、（メディアプログラムのタイトルを示している）タイトルページ、または、ランダムに選択されたメディアプログラムのフレームである。

しかしながら、メディアプログラムに対するサーチに応答するときに、プログラムのタイトル、または、ランダムに選択されたフレームを示すサムネイルは、ユーザに有用な情報を提供しない。このような事例における、はるかに有用なものは、提供されたサーチパラメータに関連するサムネイルを提供することである。例えば、ユーザが、特定の俳優を含むメディアプログラムをサーチする場合に、プログラムガイドが、その出演者の描写を含むサムネイルを提示することが望ましい。また、プログラムガイドが、出演者の描写を含む動的に生成されるビデオクリップを提示することも望ましい。

さらに、しばしば、ユーザは、特定のプログラムを見つけることのみならず、特定のプログラムからのシーン中のオブジェクトにも関心がある。例えば、ユーザは、特定の俳優が特定のシーンで演じられているメディアプログラムを見つけることに興味があるかもしれない。

メディアプログラムサーチは、ＧＯＯＧＬＥ（登録商標）およびＹＯＵＴＵＢＥ（登録商標）から利用可能なもののような、現在のシステム中で提供されている。このようなシステムは、キーワードサーチを可能にし、サーチされたキーワードの画像を含むかもしれないメディアプログラムを識別するメディアプログラムメタデータをサーチする。しかしながら、サーチに応答して提供された各ビデオに対して、提供されるサムネイルは、サーチパラメータまたはそれらの値に関わらず、同じである。例えば、女優のＭｅｇ Ｒｙａｎに対するサーチは、多数のサムネイルを送り返すかもしれず、それぞれは、Ｍｅｇ Ｒｙａｎが描写されているメディアプログラム（および、それらのうちの多くは短いクリップのみ）を表す。しかしながら、各メディアプログラムファイルに対して提示されるサムネイルは、提供されたサーチパラメータに関わらず同じである。この理由は、各メディアプログラムファイルは、“Ｍｅｇ Ｒｙａｎ”というタームを有するメタデータを含む（Ｍｅｇ Ｒｙａｎが、メディアプログラムファイルのうちの少なくとも一部において描写されていることを示している）かもしれない一方で、メディアプログラムファイルの（彼女がフレーム中に描写されていることを示している）個々のフレームに関係付けられているメタデータは存在せず、メディアプログラムファイルに対するメタデータも、Ｍｅｇ Ｒｙａｎが描写されているフレームを示さないからである。

例えば、従来技術では、特定のメディアプログラムファイル“When_Harry_Met_Sally”は、メディアプログラム中に現れる俳優を説明するメタデータを含んでもよく、それらの俳優は、“Ｍｅｇ Ｒｙａｎ”および“Ｂｉｌｌｙ Ｃｒｙｓｔａｌ”を含んでもよい。メディアプログラムファイル“When_Harry_Met_Sally”はまた、女優Ｍｅｇ Ｒｙａｎを描写するビデオフレームのうちの１つのサムネイル画像に関係付けられてもよい。このようなケースでは、ユーザが、値として“Ｍｅｇ Ｒｙａｎ”を含む“出演者”というサーチパラメータを使用するキーワードサーチを実行するときに、メディアプログラムファイル“When_Harry_Met_Sally”は、女優Ｍｅｇ Ｒｙａｎを描写するビデオフレームのサムネイルとともに提示されてもよい。しかしながら、もしユーザが、値“Ｂｉｌｌｙ Ｃｒｙｓｔａｌ”を含む“出演者”というサーチパラメータを使用するキーワードサーチを実行するとしたならば、ユーザは、同じプログラムファイル“When_Harry_Met_Sally”を提示されるだろうが、関係付けられているサムネイルは、依然として、同じビデオフレーム（すなわち、Ｍｅｇ Ｒｙａｎのものであり、Ｂｉｌｌｙ Ｃｒｙｓｔａｌのものではない）を描写するだろう。ユーザはまた、異なるメディアプログラムファイル（例えば、関係付けられているサムネイルがＢｉｌｌｙ Ｃｒｙｓｔａｌを描写する、“When_Harry_Met_Sally”の別のメディアプログラムファイル）を提示されるかもしれないが、同じメディアプログラムファイルに関係付けられているサムネイルは、依然として、Ｂｉｌｌｙ Ｃｒｙｓｔａｌではなく、Ｍｅｇ Ｒｙａｎを描写するだろう。したがって、ユーザは、特定のメディアプログラムファイルに対して提示されるサムネイルがサーチパラメータの値に依存する、“サーチアウェア”または“サーチレスポンシブ”サムネイルを提示されない。

メディアプログラムファイルのランダムに選択されたフレームは、関心のメディアプログラムについてのわずかな情報を提供する、または、情報を提供しないかもしれず、そのコンテンツを誤って提示するかもしれない。サムネイルはまた、一般的な普及に対して適切ではない画像（例えば、アダルトビデオ）を含むかもしれない。メディアプログラムファイルのサーチタームアウェアサムネイルを提供する方法および装置が必要とされている。

サーチタームアウェアサムネイルの供給は、メディアプログラムに関係付けられているメタデータの容量を実質的に増加させることができる。例えば、メディアプログラムは、おそらく、１０人の著名な出演者のキャストを含んでもよく、メタデータにとってそのように示すことは、かなり取るに足らないことである。しかしながら、メディアプログラムの大多数のフレームに関係付けられているメタデータを含むことが望ましいとき、メタデータを生成させるタスク、および、メタデータを各フレームと関係付けるタスクは、非常に面倒になり得る。さらに、多くの事例では、いずれのメタデータが、視聴者にとっての関心のものであるか、または、どのメタデータがそうでないかは明らかではない。例えば、特定のメディアプログラムは、出演者が有名になる前に取り組んだ脇役またはエキストラ役の中に、出演者を含むかもしれない。この種の情報は、メタデータがリリースされるときに、出演者がその時点では著名な出演者ではなかったことから、通常、メタデータの一部にはならないだろう。しかしながら、メタデータプログラムのリリースの後、その出演者における高いレベルの関心が出るかもしれない。さらに、いくつかのケースでは、メディアプログラムは、視聴者にとって面白いエラーを含む。いくつかのエラーは、メディアプログラムの製作者ではなく、視聴者により発見されることが多い。

ユーザが、メディアプログラムの関係付けられているフレームに伝播できる、メディアプログラム中に描写されているオブジェクトについてのメタデータを提供することを可能にする方法および装置が必要とされている。本発明は、その需要を満たす。

上述した要求を取り扱うために、コミュニティベースのメタデータを提供するための方法および装置が開示されている。１つの態様では、方法は、メディアプログラムのフレーム中のオブジェクトを検出するステップと、検出したオブジェクトを含むメディアプログラムのフレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信するステップと、識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信するステップと、オブジェクトをメディアプログラムの近似のフレームにわたって追跡するステップと、入力されたメタデータをメディアプログラムの近似のフレームのうちの少なくとも１つの中のオブジェクトと関係付けるステップと、関係付けた入力メタデータを記憶するステップとを含む。別の態様では、発明は、メディアプログラムのフレーム中のオブジェクトを検出し、オブジェクトをメディアプログラムの近似のフレームにわたって追跡するメディアプログラムアナライザと、検出したオブジェクトを含むメディアプログラムのフレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信し、識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信する通信モジュールと、入力されたメタデータをメディアプログラムの近似のフレームのうちの少なくとも１つの中のオブジェクトと関係付け、関係付けた入力メタデータを記憶するデータベースとを具備する装置により明らかになる。

これから図面を参照し、図中では、同一の参照番号が、全体を通して対応する部分を表す。
図１は、例示的なメディアプログラムシステムを図示しているダイヤグラムである。 図２は、本発明を実現するために使用することできる例示的なコンピュータシステムを図示している。 図３Ａは、１つの実施形態を実施するために使用できる例示的なプロセスのステップを図示しているダイヤグラムである。 図３Ｂは、１つの実施形態を実施するために使用できる例示的なプロセスのステップを図示しているダイヤグラムである。 図４Ａは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムである。 図４Ｂは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムである。 図４Ｃは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムである。 図４Ｄは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムである。 図４Ｅは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムである。 図４Ｆは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムである。 図５は、図４中で図示されているプロセスのステップをさらに図示しているダイヤグラムである。 図６Ａは、ユーザのサーチ要求に応答する、サムネイルおよび／またはビデオクリップと、サムネイル／ビデオクリップのメタデータとの動的な生成を描写するダイヤグラムである。 図６Ｂは、ユーザのサーチ要求に応答する、サムネイルおよび／またはビデオクリップと、サムネイル／ビデオクリップのメタデータとの動的な生成を描写するダイヤグラムである。

好ましい実施形態の詳細な説明

以下の説明では、付随する図面に対して参照が行われ、付随する図面は、説明の一部を形成し、本発明の事例、いくつかの実施形態として示されている。他の実施形態を利用することもでき、本開示の範囲から逸脱することなく、構造的な変更を行うことができることは理解されるだろう。

図１は、例示的なメディアプログラムシステム１００を図示しているダイヤグラムである。図示されている実施形態では、システム１００は、インターネットのような通信ネットワーク１０４に通信可能に結合されている、１つ以上のメディアプログラムソース１２０Ａ、１２０Ｂを備えており、それぞれは、１つ以上のソースメディアプログラムデータベース１２４Ａ、１２４Ｂに通信可能に結合されている、１つ以上のソースビデオサーバ１２２Ａ、１２２Ｂを備えている。メディアプログラムシステム１００はさらに、通信ネットワーク１０４に通信可能に結合されており、１つ以上のプロバイダビデオサーバ１１２、および、プロバイダメディアプログラムデータベース１１４を含むメディアプログラムプロバイダ１１０を備えている。メディアプログラムプロバイダ１１０は、メディアプログラムを分析して、以下にさらに説明するように、オブジェクトを識別および追跡するメディアプログラムアナライザと、他のエンティティと通信する通信モジュール１３６とを備えていてもよい。１つの実施形態では、メディアプログラムプロバイダ１１０は、ビデオオンデマンドおよび／またはストリーミングメディアプログラムプロバイダである。

メディアプログラムシステム１００は、メディアプログラムプロバイダ１１０から直接的にメディアプログラムをユーザコンピュータ１０２にストリーミングしてもよく、または、メディアプログラムプロバイダ１１０は、メディアプログラム自体ではなく、メディアプログラムソース１２０Ａおよび１２０Ｂから利用可能なメディアプログラム（これは、代わりに、メディアプログラムソース１２０により提供される）へのインターフェースを提供する、ポータルとして動作してもよい。ディスプレイデバイス１０２は、デスクトップまたはラップトップコンピュータ、パーソナルデータアシスタント（ＰＤＡ）、セルフォン、ＩＰＯＤ（登録商標）、ＩＰＨＯＮＥ（登録商標）、ＩＰＡＤ（登録商標）、あるいは、類似する処理および表示能力を持つ任意のデバイスのような、ユーザコンピュータを含んでもよい。以下では、ディスプレイデバイス１０２は、代わりに、ユーザコンピュータと呼ばれてもよい。

第１のケースでは、メディアプログラムプロバイダは、メディアプログラムソース１２０（www.fox.comまたはwww.nbc.comのような）からのメディアプログラムを認可し、このようなプログラムに対するメタデータも同様に提供される。このようなメタデータは、典型的に、適正であり（例えば、これは、他のソースからの情報により補足される必要がない）、使用のために、メディアプログラムプロバイダのデータベース１１４から取り出すことができる。

第２のケース（例えば、ダイレクトストリーミングが認可されないとき）では、メディアプログラムは、メディアプログラムソース１２０のサーバからユーザのコンピュータ１０２に直接的にストリーミングされる。メディアプログラムが、メディアプログラムサーバ１２０から直接的にストリーミングされるとき、メディアプログラムサーバ１２０により提供されるメタデータは十分でないケースが多い。このようなケースでは、補足のメタデータが、独立的なメディアプログラムソース１３０（www.tv.comまたはwww.imdb.comのような）、または、他の第３者ソースから取得されてもよい。この状況では、メディアプログラムプロバイダ１１０の役割は、利用可能なメディアプログラムのリストと、このようなプログラムを見つけ、それらを視聴するためにサーチするインターフェースとをユーザに提供するポータルの役割である。

メディアプログラムおよびメタデータは、通信ネットワーク１０４を介して、または、補助的な（および／または専用の）通信リンク１３４を通して、ウェブクロールすること（例えば、ワールドワイドウェブを方法的な、自動化された方法でブラウズする、プログラムおよび自動スクリプトを使用すること）により、取得されてもよい。

コンピュータ１０２を使用して、遠隔ユーザ１３２は、メディアプログラム（ビデオオンデマンドおよび／またはストリーミングビデオサービスを含む）を取得するために、および、プロバイダメディアプログラムデータベース１１４をサーチして、関心のメディアプログラムを見つけるメディアプログラムプロバイダ１１０と通信できる。

図２は、ユーザコンピュータ１０２およびデータベース１１４、１２４を含む、本発明のエレメントを実現させるために使用することが可能な例示的なコンピュータシステム２０２を図示している。コンピュータ２０２は、汎用ハードウェアプロセッサ２０４Ａおよび／または特殊用途ハードウェアプロセッサ２０４Ｂ（以下では、代わりに、集合的にプロセッサ２０４と呼ばれる）、あるいは、ランダムアクセスメモリ（ＲＡＭ）のようなメモリ２０６を備える。コンピュータ２０２は、キーボード２１４、マウスデバイス２１６およびプリンタ２２８のような、入力／出力（Ｉ／Ｏ）デバイスを含む、他のデバイスに結合されていてもよい。

１つの実施形態では、コンピュータ２０２は、オペレーティングシステム２０８の制御の下で、コンピュータプログラム２１０により規定された命令を実行する汎用プロセッサ２０４Ａにより動作する。コンピュータプログラム２１０および／またはオペレーティングシステム２０８は、メモリ２０６中に記憶されてもよく、ユーザおよび／または他のデバイスとインターフェースして、入力およびコマンドを受け入れ、そのような入力およびコマンド、ならびに、コンピュータプログラム２１０およびオペレーティングシステム２０８により規定された命令に基づいて、出力および結果を提供してもよい。

出力／結果は、ディスプレイ２２２上に提示され、あるいは、提示またはさらなる処理もしくはアクションのために、別のデバイスに提供されてもよい。１つの実施形態では、ディスプレイ２２２は、別々に取り扱い可能な複数の液晶を有する液晶ディスプレイ（ＬＣＤ）を含む。ディスプレイ２２２の各液晶は、入力およびコマンドに対する、コンピュータプログラム２１０および／またはオペレーティングシステム２０８の命令のアプリケーションから、プロセッサ２０４により生成されたデータまたは情報に応答して、ディスプレイ上の画像の一部を形成するために、不透明または半透明状態に変化する。画像は、グラフィカルユーザインターフェース（ＧＵＩ）モジュール２１８Ａを通して提供されてもよい。ＧＵＩモジュール２１８Ａは、別個のモジュールとして描写されているが、ＧＵＩ機能を実行する命令は、オペレーティングシステム２０８、コンピュータプログラム２１０中に内在していてもよく、または、分配されていてもよく、あるいは、特殊用途メモリまたはプロセッサにより実現されてもよい。

コンピュータプログラム１１０命令にしたがって、コンピュータ２０２により実行される動作のいくつかまたはすべては、特殊用途プロセッサ２０４Ｂにおいて実現されてもよい。この実施形態では、コンピュータプログラム２１０命令のいくつかまたはすべては、特殊用途プロセッサ２０４Ｂ内の、あるいは、メモリ２０６中の、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）またはフラッシュメモリ中に記憶されているファームウェア命令を介して、実現されてもよい。特殊用途プロセッサ２０４Ｂはまた、本発明を実現させる動作のいくつかまたはすべてを実行するための回路設計を通して、ハードワイヤードであってもよい。さらに、特殊用途プロセッサ２０４Ｂは、ハイブリッドプロセッサであってもよく、ハイブリッドプロセッサは、機能のサブセットを実行する専用回路と、コンピュータプログラム命令に応答することのような、より一般的な機能を実行する他の回路とを備える。１つ実施形態では、特殊用途プロセッサは、特定用途向け集積回路（ＡＳＩＣ）である。

コンピュータ２０２はまた、プロセッサ２０４に読取可能なコードに解釈される、ＣＯＢＯＬ、Ｃ＋＋、ＦＯＲＴＲＡＮ、または、他の言語のような、プログラミング言語中にアプリケーションプログラム２１０を書き込むことを可能にするコンパイラ２１２を実現してもよい。完了の後、アプリケーションまたはコンピュータプログラム２１０は、Ｉ／Ｏデバイスから許容されたデータ、および、コンピュータ２０２のメモリ２０６中に記憶されているデータに、コンパイラ２１２を使用して生成された関係および論理を使用して、アクセスし、操作する。

コンピュータ２０２はまた、モデム、衛星リンク、イーサネット（登録商標）カード、または、他のコンピュータからの入力を受け入れ、出力を他のコンピュータに提供する他のデバイスのような、外部通信デバイスをオプションとして備えている。

１つの実施形態では、オペレーティングシステム２０８、コンピュータプログラム２１０およびコンパイラ２１２を実現させる命令は、ジップドライブ、フロッピー（登録商標）ディスクドライブ２２４、ハードドライブ、ＣＤ−ＲＯＭドライブ、テープドライブ等のような、１つ以上の固定または取り外し可能なデータ記憶デバイスを含み得る、コンピュータ読取可能媒体、例えば、データ記憶デバイス２２０中で明白に具現化されている。さらに、オペレーティングシステム２０８およびコンピュータプログラム２１０は、コンピュータプログラム命令からなる。コンピュータプログラム命令は、コンピュータ２０２により、アクセスされ、読み込まれ、実行されるときに、現行の発明を実現および／または使用し、または、命令のプログラムをメモリ中にロードするために必要なステップをコンピュータ２０２に実行させ、したがって、ここに説明した方法のステップを実行する特別にプログラミングされたコンピュータとして、コンピュータを動作させる特別用途データ構造を生成する。コンピュータプログラム２１０および／または動作命令はまた、メモリ２０６および／またはデータ通信デバイス２３０中に明白に具現化されてもよく、これにより、コンピュータプログラムプロダクトまたは製造品を本発明にしたがったものにする。したがって、ここで使用する“製造品”、“プログラム記憶デバイス”および“コンピュータプログラムプロダクト”という用語は、任意のコンピュータ読取可能デバイスまたは媒体からアクセス可能なコンピュータプログラムを含むことを意図している。

もちろん、当業者は、上記のコンポーネントの任意の組み合わせ、あるいは、任意の数の異なるコンポーネント、周辺機器および他のデバイスが、コンピュータ２０２とともに使用されてもよいことを認識するだろう。

図３Ａは、本発明の１つの実施形態を実施するために使用できる例示的なプロセスのステップを図示しているダイヤグラムである。上述したように、メディアプログラムプロバイダ１１０は、メディアプログラムのソース、および、メディアプログラムを説明するメタデータであってもよく、あるいは、メディアプログラムプロバイダ１１０は、メディアプログラムソース１２０、または、独立的なメディアプログラムメタデータソース１３０から、メディアプログラムおよび／またはメディアプログラムについてのメタデータを取得してもよい。ブロック３０２では、メディアプログラムは、メディアプログラムソース１２０からメディアプログラムプロバイダ１１０に送信される。メディアプログラムは、複数のフレームを含み、各フレームは、一緒にメディアプログラムを含む画像のうちの１つを提供する。

メディアプログラムに加えて、メディアプログラムソース１２０はまた、メディアプログラムについてのメタデータを送信してもよい。このようなメタデータは、メディアプログラム自体についての一般的なメタデータ、および／または、メディアプログラム中に描写されているオブジェクトを説明するオブジェクトメタデータを含んでもよい。メディアプログラムおよび／またはメタデータは、ブロック３０４中に示されているように、メディアプログラムプロバイダ１１０により受信される。ブロック３０６中に示されているように、メディアプログラムプロバイダ１１０はまた、独立的なメディアプログラムメタデータプロバイダ１３０からのオブジェクトメタデータを含む、メディアプログラムについてのメタデータを取得する。ブロック３０２および３０６は、メディアプログラムプロバイダ１１０が、図３Ａおよび３Ｂ中に描写されている残りの動作を完了させるために必要なメディアプログラムおよび任意のメタデータを既に有しているケースでは、それらが実行される必要がないことを示すように点線化されている。メディアプログラムは、単純なダウンロード、プログレッシブダウンロード、または、上述したストリーミング技術を使用して、メディアプログラムソース１２０からメディアプログラムプロバイダ１１０に送信されてもよい。

ブロック３０８では、メディアプログラムの複数のフレームが、オブジェクトを描写する少なくとも１つのビデオフレームを識別するためにサーチされる。オブジェクトは、出演者、建物、または、メディアプログラムのフレームのうちの少なくとも１つ中に視覚的に描写される任意のオブジェクトであってもよい。プログレッシブダウンロードまたはストリーミングにより、メディアプログラムソース１２０からメディアプログラムが取得されるケースでは、サーチングステップは、ビデオデータが受信されるときに、メディアプログラムプロバイダ１１０により達成されてもよい。

１つの実施形態では、サーチングステップは、メディアプログラムソース１２０または独立的なメディアプログラムメタデータソース１３０から取得されたオブジェクトメタデータ中に識別されるオブジェクトのうちの１つ以上のものに対して実行される。この動作は、以下に説明される図４に関してさらに説明されているように達成することができる。

ブロック３１０中で示されているように、メタデータは、識別されたビデオフレームに対して生成される。１つの実施形態では、メタデータは、オブジェクトおよびオブジェクトが見つかるフレームを識別するメディアプログラムメタデータである（例えば、object(s) = <object name(s)>、frame(s) = <frame number(s)>）。別の実施形態では、メタデータは、フレームに関係付けられており（これが、フレームメタデータ）、サムネイルメタデータを生成するために使用される。いずれのケースでも、フレームは、フレーム番号により、メディアプログラムにおける経過時間により、または、フレームを識別する類似した手段により、識別することができる。メタデータ（メディアプログラム全体、または、メタデータの個々のフレームに関係付けられているかに関わらず）は、サムネイルに対するメタデータ（識別された個々のフレームのうちの１つから生成される）を生成させるために使用することができる。

ブロック３１２中に示されているように、識別されたメタデータは、その後、メディアプログラムデータベース１１４中のメディアプログラムに関係付けられる。１つ以上の実施形態では、メディアプログラムは、メディアプログラム中に描写されているオブジェクト、および、オブジェクトを描写するフレームのフレーム番号を説明するメタデータに関係付けられている。例えば、映画は、映画の中でキャラクターを演じる出演者を説明するメタデータに関係付けられてもよい。このケースでは、ビデオフレームは、出演者が描写されているフレームに対してサーチされ、出演者および出演者が描写されているフレームを識別するメタデータが生成され、メディアプログラムに関係付けられる。このプロセスは、メタデータ中で識別されるすべてのオブジェクトに対して（例えば、すべての出演者に対して）反復することができる。

上述したように、ブロック３１０中で説明した動作を実行すること、すなわち、複数のビデオフレームに対するメタデータを生成することは、困難であることがある。本発明は、オブジェクト検出および追跡機能とともに、視聴しているコミュニティからのメタデータ入力を有益に使用して、このメタデータの生成、および、メタデータと適切なフレームもしくはビデオクリップとの関係付けにおいて支援する。

図４Ａ〜４Ｆは、複数のビデオフレームに対してメタデータを開発するために使用できる例示的な方法のステップを図示しているダイヤグラムであり、図５は、プロセスのステップをさらに図示しているダイヤグラムである。メディアプログラム５０２のうちの複数のビデオフレーム５０４は、メディアプログラムから抽出される。１つの実施形態では、抽出されたビデオフレームは、直前のビデオフレームから固定の時間またはフレーム間隔だけ離されている。例えば、毎１０番目のビデオフレームが抽出されてもよい。

初めに、図４Ａに目を向けると、ブロック４０２中に示されているように、オブジェクト検出は、抽出された複数のビデオフレーム上で実行され、関心のオブジェクトを描写するフレームを識別する。例えば、１つの実施形態では、あるアルゴリズムは、人間の顔を検出するために使用され、認識されるオブジェクトは、出演者の顔を含む。示されている例では、毎１０番目のビデオフレーム５０４が、メディアプログラム５０２から抽出された。顔は、ビデオフレーム０００１、００１１、．．．、０１０１（第１の出演者の顔５２０の描写を含む）、フレーム３４３１、３４４１、．．．、３５２１（第２の出演者の顔５２２の描写を含む）、および、フレーム３５３１、３５４１、．．．、４２４１（第１の出演者の顔５２０および第２の出演者の顔５２２の双方の描写を含む）の中で検出された。

ブロック４０４では、検出されたオブジェクトを含むメディアプログラムの１つ以上のフレームを含む第１のデータは、ユーザ１３２への提示のために、ディスプレイデバイス１０２に送信される。

１つの実施形態では、第１のデータは、メディアプログラム（メディアプログラムの動画を一緒に提示する複数のフレームを含む）を含む。図４Ｂ中で示されているように、このデータは、ディスプレイデバイス１０２上で実行するメディアプログラムプレイヤーにおいて再生されてもよい。別の実施形態では、図４Ｃ中に示されているように、第１のデータは、メディアプログラムサーチまたはプログラムガイドに応答して提示される１つ以上のサムネイルを含む。

図４Ｂは、ユーザコンピュータ１０２により実現され、ディスプレイ２２２上に提示されているメディアプログラムプレイヤー（ＭＰＰ）４４８の１つの実施形態を提示する例示的なユーザインターフェース４２２を図示しているダイヤグラムである。図示されている実施形態では、ＭＰＰ４４８は、ブラウザ４２３中に提示されている。ブラウザ４２３は、ユーザが、関心のウェブサイトのユニフォームリソースロケータ（ＵＲＬ）を入力してもよいアドレスボックス４２４を有してもよい。ブラウザ４２３はまた、サーチボックス４２６中にキーワードを受け入れ、サーチボタン４２８の選択の際に、サーチ要求に応答するサーチ結果とともにウェブページをユーザに提供してもよい。さらに、ブラウザ４２３上に提示されている情報は、アンシエータ４４６により制御４３０を選択して、制御４３０をスクロールバー４３２にそって移動させることにより、スクロールバー４３２を使用することにより、観覧されてもよい。

１つの実施形態では、ＭＰＰ４４８は、メディアプログラムがユーザに対して再生されるビューウィンドウ４３４と、メディアプログラムの再生をユーザにより制御できるようにする複数の制御４３６Ａ〜４３６Ｆ（以下では、代わりに、制御４３６と呼ばれる）を含む。制御４３６は、メディアプログラムの再生を停止するために使用される停止制御４３６Ｃと、メディアプログラムの再生を開始または再開するために使用される再生制御４３６Ｆと、メディアプログラムの再生を一時停止するために使用される一時停止制御４３６Ｂとを含む。制御４３６はまた、ユーザがメディアプログラムを通して早送りすることを可能にする早送り制御４３６Ｅと、ユーザが次のシーンへ、または、次のメディアプログラムへスキップすることを可能にするフォワードスキップ制御４１６Ｄとを含む。１つの実施形態では、次のシーンへのスキップは、スキップ制御４３６Ｄを瞬間的に選択することにより選択できる一方で、次のメディアプログラムへのスキップは、スキップ制御４３６Ｄを選択してホールドすることにより実行できる。異なるシーンは、いずれのフレームが新たなシーンを開始するかを示すマーカーの使用により、または、各シーン中の最初のフレームに対するフレームを識別するメディアプログラムメタデータの使用により、メディアプログラム中で識別できる。スキップ制御４３６Ａはまた、スキップ制御４３６Ｄと同じ方法で、前のメディアプログラムまたはシーンへスキップすることを可能にする。

１つの実施形態では、ＭＰＰ４４８は、ビューウィンドウ４１４中に、およその表示されたメディアプログラムが表示されるプログレスバー４４２を含んでもよい。メディアプログラムがＭＰＰ４４８に漸進的にダウンロードされる場合、プログレスバー４２２はまた、メディアプログラムのうちのどのくらいがユーザコンピュータ１０２に送信され、バッファされたか、したがって、メディアプログラムのうちのどのくらいが、シークプレビューに対して視聴可能かを示すメディアバッファプログレスインジケータ４４０を含んでもよい。ストリーミングビデオは、ユーザがメディアプログラムの異なる部分へのアクセスをバッファせずに（例えば、メディアサーバ１１０に送信される制御信号の使用を通して）取得できるため、メディアバッファプログレスインジケータ４４０は必要でない。

制御４３８は、ＭＰＰ４４８により現在描写されているフレームの一時的な位置を示す。ユーザは、制御４３８を選択して、制御４３８をプログレスバー４４２にそって異なる位置に移動させることにより、制御４３８操作を介して、メディアプログラムの任意の部分をリプレイするようにＭＰＰ４４８に命令してもよい。プログレスバー４４２の一番左の位置は、メディアプログラムの始まりに近い一時的な位置を示している一方、一番右の位置は、メディアプログラムの終わりに近い一時的な位置を示す。図４Ｂは、メディアプログラム中のオブジェクト４５０の表示を示す。

１つの実施形態では、メディアプログラムの描写フレームは、検出されたオブジェクトの輪郭を描くこと、例えば、図４Ｂ中に示されている標線４５４を示す。標線４５４は、オブジェクト４５０を囲んでもよく、または、オブジェクト４５０に最も近くてもよい。

図４Ｄは、検出されたオブジェクトを含むメディアプログラムフレームの再生を図示している別のダイヤグラムである。この実施形態では、ユーザは、出演者としてＨａｒｒｉｓｏｎ Ｆｏｒｄを含むメディアプログラムを見つけようと施行して、メタデータサーチを送信している。これは、例えば、サーチボックスに“Ｈａｒｒｉｓｏｎ Ｆｏｒｄ”を入力することにより達成できる。サーチ結果は、ディスプレイデバイス１０２に送信され、サムネイル４５２Ａ〜４５２Ｌ（以下では、代わりに、サムネイル４５２と呼ばれる）として提示されている１つ以上のフレームを含んでもよい。フレームは、検出されたオブジェクト４５０Ａ〜４５０Ｉ（以下では、代わりに、オブジェクト４５０と呼ばれる）と、標線（以下では、代わりに、標線４５４と呼ばれる）とを含んでいる。フレームは、Ｈａｒｒｉｓｏｎ Ｆｏｒｄに対するクエリに応答して提示されたが、検出されたオブジェクト４５０は、Ｈａｒｒｉｓｏｎ Ｆｏｒｄを提示する必要はないことに留意すべきである。代わりに、検出されたオブジェクト４５０は、他のオブジェクトであってもよい。

１つ実施形態では、フレーム４５２のうちの任意のものは、検出された複数のオブジェクトを描写する。しかしながら、別の実施形態では、ディスプレイデバイスに提供するように選択されたフレーム４５２は、１つの検出されたオブジェクトのみが存在するフレームである。

図４Ａに戻ると、ブロック４０６中で示されているように、識別されたオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータが受信される。

ユーザに入力されたメタデータは、検出されたオブジェクトを識別するデータ、または、オブジェクトについての任意のデータであってもよい。例えば、オブジェクトが出演者である場合、出演者のウェブサイトへのユニフォームリソースロケータ（ＵＲＬ）が入力されてもよく、出演者がキャストメンバーである他のメディアプログラム、または、出演者についての半端なファクタが入力されてもよい。

ボックス４０８では、オブジェクトは、メディアプログラムの近似のフレームにわたって追跡される。言い換えると、メディアプログラム中のオブジェクトは、典型的に、複数の近接するフレーム中で描写されることから、検出されたものは、１つのフレームから次のフレームへ追跡されてもよい。典型的に、オブジェクトが近接するフレーム間で移動した距離、および、オブジェクトのフレームからフレームへの出現における変化は、フレームにわたってオブジェクトを簡単に追跡することを可能にする。

ブロック４１０では、ユーザに対して表示されたフレームに関して入力されたメタデータは、ユーザに対して表示されたフレームに近似する１つ以上のフレーム中の同じオブジェクトに関係付けられる。この方法では、ユーザに入力されたメタデータは、複数のフレームにわたって伝播される。典型的に、オブジェクトは、画像のグループ（ＧＯＰ）にわたって簡単に追跡できる。

ブロック４１２では、入力された、関係付けられているデータは、後の使用のために記憶される。

図４Ｃは、ユーザがオブジェクトメタデータを入力するように促されている１つの実施形態を図示しているダイヤグラムである。ブロック４５８では、検出されたオブジェクトのユーザ選択を含む第３のデータが、ディスプレイデバイス１０２から受信される。１つの実施形態では、これは、ポインティングデバイスを使用して、オブジェクト４５４にわたってアンシエータ４４６をホバリングさせる、または、アンシエータを使用してオブジェクト４５０を選択するユーザによって実現できる。ブロック４６０では、検出されたオブジェクトに関係付けられているメタデータのユーザ入力のためのインターフェースを含む第４のデータが、ディスプレイデバイス１０２に送信される。

図４Ｅは、ユーザインターフェース４６０の１つの実施形態を示しているダイヤグラムである。ユーザインターフェースは、オブジェクトを識別するユーザ入力を受け入れるテキストボックス４６２を含む。１つ実施形態では、ユーザインターフェース４６０はまた、第２のデータに関係付けられている仮定のメタデータを含む。例えば、前もって入力されたデータが、オブジェクトがＨａｒｒｉｓｏｎ Ｆｏｒｄであるかもしれないことを示す場合、ユーザインターフェース４６０は、その仮定のデータを含めることができる。ユーザインターフェース４６０はまた、この仮定のデータの確定、例えば、図４Ｅ中で提供される、はい／いいえの選択を含んでもよい。

図４Ｆは、サムネイル実施形態におけるユーザインターフェースのアプリケーションを図示しているダイヤグラムである。

１つの実施形態では、ユーザに入力されたメタデータは、それが、データベース中に永久的に記憶される前に検証されて、他のユーザに提供される。これは、ユーザに入力されたメタデータと他のユーザに入力されたメタデータとを比較して、ユーザに入力されたメタデータを比較に基づいて検証することにより達成されてもよい。例えば、ユーザに入力されたデータは、ユーザに入力されたコメントの十分な数または割合が、オブジェクトに関係付けられたメタデータに関して一致するまで、使用されないかもしれない。識別された俳優のケースでは、ユーザに入力されたデータは、最低５人の異なるユーザが、オブジェクトを識別するデータを提供し、８０％より多くのユーザデータがオブジェクトの識別に関して一致するまで、オブジェクトと（少なくとも永久的には）関係付けられないかもしれない。

図５中に示されている例では、オブジェクトは、ビデオフレーム０００１中で第１の出演者の顔５２０として識別されており、顔は、フレーム０００２、００１１、．．．０１０１への追跡できることから、そのオブジェクトを出演者の顔として識別するメタデータは、フレーム０００２、００１１、．．．０１０１に伝播される。また、オブジェクトは、フレーム３４３４中で第２の出演者の顔５２２として識別されており、フレーム３４３４に関して入力された任意のメタデータは、追跡機能を使用して、フレーム３４３１に対する後ろに、および、フレーム４２４１に対する前に、伝播することができる。

ユーザのサーチが、オブジェクトが描写されているビデオクリップ（静的なサムネイルの代わりに）を取り出す、以下に説明されているさらなる実施形態では、オブジェクトが複数のシーケンシャルなフレーム中で描写されている場合、オブジェクトを描写する最初および最後のフレームに対する識別子に気付くことができる。

１つの実施形態では、メディアプログラム中に描写されているオブジェクト、および、それらがどこ（例えば、いずれのフレーム）に描写されているかを識別する情報は、増大するメディアプログラムメタデータ５３０として記憶される。この実施形態では、メタデータは、個々のフレームの代わりに、メディアプログラムに関係付けられており、ユーザがメディアプログラム５０２中のオブジェクトに対してサーチするとき、オブジェクトが描写されているフレームを示すメタデータが取り出され、サムネイルが、そのフレームから生成され、ユーザに提示される。ビデオクリップが提示されている実施形態では、メタデータは、オブジェクトが描写されている最初および最初のフレームを示してもよく、サムネイルまたはビデオクリップ（場合によっては、サムネイルサイズの）が生成され、ユーザに提示される。１つの実施形態では、ビデオクリップは、ポインタをサムネイルにわたって転がすことによりアクティブ化される。別の実施形態では、ビデオクリップは、それがダウンロードされると直ぐにアクティブ化されるが、ポインタがサムネイルにわたって転がされない限り、または、そうでなければ、ビデオクリップが選択されない限り、オーディオは再生されない。これにより、複数のソースからのオーディオを混乱させることなく、複数のビデオクリップを描写することが可能になる。

他の態様では、メタデータは、オブジェクトが描写されているフレームに関係付けられているか、または、そのフレームから生成されるサムネイルに関係付けられている。例えば、１つ以上のサムネイル５５０、５５４は、オブジェクト（それぞれ、５２０および５２２）を描写しているフレームから生成されてもよく、それらのフレームを説明しているサムネイルメタデータ（それぞれ、５５２および５５６）が生成され、サムネイルメタデータは、メディアプログラム５０２に関係付けられている。このようなメタデータは、フレーム番号と、フレーム中に描写されているオブジェクトを識別する情報とを含めることができる。この実施形態では、ユーザが、メディアプログラム中のオブジェクトをサーチするとき、関連するサムネイルデータもサーチされ、サーチしたオブジェクトを描写するサムネイルがユーザに提示される。または、メディアプログラムのフレーム５０２中に描写されたオブジェクトを説明するメタデータは、単純に、フレーム５０２に（フレームから生成されたサムネイルの代わりに）関係付けられていてもよい。この実施形態では、ユーザは、メディアプログラム中のオブジェクトをサーチするとき、フレームメタデータは、オブジェクトを描写するフレームを見つけるためにサーチされる。サムネイルは、その後、見つかったフレームから生成させることができる。

またさらに別の実施形態では、メタデータは、必ずしも、オブジェクトを説明せず、むしろ、位置またはシーンを説明することができる。

図３Ｂは、ユーザが、関心のオブジェクトを描写するメディアプログラムフレーム５０４を識別するメタデータをサーチすることを可能にするために使用できる例示的な方法のステップを図示しているダイヤグラムである。ブロック３２０では、サーチ要求またはサーチクエリが、ユーザコンピュータ１０２から送信される。サーチ要求は、値を有するサーチパラメータを含んでもよい。サーチパラメータは、キーワード、オブジェクト名またはシーンであってもよい。ブロック３２２中に示されているように、サーチ要求は、メディアプログラムプロバイダ１１０により受信および受け入れられる。ブロック３２４では、メディアプログラムデータベース１１４が、サーチパラメータ値に対してサーチされる。ブロック３２６では、パラメータ値により説明されるオブジェクトを描写するとともに、サーチに対して応答するサムネイルが生成される（これらが前もって生成されない実施形態において）、または、取り出される（これらが前もって生成される実施形態において）。ブロック３２８中に示されているように、結果は、プログラムガイド中に、または、その後ユーザコンピュータ１０２に送信される他のインターフェース中に含まれている。ブロック３３０中に示されているように、ユーザコンピュータ１０２は、プログラムガイドを受信し、ユーザに対してサムネイルを表示する。

ブロック３３２に示されているように、ユーザは、その後、サムネイルを選択してもよい。ブロック３３４中に示されているように、選択されたサムネイルを識別するメッセージ、または、関係付けられているメディアプログラムが、メディアプログラムプロバイダ１１０に提供され、これは、サムネイルに関係付けられているメディアプログラムを取り出す。ブロック３３６中に示されているように、ユーザコンピュータ１０２は、選択されたメディアプログラムを受信し表示する。

メディアプログラム自体が、メディアプログラムプロバイダによってストリーミングされず、むしろ、メディアプログラムソース１２０のうちの１つによりストリーミングされる実施形態では、サムネイルの選択は、再生されることになるサムネイルまたはメディアプログラムを識別するメッセージをメディアプログラムソース１２０に送信し、メディアプログラムは、代わりに、メディアプログラムソース１２０により提供される。この事例では、メディアプログラムは、メディアプログラムソース１２０により提供されるが、メディアプログラムを表示しているウィンドウは、メディアプログラムプロバイダ１１０により供給されるウィンドウ中に組み込まれていてもよく、したがって、メディアプログラムがメディアプログラムプロバイダ１１０またはメディアプログラムソース１２０からストリーミングされるかに関わらず、ユーザインターフェースに同じ見た目および特徴を提供する。

ブロック３２４中で説明されている動作は、多数の方法で実現されてもよい。１つの実施形態では、メディアプログラムメタデータ５３０は、サーチパラメータ値が、オブジェクトを描写する情報と一致するか否かを決定するためにサーチされる。サーチパラメータ値が、オブジェクトを描写するメディアプログラムメタデータ５３０と一致する場合、見つかった値に関係付けられているフレームが決定され、後に表示のためにユーザコンピュータ１０２に送信されるサムネイルを生成させるために使用される。例えば、サーチパラメータが出演者であり、サーチパラメータ値が“Ｍｅｇ Ｒｙａｎ”である場合、メディアプログラムデータベース１１４は、値“Ｍｅｇ Ｒｙａｎ”に対してサーチされる。図３Ａに関して上述した動作の理由で、メディアプログラムデータベース１１４は、“Ｍｅｇ Ｒｙａｎ”に対する一致する入力と、彼女の肖像を描写する画像をどのフレームで見つけることができるかを示す、関係付けられているフレーム番号とを含む。

別の実施形態では、メディアプログラムデータベース５３０は、サムネイルまたはフレームメタデータを含み、メディアプログラムデータベース５３０は、サーチパラメータ値を含む入力（オブジェクト説明のような）を見つけるためにサーチされる。例えば、ユーザ１３２がサーチ値として“Ｍｅｇ Ｒｙａｎ”を入力した場合、メディアプログラムデータベース１１４は、メディアプログラムメタデータ５３０が入力“Ｍｅｇ Ｒｙａｎ”を含むか否かを決定するためにサーチされる。その場合、“Ｍｅｇ Ｒｙａｎ”入力に関係付けられているサムネイルは、メディアプログラムデータベース５３０から取り出され、表示のために、ユーザコンピュータ１０２に送信される。

典型的に、メディアプログラム５０２は、複数のシーンを含み、出演者および他のオブジェクトは、１つより多いシーンの中で描写されてもよい。１つの実施形態では、メディアプログラムデータベース１１４は、シーンと、各シーンの最初および最後のフレームとを識別するメディアプログラムメタデータ５３０を含む。図５中で例が示されている。この実施形態では、所望のオブジェクトを描写しているフレーム番号が、シーンの各々に対して提示されている。例えば、メディアプログラムメタデータは、以下のように整理された情報を含んでもよい。

この実施形態では、ユーザはまた、関心のオブジェクトのみではなく、関心のシーンも同様に指定する（例えば、“Ｍｅｇ Ｒｙａｎ ａｎｄ Ｄｉｎｅｒ”）というサーチクエリを入力してもよい。このケースでは、Ｍｅｇ Ｒｙａｎが、映画の夕食のシーン中のフレーム３８７６中に描写されていることから、メディアプログラムデータベースは、そのフレームを使用して、サムネイルを生成して送り返す。

当業者は、本発明の範囲から逸脱することなく、この構成に対して多くの修正を行うことができることを認識するだろう。例えば、当業者は、本発明とともに、上記のコンポーネントの任意の組み合わせ、あるいは、任意の数の異なるコンポーネント、周辺機器、および、他のデバイスを使用できることを認識するだろう。

結論

これは、本発明の好ましい実施形態の説明を結論付ける。本発明の好ましい実施形態の前述は、例示および説明の目的のために提示されている。これは、排他的であること、または、開示した厳格な形態に本発明を限定することを意図していない。上記の教示を踏まえて、多くの修正および変更が可能である。本発明の範囲は、この詳細な説明によってではなく、むしろ、ここに付随する特許請求の範囲により限定されることを意図している。上記の仕様、例示およびデータは、本発明の構成の製造および使用の完全な説明を提供する。本発明の多くの実施形態は、本発明の精神および範囲から逸脱することなく構成することができることから、本発明は、これ以下に付随する特許請求の範囲内に属する。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［１］メディアプログラムに関係付けられているメタデータを取得する方法において、
メディアプログラムのフレーム中のオブジェクトを検出するステップと、
前記検出したオブジェクトを有する前記メディアプログラムの前記フレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信するステップと、
前記識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信するステップと、
前記オブジェクトを前記メディアプログラムの近似のフレームにわたって追跡するステップと、
前記入力されたメタデータを前記メディアプログラムの前記近似のフレームのうちの少なくとも１つの中の前記オブジェクトと関係付けるステップと、
前記関係付けた入力メタデータを記憶するステップとを含む方法。
［２］前記識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信するステップは、
前記検出したオブジェクトのユーザ選択を含む第３のデータを、前記ディスプレイデバイスから受信するステップと、
前記検出したオブジェクトに関係付けられているメタデータのユーザ入力に対する、前記ディスプレイデバイスへのインターフェースを含む第４のデータを送信するステップとを含む［１］記載の方法。
［３］前記第４のデータは、第２のユーザにより入力された前記識別したオブジェクトに関係付けられているメタデータを含む［２］記載の方法。
［４］前記第４のデータは、前記識別したオブジェクトに関係付けられている仮定のメタデータを含み、前記第２のデータは、前記仮定のメタデータの組み合わせを含む［２］記載の方法。
［５］前記フレームは、前記検出したオブジェクトの描写を含む［１］記載の方法。
［６］前記描写は、前記オブジェクトに近似の標線を含む［５］記載の方法。
［７］前記第１のデータは、前記送信したフレームを含む複数のフレームを含み、前記複数のフレームは、ともに前記メディアプログラムの動画を提示する［１］記載の方法。
［８］前記フレームは、１つの検出されたオブジェクトのみを含むサムネイルである［１］記載の方法。
［９］前記サムネイルは、メタデータサーチに応答して送信され、前記フレームは、前記１つの検出したオブジェクトを含み、追加の検出したオブジェクトは含まないように選択される［８］記載の方法。
［１０］前記メタデータは、前記メディアプログラム中に描写されている出演者をサーチする［９］記載の方法。
［１１］前記受信した第２のデータは、前記検出したオブジェクトを識別する、ユーザに入力されたメタデータを含む［１］記載の方法。
［１２］前記オブジェクトは、前記メディアプログラム中に描写されている出演者であり、前記入力されたメタデータは、前記出演者を識別する［１］記載の方法。
［１３］前記メタデータを記憶する前に、前記メタデータを検証するステップをさらに含む［１］記載の方法。
［１４］前記ユーザに入力されたメタデータを検証するステップは、
前記ユーザに入力されたメタデータを他のユーザに入力されたメタデータと比較するステップと、
前記比較に基づいて、前記ユーザに入力されたメタデータを検証するステップとを含む［１］記載の方法。
［１５］メディアプログラムに関係付けられているメタデータを取得するための装置において、
メディアプログラムのフレーム中のオブジェクトを検出し、前記オブジェクトを前記メディアプログラムの近似のフレームにわたって追跡するメディアプログラムアナライザと、
前記検出したオブジェクトを有する前記メディアプログラムの前記フレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信し、前記識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信する通信モジュールと、
前記入力されたメタデータを前記メディアプログラムの前記近似のフレームのうちの少なくとも１つの中の前記オブジェクトと関係付け、関係付けた入力メタデータを記憶するデータベースとを具備する装置。
［１６］前記通信モジュールはさらに、前記検出したオブジェクトのユーザ選択を含む第３のデータを、前記ディスプレイデバイスから受信し、前記検出したオブジェクトに関係付けられているメタデータのユーザ入力に対する、前記ディスプレイデバイスへのインターフェースを含む第４のデータを送信する［１５］記載の装置。
［１７］前記第４のデータは、第２のユーザにより入力された前記識別したオブジェクトに関係付けられているメタデータを含む［１６］記載の装置。
［１８］前記第４のデータは、前記識別したオブジェクトに関係付けられている仮定のメタデータを含み、前記第２のデータは、前記仮定のメタデータの組み合わせを含む［１６］記載の装置。
［１９］前記フレームは、前記検出したオブジェクトの描写を含む［１５］記載の装置。
［２０］前記描写は、前記オブジェクトに近似の標線を含む［１９］記載の装置。
［２１］前記第１のデータは、前記送信したフレームを含む複数のフレームを含み、前記複数のフレームは、ともに前記メディアプログラムの動画を提示する［１５］記載の装置。
［２２］前記フレームは、１つの検出されたオブジェクトのみを含むサムネイルである［１５］記載の装置。
［２３］前記サムネイルは、メタデータサーチに応答して送信され、前記フレームは、前記１つの検出したオブジェクトを含み、追加の検出したオブジェクトは含まないように選択される［２２］記載の装置。
［２４］前記メタデータは、前記メディアプログラム中に描写されている出演者をサーチする［２３］記載の装置。
［２５］前記受信した第２のデータは、前記検出したオブジェクトを識別する、ユーザに入力されたメタデータを含む［１５］記載の装置。
［２６］前記オブジェクトは、前記メディアプログラム中に描写されている出演者であり、前記入力されたメタデータは、前記出演者を識別する［１５］記載の装置。
［２７］前記データベースは、前記メタデータを記憶する前に、前記メタデータを検証する［１５］記載の装置。
［２８］前記データベースは、前記ユーザに入力されたメタデータを他のユーザに入力されたメタデータと比較し、前記比較に基づいて、前記ユーザに入力されたメタデータを検証する［１５］記載の装置。
［２９］メディアプログラムに関係付けられているメタデータを取得するための装置において、
メディアプログラムのフレーム中のオブジェクトを検出する手段と、
前記検出したオブジェクトを有する前記メディアプログラムの前記フレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信する手段と、
前記識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信する手段と、
前記オブジェクトを前記メディアプログラムの近似のフレームにわたって追跡する手段と、
前記入力されたメタデータを前記メディアプログラムの前記近似のフレームのうちの少なくとも１つの中の前記オブジェクトと関係付ける手段と、
前記関係付けた入力メタデータを記憶する手段とを具備する装置。
［３０］前記識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信するステップは、
前記検出したオブジェクトのユーザ選択を含む第３のデータを、前記ディスプレイデバイスから受信する手段と、
前記検出したオブジェクトに関係付けられているメタデータのユーザ入力に対する、前記ディスプレイデバイスへのインターフェースを含む第４のデータを送信する手段とを含む［２９］記載の装置。
［３１］前記第４のデータは、第２のユーザにより入力された前記識別したオブジェクトに関係付けられているメタデータを含む［３０］記載の装置。
［３２］前記第４のデータは、前記識別したオブジェクトに関係付けられている仮定のメタデータを含み、前記第２のデータは、前記仮定のメタデータの組み合わせを含む［３０］記載の装置。
［３３］前記フレームは、前記検出したオブジェクトの描写を含む［２９］記載の装置。
［３４］前記描写は、前記オブジェクトに近似の標線を含む［３３］記載の装置。
［３５］前記第１のデータは、前記送信したフレームを含む複数のフレームを含み、前記複数のフレームは、ともに前記メディアプログラムの動画を提示する［２９］記載の装置。
［３６］前記フレームは、１つの検出されたオブジェクトのみを含むサムネイルである［２９］記載の装置。
［３７］前記サムネイルは、メタデータサーチに応答して送信され、前記フレームは、前記１つの検出したオブジェクトを含み、追加の検出したオブジェクトは含まないように選択される［３６］記載の装置。
［３８］前記メタデータは、前記メディアプログラム中に描写されている出演者をサーチする［３７］記載の装置。
［３９］前記受信した第２のデータは、前記検出したオブジェクトを識別する、ユーザに入力されたメタデータを含む［２９］記載の装置。
［４０］前記オブジェクトは、前記メディアプログラム中に描写されている出演者であり、前記入力されたメタデータは、前記出演者を識別する［２９］記載の装置。
［４１］前記メタデータを記憶する前に、前記メタデータを検証するステップをさらに具備する［２９］記載の装置。
［４２］前記ユーザに入力されたメタデータを検証するステップは、
前記ユーザに入力されたメタデータを他のユーザに入力されたメタデータと比較する手段と、
前記比較に基づいて、前記ユーザに入力されたメタデータを検証する手段とを備える［２９］記載の装置。

Claims (14)

1. メディアプログラムに関係付けられているメタデータを取得する方法において、
   前記メディアプログラムのフレーム中のオブジェクトを検出するステップと、
   前記オブジェクトを有する前記メディアプログラムの前記フレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信するステップと、
   前記フレームにおいてオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信するステップと、
   前記オブジェクトを前記メディアプログラムの近似のフレームにわたって追跡するステップと、
   前記ユーザに入力されたメタデータを前記メディアプログラムの前記近似のフレームのうちの少なくとも１つの中の前記オブジェクトと関係付けるステップと、
   前記ユーザに入力されたメタデータを他のユーザに入力されたメタデータと比較するステップと、
   前記比較に基づいて、前記ユーザに入力されたメタデータを検証するステップと、
   を含む方法。
2. 前記オブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信するステップは、
   前記オブジェクトのユーザ選択を含む第３のデータを、前記ディスプレイデバイスから受信するステップと、
   前記オブジェクトに関係付けられているメタデータのユーザ入力のためのインターフェースを含む第４のデータを前記ディスプレイデバイスに送信するステップと、
   を含む請求項１記載の方法。
3. 前記第４のデータは、前記オブジェクトに関係付けられているメタデータのためのユーザ入力を受け入れるためのボックスを含む、請求項２記載の方法。
4. 前記第４のデータは、前記オブジェクトに関係付けられている仮定のメタデータを含み、前記第２のデータは、前記仮定のメタデータの組み合わせを含む請求項２記載の方法。
5. 前記フレームは、前記オブジェクトの輪郭を描くこと含む請求項１記載の方法。
6. 前記輪郭を描くことは、前記オブジェクトに近接している標線を含む請求項５記載の方法。
7. 前記第１のデータは、前記送信したフレームを含む複数のフレームを含み、前記複数のフレームは、ともに前記メディアプログラムの動画を提示する請求項１記載の方法。
8. 前記フレームは、１つのオブジェクトのみを含むサムネイルである請求項１記載の方法。
9. 前記サムネイルは、メタデータサーチに応答して送信され、前記フレームは、前記１つのオブジェクトを含み、追加のオブジェクトは含まないように選択される請求項８記載の方法。
10. 前記メタデータは、前記メディアプログラム中に描写されている出演者をサーチする請求項９記載の方法。
11. 前記受信した第２のデータは、前記検出したオブジェクトを識別する、ユーザに入力されたメタデータを含む請求項１記載の方法。
12. 前記オブジェクトは、前記メディアプログラム中に描写されている出演者であり、前記ユーザに入力されたメタデータは、前記出演者を識別する請求項１記載の方法。
13. 前記ユーザに入力されたメタデータを検証することに応じて、前記ユーザに入力されたメタデータを記憶するステップをさらに含む、請求項１記載の方法。
14. メディアプログラムに関係付けられているメタデータを取得するための装置において、
    メディアプログラムのフレーム中のオブジェクトを検出し、前記オブジェクトを前記メディアプログラムの近似のフレームにわたって追跡するメディアプログラムアナライザと、
    前記検出したオブジェクトを有する前記メディアプログラムの前記フレームを含む第１のデータを、ユーザへの提示のためにディスプレイデバイスに送信し、識別したオブジェクトに関係付けられている、ユーザに入力されたメタデータを含む第２のデータを受信する通信モジュールと、
    前記入力されたメタデータを前記メディアプログラムの前記近似のフレームのうちの少なくとも１つの中の前記オブジェクトと関係付けるデータベースと
    前記ユーザに入力されたメタデータを他のユーザに入力されたメタデータと比較し、前記比較に基づいて、前記ユーザに入力されたメタデータを検証するために構成された少なくとも１つのプロセッサと、
    を具備する装置。

Images