JP2005341071A - 映像録画視聴システム、映像録画視聴装置、付加情報管理装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】個人で録画した映像中の任意の時刻あるいは時区間に付加情報を付与し、他者が付与した付加情報を取得し表示し、これらの時間ずれを無くす。
【解決手段】映像録画視聴装置１は映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出し、代表画像特徴量抽出手段１３による特徴量を含めてに映像に対する付加情報として付加情報管理装置２に送出する。付加情報管理装置は映像区間情報と基準となる映像区間情報とを比較して、録画時に生じた時刻のずれを算出し、この基準となる時間に合わせた上で付加情報をデータベースに格納する。また、映像録画視聴装置から付加情報管理装置に対して付加情報を要求する際には、付加情報送出時と同様に、録画時刻補正値を算出し、補正した付加情報でデータベースを検索し、検索された付加情報と算出された録画時刻補正値とを映像録画視聴装置に返却する。
【選択図】 図１

Description

本発明は、録画した映像に対して付与した付加情報を複数の利用者間で互いに参照可能とする映像録画視聴システム、映像録画視聴装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体に関する。

映像や音楽といった時間軸を持つコンテンツについて、予め分割された時系列の区間に関する情報を保持し、さらに、区間に対して付与されたコメント情報を区間情報と対応付けて保持しておき、コンテンツの再生中に、再生されている区間に対して付与されたコメントを検索して表示する方法が提案されている（例えば、特許文献１、非特許文献１参照）。
特開２００３−０７６７０４号公報 山田一穂、宮川和、森本正志、児島治彦「映像の構造情報を活用した視聴者間コミュニケーション方法の提案」情報処理学会研究報告、グループウェアとネットワークサービス、2002-GN-43-7,pp37-pp42,２００２年３月２２日発行

近年、ＴＶチューナや映像・音声記録機能を備えたパーソナルコンピュータや、ハードディスクレコーダのような録画機器が普及しており、ディジタルで録画・録音された映像・音声を視聴したり保存したりすることが一般的になっている。

このような放送や通信により配信される映像を個人で録画したものについて、映像中の任意の時刻あるいは時区間に付加情報を付与できるようにし、また、他者が付与した付加情報を取得し表示できるようにを達成するため、上記の特許文献１、非特許文献１（以下、従来手法）と同様の構成を採ることが考えられる。

しかし、従来手法では、録画された映像を一意に識別できない（第一の課題）、個々人が録画した映像に生じている録画開始時刻のずれを補正できない（第二の課題）、といった問題点がある。以下、この二つの課題について説明する。

（第一の課題）
従来手法で対象としているコンテンツは、ネットワーク上に配置されたサーバに蓄積され、ストリーミングやダウンロードにより端末装置にデータを受信可能な映像コンテンツや音楽コンテンツであり、あるいは、ＤＭＤやＣＤなどのパッケージメディアにより入手することのできる映像コンテンツや音楽コンテンツであった。このようなコンテンツは、複数の利用者が同一のデータを得ることができる。また、このようなコンテンツは、サービス事業者により付与されたコンテンツの識別情報、コンテンツのデータ中に埋め込まれた識別情報、コンテンツを取得したネットワーク上のロケーション、パッケージに付与された番号など、コンテンツを一意に識別するための情報を与えることが容易である。そのため、従来手法によって付加情報を共有することは容易である。

従来手法に従えば、特定のコンテンツの特定の時点または時区間に対して付加情報を付与した場合には、クライアント装置から、コンテンツの識別情報、付加情報が付与された時点または時区間の情報、付加情報の実体または参照先の情報、などをサーバ装置に送信し、サーバ装置では受信した情報をデータベースに蓄積する。一方、特定のコンテンツの特定の時点または時区間に対して付与された付加情報を取得する場合には、コンテンツの識別情報、付加情報を取得したい時間または時区間の情報などをサーバ装置に送信し、サーバ装置では、データベースより検索された付加情報を返却する。

一方、個々人でディジタル録画された映像ファイルは、他者と全て同一の条件で録画されているとは限らず、他者が同じ番組を録画していたとしても同一の映像ファイルは生成されない。例えば、同じ番組を録画したとしても、放送波の受信状況、録画機器の特性・個体差、符号化のビットレート、解像度、録画時に設定した録画開始・終了日時、録画機器の時計のずれによる録画時間のずれ、などの条件により、映像ファイルは異なってくる。

ここで、録画された番組の時点または時区間に付加情報を付与して他者と共有することを考えると、コンテンツの識別情報と、付加情報を付与する時点または時区間の情報が必要となる。コンテンツの識別情報としては、録画したチャンネル、録画開始日時、ＥＰＧ（電子番組表）から取得あるいは個人で入力した番組タイトル、などの情報を組み合わせて使用することが考えられる。しかしながら、これらの情報は個々人で異なる場合があるため、番組を識別する情報としては不都合がある。

（第二の課題）
付加情報を付与する時点または時区間の情報については、録画機器の時計のずれによる録画時間のずれが問題となる。例えば、利用者Ａと利用者Ｂとがともに１９時００分から始まる同じ番組を録画したところ、実際には録画機器のずれにより、利用者Ａの録画は１８時５９分５５秒から始まっており、また、利用者Ｂの方は１９時００分０３秒から始まっていたとする。利用者Ａが１９時１０分００秒の時点に付加情報を付与したとすると、従来手法では映像ファイル中の１０分０５秒の箇所に対する付加情報として利用者Ａから情報が送信され、それを受信した利用者Ｂの方では１９時１０分０８秒に対する付加情報として表示されてしまう。このようなことを避けるには、付加情報を共有するためのいずれかの段階で、録画時の時間のずれを補正する必要がある。

本発明の目的は、放送や通信により配信される映像を個人で録画したものについて、映像中の任意の時刻あるいは時区間に付加情報を付与できるようにし、また、他者が付与した付加情報を取得し表示できるようにし、これらの同期を得ることができる映像録画視聴システム、映像録画視聴装置、付加情報管理装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を提供することにある。

ここでいう付加情報は、感想や注釈といったテキスト情報のほか、画像情報、音声情報、他の情報への参照先を示す情報など、映像データと関連付けることのできる任意の情報であってよい。

上記課題を解決するための本発明の請求項１等に記載の映像録画視聴装置は、録画している映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段を備え、映像に対する付加情報を付加情報管理装置に送出する際に、映像識別情報、映像区間情報をともに送信する。付加情報管理装置では、映像識別情報と対応付けて基準となる映像区間情報を予め格納しておき、映像録画視聴装置から受信した映像区間情報と基準となる映像区間情報とを比較して、録画時に生じた時刻のずれに対する補正値（以下、録画時刻補正値）を算出し、付加情報を格納する際には、算出された補正値を加算または減算して基準となる時間に合わせた上で付加情報をデータベースに格納する。

また、映像録画視聴装置から付加情報管理装置に対して付加情報を要求する際には、付加情報送出時と同様に、映像識別情報、映像区間情報を送る。それを受けて、付加情報管理装置では、同様に録画時刻補正値を算出し、補正値を用いて補正した時間情報を用いてデータベースを検索し、検索された付加情報と算出された録画時刻補正値とを映像録画視聴装置に返却する。映像録画視聴装置では、付加情報を映像と同期させて表示する際に、付加情報管理装置より返却された録画時刻補正値を加味して表示の制御を行う。

映像中の区間を算出するには、下記の特許文献２、非特許文献２などで開示されている映像・音声解析技術を利用する。例えば、これら文献にあるように、映像中のフレーム画像を取り出し、フレーム画像から画像特徴量および画像特徴量の時間的な変化量を計参し、変化量があらかじめ指定された閾値を超える箇所を映像区間の開始点とすることができる。ほかに、音楽、音声、文字テロップなどをもとにして映像区間が検出できることが知られている。

特許文献２：特許第２８３９１３２号「映像カット点検出方法及び装置」
非特許文献２：谷口他、「SceneCabinet：映像解析技術を統合した映像インデキシングシステム」、電子情報通信学会誌、Vol.J84-D-II,No.6,pp.1112-1121.2001年
本発明の請求項２等に記載の映像録画視聴装置は、さらに、映像区間の代表画像を作成しこの代表画像から特徴量を抽出する手段を備え、映像に対する付加情報を付加情報管理装置に送出する際には、映像識別情報、映像区間情報、各映像区間の代表画像の特徴量をともに送信する。これを受信した付加情報管理装置では、録画時刻の補正値を算出する際に、映像区間情報と各映像区間の代表画像の特徴量を用いる。画像から色、形状、テクスチャといった画像特徴量を抽出する方法が知られている。映像中の同じ場面から生成された画像であれば画像特徴量も近いと考えられるので、映像区間の同一性を判定する際に有効な指標となる。

以上のことから、本発明は、以下の映像録画視聴システム、映像録画視聴装置、付加情報管理装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を特徴とする。

（１）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システム。

（２）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システム。

（３）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
ことを特徴とする映像録画視聴システムの映像録画視聴装置。

（４）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
ことを特徴とする映像録画視聴システムの映像録画視聴装置。

（５）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システムの付加情報管理装置。

（６）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システムの付加情報管理装置。

（７）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
前記付加情報入力過程で付与された付加情報と前記映像区間検出過程によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信過程と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索過程とを具備する、
ことを特徴とする映像録画視聴方法。

（８）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
前記映像区間検出過程によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出過程と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
前記付加情報入力過程で付与された付加情報と、前記映像区間検出過程によって得られた映像区間情報と、前記画像特徴量抽出過程によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信過程と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索過程とを具備する、
ことを特徴とする映像録画視聴方法。

（９）上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。

（１０）上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータで実行可能に構成したプログラムをコンピュータで読み取り可能に記録したことを特徴とする記録媒体。

以上に説明したように、本発明によれば、以下の効果がある。

（１）録画した映像ファイルをやり取りすることなく、映像区間の情報や画像の特徴量といった数値化された情報のみをやり取りすることにより、複数の録画された映像ファイルに生じる時間情報のずれを補正することができる。その結果、個々人が録画した映像の時点あるいは時区間に対して付与した付加情報を複数の利用者間で互いに参照することが可能になる。

（２）他者が付与した付加情報を参照しながら映像を視聴することで、従来の録画映像の視聴時には得られなかった情報を得ることができる。また、自身からの情報発信の手段ともなり、タイムシフトでの映像視聴に新たな付加価値を加えることができる。

（３）同一番組を録画した複数の録画映像の間での同期を取ることが可能となり、録画映像に対して付与された付加情報を共有できる（録画映像のずれの原因は、録画機器の時計のずれ、機器毎の録画タイミングなど）。

（４）メタ情報の類似度を使用して番組同士の同一性・類似性を判定することができる。これを利用するように本発明システム、装置を変更・拡張することで、以下のような効果が生じる。

（ａ）録画時刻、チャンネル等の録画情報が欠落している場合でも番組を特定することが可能となり、録画映像に対して付与された付加情報を共有できる。

（ｂ）録画映像に対して付与された付加情報を登録または検索する際に、メタ情報の比較により同一とみなされるものを一括して管理または検索することが可能になり、以下のような効果が生じる。

・地上波、地上デジタル、衛星放送、ケーブルＴＶといった複数チャンネルで同一内容の映像が同時刻に放送される場合でも、録画映像の同期を取ることが可能となり、録画映像に対して付与された付加情報を共有できる（録画映像のずれの原因は、伝送遅延、符号化・複号化による遅延、録画機器の時計のずれ、など）。

・同一内容の映像が同一チャンネルまたは別のチャンネルで異なる時刻に放送される場合にも、録画映像に対して付与された付加情報を共有できる。

（５）番組よりも細かい単位で映像を分割して、局所的なメタ情報の同一性・非同一性を判断できるように拡張することで、以下のような効果が生じる。

（ｃ）キー局と地方局での同時ネット放送のように、大部分は同一であるが一部分が異なる番組が別のチャンネルで同一時刻に放送される場合にも、録画映像に対して付与された付加情報を共有できる。

（ｄ）大部分は同一であるが一部分が異なる番組が別の時刻に放送される場合にも、録画映像に対して付与された付加情報を共有できる。

図１は、本発明による映像録画視聴システムの基本的な構成図であり、複数の映像録画視聴装置１と、付加情報管理装置２とは、ネットワーク３を介して通信可能とする。ネットワーク３は、例えば、インターネット、電話網などである。

図２は、図１における映像録画視聴装置の構成を示すブロック図である。映像録画視聴装置１は、チューナーや外部映像入力からの映像を符号化してファイルに保存する映像録画手段１１、録画中あるいは録画後に前述のような方法で映像区間を検出して映像区間情報および各映像区間の代表画像ファイルを出力する映像区間検出手段１２、画像ファイルの特徴量を算出する画像特徴量抽出手段１３、映像中の任意の点に対して付加情報を入力する付加情報入力手段１４、付加情報を付加情報管理装置２に対して送信する付加情報送信手段１５、映像録画手段１１によって録画された映像を再生する映像再生手段１６、映像再生手段１６で再生されている映像に対して付与された付加情報を付加情報管理装置２より取得して表示する付加情報受信・表示手段１７、操作者の操作を受け付け、各手段の動作を制御する制御手段１８を備える。

次に、映像録画視聴装置の動作について説明する。放送番組を録画する段階では、映像録画手段１１により、公知のディジタル録画機器と同様の原理により映像・音声を符号化して映像ファイルを作成する。この際、放送チャンネル、録画開始時間、さらには、ＥＰＧ（電子番組表）や事前の入力により得られた番組タイトル等、を録画管理データとして装置内に記録する。また、映像ファイルを作成すると同時に、ディジタル化された映像・音声データを映像区間検出手段１２に入力して、映像区間の検出、および、検出された映像区間の代表画像作成を行い、映像区間検出結果および代表画像データを順次ファイルに保存していく。映像区間の代表画像としては、例えば、映像区間の開始点の画像を採用する。代表画像ファイルが作成されると、さらに、画像特徴量抽出手段１３によって代表画像の特徴量を算出し、算出結果をファイルに保存する。これら映像ファイル、映像区間検出結果、代表画像データ、代表画像の特徴量データは、前述の録画管理データと対応付けて管理されるものとする。

録画した映像を視聴する段階では、録画時に作成された映像ファイルを映像再生手段１６によって動画像として再生・表示すると同時に、付加情報受信・表示手段１７によって、再生している映像に対して付与された付加情報を付加情報管理装置２より取得して表示する。

図３は、映像を視聴する画面の例である。４は映像再生手段１６によって映像が再生される領域であり、５は付加情報受信・表示手段によって他者によって付与された付加情報を表示する領域である。また、６は再生中の映像に対して新たに付加情報を記入する領域であり、利用者の操作により確定された入力情報は付加情報入力手段１４に渡される。

図４は、入力情報が付加情報入力手段１４に引き渡された後の処理手順を示す。情報が入力された時点で、付加情報入力手段１４では、映像再生手段１６より、映像ファイルにおける時間情報を取得し（ステップ４０１）、入力情報とステップ４０１で取得した時間情報とを組にした付加情報を録画管理データと対応付けて保存する（ステップ４０２）。引き続き、付加情報送信手段１５を起動し、付加情報管理装置２に接続する（ステップ４０３）。付加情報管理装置への接続に成功した場合には、送信対象となる付加情報と対応する各種情報、具体的には、録画管理データ（放送チャンネル、録画開始時間、タイトルなど）、映像区間情報、映像区間の代表画像の特徴量情報を取得する（ステップ４０５）。次に、送信対象となる付加情報、ステップ４０５で取得した情報、付加情報の作成者を特定するための個人識別情報を付加情報管理装置に向けて送信する（ステップ４０６）。付加情報の送信が完了したら、付加情報管理装置との接続を切断する（ステップ４０７）。ステップ４０４で付加情報管理装置との接続に失敗した場合には、送信対象だった付加情報に関するデータを送信待ちリストに加え（ステップ４０８）、別の機会に再送信するものとする。

図５は、付加情報管理装置の構成を示す図である。付加情報管理装置２は、映像録画視聴装置１から送信された付加情報を受信し格納する付加情報登録手段２１、映像録画視聴装置１からの要求に応じて付加情報を検索して返却する付加情報検索手段２２、番組や映像区間に関する情報を格納して検索可能とする映像情報データベース２３、付加情報を格納して検索可能とする付加情報データベース２４、映像録画視聴装置での録画時刻のずれの補正値を算出する録画時刻補正手段２５、二つの映像区間情報間の差異を数値化する映像区間情報比較手段２６、二つの画像特徴量間の差異を数値化する画像特徴量比較手段２７を備える。

映像情報データベース２３では、映像の情報、基準となる映像区間情報、代表画像の特徴量を管理する。映像毎に管理される情報は、放送番組のチャンネル、放送開始時間、放送終了時間、番組タイトルなどである。また、映像区間情報毎に管理される情報は、映像区間の種別（どのような観点で作成された区間かを示す）、区間の開始点、区間の終了点、代表画像の特徴量などである。画像の特徴量は、一般に多次元ベクトルとして表現されるので、各次元の成分値をデータベースに格納する。付加情報データベース２４は、付加情報が付与された映像の識別情報、付加情報が付与された時間の情報、付加情報の送信者の識別情報とともに、付加情報そのものを管理する。

図６は、付加情報登録手段２１における処理手順を示す。映像録画視聴装置との接続後、付加情報登録手段では、映像録画視聴装置から送信された付加情報、録画管理データ、映像区間情報、映像区間の代表画像の特徴量情報、個人識別情報を受信する（ステップ６０１）。次に、ステップ６０１で取得した録画管理データを利用して映像情報データベース２３を検索し、録画管理データと合致する映像が存在するかを検査する（ステップ６０２、６０３）。録画管理データと合致する映像が存在する場合には、当該映像について、基準となる映像区間情報、代表画像の特徴量情報を取得する（ステップ６０４）。

次に、ステップ６０１で受信した映像区間情報および代表画像特徴量情報、ステップ６０４で取得した基準映像区間情報および基準代表画像特徴量情報とを入力として、録画時刻の補正値を算出する（ステップ６０５）。

次に、ステップ６０５で得られた録画時刻の補正値を使用して、付加情報の時間情報を補正する（ステップ６０６）。例えば、映像ファイルの１０分４５秒の箇所で付加情報が付加されており、算出された録画時刻の補正値がプラス５秒（実際の時刻よりも５秒遅れて録画開始されたことを示す）であったとすると、基準と合わせるためには１０分５０秒の箇所に付与されたものとして時間情報を補正する。

最後に、時間情報補正済みの付加情報を付加情報データベース２４に登録する（ステップ６０７）。

本実施形態では、ステップ６０３で条件に合致する映像がない場合には、映像録画視聴装置より受信した録画管理データ、映像区間情報、代表画像特徴量情報を新規の番組情報および基準となる映像区間情報、代表画像特徴量情報として、映像情報データベース２３に登録している（ステップ６０８〜６０９）。

以上では、付加情報が付加情報管理装置に登録されるまでの手順を示した。一方、映像録画視聴装置が付加情報管理装置より付加情報を検索する場合も、同様に映像区間情報、代表画像特徴量情報に基づいて録画時刻の補正が行われる。映像録画視聴装置で映像の視聴が開始されると、付加情報受信・表示手段１７が起動される。付加情報受信手段では、再生中の映像ファイルを識別し、映像ファイルに対応した録画管理データ、映像区間情報、代表画像特徴量情報を取得する。次に、付加情報管理装置２と接続し、録画管理データ、映像区間情報、代表画像特徴量情報、付加情報の検索条件、個人識別情報を送信して、付加情報の検索を要求する。

付加情報管理装置２の付加情報検索手段２１では、検索要求を受け付けると、受信した録画管理データを利用して映像情報データベース２３を検索し、録画管理データと合致する映像が存在するかを検査する（ステップ６０２、６０３と同様）。録画管理データと合致する映像が存在する場合には、当該映像について、基準となる映像区間情報、代表画像の特徴量情報を取得する（ステップ６０４と同様）。次に、映像録画視聴装置１より受信した映像区間情報および代表画像特徴量情報、映像情報データベース２３より取得した基準映像区間情報および基準代表画像特徴量情報とを入力として、録画時刻の補正値を算出する（ステップ６０５と同様）。次に、先に得られた録画時刻の補正値を使用して、付加情報の検索条件に時間による絞り込み条件が含まれているときにはこれを補正する。次に、補正された検索条件を用いて、付加情報データベース２４を検索し、検索の結果得られた付加情報と録画時刻の補正値とを映像録画視聴装置１に返却する。

映像録画視聴装置１の付加情報受信・表示手段１７は、映像録画視聴装置１から返却された付加情報と録画時刻の補正値とを受信し、得られた録画時刻の補正値により付加情報に含まれる時間情報を自装置内の映像ファイルに合致したものに変換し、再生中の映像に合わせて表示する。

以上、本発明の代表的な実施形態を説明したが、特許請求の範囲を逸脱しない限りの変更・応用が可能である。

次に、録画時刻補正手段２５、および、その処理（図６のＳ６０５に相当）の原理について説明する。

本発明では、理想的な条件下では、同じ映像に対して同じアルゴリズムで映像区間検出を行うと同じ検出結果が得られること、また、同じ映像区間に対して同じアルゴリズムにより生成された代表画像は同じになること、を利用する。２つの録画映像を比較して映像に時間的ずれがあったとしても、ずれの分を除いた残りの映像区間では、同じように映像区間が検出され、また、対応する映像区間の代表画像は同じような画像になるはずである。

図７は、録画機器の時計のずれや放送波の伝送遅延により録画された映像に時間的ずれが生じている場合に、検出された映像区間情報、代表画像情報が異なってくることを示している。図の例では、入力区間情報に対応する映像の方が、基準となる区間情報に対応する映像よりも、時間的に先行して録画されている。図の例とは逆に、入力区間情報に対応する映像の方が基準となる区間情報に対応する映像よりも遅れて録画開始されている場合もあり得る。ここで、何らかの手段により、入力の区間２と基準の区間１とが同一の区間であること、入力の区間３と基準の区間２とが同一の区間であること、……、を判定することができたとすると、入力が基準に対してΔｔだけ先行していることがわかり、この例での録画開始時間の補正値が（−Δｔ）であることが算出できる。

このような基本原理のもと、理想的な条件下でない場合にも対応できるよう、映像区間情報、代表画像特徴量情報の類似性を数値で評価できるようにする。以下で、例について説明する。

図７に示すように、基準となる映像区間情報のｉ番目（ｉは自然数）の映像区間の開始点をＳ_i、区間長をＴ_i、比較対象（入力）となる映像区間情報のｉ番目（ｉは自然数）の映像区間の開始点をｓ_i、区間長をｔ_iと標記することにする。また、代表画像の特徴量はＮ次元のベクトル（Ｎは自然数）で表され、基準となる映像区間情報のｉ番目（ｉは自然数）の代表画像の特徴量ベクトルをＶ_i、入力となる映像区間情報のｉ番目（ｉは自然数）の映像区間の代表画像の特徴量ベクトルをｖ_iとした場合に、特長量ベクトルＶ_iとｖ_iとの類似度をSimilarity（ｖ_i，Ｖ_i）とする。ただし、０≦Similarity（ｖ_i，Ｖ_i）≦１、類似度が１に近いほど画像が似ていると評価できるよう、類似度が定められているものとする。 この例では、基準となる映像区間情報のｉ番目の映像区間（開始点Ｓ_i、区間長Ｔ_i、代表画像特徴ベクトルＶ_i）と、比較対象である映像区間情報のｊ番目の映像区間（開始点ｓ_j、区間長ｔ_j、代表画像特徴ベクトルｖ_j）との類似度を以下のように定義する。ただし、Ｔは映像全体の長さ、α、βは重み付け係数でありα＋β＝１とする。）
メタ情報間類似度＝α×（１−（（ｔ_j−Ｔ_i）／Ｔ）²）＋β×Similarity（ｖ_j，Ｖ_i）
映像区間長が近ければ第１項目はαに近づき、代表画像が似ていれば第２項目はβに近づき、映像区間長が近く代表画像も似ていれば上記類似度は１に近づく。同様の傾向を持つものであれば、別の評価関数が用いられてよい。

以下の例においては、基準となる映像区間情報に含まれる映像区間のうち連続するＭ個の映像区間を選択し、また、比較対象となる映像区間情報に含まれる映像区間のうち連続するＭ個の映像区間を選択し、両者の対応する映像区間についてメタ情報間類似度を計算し、Ｍ個のメタ情報間類似度の平均値を評価に用いる。Ｍは、固定値、または、映像区間数や映像長に応じて定められる値であり、Ｍを小さくすることによって計算量を削減する。

図８および図９を参照して、録画時刻補正手段の補正手順を説明する。図８に示す各ステップでは、まず、基準と比較対象との間で映像区間の対応関係にずれがないケースを想定して、Ｍ個の映像区間についてメタ情報間類似度の平均を求める（ステップＳ８０１）。より詳細には、基準の２番目の映像区間と比較対象の２番目の映像区間との間のメタ情報間類似度、基準の３番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋１）番目の映像区間と比較対象の（Ｍ＋１）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。なお、１番目の映像区間は本来の映像区間の途中から始まっている場合があるので、平均の計算からは除いている。

次に、メタ情報間類似度の平均値があらかじめ定められた閾値より大きいかどうか（二つの映像区間情報・代表画像が十分似ているかどうか）を判断する（ステップＳ８０２）。閾値より大きい場合には、−（ｓ₂−Ｓ₂）を録画時刻補正値とする（ステップＳ８０３）。類似度が十分でない場合には、ステップＳ８０４以降の処理を継続する。

ステップＳ８０４〜Ｓ８０９では、比較対象の映像の方が時間的に先行していると仮定して、映像区間の対応関係をずらしていきながら、類似度が十分大きくなるケースを探索していく。ステップＳ８０５の最初の繰り返しでは、基準の２番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、基準の３番目の映像区間と比較対象の４番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋１）番目の映像区間と比較対象の（Ｍ＋２）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。ステップＳ８０５の２回目の繰り返しでは、同様に、基準の２番目の映像区間と比較対象の４番目の映像区間との間のメタ情報間類似度、基準の３番目の映像区間と比較対象の５番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋１）番目の映像区間と比較対象の（Ｍ＋３）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。以降同様の処理を繰り返し、ｋ回目の繰り返しでメタ情報間類似度の平均値が十分小さくなった場合には、−（ｓ_k+2−Ｓ₂）を録画時刻補正値とする（ステップＳ８０７）。

基準と比較対象との間のずれが予め定めた許容値を超える場合には、繰り返しを打ち切る（ステップＳ８０８）。録画時刻補正値の性質上、許容値をそれほど大きな値に設定する必要はない。

図９に示すステップＳ８１０〜Ｓ８１５では、比較対象の映像の方が時間的に遅れていると仮定して、映像区間の対応関係をずらしていきながら、類似度が十分大きくなるケースを探索していく。ステップＳ８１１の最初の繰り返しでは、基準の３番目の映像区間と比較対象の２番目の映像区間との間のメタ情報間類似度、基準の４番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋２）番目の映像区間と比較対象の（Ｍ＋１）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。ステップＳ８１１の２回目の繰り返しでは、基準の４番目の映像区間と比較対象の２番目の映像区間との間のメタ情報間類似度、基準の５番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋３）番目の映像区間と比較対象の（Ｍ＋１）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。以降同様の処理を繰り返し、ｋ回目の繰り返しでメタ情報間類似度の平均値が十分小さくなった場合には、（Ｓ_k+2−ｓ₂）を録画時刻補正値とする（ステップＳ８１３）。

基準と比較対象との間のずれが予め定めた許容値を超える場合には、繰り返しを打ち切る（ステップＳ８１４）。

これまでの手順で、類似度が十分大きくならなかった場合には（ステップＳ８１６）、類似度が最大になった場合の録画時刻補正値を採用するか（ステップＳ８１７）、基準となる映像との類似性が低いと判断して終了する。

なお、以上までの録画時刻補正手順は、映像区間の検出が理想に近い形で行われた場合にはよく機能するが、検出された映像区間に過不足がある場合を想定するとより複雑な手順が必要となる。また、時間をシフトさせていく方法についても、バリエーションが考えられる。また、二つの映像区間のメタ情報の類似度を区間長と代表画像の類似度を使っているが、他の自動検出メタデータを類似度計算に使うことができる。例えば、テロップ認識結果の類似性を類似度の１要素に加える、など。

なお、本発明は、図４、図６、図８、図９に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその処理手順を実行可能にしたプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

本発明による映像録画視聴システムの構成図。 本発明による映像録画視聴装置の構成図。 映像視聴画面の例。 映像録画視聴装置における付加情報送信の手順図。 本発明による付加情報管埋装置の構成図。 付加情報管理装置における付加情報登録の手順図。 本発明における録画区間のずれによる映像区間情報のずれを示す図。 本発明における録画時刻補正手段の補正手順図（その１）。 本発明における録画時刻補正手段の補正手順図（その２）。

符号の説明

１ 映像録画視聴装置
２ 付加情報管理装置
３ ネットワーク
１１ 映像録画手段
１２ 映像区間検出手段
１３ 画像特徴量抽出手段
１４ 付加情報入力手段
１５ 付加情報送信手段
１６ 映像再生手段
１７ 付加情報受信・表示手段
１８ 制御手段
２１ 付加受信登録手段
２２ 付加受信検索手段
２３ 映像情報データベース
２４ 付加情報データベース
２５ 録画時刻補正手段
２６ 映像区間情報比較手段
２７ 画像特徴量比較手段

Claims (10)

1. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
   前記映像録画視聴装置は、
   録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
   録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
   前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
   映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
   前記付加情報管理装置は、
   映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
   映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
   前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
   前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
   前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
   ことを特徴とする映像録画視聴システム。
2. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
   前記映像録画視聴装置は、
   録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
   前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
   録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
   前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
   映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
   前記付加情報管理装置は、
   映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
   映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
   前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
   前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
   前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
   ことを特徴とする映像録画視聴システム。
3. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
   前記映像録画視聴装置は、
   録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
   録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
   前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
   映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
   ことを特徴とする映像録画視聴システムの映像録画視聴装置。
4. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
   前記映像録画視聴装置は、
   録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
   前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
   録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
   前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
   映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
   ことを特徴とする映像録画視聴システムの映像録画視聴装置。
5. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
   前記付加情報管理装置は、
   映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
   映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
   前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
   前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
   前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
   ことを特徴とする映像録画視聴システムの付加情報管理装置。
6. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
   前記付加情報管理装置は、
   映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
   映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
   前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
   前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
   前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
   ことを特徴とする映像録画視聴システムの付加情報管理装置。
7. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
   前記映像録画視聴装置は、
   録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
   録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
   前記付加情報入力過程で付与された付加情報と前記映像区間検出過程によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信過程と、
   映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
   前記付加情報管理装置は、
   映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
   映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
   前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
   前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
   前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索過程とを具備する、
   ことを特徴とする映像録画視聴方法。
8. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
   前記映像録画視聴装置は、
   録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
   前記映像区間検出過程によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出過程と、
   録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
   前記付加情報入力過程で付与された付加情報と、前記映像区間検出過程によって得られた映像区間情報と、前記画像特徴量抽出過程によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信過程と、
   映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
   前記付加情報管理装置は、
   映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
   映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
   前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
   前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
   前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索過程とを具備する、
   ことを特徴とする映像録画視聴方法。
9. 上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
10. 上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータで実行可能に構成したプログラムをコンピュータで読み取り可能に記録したことを特徴とする記録媒体。

Images