JP6340558B2 - 映像受信装置、映像認識方法および付加情報表示システム - Google Patents

Description

本開示は、外部から入力される映像信号に関する付加情報を取得して映像信号に重畳する映像受信装置に関する。

特許文献１は、データ処理システムを開示する。このシステムでは、クライアント装置は、映像認識装置であるサーバ装置に、ネットワークを通して映像データを送信し、映像認識処理を依頼する。サーバ装置は、受信した映像データにもとづき映像認識を行い、映像認識の結果を、ネットワークを通してクライアント装置に送信する。

特開平１０−２１４２５８号公報

本開示は、外部から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳するのに有効な映像受信装置、映像認識方法、および付加情報表示システムを提供する。

本開示の映像受信装置は、通信ネットワークを介してデータの送受信を行えるように構成されており、入力部、映像抽出部、記憶部、映像認識部、および制御部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。記憶部は、通信ネットワークに接続された映像認識装置から取得された第１のコンテンツ認識情報を記憶するように構成されている。映像認識部は、その部分映像から第２のコンテンツ認識情報を生成し、映像認識装置に第２のコンテンツ認識情報を送信して映像認識処理を依頼するオンラインマッチング処理と、第２のコンテンツ認識情報を記憶部に記憶された第１のコンテンツ認識情報と照合するローカルマッチング処理との少なくとも一方を行うように構成されている。制御部は、オンライングマッチング処理の結果またはローカルマッチング処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得する制御を行うように構成されている。

本開示の映像認識方法は、通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における映像認識方法であって、外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、通信ネットワークに接続された映像認識装置から第１のコンテンツ認識情報を取得して記憶部に記憶するステップと、部分映像から第２のコンテンツ認識情報を生成するステップと、映像認識装置に、第２のコンテンツ認識情報を送信して映像認識処理を依頼するオンラインマッチング処理と、第２のコンテンツ認識情報を記憶部に記憶された第１のコンテンツ認識情報と照合するローカルマッチング処理との少なくとも一方を行うステップと、オンライングマッチング処理の結果またはローカルマッチング処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得するステップと、を備える。

本開示の付加情報表示システムは、通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備える。映像受信装置は、入力部、映像抽出部、記憶部、映像認識部、および制御部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識用の部分映像を抽出するように構成されている。記憶部は、映像認識装置から通信ネットワークを介して取得された第１のコンテンツ認識情報を記憶するように構成されている。映像認識部は、その部分映像から第２のコンテンツ認識情報を生成し、映像認識装置に通信ネットワークを介して第２のコンテンツ認識情報を送信して映像認識処理を依頼するオンラインマッチング処理と、第２のコンテンツ認識情報を記憶部に記憶された第１のコンテンツ認識情報と照合するローカルマッチング処理との少なくとも一方を行うように構成されている。制御部は、オンライングマッチング処理の結果またはローカルマッチング処理の結果に基づく付加情報を付加情報配信装置から通信ネットワークを介して取得する制御を行うように構成されている。映像認識装置は、取得した映像信号から第１のコンテンツ認識情報を生成して記憶するとともに映像受信装置に送信するように構成され、かつ、通信ネットワークを介して受信した第２のコンテンツ認識情報を、記憶された第１のコンテンツ認識情報と照合してオンラインマッチング処理を行うように構成されている。付加情報配信装置は、通信ネットワークを介して受信したオンライングマッチング処理の結果またはローカルマッチング処理の結果に対応する付加情報を通信ネットワークを介して映像受信装置に送信するように構成されている。

図１は、実施の形態１における付加情報表示システムの構成の一例を概略的に示す図である。 図２は、実施の形態１における映像認識装置の動作の一例を概略的に示す模式図である。 図３は、実施の形態１における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図４は、実施の形態１における付加情報表示システムのオンラインマッチング処理とローカルマッチング処理の概要を概略的に示す模式図である。 図５は、実施の形態１における映像受信装置で行う付加情報表示処理の動作を概略的に示すフローチャートである。 図６は、実施の形態１における映像受信装置で行うコンテンツ特定処理の動作を概略的に示すフローチャートである。 図７は、実施の形態１における映像受信装置で行うローカルマッチング処理の動作を概略的に示すフローチャートである。 図８は、実施の形態１における映像受信装置および映像認識装置で行うオンラインマッチング処理の動作を概略的に示すフローチャートである。 図９は、実施の形態１における映像受信装置および映像認識装置で行うローカルデータベース更新処理の動作を概略的に示すフローチャートである。 図１０は、実施の形態１における映像受信装置で行う次視聴情報生成処理の動作を概略的に示すフローチャートである。 図１１は、実施の形態１における映像受信装置で行う次視聴時間帯選定処理の動作を概略的に示すフローチャートである。 図１２は、実施の形態１における映像受信装置で行う次視聴時間帯選定処理の動作の一例を概略的に示す模式図である。 図１３は、実施の形態１における映像受信装置の映像認識部で算出する次視聴時間帯尤度の一例を示す図である。 図１４は、実施の形態１における映像受信装置で行う次視聴チャンネル選定処理の動作を概略的に示すフローチャートである。 図１５は、実施の形態１における映像受信装置で行う次視聴チャンネル選定処理の動作の一例を概略的に示す模式図である。 図１６は、実施の形態１における映像受信装置の映像認識部で算出する次視聴チャンネル尤度の一例を示す図である。 図１７は、他の実施の形態における映像受信装置で行うコンテンツ特定処理の動作を概略的に示すフローチャートである。 図１８は、他の実施の形態における映像受信装置および映像認識装置で行うローカルデータベース更新処理の動作の一例を概略的に示すフローチャートである。 図１９は、他の実施の形態における映像受信装置および映像認識装置で行うローカルデータベース更新処理の動作の他の一例を概略的に示すフローチャートである。 図２０は、他の実施の形態における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図１６を用いて、実施の形態１を説明する。

［１−１．構成］
［１−１−１．付加情報表示システム構成の概略］
図１は、実施の形態１における付加情報表示システム１０の構成の一例を概略的に示す図である。付加情報表示システム１０は、放送局１２、映像送信装置であるＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）１４、映像認識装置２０、付加情報配信装置３０、および映像受信装置４０を備える。付加情報表示システム１０は、映像認識装置２０が有する映像認識技術を利用して、映像受信装置４０が受信した映像がどのコンテンツのものかを特定し、そのコンテンツに関連する付加情報を、付加情報配信装置３０から取得して映像受信装置４０に表示する、ことができるように構成された通信システムである。

映像受信装置４０と、映像認識装置２０および付加情報配信装置３０とは、通信ネットワーク１６を介して互いに接続されている。

通信ネットワーク１６は、有線、または無線、あるいはその双方が混在して構成されている。通信ネットワーク１６は、例えばインターネットであるが、イントラネットや商業回線、あるいはその他の通信回線であってもよく、それらが混在していてもよい。

映像受信装置４０とＳＴＢ１４とは、通信インターフェースを介して互いに接続されている。通信インターフェースは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｓｅ）であるが、ビデオケーブルであってもよく、あるいはＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信であってもよい。

放送局１２は、放送信号を送信（放送）するように構成された送信装置である。放送局１２は、番組本体とコマーシャルメッセージ（ＣＭ）とを含むテレビ番組を映像信号にして放送信号に重畳し放送する。番組本体とＣＭとは時間の経過に伴って互いに切り替わる。以下、番組本体やＣＭを「コンテンツ」と記す。すなわち、放送局１２は、時間の経過に伴って切り替わるコンテンツを放送する。なお、送信装置は何ら放送局１２に限定されるものではなく、時間の経過に伴って切り替わるコンテンツを送信または放送するものであればよい。

ＳＴＢ１４は、放送局１２が放送する放送信号を受信して映像信号を取り出すように構成された受信機（チューナ）である。ＳＴＢ１４は、例えば放送局１２がデジタルの映像信号を放送する場合、受信した映像信号をデコードする機能を備えていてもよい。ＳＴＢ１４は、放送局１２が放送する複数のチャンネルの中から、ユーザ（Ｕｓｅｒ）の指示にもとづき選局したチャンネルを受信し、そのチャンネルの映像信号を通信インターフェース（例えば、ＨＤＭＩ（登録商標））を介して、映像受信装置４０に出力する。なお、映像送信装置は何らＳＴＢ１４に限定されるものではなく、例えば録画機能と放送信号受信機能と映像信号出力機能とをあわせ持つ録画装置、等であってもよい。

映像認識装置２０は、通信ネットワーク１６に接続されたサーバ装置であり、映像認識処理にもとづくコンテンツ特定処理を行うＷｅｂサイトである。コンテンツ特定処理とは、映像受信装置４０から通信ネットワーク１６を介して送信されてくる第２のコンテンツ認識情報にもとづき映像認識処理を行い、その映像認識処理の結果にもとづきその第２のコンテンツ認識情報が表すコンテンツを特定する処理のことである。それらの処理に用いるために、映像認識装置２０は、放送局１２が放送するコンテンツ（映像信号）を取得して解析を行い、そのコンテンツから第１のコンテンツ認識情報と解析情報を生成して記憶部２３に記憶する。この第１のコンテンツ認識情報は、例えば、動画を構成する各画像のハッシュ値である。以下、この第１のコンテンツ認識情報を「サーバ映像認識情報」とも記す。すなわち、映像認識装置２０は、受信した第２のコンテンツ認識情報を、映像認識装置２０があらかじめ生成し記憶部２３に記憶しておいた「サーバ映像認識情報」と照合し（映像認識処理）、その照合の結果にもとづきコンテンツを特定し（コンテンツ特定処理）、特定されたコンテンツに関連する解析情報を映像受信装置４０に返信するように動作する。

映像認識装置２０は、放送局１２が放送する膨大な数のコンテンツを受信し、それらを解析してその結果を記憶部２３に記憶するので、記憶部２３に記憶される情報量も膨大になる。以下、記憶部２３に記憶された情報（コンテンツ特定処理に使用される情報）の集合体を「オンラインデータベース」と記す。映像認識装置２０は、それら膨大な情報量のオンラインデータベースから所定の第１のコンテンツ認識情報（サーバ映像認識情報）および解析情報を選択して「ローカルデータベース」を生成し、映像受信装置４０に送信することも行う。

映像認識装置２０の動作の詳細は後述する。

映像受信装置４０は、外部から入力される映像信号にもとづく映像を表示部５４に表示するように構成された映像受信デバイスであり、例えばテレビジョン受像機である。映像受信装置４０は、通信ネットワーク１６に接続されており、通信ネットワーク１６を介して映像認識装置２０および付加情報配信装置３０とデータの送受信ができる。

本実施の形態における映像受信装置４０は、以下のことができるように構成されている。映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から通信インターフェースを介して入力される映像信号に関するコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を映像認識装置２０を利用して行う。コンテンツ特定処理とは、上述したように、その映像信号が表すコンテンツを特定する処理のことである。映像受信装置４０は、コンテンツ特定処理の結果として映像認識装置２０から送信されてくる解析情報を受信し、その解析情報にもとづき、そのコンテンツに関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報をその映像信号に重畳して表示部５４に表示する。

具体的には、映像受信装置４０は、入力される映像信号から一部を周期的に切り出すことで部分映像を周期的に抽出し、その部分映像から生成した第２のコンテンツ認識情報とコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）の要求を、通信ネットワーク１６を介して映像認識装置２０に送信する。この第２のコンテンツ認識情報は、例えば、部分映像を構成する各画像のハッシュ値である。以下、映像受信装置４０が生成する第２のコンテンツ認識情報を「端末映像認識情報」とも記す。また、映像受信装置４０から映像認識装置２０に送信するコンテンツ特定処理の要求のことを「映像認識要求」とも記す。そして、映像受信装置４０は、その第２のコンテンツ認識情報に対するコンテンツ特定処理の結果（解析情報）を映像認識装置２０から通信ネットワーク１６を介して取得する。本実施の形態では、映像受信装置４０が映像認識装置２０を利用して行うコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）のことを「オンラインマッチング処理」と呼称する。

また、映像受信装置４０は、映像認識装置２０から送信される「ローカルデータベース」を受信して記憶部４７に記憶する。このローカルデータベースには、映像認識装置２０で生成された第１のコンテンツ認識情報（サーバ映像認識情報）と解析情報とが含まれている。そして、映像受信装置４０は、上述のオンラインマッチング処理とは別に、端末映像認識情報を、記憶部４７に記憶されたローカルデータベースと照合してコンテンツ特定処理を行い、その結果にもとづく解析情報を記憶部４７から読み出す動作も行う。本実施の形態では、記憶部４７に記憶されたローカルデータベースを用いて行うコンテンツ特定処理を「ローカルマッチング処理」と呼称する。

そして、映像受信装置４０は、オンラインマッチング処理またはローカルマッチング処理の結果として取得した解析情報に関連する付加情報を、付加情報配信装置３０から通信ネットワーク１６を介して取得する。そして、取得した付加情報にもとづく画像（図１には、「付加情報５１」として示す）を、表示部５４に表示中の映像に重畳して表示する。これらの詳細は後述する。

なお、本実施の形態では、コンテンツ認識情報（端末映像認識情報、サーバ映像認識情報）をフィンガープリントとする例を説明する。コンテンツ認識情報は、映像を認識するための情報であり、フィンガープリントは、部分映像や動画を構成する各画像のハッシュ値である。しかし、コンテンツ認識情報は、映像認識処理に使用できる情報（データ）であればよく、何らフィンガープリント（ハッシュ値）に限定されない。

付加情報配信装置３０は、通信ネットワーク１６に接続されたサーバ装置であり、様々な商品の広告情報を保持して配信するＷｅｂサイト（広告配信サイト）である。付加情報配信装置３０は、映像受信装置４０から送信されてくるコンテンツ特定処理の結果（映像受信装置４０が、オンラインマッチング処理の結果として映像認識装置２０から取得した解析情報、またはローカルマッチング処理の結果として記憶部４７から読み出した解析情報）を通信ネットワーク１６を介して受信すると、その解析情報に関連する付加情報を通信ネットワーク１６を介して映像受信装置４０に送信する。この付加情報は、例えば、コンテンツ特定処理により特定されたコンテンツに関連する広告情報である。

なお、付加情報は何ら広告情報に限定されるものではなく、例えば観光情報、歴史情報、人物プロフィール情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、公共公報情報、放送中の番組に関する情報、ツイッター（登録商標）等のソーシャル情報、等であってもよい。

次に、映像認識装置２０の動作の一例を図２を用いて説明する。図２は、実施の形態１における映像認識装置２０の動作の一例を概略的に示す模式図である。なお、図２は信号や情報の流れを模式的に示したものであり、回路ブロックの構成を示したものではない。

映像認識装置２０は、放送局１２から放送される実質的に全てのコンテンツ８１を取得する。そして、取得したコンテンツに対する解析を行い、コンテンツの時間、容量、放送形式、内容、ジャンル、登場人物、タイムテーブル、等を調べ、解析情報８３を作成する。また、映像認識装置２０は、放送局１２から取得したコンテンツ８１の映像信号から第２のコンテンツ認識情報であるフィンガープリント８４を作成する。映像認識装置２０は、放送局から放送される放送信号を受信してコンテンツを取得してもよく、あるいは、専用の映像回線等を介して放送局１２から送信される映像信号を受信してコンテンツを取得してもよい。また、この解析は、例えば、自動で行われてもよく、作業者が手作業で行ってもよい。この解析結果である解析情報８３およびフィンガープリント８４は、そのコンテンツ８１に関する情報とともに映像認識装置２０の記憶部２３に記憶される。したがって、記憶部２３には膨大な量の情報が記憶される。

そして、映像認識装置２０は、映像受信装置４０の要求があれば、オンラインマッチング処理を行う。すなわち、映像認識装置２０は、映像受信装置４０から送信されてくるフィンガープリント８２（端末映像認識情報。ＳＴＢ１４から出力される映像信号９１の部分映像から生成された第２のコンテンツ認識情報）を伴った映像認識要求を通信ネットワーク１６を介して受信すると、そのフィンガープリント８２を、記憶部２３に記憶された第１のコンテンツ認識情報であるフィンガープリント８４（サーバ映像認識情報）と照合し（映像認識処理）、そのフィンガープリント８２に対応するコンテンツを特定する。なお、この照合動作では、例えば、フィンガープリント８２との類似度が所定の数値（例えば、６０％）以上であるフィンガープリント８４を、フィンガープリント８２に対応するフィンガープリントとしてもよい。こうして、映像認識装置２０は、映像受信装置４０から送信されてくるフィンガープリント８２が何のコンテンツの部分映像から作成されたものかを判断してそのコンテンツを特定するコンテンツ特定処理を行う。そして、特定したコンテンツに関する解析結果（解析情報８３）を記憶部２３から読み出し、読み出した解析情報８３をコンテンツ特定処理の結果として映像受信装置４０に通信ネットワーク１６を介して返信する。このオンラインマッチング処理の詳細は後述する。

このような手法による映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を「ＡＣＲ（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」とも呼称する。

なお、映像認識装置２０の記憶部２３は、例えば通信ネットワーク１６を介する等して映像認識装置２０の本体とデータのやり取りができるように構成されていれば、映像認識装置２０の本体と異なる場所に設置されていてもよい。

［１−１−２．映像認識装置および映像受信装置の構成］
図３は、実施の形態１における映像認識装置２０および映像受信装置４０の構成の一例を概略的に示すブロック図である。

なお、図３には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。これは、本実施の形態で説明する動作を分かりやすく示すためである。また、図３に示す各回路ブロックは、それぞれが独立した回路で構成されていてもよく、あるいは、図３に示す回路ブロックの１つまたは複数を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、以下、第１のコンテンツ認識情報、第２のコンテンツ認識情報を、単に「フィンガープリント」と略記する。

映像認識装置２０は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部２１、検索部２２、および記憶部２３、を備えるサーバ装置である。映像認識装置２０は、映像受信装置４０のオンラインマッチング処理に利用され、映像認識処理にもとづくコンテンツ特定処理のサービスを通信ネットワーク１６を介して映像受信装置４０に提供するように構成されている。

ＨＴＴＰ送受信部２１は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部２１は、通信ネットワーク１６を介して映像受信装置４０とデータの送受信を行うことができるように構成されている。

記憶部２３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成された記憶装置である。記憶部２３は、放送局１２から放送されるコンテンツのフィンガープリントと、そのコンテンツに対する解析結果の解析情報とを、そのコンテンツに対応付けて記憶するように構成されている。

記憶部２３は、例えば、放送局１２から放送される全チャンネル（例えば、３００チャンネル）について、放送からわずかな時間遅れ（例えば、１０秒）で、コンテンツ（例えば、番組本体やＣＭ）毎に、フィンガープリントと解析結果（解析情報）を対応付けて記憶する。この解析結果（解析情報）には、例えば、番組のタイトル、ＣＭのタイトル、番組のあらすじ、ＣＭのあらすじ、登場人物、映像に関連する場所、ＵＲＬ等が含まれていてもよい。また、記憶部２３には、事前に放送内容が決定されているドラマ、映画、ＣＭ等のフィンガープリントおよび解析情報が記憶されてもよく、あるいは放送中に表示されることが事前にわかっている番組タイトル、企業や商品のロゴ、出演者情報等に関するフィンガープリントや解析情報が記憶されてもよい。

検索部２２は、映像受信装置４０から送信されてくるフィンガープリント（端末映像認識情報）を伴う映像認識要求をＨＴＴＰ送受信部２１を介して受信すると、そのフィンガープリントを用いた映像認識処理にもとづくコンテンツ特定処理を行い、その結果（解析情報）をＨＴＴＰ送受信部２１を介して映像受信装置４０に返信するように構成されている。

具体的には、検索部２２は、映像受信装置４０から送信されてくるフィンガープリント（端末映像認識情報）を伴う映像認識要求を、通信ネットワーク１６およびＨＴＴＰ送受信部２１を介して受信する。次に、受信したフィンガープリント（端末映像認識情報）を、記憶部２３に記憶されているフィンガープリント（サーバ映像認識情報）と照合し、受信したフィンガープリントに対応するフィンガープリントを検索する（映像認識処理）。そして、その検索の結果により特定されたフィンガープリントに対応するコンテンツを、受信したフィンガープリントに対応するコンテンツとする（コンテンツ特定処理）。このようにして、検索部２２は、受信したフィンガープリントに対応するコンテンツを特定する。そして、検索部２２は、特定したコンテンツに対応付けられた解析結果（解析情報）を記憶部２３から読み出し、読み出した解析結果（解析情報）を、コンテンツ特定処理の結果として、ＨＴＴＰ送受信部２１および通信ネットワーク１６を介して映像受信装置４０に返信する。

映像受信装置４０は、制御部４１、ＨＴＴＰ送受信部４２、操作信号受信部４３、映像出力部４４、表示部５４、映像抽出部４５、付加情報表示制御部４６、記憶部４７、映像入力部４８および映像認識部６６を備える。映像受信装置４０は、映像認識装置２０を利用した映像認識処理にもとづくコンテンツ特定処理を行い（オンラインマッチング処理）、そのコンテンツ特定処理の結果としての解析情報を映像認識装置２０から取得するように構成されている。また、映像受信装置４０は、記憶部４７に記憶されたローカルデータベースを利用した映像認識処理にもとづくコンテンツ特定処理を行い（ローカルマッチング処理）、そのコンテンツ特定処理の結果にもとづく解析情報を記憶部４７から読み出すようにも構成されている。そして、映像受信装置４０は、その解析情報に関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、受信した映像信号による映像（コンテンツ）に、その付加情報（例えば、その映像に関連する広告情報）による画像を重畳して表示部５４に表示するように構成されている。

ＨＴＴＰ送受信部４２は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部４２は、通信ネットワーク１６を介して映像認識装置２０とデータの送受信を行うことができるように構成されている。

操作信号受信部４３は、ユーザ操作を受け付けたリモートコントロール装置（以下、「リモコン」と略記する）等の操作部（図示せず）が発信する操作信号（映像受信装置４０に対する操作信号）を受信するように構成されている。操作信号受信部４３は、ジャイロセンサを有するリモコンが、そのリモコンに生じる物理的な変動にもとづき発信する信号を受信するように構成されていてもよい。

映像入力部４８は、受信回路およびデコーダであり、放送局が送信する放送信号を受信するように構成された受信部４９と、映像送信装置（例えば、ＳＴＢ１４）が出力する映像信号を入力するように構成された入力部６５とを有する。映像入力部４８が受け取る映像信号には、時間の経過に伴って切り替わるコンテンツ（番組本体とＣＭ、等）が含まれる。

受信部４９は、放送局１２が送信する放送信号をアンテナ（図示せず）等を介して受信するように構成されている。

入力部６５は、外部に設置された映像送信装置から出力されてくる映像信号を入力するように構成されたインターフェースである。入力部６５は、例えばＨＤＭＩ（登録商標）の規格に適合するように構成されており、映像送信装置からＨＤＭＩ（登録商標）を介して送信されてくる映像信号を受け取ることができる。この映像送信装置は、例えばＳＴＢ１４であるが、映像記録再生装置等であってもよい。また、入力部は、ビデオケーブルを介して送信されてくる映像信号や、無線通信で送信されてくる映像信号を受け取るように構成されていてもよい。

映像出力部４４は、表示部５４を制御する機能を有し、映像入力部４８から入力される映像信号にもとづき表示部５４を制御して、その映像信号にもとづく映像を表示部５４に表示するように構成されている。映像出力部４４は、制御部４１から付加情報が入力されたときは、表示部５４に表示中の映像に、付加情報にもとづく画像を重畳する。

表示部５４は、映像信号にもとづく映像を表示するように構成されたディスプレイであり、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。しかし、本実施の形態は何らこの構成に限定されるものではなく、表示部５４は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やＯＬＥＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、等であってもよい。

付加情報表示制御部４６は、付加情報の表示制御を行うように構成されている。具体的には、付加情報表示制御部４６は、オンラインマッチング処理またはローカルマッチング処理の結果として取得した解析情報にもとづき付加情報配信装置３０から取得した付加情報を、表示部５４に表示するか否か（映像信号に重畳するか否か）、または表示部５４に表示中の付加情報を継続表示するか非表示にするか、を判断し、その判断にもとづく指示を制御部４１に出力する。また、付加情報表示制御部４６は、取得した付加情報にもとづく画像（または、文字列）を、表示部５４に表示中の映像のどこに重畳するかを判断し、その判断にもとづく指示を制御部４１に出力する。

映像抽出部４５は、映像入力部４８から入力される映像信号から部分映像を抽出するように構成されている。映像抽出部４５は、映像信号から、あらかじめ定められた周期で、映像信号の一部である部分映像を所定時間分抽出するように構成されている。例えば、あらかじめ定められた周期が３秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、３秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を３秒毎に隙間なく連続して抽出する動作を繰り返す。また、例えば、あらかじめ定められた周期が１５秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、１５秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を１２秒の間隔をおいて抽出する動作を繰り返す。なお、映像信号から抽出する部分映像は秒単位での抽出に限定されるものではなく、例えば、映像フレームレートにおいて予め定められたフレーム数で部分映像を抽出してもよい。

映像認識部６６は、映像抽出部４５で抽出された部分映像からフィンガープリント（端末映像認識情報）を生成する。このフィンガープリントは、例えば、部分映像を構成する各画像のハッシュ値（フィンガープリント）である。映像認識部６６は、部分映像から生成したフィンガープリントを用いて、映像受信装置４０内でコンテンツ特定処理を行うローカルマッチング処理と、映像認識装置２０を利用してコンテンツ特定処理を行うオンラインマッチング処理との少なくとも一方を行い、その部分映像に関する解析情報を取得する。

記憶部４７は、例えば不揮発性メモリ等で構成された記憶装置である。記憶部４７は、映像入力部４８で受信した電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：ＥＰＧ）等の番組メタ情報、ＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得した付加情報および付加情報の表示制御情報、映像認識部６６で部分映像から生成されたフィンガープリント（端末映像認識情報）、および映像認識装置２０から送信されてくるフィンガープリント（サーバ映像認識情報）と解析情報を含むローカルデータベース、等を記憶する。付加情報の表示制御情報とは、付加情報の表示を制御するための情報であり、例えば付加情報の表示期間を示す情報、等が含まれる。また、記憶部４７は、映像受信装置４０の視聴履歴に関する情報も記憶している。

制御部４１は、映像受信装置４０が備える各回路ブロックを制御するように構成されている。制御部４１は、例えば、プログラム（アプリケーションプログラム等）を記憶しているＲＯＭ等の不揮発性メモリ、そのプログラムを実行するＣＰＵ、および、ＣＰＵがプログラムを実行するときに一時的にデータやパラメータ等を記憶するＲＡＭ等の揮発性メモリ、等から構成される。

制御部４１が行う制御には、例えば次のようなものがある。制御部４１は、映像抽出部４５が映像信号から部分映像を所定の周期で抽出するように、映像抽出部４５を制御する。また、制御部４１は、部分映像からフィンガープリント（端末映像認識情報）を生成（算出）し、生成したフィンガープリントにもとづくオンラインマッチング処理またはローカルマッチング処理を行うように映像認識部６６を制御する。そして、オンラインマッチング処理を行うときは、制御部４１は、フィンガープリント（端末映像認識情報）を、映像認識要求とともに、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して映像認識装置２０に送信し、そのフィンガープリントに対するコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を映像認識装置２０に依頼するように、各回路ブロックを制御する。そして、制御部４１は、そのフィンガープリントに対するコンテンツ特定処理の結果（解析情報）を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して映像認識装置２０から取得して記憶部４７に記憶するように、各回路ブロックを制御する。また、ローカルマッチング処理を行うときは、制御部４１は、フィンガープリント（端末映像認識情報）を、記憶部４７に記憶されたローカルデータベースと照合してコンテンツ特定処理を行い、そのコンテンツ特定処理の結果にもとづく解析情報を記憶部４７から読み出すように、各回路ブロックを制御する。そして、制御部４１は、オンラインマッチング処理またはローカルマッチング処理の結果として得られた解析情報に対応する付加情報を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得するように、各回路ブロックを制御する。そして、取得した付加情報を記憶部４７に記憶するとともに映像出力部４４に出力し、表示部５４に表示中の映像に付加情報を重畳して表示するように、各回路ブロックを制御する。このとき、制御部４１は、付加情報表示制御部４６が「付加情報を非表示にする」と判断すれば、表示部５４に表示中の付加情報を非表示にするように、各回路ブロックを制御する。

なお、映像受信装置４０が映像認識装置２０にオンラインマッチング処理を依頼するときには、映像受信装置４０がオンラインマッチング処理の依頼を表す信号（データ）を作成し、その信号を映像認識要求として映像認識装置２０に送信するように付加情報表示システム１０を構成してもよいが、例えば、そのような信号（データ）の送信は行わず、映像受信装置４０がフィンガープリントを映像認識装置２０に送信することで映像認識装置２０にオンラインマッチング処理を依頼したことになるように映像受信装置４０と映像認識装置２０との間であらかじめ取り決めをしておいてもよい。

次に、オンラインマッチング処理とローカルマッチング処理の概要を説明する。図４は、実施の形態１における付加情報表示システム１０のオンラインマッチング処理とローカルマッチング処理の概要を概略的に示す模式図である。なお、図４は信号や情報の流れを模式的に示したものであり、回路ブロックの構成を示したものではない。

オンラインマッチング処理では、図４に示すように、映像受信装置４０と映像認識装置２０とが互いに連携して、映像認識処理にもとづくコンテンツ特定処理（ＳＴＢ１４等の映像送信装置から映像受信装置４０に入力される映像信号に関するコンテンツ特定処理）を行う。

上述したように、映像認識装置２０の記憶部２３に記憶されるオンラインデータベースのデータ量は膨大である。そのため、オンラインマッチング処理では、精度の高いコンテンツ特定処理を行うことができるが、映像受信装置４０から送信されてくるフィンガープリント（端末映像認識情報）と、オンラインデータベースとして記憶部２３に記憶されているフィンガープリント（サーバ映像認識情報）との照合に時間を要する。

例えば、直前のコンテンツ特定処理の結果等から現在の視聴チャンネル（ＳＴＢ１４において選択されているチャンネル）がわかっていれば、映像認識装置２０は、検索の対象範囲をその視聴チャンネルに絞ることができるので、その照合は、相対的に短時間で終了可能である。しかし、映像受信装置４０の電源投入直後やチャンネル変更直後、等、現在の視聴チャンネルが不明であれば、検索の対象範囲が全チャンネルに拡大するため、映像認識装置２０では、照合に、相対的に長い時間を要する。

また、オンラインマッチング処理では、通信ネットワーク１６を介してデータを送受信する時間も必要となる。

一方、映像受信装置４０の記憶部４７に記憶されたローカルデータベースは、映像認識装置２０がオンラインデータベースから選別したフィンガープリント（サーバ映像認識情報）および解析情報等によって生成したものなので、オンラインデータベースと比較してデータ量が少ない。すなわち、ローカルマッチング処理は、映像受信装置４０が生成したフィンガープリント（端末映像認識情報）を、オンラインデータベースよりもデータ量が少ないローカルデータベースと照合して行うコンテンツ特定処理である。さらに、ローカルマッチング処理ではコンテンツ特定処理を行う際に通信ネットワーク１６を介してデータを送受信する必要がない。したがって、ローカルマッチング処理に要する時間は、オンラインマッチング処理に要する時間と比較して短縮することができる。

映像受信装置４０は、このようなローカルマッチング処理とオンラインマッチング処理とを、選択的に、または双方を行うことで、ＳＴＢ１４等の映像送信装置から入力される映像信号に関するコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を、時間を短縮しつつ高精度に行うことが可能となる。

なお、ローカルマッチング処理を高精度に行うためには、ローカルデータベースを適切に更新することが望ましい。ローカルデータベースの更新については後述する。

［１−２．動作］
以上のように構成された付加情報表示システム１０の動作の一例を、図５〜図１６を用いて説明する。

上述したように、映像受信装置４０は、例えばＳＴＢ１４等の映像送信装置から出力される映像信号が入力されると、その映像信号に対するコンテンツ特定処理を、映像認識装置２０を利用したオンラインマッチング処理、またはローカルデータベースを利用したローカルマッチング処理によって行う。そして、そのコンテンツ特定処理の結果に関連する付加情報５１（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報５１を映像信号に重畳して表示部５４に表示する。また、映像受信装置４０は、取得した付加情報５１（例えば、広告情報）を、その付加情報５１とともに取得した付加情報の表示制御情報に応じて表示または非表示にする。

以下、この付加情報表示処理の概要を説明する。

［１−２−１．付加情報表示処理の動作］
図５は、実施の形態１における映像受信装置４０で行う付加情報表示処理の動作を概略的に示すフローチャートである。

映像受信装置４０の映像抽出部４５は、ＳＴＢ１４から出力され入力部６５に入力される映像信号から部分映像を抽出する（ステップＳ４０）。この映像信号は、放送局１２が放送し、ＳＴＢ１４で受信され、使用者が選択したチャンネルの映像信号である。

次に、映像受信装置４０は、以下のコンテンツ特定処理を行う（ステップＳ４１）。

映像受信装置４０の映像認識部６６は、映像抽出部４５が抽出した部分映像にもとづき、フィンガープリント（端末映像認識情報）を生成する。映像受信装置４０でオンラインマッチング処理を行うときは、生成されたフィンガープリント（端末映像認識情報）は、制御部４１の指示により、ＨＴＴＰ送受信部４２を介して映像認識装置２０へ送信される。映像認識装置２０は、そのフィンガープリントを用いた映像認識処理にもとづくコンテンツ特定処理を行い、特定したコンテンツに関連する解析情報（コンテンツ特定処理の結果）を通信ネットワーク１６を介して映像受信装置４０へ送信する。このとき、コンテンツ特定処理に失敗した場合には、例えば、映像認識装置２０は解析情報として「ＮＧ」や「０」等の特定の情報を映像受信装置４０へ送信するように動作してもよい。制御部４１は、映像認識装置２０から送信されてくる解析情報（コンテンツ特定処理の結果）を受信して記憶部４７に記憶するように各回路ブロックを制御する。映像受信装置４０でローカルマッチング処理を行うときは、映像認識部６６は、生成されたフィンガープリント（端末映像認識情報）を、映像受信装置４０の記憶部４７に記憶されたローカルデータベースと照合し、その照合の結果にもとづく解析情報を記憶部４７から読み出す。これらのコンテンツ特定処理の詳細は後述する。

制御部４１は、ステップＳ４１のコンテンツ特定処理が成功したか否かを判断し（ステップＳ４２）、成功していなければ（Ｎｏ）、ステップＳ４０、Ｓ４１の動作を再度行うように各回路ブロックに指示を出す。成功していれば（Ｙｅｓ）次のステップに進む。ステップＳ４２では、例えば、解析情報が特定の情報（例えば、「ＮＧ」や「０」等）であれば、コンテンツ特定処理は成功していない、と判断することができる。

次に、映像受信装置４０は、解析情報にもとづき付加情報を取得する（ステップＳ４３）。映像受信装置４０の制御部４１は、ステップＳ４１で、オンラインマッチング処理により映像認識装置２０から受信した解析情報、またはローカルマッチング処理により記憶部４７から読み出した解析情報を、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して付加情報配信装置３０に送信するように各回路ブロックを制御する。付加情報配信装置３０は、受信した解析情報に関連する付加情報を通信ネットワーク１６を通して映像受信装置４０に送信する。制御部４１は、付加情報配信装置３０から送信されてくる付加情報を受信して記憶部４７に記憶するように、各回路ブロックを制御する。

この解析情報には、例えば、部分映像に含まれている商品画像の商品に関するＵＲＬが含まれていてもよい。その場合、制御部４１は、そのＵＲＬを指定して付加情報配信装置３０にアクセスし、そのＵＲＬに関連する情報を、その解析情報に関連する付加情報として付加情報配信装置３０から取得するように動作してもよい。この付加情報は、例えば、その商品に関連する広告情報であってもよい。また、付加情報配信装置３０は、その付加情報の表示制御情報を付加情報とともに映像受信装置４０に返信してもよい。

制御部４１は、受信した付加情報（例えば、広告情報）を映像出力部４４に転送し、付加情報表示制御部４６からの指示にもとづき、この付加情報を表示部５４に表示中の映像に重畳して表示するように、各回路ブロックを制御する（ステップＳ４４）。付加情報表示制御部４６は、付加情報とともに取得した付加情報の表示制御情報等にもとづき、付加情報の表示位置、表示サイズ、表示時間等を判断し、その判断にもとづく指示を制御部４１に出す。これにより、受信された付加情報（例えば、広告情報）は、表示部５４に表示中の映像に、例えば付加情報表示制御部４６に指示された表示位置、表示サイズ、表示時間で重畳されて、表示される。

１つの部分映像について上述した一連の付加情報表示処理が終了したら、映像受信装置４０は、次の部分映像を抽出し上述と同様の付加情報表示処理を繰り返す。

なお、制御部４１は、映像信号の状態を検知し、その検知結果にもとづき付加情報の表示を制御してもよい。例えば、映像信号に字幕やＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）が重畳されていることを検知したときは、制御部４１は、字幕やＯＳＤが表示されている期間または領域には付加情報を表示せず、字幕やＯＳＤが表示されない期間または領域に付加情報を表示するように、各回路ブロックを制御してもよい。

次に、ステップＳ４１のコンテンツ特定処理について説明する。

［１−２−２．コンテンツ特定処理の動作］
図６は、実施の形態１における映像受信装置４０で行うコンテンツ特定処理の動作を概略的に示すフローチャートである。

まず、映像受信装置４０の映像認識部６６は、制御部４１の指示にもとづき、映像抽出部４５が抽出した部分映像からフィンガープリント（端末映像認識情報）を生成する（ステップＳ５０）。

制御部４１が生成するフィンガープリントは、部分映像を構成する各画像のハッシュ値である。しかし、本実施の形態は、コンテンツ認識情報を何らハッシュ値に限定するものではない。コンテンツ認識情報は、映像認識処理に使用できる情報（データ）であればよい。

次に、制御部４１は、オンラインマッチング処理とローカルマッチング処理のいずれを行うかを選択する（ステップＳ５６）。

ステップＳ５６における選択は、例えば、事前に設定された条件にもとづき制御部４１が判断するように構成されていてもよく、ユーザ設定により選択されるように構成されていてもよい。

制御部４１が判断するための事前設定条件としては、例えば、次の条件を一例として挙げることができる。映像受信装置４０に電源が投入された直後、およびローカルデータベースが更新された後は、まずローカルマッチング処理を行い、ローカルマッチング処理に成功すればローカルマッチング処理を継続し、ローカルマッチング処理に失敗したときはオンラインマッチング処理に切り替える。

この動作例は単なる一実施例に過ぎず、本実施の形態は何らこの動作例に限定されるものではない。オンラインマッチング処理とローカルマッチング処理の選択は、映像受信装置４０の仕様や付加情報表示システム１０の仕様等にもとづき適切に行われることが望ましい。

ステップＳ５６でローカルマッチング処理が選択されれば、次のステップＳ５１へ進む。

制御部４１は、ローカルデータベースが記憶部４７に記憶されているかどうかを判断する（ステップＳ５１）。なお、図面では、ローカルデータベースを「ローカルＤＢ」と略記する。

ステップＳ５１で、ローカルデータベースは記憶部４７に記憶されている、と判断されたとき（Ｙｅｓ）は、制御部４１は、映像認識部６６にローカルマッチング処理を行うように指示し、その指示にもとづき映像認識部６６はローカルマッチング処理を行う（ステップＳ５２）。ローカルマッチング処理の詳細は後述する。

次に、制御部４１は、記憶部４７に記憶されているローカルデータベースの有効期間を判断する（ステップＳ５４）。

ステップＳ５４で、ローカルデータベースの有効期間は既に過ぎており、ローカルデータベースはコンテンツ特定処理に利用できない、と判断されたとき（Ｎｏ）は、制御部４１はローカルデータベースを更新するように各回路ブロックを制御する（ステップＳ５５）。ローカルデータベースの更新処理の詳細は後述する。なお、ステップＳ５４では、例えば、ローカルデータベース内のコンテンツは過去に放送されたものである、といった判断がなされたときに、「Ｎｏ」が選択される。

なお、ローカルデータベースは、映像受信装置４０に電源が投入されたときや電源が切られたとき、あるいは受信チャンネルが切り替えられたとき、等に更新されるように構成されていてもよい。

ステップＳ５１で、ローカルデータベースは記憶部４７に記憶されていない、と判断されたとき（Ｎｏ）は、ローカルマッチング処理は行われず、図５のステップＳ４２へ移行する。このときステップＳ４２では、コンテンツ特定処理は成功していない（Ｎｏ）と判断される。

なお、ステップＳ５１で、ローカルデータベースは記憶部４７に記憶されていない、と判断されたとき（Ｎｏ）は、ステップＳ５５に移行してローカルデータベースを新たに取得するように動作してもよい。

ステップＳ５４で、ローカルデータベースは有効期間内のものであり、ローカルデータベースはコンテンツ特定処理に利用できる、と判断されたとき（Ｙｅｓ）は、ローカルデータベースの更新は行われず、図５のステップＳ４２へ移行する。ステップＳ４２では、ステップＳ５２で行われたローカルマッチング処理の結果にもとづく判断がなされる。

ステップＳ５６でオンラインマッチング処理が選択されれば、制御部４１は、映像認識部６６にオンラインマッチング処理を行うように指示し、その指示にもとづき映像認識部６６はオンラインマッチング処理を行う（ステップＳ５３）。ステップＳ５３では、制御部４１は、ステップＳ５０で生成されたフィンガープリント（端末映像認識情報）を映像認識装置２０に送信してコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を要求するように各回路ブロックを制御する。また、オンラインマッチング処理の結果として映像認識装置２０から送信されてくる解析情報を受信して記憶部４７に記憶するように各回路ブロックを制御する。オンラインマッチング処理の詳細は後述する。

ステップＳ５３のオンラインマッチング処理が終了したら、図５のステップＳ４２へ移行する。ステップＳ４２では、ステップＳ５３で行われたオンラインマッチング処理の結果にもとづく判断がなされる。

次に、ステップＳ５２のローカルマッチング処理について説明する。

［１−２−３．ローカルマッチング処理の動作］
図７は、実施の形態１における映像受信装置４０で行うローカルマッチング処理の動作を概略的に示すフローチャートである。

映像受信装置４０の映像認識部６６は、部分映像に対応するコンテンツをローカルマッチング処理によって特定するために、ステップＳ５０で部分映像から生成されたフィンガープリント（端末映像認識情報）を、映像受信装置４０の記憶部４７に記憶されたローカルデータベースに含まれるフィンガープリント（サーバ映像認識情報）と照合して映像認識処理を行い、端末映像認識情報に合致するサーバ映像認識情報を検索する（ステップＳ６１）。映像認識部６６は、照合に必要な制御を行うように制御部４１に指示を出しながら、これらの動作を行う。なお、ステップＳ６１では、映像認識部６６は、端末映像認識情報との類似度が所定の数値（例えば６０％）以上のサーバ映像認識情報を検索するように動作してもよい。

ステップＳ６１で、端末映像認識情報に合致するサーバ映像認識情報をローカルデータベースから探し出すことができれば、映像認識部６６は、そのサーバ映像認識情報に対応するコンテンツに関連付けられた解析情報を記憶部４７（ローカルデータベース）から読み出して制御部４１に出力する（ステップＳ６２）。

このようにして、ローカルマッチング処理では、部分映像から生成されたフィンガープリント（端末映像認識情報）のコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を行う。

ステップＳ６１で、端末映像認識情報に合致するサーバ映像認識情報がローカルデータベース内にない（あるいは、端末映像認識情報との類似度が所定の数値未満のサーバ映像認識情報しかない）と判断されたときは、ステップＳ６２では、コンテンツ特定処理が成功しなかったことを示す情報（例えば、「ＮＧ」や「０」等）を解析情報として制御部４１に出力する。

その後、図６のステップＳ５４へ移行する。

次に、ステップＳ５３のオンラインマッチング処理について説明する。

［１−２−４．オンラインマッチング処理の動作］
図８は、実施の形態１における映像受信装置４０および映像認識装置２０で行うオンラインマッチング処理の動作を概略的に示すフローチャートである。

映像受信装置４０の映像認識部６６は、部分映像に対応するコンテンツをオンラインマッチング処理によって特定するために、ステップＳ５０で部分映像から生成されたフィンガープリント（端末映像認識情報）を映像認識要求とともに映像認識装置２０に送信するように制御部４１に指示する（ステップＳ７１）。

この指示にもとづき、制御部４１は、端末映像認識情報と映像認識要求を映像認識装置２０に送信するように各回路ブロックを制御する。

映像認識装置２０は、映像受信装置４０から通信ネットワーク１６を介して送信されてくるフィンガープリント（端末映像認識情報）と映像認識要求を受信する（ステップＳ７２）。

映像認識装置２０の検索部２２は、ステップＳ７２で受信した端末映像認識情報を、映像認識装置２０の記憶部２３に記憶されたオンラインデータベース（図面には、「オンラインＤＢ」と略記する）のフィンガープリント（サーバ映像認識情報）と照合して映像認識処理を行い、端末映像認識情報に合致するサーバ映像認識情報を検索する（ステップＳ７３）。

なお、ステップＳ７３では、映像認識装置２０は、端末映像認識情報との類似度が所定の数値（例えば、６０％）以上のサーバ映像認識情報を検索するように動作してもよい。

ステップＳ７３で、端末映像認識情報に合致するサーバ映像認識情報をオンラインデータベースから探し出すことができれば、検索部２２は、そのサーバ映像認識情報に対応するコンテンツを特定し（コンテンツ特定処理）、そのコンテンツに関連付けられた解析情報を記憶部２３（オンラインデータベース）から読み出して映像受信装置４０に送信する（ステップＳ７４）。

このようにして、オンラインマッチング処理では、部分映像から生成されたフィンガープリント（端末映像認識情報）のコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を行う。

ステップＳ７３で、端末映像認識情報に合致するサーバ映像認識情報がオンラインデータベース内にない（あるいは、端末映像認識情報との類似度が所定の数値未満のサーバ映像認識情報しかない）と判断されたときは、ステップＳ７４では、コンテンツ特定処理が成功しなかったことを示す情報（例えば、「ＮＧ」や「０」等）を解析情報として映像受信装置４０に送信する。

映像受信装置４０の制御部４１は、この解析情報を受信して記憶部４７に記憶するように各回路ブロックを制御する（ステップＳ７５）。

その後、図５のステップＳ４２へ移行する。

次に、ステップＳ５５のローカルデータベースの更新処理について説明する。

［１−２−５．ローカルデータベース更新処理の動作］
本実施の形態では、以下のようにして記憶部４７に記憶されたローカルデータベースを更新する。

映像受信装置４０は、映像受信装置４０の記憶部４７に記憶された視聴履歴（映像認識装置２０の記憶部２３に記憶され、映像認識装置２０から映像受信装置４０が取得した映像受信装置４０の視聴履歴）にもとづき、映像受信装置４０で次に視聴される可能性の高い時間帯およびチャンネル（またはコンテンツ）を予測する。このチャンネルは、ＳＴＢ１４等の映像送信装置において使用者に選択されたチャンネルであってもよく、映像受信装置４０が有するチューナーで選択されたチャンネルであってもよい。この予測は映像受信装置４０から映像認識装置２０に送信され、映像認識装置２０は、予測された時間帯およびチャンネル（またはコンテンツ）に関連付けられたフィンガープリント（サーバ映像認識情報）および解析情報を有するローカルデータベースをオンラインデータベースから生成する。そのローカルデータベースは、映像認識装置２０から映像受信装置４０に送信され、映像受信装置４０の記憶部４７に記憶される。こうしてローカルデータベースが更新される。

この動作の詳細を、フローチャートを用いて説明する。

図９は、実施の形態１における映像受信装置４０および映像認識装置２０で行うローカルデータベース更新処理の動作を概略的に示すフローチャートである。

映像受信装置４０の制御部４１は、現在の視聴情報（例えば、現在の視聴チャンネルや視聴開始時刻等）を映像認識装置２０に送信するように各回路ブロックを制御する（ステップＳ８０）。

映像認識装置２０は、映像受信装置４０から送信されてくる現在の視聴情報を受信し、記憶部２３に記憶されている映像受信装置４０の視聴履歴に、受信した視聴情報を加えて、映像受信装置４０の視聴履歴を更新する。すなわち、この視聴履歴は、映像受信装置４０においてこれまでに視聴されたチャンネル（またはコンテンツ）および視聴が行われた日時等の、過去から現在までの履歴を表す情報である。そして、更新後の視聴履歴の情報を映像認識装置２０から映像受信装置４０に送信する（ステップＳ８１）。

なお、映像認識装置２０は、映像受信装置４０から送信されてくるフィンガープリント（端末映像認識情報）にもとづき行うコンテンツ特定処理によって映像受信装置４０の視聴状況を把握できるので、そのコンテンツ特定処理の結果にもとづき、記憶部２３に記憶されている映像受信装置４０の視聴履歴を更新するように構成されていてもよい。

映像受信装置４０の制御部４１は、映像認識装置２０から送信されてくる視聴履歴の情報を受信して記憶部４７に記憶するように各回路ブロックを制御する（ステップＳ８２）。

なお、本実施の形態は、現時刻から過去５週間分以上の視聴履歴が映像認識装置２０の記憶部２３に記憶され、現時刻から少なくとも過去５週間分の視聴履歴の情報が映像認識装置２０から映像受信装置４０に送信されて映像受信装置４０の記憶部４７に記憶されるものとするが、視聴履歴の保存対象期間は付加情報表示システム１０の仕様等に応じて適切に設定することが望ましい。

映像受信装置４０の映像認識部６６は、記憶部４７に記憶された視聴履歴の情報と現在の視聴情報とにもとづき、次視聴情報を生成する（ステップＳ８３）。次視聴情報とは、次回視聴されることが予想されるチャンネルおよび時間帯に関する情報を含む情報のことである。次視聴情報の生成処理については後述する。

生成された次視聴情報は、映像受信装置４０から映像認識装置２０に送信される（ステップＳ８４）。すなわち、上述した「予測」とは、この次視聴情報のことである。

映像認識装置２０は、映像受信装置４０から送信されてくる次視聴情報を受信し、受信した次視聴情報に含まれる情報にもとづきオンラインデータベースを検索する。次視聴情報に含まれる情報（次回視聴されることが予測されるチャンネルおよび時間帯の情報）に該当するコンテンツをオンラインデータベースから探し出すことができれば、映像認識装置２０は、そのコンテンツに関するフィンガープリント（サーバ映像認識情報）および解析情報を有するローカルデータベースを生成する。なお、この解析情報には電子番組表等の番組メタ情報が含まれていてもよい。そして、映像認識装置２０は、生成したローカルデータベースを通信ネットワーク１６を通して映像受信装置４０に送信する（ステップＳ８５）。

映像受信装置４０の制御部４１は、映像認識装置２０から送信されてくるローカルデータベースを受信して記憶部４７に記憶するように各回路ブロックを制御する（ステップＳ８６）。こうして、記憶部４７内のローカルデータベースが更新される。

ローカルデータベースの更新処理が終了したら、図５のステップＳ４２へ移行する。

なお、図６に示したフローチャートでは、ローカルマッチング処理の後に、ローカルデータベースの更新処理を行う構成を示しているが、本実施の形態は何らこの構成に限定されない。ローカルデータベースの更新処理は、例えば、映像受信装置４０の電源投入直後に行われてもよく、チャンネルが切り換えられたときに行われてもよい。あるいは、映像受信装置４０にバックアップ電源を備え、映像受信装置４０の電源が切られた後に、そのバックアップ電源を使用して、ローカルデータベースの更新処理が行われてもよい。ローカルマッチング処理の精度を高めるために、適切にローカルデータベースの更新処理を行うことが望ましい。

次に、ステップＳ８３の次視聴情報の生成処理について説明する。

［１−２−６．次視聴情報生成処理の動作］
映像受信装置４０の映像認識部６６は、これまでの視聴履歴と現在の視聴情報（使用者が視聴中のチャンネル）にもとづき、使用者の視聴傾向を把握し、使用者が次に視聴を行う時間帯およびチャンネルを予測する。次視聴情報には、これらの予測された時間帯およびチャンネルの情報が含まれる。

この動作の詳細を、フローチャートを用いて説明する。

図１０は、実施の形態１における映像受信装置４０で行う次視聴情報生成処理の動作を概略的に示すフローチャートである。

映像認識部６６は、「次視聴時間帯」を選定する（ステップＳ９０）。次視聴時間帯とは、使用者が次にコンテンツの視聴を行うことが予測される時間帯のことである。この次視聴時間帯選定処理の詳細は後述する。

次に、映像認識部６６は、「次視聴チャンネル」を選定する（ステップＳ９１）。次視聴チャンネルとは、使用者が次に視聴することが予測されるチャンネルのことである。この次視聴チャンネル選定処理の詳細は後述する。

そして、映像受信装置４０は、ステップＳ９０で選定した次視聴時間帯の情報と、ステップＳ９１で選定した次視聴チャンネルの情報と、を備えた次視聴情報を生成する。

次視聴情報生成処理が終了したら、図９のステップＳ８４に移行する。

次視聴情報が映像受信装置４０から映像認識装置２０に送信されることで、映像認識装置２０ではその次視聴情報にもとづくローカルデータベースが生成される。そして、その生成されたローカルデータベースが映像認識装置２０から映像受信装置４０に送信されることで、映像受信装置４０はローカルデータベースを取得し、更新することができる。

次に、ステップＳ９０の次視聴時間帯の選定処理について説明する。

［１−２−７．次視聴時間帯選定処理の動作］
映像受信装置４０の映像認識部６６は、１日（２４時間）を複数の時間帯に分け、現時刻が属する時間帯（「現時間帯」と記す）から以降の所定期間（例えば、１週間）の各時間帯で「次視聴時間帯尤度」を算出し、「次視聴時間帯尤度」が最も高い時間帯を「次視聴時間帯」として選定する。次視聴時間帯尤度とは、使用者がその時間帯において視聴を行う可能性を数値化したものである。次視聴時間帯尤度の算出式は、使用者が視聴を行う可能性が高い時間帯ほど数値が大きくなるように設定されている。本実施の形態では、次視聴時間帯尤度を算出することで、次に使用者が視聴を行う時間帯（次視聴時間帯）を予測し選定している。

映像認識部６６は、現時刻と各時間帯との時間差、各時間帯における過去の視聴頻度および視聴習慣、録画予約（視聴予約）の有無、等を数値化し、それらの数値にもとづいて次視聴時間帯尤度を算出する。次視聴時間帯尤度は、現時刻に近い時間帯ほど数値が大きくなり、過去の視聴頻度が高く視聴習慣がある時間帯ほど数値が大きくなり、録画予約（または視聴予約）がある時間帯ほど数値が大きくなるように設定されている。

これらの動作の詳細を、フローチャートを用いて説明する。

図１１は、実施の形態１における映像受信装置４０で行う次視聴時間帯選定処理の動作を概略的に示すフローチャートである。

まず、映像認識部６６は、１日（２４時間）を複数の時間帯に分け、現時刻が属する時間帯（現時間帯）から以降の所定期間（例えば、１週間）内で１つの時間帯を選択し、その時間帯を次視聴時間帯尤度の算出対象時間帯に設定する（ステップＳ１００）。以下、次視聴時間帯尤度の算出対象時間帯を、「尤度算出対象時間帯」と略記する。

なお、この所定期間、すなわち次視聴時間帯尤度の算出対象期間は、何ら１週間に限定されるものではなく、１週間以上であってもよく、１週間未満であってもよい。この所定期間は、付加情報表示システム１０の仕様等に応じて適切に設定されることが望ましい。

次に、映像認識部６６は、現時刻と尤度算出対象時間帯との時間差にもとづき「時間間隔」を算出する（ステップＳ１０１）。この「時間間隔」とは、現時刻と尤度算出対象時間帯との時間差と、所定の重み係数（α）と、にもとづき算出される数値のことであり、その時間差が小さいほど数値が大きくなるように設定されている。「時間間隔」の具体的な算出例は後述する。

次に、映像認識部６６は、記憶部４７に記憶されている視聴履歴にもとづき、尤度算出対象時間帯における「視聴頻度」を算出する（ステップＳ１０２）。この「視聴頻度」とは、「第１の視聴回数」と所定の重み係数（γ）とにもとづき算出される数値のことであり、「第１の視聴回数」が多いほど数値が大きくなるように設定されている。「第１の視聴回数」とは、次視聴時間帯尤度を算出するための視聴履歴の検索範囲である所定の過去の期間において、尤度算出対象時間帯が属する曜日と同じ曜日の、尤度算出対象時間帯と同じ時間帯に、使用者による視聴が何回あったかを表す数値である。

例えば、所定の過去の期間が５週間に設定されて現時間帯から過去５週間の視聴履歴にもとづき次視聴時間帯尤度が算出されるように設定され、今週の月曜日の２０：００から２４：００の時間帯が尤度算出対象時間帯として設定されていれば、映像認識部６６は、記憶部４７に記憶されている視聴履歴を参照し、現時間帯から過去５週間の各月曜日の２０：００から２４：００の時間帯における視聴の有無を調べて「第１の視聴回数」を算出する。過去５週間の各月曜日の２０：００から２４：００の時間帯にそれぞれ視聴の履歴があれば、「第１の視聴回数」は「５」となる。この「第１の視聴回数」に所定の重み係数（γ）が乗算されて「視聴頻度」が算出される。「視聴頻度」の具体的な算出例は後述する。

次に、映像認識部６６は、記憶部４７に記憶されている視聴履歴にもとづき、尤度算出対象時間帯における「視聴慣習度」を算出する（ステップＳ１０３）。この「視聴慣習度」とは、所定の過去の期間において、尤度算出対象時間帯が属する曜日と同じ曜日の、尤度算出対象時間帯と同じ時間帯において、使用者による視聴がどの程度習慣的に行われていたかを表す数値であり、習慣性が高いほど数値が大きくなるように設定されている。映像認識部６６は、記憶部４７に記憶されている視聴履歴と尤度算出対象時間帯とにもとづき「標準偏差」を算出し、その「標準偏差」と所定の重み係数（β）とにもとづき「視聴慣習度」を算出する。「視聴慣習度」の具体的な算出例は後述する。

次に、映像認識部６６は、尤度算出対象時間帯における録画予約（または視聴予約）の有無を確認し、その確認の結果を、所定の重み係数（δ）にもとづき数値化する（ステップＳ１０４）。以下、この数値を「第１の予約状況」と記す。「第１の予約状況」の具体的な算出例は後述する。

そして、映像認識部６６は、ステップＳ１０１で算出された「時間間隔」、ステップＳ１０２で算出された「視聴頻度」、ステップＳ１０３で算出された「視聴慣習度」、およびステップＳ１０４で算出された「第１の予約状況」から、ステップＳ１００で設定された尤度算出対象時間帯における「次視聴時間帯尤度」を算出する（ステップＳ１０５）。ここで算出された「次視聴時間帯尤度」は、どの時間帯に関して算出されたものかがわかるようにして、記憶部４７に記憶される。「次視聴時間帯尤度」の具体的な算出例は後述する。

次に、映像認識部６６は、所定期間の全ての時間帯で次視聴時間帯尤度を算出し終えたか否かを判断する（ステップＳ１０６）。

ステップＳ１０６で、次視聴時間帯尤度を算出していない時間帯が所定期間内に存在する、と判断されたとき（Ｎｏ）は、映像認識部６６は、ステップＳ１００に戻り、次視聴時間帯尤度を算出していない時間帯を新たな尤度算出対象時間帯に設定して、上述の一連の動作を繰り返す。

ステップＳ１０６で、所定期間内の全ての時間帯で次視聴時間帯尤度を算出し終えた、と判断されたとき（Ｙｅｓ）は、映像認識部６６は、算出し終えた次視聴時間帯尤度を互いに比較し、次視聴時間帯尤度が最も高い時間帯を「次視聴時間帯」として選定する（ステップＳ１０７）。

次視聴時間帯選定処理が終了したら、図１０のステップＳ９１に移行する。

なお、「時間間隔」を算出するステップＳ１０１、「視聴頻度」を算出するステップＳ１０２、「視聴慣習度」を算出するステップＳ１０３、および「第１の予約状況」を算出するステップＳ１０４、の各ステップは、何らこの順番に限定されるものではなく、どのような順番で行われてもよい。

なお、所定の過去の期間、すなわち次視聴時間帯尤度を算出するための視聴履歴の検索範囲は、何ら５週間に限定されるものではなく、５週間以上であってもよく、５週間未満であってもよい。所定の過去の期間は、付加情報表示システム１０の仕様等に応じて適切に設定されることが望ましい。

次に、次視聴時間帯選定処理の具体的な動作の一例を、図面を用いて説明する。

図１２は、実施の形態１における映像受信装置４０で行う次視聴時間帯選定処理の動作の一例を概略的に示す模式図である。

図１２には、２４時間を第１時間帯から第６時間帯までの４時間毎の６つの時間帯に分け、各時間帯を、０：００〜４：００（第１時間帯）、４：００〜８：００（第２時間帯）、８：００〜１２：００（第３時間帯）、１２：００〜１６：００（第４時間帯）、１６：００〜２０：００（第５時間帯）、２０：００〜２４：００（第６時間帯）、と設定した例を示している。

また、図１２に示す例では、今週を第１０週とし、現時間帯を第１０週の日曜日第６時間帯（２０：００〜２４：００）としている。

また、図１２に示す例では、所定の過去の期間、すなわち、次視聴時間帯尤度を算出するための視聴履歴の検索範囲を５週間とし、現時間帯から過去５週間（第５週の日曜日第６時間帯から第１０週の日曜日第５時間帯まで）の視聴履歴にもとづき次視聴時間帯尤度を算出するように設定している。

したがって、映像受信装置４０の記憶部４７には、現時刻から少なくとも過去５週間分の視聴履歴の情報が、映像認識装置２０から取得されて記憶されているものとする。

また、図１２に示す例では、次視聴時間帯尤度の算出対象期間である所定期間を１週間とし、現時間帯から以降の１週間（第１０週の月曜日第１時間帯から第１１週の日曜日第６時間帯まで）の各時間帯を次視聴時間帯尤度の算出対象に設定している。

なお、映像受信装置４０では、その算出対象期間内の全時間帯が順に尤度算出対象時間帯に設定され、各時間帯で次視聴時間帯尤度が算出されるが、ここでは、一例として、時間帯Ａ（第１０週の月曜日第６時間帯）、時間帯Ｂ（第１０週の火曜日第３時間帯）、時間帯Ｃ（第１０週の水曜日第５時間帯）、時間帯Ｄ（第１０週の金曜日第２時間帯）の４つの時間帯が尤度算出対象時間帯に設定され、それらの時間帯で次視聴時間帯尤度を算出するときの例を説明する。

図１３は、実施の形態１における映像受信装置４０の映像認識部６６で算出する次視聴時間帯尤度の一例を示す図である。

図１３には、図１２に示した時間帯Ａ、時間帯Ｂ、時間帯Ｃ、時間帯Ｄの各時間帯について、ステップＳ１０１で算出する「時間間隔」、ステップＳ１０２で算出する「視聴頻度」、ステップＳ１０３で算出する「視聴慣習度」、ステップＳ１０４で算出する「第１の予約状況」、およびステップＳ１０５で算出する「次視聴時間帯尤度」の各算出値の一例を示す。

映像認識部６６は、ステップＳ１０１で説明した「時間間隔」を以下の式で算出する。なお、本実施の形態では、重み係数αを４とする例を示す。

時間間隔＝α×所定期間／（尤度算出対象時間帯と現時刻との時間差）
この計算式では、所定期間を時間に換算する。図１２に示す例では所定期間を１週間としているので、上述の式に用いる所定期間は、１週間×２４時間＝１６８時間となる。また、例えば、現時刻を第１０週の日曜日の２０：００とすると、尤度算出対象時間帯と現時刻との時間差は、図１３に示すように、時間帯Ａでは２４時間、時間帯Ｂでは３６時間、時間帯Ｃでは６８時間、時間帯Ｄでは１０４時間、となる。したがって、例えば時間帯Ａの「時間間隔」は、以下のようになる。

時間間隔＝４×１６８／２４＝２８
同様にして他の時間帯の「時間間隔」を計算すると、図１３に示すように、時間帯Ｂでは１８．６７、時間帯Ｃでは９．８８、時間帯Ｄでは６．４６、となる。

なお、尤度算出対象時間帯と現時刻との時間差に代えて、現時間帯の開始時刻と尤度算出対象時間帯の開始時刻との差を用いてもよい。

次に、映像認識部６６は、ステップＳ１０２で説明した「視聴頻度」を以下の式で算出する。なお、本実施の形態では、重み係数γを３とする例を示す。

視聴頻度＝γ×（尤度算出対象時間帯の第１の視聴回数）
「第１の視聴回数」とは、視聴履歴の検索範囲（所定の過去の期間）において、尤度算出対象時間帯が属する曜日と同じ曜日の、尤度算出対象時間帯と同じ時間帯に、使用者による視聴（どのチャンネルでもよい）が何回あったかを表す数値である。例えば、図１２に示す例では、時間帯Ａに関する「第１の視聴回数」は、第５週から第９週までの各月曜日の第６時間帯における視聴回数の総和となり、時間帯Ｂに関する「第１の視聴回数」は、第５週から第９週までの各火曜日の第３時間帯における視聴回数の総和となる。図１２に示す例では、「第１の視聴回数」は、時間帯Ａでは５、時間帯Ｂでは３、時間帯Ｃでは３、時間帯Ｄでは５となる。したがって、例えば時間帯Ａの「視聴頻度」は、以下のようになる。

視聴頻度＝３×５＝１５
同様にして他の時間帯の「視聴頻度」を計算すると、図１３に示すように、時間帯Ｂでは９、時間帯Ｃでは９、時間帯Ｄでは１５、となる。

次に、映像認識部６６は、ステップＳ１０３で説明した「視聴慣習度」を以下の数式１で算出する。なお、本実施の形態では、重み係数βを３とする例を示す。

数式１での各数値の単位は「週」である。
数式１において、
Ｆは、「視聴慣習度」である。
Ｔｆは、「視聴履歴の検索範囲」である。例えば、図１２に示す例では、視聴履歴の検索範囲は５週間なので、Ｔｆ＝５となる。
Ｔａは、視聴履歴の検索範囲における、尤度算出対象時間帯と同時間帯の平均視聴間隔である。例えば、図１２に示す例では、尤度算出対象時間帯を時間帯Ａとすると、第５週から第９週の各月曜日の第６時間帯でそれぞれ視聴が行われているので、平均視聴間隔Ｔｆは、Ｔｆ＝（１＋１＋１＋１）／４＝１となる。尤度算出対象時間帯を時間帯Ｂとすると、第５週、第６週、第９週の各火曜日の第３時間帯でそれぞれ視聴が行われ、第６週、第７週の各火曜日の第３時間帯では視聴は行われていないので、平均視聴間隔Ｔｆは、Ｔｆ＝（１＋３）／２＝２となる。
Ｔ１は、尤度算出対象時間帯と、前回視聴が行われた同時間帯との時間差である。例えば、図１２に示す例では、尤度算出対象時間帯を時間帯Ａとすると、第９週の月曜日の第６時間帯で視聴が行われているので、Ｔ１＝１となる。
Ｔ２は、尤度算出対象時間帯に関する、前回視聴が行われた同時間帯と２回前に視聴が行われた同時間帯との時間差である。例えば、図１２に示す例では、尤度算出対象時間帯を時間帯Ａとすると、第８週と第９週の各月曜日の第６時間帯で視聴が行われているので、Ｔ２＝１となる。尤度算出対象時間帯を時間帯Ｂとすると、第６週と第９週の各火曜日の第３時間帯で視聴が行われ、第７週と第８週の各火曜日の第３時間帯では視聴が行われていないので、Ｔ２＝３となる。
Ｔ３は、尤度算出対象時間帯に関する、２回前に視聴が行われた同時間帯と３回前に視聴が行われた同時間帯との時間差である。例えば、図１２に示す例では、尤度算出対象時間帯を時間帯Ａとすると、第７週と第８週の各月曜日の第６時間帯で視聴が行われているので、Ｔ３＝１となる。
Ｔ４は、尤度算出対象時間帯に関する、３回前に視聴が行われた同時間帯と４回前に視聴が行われた同時間帯との時間差である。例えば、図１２に示す例では、尤度算出対象時間帯を時間帯Ａとすると、第６週と第７週の各月曜日の第６時間帯で視聴が行われているので、Ｔ４＝１となる。
Ｔ５は、尤度算出対象時間帯に関する、４回前に視聴が行われた同時間帯と５回前に視聴が行われた同時間帯との時間差である。例えば、図１２に示す例では、尤度算出対象時間帯を時間帯Ａとすると、第５週と第６週の各月曜日の第６時間帯で視聴が行われているので、Ｔ５＝１となる。

したがって、例えば図１２に示す例では、時間帯Ａに関する視聴慣習度Ｆは次のようになる。

時間帯Ｂに関する視聴慣習度Ｆは、図１２に示す例では、次のようになる。

同様にして他の時間帯の「視聴慣習度」を計算すると、図１３に示すように、時間帯Ｃでは３、時間帯Ｄでは３、となる。

次に、映像認識部６６は、ステップＳ１０４で説明した「第１の予約状況」を以下の式で算出する。なお、本実施の形態では、重み係数δを５とする例を示す。

第１の予約状況＝δ×尤度算出対象時間帯における録画予約（または視聴予約）の有無
なお、この式では、予約があれば１、予約がなければ０を代入する。図１２に示す例では、時間帯Ａ、時間帯Ｂ、時間帯Ｃ、時間帯Ｄのいずれの時間帯も予約はなされていないので、図１３に示すように、各時間帯の「第１の予約状況」はそれぞれ０となる。

次に、映像認識部６６は、ステップＳ１０５で説明した「次視聴時間帯尤度」を以下の式で算出する。

次視聴時間帯尤度＝時間間隔＋視聴頻度＋視聴慣習度＋第１の予約状況
例えば、図１２、図１３に示す例では、時間帯Ａの「次視聴時間帯尤度」は次のようになる。

次視聴時間帯尤度＝２８＋１５＋３＋０＝４６
同様にして他の時間帯の「次視聴時間帯尤度」を計算すると、図１３に示すように、時間帯Ｂでは２９．３６、時間帯Ｃでは２１．８８、時間帯Ｄでは２４．４６、となる。

次に、映像認識部６６は、ステップＳ１０７で説明したように、次視聴時間帯尤度が最も高い時間帯を「次視聴時間帯」として選定する。図１２、図１３に示す例では、時間帯Ａの「次視聴時間帯尤度」の数値が最も大きい。したがって、映像認識部６６は、時間帯Ａを、次に視聴が行われる可能性が最も高い時間帯と予測し、「次視聴時間帯」として選定する。

なお、ここに挙げた各設定値は単なる一実施例に過ぎず、本実施の形態は各設定値が何ら上述した数値に限定されるものではない。各設定値は、付加情報表示システム１０の仕様等に応じて最適に設定することが望ましい。

次に、ステップＳ９１の次視聴チャンネル選定処理について説明する。

［１−２−８．次視聴チャンネル選定処理の動作］
映像受信装置４０の映像認識部６６は、ステップＳ９０で選定された「次視聴時間帯」において、受信可能な全てのチャンネルに関してチャンネル毎に「次視聴チャンネル尤度」を算出し、「次視聴チャンネル尤度」が最も高いチャンネルを「次視聴チャンネル」として選定する。次視聴チャンネル尤度とは、使用者がそのチャンネルを視聴する可能性を数値化したものである。次視聴チャンネル尤度の算出式は、使用者が視聴する可能性が高いチャンネルほど数値が大きくなるように設定されている。本実施の形態では、次視聴チャンネル尤度を算出することで、次視聴時間帯に使用者が視聴するチャンネル（次視聴チャンネル）を予測し選定している。

映像認識部６６は、各チャンネルの視聴回数、録画予約（視聴予約）の有無、等を数値化し、それらの数値にもとづいて次視聴チャンネル尤度を算出する。次視聴チャンネル尤度は、過去の視聴回数が多いチャンネルほど数値が大きくなり、次視聴時間帯に録画予約（または視聴予約）があるチャンネルほど数値が大きくなる。

これらの動作の詳細を、フローチャートを用いて説明する。

図１４は、実施の形態１における映像受信装置４０で行う次視聴チャンネル選定処理の動作を概略的に示すフローチャートである。

まず、映像認識部６６は、受信可能なチャンネルのうちの１つのチャンネルを選択し、そのチャンネルを次視聴チャンネル尤度の算出対象チャンネルに設定する（ステップＳ１１０）。以下、次視聴チャンネル尤度の算出対象チャンネルを、「尤度算出対象チャンネル」と略記する。

次に、映像認識部６６は、ステップＳ９０で選定された次視聴時間帯における尤度算出対象チャンネルの「占有率」を算出する（ステップＳ１１１）。「占有率」とは、「視聴履歴の検索範囲」と「第２の視聴回数」と所定の重み係数（ε）とにもとづき算出される数値のことであり、「第２の視聴回数」が多いほど数値が大きくなるように設定されている。この「第２の視聴回数」とは、視聴履歴の検索範囲（上述した所定の過去の期間）において、次視聴時間帯が属する曜日と同じ曜日の、次視聴時間帯と同じ時間帯において、使用者による尤度算出対象チャンネルの視聴が何回あったかを表す数値のことである。

例えば、今週の月曜日の２０：００から２４：００の時間帯が次視聴時間帯に選定され、第５チャンネルが尤度算出対象チャンネルに設定され、視聴履歴の検索範囲（所定の過去の期間）が５週間に設定されて現時間帯から過去５週間の視聴履歴にもとづき次視聴チャンネル尤度が算出されるように設定されているとする。この場合、映像認識部６６は、記憶部４７に記憶されている視聴履歴を参照し、現時間帯から過去５週間の各月曜日の２０：００から２４：００の時間帯における第５チャンネルの視聴の有無を調べて「第２の視聴回数」を算出し、「第２の視聴回数」にもとづき「占有率」を算出する。「占有率」の具体的な算出例は後述する。

次に、映像認識部６６は、次視聴時間帯における録画予約（または視聴予約）の有無を確認し、その確認の結果を、所定の重み係数（ζ）にもとづき数値化する（ステップＳ１１２）。この数値を「第２の予約状況」と記す。「第２の予約状況」の具体的な算出例は後述する。

そして、映像認識部６６は、ステップＳ１１１で算出された「占有率」、およびステップＳ１１２で算出された「第２の予約状況」から、ステップＳ１１０で設定された尤度算出対象チャンネルにおける「次視聴チャンネル尤度」を算出する（ステップＳ１１３）。ここで算出された「次視聴チャンネル尤度」は、どのチャンネルに関して算出されたものかがわかるようにして、記憶部４７に記憶される。「次視聴チャンネル尤度」の具体的な算出例は後述する。

次に、映像認識部６６は、受信可能な全てのチャンネルに関して、次視聴時間帯における次視聴チャンネル尤度を算出し終えたか否かを判断する（ステップＳ１１４）。

ステップＳ１１４で、次視聴チャンネル尤度を算出していないチャンネルがある、と判断されたとき（Ｎｏ）は、映像認識部６６は、ステップＳ１１０に戻り、次視聴チャンネル尤度を算出していないチャンネルを新たな尤度算出対象チャンネルに設定して、上述の一連の動作を繰り返す。

ステップＳ１１４で、受信可能な全てのチャンネルに関して次視聴チャンネル尤度を算出し終えた、と判断されたとき（Ｙｅｓ）は、映像認識部６６は、算出し終えた次視聴チャンネル尤度を互いに比較し、次視聴チャンネル尤度が最も高いチャンネルを「次視聴チャンネル」として選定する（ステップＳ１１５）。

次視聴チャンネル選定処理が終了したら、図９のステップＳ８４に移行する。

次に、次視聴チャンネル選定処理の具体的な動作の一例を、図面を用いて説明する。

図１５は、実施の形態１における映像受信装置４０で行う次視聴チャンネル選定処理の動作の一例を概略的に示す模式図である。

図１５には、「次視聴時間帯」として時間帯Ａ（第１０週の月曜日の２０：００〜２４：００）が選定され、時間帯Ａの第１チャンネルから第５チャンネルまでの５つのチャンネルに関して次視聴チャンネル選定処理を行う例を示している。

また、図１５に示す例では、所定の過去の期間、すなわち、次視聴チャンネル尤度を算出するための視聴履歴の検索範囲を５週間とし、現時間帯から過去５週間の視聴履歴にもとづき次視聴チャンネル尤度を算出するように設定している。

したがって、映像受信装置４０の記憶部４７には、現時刻から少なくとも過去５週間分の視聴履歴の情報が、映像認識装置２０から取得されて記憶されているものとする。

図１６は、実施の形態１における映像受信装置４０の映像認識部６６で算出する次視聴チャンネル尤度の一例を示す図である。

図１６には、図１５示した第１チャンネル、第２チャンネル、第３チャンネル、第４チャンネル、第５チャンネル、の各チャンネルについて、ステップＳ１１１で算出する「占有率」、ステップＳ１１２で算出する「第２の予約状況」、およびステップＳ１１３で算出する「次視聴チャンネル尤度」の各算出値の一例を示す。

映像認識部６６は、ステップＳ１１１で説明した「占有率」を以下の式で算出する。なお、本実施の形態では、重み係数εを５とする例を示す。

占有率＝ε×（尤度算出対象チャンネルの第２の視聴回数＋１）／（視聴履歴の検索範囲＋１）
「第２の視聴回数」とは、視聴履歴の検索範囲（図１５に示す例では過去５週間）において、次視聴時間帯が属する曜日と同じ曜日の、次視聴時間帯と同じ時間帯において、使用者による尤度算出対象チャンネルの視聴が何回あったかを表す数値のことである。例えば、図１５に示す例では、第５チャンネルに関する「第２の視聴回数」は、第５週から第９週までの各月曜日の２０：００〜２４：００における第５チャンネルの視聴回数の総和であり、第５週、第８週、第９週の同時間帯で視聴が行われているので、３となる。したがって、例えば、「次視聴時間帯」として選定された時間帯Ａの第５チャンネルの「占有率」は、次のようになる。

占有率＝５×（３＋１）／（５＋１）＝５×４／６＝３．３３
同様にして他のチャンネルの「占有率」を計算すると、図１６に示すように、第１チャンネルでは０．８３、第２チャンネルでは２．５０、第３チャンネルでは０．８３、第４チャンネルでは０．８３となる。

次に、映像認識部６６は、ステップＳ１１２で説明した「第２の予約状況」を以下の式で算出する。なお、本実施の形態では、重み係数ζを３とする例を示す。

第２の予約状況＝ζ×次視聴時間帯における録画予約（または視聴予約）の有無
なお、この式では、予約があれば１、予約がなければ０を代入する。図１６に示す例では、第１チャンネルから第５チャンネルのいずれのチャンネルも予約はなされていないので、図１６に示すように、各チャンネルの「第２の予約状況」はそれぞれ０となる。

次に、映像認識部６６は、ステップＳ１１３で説明した「次視聴チャンネル尤度」を以下の式で算出する。

次視聴チャンネル尤度＝占有率＋第２の予約状況
例えば、図１５、図１６に示す例では、第５チャンネルの「次視聴チャンネル尤度」は次のようになる。

次視聴チャンネル尤度＝３．３３＋０＝３．３３
同様にして他のチャンネルの「次視聴チャンネル尤度」を計算すると、図１６に示すように、第１チャンネルでは０．８３、第２チャンネルでは２．５０、第３チャンネルでは０．８３、第４チャンネルでは０．８３、となる。

次に、映像認識部６６は、ステップＳ１１５で説明したように、次視聴チャンネル尤度が最も高いチャンネルを「次視聴チャンネル」として選定する。図１５、図１６に示す例では、第５チャンネルの「次視聴チャンネル尤度」の数値が最も大きい。したがって、映像認識部６６は、第５チャンネルを、次に視聴が行われる可能性が最も高いチャンネルと予測し、「次視聴チャンネル」として選定する。

この次視聴チャンネルの情報は映像受信装置４０から映像認識装置２０に送信され、映像認識装置２０はこの次視聴チャンネルの情報にもとづきローカルデータベースを生成して映像受信装置４０に送信する。

なお、ここに挙げた各設定値は単なる一実施例に過ぎず、本実施の形態は各設定値が何ら上述した数値に限定されるものではない。各設定値は、付加情報表示システム１０の仕様等に応じて最適に設定することが望ましい。

［１−３．効果等］
以上のように、本実施の形態において、映像受信装置４０は、通信ネットワーク１６を介してデータの送受信を行えるように構成されており、入力部６５、映像抽出部４５、記憶部４７、映像認識部６６、および制御部４１、を備える。入力部６５は、外部に設置された映像送信装置（例えば、ＳＴＢ１４）から出力される映像信号を入力するように構成されている。映像抽出部４５は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。記憶部４７は、通信ネットワーク１６に接続された映像認識装置２０から取得された第１のコンテンツ認識情報（サーバ映像認識情報）を記憶するように構成されている。映像認識部６６は、映像抽出部４５が抽出した部分映像から第２のコンテンツ認識情報（端末映像認識情報）を生成し、映像認識装置２０に第２のコンテンツ認識情報（端末映像認識情報）を送信して映像認識処理を依頼するオンラインマッチング処理と、第２のコンテンツ認識情報（端末映像認識情報）を記憶部４７に記憶されたローカルデータベースに含まれる第１のコンテンツ認識情報（サーバ映像認識情報）と照合するローカルマッチング処理との少なくとも一方を行うように構成されている。制御部４１は、オンライングマッチング処理の結果またはローカルマッチング処理の結果に基づく付加情報（例えば、広告情報）を通信ネットワーク１６に接続された付加情報配信装置３０から取得する制御を行うように構成されている。

映像認識装置２０の記憶部２３に記憶されるオンラインデータベースのデータ量は上述したように膨大である。そのため、オンラインマッチング処理では、精度の高いコンテンツ特定処理を行うことができるが、映像受信装置４０から送信されてくる第２のコンテンツ認識情報（端末映像認識情報）と、オンラインデータベースとして記憶部２３に記憶されている第１のコンテンツ認識情報（サーバ映像認識情報）との照合に時間を要する。

一方、映像受信装置４０の記憶部４７に記憶されたローカルデータベースは、映像認識装置２０がオンラインデータベースから選別して生成したものなので、オンラインデータベースと比較してデータ量が少ない。すなわち、ローカルデータベースを利用して行うローカルマッチング処理は、オンラインマッチング処理と比較して、短時間で終了することができる。

したがって、映像受信装置４０は、ローカルマッチング処理とオンラインマッチング処理とを、選択的に（または双方を）行うことで、ＳＴＢ１４等の映像送信装置から入力される映像信号に関するコンテンツ特定処理（映像認識処理にもとづくコンテンツ特定処理）を、時間を短縮しつつ高精度に行うことが可能となる。

そして、映像受信装置４０は、オンラインマッチング処理またはローカルマッチング処理の結果にもとづく付加情報を付加情報配信装置３０から取得して、その映像信号に重畳することができる。

また、映像受信装置４０は、映像信号に付加情報５１を重畳した映像を表示するように構成された表示部５４を備えていてもよい。

また、映像受信装置４０の制御部４１は、映像受信装置４０の電源が投入された後に第１のコンテンツ認識情報（サーバ映像認識情報）を映像認識装置２０から取得する制御を行うように構成されていてもよい。

また、映像受信装置４０の映像認識部６６は、ローカルマッチング処理を優先的に行い、ローカルマッチング処理に失敗したときにオンラインマッチング処理を行うように構成されていてもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、映像受信装置４０が、ローカルマッチング処理とオンラインマッチング処理のいずれか一方を行うように動作する例を、図６を用いて説明した。しかし、映像受信装置４０は、図５に示したステップＳ４１のコンテンツ特定処理において、図６に示した動作に代えて、図１７に示すように、ローカルマッチング処理とオンラインマッチング処理の双方を行うように構成されていてもよい。

図１７は、他の実施の形態における映像受信装置４０で行うコンテンツ特定処理の動作を概略的に示すフローチャートである。なお、図１７に示すフローチャートでは、図６に示したステップと実質的に同じ動作のステップには図６に示した符号と同じ符号を付与し、詳細な説明は省略する。

図１７に示す動作例では、映像認識部６６は、まず、図６に示したステップＳ５０と同様に、映像抽出部４５が抽出した部分映像からフィンガープリント（端末映像認識情報）を生成する（ステップＳ５０）。

次に、制御部４１は、図６に示したステップＳ５１と同様に、ローカルデータベースが記憶部４７に記憶されているかどうかを判断する。なお、以下の図面では、ローカルデータベースを「ローカルＤＢ」と略記する（ステップＳ５１）。

ステップＳ５１で、ローカルデータベースは記憶部４７に記憶されている、と判断されたとき（Ｙｅｓ）は、制御部４１は、図６に示したステップＳ５２と同様に、映像認識部６６にローカルマッチング処理を行うように指示し、その指示にもとづき映像認識部６６はローカルマッチング処理を行う（ステップＳ５２）。

ステップＳ５１で、ローカルデータベースは記憶部４７に記憶されていない、と判断されたとき（Ｎｏ）、またはステップＳ５２の終了後は、制御部４１は、図６に示したステップＳ５３と同様に、映像認識部６６にオンラインマッチング処理を行うように指示し、その指示にもとづき映像認識部６６はオンラインマッチング処理を行う（ステップＳ５３）。

次に、制御部４１は、図６に示したステップＳ５４と同様に、記憶部４７に記憶されているローカルデータベースの有効期間を判断する（ステップＳ５４）。

ステップＳ５４で、ローカルデータベースの有効期間は既に過ぎており、ローカルデータベースはコンテンツ特定処理に利用できない、と判断されたとき（Ｎｏ）は、制御部４１は、図６に示したステップＳ５５と同様に、ローカルデータベースを更新するように各回路ブロックを制御する（ステップＳ５５）。

ステップＳ５４で、ローカルデータベースは有効期間内のものであり、ローカルデータベースはコンテンツ特定処理に利用できる、と判断されたとき（Ｙｅｓ）は、制御部４１は、ローカルデータベースの更新を行わない。映像認識部６６は、ローカルマッチング処理の結果とオンラインマッチング処理の結果のいずれか一方を選択し（ステップＳ５７）、図５のステップＳ４２へ移行する。

ステップＳ５７では、映像認識部６６は、ローカルマッチング処理の結果とオンラインマッチング処理の結果が一致したときにその一致した結果を選択し、一致しないときは、映像認識処理に失敗した、という結果を選択してもよい。あるいは、映像認識部６６は、ローカルマッチング処理の結果とオンラインマッチング処理の結果が一致しないときに、オンラインマッチング処理の結果を選択するように動作してもよい。

このように構成された映像受信装置４０では、ローカルマッチング処理とオンラインマッチング処理の双方を行うことで、映像認識処理の精度を高めることができる。なお、図１７に示すフローチャートでは、オンラインマッチング処理の後にローカルマッチング処理を行ってもよい。

実施の形態１では、ローカルデータベース更新処理の手順の一例を図９に示したが、本実施の形態は、何らローカルデータベース更新処理が図９に示す手順に限定されない。

図１８は、他の実施の形態における映像受信装置４０および映像認識装置２０で行うローカルデータベース更新処理の動作の一例を概略的に示すフローチャートである。なお、図１８に示すフローチャートでは、図９に示したステップと実質的に同じ動作のステップには図９に示した符号と同じ符号を付与し、詳細な説明は省略する。

図９に示すフローチャートでは、映像受信装置４０の視聴履歴が映像認識装置２０で管理される例を示したが、図１８に示すフローチャートでは、映像受信装置４０の視聴履歴は、映像受信装置４０で管理される。

映像受信装置４０の現在の視聴情報は、記憶部４７に記憶されている映像受信装置４０の視聴履歴に加えられ、映像受信装置４０の視聴履歴が更新される。映像認識部６６は、図９に示したステップＳ８３と同様に、記憶部４７に記憶された視聴履歴の情報と現在の視聴情報とにもとづき、次視聴情報を生成する。生成された次視聴情報は、図９に示したステップＳ８４と同様に、映像受信装置４０から映像認識装置２０に送信される（ステップＳ８７）。

映像認識装置２０は、図９に示したステップＳ８５と同様に、映像受信装置４０から送信されてくる次視聴情報にもとづきローカルデータベースを生成して映像受信装置４０に送信する（ステップＳ８５）。

映像受信装置４０の制御部４１は、図９に示したステップＳ８６と同様に、映像認識装置２０から送信されてくるローカルデータベースを受信して記憶部４７に記憶するように各回路ブロックを制御し（ステップＳ８６）、図５のステップＳ４２へ移行する。

このようにして、記憶部４７内のローカルデータベースが更新されてもよい。この手法では、映像受信装置４０の記憶部４７に記憶される視聴履歴にもとづきローカルデータベースが更新されるので、図９に示した手法と比較して、ローカルデータベースの更新に要する時間を短縮することができる。

図１９は、他の実施の形態における映像受信装置４０および映像認識装置２０で行うローカルデータベース更新処理の動作の他の一例を概略的に示すフローチャートである。なお、図１９に示すフローチャートでは、図９に示したステップと実質的に同じ動作のステップには図９に示した符号と同じ符号を付与し、詳細な説明は省略する。

図１８に示すフローチャートでは、高視聴率番組情報にもとづき、ローカルデータベースが更新される。

映像受信装置４０の制御部４１は、高視聴率番組情報を映像認識装置２０に送信し、高視聴率番組情報にもとづきローカルデータベースを生成するように映像認識装置２０に指示する（ステップＳ８８）。

高視聴率番組情報とは、例えば、コンテンツ特定処理の対象となる機会の多いコンテンツを示す情報のことである。なお、映像受信装置４０は、過去のコンテンツ特定処理の結果を蓄積して高視聴率番組情報を生成してもよく、外部から供給される高視聴率番組情報を通信ネットワーク１６を介して取得してもよい。あるいは、映像受信装置４０は、映像認識装置２０に、高視聴率番組情報を通信ネットワーク１６を介して取得してその高視聴率番組情報にもとづきローカルデータベースを生成するように指示してもよい。

映像認識装置２０は、映像受信装置４０から送信されてくる高視聴率番組情報にもとづきローカルデータベースを生成して映像受信装置４０に送信する（ステップＳ８９）。なお、ステップＳ８９における映像認識装置２０の動作は、次視聴情報を高視聴率番組情報に置き換えた以外は、図９に示したステップＳ８５と実質的に同様である。

映像受信装置４０の制御部４１は、図９に示したステップＳ８６と同様に、映像認識装置２０から送信されてくるローカルデータベースを受信して記憶部４７に記憶するように各回路ブロックを制御し（ステップＳ８６）、図５のステップＳ４２へ移行する。

このようにして、記憶部４７内のローカルデータベースが更新されてもよい。この手法では、視聴率の高いコンテンツに関するローカルデータベースが生成されるので、ローカルマッチング処理の精度を高めることができる。

実施の形態１では、映像受信装置４０は表示部５４を備えている構成を説明したが、本実施の形態における映像受信装置は何らこの構成に限定されるものではない。映像受信装置は表示部を備えていなくてもかまわない。

図２０は、他の実施の形態における映像受信装置１４０の構成の一例を概略的に示すブロック図である。図２０に示す映像受信装置１４０は、主に以下の点が、実施の形態１で図３に示した映像受信装置４０と異なる。映像受信装置１４０は、表示部５４を備えておらず、映像出力部１４４が、外部に設置された映像表示装置１５４に、有線または無線で、映像信号を出力するように構成されている。映像出力部１４４は、実施の形態１に示した映像出力部４４と同様に、制御部４１からの指示にもとづき、映像信号に付加情報を重畳する。

このような映像受信装置１４０の一例として、例えば、録画機能、放送信号受信機能、映像信号入力機能、および映像信号出力機能を備え、外部に設置された映像表示装置１５４に映像信号を送信するように構成された録画装置、等を挙げることができる。そのような録画装置には、例えばハードディスクレコーダや、ＤＶＤレコーダ、ＢＤレコーダ、等がある。

なお、図２０では、図３に示した映像受信装置４０を構成する構成要素と実質的に等しい動作をする構成要素には同じ符号を付与し、説明を省略する。また、図２０には、本実施の形態に示す動作に関連する主な回路ブロックを示し、他の動作に関する機能や回路ブロック（例えば、録画機能等）は省略している。

このような構成の映像受信装置１４０においても、実施の形態１に示した映像受信装置４０と同様の効果を得ることができる。

なお、本実施の形態に示した各構成要素は、それぞれを独立した専用の回路で構成してもよく、あるいは、それらの１つまたは複数の動作を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、このときのプログラムは、サーバ等からのダウンロードにより取得されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）を介して取得されてもよい。

また、本実施の形態に示したサーバにおける各動作は、単数のサーバで集中処理されてもよく、複数のサーバで分散処理されてもよい。

なお、実施の形態１に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は映像受信装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、外部に設置された映像送信装置から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳することが可能な映像受信装置に適用可能である。具体的には、テレビジョン受像機、ハードディスクレコーダ、ＤＶＤレコーダ、ＢＤレコーダ、等に本開示は適用可能である。

１０ 付加情報表示システム
１２ 放送局
１４ ＳＴＢ
１６ 通信ネットワーク
２０ 映像認識装置
２１，４２ ＨＴＴＰ送受信部
２２ 検索部
２３，４７ 記憶部
３０ 付加情報配信装置
４０，１４０ 映像受信装置
４１，１４１ 制御部
４３ 操作信号受信部
４４，１４４ 映像出力部
４５ 映像抽出部
４６ 付加情報表示制御部
４８ 映像入力部
４９ 受信部
５１ 付加情報
５４ 表示部
６５ 入力部
６６ 映像認識部
８１ コンテンツ
８２，８４ フィンガープリント
８３ 解析情報
９１ 映像信号
１５４ 映像表示装置

Claims (4)

1. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
   映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記通信ネットワークに接続された映像認識装置が次視聴情報に基づいて生成した映像認識処理用のローカルデータベースを受信して記憶するように構成された記憶部と、
   前記部分映像から映像認識処理用の第２のコンテンツ認識情報を生成し、前記映像認識装置に前記第２のコンテンツ認識情報を送信して第１のコンテンツ認識情報と映像認識処理を実行するオンラインマッチング処理を依頼し、または前記第２のコンテンツ認識情報を前記記憶部に記憶された前記ローカルデータベースに含まれる映像認識処理用の前記第１のコンテンツ認識情報と照合するローカルマッチング処理との少なくとも一方を行うように構成された映像認識部と、
   前記映像認識装置から前記ローカルデータベースと前記オンラインマッチング処理の結果により特定したコンテンツを取得する制御を行うとともに、前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定したコンテンツを前記通信ネットワークに接続された付加情報配信装置に送信し、前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定した前記コンテンツに基づく付加情報を前記付加情報配信装置から取得する制御を行うように構成された制御部と、を備え、
   前記映像認識部は、前記記憶部に記憶された視聴履歴に基づき前記次視聴情報を生成し、
   前記制御部は、前記次視聴情報を前記映像認識装置に送信するように制御し、
   前記映像認識部は、前記ローカルマッチング処理が成功しなかった場合に、前記映像認識装置に前記第２のコンテンツ認識情報を送信して第１のコンテンツ認識情報と映像認識処理を実行するオンラインマッチング処理を依頼する、
   映像受信装置。
2. 前記映像信号に前記付加情報を重畳した映像を表示するように構成された表示部、をさらに備えた、請求項１に記載の映像受信装置。
3. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における映像認識方法であって、
   外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、
   前記部分映像から映像認識処理用の第２のコンテンツ認識情報を生成するステップと、
   視聴履歴に基づき次視聴情報を生成するステップと、
   前記通信ネットワークに接続された映像認識装置に前記次視聴情報を送信するステップと、
   前記映像認識装置が前記次視聴情報に基づき生成した映像認識処理用のローカルデータベースを取得して記憶部に記憶するステップと、
   前記第２のコンテンツ認識情報と前記記憶部に記憶された前記ローカルデータベースに含まれる映像認識処理用の第１のコンテンツ認識情報とを照合するローカルマッチング処理を行うステップと、
   前記ローカルマッチング処理が成功しなかった場合に、前記映像認識装置に前記第２のコンテンツ認識情報を送信して前記映像認識装置が記憶する前記第１のコンテンツ認識情報と映像認識処理を行うオンラインマッチング処理を依頼するステップと、
   前記ローカルマッチング処理の結果により特定したコンテンツ、または前記オンラインマッチング処理の結果により特定したコンテンツを取得するステップと、
   前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定した前記コンテンツを、前記通信ネットワークに接続された付加情報配信装置に送信するステップと、
   前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定した前記コンテンツに基づく付加情報を、前記付加情報配信装置から取得するステップと、を備えた映像認識方法。
4. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
   前記映像受信装置は、
   映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記通信ネットワークに接続された映像認識装置が次視聴情報に基づいて生成した映像認識処理用のローカルデータベースを受信して記憶するように構成された記憶部と、
   前記部分映像から映像認識処理用の第２のコンテンツ認識情報を生成し、前記映像認識装置に前記第２のコンテンツ認識情報を送信して第１のコンテンツ認識情報と映像認識処理を実行するオンラインマッチング処理を依頼し、または前記第２のコンテンツ認識情報を前記記憶部に記憶された前記ローカルデータベースに含まれる映像認識処理用の前記第１のコンテンツ認識情報と照合するローカルマッチング処理との少なくとも一方を行うように構成された映像認識部と、
   前記映像認識装置から前記ローカルデータベースと前記オンラインマッチング処理の結果により特定するコンテンツを取得する制御を行うとともに、前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定したコンテンツを前記通信ネットワークに接続された付加情報配信装置に送信し、前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定した前記コンテンツにもとづく付加情報を前記付加情報配信装置から取得する制御を行うように構成された制御部とを備え、
   前記映像認識部は、前記記憶部に記憶された視聴履歴に基づき前記次視聴情報を生成し、
   前記制御部は、前記次視聴情報を前記映像認識装置に送信するように制御し、
   前記映像認識部は、前記ローカルマッチング処理が成功しなかった場合に、前記映像認識装置に前記第２のコンテンツ認識情報を送信して第１のコンテンツ認識情報と映像認識処理を実行するオンラインマッチング処理を依頼するように制御し、
   前記映像認識装置は、取得した映像信号から前記第１のコンテンツ認識情報を生成して記憶するとともに、前記次視聴情報に関連する前記第１のコンテンツ認識情報を選択して前記ローカルデータベースを生成し、前記ローカルデータベースを前記映像受信装置に送信するように構成され、かつ前記通信ネットワークを介して受信した前記第２のコンテンツ認識情報を前記第１のコンテンツ認識情報と照合して前記オンラインマッチング処理を行い、前記オンラインマッチング処理の結果により特定した前記コンテンツを前記映像受信装置に送信するように構成され、
   前記付加情報配信装置は、前記通信ネットワークを介して受信した前記オンラインマッチング処理の結果により特定した前記コンテンツまたは前記ローカルマッチング処理の結果により特定したコンテンツに対応する付加情報を前記映像受信装置に送信するように構成される、付加情報表示システム。
   

Images