JP5169403B2 - 画像信号生成装置、画像信号生成方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像信号生成装置、画像信号生成方法、並びにその生成方法を実行するプログラム、さらにそのプログラムを格納した記憶媒体に関し、特に多数の画像を並べて表示する場合に適用される技術に関する。

近年、複数のディスプレイから構成されるマルチディスプレイなどの表示装置を用いて、複数の画像を同時に表示したり、複数の表示装置に１つの画像を分割して表示したりして情報呈示することが行われている。また、１台の表示装置のみで表示する場合であっても、表示画面の大型化に伴って、その１台の表示装置の表示画面を分割して、複数の画像を並べて表示させることも行われている。このように、複数の画像を同時に並べて表示することで、多機能な表示を実現することができる。

特許文献１には、複数の表示装置によって、拡大された画像を表示できる表示装置の例についての開示がある。
特開２００３−１９８９８９号公報

ところで、人間の視野には、「中心視」と「周辺視」という二つの視野領域がある。このうち、「中心視」は、人間の視野の中心点に近い領域で、図形認識や色の認識などについて詳細な識別が可能である。一方、「周辺視」は中心視野の周囲にあり、中心視に比べて知覚性能は劣る。そのため、ユーザは、多数の画面に画像を表示して同時に見る場合、注視している画面の画像の情報は認識できるが、周辺の画像については、詳細な情報は十分には理解できない。なお、ユーザの周辺視で認識可能な視野範囲を周辺視領域と称す。

このように、複数の画像を同時表示する場合、それらの画像を見ているユーザにとっては、どの画面にどのようなコンテンツが表示されているかは、一目では分からない。そのため、ユーザが目的のコンテンツを探索するのに時間がかかるという問題がある。また、ユーザが見たいコンテンツの探索に時間がかかることで、情報の取り逃しが発生することもある。

本発明は上記課題に鑑みてなされたものであり、複数の画像を同時表示する場合に、情報の取り逃しを防止し、ユーザが欲しい情報を効率よく取得できるようにすることを目的とする。

本発明は、表示部に表示されている複数の画像を見ているユーザの視線を検出する視線検出部と、視線検出部で検出した視線に基づいて、複数の画像の内、ユーザの周辺視領域に位置する画像を確定する周辺画像確定部とを備える。更に、周辺画像確定部で確定した周辺画像のコンテンツの属性を表すオブジェクトを、画像を表示させる画像信号に付加する画像処理部を備えるようにしたものである。更に、画像信号に付加するオブジェクトは、コンテンツの属性に対応する色を付けた有色のオブジェクトとする。

このように、ユーザが同時表示している複数の画像を見ている場合に、表示中のコンテンツの属性に応じたオブジェクトを画像に重畳して表示することにより、コンテンツの属性をユーザに通知することが可能になる。

本発明によると、複数の画像を同時表示する場合に、表示中のコンテンツの属性に応じたオブジェクトをユーザの周辺視領域に表示することにより、ユーザが容易にコンテンツの属性を認識することが可能になる。更に、表示するオブジェクトをコンテンツの属性に対応する色を付けた有色のオブジェクトとすることで、ユーザの周辺視による認識が可能で、細かい図柄等の区別をする必要のない、一瞥性の高い情報提供ができる。その結果、ユーザは見たいコンテンツを短時間で探索することができるため、情報の取り逃しを防ぐとともに、欲しい情報を効率よく取得することが可能になる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。

図１は、本実施の形態の例による画像信号生成装置１の構成例を示すブロック図である。画像信号生成装置１は、チューナなどの画像情報受信装置２から画像信号や音声信号などを取得する画像情報取得部１１と、キーボードやリモートコントローラなどの入力装置３を用いて、ユーザが選択、指示した情報を入力するユーザ指示入力部１２とを備える。更に画像信号生成装置１は、コンテンツ属性解析部１３、画像処理部１４、表示画像作成部１５、視線検出部１６を備える。また、ディスプレイなどの複数の表示部４を備え、表示画像作成部１５にて生成された画像信号を表示する。

本例では、画像情報取得部１１により表示部４に表示する複数の画像に関する情報を取得し、コンテンツ属性解析部１３にて各コンテンツの属性を解析する。コンテンツ属性解析部１３では、画像情報受信装置２から取得した画像信号、音声信号、ＥＰＧ（Electronic Program Guide：電子番組表）などの情報を基に解析を行い、当該コンテンツのジャンルや出演者などの属性を抽出し、分類する。次に、画像処理部１４では、コンテンツ属性解析部１３による解析結果を基に、コンテンツの画像上に重畳して表示するオブジェクトの色を決定する。そして、表示画像作成部１５では、視線検出部１６により検出したユーザの視線情報を基に周辺視領域を推定し、周辺視領域に位置する画像を確定し、それを基にオブジェクトの表示位置を決定する。最後に、表示画像作成部１５は、画像情報取得部１１から取得した画像信号に、決定した有色のオブジェクトを重畳し、表示部４に表示する。

なお、図１では、表示部４として複数のディスプレイなどの表示装置を備える構成としているが、図２に示すように、表示部４´として１台の表示装置を備える構成とすることもできる。この場合、１台の表示装置の表示画面を分割して、複数の画像を並べて表示させる。

次に、各部の処理内容について説明する。

ユーザ指示入力部１２は、キーボードやリモートコントローラなどの入力装置３を用いてユーザが選択、指示した情報を取得し、入力する。本例では、コンテンツの属性を解析して分類するが、そのコンテンツの分類内容は、画像を視聴しているユーザが入力装置３を用いて希望する分類内容を設定する。コンテンツの分類としては、放送番組のジャンルにより分類するものとして、報道番組／娯楽番組／スポーツ番組などの大まかなジャンル分類や、バラエティ番組／クイズ番組／音楽番組などの詳細なジャンル分類がある。また、出演者Ａ／出演者Ｂ／出演者Ｃといった出演者ごとの分類や、１０代男性／２０代女性といった制作者側が想定する視聴者層による分類などがある。本例では、予めコンテンツの分類内容に関する情報を属性リスト１８として登録しておき、その中からユーザが希望する分類内容を選択する。更に、予め設定した複数の分類内容の他に、ユーザが任意の分類内容をキーボードなどから入力し、設定できるように構成してもよい。なお、属性リスト１８の内容については、後述する。

コンテンツ属性解析部１３は、画像情報取得部１１にて取得したコンテンツの画像信号、音声信号、ＥＰＧなどの番組情報などの情報を解析し、ユーザ指示入力部１２によりユーザから指示されたコンテンツの分類内容に従ってコンテンツの属性を分類する。コンテンツの属性解析処理には、画像解析、音声解析、ＥＰＧ解析などの解析処理がある。画像解析、音声解析では、予め属性解析に用いるテンプレート情報１７を登録しておき、テンプレートとの比較などにより特徴抽出を行い、その特徴抽出結果からコンテンツの属性を解析する。また、ＥＰＧ解析では、ＥＰＧに含まれる番組名や出演者などの情報を基にキーワードを抽出し、その抽出結果からコンテンツの属性を解析する。各解析処理の内容を以下に説明する。

画像解析は、属性解析用のテンプレート画像と、解析対象の画像の画像信号のマッチング処理を行い、特徴抽出を行う。画像信号のマッチング処理としては、全画素の比較を行う処理や、輝度のヒストグラムの比較を行う処理などがある。これにより、ある分類のテンプレート画像との一致度を算出し、解析対象の画像がその分類の特徴をどの程度持っているかを判定する。また、画像解析は、画像信号のフレーム単位に実施し、１フレーム毎や数十フレーム毎など、一定の周期で繰り返し実行する。

音声解析は、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）ベースの音声認識などによる単語推定を行い、属性解析用のテンプレート音声との比較を行う。これにより、ある分類のテンプレート音声との一致度を算出し、解析対象の音声がその分類の特徴をどの程度持っているかを判定する。また、音声解析は、音声信号を一定時間に区切り、その時間内の音声信号から単語推定を行う処理を、繰り返し実行する。

ＥＰＧ解析は、まず、予め属性解析用のキーワード情報を分類毎にテンプレート情報１７に登録しておく。そして、解析対象のＥＰＧなどの番組情報から当該コンテンツのキーワードを抽出し、登録されている属性解析用のキーワードとの比較を行う。これにより、ある分類のキーワードとの一致度を算出し、解析対象のコンテンツのキーワードが、その分類の特徴をどの程度持っているかを判定する。

なお、画像や音声のテンプレート情報や、ＥＰＧ解析用のキーワードなどの情報は、本例の画像信号生成装置のサービス提供者がテンプレート情報１７として予め登録しておく。また、ユーザが、分類したい属性の特徴をよく表していると考えるコンテンツの中から特定の画像や音声を指定して登録することもできる。更に、ネットワークを介して本例の画像信号生成装置を複数接続する構成とすることもできる。その場合、ネットワーク上の各装置からアクセス可能な領域に共有のテンプレート情報を登録しておき、コンテンツ属性解析部１３によるマッチング処理に必要な情報を、共有のテンプレート情報を参照して用いることもできる。このように構成することで、属性解析用のテンプレート情報を他のユーザと共有することができ、属性解析により適したテンプレートを選択することができる。このように、テンプレート情報やキーワードなどの情報は、コンテンツ属性解析部の処理実行時に参照することができれば、どのような形態で登録しておいてもよい。

画像処理部１４は、コンテンツ属性解析部１３の解析結果を基に、ユーザから指示されたコンテンツの分類内容に合致する属性リスト１８を参照して、コンテンツの画像上に重畳して表示するオブジェクトの色を決定する。コンテンツの画像に重畳して表示するオブジェクトは、例えば表示中の画面に枠を付加して色分け表示するものや、特定の形状のシンボルを色分け表示するものなどがあるが、色による識別表示が可能なものであれば、これ以外のものでもよい。

表示画像作成部１５は、画像処理部１４の結果を基に、画像情報取得部１１から取得した画像信号に有色のオブジェクトを重畳し、表示部４に表示する。この際、重畳するオブジェクトの表示位置は、視線検出部１６により検出したユーザの視線を基に周辺視領域を推定し、それを基に決定する。

図３に、属性リスト１８のデータ構成例を示す。属性リスト１８は、コンテンツの分類内容に対応して複数定義しておくことができる。属性リスト１８は、分類内容を表すリスト名１８１と、分類する番組のジャンルなどを定義する分類項目１８２と、オブジェクトの表示色を定義する色１８３のデータを備える。ユーザが、希望する分類内容を指定すると、その分類内容に合致した属性リスト１８が選択され、コンテンツ属性解析部１３や画像処理部１４の処理において、そのリストを参照して処理を行う。

図４に、本例の視線検出部１６による視線検出例を示す。図４では、複数の画像を表示する表示部４に、表示部４を見ているユーザ５の視線検出用のセンサ４１を設ける構成としている。センサ４１は、ユーザ５の瞳孔の向きなどを検出するためのカメラと、ユーザまでの距離を測定するための装置などから成る。視線検出部１６は、これらのセンサ４１からの情報を基に、表示部４を見ているユーザ５の視線の中心点（以降注視点と称す）４２を判定する。更に、コンテンツの画像に重畳して表示するオブジェクトをユーザの周辺視領域４３に表示するため、視線検出部１６では、判定したユーザの注視点４２を基に、周辺視領域４３を推定する。周辺視領域４３は、予め注視点４２から所定の角度を設定しておき、注視点４２を中心とした所定の視野角度の範囲を周辺視領域４３とする。なお、一般的には、注視点から±３０度程度の範囲が望ましい。また、周辺視の範囲は、個人差があるため、予めユーザの視野を測定する処理部を設け、その測定結果を基に周辺視領域を推定するような構成としてもよい。

なお、本例では、ユーザの周辺視領域に位置する画面に表示されるコンテンツについてオブジェクトを表示するように説明しているが、表示部４に表示されるすべてのコンテンツについて、属性を表すオブジェクトを表示するようにしてもよい。

次に、本例の処理の詳細について説明する。

図５に、本例による画像信号生成処理の全体の処理例を表すフローチャートを示す。まず、ユーザがリモートコントローラなどの入力装置３を用いて選択、指示した情報をユーザ指示入力部１２により入力する（ステップＳ５０１）。ユーザが指示する情報は、表示部４に表示するコンテンツの種類やテレビジョン放送のチャンネル、コンテンツの属性を表すオブジェクトの表示有無、コンテンツの分類内容などである。次に、入力したユーザからの指示情報を基に、コンテンツの属性を表すオブジェクト表示を行うか否かを判定する（ステップＳ５０２）。判定の結果、オブジェクト表示ありの場合は、以降の処理を行い、オブジェクト表示なしの場合は以降の処理は行わず、ステップＳ５０６の処理へ移る。

オブジェクト表示ありの場合は、まず、画像情報取得部１１により取得した画像情報と、ユーザから指示されたコンテンツの分類内容を基にコンテンツ属性解析部１３による属性解析処理を行う（ステップＳ５０３）。コンテンツ属性解析処理の詳細は図６に示す。次に、属性解析結果を基に、画像処理部１４によるオブジェクト決定処理を行う（ステップＳ５０４）。オブジェクト決定処理の詳細は図１１に示す。次に、視線検出部１６によるユーザの視線検出結果を基に、表示画像作成部１５によるオブジェクト位置決定処理を行う（ステップＳ５０５）。オブジェクト位置決定処理の詳細は図１２に示す。そして、表示画像作成部１５は、画像情報取得部１１で取得した画像信号に対して、ステップＳ５０５で決定した表示位置に有色のオブジェクトを重畳して、表示画像を作成する（ステップＳ５０６）。なお、ステップＳ５０２の判定の結果、ユーザ指示にオブジェクト表示がなかった場合は、オブジェクトの重畳処理は行わず、通常の表示画像の作成を行う。

最後に、ユーザからの指示情報を取得し、表示終了指示があるかを判定する（ステップＳ５０７）。判定の結果、表示終了指示がある場合は、終了処理を行う（ステップＳ５０８）。判定の結果、表示終了指示がない場合は、最初のステップＳ５０１へ戻り処理を繰り返す。

このように、本例の画像信号生成処理は、ユーザから表示終了指示が入力されるまでの間、ユーザからの指示に従って一定周期で処理を繰り返す。

図６に、図５のステップＳ５０３のコンテンツ属性解析処理の処理例を表すフローチャートを示す。コンテンツ属性解析処理は、まず、属性解析対象のコンテンツから１つを選択する（ステップＳ６０１）。次に選択したコンテンツ（ｉ）の内容が変化したかを判定する（ステップＳ６０２）。判定の結果、コンテンツの内容が変化した場合は、コンテンツ（ｉ）の属性（ｊ）に対する評価値（Ｅ_ｉｊ）を初期化する（ステップＳ６０３）。ここで、コンテンツ属性解析処理では、ユーザが指示した分類内容、例えばコンテンツの番組のジャンルなどの分類項目ごとに、解析対象のコンテンツが各分類項目の特徴に合致する程度を評価値（Ｅ_ｉｊ）で表す。そして、属性解析処理を繰り返すことにより、各分類項目の評価値を積算していき、評価値が所定の値を超えた場合に当該コンテンツがその分類項目に分類されると判断する。そのため、コンテンツの内容が変化した場合は、この分類項目毎の属性に対する評価値を初期化し、内容が変化しない場合は、初期化せずに処理を続ける。

次に、コンテンツの属性解析として、画像解析処理（ステップＳ６０４）、音声解析処理（ステップＳ６０５）、ＥＰＧ解析処理（ステップＳ６０６）を行い、これらの解析処理の結果を基にコンテンツ（ｉ）の属性推定処理（ステップＳ６０７）を行う。各処理の詳細は後述する。最後に、すべてのコンテンツの解析処理を行ったかを判定し（ステップＳ６０８）、処理していないコンテンツがある場合は、ステップＳ６０１へ戻り処理を繰り返す。判定の結果、すべてのコンテンツに対する処理を実行した場合は、処理を終了する。

図７に、図６のステップＳ６０４の画像解析処理の処理例を表すフローチャートを示す。画像解析処理は、図６に示したコンテンツ属性解析処理で選択されたコンテンツ（ｉ）の画像情報を入力し、テンプレート画像とのマッチングを行うことで属性解析を行う。

まず、属性を表す変数（ｊ）を初期化する（ステップＳ７０１）。次に変数（ｊ）に１加算し（ステップＳ７０２）、属性（ｊ）のテンプレート画像をテンプレート情報１７から読み込む（ステップＳ７０３）。そして、コンテンツ（ｉ）の画像情報と読み込んだテンプレート画像の画素を比較し、その差分の総和を計算する（ステップＳ７０４）。次に、差分の総和が閾値未満かを判定し（ステップＳ７０５）、閾値未満の場合は、コンテンツ（ｉ）の属性（ｊ）に対する評価値（Ｅ_ｉｊ）に評価値（α）を加算する（ステップＳ７０６）。判定の結果、差分の総和が閾値以上の場合は、評価値は更新しない。最後に、属性を表す変数（ｊ）が、ユーザの指示した分類項目に対応する属性リストに含まれる属性数より大きいかを判定する（ステップＳ７０７）。判定の結果、属性数より大きい場合は、すべての属性に対する解析処理が終了したため、本処理を終了する。判定の結果、変数（ｊ）が属性数より小さい場合は、ステップＳ７０２へ戻り次の属性に関して処理を繰り返す。

上記画像解析処理の結果、選択されたコンテンツ（ｉ）の画像情報を基に、各属性に対する評価値が更新される。

なお、本処理では、コンテンツ（ｉ）の画像情報とテンプレート画像とのマッチングは、コンテンツ（ｉ）の解析対象のフレームの画素と、テンプレート画像の画素とを比較してその差分を抽出する処理としているが、その他の処理でマッチングを行ってもよい。例えば、画像の輝度のヒストグラムを比較して、その一致度を算出する処理でもよい。

図８に、図６のステップＳ６０５の音声解析処理の処理例を表すフローチャートを示す。音声解析処理は、図６に示したコンテンツ属性解析処理で選択されたコンテンツ（ｉ）に付加されている音声情報を入力し、テンプレート音声とのマッチングを行うことで属性解析を行う。

まず、属性を表す変数（ｊ）を初期化する（ステップＳ８０１）。次に変数（ｊ）に１加算し（ステップＳ８０２）、属性（ｊ）のテンプレート音声をテンプレート情報１７から読み込む（ステップＳ８０３）。次に、コンテンツ（ｉ）の直近の音声情報から単語を抽出する（ステップＳ８０４）。単語の抽出処理は、例えば、ＨＭＭベースの音声認識による単語推定を行い、直近の一定時間内の音声情報から認識できる単語を抽出する処理としているが、他の処理でもよい。そして、コンテンツ（ｉ）から抽出した単語と、読み込んだテンプレート音声に含まれる単語とを比較し、共通の単語数を計算する（ステップＳ８０５）。計算された共通単語数をＳ１とする。次に、共通単語について、発話または発音の特徴を推定するために、発話時間、ピッチ、パワーを比較し、その差分を演算して類似度を算出する（ステップＳ８０６）。発話時間の差分はＴｉｍｅ_ｄｉｆｆ、ピッチの差分はＰｉｔｃｈ_ｄｉｆｆ、パワーの差分はＰｏｗｅｒ_ｄｉｆｆとし、それらの差分に各々の係数を掛けて合算したものを類似度Ｓ２とする。類似度Ｓ２は、以下の式により算出する。

〔数１〕
Ｓ２＝Ｗ_ｔｉｍｅＴｉｍｅ_ｄｉｆｆ＋Ｗ_{ｐｉｔｃｈ}Ｐｉｔｃｈ_ｄｉｆｆ＋Ｗ_{ｐｏｗｅｒ}Ｐｏｗｅｒ_ｄｉｆｆ

次に、共通単語数Ｓ１と類似度Ｓ２が、予め設定されたそれぞれの閾値より大きいかを判定する（ステップＳ８０７）。判定の結果、Ｓ１、Ｓ２ともに閾値より大きい場合は、コンテンツ（ｉ）の属性（ｊ）に対する評価値（Ｅ_ｉｊ）に評価値（β）を加算する（ステップＳ８０８）。判定の結果、Ｓ１またはＳ２が閾値以下の場合は、評価値は更新しない。最後に、属性（ｊ）が、ユーザの指示した分類項目に対応する属性リストに含まれる属性数より大きいかを判定する（ステップＳ８０９）。判定の結果、属性数より大きい場合は、すべての属性に対する解析処理が終了したため、本処理を終了する。判定の結果、変数（ｊ）が属性数より小さい場合は、ステップＳ８０２へ戻り次の属性に関して処理を繰り返す。

上記音声解析処理の結果、選択されたコンテンツ（ｉ）の音声情報を基に、各属性に対する評価値が更新される。

なお、本処理では、コンテンツ（ｉ）の音声情報とテンプレート音声とのマッチングは、共通単語数と発話または発音の特徴を推定して類似度を判定する処理としているが、その他の処理でマッチングを行ってもよい。例えば、発話または発音の特徴から感情などを推定し、それを基に比較してマッチンングを行い、その一致度を算出するような処理でもよい。

図９に、図６のステップＳ６０６のＥＰＧ解析処理の処理例を表すフローチャートを示す。ＥＰＧ解析処理は、図６に示したコンテンツ属性解析処理で選択されたコンテンツ（ｉ）に付加されている番組情報を入力し、属性毎に登録されているキーワードとのマッチングを行うことで属性解析を行う。

まず、コンテンツ（ｉ）の番組情報からキーワードを抽出する（ステップＳ９０１）。キーワードは、ＥＰＧなどの番組情報から、番組名やサブタイトル、番組出演者名、その他のコメントなどを検索し、単語を抽出する。次に、属性を表す変数（ｊ）を初期化する（ステップＳ９０２）。次に変数（ｊ）に１加算する（ステップＳ９０３）。次に、キーワードを表す変数（ｋ）を初期化する（ステップＳ９０４）。次に変数（ｋ）に１加算する（ステップＳ９０５）。そして、属性（ｊ）に属するキーワードをテンプレート情報１７から読み込み、コンテンツ（ｉ）から抽出したｋ番目のキーワード（ｋ）と比較する（ステップＳ９０６）。そして、一致するキーワードがあるかを判定する（ステップＳ９０７）。判定の結果、一致する場合は、コンテンツ（ｉ）の属性（ｊ）に対する評価値（Ｅ_ｉｊ）に評価値（Ｗ_ｃｊｋγ）を加算する（ステップＳ９０８）。ここで、評価値に掛けている係数（Ｗ_ｃｊｋ）は、予めキーワード毎に定義したものである。属性（ｊ）には複数のキーワードが属しているが、それらのキーワードが属性（ｊ）の特徴を表す程度はそれぞれ異なため、属性（ｊ）の評価値を算出する際にキーワード毎に重み付けを変える必要がある。そのため、評価値を算出する際に、コンテンツ（ｉ）から抽出したキーワードが一致した属性（ｊ）のキーワードを基に、当該キーワードに設けられた係数を掛けて評価値を更新する。ステップＳ９０７の判定の結果、キーワードが一致しない場合は、評価値は更新しない。

次に、変数（ｋ）が抽出したキーワード数より大きいかを判定し（ステップＳ９０９）、変数（ｋ）がキーワード数より大きい場合は、コンテンツ（ｉ）から抽出したすべてのキーワードについて属性（ｊ）に関する処理が終了したため、次に進む。判定の結果、変数（ｋ）がキーワード数より小さい場合は、まだ処理していないキーワードがあるため、ステップＳ９０５に戻り次のキーワードに関する処理を繰り返す。次に、属性（ｊ）がユーザの指示した分類項目に対応する属性リストに含まれる属性数より大きいかを判定し（ステップＳ９１０）、属性数より大きい場合はすべての属性に対する解析処理が終了したため、本処理を終了する。判定の結果、変数（ｊ）が属性数より小さい場合は、ステップＳ９０３へ戻り次の属性に関する処理を繰り返す。

上記ＥＰＧ解析処理の結果、選択されたコンテンツ（ｉ）の番組情報を基に、各属性に対する評価値を更新する。

このように、上記説明では、コンテンツ属性解析処理として、画像解析処理、音声解析処理、ＥＰＧ解析処理を順次行い、各属性に対する評価値を積算していくことで、総合的に属性を評価する。なお、ユーザの指示した分類項目が番組の出演者による分類のような場合は、ＥＰＧ解析処理のみを行うなど、解析処理を単独で行ったり、２つの解析処理の組み合わせで処理するようにしてもよい。

図１０に、図６のステップＳ６０７の属性推定処理の処理例を表すフローチャートを示す。属性推定処理は、上記説明した画像解析処理、音声解析処理、ＥＰＧ解析処理の解析結果を基にコンテンツの属性を推定する。

まず、属性リスト１８からユーザの指示した分類項目に対応する属性リスト（Ｌｎ）の情報を読み込む（ステップＳ１０１）。次に、コンテンツ（ｉ）に関する解析処理の結果、算出された属性に対する評価値を参照し、属性リスト（Ｌｎ）の分類による属性（ｊ）の評価値（Ｅ_ｉｊ）の最大値を抽出する（ステップＳ１０２）。次に、抽出した評価値（Ｅ_ｉｊ）が予め設定された閾値（Ｔｊ）より大きいかを判定する（ステップＳ１０３）。判定の結果、評価値（Ｅ_ｉｊ）が閾値（Ｔｊ）より大きい場合は、属性リスト（Ｌｎ）の分類によるコンテンツ（ｉ）の属性を属性（ｊ）とする（ステップＳ１０４）。判定の結果、評価値（Ｅ_ｉｊ）が閾値（Ｔｊ）以下の場合は、属性リスト（Ｌｎ）中にマッチする属性はなしとする（ステップＳ１０５）。

以上説明したように、コンテンツ属性解析部１３によるコンテンツ属性解析処理にて、コンテンツ（ｉ）の属性を解析し、属性リスト中のどの属性に属するかを判定することで、コンテンツの属性を分類することができる。なお、コンテンツの内容が変化した直後は、各属性に対する評価値の蓄積が少ないため、属性の分類ができない場合があるが、本処理を繰り返すことにより、評価値が積算されていくため、正しい分類ができるようになる。

図１１に、図５のステップＳ５０４のオブジェクト決定処理の処理例を表すフローチャートを示す。オブジェクト決定処理では、コンテンツ属性解析部１３による属性解析結果を基に、画像処理部１４にて、コンテンツに重畳表示するオブジェクトを決定する。

まず、属性リスト１８からユーザの指示した分類項目に対応する属性リスト（Ｌｎ）の情報を読み込む（ステップＳ１１１）。次に、コンテンツから１つを選択する（ステップＳ１１２）。そして、選択したコンテンツ（ｉ）の属性解析結果を基に、属性リスト（Ｌｎ）の分類によるコンテンツ（ｉ）の属性（ｊ）を抽出する（ステップＳ１１３）。そして、当該コンテンツ（ｉ）にマッチした属性があるかを判定する（ステップＳ１１４）。判定の結果、マッチした属性がある場合は、読み込んだ属性リスト（Ｌｎ）を参照し、該当する属性（ｊ）に定義されている色を、コンテンツ（ｉ）のオブジェクト色とする（ステップＳ１１５）。例えば、ユーザが図３に示す属性リスト１８のリスト２を選択し、コンテンツ（ｉ）の属性（ｊ）が「クイズ番組」だった場合、オブジェクトの色は、黄色になる。

ステップＳ１１４の判定の結果、マッチした属性がない場合は、当該コンテンツ（ｉ）に関するオブジェクトの重畳表示はなしとする（ステップＳ１１６）。最後に、すべてのコンテンツについて処理したかを判定し（ステップＳ１１７）、処理していないコンテンツがある場合は、ステップＳ１１２へ戻り処理を繰り返す。判定の結果、すべてのコンテンツに対して処理を実行した場合は、本処理を終了する。

図１２に、図５のステップＳ５０５のオブジェクト位置決定処理の処理例を表すフローチャートを示す。オブジェクト位置決定処理では、オブジェクト決定処理にて決定したコンテンツに重畳表示するオブジェクトの表示位置を、ユーザの周辺視領域を基に決定する。本処理は、視線検出部１６が視線検出用のセンサ４１から取得した情報を基にユーザの周辺視領域４３を算出する処理と、その情報を基に、表示画像作成部１５にて、オブジェクトの表示位置を決定する処理から成る。

まず、視線検出部１６において、センサ４１が検出したユーザ５の注視点４２の位置と、センサ４１が測定したユーザ５と注視点４２との間の距離を取得する（ステップＳ１２１）。次に、注視点４２の位置と、ユーザ５と注視点４２間の距離の情報を基に、表示部４上におけるユーザ５の周辺視領域４３を算出する（ステップＳ１２２）。次に、表示画像作成部１５において、視線検出部１６が算出した周辺視領域４３を基に、周辺視領域４３内に表示できないオブジェクトがあるかを判定する（ステップＳ１２３）。ここで、コンテンツに重畳表示するオブジェクトは、画面の枠や、特定の形状のシンボルなど、予め決定された表示種別とする。そして、その種別のオブジェクトを予め決められた所定の位置に表示した場合に、ユーザの周辺視領域４３内に表示できるかを判定する。例えばオブジェクトの表示種別が画面枠の場合は、枠が周辺視領域内に一部入っていれば表示できると判定し、画面枠全体が周辺視領域４３の外に位置するものがある場合は、周辺視領域内に表示できないオブジェクトありと判定する。

ステップＳ１２３の判定の結果、周辺視領域４３内に表示できないオブジェクトがある場合は、注視点４２に位置する画面の画像内にすべてのオブジェクトを表示するように、オブジェクト表示位置を変更する（ステップＳ１２４）。ここで、例えば、表示するオブジェクトが特定の形状のシンボルの場合、注視点４２と各コンテンツの画像とを結ぶ直線上にオブジェクトを配置し、そのオブジェクトが注視点４２に位置するコンテンツの画像内に位置するように移動させ、重畳して表示する。なお、ユーザ５の周辺視領域４３内にオブジェクトを移動させて表示する表示処理は、これ以外にもあるため、他の表示処理で表示してもよい。ステップＳ１２３の判定の結果、周辺視領域４３内にすべてのオブジェクトが表示できる場合は、各コンテンツの画像内にオブジェクトを表示する（ステップＳ１２５）。

コンテンツに重畳表示するオブジェクトは、コンテンツの属性を表し、ユーザが容易に識別可能なものである必要がある。そのため、本例では、ユーザの周辺視領域でも認識が可能で、細かい図柄等を判別する必要がなく、一瞥性が高い色の情報を適用し、コンテンツの属性に合わせた有色のオブジェクトを呈示する。オブジェクトとしては、例えば表示部の画面の外周に枠を設け、その枠を色替え表示する。また、表示中のコンテンツの一部に、識別が容易な特定の形状のシンボルを重ねて色替え表示してもよい。このようなオブジェクトの表示種別は、予めどの種別で表示するかを決定しておくが、複数の表示種別の中からユーザが任意の表示種別を選択できるようにしてもよい。

図１３に、９台のディスプレイから成る表示部４に、それぞれコンテンツの画像とオブジェクトを表示する場合の表示例を示す。図１３では、コンテンツの属性をそれぞれの画面の枠の色により呈示する例を示している。ここでは、ユーザの注視点が中央の画像にあり、ユーザの周辺視領域４３内にすべてのコンテンツのオブジェクト、ここでは枠の一部が表示されている。

図１４に、２５台のディスプレイから成る表示部４″にコンテンツの画像とオブジェクトを表示する場合の表示例を示す。図１４では、図１３と同様に、コンテンツの属性を画面の枠の色により呈示するが、ここでは、ユーザの周辺視領域４３内に位置するディスプレイに表示するコンテンツの画像に対してオブジェクトを表示し、ユーザの周辺視領域４３の外に位置するディスプレイに表示するコンテンツに対してはオブジェクトを表示しない。このように、表示部に表示するコンテンツの一部にのみオブジェクト表示を行ってもよい。

図１５に、９台のディスプレイから成る表示部４に、画面枠以外の表示種別のオブジェクトを表示する場合の表示例を示す。図１５では、表示種別として特定の形状、ここでは、星型のオブジェクトに色を付けて呈示する例を示している。なお、ここでは、星形のオブジェクトがユーザの周辺視領域４３内に表示できるように、各コンテンツに対応するオブジェクトを当該コンテンツの画像のうち周辺視領域４３に属する位置にオブジェクトを配置している。そのため、ユーザの注視点が位置する中央のディスプレイに表示するコンテンツのオブジェクトは、画像の中心部に配置しているが、例えば、注視点の位置するディスプレイの上側に位置するディスプレイに表示しているコンテンツの場合は、オブジェクトを画像の下部に配置している。このように、オブジェクトが特定の形状のシンボルなどの場合は、各コンテンツの画像の中で、かつユーザの周辺視領域４３内に位置する場所にシンボルを配置することで、ユーザが容易に認識できるようにする。

図１６に、図１５と同様に９台のディスプレイから成る表示部４に、星型のオブジェクトを表示する場合の例で、ユーザの注視点が図１５の位置から移動した場合の表示例を示す。図１５では、ユーザの注視点は、表示部４のほぼ中央部、中央のディスプレイの辺りにあったが、図１６では、右中段のディスプレイに移動している。このように、ユーザの注視点の移動により、各コンテンツの画像上にオブジェクトを配置すると、ユーザの視野範囲から外れ、ユーザの周辺視で色を認識することが困難となる。そのため、注視点と各画像を結ぶ直線上にオブジェクトを配置、つまり各画像の位置関係と各画像に対応するオブジェクトの位置関係を保つようにオブジェクトを配置し、そのオブジェクトを注視点のある画像内に表示するように移動し、呈示する例を示している。

このように、コンテンツの属性を呈示するオブジェクトには様々なものがあり、上記以外の表示種別でもよい。これらのオブジェクトをユーザの注視点とその周辺視領域を基に、ユーザの周辺視で認識が可能な位置に呈示することにより、各コンテンツの概要を素早く認識させることができる。また、ユーザが容易に目的とするコンテンツを探索することができるため、情報の取り逃がしの問題を軽減することができる。

また、図１に示した構成では、本実施の形態の処理を実行する処理部を備えた画像信号生成装置としたが、それら処理部の処理と同様の処理を行うプログラム（ソフトウェア）を用意し、そのプログラムを、コンピュータ装置などの情報処理装置に実装してもよい。このようにすることで、情報処理装置が、画像信号生成装置として機能するようになる。コンピュータ装置などに実装させるプログラムは、各種記憶媒体に記憶（記録）させて、配布すればよい。或いは、インターネットなどの伝送媒体を介してユーザに配布してもよい。

本発明の一実施の形態による構成例を示すブロック図である。 本発明の他の実施の形態による構成例を示すブロック図である。 本発明の一実施の形態による属性リストのデータ構成例を示す説明図である。 本発明の一実施の形態による視線検出例を示す説明図である。 本発明の一実施の形態による画像信号生成処理例を示すフローチャートである。 本発明の一実施の形態によるコンテンツ属性解析処理例を示すフローチャートである。 本発明の一実施の形態による画像解析処理例を示すフローチャートである。 本発明の一実施の形態による音声解析処理例を示すフローチャートである。 本発明の一実施の形態によるＥＰＧ解析処理例を示すフローチャートである。 本発明の一実施の形態による属性推定処理例を示すフローチャートである。 本発明の一実施の形態によるオブジェクト決定処理例を示すフローチャートである。 本発明の一実施の形態によるオブジェクト位置決定処理例を示すフローチャートである。 本発明の実施の形態によるオブジェクト表示例（１）を示す説明図である。 本発明の実施の形態によるオブジェクト表示例（２）を示す説明図である。 本発明の実施の形態によるオブジェクト表示例（３）を示す説明図である。 本発明の実施の形態によるオブジェクト表示例（４）を示す説明図である。

符号の説明

１…画像信号生成装置、２…画像情報受信装置、３…入力装置、４、４´、４″…表示部、５…ユーザ、１１…画像情報取得部、１２…ユーザ指示入力部、１３…コンテンツ属性解析部、１４…画像処理部、１５…表示画像作成部、１６…視線検出部、１７…テンプレート情報、１８…属性リスト、４１…センサ、４２…注視点、４３…周辺視領域

Claims (12)

1. 表示部に表示されている複数の画像を見ているユーザの視線を検出する視線検出部と、
   前記視線検出部で検出した視線に基づいて、前記複数の画像の内、ユーザの周辺視領域に位置する画像を確定する周辺画像確定部と、
   前記周辺画像確定部で確定した周辺画像のコンテンツの属性を表すオブジェクトを、前記画像を表示させる画像信号に付加する画像処理部とを備えた
   画像信号生成装置。
2. 前記画像処理部は、前記視線検出部で検出した視線を中心とした周辺視領域内に、前記オブジェクトを表示させる
   請求項１記載の画像信号生成装置。
3. 前記表示部に表示されているコンテンツの特徴量を基に属性を解析する属性解析部を備え、
   前記画像処理部は、前記属性解析部で解析したコンテンツの属性を基に、オブジェクトを決定し、前記画像信号に付加する
   請求項２記載の画像信号生成装置。
4. 前記属性解析部で解析するコンテンツの特徴量は、前記コンテンツの画像と属性解析用のテンプレート画像の画素値を比較することにより抽出する
   請求項３記載の画像信号生成装置。
5. 前記属性解析部で解析するコンテンツの特徴量は、前記コンテンツの画像と属性解析用のテンプレート画像の輝度のヒストグラムを比較することにより抽出する
   請求項３記載の画像信号生成装置。
6. 前記属性解析部で解析するコンテンツの特徴量は、前記コンテンツに付加された音声信号と属性解析用のテンプレート音声信号を解析し、抽出した単語を比較することにより抽出する
   請求項３記載の画像信号生成装置。
7. 前記属性解析部で解析するコンテンツの特徴量は、前記コンテンツに付加された番組情報から抽出した単語と属性解析用の単語とを比較することにより抽出する
   請求項３記載の画像信号生成装置。
8. 前記画像処理部で画像信号に付加するオブジェクトは、前記属性解析部で解析したコンテンツの属性に対応する色を付けた有色のオブジェクトである
   請求項３記載の画像信号生成装置。
9. 前記画像処理部が処理した画像信号を表示させる表示部を備えた
   請求項１記載の画像信号生成装置。
10. 表示されている複数の画像を見ているユーザの視線を検出し、
    前記検出した視線に基づいて、前記複数の画像の内、ユーザの周辺視領域に位置する画像を確定し、
    前記確定した周辺画像のコンテンツの属性を表すオブジェクトを、前記画像を表示させる画像信号に付加する
    画像信号生成方法。
11. 表示されている複数の画像を見ているユーザの視線を検出し、
    前記検出した視線に基づいて、前記複数の画像の内、ユーザの周辺視領域に位置する画像を確定し、
    前記確定した周辺画像のコンテンツの属性を表すオブジェクトを、前記画像を表示させる画像信号に付加する処理を、情報処理装置に実装して実行させる
    プログラム。
12. 請求項１１に記載のプログラムを記憶した
    記憶媒体。

Images