JP2019153952A - ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラム - Google Patents

Abstract

【課題】放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示することができる技術を提供すること。【解決手段】放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御部と、前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期部とを有するヘッドマウントディスプレイである。【選択図】図１

Description

本発明はヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラムに関する。

従来、テレビ受信機以外の端末等をセカンドスクリーンとし、放送番組と連動するコンテンツをセカンドスクリーンに表示する技術がある。一方、ヘッドマウントディスプレイを用いて仮想空間を提供する技術がある。

しかし、ヘッドマウントディスプレイをセカンドスクリーンとし、放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示するものはなかった。

そこで、本発明は放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示することができるヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラムを提供することにある。

本発明の一態様は、放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御部と、前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期部とを有するヘッドマウントディスプレイである。

本発明の一態様は、ヘッドマウントディスプレイと、前記オブジェクトの仮想的な空間表示に対応して、前記オブジェクトの触覚を再現する触覚体験手段とを有するヘッドマウントディスプレイシステムである。

本発明の一態様は、放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御処理と、前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期処理とをコンピュータに実行させるプログラムである。

本発明は、放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示することができる。

図１は、本発明の実施の形態の概要を説明するためのブロック図である。 図２は、ヘッドマウントディスプレイ５のブロック図である。 図３は、本発明の実施の形態の概要を説明するための図である。 図４は、本発明の実施の形態の概要を説明するための図である。 図５は、本発明の実施の形態の概要を説明するための図である。 図６は、本発明の実施の形態の概要を説明するための図である。 図７は、本発明の第２の実施の形態の概要を説明するためのブロック図である。

＜第１の実施の形態＞
本発明の実施の形態を説明する。

図１は、本発明の実施の形態の概要を説明するためのブロック図である。図１中、１は放送局、２はテレビ受信機、３は管理サーバ、４はインターネット、５はヘッドマウントディスプレイである。

放送局１は、テレビ受信機に表示される番組を放送する。この番組は、ヘッドマウントディスプレイ５に表示されるコンテンツと連動する番組である。番組の種類は問わないが、例えば、ドラマ、野球等のスポーツ中継や、歌謡番組等である。また、放送局１は、番組に連動するコンテンツのオブジェクトの表示タイミングや、表示内容の更新等の指示を行う。指示は、後述する同期情報により行われる。

管理サーバ３は、コンテンツをヘッドマウントディスプレイ５に表示するためのオブジェクトの３次元データ、及び、その３次元データを用いて、仮想現実空間にオブジェクトを表示するためのプログラムを格納している。そして、オブジェクトの３次元データ及びプログラムを、ヘッドマウントディスプレイ５に要求に応じて送信する。尚、３次元データ及びプログラムを、以下、基本データと記載する場合がある。

ヘッドマウントディスプレイ５は、図２に示す如く、表示制御部５１と、同期部５２とを備えている。

表示制御部５１は、オブジェクトの３次元データ及びプログラムにより、仮想現実空間にコンテンツの各オブジェクトを表示する。尚、ヘッドマウントディスプレイ５は、視界画像が光学的透過されて表示される光学透過型ヘッドマウントディスプレイ（スマートグラス）や、視界画像が撮影されて表示されるビデオ透過型ヘッドマウントディスプレイ等があるが、いずれのものでも良い。また、これに限らず、例えば、スマートフォンを装着できるゴーグルに、スマートフォンを装着してヘッドマウントディスプレイ（ＨＭＤ）と同様な機能を実現しても良い。

ここで、仮想現実空間に表示されるコンテンツは、放送局１から放送され、テレビ受信機に表示される番組と連動するコンテンツである。ここで、番組と連動するコンテンツとは、番組の継時的な所定のタイミングで、番組を補完する情報が表示されるコンテンツをいう。そして、番組を補完する情報は、ヘッドマウントディスプレイ５に表示される各オブジェクトである。

図３は、番組が野球中継である場合に、番組に連動するコンテンツの一例を示した図である。図３では、コンテンツのオブジェクトは、その野球の試合に出場している選手のオブジェクトや、スコアボードのオブジェクト等である。そして、野球中継において、打席に立っている選手のオブジェクトや選手情報のオブジェクトが、そのタイミングで表示される。また、スコアボードのオブジェクトも、点数が追加、変更されるタイミングで、その点数のオブジェクトが変更されて表示される。

上述した番組とコンテンツとを連動させるため、ヘッドマウントディスプレイ５は、放送局１が指定するタイミング及び内容で、表示制御部５１によるオブジェクトの表示を同期させる同期部５２を有する。放送局１が指定するタイミングは、同期情報により得ることができる。ここで、同期情報は、放送局１が指定するタイミングで、コンテンツのオブジェクトを、ヘッドマウントディスプレイ５に表示する時刻情報等である。但し、同期情報は、時刻情報のみならず、ヘッドマウントディスプレイ５にオブジェクトを表示するためのリアルタイムデータを含めても良い。リアルタイムデータとは、放送番組から取得できるリアルタイムのデータであって、放送番組が野球中継であって、コンテンツのオブジェクトが野球の試合に出場している選手のオブジェクトである場合は、試合中のその選手のスイング速度、スコアボードのオブジェクトの場合は、試合の経過とともに変化する点数の情報等である。そして、同期情報の取得及び同期方法であるが、以下のような方法がある。

（１）管理サーバ３から同期情報を取得する方法
（ｉ） 管理サーバ３からヘッドマウントディスプレイ５に同期情報を送信する方法である。ヘッドマウントディスプレイ５は、インターネット４経由で、管理サーバ３に接続し、同期情報の受信を待機する。管理サーバ３は、放送局１が指定するタイミングで接続されたすべてのヘッドマウントディスプレイ５に同期情報を一斉に送信する。同期情報を受信したヘッドマウントディスプレイ５の同期部５２は、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（ｉｉ） 管理サーバ３から送信する同期情報であるが、より正確にタイミングを合わせる方法として、以下の方法がある。

前提条件として、放送局、スマートグラスとも適正な日時に設定されていることとする。まず、ヘッドマウントディスプレイ５は、テレビ受信機２から番組の音声を収録する。そして、収録した音声と収録日時データを、管理サーバ３に送信する。管理サーバ３は、収録した音声と収録日時とから、各テレビ受信機２の処理時間の相違やネットワーク遅延などで生じる各ヘッドマウントディスプレイ５の差分時間を計算する。そして、ヘッドマウントディスプレイ５に、計算した差分時間を送信する。ヘッドマウントディスプレイ５では、受信した差分時間を考慮して、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

このようにすれば、番組とより正確なタイミングで同期を取ることが出来る。

（２）基本データから同期情報を取得する方法
管理サーバ３が提供するコンテンツのプログラムの中に、予め放送局が指定した同期情報を含めておく。ヘッドマウントディスプレイ５の同期部５２は、プログラム中の同期情報内の実行日時情報に基づいて、ヘッドマウントディスプレイ５の内部時計がその日時以降になった時点で、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（３）テレビ音声から同期情報を取得する方法
（ｉ）放送局１は、放送する番組の音声に、所定の同期情報を含む音声フィンガープリント（音響透かし）を挿入しておく。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２から出力される音声から、音声フィンガープリント（音響透かし）を検出し、その同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（ｉｉ） テレビ音声から取得する同期情報であるが、より正確にタイミングを合わせる方法として、以下の方法がある。

前提条件として、放送局、スマートグラスとも適正な日時に設定されていることとする。ヘッドマウントディスプレイ５は、テレビ受信機２が発する音声の可聴領域または非可聴領域から、当該技術を用いて記録された日時情報を認識する。次に、ヘッドマウントディスプレイ５は、収録した音声と収録日時とから、各テレビ受信機２の処理時間の相違などで生じる差分時間を計算する。そして、ヘッドマウントディスプレイ５は、この差分時間を考慮して、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（４）番組の映像から同期情報を取得する方法
（ｉ）放送局１は、放送する番組の映像に、所定の同期情報を含む電子透かしを挿入しておく。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２に表示される映像から電子透かしを検出し、その同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（ｉｉ）更に、番組の映像に電子透かしではなく、所定の同期情報を含むＱＲコード（登録商標）等のマーカを表示するようにしても良い。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２に表示される映像中のマーカを検出し、その同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（ｉｉｉ） 番組映像から取得する同期情報であるが、より正確にタイミングを合わせる方法として、以下の方法がある。

前提条件として、放送局、スマートグラスとも適正な日時に設定されていることとする。ヘッドマウントディスプレイ５は、テレビ受信機２に表示される映像から、当該技術を用いて記録された日時情報を認識する。次に、ヘッドマウントディスプレイ５は、収録した映像と収録日時とから、各テレビ受信機２の処理時間の相違などで生じる差分時間を計算する。そして、ヘッドマウントディスプレイ５は、この差分時間を考慮して、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

（５）ハイブリッドキャストから同期情報を取得する方法
テレビ受信機２がハイブリッドキャスト規格に対応している場合、ヘッドマウントディスプレイ５は、ハイブリッドキャスト規格でテレビ受信機２に接続しておく。テレビ受信機２では、放送信号のデータ放送領域内のイベントメッセージを監視する。放送局１は、番組中で同期させたいタイミンクで、同期情報が格納されたイベントメッセージを放送する。テレビ受信機２では、放送局１から放送されたイベントメッセージを検出し、そのイベントメッセージの同期情報を解析し、ヘッドマウントディスプレイ５に送信する。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２から送信された同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。

このような方法により、テレビ受信機２に表示される番組と、ヘッドマウントディスプレイ５に表示されるコンテンツのオブジェクトの表示とを、放送局の指定するタイミングで同期させて表示することができる。

尚、実行日時情報とリアルタイムデータとは、上述したように同期情報に一緒に含めても良いし、別々の方法で、ヘッドマウントディスプレイ５に送信するようにしても良い。例えば、実行日時情報をイベントメッセージ等の放送によって送信し、リアルタイムデータをネットワーク経由で送信するようにする。また、実行日時情報をネットワーク経由で送信し、リアルタイムデータをイベントメッセージ等の放送によって送信するようにする。

次に、第１の実施の形態の動作を説明する。尚、以下の動作例において、同期情報の送信を、管理サーバ３が行う例を説明する。また、本例では、コンテンツと連動する番組が、野球中継である例を説明する。

ユーザは、コンテンツ連動の番組を視聴する前に、コンテンツをヘッドマウントディスプレイ５に表示するためのオブジェクトの３次元データ、及び、その３次元データを用いて、仮想現実空間にオブジェクトを表示するためのプログラムを、管理サーバ３から取得しておく。

ユーザは、ヘッドマウントディスプレイ５を装着し、テレビ受信機２の前で待機する。図４は、ユーザは、ヘッドマウントディスプレイ５を装着し、ヘッドマウントディスプレイ５にコンテンツが未だ表示されていない状態を示している。

ヘッドマウントディスプレイ５のコンテンツと連動する番組の放送が開始されると、放送局２から指示されたタイミングで、管理サーバ３は、インターネット４経由で、接続されたすべてのヘッドマウントディスプレイ５に同期情報を一斉に送信する。ここで、同期情報は、スコアボードや、出場選手のメンバー表の表示タイミングや、そのスコアボードの点数や、出場メンバーの氏名等の情報も含む。

ヘッドマウントディスプレイ５は、同期情報を受信すると、同期情報の実行日時情報及び表示内容を参照し、番組と連動するコンテンツのオブジェクトを表示する。図５はヘッドマウントディスプレイ５により、テレビ受信機２を囲むように、スコアボード、出場選手のメンバー表のオブジェクトが表示されている例を示したものである。尚、番組と連動するコンテンツのオブジェクトとしては、直接番組に関係しないコマーシャル等に関係するオブジェクトを表示してもかまわない。例えば、図５では、野球中継のスポンサーである車メーカの車のオブジェクトを、テーブル上に表示している。

次に、あるバッターの打順になると、放送局１は表示タイミングの指示を管理サーバ３に指示する。管理サーバ３は、そのバッターのオブジェクトを表示するための同期情報を、接続されたすべてのヘッドマウントディスプレイ５に一斉に送信する。

ヘッドマウントディスプレイ５は、同期情報を受信すると、同期情報の実行日時情報及び表示内容を参照し、バッターのオブジェクトを表示する。図６はヘッドマウントディスプレイ５により表示されたバッターのオブジェクトの例を示した図である。

このようにして、番組の進行に合わせて、同期情報を管理サーバ３から送信し、同期情報をヘッドマウントディスプレイ５が受信することにより、番組と連動するコンテンツをヘッドマウントディスプレイ５に表示することができる。

＜第２の実施の形態＞
第２の実施の形態は、第１の実施の形態に加え、ヘッドマウントディスプレイに表示されるオブジェクトに対し、視覚だけではなく、オブジェクトに対する触覚も再現する例である。

図７は、第２の実施の形態の概要を説明するためのブロック図である。

第２の実施の形態は、第１の実施形態に加えて、ヘッドマウントディスプレイが表示するオブジェクトの仮想的な空間表示に対応して、オブジェクトの触覚を再現する触覚グローブ（触覚体験手段）６を備える。

触覚グローブ６は、仮想空間中にあるオブジェクトを手で触った場合、オブジェクトに温度データが設定されている場合は、触覚グローブ６の温感再現部によって温感が再現される。また、触覚グローブ６の触感再現部では、仮想空間中にあるオブジェクトと、手の指の位置から指がオブジェクトに触れたと判断された場合、対象となる指のリンクを引いて感触が再現される。

これらのオブジェクトの温度データや、触感データは、オブジェクトの基本データ中に含めても良いし、別途、番組の放送波に含めても良い。

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 放送局
２ テレビ受信機
３ 管理サーバ
４ インターネット
５ ヘッドマウントディスプレイ
６ 触覚グローブ（触覚体験手段）

Claims (7)

1. 放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御部と、
   前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期部と
   を有するヘッドマウントディスプレイ。
2. 前記同期部は、ネットワークを介して、サーバから送信される同期情報を用いて、前記番組と前記コンテンツとを同期する
   請求項１に記載のヘッドマウントディスプレイ。
3. 前記同期部は、前記放送局が放送する同期情報を用いて、前記番組と前記コンテンツとを同期する
   請求項１に記載のヘッドマウントディスプレイ。
4. 前記同期部は、前記放送局が放送する番組の特定シーンの映像、前記放送局が放送する番組の音声、又は、前記番組の映像に埋め込まれた同期情報を用いて、前記番組と前記コンテンツとを同期する
   請求項１に記載のヘッドマウントディスプレイ。
5. 前記表示制御部は、前記コンテンツのオブジェクトを表示するための基本データを、ネットワークを介して受信し、前記番組の進行に伴って発生するリアルタイムデータを、放送波から受信し、前記基本データ及び前記リアルタイムデータを用いて、仮想現実空間にオブジェクトを表示する
   請求項１から請求項４のいずれかに記載のヘッドマウントディスプレイ。
6. 請求項１から請求項５のいずれかに記載のヘッドマウントディスプレイと、
   前記オブジェクトの仮想的な空間表示に対応して、前記オブジェクトの触覚を再現する触覚体験手段と
   を有するヘッドマウントディスプレイシステム。
7. 放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御処理と、
   前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期処理と
   をコンピュータに実行させるプログラム。