JP7123222B1 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

Abstract

【課題】ＡＲコンテンツにおける画質を適切に切り替えること。【解決手段】本願に係る表示制御装置は、周囲を撮像した撮像画像に重畳表示する動画像を再生する再生部と、再生部による動画像の再生中に所定の操作による動画像の静止操作を受け付ける受付部と、受付部によって静止操作が受け付けられた場合に、動画像よりも高画質の動画像の静止画に切り替えて表示する表示制御部とを備える。【選択図】図１

Description

本発明は表示制御装置、表示制御方法および表示制御プログラムに関する。

近年、インターネットを介して提供されるコンテンツとして、拡張現実（ＡＲ；Augmented Reality）が普及しつつある。このようなＡＲにおいては、たとえば、仮想的な視点から見たＡＲオブジェクトを撮像画像に対して重畳表示する（例えば、特許文献１参照）。

特開２０２０－９５６０２号公報

しかしながら、従来技術では、たとえば、ＡＲコンテンツにおける画質を適切に切り替えるうえで改善の余地があった。

本発明は、上記に鑑みてなされたものであって、ＡＲコンテンツにおける画質を適切に切り替えることができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、再生部と、受付部と、表示制御部とを備える。前記再生部は、周囲を撮像した撮像画像に重畳表示する動画像を再生する。前記受付部は、前記再生部による前記動画像の再生中に所定の操作による前記動画像の静止操作を受け付ける。前記表示制御部は、前記受付部によって前記静止操作が受け付けられた場合に、前記動画像よりも高画質の前記動画像の静止画に切り替えて表示する。

本発明によれば、ＡＲコンテンツにおける画質の最適化を図ることができる。

図１は、実施形態に係る表示制御処理の一例を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示すブロック図である。 図３は、実施形態に係る多視点映像データベースに記憶する情報の一例を示す図である。 図４は、実施形態に係る表示制御装置の構成例を示すブロック図である。 図５は、実施形態に係る静止操作の一例を示す図である。 図６は、実施形態に係る静止操作の一例を示す図である。 図７は、実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 図８は、実施形態に係る表示制御装置が実行する処理手順の一例を示すフローチャートである。 図９は、実施形態に係る表示制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る表示制御装置、表示制御方法および表示制御プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る表示制御装置、表示制御方法および表示制御プログラムが限定されるものではない。

［実施形態］
〔１．表示制御処理〕
まず、図１を用いて、実施形態に係る表示制御処理の一例について説明する。図１は、実施形態に係る表示制御処理の一例を示す図である。

図１に示すように、実施形態に係る表示システムＳは、たとえば、情報処理装置１０と、表示制御装置５０とを有する。情報処理装置１０は、各表示制御装置５０に対して、各種、ＡＲ（Augmented Reality）コンテンツを配信する情報処理装置である。情報処理装置１０は、サーバ装置やクラウドシステムにより実現される。

図１に示すように、情報処理装置１０は、多視点映像データベースを有しており、多視点映像データベースに登録された多視点映像をそれぞれの多視点画像として配信する。ここで、多視点映像とは、３次元モデルを複数の所定の視点からレンダリングした映像、あるいは、実在する被写体の周りに複数台の撮影機材を設置し撮影された映像である。また、多視点映像を構成する一つ一つの画像が多視点画像となる。

表示制御装置５０は、たとえば、スマートフォンやＨＭＤ（Head Mount Display）などといった各種端末装置であり、情報処理装置１０から配信される多視点映像のＡＲコンテンツ１００をユーザへ視聴可能に提供する。

たとえば、表示制御装置５０は、周囲を撮像した撮像画像Ｇに対して、情報処理装置１０から配信される多視点映像の仮想オブジェクトＯｖを重畳表示したＡＲコンテンツ１００を提供する。すなわち、表示制御装置５０は、いわゆるビデオシースルータイプのＡＲコンテンツ１００を提供する。なお、表示システムＳで提供するＡＲコンテンツ１００は、ビデオシースルータイプに限られず、光学シースルータイプであってもよい。

ところで、たとえば、多視点映像のＡＲコンテンツを提供するにあたり、多視点映像中の仮想オブジェクトの画質を適切に切り替えるうえで改善の余地があった。たとえば、高画質の多視点映像による動画像のＡＲコンテンツを提供すると、データ容量や、各種処理負荷等の観点から動画像の再生をスムーズに処理できないおそれがある。

たとえば、動画像としてＡＲコンテンツ１００を提供するうえでは、一枚一枚の多視点画像を視聴する時間はわずかであるので、多視点画像の画質を低下させたとしてもユーザにとって画質の低下は気になりにくい。

一方で、たとえば、動画像を停止した状態では、多視点画像の表示時間が長くなるので、多視点画像の画質を低下させたままでは、ユーザが画質の低下が気になってしまい、質の高いＡＲコンテンツを提供するうえで問題となる。

実施形態に係る表示システムＳでは、この点に着眼し、ＡＲコンテンツ１００において静止画の仮想オブジェクトＯｖを表示する場合においては、高画質の仮想オブジェクトＯｖに表示を切り替えることとした。

具体的には、図１に示すように、表示制御装置５０は、情報処理装置１０から多視点映像の取得を開始する（ステップＳ０１）。つづいて、表示制御装置５０は、多視点映像の取得毎に多視点映像の動画像を再生、表示する、いわゆるストリーミング再生によってＡＲコンテンツ１００の再生処理を行う（ステップＳ０２）。

なお、図１に示す例において、仮想オブジェクトＯｖは、アイドルグループであり、仮想オブジェクトＯｖとしてアイドルグループの歌唱映像の動画像を撮像画像Ｇに重畳表示する場合を示す。

つづいて、表示制御装置５０は、動画像に対する静止操作を受け付けると（ステップＳ０３）、仮想オブジェクトＯｖの切替処理を行う（ステップＳ０４）。ここでの静止操作は、たとえば、動画像の一時停止操作であるが、後述するように、ＡＲコンテンツ１００に対する静止画像の撮影操作も含まれる。

たとえば、表示制御装置５０は、ステップＳ０３にて静止操作を受け付けると、動画像の静止時における再生時刻に関する情報を情報処理装置１０へ送信し、対応する再生時刻における高画質の仮想オブジェクトＯｖの多視点画像を情報処理装置１０から取得する。

そして、表示制御装置５０は、取得した高画質の仮想オブジェクトＯｖを現在の撮像画像Ｇに重畳表示することで、仮想オブジェクトＯｖが高画質のＡＲコンテンツ１００を提供する。

また、表示制御装置５０は、たとえば、撮像画像Ｇの撮像位置が変化に追従させて、すなわち、ＡＲコンテンツ１００における仮想オブジェクトＯｖの背景画像の変化に追従させて、仮想オブジェクトＯｖに対する視点位置の変更を情報処理装置１０へ要求する。

そして、表示制御装置５０は、上記要求に基づき、視点位置が変更された高画質の仮想オブジェクトＯｖを情報処理装置１０から取得し、取得した仮想オブジェクトＯｖのＡＲコンテンツ１００を提供する。

これにより、ユーザは、多視点から見た高画質の仮想オブジェクトＯｖを視聴することが可能となるので、注視したい箇所を注視したい角度から視聴することが可能となる。

このように、実施形態に係る表示制御処理では、仮想オブジェクトＯｖの動画像の再生時において、静止操作を受け付けると、動画像よりも高画質の仮想オブジェクトＯｖの静止画を表示する。

したがって、実施形態に係る表示制御処理によれば、動画像と静止画とで画質を使い分けることができるので、ＡＲコンテンツ１００における画質の最適化を図ることができる。なお、本願発明は、多視点映像に限られず、その他の動画像についても適用することも可能である。すなわち、３次元グラフィックの動画像を停止した場合において、高画質の静止画へ切り替えることにしてもよい。

〔２－１．情報処理装置の構成例〕
次に、図２を用いて、情報処理装置１０の構成例について説明する。図２は、情報処理装置１０の構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。

通信部２０は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、ＷｉＦｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

記憶部３０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、多視点映像データベース３１を有する。

多視点映像データベース３１は、多視点映像を記憶するデータベースである。図３は、多視点映像データベース３１に格納された情報の一例を示す図である。図３に示すように、多視点映像データベース３１は、「映像ＩＤ」、「画像群」、「サイズ情報」、「音声」、「音源座標」などといった項目の情報を互いに対応付けて記憶する。

「映像ＩＤ」は、各多視点映像を識別するための識別子であり、「画像群」は、多視点映像として提供するための画像群であり、複数視点から同時に撮影された静止画像あるいは動画像をまとめたデータである。

また、「画像群」には、たとえば、動画と、静止画とが含まれる。たとえば、動画は、動画像として配信する多視点映像に関する画像群であり、静止画は、静止画として配信する多視点映像に関する画像群である。

たとえば、動画の画像群に比べて静止画の画像群は高画質のデータである。静止画の画像群は、たとえば、動画像の画像群に比べ、高性能カメラで撮影される。なお、動画の画像群の解像度、ビットレート等をあげたものを静止画の画像群とすることにしてもよい。

「サイズ情報」は、多視点画像あるいは多視点映像に映る仮想オブジェクトＯｖの実寸大の大きさに関する情報である。「音声」は、多視点映像とともに流す音声データを示し、「音源座標」は、多視点映像における音声データの音源の座標に関する情報である。

ＡＲコンテンツ１００として、アーティストの歌唱映像を提供する場合において、音声はアーティストが歌っている音源であり、音源座標は、アーティストの頭部（たとえば、口元）となる。

図２の説明に戻り、制御部４０について説明する。制御部４０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

図２に示すように、制御部４０は、選択部４１と、配信部４２とを備える。選択部４１は、各表示制御装置５０から受け取った多視点映像の配信要求に基づき、対応する多視点映像を多視点映像データベース３１から選択する。

たとえば、配信要求には、上記の映像ＩＤに関する情報が含まれており、選択部４１は、配信要求に含まれる映像ＩＤに合致する多視点映像を多視点映像データベース３１から選択する。

また、たとえば、多視点映像の配信中において、選択部４１は、ＡＲコンテンツ１００に対するユーザの注視点情報を各表示制御装置５０から受け取り、注視点情報に基づき、多視点映像に対する視点切替処理を行う。

たとえば、注視点情報は、実空間における撮像画像Ｇの撮像範囲や撮像向きに関する情報であり、ＡＲコンテンツ１００に表示される実空間に関する情報である。すなわち、ＡＲコンテンツ１００におけるユーザの注視点に関する情報である。たとえば、ユーザが表示制御装置５０（たとえば、後述する外向きカメラ６１）の位置を変化させた場合に注視点が変化し、変化した向きや変化量などに関する情報が注視点情報となる。

選択部４１は、注視点情報に基づき、多視点映像に対する視点位置を選択し、選択した視点位置に対応する多視点画像を多視点映像データベース３１から選択することで、視点切替処理を行う。また、選択部４１は、注視点情報の変化に追従させて視点位置を随時切り替える処理を行う。

また、選択部４１は、表示制御装置５０から画質の切替要求を受け付けた場合には、仮想オブジェクトＯｖの画質の切り替えを行う。具体的には、選択部４１は、表示制御装置５０が仮想オブジェクトＯｖの動画像を配信中に画質の切替要求を受け付けると、対応する再生時刻における高画質の仮想オブジェクトＯｖの静止画を選択する。これにより、高画質の仮想オブジェクトＯｖの静止画が表示制御装置５０へ配信され、表示制御装置５０において、高画質の仮想オブジェクトＯｖが映る静止画のＡＲコンテンツ１００が表示される。

また、選択部４１は、仮想オブジェクトＯｖの静止画を配信中に画質の切替要求を受け付けた場合には、動画の仮想視点画像を選択することになる。すなわち、一時停止操作が解除された場合には、画質を動画像用の画質に戻すことになる。

配信部４２は、選択部４１によって選択された多視点映像を各表示制御装置５０に対して配信する。なお、配信部４２が配信する多視点映像は、時間的に連続する多視点画像であり、配信部４２は、注視点情報に基づいて設定された視点位置から見た多視点画像を随時配信することで多視点映像を配信する。また、配信部４２は、多視点映像とともに音声等に関する情報をあわせて表示制御装置５０へ配信する。

〔２－２．表示制御装置の構成例〕
次に、図４を用いて、実施形態に係る表示制御装置５０の構成例について説明する。図４は、表示制御装置５０の構成例を示すブロック図である。図４に示すように、表示制御装置５０は、通信部６０、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４、音声出力部６５、記憶部７０および制御部８０を備える。なお、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４および音声出力部６５については、表示制御装置５０とは別の装置であってもよい。

通信部６０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部６０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、ＷｉＦｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

外向きカメラ６１は、表示制御装置５０の外側（たとえば、表示部６４の表示面とは逆側）を撮像するカメラであり、実空間を撮像する。たとえば、外向きカメラ６１によって撮像された撮像画像は、ＡＲコンテンツ１００における仮想オブジェクトＯｖの背景画像として用いられる。内向きカメラ６２は、表示制御装置５０の内側（たとえば、表示部６４の表示面側）を撮像するカメラであり、ＡＲコンテンツ１００を視聴するユーザを撮像する。

センサ群６３は、たとえば、表示制御装置５０の姿勢や、実空間に存在するオブジェクトまでの距離や３次元形状を検出するための各種センサによって構成される。たとえば、センサ群６３には、ジャイロセンサ、Ｌｉｄａｒなどが含まれる。

表示部６４は、たとえば、タッチパネルディスプレイであり、ＡＲコンテンツ１００等の各種映像を表示するとともに、各種ユーザ操作を受け付ける。音声出力部６５は、たとえば、サラウンドスピーカあるいはステレオスピーカであり、ＡＲコンテンツ１００とともに流れる各種音声を出力する。

記憶部７０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部７０は、マップ情報記憶部７１およびサイズ情報記憶部７２を有する。

マップ情報記憶部７１は、実空間のマップ情報を記憶する。たとえば、マップ情報とは、表示制御装置５０の周辺環境を示す環境地図であり、後述する自己位置推定部８１による処理結果に基づいて作成される。

続いて、制御部８０について説明する。制御部８０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

図４に示すように、制御部８０は、自己位置推定部８１と、表示面設定部８２と、再生部８３と、受付部８４と、表示制御部８５と、音声制御部８６とを有する。自己位置推定部８１は、外向きカメラ６１やセンサ群６３から入力される各種情報に基づき、Ｓｌａｍ（Simultaneous Localization and Mapping）等の技術を用いて実空間の環境地図を作成するとともに、環境地図内における表示制御装置５０の座標（たとえば、ワールド座標）や姿勢を推定する。

また、自己位置推定部８１は、作成した環境地図に関する情報をマップ情報としてマップ情報記憶部７１に格納するとともに、推定した位置や姿勢に関する情報、すなわち、上記の注視点情報を表示面設定部８２へ渡す。また、ＡＲコンテンツ１００の提供中においては、注視点情報は、情報処理装置１０へも送信される。

表示面設定部８２は、自己位置推定部８１によって作成された環境地図に基づき、実空間において仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）を設定する。

たとえば、表示面設定部８２は、環境地図から仮想オブジェクトＯｖを表示可能な表示面の探索を行う。ここで、表示可能な表示面とは、たとえば、ＡＲコンテンツ１００として表示する仮想部ジェクトＯｖを内包可能な表示空間の底面に対応する。

ここでの表示空間とは、実空間内において仮想部ジェクトＯｖを内包可能な３次元形状の空間である。すなわち、仮想オブジェクトＯｖを表示するにあたり、十分に表示可能な３次元空間が表示空間となり、その底面が仮想オブジェクトＯｖの表示面となる。

これにより、たとえば、ＡＲコンテンツ１００において、仮想オブジェクトＯｖが、実空間の壁や天井を突き抜けて表示されるような誤表示をあらかじめ回避することができる。なお、たとえば、表示面設定部８２は、実空間にあわせて仮想オブジェクトＯｖの表示サイズを小さくすることで、仮想オブジェクトＯｖが実空間に収まるようにしてもよい。換言すれば、実空間にあわせて仮想オブジェクトＯｖの表示サイズを設定することにしてもよい。

表示面設定部８２は、表示空間および表示面を設定すると、表示空間および表示面に関する各種座標情報をマップ情報記憶部７１に書き込む。なお、たとえば、表示面は、実空間の床であるが、仮想オブジェクトＯｖの種類に応じて、ユーザの体の一部（たとえば手のひらなど）とすることにしてもよい。また、表示空間自体を実際の床から浮遊させることにしてもよい。また、表示面設定部８２は、表示する仮想オブジェクトＯｖ毎に、それぞれ独立に表示空間および表示面を設定することにしてもよい。また、たとえば、仮想オブジェクトＯｖ自体がＡＲコンテンツ１００内を移動するコンテンツも考えられるので、表示面設定部８２は、仮想オブジェクトＯｖの移動範囲を包含するように表示空間や表示面を設定するようにしてもよい。

その後、表示面設定部８２は、撮像画像Ｇの撮像位置にあわせて仮想部ジェクトＯｖの表示サイズを更新する。たとえば、表示面設定部８２は、自己位置推定部８１から受け取った注視点情報に基づき、撮像画像Ｇの撮像位置（たとえば、外向きカメラ６１の位置）を認識する。そして、表示面設定部８２は、撮像位置と表示面との位置関係に基づき、表示サイズを設定する。具体的には、表示面設定部８２は、撮像位置と表示面とが近くなるにつれて、表示サイズを大きくし、撮像位置と表示面とが遠くなるにつれて小さくなるように表示サイズを設定する。

この場合においては、仮想オブジェクトＯｖを表示面に実在すると仮定した場合に、撮像画像Ｇ内に映る実際の大きさとなるように仮想オブジェクトＯｖの表示サイズが更新される。

再生部８３は、周囲を撮像した撮像画像Ｇに重畳する動画像を再生する。たとえば、再生部８３は、情報処理装置１０から随時送信される多視点画像をストリーミング再生によって仮想オブジェクトＯｖの動画像を再生する。また、再生部８３は、再生した動画像に関する情報を表示制御部８５へ渡す。

受付部８４は、再生部８３による動画像の再生中に所定の操作による動画像の静止操作を受け付ける。たとえば、受付部８４は、タッチパネルである表示部６４に対するユーザ操作に基づき、静止操作を受け付ける。受付部８４は、静止操作を受け付けた場合に、静止操作に関する情報を表示制御部８５に渡す。

ここで、図５および６を用いて、静止操作の具体例について説明する。図５および図６は、実施形態に係る静止操作の一例を示す図である。たとえば、図５に示すように、受付部８４は、表示部６４に表示された一時停止ボタンＢ１の操作を静止操作として受け付ける。

たとえば、ユーザは、ＡＲコンテンツ１００の再生時において表示部６４に対してタップ操作を行うことで、一時停止ボタンＢ１を表示部６４に表示させることができ、表示された一時停止ボタンＢ１をタップすることで、受付部８４は、一時停止の静止操作を受け付ける。

また、図６に示すように、受付部８４は、表示部６４に表示された撮影ボタンＢ１の操作を静止操作として受け付けることにしてもよい。ユーザは、ＡＲコンテンツ１００の再生時において表示部６４に対してタップ操作を行うことで、撮影ボタンＢ２を表示部６４に表示させることができ、表示された撮影ボタンＢ２をタップすることで、受付部８４は、撮影による静止操作を受け付ける。

なお、上記の静止操作は、一例であり、任意に変更することにしてもよい。すなわち、たとえば、受付部８４は、音声入力やジェスチャー操作によって静止操作を受け付けることにしてもよい。

図４の説明に戻り、表示制御部８５について説明する。表示制御部８５は、受付部８４によって静止操作が受け付けられた場合に、動画像よりも高画質の動画像の静止画に切り替えて表示する。

たとえば、表示制御部８５は、再生部８３によって再生される動画像の仮想オブジェクトＯｖを表示面設定部８２によって設定された表示面に表示されるように撮像画像Ｇに重畳表示することで、動画像のＡＲコンテンツ１００を生成する。

また、受付部８４によって静止操作が受け付けられた場合に、表示制御部８５は、静止操作が行われた再生時刻における仮想オブジェクトＯｖの静止画への切替要求を情報処理装置１０に対して行う。

これにより、情報処理装置１０から高画質の仮想オブジェクトＯｖが配信され、表示制御部８５は、高画質の仮想オブジェクトＯｖに関する静止画のＡＲコンテンツ１００を表示することになる。また、たとえば、静止操作として、静止画の撮影操作が受け付けられた場合には、表示制御部８５は、仮想オブジェクトＯｖに関する動画像の表示を継続しつつ、撮影操作が行われた画角における高画質の仮想オブジェクトＯｖの静止画を情報処理装置１０から受け取り、たとえば、撮像画像Ｇに重畳したスクリーンショットとして記憶する。

このように、表示制御部８５は、静止操作に応じて、動画像よりも高画質の静止画を表示することで、動画像と静止画とで画質を使い分けることができるので、画質の適切に切り替えることができる。

音声制御部８６は、撮像画像Ｇの撮像位置と、多視点画像において設定された音声発生源との位置関係に基づき、音声出力を制御する。たとえば、仮想オブジェクトＯｖが人物であり、その頭部に音声発生源が設定される。

ここで、たとえば、外向きカメラ６１の撮像位置が変化すると、ＡＲコンテンツ１００における仮想オブジェクトＯｖの位置が変化し、これに伴い音声発生源の位置が変化することになる。

そのため、音声制御部８６は、これらの位置関係に基づき、音声出力部６５の出力を制御することで、ＡＲコンテンツ１００における音声発生源の位置を一致させる処理を行う。具体的には、たとえば、撮像画像Ｇにおいて仮想オブジェクトＯｖが右側に表示される場合、ユーザの右側から音声が聞こえるように音声出力部６５を制御し、撮像画像Ｇにおいて仮想オブジェクトＯｖが手前側に表示される場合には、手前側から音声が聞こえるように音声出力部６５を制御する。

このように、音声制御部８６は、音声発生源の位置変化にあわせて音声制御をコントロールすることで、リアリティーの高いＡＲコンテンツ１００を提供することができる。なお、音声発生源は一つに限らず、複数であってもよい。この場合、音声制御部８６は、音声発生源毎に位置関係に基づき、音声制御を行う。

また、たとえば、音声制御部８６は、音声発生源が複数である場合には、音声発生源毎に音量等の各種調整や、音声発生源の統合などを行うことにしてもよい。また、音声制御部８６は、たとえば、音声発生源の位置を変更する操作を受け付けることにしてもよい。この場合、たとえば、当初設定された音声発生源とは別の任意の座標に音声発生源を設定することにしてもよい。

また、音声制御部８６は、たとえば、ユーザ操作に基づき、音声の削除、追加等を行うことにしてもよい。すなわち、複数の多視点映像から任意の音声を組み合わせて出力することにしてもよい。この場合、たとえば、異なる歌手が歌っている音声を他の歌手の仮想オブジェクトＯｖが歌っているかのようなＡＲコンテンツ１００を提供することができる。

〔３．処理手順〕
次に、図７および図８を用いて、実施形態に係る情報処理装置１０および表示制御装置５０が実行する処理手順について説明する。まず、図７を用いて、情報処理装置１０が実行する処理手順について説明する。図７は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報処理装置１０の制御部４０によって配信要求の取得毎に繰り返し実行される。

図７に示すように、まず、情報処理装置１０は、配信要求を受け付ける（ステップＳ１０１）。つづいて、情報処理装置１０は、受け付けた配信要求に基づき、多視点映像を配信する（ステップＳ１０２）。

つづいて、情報処理装置１０は、表示制御装置５０から静止操作に伴う画質の切り替え要求があったか否かを判定する（ステップＳ１０３）。情報処理装置１０は、切り替え要求があった場合には（ステップＳ１０３；Ｙｅｓ）、動画像よりも高画質の静止画像を配信する（ステップＳ１０４）。

また、情報処理装置１０、切り替え要求がなかった場合には（ステップＳ１０３；Ｎｏ）、ステップＳ１０４の処理を省略し、ステップＳ１０５の処理へ進む。その後、情報処理装置１０は、配信中の多視点映像が終了した否かを判定する（ステップＳ１０５）。

情報処理装置１０は、多視点映像が終了した場合（ステップＳ１０５；Ｙｅｓ）、処理を終了する。また、情報処理装置１０は、多視点映像が継続中である場合（ステップＳ１０５；Ｎｏ）、ステップＳ１０３の処理へ進む。

次に、図８を用いて、表示制御装置５０が実行する処理手順について説明する。図８は、表示制御装置５０が実行する処理手順の一例を示すフローチャートである。なお、以下に示す処理手順は、ＡＲコンテンツ１００の提供毎に表示制御装置５０の制御部８０によって実行される。

図８に示すように、まず、表示制御装置５０は、たとえば、周囲を撮像した撮像画像等に基づき、実空間における仮想オブジェクトＯｖの表示面Ａを設定する（ステップＳ２０１）。

つづいて、表示制御装置５０は、情報処理装置１０から配信される動画像の仮想オブジェクトＯｖに基づき、ＡＲコンテンツ１００の表示を開始する（ステップＳ２０２）。つづいて、表示制御装置５０は、動画像に対する静止操作を受け付けたか否かを判定し（ステップＳ２０３）、静止操作を受け付けた場合には（ステップＳ２０３；Ｙｅｓ）、仮想オブジェクトＯｖを高画質の静止画に切り替える（ステップＳ２０４）。

また、表示制御装置５０は、静止操作を受け付けていない場合には（ステップＳ２０３；Ｎｏ）、ステップＳ２０５の処理へ進む。その後、情報処理装置１０は、提供中のＡＲコンテンツ１００が終了したか否かを判定し（ステップＳ２０５）、ＡＲコンテンツ１００が終了した場合には（ステップＳ２０５；Ｙｅｓ）、処理を終了する。また、表示制御装置５０は、ＡＲコンテンツ１００が継続中である場合には（ステップＳ２０５；Ｎｏ）、ステップＳ２０３の処理へ進む。

〔４．変形例〕
上述した表示システムＳは、上記実施形態以外にも種々の異なる形態にて実施されてもよい。そこで、以下では、表示システムＳの他の実施形態について説明する。

たとえば、表示制御装置５０は、カメラ（外向きカメラ６１および内向きカメラ６２）と分離した構成であってもよい。また、表示制御装置５０が提供するコンテンツは、ＡＲコンテンツ１００に限られず、たとえば、撮像画像Ｇに基づき、実空間をアニメーション等に変換したＶＲ（Virtual Reality）コンテンツを提供することにしてもよい。

〔５．効果〕
上述してきたように、実施形態に係る表示制御装置５０は、周囲を撮像した撮像画像に重畳表示する動画像を再生する再生部８３と、再生部８３による動画像の再生中に所定の操作による動画像の静止操作を受け付ける受付部８４と、受付部８４によって静止操作が受け付けられた場合に、動画像よりも高画質の動画像の静止画に切り替えて表示する表示制御部８５とを備える。したがって、実施形態に係る表示制御装置５０によれば、ＡＲコンテンツ１００における画質を適切に切り替えることができる。

また、実施形態に係る表示制御装置５０において、受付部８４は、動画像に対する静止画の撮影操作を静止操作として受け付け、表示制御部８５は、撮影操作で撮影される静止画において高画質の静止画を表示する。したがって、実施形態に係る表示制御装置５０によれば、たとえば、動画像から高画質の静止画を含む写真を撮ることができるので、
ＡＲコンテンツ１００に関するサービスの向上を図ることができる。

また、実施形態に係る表示制御装置５０において、受付部８４は、動画像に対する一時停止操作を静止操作として受け付け、表示制御部８５は、一時停止操作で静止した再生時刻における高画質の静止画を表示する。したがって、実施形態に係る表示制御装置５０によれば、ユーザが注視したい再生時刻における高画質の静止画を含むＡＲコンテンツ１００を提供することができるので、ＡＲコンテンツ１００に関するサービスの向上を図ることができる。

また、実施形態に係る表示制御装置５０において、受付部８４は、多視点から閲覧可能な多視点画像の動画像を再生し、表示制御部８５は、動画像よりも高画質の多視点画像の静止画に切り替えて表示する。したがって、実施形態に係る表示制御装置５０によれば、ユーザが注視したい角度からみた高画質の仮想オブジェクトＯｖが映る静止画を含むＡＲコンテンツ１００を提供することができるので、ＡＲコンテンツ１００に関するサービスの向上を図ることができる。

また、実施形態に係る表示制御装置５０において、表示制御部８５は、撮像画像の撮像位置にあわせて、静止画に対する視点位置を切り替えて表示する。したがって、実施形態に係る表示制御装置５０によれば、ユーザが注視したい角度からみた高画質の仮想オブジェクトＯｖが映る静止画を含むＡＲコンテンツ１００を提供することができるので、ＡＲコンテンツ１００に関するサービスの向上を図ることができる。

また、実施形態に係る表示制御方法は、コンピュータが実行する表示制御方法であって、周囲を撮像した撮像画像に重畳表示する動画像を再生する再生工程と、再生工程による動画像の再生中に所定の操作による動画像の静止操作を受け付ける受付工程と、受付工程によって静止操作が受け付けられた場合に、動画像よりも高画質の動画像の静止画に切り替えて表示する表示制御工程とを含む。

また、実施形態に係る表示制御プログラムは、周囲を撮像した撮像画像に重畳表示する動画像を再生する再生手順と、再生手順による動画像の再生中に所定の操作による前記動画像の静止操作を受け付ける受付手順と、受付手順によって静止操作が受け付けられた場合に、動画像よりも高画質の動画像の静止画に切り替えて表示する表示制御手順とをコンピュータに実行させる。

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る表示制御装置５０は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、実施形態に係る表示制御装置５０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワーク（通信ネットワーク）Ｎを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置（図９では、出力装置および入力装置を総称して「入出力装置」と記載する）を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る表示制御装置５０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１２０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、自己位置推定部８１は、自己位置推定部手段や自己位置推定部回路に読み替えることができる。

１０ 情報処理装置
２０ 通信部
３０ 記憶部
３１ 多視点映像データベース
４０ 制御部
４１ 選択部
４２ 配信部
５０ 表示制御装置
７０ 記憶部
７１ マップ情報記憶部
８０ 制御部
８１ 自己位置推定部
８２ 表示面設定部
８３ 再生部
８４ 受付部
８５ 表示制御部
８６ 音声制御部
１００ ＡＲコンテンツ
Ｇ 撮像画像
Ｏｖ 仮想オブジェクト

Claims (5)

1. 周囲を撮像した撮像画像に重畳表示する動画像を再生する再生部と、
   前記再生部による前記動画像の再生中に所定の操作による前記動画像の静止操作を受け付ける受付部と、
   前記受付部によって前記静止操作が受け付けられた場合に、前記動画像よりも高画質の前記動画像の静止画に切り替えて表示する表示制御部と
   を備え、
   前記受付部は、
   前記動画像に対する静止画の一時停止操作、または、撮影操作を前記静止操作として受け付け、
   前記表示制御部は、
   前記受付部により前記一時停止操作が受け付けられた場合、当該一時停止操作で静止した再生時刻における前記高画質の前記静止画を表示し、前記受付部により前記撮影操作が受け付けられた場合には、前記動画像の表示を継続しつつ、前記撮影操作で撮影される画角の前記高画質の前記静止画を記憶すること
   を特徴とする表示制御装置。
2. 前記再生部は、
   多視点から閲覧可能な多視点画像の前記動画像を再生し、
   前記表示制御部は、
   前記動画像よりも高画質の前記多視点画像の前記静止画に切り替えて表示すること
   を特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、
   前記撮像画像の撮像位置にあわせて、前記静止画に対する視点位置を切り替えて表示すること
   を特徴とする請求項１または２に記載の表示制御装置。
4. コンピュータが実行する表示制御方法であって、
   周囲を撮像した撮像画像に重畳表示する動画像を再生する再生工程と、
   前記再生工程による前記動画像の再生中に所定の操作による前記動画像の静止操作を受け付ける受付工程と、
   前記受付工程によって前記静止操作が受け付けられた場合に、前記動画像よりも高画質の前記動画像の静止画に切り替えて表示する表示制御工程と
   を含み、
   前記受付工程は、
   前記動画像に対する静止画の一時停止操作、または、撮影操作を前記静止操作として受け付け、
   前記表示制御工程は、
   前記受付工程により前記一時停止操作が受け付けられた場合、当該一時停止操作で静止した再生時刻における前記高画質の前記静止画を表示し、前記受付工程により前記撮影操作が受け付けられた場合には、前記動画像の表示を継続しつつ、前記撮影操作で撮影される画角の前記高画質の前記静止画を記憶すること
   を特徴とする表示制御方法。
5. 周囲を撮像した撮像画像に重畳表示する動画像を再生する再生手順と、
   前記再生手順による前記動画像の再生中に所定の操作による前記動画像の静止操作を受け付ける受付手順と、
   前記受付手順によって前記静止操作が受け付けられた場合に、前記動画像よりも高画質の前記動画像の静止画に切り替えて表示する表示制御手順と
   をコンピュータに実行させ、
   前記受付手順は、
   前記動画像に対する静止画の一時停止操作、または、撮影操作を前記静止操作として受け付け、
   前記表示制御手順は、
   前記受付手順により前記一時停止操作が受け付けられた場合、当該一時停止操作で静止した再生時刻における前記高画質の前記静止画を表示し、前記受付手順により前記撮影操作が受け付けられた場合には、前記動画像の表示を継続しつつ、前記撮影操作で撮影される画角の前記高画質の前記静止画を記憶すること
   を特徴とする表示制御プログラム。

Images