WO2020059327A1

WO2020059327A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2020059327A1
Application number: PCT/JP2019/030670
Authority: WO
Inventors: 啓生郷原
Original assignee: ソニー株式会社
Priority date: 2018-09-18
Filing date: 2019-08-05
Publication date: 2020-03-26
Also published as: US20220053179A1

Abstract

本技術の一形態に係る情報処理装置は、処理部を具備する。前記処理部は、仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替える。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、全天球映像等の表示に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。

　特許文献１に記載の画像処理装置では、パノラマ撮影画像を実現するにあたって、動画や高解像度画像等の他の撮影画像が、パノラマ撮影画像に貼り付けられ統合される。これにより、ユーザに過度な負担を強いることなく、臨場感・没入感のより高いパノラマ画像を実現することが可能となっている（特許文献１の明細書段落［００７５］等）。

特開２０１８－１１３０２号公報

　ＨＭＤ（Head Mounted Display）等を用いてパノラマ映像や全天球映像等を視聴可能とするシステム等において、高品質な視聴体験を提供することが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を提供することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、処理部を具備する。
　前記処理部は、仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替える。

　この情報処理装置では、表示の切替えに関するメタデータに基づいて、第１の実空間画像の画角に対応した切替処理が実行され、第１の実空間画像と第２の実空間画像との間で表示が切替えられる。これにより高品質な視聴体験を提供することが可能となる。

　前記処理部は、前記メタデータに基づいて前記切替処理の実行タイミングであるか否かを判定し、前記切替処理の実行タイミングである場合に前記切替処理を実行してもよい。

　前記処理部は、前記メタデータに基づいて前記切替処理を実行するための切替条件が満たされているか否かを判定し、前記切替条件が満たされている場合に前記切替処理を実行してもよい。

　前記切替条件は、前記第１の実空間画像の撮影位置と前記第２の実空間画像の撮影位置との差が所定の閾値以下であるという条件を含んでもよい。

　前記切替条件は、前記第１の実空間画像の撮影時間と前記第２の実空間画像の撮影時間との差が所定の閾値以下であるという条件を含んでもよい。

　前記切替処理は、前記第２の実空間画像の前記第１の実空間画像の画角に対応する対応範囲以外の範囲の表示が制限された制限画像を生成し、前記第１の実空間画像と前記制限画像との間で表示を切替えることを含んでもよい。

　前記切替処理は、前記第１の実空間画像のサイズを前記第２の実空間画像の前記対応範囲のサイズとなるように変更後、前記制限画像との間で表示を切替えることを含んでもよい。

　前記切替処理は、前記制限画像の前記対応範囲に表示される表示内容が、前記第１の実空間画像の表示内容と同じ内容となるように、前記制限画像を生成することを含んでもよい。

　前記第１の実空間画像は、実空間の所定の撮影位置から撮影された画像であってもよい。

　前記第２の実空間画像は、実空間の所定の撮影位置から撮影された複数の画像が合成された画像であってもよい。

　前記第２の実空間画像は、全天球画像であってもよい。

　前記第１の実空間画像は、複数のフレーム画像を含む動画像であってもよい。この場合、前記処理部は、前記第１の実空間画像の所定のフレーム画像と、前記第２の実空間画像との間で表示を切替えてもよい。

　前記第２の実空間画像は、複数のフレーム画像を含む動画像であってもよい。この場合、前記処理部は、前記第１の実空間画像の所定のフレーム画像と、前記第２の実空間画像の所定のフレーム画像との間で表示を切替えてもよい。

　前記メタデータは、前記第１の実空間画像の画角に関する情報を含んでもよい。

　前記メタデータは、前記第１の実空間画像の撮影位置を含む第１の撮影情報と、前記第２の実空間画像の撮影位置を含む第２の撮影情報とを含んでもよい。

　前記第１の撮影情報は、前記第１の実空間画像の撮影方向及び撮影時間を含んでもよい。この場合、前記第２の撮影情報は、前記第２の実空間画像の撮影時間を含んでもよい。

　前記メタデータは、前記切替処理の実行タイミングに関する情報を含んでもよい。

　前記処理部は、前記第１の実空間画像及び前記第２の実空間画像のＨＭＤ（Head Mounted Display）への表示を制御してもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替えることを含む。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行さ
せる。仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替えるステップ。

　以上のように、本技術によれば、高品質な視聴体験を提供することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係るＶＲ提供システムの構成例を示す模式図である。ＨＭＤの構成例を示す図である。ＨＭＤの機能的な構成例を示すブロック図である。サーバ装置の機能的な構成例を示すブロック図である。平面映像データを説明するための模式図である。ＨＭＤによる平面映像の表示を模式的に示す図である。全天球映像データを説明するための模式図である。ＨＭＤによる全天球映像の表示を模式的に示す図である。メタデータの一例を示す図である。メタデータの一例を示す図である。メタデータの一例を示す図である。全天球映像から平面映像への表示切替処理の一例を示すフローチャートである。平面映像から全天球映像への表示切替処理の一例を示すフローチャートである。全天球映像の制御の一例を説明するための模式図である。平面映像の制御の一例を説明するための模式図である。表示切替処理が実行される際の、ユーザによる映像の見え方の一例を示す模式図である。遷移画像の一例を示す模式図である。表示切替処理が実行される際の、ユーザによる映像の見え方の一例を示す模式図である。サーバ装置のハードウェア構成例を示すブロック図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［仮想現実（ＶＲ：Virtual Reality）提供システム］
　図１は、本技術の一実施形態に係るＶＲ提供システムの構成例を示す模式図である。ＶＲ提供システム１００は、本技術に係る情報処理システムの一実施形態に相当する。

　ＶＲ提供システム１００は、ＨＭＤ１０と、サーバ装置５０とを含む。

　ＨＭＤ１０は、ユーザ１の頭部に装着されて使用される。図１では、１つのＨＭＤ１０が図示されているが、ＶＲ提供システム１００に含まれるＨＭＤ１０の数は限定されない。すなわちＶＲ提供システム１００に当時に参加可能なユーザ１の数は限定されない。

　サーバ装置５０は、ネットワーク３を介して、ＨＭＤ１０と通信可能に接続される。サーバ装置５０は、ネットワーク３を介して、ＨＭＤ１０から種々の情報を受信することが可能である。またサーバ装置５０は、種々の情報をデータベース６０に記憶させることや、データベース６０に記憶された種々の情報を読み出して、ＨＭＤ１０に送信することが可能である。

　本実施形態では、データベース６０に、全天球映像データ６１と、平面映像データ６２と、メタデータ６３とが記憶される（ともに図４参照）。本実施形態では、サーバ装置５０から全天球映像及び平面映像の両方の表示を含むコンテンツがＨＭＤ１０に送信される。またサーバ装置５０により、全天球映像及び平面映像のＨＭＤ１０への表示が制御される。サーバ装置５０は、本技術に係る情報処理装置の一実施形態として機能する。

　なお本開示において、「画像」は、静止画像及び動画像の両方を含む。また映像は、動画像に含まれる概念である。従って、「画像」は、映像を含む。

　ネットワーク３は、例えばインターネットや広域通信回線網等により構築される。その他、任意のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等が用いられてよく、ネットワーク３を構築するためのプロトコルは限定されない。

　本実施形態では、ネットワーク３、及びサーバ装置５０、及びデータベース６０により、いわゆるクラウドサービスが提供される。従ってＨＭＤ１０は、クラウドネットワークに接続されているとも言える。

　なお、サーバ装置５０とＨＭＤ１０とを通信可能に接続するための方法は限定されない。例えば、クラウドネットワークを構築することなく、Bluetooth（登録商標）等の近距離無線通信により両者が接続されてもよい。

　［ＨＭＤ］
　図２は、ＨＭＤ１０の構成例を示す図である。図２ＡはＨＭＤ１０の外観を模式的に示す斜視図であり、図２ＢはＨＭＤ１０を分解した様子を模式的に示す斜視図である。

　ＨＭＤ１０は、基体部１１と、装着バンド部１２と、ヘッドフォン部１３と、ディスプレイユニット１４と、内向きカメラ１５（１５ａ、１５ｂ）と、外向きカメラ１６と、カバー部１７とを有する。

　基体部１１は、ユーザ１の左右の眼の前方に配置される部材であり、ユーザ１の前頭部と当接される前頭支持部１８が設けられる。

　装着バンド部１２は、ユーザ１の頭部に装着される。図２に示すように、装着バンド部１２は、側頭バンド１９と、頭頂バンド２０とを有する。側頭バンド１９は、基体部１１に接続され、側頭部から後頭部にかけてユーザ１の頭部を囲むように装着される。頭頂バンド２０は、側頭バンド１９に接続され、側頭部から頭頂部にかけてユーザ１の頭部を囲むように装着される。

　ヘッドフォン部１３は、基体部１１に接続され、ユーザ１の左右の耳を覆うように配置される。ヘッドフォン部１３には、左用及び右用のスピーカが設けられる。ヘッドフォン部１３の位置は、手動又は自動により制御可能となっている。そのための構成は限定されず、任意の構成が採用されてよい。

　ディスプレイユニット１４は、基体部１１に挿入され、ユーザ１の眼の前方に配置される。ディスプレイユニット１４の内部には、ディスプレイ２２（図３参照）が配置される。ディスプレイ２２としては、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた任意の表示デバイスが用いられてよい。またディスプレイユニット１４には、ディスプレイ２２により表示された画像をユーザ１の左右の眼に導くレンズ系（図示は省略）が配置される。

　内向きカメラ１５は、ユーザ１の左眼及び右眼を撮影可能な左眼用カメラ１５ａ及び右眼用カメラ１５ｂからなる。左眼用カメラ１５ａ及び右眼用カメラ１５ｂは、ＨＭＤ１０の所定の位置、具体的には基体部１１の所定の位置にそれぞれ設置される。例えば、左眼用及び右眼用カメラ１５ａ及び１５ｂにより撮影された左眼及び右眼の画像に基づいて、ユーザ１の視線に関する視線情報等を検出することが可能である。

　左眼用及び右眼用カメラ１５ａ及び１５ｂとしては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。

　外向きカメラ１６は、カバー部１７の中央に、外側（ユーザ１とは反対側）に向けて配置される。外向きカメラ１６は、ユーザ１の前方側の実空間を撮影することが可能である。外向きカメラ１６としては、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備えるデジタルカメラが用いられる。

　カバー部１７は、基体部１１に取付けられ、ディスプレイユニット１４を覆うように構成される。このように構成されたＨＭＤ１０は、ユーザ１の視野を覆うように構成された没入型のヘッドマウントディスプレイとして機能する。例えばＨＭＤ１０により、３次元的な仮想空間が表示される。ユーザ１はＨＭＤ１０を装着することで、仮想現実（ＶＲ）等を体験することが可能となる。

　図３は、ＨＭＤ１０の機能的な構成例を示すブロック図である。ＨＭＤ１０は、さらに、コネクタ２３と、操作ボタン２４と、通信部２５と、センサ部２６と、記憶部２７と、コントローラ２８とを有する。

　コネクタ２３は、他のデバイスとの接続のための端子である。例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の端子が設けられる。また充電時には、充電用のドッグ（クレードル）の充電端子とコネクタ２３とが接続されて充電が行われる。

　操作ボタン２４は、例えば基体部１１の所定の位置に設けられる。操作ボタン２４により、電源のＯＮ／ＯＦＦの操作、画像表示や音声出力に関する機能やネットワーク通信機能等のＨＭＤ１０が有する種々の機能に関する操作を実行することができる。

　通信部２５は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth等の通信モジュールが設けられる。通信部２５が動作することで、サーバ装置５０との間で無線通信が可能となる。

　センサ部２６は、９軸センサ２９と、ＧＰＳ３０と、生体センサ３１と、マイク３２とを有する。

　９軸センサ２９は、３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサを含む。９軸センサ２９により、ＨＭＤ１０の、３軸における加速度、角速度、及び方位を検出することが可能である。ＧＰＳ３０は、ＨＭＤ１０の現在位置の情報を取得する。９軸センサ２９及びＧＰＳ３０の検出結果は、例えばユーザ１（ＨＭＤ１０）の姿勢や位置、ユーザ１の移動（動き）等の検出に用いられる。これらのセンサは、例えば基体部１１の所定の位置に設けられる。

　生体センサ３１は、ユーザ１の生体情報を検出することが可能である。例えば生体センサ３１として、脳波センサ、筋電センサ、脈拍センサ、発汗センサ、温度センサ、血流センサ、体動センサ等が設けられる。

　マイク３２は、ユーザ１の周辺の音情報を検出する。例えばユーザが発話した音声等が適宜検出される。これにより、例えばユーザ１は、音声通話をしながらＶＲ体験を楽しむことや、音声入力を用いたＨＭＤ１０の操作入力を行うことが可能である。

　センサ部２６として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばＨＭＤ１０を使用する環境の温度や湿度等を測定可能な温度センサや湿度センサ等が設けられてもよい。内向きカメラ１５及び外向きカメラ１６を、センサ部２６の一部として見做すことも可能である。

　記憶部２７は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が用いられる。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

　記憶部２７には、ＨＭＤ１０の全体の動作を制御するための制御プログラム３３が記憶される。制御プログラム３３を、ＨＭＤ１０にインストールする方法は限定されない。

　コントローラ２８は、ＨＭＤ１０が有する各ブロックの動作を制御する。コントローラ２８は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部２７に記憶されている制御プログラム３３をＲＡＭにロードして実行することにより、種々の処理が実行される。

　コントローラ２８として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific IntegratedCircuit）等のデバイスが用いられてもよい。

　本実施形態では、コントローラ２８のＣＰＵが本実施形態に係るプログラム（例えばアプリケーションプログラム）を実行することで、機能ブロックとして、トラッキング部３５、表示制御部３６、及び指示判定部３７が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。

　トラッキング部３５は、ユーザ１の頭の動きを検出するヘッドトラッキング、ユーザ１の左右の視線の動きを検出するアイトラッキングを実行する。すなわちトラッキング部３５により、ＨＭＤ１０がどの方向を向いているか、ユーザ１の視線がどの方向を向いているかを検出することが可能となる。トラッキング部３５により検出されるトラッキングデータは、ユーザ１（ＨＭＤ１０）の姿勢情報及び視線情報に含まれる。

　ヘッドトラッキング及びアイトラッキングは、センサ部２６からの検出結果、内向きカメラ１５及び外向きカメラ１６による撮影画像に基づいて算出される。ヘッドトラッキング及びアイトラッキングを実行するためのアルゴリズムは限定されず、任意のアルゴリズムが用いられてもよい。例えばＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、トラッキングの精度を向上させることが可能となる。

　表示制御部３６は、ディスプレイユニット１４（ディスプレイ２２）による画像表示を制御する。表示制御部３６により、例えば画像処理や表示制御等が適宜実行される。本実施形態では、サーバ装置５０により、ディスプレイ２２に画像を表示するための描画データが、ＨＭＤ１０に送信される。表示制御部３６は、サーバ装置５０から送信された描画データに基づいて画像処理及び表示制御を実行し、ディスプレイ２２に画像を表示させる。

　指示判定部３７は、ユーザ１により入力された指示を判定する。例えば指示判定部３７は、操作ボタン２４への操作に応じて生成される操作信号に基づいて、ユーザ１の指示を判定する。また指示判定部３７は、マイク３２を介して入力されたユーザ１の音声に基づいて、ユーザ１の指示を判定する。

　また例えば指示判定部３７は、外向きカメラ１６により撮影された、ユーザ１の手等を使ったジェスチャーに基づいて、ユーザ１の指示を判定する。またユーザ１の視線の動きに基づいて、ユーザ１の指示を判定することも可能である。もちろん、音声入力、ジェスチャー入力、視線の動きによる入力の全てが可能である場合に限定される訳ではない。また他の指示入力方法が可能であってもよい。

　ユーザ１により入力される指示を判定するための具体的なアルゴリズムは限定されず、任意の技術が用いられてよい。また任意の機械学習アルゴリズムが用いられてもよい。

　［サーバ装置］
　図４は、サーバ装置５０の機能的な構成例を示すブロック図である。

　サーバ装置５０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等のコンピュータの構成に必要なハードウェアを有する（図１９参照）。ＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、機能ブロックとしてデコード部５１、メタパーサ部５２、ユーザインタフェース部５３、切替タイミング判定部５４、視差判定部５５、切替判定部５６、全天球映像制御部５７、平面映像制御部５８、及びレンダリング部５９が実現され、本技術に係る情報処理方法が実行される。

　例えばＰＣ（Personal Computer）等の任意のコンピュータにより、サーバ装置５０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。また図４に示す各ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。

　プログラムは、例えば種々の記録媒体を介してサーバ装置５０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。

　デコード部５１は、データベース６０から読み出した全天球映像データ６１及び平面映像データ６２をデコードする。デコードされた全天球映像データ６１は、全天球映像制御部５７に出力される。デコードされた平面映像データ６２は、平面映像制御部５８に出力される。なお、画像データのエンコード／デコード形式等は限定されない。

　メタパーサ部５２は、データベース６０からメタデータ６３を読み出し、切替タイミング判定部５４、及び視差判定部５５に出力する。メタデータ６３は、全天球映像と、平面映像との表示の切替えに関するメタデータであり、詳しくは後述する。

　ユーザインタフェース部５３は、ＨＭＤ１０から送信されるトラッキングデータ、及びユーザ１により入力された指示を受信する。受信されたトラッキングデータ及び入力指示は、切替判定部５６及び平面映像制御部５８に適宜出力される。

　切替タイミング判定部５４は、視差判定部５５、切替判定部５６、全天球映像制御部５７、平面映像制御部５８、及びレンダリング部５９は、本技術に係る表示切替処理を実行するためのブロックである。本技術に係る表示切替処理は、全天球映像（全天球画像）と、平面映像（平面画像）との間で表示を切替えるための処理であり、切替処理に相当する。

　本実施形態において、切替タイミング判定部５４は、視差判定部５５、切替判定部５６、全天球映像制御部５７、平面映像制御部５８、及びレンダリング部５９の機能により、本技術に係る処理部の一実施形態が実現される。従って、ＣＰＵ等のコンピュータを構成するハードウェアにより、本技術に係る処理部の一実施形態が実現されるとも言える。切替タイミング判定部５４等の各ブロックについては、後述する表示切替処理と合わせて説明する。

　なお、サーバ装置５０は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するための通信部（図１９参照）を備えている。通信部が動作することで、ＨＭＤ１０との間で無線通信が可能となる。

　［平面映像］
　図５は、平面映像データを説明するための模式図である。平面映像データ６２は、複数のフレーム画像６４を含む動画像のデータである。

　以下、画像（映像）と、画像データ（映像データ）とを区別なく記載する場合がある。例えば符号を付して説明する場合、平面映像データ６２と同じ符号を用いて、平面映像６２と記載する場合がある。

　本実施形態では、所望のＶＲコンテンツを作成するために、所定の実空間の所定の撮影位置から動画像が撮影される。すなわち本実施形態では、実空間を撮影した画像である実空間画像により、平面映像６２が生成される。また本実施形態では、平面映像６２は、実空間が透視投影で矩形に撮影された映像に相当する。

　所定の実空間は、仮想空間を実現するために選択される実空間であり、例えばスタジアムやコンサートホール等の屋内、山や川等の野外等、任意の場所が選択されてよい。撮影位置も適宜選択される。例えばスタジアムの入口、所定の観客席や、登山道の入口、山の頂上等、任意の撮影位置が選択されてよい。

　本実施形態では、所定のアスペクト比及び所定の解像度にて撮影された矩形のフレーム画像６４が生成される。これら複数のフレーム画像６４が、所定のフレームレートで撮影されることで、平面映像６２が生成される。以下、平面映像６２のフレーム画像６４を、平面フレーム画像６４と記載する。

　例えばアスペクト比が１６：９であり、横１９２０画素×縦１０８０画素のフルＨＤ画像が、６０フレーム／秒により撮影される。もちろんこれに限定されず、平面フレーム画像６４のアスペクト比、解像度、及びフレームレート等は、任意に設定されてよい。また平面映像６２（平面フレーム画像６４）の形状も矩形状に限定されない。円形や三角形等の他の形状の画像に対しても、本技術は適用可能である。

　図６は、ＨＭＤ１０による平面映像６２の表示を模式的に示す図である。図６Ａは、平面映像６２を見ているユーザ１を正面から（平面映像６２側から）見た図である。図６Ｂは、平面映像６２を見ているユーザ１を斜め後方から見た図である。

　本実施形態では、ＨＭＤ１０を装着するユーザ１の前後、左右、及び上下の全周囲３６０°を覆う空間が、ＶＲコンテンツにより表現される仮想空間Ｓとなる。すなわち、ユーザ１にとって、周囲のどの方向を見ても、仮想空間Ｓ内の領域を見ていることになる。

　図６に示すように、ＨＭＤ１０のディスプレイ２２に、平面映像６２（平面フレーム画像６４）が表示される。ＨＭＤ１０を装着しているユーザ１にとって、平面映像６２は、仮想空間Ｓ内の一部の領域に表示される。以下、仮想空間Ｓ内の平面映像６２が表示される領域を、第１の表示領域Ｒ１とする。

　平面映像６２は、例えばユーザ１の正面に表示される。従って、ユーザ１の頭の動き等に応じて、平面映像６２が表示される第１の表示領域Ｒ１の位置は変更され得る。もちろん、所定の位置に固定して平面映像６２が表示され、ユーザ１がその方向を見ないと平面映像６２を視聴できないといった表示方法も可能である。

　また、平面映像６２のサイズ等は、ユーザ１の指示等により変更可能である。平面映像６２のサイズが変更される場合は、第１の表示領域Ｒ１のサイズも変更されることになる。なお、仮想空間Ｓ内の平面映像６２が表示される第１の表示領域Ｒ１以外の領域には、例えば背景画像等が表示される。背景画像は、黒や緑等の一色の画像であってもよいし、コンテンツに関する画像でもよい。３次元や２次元のＣＧ等により背景画像が生成されてもよい。

　本実施形態において、平面映像６２（平面フレーム画像６４）は、仮想空間に表示される第１の実空間画像に相当する。また平面映像６２（平面フレーム画像６４）は、実空間の所定の撮影位置から撮影された画像に相当する。なお平面映像６２を、所定形状映像と言うことも可能である。本実施形態では、所定形状として矩形状が採用されているが、円形状等の他の形状が所定形状として採用されてもよい。

　［全天球映像］
　図７は、全天球映像データを説明するための模式図である。本実施形態では、所定の実空間の所定の撮影位置から、複数の実空間画像６６が撮影される。複数の実空間画像６６は、同じ撮影位置から、前後、左右、及び上下の全周囲３６０°の実空間をカバーするように、互いに異なる撮影方向にて撮影される。また複数の実空間画像６６は、互いに隣接する撮影画像にて、画角（撮影範囲）が重複するように撮影される。

　複数の実空間画像６６が、所定のフォーマットに基づいて合成されることで、図７に示す全天球映像データ６１が生成される。本実施形態では、透視投影で撮影された複数の実空間画像６６が、所定のフォーマットに基づいて合成される。全天球映像データ６１を生成するためのフォーマットとしては、例えば正距円筒（Equirectangular）投影やキューブ・マップ（CubeMap）等が挙げられる。もちろんこれらに限定されず、任意の投影法等が用いられてよい。なお図７に示す全天球映像データ６１の図示は、あくまで模式図である。

　図８は、ＨＭＤ１０による全天球映像６１の表示を模式的に示す図である。図８Ａは、全天球映像６１を見ているユーザ１を正面から見た図である。図８Ｂは、全天球映像６１を見ているユーザ１を斜め後方から見た図である。

　本実施形態では、ＨＭＤ１０（ユーザ１）の周りに仮想的に配置された球に、全天球映像データ６１が貼り付けられる。従って、ＨＭＤ１０を装着するユーザ１にとって、仮想空間Ｓの前後、左右、及び上下の全周囲３６０°の全領域に、全天球映像６１が表示される。これにより、非常に高いコンテンツへの没入感を実現することが可能となり、優れた視聴体験をユーザ１に提供することが可能となる。

　仮想空間Ｓ内の全天球映像６１が表示される領域を第２の表示領域Ｒ２とする。第２の表示領域Ｒ２は、ユーザ１の周囲の仮想空間Ｓ内の全ての領域となる。図６に示す平面映像６２が表示される第１の表示領域Ｒ１と比べると、第２の表示領域Ｒ２は、第１の表示領域Ｒ１を含む第１の表示領域Ｒ１よりも広い領域となる。

　図８には、ディスプレイ２２の表示領域６７が図示されている。全天球映像６１のうちユーザ１が視聴可能な範囲は、ディスプレイ２２の表示領域６７に対応する範囲である。ユーザ１の頭の動き等に応じて、ディスプレイ２２の表示領域６７の位置が変更され、全天球映像６１の視聴可能な範囲が変更される。これにより、ユーザ１はすべての方向において、全天球映像６１を視聴することが可能となる。

　なお図８では、ディスプレイ２２の表示領域６７が、球の内周面に沿った形状で図示さされている。実際には、ディスプレイ２２には、図６に示す平面映像６２と同様に、矩形状の画像が表示されている。ユーザ１にとっては、ユーザ１の周囲を覆うような視覚効果が得られる。

　本開示では、仮想空間Ｓ内における画像の表示領域とは、ディスプレイ２２により実際に表示される範囲に対応する領域ではなく、仮想空間Ｓ内の画像が表示される対象となる領域を意味するものとする。従って、第１の表示領域Ｒ１は、仮想空間内Ｓの平面映像６２に対応した矩形状の領域となる。第２の表示領域Ｒ２は、仮想空間内Ｓの、全天球映像６１に対応する前後、左右、及び上下の全周囲３６０°の全領域となる。

　また本実施形態では、図７に示す複数の実空間画像６６として、複数のフレーム画像を有する動画像がそれぞれ撮影される。例えばそして各々のフレーム画像にて画像が合成され、全天球映像６１が生成される。従って、本実施形態では、動画像として構成された全天球映像６１を視聴することが可能である。

　例えば、全方位にわたって同時に複数の実空間画像６６（動画像）が撮影される。そして互いに対応するフレーム画像同士が合成され、全天球映像６１が生成される。これに限定されず、他の方法が用いられてもよい。

　動画像として構成された全天球映像６１に含まれる、時間軸に沿って順に表示される全天球画像（静止画像）は、全天球映像６１のフレーム画像となる。全天球映像のフレーム画像のフレームレート等は限定されず、任意に設定されてよい。図７に示すように、全天球映像６１のフレーム画像を、全天球フレーム画像６８と記載する。

　なお、ユーザ１から見た全天球映像６１（全天球フレーム画像６８）のサイズは一定となる。例えばユーザ１を中心として、全天球映像６１のスケール（仮想的に設定された球のスケール）を変化させる。この場合、スケールの変化に応じて、ユーザ１と全天球映像６１（仮想的な球の内周面）との距離も変化し、結局全天球映像６１のサイズは変わらない。

　本実施形態において、全天球映像６１は、仮想空間の第１の実空間画像が表示される領域を含み第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像に相当する。また全天球映像６１は、実空間の所定の撮影位置から撮影された複数の画像が合成された画像に相当する。なお全天球映像６１を、仮想現実映像と言うことも可能である。

　図９～図１１は、メタデータ６３の一例を示す図である。メタデータ６３は、平面映像６２と全天球映像６１との表示の切替えに関するメタデータである。例えば図９に示すように、平面映像６２に関するメタデータ６３ａが記憶される。図９に示す例では、以下に示す情報がメタデータ６３ａとして記憶される。

　ＩＤ…平面フレーム画像６４ごとに付される識別情報
　画角…平面フレーム画像６４の画角
　撮影位置…平面フレーム画像６４の撮影位置
　撮影方向…平面フレーム画像６４の撮影方向
　回転（ロール、ピッチ、ヨー）…平面フレーム画像６４の回転位置（回転角度）
　撮影時間…平面フレーム画像６４を撮影した日時
　撮影環境…平面フレーム画像６４の撮影した際の撮影環境

　平面フレーム画像６４の画角は、例えば平面フレーム画像６４を撮影した撮像装置のレンズの画角や焦点距離等により定められる。平面フレーム画像６４の画角は、平面フレーム画像６４の撮影範囲に対応するパラメータとも言える。従って、平面フレーム画像６４の撮影範囲に関する情報が、メタデータ６３ａとして記憶されてもよい。本実施形態において、平面フレーム画像６４の画角は、第１の実空間画像の画角に関する情報に相当する。

　平面フレーム画像６４の撮影位置、撮影方向、回転位置は、例えば予め規定された所定のＸＹＺ座標系により定められる。例えば撮影位置としてＸＹＺ座標値が記憶される。撮影方向として平面フレーム画像６４を撮影した撮像装置の撮影光軸の方向が、撮影位置を基準としてＸＹＺ座標値を用いて記憶される。回転位置として、例えばＸ軸をピッチ軸、Ｙ軸をロール軸、Ｚ軸をヨー軸とした、ピッチ角度、ロール角度、及びヨー角度が記憶される。もちろんこのようなデータが生成される場合に限定される訳ではない。

　撮影時間としては、例えば平面フレーム画像６４が撮影された日付及び時間が記憶される。撮影環境としては、平面フレーム画像６４を撮影した際の天候等が挙げられる。平面映像６２に関するメタデータ６３ａの種類は限定されない。また各情報をどのようなデータで記憶するかといったことも限定されない。

　本実施形態において、平面映像６２に関するメタデータ６３ａは、第１の撮影情報に相当する。もちろん第１の撮影情報として、他の情報が記憶されてもよい。

　また図１０に示すように、全天球映像６１に関するメタデータ６３ｂが記憶される。図１０に示す例では、以下に示す情報がメタデータ６３ｂとして記憶される。

　ＩＤ…全天球フレーム画像６８ごとに付される識別情報
　撮影位置…全天球フレーム画像６８の撮影位置
　撮影時間…全天球フレーム画像６８を撮影した日時
　撮影環境…全天球フレーム画像６８の撮影した際の撮影環境
　フォーマット…全天球映像６１のフォーマット

　全天球フレーム画像６８の撮影位置は、図７に示す複数の実空間画像６６の各々の撮影位置に基づいて作成される。典型的には、同じ撮影位置にて複数の実空間画像６６が撮影されるので、その撮影位置が記憶される。複数の実空間画像６６が若干位置をずれて撮影されている場合には、例えば各撮影位置の平均値等が記憶される。

　全天球フレーム画像６８の撮影時間は、図７に示す複数の実空間画像６６の各々の撮影時間に基づいて作成される。複数の実空間画像６６が同時に撮影される場合は、その撮影時間が記憶される。複数の実空間画像６６が異なるタイミングで撮影される場合は、各撮影時間のうち中間の時間が記憶される。

　撮影環境としては、複数の実空間画像６６を撮影した際の天候等が挙げられる。フォーマットは、複数の実空間画像６６から全天球映像データ６１を生成する際のフォーマットである。全天球映像６１に関するメタデータ６３ｂの種類は限定されない。また各情報をどのようなデータで記憶するかといったことも限定されない。

　本実施形態において、全天球映像６１に関するメタデータ６３ｂは、第２の撮影情報に相当する。もちろん第２の撮影情報として、他の情報が記憶されてもよい。

　図１１は、本実施形態において表示切替処理に用いられるメタデータ６３ｃの一例である。図１１に示す例では、以下に示す情報がメタデータ６３ｃとして記憶される。

　切替タイミング…表示切替処理を実行すべきタイミング
　移動量の時系列…全天球映像６１に対する平面映像６２の移動量の時系列
　画角の時系列…全天球映像６１に対する平面映像６２の画角の時系列
　撮影方向の時系列…全天球映像６１に対する平面映像６２の撮影方向の時系列
　回転の時系列…全天球映像６１に対する平面映像６２の回転位置（回転角度）の時系列

　切替タイミングは、例えばＶＲコンテンツの制作者により定められる。例えば仮想空間内においてユーザ１が所定の位置に移動し、所定の方向を見たタイミング等が記憶される。あるいは、ＶＲコンテンツの開始から所定の時間経過したタイミング等が記憶される。その他、種々のタイミングが切替タイミングとして記憶されてよい。本実施形態において、切替タイミングは、切替処理の実行タイミングに関する情報に相当する。

　移動量の時系列は、平面フレーム画像６４の撮影位置と、全天球フレーム画像６８の撮影位置との差（距離）の時系列情報に相当する。移動量の時系列により、ある撮影時間にて撮影された平面フレーム画像６４と、全天球フレーム画像６８とについて、撮影位置の差を算出することが可能となる。以下、撮影位置の差を視差という場合がある。

　全天球映像６１に対する平面映像６２の画角／撮影方向／回転位置の時系列は、全天球映像６１に対する、平面映像６２の表示領域サイズ、及び位置の時系列情報に相当する。すなわち全天球映像６１が表示される第２の表示領域Ｒ２に対する、平面映像６２が表示される第１の表示領域Ｒ１の位置及びサイズの時系列情報とも言える。本時系列情報により、ある時間における第２の表示領域Ｒ２と第１の表示領域Ｒ１の位置関係（サイズも含む）を算出することが可能である。

　メタデータ６３ｃに含まれる各時系列情報を生成して記憶させる方法は限定されない。例えば、ＶＲコンテンツの制作者により適宜生成され、手動にて各時系列情報が入力されてもよい。あるいは図９及び図１０に示すメタデータ６３ａ及び６３ｂに基づいて、各時系列情報を生成し、メタデータ６３ｃとして記憶させてもよい。また上記した特許文献１（特開２０１８－１１３０２号公報）に記載されている技術を用いることで、各時系列情報を生成することも可能である。

　本実施形態において、画角の時系列は、第１の実空間画像の画角に関する情報とも言える。また移動量の時系列、撮影方向の時系列、回転の時系列を、第１及び第２の撮影情報として用いることも可能である。

　タデータ６３ｃの種類は限定されない。また各情報をどのようなデータで記憶するかといったことも限定されない。なお各時系列情報をメタデータ６３ｃとして記憶させることなく、ＶＲコンテンツの再生中にリアルタイムで生成し、表示切替処理に用いる、といったことも可能である。

　［全天球映像と平面映像との表示切替］
　図１２は、全天球映像６１から平面映像６２への表示切替処理の一例を示すフローチャートである。図１３は、平面映像６２から全天球映像６１への表示切替処理の一例を示すフローチャートである。

　図１２に示すように、ＨＭＤ１０により全天球映像６１が再生される（ステップ１０１）。図４に示すように本実施形態では、サーバ装置５０により全天球映像データ６１が読み出される。読み出された全天球映像データ６１に基づいて、レンダリング部５９により描画処理が実行され、全天球映像６１の各フレーム画像６８をＨＭＤ１０のディスプレイ２２に表示するための、描画データが生成される。

　生成された全天球映像６１の描画データは、ＨＭＤ１０に送信される。ＨＭＤ１０の表示制御部３６は、サーバ装置５０から送信された描画データに基づいて、ディスプレイ２２に全天球フレーム画像６８を、所定のフレームレートで表示させる。これにより、ＨＭＤ１０を装着したユーザ１は、全天球映像６１を視聴することが可能となる。

　なおトラッキング部３５により検出されたトラッキングデータに基づいて、ユーザ１の頭の動き（ＨＭＤ１０の向きの変化）に応じて、ＨＭＤ１０に表示される表示領域６７の位置が移動される。

　例えば、サーバ装置５０のユーザインタフェース部５３により、ＨＭＤ１０から送信されたトラッキングデータが受信される。そして全天球映像制御部５７により、ＨＭＤ１０のディスプレイ２２の表示領域６７に対応した範囲（画角）が算出される。レンダリング部５９により、算出された範囲の描画データが生成され、ＨＭＤ１０に送信される。ＨＭＤ１０の表示制御部３６は、送信された描画データに基づいて、ディスプレイ２２に全天球映像６１を表示する。

　あるいは、ＨＭＤ１０の表示制御部３６により、トラッキングデータに基づいて、ディスプレイ２２に表示させる範囲（画角）が決定されてもよい。

　切替タイミング判定部５４により、表示切替処理の実行タイミングであるか否か判定される（ステップ１０２）。本判定は、メタパーサ部５２から出力されるメタデータ６３に基づいて実行される。具体的には、図１１に示すメタデータ６３ｃに含まれる切替タイミングに基づいて、表示切替処理の実行タイミングであるか否か判定される。

　表示切替処理の実行タイミングではないと判定された場合（ステップ１０２のＮｏ）、切替判定部５６により、表示切替指示の入力があるか否か判定される（ステップ１０３）。本判定は、ユーザインタフェース部５３により受信されるユーザ１の入力指示に基づいて実行される。

　表示切替指示の入力がない場合には（ステップ１０３のＮｏ）、ステップ１０１に戻り、全天球映像６１の再生が継続される。表示切替指示の入力がある場合には（ステップ１０３のＹｅｓ）、視差判定部５５及び切替判定部５６により、表示切替処理を実行するための表示切替条件が満たされているか否か判定される（ステップ１０４）。

　本実施形態では、表示切替条件として、全天球映像６１の撮影位置と、平面映像６２の撮影位置との差（視差）が所定の閾値以下であるか否か判定される。

　視差判定部５５は、図１１に示すメタデータ６３ｃ内の移動量の時系列を参照する。そしてＨＭＤ１０に表示されている全天球フレーム画像６８の撮影位置と、同じ撮影時間に撮影された平面フレーム画像６４の撮影位置との差が、所定の閾値以下であるか否かを判定する。なお同じ撮影時間に撮影された平面フレーム画像６４が、切替対象の画像となる。視差判定部５５による判定結果は、切替判定部５６に出力される。

　切替判定部５６は、視差判定部５５による判定結果に基づいて、表示切替条件を満たすか否か判定する。全天球フレーム画像６８と、切替対象となる平面フレーム画像６４との視差が所定の閾値以下の場合は、表示切替条件を満たすと判定される。全天球フレーム画像６８と、切替対象となる平面フレーム画像６４との視差が所定の閾値よりも大きい場合は、表示切替条件は満たされないと判定される。

　表示切替条件が満たされない場合は（ステップ１０４のＮｏ）、ステップ１０１に戻り、全天球映像６１の再生が継続される。この際に、表示切替処理が実行不可である旨のエラー等がユーザ１に通知されてもよい。表示切替条件が満たされる場合は（ステップ１０４のＹｅｓ）、表示切替処理が実行される。

　本実施形態に係る表示切替条件は、第１の実空間画像の撮影位置と第２の実空間画像の撮影位置との差が所定の閾値以下であるという条件を含む。また全天球フレーム画像６８と同じ撮影時間の平面フレーム画像６４が、切替対象の画像として設定されている。従って、本実施形態では、表示切替条件として、第１の実空間画像の撮影時間と第２の実空間画像の撮影時間とが同じであるという条件が含まれていると見做すことも可能である。

　なお、時系列情報を作成する際に、撮影時間の差が所定の閾値以下であるフレーム画像同士を、互いに切替対象となるフレーム画像として設定することも可能である。この場合、表示切替条件として、第１の実空間画像の撮影時間と第２の実空間画像の撮影時間との差が所定の閾値以下であるという条件を含まれていると見做すことも可能である。

　表示切替処理として、全天球映像制御部５７により、全天球映像６１が制御される（ステップ１０５）。また平面映像制御部５８により、平面映像６２が制御される（ステップ１０６）。ステップ１０５及び１０６は、それぞれ並列に実行されてよい。

　図１４は、全天球映像６１の制御の一例を説明するための模式図である。まず全天球フレーム画像６８に対して、切替対象となる平面フレーム画像６４の画角に対応する対応範囲７０が算出される。対応範囲７０は、例えば、図１１に示すメタデータ６３ｃの、画角の時系列、撮影方向の時系列、及び回転の時系列に基づいて算出することが可能である。

　全天球映像制御部５７により、対応範囲７０以外の範囲がマスクされ、対応範囲７０以外の範囲（以下、マスク範囲７２と記載する）の表示が制限された制限画像７１が生成される。図１４に示すように、本実施形態では、制限画像７１の生成に合わせて、対応範囲７０に対して外側から徐々にマスクが実行される遷移画像７３も生成される。

　マスク範囲７２に表示されるマスク画像としては、典型的には、背景画像が選択される。すなわち平面映像６２の第１の表示領域Ｒ１以外の領域に表示される背景画像により、全天球映像６１の対応範囲７０以外のマスク範囲７２がマスクされる。なお、連続的にマスクが拡張される遷移画像７３の生成方法は限定されない。

　また本実施形態では、全天球フレーム画像６８の対応範囲７０に表示される表示内容が、切替対象となる平面フレーム画像６４の表示内容と同じ内容となるように、制限画像７１が生成される。

　全天球映像制御部５７は、全天球映像データ６１に基づいて、任意の画角の画像を生成することが可能である。従って、平面フレーム画像６４と同じ表示内容が対応範囲７０に表示された制限画像７１を生成することが可能である。

　その際に、例えば対応範囲７０内の画像が、平面フレーム画像６４と同様に透視投影の矩形の画像となるように、投影方法の変換を実行することも可能である。なお全天球映像６１のフォーマットによっては、対応範囲７０以外のマスク範囲７２をマスクするだけで、平面フレーム画像６４と同じ透視投影の矩形の画像を生成することが可能な場合もあり得る。

　図１５は、平面映像６２の制御の一例を説明するための模式図である。平面映像制御部５８により、切替対象となる平面フレーム画像６４のサイズが制御される。具体的には、図１４に示す制限画像７１の対応範囲７０のサイズとるように、平面フレーム画像６４のサイズが制御される。

　図１５に示す例では、平面フレーム画像６４のサイズが小さくなるように変更されている。もちろんこれに限定されず、平面フレーム画像６４のサイズが大きくなるように変更される場合もあり得る。またサイズの変更が不要の場合もあり得る。

　図１２に戻り、全天球映像６１の制御、及び平面映像６２の制御の実行後、全天球映像６１が消去され、平面映像６２が表示される（ステップ１０７）。

　本実施形態では、レンダリング部５９により、遷移画像７３、制限画像７１、及びサイズが制御された平面フレーム画像６４の描画データが生成され、ＨＭＤ１０に送信される。ＨＭＤ１０の表示制御部３６により、全天球フレーム画像６８の対応範囲７０以外のマスク範囲７２が徐々にマスクされる画像（遷移画像７３）が表示され、最終的に制限画像７１が表示される。

　その制限画像７１が消去されるのと同時に、サイズが制御された平面フレーム画像６４が表示される。すなわち本実施形態では、表示切替処理により、制限画像７１と、サイズが制御された平面フレーム画像６４との間で表示が切替えられる。これにより全天球映像６１と、平面映像６２との間で、表示が切替えられる。

　図１６は、表示切替処理が実行される際の、ユーザ１による映像の見え方の一例を示す模式図である。まず仮想空間Ｓ内に全天球映像６１が表示されている。図１６では、矩形の画像が模式的に表示されているが、ユーザ１自身を覆うような視聴体験が提供されている。

　次に、全天球映像６１の一部の矩形の範囲７５に向かって、外側から徐々にマスクが実行される。そして最終的に、一部の矩形７５の範囲を残し、他の範囲７６の全てがマスクされる。矩形の範囲７５は、図１４に示す対応範囲７０に対応する。また徐々にマスクが拡張される画像は、遷移画像７３に相当する。矩形の範囲７０以外の範囲がマスクされた画像は、制限画像７１に対応する。

　なお図１６に示す例では、矩形の範囲７５（対応範囲７０）が、ユーザ１の視聴範囲の中心に位置している。しかしながら、対応範囲７０が、ユーザ１の視聴範囲の中心からオフセットされた位置となる場合や、対応範囲７０がユーザの視聴範囲から外れた位置となる場合もあり得る。

　このような場合、例えば対応範囲７０がユーザ１の視聴範囲に含まれるように（例えば視聴範囲の中央に移動するように）、全天球映像６１の全体が移動されてもよい。あるいは、ユーザ１の視線（ＨＭＤ１０の向き）が、対応範囲７０が視聴範囲に含まれるように（例えば視聴範囲の中央に位置するように）、誘導されてもよい。その他、任意の処理が実行されてよい。

　最後に、制限画像７１が消去されるのと同時に、対応範囲７０にサイズが制御された平面フレーム画像６４が表示される。制限画像７１の対応範囲７０の表示内容と、サイズが制御された平面フレーム画像６４の表示内容は同じ内容である。また制限画像７１のマスクは、平面フレーム画像６４が表示される際の背景画像により構成される。

　従って制限画像７１から平面フレーム画像６４への表示の切替えに対して、ユーザ１にとって見え方に変化はなく、同じ見え方となる。すなわち全天球映像６１から平面映像６２へ切替えタイミングを意識することなく、コンテンツの視聴を楽しむことが可能となる。

　図１２に戻り、ステップ１０２にて、表示切替処理の実行タイミングであると判定された場合、表示切替処理が実行される。典型的には、ＶＲコンテンツの制作者により定められたタイミングにおける表示切替処理となる。従って切替条件を満たす全天球映像６１と平面映像６２とが、予め準備されており、自然な表示切替処理が実行される。

　平面映像６２から全天球映像６１への表示切替処理について説明する。図１３に示すように、ＨＭＤ１０により平面映像６２が再生される（ステップ２０１）。本実施形態では、サーバ装置５０により平面映像データ６２が読み出される。読み出された平面映像データ６２に基づいて、レンダリング部５９により、平面映像６２の各フレーム画像６４の描画データが生成される。

　ＨＭＤ１０の表示制御部３６は、サーバ装置５０から送信された描画データに基づいて、ディスプレイ２２に平面フレーム画像６４を、所定のフレームレートで表示させる。これにより、ＨＭＤ１０を装着したユーザ１は、平面映像６２を視聴することが可能となる。

　切替タイミング判定部５４により、表示切替処理の実行タイミングであるか否か判定される（ステップ２０２）。表示切替処理の実行タイミングではないと判定された場合（ステップ２０２のＮｏ）、切替判定部５６により、表示切替指示の入力があるか否か判定される（ステップ２０３）。

　表示切替指示の入力がない場合には（ステップ２０３のＮｏ）、ステップ２０１に戻り、平面映像６２の再生が継続される。表示切替指示の入力がある場合には（ステップ２０３のＹｅｓ）、視差判定部５５及び切替判定部５６により、表示切替処理を実行するための表示切替条件が満たされているか否か判定される（ステップ２０４）。

　表示切替条件が満たされない場合は（ステップ２０４のＮｏ）、ステップ２０１に戻り、平面映像６２の再生が継続される。表示切替条件が満たされる場合は（ステップ２０４のＹｅｓ）、表示切替処理が実行される。表示切替条件は、全天球映像６１から平面映像６２への表示切替の際に判定される条件と同様である。

　表示切替処理として、全天球映像制御部５７により、全天球映像６１が制御される（ステップ２０５）。また平面映像制御部５８により、平面映像６２が制御される（ステップ２０６）。ステップ２０５及び２０６は、それぞれ並列に実行されてよい。

　全天球映像制御部５７により、図１４に示す制限画像７１が生成される。また図１７に示すように、対応範囲７０以外のマスク範囲７２のマスクが、外側に向かって徐々に縮小する遷移画像７４が生成される。遷移画像７４は、全天球映像６１の表示範囲が徐々に広がっていく画像とも言える。

　なお連続的にマスクを外していき、最終的に全天球映像６１を表示させるための遷移画像７４の生成方法は限定されない。例えば１８０°以上の画角に対しては、反対側で３６０°から引いた分の画角を表示しないということにすれば、連続的に画角を拡張することが可能となり、３６０°で全天球表示となる。

　平面映像制御部５８により、切替対象となる制限画像７１の対応範囲７０のサイズとなるように、平面フレーム画像６４のサイズが制御される（図１５参照）。全天球映像６１の制御、及び平面映像６２の制御の実行後、平面映像６２が消去され、全天球映像６１が表示される（ステップ２０７）。

　図１８は、表示切替処理が実行される際の、ユーザ１による映像の見え方の一例を示す模式図である。まず仮想空間Ｓ内に表示される平面フレーム画像６４のサイズが制御される。そして平面フレーム画像６４が消去されるのと同時に、制限画像７１が表示される。

　サイズが制御された平面フレーム画像６４の表示内容と、制限画像７１の矩形の範囲７５（対応範囲７０）の表示内容とは同じ内容である。また制限画像７１のマスクは、平面フレーム画像６４が表示される際の背景画像により構成される。

　従って平面フレーム画像６４から制限画像７１への表示の切替えに対して、ユーザ１にとって見え方に変化はなく、同じ見え方となる。従ってユーザ１にとっては、平面映像６２から全天球映像６１への切替えは認識されず、平面フレーム画像６４が表示されていることになる。

　画像が表示されている範囲７７が、外側に向かって徐々に広がっていき（マスクが徐々に小さくなっていき）、最終的に全天球映像６１が表示される。これは図１７に示す遷移画像７４の表示、及び全天球映像６１の表示に相当する。このように本実施形態では、ユーザ１にとって、平面映像６２から全天球映像６１への切替タイミングを意識することなく、コンテンツの視聴を楽しむことが可能となる。

　図１３に戻り、ステップ２０２にて、表示切替処理の実行タイミングであると判定された場合、表示切替処理が実行される。典型的には、ＶＲコンテンツの制作者により定められたタイミングにおける表示切替処理となる。従って切替条件を満たす全天球映像６１と平面映像６２とが、予め準備されており、自然な表示切替処理が実行される。

　以上、本実施形態に係るＶＲ提供システム１００では、表示の切替えに関するメタデータ６３に基づいて、平面映像６２の画角に対応した表示切替処理が実行され、平面映像６２と全天球映像６１との間で表示が切替えられる。これにより全天球映像６１の表示と平面映像６２の表示とを連続的に遷移させることが可能となる。この結果、ユーザ１に高品質な視聴体験を提供することが可能となる。

　ＨＭＤ１０で見る全天球映像６１は視野全体に広がり、視覚と直結することから、従来のテレビなどで放送されてきた透視投影で矩形に撮影された映像（平面映像６２）で活用されてきたような編集をしてしまうと、酔いなどユーザ１に悪影響を及ぼす恐れがあり、コンテンツの作成方法に制限が発生してしまうことが多い。

　そのため本発明者は、全天球映像６１のコンテンツであっても部分的に平面映像６２を使用することを新たに考案した。しかしながら急に表示を切替えると、ユーザ１にとって空間や時間の連続性が感じられず、別々の独立したコンテンツとして認識されてしまうといった問題点も見出し、その点についても検討を行った。

　検討の結果、本技術に係る表示切替処理を新たに考案した。すなわち平面映像６２と全天球映像６１とを、対応範囲７０の表示内容と平面映像６２の表示内容とが同じ見え方になるように連続的に変更する。そして同じ見え方になった時に平面映像６２と全天球映像６１とを切り替える。これにより、ユーザ１にとって空間や時間の連続性が失われることなく、１つのコンテンツとして認識することが可能となった。

　また本技術では、全天球映像６１の制約を解消するために、一時的に平面映像６２を利用することが可能である。これにより、全天球映像６１の没入感と、平面映像６２の多様な表現とを、同時に体験することが可能となるＶＲコンテンツを提供することが可能となった。

　例えば全天球映像６１を表示する際の制限としては、以下のような点が挙げられる。

　（撮影位置の制約）
　仮想空間Ｓ内の視点移動を、全天球映像６１を用いて表現しようとする場合、撮影位置を移動させながら図７に示す複数の実空間画像６６を撮影し、撮影位置が連続的に移動する全天球映像データ６１を作成する必要がある。この場合、手ブレの影響が抑制された全天球映像６１を作成するのが非常に難しい。

　現状、回転３軸の手ブレ補正はソフトウェアで可能であるため、その機能が搭載されている全天球カメラがあるが、並進３軸を補正するためには外部の装置を使用してキャンセルする必要がある。

　従って、手ブレの影響を抑制することが難しく、全天球映像６１を視聴するユーザ１にとって、非常に酔い易い状況となってしまう。また全天球映像６１での移動は、視覚情報と三半規管の感覚とがずれ易く、その観点から見ても、ユーザ１は酔い易くなってしまう。

　このような制約を解消するために、仮想空間Ｓ内の移動を表現する際には、全天球映像６１から平面映像６２に切り替える。そして、移動経路に沿って視点が移動する動画を表示させる。平面映像６２を用いることで、撮影時の手ブレの影響を十分に抑えることが可能となる。また従来から見慣れている動画像となるので、視覚情報と三半規管の感覚とのずれを十分に防止することが可能となる。この結果、ＶＲコンテンツを視聴しているユーザ１が酔ってしまうことを十分に防止することが可能となり、スムーズな視点移動を実現することが可能となる。

　（編集の制約）
　パン、カット、ドリー等の通常の表現適用が難しい。
　例えばパン等を全天球映像６１で実行すると、視覚情報と三半規管の感覚とのずれによる酔いが発生しやすくなる。
　画角の制御による映像表現が難しい。
　全天球映像６１のどこを見て、どのくらいの領域を注視するかはユーザ１次第である。従って画角を制御して、ユーザ１に注目してほしい領域等を強調して表示するといった表現は難しい。
　字幕等の付加情報の表示が難しい。
　全天球映像６１のどの位置に付加情報を表示させるかを明確に把握することが難しい。
　特殊効果の表現が難しい。
　例えば明滅等の激しい効果を全天球映像６１で行った場合は、ユーザ１への負担になり得る。

　このような制約に対して、全天球映像６１から平面映像６２に適宜切替えることで、カット等の切替え、画像サイズの変更、画角の変更、付加情報の表示、特殊効果の表現の実行等、自由な編集が可能となる。これにより、ユーザ１に高品質な視聴体験を提供することが可能となる。

　例えば、ＶＲコンテンツにおいて、他の場所等へのシーンチェンジを行う場合には、平面映像６２に切替えてから、他の場所等の映像を表示する。平面映像６２で実績のある（慣れている）シーン切替効果が適用でき、多彩な表現が可能になる。またユーザ１への負担を抑制することができる。もちろん、平面映像６２から他のＣＧ映像等の別ソースの映像への切替にも適用可能である。

　（資産活用の制約）
　平面映像６２と比べて、全天球映像６１の生成技術は比較的最近開発されたものである。従って過去の映像等の資産の蓄積は、平面映像６２と比べて、全天球映像６１の方が少ない場合が多い。ＶＲコンテンツ内において、全天球映像６１を適宜平面映像６２に切替える。これにより平面映像６２の過去の映像等の資産を十分に活用することが可能となる。この結果、ＶＲコンテンツの品質を向上させることが可能となり、ユーザ１に高品質な視聴体験を提供することが可能となる。

　以下、本実施形態に係るＶＲ提供システム１００のユースケースの一例を説明する。

　スポーツ観戦やコンサート観戦等のＶＲコンテンツの視聴が挙げられる。例えば平面映像６２により、コンテンツ選択用のサムネイルが表示される。平面映像６２を用いることで、互いに等しいサイズであり、互いに等しい形状の複数のサムネイルを容易に生成することが可能である。

　ユーザ１によりスポーツ観戦のコンテンツが選択されると、平面映像６２により試合のハイライト等が表示される。またスタジアムの入口からスタンドの席に座るまで、視点が移動する動画像が表示される。平面映像６２を用いることで、過去の試合の映像や選手に関する映像等を容易に表示することが可能となる。またスムーズな視点移動を実現することが可能となる。

　ユーザ１が席に座るタイミングにて、表示切替処理が実行され、スタジアムの全体を視聴可能な全天球映像６１が表示される。例えば、図１１に示すメタデータ６３ｃの切替タイミングに、席に座るタイミング等が記憶される。もちろん、平面映像６２が再生されている途中で、ユーザ１により、表示切替処理の指示を入力することも可能である。表示切替条件が満たされる場合には、指示を入力した地点からスタジアムの全体を視聴可能な全天球映像６１が表示される。これにより非常に没入感が高く、臨場感を感じることが可能な視聴体験を得ることが可能となる。

　ユーザ１によりコンサート観戦のコンテンツが選択されると、平面映像６２により、アーティストの紹介映像や、過去のコンサートの映像が表示される。またコンサート会場の入口から観客席に座るまで、視点が移動する動画像が表示される。

　ユーザ１が席に座るタイミングにて、表示切替処理が実行され、コンサート会場の全体を視聴可能な全天球映像６１が表示される。もちろんユーザ１により入力された表示切替処理の指示により、全天球映像６１が表示されてもよい。ユーザ１は、コンサートを十分に楽しむことが可能となり、高品質な視聴体験を得ることが可能となる。

　他のユースケースとして、旅行コンテンツの視聴も挙げられる。例えば登山口の入口にて、全天球映像６１が表示される。ユーザ１は、３６０°全周囲を視聴しながら自然を楽しむことが可能である。そして山頂までの山道を進むタイミングにて、平面映像６２に切替えられ、視点移動が行われる。例えば、図１１に示すメタデータ６３ｃの切替タイミングに、入口到着後の所定の時間の経過後が記憶されてもよい。あるいは、ユーザ１による出発の意図が入力され、その入力に応じて表示切替処理が実行されてもよい。

　平面映像６２が用いられることで、山道に沿ったスムーズな視点移動が実現される。その後、途中の中継点や山の頂上に到着するタイミングで、自動的に全天球映像６１が表示される。ユーザ１は、中継点や山の頂上において、３６０°全周囲を視聴しながら自然を楽しむことが可能である。

　もちろん山道の途中で、ユーザ１により、表示切替処理の指示を入力することも可能である。表示切替条件が満たされる場合には、指示を入力した地点における全天球映像６１が表示される。これにより非常に没入感が高く、本当に山の中にいるような視聴体験を得ることが可能となる。その他、様々なＶＲコンテンツの視聴に、本技術を適用することが可能である。

　図１９は、サーバ装置５０のハードウェア構成例を示すブロック図である。

　サーバ装置５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、入出力インタフェース５０５、及びこれらを互いに接続するバス５０４を備える。入出力インタフェース５０５には、表示部５０６、操作部５０７、記憶部５０８、通信部５０９、及びドライブ部５１０等が接続される。

　表示部５０６は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。操作部５０７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。操作部５０７がタッチパネルを含む場合、そのタッチパネルは表示部５０６と一体となり得る。

　記憶部５０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。ドライブ部５１０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体５１１を駆動することが可能なデバイスである。記録媒体５１１として、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

　通信部５０９は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して他のデバイスと通信するための通信モジュールである。Bluetooth等の近距離無線通信用の通信モジュールが備えられてもよい。またモデムやルータ等の通信機器が用いられてもよい。

　上記のようなハードウェア構成を有するサーバ装置５０による情報処理は、記憶部５０８またはＲＯＭ５０２等に記憶されたソフトウェアと、サーバ装置５０のハードウェア資源との協働により実現される。具体的には、ＣＰＵ５０１が記憶部５０８またはＲＯＭ５０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ５０３にロードして実行することにより実現される。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記では、全天球フレーム画像の表示と、平面フレーム画像の表示とを切替える場合を例に挙げた。これに限定されず、静止画像で構成された全天球画像と、動画像で構成された平面映像との間で、表示が切替えられてもよい。例えば所定の平面映像の最終フレーム画像の表示と、全天球画像の表示とを切替える、といった表示切替処理も可能である。なお動画像で構成された全天球映像と、静止画像である平面画像との間の表示の切替えや、静止画像同士の表示の切替えに本技術を適用することも可能である。

　上記では、メタデータ６３ｃの算出に特許文献１（特開２０１８－１１３０２号公報）に記載されている技術を用いることが可能な旨を記載した。その他、特許文献１（特開２０１８－１１３０２号公報）に記載されている技術を用いて、全天球映像と平面映像との位置合わせが可能であり、対応範囲を算出することも可能である。

　上記では、第２の実空間画像の一例として、全天球映像を例に挙げた。これに限定されず、３６０°全周囲のうち、一部の範囲を表示可能なパノラマ映像等が、第２の実空間画像として生成されてもよい。例えば第１の実空間画像である平面映像と、パノラマ映像との表示の切替に、本技術を適用することが可能である。

　すなわち仮想空間の第１の実空間画像が表示される領域を含み第１の実空間画像が表示される領域よりも広い領域に表示される任意の画像を、第２の実空間画として、本技術を適用することが可能である。例えば、平面映像よりも没入感が得られる広い領域に表示されれば、３６０°ではない１８０°等の任意の視野範囲の映像を、第２の実空間画像として採用することが可能である。

　第１の実空間画像も平面映像に限定される訳ではない。例えば第２の実空間画像の表示領域に含まれ、その表示領域よりも狭い領域に表示される画像であれば、第１の実空間画像として採用可能である。例えば第２の実空間画像である全天球映像に対して、表示領域が狭いパノラマ映像が、第１の実空間画像として用いられる場合もあり得る。

　上記では、全天球映像の対応範囲の表示内容と、平面映像の表示内容とが同じ内容となるように、制限画像を生成する場合を例に挙げた。ここで「同じ内容」等の表現は、「完全に同じ内容」等の概念のみならず、「実質的に同じ内容」等の概念も含み得る。実質的に同じ撮影位置から実質的に同じタイミングで撮影された画像同士は、表示内容が同じ内容となる画像同士に含まれる。

　図４に示すサーバ装置の機能が、ＨＭＤに搭載されてもよい。この場合、ＨＭＤは、本技術に係る情報処理装置の一実施形態として機能する。またＶＲコンテンツを表示する表示装置は、図１に示す没入型のＨＭＤに限定されない。ＶＲを表現可能な他の任意の表示装置が用いられてもよい。

　上記では、本技術に係る情報処理装置の一実施形態として、サーバ装置を例に挙げた。しかしながら、サーバ装置とは別に構成され、有線又は無線を介してサーバ装置に接続される任意のコンピュータにより、本技術に係る情報処理装置が実現されてもよい。例えばサーバ装置と他のコンピュータとが連動して、本技術に係る情報処理方法が実行されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第１及び第２の実空間画像の取得、メタデータの取得、表示切替処理の実行等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　各図面を参照して説明したＨＭＤ、サーバ装置等の各構成、表示切替処理のフロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

　本開示において、「同じ」「等しい」等は、「完全に同じ」「完全に等しい」等の概念のみならず、「実質的に同じ」「実質的に等しい」等の概念を含み得る。例えば「完全に同じ」「完全に等しい」等を基準とした所定の範囲を意味する概念も含まれる。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替える処理部
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記処理部は、前記メタデータに基づいて前記切替処理の実行タイミングであるか否かを判定し、前記切替処理の実行タイミングである場合に前記切替処理を実行する
　情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
　前記処理部は、前記メタデータに基づいて前記切替処理を実行するための切替条件が満たされているか否かを判定し、前記切替条件が満たされている場合に前記切替処理を実行する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記切替条件は、前記第１の実空間画像の撮影位置と前記第２の実空間画像の撮影位置との差が所定の閾値以下であるという条件を含む
　情報処理装置。
（５）（３）又は（４）に記載の情報処理装置であって、
　前記切替条件は、前記第１の実空間画像の撮影時間と前記第２の実空間画像の撮影時間との差が所定の閾値以下であるという条件を含む
　情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
　前記切替処理は、前記第２の実空間画像の前記第１の実空間画像の画角に対応する対応範囲以外の範囲の表示が制限された制限画像を生成し、前記第１の実空間画像と前記制限画像との間で表示を切替えることを含む
　情報処理装置。
（７）（６）に記載の情報処理装置であって、
　前記切替処理は、前記第１の実空間画像のサイズを前記第２の実空間画像の前記対応範囲のサイズとなるように変更後、前記制限画像との間で表示を切替えることを含む
　情報処理装置。
（８）（６）又は（７）に記載の情報処理装置であって、
　前記切替処理は、前記制限画像の前記対応範囲に表示される表示内容が、前記第１の実空間画像の表示内容と同じ内容となるように、前記制限画像を生成することを含む
　情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記第１の実空間画像は、実空間の所定の撮影位置から撮影された画像である
　情報処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記第２の実空間画像は、実空間の所定の撮影位置から撮影された複数の画像が合成された画像である
　情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記第２の実空間画像は、全天球画像である
　情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記第１の実空間画像は、複数のフレーム画像を含む動画像であり、
　前記処理部は、前記第１の実空間画像の所定のフレーム画像と、前記第２の実空間画像との間で表示を切替える
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記第２の実空間画像は、複数のフレーム画像を含む動画像であり、
　前記処理部は、前記第１の実空間画像の所定のフレーム画像と、前記第２の実空間画像の所定のフレーム画像との間で表示を切替える
　情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記メタデータは、前記第１の実空間画像の画角に関する情報を含む
　情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記メタデータは、前記第１の実空間画像の撮影位置を含む第１の撮影情報と、前記第２の実空間画像の撮影位置を含む第２の撮影情報とを含む
　情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
　前記第１の撮影情報は、前記第１の実空間画像の撮影方向及び撮影時間を含み、
　前記第２の撮影情報は、前記第２の実空間画像の撮影時間を含む
　情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記メタデータは、前記切替処理の実行タイミングに関する情報を含む
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記処理部は、前記第１の実空間画像及び前記第２の実空間画像のＨＭＤ（Head Mounted Display）への表示を制御する
　情報処理装置。
（１９）仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替える
　ことをコンピュータシステムが実行する情報処理方法。
（２０）仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替えるステップ
　をコンピュータシステムに実行させるプログラム。

　Ｒ１…第１の表示領域
　Ｒ２…第２の表示領域
　１０…ＨＭＤ
　２２…ディスプレイ
　２４…操作ボタン
　２５…通信部
　２８…コントローラ
　５０…サーバ装置
　５３…ユーザインタフェース部
　５４…切替タイミング判定部
　５５…視差判定部
　５６…切替判定部
　５７…全天球映像制御部
　５８…平面映像制御部
　５９…レンダリング部
　６０…データベース
　６１…全天球映像データ（全天球映像）
　６２…平面映像データ（平面映像）
　６３…メタデータ
　６４…平面フレーム画像
　６６…実空間画像
　６８…全天球フレーム画像
　７０…対応範囲
　７１…制限画像
　１００…ＶＲ提供システム

Claims

　仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替える処理部
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記処理部は、前記メタデータに基づいて前記切替処理の実行タイミングであるか否かを判定し、前記切替処理の実行タイミングである場合に前記切替処理を実行する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記処理部は、前記メタデータに基づいて前記切替処理を実行するための切替条件が満たされているか否かを判定し、前記切替条件が満たされている場合に前記切替処理を実行する
　情報処理装置。
　請求項３に記載の情報処理装置であって、
　前記切替条件は、前記第１の実空間画像の撮影位置と前記第２の実空間画像の撮影位置との差が所定の閾値以下であるという条件を含む
　情報処理装置。
　請求項３に記載の情報処理装置であって、
　前記切替条件は、前記第１の実空間画像の撮影時間と前記第２の実空間画像の撮影時間との差が所定の閾値以下であるという条件を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記切替処理は、前記第２の実空間画像の前記第１の実空間画像の画角に対応する対応範囲以外の範囲の表示が制限された制限画像を生成し、前記第１の実空間画像と前記制限画像との間で表示を切替えることを含む
　情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記切替処理は、前記第１の実空間画像のサイズを前記第２の実空間画像の前記対応範囲のサイズとなるように変更後、前記制限画像との間で表示を切替えることを含む
　情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記切替処理は、前記制限画像の前記対応範囲に表示される表示内容が、前記第１の実空間画像の表示内容と同じ内容となるように、前記制限画像を生成することを含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記第１の実空間画像は、実空間の所定の撮影位置から撮影された画像である
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記第２の実空間画像は、実空間の所定の撮影位置から撮影された複数の画像が合成された画像である
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記第２の実空間画像は、全天球画像である
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記第１の実空間画像は、複数のフレーム画像を含む動画像であり、
　前記処理部は、前記第１の実空間画像の所定のフレーム画像と、前記第２の実空間画像との間で表示を切替える
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記第２の実空間画像は、複数のフレーム画像を含む動画像であり、
　前記処理部は、前記第１の実空間画像の所定のフレーム画像と、前記第２の実空間画像の所定のフレーム画像との間で表示を切替える
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記メタデータは、前記第１の実空間画像の画角に関する情報を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記メタデータは、前記第１の実空間画像の撮影位置を含む第１の撮影情報と、前記第２の実空間画像の撮影位置を含む第２の撮影情報とを含む
　情報処理装置。
　請求項１５に記載の情報処理装置であって、
　前記第１の撮影情報は、前記第１の実空間画像の撮影方向及び撮影時間を含み、
　前記第２の撮影情報は、前記第２の実空間画像の撮影時間を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記メタデータは、前記切替処理の実行タイミングに関する情報を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記処理部は、前記第１の実空間画像及び前記第２の実空間画像のＨＭＤ（Head Mounted Display）への表示を制御する
　情報処理装置。
　仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替える
　ことをコンピュータシステムが実行する情報処理方法。
　仮想空間に表示される第１の実空間画像と、前記仮想空間の前記第１の実空間画像が表示される領域を含み前記第１の実空間画像が表示される領域よりも広い領域に表示される第２の実空間画像との表示の切替えに関するメタデータに基づいて、前記第１の実空間画像の画角に対応した切替処理を実行することで、前記第１の実空間画像と前記第２の実空間画像との間で表示を切替えるステップ
　をコンピュータシステムに実行させるプログラム。