JP7504632B2 - 電子機器及びその制御方法 - Google Patents

Description

本発明は、電子機器、電子機器の制御方法、プログラムおよび記録媒体に関する。

近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つＶＲ画像を撮影し、複数のＶＲ動画を再生する技術がある。特許文献１では、シーンが切り替わるごとにユーザの設定した初期方向に応じた範囲は表示されることが開示されている。

特開２０１９－１２１２２４号公報

特許文献１では、ユーザがそれぞれのチャプタごとに初期方向を設定する必要がある。

本発明は、ユーザが再生開始前に表示範囲を設定しなくても、所望の表示範囲を表示可能にする表示制御装置の提供を目的とする。

上記課題を解決するために、本発明の電子機器は、
ＶＲ動画を再生可能な電子機器であって、
前記電子機器の姿勢情報を取得する第１の取得手段と、
前記ＶＲ動画の再生を開始するときに表示する表示範囲の基準となる方向である前記ＶＲ動画の基準方向を取得する第２の取得手段と、
前記ＶＲ動画を再生するとき、前記ＶＲ動画に含まれる各フレーム画像について、前記姿勢情報に対応する方向に基づく一部の範囲を画面に表示するよう制御する制御手段と、
第１のＶＲ動画と、前記第１のＶＲ動画とは異なる第２のＶＲ動画とに対してパターンマッチング処理を実行し、共通の被写体を検出する検出手段と、
前記第１のＶＲ動画の基準方向である第１の基準方向および前記第１のＶＲ動画の前記共通の被写体の方位の差分に基づいて、前記第２のＶＲ動画の基準方向を第２の基準方向から、前記第２の基準方向とは異なる第３の基準方向に変更する変更手段と
を有し、
前記制御手段は、前記第１のＶＲ動画の再生を終了した後、連続して前記第２のＶＲ動画の再生を開始するとき、前記第２のＶＲ動画の最初に表示されるフレーム画像のうち、前記第３の基準方向と前記第１のＶＲ動画の再生を終了したときの前記姿勢情報に基づく一部の範囲を、前記画面に表示するように制御する
ことを特徴とする。

本発明によれば、ユーザが再生開始前に表示範囲を設定しなくても、所望の表示範囲を表示することができる。

デジタルカメラの外観図及びブロック図。 電子機器の外観図及びブロック図。 動画撮影再生処理を例示するフローチャート。 実施形態１の電子機器の基準方向設定処理を例示するフローチャート。 全方位映像における基準方向の設定概念図。 映像編集モードにおける表示例。 実施形態１における電子機器の再生処理を例示するフローチャート。 実施形態２におけるＶＲ動画の再生処理を例示するフローチャート。 マッチング被写体による基準方向設定処理を例示するフローチャート。 ＶＲ動画の表示範囲を説明する図。 ＶＲ動画の表示範囲を説明する図。 ＶＲ動画の表示範囲を説明する図。 実施例１におけるＶＲ動画の撮影時の状況例および表示範囲。 実施例２におけるＶＲ動画の撮影時の状況例および表示範囲。

＜実施形態１＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１（ａ）は、電子機器であるデジタルカメラ１００（撮像装置）の前面斜視図（外観図）である。図１（ｂ）は、デジタルカメラ１００の背面斜視図（外観図）である。デジタルカメラ１００は、全方位カメラ（全天球カメラ）である。

バリア１０２ａはデジタルカメラ１００の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ１００の前側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。バリア１０２ｂは、デジタルカメラ１００の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ１００の後ろ側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。

表示部２８は各種情報を表示する。シャッターボタン６１は撮影指示を行うための操作部（操作部材）である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。接続Ｉ／Ｆ２５は、接続ケーブルをデジタルカメラ１００に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビなどの外部機器がデジタルカメラ１００に接続される。操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサ等である。電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。

発光部２１は、発光ダイオード（ＬＥＤ）などの発光部材であり、デジタルカメラ１００の各種状態を発光パターンや発光色によってユーザに通知する。固定部４０は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ１００を固定して設置するために使用される。

図１（ｃ）は、デジタルカメラ１００の構成例を示すブロック図である。

バリア１０２ａは、前方カメラ部の撮像系（撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ａは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ａは、撮像部２２ａへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサ）である。Ａ／Ｄ変換器２３ａは、撮像部２２ａから出力されるアナログ信号をデジタル信号に変換する。なお、バリア１０２ａを設けずに、撮影レンズ１０３ａの外側の面が露出し、撮影レンズ１０３ａによって他の撮像系（シャッター１０１ａや撮像部２２ａ）の汚れや破損を防止してもよい。

バリア１０２ｂは、後方カメラ部の撮像系（撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ｂは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ｂは、撮像部２２ｂへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ｂは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３ｂは、撮像部２２ｂから出力されるアナログ信号をデジタル信号に変換する。なお、バリア１０２ｂを設けずに、撮影レンズ１０３ｂの外側の面が露出し、撮影レンズ１０３ｂによって他の撮像系（シャッター１０
１ｂや撮像部２２ｂ）の汚れや破損を防止してもよい。

撮像部２２ａと撮像部２２ｂにより、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像が撮像される。ＶＲ画像とは、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。

また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。

このＶＲ画像をＶＲ表示（表示モード「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザがＨＭＤを視聴している場合で言えば、ユーザが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。

なお、ＶＲ画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタ
ンの押下などに応じて表示範囲を変更できるようにしてもよい。

画像処理部２４は、Ａ／Ｄ変換器２３ａやＡ／Ｄ変換器２３ｂからのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理などが行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２４は、Ａ／Ｄ変換器２３ａとＡ／Ｄ変換器２３ｂから得られた２つの画像（２つの魚眼画像；２つの広角画像）に基本的な画像処理を施し、基本的な画像処理が施された２つの画像を合成する繋ぎ画像処理を行って、単一のＶＲ画像を生成する。また、画像処理部２４は、ライブビューでのＶＲ表示時、あるいは再生時に、ＶＲ画像をＶＲ表示するための画像切出し処理、拡大処理、歪み補正などを行い、メモリ３２のＶＲＡＭへ処理結果を描画するレンダリングを行う。

繋ぎ画像処理では、画像処理部２４は、２つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、エリア毎のずれ量に基づいて、２つの画像を繋ぐ繋ぎ位置を検出する。画像処理部２４は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換により各画像の歪みを補正し、各画像を全天球形式（全天球イメージ形式）の画像に変換する。そして、画像処理部２４は、全天球形式の２つの画像を合成（ブレンド）することで、１つの全天球画像（ＶＲ画像）を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体（ＶＲ空間）の表面の座標と対応づけることができる。

Ａ／Ｄ変換器２３ａ，２３ｂからの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２ａ，２２ｂによって得られＡ／Ｄ変換器２３ａ，２３ｂによりデジタルデータに変換された画像データや、接続Ｉ／Ｆ２５から外部のディスプレイに出力するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に格納されている画像表示用のデータは、接続Ｉ／Ｆ２５から外部のディスプレイに出力することが可能である。撮像部２２ａ、２２ｂで撮像され、画像処理部２４で生成されたＶＲ画像であって、メモリ３２に蓄積されたＶＲ画像を外部ディスプレイに逐次転送して表示することで、電子ビューファインダとしての機能を実現でき、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。また、メモリ３２に蓄積されたＶＲ画像を、通信部５４を介して無線接続された外部機器（スマートフォンなど）に転送し、外部機器側で表示することでもライブビュー表示（リモートＬＶ表示）を行える。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、各種処理を実行するためのコンピュータプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路を有する制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、画像処理部２４、メモリ制御部１５等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、シャッターボタン６１、操作部７０、及び、電源スイッチ７２は、システム制御部５０に各種の動作指示を入力するために使用される。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示部２８に表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２ａ，２２ｂからの信号読み出しから記録媒体９０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

なお、シャッターボタン６１は全押しと半押しの２段階の操作ができる操作部材に限るものではなく、１段階の押下だけができる操作部材であってもよい。その場合、１段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合（第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２とがほぼ同時に発生した場合）と同じ動作である。

操作部７０は、表示部２８に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面を見ながら操作部７０を操作することで、直感的に各種設定を行うことができる。

電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量等の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリーカードやハードディスク等の記録媒体９０とのインターフェースである。記録媒体９０は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体９０は、デジタルカメラ１００に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ１００に内蔵された記録媒体であってもよい。

通信部５４は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号等の送受信を行う。通信部５４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットにも接続可能である。通信部５４は撮像部２２ａ，２２ｂで撮像した画像（ＬＶ画像を含む）や、記録媒体９０に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２ａ，２２ｂで撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部２２ａ，２２ｂで撮影された画像が、ヨー方向、ピッチ方向、ロール方向の３軸方向（回転方向）にデジタルカメラ１００をどの程度傾けて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２ａ，２２ｂで撮像されたＶＲ画像の画像ファイルに付加したり、画像を回転（傾き補正（天頂補正）するように画像の向きを調整）して記録したりすることが可能である。加速度センサ、ジャイロセンサ、地磁気センサ、方位センサ、高度センサなどのうちの１つのセンサまたは複数のセンサの組み合わせを、姿勢検知部５５として用いることができる。姿勢検知部５５を構成する加速度センサ、ジャイロセンサ、方位センサ等を用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

マイク２０は、動画であるＶＲ画像（ＶＲ動画）の音声として記録されるデジタルカメラ１００の周囲の音声を集音するマイクロフォンである。接続Ｉ／Ｆ２５は、外部機器と接続して映像の送受信を行うための、ＨＤＭＩ（登録商標）ケーブルやＵＳＢケーブルなどが接続される接続プラグである。

図２（ａ）は、電子機器の一種である表示制御装置２００の外観図の例である。表示制御装置２００は、例えばスマートフォンなどの表示装置である。ディスプレイ２０５は画像や各種情報を表示する表示部である。ディスプレイ２０５はタッチパネル２０６ａと一体的に構成されており、ディスプレイ２０５の表示面へのタッチ操作を検出できるようになっている。表示制御装置２００は、ＶＲ画像（ＶＲコンテンツ）をディスプレイ２０５においてＶＲ表示することが可能である。操作部２０６ｂは表示制御装置２００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部２０６ｃと操作部２０６ｄは、スピーカー２１２ｂや、音声出力端子２１２ａに接続されたイヤホンや外部スピーカーなどから出力する音声のボリュームを増減するボリュームボタンである。操作部２０６ｅは、ディスプレイ２０５にホーム画面を表示させるためのホームボタンである。音声出力端子２１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声
信号を出力する端子である。スピーカー２１２ｂは音声を出力する本体内蔵スピーカーである。

図２（ｂ）は、表示制御装置２００の構成例を示すブロック図である。内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、ディスプレイ２０５、操作部２０６、記録媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、及び、通信Ｉ／Ｆ２１０が接続されている。また、内部バス２５０に対して音声出力部２１２と姿勢検出部２１３も接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ２０１は、表示制御装置２００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば、不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、表示制御装置２００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばフラッシュメモリやＲＯＭなどで構成される。

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記録媒体２０８に格納された画像や、外部Ｉ／Ｆ２０９を介して取得した映像信号、通信Ｉ／Ｆ２１０を介して取得した画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。

ディスプレイ２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、ディスプレイ２０５に表示するための映像信号を生成してディスプレイ２０５に出力するように表示制御装置２００の各部を制御する。ディスプレイ２０５は生成・出力された映像信号に基づいて映像を表示する。なお、表示制御装置２００自体が備える構成としてはディスプレイ２０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ２０５は外付けのモニタ（テレビやＨＭＤなど）で構成してもよい。

操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。本実施形態では、操作部２０６は、タッチパネル２０６ａ，操作部２０６ｂ，２０６ｃ，２０６ｄ，２０６ｅを含む。

記録媒体Ｉ／Ｆ２０７には、メモリーカードやＣＤ、ＤＶＤといった記録媒体２０８が着脱可能である。記録媒体Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づき、装着された記録媒体２０８からのデータの読み出しや、記録媒体２０８に対するデータの書き込みを行う。記録媒体２０８は、ディスプレイ２０５で表示するための画像などのデータを記憶する。外部Ｉ／Ｆ２０９は、有線ケーブル（ＵＳＢケーブルなど）や無線によって外部機器と接続し、映像信号や音声信号の入出力（データ通信）を行うためのインターフェースで
ある。通信Ｉ／Ｆ２１０は、外部機器やインターネット２１１などと通信（無線通信）して、ファイルやコマンドなどの各種データの送受信（データ通信）を行うためのインターフェースである。

音声出力部２１２は、表示制御装置２００で再生する動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部２１２には、イヤホンなどを接続する音声出力端子２１２ａ、スピーカー２１２ｂが含まれるものとするが、音声出力部２１２は無線通信などで外部スピーカーに音声データを出力してもよい。

姿勢検出部２１３は、重力方向に対する表示制御装置２００の姿勢（傾き）や、ヨー方向、ピッチ方向、ロール方向の各軸に対する表示制御装置２００の姿勢を検出し、ＣＰＵ２０１へ姿勢情報を通知する。姿勢検出部２１３で検出された姿勢に基づいて、表示制御装置２００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における表示制御装置２００の傾きの有無や大きさ、当該回転方向に表示制御装置２００が回転したかなどを判別可能である。加速度センサ、ジャイロセンサ、地磁気センサ、方位センサ、高度センサなどのうちの１つのセンサまたは複数のセンサの組み合わせを、姿勢検出部２１３として用いることができる。

上述したように、操作部２０６にはタッチパネル２０６ａが含まれる。タッチパネル２０６ａは、ディスプレイ２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。ＣＰＵ２０１はタッチパネル２０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル２０６ａにタッチしていなかった指やペンが新たにタッチパネル２０６ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）
・タッチパネル２０６ａを指やペンがタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）
・指やペンがタッチパネル２０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）
・タッチパネル２０６ａへタッチしていた指やペンがタッチパネル２０６ａから離れたこと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）
・タッチパネル２０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル２０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチパネル２０６ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル２０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチムーブは、ユーザがタッチパネル２０６ａに対して行った移動操作である。後述するタッチムーブに応じた各種処理は、同じく移動操作であるマウスでのドラッグ操作に応じて行うことも可能である。

タッチパネル２０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。

更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル２０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

図２（ｃ）は、表示制御装置２００を装着可能なＶＲゴーグル（ヘッドマウントアダプター）２３０の外観図である。表示制御装置２００は、ＶＲゴーグル２３０に装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口２３１は、表示制御装置２００を差し込むための挿入口である。ディスプレイ２０５の表示面を、ＶＲゴーグル２３０をユーザの頭部に固定するためのヘッドバンド２３２側（すなわちユーザ側）に向けて表示制御装置２００の全体をＶＲゴーグル２３０差し込むことができる。ユーザは、表示制御装置２００が装着されたＶＲゴーグル２３０を頭部に装着した状態で、手で表示制御装置２００を保持することなく、ディスプレイ２０５を視認することができる。この場合は、ユーザが頭部または体全体を動かすと、表示制御装置２００の姿勢も変化する。姿勢検出部２１３はこの時の表示制御装置２００の姿勢変化を検出し、この姿勢変化に基づいてＣＰＵ２０１がＶＲ表示のための処理を行う。この場合に姿勢検出部２１３が表示制御装置２００の姿勢を検出することは、ユーザの頭部の姿勢（ユーザの視線が向いている方向）を検出することと同等である。なお、表示制御装置２００自体が、ＶＲゴーグル無しでも頭部に到着可能なＨＭＤであってもよい。

（動画撮影再生処理）
以下、図３を参照して、実施形態１における動画撮影から再生までの一連の処理について説明する。実施形態１では、電子機器としての表示制御装置２００は、複数の映像を連続で再生する場合、ユーザが１つの映像に設定した基準方向を、他の映像に複製し、各映像の基準方向を揃えて再生する。各映像は、例えば全方位映像であって、ユーザが指定した順に連続で再生される。図３の説明において、各映像は、動画として説明されるが、動画に限られず静止画であってもよい。

図３に示す処理は、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して、ＣＰＵ２０１が実行することにより実現される。図３の処理では、表示制御装置２００は、無線接続されたデジタルカメラ１００を遠隔操作することにより動画を撮影することができる。図３の動画撮影再生処理は、例えば、デジタルカメラ１００および表示制御装置２００に電源が入り、表示制御装置２００がデジタルカメラ１００の制御用モードに遷移すると開始する。

表示制御装置２００は、例えば、デジタルカメラ１００を制御するための専用アプリが起動されることにより、デジタルカメラ１００の制御用モードに遷移する。表示制御装置２００におけるデジタルカメラ１００の制御用モードは、デジタルカメラ１００での動画撮影を制御する動画撮影モード、映像を合成する映像編集モード、動画を再生する再生モ
ードを含む。

Ｓ３０１では、ＣＰＵ２０１は、通信接続先のデジタルカメラ１００での動画撮影を制御する動画撮影モードを立ち上げる。Ｓ３０２では、ＣＰＵ２０１は、通信Ｉ／Ｆ２１０を介してデジタルカメラ１００に対し、動画撮影を開始させるための制御信号を送信する。デジタルカメラ１００のシステム制御部５０は、通信部５４を介して表示制御装置２００からの制御信号を受信すると、動画の撮影を開始する。デジタルカメラ１００は、撮影レンズ１０３ａおよび撮影レンズ１０３ｂにより、３６０°のＶＲ動画（全方位映像）を撮影する。

Ｓ３０３では、ＣＰＵ２０１は、通信Ｉ／Ｆ２１０を介してデジタルカメラ１００に対し、動画撮影を終了させるための制御信号を送信する。デジタルカメラ１００のシステム制御部５０は、通信部５４を介して表示制御装置２００からの制御信号を受信すると、動画の撮影を終了する。動画撮影終了後、デジタルカメラ１００は、ＶＲ動画ファイルＮを生成する。デジタルカメラ１００は、撮影の際に取得した位置情報および方位情報を、ＶＲ動画ファイルＮに記録することができる。

Ｓ３０４では、ＣＰＵ２０１は、通信Ｉ／Ｆ２１０を介してＳ３０３でデジタルカメラ１００が生成した動画ファイルを取得する。図３に示す処理では、表示制御装置２００は、動画撮影終了後に動画を受信するが、ユーザに指定されたタイミングで動画を取得するようにしてもよい。

Ｓ３０５では、ＣＰＵ２０１は、ユーザから動画撮影モードを終了させる操作があったか否かを判定する。ユーザは、例えば、デジタルカメラ１００を制御するための専用アプリを介して、デジタルカメラ１００のモードを切り替えて動画撮影モードを終了させることができる。ユーザから動画撮影モードを終了させる操作があった場合、処理はＳ３０７に進む。ユーザから動画撮影モードを終了させる操作がない場合、処理はＳ３０６に進む。

Ｓ３０５でユーザから動画撮影モードを終了させる操作があった場合、ＣＰＵ２０１は、デジタルカメラ１００に対し、通信Ｉ／Ｆ２１０を介して動画撮影モードを終了させるための制御信号を送信する。デジタルカメラ１００のシステム制御部５０は、通信部５４を介して、動画撮影モードを終了させるための制御信号を受信すると、動画撮影モードを終了させる。

Ｓ３０６では、ＣＰＵ２０１は、変数Ｎに１を加算する。変数Ｎは、例えば、デジタルカメラ１００によって撮影された複数の動画を識別するために用いられる数である。撮影された各動画は、ファイル名に変数Ｎの値が付与され、記録媒体２０８に識別可能に記録される。

Ｓ３０７では、ＣＰＵ２０１は、Ｓ３０２～Ｓ３０６で取得した複数の動画を、ユーザ操作に基づいて合成する映像編集モードを立ち上げる。Ｓ３０８では、ＣＰＵ２０１は、ユーザがタッチパネル２０６ａによって選択した動画を、合成対象の動画として設定する。なお、Ｓ３０７からＳ３１０において映像を合成するとは、複数の動画を連続して再生するためにつなぎ合わせる処理である。

Ｓ３０９では、ＣＰＵ２０１は、Ｓ３０８で選択された動画に対し、ユーザ操作に基づいてチャプタの設定をする。Ｓ３０８で選択された動画は、チャプタの設定により繋ぎ合わせる順序が決定される。例えば、動画Ａ、動画Ｂ、動画Ｃに対して、それぞれチャプタ３、チャプタ１、チャプタ２が設定されると、これらの動画は動画Ｂ、動画Ｃ、動画Ａの
順に繋ぎ合わされる。

Ｓ３１０では、ＣＰＵ２０１は、Ｓ３０９でチャプタの設定がされた複数の動画を、Ｓ３０９で設定されたチャプタの順序に従って合成した動画ファイルを生成する。なお、Ｓ３０８で、ユーザが選択した動画が１つの場合、選択された動画を単体で再生するための動画ファイルが生成される。

Ｓ３１１では、ＣＰＵ２０１は、ユーザが基準方向を設定したか否かを判定する。ユーザが基準方向を設定した場合、処理はＳ３１２に進み、基準方向の設定されていない場合、処理はＳ３１３に進む。基準方向は、動画の再生開始時に表示する表示範囲の基準となる方向である。基準方向は、例えば、デジタルカメラ１００の撮影レンズ１０３ａの正面方向とすることができる。この場合、デジタルカメラ１００で撮影した動画を再生すると、撮影レンズ１０３ａの正面方向に映っている光景が、表示制御装置２００のディスプレイ２０５に最初に表示される。

Ｓ３１２では、ＣＰＵ２０１は、基準方向の設定処理を実行する。基準方向の設定処理は、Ｓ３０８で選択した各動画に対して、デジタルカメラ１００の撮影レンズ１０３ａの正面方向に設定された基準方向を変更する処理である。基準方向の設定処理の詳細は、図４および図５を用いて後述する。なお、Ｓ３１２では、基準方向を設定することにより表示範囲（一部の領域）が設定されるが、これに限られない。ＣＰＵ２０１は、各動画において範囲を指定して表示範囲を設定してもよい。

Ｓ３１３では、ＣＰＵ２０１は、不揮発性メモリ２０３または記録媒体２０８に保存されている動画を再生する再生モードを立ち上げる。

Ｓ３１４では、ＣＰＵ２０１は、ユーザがタッチパネル２０６ａによって選択した動画を、再生対象の動画として設定する。Ｓ３１５では、ＣＰＵ２０１は、動画の再生処理を実行する。動画の再生処理の詳細は、図７を用いて後述する。

Ｓ３１６では、ＣＰＵ２０１は、ユーザから再生モードを終了させる操作があったか否かを判定する。ユーザから再生モードを終了させる操作があった場合、図３に示す処理は終了する。ユーザから再生モードを終了させる操作がない場合、処理はＳ３１４に戻る。

図４は、表示制御装置２００の基準方向設定処理を例示するフローチャートである。基準方向は、動画（映像）の再生開始時にディスプレイ２０５に表示される表示範囲（映像の全画角のうちの一部の領域）を決定する基準となる方向である。映像の表示範囲は、例えば、基準方向を中心としてディスプレイ２０５に表示可能な範囲の領域とすることができる。

図４に示す基準方向設定処理は、図３のＳ３１２の詳細な処理である。基準方向設定処理は、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して、ＣＰＵ２０１が実行することで実現される。なお、この処理は、表示制御装置２００に電源が入り、ユーザが選択した映像に対して基準方向を設定する操作をしたことで開始する。

Ｓ４０１では、ＣＰＵ２０１は、基準方向設定対象の映像を選択する。ここで、基準方向設定対象の映像は、映像編集モードにおいて再生タイムライン上に配置された映像のうちの１つとする。

Ｓ４０２では、ＣＰＵ２０１は、図３のＳ３１１においてユーザが操作部２０６から設定した基準方向を取得する。基準方向は、撮影レンズ１０３ａの正面方向を方位角０度、
仰角０度とし、正面方向からの角度を指定することで決定される。ユーザは、例えば、全方位映像の全画角において基準方向を示すポインタをドラッグ操作したり、撮影レンズ１０３ａの正面方向からの回転角度を指定したりすることで、基準方向を設定することができる。ユーザは、基準方向を設定することにより、ディスプレイ２０５に表示する画角が決定され、全方位映像の表示範囲を設定することができる。

ここで、図５（ａ）を用いて、全方位映像における基準方向の設定について説明する。図５は全方位映像における基準方向の設定概念図である。図５（ａ）は、基準方向設定対象の映像における基準方向の設定イメージを表したものである。図５（ａ）では、全方位映像における仮想空間５００は、ｘｙｚ座標系を取る。矢印５０２は、初期設定の基準方向を示す。矢印５０３は、図３のＳ３１１においてユーザが設定した基準方向を示す。ユーザが設定した基準方向は、撮影された被写体５０１の方向を指している。

ユーザが設定する基準方向は、初期設定の基準方向（矢印５０２）から、水平方向（ヨー軸の円周方向）の回転角、および垂直方向（ピッチ軸の円周方向）の回転角を指定することで設定されるようにしてもよい。また、基準方向は、ｘｙｚ座標系の座標を指定することで設定されるようにしてもよい。

ここで、図６を参照して、基準方向設定対象となる映像（第１の全方位映像）の選択について説明する。図６は、映像編集モードでディスプレイ２０５に表示される、全方位映像の編集画面例を示す。図６（ａ）は、基準方向設定対象の映像に対して、基準方向を設定する画面の表示例である。

映像６００は、基準方向設定対象として選択された映像を示す。また、サムネイル画像６０１～サムネイル画像６０３は、再生対象の全方位映像として再生タイムライン上に配置される。サムネイル６０１は、第１の全方位映像として選択された映像であり、太枠で囲むことにより強調表示されている。サムネイル６０２およびサムネイル６０３は、第１の全方位映像の基準方向を複製する対象となる他の映像（第２の全方位映像）を示す。ポインタ６０８は、映像６００に対してユーザが指定した基準方向を示す。

図４のＳ４０３では、ＣＰＵ２０１は、操作部２０６を介して、基準方向が確定されたか否かを判定する。基準方向は、例えば、ユーザがポインタ６０８をドラッグし、確定操作をすることにより確定される。基準方向が確定された場合はＳ４０４に進み、確定されなかった場合は処理を終了する。

Ｓ４０４では、ＣＰＵ２０１は、確定された基準方向に関する情報を、Ｓ４０１で選択された基準方向設定対象の映像のメタデータとして保存（記録）する。基準方向に関する情報は、例えば、撮影位置に対する基準方向の絶対的方向（方位情報）である。

Ｓ４０５では、ＣＰＵ２０１は、基準方向設定対象の映像（第１の全方位映像）と同一の基準方向を、他の映像（第２の全方位映像）でも使用するか否かを判定する。第２の全方位映像は、図３のＳ３０９で合成対象として選択された映像のうち、Ｓ４０１で選択された映像以外の映像である。第１の全方位映像と同一の基準方向を第２の全方位映像でも使用する場合はＳ４０６に進み、同一の基準方向を第２の全方位映像で使用しない場合は処理を終了する。

なお、第１の全方位映像と同一の基準方向を第２の全方位映像でも使用するか否かは、ユーザ操作により指示される。なお、ＣＰＵ２０１は、第１の全方位映像と同一の基準方向を第２の全方位映像でも使用するか否かを、図３のステップＳ３１０において、合成した映像をファイルに書き出すときに、ユーザに指示させるようにしてもよい。

Ｓ４０６では、ＣＰＵ２０１は、第１の全方位映像と同一の基準方向を複製する対象の映像を決定する。同一の基準方向を複製する対象の映像は、例えば、映像編集モードにおいて再生タイムライン上に配置されている複数の映像のうち第１の全方位映像でない全方位映像とすることができる。

ここで、図６を参照して、第１の全方位映像と同一の基準方向を複製する対象の映像を選択する操作について説明する。サムネイル６０２およびサムネイル６０３は、サムネイル６０１の基準方向の複製対象となる第２の全方位映像のサムネイルである。

図６（ｂ）は、図６（ａ）で第１の全方位映像に基準方向が設定された場合に、第２の全方位映像でも同じ基準方向を設定するか否かを、ユーザに確認するための表示例である。サムネイル６０４は、ユーザの操作により基準方向が設定された映像のサムネイルである。サムネイル６０５およびサムネイル６０６は、サムネイル６０４の映像と同一の基準方向を複製する対象としてユーザが選択した映像であり、太枠で囲むことにより強調表示されている。

メッセージ６０７は、図６（ａ）で設定した基準方向を、サムネイル６０５およびサムネイル６０６に対応する映像に設定するか否かを、ユーザに確認するメッセージである。「はい」が押下されると、ＣＰＵ２０１は、ユーザが選択した映像を、サムネイル６０４の映像と同一の基準方向を設定する対象に決定する。なお、ＣＰＵ２０１は、メッセージ６０７を表示せずに（すなわちユーザに確認せずに）、ユーザが選択した映像を、サムネイル６０４の映像と同一の基準方向を設定する対象に決定してもよい。

図４のＳ４０７では、ＣＰＵ２０１は、Ｓ４０６で決定した第２の全方位映像の基準方向を、Ｓ４０４でメタデータに保存した基準方向と同一の方向に変更する。ＣＰＵ２０１は、変更後の基準方向を各映像のメタデータとして保存する。これにより、第２の全方位映像の表示範囲は、Ｓ４０１でユーザが選択した第１の全方位映像と同じ範囲に設定される。

なお、Ｓ４０５において、第１の全方位映像と同一の基準方向を第２の全方位映像でも使用すると判定された後、さらに第１の全方位映像の基準方向が変更されると、ＣＰＵ２０１は、複製対象の第２の全方位映像の基準方向も、同じ基準方向に変更する。

ここで、図５（ｂ）を用いて、第２の全方位映像の基準方向を、ユーザが設定した第１の全方位映像の基準方向と同一の方向に変更する例について説明する。図５（ｂ）は、図５（ａ）と同じ位置で撮影された異なるシーンを示す。

矢印５０５は、初期設定の基準方向を示す。矢印５０６は、図５（ａ）でユーザが設定した基準方向（矢印５０３）と同一の方向を表す。矢印５０６は、図５（ａ）の被写体５０１が向きを変えた状態で撮像された被写体５０４の方向を指している。このように、異なるシーン（映像）において、同一の基準方向を設定することで、映像が切り替わった際の画角のズレを低減すことが可能である。

なお、映像編集モードで基準方向の複製対象とする映像は、静止画であっても動画であってもよい。また、Ｓ４０６で第１の全方位映像と同一の基準方向とする複製対象の映像を決定する処理は、Ｓ４０１で第１の全方位映像を選択する前に行ってもよい。複製対象の映像を決定する処理は、Ｓ４０３で基準方向の設定が確定され、映像編集が完了する際に行ってもよい。さらに、同一の基準方向の複製対象の映像は、再生タイムライン上に配置された複数の映像のうち、ユーザが任意に選択した映像としてもよく、選択された第１
の全方位映像ではないすべての映像としてもよい。

図７は、表示制御装置２００の再生処理を例示するフローチャートである。図７に示す再生処理は、図３の動画撮影再生処理におけるＳ３１５の詳細な処理である。図７は、連続する２つの映像を、図４の処理で設定された基準方向に基づいて再生する例を示す。また、映像の視聴方向（表示方向）は、姿勢検出部２１３から取得した姿勢情報によって補正される。

図７の処理は、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して、ＣＰＵ２０１が実行することで実現される。図７の処理は、例えば、ＣＰＵ２０１が、デジタルカメラ１００で撮像した映像ファイルを読み込むことで開始される。

Ｓ７０１では、ＣＰＵ２０１は、第１の全方位映像の映像ファイル中のメタデータから、第１の全方位映像の基準方向を取得する。Ｓ７０２では、ＣＰＵ２０１は、取得した第１の全方位映像の基準方向、および姿勢検出部２１３から取得した姿勢情報に基づいて、ユーザの視聴方向１を取得する。Ｓ７０３では、ＣＰＵ２０１は、第１の全方位映像の全画角のうち、視聴方向１を中心とするフレームを再生する。

Ｓ７０４では、ＣＰＵ２０１は、第１の全方位映像の再生が終了したか否かを判定する。第１の全方位映像の再生が終了した場合はＳ７０５に進み、そうでなければＳ７０２に戻る。

Ｓ７０５では、ＣＰＵ２０１は、第２の全方位映像の映像ファイル中のメタデータから、第２の全方位映像の基準方向を取得する。第２の全方位映像が第１の全方位映像の基準方向の複製対象となっていた場合、第２の全方位映像の基準方向は、第１の全方位映像と同じである。

Ｓ７０６では、ＣＰＵ２０１は、取得した第２の全方位映像の基準方向、および姿勢検出部２１３から取得した姿勢情報に基づいて、ユーザの視聴方向２を取得する。Ｓ７０７では、ＣＰＵ２０１は、第２全方位の映像の全画角のうち、視聴方向２を中心とするフレームを再生する。

Ｓ７０８では、ＣＰＵ２０１は、第２の全方位映像の再生が終了したか否かを判定する。第２の全方位映像の再生が終了した場合は処理を終了し、再生が終了していない場合はＳ７０６に戻る。

図７に示す再生処理では、ＣＰＵ２０１は、メタデータとして追加された基準方向の情報、および姿勢検出部２１３で検出される姿勢情報に基づいて、各映像の視聴方向を決定する。このため、各映像の基準方向は、姿勢情報によって補正され、各映像間の正面方向のずれは低減される。

第１の全方位映像に基づいて基準方向が変更された場合、ＣＰＵ２０１は、基準方向を示す指標の表示形態を変えるようにしてもよい。例えば、ＣＰＵ２０１は、基準方向が変更されていない場合は黒色の矢印で表示し、基準方向が変更された場合には、変更前の基準方向をグレーの矢印で表示し、変更後の基準方向を赤の矢印で表示する。変更前の基準方向と変更後の基準方向とを異なる態様で表示することにより、ユーザは、現在の基準方向が撮影時の基準方向とは異なることが分かる。

上述の図３の処理では、ユーザが基準方向を設定した第１の全方位映像に合わせて、合成される第２の全方位映像の基準方向が変更（補正）される。第２の全方位映像は、第１
の全方位映像と連続して再生される場合には、補正された基準方向に基づいて再生されるが、各映像が単体で再生される場合には、補正前の（撮影時の）基準方向に基づいて再生されるようにしてもよい。

また、ユーザが基準方向を設定した第１の全方位映像の再生後に、ユーザの姿勢が大きく変わった場合、第２の全方位映像は、補正された基準方向に基づいて再生されるのではなく、補正前の（撮影時の）基準方向で再生されるようにしてもよい。

＜実施形態２＞
実施形態１は、複数のチャプタ（映像）含む動画を再生する場合の基準方向の複製に関する。これに対し、実施形態２では、表示制御装置２００は、直前のＶＲ動画（全方位映像）の再生終了時の表示範囲に基づいて、次のＶＲ動画の表示範囲を決定する。

以下、図８～図１４を参照して、実施形態２に係る再生処理について説明する。実施形態２では、複数のチャプタを含む動画を再生する場合、Ｎ番目のチャプタＮ（第１の全方位映像）の再生が終了したときにユーザが視聴していた表示範囲は、続けて再生される次のチャプタＮ＋１（第２の全方位映像）に引き継がれる。表示制御装置２００は、次のチャプタＮ＋１の基準方向の設定を変更することで、チャプタ間で表示範囲を引き継ぐことができる。

実施形態２は、実施例１から実施例３により具体的に説明される。以下の各実施例では、表示制御装置２００は、チャプタＮ＋１の基準方向を変更することにより、ヨー軸の円周方向での表示範囲を制御する。

実施例１は、各チャプタのメタデータとして保持（記録）されている方位情報を使用して、チャプタＮ＋１の基準方向を変更する実施例である。実施例２は、メタデータとして各チャプタの方位情報が保持されていない場合に、各チャプタの映像から抽出した共通の被写体（マッチング被写体）を使用して、チャプタＮ＋１の基準方向を変更する実施例である。実施例２では、移動しない建物または山などの静止物に限られず、人物または動物などの移動する被写体もマッチング被写体として使用される。実施例３は、人物および動物を除くマッチング被写体を使用して、チャプタＮ＋１の基準方向を変更する実施例である。

（実施例１）
実施例１は、各チャプタの映像ファイルにメタデータとして保持されている方位情報を使用して、チャプタＮ＋１の基準方向を変更する実施例である。方位情報は、撮影時の基準方向、またはユーザによって設定された基準方向の絶対的方向である。

図８は、表示制御装置２００により複数のチャプタを含むＶＲ動画を再生する処理を例示するフローチャートである。図８に示す処理は、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して、ＣＰＵ２０１が実行することにより実現される。なお、この処理は、表示制御装置２００に電源が入り、ユーザが動画を再生する操作をしたことで開始する。

Ｓ８０１では、ＣＰＵ２０１は、再生対象となるＶＲ動画の映像ファイルを取得する。ＣＰＵ２０１は、記録媒体２０８または通信Ｉ／Ｆ２１０を介した通信先から、表示（再生）対象となる映像ファイルを読みこんで取得する。ＣＰＵ２０１は、ＶＲ動画に属性情報として付帯する映像範囲（有効映像範囲）を示す情報を取得して、有効映像範囲を矩形に収めるフラット表示で、ＶＲ動画をディスプレイ２０５に表示することができる。

Ｓ８０２では、ＣＰＵ２０１は、各チャプタを識別するための変数Ｎを１に初期化する。Ｓ８０３では、ＣＰＵ２０１は、チャプタＮの基準方向を取得する。ＣＰＵ２０１は、映像ファイルに保存されたメタデータからチャプタＮの基準方向の情報を取得することができる。Ｓ８０４では、ＣＰＵ２０１は、ユーザの姿勢情報を取得する。姿勢情報は、姿勢検出部２１３により検出される。Ｓ８０５では、ＣＰＵ２０１は、チャプタＮの基準方向およびユーザの姿勢情報に応じた表示範囲を表示（再生）する。

ここで、図１０～図１２を用いて、撮影環境および表示範囲について説明する。図１０～図１２は、ＶＲ動画の表示範囲を説明する図である。

図１０（ａ）は、春の１シーンを撮影したＶＲ動画の取り始めの環境を表したものである。本ＶＲ動画は、撮影場所１００１にデジタルカメラ１００を設置して、撮影方向１００２に撮影レンズ１０３ａを向けて撮影を行っている。図１０（ｂ）は、表示制御装置２００のディスプレイ２０５に動画を再生した場合に、初めに表示される映像を示したものである。

図１１（ａ）は、秋の１シーンを撮影したＶＲ動画の取り始めの環境を表したものである。本ＶＲ動画は、撮影場所１１０１にデジタルカメラ１００を設置して、撮影方向１１０２に撮影レンズ１０３ａを向けて撮影を行っている。図１１（ｂ）は、表示制御装置２００のディスプレイ２０５に動画を再生した場合に、初めに表示される映像を示したものである。

図１２（ａ）は、図１０の動画撮影直後に、連続して撮影したＶＲ動画の環境を表したものである。本ＶＲ動画は、撮影場所１２０１にデジタルカメラ１００を設置して、撮影方向１２０２に撮影レンズ１０３ａを向けて撮影を行っている。図１２（ｂ）は、表示制御装置２００のディスプレイ２０５に動画を再生した場合に、初めに表示される映像を示したものである。

実施例１、実施例２では、図１０に示す春の１シーンを撮影したＶＲ動画と、図１１に示す秋の１シーンを撮影したＶＲ動画を合成した動画（図１３、図１４）を例に説明する。実施例３では、図１０に示す春の１シーンを撮影したＶＲ動画と、図１２に示す図１０の動画撮影直後に、連続して撮影したＶＲ動画を合成した動画を例に説明する。

図１３（ａ）～１３（ｃ）を用いて、Ｓ８０３～Ｓ８０５を説明する。図１３（ａ）に、Ｎ番目のチャプタの撮影環境と撮影基準方向を示す。図１３（ａ）の撮影基準１００２がチャプタＮの撮影基準の方向であり、Ｎ番目のチャプタの基準方向として取得される。

図１３（ｂ）に、Ｎ番目再生中のユーザの姿勢、図１３（ｃ）に図１３（ｂ）で示すユーザの姿勢の時に表示される領域を示す。Ｎ番目のチャプタ再生中に、ユーザがユーザ姿勢１３０１を取るとディスプレイ２０５に、図１３（ｃ）に示す領域が表示される。図１３（ｃ）では、現実世界で北の方角を０度として、１２０度を中心とした表示範囲、ＶＲ画像内の基準方向から見て９０度を中心とした表示範囲が表示される。

図８のＳ８０６では、ＣＰＵ２０１は、チャプタＮの再生が終了したか否かを判定する。チャプタＮの再生が終了した場合はＳ８０７に進み、終了していない場合はＳ８０４に戻る。

Ｓ８０７では、ＣＰＵ２０１は、チャプタＮの次に再生されるチャプタＮ＋１が存在するか否かを判定する。チャプタＮ＋１が存在する場合はＳ８０８に進み、存在していない場合は、処理が終了する。

Ｓ８０８では、ＣＰＵ２０１は、チャプタＮとチャプタＮ＋１との位置情報が一致するか否かを判定する。位置情報は、ＧＰＳなどで記録される地球上の現在位置（撮影位置）を示す情報である。チャプタＮとチャプタＮ＋１との位置情報が一致する場合はＳ８０９に進み、一致していない場合はＳ８１４に進む。なお、どちらか一方のチャプタが位置情報を保持していない場合は、位置情報が一致していないと判定する。

Ｓ８０９では、ＣＰＵ２０１は、チャプタＮおよびチャプタＮ＋１の両方が、映像ファイルのメタデータとして方位情報を保持しているか否かを判定する。方位情報は、チャプタＮおよびチャプタＮ＋１の基準方向の絶対的方向を示す情報である。ＣＰＵ２０１は、方位情報を用いて各チャプタの基準方向を算出し、チャプタＮとチャプタＮ＋１との基準方向を揃えることができる。チャプタＮおよびチャプタＮ＋１の両方が方位情報を保持している場合はＳ８１０に進み、いずれか一方でも方位情報を保持していない場合はＳ８１３に進む。

Ｓ８１０では、ＣＰＵ２０１は、チャプタＮの再生終了時の表示方向Ａｎ（表示範囲の中心の方向）を取得する。Ｓ８１１では、ＣＰＵ２０１は、現在のユーザの姿勢情報α（チャプタＮの基準方向からユーザが向いている方向までの角度）を取得する。

Ｓ８１２では、ＣＰＵ２０１は、チャプタＮ＋１の基準方向を変更する。ＣＰＵ２０１は、チャプタＮの再生終了時の表示方向Ａｎおよびユーザの姿勢情報αが、チャプタＮ＋１の再生開始時の表示方向およびユーザの姿勢情報と一致するように、チャプタＮ＋１の基準方向を設定すればよい。すなわち、ＣＰＵ２０１は、チャプタＮ＋１についても、表示方向Ａｎ＝ユーザの姿勢情報α＋基準方向が成立するように、チャプタＮ＋１の基準方向を変更する。つまり、Ａｎ＝α＋（基準角度）が成立するように基準角度を変更する。図１３（ｇ）の場合には、基準角度が１４０度なので、３０度になるように基準角度を１１０度変更する。Ａｎ（２５０度）＝α（２２０度）＋３０度により基準角度が求まる。

図１３を用いて、Ｓ８１０～Ｓ８１２の処理について説明する。図１３（ｄ）に、Ｎ番目の再生終了時のユーザの姿勢１３０２を示し、図１３（ｅ）に図１３（ｄ）で示すユーザの姿勢１３０２の時に表示される領域を示す。図１３（ｅ）では、現実世界で北の方角を０度として、２５０度を中心とした表示範囲、ＶＲ画像内で基準方向から見て２２０度を中心とした表示範囲が表示される。

本実施例では、Ｎ番目のチャプタ終了時に、ユーザがユーザ姿勢１３０２を取っており、２２０°の方向を向いていることになる。このときディスプレイ２０５には、図１３（ｅ）に示す領域が表示される。

図１３（ｆ）にＮ＋１番目のチャプタの撮影環境と撮影基準方向を、図１３（ｇ）にＮ＋１番目再生開始時のユーザの姿勢を示す。図１３（ｇ）のユーザの姿勢１３０３がチャプタＮの終了時のユーザの姿勢を示しており２２０度の方向を向いている。

チャプタＮの終了時には北の方角を０度として、２５０度を中心とした範囲が表示されていたが、チャプタＮ＋１の開始時にも北の方角を０度として、２５０度を中心とした範囲が表示されるようにしたい。チャプタＮ＋１では、基準方向が北の方角を０度として１４０度であったため、図１３（ｈ）に示すように、１４０度から２２０度回転した、現実世界で北の方角を０度とする０度を中心とした表示範囲が表示される。

このとき、基準方向を１４０度から３０度へと変更することで、ユーザはチャプタＮ＋１の再生開始時にチャプタＮの終了時と同じ表示範囲を見ることができる。つまり、図１
３（ｉ）に示すように基準方向を１３０４に補正することで、図１３（ｊ）に示す図１３（ｅ）と同じ表示範囲が表示されるようになる。

なお、ユーザの姿勢がチャプタＮの終了時からチャプタＮ＋１の開始時に変更された時、例えば図１３（ｋ）に示すように北を０度として３００度に変わった場合には、以下のようにする。Ｓ８１２においては、Ａｎ（２５０）＝α（３００）＋基準角度が成り立つようにするために、基準角度が３１０度になるように変更される。つまり、基準角度を２８０度変更する。これにより、図１３（ｌ）に示すように図１３（ｅ）と同じ表示範囲が表示される。

もしくは以下のようにしてもよい。チャプタＮ＋１の再生開始時に、ユーザの姿勢が２２０度から３００度へと変更された場合には、ユーザが前のチャプタであるチャプタＮと同じ表示範囲（３００度＋３０度＝３３０度）を見ようとしている可能性がある。よって、ユーザの姿勢がチャプタの再生切り替え時に変更された場合には、チャプタＮと同じ基準角度になるように、チャプタＮ＋１の基準角度を変更する。そして、変更されたユーザの姿勢に応じた表示範囲を表示する。ユーザの姿勢が２２０度から図１３（ｍ）に示すように３００度になった場合には、図１３（ｎ）に示すように、現実世界で北を０度として２５０＋８０＝３３０度を中心とした表示範囲を表示する。

この結果、ディスプレイ２０５には図１３（ｎ）のように表示されて、ユーザはチャプタＮ＋１の直前に閲覧していた方向を継続してみることが出来る。

また、図１２を参照して、Ｓ８１０～Ｓ８１２の処理の他の具体例として、ユーザの姿勢がチャプタＮの再生終了後に変わった場合について説明する。ユーザの姿勢は、例えば、チャプタＮの終了時からチャプタＮ＋１の開始時に、図１２（ａ）に示すように北を０度として３００度に変わったものとする。

Ｓ８１２では、チャプタＮ＋１の再生開始時の基準方向は、表示方向Ａｎが北を０度として２５０度になるように設定される。すなわち、チャプタＮ＋１の再生開始時の基準方向は、ユーザの姿勢情報α（３００度）＋基準方向＝表示方向Ａｎ（２５０度）が成り立つように設定される。すなわち、ユーザの姿勢情報α（３００度）＋基準方向＝２５０度＋３６０ｎ（ｎは整数）度となればよく、基準方向は３１０度に設定されればよい。

チャプタＮ＋１の基準方向が１４０度から３１０度に変更されることにより、チャプタＮ＋１の表示方向Ａｎは２５０度となり、図１２（ｂ）に示す表示範囲がディスプレイ２０５に表示される。このように、チャプタＮ＋１の表示方向Ａｎは、図１１（ｂ）に示すチャプタＮの再生終了時の表示範囲と同じ方向となる。ユーザは、チャプタＮ＋１の直前に閲覧していたチャプタＮの表示方向を継続して見ることができる。

また、チャプタＮ＋１の再生開始時に、ユーザの姿勢が、図１２（ａ）に示すように北を０度として３００度に変わった場合、チャプタＮ＋１の基準方向は、以下のように変更されてもよい。

ユーザは、チャプタＮの再生終了時と同じ表示範囲を見ようとする可能性がある。したがって、ユーザの姿勢がチャプタの再生切り替え時に変更された場合、チャプタＮ＋１の表示方向Ａｎは、チャプタＮの再生終了時の表示方向と同じになるように、まず、１４０度から３０度に変更される。その後、チャプタＮ＋１の基準方向は、ユーザの姿勢の変化に応じて変更されるようにすればよい。例えば、ユーザの姿勢情報αが２２０度から３００度になった場合、チャプタＮ＋１の表示方向Ａｎは、北を０度として３３０度＝３００度（ユーザの姿勢情報α）＋３０度（変更後の基準方向）となる。この場合、チャプタＮ
＋１の表示範囲は、図１２（ｃ）に示すように北を０度として表示方向３３０度を中心とした範囲となる。

図８のＳ８１３では、ＣＰＵ２０１は、マッチング被写体による基準方向設定処理を実行する。なお、Ｓ８１３の処理は、実施例２において詳細に説明する。Ｓ８１４では、ＣＰＵ２０１は、変数Ｎに１を加算する。Ｓ８０３に戻り、ＣＰＵ２０１は、次のチャプタを再生する。

（実施例２）
実施例２は、メタデータとして各チャプタの方位情報が保持されていない場合に、各チャプタの映像から抽出した共通の被写体（マッチング被写体）を使用して、チャプタＮ＋１の基準方向を変更する実施例である。

マッチング被写体は、建物または山などの静止物に限られず、人物または動物といった動体であってもよい。チャプタＮおよびチャプタＮ＋１から共通する被写体が複数検出された場合、マッチング被写体は、例えば、最初に検出された共通の被写体とすることができる。

実施例２では、メタデータとして各チャプタの方位情報が保持されていない場合であっても、表示制御装置２００は、チャプタが切り替わる際に同じ表示方向を表示させることができる。

実施例２は、図８に示す再生処理のＳ８０９において、チャプタＮおよびチャプタＮ＋１が方位情報を保持していないと判定された場合の処理である。チャプタＮおよびチャプタＮ＋１は方位情報を保持していないため、チャプタ間で絶対的方向を揃えるために、マッチング被写体が用いられる。図８のＳ８０８において、チャプタＮおよびチャプタＮ＋１で撮影された場所（撮影位置）は、一致すると判定されている。このため、周りに映る被写体は略共通する。そこで、両チャプタの絶対的方向は、両チャプタで共通する被写体をマッチング被写体として抽出し、マッチング被写体を基準として揃えることができる。

実施例２では、実施例１で説明した図８と同様に、表示制御装置２００は複数のチャプタで構成されたＶＲ動画を表示する処理を実行する。また、実施例２では、チャプタＮに続けて再生されるチャプタＮ＋１の基準方向は、両チャプタで共通するマッチング被写体を使用して設定される。図９は、マッチング被写体による基準方向設定処理を例示するフローチャートである。図８および図９に示す処理は、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して、ＣＰＵ２０１が実行することにより実現される。なお、この処理は、表示制御装置２００に電源が入り、ユーザが動画を再生する操作をしたことで開始する。

なお、図８の処理のうち、実施例１と同じ処理については説明を省略する。実施例２におけるＳ８０９では、ＣＰＵ２０１は、チャプタＮおよびチャプタＮ＋１が方位情報を保持していないと判定し、処理はＳ８１３に進む。

Ｓ８１３では、ＣＰＵ２０１は、マッチング被写体による基準方向の設定処理を実行する。ここで、図１４（ａ）にチャプタＮの撮影時の状況例を、図１４（ｆ）にチャプタＮ＋１の撮影時の状況例を示す。実施例２ではチャプタＮ、チャプタＮ＋１の撮影時の方向情報は記録していないものとする。

図１４（ａ）の撮影基準１００２がチャプタＮの撮影基準の方向である。図１４（ｂ）に、Ｎ番目再生中のユーザの姿勢、図１４（ｃ）に図１４（ｂ）で示すユーザの姿勢の時
に表示される領域を示す。Ｎ番目のチャプタ再生中に、ユーザがユーザ姿勢１４０１を取るとディスプレイ２０５に、図１４（ｃ）に示す領域が表示される。図１４（ｃ）では、マッチング被写体から１２０度を中心とした表示範囲、ＶＲ画像内の基準方向から見て９０度を中心とした表示範囲が表示される。

図９を用いて、図８のＳ８１３におけるマッチング被写体による基準方向設定処理の詳細を説明する。Ｓ９０１では、ＣＰＵ２０１は、チャプタＮとチャプタＮ＋１とが、連続して撮影されたか否かを判定する。

ＣＰＵ２０１は、チャプタＮの撮影終了後、所定の時間内にチャプタＮ＋１の撮影が開始された場合には、チャプタＮとチャプタＮ＋１とが連続して撮影されたと判定することができる。また、ＣＰＵ２０１は、チャプタＮの撮影終了後、所定の時間経過後にチャプタＮ＋１の撮影が開始された場合には、チャプタＮとチャプタＮ＋１とが連続して撮影されていないと判定することができる。チャプタＮとチャプタＮ＋１とが連続して撮影された場合はＳ９０２に進み、連続して撮影されていない場合はＳ９０３に進む。

Ｓ９０２では、ＣＰＵ２０１は、人物および動物等の移動する被写体も含めてマッチング被写体を検索する。チャプタＮの撮影終了後、所定の時間内にチャプタＮ＋１の撮影が開始された場合には、人物のように移動する被写体は、移動量が限られており、チャプタ間のマッチングの基準として用いることができる。この場合、所定の時間は、例えば１分とすることができる。なお、所定の時間は、予め設定された時間であってもよく、ユーザにより所望の時間に変更できるようにしてもよい。

Ｓ９０３では、ＣＰＵ２０１は、人物および動物等を対象外としてマッチング被写体を検索する。人物および動物等の移動する被写体を対象外とするＳ９０３の処理は、実施例３で詳細に説明する。

Ｓ９０４では、ＣＰＵ２０１は、チャプタＮとおよびチャプタＮ＋１にマッチング被写体が存在するか否かを判定する。ＣＰＵ２０１は、チャプタＮとおよびチャプタＮ＋１から共通する被写体が検出された場合に、マッチング被写体が存在すると判定することができる。

共通する被写体が複数検出された場合、ＣＰＵ２０１は、例えば、最初に検出された共通の被写体を、マッチング被写体として選択することができる。また、ＣＰＵ２０１は、チャプタＮの基準方向に存在する共通の被写体を、マッチング被写体として選択するようにしてもよい。マッチング被写体が存在する場合はＳ９０５に進み、マッチング被写体が存在しない場合は処理を終了する。

Ｓ９０５では、ＣＰＵ２０１は、チャプタＮの再生終了時の表示方向Ａｎを取得する。Ｓ９０６では、ＣＰＵ２０１は、チャプタＮ＋１の再生開始時のユーザの姿勢情報αを取得する。

Ｓ９０７では、ＣＰＵ２０１は、チャプタＮのマッチング被写体から見た、基準方向の角度β（Ｎ）を求める。つまり、マッチング被写体が被写体１００３である場合には、図１４（ａ）に示すように基準方向はＶＲ動画内において３０度ずれた位置にあるので、β（Ｎ）＝３０度となる。このように、撮影時の方角情報がなくてもマッチング被写体を基準として角度を設定することができる。

図１４（ｄ）に、Ｎ番目の再生終了時のユーザの姿勢１４０２を示し、図１４（ｅ）に図１４（ｄ）で示すユーザの姿勢１４０２の時に表示される領域を示す。図１４（ｅ）で
は、マッチング被写体から２５０度を中心とした表示範囲、ＶＲ画像内で基準方向から見て２２０度を中心とした表示範囲が表示される。

本実施例では、Ｎ番目のチャプタ終了時に、ユーザがユーザ姿勢１４０２を取っており、２２０°の方向を向いていることになる。このときディスプレイ２０５には、図１４（ｅ）に示す領域が表示される。

Ｓ９０８では、ＣＰＵ２０１は、チャプタＮ＋１のマッチング被写体からみた、基準方向の角度β（Ｎ＋１）を求める。つまり、マッチング被写体が被写体１００３である場合には、図１４（ｆ）に示すように基準方向はＶＲ動画内において１４０度ずれた位置にあるので、β（Ｎ＋１）＝１４０度となる。図１４（ｇ）は、Ｎ＋１番目再生開始時のユーザの姿勢を示す。図１４（ｇ）のユーザの姿勢１４０３がチャプタＮの終了時のユーザの姿勢を示しており２２０度の方向を向いている。

チャプタＮの終了時には、マッチング被写体から２５０度を中心とした範囲が表示されていたが、チャプタＮ＋１の開始時にもマッチング被写体から２５０度を中心とした範囲が表示されるようにしたい。チャプタＮ＋１では、基準方向がマッチング被写体から１４０度であったため、図１４（ｈ）に示すように、１４０度から２２０度回転した、マッチング被写体を０度とする０度を中心とした表示範囲が表示される。

Ｓ９０９では、ＣＰＵ２０１は、チャプタＮの再生終了時の表示範囲が表示されるように基準方向を変更する。つまり、Ａｎ＝α＋基準角度となるようにする。言い換えるとβ（Ｎ＋１）がβ（Ｎ）になるように、変更する。本実施形態では、β（Ｎ＋１）を１４０度から３０度に変更する。つまり、図１４（ｉ）に示すように基準方向を１４０４に補正することで、図１４（ｊ）に示す図１４（ｅ）と同じ表示範囲が表示されるようになる。

このように基準角度を変更することで、ユーザはチャプタＮ＋１に切り替わった時に基準角度が変わっても、チャプタＮの終了時と同じ表示範囲を確認することができる。なお、本実施例では建物をマッチング被写体としたが、これは山や銅像などのランドマーク的な被写体で合っても良い。

（実施例３）
実施例３は、メタデータとして各チャプタの方位情報が保持されていない場合に、各チャプタの映像から抽出した共通の被写体（マッチング被写体）を使用して、チャプタＮ＋１の基準方向を変更する実施例である。実施例２では、マッチング被写体は、静止物に限られず、人物または動物などの移動する被写体からも選択される。これに対し、実施例３は、移動する被写体を対象外とし、人物および動物を除くマッチング被写体を選択し、チャプタＮ＋１の基準方向を変更する実施例である。

実施例３では、実施例１で説明した図８と同様に、表示制御装置２００は複数のチャプタで構成されたＶＲ動画を表示する処理を実行する。また、実施例３では、チャプタＮに続けて再生されるチャプタＮ＋１の基準方向は、両チャプタで共通するマッチング被写体を使用して設定される。図９は、マッチング被写体による基準方向設定処理を例示するフローチャートである。図８および図９に示す処理は、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開してＣＰＵ２０１が実行することにより実現する。なお、この処理は、表示制御装置２００に電源が入り、ユーザが動画を再生する操作をしたことで開始する。

なお、図８の処理のうち、実施例１または実施例２と同じ処理については説明を省略する。図９のＳ９０１およびＳ９０２の処理について説明する。

Ｓ９０１で、ＣＰＵ２０１は、チャプタＮとチャプタＮ＋１とが、連続して撮影されたか否かを判定する。ＣＰＵ２０１は、チャプタＮの撮影終了後、所定の時間内にチャプタＮ＋１の撮影が開始された場合には、チャプタＮとチャプタＮ＋１とが連続して撮影されたと判定することができる。実施例３は、チャプタＮとチャプタＮ＋１とが連続して撮影されていない例であるため、処理はＳ９０３に進む。Ｓ９０３では、ＣＰＵ２０１は、人物および動物等は対象外としてマッチング被写体を検索する。

チャプタＮとチャプタＮ＋１とが連続して撮影されなかった場合、人物のように移動する被写体は、チャプタ間のマッチングの基準として用いることは好ましくない。したがって、チャプタＮの撮影終了後、所定の時間内にチャプタＮ＋１の撮影が開始されなかった場合、ＣＰＵ２０１は、人物および動物等は対象外としてマッチング被写体を検出する。これにより、ＣＰＵ２０１は、両チャプタが連続して撮影されたか否かに応じて、適切にマッチング被写体を選択することができる。

なお、上述の各実施例において、チャプタＮの再生後にユーザの姿勢が大きく変わった場合、ＣＰＵ２０１は、チャプタＮ＋１の再生開始時の表示範囲を、チャプタＮの再生終了時の表示範囲に合わせないようにしてもよい。この場合、ＣＰＵ２０１は、チャプタＮ＋１の基準方向をチャプタＮに合わせて変更せずに、撮影時の基準方向のままチャプタＮ＋１を再生すればよい。

以上のように、上述の実施例によれば、複数のチャプタで構成されたＶＲ動画を再生する場合、ユーザは、各チャプタ間で視聴方向（表示方向）を引き継いだまま、ＶＲ動画を鑑賞することが出来る。

また、上述した実施例では、複数チャプタで構成された動画を再生する場合について説明した。しかし、本発明は、この例に限定されず、複数の動画を連続して再生するよう場合にも適用可能である。

なお、ＣＰＵ２０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものに過ぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を表示制御装置に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を受け付け可能な撮像装置または電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。また、本発明は、ヘッドマウントディスプレイ（ＨＭＤ）などのウェアラブル機器、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００：表示制御装置（電子機器） ２０１：ＣＰＵ ２０５：ディスプレイ

Claims (13)

1. ＶＲ動画を再生可能な電子機器であって、
   前記電子機器の姿勢情報を取得する第１の取得手段と、
   前記ＶＲ動画の再生を開始するときに表示する表示範囲の基準となる方向である前記ＶＲ動画の基準方向を取得する第２の取得手段と、
   前記ＶＲ動画を再生するとき、前記ＶＲ動画に含まれる各フレーム画像について、前記姿勢情報に対応する方向に基づく一部の範囲を画面に表示するよう制御する制御手段と、
   第１のＶＲ動画と、前記第１のＶＲ動画とは異なる第２のＶＲ動画とに対してパターンマッチング処理を実行し、共通の被写体を検出する検出手段と、
   前記第１のＶＲ動画の基準方向である第１の基準方向および前記第１のＶＲ動画の前記共通の被写体の方位の差分に基づいて、前記第２のＶＲ動画の基準方向を第２の基準方向から、前記第２の基準方向とは異なる第３の基準方向に変更する変更手段と
   を有し、
   前記制御手段は、前記第１のＶＲ動画の再生を終了した後、連続して前記第２のＶＲ動画の再生を開始するとき、前記第２のＶＲ動画の最初に表示されるフレーム画像のうち、前記第３の基準方向と前記第１のＶＲ動画の再生を終了したときの前記姿勢情報に基づく一部の範囲を、前記画面に表示するように制御する
   ことを特徴とする電子機器。
2. 前記パターンマッチング処理は、前記第１のＶＲ動画の再生を終了した後、連続して前記第２のＶＲ動画の再生を開始するときに実行される
   ことを特徴とする請求項１に記載の電子機器。
3. 前記第１のＶＲ動画又は前記第２のＶＲ動画に方位情報が保持されていない場合、前記変更手段は、前記第１の基準方向および前記第１のＶＲ動画の前記共通の被写体の方位の差分に基づいて、前記第２のＶＲ動画の基準方向を前記第２の基準方向から前記第３の基準方向に変更し、
   前記第１のＶＲ動画及び前記第２のＶＲ動画に方位情報が保持されている場合、前記変更手段は、前記第１のＶＲ動画の基準方向である前記第１の基準方向および前記第１のＶＲ動画の特定の方位の差分に基づいて、前記第２のＶＲ動画の基準方向を前記第２の基準方向から、前記第２の基準方向とは異なる第４の基準方向に変更し、前記制御手段は、前
   記第１のＶＲ動画の再生を終了した後、連続して前記第２のＶＲ動画の再生を開始するとき、前記第２のＶＲ動画の最初に表示されるフレーム画像のうち、前記第４の基準方向と前記第１のＶＲ動画の再生を終了したときの前記姿勢情報に基づく一部の範囲を、前記画面に表示するように制御する
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記第１のＶＲ動画および前記第２のＶＲ動画が方位情報を保持していない場合、前記パターンマッチング処理が実行される
   ことを特徴とする請求項１～３のいずれか１項に記載の電子機器。
5. 前記共通の被写体が複数、検出された場合、最初に検出された被写体が前記共通の被写体として用いられる
   ことを特徴とする請求項１～４のいずれか１項に記載の電子機器。
6. 前記共通の被写体は静止物である
   ことを特徴とする請求項１～５のいずれか１項に記載の電子機器。
7. 前記第１のＶＲ動画の撮影場所および前記第２のＶＲ動画の撮影場所は一致する
   ことを特徴とする請求項１～６のいずれか１項に記載の電子機器。
8. 前記方向は、ヨー軸の円周方向である
   ことを特徴とする請求項１～７のいずれか１項に記載の電子機器。
9. 前記ＶＲ動画は、前記画面に一度に表示可能な範囲よりも広い映像範囲を有する
   ことを特徴とする請求項１～８のいずれか１項に記載の電子機器。
10. 前記ＶＲ動画は、３６０°の視野範囲を有する
    ことを特徴とする請求項１～９のいずれか１項に記載の電子機器。
11. ＶＲ動画を再生可能な電子機器の制御方法であって、
    前記電子機器の姿勢情報を取得する第１の取得ステップと、
    前記ＶＲ動画の再生を開始するときに表示する表示範囲の基準となる方向である前記ＶＲ動画の基準方向を取得する第２の取得ステップと、
    前記ＶＲ動画を再生するとき、前記ＶＲ動画に含まれる各フレーム画像について、前記姿勢情報に対応する方向に基づく一部の範囲を画面に表示するよう制御する制御ステップと、
    第１のＶＲ動画と、前記第１のＶＲ動画とは異なる第２のＶＲ動画とに対してパターンマッチング処理を実行し、共通の被写体を検出する検出ステップと、
    前記第１のＶＲ動画の基準方向である第１の基準方向および前記第１のＶＲ動画の前記共通の被写体の方位の差分に基づいて、前記第２のＶＲ動画の基準方向を第２の基準方向から、前記第２の基準方向とは異なる第３の基準方向に変更する変更ステップと
    を有し、
    前記制御ステップにおいて、前記第１のＶＲ動画の再生を終了した後、連続して前記第２のＶＲ動画の再生を開始するとき、前記第２のＶＲ動画の最初に表示されるフレーム画像のうち、前記第３の基準方向と前記第１のＶＲ動画の再生を終了したときの前記姿勢情報に基づく一部の範囲を、前記画面に表示するように制御する
    ことを特徴とする電子機器の制御方法。
12. コンピュータを、請求項１～１０のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１～１０のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images