JP2020042064A - 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体 - Google Patents

Abstract

【課題】広範囲画像の一部を表示範囲として表示部に表示し、さらにグラフィック画像を表示する場合に、グラフィック画像をより好適に表示可能にする技術を提供する。【解決手段】本発明の表示制御装置は、画像のうち表示可能な全方向の一部である表示範囲を表示部に表示するように制御する表示制御手段と、前記表示範囲を変更可能な変更手段と、を有し、前記表示範囲が特定方向を映した範囲である場合に、前記表示制御手段は、グラフィック画像を前記表示範囲に重ねて前記表示部に表示するように制御する。【選択図】図４

Description

本発明は、表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体に関する。

１回の撮影で手軽に３６０度方向の全天球画像（全方位画像；全周囲画像；３６０度画像）を撮影できる撮像装置が知られている。撮影範囲は３６０度に満たないが１８０度以上の広範囲を撮影できる撮像装置も知られている。そして、これらの撮像装置で撮影された画像（広範囲を撮影した画像；広範囲画像）の一部を表示範囲として表示部（表示装置）に表示し、ユーザー操作（表示部の姿勢変化を含む）に基づいて表示範囲を変更する方法が知られている。

デジタル写真である広範囲画像には、撮像装置を持つ撮影者や、撮像装置を固定する三脚などの固定具などが写り込む。撮影者は、全方向をまんべんなく写すために撮像装置を支える手をまっすぐ上に伸ばして撮影する場合が多い。このため、地面方向を写した範囲に撮影者や固定具などが写り込む確率が高い。

特許文献１に記載の撮像装置では、撮影者や固定具などが写り込まないように、撮像装置の真下に持ち手が設けられており、真下と真上の範囲が撮影されない構成が採用されている。しかしながら、特許文献１に記載の撮像装置では、真下と真上の範囲が撮影されないため、完全な全方位画像を得ることができない。

特開２００３−２４４５１１号公報 特開２００９−２１７３３号公報

対象画像（表示対象の画像）を表示装置に表示する際に、対象画像に付随する情報や、表示装置の状態などを示すグラフィック画像（文字列やアイコン）が表示されることがある。グラフィック画像を表示する一般的な方法として、グラフィック画像を対象画像に重ねて表示する方法と、表示面の一部に対象画像を小さく表示し、表示面の他の部分（余白）にグラフィック画像を表示する方法とがある。しかしながら、１つ目の方法では、グラフィック画像が対象画像に重ねられるため、対象画像の視認がグラフィック画像によって妨害されることがある。２つ目の方法では、対象画像を小さく表示されるため、対象画像の視認性が低下してしまう。

特許文献２に記載の技術では、複数のテンプレートのいずれかがユーザー操作に応じて選択され、選択されたテンプレートに応じた位置に文字情報が表示される。しかしながら、特許文献２に記載の技術を用いたとしても、選択されたテンプレートに応じた位置が最適な位置であるとは限らず、対象画像の視認がグラフィック画像によって妨害されることがある。

そこで本発明は、広範囲画像の一部を表示範囲として表示部に表示し、さらにグラフィック画像を表示する場合に、グラフィック画像をより好適に表示可能にする技術を提供することを目的とする。

本発明の第１の態様は、画像のうち表示可能な全方向の一部である表示範囲を表示部に表示するように制御する表示制御手段と、前記表示範囲を変更可能な変更手段と、を有し、前記表示範囲が特定方向を映した範囲である場合に、前記表示制御手段は、グラフィック画像を前記表示範囲に重ねて前記表示部に表示するように制御することを特徴とする表示制御装置である。

本発明の第２の態様は、撮像装置であって、撮影処理を実行して画像を取得する取得手段と、前記撮影処理時における前記撮像装置の姿勢を検知する検知手段と、前記検知手段によって検知された前記姿勢に基づいて、前記画像における特定方向を写した位置を特定する特定手段と、前記取得された画像に対して前記特定手段によって特定された位置にグラフィック画像を重ねて、合成画像を生成する合成手段と、を有することを特徴とする撮像装置である。

本発明の第３の態様は、画像のうち表示可能な全方向の一部である表示範囲を表示部に表示するように制御する表示制御ステップと、前記表示範囲を変更する変更ステップと、を有し、前記表示範囲が特定方向を映した範囲である場合に、前記表示制御ステップでは、グラフィック画像を前記表示範囲に重ねて前記表示部に表示するように制御することを特徴とする制御方法である。

本発明の第４の態様な、撮像装置の制御方法であって、撮影処理を実行して画像を取得する取得ステップと、前記撮影処理時における前記撮像装置の姿勢を検知する検知ステップと、前記検知ステップにおいて検知された前記姿勢に基づいて、前記画像における特定方向を写した位置を特定する特定ステップと、前記取得された画像に対して前記特定ステップにおいて特定された位置にグラフィック画像を重ねて、合成画像を生成する合成ステップと、を有することを特徴とする制御方法である。

本発明の第５の態様は、コンピュータを上述した表示制御装置の各手段として機能させるためのプログラムである。本発明の第６の態様は、コンピュータを上述した撮像装置の各手段として機能させるためのプログラムである。本発明の第７の態様は、コンピュータを上述した表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。本発明の第８の態様は、コンピュータを上述した撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、広範囲画像の一部を表示範囲として表示部に表示し、さらにグラフィック画像を表示する場合に、グラフィック画像がより好適に表示可能となる。

本実施形態に係るデジタルカメラの外観図及びブロック図である。 本実施形態に係る表示装置の外観図やブロック図などである。 本実施形態に係る画像再生処理を示すフローチャートである。 本実施形態に係るＶＲ表示を示す図である。 本実施形態に係るグラフィック画像の表示方法を示す図である。 本実施形態に係る撮影処理を示すフローチャートである。

以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）は、本実施形態
に係る撮像装置の一例であるデジタルカメラ１００の前面斜視図（外観図）である。図１（Ｂ）は、デジタルカメラ１００の背面斜視図（外観図）である。デジタルカメラ１００は、全方位画像（全天球画像）を撮影するためのカメラ（全方位カメラ；全天球カメラ）である。

バリア１０２ａは、デジタルカメラ１００の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ１００の前側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。バリア１０２ｂは、デジタルカメラ１００の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ１００の後ろ側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。

表示部２８は各種情報を表示する。シャッターボタン６１は撮影指示を行うための操作部（操作部材）である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。接続Ｉ／Ｆ２５は、接続ケーブルをデジタルカメラ１００に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビジョン装置などの外部装置がデジタルカメラ１００に接続される。操作部７０は、ユーザーからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサー等である。電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。

発光部（発光部材）２１は、発光ダイオード（ＬＥＤ）などであり、デジタルカメラ１００の各種状態を発光パターンや発光色によってユーザーに通知する。固定部４０は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ１００を固定して設置するために使用される。

図１（Ｃ）は、デジタルカメラ１００の構成例を示すブロック図である。

バリア１０２ａは、前方カメラ部の撮像系（撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ａは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ａは、撮像部２２ａへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子などで構成される撮像素子（撮像センサー）である。Ａ／Ｄ変換器２３ａは、撮像部２２ａから出力されるアナログ信号をデジタル信号に変換する。撮影レンズ１０３ａ、シャッター１０１ａ、及び、撮像部２２ａは、システム制御部５０によって制御される。なお、バリア１０２ａを設けずに、撮影レンズ１０３ａの外面が露出し、撮影レンズ１０３ａによって他の撮像系（シャッター１０１ａや撮像部２２ａ）の汚れや破損を防止してもよい。

バリア１０２ｂは、後方カメラ部の撮像系（撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ｂは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ｂは、撮像部２２ｂへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ｂは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子などで構成される撮像素子である。Ａ／Ｄ変換器２３ｂは、撮像部２２ｂから出力されるアナログ信号をデジタル信号に変換する。撮影レンズ１０３ｂ、シャッター１０１ｂ、及び、撮像部２２ｂは、システム制御部５０によって制御される。なお、バリア１０２ｂを設けずに、撮影レンズ１０３ｂの外面が露出し、撮影レンズ１０３ｂによって他の撮像系（シャッター１０１ｂや撮像部２２ｂ）の汚れや破損を防止してもよい。

撮像部２２ａと撮像部２２ｂにより、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像が撮像される。ＶＲ画像とは、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。

また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。即ち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。

このＶＲ画像をＶＲ表示（表示モード「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた一部の視野範囲（表示範囲；表示領域）の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。

なお、ＶＲ画像の表示方法は上記のＶＲ表示に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどの所定の操作部材に対するユーザー操作を検出し（操作検出）、当該ユーザ操作に応じて表示範囲を移動（スクロール）させてもよい。所定の操作部材に対するユーザー操作は、例えば、タッチパネルへのタッチムーブ、マウスなどに対するドラッグ操作、方向ボタンの押下などである。ＶＲ表示時（表示モード「ＶＲビュー
」時）において、姿勢変化に応じて表示範囲を変更する処理と、所定の操作部材に対するユーザー操作に応じて表示範囲を変更する処理との両方が行われるようにしてもよい。

画像処理部２４は、Ａ／Ｄ変換器２３ａやＡ／Ｄ変換器２３ｂからのデータ、又は、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理など）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理などが行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、Ａ／Ｄ変換器２３ａとＡ／Ｄ変換器２３ｂにより得られた２つの画像（２つの魚眼画像；２つの広角画像）に基本的な画像処理を施し、基本的な画像処理が施された２つの画像を合成する繋ぎ画像処理を行う。これにより、単一のＶＲ画像が生成される。また、画像処理部２４は、ライブビューでのＶＲ表示時、あるいは再生時に、ＶＲ画像をＶＲ表示するための画像切り出し処理、拡大処理、歪み補正などを行い、メモリ３２における所定の記憶領域（ＶＲＡＭ）に処理結果を描画するレンダリングを行う。

繋ぎ画像処理では、画像処理部２４は、２つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、エリア毎のずれ量に基づいて、２つの画像を繋ぐ繋ぎ位置を検出する。そして、画像処理部２４は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換により各画像の歪みを補正する。これにより、各画像が全天球形式（全天球イメージ形式）の画像に変換される。そして、画像処理部２４は、全天球形式の２つの画像を合成（ブレンド）することで、１つの全天球画像（ＶＲ画像）を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体（ＶＲ空間）の表面の座標と対応づけることができる。

Ａ／Ｄ変換器２３ａ，２３ｂからの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２ａ，２２ｂによって得られＡ／Ｄ変換器２３ａ，２３ｂによりデジタルデータに変換された画像データや、接続Ｉ／Ｆ２５から外部の表示装置に出力するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に格納されている画像表示用のデータは、接続Ｉ／Ｆ２５から外部の表示装置に出力することが可能である。撮像部２２ａ，２２ｂで撮像され、画像処理部２４で生成されたＶＲ画像であって、メモリ３２に蓄積されたＶＲ画像を外部の表示装置に逐次転送して表示することで、電子ビューファインダとしての機能が実現でき、ライブビュー表示（ＬＶ表示）が実現できる。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。同様に、メモリ３２に蓄積されたＶＲ画像を、通信部５４を介して無線接続された外部装置（スマートフォンなど）に逐次転送して表示することでもライブビュー表示（リモートＬＶ表示）が実現できる。

なお、デジタルカメラ１００は、画像を表示可能な本体表示部を備えていてもよい。そして、接続Ｉ／Ｆ２５から出力して外部の表示装置に表示するものとして説明した映像と同等の映像が本体表示部に表示可能であってもよい。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例
えばＥＥＰＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路を有する制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、画像処理部２４、メモリ制御部１５等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、シャッターボタン６１、操作部７０、及び、電源スイッチ７２は、システム制御部５０に各種の動作指示を入力するために使用される。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示部２８に表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理などの撮影準備動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２ａ，２２ｂからの信号読み出しから記録媒体９０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

なお、シャッターボタン６１は全押しと半押しの２段階の操作ができる操作部材に限るものではなく、１段階の押下だけができる操作部材であってもよい。その場合は、１段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合（第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２とがほぼ同時に発生した場合）と同じ動作である。

操作部７０は、表示部２８に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面を見ながら操作部７０を操作することで、直感的に各種設定を行うことがで
きる。

電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、電池残量などの検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池などの二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリーカードやハードディスク等の記録媒体９０とのインターフェースである。記録媒体９０は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体９０は、デジタルカメラ１００に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ１００に内蔵された記録媒体であってもよい。

通信部５４は、無線または有線ケーブルによって接続された外部装置との間で、映像信号や音声信号などの送受信を行う。通信部５４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットにも接続可能であり、ネットワークを介して、ネットワーク上の外部装置（サーバ等）とも通信可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部装置と通信可能である。通信部５４は撮像部２２ａ，２２ｂで撮像した画像（ＬＶ画像を含む）や、記録媒体９０に記録された画像を送信可能であり、外部装置から画像やその他の各種情報を受信することができる。

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２ａ，２２ｂで撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部２２ａ，２２ｂで撮影された画像が、ヨー方向、ピッチ方向、ロール方向などの回転方向にデジタルカメラ１００を傾けて撮影された画像であるかを判別可能であり、その傾き量も判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２ａ，２２ｂで撮像されたＶＲ画像の画像ファイルに付加したり、画像を回転（傾き補正（天頂補正）するように画像の向きを調整）して記録したりすることが可能である。姿勢検知部５５として、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサー等の複数のセンサーのうちの１つ以上の組み合わせを用いることができる。姿勢検知部５５を構成する加速度センサー、ジャイロセンサー、方位センサー等を用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

マイクロフォン２０は、動画であるＶＲ画像（ＶＲ動画）の音声として記録されるデジタルカメラ１００の周囲の音声を集音する。接続Ｉ／Ｆ２５は、外部装置と接続して映像の送受信を行うためにＨＤＭＩ（登録商標）ケーブルやＵＳＢケーブルなどが接続される接続プラグである。

図２（Ａ）は、本実施形態に係る表示制御装置の一例である表示装置２００の外観図である。表示装置２００は、例えばスマートフォンなどである。表示部２０５は画像や各種情報を表示する。表示部２０５はタッチパネル２０６ａと一体的に構成されており、表示部２０５の表示面へのタッチ操作を検出できるようになっている。表示装置２００は、デジタルカメラ１００等で生成されたＶＲ画像（ＶＲコンテンツ）を表示部２０５においてＶＲ表示することが可能である。操作部２０６ｂは表示装置２００の電源のオンとオフを
切り替える操作を受け付ける電源ボタンである。操作部２０６ｃと操作部２０６ｄは音声出力部２１２から出力する音声のボリュームを増減するボリュームボタンである。操作部２０６ｅは、表示部２０５にホーム画面を表示させるためのホームボタンである。音声出力端子２１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声信号を出力するための端子である。スピーカー２１２ｂは音声を出力する本体内蔵スピーカーである。

図２（Ｂ）は、表示装置２００の構成例を示すブロック図である。内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、表示部２０５、操作部２０６、記録媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、及び、通信Ｉ／Ｆ２１０が接続されている。また、内部バス２５０に対して音声出力部２１２と姿勢検出部２１３も接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ２０１は、表示装置２００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば、不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、表示装置２００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばフラッシュメモリやＲＯＭなどで構成される。

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記録媒体２０８に格納された画像や、外部Ｉ／Ｆ２０９を介して取得した画像信号、通信Ｉ／Ｆ２１０を介して取得した画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。

表示部２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ
Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、表示部２０５に表示するための画像信号を生成して表示部２０５に出力するように表示装置２００の各部を制御する。表示部２０５は生成された画像信号に基づいて画像を表示する。なお、本実施形態に係る表示制御装置自体が備える構成としては表示部２０５に表示させるための画像信号を出力するためのインターフェースまでとし、表示部２０５は外付けのモニタ（テレビジョン装置やＨＭＤなど）で構成してもよい。

操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。本実施形態では、操作部２０６は、タッチパネル２０６ａ、操作部２０６ｂ，２０６ｃ，２０６ｄ，２０６ｅを含む。

記録媒体Ｉ／Ｆ２０７には、メモリーカードやＣＤ、ＤＶＤといった記録媒体２０８が着脱可能である。記録媒体Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づき、装着された記
録媒体２０８からのデータの読み出しや、記録媒体２０８に対するデータの書き込みを行う。例えば、記録媒体２０８として、デジタルカメラ１００で生成された全天球画像が記録された記録媒体９０を装着することが可能である。この場合は、記録媒体２０８からＶＲ画像の画像信号を読み出して表示部２０５に表示することができる。外部Ｉ／Ｆ２０９は、外部装置と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、外部装置やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、例えば、無線ＬＡＮ、有線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ等で外部機器と通信可能である。

音声出力部２１２は、動画や音楽データ（音声ファイル）の音声や、操作音、着信音、各種通知音などを出力する。音声出力部２１２には、イヤホンなどを接続する音声出力端子２１２ａと、スピーカー２１２ｂとが含まれるものとするが、音声出力部２１２は無線通信などで外部スピーカーに対して音声データの出力を行ってもよい。

姿勢検出部２１３は、重力方向に対する表示装置２００の姿勢を検出する。姿勢検出部２１３で検出された姿勢に基づいて、表示装置２００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における表示装置２００の傾きの有無や大きさ、当該回転方向に表示装置２００が回転したかなどを判別可能である。姿勢検出部２１３として、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどの複数のセンサーのうちの１つ以上の組み合わせを用いることができる。なお、本実施形態に係る表示制御装置が表示装置とは別体の装置である場合（表示部２０５が外付けのモニタである場合）には、姿勢検出部２１３は、表示制御装置でなく、表示装置に設けられていてもよい。

上述したように、操作部２０６にはタッチパネル２０６ａが含まれる。タッチパネル２０６ａは、表示部２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。ＣＰＵ２０１はタッチパネル２０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル２０６ａにタッチしていなかった指やペンが新たにタッチパネル２０６ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）
・タッチパネル２０６ａを指やペンがタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）
・指やペンがタッチパネル２０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）
・タッチパネル２０６ａへタッチしていた指やペンがタッチパネル２０６ａから離れたこと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）
・タッチパネル２０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル２０６ａ上に指やペンがタッチしている位置座標
は内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチパネル２０６ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル２０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。

タッチパネル２０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。

更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル２０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

図２（Ｃ）は、表示装置２００を装着可能なＶＲゴーグル（ヘッドマウントアダプター）３００の外観図である。表示装置２００は、ＶＲゴーグル３００に装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口３０１は、表示装置２００を差し込むための挿入口である。表示部２０５の表示面を、ＶＲゴーグル３００をユーザーの頭部に固定するためのヘッドバンド３０２側（すなわちユーザー側）に向けて表示装置２００の全体をＶＲゴーグル３００差し込むことができる。ユーザーは、表示装置２００が装着されたＶＲゴーグル３００を頭部に装着した状態で、手で表示装置２００を保持することなく、表示部２０５を視認することができる。この場合は、ユーザーが頭部または体全体を動かすと、表示装置２００の姿勢も変化する。姿勢検出部２１３はこの時の表示装置２００の姿勢変化を検出し、この姿勢変化に基づいてＣＰＵ２０１がＶＲ表示のための処理を行う。この場合に、姿勢検出部２１３が表示装置２００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いている方向）を検出することと同等である。なお、表示装置２００自体が、ＶＲゴーグル無しでも頭部に到着可能なＨＭＤであってもよい。

なお、表示装置２００は、画像処理部２０４で、ＶＲ画像の天頂補正を行うことができる。天頂補正は、ＶＲ画像において天頂方向が写っている方向が所定の方向（ＶＲ空間における天頂方向）となるようにＶＲ画像のピッチ角やロール角を補正する傾き補正である。表示装置２００は、天頂補正を行って画像を表示することも、天頂補正を行わずに画像を表示することも可能である。上述したように、デジタルカメラ１００も天頂補正を行うことができる。天頂補正は、デジタルカメラ１００で行われてもよいし、表示装置２００で行われてもよい。

図３は、表示装置２００の画像再生処理の一例を示すフローチャートである。画像再生処理は、ＣＰＵ２０１が不揮発性メモリ２０３に格納されたプログラム（例えば、記録媒体２０８に格納されたＶＲ画像のＶＲ表示を行うための特定のアプリケーションプログラム）をメモリ２０２に展開して実行することで実現される。記録媒体２０８に格納されたＶＲ画像は、例えば、デジタルカメラ１００や一般的な全天球カメラなどで撮影されたＶ
Ｒ画像である。ＶＲ画像には、天頂方向を写した（映した）位置を示す天頂情報がメタデータとして付加されている。

ステップＳ３０１にて、ＣＰＵ２０１は、ＶＲ画像に付加されている（埋め込まれている）天頂情報と、姿勢検出部２１３の検出結果（表示装置２００の姿勢（向き））とに応じて、ＶＲ画像の一部である表示範囲を決定する。そして、ＣＰＵ２０１は、決定した表示範囲を表示部２０５に表示する。これにより、ユーザーが表示装置２００を向けた方向に対応する範囲（ＶＲ画像の一部）を表示部２０５に表示するＶＲ表示が実現される。図４（Ａ）〜４（Ｅ）は、三脚を使って道路上に設置された全天球カメラで撮影されたＶＲ画像のＶＲ表示例を示す。例えば、表示部２０５の表示面が水平方向（地面と平行な方向）を向いている場合には、図４（Ａ）に示すような表示が行われる。

次に、ステップＳ３０２にて、ＣＰＵ２０１は、表示部２０５の表示面が天頂方向を向いているか否かを判定する。つまり、ＣＰＵ２０１は、ユーザーが表示装置２００を向けた方向が天底方向（地面方向）であるか否か、すなわち現在の表示範囲が天底方向（地面方向）を映した範囲であるか否かを判定する。表示面が天頂方向を向いている（表示範囲が天底方向を映した範囲である）と判定された場合は、ステップＳ３０３へ処理が進められる。表示面が天頂方向を向いていない（表示範囲が天底方向を映した範囲でない）と判定された場合は、ステップＳ３０６へ処理が進められる。なお、或る程度の誤差を許容するように、表示面が天頂方向を向いているか否かを判定するのが好ましいが、そうでなくてもよい。

ステップＳ３０６にて、ＣＰＵ２０１は、後述するステップＳ３０４やステップＳ３０５で表示されるグラフィック画像を消去する（非表示にする）。そして、ステップＳ３０７へ処理が進められる。

ステップＳ３０３にて、ＣＰＵ２０１は、表示装置２００において背景塗り潰しモードが設定されているか否かを判定する。背景塗り潰しモードが設定されていると判定された場合は、ステップＳ３０４へ処理が進められ、背景塗り潰しモードが設定されていないと判定された場合は、ステップＳ３０５へ処理が進められる。

ステップＳ３０４にて、ＣＰＵ２０１は、ステップＳ３０５で表示されるグラフィック画像（情報画像）の視認性を向上するために、情報画像の背景となるグラフィック画像（背景画像）を、ＶＲ画像（現在の表示範囲）に重ねて表示部２０５に表示する。背景画像は、現在の表示範囲の一部、具体的には情報画像が表示される領域に重ねられる。そして、ステップＳ３０５へ処理が進められる。なお、背景画像の色や形、サイズ、透明度などは特に限定されない。背景画像は、単色画像であってもよいし、多色画像であってもよい（模様が描かれた画像であってもよい）。背景画像は、ＶＲ画像を透過するような透過性を有していてもよいし、透過性を有していなくてもよい。背景画像は、矩形や円形（楕円形を含む）、他の特殊な形状などを有していてもよい。

ステップＳ３０５にて、ＣＰＵ２０１は、情報画像をＯＳＤ（オンスクリーンディスプレイ）としてＶＲ画像（現在の表示範囲）に重ねて表示部２０５に表示する。ステップＳ３０４の処理が行われた場合には、情報画像は背景画像に重ねられる。そして、ステップＳ３０７へ処理が進められる。情報画像は、ユーザーに有用と思われる情報を示し、例えば表示されているＶＲ画像に関する情報を示す。具体的には、情報画像は、ＶＲ画像の画像ファイル名、ファイルサイズ（データサイズ）、画像サイズ、撮影日時、及び、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報の少なくともいずれかを示す。ＥＸＩＦ情報は、撮影時の設定条件などを示す。情報画像は、表示対象のＶＲ画像とは独立した情報、例えば、現在時刻や表示装置２００のバッテリー残量な
どを示してもよい。情報画像は、文字列（テキスト画像）であってもよいし、情報に対応するアイコンや図形などであってもよい。

図４（Ｂ）は、背景塗り潰しモードが設定されておらず且つ情報画像が表示された状態を示す。図４（Ｃ）は、背景塗り潰しモードが設定されており且つ透過性を有さない背景画像と情報画像とが表示された状態を示す。そして、図４（Ｄ）は、背景塗り潰しモードが設定されており且つ透過性を有する背景画像と情報画像とが表示された状態を示す。

ステップＳ３０７にて、ＣＰＵ２０１は、再生終了操作（画像再生処理を終了するための操作）が行われたか否かを判定する。再生終了操作が行われたと判定された場合は、ＣＰＵ２０１は画像再生処理を終了する。再生終了操作が行われていないと判定された場合は、ステップＳ３０１へ処理が戻される。ステップＳ３０１にて、表示装置２００の姿勢に変化があれば、表示範囲が変更されることとなる。

ＶＲ画像において、天底方向（地面方向）を映した範囲の画像価値は低い可能性が高い。換言すれば、ＶＲ画像の視認において、天底方向を映した範囲は三脚や撮影者の持ち手が写っているため、閲覧者が好んで見たり、撮影者が好んで見せたりする可能性は低い。上記画像再生処理によれば、表示範囲が天底方向を映した範囲である場合に、グラフィック画像が表示範囲に重ねて表示され、表示範囲が他の範囲である場合にはグラフィック画像は表示されない。これにより、ユーザーは、グラフィック画像により見たい被写体を見られないという妨害を（殆ど）感じずにＶＲ画像（グラフィック画像の部分も他の部分も）を確認できる（利便性の向上）。また、グラフィック画像を表示することで、ＶＲ画像のうち画像価値が低い範囲を有効に活用することができる。また、ユーザーは、表示面を天頂方向に向けるといった決まった動作でグラフィック画像が確認できるため、所望のタイミングで容易にグラフィック画像を確認することができる（利便性の向上）。

なお、ユーザーに対するグラフィック画像の向きは固定であることが好ましい。例えば、表示面を天頂方向に向けた状態を保ちながら天頂方向を軸として表示装置２００を回転させても、ユーザーに対するグラフィック画像の向きが変わらないことが好ましい。また、ユーザーにとって正位置の状態でグラフィック画像が表示されることが好ましい。その方法を、図５（Ａ）〜５（Ｃ）を用いて説明する。

図５（Ａ）には、表示面を天頂方向に向けた状態を保ちながら天頂方向を軸として表示面（表示装置２００）を回転させる様子が示されている。このとき、ＣＰＵ２０１は、表示面の回転に応じて、表示範囲を回転させるとともに、グラフィック画像を、表示範囲の回転方向（表示面の回転方向）とは逆方向に回転させる。つまり、表示範囲が天底方向を映した範囲である場合に、ＣＰＵ２０１は、天底方向（天頂方向）を軸とする表示範囲の回転に応じて、グラフィック画像を表示範囲の回転方向の逆方向に回転させる。これにより、表示面を天頂方向に向けた状態を保ちながら天頂方向を軸として表示装置２００を回転させた場合などにおいて、ユーザーに対するグラフィック画像の向きを一定に保つことができる。

また、図５（Ｂ）に示すように、表示面が天頂方向に向けられる直前、表示面は天頂方向に対していずれかの方向に傾いている。そして、表示面に平行な複数の方向のうち、天頂方向（地面に対する法線）との間の角度が最小となる方向が一意に決まる。図５（Ｂ）では、角度Θは、天頂方向と表示面との間の最小角であり、破線５０１は、天頂方向との間の角度が最小角Θとなる方向を示す。そして、図５（Ｃ）の破線５０２は、天頂方向を表示面に投影して得られる方向を示し、最小角Θを形成する破線５０１と一致する。ＣＰＵ２０１は、破線５０１，５０２の方向をグラフィック画像の上方向として、グラフィック画像の表示を開始する。人間の自然な手の動きによれば、この方法により、ユーザーに
とって正位置の状態でグラフィック画像が表示されるように、グラフィック画像の表示を開始することができる。

そして、図５（Ａ）を用いて説明した方法と、図５（Ｂ），５（Ｃ）を用いて説明した方法とにより、図４（Ｅ）に示すように、ユーザーにとって正位置の状態でグラフィック画像を表示し続けることができる。

図６は、デジタルカメラ１００の撮影処理の一例を示すフローチャートである。撮影処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することで実現される。

ステップＳ６０１にて、システム制御部５０は、シャッターボタン６１の全押しがあったか否かを判定する。つまり、システム制御部５０は、第２シャッタースイッチ６４のＯＮによる第２シャッタースイッチ信号ＳＷ２が発生したか否かを判定する。シャッターボタン６１の全押しがあったと判定されるまで、ステップＳ６０１の処理が繰り返され、シャッターボタン６１の全押しがあったと判定されると、ステップＳ６０２へ処理が進められる。

ステップＳ６０２にて、システム制御部５０は、撮像部２２ａ，２２ｂの撮像結果をメモリ３２に書き込む（展開する）。なお、撮像部２２ａによって撮像された画像と，撮像部２２ｂによって撮像された画像とを個別に書き込んでもよいし、撮像部２２ａ，２２ｂによって撮像された２つの画像を合成して単一のＶＲ画像を生成し、当該ＶＲ画像を書き込んでもよい。書き込み方法として様々な方法があるが、どの方法でもよい。また、ステップＳ６０２には、システム制御部５０は、姿勢検知部５５の検知結果（デジタルカメラ１００の現在の姿勢）をシステムメモリ５２に記録する。

次に、ステップＳ６０３にて、システム制御部５０は、デジタルカメラ１００において情報写し込みモードが設定されているか否かを判定する。情報写し込みモードが設定されていると判定された場合は、ステップＳ６０４へ処理が進められ、情報写し込みモードが設定されていないと判定された場合は、ステップＳ６０８へ処理が進められる。

ステップＳ６０４にて、システム制御部５０は、システムメモリ５２に格納されている姿勢検知部５５の検知結果に基づいて、メモリ３２に格納されているＶＲ画像における天底位置（天底方向（地面方向）を写した位置）を特定する。ここで、システムメモリ５２に格納されている検知結果は、ステップＳ６０２で記録された検知結果であり、ＶＲ画像の撮影時（撮影処理時）におけるデジタルカメラ１００の姿勢を示す。メモリ３２に格納されているＶＲ画像は、ステップＳ６０２で書き込まれた（展開された）ＶＲ画像である。

次に、ステップＳ６０５にて、システム制御部５０は、デジタルカメラ１００において背景塗り潰しモードが設定されているか否かを判定する。背景塗り潰しモードが設定されていると判定された場合は、ステップＳ６０６へ処理が進められ、背景塗り潰しモードが設定されていないと判定された場合は、ステップＳ６０７へ処理が進められる。

ステップＳ６０６にて、システム制御部５０は、ステップＳ６０７で合成される情報画像の視認性を向上するために、情報画像の背景となる背景画像を、メモリ３２に格納されているＶＲ画像に合成する（重ねる）。背景画像は、ステップＳ６０４で特定された位置に重ねられる。そして、ステップＳ６０７へ処理が進められる。なお、図３の画像再生処理と同様に、ステップＳ６０６で合成される背景画像の色や形、サイズ、透明度などは特に限定されない。

ステップＳ６０７にて、システム制御部５０は、メモリ３２に格納されているＶＲ画像に情報画像を合成する（重ねる）。情報画像（テキスト画像、アイコン、図形など）は、ステップＳ６０４で特定された位置に重ねられる。ステップＳ６０６の処理が行われた場合には、情報画像は背景画像に重ねられる。そして、ステップＳ６０８へ処理が進められる。なお、図３の画像再生処理と同様に、ステップＳ６０７で合成される情報画像は、ユーザーに有用と思われる情報を示す（メモリ３２に格納されているＶＲ画像の画像ファイル名、画像サイズ、撮影日時、ＥＸＩＦ情報など）。従来の銀塩カメラでは撮影日時などの簡易な情報が合成されるため、撮像装置が撮影して出力するＶＲ画像にも撮影日時などの簡易な情報を合成するのがよいと考えられる。つまり、ステップＳ６０７で合成される情報画像は、メモリ３２に格納されているＶＲ画像の撮影日時などの簡易な情報を示すことが好ましい。

なお、正距円筒図法で展開されたＶＲ画像は、ＶＲ表示のために正距円筒図法のイメージ形式から全天球イメージ形式に展開（変換）される。そのため、正距円筒図法で展開されたＶＲ画像にグラフィック画像（背景画像や情報画像）を合成する場合には、正距円筒図法のイメージ形式から全天球イメージ形式への変換とは逆の変換が施されたようなグラフィック画像を合成する。これにより、ＶＲ表示においてグラフィック画像を所望の形状で表示できる。また、背景塗り潰しモードが設定されていない場合などにおいて、情報画像の視認性を向上するために、情報画像として、本体色（内部色）とは異なる色で縁取られた画像を使用してもよい。

ステップＳ６０８にて、システム制御部５０は、メモリ３２に格納されているＶＲ画像（画像データ）を含む画像ファイルを生成し、当該画像ファイルを記録媒体９０に書き込む。そして、システム制御部５０は撮影処理を終了する。情報写し込みモードが設定されている場合は、情報画像が合成されたＶＲ画像（合成画像）が記録媒体９０に書き込まれる。情報写し込みモードが設定されていない場合は、情報画像も背景画像も合成されていないＶＲ画像が記録媒体９０に書き込まれる。

図３を用いて述べたように、天底方向（地面方向）を映した範囲の画像価値は低い可能性が高い。上記撮影処理によれば、ＶＲ画像における天底方向を写した位置にグラフィック画像を重ねて合成画像が生成される。これにより、上記撮影処理で生成された合成画像のＶＲ表示において、ユーザーは、グラフィック画像による妨害を（殆ど）感じずにＶＲ画像（グラフィック画像の部分も他の部分も）を確認できる（利便性の向上）。

なお、図３の画像再生処理と図６の撮影処理とにおいて、グラフィック画像が重ねられる特定方向は、天底方向（地面方向）に限られない。例えば、特定方向は天頂方向（天空方向）であってもよい。天底方向と天頂方向の一方が特定方向として使用されてもよいし、天底方向と天頂方向の両方が特定方向として使用されてもよい。

また、図３の画像再生処理において、ＣＰＵ２０１は、ＶＲ画像の撮影時における撮像装置（デジタルカメラ１００など）の向きに依って特定方向が天頂方向と天底方向の間で切り替わるように、特定方向を決定してもよい。同様に、図６の撮影処理において、システム制御部５０は、ＶＲ画像の撮影時におけるデジタルカメラ１００の向きに依って特定方向が天頂方向と天底方向の間で切り替わるように、特定方向を決定してもよい。

これにより、天頂方向と天底方向のうち、撮影時に撮影者がより重要視していた方向を写した位置にグラフィック画像が表示されることを抑制でき、利便性が向上する。例えば、撮影時に撮像装置を上に向けていた場合には、撮影者は上方向（天頂方向）を重要視していたと考えられるため、天底方向を特定方向とすればよい（天底方向を写した位置にグ
ラフィック画像が表示されるようにすればよい）。一方で、撮影時に撮像装置を下に向けていた場合には、撮影者は下方向（天底方向）を重要視していたと考えられるため、天頂方向を特定方向とすればよい（天頂方向を写した位置にグラフィック画像が表示されるようにすればよい）。

撮影時に撮像装置を上に向けていた場合には、撮影者は下方向（天底方向）を重要視していたとも考えられる。そして、撮影時に撮像装置を下に向けていた場合には、撮影者は上方向（天頂方向）を重要視していたとも考えられる。そのため、撮影時に撮像装置を上に向けていた場合に天頂方向を特定方向とし、撮影時に撮像装置を下に向けていた場合に天底方向を特定方向としてもよい。

デジタルカメラ１００では、姿勢検知部５５によってデジタルカメラ１００の姿勢が検知される。そのため、システム制御部５０は、姿勢検知部５５の検知結果（ＶＲ画像の撮影時におけるデジタルカメラ１００の姿勢）に基づいて特定方向を決定すればよい。

一方で、表示装置２００は撮像装置の姿勢を直接検知できない。しかしながら、ＶＲ画像に基づいて、当該ＶＲ画像の撮影時における撮像装置の姿勢を判断できることがある。そのため、ＣＰＵ２０１は、ＶＲ画像に基づいて特定方向を決定すればよい。ＶＲ画像の撮影時における撮像装置の姿勢を示す姿勢情報が当該ＶＲ画像のメタデータに含まれていれば、ＣＰＵ２０１は、姿勢情報に基づいて特定方向を決定できる。しかしながら、一般的なＶＲ画像には姿勢情報は付加されていない。一般的に、ＶＲ画像は、正距円筒図法で展開されて記録される。また、正距円筒図法で展開されたＶＲ画像を記録する際に、当該ＶＲ画像における天頂位置（天頂方向を写した位置）を示す天頂情報がメタデータとして付加される。そして、天頂情報に基づいて撮像装置の姿勢を判断できる。そのため、ＣＰＵ２０１は、天頂情報に基づいて特定方向を決定することが好ましい。

ＶＲ画像を正距円筒図法で展開する展開方法として、２つの方法がある。第１の展開方法は、撮像部によって得られたＶＲ画像の角度を補正せずに、つまり天頂補正（傾き補正）を行わずに、当該ＶＲ画像を正距円筒図法で展開する方法である。第１の展開方法によれば、繋ぎ画像処理（複数の撮像部によって得られた複数の画像を合成して単一のＶＲ画像を得る処理）の処理負荷や処理時間を低減できる。しかしながら、正距円筒図法で展開されたＶＲ画像に撮像装置の姿勢が反映されているため、当該ＶＲ画像を見ても天頂方向や天底方向、水平方向（地面と平行な方向）などを容易に把握できない。第２の展開方法は、撮像部によって得られたＶＲ画像の角度を撮像装置の姿勢に基づいて補正し、つまり天頂補正を行い、天頂補正後のＶＲ画像を正距円筒図法で展開する方法である。第２の展開方法では、正距円筒図法で展開されたＶＲ画像の下辺のいずれかの位置が天底位置（天底方向を写した位置）となり、上辺のいずれかの位置が天頂位置（天頂方向を写した位置）となる。第２の方法によれば、正距円筒図法で展開されたＶＲ画像に撮像装置の姿勢が反映されていないため、当該ＶＲ画像を見た際に天頂方向や天底方向、水平方向（地面と平行な方向）などを容易に把握できる。しかしながら、天頂補正が行われるため、繋ぎ画像処理の処理負荷や処理時間が増す。展開方法は撮像装置に依って異なる。なお、天頂情報を用いれば、展開方法に依らず好適なＶＲ表示（ＶＲ空間と実空間があたかも同一であるかのようなＶＲ表示、例えば表示面を天頂方向に向けると天底方向が表示されるようなＶＲ表示など）が可能である。

第１の展開方法では、正距円筒図法で展開されたＶＲ画像において、天頂位置は、撮影時における撮像装置の姿勢に応じて変化し、撮像装置からの各方向を写した位置は、撮影時における撮像装置の姿勢に依存せず所定の位置となる。即ち、撮像装置に対して当該撮像装置の持ち手の側（三脚の側）は、正距円筒図法で展開されたＶＲ画像の所定の位置に写る。例えば、持ち手が撮像部の下側に位置している場合には、持ち手の側は、正距円筒
図法で展開されたＶＲ画像の下辺部分に写る。一方で、第２の展開方法では、天頂補正が行われるため、正距円筒図法で展開されたＶＲ画像において、天頂位置は、撮影時における撮像装置の姿勢に依存せず所定の位置となる。そして、撮像装置からの各方向を写した位置は、撮影時における撮像装置の姿勢に応じて変化する。即ち、持ち手の側を写した位置は、撮影時における撮像装置の姿勢に応じて変化する。

第１の展開方法の場合は、ＣＰＵ２０１は、天頂情報（正距円筒図法で展開されたＶＲ画像における天頂位置）に応じて、撮影時に撮像装置が水平より上に向けられていたのか下に向けられていたのかを判定できる。具体的には、正距円筒図法で展開されたＶＲ画像の上半分領域内に天頂位置が存在する場合に、撮影時に撮像装置が水平よりも上に向けられていたと判定できる。そして、正距円筒図法で展開されたＶＲ画像の下半分領域内に天頂位置が存在する場合に、撮影時に撮像装置が水平よりも下に向けられていたと判定できる。そのため、天頂情報に基づいて特定方向を決定する処理により、ＣＰＵ２０１は、より好適な特定方向を決定できる。

一方で、第２の展開方法の場合は、天頂情報（正距円筒図法で展開されたＶＲ画像における天頂位置）が固定であるため、撮影時における撮像装置の姿勢を天頂情報からは判断できない。持ち手の側を写した位置を示す持ち手位置情報がＶＲ画像のメタデータに含まれていれば、ＣＰＵ２０１は、持ち手位置情報に応じて、撮影時における撮像装置の姿勢を判断できる。しかしながら、一般的なＶＲ画像には持ち手位置情報は付加されていない。

なお、ＣＰＵ２０１は、展開方法が第１の展開方法であるか第２の展開方法であるかにかかわらずに、天頂情報に基づいて特定方向を決定してよい。上述したように、第１の展開方法の場合は、天頂情報に基づいて特定方向を決定する処理により、より好適な特定方向を決定できる。一方で、第２の展開方法の場合は、撮影時における撮像装置の姿勢に依らず、常に、正距円筒図法で展開されたＶＲ画像の上半分領域内に天頂位置が存在する。そのため、天頂情報に基づいて特定方向を決定する処理により、撮影時における撮像装置の姿勢に依らず、常に同じ方向が特定方向として決定される。例えば、常に天底方向が特定方向として決定される。つまり、天頂情報に基づいて特定方向を決定する処理を行わずに特定方向を固定した場合と同様の状況が実現される。従って、天頂情報に基づいて特定方向を決定する処理を第２の展開方法の場合に行ったからといって、不適切な特定方向が決定されることは無い。

なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。同様に、ＣＰＵ２０１が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラまたは表示装置に適用した場合を例にして説明したが、本発明はこの例に限定されずＶＲ画像を撮影できる又は表示部に表示できる装置（電子機器）であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジ
タルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、テレビジョン装置、投影装置、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ ５０：システム制御部 ５５：姿勢検知部
２００：表示装置 ２０１：ＣＰＵ

Claims (19)

1. 画像のうち表示可能な全方向の一部である表示範囲を表示部に表示するように制御する表示制御手段と、
   前記表示範囲を変更可能な変更手段と、
   を有し、
   前記表示範囲が特定方向を映した範囲である場合に、前記表示制御手段は、グラフィック画像を前記表示範囲に重ねて前記表示部に表示するように制御する
   ことを特徴とする表示制御装置。
2. 前記特定方向は、天頂方向と天底方向の少なくとも一方である
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記画像に基づいて、前記画像の撮影時における撮像装置の向きに依って前記特定方向が天頂方向と天底方向の間で切り替わるように、前記特定方向を決定する決定手段、をさらに有する
   ことを特徴とする請求項１または２に記載の表示制御装置。
4. 前記表示範囲が前記特定方向を映した範囲である場合に、前記表示制御手段は、前記特定方向を軸とする前記表示範囲の回転に応じて、前記グラフィック画像が前記表示範囲の回転方向の逆方向に回転するように制御する
   ことを特徴とする請求項１〜３のいずれか１項に記載の表示制御装置。
5. 前記グラフィック画像は、前記画像のファイル名、撮影日時、画像サイズ、及び、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報の少なくともいずれかを示す
   ことを特徴とする請求項１〜４のいずれか１項に記載の表示制御装置。
6. 前記表示部の姿勢変化を検出する姿勢検出手段、をさらに有し、
   前記変更手段は、前記姿勢変化に基づいて前記表示範囲を変更する
   ことを特徴とする請求項１〜５のいずれか１項に記載の表示制御装置。
7. 所定の操作部材に対するユーザー操作を検出する操作検出手段、をさらに有し、
   前記変更手段は、前記ユーザー操作に基づいて前記表示範囲を変更する
   ことを特徴とする請求項１〜６のいずれか１項に記載の表示制御装置。
8. 前記画像は、全天球画像である
   ことを特徴とする請求項１〜７のいずれか１項に記載の表示制御装置。
9. 撮像装置であって、
   撮影処理を実行して画像を取得する取得手段と、
   前記撮影処理時における前記撮像装置の姿勢を検知する検知手段と、
   前記検知手段によって検知された前記姿勢に基づいて、前記画像における特定方向を写した位置を特定する特定手段と、
   前記取得された画像に対して前記特定手段によって特定された位置にグラフィック画像を重ねて、合成画像を生成する合成手段と、
   を有することを特徴とする撮像装置。
10. 前記特定方向は、天頂方向と天底方向の少なくとも一方である
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記検知手段によって検知された前記姿勢に基づいて、前記撮影処理時における前記撮像装置の向きに依って前記特定方向が天頂方向と天底方向の間で切り替わるように、前記特定方向を決定する決定手段、をさらに有する
    ことを特徴とする請求項９または１０に記載の撮像装置。
12. 前記グラフィック画像は、前記画像の撮影日時を示す
    ことを特徴とする請求項９〜１１のいずれか１項に記載の撮像装置。
13. 前記画像は、全天球画像である
    ことを特徴とする請求項９〜１２のいずれか１項に記載の撮像装置。
14. 画像のうち表示可能な全方向の一部である表示範囲を表示部に表示するように制御する表示制御ステップと、
    前記表示範囲を変更する変更ステップと、
    を有し、
    前記表示範囲が特定方向を映した範囲である場合に、前記表示制御ステップでは、グラフィック画像を前記表示範囲に重ねて前記表示部に表示するように制御する
    ことを特徴とする制御方法。
15. 撮像装置の制御方法であって、
    撮影処理を実行して画像を取得する取得ステップと、
    前記撮影処理時における前記撮像装置の姿勢を検知する検知ステップと、
    前記検知ステップにおいて検知された前記姿勢に基づいて、前記画像における特定方向を写した位置を特定する特定ステップと、
    前記取得された画像に対して前記特定ステップにおいて特定された位置にグラフィック画像を重ねて、合成画像を生成する合成ステップと、
    を有することを特徴とする制御方法。
16. コンピュータを請求項１〜８のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
17. コンピュータを請求項９〜１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
18. コンピュータを請求項１〜８のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
19. コンピュータを請求項９〜１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。