JP2019029721A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減する。【解決手段】本発明の画像処理装置は、ヘッドマウントディスプレイの姿勢情報を取得する姿勢情報取得手段と、入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得手段と、前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得手段と、前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整手段と、前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成手段と、を有することを特徴とする。【選択図】図２

Description

本発明は、ヘッドマウントディスプレイに表示する視差画像を生成する画像処理技術に関する。

視聴者が立体的な映像を楽しむために用いられる表示装置として、差異を有する左目用画像および右目用画像から構成される画像（以下「視差画像」と記す）を表示する表示装置が提案されている。このような表示装置において、左目用画像に含まれる被写体の大きさと、右目用画像に含まれる被写体の大きさとが大きく異なってしまうと、視聴者の眼精疲労や融像不能などを招来してしまうおそれがある。

特許文献１は、平面パネルを備える表示装置に視差映像を表示する場合、表示装置から視聴者の左目までの距離と、右目までの距離との比率に応じて、左目用映像と右目用映像との大きさを調整して被写体の大きさのずれを抑制する画像処理技術を開示している。

特開２０１１−０７１８９８号公報

近年、頭に装着して映像を視聴することにより、視聴者が臨場感あふれる映像を楽しむことができる、ヘッドマウントディスプレイが広く利用されている。ヘッドマウントディスプレイに視差画像を表示する場合、例えば魚眼レンズを備える撮像装置で撮像された入力画像から全天球画像を生成し、さらに全天球画像から表示用の視差画像をサンプリングするなどの高度な画像処理が行われる。

このとき、左目用画像と右目用画像とに含まれる被写体の大きさを揃えるために、これらの画像を単純に拡大縮小した場合、ヘッドマウントディスプレイで視聴する際の視野角が狭くなってしまう場合があった。そのため、ヘッドマウントディスプレイに表示された映像を視聴する際に、視聴者が違和感を覚えてしまうという課題があった。

本発明は上記課題に鑑みなされたものであり、ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減することを目的とする。

本発明の画像処理装置は、ヘッドマウントディスプレイの姿勢情報を取得する姿勢情報取得手段と、入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得手段と、前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得手段と、前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整手段と、前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成手段と、を有することを特徴とする。

本発明の画像処理装置によれば、ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減することができる、という効果を奏する。

実施形態における画像処理装置のハードウェア構成例を示す図である。 実施形態における画像処理装置の機能構成例を示すブロック図である。 実施形態における表示画像の生成手順例を示すフローチャートである。 実施形態における表示画像の生成手順例を示すフローチャートである。 実施形態における全天球画像の一例を示す図である。 実施形態におけるステレオ撮像装置および撮影シーンの一例を示す図である。 実施形態における表示画像例を示す図である。 実施形態におけるヘッドマウントディスプレイの一例を示す図である。 実施形態において距離が異なる複数の被写体を視聴する場合の模式図である。 実施形態において中心視野における被写体までの距離の遷移を示すグラフである。 実施形態において、ステレオ撮像装置の向きと、視聴者が映像を見る方向とを示す模式図である。 実施形態における表示画像例を示す図である。 実施形態において全天球画像からフレーミングされる範囲の一例を示す図である。 実施形態において全天球画像からフレーミングされる範囲の一例を示す図である。 実施形態において画素位置のずれが発生する一例を示す図である。 実施形態において視聴者の視点を原点とする３次元座標系の一例を示す模式図である。 実施形態における表示画像ＪＬ，ＪＲにおける位置関係を表した模式図である。

以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成はあくまで例示であり、本発明の範囲を必ずしもそれらに限定する趣旨のものではない。

［実施形態１］
図１は、本実施形態における画像処理装置１００のハードウェア構成例を示す図である。図１において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３およびハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各ブロックの動作を制御する。ＨＤＤインターフェース（以下、インターフェースは「Ｉ／Ｆ」と記す）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する。ＨＤＤ Ｉ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）などのＩ／Ｆである。ＣＰＵ１０１は、ＨＤＤ Ｉ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出しおよびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開することができ、逆に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することもできる。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７を接続する。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことができる。出力Ｉ／Ｆ１０８は、画像処理装置１００と、出力デバイスであるヘッドマウントディスプレイ８００とを接続する。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力Ｉ／Ｆである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介してヘッドマウントディスプレイ８００にデータを送り、ヘッドマウントディスプレイ８００に所定の映像を表示させることができる。姿勢検出Ｉ／Ｆ１１０は、加速度センサや角速度センサなどの姿勢検出部８０２を接続する。姿勢検出Ｉ／Ｆ１１０は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆである。姿勢検出部８０２は、ヘッドマウントディスプレイ８００に取り付けられており、ＣＰＵ１０１は姿勢検出Ｉ／Ｆ１１０を介して姿勢検出部８０２からヘッドマウントディスプレイ８００の姿勢情報を読み込むことができる。姿勢情報はマウスやキーボード、カメラなどを介しても入力することができる。

本実施形態における表示画像生成手順について、図２の機能ブロック図と図３のフローチャートとを参照して説明する。画像処理装置１００によって生成された表示画像は、ヘッドマウントディスプレイ上に表示される。図２は、本実施形態における画像処理装置１００の機能構成例を示すブロック図である。本実施形態において画像処理部２００は、姿勢情報取得部２０１から得られるヘッドマウントディスプレイ８００の姿勢情報に基づいて、ヘッドマウントディスプレイ８００に表示する表示視差画像を生成する。具体的には、全天球画像において、ヘッドマウントディスプレイ８００を装着した視聴者の視線方向に対応する部分画像を、左目用と右目用それぞれに対応するように順次表示する。これよりヘッドマウントディスプレイ８００を装着した視聴者が全天球画像の中に存在するかのように、視差画像を視聴することができる。まず距離情報取得部２０３は、撮像情報と画像データとに基づいて、姿勢情報取得部２０１から取得した姿勢情報に対応する中心視野における距離情報を取得する。ここで距離情報とは、視点から被写体までの距離を示す。画角調整部２０６は、姿勢情報に対応する表示視差画像を生成するための仮想カメラの画角を調整する。ここで仮想カメラは、左目用と右目用２つのカメラがあるものとし、デフォルトの画角が設定されている。画角調整部２０６は、左目用仮想カメラおよび右目用仮想カメラの少なくともいずれかに対して、距離情報に基づいて予め設定された画角を調整する。表示画像生成部２０８は、画角調整部２０６により出力される画角に基づいて左目用仮想カメラおよび右目用仮想カメラそれぞれに撮像される画像を表示画像として生成し、表示する。

図３は、本実施形態における表示画像生成手順例を示すフローチャートである。図２および図３における各ブロックおよび各ステップの機能は、ＣＰＵ１０１がＲＯＭ１０３などの記憶領域に格納されたプログラムコードをＲＡＭ１０２に読み出して実行することにより実現される。あるいはまた、図２および図３におけるブロックおよびステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実装してもよい。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図４のフローチャートについても同様である。

Ｓ３０１において、姿勢情報取得部２０１は、姿勢検出部８０２や入力デバイス１０７から姿勢情報を取得する。姿勢情報はＲＡＭ１０２やＨＤＤ１０５（以下、これらを「記憶領域」と記す）に一旦保存されたものが取得されてもよい。本実施形態において、姿勢情報はヘッドマウントディスプレイ８００の姿勢を表すデータであり、ヘッドマウントディスプレイ８００を装着する視聴者の視線方向に対応する。この姿勢情報は、３×３の回転行列Ｒと、ロール、ピッチ、ヨーとを用いて表現される。この他、姿勢情報は、クォータニオンなどを用いて表現されてもよい。

Ｓ３０２において、画像データ取得部２０２は、ＨＤＤ１０５や入力デバイス１０７から取得した画像データを距離情報取得部２０３に送出する。本実施形態において、ＨＤＤ１０５や入力デバイス１０７から取得される画像データは、魚眼レンズを備えるステレオ撮像装置によって撮像された全天球画像を表す画像データである例について説明する。

図５は、本実施形態における全天球画像の一例を示す図である。図５に示される全天球画像を表す画像データは、全ての向き（ある基準位置から３６０°の全ての方向）からの入射光線が表す色が保存された画像データである。本実施形態では、左目用表示画像を生成するために入力される全天球画像をＩ_L、右目用表示画像を生成するために入力される全天球画像をＩ_Rとする。本実施形態において、全天球画像Ｉ_L,Ｉ_Rは入力視差画像として取り扱われる。図５では、横軸を方位角θ［０〜２π］とし、縦軸を仰角φ［−π／２〜π／２］とした場合の座標系における全天球画像Ｉ_L,Ｉ_Rが示されている。全天球画像Ｉ_L,Ｉ_Rを撮像する撮像装置は、図６に示される通り、少なくとも２系統の撮像系を備えるステレオ撮像装置が、２セット組み合わされて構成されるステレオ撮像装置６０１である。各撮像系の画角が同じ場合、各撮像系は１８０°以上の画角を有する必要がある。なお、ステレオ撮像装置６０１は、２セット組み合わされて構成される例が示されているが、３セット以上組み合わされて構成されてもよい。この場合望ましくは、各撮像系の画角が１２０°以上程度であれば、本実施形態で説明されるように、仮想カメラの画角調整の効果を得ることができる。

図７は、本実施形態における表示画像例を示す図である。図７に示される表示画像は、ヘッドマウントディスプレイに表示するための表示視差画像であり、視聴者の左目に提示するための左目用表示画像Ｊ_Lと、視聴者の右目に提示するための右目用表示画像Ｊ_Rとから構成される。そして、これら表示画像Ｊ_Lと、表示画像Ｊ_Rとは、視聴者が接眼レンズを通して見た場合に、レンズの歪曲を考慮した補正が施されている。

図８は、本実施形態におけるヘッドマウントディスプレイ８００である、ヘッドマウントディスプレイ８００の一例を示す図である。ヘッドマウントディスプレイ８００の筐体８０１には、ヘッドマウントディスプレイ８００の姿勢情報を取得可能な姿勢検出部８０２と、表示視差画像が表示されるディスプレイパネル８０３と、一対の接眼レンズ８０４とが設けられている。図８に示されるヘッドマウントディスプレイ８００は、視聴者の頭部に装着されて用いられる。そして、ヘッドマウントディスプレイ８００は、視聴者の頭部の向き（すなわち、ヘッドマウントディスプレイの向き）に応じた表示視差画像をディスプレイパネル８０３に表示することができる。

Ｓ３０３において、撮像情報取得部２０４は、取得した撮像情報を距離情報取得部２０３に送出する。本実施形態において、撮像情報は、全天球画像Ｉ_L,Ｉ_Rを撮像したステレオ撮像装置に関する撮像情報である。具体的には、本実施形態の撮像情報は、ステレオ撮像装置の正面方向θ_c,基線長ｂ_cおよび焦点距離ｆ_cを示す情報である。撮像情報取得部２０４は、これらの撮像情報を記憶領域から取得する。また、ｃはステレオ撮像装置の番号を示す。

Ｓ３０４において、距離情報取得部２０３は、全天球画像Ｉ_Lと全天球画像Ｉ_Rとに基づいて注目領域における距離を示す距離情報を取得し、取得した距離情報を画角調整部２０６に送出する。

注目領域における距離は、全天球画像Ｉ_Lを表す画像データと、全天球画像Ｉ_Rが表す画像データとに基づいて予め生成された距離マップから取得されてもよいし、ＣＰＵ１０１が所定の計算を行うことにより取得されてもよい。注目領域における距離が計算によって取得される場合、まずヘッドマウントディスプレイの姿勢情報が示す位置が中心視野とされる。つまり、距離情報取得部２０３は、ヘッドマウントディスプレイの姿勢情報が示す位置のうち方位角θ_d，仰角Φ_dが示す座標を全天球画像Ｉ_Lおよび全天球画像Ｉ_Rにおける中心視野に設定する。これは、視聴者の頭の動きに追従して映像を表示するタイプのヘッドマウントディスプレイでは、視聴者が頭を動かして周囲を見回すため、左目用表示画像ＪＬと右目用表示画像ＪＲとのそれぞれの中心視野が注目領域となる場合が多いからである。

全天球画像Ｉ_Lにおける中心視野のＮ×Ｍ画素の領域を中心領域Ａ_Lとし、このＡ_Lをテンプレートとして全天球画像Ｉ_Rにおける中心領域を水平方向に走査してマッチングを行い、マッチングの結果、最も類似度が高い領域が中心領域Ａ_Rとして抽出される。類似度の評価指標はＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）など領域間の類似度を評価できるものであればよい。そして、求めた中心領域Ａ_Rと中心領域Ａ_Lとの水平方向のずれ量を注目領域の視差量ｄとする。視差量ｄと、ステレオ撮像装置の基線長ｂ_cと、カメラの焦点距離ｆ_cとから、距離Ｄを以下の（式１）で算出することができる。

Ｄ＝ｆ_cｂ_c／ｄ・・・（式１）

ここで、ｃは中心視野を撮影したステレオ撮像装置の番号を示す。本実施形態では、中心視野が注目領域である例を説明したが、表示画像中で最も距離が近い領域、最も顕著度が高い領域、または、マニュアルで指定された領域を注目対象として距離を求めても構わない。

また、距離情報取得部２０３は、取得した距離を時間方向に平滑化することにより、後述される仮想カメラの画角が瞬間的に変化してしまうことを防ぐことができる。例えば、図９に示されるように、視聴者が視点からの距離が異なる複数の被写体が含まれる映像を視聴する場合、視聴者が遠くの物体９０１を見ている状態から右方向に振り向くと、最終的に近くの物体９０４を見ることになる。この場合、物体９０１を含む表示視差画像が表示された後、物体９０４を含む表示視差画像が表示される。このとき、中心視野における物体が切り替わる時に、仮想カメラの画角が大きく変化してしまう可能性がある。そこで、現時点における中心領域の距離ｄ_nだけではなく、前回表示視差画像を生成した際の距離の出力値ｄ_n-1に基づいて現在の距離の出力値を平滑化する。例えば、現時点の距離の影響度をａ（０≦ａ≦１）とすると、平滑化後の距離の出力値ｄ_n’は、以下の（式２）で算出することができる。

ｄ_n’＝ｄｎ×ａ＋ｄ_n-1’×（１−ａ）・・・（式２）

図１０（ａ）（ｂ）は、図９に示されるシーンにおいて、横軸を時間とし、縦軸を距離として、注目領域における被写体（物体９０１〜９０４）までの距離の遷移を示すグラフである。図１０（ａ）に示されるグラフでは、平滑化される前の距離の出力値が示されている。一方、図１０（ｂ）に示されるグラフでは、平滑化された後の距離の出力値が示されている。このように、距離情報取得部２０３は、取得した距離を時間方向に平滑化することにより、仮想カメラの画角が大きく変化してしまうことを抑制することができる。

Ｓ３０５において、視野角取得部２０５は、視聴者が接眼レンズ８０４を通じてディスプレイパネル８０３を見た場合の視野角βを取得し、取得した視野角βを画角調整部２０６に送出する。本実施形態では、例えば、ｘ軸方向（横方向）の視野角βが取得される。この視野角βは予め記憶領域に保存されていて、必要に応じて読み出されてもよい。

Ｓ３０６において、画角調整部２０６は、ヘッドマウントディスプレイの姿勢情報と、距離情報と、ステレオ撮像装置に関する情報とに基づき、左目用表示画像Ｊ_Lと、右目用表示画像Ｊ_Rとを仮想的に撮像する仮想カメラの画角を調整する。本実施形態において、画角調整部２０６は、ヘッドマウントディスプレイ８００の上下方向に延びる軸周りの回転量αと、ステレオ撮像装置の正面方向θ_cとを利用して仮想カメラの画角を調整する。

ここで、本実施形態における仮想カメラは、入力視差画像である全天球画像Ｉ_L,Ｉ_Rに対して、指定した撮像方向および画角でフレーミングして表示画像Ｊ_L，Ｊ_Rを抽出することができる仮想的な撮像装置である。このとき、画角調整部２０６は、まず、全天球画像Ｉ_L,Ｉ_Rを内表面にマッピングした球を仮想空間上に配置する。そして、画角調整部２０６は、仮想カメラの撮像方向および画角を調整することにより、あたかも実際のカメラで撮像するように、全天球画像Ｉ_L,Ｉ_Rの一部をフレーミングして表示画像Ｊ_L，Ｊ_Rを出力することができる。

図１１は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とを示す模式図である。図１１（ａ）は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とのずれが０°の場合の例を示す図であり、これは視聴者が図６における方向Ａを見ている状態と一致する。このとき、ステレオ撮像装置の向きと、視聴者が映像を見る方向とは同じ方向を向いているため、図７に示されるように、左目用表示画像Ｊ_Lに含まれる被写体と、右目用表示画像Ｊ_Rに含まれる被写体との間で大きさのずれは発生しない。一方、図１１（ｂ）は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とが所定の角度ずれている場合の例を示す図であり、これは視聴者が図６における方向Ｂを見ている状態と一致する。このとき、左目用表示画像Ｊ_Lを生成するために用いられる左仮想カメラの画角と、右目用表示画像Ｊ_Rを生成するために用いられる右仮想カメラの画角とを調整せずに生成した画像例が、図１２に示される。

図１２示されるように、左目用表示画像Ｊ_Lに含まれる被写体は小さく、右目用表示画像Ｊ_Rに含まれる被写体は大きく表示されてしまう。これは、左仮想カメラは右仮想カメラに比べて被写体までの距離が遠くなるためである。そのため、本実施形態の画像処理装置１００は、左仮想カメラの画角を狭くすることにより左目用表示画像Ｊ_Lにおける被写体を大きくし、右仮想カメラの画角を広くすることにより右目用表示画像Ｊ_Rにおける被写体を小さくする。これにより、画角調整部２０６は、左目用表示画像Ｊ_Lと右目用表示画像Ｊ_Rとにおける被写体の大きさを揃えることができる。

図１３および図１４は、全天球画像Ｉ_L,Ｉ_Rからフレーミングされる範囲の一例を示す図である。図１３は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とのずれが０°の場合の例を示す図であり、左右の仮想カメラが全天球画像Ｉ_L,Ｉ_Rをフレーミングしている範囲１３０１，１３０２は等しい。一方、図１４は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とが所定の角度ずれている場合の例を示す図である。図１４において、被写体からの距離が遠い左仮想カメラによってフレーミングされる範囲１４０１は小さく、被写体からの距離が近い右仮想カメラによってフレーミングされる範囲１４０２は大きい。調整後の左仮想カメラの画角β_Lと、調整後の右仮想カメラの画角β_Rとは、以下の（式３）（式４）をそれぞれ用いて算出することができる。

注目被写体までの距離が遠くなるほど、全天球画像Ｉ_L,Ｉ_Rに含まれる被写体の大きさのずれは小さくなるため、仮想カメラの画角調整による効果は小さくなる。そのため、予め閾値を設定しておき、注目被写体までの距離が所定の閾値以上の場合は画角の調整を行わないように制御してもよい。

また、別実施形態では、画像処理装置１００は、画角調整部２０６に代えて、焦点距離調整部を有していてもよい。別実施形態の焦点距離調整部は、左仮想カメラの焦点距離を長くすることにより左目用表示画像Ｊ_Lにおける被写体を大きくし、右仮想カメラの焦点距離を短くすることにより右目用表示画像Ｊ_Rにおける被写体を小さくする。これにより、焦点距離調整部は、左目用表示画像Ｊ_Lと右目用表示画像Ｊ_Rとにおける被写体の大きさを揃えることができる。

Ｓ３０７において、表示パラメータ取得部２０７は、入力デバイス１０７から表示パラメータを取得する。本実施形態において、表示パラメータは、ヘッドマウントディスプレイ８００に表示画像Ｊ_L，Ｊ_Rを表示させるために必要なパラメータである。表示パラメータは、接眼レンズ８０４の歪曲率および中心位置、ならびに、ディスプレイパネル８０３の解像度およびサイズなどが相当する。表示パラメータ取得部２０７は、入力デバイス１０７からだけではなく、一旦記憶領域に保存された表示パラメータを取得してもよい。

Ｓ４００において、表示画像生成部２０８は、姿勢情報と、仮想カメラの画角と、全天球画像Ｉ_L,Ｉ_Rを表す画像データと、表示パラメータとに基づいて、ヘッドマウントディスプレイ８００に表示させるための表示画像を生成する。上述の通り、本実施形態では、ヘッドマウントディスプレイ８００に表示される表示画像は、左目に提示される左目用表示画像Ｊ_Lと、右目に提示される右目用表示画像Ｊ_Rとから構成される。本実施形態において、それぞれの表示画像Ｊ_L，Ｊ_Rは、接眼レンズ８０４を通して見たときに、視聴者が歪みなく表示画像Ｊ_L，Ｊ_Rを見ることができるように、接眼レンズ８０４の歪曲を考慮して補正されている。本実施形態では、接眼レンズの歪曲を考慮した補正と、透視投影処理とが同時に行われるため、表示画像Ｊ_L，Ｊ_Rを生成する処理に必要な時間を短縮することができる。

次に、図４のフローチャートを参照して、本実施形態における表示画像生成手順（Ｓ４００）の詳細について説明する。本実施形態の画像処理装置１００は、ヘッドマウントディスプレイ８００に表示する表示画像Ｊ_L，Ｊ_Rを、ヘッドマウントディスプレイ８００を装着している視聴者が向いている方向に応じて、全天球画像Ｉ_L,Ｉ_Rからサンプリングして生成する。表示画像生成部２０８は、ヘッドマウントディスプレイ８００の姿勢情報を仮想カメラの姿勢情報として用い、ディスプレイパネル８０３上のいずれの画素位置にいずれの向きからの光線を再現するかを演算する。この光線の向きは、ヘッドマウントディスプレイ８００における上下方向に延びる軸周りの角度を表す方位角θと、左右方向に延びる軸周りの角度を表す仰角φとによって表される。表示画像生成部２０８は、接眼レンズ８０４の中心を原点とした座標系における画素の位置を（ｘ，ｙ）とした場合、光線の向き（θ，φ）を計算し、その向きから表示画像Ｊ_L，Ｊ_Rにおける画素値を求めることができる。以下、図４のフローチャートを参照して詳細を説明する。また、図４のフローチャートによる処理は、左目用表示画像Ｊ_Lの全ての画素と、右目用表示画像Ｊ_Rの全ての画素についてそれぞれ実行される。

Ｓ４０１において、表示画像生成部２０８は、ヘッドマウントディスプレイ８００上に表示される表示画像Ｊ_L，Ｊ_Rにおける画素位置（ｘ，ｙ）の歪曲率を取得する。図１５は、接眼レンズ８０４の歪曲によって、画素位置がずれる一例を示す模式図である。接眼レンズ８０４の歪曲量は、接眼レンズ８０４の中心からの距離ｒと、接眼レンズの光学特性とによって定まる。そのため、画像処理装置１００は、接眼レンズ８０４に使用するレンズの種類に応じて、接眼レンズ８０４の中心からの距離ｒと、レンズの歪曲率とが対応付けられたルックアップテーブルを参照して、接眼レンズ８０４の歪曲率を取得することができる。なお、このようなルックアップテーブルは、記憶領域に予め記憶されておくものとする。また、入射光線の波長ごとに接眼レンズ８０４の歪曲率が異なる場合、Ｒ，Ｇ，Ｂ色成分の波長ごとのルックアップテーブルを記憶領域に予め記憶しておいてもよい。そして、Ｒ，Ｇ，Ｂ色成分ごとの歪曲率を取得して、以後のステップでＲ，Ｇ，Ｂ色成分ごとに異なる歪曲率を使用して表示画像の生成処理を行う。また、歪曲率の算出において、あらかじめ画素位置ごとに歪曲率を参照できるようにルックアップテーブルを作成しておき、接眼レンズ８０４の中心からの距離ｒに関する計算を省略できるようにしてもよい。さらに、接眼レンズ８０４の中心からの距離が遠く、視聴者が接眼レンズ８０４を通して視聴可能な範囲を超えている場合、表示画像Ｊ_L，Ｊ_Rにおける画素値を黒に設定してＳ４０２〜Ｓ４０５処理をスキップしてもよい。

Ｓ４０２において、表示画像生成部２０８は、接眼レンズ８０４の歪曲に起因する屈折によって、光線が射出しているように見える画素位置を計算する。接眼レンズ８０４の歪曲を考慮した画素位置（ｘ_d，ｙ_d）は、画素位置（ｘ，ｙ）にそれぞれ歪曲率ｄを積算することによって計算することができる。具体的には、以下の（式５）（式６）をそれぞれ用いて計算することができる。

ｘ_d＝ｘ×ｄ・・・（式５）
ｙ_d＝ｙ×ｄ・・・（式６）

Ｓ４０３において、表示画像生成部２０８は、Ｓ４０２の演算で求めた画素位置（ｘ_d，ｙ_d）を、視聴者の視点を原点とする３次元空間における座標（Ｘ，Ｙ，Ｚ）に変換する。図１６は、本実施形態において、視聴者の視点を原点とする３次元座標系の一例を示す模式図である。ヘッドマウントディスプレイ８００（仮想カメラ）の姿勢情報を３×３の回転行列Ｒ、画素単位で表現した焦点距離をｆとすると、３次元空間における座標（Ｘ，Ｙ，Ｚ）は、以下の（式７）によって計算することができる。なお、Ｓ４０２、Ｓ４０３における一連の処理は、本実施形態において位置取得手段に相当する。

［Ｘ Ｙ Ｚ］^t＝Ｒ×［ｘ ｙ ｆ］^t・・・（式７）

上記（式７）において、左目用表示画像Ｊ_Lか、右目用表示画像Ｊ_Rかによって、仮想カメラの画角が異なるため、左目用、右目用それぞれで異なる焦点距離の値が用いられる。具体的には、表示画像生成部２０８は、左目用表示画像Ｊ_Lにおける画素値を求める場合はｆ＝ｆ_Lとし、右目用表示画像Ｊ_Rにおける画素値を求める場合はｆ＝ｆ_Rとして、上記３次元空間における座標（Ｘ，Ｙ，Ｚ）を算出する。ｆ_Lとｆ_Rとは、以下の（式８）（式９）によって算出することができる。

ｆ_L＝ｆ×ｔａｎ（β_L／２）／ｔａｎ（β／２）・・・（式８）
ｆ_R＝ｆ×ｔａｎ（β_R／２）／ｔａｎ（β／２）・・・（式９）

Ｓ４０４において、表示画像生成部２０８は、３次元空間における座標（Ｘ，Ｙ，Ｚ）から方位角θと、仰角φとを導出する。図１６に示される通り、原点から（Ｘ，Ｙ，Ｚ）までの距離をＬ＝（Ｘ²＋Ｙ²＋Ｚ²）^1/2とすると、方位角θと、仰角φとは以下の（式１０）（式１１）によって計算することができる。

φ＝ａｓｉｎ（Ｙ／Ｌ） ・・・（式１０）
θ＝ａｓｉｎ（Ｚ／Ｌ／ｃｏｓφ）・・・（式１１）

Ｓ４０５において、表示画像生成部２０８は、Ｓ４０４で導出された方位角θと仰角φとによって特定される、全天球画像Ｉ_L，Ｉ_Rにおける画素位置の画素値を取得して、取得した画素値を表示画像Ｊ_L，Ｊ_Rの描画配列に格納する。このとき、左目用表示画像Ｊ_Lが生成される場合は全天球画像Ｉ_Lから画素値が取得され、右目用表示画像Ｊ_Rが生成される場合は全天球画像Ｉ_Rから画素値が取得される。

図１７は、本実施形態において、接眼レンズ８０４の中心に対応するディスプレイパネル８０３上の位置を原点とした場合の、表示画像Ｊ_L，Ｊ_Rにおける位置関係を表した模式図である。Ｓ４０５で取得された画素値が格納される表示画像Ｊ_L，Ｊ_R中の位置は、図１７に示される原点から（ｘ，ｙ）移動した位置に相当する。なお、表示画像生成部２０８は、全天球画像Ｉ_Lから画素値を取得する際、バイリニア補間やバイキュービック補間など、取得対象となる画素の周辺画素から補間して画素値を取得してもよい。さらに、表示画像生成部２０８は、魚眼カメラなどで撮影した全天球画像から画素値を取得する場合、光線の向きと対応する画素位置との対応関係を規定したルックアップテーブルを予め記憶領域に保存しておいてもよい。表示画像生成部２０８は、このようなルックアップテーブルを参照することにより、複雑な演算を行うことなく、光線の向き（θ、φ）や画素位置（ｘ，ｙ）を導出することができる。

Ｓ４０６において、表示画像生成部２０８は、表示画像Ｊ_L，Ｊ_Rにおける全画素の処理が完了したか否かを判定する。全画素の処理が完了した場合（Ｓ４０６：ＹＥＳ）、表示画像生成処理を完了して再び図３のフローチャートに復帰する。全画素の処理が完了していない場合（Ｓ４０６：ＮＯ）、再びＳ４０１〜Ｓ４０５の処理を繰り返す。

再び図３のフローチャートに戻り、Ｓ３０９において、画像データ出力部２０９は、Ｓ４００において生成された表示画像Ｊ_L，Ｊ_Rをヘッドマウントディスプレイ８００に出力し、表示画像Ｊ_L，Ｊ_Rをディスプレイパネル８０３に表示する。

Ｓ３１０において、画像処理部２００は、次の表示画像を生成するか否かを判定する。次の表示画像は、例えば、動画における次フレームの画像などが相当する。次の表示画像が生成される場合（Ｓ３１０：ＹＥＳ）、再びＳ３０１に戻り表示画像生成処理が繰り返される。次の表示画像が生成されない場合（Ｓ３１０：ＮＯ）、本フローチャートの処理を終了する。

以上説明した通り、本実施形態の画像処理装置によれば、ヘッドマウントディスプレイの姿勢情報と、撮像装置に関する情報と、注目領域における距離情報とに基づき、入力視差画像をフレーミングする仮想カメラの画角を調整する。そのため、ステレオ撮像装置の向きと、視聴者が映像を見る方向とが所定の角度ずれている場合であっても、左目用表示画像Ｊ_Lと右目用表示画像Ｊ_Rとにおける被写体の大きさを揃えることができる。この結果、本実施形態の画像処理装置によれば、ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減することができる。

また、仮想カメラの画角を調整する手法に依らず、左目用画像と右目用画像とに含まれる被写体の大きさを揃えるために、これらの画像を単純に拡大縮小した場合、接眼レンズの歪曲率を考慮した画像補正を正しく行えないという課題もあった。本実施形態の画像処理手法（Ｓ４００）によれば、全天球画像Ｉ_L,Ｉ_Rの一部をフレーミングスする左仮想カメラと右仮想カメラとの画角をそれぞれ調整するため、表示画像Ｊ_L，Ｊ_Rに対して、歪曲率を考慮した画像補正を正しく行えることができる。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・画像処理装置
２０１・・姿勢情報取得部
２０３・・距離情報取得部
２０４・・撮像情報取得部
２０６・・画角調整部
２０８・・表示画像生成部
８００・・ヘッドマウントディスプレイ

Claims (15)

1. ヘッドマウントディスプレイの姿勢情報を取得する姿勢情報取得手段と、
   入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得手段と、
   前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得手段と、
   前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整手段と、
   前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記画角調整手段は、前記表示視差画像のうち、視聴者の左目に提示される左目用表示画像を生成するために用いられる左仮想カメラの画角と、視聴者の右目に提示される右目用表示画像を生成するために用いられる右仮想カメラの画角とをそれぞれ調整する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画角調整手段は、前記姿勢情報が示す前記ヘッドマウントディスプレイの向きと、前記撮像装置に関する情報が示す前記撮像装置の向きとのずれに基づいて、前記左目用表示画像に含まれる被写体の大きさと、前記右目用表示画像に含まれる被写体の大きさとの差が小さくなるように、前記左仮想カメラの画角と前記右仮想カメラの画角とをそれぞれ調整する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画角調整手段は、前記距離情報が示す距離が所定の閾値以上である場合、前記仮想カメラの画角の調整を行わない
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、
   前記姿勢情報と、前記表示パラメータとに基づいて、前記ヘッドマウントディスプレイ上に表示される前記表示視差画像における画素位置であって、視聴者の視点を含む３次元空間における画素位置を取得する位置取得手段と、
   前記調整された画角と、前記取得された画素位置とに基づいて導出された方位角と仰角とによって特定される、前記入力視差画像における画素位置の画素値を、前記取得された画素位置の画素値とするサンプリング手段と、をさらに有する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記位置取得手段は、前記表示パラメータが示す、前記ヘッドマウントディスプレイが備える接眼レンズの歪曲率を考慮して前記表示視差画像における画素位置を取得する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記距離情報取得手段は、前記入力視差画像の視差量に基づいて前記距離情報を算出する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記距離情報取得手段は、前記仮想カメラによってフレーミングされた前記入力視差画像の領域のうち、中心領域に含まれる被写体までの距離情報を取得する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記距離情報取得手段は、前記距離情報が示す距離を時間方向に平滑化し、前記平滑化された距離情報を取得する
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記入力視差画像は、全天球画像である
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記生成手段は、仮想空間に配置された球の内表面にマッピングされた前記全天球画像から、前記仮想カメラによってフレーミングされた領域で前記表示視差画像を生成する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記撮像装置は、少なくとも２系統の撮像系を備えるステレオ撮像装置であり、
    前記撮像装置に関する情報は、前記ステレオ撮像装置の向き、基線長および焦点距離を少なくとも含む
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記画角調整手段に代えて、前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの焦点距離を調整する焦点距離調整手段と、を有する
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. ヘッドマウントディスプレイの姿勢情報を取得する姿勢情報取得ステップと、
    入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得ステップと、
    前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得ステップと、
    前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整ステップと、
    前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成ステップと、を有する
    ことを特徴とする画像処理方法。
15. コンピュータを、請求項１から請求項１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。