JP7210180B2 - 画像処理装置、画像表示装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像表示装置、画像処理方法、及びプログラムに関する。

コンピュータグラフィックスの分野では、三次元の仮想空間内に配置された人や建物のオブジェクトを、当該仮想空間内を移動可能な仮想カメラに投影することによって、当該仮想カメラから見た画像を仮想画像として生成し、表示することが行われている。

この仮想画像を映像としてディスプレイに表示して視聴する場合に、仮想カメラの動きが速いと、視聴者に映像酔いが生じやすくなる。これに対し、特許文献１は、仮想カメラの動きに応じて、画像全体または画像の周辺部の解像度やコントラストを低下させた過渡期画像を生成し、表示することによって、映像酔いを軽減する方法を開示している。

特開第２０１７－５８４９３号公報

しかしながら、特許文献１に開示された方法では、表示画像内の注目すべきオブジェクトの解像度やコントラストが低下し、そのオブジェクトの視認性が低下してしまう虞があった。

本発明はこのような問題に鑑みてなされたものであり、画像内の所定のオブジェクトの視認性が低下することを抑制しつつ、ユーザの映像酔いを軽減することを目的とする。

本開示の一実施形態における画像処理装置は、仮想視点に対応する複数フレームから成る仮想視点画像を生成する画像処理装置であって、前記複数フレームのうち第１のフレームに対応する第１の仮想視点の位置と当該第１のフレームよりも時間的に進んだ第２のフレームに対応する第２の仮想視点の位置との差、又は前記第１の仮想視点からの視線方向と前記第２の仮想視点からの視線方向との差の少なくとも一方を特定する第１の特定手段と、特定された差に基づき、複数のオブジェクトそれぞれに対して、前記第１の仮想視点に対応する第１の仮想視点画像における位置と、前記第２の仮想視点に対応する第２の仮想視点画像における位置との差の度合いを決定する第１の決定手段と、前記第１の決定手段により決定された度合いに基づき、前記複数のオブジェクトそれぞれの先鋭度が異なる前記第２の仮想視点画像を生成する生成手段と、を有し、前記複数のオブジェクトに含まれる第１のオブジェクトに対して前記第１の決定手段により決定された第１の度合いが前記複数のオブジェクトに含まれる第２のオブジェクトに対して前記第１の決定手段により決定された第２の度合いよりも大きい場合、前記第２の仮想視点画像においては、前記第１のオブジェクトの鮮鋭度が前記第２のオブジェクトの鮮鋭度よりも低い、ことを特徴とする。

本発明によれば、画像内の所定のオブジェクトの視認性が低下することを抑制しつつ、ユーザの映像酔いを軽減することができる。

第１の実施形態における画像処理システムの構成図である。 第１の実施形態における画像処理装置のハードウェア構成図である。 第１の実施形態における画像処理のフローチャートを示す図である。 第１の実施形態における仮想空間内のオブジェクトおよび仮想カメラの位置を示す図である。 第１の実施形態における仮想画像を示す図である。 第１の実施形態におけるぼかし処理前後の仮想画像を示す図である。 第２の実施形態における画像処理のフローチャートを示す図である。 第２の実施形態における解像度低減処理を説明する図である。 第２の実施形態における解像度低減処理前後の仮想画像を示す図である。 第３の実施形態における画像処理のフローチャートを示す図である。 第３の実施形態における明度変更処理前後の仮想画像を示す図である。 第４の実施形態における仮想空間内のオブジェクトおよび仮想カメラの位置を示す図である。 第４の実施形態におけるぼかし処理前後の仮想画像を示す図である。

以下、図面を参照して、本発明の実施形態について詳細に説明する。

（第１の実施形態）
本実施形態では、三次元の仮想空間内に存在する人や建物などのオブジェクトが仮想空間内に設定された仮想カメラに投影された仮想画像（仮想カメラの視点に応じた仮想画像）において、動きの大きなオブジェクトにぼかし処理（画質変更処理）を行う。本実施形態では、そうすることで、映像酔いを軽減する方法について説明する。なお、以下の実施形態における仮想画像は、全体としてコンピュータグラフィックスで生成された画像であってもよいし、撮影装置による撮影画像に基づいて生成される画像であってもよい。例えば仮想画像は、それぞれ異なる位置に設置された複数の撮影装置により複数の方向から撮影対象領域を撮影することで得られる画像と、仮想視点を示す視点情報とに基づいて生成される、仮想視点画像（自由視点映像）であってもよい。

図１は、本実施形態における画像処理システムの構成を示す。画像処理装置２００は、仮想カメラ移動情報取得部２１０、オブジェクト位置情報取得部２２０、仮想画像取得部２３０、及び画像処理部２４０を有する。また、画像処理装置２００は、仮想カメラ移動情報１４０、オブジェクト位置情報１１０、及び仮想画像１３０の各データを記憶した不図示の記憶装置、並びに表示装置３００（液晶ディスプレイなど）と、ネットワークを介して接続される。仮想カメラ移動情報取得部２１０、オブジェクト位置情報取得部２２０、及び仮想画像取得部２３０は、それぞれ仮想カメラ移動情報１４０、オブジェクト位置情報１１０、及び仮想画像１３０のデータを、ネットワークを介して取得する。なお、画像処理装置２００により処理される仮想画像が撮影画像に基づく仮想視点画像である場合、オブジェクト位置情報１１０は、撮影画像に基づいて撮影対象領域内のオブジェクトの位置を特定することで取得されたデータであってもよい。取得したデータは、画像処理装置２００内の不図示の記録部に記録される。画像処理部２４０は、仮想カメラ移動情報１４０及びオブジェクト位置情報１１０を用いて、仮想画像１３０に対して後述する画像処理を行う。画像処理が行われた仮想画像１３０は、表示装置３００にネットワークを介して送信される。表示装置３００は、受信した仮想画像１３０を表示する。すなわち、表示装置３００は、画像表示装置である。なお、画像処理部２４０により仮想画像１３０が出力される出力先は表示装置３００に限らず、仮想画像１３０を記憶する記憶装置などであってもよい。

図２は、本実施形態における画像処理装置のハードウェア構成図である。画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、及び通信部２０５を有する。

ＣＰＵ２０１は、画像処理装置２００の全体を制御する中央演算ユニットであり、画像処理装置２００の処理シーケンスを統括的に制御する。ＲＯＭ２０２及び記憶装置２０４は、後述するフローチャートに示す処理を実現するためのプログラムやデータを格納する。ＲＡＭ２０３は、データの一時保存やプログラムのロードに使用される。通信部２０５は、ネットワーク２０６を介した外部装置とのデータ送受信を行う。通信部２０５は、例えば、画像処理装置２００によって画像処理を行った仮想画像１３０を、ネットワーク２０６を介して表示装置３００に送信する。画像処理装置２００の各構成要素は、バス２０７を介して相互に接続される。

図３は、画像処理装置２００による画像処理のフローチャートを示す。フローチャートに示される一連の処理は、画像処理装置２００のＣＰＵ２０１がＲＯＭ２０２または記憶装置２０４に記憶された制御プログラムをＲＡＭ２０３に展開し、実行することにより実施される。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。

Ｓ３０１において、仮想カメラ移動情報取得部２１０は、仮想カメラ移動情報１４０を取得する。仮想カメラ移動情報１４０は、仮想カメラの時刻ｔにおける位置Ｔ（ｔ）＝（ｔ_x，ｔ_y，ｔ_z）、及び向きｒ（ｔ）＝（ｒ_x，ｒ_y，ｒ_z）を含む。また、仮想カメラ移動情報１４０は、仮想カメラの時刻ｔにおける速度Ｖ（ｔ）＝（ｖｔ_x，ｖｔ_y，ｖｔ_z，ｖｒ_x，ｖｒ_y，ｖｒ_z）を含んでもよい。速度Ｖ（ｔ）は、単位時刻を映像のフレーム間隔とした、仮想カメラの位置と向きの微分値である。また、仮想カメラ移動情報１４０は、時刻ｔの１フレーム前の時刻ｔ－１における仮想カメラの位置Ｔ（ｔ－１）及び向きｒ（ｔ－１）を含んでもよい。図４は、仮想空間内のオブジェクトおよび仮想カメラの位置を示す。オブジェクト及び仮想カメラの各位置は、ＸＹＺ座標で表される。また、図４では、Ｚ軸方向から見たオブジェクト及び仮想カメラの位置が示されている。時刻ｔにおける仮想カメラ１３００、及びその１フレーム前の時刻ｔ－１における仮想カメラ１３１０が、軌跡１４００上に示されている。図示した例では、仮想カメラ１３００は、オブジェクト１１００を中心として、オブジェクト１１００の方向を向いて移動する。そのため、仮想カメラの映像は終始、仮想画像の中央にオブジェクト１１００が写るものとなる。なお、仮想カメラは、不図示の入力装置を介して受信するユーザの指示に応じて動いてもよいし、予め定められたように動いてもよい。オブジェクト１１００は、人のオブジェクトであって、前景オブジェクトの一例である。また、オブジェクト１２１０、１２２０は、建物のオブジェクトであって、背景の一例である。また、仮想空間内のオブジェクトの数は限定されるものではなく、１または複数のオブジェクトを配置することができる。

次いで、Ｓ３０２において、オブジェクト位置情報取得部２２０は、オブジェクト位置情報１１０を取得する。オブジェクト位置情報１１０は、仮想空間内に存在するオブジェクト１１００、１２１０、１２２０のそれぞれの重心の三次元座標（以下、重心座標とも呼ぶ）を含む。図４において、オブジェクト１１００の重心座標は（１８４０，４５２５，９５０）、オブジェクト１２１０の重心座標は（１８１０，５０８２，２８５０）、オブジェクト１２２０の重心座標は（１９００，５２００，３３００）である。なお、オブジェクト位置情報１１０は、オブジェクトの重心に限定されるものではなく、オブジェクトの代表点や、オブジェクトを構成する複数の要素の三次元座標の集合（メッシュポリゴンの頂点群など）でもよい。

次いで、Ｓ３０３において、画像処理部２４０は、オブジェクト位置情報１１０を仮想カメラに投影した画像座標のオプティカルフローの大きさを算出する。具体的には、画像処理部２４０は、オブジェクト位置情報１１０（ここでは、オブジェクトの重心の三次元座標）が投影された画素が、１フレームで何画素（ｐｘ）移動するかを算出する。三次元座標（Ｘ，Ｙ，Ｚ）から画像座標ｕ（ｔ）＝（ｕ，ｖ）への座標系変換は、以下の式（１）による一般的な透視投影の射影変換を用いて行われる。

ここで、記号「～」は、その両辺が定数倍の違いを許して等しいことを示す。また、Ａ（３×３行列）は、仮想カメラの焦点距離と解像度によって決まる内部パラメータ行列であり、Ｒ（３×３行列）は、仮想カメラの向きｒ（ｔ）からロドリゲスの回転公式によって得られる回転行列である。Ｔ（３×１行列）は、仮想カメラの位置Ｔ（ｔ）から得られる並進ベクトルを表す行列である。

このように、画像処理部２４０は、時刻ｔにおける画像座標ｕ（ｔ）を算出する。同様に、画像処理部２４０は、時刻ｔ－１における画像座標ｕ（ｔ－１）を算出する。画像座標ｕ（ｔ－１）は、時刻ｔ－１における仮想カメラ移動情報１４０を使用して算出することができる。なお、時刻ｔ－１における仮想カメラ移動情報１４０は、時刻ｔにおける仮想カメラの速度Ｖ（ｔ）を使用して、時刻ｔにおける仮想カメラ移動情報１４０から算出するようにしてもよい。図５は、時刻ｔにおける仮想カメラ１３００に、オブジェクト１１００、１２１０、１２２０を投影した仮想画像を示す。仮想画像５０１は、オブジェクト１１００、１２１０、１２２０のそれぞれが投影された像２１００、２２１０、２２２０を含む。また、オブジェクト１１００の重心を、時刻ｔにおける仮想カメラ１３００およびその１フレーム前の時刻ｔ－１における仮想カメラ１３１０にそれぞれ投影した点をｕ１（ｔ）、ｕ１（ｔ－１）として示す。同様に、オブジェクト１２１０の重心を投影した点をｕ２（ｔ）、ｕ２（ｔ－１）として示し、オブジェクト１２２０の重心を投影した点をｕ３（ｔ）、ｕ３（ｔ－１）として示す。この場合、オブジェクト１１００の重心の時刻ｔ－１からｔまでのオプティカルフローは、ベクトル３１１０で表される。また、ベクトル３１１０の大きさは、式（１）により算出された画像座標ｕ１（ｔ）＝（１０３２，９８０）、ｕ１（ｔ－１）＝（１０３８，９７８）より、６．３ｐｘとなる。すなわち、ベクトル３１１０の大きさは、画像座標ｕ１（ｔ）とｕ１（ｔ－１）との間の距離である。同様に、オブジェクト１２１０の重心のオプティカルフロー（すなわち、ベクトル３２１０）の大きさは、式（１）により算出された画像座標ｕ２（ｔ）＝（４００，４３０）、ｕ２（ｔ－１）＝（４４０，４３４）より、４０．２ｐｘとなる。また、オブジェクト１２２０の重心のオプティカルフロー（すなわち、ベクトル３２２０）の大きさは、式（１）により算出された画像座標ｕ３（ｔ）＝（１６８０，３５５）、ｕ３（ｔ－１）＝（１７８０，３６５）より、１００．５ｐｘとなる。このように、画像処理部２４０は、仮想カメラの動きに応じたオブジェクトの像の動きの大きさを導出する動き導出手段として機能する。

Ｓ３０４において、仮想画像取得部２３０は、仮想画像１３０を取得する。仮想画像１３０は、画像処理装置２００の外部でレンダリング処理された図５に示す仮想画像５０１とすることができる。

Ｓ３０５において、画像処理部２４０は、Ｓ３０３で算出された各オブジェクトのオプティカルフローの大きさ（すなわち、導出結果）が、所定の値、例えば、２０ｐｘより大きいかどうかを判定する。各オブジェクトのオプティカルフローの大きさが２０ｐｘ以下の場合は処理を終了する。一方、オプティカルフローの大きさが２０ｐｘより大きいオブジェクトが存在する場合は、Ｓ３０６に進む。図５の仮想画像５０１では、オブジェクト１２１０、１２２０のオプティカルフロー（すなわち、ベクトル３２１０、３２２０）の大きさがともに、２０ｐｘより大きいため、Ｓ３０６に進む。

Ｓ３０６において、画像処理部２４０は、オプティカルフローが所定の値よりも大きいと判定されたオブジェクト１２１０、１２２０の像２２１０、２２２０に対してぼかし処理を行う。ぼかし処理に用いる画像フィルタには、ガウシアンフィルタを用いることができる。ガウシアンフィルタのフィルタサイズは、オプティカルフローの大きさに係数ａ（＝０．１）を乗算して決定する。図６は、本実施形態におけるぼかし処理前後の仮想画像を示す。図６（ａ）は、ぼかし処理前の仮想画像６０１を示し、図６（ｂ）は、ぼかし処理後の仮想画像６０２を示す。図６（ｂ）では、像２２１０及び２２２０が、ぼかし処理によって不鮮明になっている。すなわち、本実施形態では、背景をぼかして、視聴者の視線を前景のオブジェクトに向かせることになる。また、オプティカルフローが大きいほどフィルタサイズが大きなガウシアンフィルタが適用されるため、像２２１０より像２２２０の方が、ぼかし量（すなわち、画質の変更の程度）が大きくなる。このように、画像処理部２４０は、オブジェクトの像の画質を変更する画質変更手段として機能する。

以上のステップを終了すると、画像処理部２４０は、仮想画像を表示装置３００に送信する。表示装置３００は、受信した仮想画像を映像として表示する。

このように、本実施形態では、仮想空間に存在するオブジェクトが投影された仮想画像において、動きの大きなオブジェクト（上述した例では、建物のオブジェクト）にぼかし処理をする。すなわち、動きの大きなオブジェクトの画質を変更することで、視聴者の視線が動きの小さなオブジェクト（上述した例では、人のオブジェクト）の像に向きやすくなる。したがって、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。

なお、上記Ｓ３０６のぼかし処理では、オプティカルフローの大きさに応じてフィルタサイズを決定したが、オプティカルフローの大きさによらず、所定のフィルタサイズ（例えば、フィルタサイズ１０）で一括処理してもよい。また、ガウシアンフィルタではなく、オプティカルフローの方向に応じてモーションぼかしフィルタを用いてもよい。また、代替として、平均化フィルタを用いてもよい。

また、上記の実施形態では、画像処理装置２００がすでに生成された仮想画像を取得し、仮想画像内の各オブジェクトの動きに関する判定を行った結果に基づいて、仮想画像内の特定のオブジェクトに対応する部分に画像処理を行うものとした。ただしこれに限らず、画像処理装置２００が仮想カメラ情報や撮像画像などの素材データに基づいて仮想画像を生成してもよい。この場合に画像処理装置２００は、上述のように一旦仮想画像を生成してから特定の部分に画像処理を行ってもよいし、もしくは素材データに基づいて仮想画像のレンダリングを行う際に特定のオブジェクトに対応する部分の画質を制御してもよい。

（第２の実施形態）
第１の実施形態では、画質の変更処理としてぼかし処理を行ったが、本実施形態では解像度低減処理を行って、映像酔いを軽減する方法について説明する。

以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図７は、本実施形態における画像処理の処理フローを示す。Ｓ３０１からＳ３０５の処理は、第１の実施形態における図３のフローチャートと同様である。

Ｓ７０１において、画像処理装置２００は、オプティカルフローが所定の値よりも大きいと判断された像２２１０および２２２０に対して、解像度低減処理を行う。

図８は、本実施形態における解像度低減処理を説明する図である。図８（ａ）は、解像度低減処理前の、像２２１０中の領域の画素および画素値を表す。本実施形態では、１画素に１つの画素値をもつ１チャンネルのグレースケール画像を前提として説明するが、これに限定されず、多チャンネルＲＧＢ画像などでもよい。本実施形態における解像度低減処理では、所定の解像度低減率（例えば、縦、横それぞれ５０％）になるように画素をサブサンプリングし、単純拡大することで解像度を低減する。つまり、サブサンプリングされた画素値を右、下、右下の計３ｐｘの領域にコピーする。こうしてコピーされた結果を、図８（ｂ）に示す。すなわち、図８（ｂ）は、解像度低減処理後の、像２２１０中の領域の画素および画素値を表す。

図９は、本実施形態における解像度低減処理前後の仮想画像を示す。図９（ａ）は、解像度低減処理前の仮想画像９０１を示し、図９（ｂ）は、解像度低減処理後の仮想画像９０２を示す。図９（ｂ）では、解像度低減処理により、対象像（すなわち、像２２１０、２２２０）の解像度が低くなっている。

以上説明したように、本実施形態では、画質の変更処理として、動きの大きなオブジェクト（上述した例では、建物のオブジェクト）の像に解像度低減処理をする。そうすることで、動きの小さなオブジェクト（上述した例では、人のオブジェクト）の像は比較的高い解像度のまま維持されるので、仮想画像内で際立つ。これにより、視聴者の視線が動きの小さなオブジェクトの像に向きやすくなるとともに、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。

なお、解像度低減率は、所定の値（５０％）に限らず、オプティカルフローの大きさに応じて決定してもよい。

（第３の実施形態）
本実施形態では、画質の変更処理として明度変更処理を行って、映像酔いを軽減する方法について説明する。

以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図１０は、本実施形態における画像処理の処理フローを示す。Ｓ３０１からＳ３０５の処理は、第１の実施形態における図３のフローチャートと同様である。

Ｓ１００１において、画像処理装置２００は、オプティカルフローが所定の値よりも大きいと判断された像２２１０および２２２０に対して、明度変更処理を行う。明度変更処理では、対象像の各画素の輝度値に、予め定められた所定の明度変更係数を乗算することで、対象像を明るくまたは暗くする。

図１１は、本実施形態における明度変更処理前後の仮想画像を示す。図１１（ａ）は、明度変更処理前の仮想画像１１０１を示す。図１１（ｂ）は、明度変更係数を１．５として、対象像が明るくなるように処理を行った仮想画像１１０２を示す。図１１（ｃ）は、明度変更係数を０．５として、対象像が暗くなるように処理を行った仮想画像１１０３を示す。図１１（ｂ）では、明度変更処理により、像２２１０、及び２２２０の明度が高くなり、明るくなっている。また、図１１（ｃ）では、像２２１０、及び２２２０の明度が低くなり、暗くなっている。

以上説明したように、本実施形態では、画質の変更処理として、動きの大きなオブジェクト（上述した例では、建物のオブジェクト）の像に明度変更処理をする。そうすることで、動きの小さなオブジェクト（上述した例では、人のオブジェクト）の像は、明度が適切な状態で維持されるので、仮想画像内で際立つ。これにより、視聴者の視線が動きの小さなオブジェクトに向きやすくなるとともに、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。

なお、上記処理では明度を変更したが、彩度やコントラストを変更してもよい。すなわち、本実施形態では、明度や彩度、またはコントラストを含む、対象像の色調を変更してもよい。また、明度変更係数には所定の値を用いたが、オプティカルフローの大きさに応じて決定してもよい。

（第４の実施形態）
第１の実施形態では、仮想カメラが、人のオブジェクト１１００を中心として移動する例について説明したが、本実施形態では、仮想カメラが第１の実施形態とは異なる動きをする例について説明する。

以下、第１の実施形態と同様の構成、処理フローについては説明を省略する。

図１２は、本実施形態における仮想空間内のオブジェクトおよび仮想カメラの位置を示す。時刻ｔにおける仮想カメラ１３５０、及びその１フレーム前の時刻ｔ－１における仮想カメラ１３６０が、軌跡１４１０上に示されている。図示した例では、仮想カメラは、オブジェクト１２１０、１２２０の近傍にある回転中心１２０１を中心として回転し、往復するように、回転中心１２０１を向いて移動する。そのため、映像は、仮想画像上をオブジェクト１１００が左右に往復するものとなる。

この場合、図３のＳ３０３において算出されるオプティカルフローの大きさは、オブジェクト１１００のオプティカルフローの大きさが５０．３ｐｘとなる。また、オブジェクト１２１０、１２２０のオプティカルフローの大きさがそれぞれ１９．５ｐｘ、１５．７ｐｘとなる。したがって、オプティカルフローの大きさが２０ｐｘより大きいオブジェクト１１００の像に対してＳ３０６のぼかし処理が行われる。

Ｓ３０６において、画像処理部２４０は、オブジェクト１１００のオプティカルフローの大きさに所定の係数ａ（＝０．１）を乗算して決定したフィルタサイズ５でぼかし処理を行う。

図１３は、本実施形態におけるぼかし処理前後の仮想画像を示す。図１３（ａ）は、ぼかし処理前の仮想画像１３０１を示し、図１３（ｂ）は、ぼかし処理後の仮想画像１３０２を示す。図１３（ｂ）では、像２１００が、ぼかし処理によって不鮮明になっている。すなわち、本実施形態では、前景のオブジェクトをぼかして、視聴者の視線を背景に向かせることになる。

以上説明したように、本実施形態では、仮想カメラの動きによって異なるオブジェクトの像にぼかし処理をする。そうすることで、視聴者の視線が動きの小さなオブジェクトの像に向きやすくなるとともに、動きの小さなオブジェクトの画質を維持したまま、映像酔いを軽減することができる。なお、上述した実施形態ではそれぞれ、ぼかし処理、解像度低減処理、及び明度変更処理（すなわち、色調変更処理）について説明したが、それらを組み合わせて実施してもよい。

また、上述の実施形態では、仮想画像における各オブジェクトの動きの大きさに基づいて特定されたオブジェクトの画質を制御するものとした。ただし、画質の変更の対象の決定方法はこれに限定されない。例えば画像処理装置２００は、移動する仮想カメラに応じた仮想画像を生成する場合に、ユーザ操作などに応じて予め指定されたオブジェクト以外の領域のボケ量が大きくなるように画像処理を行ってもよい。また例えば、画像処理装置２００は、所定の種別のオブジェクト（例えば人物など）以外の領域のボケ量が大きくなるように画像処理を行ってもよい。また例えば、画像処理装置２００は、仮想カメラからの距離が所定値未満であるオブジェクト以外の領域のボケ量が大きくなるように画像処理を行ってもよい。

また、画像処理装置２００が撮像画像に基づく仮想画像を生成する場合に、撮像画像に基づいて撮影対象領域内の所定のオブジェクトが特定され、仮想画像におけるその所定のオブジェクト以外の領域のボケ量が大きくなるように画像処理が行われてもよい。撮像画像に基づいて特定されるオブジェクトは、例えば移動するオブジェクトや、特定の期間にのみ撮影対象領域に存在するオブジェクトであってもよい。

なお、仮想画像内においてボケ量などの画質の変更対象となる領域は、上記のような方法で特定されたオブジェクト以外の領域全体であってもよいし、特定されたオブジェクトの周囲の所定範囲の領域については画質変更が行われなくてもよい。また、仮想画像に含まれるオブジェクトのうち、上記のような方法で特定されたオブジェクト以外のオブジェクトの領域が画質の変更対象となってもよい。すなわち、オブジェクトが存在しない領域については画質変更が行われなくてもよい。また、画像処理装置２００は、上述したぼかし処理や解像度低下処理、及び明度変更処理などの程度を、仮想カメラの移動速度や仮想カメラの画角などに基づいて決定してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ オブジェクト位置情報
１３０ 仮想画像
１４０ 仮想カメラ移動情報
２００ 画像処理装置
２１０ 仮想カメラ移動情報取得部
２２０ オブジェクト位置情報取得部
２３０ 仮想画像取得部
２４０ 画像処理部
３００ 表示装置

Claims (14)

1. 仮想視点に対応する複数フレームから成る仮想視点画像を生成する画像処理装置であって、
   前記複数フレームのうち第１のフレームに対応する第１の仮想視点の位置と当該第１のフレームよりも時間的に進んだ第２のフレームに対応する第２の仮想視点の位置との差、又は前記第１の仮想視点からの視線方向と前記第２の仮想視点からの視線方向との差の少なくとも一方を特定する第１の特定手段と、
   特定された差に基づき、複数のオブジェクトそれぞれに対して、前記第１の仮想視点に対応する第１の仮想視点画像における位置と、前記第２の仮想視点に対応する第２の仮想視点画像における位置との差の度合いを決定する第１の決定手段と、
   前記第１の決定手段により決定された度合いに基づき、前記複数のオブジェクトそれぞれの先鋭度が異なる前記第２の仮想視点画像を生成する生成手段と、
   を有し、
   前記複数のオブジェクトに含まれる第１のオブジェクトに対して前記第１の決定手段により決定された第１の度合いが前記複数のオブジェクトに含まれる第２のオブジェクトに対して前記第１の決定手段により決定された第２の度合いよりも大きい場合、前記第２の仮想視点画像においては、前記第１のオブジェクトの鮮鋭度が前記第２のオブジェクトの鮮鋭度よりも低い、
   ことを特徴とする画像処理装置。
2. 前記第１の決定手段により決定された度合と逆相関の関係になるように、前記第２の仮想視点画像における前記複数のオブジェクトそれぞれの鮮鋭度を決定する第２の決定手段をさらに有し、
   前記生成手段は、前記第２の決定手段により決定された鮮鋭度に基づいて前記第２の仮想視点画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の決定手段は、閾値に基づいて前記複数のオブジェクトそれぞれの鮮鋭度を決定する、ことを特徴とする請求項２に記載の画像処理装置。
4. 仮想空間における前記複数のオブジェクトそれぞれの三次元位置を特定する第２の特定手段をさらに有し、
   前記第１の決定手段は、前記第２の特定手段にて特定された前記複数のオブジェクトそれぞれの三次元位置にさらに基づいて、前記複数のオブジェクトそれぞれについての前記度合いを決定する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記第２の特定手段は、前記複数のオブジェクトそれぞれの重心の三次元位置、代表点の三次元位置、及び前記複数のオブジェクトそれぞれを構成する複数の要素の三次元位置の少なくとも何れかに基づいて、前記複数のオブジェクトそれぞれの三次元位置を特定する、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記複数のオブジェクトそれぞれについて前記第２の決定手段によって決定された先鋭度となるように、ガウシアンフィルタ、平均化フィルタ、及びモーションぼかしフィルタの少なくとも何れかを用いてぼけを付与する処理を行って、前記第２の仮想視点画像を生成する、ことを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記生成手段は、前記複数のオブジェクトそれぞれについて前記第２の決定手段によって決定された先鋭度となるように、解像度低減処理、明度変更処理、彩度変更処理、及びコントラスト変更処理の少なくとも１つを行って、前記第２の仮想視点画像を生成する、ことを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
8. 前記生成手段により生成された前記第２の仮想視点画像を表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記第２の仮想視点画像は、複数の撮像装置によりそれぞれ異なる方向から撮像することで得られる複数の画像に基づき生成される、ことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記オブジェクトは、人物又は構造物である、ことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 仮想視点に対応する複数フレームから成る仮想視点画像を生成する画像処理方法であって、
    前記複数フレームのうち第１のフレームに対応する第１の仮想視点の位置と当該第１のフレームよりも時間的に進んだ第２のフレームに対応する第２の仮想視点の位置との差、又は前記第１の仮想視点からの視線方向と前記第２の仮想視点からの視線方向との差の少なくとも一方を特定する第１の特定ステップと、
    特定された差に基づき、複数のオブジェクトそれぞれに対して、前記第１の仮想視点に対応する第１の仮想視点画像における位置と、前記第２の仮想視点に対応する第２の仮想視点画像における位置との差の度合いを決定する第１の決定ステップと、
    前記第１の決定ステップにて決定された度合いに基づき、前記複数のオブジェクトそれぞれの先鋭度が異なる前記第２の仮想視点画像を生成する生成ステップと、
    を含み、
    前記複数のオブジェクトに含まれる第１のオブジェクトに対して前記第１の決定ステップにて決定された第１の度合いが前記複数のオブジェクトに含まれる第２のオブジェクトに対して前記第１の決定ステップにて決定された第２の度合いよりも大きい場合、前記第２の仮想視点画像においては、前記第１のオブジェクトの鮮鋭度が前記第２のオブジェクトの鮮鋭度よりも低い、
    ことを特徴とする画像処理方法。
12. 前記第１の決定ステップにて決定された度合と逆相関の関係になるように、前記第２の仮想視点画像における前記複数のオブジェクトそれぞれの鮮鋭度を決定する第２の決定ステップをさらに含み、
    前記生成ステップでは、前記第２の決定ステップにて決定された鮮鋭度に基づいて前記第２の仮想視点画像を生成する、
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 仮想空間における前記複数のオブジェクトそれぞれの三次元位置を特定する第２の特定ステップをさらに有し、
    前記第１の決定ステップでは、前記第２の特定ステップにて特定された前記複数のオブジェクトそれぞれの三次元位置にさらに基づいて、前記複数のオブジェクトそれぞれについての前記度合いが決定される、
    ことを特徴とする請求項１１又は１２に記載の画像処理方法。
14. コンピュータを、請求項１乃至１０のいずれか一項に記載の画像処理装置として機能させるプログラム。

Images