JP2017156880A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】自由視点映像において仮想視点が任意の方向に移動した場合でも自然な表示を行う。
【解決手段】画像処理装置は、実空間内に定義された基準面に接する被写体を複数の視点から撮像することにより得られる画像を取得する取得部と、取得部によって取得された画像から、基準面と被写体とが接する基準面上の位置を算出する算出部と、取得部によって取得された画像から複数の視点に含まれない視点に対応する合成画像を合成する際に、算出部によって算出された位置に基づいて、取得部によって取得された画像に含まれる被写体の像を変形する変形部と、を備える。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、スポーツシーンなどを対象として、カメラ視点以外の自由な視点からの映像（以下、自由視点映像と称す）を生成する技術が提案されている。この技術は、複数のカメラで撮影された映像を基に、それらの配置されていない仮想的な視点の映像を合成し、その結果を画面上に表示することでさまざまな視点での映像観賞を可能とするものである。

ここで、自由視点映像を合成する技術のうち、ビルボードと呼ばれる簡易なモデルを利用して高速に自由視点映像を合成する技術が存在する（非特許文献１参照）。このビルボードを利用した技術では、映像からモデル化対象のオブジェクトのテクスチャを正確に切り出し、それを厚みのないビルボードモデルとして仮想空間の地面に立たせることで、自由視点映像を生み出す。

ここで、一般にビルボード方式では、あるビルボードの最下点（例えば、人物の足先）が仮想空間の地面に接するようにビルボードが配置される。また、仮想視点が水平方向に移動する際はその仮想視点の移動に合わせてビルボードを回転させ、垂直方向に移動する際はビルボードの方向を変化させない。

Hayashi, K.; Saito, H., "Synthesizing Free-Viewpoing Images from Multiple View Videos in Soccer StadiumADIUM," in Computer Graphics, Imaging and Visualisation, 2006 International Conference on , vol., no., pp.220-225, 26-28 July 2006

非特許文献１に記載の方式は、品質の高い自由視点映像を高速に合成可能であるという点において優れている。しかしながら、ビルボード（厚みのないテクスチャだけのモデル）を利用していることによって、対象人物の姿勢を適切に表現できない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、自由視点映像において仮想視点が任意の方向に移動した場合でも自然な表示を行うことができる技術の提供にある。

本発明のある態様は、画像処理装置に関する。この画像処理装置は、実空間内に定義された基準面に接する被写体を複数の視点から撮像することにより得られる画像を取得する取得部と、取得部によって取得された画像から、基準面と被写体とが接する基準面上の位置を算出する算出部と、取得部によって取得された画像から複数の視点に含まれない視点に対応する合成画像を合成する際に、算出部によって算出された位置に基づいて、取得部によって取得された画像に含まれる被写体の像を変形する変形部と、を備える。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、自由視点映像において仮想視点が任意の方向に移動した場合でも自然な表示を行うことができる。

実施の形態に係る画像処理装置を備える自由視点画像配信システムを示す模式図である。 実施の形態に係る画像処理装置の機能および構成を示すブロック図である。 カメラの画像平面上の座標とフィールド座標との対応関係を示す説明図である。 図４（ａ）〜（ｃ）は、背景差分部における処理の例を示す説明図である。 ビルボード制御点決定部におけるスケルトンの抽出処理を示す説明図である。 ビルボード制御点決定部における制御点の特定処理を示す説明図である。 図７（ａ）〜（ｆ）は、ビルボード姿勢推定部における接地位置の推定処理を示す説明図である。 原画像に対する姿勢の推定結果を示すイメージ図である。 ビルボード基準図形に関する変数を示す説明図である。 ビルボード再構成部におけるビルボードの再構成処理を示す説明図である。 図１の画像処理装置における一連の処理の流れを示すフローチャートである。 カメラ視点での画像とカメラ視点から垂直方向に移動した仮想視点での画像とを示す図である。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

非特許文献１に記載の方式では、例えば、腕立て伏せのようなポーズを取った際に、仮想視点を垂直方向に移動させると、人物の姿勢を適切に表現できずあたかも手（ビルボードの最下点）で地面に立ち，足が浮いているように合成される場合がある。図１２は、カメラ視点での画像１０２とカメラ視点から垂直方向に移動した仮想視点での画像１０４とを示す図である。カメラ視点での画像１０２では人物は両手両足で地面に接しているように映っている。しかしながら、仮想視点での画像１０４では、ビルボード自体の表示は変わらず、また人物が手で地面に立っていると解釈されるので、人物の足が浮いているように見える（符号１０３）。

この原因としては、従来の方式は遠方から人物を撮影した映像（例えば、サッカーのスタジアム席からの映像）を対象としたものであり、人物の姿勢によって生じる奥行きの差を考慮しないことと、人物が地面に１点（足）で立っていることを前提としていることと、が挙げられる。

これに対して、実施の形態では、事前に計測された複数のカメラのキャリブレーションデータを用いて人物のビルボードの姿勢を簡易に推定し、その情報を用いて擬似的にビルボードを変形させることで、自由視点映像において仮想視点が移動した場合でも適応的な表示を行う。

図１は、実施の形態に係る画像処理装置２００を備える自由視点画像配信システム１１０を示す模式図である。自由視点画像配信システム１１０は、複数のカメラ１１６、１１８、１２０と、それらのカメラと接続された画像処理装置２００と、携帯電話やタブレットやスマートフォンやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの携帯端末１１４と、を備える。画像処理装置２００と携帯端末１１４とはインターネットなどのネットワーク１１２を介して接続される。自由視点画像配信システム１１０では、例えばスタジオ内に配置された複数のカメラ１１６、１１８、１２０が地面１２６に立つダンサー１２４を撮像する。複数のカメラ１１６、１１８、１２０は撮った映像を画像処理装置２００に送信し、画像処理装置２００はそれらの映像を処理する。携帯端末１１４のユーザは画像処理装置２００に対して希望の視点を指定し、画像処理装置２００は指定された視点（仮想視点）からダンサー１２４を見た場合の画像を合成し、ネットワーク１１２を介して携帯端末１１４に配信する。

なお、図１ではスタジオ内のダンサーを撮像する場合を説明したが、これに限られず、例えばフィットネスのインストラクタを撮像する場合やテニスの試合を撮像する場合やサッカーの試合を撮像する場合などの、実空間内の基準面と接する被写体を撮像する場合に、本実施の形態の技術的思想を適用できる。また、携帯端末１１４の代わりに、デスクトップＰＣやラップトップＰＣ、ＴＶ受像機等の据え置き型端末が使用されてもよい。

図２は、実施の形態に係る画像処理装置２００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（Central Processing Unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

画像処理装置２００は、複数のカメラにて撮影された画像から任意の仮想視点の画像を合成する。画像処理装置２００は、画像読み込み部２０２、２０４、２０６と、背景差分部２０８、２１０、２１２と、カメラキャリブレーション部２１４、２１６、２１８（カメラキャリブレーション部２２０と総称されてもよい）と、ビルボード制御点決定部２２２、２２４、２２６と、ビルボード姿勢推定部２２８と、ビルボード再構成部２３０、２３２、２３４と、合成映像出力部２３６と、を備える。Ｎ台（Ｎは２以上の自然数）のカメラのそれぞれについて、画像読み込み部、背景差分部、カメラキャリブレーション部、ビルボード制御点決定部、ビルボード再構成部、が設けられている。

画像処理装置２００は、同一の被写体を撮影した複数のカメラ映像を基に、ビルボード方式に則った自由視点映像の生成を行う。従来のビルボード方式では垂直方向の仮想視点の移動に対してビルボードの変形（回転なども含む）は行っていなかったが、本実施の形態に係る画像処理装置２００では垂直方向の仮想視点の移動に対して、その仮想視点に合わせたビルボードの生成を行う。

以下では、複数カメラ間の時刻同期は事前に行われているとする。また、以下では主に人物のモデル化を仮定するがその他の被写体のモデル化についても本実施の形態の技術的思想を適用可能である。また、仮想視点は例えばユーザが任意に指定可能な仮想的な視点であり、カメラ１〜Ｎが配置される実際の複数の視点には含まれない。

［画像処理装置２００の概要］
画像処理装置２００における画像処理では、地表面（地面）や床面や壁面などの実空間内の表面を基準面として定義する。例えば、地面は２次元の面としてモデル化される。画像読み込み部２０２、２０４、２０６は、地面に接する人物を複数の異なる視点に配置されたカメラ１〜Ｎで撮像することにより得られる画像を取得する取得部として機能する。

カメラキャリブレーション部２２０は複数のカメラで撮影した画像を入力として、カメラごとに実空間の地面（フィールドと称す場合がある）とカメラ画像との対応付けを取り、出力する。このキャリブレーション操作は、固定カメラを前提とした場合、ひとつのカメラについてのみ行えばよく、他のカメラについてはカメラ間の既知の位置関係を利用することで算出することができる。背景差分部２０８、２１０、２１２は背景差分法を用いて画像内の背景と前景とを分離し、２値化した画像を出力する。

ビルボード制御点決定部２２２、２２４、２２６は、背景差分部２０８、２１０、２１２において得られた人物ビルボードを基に、最終的な合成結果を得るために制御するビルボード内の画素を決定する。ビルボード姿勢推定部２２８は、カメラキャリブレーション部２２０で得られた実空間との対応付け情報を利用して人物の接地位置を推定し、実際に人物が３次元の実空間でどのような姿勢を取っているかを推定する。また、ビルボード姿勢推定部２２８はそれを表す多角形（ビルボード基準図形と称す）を算出する。ビルボード再構成部２３０、２３２、２３４は、背景差分部２０８、２１０、２１２で得られたビルボード、ビルボード制御点決定部２２２、２２４、２２６で得られた制御点、ビルボード姿勢推定部２２８で得られたビルボード基準図形、およびユーザ選択による仮想視点の情報を基に、その仮想視点に最適なビルボードを構成する。

［カメラキャリブレーション部２２０］
カメラキャリブレーション部２２０は、ある時刻に撮影された画像におけるフィールド像の特徴的な点（例えば、テニスコートやサッカーグラウンドの白線の交点など）と実際の実空間におけるフィールド上の対応する点との対応付けを行う。ここで、被写体が一般的なスポーツ映像に含まれる場合は、コート等のサイズが規格化されているため、画像平面上の点が実空間内のフィールド上（世界座標系）のどの座標に対応するかを計算することが可能である。

図３は、カメラ４０２の画像平面上の座標とフィールド座標との対応関係を示す説明図である。カメラ４０２の２次元画像平面上の座標を（ｕ、ｖ）、世界座標系のフィールド平面上の座標（フィールド座標）を（ｘ’、ｙ’）としたときに、両者の対応関係はホモグラフィ行列
とスカラー値ｓとを用いて次の通りに表すことができる。
…（式１）

式１に上記の対応点の組を入力することでｓおよびＨを求めることが可能となり、画像平面上の任意の画素の座標とフィールド座標との相互変換が可能となる。ここで、ｉ番目のカメラの画像平面上の座標とフィールド座標との対応関係を表すホモグラフィ行列を
とする。

なお、フィールドに対するカメラキャリブレーションの手法は上記のものに限られない。

次に、時刻ｔに撮像された画像
（ｍ_ｉ、ｎ_ｉはそれぞれｉ番目のカメラの画像の幅、高さ)に対して、カメラごとに独立に以下の処理を行う。

[背景差分部２０８、２１０、２１２]
背景差分部２０８、２１０、２１２は、Ｉ_ｉ ^ｔの各画素を背景と前景との２つに分類することで、Ｉ_ｉ ^ｔを背景と前景とに分離する。本実施の形態では、この分離は、例えば公知の背景差分法を使用して実現されてもよい。背景差分部２０８、２１０、２１２は、背景、前景とされた画素の値にそれぞれ０、１を割り当てる。この背景と前景との分離を行うことによって、人物を含むおおまかな領域が抽出可能である。背景差分部２０８、２１０、２１２は、前景として抽出された画素集合のうち連結する画素集合をマスクとして画像から抜き出すことでテクスチャを生成する。背景差分部２０８、２１０、２１２は、生成されたテクスチャをビルボードとして出力する。出力されるビルボードは、カメラで撮像された画像に含まれる人物の像に対応する。

図４（ａ）〜（ｃ）は、背景差分部２０８、２１０、２１２における処理の例を示す説明図である。図４（ａ）はｉ番目のカメラにより撮像された時刻ｔの画像Ｉ_ｉ ^ｔを示す。背景差分部２０８、２１０、２１２はこの画像をＩ_ｉ ^ｔを原画像として処理する。図４（ｂ）は図４（ａ）の原画像に対して背景差分法を適用した結果を示す。黒色の部分は背景と判定され、０が割り当てられている。白色の部分は前景と判定され、１が割り当てられている。図４（ｃ）は背景差分部２０８、２１０、２１２が図４（ａ）の原画像を処理して出力するビルボードを示す。

[ビルボード制御点決定部２２２、２２４、２２６]
ビルボード制御点決定部２２２、２２４、２２６は、各カメラのビルボードから、仮想視点に合わせたビルボード再構成のために利用するビルボード内部の画素（制御点）を設定または決定する。まずビルボード制御点決定部２２２、２２４、２２６は、ビルボードを抽象化した抽象化像を生成する。具体的には、ビルボード制御点決定部２２２、２２４、２２６は、ビルボードを構成するテクスチャの画素集合に対して公知の縮小処理を適用し、ビルボード内の人物の骨組みを、連結された画素集合（スケルトン）で表現する。

図５は、ビルボード制御点決定部２２２、２２４、２２６におけるスケルトンの抽出処理を示す説明図である。ビルボード５０２は「縮小」され、最終的に連結された線の集合すなわちスケルトン５０４となる。符号５０６は得られたスケルトン５０４を元のビルボード５０２に重ね合わせた状態を示す。

ビルボード制御点決定部２２２、２２４、２２６は、得られたスケルトンに含まれる画素集合のうち、所定の条件を満たす画素を制御点として特定する。所定の条件は、例えば連結数が２ではないことである。連結数は、得られたスケルトンに含まれる画素集合のある画素について、その画素の周囲の８画素のうち該画素集合に属する画素の数である。このように選択された画素はスケルトンの端部またはスケルトンの分岐部となる。すなわち、スケルトンの端部およびスケルトンの分岐部が制御点として利用される。

図６は、ビルボード制御点決定部２２２、２２４、２２６における制御点の特定処理を示す説明図である。制御点については、動画内でビルボードが動いた場合も人物の同様の箇所を指すほうが望ましい。そのため、ビルボード内の特徴点のうち制御点に最も近いものを利用することができる（制御点の座標の多少の誤差は結果に大きな影響を与えない）。また、制御点の初期値を手動で与えることも可能である。

[ビルボード姿勢推定部２２８]
ビルボード姿勢推定部２２８は、背景差分部２０８、２１０、２１２で得られた人物領域の２値マスク（例えば、図４（ｂ）に示される画像）から、フィールドと人物とが接するフィールド上の位置を算出する算出部として機能する。言い換えると、ビルボード姿勢推定部２２８は、２値マスクを利用して人物の姿勢を推定する。

まず、ビルボード姿勢推定部２２８は、以下の処理によって人物がフィールド上に実際に接地している箇所を抽出する。ｉ番目のカメラにより撮像された時刻ｔの画像Ｉ_ｉ ^ｔに対応する２値マスクをＪ_ｉ ^ｔと表記する。ｉ番目のカメラの画像平面上の座標とフィールド座標との対応関係は、カメラキャリブレーション部２２０により式１にしたがい算出されたホモグラフィ行列Ｈ_ｉを使用して、
…（式２）
と表される。
ビルボード姿勢推定部２２８は、全てのカメラの時刻ｔにおける２値マスクについて、式２を用いて、以下のとおりフィールド座標への射影および積算を行う。
…（式３）
ここで、Ｆ^ｔはフィールド座標のそれぞれにおける値を保持する行列であり、Ｆ^ｔ（ｘ”、ｙ”）はフィールド座標（ｘ”、ｙ”）における値である。

上記の射影操作では、カメラの画像平面上の画素のうち、実空間において人物がフィールド平面に接地している箇所に対応するものは、カメラによらず同じフィールド座標へ射影される。そのため、射影されたすべての値を積算することで、人物が接地している大まかな位置を算出できる。

図７（ａ）〜（ｆ）は、ビルボード姿勢推定部２２８における接地位置の推定処理を示す説明図である。図７（ａ）は１番目のカメラにより撮像された時刻ｔの画像Ｉ_１ ^ｔに対応する２値マスクＪ_１ ^ｔを示す。図７（ｂ）は２番目のカメラにより撮像された時刻ｔの画像Ｉ_２ ^ｔに対応する２値マスクＪ_２ ^ｔを示す。図７（ｃ）は３番目のカメラにより撮像された時刻ｔの画像Ｉ_３ ^ｔに対応する２値マスクＪ_３ ^ｔを示す。図７（ｄ）は３つの２値マスクＪ_１ ^ｔ、Ｊ_２ ^ｔ、Ｊ_３ ^ｔをフィールドに射影して積算した結果得られるマスクを示す。人物がフィールドに接している箇所７１０のＦ^ｔはより大きい値として算出される（図７（ｄ）では色が黒色に近いほどＦ^ｔの値が大きい）。

ビルボード姿勢推定部２２８は、このＦ^ｔに対して以下のしきい値処理を行うことで、人物がフィールドと接するフィールド上の位置の候補を推定する。
…（式４）

図７（ｅ）は式４によって得られたｆ^ｔを、あるカメラの画像平面へ射影したものを示す。黒色画素の集合７１２が人物の接地位置に相当する。図７（ｆ）は接地点および外接多角形を示す。上記操作によって、人物の接地位置であると判定された画像平面上の画素の集合７１２が得られる。ビルボード姿勢推定部２２８は、この画素の集合７１２について、連結している画素の集合の重心を実際に人物が接地している箇所（接地点）７０２、７０４、７０６、７０８として決定する。この接地点７０２、７０４、７０６、７０８について完全グラフを構成して得られる外接多角形αはその人物のおおまかな姿勢を示す。図８（ａ）は、図４（ａ）の原画像に対する姿勢の推定結果を示すイメージ図である。図８（ｂ）は、図１２の原画像に対する姿勢の推定結果を示すイメージ図である。図８（ｂ）において４つの接地点８０２、８０４、８０６、８０８が得られている。

図９は、ビルボード基準図形に関する変数を示す説明図である。ビルボード姿勢推定部２２８は、得られた外接多角形αを画像平面上のｙ方向に平行移動することで、おおよそ人物を包含する図形Θを生成する。この図形Θのうち、平行移動における外接多角形αの頂点の軌跡である線分を２つ含む（画像上では側面のように見える）平行四辺形を
とする。Ｍは自然数である。この平行四辺形θ_ｊに対して膨張処理を行った結果得られる平行四辺形をζ_ｊと表すとき、ビルボード姿勢推定部２２８は、ζ_ｊの和集合
が人物のビルボードに外接するようにζ_ｊを決定する。このように決定されたζ_ｊをビルボード基準図形と称す。ビルボード基準図形ζ_ｊはビルボード再構成部２３０、２３２、２３４にてビルボードを変形する際の基準となる。

[ビルボード再構成部２３０、２３２、２３４]
ビルボード再構成部２３０は、背景差分部２０８で得られたビルボードとビルボード制御点決定部２２２で得られた制御点とビルボード姿勢推定部２２８で得られたビルボード基準図形とユーザ選択による仮想視点の情報とを基に、その仮想視点に最適なビルボードを構成する。ビルボード再構成部２３０は、画像読み込み部２０２によって取得された画像から仮想視点に対応する合成画像を合成する際に、ビルボード姿勢推定部２２８によって算出された接地位置に基づいて、ビルボードを変形する変形部として機能する。ビルボード再構成部２３２、２３４についても同様である。なお、本明細書では仮想視点を実際の視点から垂直方向に動かす場合について説明し、仮想視点の水平方向の移動については従来の手法と同様にビルボードの回転によって対応する。

図１０は、ビルボード再構成部２３０、２３２、２３４におけるビルボードの再構成処理を示す説明図である。符号１５４で示される画像は、あるカメラにより撮像された時刻ｔの画像である。符号１５６で示される画像は、仮想視点から撮像された時刻ｔの画像として合成された合成画像である。

ビルボード姿勢推定部２２８で得られた個々のビルボード基準図形ζ_ｊに内包される制御点の画像平面上の座標を
とする。

ζ_ｊはその定義から明らかに接地点を２つもつ。ビルボード姿勢推定部２２８において接地点が対応するフィールド座標は算出されており、当然ながら仮想視点の移動によって当該フィールド座標は変わらない。この性質を利用し、ビルボード再構成部２３０は、垂直に移動した仮想視点とフィールドとの位置関係に基づいて、仮想視点の画像平面上に当該フィールド座標を射影する。これによりビルボード再構成部２３０は、当該フィールド座標に対応する接地点が仮想視点の画像上のどの位置に表示されるべきか（例えば、符号１５２の点の位置）を算出する。つまり、ビルボード再構成部２３０は、カメラから撮影した画像から得られたビルボード基準図形ζ_ｊが、仮想視点においてどのように見えるべきかについての情報を算出する。

新たに現在の仮想視点で得られる変形後のビルボード基準図形をη_ｊとする。ビルボード再構成部２３０は、写像
によって仮想視点の画面上に射影される
（仮想視点の画像平面上の座標を指す）を用いてビルボードの変形を行う。ここで、制御点の座標以外には写像Ｘ_ｊは適用されないことに注意されたい。ビルボード基準図形の境界における不自然さを抑制するためである。

ビルボード再構成部２３０は、最終的には、接地点を含むビルボード上の制御点を動かすことでビルボードの変形を行う。この変形では、２次元画像をトライアングルメッシュとして扱い、制御点の移動に応じて変形させつつ、元の構造を崩さないようにする。この操作によって変形されたビルボードを仮想視点の画像に合成するビルボードとして採用する。なお、動かされた後の制御点のうちのいくつかの位置は、仮想視点の画像上の接地位置（例えば、符号１５２の点の位置）を含む。

合成映像出力部２３６は、ビルボード再構成部２３０、２３２、２３４によるビルボードの変形の結果得られる変形後のビルボードを、仮想視点の合成画像に合成する合成部として機能する。合成映像出力部２３６は、変形後のビルボードが合成された合成画像を、仮想視点からの画像として生成し、ネットワーク１１２を介して携帯端末１１４に送信する。

以上の構成による画像処理装置２００の動作を説明する。
図１１は、画像処理装置２００における一連の処理の流れを示すフローチャートである。画像処理装置２００は、地面と接する人物の周りに設定された複数の視点のそれぞれに配置されたカメラなどの撮像装置から、人物の像を含む画像を取得する（Ｓ１２）。画像処理装置２００は、取得された画像のそれぞれから人物領域の２値マスクを抽出する（Ｓ１４）。画像処理装置２００は、抽出された２値マスクのそれぞれを実空間内のフィールドに射影する（Ｓ１６）。画像処理装置２００は、射影された像同士の重なりがより大きい部分の位置を接地位置として推定する（Ｓ１８）。画像処理装置２００は、カメラから取得した画像からビルボードを切り出し、そのビルボードに制御点を設定する（Ｓ２０）。画像処理装置２００は、推定された接地位置に基づいて、制御点の動かし方を決定する（Ｓ２２）。画像処理装置２００は、決定された動かし方で制御点を動かすことでビルボードを変形する（Ｓ２４）。画像処理装置２００は、変形後のビルボードを画像に合成し、仮想視点からの画像として出力する（Ｓ２６）。

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

本実施の形態に係る画像処理装置２００によると、従来のビルボード方式で仮想視点を垂直方向に移動させた際に問題となる、不自然な表示を解消することができる。また、本実施の形態ではビルボードを変形するために人物の姿勢を推定しているが、実際の正確な３次元モデル（厚みのあるモデル）を必要としないため、そのような３次元モデル構築を行う手法に比べて計算コストが低い。

以上、実施の形態に係る画像処理装置２００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、制御点を使用してビルボードを変形する場合について説明したが、これに限られず、例えばビルボード基準図形ζ_ｊに含まれる画素全てに写像Ｘ_ｊを適用してもよい。

１１０ 自由視点画像配信システム、 １１２ ネットワーク、 １１４ 携帯端末、 ２００ 画像処理装置。

Claims (10)

1. 実空間内に定義された基準面に接する被写体を複数の視点から撮像することにより得られる画像を取得する取得部と、
   前記取得部によって取得された画像から、前記基準面と前記被写体とが接する前記基準面上の位置を算出する算出部と、
   前記取得部によって取得された画像から前記複数の視点に含まれない視点に対応する合成画像を合成する際に、前記算出部によって算出された位置に基づいて、前記取得部によって取得された画像に含まれる前記被写体の像を変形する変形部と、を備えることを特徴とする画像処理装置。
2. 前記変形部による変形の結果得られる像を前記合成画像に合成する合成部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記変形部は、前記複数の視点に含まれない視点と前記基準面との位置関係に基づいて、前記算出部によって算出された位置に対応する前記合成画像上の対応位置を算出し、算出された対応位置に基づいて前記被写体の像を変形することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記被写体の像に少なくともひとつの制御点を設定する設定部をさらに備え、
   前記変形部は、前記設定部によって設定された少なくともひとつの制御点を動かすことで前記被写体の像を変形し、
   動かされた後の少なくともひとつの制御点の位置は算出された対応位置を含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記基準面は前記実空間内の表面であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記被写体の像を抽象化した抽象化像を生成する抽象化部をさらに備え、
   前記設定部は、前記抽象化部により生成された抽象化像に対して制御点を設定することを特徴とする請求項４に記載の画像処理装置。
7. 前記設定部は、前記抽象化部により生成された抽象化像の分岐部または端部もしくはその両方を制御点として設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記算出部は、前記複数の視点のそれぞれから前記被写体を撮像することにより得られる画像と前記基準面との対応関係に基づいて、前記基準面と前記被写体とが接する前記基準面上の位置を算出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 実空間内に定義された基準面に接する被写体を複数の視点から撮像することにより得られる画像を取得することと、
   前記取得された画像から、前記基準面と前記被写体とが接する前記基準面上の位置を算出することと、
   前記取得された画像から前記複数の視点に含まれない視点に対応する合成画像を合成する際に、前記算出された位置に基づいて、前記取得された画像に含まれる前記被写体の像を変形することと、を含むことを特徴とする画像処理方法。
10. 実空間内に定義された基準面に接する被写体を複数の視点から撮像することにより得られる画像を取得する機能と、
    前記取得された画像から、前記基準面と前記被写体とが接する前記基準面上の位置を算出する機能と、
    前記取得された画像から前記複数の視点に含まれない視点に対応する合成画像を合成する際に、前記算出された位置に基づいて、前記取得された画像に含まれる前記被写体の像を変形する機能と、をコンピュータに実現させるためのコンピュータプログラム。