JP2023169697A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】仮想視点の位置を切り替えた後の仮想視点の操作をスムーズに開始する。【解決手段】仮想視点画像を生成するための仮想視点に関する指示を受け付ける。受け付けた指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、第１の仮想視点と当該第１の仮想視点に対応する仮想視点画像に含まれる第１のオブジェクトとの位置関係を示す切替情報を生成する。生成した切替情報に基づいて、前記第２の仮想視点と当該第２の仮想視点に対応する仮想視点画像に含まれる第２のオブジェクトとの位置関係が前記第１の仮想視点と前記第１のオブジェクトとの位置関係と同等となるように変更する。変更された前記位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成する。【選択図】図９

Description

本開示は、仮想視点画像を生成するための技術に関する。

複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、ユーザの操作で指定された仮想的な視点からの見えを表す画像（仮想視点画像）を生成する技術がある。ユーザは、例えば、所望の被写体（注目オブジェクト）を捉える仮想視点に対応した仮想視点画像を参照しながら、当該仮想視点を切り替えたり、当該仮想視点からの視線方向を変えたりする操作を行っている。特許文献１では、ユーザの操作で仮想視点が切り替えられた後の仮想視点の動き方を、当該切り替え前に受け付けたユーザの操作に応じた仮想視点の動き方に基づき、決定する技術を開示している。

特開２０１８－９２４９１号公報

しかしながら、特許文献１では、同一撮像空間にいる第２の注目オブジェクトを撮像するために仮想視点を切り替えると、切り替え後の仮想視点と第２の注目オブジェクトの動きが相違する場合があった。このような動きの相違があると、仮想視点を切り替えた後に第２の注目オブジェクトを見失い、切り替え後の仮想視点の操作に影響を及ぼす可能性があった。例えば、切替前の仮想視点が特定の方向に直進運動していると、切り替え後の仮想視点も切替前の仮想視点と同様、前記特定の方向に直進運動することになる。このとき、第２の注目オブジェクトが前記特定の方向と逆方向に直進運動していると、切り替え後の仮想視点と第２の注目オブジェクトは互いに反対方向に直進運動することになる。そのため、第２の注目オブジェクトが切り替え後の仮想視点からの撮像範囲外へすぐに移動して、切替後の仮想視点に対応する仮想視点画像で第２の注目オブジェクトを見失ってしまう場合があった。また、仮想視点を切り替える前の仮想視点画像では第１の注目オブジェクトが中心に映っているが、切替後の仮想視点画像では第２の注目オブジェクトが右端などに映っていることがあった。このように仮想視点画像にて第１及び第２の注目オブジェクトが映る位置等が異なると、仮想視点を切替後直ちに、ユーザが切替後の仮想視点からの視線方向等を適切に把握できず方向感覚を見失い、切替後の仮想視点の操作を円滑に開始できない可能性があった。また、切替前後の仮想視点で捉える注目オブジェクトが同じであるときにも、切替前後の仮想視点で捉えるオブジェクトが異なる場合と同様な課題を生じ得た。

本開示の一態様に係る画像処理装置は、仮想視点画像を生成するための仮想視点に関する指示を受け付ける受付手段と、前記受付手段で受け付けた指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、前記第１の仮想視点と当該第１の仮想視点に対応する仮想視点画像に含まれる第１のオブジェクトとの位置関係を示す切替情報を生成する生成手段と、前記切替情報に基づいて、前記第２の仮想視点と当該第２の仮想視点に対応する仮想視点画像に含まれる第２のオブジェクトとの位置関係が前記第１の仮想視点と前記第１のオブジェクトとの位置関係と同等となるように変更する変更手段と、変更された前記位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成する画像生成手段と、を有することを特徴とする。

本開示によれば、仮想視点を切り替えた後の仮想視点の操作をスムーズに開始することができる。

画像処理システムの概略構成例を示す図である。 画像処理システムの詳細構成例を示す図である。 ユーザ端末の表示装置の表示例を示す図である。 仮想視点操作情報の構成例を示す図である。 各装置のハードウェア構成例を示す図である。 情報処理装置の機能構成例を示す図である。 オブジェクト情報の構成例を示す図である。 情報処理装置が実行する処理の流れを示すフローチャートである。 仮想視点の切り替えを説明するための図である。 切替前情報の生成処理の詳細な流れを示すフローチャートである。 第１の主オブジェクトの進行方向と仮想視点方向との為す角度の算出方法を説明するための図である。 パン方向の角度の補正方法を説明するための図である。 切り替え後の仮想視点の位置および視線方向を変更する処理の詳細な流れを示すフローチャートである。 切り替え後の仮想視点の位置を変更する方法を説明するための図である。 切り替え後の仮想視点の位置および視線方向の補正方法を説明するための図である。 主オブジェクトの身長と切り替え後の仮想視点に対応した仮想視点画像との関係を示す図である。 仮想視点の移動制御処理の詳細な流れを示すフローチャートである。 仮想視点の遷移を説明するための図である。 切り替え前後の仮想視点に対応した仮想視点画像例を示す図である。

まず、本開示の実施形態を説明する前に、仮想視点画像の概要について説明する。仮想視点画像を用いたサービスによれば、例えば、サッカーまたはバスケットボールなどの試合における特定シーン（例えばゴールシーンなど）を様々な角度から視聴できるため、通常の撮像画像と比較して視聴者に高臨場感を与えることができる。仮想視点画像を生成する際には、サーバなどの情報処理装置（画像処理装置）は、撮像対象である空間内の特定の位置を複数の撮像装置で撮像することにより得られた複数の撮像画像のデータ（以下、複数視点画像データという。）を集約する。そして、情報処理装置は、複数視点画像データを用いて、三次元形状データの生成およびレンダリング処理などを行って仮想視点画像を生成して、生成した仮想視点画像のデータ（以下「仮想視点画像データ」という。）をユーザ端末に伝送する。これにより、ユーザは、仮想視点画像データを基にユーザ端末の表示装置に表示された仮想視点画像を閲覧することができる。

また、ユーザは、仮想視点の位置と、パン、チルト、またはロールなどの仮想視点からの視線の方向とを操作でき、閲覧を所望する第１の注目オブジェクトを好みの視点で閲覧することができる。例えば、あるサッカー選手がドリブルシュートを決めるシーンの場合、この選手の後方を仮想視点で追従し、シュートを放つタイミングでこの選手前方へ仮想視点を旋回させるなどの操作を行うことができる。なお、以下、上述した一例のような、ユーザが操作することにより指定された時系列の仮想視点の位置および仮想視点からの視線の方向を示すデータを仮想視点操作情報と定義して説明する。

以下、添付図面を参照して本開示の技術の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

＜実施形態１＞
［システム構成］
図１は、本実施形態に係る画像処理システム１００の概略構成例を示す図である。画像処理システム１００は、サッカー場などのスタジアム１０１に設置された複数の撮像装置１０４を有する。スタジアム１０１は、実際に競技等が行われるフィールド１０３と、フィールド１０３を取り囲む観客席１０２とを含む。複数の撮像装置１０４は、観客席１０２とフィールド１０３とを囲むように配置される。

本実施形態では、世界座標系（Ｘ軸、Ｙ軸、Ｚ軸）を次に示すように定義して説明する。すなわち、フィールド１０３の中心を原点とし、フィールドの長辺方向をＸ軸とし、フィールドの短辺方向をＹ軸とし、Ｘ軸およびＹ軸に対して直交方向をＺ軸とする。また、世界座標系のＸ軸、Ｙ軸、Ｚ軸をそれぞれ、Ｘｗ、Ｙｗ、Ｚｗと表示する。図１に示すＸｗ、Ｙｗ、Ｚｗそれぞれの軸の矢印の向きがプラス方向を表すものとする。

また、本実施形態では、仮想カメラ１１０から見た方向を決めるために、仮想カメラ座標系を次に示すように定義して説明する。すなわち、仮想カメラ１１０の光学中心を原点とし、光軸方向をＺ軸とし、仮想カメラ１１０の横方向（左右方向）をＸ軸とし、仮想カメラ１１０の縦方向（上下方向）をＹ軸とする。また、仮想カメラ座標系のＸ軸、Ｙ軸、Ｚ軸をそれぞれ、Ｘｃ、Ｙｃ、Ｚｃと表示する。図１に示すＸｃ、Ｙｃ、Ｚｃそれぞれの軸の矢印の向きがプラス方向を表すものとする。

なお、上述の世界座標系および仮想カメラ座標系の定義は一例であり、他の手法により定義されてもよい。

仮想カメラ１１０の方向は、仮想カメラの姿勢に対する上下方向を軸とした回転（パン）、仮想カメラの姿勢に対する左右方向を軸とした回転（チルト）、仮想カメラの姿勢に対する前後方向を軸とした回転（ロール）で表される。すなわち、パンＰは、仮想カメラ１１０の光軸を左右方向に回転させることを表すパラメータであり、パン軸周りの仮想カメラ１１０の回転である。チルトＴは、仮想カメラ１１０の光軸を上下に回転させることを表すパラメータであり、チルト軸周りの仮想カメラ１１０の回転である。ロールＲは、仮想カメラ１１０の光軸を中心にした回転を示すパラメータであり、ロール軸周りの仮想カメラの回転である。

図２は、画像処理システムの詳細構成例を示す図である。画像処理システム１００は、スタジアム１０１に設置された複数の撮像装置１０４と、情報処理装置２０１と、ユーザ端末２０２とを有する。

複数の撮像装置１０４は、それぞれが撮像対象領域であるフィールド１０３の少なくとも一部またはすべての範囲を撮像するように、かつ、少なくとも２つの撮像装置の画角に重なりが生じるように配置され、例えば伝送ケーブルを介して相互に接続される。また、撮像装置１０４は、予め設定された１又は複数の実撮像装置の注視点に向けて設置される。つまり、１又は複数の実撮像装置の注視点のそれぞれは２以上の撮像装置１０４により異なる方向から撮像される。複数の撮像装置１０４は、情報処理装置２０１にも接続され、フィールド１０３を撮像することにより取得した画像を情報処理装置２０１へ伝送する。

なお、複数の撮像装置１０４は、静止画像を撮像する撮像装置であってもよいし、動画像を撮像する撮像装置であってもよいし、静止画像および動画像を撮像する撮像装置であってもよい。また、本実施形態において、特に断りがない限り、画像という用語「画像」は、静止画と動画との両方を含むものとする。

情報処理装置２０１は、仮想視点画像を生成する装置である。本実施形態における仮想視点画像とは、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像である。ただしこれに限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。また、仮想視点の指定は、ユーザ操作により行われてもよいし、装置によって自動で行われてもよい。本実施形態においては、後述する情報処理装置が仮想視点を変更する例について説明する。

ユーザ端末２０２は、例えば、ユーザ端末２０２を操作する視聴者など、画像処理システム１００を利用するユーザが所持する情報処理装置である。ユーザ端末２０２は、例えば、パーソナルコンピュータや、スマートフォンやタブレットなどの携帯端末などである。ユーザ端末２０２は、マウス、キーボード、ジョイスティック、及び、タッチパネルの少なくとも１つ等のユーザ操作を受け付けるためのインターフェースを有する。また、ユーザ端末２０２は、情報処理装置２０１から仮想視点画像を受信し、内蔵の（場合によっては外部の）表示装置に表示する。

図３は、ユーザ端末２０２の表示装置の表示例を示す図である。ユーザ端末２０２は、スマートフォンやタブレットなどの携帯端末である。ユーザ端末２０２は、表示装置３０１を有し、情報処理装置２０１から受信した仮想視点画像を表示する。表示装置３０１は、切り替え画面３０２と操作画面３０３との２画面を表示する。

切り替え画面３０２は、フィールド１０３を真上から俯瞰した仮想視点画像（以下、俯瞰画像と称する場合がある。）を表示する。俯瞰画像は、対象となる選手および審判員およびサッカーボールの全てが映った画像であってもよいし、審判員およびサッカーボールおよび主要な選手が映った画像であってもよい。ユーザは、切り替え画面３０２にて俯瞰画像を見ることで、フィールド内において、選手３１０ａ～選手３１０ｊ、ボール３１１および仮想視点３１２それぞれの位置を把握することができる。また、各選手の周辺には、各選手に対応した選手名が表示され、選手の動きに合わせて選手に対応して表示される選手名の位置も動く。仮想視点３１２は、撮像装置のアイコンで表示されている。ユーザは、切り替え画面３０２に表示される俯瞰画像上の選手を指などで指示（タップ）し選択することで、選択した選手を切り替え後の主被写体である第２のオブジェクトとして撮像する位置へ仮想視点３１２を瞬時に移動（切り替え）できる。すなわち、主被写体である第１のオブジェクトを捉える、切り替え前の仮想視点３１２から、主被写体である第２のオブジェクトを捉える、切り替え後の仮想視点に切り替えることができる。

操作画面３０３は、切り替え画面３０２に表示される俯瞰画像における仮想視点３１２の位置および当該仮想視点３１２からの視線方向に基づき生成され、仮想視点３１２の視野範囲を示す仮想視点画像（以後、操作画像と呼ぶ場合がある。）３０３である。ユーザは、操作画面３０３に表示される操作画像に対してタッチ操作することで仮想視点３１２の位置や仮想視点３１２からの視線方向を制御できる。

ユーザは、このユーザ端末２０２を使用することで、例えば、選手３１０ｉを狙って仮想視点３１２で撮像している最中に、仮想視点３１２を選手３１０ｂへ瞬時に移動させ、移動後、選手３１０ｂを狙って仮想視点で撮像する、といった操作をできる。すなわち、ユーザは、切り替え画面３０２と操作画面３０３を表示するユーザ端末２０２を使用することで、選手３１０ｉを捉える切り替え前の仮想視点３１２を、選手３１０ｂを捉える切り替え後の仮想視点に切り替える操作を行うことができる。

なお、ユーザ端末２０２の表示装置が２画面である場合について説明したが、これに限定されない。例えば、デュアルディスプレイであってもよい。その場合、一方のディスプレイに切り替え画面を表示し、他方のディスプレイに操作画面を表示する態様で使用してもよい。また、切り替え画面３０２にフィールドを真上から俯瞰した俯瞰画像を表示し、俯瞰画像にて所望する選手を選択する態様について説明したが、これに限定されない。例えば、切り替え後の仮想視点に対応可能な選手の選手名の一覧を示すリスト表を表示し、リスト表の中から所望する選手を選択する態様であってもよい。

ユーザ端末２０２は、操作画面３０３に対するユーザ操作（ユーザ入力）に基づいて、仮想視点の位置および仮想視点からの視線方向に関わる操作指示を受け付ける。ユーザ端末２０２は、仮想視点の位置および仮想視点からの視線方向に変化が生じる度に、操作指示の内容を示す仮想視点操作情報を情報処理装置２０１へ伝送する。

＜仮想視点操作情報＞
仮想視点操作情報の詳細について、図を用いて説明する。図４は、仮想視点操作情報の構成例を示す図である。仮想視点操作情報４００は、時刻情報４０１と、位置情報４０２と、視線情報４０３とを含む。なお、以後、位置情報４０２と視線情報４０３とを纏めて、位置視線情報と呼ぶ場合がある。時刻情報４０１は、撮像装置で撮像したときの撮像時刻と同じ時刻を示す情報である。時刻情報４０１は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で表される、ある時点における時刻を示す情報である。位置情報４０２は、時刻情報４０１が示す時刻における仮想視点の位置を示す情報である。位置情報は、互いに軸の方向が異なる３つの座標軸（例えば、Ｘ軸、Ｙ軸、およびＺ軸）が原点で直交するように交わる座標系における３次元直交座標によって表現される、仮想視点の位置を示す情報である。原点には、例えば、フィールド１０３のセンターサークルの中心位置などの、複数の撮像装置の撮像対象の空間内における任意の位置が指定される。視線情報４０３は、時刻情報４０１が示す時刻における、仮想視点からの視線方向を示す情報である。視線情報４０３は、パン（水平方向）、チルト（垂直方向）、およびロール（撮像装置の光学系が光軸に直交する平面で回転する方向）の３軸に対する角度により表現される、仮想視点からの視線方向などを示す情報である。

また、ユーザ端末２０２は、切り替え画面３０２を介して仮想視点（仮想カメラ）の切替指示を受け付けた場合、切替要求（切替指示）とともに、次に示す情報を情報処理装置２０１へ伝送する。すなわち、ユーザ端末２０２は、切り替え後の仮想視点（仮想カメラ）が捉える第２の注目オブジェクトに関する情報である被写体識別情報（オブジェクト識別情報）を情報処理装置２０１へ伝送する。オブジェクト識別情報は、被写体（オブジェクト）の名称と被写体識別ＩＤ（オブジェクト識別ＩＤ）で構成される。オブジェクト識別ＩＤは、アルファベットや数字で構成され、それぞれのオブジェクトを区別できるように割り振られた識別記号である。

また、情報処理装置２０１は、複数の撮像装置１０４により撮像された画像（以下、この撮像された画像を「撮像画像」と呼ぶ場合がある。）を蓄積する。情報処理装置２０１は、複数の撮像装置１０４による撮像で得られた画像を用いて仮想視点画像を生成する。

情報処理装置２０１は、フィールド１０３を真上から俯瞰した俯瞰画像を生成する。情報処理装置２０１は、仮想視点の位置を示す撮像装置のアイコンを俯瞰画像に重畳して表示する。情報処理装置２０１は、ユーザ端末２０２から受信した仮想視点操作情報に基づいて撮像装置のアイコンを移動する。また、情報処理装置２０１は、俯瞰画像上の選手の周辺に当該選手に対応した選手名を重畳して表示する。情報処理装置２０１は、選手の動きに追従するように当該選手に対応した選手名の移動を制御する。

情報処理装置２０１は、ユーザ端末２０２から受信した仮想視点操作情報に基づいて、ユーザが操作する仮想視点の視野範囲を示す仮想視点画像（操作画像）を生成する。操作画像は、俯瞰画像上の撮像装置のアイコンが位置する仮想視点の視野範囲に対応した画像である。情報処理装置２０１は、ユーザ端末２０２から切替要求（切替指示）を受信した場合、切替要求に付随するオブジェクト識別情報を取得する。なお、ユーザ操作で所望の選手ではなくフィールドの特定の場所を指定された場合、指定された特定の場所を基に所定の条件を満たす選手に対応したオブジェクト識別情報が切替要求に付随することになる。この場合のオブジェクト識別情報は、例えば、指定された特定の場所に最も近い選手（オブジェクト）に対応した情報としてもよい。また、指定された特定の場所に最も近い選手（オブジェクト）が複数人であるときには、予め決められた優先順位の高い選手（オブジェクト）に対応したオブジェクト識別情報としてもよい。情報処理装置２０１は、オブジェクト識別情報が示す被写体（オブジェクト）の位置情報を取得し、位置情報が示す位置へ移動した仮想視点の操作画面に切り替える。このとき、情報処理装置２０１は、切り替え前の選手（第１のオブジェクト）を捉える仮想視点の見え方と、切り替え後の別の選手（第２のオブジェクト）を捉える仮想視点の見え方が同じになるように、切り替え後の仮想視点の位置及び視線方向を自動設定する。すなわち、切り替え後の仮想視点による仮想視点画像が、切り替え前の仮想視点による仮想視点画像の構図と同様な構図である画像となるように、切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向を自動設定する。また、情報処理装置２０１は、自動設定した仮想視点の位置および自動設定した仮想視点からの視線方向に対応した仮想視点画像（操作画像）を生成する。

情報処理装置２０１は、生成した俯瞰画像と操作画像をユーザ端末２０２へ伝送する。

情報処理装置２０１は、例えばサーバ装置であり、複数の撮像画像や、生成した仮想視点画像を記憶するデータベース機能と、仮想視点画像を生成するための画像処理機能とを有する。また、スタジアム１０１内の複数の撮像装置１０４と情報処理装置２０１とは、有線または無線の通信ネットワーク回線、またはＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のケーブル回線によって接続される。情報処理装置２０１は、前述の回線を通じて、複数の撮像装置１０４で撮像して得た画像を受信し、受信した画像をデータベースに格納する。

情報処理装置２０１及びユーザ端末２０２は、例えば、インターネットなどのネットワークを介して相互に情報の送受信が可能となるように構成される。なお、装置間の通信は、無線通信と有線通信とのいずれか又はこれらを組み合わせて行われてもよい。

＜装置のハードウェア構成＞
続いて、上述の各装置のハードウェア構成例について、図を用いて説明する。図５は、情報処理装置２０１およびユーザ端末２０２のハードウェア構成例を示す図である。各装置は、共通のハードウェア構成を有し、コントローラユニット５００、操作ユニット５０９、および表示装置５１０を有する。

コントローラユニット５００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤＤ５０４、操作部Ｉ／Ｆ（インターフェース）５０５、表示部Ｉ／Ｆ５０６、および通信Ｉ／Ｆ５０７を有する。なお、これらは、システムバス５０８を介して、相互に接続される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、システムバス５０８を介して、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤＤ５０４、操作部Ｉ／Ｆ５０５、表示部Ｉ／Ｆ５０６および通信Ｉ／Ｆ５０７の動作を制御する。ＣＰＵ５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ５０１は、その起動したＯＳ上で、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ５０１がアプリケーションプログラムを実行することによって、各装置の各種処理が実現される。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３は、ＣＰＵ５０１の主メモリ、ワークエリアなどの一時記憶領域として用いられる。ＨＤＤ５０４は、上述のようにアプリケーションプログラムなどを格納する。また、ＣＰＵ５０１は、１つプロセッサで構成されても、複数のプロセッサで構成されてもよい。

操作部Ｉ／Ｆ５０５は、操作ユニット５０９とのインターフェースである。操作部Ｉ／Ｆ５０５は、操作ユニット５０９においてユーザにより入力された情報をＣＰＵ５０１に送出する。操作ユニット５０９は、例えば、マウス、キーボード、タッチパネル等の、ユーザ操作を受付可能な機器を有する。表示部Ｉ／Ｆ５０６は、表示装置５１０とのインターフェースである。表示部Ｉ／Ｆ５０６は、例えば、表示装置５１０に表示する画像データを表示装置５１０に出力する。表示装置５１０は、液晶ディスプレイなどのディスプレイを有する。

通信Ｉ／Ｆ５０７は、例えば、イーサネット（登録商標）などの通信を行うためのインターフェースである。通信Ｉ／Ｆ５０７は、伝送ケーブルに接続され、その伝送ケーブルを受け付けるためのコネクタなどを含む。通信Ｉ／Ｆ５０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ５０７は、例えば、ベースバンド回路またはＲＦ回路などの無線通信を行う回路またはアンテナであってもよい。また、コントローラユニット５００は、ケーブルまたはネットワークを介して接続された外部の表示装置５１０に画像を表示させる制御を行うことも可能である。この場合、コントローラユニット５００は、表示データを外部の表示装置５１０に出力することで表示制御を実現する。なお、図５の構成は一例であり、その一部が省略され又は図示されていない構成が追加され、さらに、図示された構成が組み合わされてもよい。例えば、情報処理装置２０１は、表示装置５１０を有しなくてもよい。

以上、図５を用いて情報処理装置２０１、ユーザ端末２０２のハードウェア構成について説明したが、図５に示される構成は、いずれも必須の構成ではない。また、上述の説明では、コントローラユニット５００がＣＰＵ５０１を有するものとして説明したが、必ずしもこれに限定されない。例えば、コントローラユニット５００は、ＣＰＵ５０１の代わりに、または、ＣＰＵ５０１に加えて、次に示すハードウェアを有していてもよい。すなわち、コントローラユニット５００は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ、またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）などのハードウェアを有していてもよい。ＡＳＩＣ、ＤＳＰ（デジタルシグナルプロセッサ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアが、ＣＰＵ５０１が行う処理の一部または全てを行ってもよい。

＜情報処理装置の機能構成＞
図６は、情報処理装置２０１の機能構成例を示す図である。なお、図６に示す各機能は、例えば、情報処理装置２０１のＣＰＵ５０１がＲＯＭ５０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。図６に示す各機能部は、他の機能部が実行する処理の一部または全部を担ってもよい。また、図６に示す構成の一部またはすべてを例えば、ＡＳＩＣやＦＰＧＡなどの専用のハードウェアにより実現してもよい。

情報処理装置２０１は、図６に示すように、制御部６０１、情報記憶部６０２、撮像画像入力部６０３、画像記憶部６０４、被写体情報取得部６０５、切替前情報生成部６０６、位置視線変更部６０７、移動制御部６０８、画像生成部６０９を有する。情報処理装置２０１は、さらに、ユーザ指示入力部６１０、画像出力部６１１を有する。また、これらの機能部は、内部バス６１２によって相互に接続され、制御部６０１による制御の下で、相互にデータを送受信することができる。

制御部６０１は、情報記憶部６０２に格納されているコンピュータプログラムに従って、情報処理装置２０１全体の動作を制御する。情報記憶部６０２は、ハードディスクなどの不揮発性の記憶装置を有する。情報記憶部６０２は、情報処理装置２０１全体の動作を制御するコンピュータプログラム等を格納する。

撮像画像入力部６０３は、スタジアム１０１に設置された複数の撮像装置１０４が撮像して得た撮像画像を所定のフレームレートで取得し、画像記憶部６０４に出力する。例えば、撮像装置１、撮像装置２、・・・、撮像装置ｎそれぞれが撮像して得た撮像画像１、撮像画像２、・・・、撮像画像ｎを所定のフレームレートで取得し、画像記憶部６０４に出力する。所定のフレームレートは、例えば、６０フレーム／秒のフレームレートであるとするが、これに限定されない。なお、撮像画像入力部６０３は、有線もしくは無線の通信モジュール、またはＳＤＩなどの画像伝送モジュールにより、撮像装置１０４から撮像画像を取得する。

画像記憶部６０４は、例えば、磁気ディスク、光ディスク、半導体メモリなどの大容量の記憶装置である。画像記憶部６０４は、撮像画像入力部６０３が取得した撮像画像と、それらの撮像画像に基づいて生成された仮想視点画像群とを記憶する。なお、画像記憶部６０４は、情報処理装置２０１に対して物理的に外部に設けてもよい。また、画像記憶部６０４に記憶される撮像画像、およびそれらの撮像画像に基づいて生成された仮想視点画像群は、画像フォーマットとして例えば、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などで記憶される。加えて、画像記憶部６０４に記憶されている撮像画像、およびそれらの撮像画像に基づいて生成された仮想視点画像群は、例えば、ＭＰＥＧ２形式などで圧縮される。ただし、データの形式は、必ずしもこれらに限定されない。任意の画像フォーマットおよびデータ圧縮方式が用いられてもよい。また、圧縮符号化しなくてもよい。

被写体情報取得部６０５は、被写体情報を図示しない外部装置から取得する。外部装置は、例えば、選手やボールに取り付けられたＧＰＳ情報を収集するトラッキングシステムを用いてもよい。図７は、オブジェクト情報（被写体情報）の構成例を示す。オブジェクト情報７００は、例えば、時刻情報７０１と、位置情報７０２とで構成される。時刻情報７０１は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で構成される。位置情報７０２は、時刻情報７０１で示される時刻に対応した情報であって、３次元直交座標を用いて、被写体（例えば、ボール、選手、審判）の位置を示す情報である。オブジェクト名（被写体名）は、任意の名称と被写体識別ＩＤで構成される。被写体識別ＩＤは、アルファベットや数字で構成され、それぞれのオブジェクト（被写体）を区別できるように割り振られた識別記号である。オブジェクト情報は、外部データベースから周期的に、例えば毎秒送られてくるが、これに限定されない。オブジェクト情報は、例えば、外部データベースから一定間隔で送られてきてもよいし、被写体情報取得部６０５を介して画像記憶部６０４に一時的に記憶されてもよい。また、上記説明のトラッキングシステムは、ＧＰＳ情報を用いてオブジェクトの位置を特定しているが、これに限定されない。例えば、ビジュアルハルなどの技術を用いて、オブジェクトの位置を特定してもよい。オブジェクト情報は、上記構成の他に、オブジェクトごとの身体情報を含んでもよい。身体情報は、オブジェクトの身長を計測して得た身長の大きさを示す情報を含んでもよいし、これに加えて、体重および胸囲などを計測して得た体重を示す情報および胸囲を示す情報をさらに含んでもよい。

切替前情報生成部６０６は、ユーザ端末２０２から切替要求（切替指示）を受け付けた際に、移動前の仮想視点の位置及び視線方向と、当該仮想視点が捉える被写体（以後、移動前主被写体と呼ぶ場合がある）の位置に基づき切替前情報（切替情報）を生成する。切替前情報生成部６０６は、ユーザ指示入力部６１０で受け付けたユーザ指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、前記第１の仮想視点と第１のオブジェクトとの位置関係を示す切替情報を生成する。

切替前情報は、角度、距離、高さ、視線方向で構成される。角度は、移動前主被写体の進行方向と、移動前主被写体から見て仮想視点が位置する方向との為す角度である。距離は、移動前主被写体と仮想視点との距離である。高さは、地面からの仮想視点の高さである。視線方向は、仮想視点からの視線方向（パン、チルト、ロール）である。

＜仮想視点の切り替え処理＞
情報処理装置２０１が実行する仮想視点の切り替え処理について、図を用いて説明する。図９は、情報処理装置が実行する仮想視点の切り替え処理の流れを示すフローチャートである。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。

Ｓ８０１では、情報処理装置２０１（ユーザ指示入力部６１０）は、ユーザ操作による仮想視点の位置を切り替える切替要求（切り替え指示）を受け付ける。切り替え指示は、切替前情報生成部６０６に送られる。

＜仮想視点の位置の切り替え＞
図９は、仮想視点の位置の切り替えを説明するための図である。図９では、フィールド９０１において自陣のペナルティキックエリア付近にいる選手９０２（第１のオブジェクト）が相手陣営にいる選手９０４（第２のオブジェクト）に対してパスを行った場面を示している。仮想視点の位置を切り替える前にあっては、切り替え前の仮想カメラ９１１は、センターサークルに向けて移動する選手９０２（第１のオブジェクト）を後方側から捉えるようにＡ地点に配置されているとする。選手９０２から相手陣営のペナルティキックエリア付近に蹴られたサッカーボール９０３を受けようと、サッカーボール９０３に向けて移動する選手９０４（第２のオブジェクト）を捉えるように仮想カメラの位置を切り替えるユーザ操作を受け付けたとする。この場合、次に示すように仮想カメラ９１２の位置が切り替えられる。すなわち、仮想視点の位置を切り替えた後にあっては、切り替え後の仮想カメラ９１２は、選手９０４（第２のオブジェクト）との位置関係が、切り替え前の仮想カメラ９１１と選手９０２との位置関係と同じとなるようにＢ地点に配置される。

Ｓ８０２では、情報処理装置２０１（切替前情報生成部６０６）は、ユーザ指示入力部６１０から送られた切り替え指示を受け付けると、切替前情報を生成する。切替前情報の生成処理の詳細については、後述する。切替前情報は、位置視線変更部６０７に送られる。

Ｓ８０３では、情報処理装置２０１（位置視線変更部６０７）は、切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向を変更する。切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向の変更処理の詳細については、後述する。切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向を示す切替後情報は、移動制御部６０８に送られる。

Ｓ８０４では、情報処理装置２０１（移動制御部６０８）は、切り替え後の仮想視点の移動を制御する処理を実行する。切り替え後の仮想視点の移動の制御処理の詳細については、後述する。

Ｓ８０５では、情報処理装置２０１（画像生成部６０９）は、カメラパスを受け取り、受け取ったカメラパスに従って仮想視点画像を生成する。生成した仮想視点画像は、画像出力部６１１に送られる。そして、情報処理装置２０１（画像出力部６１１）は、画像生成部６０９から送られた仮想視点画像をユーザ端末２０２に出力して、ユーザ端末２０２に切り替え後の仮想視点に対応した仮想視点画像を表示させる。

＜切り替え前後の仮想視点画像＞
図１９は、ユーザ端末に表示される切り替え前後の仮想視点画像例を説明するための図であり、図１９（ａ）に切り替え前の仮想視点画像例を示し、図１９（ｂ）に切り替え後の仮想視点画像例を示す。なお、切り替え前の仮想視点画像は、図９に示すＡ地点に配置された仮想カメラ９１１による画像に対応し、切り替え後の仮想視点画像は、図９に示すＢ地点に配置された仮想カメラ９１２による画像に対応する。

切り替え前の仮想視点画像１９１１にあっては、中央にて選手１９１２（第１の注目オブジェクト）の後ろ姿が映った画像となる。また、切り替え後の仮想視点画像１９２１にあっては、中央にて選手１９２２（第２の注目オブジェクト）の後ろ姿が映った画像となる。

すなわち、ユーザ端末２０２は、切り替え前の仮想視点画像と同様の構図である切り替え後の仮想視点画像を表示することになる。

＜切替前情報の生成処理＞
図１０は、情報処理装置２０１（切替前情報生成部６０６）が実行する処理の流れを示すフローチャートである。

Ｓ１００１では、切替前情報生成部６０６は、ユーザによる切り替え操作が行われる直前の仮想視点の位置を示す情報と、当該仮想視点からの視線方向を示す情報とを含む仮想視点操作情報をユーザ端末２０２から取得する。仮想視点操作情報は、切替要求を受け付ける際に、ユーザ端末２０２から受信した情報である。

Ｓ１００２では、切替前情報生成部６０６は、Ｓ１００１で取得した仮想視点操作情報で示される仮想視点の位置と仮想視点からの視線方向とに基づいて移動前主被写体（切り替え操作直前の第１の主オブジェクト）を特定する。例えば、切替前情報生成部６０６は、仮想視点の位置と視線とに基づいて仮想視点からの視線方向を求め、その視線方向と重なる位置にいる被写体（オブジェクト）である選手を移動前主被写体として特定してもよい。その他、複数のオブジェクトのうち、視線方向に最も近い被写体（オブジェクト）を移動前主被写体として特定してもよい。なお、主被写体（オブジェクト）の特定方法はこれに限定せず、別の方法であってもよい。

Ｓ１００３では、切替前情報生成部６０６は、Ｓ１００２で特定した移動前主被写体の位置情報を取得する。切替前情報生成部６０６は、被写体情報取得部６０５で取得した複数の被写体の位置情報のうち、Ｓ１００２で特定した移動前主被写体の位置情報を取得する。このとき、切替前情報生成部６０６は、切替要求（切替指示）を受け付けた時間から過去に遡った時間までの所定時間における位置情報を取得する。Ｓ１００３での所定時間は、例えば、数秒であり、Ｓ１００３の処理に続く処理であるＳ１００４にて、移動前主被写体の進行方向を特定することができる時間であればよい。

Ｓ１００４では、切替前情報生成部６０６は、移動前主被写体の進行方向を検出する。切替前情報生成部６０６は、Ｓ１００３で取得した所定時間における位置情報に基づいて、移動前主被写体の位置が遷移する軌跡から進行方向を検出する。なお、Ｓ１００４では、主被写体の進行方向を、位置が遷移する軌跡から検出する方法を用いて説明したが、これに限定しない。例えば、顔認識技術を用いて主被写体の顔を特定し、顔が向く方向を前方として検出してもよい。また、画像解析技術を用いて背番号を特定し、背番号がある方向を後方として検出してもよい。主被写体を基準として、前方または後方のどちらか一方の特定方向を検出し、検出結果に基づき移動前主被写体の進行方向を特定できればよい。

Ｓ１００５では、切替前情報生成部６０６は、Ｓ１００４で検出した移動前主被写体の進行方向と、移動前主被写体から見て仮想視点が位置する方向（以後、仮想視点方向と呼ぶ場合がある）との為す角度を算出する。仮想視点方向は、Ｓ１００１で取得した仮想視点操作情報に含まれる仮想視点の位置と、Ｓ１００３で取得したオブジェクトの位置情報に含まれる移動前主被写体の位置に基づいて算出される。このときに使用するオブジェクト情報は、切替要求を受け付けた時間のオブジェクト情報のみである。

＜進行方向と仮想視点方向との為す角度の算出方法＞
図１１は、第１の主オブジェクトの進行方向と切り替え前の仮想視点方向との為す角度の算出方法を説明するため模式図である。切り替え前の仮想視点１１０１は、被写体の斜め後方から主被写体１１０２を狙って撮像するように配置されている。進行方向１１０３は、主被写体１１０２が進行する方向を示している。仮想視点方向１１０４は、主被写体１１０２から見た仮想視点１１０１が位置する方向である。角度１１０５は、進行方向１１０３と仮想視点方向１１０４との為す角度である。

進行方向１１０３と仮想視点方向１１０４との為す角度は、例えば、以下に示す（１）式を用いて算出する。例えば、進行方向１１０３をベクトルａとし、仮想視点方向１１０４をベクトルｂとする。（１）式では、ベクトルａを（ａ_１，ａ_２，ａ_３）とし、ベクトルｂを（ｂ_１，ｂ_２，ｂ_３）とし、ベクトルａとベクトルｂの為す角の角度をθ（０≦θ≦１８０）とする。

Ｓ１００６では、切替前情報生成部６０６は、移動前主被写体と仮想視点との距離を算出する。切替前情報生成部６０６は、Ｓ１００１で取得した仮想視点操作情報で示される仮想視点の位置と、Ｓ１００３で取得した位置情報で示される第１の注目オブジェクトの位置とに基づいて、移動前主被写体と切り替え前の仮想視点との距離を算出する。このときに使用する移動前主被写体の位置は、切替要求（切替指示）を受け付けた時間の位置である。

Ｓ１００７では、切替前情報生成部６０６は、切り替え前の仮想視点の高さを算出する。切替前情報生成部６０６は、Ｓ１００１で取得した仮想視点操作情報に含まれる位置情報からｚ方向の値を抽出する。切替前情報生成部６０６は、抽出したｚ方向の値を切り替え前の仮想視点の高さとして設定する。

Ｓ１００８では、切替前情報生成部６０６は、切り替え前の仮想視点からの視線方向を補正する。すなわち、切替前情報生成部６０６は、Ｓ１００１で取得した仮想視点操作情報に含まれるパン方向の角度を補正する。切替前情報生成部６０６は、パン方向の角度を計測する際の基準線（角度が０度の線）を、移動前主被写体の方向へ向けるように変更する。その後、変更した基準線から角度を求め、パン方向の角度として置き換える。なお、チルト方向およびロール方向の角度については、Ｓ１００１で取得した仮想視点操作情報に含まれる角度が使用される。そのため、チルト方向およびロール方向の角度に対しては補正処理を実行しない。

＜パン方向の角度の補正方法＞
図１２は、切り替え前の仮想視点のパン方向の角度の補正方法を説明するための模式図であって、図１２（ａ）にパン方向の角度の補正前の状態を示し、図１２（ｂ）にパン方向の角度の補正後の状態を示す。仮想視点１２０１は、仮想視点１２０１からの視線方向１２０２を主被写体１２０３へ向けて撮像する位置に配置される。視線方向１２０２は、パン軸１２０４を軸の中心として左右方向へ動かすことができる。

図１２（ａ）に示すように、補正前にあっては、角度１２０６は、Ｓ１００１で取得した仮想視点操作情報に含まれるパン方向の角度と同じ角度となる。角度１２０６は、基準線１２０５と視線方向１２０２との為す角度である。基準線１２０５は、主被写体１２０３以外の方向を指している状態であり、例えば、フィールドのセンターサークルの中心を指している。基準線が被写体（第１の主オブジェクト）と異なっている場合、切替前情報生成部６０６は、補正前の基準線１２０５を、図１２（ｂ）に示すように、仮想視点１２０１と主被写体（第１の主オブジェクト）１２０３とを結ぶ線である基準線１２１５へ変更する。変更後（補正後）の基準線１２１５は、パン軸１２０４と主被写体（主オブジェクト）１２０３とを結ぶ直線である。切替前情報生成部６０６は、補正後の基準線１２１５と視線方向１２０２との為す角度を求め、求めた角度をパン方向の角度として補正する。なお、図１２（ｂ）に示す例では、補正後の基準線１２１５と視線方向１２０２とが一致しているため、パン方向の角度が０度となる。

Ｓ１００９では、切替前情報生成部６０６は、Ｓ１００５からＳ１００８の処理で得られた角度、距離、高さ、および視線方向それぞれの情報を記録した切替前情報を位置視線変更部６０７へ送信する。

位置視線変更部６０７は、切替前情報生成部６０６から受信した切替前情報に基づいて、移動後（切り替え後）の仮想視点の位置および移動後（切り替え後）の仮想視点からの視線方向を変更する。すなわち、位置視線変更部６０７は、切替情報に基づいて、前記第２の仮想視点と第２のオブジェクトとの位置関係が前記第１の仮想視点と第１のオブジェクトとの位置関係と同等となるように変更する。

＜仮想視点の位置視線方向の変更処理＞
図１３は、情報処理装置２０１（位置視線変更部６０７）が実行する処理の流れを示すフローチャートである。このフローチャートは、切替前情報を受信した際に実行を開始する。この処理を実行することにより、切り替え後の仮想視点の位置および仮想視点からの視線方向が変更される。

Ｓ１３０１では、位置視線変更部６０７は、切替前情報生成部６０６からＳ８０２で生成した切替前情報を取得する。切替前情報は、例えば、移動前の仮想視点の角度、距離、高さ、および視線方向を示す情報を含む。

Ｓ１３０２では、位置視線変更部６０７は、移動後の仮想視点が捉える被写体（以後、移動後主被写体と呼ぶ場合がある）の位置情報を取得する。位置視線変更部６０７は、ユーザ端末２０２から受信した切替要求に付随する被写体識別情報を取得する。位置視線変更部６０７は、被写体識別情報に含まれる被写体識別ＩＤを使って、被写体情報取得部６０５から移動後主被写体の位置情報を取得する。このとき、位置視線変更部６０７は、ユーザ端末２０２から切替要求を受信した時間から過去に遡った時間までの所定時間における位置情報を取得する。Ｓ１３０２での所定時間は、例えば、数秒であり、Ｓ１３０２の処理に続く処理であるＳ１３０３にて、移動後主被写体の進行方向を特定することができる時間であればよい。

Ｓ１３０３では、位置視線変更部６０７は、移動後主被写体の進行方向を検出する。位置視線変更部６０７は、Ｓ１３０２で取得した所定時間における位置情報に基づいて、移動後主被写体の位置が遷移する軌跡から進行方向を検出する。なお、Ｓ１３０３では、主被写体の進行方向を検出する態様について説明したが、これに限定されない。例えば、顔認識技術を用いて主被写体の顔を特定し、顔が向く方向を前方として検出し、この検出結果に基に移動後主被写体の進行方向を検出してもよい。また、画像解析技術を用いて背番号を特定し、背番号がある方向を後方として検出し、この検出結果を基に移動後主被写体の進行方向を検出してもよい。主被写体を基準として、前方または後方のどちらか一方の特定方向を検出できればよい。ただし、Ｓ１３０３での進行方向の検出方法は、上述したＳ１００４での進行方向の検出方法と同じ方法であるとする。

Ｓ１３０４では、位置視線変更部６０７は、移動後の仮想視点の位置を変更する。位置視線変更部６０７は、Ｓ１３０３で検出した進行方向を基準として、Ｓ１３０１で取得した切替前情報に含まれる角度、距離と高さを適用し、移動後の仮想視点の位置を変更する。

＜移動後の仮想視点の位置の変更方法＞
図１４は、移動後の仮想視点の位置を変更する方法を説明するための模式図である。主被写体（第２の主オブジェクト）１４０１は、移動後主被写体を示している。移動方向１４０２は、Ｓ１３０３で検出された主被写体１４０１が移動する（進行する）方向を示している。

位置視線変更部６０７は、移動方向１４０２を基準とし、切替前情報に含まれる角度１４０３を適用することにより、仮想視点からの視線方向１４０４を変更する。更に、位置視線変更部６０７は、主被写体１４０１から仮想視点の方向１４０４へ向けて、切替前情報に含まれる距離と高さを適用することにより、仮想視点１４０５の位置を変更する。

Ｓ１３０５では、位置視線変更部６０７は、移動後の仮想視点からの視線方向を変更する。位置視線変更部６０７は、図１４で示す仮想視点の方向１４０４を、パン方向の角度を計測する際の基準線（角度が０度の線）とする。位置視線変更部６０７は、この基準線に対してＳ１３０１で取得した切替前情報に含まれる視線方向を適用することにより、移動後の仮想視点からの視線方向を変更する。

Ｓ１３０６では、位置視線変更部６０７は、Ｓ１３０５で変更した移動後の仮想視点の位置および移動後の仮想視点からの視線方向を補正する。位置視線変更部６０７は、被写体情報取得部６０５から被写体情報に含まれる身体情報を取得する。位置視線変更部６０７は、移動前主被写体の身体情報と、移動後主被写体の身体情報を取得し、これら身体情報の差分に基づいて移動後の仮想視点の位置および視線方向を補正する。

＜移動後の仮想視点の位置視線方向の補正方法＞
図１５は、移動後の仮想視点の位置および仮想視点からの視線方向を補正する方法を説明するための模式図である。主被写体１５０１は、仮想視点を、第１のオブジェクトを捉える位置から第２のオブジェクトを捉える位置に切り替えた後の移動後主被写体を示している。仮想視点１５０２は、Ｓ１３０４の処理で変更した切り替え後の仮想視点の位置、およびＳ１３０５の処理で変更した切り替え後の仮想視点からの視線方向を示す移動後の仮想視点を示している。

例えば、主被写体１５０１（第２のオブジェクト）の身長が１８０センチであり、移動前主被写体（第１のオブジェクト）の身長１６０センチより大きい場合、次に示す状態となる可能性がある。すなわち、切替前の仮想視点と第１のオブジェクトとの位置関係と同じになる様に、第２のオブジェクトに対して切り替え後の仮想視点１５０２の位置が変更されると、主被写体１５０１が仮想視点１５０２の視野範囲から見切れてしまう可能性がある。その場合、位置視線変更部６０７は、主被写体１５０１が仮想視点１５０２の視野範囲内に入る様に、仮想視点１５０２を主被写体１５０１から遠ざけた位置を変更して、後退させる。

これとは反対に、主被写体１５０１の身長が移動前主被写体の身長より小さい場合、次に示す状態となる可能性がある。すなわち、切替前の仮想視点と第１のオブジェクトとの位置関係と同じになる様に、第２のオブジェクトに対して切替後の仮想視点１５０２の位置が変更されると、主被写体１５０１が仮想視点１５０２から遠い位置となり小さくなってしまう可能性がある。その場合、位置視線変更部６０７は、仮想視点１５０２を主被写体１５０１に近づけるように、第２のオブジェクトに対して切替後の仮想視点１５０２の位置を変更して、前進させる。

＜切り替え後の仮想視点の位置および視線方向の補正＞
図１６は、切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向の補正を説明するための図である。図１６（ａ）に第１および第２の主オブジェクトの身長を示し、図１６（ｂ）に切り替え前の仮想視点画像例を示す。図１６（ｃ）に、主オブジェクトの身体情報を用いない場合の切り替え後の仮想視点画像例を示し、図１６（ｄ）に主オブジェクトの身体情報を用いた場合の切り替え後の仮想視点画像例を示す。

図１６（ａ）に示すように、切り替え前の仮想カメラが捉える、背番号が５である選手１６０１（第１の主オブジェクト）の身長がＨ１であるとする。また、切り替え後の仮想カメラが捉える、背番号が１０である選手１６０２（第２の主オブジェクト）の身長が、選手１６０１の身長より高いＨ２であるとする。

切り替え前の仮想カメラによる仮想視点画像は次に示す画像であるとする。すなわち、図１６（ｂ）に示すように、切り替え前の仮想カメラによる仮想視点画像１６１１は、その中央に選手１６１２（第１の主オブジェクト）の全身が映った画像であるとする。

選手１６０１（第１の主オブジェクト）および選手１６０２（第２の主オブジェクト）の身体情報を用いず、切り替え後の仮想カメラの位置および姿勢（視線方向）を補正しない場合、切り替え後の仮想カメラによる仮想視点画像は次に示すような画像となる。すなわち、図１６（ｃ）に示すように、切り替え後の仮想カメラによる仮想視点画像１６２１は、その中央に選手１６２２（第２の主オブジェクト）が映った画像となるものの、選手１６２２の頭部の上部側と足の下部側とが見切れた状態の画像となる。

これに対し、選手１６０１（第１の主オブジェクト）及び選手１６０２（第２の主オブジェクト）の身体情報を用いて、切り替え後の仮想カメラの位置及び姿勢（視線方向）を補正した場合、切り替え後の仮想カメラによる仮想視点画像は次に示す画像となる。すなわち、図１６（ｄ）に示すように、切り替え後の仮想カメラによる仮想視点画像１６３１は、その中央に選手１６３２（第２の主オブジェクト）の全身が映った画像となる。

このように、第１および第２のオブジェクトの身長情報を用いて、仮想カメラの位置および姿勢（視線方向）を補正することにより、切り替え後の仮想視点画像の構図を、切り替え前の仮想視点画像とほぼ同じ構図とすることができる。

図１３の説明に戻る。Ｓ１３０７では、位置視線変更部６０７は、Ｓ１３０６で補正した移動後の仮想視点の位置および移動後の仮想視点からの視線方向に関する情報（切替後情報）を移動制御部６０８へ送信する。

移動制御部６０８は、位置視線変更部６０７から受信した切替後情報を用いて、位置視線変更部６０７で変更した位置および視線方向に基づいて移動後の仮想視点を配置し、配置後の仮想視点を自動制御する。

＜仮想視点の移動制御処理＞
図１７は、情報処理装置２０１（移動制御部６０８）が実行する処理の流れを示すフローチャートである。このフローチャートは、位置視線変更部６０７から移動後の位置および視線情報を受信した際に実行を開始する。

Ｓ１７０１では、移動制御部６０８は、位置視線変更部６０７からＳ８０３で生成した切替後情報を取得する。切替後情報は、例えば、移動後の仮想視点の位置および移動後の仮想視点からの視線方向を示す情報を含む。

Ｓ１７０２では、移動制御部６０８は、移動後主被写体の位置情報を取得する。移動制御部６０８は、ユーザ端末２０２から受信した切替要求（切替指示）に付随する被写体識別情報を取得する。移動制御部６０８は、被写体識別情報に含まれる被写体識別ＩＤを使って、被写体情報取得部６０５から移動後主被写体の位置情報を取得する。このとき、移動制御部６０８は、ユーザ端末２０２から切替要求を受信した時間から過去に遡った時間までの所定時間における位置情報を取得する。Ｓ１７０２での所定時間は、例えば、数秒であり、Ｓ１７０２の処理に続く処理であるＳ１７０３にて、移動後主被写体の移動方向（進行方向）を特定することができる時間であればよい。

Ｓ１７０３では、移動制御部６０８は、移動後主被写体の移動方向と移動速度を算出する。移動方向は、Ｓ１７０２で取得した所定時間における位置情報に基づいて、移動後主被写体の位置が遷移する軌跡から移動方向を検出できる。移動方向としては、例えば、直線的な進行方向、弧線的な進行方向などが挙げられる。移動速度は、移動後主被写体の移動距離を、所定時間で割ることで算出できる。

Ｓ１７０４では、移動制御部６０８は、Ｓ１７０１で取得した移動後の仮想視点の位置および移動後の仮想視点からの視線方向を、カメラパス（仮想視点パス）の初期値として設定する。

Ｓ１７０５では、移動制御部６０８は、画像生成部６０９へカメラパスを送信する。

Ｓ１７０６では、移動制御部６０８は、ユーザ指示入力部６１０を介して、ユーザ端末２０２からユーザによる仮想視点の手動操作があるか否かを判定する。手動操作の検出方法は、例えば、操作画面３０３に対するユーザ操作を検出したときに、手動操作を検出したと判定してもよい。手動操作を検出したとの判定結果を得た場合（Ｓ１７０６のＹＥＳ）、仮想視点の自動制御を終了させるために、処理がＳ１７０８に移行される。手動操作を検出しないとの判定結果を得た場合（Ｓ１７０６のＮＯ）、仮想視点の自動制御を継続するために、処理がＳ１７０７に移行される。なお、Ｓ１７０６による判定処理は、例えば、フレーム単位で実行する。

Ｓ１７０７では、移動制御部６０８は、移動後の仮想視点を自動制御する。移動制御部６０８は、Ｓ１７０４で初期化したカメラパスに対して、Ｓ１７０３で算出した移動方向と移動速度を適用し、仮想視点の位置を移動させたカメラパスに更新する。更新したカメラパスは、一時的に保持し次回の処理で使用される。Ｓ１７０７の処理が完了した後、処理がＳ１７０５に戻される。

Ｓ１７０８では、移動制御部６０８は、移動後の仮想視点の制御を、自動制御から手動制御へ切り替える。切り替え後、移動制御部６０８は、ユーザ指示入力部６１０を介して、仮想視点操作情報を常時受信し、カメラパスとして画像生成部６０９へ送信する。

＜自動制御による仮想視点の遷移＞
図１８は、自動制御による仮想視点（仮想カメラ）の遷移を説明するための模式図である。主被写体の位置１８０１ａ～１８０１ｄは、移動後主被写体の位置である。仮想視点の位置１８０２ａ～１８０２ｄは、移動後（切替後）の仮想視点の位置である。移動方向１８０３ａ～１８０３ｄは、Ｓ１７０３で算出した移動方向および移動速度である。なお、移動方向１８０３ａ～１８０３ｃは、すべて同じ方向であり、同じ速度であるとする。移動方向１８０３ｄは、移動方向１８０３ａ～１８０３ｃの場合と、方向および速度が異なるとする。

図１８では、Ｓ１７０７の処理が行われると、第２の主オブジェクトおよび切り替え後の仮想視点の位置が位置１８０１ａおよび位置１８０２ａから位置１８０１ｂおよび位置１８０２ｂに移動することを示している。さらに、Ｓ１７０７の処理が行われると、第２の主オブジェクトおよび切り替え後の仮想視点の位置が位置１８０１ｂおよび位置１８０２ｂから位置１８０１ｃおよび位置１８０２ｃに移動することを示している。さらに、Ｓ１７０７の処理が行われると、第２の主オブジェクトおよび切り替え後の仮想視点の位置が位置１８０１ｃおよび位置１８０２ｃから位置１８０１ｄおよび位置１８０２ｄに移動することを示している。すなわち、Ｓ１７０７の処理が行われるたびに、第２の主オブジェクトおよび切り替え後の仮想視点の位置が位置１８０１ａおよび位置１８０２ａから順次移動し、位置１８０１ｄおよび位置１８０２ｄに移動する様子を示している。

上述の仮想視点の位置１８０２ａは、Ｓ１７０４で初期化したカメラパスが示す仮想視点の位置および仮想視点からの視線方向であって、移動後（切替後）の仮想視点の開始地点である。この仮想視点の位置１８０２ａに対して移動方向１８０３ａを適用することで、仮想視点の位置１８０２ｂへ移動する。次に、仮想視点の位置１８０２ｂに対して移動方向１８０３ｂを適用することで、仮想視点の位置１８０２ｃへ移動する。移動制御部６０８は、同様の処理を繰り返しながら仮想視点を移動させる自動制御を実行する。

なお、第１の主オブジェクトの位置１８１１ａから、位置１８１１ｂ、位置１８１１ｃを経て位置１８１１ｄに至るまでの第１の主オブジェクトの位置情報を取得し、取得した位置情報を基に、第２の主オブジェクトの自動移動制御が行われることになる。

すなわち、第２の主オブジェクトを捉える切り替え後の仮想カメラは、切替要求Ｔ１を受け付けてから、自動制御（直進運動）１８２２が適用されることになる。また、手動操作検出Ｔ２を受け付けると、第２の主オブジェクトを捉える切り替え後の仮想カメラは、手動制御１８２３が適用されることになる。

画像生成部６０９は、移動制御部６０８から受信したカメラパスと、画像記憶部６０４に記憶された複数の撮像画像とを用いて仮想視点画像（操作画像）を生成する。画像生成部６０９は、位置視線変更部６０７で変更された第２の仮想視点と第２のオブジェクトとの位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成するともいえる。また、画像生成部６０９は、撮像空間を真上から俯瞰したカメラパスと、画像記憶部６０４に記憶された複数の撮像画像とを用いて仮想視点画像（俯瞰画像）を生成する。操作画像はユーザ端末の操作画面に表示される。また、俯瞰画像はユーザ端末の切り替え画面に表示される。

仮想視点画像は、例えば、イメージベースレンダリングを用いて生成される。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）を行わず、複数の実際の視点から撮像された画像から仮想視点画像を生成するレンダリング方法である。ただし、イメージベースレンダリングによらずに仮想視点画像を生成してもよく、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を用いて仮想視点画像を生成してもよい。上述のＭＢＲは、複数の方向からオブジェクト（被写体）を撮像して得た複数の撮像画像に基づき生成される三次元モデルを用いて、仮想視点画像を生成する方式である。上述のＭＢＲは、例えば、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状の復元手法で得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像（仮想視点画像）として生成する。また、情報処理装置２０１は、仮想視点画像に代えて、例えば、三次元形状データ等の三次元モデルを示す情報、またはその情報が示す三次元モデルにマッピングするための画像等の、仮想視点画像を生成するための情報を生成してもよい。

ユーザ指示入力部６１０は、ユーザ端末２０２から、仮想視点画像を生成するための仮想視点に関するユーザ指示であって、操作指示や操作指示に付随する付随情報を受信する。ユーザ指示入力部６１０は、例えば、仮想視点画像の切替要求（切替指示）、または切替要求に付随する被写体識別情報を受信する。受信した切替指示や付随情報は、切替前情報生成部６０６など情報処理装置２０１の各処理部へ送信される。

画像出力部６１１は、画像生成部６０９が生成した仮想視点画像をユーザ端末２０２へ出力する。

以上、説明した通り、本実施形態によれば、切り替え前の第１の主オブジェクトを捉える仮想視点の見え方と、切り替え後の第２の主オブジェクトを捉える仮想視点の見え方が同じになるように、切り替え後の仮想視点の位置および視線方向を自動設定する。すなわち、仮想視点画像の構図が仮想視点の位置の切り替え前後で同じとなるように、切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向を自動設定する。これにより、ユーザは、切り替え後の仮想視点画像において、方向感覚を見失うこと無く、切り替え後の仮想視点の位置および切り替え後の仮想視点からの視線方向を容易に把握することができ、切り替え後の仮想視点の操作をスムーズに開始することができる。

また、切り替え後の仮想視点の移動を、切り替え前の仮想視点と第１の主オブジェクトとの位置関係を保持するように自動制御することにより、仮想視点の位置の切り替え直後の仮想視点の移動をサポートすることになる。これにより、切り替え後の仮想視点が捉える第２の主オブジェクトが、切り替え後の仮想視点画像内から外側にすぐに出てしまうなど切り替え後の第２の主オブジェクトを見失うことが無くなり、切り替え後の仮想視点の操作をスムーズに開始することができる。

また、切り替え前の仮想視点が捉える第１の主オブジェクトと、切り替え後の仮想視点が捉える第２の主オブジェクトとが同じ態様に適用することも可能である。

上記では、仮想視点の切り替え、仮想視点の移動の自動制御、仮想視点の手動制御を行う態様について説明したが、これに限定されない。例えば、仮想視点の切り替え、仮想視点の手動制御を行うようにしてもよい。この場合、切り替え前後の仮想視点画像の構図を同じにするため、移動情報の代わりに、第１及び第２の注目オブジェクトの向きを示す向き情報を取得すればよい。

上述の実施形態では、手動操作中に同一撮像空間にいる別の被写体を撮像するために仮想視点を切り替える想定で説明したが、これに限定しない。例えば、複数の仮想視点があって、それぞれが別々の被写体を撮像している場合があるとする。このときに、ユーザ端末に表示している仮想視点から、別の仮想視点へ切り替えた場合でも本実施形態を適用することができる。その場合も同様に、切り替え前の主被写体を捉える仮想視点の見え方と、切り替え後の別の主被写体を捉える仮想視点の見え方が同じになるように、切り替え後の仮想視点の位置や切り替え後の仮想視点からの視線方向を自動設定できる。

仮想視点の位置を切り替えるときに、切り替え後の仮想カメラが捉える第２のオブジェクトに対して予め決められた位置を選択することも可能である。例えば、切り替え前の仮想カメラが第１のオブジェクトを後ろ側から捉えている場合、切り替え後の仮想カメラが第２のオブジェクトを前側から捉える位置を選択するようにしてもよい。

また、上述の実施形態では、サッカーの試合を撮像する場合を例示したが、撮像対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮像にも、本実施形態を適用することができる。

本実施形態の開示は、以下の構成例、方法例およびプログラム例を含む。
（構成１）
仮想視点画像を生成するための仮想視点に関する指示を受け付ける受付手段と、
前記受付手段で受け付けた指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、前記第１の仮想視点と当該第１の仮想視点に対応する仮想視点画像に含まれる第１のオブジェクトとの位置関係を示す切替情報を生成する生成手段と、
前記切替情報に基づいて、前記第２の仮想視点と当該第２の仮想視点に対応する仮想視点画像に含まれる第２のオブジェクトとの位置関係が前記第１の仮想視点と前記第１のオブジェクトとの位置関係と同等となるように変更する変更手段と、
変更された前記位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成する画像生成手段と、
を有する、ことを特徴とする情報処理装置。

（構成２）
前記生成手段は、前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向を示す位置視線情報を用いて前記切替情報を生成する、ことを特徴とする構成１に記載の情報処理装置。

（構成３）
前記切替情報は、前記第１のオブジェクトを基準とした特定方向と、前記第１のオブジェクトから見て前記第１の仮想視点が位置する方向とがなす角度を示す角度情報を含む、ことを特徴とする構成１または２に記載の情報処理装置。

（構成４）
前記切替情報は、前記第１のオブジェクトと前記第１の仮想視点との距離を示す距離情報を含む、ことを特徴とする構成３に記載の情報処理装置。

（構成５）
前記切替情報は、前記特定方向を基準とした前記第１の仮想視点からの視線方向を示す視線情報を含む、ことを特徴とする構成３または４に記載の情報処理装置。

（構成６）
前記変更手段は、前記第２のオブジェクトの特定方向を基準とし、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向を変更する
ことを特徴とする構成１から５の何れか一つに記載の情報処理装置。

（構成７）
前記変更手段は、前記第１のオブジェクトの身体の大きさを示す第１のオブジェクト情報と、前記第２のオブジェクトの身体の大きさを示す第２のオブジェクト情報とを用いて前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向を変更する
ことを特徴とする構成２に記載の情報処理装置。

（構成８）
前記指示は、前記第２の仮想視点の位置を示す位置情報と、前記第２のオブジェクトの識別情報とを含む、ことを特徴とする構成１に記載の情報処理装置。

（構成９）
前記第２のオブジェクトの識別情報は、前記第２の仮想視点に基づき決定されたオブジェクトに対応した識別情報である
ことを特徴とする構成８に記載の情報処理装置。

（構成１０）
前記第２のオブジェクトの識別情報は、前記第２の仮想視点の位置に最も近いオブジェクトに対応した識別情報である
ことを特徴とする構成９に記載の情報処理装置。

（構成１１）
前記第２の仮想視点の位置に最も近いオブジェクトが複数の場合、予め決められた優先順位に従い決定されたオブジェクトに対応した識別情報である
ことを特徴とする構成１０に記載の情報処理装置。

（構成１２）
前記第２の仮想視点に対応した仮想視点画像を第１の表示手段に表示する表示制御手段を有する
ことを特徴とする構成１から１１の何れか一つに記載の情報処理装置。

（構成１３）
前記第２の仮想視点に対応した仮想視点画像は、前記第１の仮想視点に対応した仮想視点画像の構図と同様の画像である
ことを特徴とする構成１２に記載の情報処理装置。

（構成１４）
前記受付手段は、複数の撮像装置による撮像対象を俯瞰した俯瞰画像、または前記第２の仮想視点に対応可能なオブジェクトの一覧を示すリスト表に対する前記指示を受け付ける、ことを特徴とする構成１２または１３に記載の情報処理装置。

（構成１５）
前記俯瞰画像または前記リスト表は、前記第２の仮想視点に対応した仮想視点画像と重ならないように前記第１の表示手段に表示される、または、前記第１の表示手段と異なる第２の表示手段に表示される
ことを特徴とする構成１４に記載の情報処理装置。

（構成１６）
前記切替情報を用いて、前記第２の仮想視点の移動を制御する移動制御手段をさらに有する、ことを特徴とする構成１から１５の何れか一つに記載の情報処理装置。

（構成１７）
前記移動制御手段は、前記指示を受け付ける前の所定時間における第１のオブジェクト情報を用いて当該第１のオブジェクトの移動方向および移動速度を算出し、算出結果に基づき、前記第２の仮想視点を自動制御する
ことを特徴とする構成１６に記載の情報処理装置。

（構成１８）
前記移動制御手段は、前記自動制御中に、前記受付手段が、前記指示による手動操作を検出したときに、前記仮想視点の制御を手動制御に切り替える
ことを特徴とする構成１６または１７に記載の情報処理装置。

（構成１９）
前記第１のオブジェクトと前記第２のオブジェクトは同じである
ことを特徴とする構成１から１８の何れか一つに記載の情報処理装置。

（構成２０）
前記第１のオブジェクトと前記第２のオブジェクトは異なる
ことを特徴とする構成１から１８の何れか一つに記載の情報処理装置。

（方法１）
仮想視点画像を生成するための仮想視点に関する指示を受け付ける受付工程と、
前記受付工程で受け付けた指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、前記第１の仮想視点と当該第１の仮想視点に対応する仮想視点画像に含まれる第１のオブジェクトとの位置関係を示す切替情報を生成する生成工程と、
前記切替情報に基づいて、前記第２の仮想視点と当該第２の仮想視点に対応する仮想視点画像に含まれる第２のオブジェクトとの位置関係が前記第１の仮想視点と前記第１のオブジェクトとの位置関係と同等となるように変更する変更工程と、
変更された前記位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成する画像生成工程と、
を含む、ことを特徴とする情報処理方法。

（プログラム）
コンピュータを、構成１から２０の何れか一つに記載の情報処理装置の各手段として機能させるためのプログラム。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

６０６ 切替前情報生成部
６０７ 位置視線変更部
６０９ 画像生成部
６１０ ユーザ指示入力部

Claims (22)

1. 仮想視点画像を生成するための仮想視点に関する指示を受け付ける受付手段と、
   前記受付手段で受け付けた指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、前記第１の仮想視点と当該第１の仮想視点に対応する仮想視点画像に含まれる第１のオブジェクトとの位置関係を示す切替情報を生成する生成手段と、
   前記切替情報に基づいて、前記第２の仮想視点と当該第２の仮想視点に対応する仮想視点画像に含まれる第２のオブジェクトとの位置関係が前記第１の仮想視点と前記第１のオブジェクトとの位置関係と同等となるように変更する変更手段と、
   変更された前記位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成する画像生成手段と、
   を有する、ことを特徴とする情報処理装置。
2. 前記生成手段は、前記第１の仮想視点の位置および前記第１の仮想視点からの視線方向を示す位置視線情報を用いて前記切替情報を生成する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記切替情報は、前記第１のオブジェクトを基準とした特定方向と、前記第１のオブジェクトから見て前記第１の仮想視点が位置する方向とがなす角度を示す角度情報を含む、ことを特徴とする請求項１に記載の情報処理装置。
4. 前記切替情報は、前記第１のオブジェクトと前記第１の仮想視点との距離を示す距離情報を含む、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記切替情報は、前記特定方向を基準とした前記第１の仮想視点からの視線方向を示す視線情報を含む、ことを特徴とする請求項３に記載の情報処理装置。
6. 前記変更手段は、前記第２のオブジェクトの特定方向を基準とし、前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向を変更する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記変更手段は、前記第１のオブジェクトの身体の大きさを示す第１のオブジェクト情報と、前記第２のオブジェクトの身体の大きさを示す第２のオブジェクト情報とを用いて前記第２の仮想視点の位置および前記第２の仮想視点からの視線方向を変更する
   ことを特徴とする請求項２に記載の情報処理装置。
8. 前記指示は、前記第２の仮想視点の位置を示す位置情報と、前記第２のオブジェクトの識別情報とを含む、ことを特徴とする請求項１に記載の情報処理装置。
9. 前記第２のオブジェクトの識別情報は、前記第２の仮想視点に基づき決定されたオブジェクトに対応した識別情報である
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記第２のオブジェクトの識別情報は、前記第２の仮想視点の位置に最も近いオブジェクトに対応した識別情報である
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記第２の仮想視点の位置に最も近いオブジェクトが複数の場合、予め決められた優先順位に従い決定されたオブジェクトに対応した識別情報である
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記第２の仮想視点に対応した仮想視点画像を第１の表示手段に表示する表示制御手段を有する
    ことを特徴とする請求項１に記載の情報処理装置。
13. 前記第２の仮想視点に対応した仮想視点画像は、前記第１の仮想視点に対応した仮想視点画像の構図と同様の画像である
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記受付手段は、複数の撮像装置による撮像対象を俯瞰した俯瞰画像、または前記第２の仮想視点に対応可能なオブジェクトの一覧を示すリスト表に対する前記指示を受け付ける、ことを特徴とする請求項１２に記載の情報処理装置。
15. 前記俯瞰画像または前記リスト表は、前記第２の仮想視点に対応した仮想視点画像と重ならないように前記第１の表示手段に表示される、または、前記第１の表示手段と異なる第２の表示手段に表示される
    ことを特徴とする請求項１４に記載の情報処理装置。
16. 前記切替情報を用いて、前記第２の仮想視点の移動を制御する移動制御手段をさらに有する、ことを特徴とする請求項１に記載の情報処理装置。
17. 前記移動制御手段は、前記指示を受け付ける前の所定時間における第１のオブジェクト情報を用いて当該第１のオブジェクトの移動方向および移動速度を算出し、算出結果に基づき、前記第２の仮想視点を自動制御する
    ことを特徴とする請求項１６に記載の情報処理装置。
18. 前記移動制御手段は、前記自動制御中に、前記受付手段が、前記指示による手動操作を検出したときに、前記仮想視点の制御を手動制御に切り替える
    ことを特徴とする請求項１６に記載の情報処理装置。
19. 前記第１のオブジェクトと前記第２のオブジェクトは同じである
    ことを特徴とする請求項１に記載の情報処理装置。
20. 前記第１のオブジェクトと前記第２のオブジェクトは異なる
    ことを特徴とする請求項１に記載の情報処理装置。
21. 仮想視点画像を生成するための仮想視点に関する指示を受け付ける受付工程と、
    前記受付工程で受け付けた指示において、第１の仮想視点から第２の仮想視点へ切り替える指示が含まれる場合、前記第１の仮想視点と当該第１の仮想視点に対応する仮想視点画像に含まれる第１のオブジェクトとの位置関係を示す切替情報を生成する生成工程と、
    前記切替情報に基づいて、前記第２の仮想視点と当該第２の仮想視点に対応する仮想視点画像に含まれる第２のオブジェクトとの位置関係が前記第１の仮想視点と前記第１のオブジェクトとの位置関係と同等となるように変更する変更工程と、
    変更された前記位置関係に従って変更された前記第２の仮想視点に対応する仮想視点画像を生成する画像生成工程と、
    を含む、ことを特徴とする情報処理方法。
22. コンピュータを、請求項１に記載の情報処理装置の各手段として機能させるためのプログラム。

Images