JP7132730B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理装置および情報処理方法に関する。

複数のカメラを異なる位置に設置して多視点で同期撮影し、撮影により得られた複数視点画像を用いて、任意に指定された仮想視点に応じた仮想視点画像を生成する技術が注目されている。上記の技術によれば、例えば、サッカーやバスケットボールなどにおける特定シーン（例えばゴールシーンなど）を様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。また、サーバなどの画像処理装置は、撮影対象の空間内の特定の位置に紐付けられた（例えば当該特定の位置に向けられた）複数のカメラが撮影した画像を集約し、三次元モデル生成及びレンダリングなどの処理を行い、生成した仮想視点画像をユーザ端末に伝送する。これにより、複数視点画像に基づく仮想視点画像の生成及び閲覧を実現できる。なお、特定の位置とは、サッカーで例えると、フィールド中央、ゴール前、ペナルティマークなどフィールド上の所定の位置のことである。なお、以降、複数のカメラが向けられる特定の位置を注視点と称する場合がある。

特許文献１には、ユーザ端末の位置及び方向に基づいて仮想視点の位置及び方向を決定する技術が開示されている。

特開２０１５－２２５５２９号公報

しかしながら、複数視点画像の撮影に用いられるカメラが、異なる特定位置に向けられる複数のカメラ群に分かれている場合、仮想視点画像を高画質に生成することができない場合が考えられる。例えば撮影対象がサッカーの試合であり、設置されたカメラの半分が一方のゴール前に向けられており、残りの半分が他方のゴール前に向けられている場合を考える。この場合に、一方のゴールの周辺の領域を含む仮想視点画像を、他方のゴール前の特定位置に向けられたカメラ群による撮影画像を用いて生成しようとすると、仮想視点画像の生成に失敗するか、あるいは生成される仮想視点画像の画質が低くなってしまう虞がある。なお、スポーツ競技に限らず、コンサートや他のイベントの視聴においても同様な問題が生じ得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、仮想視点画像の生成のために撮影を行う複数のカメラが、異なる特定位置に向けられる複数のカメラ群に分かれる場合に、高画質の仮想視点画像を生成することができる技術の提供にある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、複数の特定位置に対応する複数のカメラ群であって、対応する特定位置をそれぞれ異なる方向から撮影する複数のカメラを有するカメラ群の中から、１以上のカメラ群を選択する選択手段と、選択手段により選択されたカメラ群による撮影に基づく画像を、指定された仮想視点に応じた仮想視点画像の生成に用いる画像として決定する決定手段と、オブジェクトの軌跡の情報を取得する手段と、を備え、選択手段は、軌跡の情報から導かれる起点の位置に対応するカメラ群を選択する。

本発明によれば、仮想視点画像の生成のために撮影を行う複数のカメラが、異なる特定位置に向けられる複数のカメラ群に分かれる場合に、高画質の仮想視点画像を生成することができる。

実施の形態に係る画像処理システムの概略の一例を示す図。 実施の形態に係る画像処理システムの概略構成図。 図２の画像生成装置のハードウエアの構成の一例を示す図。 図２の情報処理装置の機能および構成の一例を示すブロック図。 イベント情報の構成を示すデータ構造図。 オブジェクト位置情報の構成を示すデータ構造図。 図２の画像生成装置の機能および構成の一例を示すブロック図。 注視点データの構成を示すデータ構造図。 図４の注視点決定部における一連の処理の流れを示すフローチャート。 注視点ユニット配置図の一例を示す模式図。 変形例に係る注視点データの構成を示すデータ構造図。 変形例に係る情報処理装置における一連の処理の流れを示すフローチャート。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、複数の撮影装置により撮影（撮像）された画像群を用いて仮想視点画像を生成する。この際、それぞれに対して複数のカメラが紐づく（向けられる）複数の特定位置（注視点）の中からひとつを選出して決定し、決定された特定位置に紐付く撮影装置で撮影された画像群を用いて仮想視点画像を生成する。これにより、決定された特定位置の周辺の領域を含む仮想視点画像を高画質に生成することができる。

図１は、実施の形態に係る画像処理システム２の概略の一例を示す図である。図１に示される通り、観客席１４と競技等を実際に行うフィールド１６とを有するスタジアム１２に、複数のカメラ１８が設置されている。複数のカメラ１８は、それぞれのカメラ１８が撮影対象であるフィールド１６の少なくとも一部を撮影するように、かつ、画角に重なりができるように、配置される。例えば、複数のカメラ１８は、フィールド１６と観客席１４とを囲むように設置される。また、ユーザ１０は観客席１４から競技を観戦している。ユーザ１０はユーザ端末を所持し、ライブ観戦を楽しむと共に、必要に応じてユーザ端末を操作してシュートや反則やゴールなどのイベントシーンを再生して確認する。本実施の形態では、この再生の指示に応じて、適切なイベントシーンの仮想視点画像が提供される。なお、仮想視点画像の再生のための操作は、撮影対象の競技場とは別の場所に存在するユーザ端末により行われてもよいし、競技の終了後に行われてもよい。

図２は、本実施の形態に係る画像処理システム２の概略構成図である。図２に示されるように、画像処理システム２は、スタジアム１２に設置された複数のカメラ１８と、画像生成装置２００と、情報処理装置１００と、ユーザ端末３００と、を有する。複数のカメラ１８は、伝送ケーブルを介して相互に接続され、かつ、画像生成装置２００とも接続される。複数のカメラ１８はそれぞれ、そのカメラ１８がフィールド１６を撮影することにより得られる画像を画像生成装置２００に伝送する。

図１に示す例では、サッカー場などのスタジアム１２の全てまたは一部の範囲が複数のカメラ１８で撮影されるように、複数のカメラ１８が配置される。複数のカメラ１８は、静止画像を取得するカメラであっても、動画像を取得するカメラであっても、静止画像および動画像の双方を取得するカメラであってもよい。本実施の形態では、画像という用語は、特に断りがない限り、静止画または動画のいずれであってもよいものとして説明を行う。

画像生成装置２００は、仮想視点画像を生成する装置である。画像生成装置２００は、複数のカメラ１８により撮影された画像（以下、撮影画像と称する場合がある）を蓄積する。画像生成装置２００は、複数のカメラ１８からの撮影画像を用いて、仮想視点画像群を生成する。仮想視点画像群は、それぞれが異なる仮想視点に対応する複数の仮想視点画像を含む。画像生成装置２００は、生成した仮想視点画像群と、注視点データと、を情報処理装置１００に伝送する。注視点データは、撮影対象のスタジアム１２内（撮影対象内）に設定された複数の注視点の位置などを示す情報である。各カメラ１８は設定された注視点の何れかに向けて設置され、各注視点は２以上のカメラ１８によりそれぞれ異なる方向から撮影される。画像生成装置２００は、例えば、サーバ装置であり、複数の撮影画像や生成した仮想視点画像群を記憶するデータベース機能と、仮想視点画像を生成するための画像処理機能と、を有する。また、スタジアム１２内の複数のカメラ１８と画像生成装置２００とは、有線もしくは無線の通信ネットワーク回線や、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などのケーブル回線で接続されている。画像生成装置２００は、この回線を通じて複数のカメラ１８から撮影画像を受信してデータベースに格納する。なお、注視点データの詳細については後述する。

情報処理装置１００は、画像生成装置２００で生成される仮想視点画像群から、ユーザ端末３００に提供する仮想視点画像を選択する。即ち、情報処理装置１００は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点や該仮想視点からの視線の方向を決定する装置である。情報処理装置１００は、画像生成装置２００から取得した注視点データが示す複数の注視点の中から１つの注視点を選択する。情報処理装置１００は、選択した注視点と、ユーザ端末３００から取得したユーザ端末情報と、に基づいて、生成すべき仮想視点画像の仮想視点や視線の方向を決定する。ユーザ端末情報は、例えば操作内容を示す端末操作情報や端末の位置を示す位置情報などを含む。端末操作情報は、仮想視点の指定や仮想視点画像の再生などの操作を示す情報を含む。情報処理装置１００は、決定した仮想視点画像の仮想視点および視線の方向に基づいて、仮想視点画像を画像生成装置２００により生成された仮想視点画像群から選択し、ユーザ端末３００へ出力する。なお、これに限らず、情報処理装置１００が決定した注視点と仮想視点を示す情報を画像生成装置２００へ送信してもよい。そして画像生成装置２００は、スタジアム１２に設置された複数のカメラ１８による撮影画像の中から、情報処理装置１００により決定された注視点に対応するカメラ群による撮影画像を選択する。そして画像生成装置２００は、選択された撮影画像を、指定された仮想視点に基づいて処理することで、仮想視点に応じた仮想視点画像を生成して情報処理装置１００へ出力してもよい。

情報処理装置１００は、例えば、パーソナルコンピュータである。なお、情報処理装置１００は、画像生成装置２００に組み込まれていてもよく、また、ユーザ端末３００に組み込まれていてもよい。即ち、情報処理装置１００は、画像生成装置２００と一体の装置であってもよいし、ユーザ端末３００と一体の装置であってもよい。

ユーザ端末３００は、本実施の形態に係る画像処理システム２を利用するユーザ１０が所持する情報処理装置である。なお、ユーザ端末３００は、ユーザ１０のＩＤと関連付けられている情報処理装置であってもよい。ユーザ端末３００は、情報処理装置１００から出力される仮想視点画像をユーザ端末３００が備える表示画面に表示させる。また、ユーザ端末３００は、ユーザ１０による入力に基づいて、例えば、仮想視点の位置の移動や仮想視点の視線方向の変更や仮想視点の切り替えの指示を受け付ける。ユーザ端末３００は、受け付けた指示の内容を示す仮想視点情報を含む伝送信号を生成し、情報処理装置１００へ伝送する。また、ユーザ端末３００は、位置情報に基づく仮想視点の自動設定を情報処理装置１００に要求する。

ユーザ端末３００は、例えば、パーソナルコンピュータであってもよく、あるいはスマートフォンやタブレットなどの携帯端末であってもよい。ユーザ端末３００は、例えば、マウス、キーボード、６軸コントローラおよびタッチパネルのうちの少なくとも１つを有する。ユーザ端末３００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位手段により位置情報を取得する機能を有する。

画像生成装置２００、情報処理装置１００及びユーザ端末３００は、例えば、インターネットなどのネットワークを介して相互に接続され、相互に情報のやり取りが可能なように構成される。装置間の通信は、無線通信であってもよいし有線通信であってもよいしそれらの組み合わせであってもよい。

図３は、画像生成装置２００のハードウエアの構成の一例を示す図である。情報処理装置１００、ユーザ端末３００はいずれも図３に示されるハードウエア構成と同様のハードウエア構成を有する。画像生成装置２００は、コントローラユニット５００と、操作ユニット５０９と、表示装置５１０と、を含む。

コントローラユニット５００は、ＣＰＵ５０１を有する。ＣＰＵ５０１は、ＲＯＭ５０２に格納されているブートプログラムによりＯＳ（ＯＰＥＲＡＴＩＮＧ ＳＹＳＴＥＭ）を起動する。ＣＰＵ５０１は、このＯＳ上で、ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）５０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ５０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ５０１の作業領域としてはＲＡＭ５０３が用いられる。ＨＤＤ５０４は、アプリケーションプログラムなどを格納する。なお、ＣＰＵ５０１は、１つのプロセッサであっても、複数のプロセッサであってもよい。

ＣＰＵ５０１は、システムバス５０８を介して、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤＤ５０４、操作部Ｉ／Ｆ５０５、表示部Ｉ／Ｆ５０６、および通信Ｉ／Ｆ５０７と相互に接続される。操作部Ｉ／Ｆ５０５は、操作ユニット５０９とのインタフェースである。操作部Ｉ／Ｆ５０５は、操作ユニット５０９によってユーザにより入力された情報をＣＰＵ５０１に送出する。操作ユニット５０９は、例えば、マウスおよびキーボードを有する。操作ユニット５０９はタッチパネルであってもよい。表示部Ｉ／Ｆ５０６は、表示装置５１０に表示すべき画像データを表示装置５１０に対して出力する。表示装置５１０は、液晶ディスプレイなどのディスプレイを有する。通信Ｉ／Ｆ５０７は、例えばイーサネット（登録商標）インタフェースなどの通信を行うためのインタフェースであり、伝送ケーブル（不図示）に接続される。通信Ｉ／Ｆ５０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ５０７は、無線通信を行うための回路やアンテナを含んでもよい。また、画像生成装置２００は、ケーブルやネットワークを介して接続された外部の表示装置に画像を表示させる表示制御を行うことも可能である。この場合、画像生成装置２００は、表示データを表示装置に出力することで表示制御を実現する。なお、図３で示された構成はいずれも必須の構成であるとは限らない。例えば画像生成装置２００において、表示装置５１０は必須の構成ではない。なお、上記ではコントローラユニット５００がＣＰＵ５０１を有するものとして説明したが、これに限らない。例えば、コントローラユニット５００は、ＣＰＵ５０１の代わりに、または、ＣＰＵ５０１と共に、ＡＳＩＣやＦＰＧＡなどのハードウエアを有していてもよい。この場合、ＡＳＩＣやＦＰＧＡなどのハードウエアが、ＣＰＵ５０１が行うべき処理の一部または全てを行ってもよい。

＜情報処理装置１００＞
図４は、本実施の形態に係る情報処理装置１００の機能および構成の一例を示すブロック図である。図４に示す各構成は、図３のＣＰＵ５０１がＲＯＭ５０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図４に示す構成の一部またはすべてを、専用のハードウエアにより実現してもよい。専用のハードウエアは、例えば、ＡＳＩＣやＦＰＧＡである。

情報処理装置１００は、制御部１０１と、記憶部１０２と、分離部１０３と、取得部１０４と、注視点決定部１０５と、仮想視点決定部１０６と、画像取得部１０７と、画像出力部１０８と、を有する。これらの部材は内部バス１０９によって相互に接続され、制御部１０１による制御の下、相互にデータを送受信することができる。

制御部１０１は、記憶部１０２に格納されているコンピュータプログラムに従って情報処理装置１００全体の動作を制御する。記憶部１０２は、ハードディスクなどの不揮発性メモリを有する。記憶部１０２の不揮発性メモリには、情報処理装置１００全体の動作を制御するコンピュータプログラム等が格納されている。分離部１０３は、画像生成装置２００から取得した仮想視点画像群と、注視点データと、を分離して出力する。

取得部１０４は、ユーザ１０に関する位置情報や端末操作情報をユーザ端末３００から取得する。取得部１０４は、ユーザ端末３００がＧＰＳで取得した位置情報をユーザ１０の位置情報としてユーザ端末３００から取得してよい。また、取得部１０４は、スタジアム１２の観客席１４の席番号などの位置を示す情報をユーザ端末３００から取得し、取得した情報に基づいてユーザ１０の位置情報を特定してもよい。位置情報の他に、取得部１０４（イベント取得手段）は、イベント情報およびオブジェクト位置情報を図示しない外部データベースから取得する。

図５は、イベント情報の構成を示すデータ構造図である。例えば、インベント情報は、事象（イベント）と、時間情報と、位置情報と、選手ＩＤと、で構成される。事象は、シュートや反則などといった選手が起こす事象である。時間情報は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）で構成され、事象が発生した時刻を示す。位置情報は、緯度経度のＤｅｇｒｅｅ形式を用いて、事象が発生した位置を示す。選手ＩＤは、アルファベットや数字で構成され、すべての選手に割り振られた識別番号である。イベント情報は、事象が発生した際、外部データベースから送られてくる。

図６は、オブジェクト位置情報の構成を示すデータ構造図である。オブジェクト位置情報は、時間情報と、位置情報と、で構成される。時間情報は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）で構成される。位置情報は、緯度経度のＤｅｇｒｅｅ形式を用いて、オブジェクト（例えば、ボールや選手）の位置を示す。オブジェクト位置情報は、外部データベースから周期的に、例えば毎秒、送られてくる。但し、これに限定されるものではなく、オブジェクト位置情報は一定間隔で外部データベースから送られてきてもよいし、何らかのイベントに応じて送られてきてもよい。また、イベント情報およびオブジェクト位置情報は、取得部１０４を介して記憶部１０２に蓄積されてもよい。なお、情報処理装置１００は、複数のカメラ１８による撮影に基づく画像を取得し、取得した画像に基づいてイベント情報及びオブジェクト位置情報の少なくとも何れかを生成してもよい。

図４に戻り、注視点決定部１０５は、画像生成装置２００から取得した注視点データの中から１つの注視点を決定する。その際、注視点決定部１０５は取得部１０４が取得したイベント情報および／またはオブジェクト位置情報を用いて注視点を決定してもよい。また注視点決定部１０５は、ユーザ端末３００から入力される操作情報（例えばユーザによる注視点の選択操作に応じた情報や、ユーザによる仮想視点の指定操作に応じた情報など）に基づいて注視点を決定してもよい。

仮想視点決定部１０６は、ユーザ端末３００へ出力する仮想視点画像に係る仮想視点の位置および視線の方向を決定する。以下、仮想視点決定部１０６は、仮想視点画像に係る仮想視点の位置として三次元座標上の位置を決定するものとして説明を行う。しかしながら、他の実施の形態では、仮想視点決定部１０６は二次元平面上の位置を決定してもよい。この場合、仮想視点決定部１０６は、仮想視点画像に係る仮想視点の位置の高さを、取得部１０４が取得した位置情報を用いることなく、任意の値または固定値に決定してもよい。

仮想視点決定部１０６は、取得部１０４がユーザ端末３００からユーザ端末情報を取得した場合、注視点決定部１０５で決定した注視点と、ユーザ端末情報に含まれる位置情報と、に基づいて、ユーザ端末３００へ出力する仮想視点画像の仮想視点の位置や視線の方向を決定してもよい。あるいは仮想視点決定部１０６は、ユーザによる仮想視点の指定操作に応じた情報をユーザ端末３００から取得し、その情報に基づいて仮想視点の位置や方向を決定してもよい。

画像取得部１０７は、仮想視点決定部１０６で決定した仮想視点および視線の方向に対応する仮想視点画像を取得する。なお、画像取得部１０７は、画像生成装置２００から受信した情報に基づいて仮想視点画像をレンダリングにより生成する機能を有していてもよい。

画像出力部１０８は、画像取得部１０７によって取得された仮想視点画像を、ユーザ端末３００に出力する。

＜画像生成装置２００＞
図７は、本実施の形態に係る画像生成装置２００の機能および構成の一例を示すブロック図である。画像生成装置２００は、制御部２０１と、記憶部２０２と、撮影画像入力部２０３と、画像記憶部２０４と、仮想視点画像生成部２０５と、注視点データ生成部２０６と、画像解析部２０７と、データ出力部２０８と、を有する。これらの部材は内部バス２０９によって相互に接続され、制御部２０１による制御の下、相互にデータを送受信することができる。

制御部２０１は、記憶部２０２に格納されているコンピュータプログラムに従って画像生成装置２００全体の動作を制御する。記憶部２０２は、ハードディスクなどの不揮発性メモリを有する。記憶部２０２の不揮発性メモリには、画像生成装置２００全体の動作を制御するコンピュータプログラム等が格納されている。

撮影画像入力部２０３はスタジアム１２に設置された複数のカメラ１８が撮影した画像を所定のフレームレートで取得し、画像記憶部２０４へ出力する。撮影画像入力部２０３は、有線もしくは無線の通信モジュール、或いはＳＤＩ等の画像伝送モジュールにより撮影画像を取得する。

画像記憶部２０４は、撮影画像入力部２０３より取得した撮影画像、及びそれらを元に生成された仮想視点画像群を記憶する大容量の記憶装置である。画像記憶部２０４としては、たとえば、磁気ディスク、光ディスク、半導体メモリ、等が使用される。なお、画像記憶部２０４は、画像生成装置２００に対して物理的に外部にあってもよい。また、画像記憶部２０４に記憶されている撮影画像及びそれを元に生成された仮想視点画像群は、画像フォーマットとして例えば、ＭＸＦ形式（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）で記憶される。画像記憶部２０４に記憶されている撮影画像及びそれを元に生成された仮想視点画像群は、例えば、ＭＰＥＧ２形式で圧縮される。ただしデータの形式はこれらに限定されない。

仮想視点画像生成部２０５は、画像記憶部２０４に記憶される複数の撮影画像から仮想視点画像群を生成する。仮想視点画像群を生成する方式として、例えば、イメージベースレンダリングを用いる方式が挙げられる。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）をしないで、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。また、仮想視点画像群を生成する方法は、イメージベースレンダリングに限られず、モデルベースレンダリング（ＭＯＤＥＬ－ＢＡＳＥＤ ＲＥＮＤＥＲＩＮＧ：ＭＢＲ）を用いてもよい。ＭＢＲとは、被写体を複数の方向から撮影することにより得られる複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的にＭＢＲは、視体積交差法、ＭＵＬＴＩ－ＶＩＥＷ－ＳＴＥＲＥＯ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。また、仮想視点画像生成部２０５は、生成した仮想視点画像群に含まれる各仮想視点画像に、対応する仮想視点と、対応する視線の方向と、後述する注視点データ生成部２０６で生成される注視点を示すデータと、を付与する。例えば、仮想視点画像生成部２０５は、仮想視点（の位置）と視線の方向と注視点を示すデータとを含むメタデータを仮想視点画像に付与してもよい。

ここで、仮想視点画像生成部２０５が生成する仮想視点画像群は様々な仮想視点の位置や視線の方向の仮想視点画像を含んでおり、そのような仮想視点画像群が１つの画像ストリームとして空間方向及び時間方向に圧縮符号化されているものとする。しかしながら、他の実施の形態では、仮想視点画像群は、１つの画像ストリームではなく、それぞれが独立した複数の画像から構成されてもよい。あるいはまた、仮想視点画像群は、圧縮符号化されていなくてもよい。

また、画像生成装置２００は、仮想視点画像群に代えて、例えば、三次元モデルを示す情報や該情報が示す三次元モデルにマッピングするための画像などの仮想視点画像を生成するための情報を生成してもよい。即ち、仮想視点画像生成部２０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置１００またはユーザ端末３００で仮想視点画像をレンダリングするために必要な情報を生成してもよい。

注視点データ生成部２０６は、画像解析部２０７によって取得される特定のオブジェクトまたは所定の位置の位置情報を用いて注視点データを生成し、仮想視点画像生成部２０５へ出力する。

図８は、注視点データの構成を示すデータ構造図である。注視点データは、例えば注視点ＩＤと、位置情報と、半径と、で構成される。ただし、注視点データは注視点の位置を特定可能な情報であればよく、具体的な内容はこれに限定されない。注視点ＩＤは、アルファベットや数字で構成され、すべての注視点に割り振られた識別番号である。位置情報は、緯度経度のＤｅｇｒｅｅ形式を用いて、注視点の中心座標を示す。半径は、中心座標からの距離であり、仮想視点画像を生成する際に有効な範囲を示す。なお、この中心座標と半径で規定される有効な範囲を示す円系の領域を注視点ユニットと呼ぶ。ある１つの注視点に向けられた複数のカメラ１８による撮影画像を用いて仮想視点画像を生成する場合、生成対象がその注視点に対応する注視点ユニットに含まれる領域の仮想視点画像であれば特に高画質に生成することが可能である。なお、注視点データは、画像解析部２０７による撮影画像の解析により取得されるものに限定されず、画像生成装置２００や情報処理装置１００に事前に登録されていてもよい。

図７に戻り、画像解析部２０７は、撮影画像入力部２０３に入力された撮影画像を解析し、注視点の位置情報を取得する。画像解析部２０７は、例えば、ビジュアルハルなどの技術を用いて、特定のオブジェクトまたは特定の位置の位置情報を注視点の位置情報として取得する。特定のオブジェクトとは、スポーツ競技の場合、特定の選手や審判などの人物、またはボールなどである。また、注視点は、フィールド中央、ゴール前、ペナルティマーク等のフィールド１６上の所定の位置であってもよい。また、複数のカメラ１８の光軸を共通の位置に向けるようにカメラ１８を設置した場合、注視点はその共通の位置であってもよい。

データ出力部２０８は、仮想視点画像生成部２０５で生成された仮想視点画像群を情報処理装置１００へ所定のフレームレートで出力する。

＜注視点決定処理＞
図９は、注視点決定部１０５における一連の処理の流れを示すフローチャートである。このフローチャートは、画像生成装置２００から取得した注視点データが示す複数の注視点の中から１つの注視点を決定する処理を示す。また、このフローチャートは、情報処理装置１００がユーザ端末３００から仮想視点画像の再生要求を受け付けた際に実施される。

Ｓ９０１で、注視点決定部１０５は、分離部１０３を介して注視点データを取得する。また、注視点決定部１０５は、取得部１０４を介してイベント情報とオブジェクト位置情報とを取得する。

Ｓ９０２で、注視点決定部１０５は、Ｓ９０１で取得した注視点データを用いて注視点ユニット配置図を生成する。図１０は、注視点ユニット配置図の一例を示す模式図である。図１０の１００１から１００７までは注視点を、１０１１から１０１７までは注視点ユニットを、それぞれ示す。注視点ユニットとは、注視点を中心とした円であり、仮想視点画像を生成する際に有効な範囲を示す。注視点決定部１０５は、注視点データに含まれる各注視点の中心座標と半径とを用いて注視点ユニットを生成し、生成された注視点ユニットをスタジアム１２の俯瞰図に配置した注視点ユニット配置図を生成する。なお、注視点ユニットは上記のものに限定されず、注視点を基準とする所定範囲であってもよい。また、注視点ユニットの形状は円に限定せず、多角形などの他の形状であってもよい。

図９に戻り、Ｓ９０３で、注視点決定部１０５は、Ｓ９０１で取得したイベント情報を用いて直近に発生した事象の有無を判定する。注視点決定部１０５は、仮想視点画像の再生要求を受け付けた時刻と当該時刻から一定時間だけ遡った時刻との間に事象が発生したか否かを判定する。例えば、一定時間が３０秒として、再生要求を１８：４２：１５に受け付けた場合、イベント情報が図５で示す内容であれば、「シュート２」が直近に発生した事象であると判定する。事象が有ると判定した場合（Ｓ９０３のＹｅｓ）、Ｓ９０４へ進み、事象が無いと判定した場合（Ｓ９０３のＮｏ）、Ｓ９０５へ進む。

Ｓ９０４で、注視点決定部１０５は、Ｓ９０３で有ると判定された直近に発生した事象に基づいて、複数の注視点ユニットの中から特定の注視点ユニットを選択する。注視点決定部１０５は、直近に発生した事象の位置情報をＳ９０１で取得したイベント情報の中から抽出し、抽出された位置情報に基づく事象の位置をＳ９０２で生成した注視点ユニット配置図に重畳させ、重畳させた位置が含まれる注視点ユニットを選択する。もし、事象の位置が何れの注視点ユニットにも含まれない場合、事象の位置に最も近い注視点ユニットが選択されてもよい。また、注視点決定部１０５は、事象に係る選手の一連の軌跡を解析し、軌跡の起点が含まれる注視点ユニットを特定の注視点ユニットとして選択してもよい。その場合、注視点決定部１０５は、直近に発生した事象に係る選手の選手ＩＤをＳ９０１で取得したイベント情報の中から抽出し、Ｓ９０１で取得したオブジェクト位置情報に基づいて選手ＩＤの軌跡を解析する。なお、解析の範囲は、事象が発生した時刻から一定時間だけ遡った時刻までであり、例えば、仮想視点画像の再生時間内のものであってもよい。ただし、注視点ユニットの選択に係る事象の抽出対象となる期間は上記に限定されない。例えば、受け付けられた再生要求が過去の特定の期間に対応する撮影画像に基づく仮想視点画像の再生に係るものである場合、当該特定の期間やその前後で発生した事象の位置に対応する注視点ユニットが選択されてもよい。

Ｓ９０５で、注視点決定部１０５は、Ｓ９０１で取得したオブジェクト位置情報を用いたイベント発生の予測に基づいて、複数の注視点ユニットの中から特定の注視点ユニットを選択する。注視点ユニットの選択は、例えば、ボールと選手とが含まれる注視点ユニットを特定の注視点ユニットとして選択するもの、または、ボールから最も近い注視点ユニットを選択するものであってもよい。あるいはまた、注視点ユニットの選択は、ボールから最も近い選手が含まれる注視点ユニットを選択するもの、または、ユーザにより指定された選手が含まれる注視点ユニットを選択するものであってもよい。あるいはまた、注視点ユニットの選択は、選手が密集している注視点ユニットを選択するものであってもよい。

なお、図９では所定期間におけるイベント発生の有無に基づいてＳ９０４の処理とＳ９０５の処理の何れかが選択されて実行されるものとしたが、これに限らない。例えば、常にＳ９０４の処理が行われてもよいし、常にＳ９０５の処理が行われてもよいし、Ｓ９０４の処理を行うかＳ９０５の処理を行うかを予め設定可能であってもよい。また、イベントの発生位置とオブジェクトの位置の両方に基づいて注視点ユニットが選択されてもよい。Ｓ９０６で、注視点決定部１０５は、Ｓ９０４またはＳ９０５で選択された注視点ユニットの中心座標である注視点を仮想視点決定部１０６へ出力する。

本実施の形態に係る画像処理システム２によると、所定のイベントの発生位置や所定のオブジェクトの位置に基づいて複数の注視点の中から特定の注視点を決定し、当該注視点に対応するカメラの撮影画像を用いて仮想視点画像を生成することができる。したがって、仮想視点画像を視聴するユーザにとって重要な領域（イベントの発生位置や所定のオブジェクトの位置を含む領域）の仮想視点画像を高画質に生成することができる。また、設置されたすべてのカメラの撮影画像を合成して仮想視点画像を生成する場合と比較して、仮想視点画像の生成に係る処理負荷やシステム内の伝送データ量を削減できる。また、本実施の形態によれば、直近に発生したイベントが無くても、イベント発生の予測に基づいて特定の注視点を決定することができるので、更なる利便性向上に繋がる。

（変形例）
以上、実施の形態に係る画像処理システム２の構成と動作について説明した。この実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述の実施の形態では、ユーザ端末３００から仮想視点画像の再生要求を受け付けた際に図９に示すフローチャートの処理を実施する場合を説明したが、これに限られない。注視点決定部１０５は、取得部１０４を介して最新のイベント情報を取得する度に、図９に示される処理を実施してもよい。この場合、情報処理装置１００は、その都度、ユーザ端末３００へ仮想視点画像を送信する。仮想視点画像を受信したユーザ端末３００は、表示を仮想視点画像の再生に切り替える。あるいはまた、ユーザ端末３００は、仮想視点画像の再生を促す通知を画面に表示してもよい。このようにすることで、直近に発生したイベントに係る仮想視点画像を見逃さずに視聴できる。

また上述の実施の形態では、イベントやオブジェクトの位置に基づいて特定の注視点を決定する場合を説明したが、これに限られない。例えば、ユーザが注視点を選択してもよい。この場合、情報処理装置１００は、注視点決定部１０５が生成した注視点ユニット配置図をユーザ端末３００へ送信する。注視点ユニット配置図を受信したユーザ端末３００は、ユーザに所望の注視点ユニットを選択させるために、注視点ユニット配置図をディスプレイに表示させる。情報処理装置１００は、表示された配置図に対するユーザ操作により決定された注視点ユニットをユーザ端末３００から受信し、その注視点ユニットに基づいて仮想視点画像を生成する。ただし、上述した実施形態のように、イベントの発生位置や所定のオブジェクトの位置に基づいて注視点を決定することで、注視点の選択に係るユーザの手間の削減や、ユーザ操作の誤りの回避が可能となる。また例えば、ユーザによる仮想視点の指定に基づいて注視点が選択されてもよい。この場合、情報処理装置１００は、ユーザ操作により指定された仮想視点を示す情報をユーザ端末３００から受信し、その仮想視点の位置を含む注視点ユニットに対応する注視点や、仮想視点に最も近い注視点を選択する。このような方法によれば、ユーザにより指定された仮想視点に応じた仮想視点画像を高画質に生成できる。ただし、上述した実施形態のように、イベントの発生位置などに基づいて注視点を決定することで、複数のユーザによりそれぞれ異なる仮想視点が指定される場合にも単一の注視点を適用して、画像生成装置２００から出力されるデータ量を削減できる。

また上述の実施の形態では、サッカーの試合を撮影する場合の例を説明したが、これに限られず、例えばラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブやコンサートなどの演奏の撮影にも、本実施の形態に係る技術的思想を適用できる。

また、情報処理装置１００により決定された注視点に基づいて、仮想視点画像の生成に係る仮想視点が決定されてもよい。例えば、決定された注視点に向くように仮想視点の方向が自動で決定されてもよいし、決定された注視点の近傍の位置になるように仮想視点の位置が自動で決定されてもよい。

また、注視点の選択に用いられる注視点データは図８に示すものに限定されない。図１１は、注視点データの構成の変形例を示すデータ構造図である。注視点データは、注視点ＩＤと、位置情報と、半径と、当該注視点に向けられる（当該注視点の位置をその画角に含む）少なくともひとつのカメラのＩＤである関連カメラＩＤと、を対応付けて保持する。図１１の例では、関連カメラＩＤ「Ｃ０１」、「Ｃ０２」で特定される２台のカメラの画角はそれぞれ、注視点ＩＤ「０１」で特定される注視点の位置を含む。

また、情報処理装置１００が、決定した注視点と仮想視点に基づいて仮想視点画像を生成して出力してもよい。図１２は、この場合の画像処理システム２における一連の処理の流れを示すフローチャートである。Ｓ１２１で、画像生成装置２００はスタジアム１２に設置されている複数のカメラ１８から撮影画像を取得する。Ｓ１２２で、情報処理装置１００はユーザ端末３００からの再生指示を待ち受ける。再生指示があると（Ｓ１２２のＹＥＳ）、Ｓ１２３で情報処理装置１００は注視点を決定する。Ｓ１２３における注視点の決定処理は、図９に示される注視点決定部１０５における一連の処理に倣う。Ｓ１２４で、情報処理装置１００は注視点データを参照し、Ｓ１２３で決定された注視点に対応するカメラからなるカメラ群を特定する。具体的には、情報処理装置１００は、図１１に示す注視点データにおいて、決定された注視点の注視点ＩＤに対応して保持されている関連カメラＩＤを特定する。なお、情報処理装置１００は、Ｓ１２３において複数の注視点を決定し、Ｓ１２４において当該複数の注視点に対応する複数のカメラ群の関連カメラＩＤを特定してもよい。

Ｓ１２５で、情報処理装置は、Ｓ１２４で特定されたカメラ群により撮影された画像を画像生成装置２００から取得する。Ｓ１２６で、情報処理装置１００は、Ｓ１２５で取得された画像から仮想視点画像を生成する。この際、情報処理装置は、ユーザ端末３００から再生指示と共に受信した仮想視点の位置及び方向を示す情報を用いる。Ｓ１２７で、情報処理装置は、生成された仮想視点画像をユーザ端末３００に出力する。

上記の処理によれば、決定された注視点に関連するカメラの撮影画像のみが画像生成装置２００から情報処理装置１００へ出力される。したがって、画像生成装置２００や情報処理装置１００の処理負荷を低減できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置、 ２００ 画像生成装置、 ３００ ユーザ端末、 １０５ 注視点決定部。

Claims (13)

1. 複数の特定位置に対応する複数のカメラ群であって、対応する特定位置をそれぞれ異なる方向から撮影する複数のカメラを有するカメラ群の中から、１以上のカメラ群を選択する選択手段と、
   前記選択手段により選択されたカメラ群による撮影に基づく画像を、指定された仮想視点に応じた仮想視点画像の生成に用いる画像として決定する決定手段と、
   オブジェクトの軌跡の情報を取得する手段と、を備え、
   前記選択手段は、軌跡の情報から導かれる起点の位置に対応するカメラ群を選択する、情報処理装置。
2. 前記選択手段は、前記複数の特定位置から１以上の特定位置を選択し、当該特定位置の選択に基づいて前記１以上のカメラ群を選択する請求項１に記載の情報処理装置。
3. ネットワークを介してユーザ端末から、指定された仮想視点の位置を示す情報を取得する手段と、
   前記決定手段による決定に応じた画像と取得された前記情報とに基づいて、前記仮想視点の位置に対応する仮想視点画像を取得する請求項１または２に記載の情報処理装置。
4. 前記複数のカメラ群の撮影対象に係るイベントの情報を取得するイベント取得手段をさらに備え、
   前記選択手段は、取得されたイベントの情報に基づいて前記１以上のカメラ群を選択する請求項１から３のいずれか一項に記載の情報処理装置。
5. ネットワークを介してユーザ端末から、再生指示を受け付ける手段をさらに備え、
   前記イベント取得手段は、前記再生指示を受け付けた時刻または当該時刻の直近で発生したイベントの情報を取得する請求項４に記載の情報処理装置。
6. 前記イベント取得手段により取得されるイベントの情報は、当該イベントが発生した時刻と、当該イベントが発生した位置と、当該イベントに関わるオブジェクトと、を含む請求項４または５に記載の情報処理装置。
7. 前記選択手段により選択されるカメラ群に対応する特定位置を基準とする所定範囲は、取得されたイベントが発生した位置を含む請求項４に記載の情報処理装置。
8. 前記選択手段により選択されるカメラ群に対応する特定位置を基準とする所定範囲は、軌跡の情報から導かれる起点を含む請求項４に記載の情報処理装置。
9. 前記オブジェクトは、人物またはボールである請求項１から８の何れか一項に記載の情報処理装置。
10. オブジェクトの位置の情報を取得する手段をさらに備え、
    前記選択手段は、取得されたオブジェクトの位置の情報に基づいて前記１以上のカメラ群を選択する請求項１から３のいずれか一項に記載の情報処理装置。
11. 複数の撮影装置のそれぞれが撮影対象の少なくとも一部を撮影することにより得られる画像群を用いて仮想視点画像を生成する情報処理装置であって、
    前記撮影対象内の位置を決定する決定手段と、
    決定された位置をその画角に含む少なくともひとつの撮影装置で撮影された画像を用いて生成された仮想視点画像を取得する取得手段と、
    オブジェクトの軌跡の情報を取得する手段と、を備え、
    前記少なくともひとつの撮影装置は、前記複数の撮影装置の中から、前記軌跡の情報から導かれる基点の位置に対応する撮影装置として選択される、情報処理装置。
12. 複数の特定位置に対応する複数のカメラ群であって、対応する特定位置をそれぞれ異なる方向から撮影する複数のカメラを有するカメラ群の中から、オブジェクトの軌跡の情報から導かれる起点の位置に対応する１以上のカメラ群を選択することと、
    選択されたカメラ群による撮影に基づく画像を、指定された仮想視点に応じた仮想視点画像の生成に用いる画像として決定することと、
    前記軌跡の情報を取得することと、を含む情報処理方法。
13. コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images