JP2019140483A - 画像処理システム、画像処理システムの制御方法、伝送装置、伝送方法及びプログラム - Google Patents

Abstract

【課題】伝送路の帯域に制限がある状況であっても、仮想視点画像において、前景の再現性を高める。【解決手段】本発明は、複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムにおいて、所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出手段と、前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段とを備える。【選択図】図１２

Description

本発明は、被写体を複数の方向から撮影するための複数のカメラを備えた画像処理システムに関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、その撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。この複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することを可能とするため、ユーザに高臨場感を与えることができる。

一方で、カメラで取得した画像（映像）をネットワークで伝送する際には、その映像の符号量がネットワークの帯域を超過しないように制御する必要がある。ここで、特許文献１には、複数の監視カメラを同一のネットワークに接続し、映像を伝送する際、複数の監視カメラ映像の総符号量が所定の帯域（容量）を超過しないように、フレームレートを制御する方法が開示されている。また、特許文献２には、複数の監視カメラを同一のネットワークに接続し、映像を伝送する際、目標被写体等の重要領域を含む映像信号（即ち、重要領域を捉えるカメラ）の優先度を高く設定することで、フレームレートを制御する方法が開示されている。

特開２００４−３２６８０号公報 特開２００７−２２１３６７号公報

また、他方で、仮想視点コンテンツの画質において、重要な要素の一つに、前景（例えば、人物等）の再現性がある。この前景の再現性に関して、如何に異なる位置にある多数のカメラで、その被写体を捉えられているかが重要になる。これは、仮想視点コンテンツを生成する際に、仮想視点近傍に位置するカメラの映像を主として用いることに関係しており、そのカメラの位置が仮想視点に近ければ近いほど、再現性の高い前景が得られるためである。

そして、この前景の再現性を踏まえると、特許文献１に記載の方法では、同一ネットワーク上のカメラのフレームレートを一律で制御するため、送信しないと判定されたフレームに関して、仮想視点コンテンツの生成に用いることができなくなる。また、特許文献２に記載の方法は、上述のように、重要領域を捉えるカメラの優先度を高く設定するが、一つの注視点を囲んで撮影するような場合においては、重要領域を捉えるカメラが多数となるため、優先度の設定が難しくなる。そのため、特許文献１に記載の方法と特許文献２に記載の方法のいずれの方法においても、再現性の高い前景を取得することができない可能性がある。

本発明は、上記従来の問題に鑑みてなされたものであって、伝送路の帯域に制限がある状況であっても、仮想視点画像において、前景の再現性を高めることを目的とする。

上記目的を達成するために、本発明は、複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムにおいて、所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出手段と、前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段と、を備えることを特徴とする。

本発明によれば、伝送路の帯域に制限がある状況であっても、仮想視点画像において、前景の再現性を高めることができる。

画像処理システムの構成を示すブロック図である。 カメラアダプタの機能ブロック図である。 画像処理部の機能ブロック図である。 フロントエンドサーバの機能ブロック図である。 データ入力制御部の機能ブロック図である。 データベースの機能ブロック図である。 バックエンドサーバの機能ブロック図である。 前景画像と背景画像を説明するための概念図である。 符号量制御処理の手順を示すフローチャートである。 視野重複マップを説明するための図である。 量子化パラメータ、圧縮率、視野重複度の関係を説明するための図である。 初期フレームの量子化パラメータを決定する処理の手順を示すフローチャートである。 符号量制御処理の手順を示すフローチャートである。 量子化パラメータと視野重複度の関係を説明するための図である。

（第１の実施形態）
図１は、本実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システム１００は、例えば、競技場（スタジアム）やコンサートホール等の施設に、複数のカメラ及びマイクを設置することで、撮影及び集音を行うシステムである。画像処理システム１００は、センサシステム１１０ａ−１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スィッチングハブ１８０、及びエンドユーザ端末１９０を有する。

コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ（User Interface）３３０を有する。制御ステーション３１０は、画像処理システム１００を構成する各々のブロックに対してネットワーク３１０ａ−３１０ｃ、１８０ａ、及び１８０ｂ、並びにデイジーチェーン１７０ａ−１７０ｙを通じて、動作状態の管理及びパラメータ設定制御等を行う。なお、これらのネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組み合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

先ず、センサシステム１１０ａ−１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００に送信する処理について説明する。なお、本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せず、センサシステム１１０と記載する。同様に、各センサシステム１１０内の装置についても、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。また、本実施形態では、センサシステムの台数を２６セットとして説明するが、あくまでも一例であり、センサシステムの台数は、必ずしもこれに限定されない。

さらに、本実施形態において、特に断りがない限り、画像という用語には、静止画と動画の概念が含まれるものとする。即ち、本実施形態の画像処理システム１００では、静止画及び動画のいずれについても処理対象とすることができる。加えて、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツとして、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、画像処理システム１００により提供される仮想視点コンテンツは、必ずしもこれに限定されない。したがって、例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であってもよい。その他、本実施形態では、説明の簡略化のため、部分的に音声に関する記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

図１に示されるように、本実施形態の画像処理システム１００において、センサシステム１１０は、各々１台ずつのカメラ１１２を有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。

複数のセンサシステム１１０（即ち、センサシステム１１０ａ−１１０ｚ）は、デイジーチェーンにより接続される。このように、デイジーチェーンにより接続することで、撮影画像の４Ｋや８Ｋ等への高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数を削減することや配線作業を省力化することができる。

なお、センサシステム１１０を接続する形態としては、必ずしもこれに限定されない。したがって、例えば、各々のセンサシステム１１０ａ−１１０ｚをスィッチングハブ１８０に接続し、スィッチングハブ１８０を経由させて、センサシステム１１０間のデータ通信を行うスター型のネットワーク構成としてもよい。

また、図１では、センサシステム１１０ａ−１１０ｚの全てが、デイジーチェーンで接続されるように、カスケード接続される構成を示したが、必ずしもこれに限定されない。したがって、例えば、センサシステム１１０をいくつかのグループに分割して、その分割したグループ単位でデイジーチェーン接続してもよい。その場合、分割したグループの終端となるカメラアダプタ１２０が、スィッチングハブ１８０に接続され、画像コンピューティングサーバ２００に画像を入力するようにしてもよい。

このような構成は、スタジアムにおいて、特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合を想定する。この場合、センサシステム１１０を上述の構成とすることで、フロア毎、或いはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができる。このように、センサシステム１１０の全てを１つのデイジーチェーンで接続する配線が困難な場所であっても、設置の簡便化及びシステムの柔軟化を図ることができる。

また、デイジーチェーンで接続された構成において、画像コンピューティングサーバ２００に画像を出力するカメラアダプタ１２０が１つであるか、２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御を切り替える。即ち、画像処理システム１００では、センサシステム１１０が複数のグループに分割されているかどうかに応じて、画像コンピューティングサーバ２００での画像処理の制御を切り替える。

ここで、画像を出力するカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像を伝送しながら競技場の全周画像を生成するため、画像コンピューティングサーバ２００において、全周の画像データが揃うタイミングは、同期が取れている。即ち、センサシステム１１０がグループに分割されていなければ、同期を取ることができる。しかし、画像を出力するカメラアダプタ１２０が複数になる場合（即ち、センサシステム１１０が複数のグループに分割される場合）、各々のデイジーチェーンのレーン（経路）によって遅延が異なることが想定される。そこで、センサシステム１１０を複数のグループに分割する場合には、画像コンピューティングサーバ２００において全周の画像データが揃うまで待機させることで同期を取る同期制御によって、画像データの集結を確認しながら、後段の画像処理を実行する。

センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、センサシステム１１０ａの構成は、必ずしも、この構成に限定されるものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａ又は１台のマイク１１１ａを有していればよい。また、例えば、センサシステム１１０ａに関して、１台のカメラアダプタ１２０ａと複数のカメラ１１２ａを有するように構成させてもよいし、複数のカメラアダプタ１２０ａと１台のカメラ１１２ａを有するように構成させてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０は、Ｎ対Ｍ（ＮとＭは共に１以上の整数）で構成される。

さらに、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を備えていてもよい。また、カメラ１１２ａとカメラアダプタ１２０ａが一体となって構成されてもよい。加えて、カメラアダプタ１２０の機能の少なくとも一部を、フロントエンドサーバ２３０が有するようにしてもよい。

以上、センサシステム１１０ａについて説明したが、本実施形態では、センサシステム１１０ｂ−１１０ｚについても、センサシステム１１０ａと同様の構成であることから、その説明を省略する。なお、センサシステム１１０ｂ−１１０ｚの構成は、センサシステム１１０ａと同じ構成に限定されるものではなく、各々のセンサシステム１１０がセンサシステム１１０ａと異なる構成を有してもよい。

センサシステム１１０ａは、上述の構成において、マイク１１１ａにより集音した音声と、カメラ１１２ａにより撮影した画像に対して、カメラアダプタ１２０ａにおいて後述の画像処理を施す。センサシステム１１０ａは、その画像処理を施すと、デイジーチェーン１７０ａを介して、センサシステム１１０ｂのカメラアダプタ１２０ｂに伝送する。同様に、センサシステム１１０ｂは、集音した音声と撮影した画像に対して画像処理を施し、センサシステム１１０ａから取得した画像及び音声と併せて、センサシステム１１０ｃに伝送する。

これらの動作を順に繰り返すことで、センサシステム１１０ａ−１１０ｚにより取得された画像及び音声は、センサシステム１１０ｚから１８０ｂを介して、スィッチングハブ１８０に伝送され、さらに、画像コンピューティングサーバ２００に伝送される。

なお、本実施形態では、カメラ１１２ａ−１１２ｚとカメラアダプタ１２０ａ−１２０ｚを分離して構成させているが、同一筺体で一体化してもよい。その場合、マイク１１１ａ−１１１ｚを一体化したカメラ１１２に内蔵してもよいし、カメラ１１２の外部に接続してもよい。

次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０（以下、ＤＢとも記載する）、バックエンドサーバ２７０、及びタイムサーバ２９０を有する。

タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スィッチングハブ１８０を介してセンサシステム１１０ａ−１１０ｚに時刻及び同期信号を配信する。時刻及び同期信号を受信したカメラアダプタ１２０ａ−１２０ｚは、時刻及び同期信号に基づいて、カメラ１１２ａ−１１２ｚをＧｅｎｌｏｃｋさせ、画像（フレーム）の同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は、同じタイミングで撮影された複数の画像（以下、撮影画像とも記載する）に基づいて仮想視点画像を生成できるので、撮影タイミングのずれによる仮想視点画像の品質低下を抑制することができる。なお、本実施形態では、タイムサーバ２９０が複数のカメラ１１２の時刻同期を管理する仕様としているが、必ずしもこれに限定されることなく、時刻同期に関する処理を各カメラ１１２又は各カメラアダプタ１２０が独立して実行してもよい。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、カメラの識別子、データ種別、及びフレーム番号に応じて、データベース２５０にデータを書き込む。

データベース２５０は、フロントエンドサーバ２３０から受信したデータへのアクセスが可能になるようにデータベーステーブルを作成する。また、バックエンドサーバ２７０から要求されたデータが、キャッシュ、一次ストレージ、又は二次ストレージのいずれかに保存されているかを判定し、保存先からデータを読み出してバックエンドサーバ２７０に送信する。

バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、その受け付けた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。

なお、画像コンピューティングサーバ２００の構成は、必ずしもこれに限定されない。したがって、例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち、少なくとも２つが一体となって構成されてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくともいずれかが複数含まれて構成されてもよい。さらに、画像コンピューティングサーバ２００内の任意の位置に、上述の装置以外の装置が含まれて構成されてもよい。その他、画像コンピューティングサーバ２００の機能の少なくとも一部を、エンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有するように構成させてもよい。

レンダリング処理された画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、ユーザは、エンドユーザ端末１９０を操作することで、視点の指定に応じた画像閲覧及び音声視聴を行うことができる。即ち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報に基づいて、仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば、複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。なお、カメラアダプタ１２０による所定領域の画像データを抽出する処理の詳細については、後述することで説明を補足する。

なお、本実施形態において、仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に取得される画像としての仮想視点画像（即ち、指定された視点における見えを表す画像）を含むものとする。また、仮想的な視点（仮想視点）は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて、自動的に指定されてもよい。即ち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。加えて、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。

補足として、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる例を中心に説明するが、必ずしも音声データが含まれていなくてもよい。さらに、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化した上で、ＭＰＥＧ−ＤＡＳＨプロトコルを用いてエンドユーザ端末１９０に送信してもよい。また、仮想視点画像を、非圧縮でエンドユーザ端末１９０に送信してもよい。なお、この場合、圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。即ち、エンドユーザ端末１９０の種別に応じて、画像フォーマットを切り替えることができる。その他、画像の送信プロトコルは、ＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（HTTP Live Streaming）やそれ以外の送信方法を用いることもできる。

このように、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０−１１０ｚを、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を備える。

なお、画像処理システムの構成は、必ずしも本構成に限定されず、例えば、仮想カメラ操作ＵＩ３３０が直接、センサシステム１１０ａ−１１０ｚから画像を取得する構成とすることもできる。但し、本実施形態では、上述のように、センサシステム１１０ａ−１１０ｚから直接、画像を取得する構成ではなく、データ保存機能を中間に配置する構成としている。具体的には、フロントエンドサーバ２３０が、センサシステム１１０ａ−１１０ｚにより生成された画像データ、音声データ及びそれらのメタ情報を、データベース２５０の共通スキーマ及びデータ型に変換する構成としている。これにより、センサシステム１１０ａ−１１０ｚのカメラ１１２が他機種のカメラに変更されても、変更された差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。即ち、これにより、カメラ１１２が他機種カメラに変更された場合であっても、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減することができる。

また、仮想カメラ操作ＵＩ３３０に関して、直接データベース２５０にアクセスせずに、バックエンドサーバ２７０を介してデータベース２５０にアクセスする構成としている。即ち、画像生成処理に関する共通処理をバックエンドサーバ２７０で実行し、操作ＵＩに関するアプリケーションの差分を仮想カメラ操作ＵＩ３３０で実行している。

このような構成とすることで、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に関する開発に注力することができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて、画像生成処理に関する共通処理を追加又は削除することも可能である。このように、仮想カメラ操作ＵＩ３３０の要求に対して、柔軟に対応することができる。

以上のように、画像処理システム１００において、カメラ１１２（即ち、カメラ１１２ａ−１１２ｚ）により被写体を複数の方向から撮影した画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００に関して、上述では物理的な構成として説明したが、その構成は必ずしも物理的である必要はなく、論理的に構成されてもよい。

次に、図１の画像処理システム１００における各ノード（カメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、仮想カメラ操作ＵＩ３３０、エンドユーザ端末１９０）に関して、順に説明する。

図２は、本実施形態におけるカメラアダプタ１２０の機能ブロック図である。カメラアダプタ１２０は、図２に示されるように、ネットワークアダプタ０６１１０、伝送部０６１２０、画像処理部０６１３０、及び外部機器制御部０６１４０を有する。

ネットワークアダプタ０６１１０は、データ送受信部０６１１１及び時刻制御部０６１１２を有する。なお、本実施形態では、ネットワークアダプタ０６１１０としてＮＩＣ（Network Interface Card）を用いるが、ＮＩＣに限定されるものではなく、同様の他のＩｎｔｅｒｆａｃｅを用いてもよい。

データ送受信部０６１１１は、デイジーチェーン１７０、ネットワーク１８０ｂ、及びネットワーク３１０ａを介して、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。

例えば、データ送受信部０６１１１は、カメラ１１２による撮影画像から前景背景分離部０６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に出力する。そして、各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づく仮想視点画像が生成される。なお、出力先のカメラアダプタ１２０は、画像処理システム１００のカメラアダプタ１２０のうち、データルーティング処理部０６１２２の処理に応じて、予め定められた順序に従って設定される。また、カメラアダプタ１２０に関して、撮影画像から分離した前景画像のみを出力し、背景画像を出力しないカメラアダプタ１２０があってもよい。

時刻制御部０６１１２は、例えば、ＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０との時刻同期を行う機能を備える。なお、ＩＥＥＥ１５８８は、ＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Precision Time Protocol Version2）とも呼ばれる。また、タイムサーバ２９０との時刻同期に関して、必ずしもＩＥＥＥ１５８８規格に準拠させる必要はなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコル等によってタイムサーバ２９０との時刻同期を実現してもよい。

伝送部０６１２０は、ネットワークアダプタ０６１１０を介して、スィッチングハブ１８０等に対するデータの伝送を制御する。伝送部０６１２０は、データ圧縮・伸張部０６１２１、データルーティング処理部０６１２２、時刻同期制御部０６１２３、画像・音声伝送処理部０６１２４、及びデータルーティング情報保持部０６１２５を有する。以下、各々の機能について説明する。

データ圧縮・伸張部０６１２１は、データ送受信部０６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用して圧縮を行う機能と、その圧縮されたデータを伸張する機能を有する。

データルーティング処理部０６１２２は、後述するデータルーティング情報保持部０６１２５が保持するデータを用いて、データ送受信部０６１１１が受信したデータ及び画像処理部０６１３０が処理したデータのルーティング先を決定する。データルーティング処理部０６１２２は、さらに、決定したルーティング先にデータを送信する。そして、複数のカメラアダプタ１２０各々のデータルーティング処理部０６１２２による決定に応じて、画像処理システム１００において、前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が設定される。

なお、ルーティング先として、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０を設定するのが、各々のカメラ１１２同士の画像フレームの相関が高いことから、画像処理を実行する上で好適である。

時刻同期制御部０６１２３は、例えば、ＩＥＥＥ１５８８規格のＰＴＰ（Precision Time Protocol）に準拠し、タイムサーバ２９０との時刻同期を行う機能を備える。なお、タイムサーバ２９０との時刻同期に関して、必ずしもＩＥＥＥ１５８８規格のＰＴＰに準拠させる必要はなく、他の同様のプロトコルを用いて時刻同期を実現してもよい。

画像・音声伝送処理部０６１２４は、画像データ又は音声データを、データ送受信部０６１１１を介して他のカメラアダプタ１２０又はフロントエンドサーバ２３０に転送するためのメッセージを作成する機能を有している。なお、メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。また、メタ情報には、画像の撮影又は音声のサンプリングをしたときのタイムコード又はシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子等が含まれる。その他、送信する画像データ又は音声データは、データ圧縮・伸張部０６１２１によりデータ圧縮がなされていてもよい。

また、画像・音声伝送処理部０６１２４は、他のカメラアダプタ１２０からデータ送受信部０６１１１を介してメッセージを受信する。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データ又は音声データに復元する。なお、データを復元したときにデータが圧縮されている場合は、データ圧縮・伸張部０６１２１により伸張処理が実行される。

データルーティング情報保持部０６１２５は、データ送受信部０６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する。なお、ルーティング方法については後述する。

画像処理部０６１３０は、カメラ制御部０６１４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受信した画像データに対して処理を施す。画像処理部０６１３０は、前景背景分離部０６１３１、三次元モデル情報生成部０６１３２、及びキャリブレーション制御部０６１３３を有する。以下、各々の機能について説明する。

前景背景分離部０６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する。具体的には、複数のカメラアダプタ１２０の各々において、前景背景分離部０６１３１は、対応するカメラ１１２の撮影画像から所定領域を抽出する。ここで、所定領域は、例えば、撮影画像に対するオブジェクト検出の結果、取得される前景画像であり、また、この抽出により、前景背景分離部０６１３１は、撮影画像を前景画像と背景画像に分離する。

ここで、オブジェクトとは、例えば人物等であり、選手、監督、及び／又は審判等の特定の人物であってもよい。また、ボールやゴール等、画像パターンが予め定められている物体であってもよい。その他、オブジェクトとして、動体が検出されるようにしてもよい。例えば、人物を重要なオブジェクトとして設定する場合、図８（ａ）に示すように、人物を含む前景画像と、図８（ｂ）に示すようにオブジェクト（人物）を含まない背景画像を分離して処理する。

これにより、画像処理システム１００において生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上させることができる。また、複数のカメラアダプタ１２０の各々において前景と背景を分離することで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。補足として、所定領域は前景画像に限らず、例えば、背景画像等であってもよい。

三次元モデル情報生成部０６１３２は、前景背景分離部０６１３１で分離された前景画像、及び他のカメラアダプタ１２０から受信した前景画像を用いて、例えば、ステレオカメラの原理等を適用することで、三次元モデルに関する画像情報を生成する。

キャリブレーション制御部０６１３３は、キャリブレーションに必要な画像データを、カメラ制御部０６１４１を介してカメラ１１２から取得し、キャリブレーションに関する演算処理を実行するフロントエンドサーバ２３０に送信する。なお、本実施形態では、キャリブレーションに関する演算処理をフロントエンドサーバ２３０で実行しているが、キャリブレーションに関する演算処理を実行するノードは必ずしもフロントエンドサーバ２３０に限定されない。したがって、例えば、制御ステーション３１０やカメラアダプタ１２０（この場合、他のカメラアダプタ１２０を含む）等、他のノードで演算処理を実行してもよい。

また、キャリブレーション制御部０６１３３は、カメラ制御部０６１４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う。

外部機器制御部０６１４０は、カメラアダプタ１２０に接続する機器を制御する。外部機器制御部０６１４０は、カメラ制御部０６１４１、マイク制御部０６１４２、雲台制御部０６１４３、及びセンサ制御部０６１４４を有する。以下、各々の機能について説明する。

カメラ制御部０６１４１は、カメラ１１２と接続され、カメラ１１２の制御、撮影画像の取得、同期信号の提供、及び時刻設定等を行う。ここで、カメラ１１２の制御には、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランス等）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラー等）の取得、撮影の開始及び停止、並びにピント調整等がある。

なお、本実施形態では、カメラ１１２を介してピント調整を行う仕様としているが、取り外し可能なレンズがカメラ１１２に装着されている場合には、カメラアダプタ１２０をレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ１２０が、カメラ１１２を介してズーム等のレンズ調整を行ってもよい。

加えて、同期信号の提供は、時刻同期制御部０６１２３がタイムサーバ２９０と同期した時刻を用いて、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。さらに、時刻設定は、時刻同期制御部０６１２３がタイムサーバ２９０と同期した時刻を、例えば、ＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受信する画像データに、提供されたタイムコードが付与される。なお、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットを用いてもよい。また、カメラ制御部０６１４１は、カメラ１１２に対するタイムコードの提供は行わず、カメラ１１２から受信した画像データにタイムコードを付与してもよい。

マイク制御部０６１４２は、マイク１１１と接続され、マイク１１１の制御、収音の開始及び停止、また、収音された音声データの取得等を行う。マイク１１１の制御は、例えば、ゲイン調整や、状態取得等である。また、マイク制御部０６１４２は、カメラ制御部０６１４１と同様に、マイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報が例えば、４８ＫＨｚのワードクロックに変換されてマイク１１１に供給される。

雲台制御部０６１４３は、雲台１１３と接続され、雲台１１３の制御を行う。雲台１１３の制御は例えば、パン・チルト制御や状態取得等がある。センサ制御部（内部センサ）０６１４４は、外部センサ１１４と接続され、外部センサ１１４がセンシングしたセンサ情報を取得する。例えば、外部センサ１１４としてジャイロセンサが用いられる場合は、振動の程度を表す情報（振動情報）を取得することができる。この場合、例えば、センサ制御部０６１４４が取得した振動情報を用いて、画像処理部０６１３０は、前景背景分離部０６１３１での処理に先立って、振動を抑えた画像を生成することができる。

振動情報は例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に用いられる。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬した場合であっても、位置合わせを行うことができる。そして、その結果、電子的に防振された画像データ（即ち、振動の影響が画像処理により低減された画像データ）を生成することができ、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減することができる。なお、センサシステム１１０のセンサは、必ずしも外部センサ１１４に限定されるわけではなく、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果を得ることができる。

図３は、カメラアダプタ１２０内部の画像処理部０６１３０の機能ブロック図である。以下、キャリブレーション制御部０６１３３、前景背景分離部０６１３１、三次元モデル情報生成部０６１３２の各々に関して、説明を補足する。

キャリブレーション制御部０６１３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因する画像のブレを低減させて画像の位置を安定させるためのブレ補正処理（電子防振処理）等を行う。

前景背景分離部０６１３１は、図３に示されるように、前景分離部０５００１、背景更新部０５００３、及び背景切出部０５００４を有する。前景分離部０５００１は、カメラ１１２の画像に関して位置合わせが行われた画像データに対して、背景画像０５００２との比較により前景画像の分離処理を行う。背景更新部０５００３は、背景画像０５００２とカメラ１１２の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像０５００２を新しい背景画像に更新する。背景切出部０５００４は、背景画像０５００２の一部を切り出す制御を行う。

三次元モデル情報生成部０６１３２は、図３に示されるように、三次元モデル処理部０５００５、他カメラ前景受信部０５００６、及びカメラパラメータ受信部０５００７を有する。三次元モデル処理部０５００５は、前景分離部０５００１で分離された前景画像と、伝送部０６１２０を介して受信した他のカメラ１１２の前景画像を用いて、例えば、ステレオカメラの原理等から三次元モデルに関する画像情報を逐次、生成する。他カメラ前景受信部０５００６は、他のカメラアダプタ１２０で前景背景分離された前景画像を受信する。カメラパラメータ受信部０５００７は、カメラ固有の内部パラメータ（例えば、焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（例えば、回転行列及び位置ベクトル等）を受信する。これらのパラメータは、後述のキャリブレーション処理で取得される情報であり、制御ステーション３１０から対象となるカメラアダプタ１２０に対して送信及び設定される。

図４は、本実施形態におけるフロントエンドサーバ２３０の機能ブロック図である。フロントエンドサーバ２３０は、図４に示されるように、各種機能ブロック（制御部０２１１０−ＤＢアクセス制御部０２１９０）を有する。以下、各々の機能について説明する。

制御部０２１１０は、ＣＰＵ、ＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。なお、ＤＲＡＭは、Dynamic Random Access Memory の略である。

制御部０２１１０は、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体を制御する。加えて、制御部０２１１０は、モード制御を行うことで、キャリブレーション動作、撮影前の準備動作、及び撮影中動作等の動作モードを切り替える。制御部０２１１０は、さらに、Ｅｔｈｅｒｎｅｔ（登録商標）を通じて制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力等を行う。また、制御部０２１１０は、同様にネットワークを通じて制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部０２１３５と撮影データファイル生成部０２１８０に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）は、スタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、必ずしもＣＡＤ形式に限定されない。

データ入力制御部０２１２０は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信路とスィッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続される。データ入力制御部０２１２０は、ネットワークを介してカメラアダプタ１２０から前景画像、背景画像、被写体の三次元モデル（三次元形状）、音声データ、及びカメラキャリブレーション撮影画像データを取得する。

ここで、前景画像は仮想視点画像の生成のための撮影画像の前景領域に基づく画像データであり、背景画像は、その撮影画像の背景領域に基づく画像データである。カメラアダプタ１２０は、カメラ１１２による撮影画像に対する所定のオブジェクトの検出処理の結果に応じて、前景領域及び背景領域を特定し、前景画像及び背景画像を生成する。なお、所定のオブジェクトとは、例えば、人物等であり、選手、監督、及び／又は審判等の特定の人物であってもよい。また、所定のオブジェクトには、ボールやゴール等、画像パターンが予め定められている物体が含まれてもよい。その他、所定のオブジェクトとして、動体が検出されるようにしてもよい。

データ入力制御部０２１２０は、受信したデータの圧縮伸張やデータルーティング処理等を行う。データ入力制御部０２１２０は、さらに、前景画像及び背景画像をデータ同期部０２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部０２１４０に送信する。なお、制御部０２１１０とデータ入力制御部０２１２０は共にＥｔｈｅｒｎｅｔ（登録商標）等のネットワークによる通信機能を有しているが、当該通信機能により制御部０２１１０とデータ入力制御部０２１２０の通信を行ってもよい。その場合、例えば、データ入力制御部０２１２０は、制御ステーション３１０からの制御コマンドによる指示やスタジアムＣＡＤデータを受信すると、それらのデータ等を制御部０２１１０に対して送信する。

データ同期部０２１３０は、カメラアダプタ１２０から取得したデータを、前景画像、背景画像、音声データ及び三次元モデルデータが揃うまで、内部のＤＲＡＭに一次的に記憶する（バッファする）。これは、ネットワークによって各カメラアダプタ１２０から転送されたデータに関して、ネットワークパケットの受信順序が保証されず、ファイル生成に必要なデータを揃える必要があるためである。なお、ここで揃えるデータは、後述の撮影データファイル生成部０２１８０において、ファイルを生成するために必要なデータである。また、以降では、前景画像、背景画像、音声データ及び三次元モデルデータを纏めて、撮影データと称する。

撮影データには、ルーティング情報、タイムコード情報（時間情報）、及びカメラ識別子等のメタ情報が付与されており、データ同期部０２１３０は、このメタ情報に基づいて、データの属性を確認する。これにより、データ同期部０２１３０は、同一時刻のデータであること等を判定して、データが揃ったことを確認する。

そして、データが揃うと、データ同期部０２１３０は、前景画像及び背景画像を画像処理部０２１５０に、三次元モデルデータを三次元モデル結合部０２１６０に、音声データを撮影データファイル生成部０２１８０に各々、送信する。なお、背景画像は、前景画像と異なるフレームレートで撮影されてもよい。この場合、例えば、背景画像のフレームレートが１ｆｐｓである場合、１秒毎に１つの背景画像が取得されるため、背景画像が取得されない時間については、背景画像が無い状態で全てのデータが揃ったとしてよい。

また、データ同期部０２１３０は、所定時間が経過してもデータが揃っていない場合には、データを集結できないことを示す情報をデータベース２５０に通知する。例えば、後段のデータベース２５０は、データを格納するときに、カメラ番号やフレーム番号と併せてデータ欠落を示す情報を格納する。そして、これにより、仮想カメラ操作ＵＩ３３０からバックエンドサーバ２７０への視点指示に応じて、データ集結したカメラ１１２の撮影画像から所望の画像が形成できるか否かをレンダリング前に自動通知することができる。その結果、仮想カメラ操作ＵＩ３３０のオペレータの目視負荷を軽減することができる。

ＣＡＤデータ記憶部０２１３５は、制御部０２１１０から受信したスタジアム形状を示す三次元データを、ＤＲＡＭ、又はＨＤＤやＮＡＮＤメモリ等の記憶媒体に記憶する。そして、ＣＡＤデータ記憶部０２１３５は、スタジアム形状データの要求を受信すると、画像結合部０２１７０に、記憶しているスタジアム形状データを送信する。

キャリブレーション部０２１４０は、カメラのキャリブレーション動作を行い、キャリブレーションによって取得されたカメラパラメータを、後述の非撮影データファイル生成部０２１８５に送信する。また、キャリブレーション部０２１４０は、同時に、自身の記憶領域にもカメラパラメータを保持し、後述の三次元モデル結合部０２１６０にカメラパラメータ情報を提供する。

画像処理部０２１５０は、前景画像や背景画像に対して、カメラ間の色や輝度値の合わせ込み、ＲＡＷ画像データが入力される場合には現像処理、及び画像復号時のエラー補完やカメラのレンズ歪みの補正等の処理を実行する。そして、画像処理が施された前景画像は撮影データファイル生成部０２１８０に、背景画像は画像結合部０２１７０に各々、送信される。

三次元モデル結合部０２１６０は、キャリブレーション部０２１４０により生成されたカメラパラメータを用いて、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータを結合する。そして、三次元モデル結合部０２１６０は、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。なお、生成された三次元モデルデータは、撮影データファイル生成部０２１８０に送信される。

画像結合部０２１７０は、画像処理部０２１５０から背景画像を取得し、また、ＣＡＤデータ記憶部０２１３５からスタジアムの三次元形状データを取得すると、その取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。画像結合部０２１７０は、背景画像の各々に関して、スタジアムの三次元形状データ（スタジアム形状データ）の座標に対する位置を特定すると、背景画像を結合して１つの背景画像とする。なお、背景画像の三次元形状データの生成については、バックエンドサーバ２７０が実行してもよい。

撮影データファイル生成部０２１８０は、データ同期部０２１３０から音声データを、画像処理部０２１５０から前景画像を、三次元モデル結合部０２１６０から三次元モデルデータを、画像結合部０２１７０から三次元形状に結合された背景画像を取得する。そして、撮影データファイル生成部０２１８０は、取得したこれらのデータをＤＢアクセス制御部０２１９０に出力する。

ここで、撮影データファイル生成部０２１８０は、これらのデータを各々の時間情報に基づいて、対応付けて出力する。但し、この場合、これらのデータに関して、その一部を対応付けて出力してもよい。例えば、撮影データファイル生成部０２１８０は、前景画像と背景画像を、前景画像の時間情報及び背景画像の時間情報に基づいて、対応付けて出力する。また、例えば、撮影データファイル生成部０２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて、対応付けて出力する。なお、撮影データファイル生成部０２１８０は、対応付けがなされたデータをデータの種類別にファイル化して出力することも、複数種類のデータを時間情報が示す時刻毎に纏めてファイル化して出力することもできる。

そして、このように対応付けがなされた撮影データが、後述のＤＢアクセス制御部０２１９０によりデータベース２５０に出力されることで、バックエンドサーバ２７０は時間情報に対応する前景画像と背景画像とから仮想視点画像を生成することができる。

なお、データ入力制御部０２１２０により取得される前景画像と背景画像のフレームレートが異なる場合、撮影データファイル生成部０２１８０は、常に同時刻の前景画像と背景画像を対応付けて出力することは困難である。そこで、撮影データファイル生成部０２１８０は、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを対応付けて出力する。ここで、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とは、例えば、撮影データファイル生成部０２１８０が取得した背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像のことである。このように、所定の規則に基づいて前景画像と背景画像を対応付けることにより、前景画像と背景画像のフレームレートが異なる場合でも、近い時刻に撮影された前景画像と背景画像とから仮想視点画像を生成することができる。

補足として、前景画像と背景画像の対応付けの方法は、必ずしも上記の方法に限定されない。例えば、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像として、取得された背景画像であって、かつ前景画像より前の時刻に撮影された背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像を設定してもよい。この方法によれば、前景画像よりフレームレートの低い背景画像の取得を待つことなく、対応付けられた前景画像と背景画像を低遅延で出力することができる。また、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像として、取得された背景画像であって、かつ前景画像より後の時刻に撮影された背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像を設定してもよい。

非撮影データファイル生成部０２１８５は、キャリブレーション部０２１４０からカメラパラメータ、制御部０２１１０からスタジアムの三次元形状データを取得すると、それらのデータをファイル形式に応じて成形する。そして、その成形したデータをＤＢアクセス制御部０２１９０に送信する。なお、非撮影データファイル生成部０２１８５に入力されるカメラパラメータ及びスタジアム形状データは、ファイル形式に応じて個別に成形される。即ち、非撮影データファイル生成部０２１８５は、いずれか一方のデータを受信すると、そのデータを個別にＤＢアクセス制御部０２１９０に送信する。

ＤＢアクセス制御部０２１９０は、ＩｎｆｉｎｉＢａｎｄ等により高速な通信が可能となるようにデータベース２５０と接続される。ＤＢアクセス制御部０２１９０は、撮影データファイル生成部０２１８０及び非撮影データファイル生成部０２１８５から受信したファイルをデータベース２５０に送信する。このように、本実施形態では、撮影データファイル生成部０２１８０により時間情報に基づいて対応付けられた撮影データは、フロントエンドサーバ２３０とネットワークを介して接続されるデータベース２５０に出力される。

なお、撮影データファイル生成部０２１８０により時間情報に基づいて対応付けられた撮影データの出力先は、必ずしもこれに限定されない。したがって、例えば、フロントエンドサーバ２３０は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ２３０とネットワークを介して接続され、仮想視点画像を生成するバックエンドサーバ２７０に出力してもよい。また、フロントエンドサーバ２３０は、時間情報に基づいて対応付けられた撮影データを、データベース２５０とバックエンドサーバ２７０の両方に出力してもよい。

その他、本実施形態では、フロントエンドサーバ２３０が前景画像と背景画像の対応付けを行う仕様として説明しているが、必ずしもこれに限らず、データベース２５０がその対応付けを行うこともできる。例えば、データベース２５０は、フロントエンドサーバ２３０から時間情報を有する前景画像及び背景画像を取得し、前景画像と背景画像とを各々の時間情報に基づいて対応付けて、データベース２５０自体が備える記憶領域に出力することもできる。

図５は、フロントエンドサーバ２３０内部のデータ入力制御部０２１２０の機能ブロック図である。データ入力制御部０２１２０は、図５に示されるように、サーバネットワークアダプタ０６２１０、サーバ伝送部０６２２０、及びサーバ画像処理部０６２３０を有する。以下、サーバネットワークアダプタ０６２１０、サーバ伝送部０６２２０、及びサーバ画像処理部０６２３０の各々に関して、説明を補足する。

サーバネットワークアダプタ０６２１０は、サーバデータ受信部０６２１１を有し、カメラアダプタ１２０から送信されるデータを受信する。サーバ伝送部０６２２０は、サーバデータ受信部０６２１１から受信したデータに対して処理を実行する。以下、サーバデータ伸張部０６２２１、サーバデータルーティング処理部０６２２２、サーバ画像・音声伝送処理部０６２２３、サーバデータルーティング情報保持部０６２２４の各々に関して、説明を補足する。

サーバデータ伸張部０６２２１は、圧縮されたデータを伸張する。サーバデータルーティング処理部０６２２２は、後述のサーバデータルーティング情報保持部０６２２４が保持するアドレス等のルーティング情報に基づいて、データの転送先を決定し、サーバデータ受信部０６２１１から受信したデータを転送する。

サーバ画像・音声伝送処理部０６２２３は、カメラアダプタ１２０からサーバデータ受信部０６２１１を介してメッセージを受信し、そのメッセージに含まれるデータ種別に応じて、フラグメント化されたデータを画像データ又は音声データに復元する。なお、復元後の画像データや音声データが圧縮されている場合は、サーバデータ伸張部０６２２１で伸張処理が施される。

サーバデータルーティング情報保持部０６２２４は、サーバデータ受信部０６２１１が受信したデータの送信先を決定するためのアドレス情報を保持する。なお、ルーティング方法については後述する。

サーバ画像処理部０６２３０は、カメラアダプタ１２０から受信した画像データ又は音声データに関連する処理を実行する。処理内容は、例えば、画像データのデータ実体（前景画像、背景画像、及び三次元モデル情報）に応じた、カメラ番号や画像フレームの撮影時刻、画像サイズ、画像フォーマット、及び画像の座標の属性情報等が付与されたフォーマットへの整形処理等である。

図６は、データベース２５０の機能ブロック図である。制御部０２４１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリ等の記憶媒体、及びＥｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。制御部０２４１０は、データベース２５０の各機能ブロック及びデータベース２５０のシステム全体を制御する。

データ入力部０２４２０は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、フロントエンドサーバ２３０から撮影データや非撮影データのファイルを受信する。受信したファイルは、キャッシュ（ＲＡＭ）０２４４０に送信される。また、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報に基づいて、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。

データ出力部０２４３０は、バックエンドサーバ２７０から要求されたデータが後述のキャッシュ０２４４０、一次ストレージ０２４５０、二次ストレージ０２４６０のいずれに保存されているか判定する。データ出力部０２４３０は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、保存先からデータを読み出してバックエンドサーバ２７０に送信する。

キャッシュ０２４４０は、高速な入出力スループットを実現可能なＤＲＡＭ等の記憶装置を有しており、データ入力部０２４２０から取得した撮影データや非撮影データを記憶装置に格納する。格納されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ０２４５０に書き込まれ、また、書き込み済みのデータは新たなデータによって上書きされる。

なお、キャッシュ０２４４０に一定量保存されるデータは、少なくとも１フレーム分の撮影データである。それによって、バックエンドサーバ２７０において画像のレンダリング処理を実行する際に、データベース２５０内でのスループットを最小限に抑え、最新の画像フレームを低遅延かつ連続的にレンダリングすることができる。また、ここで、上述の目的を達成するためには、キャッシュされているデータの中に背景画像が含まれている必要がある。そのため、背景画像を有さないフレームの撮影データがキャッシュされた場合、キャッシュ上の背景画像は更新されず、そのままキャッシュ上に保持される。

キャッシュ可能なＤＲＡＭの容量は、予めシステムに設定されたキャッシュフレームサイズ、又は制御ステーションからの指示によって設定される。なお、非撮影データについては、入出力の頻度が少なく、試合前等においては高速なスループットを要求されないため、すぐに一次ストレージにコピーされる。また、キャッシュされたデータは、データ出力部０２４３０によって読み出される。

一次ストレージ０２４５０は、ＳＳＤ等のストレージメディアを並列に接続する等して構成される。一次ストレージ０２４５０では、データ入力部０２４２０からの大量のデータの書き込み処理及びデータ出力部０２４３０からのデータ読み出し処理が同時に実現され、処理の高速化が図られる。なお、一次ストレージ０２４５０には、キャッシュ０２４４０上に格納されたデータのうち、古いデータから順に書き出される。

二次ストレージ０２４６０は、ＨＤＤやテープメディア等で構成され、高速性よりも大容量が重視され、また、一次ストレージと比較して安価で長期間の記憶に適したメディアである。なお、二次ストレージ０２４６０には、撮影が完了した後、データのバックアップとして一次ストレージ０２４５０に格納されたデータが書き出される。

図７は、バックエンドサーバ２７０の機能ブロック図である。バックエンドサーバ２７０は、図７に示されるように、各種機能ブロック（データ受信部０３００１−レンダリングモード管理部０３０１４）を有する。以下、各々の機能について説明する。

データ受信部０３００１は、データベース２５０及びコントローラ３００から送信されるデータを受信する。データ受信部０３００１は、データベース２５０から、スタジアムの形状を示す三次元データ（スタジアム形状データ）、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、及び音声を受信する。また、データ受信部０３００１は、仮想視点画像の生成に関する視点を指定するコントローラ３００から、仮想カメラパラメータを受信する。ここで、仮想カメラパラメータとは仮想視点の位置や姿勢等を示すデータであり、仮想カメラパラメータには、例えば、外部パラメータの行列と内部パラメータの行列が用いられる。

なお、データ受信部０３００１がコントローラ３００から受信（取得）するデータに関して、必ずしも仮想カメラパラメータに限定されない。コントローラ３００から取得する情報として、視点の指定方法、コントローラが動作させているアプリケーションを特定する情報、コントローラ３００の識別情報、及びコントローラ３００を使用するユーザの識別情報の少なくとも何れかを含んでいてもよい。

また、データ受信部０３００１は、コントローラ３００から出力される上述の情報と同様の情報を、エンドユーザ端末１９０から取得してもよい。さらに、データ受信部０３００１は、データベース２５０やコントローラ３００等の外部の装置から、複数のカメラ１１２に関する情報を取得してもよい。ここで、複数のカメラ１１２に関する情報は、例えば、複数のカメラ１１２の数に関する情報や複数のカメラ１１２の動作状態に関する情報等である。なお、カメラ１１２の動作状態には、例えば、カメラ１１２の正常状態、故障状態、待機状態、起動状態、及び再起動状態の少なくとも何れかが含まれる。

背景テクスチャ貼り付け部０３００２は、背景メッシュモデル管理部０３０１３から取得され、背景メッシュモデル（スタジアム形状データ）で示される三次元空間形状に対して、背景画像をテクスチャとして貼り付ける。これにより、背景テクスチャ貼り付け部０３００２はテクスチャ付き背景メッシュモデルを生成する。ここで、メッシュモデルとは、例えば、ＣＡＤデータ等、三次元の空間形状を面の集合で表現したデータのことである。また、テクスチャとは、物体の表面の質感を表現するために、三次元空間形状に対して貼り付ける画像のことである。

前景テクスチャ決定部０３００３は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。前景テクスチャ境界色合わせ部０３００４は、前景三次元モデルのテクスチャ情報と三次元モデル群からテクスチャの境界の色合わせを実行し、前景オブジェクト毎に色付き前景三次元モデル群を生成する。仮想視点前景画像生成部０３００５は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。

レンダリング部０３００６は、レンダリングモード管理部０３０１４で決定された、仮想視点画像の生成に用いられる生成方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。ここでは、仮想視点画像の生成方式として、モデルベースレンダリング（Model‐Based Rendering：ＭＢＲ）とイメージベースレンダリング（Image‐Based Rendering：ＩＢＲ）の２つのレンダリングモードを用いる。

ＭＢＲとは、被写体を複数の方向から撮影した場合に、その撮影された複数の画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）等の三次元形状復元手法により取得された対象シーンの三次元形状（モデル）を用いて、仮想視点からのシーンの見えを画像として生成する技術である。本実施形態では、レンダリングモードとしてＭＢＲを用いる場合、背景メッシュモデルと前景テクスチャ境界色合わせ部０３００４で生成された前景三次元モデル群を合成することで全景モデルを生成し、さらに、その全景モデルから仮想視点画像を生成する。

また、ＩＢＲとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって、仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、レンダリングモードとしてＩＢＲを用いる場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像を生成し、そこに仮想視点前景画像生成部０３００５で生成された前景画像を合成することで、仮想視点画像を生成する。なお、レンダリングモードとしてＩＢＲを用いると、ＭＢＲによりレンダリングするときに用いられる撮影画像（即ち、三次元モデルを生成するために用いられる撮影画像）よりも少ない撮影画像に基づいて、仮想視点画像を生成することができる。その他、補足として、レンダリング部０３００６は、上述のＭＢＲとＩＢＲ以外のレンダリング手法を用いることもできる。

レンダリングモード管理部０３０１４は、仮想視点画像の生成に用いられる生成方式（即ち、レンダリングモード）を決定し、その決定した結果を保持する。本実施形態では、レンダリングモード管理部０３０１４は、複数のレンダリングモードからレンダリングに用いるレンダリングモードを決定する。

そして、このレンダリングモードの決定は、データ受信部０３００１により取得された情報に基づいて実行される。例えば、レンダリングモード管理部０３０１４は、取得された情報から特定されるカメラの数が閾値以下である場合に、仮想視点画像の生成に用いられる生成方式をＩＢＲに決定する。このように、カメラの数が少ない場合には、ＩＢＲを用いることで、ＭＢＲを用いた場合の三次元モデルの精度の低下による仮想視点画像の画質低下を回避することができる。

他方、レンダリングモード管理部０３０１４は、取得された情報から特定されるカメラの数が閾値より多い場合に、仮想視点画像の生成に用いられる生成方式をＭＢＲに決定する。このように、カメラの数が多い場合には、ＭＢＲを用いて仮想視点画像を生成することで、視点の指定可能範囲を拡張することができる。

なお、レンダリングモード管理部０３０１４は、例えば、撮影から画像出力までの許容される処理遅延時間の長短に基づいて、生成方式（即ち、レンダリングモード）を決定してもよい。このとき、遅延時間が長くても視点の自由度を優先する場合はＭＢＲ、遅延時間が短いことを要求する場合はＩＢＲを用いる。

また、例えば、コントローラ３００やエンドユーザ端末１９０が視点の高さを指定可能であることを示す情報をデータ受信部０３００１が取得した場合、レンダリングモード管理部０３０１４は、仮想視点画像の生成に用いられる生成方式をＭＢＲに決定する。これにより、生成方式がＩＢＲであることに起因して、ユーザによる視点の高さの変更要求が受け入れられなくなることを防ぐことができる。

このように、状況に応じて仮想視点画像の生成方式を決定することで、適切な生成方式で仮想視点画像を生成することができる。また、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで（即ち、システムを柔軟に構成することで）、本発明をスタジアム以外の被写体にも容易に適用することができる。

なお、レンダリングモード管理部０３０１４が保持するレンダリングモードは、システムに予め設定された方式であってもよい。また、仮想カメラ操作ＵＩ３３０やエンドユーザ端末１９０を操作するユーザがレンダリングモードを任意に設定できるようにしてもよい。その他、レンダリングモード管理部０３０１４が決定する仮想視点画像の生成方式はレンダリングの方式に必ずしも限られず、レンダリングモード管理部０３０１４は仮想視点画像を生成するためのレンダリング以外の処理の方式を決定することもできる。

仮想視点音声生成部０３００７は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声（音声群）を生成する。合成部０３００８は、レンダリング部０３００６で生成された画像群と仮想視点音声生成部０３００７で生成された音声を合成して仮想視点コンテンツを生成する。

画像出力部０３００９は、コントローラ３００とエンドユーザ端末１９０にＥｔｈｅｒｎｅｔ（登録商標）を用いて仮想視点コンテンツを出力する。なお、外部への伝送手段はＥｔｈｅｒｎｅｔ（登録商標）に限定されるものではなく、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、及びＨＤＭＩ（登録商標）等の信号伝送手段を用いてもよい。また、バックエンドサーバ２７０は、レンダリング部０３００６で生成された仮想視点画像（即ち、音声を含まない仮想視点画像）を出力してもよい。

前景オブジェクト決定部０３０１０は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。即ち、前景オブジェクト決定部０３０１０は、仮想視点の画像情報を物理的なカメラ１１２にマッピングする処理を実行する。

なお、本実施形態では、レンダリングモード管理部０３０１４で決定されるレンダリングモードに応じて、マッピングする処理を実行する。そのため、複数の前景オブジェクトを決定する制御部が前景オブジェクト決定部０３０１０内部に実装され、レンダリングモードと連動して制御を行う。

要求リスト生成部０３０１１は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データをデータベース２５０に要求するための要求リストを生成する。なお、前景画像群と前景三次元モデル群に関しては、仮想視点を考慮して選択されたデータがデータベース２５０に要求されるが、背景画像と音声データに関しては、そのフレームに関する全てのデータがデータベース２５０に要求される。バックエンドサーバ２７０の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。

要求データ出力部０３０１２は、入力された要求リストに基づいて、データベース２５０に対してデータ要求のコマンドを出力する。背景メッシュモデル管理部０３０１３は、データベース２５０から受信した背景メッシュモデルを記憶する。

なお、本実施形態では、バックエンドサーバ２７０が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を実行する仕様として説明するが、必ずしもこれに限定されない。したがって、バックエンドサーバ２７０は、仮想視点画像の生成方式を決定することなく、入力された生成方式を示す情報に基づいて、仮想視点画像を生成してもよい。その場合、例えば、フロントエンドサーバ２３０が、複数のカメラ１１２に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報等に基づいて、仮想視点画像の生成に用いられる生成方式を決定する。フロントエンドサーバ２３０は、カメラ１１２による撮影に基づく画像データをデータベース２５０に、また、決定した生成方式を示す情報をバックエンドサーバ２７０に出力する。そして、バックエンドサーバ２７０は、フロントエンドサーバ２３０が出力した生成方式を示す情報に基づいて、仮想視点画像を生成する。

このように、フロントエンドサーバ２３０が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータをデータベース２５０やバックエンドサーバ２７０が処理することによる処理負荷を低減できる。補足として、本実施形態のように、バックエンドサーバ２７０が生成方式を決定する場合、データベース２５０は複数の生成方式に対応可能なデータを保持するため、複数の生成方式の各々に対応する複数の仮想視点画像の生成が可能となる。以上のように、システムを構成することにより、複数のカメラで取得された撮影画像から所望の仮想視点画像を生成することができる。

次に、カメラアダプタ１２０における符号量制御処理について説明する。なお、この符号量制御処理は、画像処理システムにおける伝送路に即した符号量となるように、個々の視点の符号化処理を適切に決定するために実行される。

以下、図９のフローチャートを用いて、符号量制御処理の手順を説明する。なお、以下の説明では、目標符号量という用語を、画像処理システムにおいて発生するデータをリアルタイムで伝送するために個々のカメラにおいて設定される符号量という意味で用いる。具体的には、本実施形態において、目標符号量は、伝送路の通信帯域中で映像を伝送するために、使用が可能な帯域を視点数（カメラ数）で除算した値である。即ち、画質の指標となる目標符号量は、伝送路の伝送容量に基づいて設定され得る。

ステップＳ９０１において、カメラアダプタ１２０は、視野重複マップを照合し、前景毎に、自身を捕捉しているカメラの数を取得する。ここで、視野重複マップは、処理中のカメラにおける視野において、他のカメラの視野がどれだけ重複しているか（即ち、重複度合い）を示すマップのことである。

以下、視野重複マップに関して、図１０を用いて説明する。図１０（ａ）は視野重複マップを説明するための図であり、図１０（ａ）では、カメラを４台配置し、各々のカメラの視野を模式的に示している。なお、説明を容易にするため、カメラを４台としているが、実際には、これよりも多くのカメラを用いる方が、仮想視点の画質という観点で望ましい。

図１０（ａ）に示されるように、スタジアムのフィールド上では、領域によって視野に入っているカメラの数（以下、視野重複度）が異なる。そして、この視野重複度を、各カメラの視野に基づいてマッピングしたものが視野重複マップである。このように、視野重複マップは、スタジアムの三次元形状とカメラ配置の相対的な位置関係に基づいて、作成（取得）される。なお、本実施形態では、視野重複マップを事前データとして作成し、制御ステーション３１０から対象となるカメラアダプタに各々、予め配信するものとする。

図１０（ｂ）は、図１０（ａ）のＣａｍ３（カメラ３）における視野重複マップであり、マップ内の数字は領域の重複度を示している。ここで、例えば、図１０（ｃ）に示されるように、前景Ａが存在した場合、前景Ａにおける重複度は２であり、また、前景Ｂ、Ｃにおける重複度は４である。

このように、各カメラの視野において視野重複マップを作成し、前景がマップ上のどこに位置するかを判定することによって、その前景がいくつのカメラによって捕捉されているかを判定することができる。即ち、この場合、カメラアダプタ１２０は、前景となるオブジェクトを撮影するカメラ台数を導出する処理（カメラ台数導出処理）を実行する。なお、この判定に使用する前景の座標として、前景の足元の座標を用いることが望ましい。その場合、例えば、前景の外接矩形における下辺の中点を用いる等すればよい。但し、足元にオクルージョンが発生することが予想される場合には、外接矩形上辺中点から、被写体の大きさ（例えば、人物であれば１７０ｃｍ等）に基づいて、足元の座標を算出するようにしてもよい。

その他、前景の座標を決定するにあたり、三次元モデル情報生成部０６１３２で生成される三次元モデルに関する画像情報を用いてもよい。上述のように、三次元モデルに関する画像情報を生成する過程で、例えば、ステレオカメラの原理等を適用することから（即ち、前景からカメラ１１２までの距離情報を処理することから）、前景の座標を決定（導出）することができる。また、視野重複マップにおいて前景が複数の領域に跨るような場合、その領域内で最も小さい重複度を用いるようにする。

ステップＳ９０２において、カメラアダプタ１２０は、処理対象として着目するフレームが撮影を開始した１枚目のフレーム（即ち、初期フレーム）であるか否かを判定する。そして、カメラアダプタ１２０は、処理対象として着目するフレームが撮影を開始した１枚目のフレームであると判定すると（Ｓ９０２ Ｙｅｓ）、処理をステップＳ９０３に移行させる。また、処理対象として着目するフレームが撮影を開始した１枚目のフレームではないと判定すると（Ｓ９０２ Ｎｏ）、処理をステップＳ９０５に移行させる。

カメラアダプタ１２０は、処理をステップＳ９０３に移行させると、接続されるカメラ１１２に写っている前景の画素数を、視野重複度毎に取得（計測）する。具体的には、例えば、図１０（ｃ）では、視野重複度１の画素数は前景Ｅの画素数、視野重複度２の画素数は前景Ａの画素数、視野重複度３の画素数は前景Ｄの画素数、視野重複度４の画素数は前景Ｂの画素数と前景Ｃの画素数の合算値を計測する。

カメラアダプタ１２０は、前景の画素数を取得すると、ステップＳ９０４において、各々の前景に対して、符号化時に適用する量子化パラメータを決定する。なお、カメラアダプタ１２０は、ステップＳ９０４の処理を実行する上で、図１１（ａ）に示される量子化パラメータ・圧縮率対応テーブルと、図１１（ｂ）に示される視野重複度・量子化パラメータセット対応テーブルを用いる。以下、図１１を用いて、内容を補足する。

先ず、量子化パラメータ・圧縮率対応テーブルについて説明する。この量子化パラメータ・圧縮率対応テーブルは、量子化パラメータに対応する圧縮率を示すテーブルであり、量子化パラメータの設定時に所望の符号量となるか否かを予測するためのテーブルである。なお、この量子化パラメータ・圧縮率対応テーブルは、予めシミュレーションや予備実験等で取得された結果に基づいて作成される。

図１１（ａ）は、量子化パラメータ・圧縮率対応テーブルの一例である。図１１（ａ）において、ｑｐは量子化パラメータであり、ｂｒは圧縮率である。図１１（ａ）に示されるように、例えば、量子化パラメータが１００（ｑｐ＝１００）の場合は圧縮率が７０％（ｂｒ＝０．７０）、量子化パラメータが５０（ｑｐ＝５０）の場合は圧縮率が３５％（ｂｒ＝０．３５）となっている。なお、以降では、量子化パラメータｑｐに対応する圧縮率をｂｒ［ｑｐ］と記載する。

次に、視野重複度・量子化パラメータセット対応テーブルについて説明する。この視野重複度・量子化パラメータセット対応テーブルは、処理中のカメラにおいて発生する符号量を制御する時に使用する。図１１（ｂ）は、視野重複度・量子化パラメータセット対応テーブルの一例である。ｄｎは視野重複度であり、ｑｌは量子化パラメータセットの段階（以下、量子化レベル）である。図１１（ｂ）に示されるように、例えば、量子化レベルを２（ｑｌ＝２）に設定した場合、視野重複度が１０（ｄｎ＝１０）の量子化パラメータｑｐは６０、また、視野重複度が１（ｄｎ＝１）の量子化パラメータｑｐは１００となる。このように、量子化パラメータは、視野重複度と逆相関するように設定される。即ち、その前景を捕捉しているカメラの台数が少ない前景画像から高い画質になるように画質設定される。

なお、この視野重複度・量子化パラメータセット対応テーブルは、システムのポリシーに基づいて、シミュレーションや予備実験で仮想視点コンテンツの画質を確認しながら作成すればよい。また、以降では、視野重複度ｄｎ、量子化レベルｑｌに対応する量子化パラメータをｑｐ［ｄｎ、ｑｌ］と記載する。

本実施形態では、目標符号量を達成する最小の量子化レベルを探索することで、各々の前景の量子化パラメータを決定する。この各々の前景の量子化パラメータを決定する処理に関して、図１２を用いて、説明を補足する。

ステップＳ１２０１において、カメラアダプタ１２０は、カレント量子化レベルｃｕｒＱＬを０に設定する（ｃｕｒＱＬ＝０）。次に、ステップＳ１２０２において、カメラアダプタ１２０は、カレント量子化レベルｃｕｒＱＬに対応付けられている、視野重複度毎の量子化パラメータ（量子化パラメータセット）を取得する。

ステップＳ１２０３において、カメラアダプタ１２０は、上述の図９のステップＳ９０３で取得した視野重複度毎の前景画素数と、カレント量子化レベルから、予測符号量を下式に基づいて算出する。なお、下式において、カメラ台数をＮ、視野重複度に対応する前景画素数をｆｐｉｘ［ｄｎ］とする。

ステップＳ１２０４において、カメラアダプタ１２０は、ステップＳ１２０３で算出した予測符号量が、目標符号量より小さいか否かを判定する。そして、カメラアダプタ１２０は、ステップＳ１２０３で算出した予測符号量が目標符号量より小さい場合は処理をステップＳ１２０５に移行させ、ステップＳ１２０３で算出した予測符号量が目標符号量以上である場合は処理をステップＳ１２０６に移行させる。

処理をステップＳ１２０５に移行させると、カメラアダプタ１２０は、各々の前景に対して、その視野重複度に応じて量子化レベルｃｕｒＱＬに対応する量子化パラメータを割り当てる。また、処理をステップＳ１２０６に移行させると、カメラアダプタ１２０は、カレント量子化レベルｃｕｒＱＬをカウントアップする。以上の処理を実行することで、前景毎の量子化パラメータを決定することができる。

ここで、再度、図９のフローチャートに戻り、上述のように、処理対象として着目するフレームが撮影を開始した１枚目のフレームではないと判定すると（Ｓ９０２ Ｎｏ）、処理をステップＳ９０５に移行させる。ステップＳ９０５において、カメラアダプタ１２０は、処理中のカメラにおいて、前フレームの処理後に決定された量子化レベルに基づいて、前景毎の量子化パラメータを決定する。

ステップＳ９０６において、カメラアダプタ１２０は、それまでの処理ステップまでで取得した前景毎の量子化パラメータを用いて、符号化処理を実行する（即ち、符号化データを生成する）。このステップＳ９０６における符号化処理のアルゴリズムは、量子化パラメータに基づいて量子化を実行可能なものであればよく、例えば、ＪＰＥＧやＪＰＥＧ２０００等を用いる。

ステップＳ９０７において、カメラアダプタ１２０は、目標符号量と、実際に出力された符号量（以下、実符号量）との差分ΔＳを算出する。即ち、下式に基づいて、差分ΔＳを算出する。

ステップＳ９０８において、カメラアダプタ１２０は、差分ΔＳの絶対値が閾値Ｔより大きいか否かを判定する。差分ΔＳの絶対値が閾値Ｔより大きいと判定すると（Ｓ９０８ Ｙｅｓ）、処理をステップＳ９０９に移行させ、差分ΔＳの絶対値が閾値Ｔ以下であると判定すると（Ｓ９０８ Ｎｏ）、図９の処理を終了する。

ステップＳ９０９において、カメラアダプタ１２０は、量子化レベルを更新する。このステップＳ９０９における処理は、実符号量と目標符号量との差分を次のフレームで吸収させるために実行される。具体的には、差分ΔＳが閾値Ｔよりも大きい場合、即ち、実符号量が目標符号量を所定の幅Ｔ以上、上回る場合は量子化レベルをカウントアップする（＋１する）。これにより、次のフレームにおいて符号量を減少させる方向に調整することができる。また、差分ΔＳが閾値−Ｔよりも小さい場合、即ち、実符号量が目標符号量を所定の幅Ｔ以上、下回る場合は量子化レベルをカウントダウンする（−１する）。これにより、次のフレームにおいて符号量を増加させる方向に調整することができる。

但し、この量子化レベルを更新する処理は、予め規定した範囲（図１１では、０−６）内において、量子化レベルを超えないように制限した上で実行される。なお、閾値Ｔに関して、カメラアダプタ１２０に備えられているバッファが比較的大きい場合には大きく、そうでない場合には小さく設定される。カメラアダプタ１２０は、量子化レベルを更新すると、図９の処理を終了する。

以上のように処理することで、前フレームでの処理結果に基づいて、視野重複度が小さいものの画質劣化を抑制しながら符号量の制御ができるので、仮想視点コンテンツに大きな画質劣化を発生させずにリアルタイム伝送を実現することができる。

（第２の実施形態）
上述の第１の実施形態では、処理の高速化のため、図９に示すように処理対象とするフレームにおける量子化レベルを、前フレームの処理で事前に決定された量子化レベルに基づいて決定した。

但し、量子化レベルに関して、フレーム毎に、視野重複度毎の前景画素数に基づいて予測符号量を算出し、その予測符号量に基づいて量子化パラメータを決定するようにしてもよい。このように構成することにより、処理中のフレームの内容（即ち、視野重複度毎の前景画素数）に基づいた量子化レベルの決定ができるので、実符号量をより目標符号量に近付けることができる。

（第３の実施形態）
上述の第１の実施形態では、カメラ毎に目標符号量を予め設定しておき、その目標符号量と実符号量との差分ΔＳの絶対値が閾値Ｔより大きいか否かに基づいて、次のフレームの量子化レベル（即ち、符号化パラメータ）を設定した。但し、この第１の実施形態では、伝送ライン上の多くのカメラにおいて実符号量が目標符号量を超過するような場合、伝送に遅延が生じることが想定される。

そこで、本実施形態では、処理中のカメラをｖ番目のカメラとした場合、上流（即ち、１〜ｖ−１番目まで）のカメラアダプタ１２０により出力された内容に応じて、処理中のカメラの符号化パラメータを制御する。以下、本実施形態における符号量制御処理に関して、図１３を用いて説明する。なお、システムの全体構成、及び符号量制御処理以外の処理は、第１の実施形態と同様であり、また、符号量制御処理に関しては、上述の第２の実施形態を前提に、フレーム毎に、視野重複度毎の前景画素数に基づいて、量子化パラメータを決定する。

先ず、ステップ１３０１において、カメラアダプタ１２０は、上流カメラから伝送されてくる積算目標符号量の差分ΔＵＳを取得し、その絶対値が閾値Ｔ２より大きいか否かを判定する。

ここで、積算目標符号量は、上述のように、処理中のカメラをｖ番目のカメラとした場合、上流（即ち、１〜ｖ−１番目まで）に位置するカメラ全ての実符号量から、基本符号量を上流に位置するカメラの台数で乗算した値を減算することで算出される。なお、基本符号量とは、伝送路の通信帯域内で映像を伝送するために使用可能な帯域を視点数（カメラの台数）で除算した値である。

補足として、処理中のカメラが最上流の場合、積算目標符号量の差分ΔＵＳを０とする。また、閾値Ｔ２は、カメラアダプタ１２０に備えられているバッファの大きさに応じて決定すればよい。そして、カメラアダプタ１２０は、積算目標符号量の差分ΔＵＳの絶対値が閾値Ｔ２よりも大きいと判定された場合には、処理をステップＳ１３０２に移行させ、そうでない場合には、処理をステップＳ１３０３に移行させる。

ステップ１３０２において、処理中のカメラにおける目標符号量を、上流カメラまでの積算目標符号量であるΔＵＳを考慮し、下式に基づいて決定する。

上式に基づいて目標符号量を決定することで、上流カメラまでで使い過ぎた帯域分だけ処理中のカメラの符号量を減らすことを試みる。また、積算目標符号量の差分ΔＵＳの絶対値が閾値Ｔ２以下であると判定された場合（Ｓ１３０１ Ｎｏ）、ステップＳ１３０３において、カメラアダプタ１２０は、第１の実施形態と同様に、処理中のカメラの目標符号量を下式に基づいて設定する。

ステップＳ１３０４において、カメラアダプタ１２０は、視野重複マップを照合し、前景毎に、自身を捕捉しているカメラの数（即ち、視野重複度）を取得する。即ち、ステップＳ１３０４における処理は、第１の実施形態における図９のステップＳ９０１と同様の処理である。

ステップＳ１３０５において、カメラアダプタ１２０は、接続されるカメラ１１２に写っている前景の画素数を、視野重複度毎に取得（計測）する。即ち、ステップＳ１３０５における処理は、第１の実施形態における図９のステップＳ９０３と同様の処理である。

ステップＳ１３０６において、カメラアダプタ１２０は、各前景に対し、符号化時に適用する量子化のパラメータを決定する。即ち、ステップＳ１３０６における処理は、第１の実施形態における図９のステップＳ９０４と同様の処理である。

ステップＳ１３０７において、カメラアダプタ１２０は、それまでの処理ステップまでで取得した前景毎の量子化パラメータを用いて、符号化処理を実行する。即ち、ステップＳ１３０７における処理は、第１の実施形態における図９のステップＳ９０６と同様の処理である。

ステップＳ１３０８において、カメラアダプタ１２０は、下式に基づいて、積算目標符号量の差分ΔＵＳを更新する。

上式に基づいて、積算目標符号量の差分ΔＵＳを更新することで、処理中のカメラにおける目標符号量と実符号量との差分を積算目標符号量の差分ΔＵＳに反映し、下流に渡すことができる。カメラアダプタ１２０は、ステップＳ１３０８における処理を実行することで、符号量制御処理を終了させる。

以上のような構成とすることで、直前のカメラまでで発生した、目標符号量と実符号量との差分を、処理中のカメラで吸収することができる。これにより、デイジーチェーントータルで伝送路の帯域内となるように符号量を制御することができるため、遅延の発生しない伝送が可能となる。

（第４の実施形態）
上述の第１の実施形態では、現在処理中のフレームにおいて、実符号量が目標符号量と比較して過大となった場合に、次のフレームでその差分を補うように符号化処理を実行した。

但し、符号化処理を実行する上で処理時間に余裕がある場合には、現在処理中のフレームにおいて、量子化レベルを上げて再度、符号化処理を実行することで、実符号量を目標符号量に近付けるようにしてもよい。このように符号化処理を実行することで、カメラアダプタ１２０の送信待ち用バッファを節約することができる。

（第５の実施形態）
上述の第１の実施形態では、事前データとして、撮影前にシミュレーションを実行することで、視野重複マップを作成した。このように事前データとして視野重複マップを作成することは、撮影前に注視点が定まっており、カメラを固定的に設置しているシステムにおいて有効である。

但し、例えば、同じスタジアムで複数の競技を撮影する場合等、注視点を変更することがある。この場合、撮影前のキャリブレーション実行時に視野重複マップを更新することで、本発明を実施することが可能となる。また、複数台のカメラを同期して動かすことができるシステム等の場合は、動的キャリブレーションの実行時に視野重複マップを都度更新するように、画像処理システムを構成すればよい。

（第６の実施形態）
上述の第１の実施形態では、視野重複度・量子化パラメータセット対応テーブルを、所望の符号量に応じた量子化を実行するためのパラメータセットとして説明した。但し、帯域がより逼迫した場合を想定して「送信しない」という選択肢を設けてもよい。

この場合、図１４に示されるように、視野重複度・量子化パラメータセット対応テーブルに関して、第１の実施形態と同様に、視野重複度の高い方から低い方に量子化パラメータが段階的に高くなるように適用される。加えて、上述のように、帯域がより逼迫した場合を想定して、視野重複度が１０（ｄｎ＝１０）、量子化レベルが７（ｑｌ＝７）の場合に、データを送信しないように「送信しない」が設定される。つまり、視野重複度が所定の値以上（即ち、その前景を捕捉しているカメラが所定の台数以上）である場合に、データを符号化しないように設定される。

なお、量子化パラメータの設定に関して「送信しない」と設定した場合には、当該領域の視野重複度が「１台」少なくなることを意味する。即ち、処理中のカメラにおいて、量子化パラメータが「送信しない」に設定された場合には、信号として後続のカメラに伝達され、さらに、その後続のカメラにおいて、当該領域に関して、視野重複度を１台分減算した上で処理が実行される。補足として、この場合、その他の前景画像に関して、例えば、視野重複度が１０（ｄｎ＝１０）、かつ量子化レベルが７（ｑｌ＝７）でない限り、その後続のカメラにおいて、視野重複度を減算する処理は行わない。また、このように処理することで、前景の最小符号量を０までスケールさせることができるため、符号量制御の範囲を拡張することできる。

（第７の実施形態）
上述の第１の実施形態では、伝送ライン上の全てのカメラで撮影した画像（映像）を符号量制御の対象とした。但し、仮想視点コンテンツの画質上、重要な位置にあるカメラ（例えば、注視点を軸とし、所定の角度毎のカメラ等）で撮影した映像、又は望遠カメラ等で撮影した映像を符号量制御の対象としないように、画像処理システムを構成することもできる。

なお、この場合、事前データとして作成する視野重複マップに、仮想視点コンテンツの画質上、重要な位置にあるカメラの視野を含めないようにする。そして、符号化時には、そのカメラの符号量制御処理をスキップし、符号化処理のみを実行するようにすればよい。このように構成することにより、仮想視点コンテンツの画質上、重要な視点のカメラで撮影した映像を劣化させることなく伝送し、仮想視点コンテンツを生成することが可能となる。

（その他の実施形態）
上述の実施形態では、カメラアダプタ間を一本の伝送路で数珠繋ぎに接続する例を説明したが、本発明は必ずしもこれに限定されず、その他のトポロジーにおいても適用することができる。例えば、バス型においてもデイジーチェーンと同様の課題が発生するため、この場合、同様に近接するカメラアダプタの情報を取得しながら符号量の制御を行えばよい。

また、スター型の場合には、近接するカメラアダプタ間は直接、接続されていないが、近接するカメラアダプタの画質等、必要な情報はフロントエンドサーバからそれぞれ取得するように、画像処理システムを構成すればよい。

また、上述の実施形態において、符号化を行う際のパラメータを設定することで画質を設定する例を説明したが、必ずしもこれに限定されない。例えば、解像度や画像のサイズを縮小したり、色の階調値を減らしたりして画質を設定してもよい。また、所定のオブジェクトを撮影するカメラの台数を示す情報として、視野重複マップを用いる例を説明したが、撮影対象となる３次元領域の座標とその座標を撮影可能なカメラの情報とを対応付けた情報等、他の情報を用いてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１２ カメラ
１２０ カメラアダプタ
１８０ｂ ネットワーク
０６１３０ 画像処理部

Claims (20)

1. 複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムにおいて、
   所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出手段と、
   前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段と、
   を備えることを特徴とする画像処理システム。
2. 前記画質設定手段により設定された前記前景画像の画質に基づいて、前記前景画像を符号化する符号化手段をさらに備え、
   前記画質設定手段は、前記所定のオブジェクトを撮影しているカメラの台数と前記前景画像の画質とが逆相関するように、前記前景画像の画質を設定することを特徴とする請求項１に記載の画像処理システム。
3. 前記カメラ台数導出手段は、撮影するフィールドの三次元形状と各カメラの相対的な位置関係から、前記カメラの視野の重複度合いを領域としてマッピングすることで作成される視野重複マップを用いて、前記所定のオブジェクトを撮影しているカメラの台数を導出することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記カメラ台数導出手段は、前記視野重複マップにおいて、前記所定のオブジェクトが前記カメラの視野の重複度合いをマッピングした領域の複数に跨る場合に、複数の前記カメラの視野の重複度合いをマッピングした領域のうち、前記領域を撮影しているカメラの台数が最も少ないカメラの台数を、前記所定のオブジェクトを撮影しているカメラの台数として導出することを特徴とする請求項３に記載の画像処理システム。
5. 前記カメラ台数導出手段は、前記所定のオブジェクトの足元の座標を用いて、前記所定のオブジェクトを撮影しているカメラの台数を導出することを特徴とする請求項１から４のいずれか１項に記載の画像処理システム。
6. 前記符号化手段は、前記前景画像の画質に基づいて設定される量子化パラメータで、前記前景画像を量子化することを特徴とする請求項２に記載の画像処理システム。
7. 前記符号化手段は、前記複数のカメラの各々に設定される目標符号量と前記前景画像の画質とに基づいて設定される量子化パラメータで、前記前景画像を量子化することを特徴とする請求項２に記載の画像処理システム。
8. 前記符号化手段は、前記目標符号量を、前記伝送路の通信帯域における符号化データのための帯域を前記複数のカメラの台数で除算することで算出することを特徴とする請求項７に記載の画像処理システム。
9. 前記符号化手段は、
   基本符号量を、前記伝送路の通信帯域における符号化データのための帯域を前記複数のカメラの台数で除算することで算出し、
   積算目標符号量を、前記複数のカメラの一のカメラよりも上流に位置するカメラ全ての実符号量から、前記基本符号量を前記一のカメラよりも上流に位置するカメラの台数で乗算した値を減算することで算出し、
   前記積算目標符号量が所定の閾値より大きい場合に、前記目標符号量を、前記基本符号量から前記積算目標符号量を減算することで算出することを特徴とする請求項８に記載の画像処理システム。
10. 前記符号化手段は、前記目標符号量と前記複数のカメラの一のカメラにおける現在のフレームの実符号量との差分に応じて、当該一のカメラにおける次のフレームの前記量子化パラメータを決定することを特徴とする請求項７又は８に記載の画像処理システム。
11. 前記画質設定手段は、前記所定のオブジェクトを撮影しているカメラの台数が所定の台数以上である場合に、当該所定のオブジェクトを含む前景画像を符号化しないように設定することを特徴とする請求項１から１０のいずれか１項に記載の画像処理システム。
12. 前記画質設定手段は、前記複数のカメラのうち、前記所定のオブジェクトとの関係で所定の位置に配置されたカメラにより撮影された前景画像を量子化しないように設定することを特徴とする請求項１から１１のいずれか１項に記載の画像処理システム。
13. 請求項１から１２のいずれか１項に記載の画像処理システムとしてコンピュータを機能させるためのプログラム。
14. 複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムの制御方法であって、
    カメラ台数導出手段により、所定のオブジェクトを撮影しているカメラの台数を導出するカメラ台数導出ステップと、
    画質設定手段により、前記所定のオブジェクトを撮影しているカメラの台数に応じて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定ステップと、
    を含むことを特徴とする画像処理システムの制御方法。
15. 複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムにおいて、前記所定の伝送路に画像を伝送する伝送装置であって、
    所定のオブジェクトを撮影するカメラの台数を示す情報を取得する取得手段と、
    前記取得手段により取得された前記情報が示すカメラの台数に基づいて、前記所定のオブジェクトを含む前景画像の画質を設定する画質設定手段と、
    前記画質設定手段により設定された画質の前記前景画像を前記所定の伝送路において伝送する伝送手段と、
    を備えることを特徴とする伝送装置。
16. 前記画質設定手段により設定された画質に基づいて、前記前景画像の画質を変更する変更手段をさらに備え、
    前記伝送手段は、前記変更手段により画質を変更された前記前景画像を前記所定の伝送路において伝送することを特徴とする請求項１５に記載の伝送装置。
17. 前記変更手段は、前記画質設定手段により設定された画質に基づいて、前記前景画像を符号化し、
    前記伝送手段は、前記変更手段により符号化された前記前景画像を前記所定の伝送路において伝送することを特徴とする請求項１６に記載の伝送装置。
18. 前記複数のカメラの撮影対象の三次元形状と各カメラの相対的な位置関係に基づく前記複数のカメラの視野の重複度合いから、前記情報を取得することを特徴とする請求項１５から１７のいずれか１項に記載の伝送装置。
19. 前記画質設定手段は、前記所定の伝送路の伝送容量に基づいて、前記前景画像の画質を設定することを特徴とする請求項１５から１８のいずれか１項に記載の伝送装置。
20. 複数のカメラにより撮影された画像を所定の伝送路で伝送し、仮想視点画像を生成する画像処理システムにおける画像の伝送方法であって、
    所定のオブジェクトを撮影するカメラの台数に基づいて、前記所定のオブジェクトを含む前景画像の画質を設定し、
    設定された画質の前記前景画像を前記所定の伝送路において伝送することを特徴とする伝送方法。

Images