JP2024021218A - カメラ校正装置、カメラ校正方法及びプログラム - Google Patents

Abstract

【課題】レンズ特性に関わらず複数台のカメラを安定的に校正する。【解決手段】実施形態に係るカメラ校正装置１０は、３次元姿勢推定部１１、対応付け処理部１２、最適化部１３を含む。３次元姿勢推定部１１は、共通の人物を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢から人物の３次元姿勢を推定する。対応付け処理部１２は、カメラ毎に推定された３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、相似変換パラメータから各カメラの外部パラメータを決定する。最適化部１３は、対応付けられた３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と２次元姿勢との再投影誤差が最小となるように、３次元姿勢、カメラパラメータを最適化する。【選択図】図２

Description

本開示は、カメラ校正装置、カメラ校正方法及びプログラムに関する。

複数台のカメラを用いて同一の物体（被写体）を撮影した複数の画像を含む画像列から、カメラパラメータとその物体の３次元情報とを復元する問題は、Structure-from-Motion（ＳｆＭ）や多視点幾何学問題と呼ばれている。カメラパラメータは、「内部パラメータ」及び「外部パラメータ」の２種類を含む。内部パラメータは、焦点距離、レンズ歪、光学中心座標などのレンズ固有のパラメータであり、外部パラメータは、カメラ間の３次元的な回転行列及び並進ベクトルである。内部パラメータは、レンズが固定ならば事前に計測が可能である。内部パラメータのみ、もしくは、内部パラメータと外部パラメータとが既知のカメラは、校正済みカメラと呼ばれる。一方、それらが未知のカメラは未校正カメラと呼ばれる。

１台のカメラの内部パラメータを算出する方法として、平面のチェスボードパターンを用いるZhangの手法が広く知られている。また、１台の校正済みカメラの外部パラメータを算出する方法として、レーザーレンジファインダーで空間内の物体の３次元座標を計測し、３次元点が画像内の２次元点として観測される射影関係よりPerspective-n-point問題を解く手法も広く知られている。

複数台のカメラの内部パラメータと外部パラメータを同時に校正する方法として、ＳｆＭと呼ばれる手法が広く知られている。ＳｆＭでは、まず２台のカメラで共通の物体を撮影し、物体表面上の同一の３次元点が画像へと射影された２次元点（以下、対応点）の組を生成する。次に、複数の対応点（一般的に数十から数千個）を用いて、エピポーラ制約と呼ばれる、２台のカメラと対応点の幾何的な関係を表す制約式を解く。そして、全カメラから２台ずつ選択して、対応点の生成とエピポーラ制約式の求解を行い、全カメラのカメラパラメータと３次元点の暫定的な値を取得する。

最後に、観測した対応点と、推定した全カメラパラメータで３次元点を画像上に投影した点との再投影誤差が最小になるように最適化する（以下、バンドル調整）。ＳｆＭを安定的に実行するためには、１つの対応点が、複数のカメラで観測されていることが望ましい。しかしながら、物体を取り囲むようにカメラが配置されている場合、相対するカメラ同士では対応点が物体自身により隠れてしまい、隣り合うカメラでしか観測できないということが生じる。そのような環境でＳｆＭを実行すると、一部のカメラパラメータが推定できなかったり、全カメラパラメータが求められたとしても精度が低かったりするという課題がある。

どのカメラから見ても対応点を生成するために、画像上における人体の関節位置を対応点として用いる方法が提案されている。例えば、人体を正面から見ても背面から見ても首、肘、膝などの関節は観測できる。特許文献１では、歩行者の足首関節を地面における対応点と見なしてＳｆＭを実行し、カメラパラメータと人体関節の３次元座標（以下、３次元姿勢）を推定する方法が記載されている。特許文献２では、複数人の全身の関節位置を対応点と見なしてＳｆＭを実行し、望遠レンズと広角レンズで構成されたカメラの校正と３次元姿勢の推定を行う方法が記載されている。

また、人体の関節情報を用いる場合は必ずしも複数台のカメラを用いる必要はない。非特許文献１では、歩行者の背骨関節を地面に対する垂直線と見なして、１台のカメラの校正と人の身長を推定する方法が記載されている。非特許文献２では、ニューラルネットワークを用いて、１台のカメラから見た被写体の３次元姿勢を推定する方法が記載されている。

国際公開第２０２０／１９４４８６号 特許第６８１６０５８号公報

Nakano, Gaku. "Camera Calibration Using Parallel Line Segments." 2020 25th International Conference on Pattern Recognition (ICPR). IEEE, 2021. Yang, Wei, et al. "3d human pose estimation in the wild by adversarial learning." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.

しかしながら、上述した方法には、以下のような問題がある。
まず、特許文献１に記載された方法は、足首関節は上半身や他の歩行者で隠れやすく、常にカメラで観測されるとは限らない。次に、特許文献２に記載された方法は、望遠レンズと広角レンズを同時に用いる必要があるため、街中の監視カメラシステムのような同じレンズ特性で構成される複数台のカメラを校正できない。そして、非特許文献１に記載された方法は、１台のカメラパラメータを独立して算出するため、複数台のカメラを同時に校正できない。また、非特許文献２に記載された方法は、人体関節の３次元座標のみを推定し、カメラパラメータは学習データに依存してニューラルネットワークの中で暗黙的に決定されるため、カメラを校正することはできない。

上述したように、人体の関節位置を対応点として用いる従来の方法は、レンズ特性に関わらず複数台のカメラを安定的に校正することが困難である。

本発明の目的の一例は、上述した課題を鑑み、レンズ特性に関わらず複数台のカメラを安定的に校正し得るカメラ校正装置、カメラ校正方法及びプログラムを提供することにある。

本開示の一態様に係るカメラ校正装置は、３次元姿勢推定部、対応付け処理部、最適化部を含む。３次元姿勢推定部は、一人以上の共通の人物含む共通の場所を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢を取得する。また、３次元姿勢推定部は、該２次元姿勢から人物の３次元的な関節位置を表す３次元姿勢を推定する。対応付け処理部は、カメラ毎に推定された３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、相似変換パラメータから各カメラの外部パラメータを決定する。最適化部は、対応付けられた３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と２次元姿勢との再投影誤差が最小となるように、３次元姿勢、カメラの内部パラメータ、外部パラメータの少なくともいずれかを最適化する。

本開示の一態様に係るカメラ校正方法は、コンピュータが、以下の処理を実行する。
一人以上の共通の人物含む共通の場所を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢を取得し、当該２次元姿勢から人物の３次元的な関節位置を表す３次元姿勢を推定する処理。
カメラ毎に推定された前記３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、前記相似変換パラメータから各カメラの外部パラメータを決定する処理。
対応付けられた前記３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と前記２次元姿勢との再投影誤差が最小となるように、前記３次元姿勢、前記カメラの内部パラメータ、外部パラメータの少なくともいずれかを最適化する処理。

本開示の一態様に係るプログラムは、コンピュータに以下の処理を実行させるものである。
一人以上の共通の人物含む共通の場所を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢を取得し、当該２次元姿勢から人物の３次元的な関節位置を表す３次元姿勢を推定する処理。
カメラ毎に推定された前記３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、前記相似変換パラメータから各カメラの外部パラメータを決定する処理。
対応付けられた前記３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と前記２次元姿勢との再投影誤差が最小となるように、前記３次元姿勢、前記カメラの内部パラメータ、外部パラメータの少なくともいずれかを最適化する処理。

本開示により、レンズ特性に関わらず複数台のカメラを安定的に校正し得るカメラ校正装置、カメラ校正方法、及び、プログラムを提供することができる。

実施形態に係るカメラ校正装置による処理が適用される、撮影システムにおける複数台のカメラの配置の一例を示す図である。 実施形態に係るカメラ校正装置の構成の一例を示すブロック図である。 実施形態に係るカメラ校正装置の処理動作の一例を示すフロー図である。 カメラ校正装置のハードウェア構成の一例を示す図である。

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

＜撮影システム＞
実施形態は、複数台のカメラを校正するカメラ校正装置、カメラ校正方法、及び、カメラ校正プログラムに関する。図１は、実施形態に係るカメラ校正装置による処理が適用される、撮影システムにおける複数台のカメラの配置の一例を示す図である。図１に示すように、Ｎ台（Ｎは２以上の整数）のカメラＣ１、Ｃ２、…、Ｃｎはそれぞれ異なる場所に設置されており、一人以上の共通の人物含む共通の場所（以下、撮影エリアとする）を撮影する。図１に示す例では、撮影エリアに３人の人物Ｔ１、Ｔ２、Ｔ３が存在しており、各カメラＣ１、Ｃ２、…、Ｃｎそれぞれによって撮影されたカメラ映像には人物Ｔ１、Ｔ２、Ｔ３の人物画像が含まれることとなる。

＜カメラ校正装置＞
図２は、実施形態に係るカメラ校正装置１０の構成の一例を示すブロック図である。図２に示すカメラ校正装置１０は、図１に示すようなＮ台のカメラから構成される撮影システムの、各カメラＣ１、Ｃ２、…、Ｃｎのカメラパラメータと被写体（人物Ｔ１、Ｔ２、Ｔ３）の３次元姿勢を推定する装置である。本実施形態において、Ｎ台のカメラは時間同期が取れているものとする。すなわち、あるカメラのｉ番目のフレームと、別のカメラのｉ番目のフレームとは同一のタイムスタンプを持つ。

カメラ校正装置１０は、３次元姿勢推定部１１、対応付け処理部１２、最適化部１３を含む。３次元姿勢推定部１１は、カメラＣ１、Ｃ２、…、Ｃｎにより生成されたカメラ映像の各フレーム画像における人物Ｔ１、Ｔ２、Ｔ３それぞれの関節位置のフレーム画像上における２次元座標を表す２次元姿勢を取得し、各人物の３次元姿勢を推定する。ここで、３次元姿勢とは、人物の３次元的な関節位置を表す３次元座標である。

具体的には、３次元姿勢推定部１１は、互いに異なる位置に設置された複数のカメラＣ１、Ｃ２、…、Ｃｎによって共通の場所（撮影エリア）を撮影したカメラ映像を取得する。そして、３次元姿勢推定部１１は、まず、取得したカメラ映像の各フレーム画像における各人物の関節位置の２次元座標を取得し、次に３次元姿勢を推定する。

なお、各カメラで推定される３次元姿勢は、各カメラの視野角に応じて異なった関節位置で構成されてもよい。例えば、カメラＣ１で人物Ｔ１の全身が映っていれば、その全身の関節位置について３次元座標が推定される。また、カメラＣ２で人物Ｔ２の上半身しか映っていなければ、その上半身の関節位置について３次元座標が推定される。各カメラ映像から取得される２次元姿勢についても同様に、各カメラの視野角に応じて異なった関節位置で構成されてもよい。

対応付け処理部１２は、３次元姿勢推定部１１にて推定された各カメラ映像の３次元姿勢を用いて、まず、それらの３次元座標が一致する３次元相似変換を探索し、異なるカメラ映像中における同一人物の３次元姿勢を対応付ける。次に、対応付け処理部１２は、一致した相似変換パラメータから各カメラの外部パラメータを決定する。外部パラメータは、カメラ間の３次元的な回転行列及び並進ベクトルである。ここで、各カメラの外部パラメータのスケールを一意に決定するために、任意の１つのカメラを世界座標系の原点として設定してもよい。

最適化部１３は、対応付け処理部１２にて対応付けられた３次元姿勢と、３次元姿勢推定部１１で取得された２次元姿勢とを用いて、バンドル調整を行う。バンドル調整では、まず、対応付け処理部１２にて対応付けられた３次元姿勢を、抽出元の各カメラのフレーム画像（２次元画像）に対応するカメラパラメータを用いて、元のフレーム画像へ再投影して２次元座標が算出される。そして、投影された位置の２次元座標と、３次元姿勢推定部１１で取得された２次元姿勢とが比較され、２次元座標と２次元姿勢の差分（再投影誤差）が算出される。最適化部１３は、この再投影誤差が最小となるように、３次元姿勢と、カメラの内部パラメータと外部パラメータの少なくともいずれかを最適化する。

＜カメラ校正装置の処理動作＞
以下、上記の構成を有するカメラ校正装置１０の処理動作の一例について、図３を参照して説明する。図３は、実施形態に係るカメラ校正装置の処理動作の一例を示すフロー図である。以下の説明においては、適宜、図１、２を参酌する。また、本実施形態では、カメラ校正装置を動作させることによって、カメラ校正方法が実施される。よって、本実施形態におけるカメラ校正方法の説明は、以下のカメラ校正装置の処理動作の説明に代える。

まず、図１に示すような状況において、Ｎ台（Ｎは２以上の整数）のカメラＣ１、Ｃ２、…、Ｃｎで共通の撮影エリアが撮影される。すなわち、カメラＣ１、Ｃ２、…、Ｃｎは、視野を共有する場所を撮影している。このような撮影システムは、例えば、交差点や駅構内などの人が往来する場所への設置が想定される。撮影システムは、複数のカメラで撮影エリアを撮影することによりそれぞれカメラ映像を生成する。

これらのカメラは内部パラメータが事前に校正されていてもよいし、未校正であってもよい。各カメラは時刻同期が取れているが、カメラ映像の各フレーム画像に映っている複数の被写体の対応付けはできていない。すなわち、あるカメラにおけるｉ番目のフレームに映るｐ番目の人物と、別のカメラにおけるｉ番目のフレームに映るｑ番目の人物が同一人物かどうかは不明である。

図１に示す状況では、撮影エリアに３人の人物Ｔ１、Ｔ２、Ｔ３が存在しており、各カメラＣ１、Ｃ２、…、Ｃｎそれぞれによって撮影されたカメラ映像には人物Ｔ１、Ｔ２、Ｔ３の人物画像が含まれる。このような各カメラＣ１～ＣｎのＮ個のカメラ映像がカメラ校正装置１０に入力されると、図３の処理フローがスタートする。

図３に示すように、３次元姿勢推定部１１は、Ｎ個のカメラ映像が入力されると、各カメラ映像についてフレーム毎に人物の２次元姿勢を取得し、３次元姿勢を推定する（ステップＳ１１）。ここで、各カメラ映像における３次元姿勢は、ある共通の世界座標系で定義される必要はない。すなわち、カメラ毎に独立の座標系により定義されてよい。２次元姿勢と３次元姿勢を求めるためには、既存の様々な方法を用いることができる。例えば、幾何学に基づく非特許文献１に記載された方法を用いてもよいし、機械学習に基づく非特許文献２に記載された方法を用いてもよい。

次に、対応付け処理部１２は、各カメラ映像の３次元姿勢が入力されると、それらの３次元姿勢が一致する３次元相似変換を探索し、異なるカメラ映像中における同一人物の３次元姿勢を対応付ける。また、対応付け処理部１２は、一致した相似変換パラメータを各カメラの外部パラメータをして決定する（ステップＳ１２）。

対応付け処理部１２は、例えば、あるカメラにおけるｉ番目のフレームに映るｐ番目の人物の３次元姿勢が、別のカメラのｉ番目のフレームにて観測されたかどうかを探索して、３次元姿勢の対応付けを行う。

探索方法としては、例えば、広く知られているＩＣＰ（Iterative Closest Point）法を相似変換に拡張した方法を用いてもよい。具体的には、探索は以下のように行えばよい。まず、全フレームの３次元姿勢を一塊の３次元点群とみなすと、Ｎ個の３次元点群が定義できる。次に、Ｎ個から２個の点群を選択し、ＩＣＰ法を適用して２個の点群が一致する相似変換を推定する。次に、２個のうち１個の点群と、残りのＮ－２個の点群から１つを選び、ＩＣＰ法を適用する。この操作をすべての点群に対して行うと、最終的にすべての点群を１個に統合できる。また、相似変換パラメータは各カメラの外部パラメータと一致する。

別の探索方法としては、広く知られている３次元点特徴量による点対応のマッチングを用いてもよい。例えば、ＩＳＳ（Intrinsic Shape Signatures）や画像特徴として知られるＳＩＦＴ（Scale-Invariant Feature Transform）を３次元に拡張した３Ｄ ＳＩＦＴなどを用いて対応点組を計算し、次に、ＲＡＮＳＡＣ（Random Sample Consensus）により誤った対応点を除去しながら相似変換パラメータを推定する。

上記の例では全フレームの３次元姿勢を１つの点群としてＩＣＰ法又はＲＡＮＳＡＣを適用したが、時刻同期が取れているため、１フレームの３次元姿勢を１つの点群としてもよい。これにより、１つの点群に含まれる３次元座標の数が減少するため、ＩＣＰ法又はＲＡＮＳＡＣをより高速に実行できる。なお、カメラ間の３次元姿勢の対応付けが完了すれば、３次元姿勢の画像上での観測値である２次元姿勢も同時に対応付けられる。

最後に、最適化部１３は、対応付けられた３次元姿勢と２次元姿勢とを用い、再投影誤差が最小となるようにバンドル調整を実行する（ステップＳ１３）。具体的には、最適化部１３は、カメラパラメータと対応付けられた３次元姿勢を変数として、対応付けられた３次元姿勢を再投影した２次元座標と、２次元姿勢との差分が最小となるように、各カメラパラメータと３次元姿勢を最適化する。これにより、３次元姿勢とカメラパラメータをより高精度に推定できる。そして、最適化部１３は、カメラパラメータと３次元姿勢を出力して動作を終了する。

なお、外部パラメータは、対応付け処理部１２による出力を初期値として用いることができる。内部パラメータが未知の場合は、以下のように初期値を与えればよい。すなわち、各カメラにおいて、３次元姿勢と２次元姿勢と外部パラメータが既知のため、内部パラメータを未知とする最小二乗法を解けばよい。また、より簡易な方法としては、画像サイズの半分をレンズ中心と仮定したり、カメラの仕様から焦点距離を与えたりしてもよい。

以上説明したように、実施形態によれば、レンズ特性に関わらず複数台のカメラを安定的に校正できる。その理由は、以下の通りである。
第１の理由は、３次元姿勢推定部１１にて各カメラ映像について独立に３次元姿勢を計算し、対応付け処理部１２にてそれらを対応付ける。これにより、望遠レンズと広角レンズの組み合わせが不要になるためである。
第２の理由は、対応付け処理部１２にて３次元姿勢は足首に限定されず、検出されたすべての関節点を対応付けに利用可能するためである。
実施形態に係る技術は、画像からの３次元形状復元（Structure-from-Motion）の用途に好適である。

上述した例に対して、いわゆる当業者が理解し得る多様な変更を適用することが可能である。実施形態は、以下の変形例に示す形態によっても実施可能である。

上記の説明では、Ｎ台のカメラは時間同期が取れていると仮定したが、時刻同期が取れていなくてもよい。すなわち、あるカメラのｉ番目のフレームと別のカメラのｉ番目のフレームは同一のタイムスタンプを持つか不明であってもよい。この場合、対応付け処理部１２は、１フレームの３次元姿勢を１つの点群として探索範囲を限定することはできなくなるだけで、全フレームの３次元姿勢を一塊の３次元点群とみなせば対応付け可能である。カメラ間で人物の同一動作が撮影できていれば、カメラ映像の時刻ずれを調整することも可能である。

本実施の形態におけるプログラムは、コンピュータに、図３に示すステップＳ１１～Ｓ１３を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるカメラパラメータ推定装置とカメラパラメータ推定方法とを実現することができる。

図４は、カメラ校正装置１０のハードウェア構成例を示す図である。図４に示すように、カメラ校正装置１０は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、ＭＰＵ（Micro Processing Unit）、又はＣＰＵ（Central Processing Unit）である。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。

メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないＩ／Ｏインタフェースを介してメモリ１０２にアクセスしてもよい。第１実施形態のカメラ校正装置１０の３次元姿勢推定部１１、対応付け処理部１２、最適化部１３は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、カメラパラメータ推定装置に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってカメラパラメータ推定装置に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをカメラ校正装置１０に供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０ カメラ校正装置
１１ ３次元姿勢推定部
１２ 対応付け処理部
１３ 最適化部
１０１ プロセッサ
１０２ メモリ

Claims (7)

1. 一人以上の共通の人物含む共通の場所を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢を取得し、当該２次元姿勢から人物の３次元的な関節位置を表す３次元姿勢を推定する３次元姿勢推定部と、
   カメラ毎に推定された前記３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、前記相似変換パラメータから各カメラの外部パラメータを決定する対応付け処理部と、
   対応付けられた前記３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と前記２次元姿勢との再投影誤差が最小となるように、前記３次元姿勢、前記カメラの内部パラメータ、外部パラメータの少なくともいずれかを最適化する最適化部と、
   を備える、カメラ校正装置。
2. 複数台のカメラは時刻同期されており、
   前記対応付け処理部は、前記相似変換パラメータの探索範囲を、各カメラにより生成された映像の各フレーム画像に記録されたタイムスタンプが同一となる３次元姿勢に限定する、
   請求項１に記載のカメラ校正装置。
3. 複数台のカメラが時刻同期されていない場合、前記対応付け処理部は、複数台のカメラにより撮影された共通の人物の同一動作に基づいて映像の時刻ずれを調整する、
   請求項１に記載のカメラ校正装置。
4. 前記対応付け処理部は、複数台のカメラのうち、任意の１つのカメラを世界座標系の原点として設定して、前記カメラの外部パラメータを決定する、
   請求項１に記載のカメラ校正装置。
5. 複数台のカメラにより生成された映像から推定される３次元姿勢は、各カメラの視野角に応じて異なった関節位置で構成される、
   請求項１に記載のカメラ校正装置。
6. コンピュータが、
   一人以上の共通の人物含む共通の場所を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢を取得し、当該２次元姿勢から人物の３次元的な関節位置を表す３次元姿勢を推定する処理と、
   カメラ毎に推定された前記３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、前記相似変換パラメータから各カメラの外部パラメータを決定する処理と、
   対応付けられた前記３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と前記２次元姿勢との再投影誤差が最小となるように、前記３次元姿勢、前記カメラの内部パラメータ、外部パラメータの少なくともいずれかを最適化する処理と、
   を実行する、カメラ校正方法。
7. 一人以上の共通の人物含む共通の場所を撮影する異なる場所に設置された複数台のカメラにより生成された映像の各フレーム画像上における人物の関節位置の座標を表す２次元姿勢を取得し、当該２次元姿勢から人物の３次元的な関節位置を表す３次元姿勢を推定する処理と、
   カメラ毎に推定された前記３次元姿勢を対応付ける相似変換パラメータを探索して、異なるカメラによって生成されたフレーム画像における同一人物を対応付け、前記相似変換パラメータから各カメラの外部パラメータを決定する処理と、
   対応付けられた前記３次元姿勢を各カメラのフレーム画像へ再投影した２次元座標と前記２次元姿勢との再投影誤差が最小となるように、前記３次元姿勢、前記カメラの内部パラメータ、外部パラメータの少なくともいずれかを最適化する処理と、
   をコンピュータに実行させるプログラム。

Images