JP5147132B2 - 撮影カメラの位置算出装置 - Google Patents

Description

本発明は、被写体の映像を撮影するために撮影スタジオを移動機構により移動する撮影カメラの位置算出装置に関する。

従来から、被写体の映像を撮影するために撮影スタジオを移動機構により移動する撮影カメラのカメラ位置を算出する技術が知られている。その中には、実写映像（被写体の映像）とＣＧ映像とを違和感なく合成するために、撮影カメラのカメラ位置を算出する技術がある。以下、実写映像とＣＧ映像とを違和感なく合成するために、ＣＧ映像と実写映像のカメラ原点を正確にあわせる従来例を２つ説明する。

まず、第１の従来例として、撮影カメラの位置をカメラ原点において位置決めすることで撮影カメラは自らの位置を正確に把握する。その後、撮影カメラの移動が車輪などの移動機構を介して行われ、ある地点で撮影が行われる。

このとき、撮影カメラを雲台に設けられた車輪によって移動させ、または、撮影用クレーンで移動させていると、撮影カメラ位置の誤差、すなわち、ＣＧ映像が有する撮影カメラの位置と現実の撮影カメラの位置の誤差が、雲台の車輪回転及び操舵方向等への滑り、または、車輪や撮影用クレーンの物理的な歪みや磨耗等を原因として、移動を重ねるほど蓄積し、ＣＧ映像と実写映像の合成映像に違和感が生じるようになる場合がある。

このため、ＣＧ映像と実写映像の合成映像に違和感が生じるたびに撮影カメラをカメラ原点に戻して再度キャリブレーションを行い、正確なカメラ位置を取得している。
例えば、撮影前のカメラリハーサルの段階で、ＣＧ映像と実写映像とを合成するためのキャリブレーション原点から予め計測した任意の点を、撮影カメラの基準位置となるカメラ原点として設定する。そして、その位置において雲台の平面移動方向の直交する２軸方向（Ｘ、Ｙ）に物理的に動かして、撮影カメラを通過させて雲台に設置したセンサにより撮影カメラ位置を検出させ、ＣＧ映像と実写映像のカメラ原点を正確にあわせる。

次に、第２の従来例として、ＣＧ映像と実写映像とを違和感なく合成するために、予め形状情報を取得しているマーカを撮影スタジオの実空間内に置いておくものがある（特許文献１参照）。そして、撮影カメラによって実空間内にあるマーカを撮影し、撮影カメラを通した形状情報を取得する。その後、そのマーカの形状情報と実写映像によってマーカを撮影したことにより得られるマーカ情報の比較によって、カメラ位置の誤差を判定することで撮影カメラの位置算出を行う。
特開平９−１９６２６７号公報

しかし、前記した第１の従来例では、番組の撮影が継続している場合には、スタジオ内に他の撮影カメラ、撮影機材、撮影カメラのコード等が存在するため、撮影カメラをカメラ原点に戻して再キャリブレーションするには他の機材が邪魔となり、撮影をスムーズに行うことが難しい。

なお、雲台に設けられた車輪等の移動機構を使用せず、撮影用クレーンを用いて撮影カメラの移動が行われる場合にも、スタジオ内の空間に設けられたマイクなどの機材により、カメラ原点に撮影カメラを移動することは事実上難しく、演出的に不都合が生じてしまう。

また、前記した第２の従来例のように、マーカを撮影スタジオ内の実空間に置いておくことは、以下のような問題点を引き起こす。

まず、マーカの検出精度の向上を追及しマーカ検出用パターンとして特徴的なパターンを使用すると、映像内にマーカが映し出されるだけでなく、マーカは撮影にあわせて変化しないので合成映像が不自然に見えてしまう。そのため、合成映像に違和感の生じない自然なパターンのマーカを使うことも考えられるが、この場合、合成映像内の他の部分とマーカとの識別が困難になり、マーカの安定的で正確な検出が困難になり、撮影カメラの位置算出が難しくなる。

本発明は、以上のような問題点に鑑みてなされたものであり、撮影カメラをカメラ原点に戻すことなく、また形状の判明したマーカ（物体）を使用することなく、撮影状況に即して容易にかつ確実にカメラ位置の誤差（ズレ）を修正可能な撮影カメラの位置算出装置を提供することを目的とする。

まず、請求項１に記載の撮影カメラの位置算出装置は、被写体の映像を撮影する撮影スタジオを移動機構により移動すると共に、パン角とチルト角と高さ位置とを測定するセンサをそれぞれ備える撮影カメラの位置算出装置であって、カメラパラメータ入力手段と、カメラパラメータ記憶手段と、カメラパラメータ更新手段と、カメラ位置情報算出手段と、を備える構成とした。

かかる構成によれば、撮影カメラの位置算出装置は、カメラパラメータ入力手段によって、予め設定された基準向きが入力されると共に、撮影スタジオの予め設定したキャリブレーション原点に向けられた撮影カメラの基準向きに対するパン角とチルト角、及び、カメラ高さを示す高さ位置を示すカメラパラメータとがセンサから入力されることになる。これによって、撮影カメラの位置算出装置は、位置計算を行うために必要な基準を映像内にマーカとして設置する必要がなくなる。

また、撮影カメラの位置算出装置は、カメラパラメータ記憶手段によって、カメラパラメータを記憶する。これによって、撮影カメラの位置算出装置は、カメラパラメータと更新されたカメラパラメータであるカメラ更新カメラパラメータに対するカメラ更新カメラパラメータを判別することができる。

また、撮影カメラの位置算出装置は、カメラパラメータ更新手段によって、前記入力手段に更新された前記カメラパラメータが入力された場合、当該更新されたカメラパラメータを更新カメラパラメータとして前記カメラパラメータ記憶手段に記憶させる。これによって、撮影カメラの位置算出装置は、撮影カメラの位置算出をする場合に、当初のカメラパラメータを再度取得するために撮影カメラをカメラ原点に戻す必要がなくなり、撮影において、例えば、カメラ等の機材、コードが散乱しているケースでも、撮影カメラの位置算出が容易に行えることになる。

そして、撮影カメラの位置算出装置は、カメラ位置情報算出手段によって、カメラパラメータ記憶手段に記憶されたカメラパラメータに基づいて初期カメラ位置を算出し、カメラパラメータ記憶手段に記憶された更新カメラパラメータに基づいて、更新カメラ位置を算出する。これによって、撮影カメラの位置算出装置は、撮影カメラの位置を座標値として取得できるため、座標系を有する映像データに撮影カメラの位置を渡すことができ、例えば、ＣＧ合成におけるＣＧ映像の座標系におけるカメラ位置とすることができる。

また、請求項２に記載の撮影カメラの位置算出装置は、撮影カメラが、撮影スタジオの床面に対する撮影カメラの傾きを傾斜誤差値として測定する傾斜誤差検出器を備え、カメラパラメータ入力手段が、傾斜誤差検出器から傾斜誤差値が入力されると共に、入力されたカメラパラメータに含まれる高さ位置を傾斜誤差値で補正する構成とした。

かかる構成によれば、撮影カメラの位置算出装置は、カメラパラメータに含まれる高さ位置を傾斜誤差値で補正するため、例えば、撮影スタジオの床面の凹凸によって撮影カメラが傾く場合でも、この影響を最小限に抑えて、精度が高い更新カメラ位置を算出できる。

また、請求項３に記載の撮影カメラの位置算出装置は、撮影カメラが、移動機構の回転誤差値を測定する回転誤差検出器を備え、カメラパラメータ入力手段が、回転誤差検出器から回転誤差値が入力されると共に、入力されたカメラパラメータに含まれるパン角を回転誤差値で補正する構成とした。

かかる構成によれば、撮影カメラの位置算出装置は、カメラパラメータに含まれるパン角を回転誤差値で補正するため、例えば、撮影スタジオの床面の凹凸や車輪のスリップによって移動機構に回転誤差が生じる場合でも、この影響を最小限に抑えて、精度が高い更新カメラ位置を算出できる。

また、請求項４に記載の撮影カメラの位置算出装置は、撮影カメラの移動機構が、撮影カメラの撮影スタジオ内における位置を位置情報として出力し、カメラ位置情報算出手段が、更新カメラ位置を算出した撮影カメラ以外の他の撮影カメラの位置情報に基づいて、撮影カメラから見た他の撮影カメラの位置を算出し、撮影カメラのチルト角と撮影カメラの更新カメラ位置との関係から撮影カメラから見たキャリブレーション原点の位置を算出すると共に、他の撮影カメラの位置と撮影カメラから見たキャリブレーション原点の位置との関係から他の撮影カメラから見たキャリブレーション原点の位置を算出する構成とした。

かかる構成によれば、撮影カメラの位置算出装置は、１台の撮影カメラの更新カメラ位置を算出すれば、他の撮影カメラがキャリブレーション原点を撮影できない位置にある場合でも、この他の撮影カメラの位置と他の撮影カメラから見たキャリブレーション原点の位置とを算出できる。また、撮影カメラの位置算出装置は、複数台の撮影カメラで番組撮影を行う場合でも、カメラの位置とキャリブレーション原点の位置とを算出するために、１台の撮影カメラをキャリブレーション原点に向けるだけで良く、全ての撮影カメラをキャリブレーション原点に向ける必要がなくなり、撮影カメラをキャリブレーション原点に向ける回数を最小限に抑えられる。

また、請求項５に記載の撮影カメラの位置算出装置は、撮影予定位置入力手段と、移動量算出手段と、を備える構成とした。

かかる構成によれば、撮影カメラの位置算出装置は、撮影予定位置入力手段によって、予め設定される前記撮影カメラの撮影予定位置が入力される。これによって、撮影カメラの位置算出装置は、撮影カメラの移動量及び方向を算出できるため、現在位置から移動先への移動量及び方向が算出可能になり、撮影カメラの移動を行うための撮影カメラの移動量及び方向を出力できる。

また、撮影カメラの位置算出装置は、移動量算出手段によって、撮影カメラの次の撮影予定位置までの移動量及び方向を、初期カメラ位置から撮影予定位置までの撮影予定位置ベクトルに対して、更新カメラ位置から初期カメラ位置までのカメラ位置ベクトルを加算することによって算出する。これによって、撮影カメラの位置算出装置は、次の撮影予定位置への正確な移動量及び方向を算出することができる。

請求項１に記載の発明によれば、撮影カメラをカメラ原点に戻して位置算出をする必要がなくなるため、撮影スタジオでの番組撮影中に、撮影フロア上に置かれた機材を片付けて撮影カメラをカメラ原点に戻す必要がなくなり、撮影状況に即して容易に撮影カメラの位置算出を行うことができる。また、請求項１に記載の発明によれば、キャリブレーション原点を撮影フロアのタイル目地等にできるため、撮影カメラで撮影する被写体の一部にマーカを用いる必要がなくなり、合成映像の演出上の制限を与えずに撮影カメラの位置を算出することができる。

また、請求項２に記載の発明によれば、撮影カメラの傾き影響を最小限に抑えて、精度が高い更新カメラ位置を算出できる。
また、請求項３に記載の発明によれば、移動機構の回転誤差の影響を最小限に抑えて、精度が高い更新カメラ位置を算出できる。

また、請求項４に記載の発明によれば、キャリブレーション原点を撮影できない位置にある他の撮影カメラの位置を算出できるため、撮影状況に即して容易に、撮影カメラに加えて他の撮影カメラの位置と他の撮影カメラから見たキャリブレーション原点とを算出できる。さらに、請求項４に記載の発明によれば、撮影カメラをキャリブレーション原点に向ける回数を最小限に抑えられるため、各撮影カメラの撮影ショットの自由度を維持しつつ、各撮影カメラの位置を容易に算出できる。

また、請求項５に記載の発明によれば、自律して移動撮影を行う撮影カメラでも使用でき、予め入力された撮影カメラの撮影予定位置に基づいて撮影でき、撮影予定位置が複数であっても撮影カメラの位置の誤差を修正でき、誤差が蓄積することはない。

以下、本発明の実施の形態について図面を参照して説明する。ここで、例えば、本発明をスタジオ内においてロボットカメラである撮影カメラにより被写体を撮影して、ＣＧ合成映像を制作する場合に対して適用し、ＣＧ合成システムにおける撮影カメラの位置算出装置として説明する。なお、本発明に係るカメラ位置算出装置は、ＣＧ合成システムとしてではなく、単独の装置として使用できることは言うまでもない。

〔ＣＧ合成システムの概要〕
以下、図１を参照して、本発明におけるＣＧ合成システムＺを説明する。図１は、本発明の実施形態に係るＣＧ合成システムの構成を模式的に示す図である。

図１に示すように、ＣＧ合成システムＺは、互いに回線によって接続された撮影カメラの位置算出装置１と、制御装置Ｅと、撮影カメラ装置（撮影カメラ）Ｃ１と、撮影カメラモニタＭと、を用いてＣＧ合成を行っている。

ＣＧ合成システムＺは、例えば、クロマキー処理を行うことができる青色のスクリーンＳＣの前に立つ出演者Ｒ１（例えば、アナウンサ）を撮影カメラ装置Ｃ１で撮影し、その実写映像Ｅ２に含まれるスクリーンＳＣ部分にＣＧ画像（例えば、山の風景）を合成したＣＧ映像Ｅ１を出力するものである。

ＣＧ合成システムＺによる撮影では、ＣＧ合成システムＺに予め外部より入力された撮影予定位置に基づいて行われるが、ＣＧ合成システムＺによって撮影カメラ装置Ｃ１の移動を行っていると、ＣＧ合成システムＺで使用される撮影カメラ装置Ｃ１の位置と実際の撮影カメラ装置Ｃ１の位置とに誤差が生じてくる場合がある。その結果、撮影カメラモニタＭに出力された合成映像に映像上の誤差（ズレ）が生じることになるので、ＣＧ合成システムＺは、再度正確な撮影カメラの位置を取得して誤差を解消するように制御する。

制御装置Ｅは、外部より指令を受けて、撮影カメラ装置Ｃ１と撮影カメラモニタＭを制御する。まず、制御装置Ｅは、外部より指令を受け、撮影カメラ装置Ｃ１を制御し初期カメラ位置Ｐ０まで移動させる。さらに、制御装置Ｅは、撮影カメラモニタＭに表示される合成映像に基づいて外部より指令を受け、撮影カメラ装置Ｃ１の向きをキャリブレーション原点Ｇ１に向けながらキャリブレーション原点Ｇ１を撮影させる。このとき、キャリブレーション原点Ｇ１は、カメラレンズの中心に写るように手動で調整される。

また、制御装置Ｅは、外部より位置算出の指令を受けると、そのときのカメラパラメータとＣＧ描画軸に正対する基準向きＫとを、撮影カメラの位置算出装置１に入力する。

また、制御装置Ｅは、外部より指令を受けると、撮影のために撮影カメラ装置Ｃ１を制御し、初期カメラ位置Ｐ０から予め外部より制御装置Ｅに入力された撮影予定位置に従って撮影カメラ装置Ｃ１を撮影予定位置の一つに移動させる。そして、制御装置Ｅは、撮影カメラ装置Ｃ１の移動先で撮影カメラ装置Ｃ１を制御して被写体である出演者Ｒ１とスクリーンＳＣの撮影を行い、予め入力されたＣＧ映像Ｅ１との合成を行い、それを撮影カメラモニタＭに表示する。その後、制御装置Ｅは、撮影カメラモニタＭに表示されたＣＧ映像Ｅ１と実写映像Ｅ２との誤差（ズレ）が発生している場合に、再び撮影カメラ装置Ｃ１の位置算出指令が外部よりなされるとカメラパラメータを撮影カメラの位置算出装置１に入力する。なお、カメラパラメータの詳細は、後記する。

そして、制御装置Ｅは、次の撮影予定位置Ｐ２までの移動量及び方向Ｒの入力を受けると、その移動量及び方向Ｒを記憶する。外部より次の撮影予定位置Ｐ２への移動指令が制御装置Ｅになされると、制御装置Ｅは、記憶された移動量及び方向Ｒと次の撮影予定位置Ｐ２と更新カメラ位置Ｐ１に基づいて次の撮影予定位置Ｐ２まで撮影カメラ装置Ｃ１を移動させる。

撮影カメラモニタＭは、ＣＧ映像Ｅ１と実写映像Ｅ２との合成映像を表示するものである。予め制御装置Ｅに入力されたＣＧ映像Ｅ１と実写映像Ｅ２とは、撮影カメラ装置Ｃ１の位置に誤差が生じると画像に違和感が発生してしまう。

撮影カメラ装置Ｃ１は、被写体を撮影する撮影カメラが、図示しない移動機構によって撮影スタジオを自在に移動可能で、この撮影カメラのパン角とチルト角と高さ位置とを自在に制御可能な雲台に搭載される。また、撮影カメラ装置Ｃ１は、図示しないセンサにより撮影カメラのパン角とチルト角と高さ位置とをそれぞれ測定して、制御装置Ｅを介して、位置算出装置１に出力する。また、撮影カメラ装置Ｃ１は、移動機構が検出する撮影スタジオ内における位置（座標）を位置情報として、制御装置Ｅを介して、位置算出装置１に出力しても良い。

また、撮影カメラ装置Ｃ１は、撮影スタジオの床面に対する撮影カメラ装置Ｃ１の傾きを傾斜誤差値（角度情報）として測定する傾斜誤差検出器（不図示）を備えても良い。この傾斜誤差検出器としては、例えば、ジャイロサンサその他センサがある。そして、撮影カメラ装置Ｃ１は、傾斜誤差検出器が測定した傾斜誤差値を、制御装置Ｅを介して、位置算出装置１に出力する。

また、撮影カメラ装置Ｃ１は、移動機構の回転誤差値（角度情報）を測定する回転誤差検出器（不図示）を備えても良い。この回転誤差検出器としては、例えば、ジャイロセンサその他のセンサがある。そして、撮影カメラ装置Ｃ１は、回転誤差検出器が測定した回転誤差値を、制御装置Ｅを介して、位置算出装置１に出力する。

また、撮影カメラ装置Ｃ１は、初期カメラ位置Ｐ０において、パン角とチルト角と高さ位置とを測定して、制御装置Ｅを介して、撮影カメラの位置算出装置１に出力する。その後、撮影カメラ装置Ｃ１は、更新カメラ位置Ｐ１において、パン角とチルト角と高さ位置とを測定して、制御装置Ｅを介して、撮影カメラの位置算出装置１に出力する。さらに、次の撮影予定位置Ｐ２において、撮影カメラ装置Ｃ１は、パン角とチルト角と高さ位置とを測定して、制御機構Ｅを介して、撮影カメラの位置算出装置１に出力する。なお、撮影カメラを構成する雲台は、図示しない撮影用クレーンでも良い。

基準向きＫは、雲台に設けられた移動機構と雲台との角度情報として入力される。
例えば、雲台の正面方向に対して車輪を車輪進行方向に向け、その移動機構である車輪に設けられたセンサでその角度を得るものである。このように基準向きＫは、雲台の基準向きに対する角度情報として設定される。

キャリブレーション原点Ｇ１は、撮影スタジオにおいていかなる場所でも、何れかの撮影カメラから見える位置に設置されるのが好ましい。

〔撮影カメラの位置算出装置の構成〕
以下、図２を参照（適宜図１を参照）して、図１の撮影カメラの位置算出装置１の構成について説明する。図２は、図１の撮影カメラの位置算出装置の構成を示すブロック図である。

図２に示すように、撮影カメラの位置算出装置１は、カメラパラメータ入力手段１０と、誤差情報入力手段１５と、カメラパラメータ記憶手段２０と、カメラパラメータ更新手段３０と、カメラ位置情報算出手段４０と、撮影予定位置入力手段５０と、移動量算出手段６０とを備える。

カメラパラメータ入力手段１０は、カメラパラメータが入力されるものであり、カメラパラメータ入力部１１と基準向き入力部１２を備える。
カメラパラメータ入力部１１は、図１の初期カメラ位置Ｐ０におけるパン角とチルト角と高さ位置とがセンサから入力される。基準向き入力部１２は、基準向きＫが入力される。なお、図２では、初期カメラ位置Ｐ０におけるパン角は０度とされ、チルト角は０度にはならない。

＜傾斜誤差及び回転誤差の補正＞
誤差情報入力手段１５は、傾斜誤差値と回転誤差値との少なくとも一方が入力されるものである。また、誤差情報入力手段１５は、入力された傾斜誤差値及び回転誤差値を、カメラパラメータ入力手段１０に出力する。以下、図３を参照し、図２のカメラパラメータ入力手段による傾斜誤差値の補正について、説明する（適宜図２を参照）。図３は、図２のカメラパラメータ入力手段による傾斜誤差値の補正を説明する図である。なお、図３では、傾斜している状態の撮影カメラ装置Ｃ１を実線で図示し、傾斜していない状態の撮影カメラ装置Ｃ１を破線で図示した。

図３に示すように、撮影カメラ装置Ｃ１が傾斜している場合、カメラパラメータに含まれる高さ位置Ｈ’は、撮影カメラ装置Ｃ１が傾斜していないときの高さ位置Ｈと比べて、誤差を含むことになる。この誤差によって、撮影カメラの位置算出装置１が算出する初期カメラ位置及び更新カメラ位置の精度が低くなってしまう。そこで、撮影カメラ装置Ｃ１は、Ｊ軸の中心に取り付けられた傾斜誤差検出器（不図示）が測定する傾斜誤差値を撮影カメラの位置算出装置１に出力する。そして、カメラパラメータ入力部１１は、例えば、下記式（１）を用いて、高さ位置Ｈ’を、入力された傾斜誤差値で補正して高さ位置Ｈを算出する。なお、式（１）では、βは撮影スタジオの床面（撮影フロア）に対する撮影カメラ装置Ｃ１の傾き（Ｊ軸を基準としたＵ垂線の傾き）を示す傾斜誤差値である。
Ｈ＝Ｈ’ｃｏｓβ・・・式（１）

そして、カメラパラメータ入力部１１は、補正した高さ位置Ｈをカメラパラメータとして、カメラパラメータ記憶手段２０及びカメラパラメータ更新手段３０に出力する。なお、撮影カメラの位置算出装置１は、撮影カメラ装置Ｃ１が初期カメラ位置に位置するときの高さ位置Ｈ’、及び、撮影カメラ装置Ｃ１が更新カメラ位置に位置するときの高さ位置Ｈ’の両方について、補正しても良いことは言うまでもない。

以下、図４を参照し、図２のカメラパラメータ入力手段による回転誤差値の補正について、説明する（適宜図２を参照）。図４は、図２のカメラパラメータ入力手段による回転誤差値の補正を説明する図である。なお、図４では、移動機構Ｃ１ａがスリップする等、移動機構Ｃ１ａに回転誤差が生じている状態の撮影カメラ装置Ｃ１を実線で図示し、移動機構Ｃ１ａに回転誤差が生じていない状態の撮影カメラ装置Ｃ１を破線で図示した。

図４に示すように、移動機構Ｃ１ａに回転誤差が生じている場合、カメラパラメータに含まれるパン角は、移動機構Ｃ１ａに回転誤差が生じていないときのパン角と比べて、誤差を含むことになる。この誤差によって、撮影カメラの位置算出装置１が算出する初期カメラ位置及び更新カメラ位置の精度が低くなってしまう。そこで、カメラパラメータ入力部１１は、例えば、カメラパラメータに含まれるパン角から回転誤差値（角度）γを減算して補正し、誤差のないパン角を算出する。

そして、カメラパラメータ入力部１１は、補正したパン角をカメラパラメータとして、カメラパラメータ記憶手段２０及びカメラパラメータ更新手段３０に出力する。なお、撮影カメラの位置算出装置１は、撮影カメラ装置Ｃ１が初期カメラ位置に位置するときのパン角、及び、撮影カメラ装置Ｃ１が更新カメラ位置に位置するときのパン角の両方について、補正しても良いことは言うまでもない。図３及び図４のように、誤差のない高さ位置Ｈ及び誤差のないパン角を用いることで、撮影カメラの位置算出装置１は、精度が高い初期カメラ位置及び更新カメラ位置を算出できる。

以下、図２に戻り、説明を続ける。カメラパラメータ記憶手段２０は、カメラパラメータを含むカメラパラメータファイル２１と、更新カメラパラメータを含む更新カメラパラメータファイル２２と、基準向きの情報を含む基準向きファイル２３とを格納している。
ここで、カメラパラメータ記憶手段２０は、カメラパラメータ入力手段１０から入力されたカメラパラメータをそのまま記憶する。

カメラパラメータファイル２１は、カメラパラメータとして、パン角とチルト角と高さ位置を含む。更新カメラパラメータファイル２２は、更新カメラパラメータとして、更新されたパン角とチルト角と高さ位置を含む。基準向きファイル２３は、基準向きの情報として、基準向きＫを表す雲台に対するカメラ車輪軸の角度情報を含む。

また、カメラパラメータは、少なくともパン角とチルト角と高さ位置を含めば、他のパラメータを含んでいてもよく、また更新カメラパラメータもパン角とチルト角と高さ位置を含めば、他のパラメータを含んでいても良い。他のパラメータの構成をカメラパラメータと更新カメラパラメータとで変えることも可能である。なお、チルト角は０度にはならない。

カメラパラメータ更新手段３０は、カメラパラメータを更新カメラパラメータに更新するものであり、カメラパラメータ更新部３１を備える。また、カメラパラメータ更新手段３０は、カメラパラメータ入力手段１０に更新されたカメラパラメータが入力された場合、当該更新されたカメラパラメータを更新カメラパラメータとしてカメラパラメータ記憶手段２０に記憶させる。

つまり、カメラパラメータ更新手段３０は、更新カメラパラメータが更新されるたびに、上書き変更する。なお、上書き保存せずに、最新の更新情報がわかる手段を用いて更新カメラパラメータを、更新されるたびに全て保存しても良い。その場合、最新の更新情報を把握する手段として、更新フラグを立てる方法がある。

カメラ位置情報算出手段４０は、カメラパラメータ記憶手段２０に記憶されたカメラパラメータに基づいて初期カメラ位置Ｐ０を算出し、カメラパラメータ記憶手段２０に記憶された更新カメラパラメータに基づいてさらに更新カメラ位置Ｐ１を算出する。ここで、カメラ位置情報算出手段４０は、初期カメラ位置Ｐ０及び更新カメラ位置Ｐ１を算出するカメラ位置情報算出部４１を備える。なお、カメラ位置情報算出手段４０による初期カメラ位置Ｐ０と更新カメラ位置Ｐ１の算出は後記する。

撮影予定位置入力手段５０は、予め設定された撮影カメラ装置Ｃ１の撮影予定位置が入力される撮影予定位置入力部５１を備える。例えば、撮影において複数の位置で撮影することが考えられ、撮影予定位置は、複数入力されても良い。

移動量算出手段６０は、撮影カメラ装置Ｃ１の次の撮影予定位置Ｐ２までの移動量及び方向Ｒを算出する移動量算出部６１を備える。なお、移動量算出手段６０による移動量及び方向Ｒの算出は後記する。

＜初期カメラ位置Ｐ０と更新カメラ位置Ｐ１の算出＞
以下、図５、図６、図７を参照（適宜図２を参照）して、初期カメラ位置Ｐ０と更新カメラ位置Ｐ１の算出を説明する。図５は、図１の初期カメラ位置Ｐ０において、撮影カメラ装置Ｃ１をキャリブレーション原点Ｇ１に向けている状態の側面図である。撮影カメラ装置Ｃ１は、撮影フロアＦと撮影カメラ装置Ｃ１の光軸Ｔとの仰角をチルト角α_０としている。撮影カメラ装置Ｃ１の光軸Ｔと撮影フロアＦ上の初期カメラ位置Ｐ０を通る垂線Ｕとの交点を撮影カメラのＪ軸とする。また、撮影フロアＦからＪ軸までの距離を高さ位置Ｈ_０とする。

チルト角α_０と高さ位置Ｈ_０は、Ｊ軸に設けられたセンサにより測定されるため、カメラ位置情報算出手段４０は、キャリブレーション原点Ｇ１に対する初期カメラ位置Ｐ０までの距離ｘ_０を、Ｈ_０／ｔａｎα_０として算出する。

図６は、図１の更新カメラ位置Ｐ１において撮影カメラ装置Ｃ１をキャリブレーション原点Ｇ１に向けている状態の斜視図である。撮影カメラ装置Ｃ１は、雲台の上に存在し、撮影フロアＦと撮影カメラ装置Ｃ１の光軸Ｔとの仰角をチルト角αとしている。撮影カメラ装置Ｃ１の光軸Ｔと撮影フロアＦ上の更新カメラ位置Ｐ１を通る垂線Ｕとの交点をＪ軸とする。Ｊ軸は撮影カメラ装置Ｃ１の光軸上に存在する。撮影フロアＦからＪ軸までの距離を高さ位置Ｈとする。

チルト角αと高さ位置Ｈは、Ｊ軸に設けられたセンサにより測定されるため、カメラ位置情報算出手段４０は、キャリブレーション原点Ｇ１に対する更新カメラ位置Ｐ１までの距離ｘを、Ｈ／ｔａｎαとして算出する。

図７は、本発明において、撮影フロアＦ上から撮影フロアＦを見下ろした状態を示した図である。図７に示すように、キャリブレーション原点Ｇ１を、座標の原点とすると、更新カメラ位置Ｐ１の座標は、（ｘｓｉｎθ、−ｘｃｏｓθ）と表されることになる。ここで、図６より、ｘ＝Ｈ／ｔａｎαなので、更新カメラ位置Ｐ１の座標は、（Ｈｓｉｎθ／ｔａｎα、−Ｈｃｏｓθ／ｔａｎα）となる。

一方、図６より、初期カメラ位置Ｐ０の座標は、（０、−Ｈ_０／ｔａｎα_０）と表される。従って、初期カメラ位置Ｐ０を原点（０、０）とすると、更新カメラ位置Ｐ１は、（Ｈｓｉｎθ／ｔａｎα、Ｈ_０／ｔａｎα_０−Ｈｃｏｓθ／ｔａｎα）と表されることになる。このように、カメラ位置情報算出手段４０は、カメラパラメータと更新カメラパラメータより、初期カメラ位置Ｐ０と更新カメラ位置Ｐ１を算出する。

＜移動量及び方向の算出＞
以下、図８を参照して、移動量及び方向Ｒの算出を説明する。図８は、図２の移動量算出手段を説明する図である。

図８に示すように、移動量算出手段６０は、撮影カメラ装置Ｃ１の次の撮影予定位置Ｐ２までの移動量及び方向Ｒを、初期カメラ位置Ｐ０から次の撮影予定位置Ｐ２までの撮影予定位置ベクトルに対して、更新カメラ位置Ｐ１から初期カメラ位置Ｐ０までのカメラ位置ベクトルを加算する。

このように、初期カメラ位置Ｐ０、更新カメラ位置Ｐ１、次の撮影予定位置Ｐ２とからベクトルを算出しそれを加算することによって、正確な次の移動位置を算出することができる。なお、移動量算出手段６０は、ベクトルの向きを逆にして減算を行っても良い。

＜他の撮影カメラ装置の更新カメラ位置の算出＞
以下、図９を参照して、他の撮影カメラ装置の更新カメラ位置の算出を説明する（適宜図２を参照）。図９は、図２のカメラ位置情報算出手段による他の撮影カメラ装置の更新カメラ位置の算出を説明する図である。

図９に示すように、撮影カメラ装置Ｃ１は、キャリブレーション原点Ｇ１を撮影できる位置にあるため、前記したように、その更新カメラ位置を算出できる。一方で、撮影カメラ装置Ｃ２は、例えば、キャリブレーション原点Ｇ１までの間に出演者Ｒ１が位置するため、キャリブレーション原点Ｇ１を撮影できずに、撮影カメラ装置Ｃ２の位置と撮影カメラ装置Ｃ２から見たキャリブレーション原点Ｇ１の位置とを算出できない場合がある。

この場合、カメラ位置情報算出手段４０は、撮影カメラ装置Ｃ１のチルト角と撮影カメラ装置Ｃ１の更新カメラ位置との関係から撮影カメラ装置Ｃ１から見たキャリブレーション原点Ｇ１の位置を算出できる（図６参照）。また、カメラ位置情報算出手段４０は、撮影カメラ装置Ｃ２の位置情報に基づいて、撮影カメラ装置Ｃ１から見た他の撮影カメラ装置Ｃ２の位置を算出できる。そして、カメラ位置情報算出手段４０は、撮影カメラ装置Ｃ２の位置と撮影カメラ装置Ｃ１から見たキャリブレーション原点Ｇ１の位置との関係から他の撮影カメラ装置Ｃ２から見たキャリブレーション原点Ｇ１の位置を算出できる。これによって、撮影カメラの位置算出装置１は、撮影状況に即して容易に、キャリブレーション原点Ｇ１を撮影できる撮影カメラ装置Ｃ１の位置を算出するだけでなく、キャリブレーション原点Ｇ１を撮影できない位置にある撮影カメラ装置Ｃ２の位置と撮影カメラ装置Ｃ２から見たキャリブレーション原点Ｇ１の位置とを算出できる。

なお、前記した手法は、撮影カメラ装置Ｃ２がキャリブレーション原点Ｇ１を撮影できない位置にある場合に限定されない。例えば、撮影カメラ装置Ｃ１，Ｃ２の両方が、キャリブレーション原点Ｇ１を撮影できる位置にある場合でも、カメラ位置情報算出手段４０は、撮影カメラ装置Ｃ１をキャリブレーション原点Ｇ１に向けて撮影カメラ装置Ｃ１の更新カメラ位置を算出すれば、撮影カメラ装置Ｃ２をキャリブレーション原点Ｇ１に向けることなく、撮影カメラ装置Ｃ２の位置と撮影カメラ装置Ｃ２から見たキャリブレーション原点Ｇ１の位置とを算出できる。これによって、撮影カメラの位置算出装置１は、撮影カメラ装置Ｃ１，Ｃ２をキャリブレーション原点Ｇ１に向ける回数を最小限に抑えられ、放送番組中でもカメラの位置を算出し易くなる。

〔撮影カメラの位置算出装置の動作〕
以下、図１０を参照（適宜図２を参照）して、撮影カメラの位置算出装置１の動作について説明する。図１０は、図２の撮影カメラの位置算出装置１の動作を示すフローチャートである。

撮影カメラの位置算出装置１は、カメラパラメータ入力手段１０によって、初期カメラ位置Ｐ０におけるカメラパラメータが入力される（ステップＳ１０）。また、撮影カメラの位置算出装置１は、カメラパラメータ入力手段１０によって、更新カメラ位置Ｐ１における更新されたカメラパラメータ（更新カメラパラメータ）が入力される（ステップＳ１１）。

ステップＳ１１の処理に続いて、撮影カメラの位置算出装置１は、カメラパラメータ入力手段１０によって、カメラパラメータをカメラパラメータ記憶手段２０に記憶させ、カメラパラメータ更新手段３０によって、更新カメラパラメータをカメラパラメータ記憶手段２０に記憶させる（ステップＳ１２）。

ステップＳ１２の処理に続いて、撮影カメラの位置算出装置１は、カメラ位置情報算出手段４０によって、カメラパラメータ記憶手段２０に記憶されたカメラパラメータに基づいて初期カメラ位置Ｐ０を算出し、カメラパラメータ記憶手段２０に記憶された更新カメラパラメータに基づいてさらに更新カメラ位置Ｐ１を算出する（ステップＳ１３）。以上のように、撮影カメラの位置算出装置１は、初期カメラ位置Ｐ０および更新カメラ位置Ｐ１を算出する。

本発明に係る撮影カメラの位置算出装置は、撮影カメラ装置の更新カメラ位置を算出するため、この更新カメラ位置を用いることで、例えば、撮影カメラのキャリブレーションを容易に行うことができる。また、撮影カメラの位置算出装置は、複数台の撮影カメラ装置のうち、１台の更新カメラ位置を算出できれば、他の撮影カメラ装置の位置と他の撮影カメラ装置から見たキャリブレーション原点の位置とを算出できる。この他の撮影カメラ装置の位置と他の撮影カメラ装置から見たキャリブレーション原点の位置とを用いることで、撮影カメラの位置算出装置は、例えば、キャリブレーション原点を撮影できない位置にある他の撮影カメラ装置についても、キャリブレーションを容易に行うことができる。

本発明の実施形態に係るＣＧ合成システムの構成を模式的に示す図である。 図１の撮影カメラの位置算出装置の構成を示すブロック図である。 図２のカメラパラメータ入力手段による傾斜誤差値の補正を説明する図である。 図２のカメラパラメータ入力手段による回転誤差値の補正を説明する図である。 図１の初期カメラ位置Ｐ０において、撮影カメラ装置Ｃ１をキャリブレーション原点Ｇ１に向けている状態の側面図である。 図１の更新カメラ位置Ｐ１において撮影カメラ装置Ｃ１をキャリブレーション原点Ｇ１に向けている状態の斜視図である。 本発明において、撮影フロアＦ上から撮影フロアＦを見下ろした状態を示した図である。 図２の移動量算出手段を説明する図である。 図２のカメラ位置情報算出手段による他の撮影カメラ装置の更新カメラ位置の算出を説明する図である。 図２の撮影カメラの位置算出装置の動作を示すフローチャートである。

符号の説明

１ 撮影カメラの位置算出装置
１０ カメラパラメータ入力手段
２０ カメラパラメータ記憶手段
３０ カメラパラメータ更新手段
４０ カメラ位置情報算出手段
５０ 撮影予定位置入力手段
６０ 移動量算出手段

Claims (5)

1. 被写体の映像を撮影する撮影スタジオを移動機構により移動すると共に、パン角とチルト角と高さ位置とを測定するセンサをそれぞれ備える撮影カメラの位置算出装置であって、
   予め設定された基準向きが入力されると共に、前記撮影スタジオの予め設定したキャリブレーション原点に向けられた前記撮影カメラの前記基準向きに対する前記パン角と前記チルト角、及び、カメラ高さを示す前記高さ位置を示すカメラパラメータとが前記センサから入力されるカメラパラメータ入力手段と、
   前記カメラパラメータを記憶するカメラパラメータ記憶手段と、
   前記カメラパラメータ入力手段に更新された前記カメラパラメータが入力された場合、当該更新されたカメラパラメータを更新カメラパラメータとして前記カメラパラメータ記憶手段に記憶させるカメラパラメータ更新手段と、
   前記カメラパラメータ記憶手段に記憶された前記カメラパラメータに基づいて初期カメラ位置を算出し、前記カメラパラメータ記憶手段に記憶された前記更新カメラパラメータに基づいて更新カメラ位置を算出するカメラ位置情報算出手段と、を備えることを特徴とする撮影カメラの位置算出装置。
2. 前記撮影カメラは、前記撮影スタジオの床面に対する当該撮影カメラの傾きを傾斜誤差値として測定する傾斜誤差検出器を備え、
   前記カメラパラメータ入力手段は、前記傾斜誤差検出器から前記傾斜誤差値が入力されると共に、入力された前記カメラパラメータに含まれる前記高さ位置を前記傾斜誤差値で補正することを特徴とする請求項１に記載の撮影カメラの位置算出装置。
3. 前記撮影カメラは、前記移動機構の回転誤差値を測定する回転誤差検出器を備え、
   前記カメラパラメータ入力手段は、前記回転誤差検出器から前記回転誤差値が入力されると共に、入力された前記カメラパラメータに含まれる前記パン角を前記回転誤差値で補正することを特徴とする請求項１又は請求項２に記載の撮影カメラの位置算出装置。
4. 前記撮影カメラの移動機構は、前記撮影カメラの前記撮影スタジオ内における位置を位置情報として出力し、
   前記カメラ位置情報算出手段は、前記更新カメラ位置を算出した当該撮影カメラ以外の他の撮影カメラの位置情報に基づいて、当該撮影カメラから見た当該他の撮影カメラの位置を算出し、当該撮影カメラの前記チルト角と当該撮影カメラの更新カメラ位置との関係から当該撮影カメラから見たキャリブレーション原点の位置を算出すると共に、当該他の撮影カメラの位置と当該撮影カメラから見たキャリブレーション原点の位置との関係から当該他の撮影カメラから見たキャリブレーション原点の位置を算出することを特徴とする請求項１から請求項３の何れか一項に記載の撮影カメラの位置算出装置。
5. 予め設定される前記撮影カメラの撮影予定位置が入力される撮影予定位置入力手段と、
   前記撮影カメラの次の撮影予定位置までの移動量及び方向を、前記初期カメラ位置から前記撮影予定位置までの撮影予定位置ベクトルに対して、前記更新カメラ位置から前記初期カメラ位置までの初期カメラ位置ベクトルを加算することによって算出する移動量算出手段と、を備えることを特徴とする請求項１から請求項４の何れか一項に記載の撮影カメラの位置算出装置。

Images