JP2003050107A

JP2003050107A - カメラ校正装置

Info

Publication number: JP2003050107A
Application number: JP2001239403A
Authority: JP
Inventors: Ryuichi Mato; 隆一間藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-08-07
Filing date: 2001-08-07
Publication date: 2003-02-21

Abstract

(57)【要約】【課題】車両交通規制を行うことなく、交通監視カメ
ラの校正を行う。【解決手段】移動校正ボード11を、カメラ撮影範囲15
内で、車両に搭載して水平移動させる。カメラ12で撮影
した移動校正ボード11の画像から、手動または自動で校
正点を抽出する。移動データから校正点の世界座標（道
路に固定した座標）を求める。フレーム座標（画像の座
標）から、校正点のカメラ座標（カメラに固定した座
標）を求める。複数の校正点について、世界座標とカメ
ラ座標の平均の関数関係を求める。カメラ校正手段13
で、複数の校正点の関数関係に基づいて、カメラ12の外
部パラメータ（回転行列と平行移動ベクトル）を求め
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ校正装置に
関し、特に、交通監視分野で使用するカメラの校正を行
うカメラ校正装置に関する。

【０００２】

【従来の技術】近年、交通監視カメラの画像を校正する
ため、道路面または水平面に対するカメラの姿勢パラメ
ータ（外部パラメータ）を求めるカメラ校正装置が開発
されている。以下、図５を参照しながら、従来のカメラ
校正装置について説明する。

【０００３】図５（ａ）は、従来のカメラ校正装置の動
作を説明する概念図である。図５（ｂ）は、カメラ校正
装置の校正手順を示す図である。図５において、路上マ
ーカ51は、マーカとなる横断歩道などの対象物や、路上
に一時的に設置するマーカである。カメラ52は、交通監
視カメラである。カメラ校正手段53は、カメラの画像か
ら外部パラメータを求める手段である。道路54は、監視
対象の道路である。カメラ撮影範囲55は、監視カメラの
撮影範囲である。

【０００４】上記のように構成されたカメラ校正装置の
動作を説明する。路上マーカ51の正確な位置関係を測量
し、世界座標と呼ぶ３次元座標で表現する。路面を、Ｘ
軸とＹ軸を含む（Ｘ,Ｙ）平面とし、高さ方向をＺ軸と
する。カメラ52で路上マーカ51を撮影し（ステップ51
1）、路上マーカ51に対応する点の画面上の座標を読み
取る。この画面上の２次元座標をフレーム座標と呼ぶ。
カメラ校正手段53は、路上マーカ51の世界座標とフレー
ム座標の関係から、カメラの姿勢パラメータである外部
パラメータを算出する（ステップ512）。このパラメー
タをカメラ52に設定する（ステップ513）。この処理の
詳細は、文献１[Roger Y. Tsai "A VersatileCamera Ca
libration Technique for High-Accuracy 3D Machine V
ision Metrology Using Off-the-Shelf TV Cameras and
Lenses" IEEE Journal of Roboticsand automation, V
ol.RA-3. No.4 August 1987, pp323-344]に詳しい。

【０００５】カメラパラメータは、カメラ内部パラメー
タと外部パラメータに分類される。カメラ内部パラメー
タは、画素間距離を示すスケールファクタと、フレーム
座標の画像中心と、レンズの歪みパラメータと、焦点距
離である。外部パラメータは、世界座標からカメラ座標
へ変換する回転パラメータと移動パラメータである。本
発明に関連する外部パラメータに関して簡単に説明す
る。路上マーカ51の各点の世界座標をｘ_w,ｙ_w,ｚ_wと
し、対応するカメラ座標をｘ,ｙ,ｚとすると、（数１）
のようになる。ただし、ｒ₁〜ｒ₉は、座標の回転行列要
素であり、Ｔx,Ｔy,Ｔzは、座標の平行移動ベクトル要
素である。

【数１】

【０００６】カメラ座標は、画面の中心（カメラ中心）
を原点とし、画面左右方向をＸ軸とし、画面上下方向を
Ｙ軸とし、画面に垂直な方向をＺ軸とする座標である。
カメラが、世界座標の原点にあって、鉛直下方を向い
て、Ｘ軸どうしが一致し、Ｙ軸どうしも一致するように
設置された場合は、カメラ座標は世界座標と一致する。
カメラ座標とフレーム座標との間の変換は、焦点距離な
どのカメラ内部パラメータにより決まる射影変換にな
る。

【０００７】

【発明が解決しようとする課題】しかしながら、上記の
カメラ校正装置の構成では、カメラが交差点などに設置
された場合には、路上マーカの世界座標を測定するため
に、カメラ撮影範囲内の車両交通規制をする必要がある
という問題があった。また、広い範囲を撮影するカメラ
を校正するためには、広い範囲にわたってマーカを準備
する必要があるという問題があった。

【０００８】本発明の目的は、上記従来技術の問題を解
決して、簡便な方法でカメラ校正を行うことのできるカ
メラ校正装置及び方法を提供することである。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、カメラ校正装置を、道路を所定方向
から撮影するカメラと、カメラの撮影範囲内の一定高さ
の水平面内を移動する移動校正ボードと、カメラで撮影
した移動校正ボードの画像の校正点を抽出する手段と、
校正点の世界座標を求める手段と、校正点のフレーム座
標からカメラ座標を求める手段と、校正点の世界座標と
カメラ座標の関数関係を求める手段と、複数の校正点の
関数関係に基づいてカメラの外部パラメータを求める手
段とを具備する構成とした。このように構成したことに
より、車両交通規制することなく、カメラ校正を行うこ
とができる。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら詳細に説明する。

【００１１】（第１の実施の形態）本発明の第１の実施
の形態は、車両に水平に搭載した移動校正ボードを移動
させて、カメラで撮影し、複数の校正点の世界座標とカ
メラ座標との関係に基づいて、カメラの外部パラメータ
を求めるカメラ校正装置である。

【００１２】図１は、本発明の第１の実施の形態におけ
るカメラ校正装置の動作説明図である。図１（ａ）は、
カメラ校正装置の動作を説明する概念図である。図１
（ｂ）は、カメラ校正装置の校正手順を示す図である。
図１において、移動校正ボード11は、車両上に水平に設
置されたボードである。カメラ12は、監視カメラであ
る。カメラ校正手段13は、カメラ画像から外部パラメー
タを求める手段である。道路14は、車両が通行する監視
対象の道路である。カメラ撮影範囲15は、監視カメラの
撮影可能範囲である。図２は、カメラ校正装置の動作フ
ローチャートである。

【００１３】上記のように構成された本発明の第１の実
施の形態におけるカメラ校正装置の動作を説明する。図
１（ａ）に示すように、移動校正ボード11は、車両10上
に水平に設置される。車両10は、カメラ撮影範囲15内の
道路14を、走行位置と時刻を記録しながら走行する。カ
メラ12は、走行する車両の移動校正ボード11の動画像を
撮影する（ステップ111）。カメラ校正手段13は、移動
校正ボード11の動画像から、図２のフローチャートに示
す方法で、カメラの姿勢パラメータを算出し（ステップ
112）、カメラ校正を行う（ステップ113）。この移動校
正ボード11は、必ずしも車両上にある必要はなく、移動
校正ボード11をなんらかの方法で水平に移動できればよ
い。

【００１４】図２のフローチャートを参照しながら、カ
メラ校正手段13の動作を説明する。カメラ12を道路に設
置する以前に、ステップ201で、あらかじめ屋内で、カ
メラ内部パラメータを決定する。したがって、対象物の
位置と道路面からの高さがわかっていれば、２次元のフ
レーム座標から３次元のカメラ座標に変換できる。

【００１５】ステップ202で、動画像の各フレームに対
して、ステップ203〜207に示すフレーム校正処理を行
う。ステップ203で、手動で、またはパターン認識によ
り自動で、画像から校正ボードの校正点を抽出する。ス
テップ204で、校正点の校正ボード内の世界座標を決定
する。世界座標は、校正ボードを搭載した車両の移動デ
ータから求めることができる。

【００１６】ステップ205で、校正ボード内世界座標
と、フレーム座標と、屋内で算出したカメラ内部パラメ
ータを利用して、カメラ校正を行う。すなわち、校正点
の世界座標と、校正点のフレーム座標から求めたカメラ
座標とから、校正点の世界座標とカメラ座標の変換式を
求める。ステップ206で、カメラ内部パラメータを利用
して、各校正点の世界座標からフレーム座標を求める。
実際のフレーム座標との差距離が所定範囲内にあれば、
各パラメータの値がほぼ正しい校正成功フレームである
と判断する。

【００１７】カメラ中心の世界座標に対応するカメラ座
標は（０，０，０）であるので、ステップ207で、カメ
ラ中心の世界座標を使って、平行移動ベクトルを求め
る。カメラ中心の世界座標を、（０，０，Ｚc）とす
る。Ｚcは、カメラの地上高である。このとき、（数
２）が成り立つ。ただし、ｒ₁〜ｒ₉は、座標の回転行列
の要素、Ｔx,Ｔy,Ｔzは、座標の平行移動ベクトルの要
素である。（Ｘc,Ｙc,Ｚc）は、カメラ中心の世界座標
である。

【数２】

【００１８】したがって、Ｔ＝−ＲＣＸ＝ＲＷ＋Ｔ＝ＲＷ−ＲＣ＝Ｒ(Ｗ−Ｃ) となる。ただし、Ｔは平行移動ベクトル、Ｒは回転行
列、Ｃはカメラ中心の世界座標、Ｘは校正点のカメラ座
標、Ｗは校正点の世界座標である。

【００１９】回転行列は、世界座標をＺ軸のまわりにＲ
z(rad)回転し、Ｙ軸のまわりにＲy(rad)回転し、Ｘ軸の
まわりにＲx(rad)回転する座標変換であるから、（数
３）の式であらわされる。これらの式を利用して、Ｘ
軸、Ｙ軸の回りの回転角Ｒx,Ｒyを求める。すなわち、
複数の校正点の世界座標Ｗとカメラ座標Ｘを求め、回転
角Ｒx,Ｒyをそれぞれ求める。このとき、Ｚ軸の周りの
回転角Ｒzは任意であるから０とする。

【数３】

【００２０】ステップ208で、校正成功フレームのＲx,
Ｒyの平均値を求め、平均Ｒx、平均Ｒyとする。各フレ
ームの移動校正ボードが同一水平面上を移動するとき、
水平面に垂直な方向をＺ軸としているので、水平面に対
する校正点の高さは不変となる。ステップ209で、Ｒx＝平均Ｒx Ｒy＝平均Ｒy Ｒz＝０とおいて、（数３）より回転行列を求める。

【００２１】ステップ210で、カメラ内部パラメータを
使用して、道路面の上方視点画像（道路の平面図）を作
成して表示する。画面の４隅のフレーム座標から世界座
標を求め、この世界座標を表示範囲の目安として、画像
を表示する。ステップ211で、上方視点画像で基準とす
る座標および回転角Ｒzを調整して、最終的な外部パラ
メータを決定する。このようにして、車両交通規制する
ことなく、カメラ校正を行うことができる。

【００２２】上記のように、本発明の第１の実施の形態
では、カメラ校正装置を、車両に水平に設置した移動校
正ボードを移動させて、カメラで撮影し、複数の校正点
の世界座標とカメラ座標との関係に基づいて、カメラの
外部パラメータを求める構成としたので、車両交通規制
をすることなく、カメラ校正を行うことができる。

【００２３】（第２の実施の形態）本発明の第２の実施
の形態は、道路面に設置した平置き校正ボードを、カメ
ラを道路面に垂直な軸の回りに回転させて撮影し、校正
点の世界座標とカメラ座標との関係に基づいて、カメラ
の外部パラメータを求めるカメラ校正装置である。

【００２４】図３は、本発明の第２の実施の形態におけ
るカメラ校正装置の動作説明図である。図３（ａ）は、
カメラ校正装置の動作を説明する概念図である。図３
（ｂ）は、カメラ校正装置の校正手順を示す図である。
図３において、平置き校正ボード31は、道路面に水平に
設置されたボードである。カメラ32は、監視カメラであ
る。カメラ校正手段33は、カメラ画像から外部パラメー
タを求める手段である。道路34は、車両が通行する監視
対象の道路である。カメラ撮影範囲35は、監視カメラの
撮影可能範囲である。

【００２５】上記のように構成された本発明の第２の実
施の形態におけるカメラ校正装置の動作を説明する。図
３（ａ）に示すように、車両交通を妨げない場所に、平
置き校正ボード31を水平に置く。カメラ32は、鉛直方向
を中心軸として回転可能で、交通監視時には、カメラ撮
影範囲35を撮影し、カメラ校正時には、鉛直方向を中心
に回転し、平置き校正ボード31を撮影する（ステップ31
1）。カメラ校正手段33は、平置き校正ボード31を撮影
した静止画像から、以下の方法でカメラの姿勢パラメー
タを算出し（ステップ312）、カメラ校正を行う（ステ
ップ313）。

【００２６】平置き校正ボードの校正点の世界座標とフ
レーム座標の対応関係を利用して、従来のカメラ校正方
法で、カメラの外部パラメータを求める。求めた外部パ
ラメータを使用して、カメラ撮影範囲35の画像の上方視
点画像を作成する。上方視点画像を利用して、上方視点
画像の回転角度Θを求めると、回転行列は、（数４）と
なる。このようにして、車両交通規制することなく、カ
メラ校正を行うことができる。

【数４】

【００２７】上記のように、本発明の第２の実施の形態
では、カメラ校正装置を、道路面に設置した平置き校正
ボードを、カメラを道路面に垂直な軸の回りに回転させ
て撮影し、校正点の世界座標とカメラ座標との関係に基
づいて、カメラの外部パラメータを求める構成としたの
で、車両交通規制をすることなく、カメラ校正を行うこ
とができる。

【００２８】（第３の実施の形態）本発明の第３の実施
の形態は、道路上の交通の妨げにならない高所に水平に
設置した水平校正ボードをカメラで撮影し、校正点の世
界座標とカメラ座標との関係に基づいて、カメラの外部
パラメータを求めるカメラ校正装置である。

【００２９】図４は、本発明の第３の実施の形態におけ
るカメラ校正装置の動作説明図である。図４（ａ）は、
カメラ校正装置の動作を説明する概念図である。図４
（ｂ）は、カメラ校正装置の校正手順を示す図である。
図４において、水平校正ボード41は、高所に水平に設置
されたボードである。カメラ42は、監視カメラである。
カメラ校正手段43は、カメラ画像から外部パラメータを
求める手段である。道路44は、車両が通行する監視対象
の道路である。カメラ撮影範囲55は、監視カメラの撮影
可能範囲である。

【００３０】上記のように構成された本発明の第３の実
施の形態におけるカメラ校正装置の動作を説明する。図
４に示すように、カメラ撮影範囲55内の車両交通を妨げ
ない高所に、水平校正ボード41を、水平に置く。カメラ
42で、水平校正ボード41を撮影する（ステップ411）。
カメラ校正手段43で、水平校正ボード41を撮影した静止
画像から、以下の方法でカメラの姿勢パラメータを算出
し（ステップ412）、カメラ校正を行う（ステップ41
3）。カメラ校正後、水平校正ボード41を除去する。

【００３１】水平校正ボードの高さを測定し、校正点の
世界座標のＺ座標の値とする。校正点の世界座標とフレ
ーム座標の対応関係を利用して、従来のカメラ校正方法
で、カメラの外部パラメータを求める。このようにし
て、車両交通規制することなく、カメラ校正を行うこと
ができる。

【００３２】上記のように、本発明の第３の実施の形態
では、カメラ校正装置を、道路上の交通の妨げにならな
い高所に水平に設置した水平校正ボードをカメラで撮影
し、校正点の世界座標とカメラ座標との関係に基づい
て、カメラの外部パラメータを求める構成としたので、
車両交通規制をすることなく、カメラ校正を行うことが
できる。

【００３３】

【発明の効果】以上の説明から明らかなように、本発明
では、カメラ校正装置を、例えば道路を所定方向から撮
影するカメラと、カメラの撮影範囲内にある校正ボード
と、カメラで撮影した校正ボードの画像の校正点を抽出
する手段と、校正点の世界座標を求める手段と、校正点
のフレーム座標からカメラ座標を求める手段と、校正点
の世界座標とカメラ座標の関数関係を求める手段と、複
数の校正点の関数関係に基づいてカメラの外部パラメー
タを求める手段とを具備する構成としたので、車両交通
規制することなく、カメラ校正を行うことができるとい
う効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態におけるカメラ校正
装置の動作説明図、

【図２】本発明の第１の実施の形態におけるカメラ校正
装置の動作フローチャート、

【図３】本発明の第２の実施の形態におけるカメラ校正
装置の動作説明図、

【図４】本発明の第３の実施の形態におけるカメラ校正
装置の動作説明図、

【図５】従来のカメラ校正装置の動作説明図である。

【符号の説明】

11 移動校正ボード 12,32,42,52 カメラ 13,33,43,53 カメラ校正手段 14,34,44,54 道路 15,35,45,55 カメラ撮影範囲 31 平置き校正ボード 41 水平校正ボード 51 路上マーカ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０８Ｇ 1/04 Ｇ０８Ｇ 1/04 Ｃ５Ｌ０９６Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 ＥＦターム(参考） 2F065 AA04 BB27 FF04 JJ03 JJ26 QQ31 5B047 AA19 BB04 BC14 BC23 CA02 CB22 DC07 5B057 AA16 BA11 CA13 CB13 CB20 CD03 DA07 DB03 DC05 5C054 AA01 CF06 FC04 FF02 GB12 HA26 5H180 AA01 CC04 5L096 AA09 AA11 BA04 CA03 DA02 FA69

Claims

【特許請求の範囲】

【請求項１】撮影範囲を所定方向から撮影するカメラ
と、前記カメラの撮影範囲内の一定高さの水平面内を移
動する移動校正ボードと、前記カメラで撮影した前記移
動校正ボードの画像の校正点を抽出する手段と、前記校
正点の世界座標を求める手段と、前記校正点のフレーム
座標からカメラ座標を求める手段と、前記校正点の世界
座標と前記カメラ座標との関数関係を求める手段と、複
数の校正点の前記関数関係に基づいて前記カメラの外部
パラメータを求める手段とを具備することを特徴とする
カメラ校正装置。
【請求項２】所定の回転軸の回りに回転可能なカメラ
と、水平面に置かれた平置き校正ボードと、前記カメラ
を前記所定の回転軸の回りに回転させて前記平置き校正
ボードを撮影する手段と、撮影した前記平置き校正ボー
ドの画像の校正点を抽出する手段と、前記校正点の世界
座標を求める手段と、前記校正点のフレーム座標からカ
メラ座標を求める手段と、前記校正点の世界座標とカメ
ラ座標との関数関係を求める手段と、複数の校正点の前
記関数関係に基づいて前記カメラの外部パラメータを求
める手段とを具備することを特徴とするカメラ校正装
置。
【請求項３】撮影範囲を所定方向から撮影するカメラ
と、前記カメラの撮影範囲内の一定高さの水平面内に置
かれた水平校正ボードと、前記カメラで撮影した水平校
正ボードの画像の校正点を抽出する手段と、前記校正点
の世界座標を求める手段と、前記校正点のフレーム座標
からカメラ座標を求める手段と、前記校正点の世界座標
とカメラ座標との関数関係を求める手段と、複数の校正
点の関数関係に基づいて前記カメラの外部パラメータを
求める手段とを具備することを特徴とするカメラ校正装
置。
【請求項４】撮影範囲を所定方向から撮影するカメラ
で、前記カメラの撮影範囲内の一定高さの水平面内を移
動する移動校正ボードを撮影し、前記カメラで撮影した
前記移動校正ボードの画像の校正点を抽出し、前記校正
点の世界座標を求め、前記校正点のフレーム座標からカ
メラ座標を求め、前記校正点の世界座標と前記カメラ座
標との関数関係を求め、複数の校正点の前記関数関係に
基づいて前記カメラの外部パラメータを求めることを特
徴とするカメラ校正方法。
【請求項５】所定の回転軸の回りに回転可能なカメラ
を前記所定の回転軸の回りに回転させて、水平面に置か
れた平置き校正ボードを撮影し、撮影した前記平置き校
正ボードの画像の校正点を抽出し、前記校正点の世界座
標を求め、前記校正点のフレーム座標からカメラ座標を
求め、前記校正点の世界座標とカメラ座標との関数関係
を求め、複数の校正点の前記関数関係に基づいて前記カ
メラの外部パラメータを求めることを特徴とするカメラ
校正方法。
【請求項６】撮影範囲を所定方向から撮影するカメラ
で、前記カメラの撮影範囲内の一定高さの水平面内に置
かれた水平校正ボードを撮影し、前記カメラで撮影した
水平校正ボードの画像の校正点を抽出し、前記校正点の
世界座標を求め、前記校正点のフレーム座標からカメラ
座標を求め、前記校正点の世界座標とカメラ座標との関
数関係を求め、複数の校正点の関数関係に基づいて前記
カメラの外部パラメータを求めることを特徴とするカメ
ラ校正方法。