JPH10320558A - キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 焦点距離が変化したときの３次元上の物体の
位置情報を得るには、現在の焦点距離を検出するため
に、ズームレンズに特殊な装置をわざわざ装着しなくて
はいけなかった。 【解決手段】 ステレオカメラ８は、固定焦点距離のレ
ンズを備えた第１のカメラ４と可変焦点距離のレンズを
備えた第２のカメラ５よりなる。画像データ蓄積部１０
は、第１のカメラ４と第２のカメラ５からの画像データ
を蓄積する。演算部１０は、データ蓄積部１０からの各
画像データから物体９までの３次元位置情報を演算す
る。キャリブレーションデータ格納部１２は、キャリブ
レーション装置により得られたキャリブレーションデー
タを格納している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ＣＣＤカ
メラなどを複数台用いた、いわゆるステレオカメラシス
テムに用いて好適なキャリブレーション方法、並びに基
準となる撮像装置と他の撮像装置によって同一物体を撮
影し、基準となる撮像装置の２次元座標系上の投影像に
一致する他の撮像装置の２次元座標系上の対応点を探索
する対応点探索方法及び装置、並びに固定焦点距離のレ
ンズを備えた第１の撮像装置と可変焦点距離のレンズを
備えた第２の撮像装置により同一物体を撮影し、上記第
１の撮像装置により物体を撮像して得られた２次元座標
系上の第１の投影像に基づいて、上記第２の撮像装置の
焦点距離を求める焦点距離検出方法及び装置、並びに固
定焦点距離のレンズを備えた第１の撮像装置と可変焦点
距離のレンズを備えた第２の撮像装置とにより同一の物
体を撮影し、この物体の３次元座標系での位置を検出す
る３次元座標位置検出方法及び装置、並びに上記各方法
の処理手順を記録している記録媒体に関する。

【０００２】

【従来の技術】ビデオカメラ（以下、適宜、単にカメラ
という）を例えば２台などの複数台用いて、いわゆるス
テレオカメラを構成し、各カメラにより、３次元空間内
の物体を撮像して、その撮像の結果得られる２次元画像
から、物体の３次元空間における位置情報を得る３次元
位置情報検出装置として、ステレオカメラシステムが、
従来より知られている。

【０００３】ステレオカメラシステムについては、例え
ば、出口光一郎「コンピュータビジョンのための幾何
学：２．ステレオの仕掛けを解き明かす」情報処理、Ｖ
ｏｌ．３７、ｎｏ．７、ｐｐ．６６２−６７０、１９９
６年７月などに、その詳細が開示されている。

【０００４】ステレオカメラシステムでは、３次元空間
の位置情報を得ようとする対象の物体（対象物体）を、
複数のカメラで撮影した時に、各カメラにおける、例え
ばＣＣＣＤなどの光電変換素子の受光面（以下、適宜、
スクリーンという）上に投射される対象物体の位置情報
から、その対象物体の３次元空間における位置情報を特
定できる。従って、３次元空間内のある位置に存在する
物体の位置情報と、その位置に対象物体があるときに、
その対象物体が各カメラのスクリーン上に投影される位
置の位置情報との対応関係（位置情報対応関係）を、予
め求めておく必要がある。この位置情報対応関係を求め
ることをキャリブレーションという。

【０００５】先ず、このキャリブレーションについて説
明する。図１４には、キャリブレーションを行うキャリ
ブレーション装置を示す。

【０００６】図１４において、パイプ１０１及び１０２
は、３次元空間において、同一平面に含まれて、かつ平
行になるように配置されており、台車１０３は、このパ
イプ１０１及び１０２に沿って滑らかに移動することが
できるように設置されている。そして、台車１０３に
は、ステレオカメラを構成するカメラ１０４及び１０５
が取り付けられている。

【０００７】パイプ１０１及び１０２には目盛が記され
ており、台車１０３がスライドした量が測定できるよう
になっている。台車１０３がスライドする方向と垂直
に、正方格子模様が書かれた平板１０６が設置されてい
る。図１４に示すように、正方格子の横方向をｘ軸、縦
方向をｙ軸とし、スライドする方向、即ち正方格子に対
して垂直方向をｚ軸とする。この平板１０６よりカメラ
側が、ｚ＞０である。このような、ｘ軸、ｙ軸及びｚ軸
よりなる３次元座標をワールド座標と定義する。

【０００８】キャリブレーションの測定は、カメラ１０
４及び１０５を載せた台車１０３の位置をずらして、平
板１０６を２箇所から撮影して行われる。図１５は、２
箇所から撮影した場合の説明図であり、図１４の装置を
真上から見た図である。

【０００９】先ず、カメラ１０４及びカメラ１０５を、
ある位置Ｐ₁に固定して、平板１０６を、正方格子が映
るように撮影し、その後、カメラ１０４及び１０５を台
車１０３のスライドにより他の位置Ｐ₂に距離Ｌだけ移
動し、再度、平板１０６を撮影する。なお、この図１５
では、カメラ１０４及び１０５を、平板１０６から遠ざ
かる方向にスライドさせているが、そのスライド方向
は、逆であってもよい。

【００１０】このように、カメラ１０４及び１０５をス
ライドして平板１０６を撮影することにより得られた２
次元画像は、図１６に示すように、カメラ１０４及び１
０５を固定して、平板１０６をスライドしても得ること
ができる。

【００１１】すなわち、図１６に示すように、カメラ１
０４及び１０５を、ある位置Ｐ₁に固定して、平板１０
６を、その正方格子が映るように撮影し、その後、平板
１０６をｚ軸に沿って、カメラ１０４及び１０５から遠
ざかる方向に、距離Ｌだけ、スライドさせ、その位置
で、再度、平板１０６を撮影することによっても、同様
の２次元画像を得ることができる。

【００１２】この図１６において、距離Ｌだけ遠ざける
前の平板１０６上に描かれた正方格子（第１の正方格子
Ｑ₁）の左下隅を原点とし、ワールド座標の原点とする
と、この平板１０６の第１の正方格子Ｑ₁において、
（ｉ，ｊ）の位置はワールド座標において（ｉ，ｊ、
０）となる。また、長さＬだけスライドさせた後の平板
１０６の正方格子（第２の正方格子Ｑ₂）において
（ｉ，ｊ）の位置はワールド座標において（ｉ，ｊ、−
Ｌ）となる。

【００１３】図１７は、カメラ１０４と平板１０６上の
第１の正方格子Ｑ₁と第２の正方格子Ｑ₂を示した図であ
る。カメラ１０４の光学中心がＯ₁であり、例えばＣＣ
Ｄ１１１などの受光面となるスクリーン上に対象物体の
位置情報が投影される。例えば、ＣＣＤ１１１上の座標
位置（ｈ，ｋ）には、第１の正方格子Ｑ₁における座標
位置（ｐ，ｑ）が写し出され、かつ、第２の正方格子Ｑ
₂における座標位置（ｒ，ｓ）が写し出されたとする。
なお、各正方格子の各縦線、横線の交点以外の場所は、
補間により、その座標を求めることが可能である。

【００１４】これをワールド座標を用いて、説明し直す
と、ＣＣＤ１１１上の座標位置（ｈ，ｋ）には、３次元
上の座標位置（ｐ，ｑ，０）と（ｒ，ｓ，−Ｌ）が写し
出される。すなわち、２次元上の座標位置（ｈ，ｋ）と
３次元上の座標位置（ｐ，ｑ，０）と（ｒ，ｓ，−Ｌ）
とを結ぶ直線をｌとすると、この直線ｌ上の点は、全
て、ＣＣＤ１１１上の座標位置（ｈ，ｋ）に写し出され
ることが分かる。

【００１５】したがって、直線ｌは、３次元空間におけ
る物体の位置情報（ここでは、ワールド座標系における
座標）と、その物体を撮像して得られる２次元画像の位
置情報（ここでは、ＣＣＤ１１１上の２次元座標系にお
ける座標）との対応関係（位置情報対応関係）を表すこ
とになる。

【００１６】この直線ｌは、 （ｘ−ｒ）／（ｐ−ｒ）＝（ｙ−ｓ）／（ｑ−ｓ）＝
（ｚ＋Ｌ）／Ｌ として求めることができる。

【００１７】直線ｌを求めるのと同様にして、ＣＣＤ１
１１上の２次元座標系における他の座標位置について
も、そこに投射される３次元空間上の点の集合としての
直線を求める。さらに、同様のことを、カメラ１０５に
ついても行う。

【００１８】以上のようにして、カメラ１０４及び１０
５についての直線すべてを求めることで、ステレオカメ
ラシステムのキャリブレーションを終了する。

【００１９】このようにしてキャリブレーションが行わ
れたステレオカメラシステムでは、次のようにして、３
次元空間にある物体の位置情報を求めることができる。

【００２０】先ず、ステレオカメラで物体を撮影する。
すると、例えば、図１８に示すように、カメラ１０４の
スクリーン（ＣＣＤ）１１１の座標位置（ａ，ｂ）に物
体が写し出されたとする。キャリブレーションにおい
て、座標位置（ａ，ｂ）に対応するワールド座標系にお
ける直線ｌ₁は求まっているので、ワールド座標系にお
けるこの直線ｌ₁上に物体は存在することになる。

【００２１】また、カメラ１０５のスクリーン（ＣＣ
Ｄ）１１２の各位置に対応するワールド座標系における
直線も、キャリブレーションにおいて求まっている。従
って、これら直線の内、上記直線ｌ₁と交点を持つ、直
線を選び出すことが可能である。この選び出された直線
は、図中の１１３₁，１１３₂，１１３_i・・・である。

【００２２】直線１１３₁に対応する、カメラ１０５の
スクリーン１１２の点は、１１４₁である。同様に、１
１３₂に対応する点は１１４₂であり、１１３_iに対応す
る点は１１４_iである。他も同様である。従って、これ
から分かるように、これら全ての直線１１３₁，１１
３₂，１１３_i・・・に対応する、カメラ１０５のスクリー
ン１１２の点１１４₁，１１４₂，１１４_i・・・を集める
と、図１８の１１５という直線になる。この直線１１５
は、一般に、エピポーラライン（Epipolar Line）と呼
ばれている。

【００２３】上述したように、カメラ１０４のスクリー
ン１１１の座標位置（ａ，ｂ）に写った物体は、直線ｌ
₁上のどこかにある。従って、カメラ１０５のスクリー
ン１１２上では、エピポーラライン１１５上のどこかに
その物体が投影されるはずである。従って、このエピポ
ーラライン１１５上で、物体の投影像を探索していけば
良い。例えば、エピポーラライン１１５上の点（ｃ，
ｄ）に、その投影像があれば、点（ｃ，ｄ）に対応する
直線ｌ₂が判別する。この直線ｌ₂は、直線１１３₁，１
１３₂，１１３_i・・・の内の１つである。後は、直線ｌ
₁と、直線ｌ₂の交点をワールド座標系で求めることによ
り、物体の３次元における位置１１６を知ることが出来
る。

【００２４】ここで、スクリーン１１１上の座標位置
（ａ，ｂ）に対応するスクリーン１１２上のエピポーラ
ライン１１５上の、対応点の探索の仕方について説明す
る。通常、ブロックマッチングという方法により、探索
される。例えば、カメラ１０４のスクリーン１１１の座
標位置（ａ，ｂ）を中心として４画素×４画素というブ
ロックを取り出す。次に、カメラ１０５のスクリーン１
１２のエピポーラライン１１５上のある点に着目して、
その点を中心として４画素×４画素というブロックを取
り出す。そして、この２つのブロック同士の相関を計算
する。この相関の計算としては、例えば各画素の差分絶
対値和を求める方法を用いることができる。

【００２５】エピポーラライン１１５上の全ての点にお
いて上記差分絶対値和を計算し、一番相関のとれている
点を求め、物体の投影点とする。なぜなら、その物体
が、カメラ１０４のスクリーン１１１に投影された像、
すなわち座標位置（ａ，ｂ）を中心とした４画素×４画
素と、カメラ１０５のスクリーン１１２に投影された
像、すなわち座標位置（ｃ，ｄ）を中心とした４画素×
４画素とは似ている画像になっているからである。

【００２６】ところで、ここまで説明してきたステレオ
カメラシステムで使用する２つのカメラの焦点距離は常
に固定していた。つまり、焦点距離を変化させるような
ズームレンズを使用することはなかった。

【００２７】近年、例えば、本当の人物をカメラで撮影
して、その撮影画像に対してＣＧ（コンピュータグラフ
ィック）で作られたロボットを人物の横に位置するよう
に合成しようとするバーチャル技術が広く知られるよう
になった。この時、人間の３次元上での位置と、ロボッ
トの仮想的な３次元上での位置関係を正確に合わせない
と、合成画像は不自然に見える。そこで、人物の位置を
３次元上で正確に測定しなくてはいけないが、この時、
上記ステレオカメラシステムを使用して測定する。そし
て、合成の為に使用する、人間の写っている画像データ
は、ステレオカメラシステムの片方のカメラ（例えば、
第２のカメラ）の画像を使用する。つまり、ステレオカ
メラを使用すれば、一度に、人間の写っている画像デー
タと、その人間の３次元上での位置が求まる。後は、ロ
ボットが３次元上で人間の横にいると仮定した時にカメ
ラに写るロボットの投影像を、第２のカメラの画像に合
成すれば良い。このような、バーチャル技術を使って撮
影を行うバーチャルスタジオでは、当然、人物をズーム
インあるいはズームアウトして撮ったりするので、上記
ステレオカメラの内、第２のカメラにはズームレンズが
必要となる。このように、ズームレンズを使用したステ
レオカメラは必要である。

【００２８】しかし、ズームレンズを使用すると、焦点
距離が変わってしまい、当然、スクリーンの各点に対応
する、ワールド座標系における直線（図１８における１
１３₁，１１３₂，１１３_i・・・）が変化してしまう。言い
換えれば、エピポーラライン１１５は焦点距離に依存し
ているので、どのように対応点を探索するのかという方
法が不明であった。

【００２９】もちろん、ズームレンズに特殊な装置を付
けて、現在の焦点距離を検出できるようにすれば対処で
きる。つまり、その時刻における焦点距離が分かれば、
その焦点距離に対応するエピポーララインを求めて、そ
のライン上で探索を行えば良い。

【００３０】

【発明が解決しようとする課題】しかしながら、焦点距
離が変化したときの３次元上の物体の位置情報を得るに
は、上述したように、現在の焦点距離を検出するため
に、ズームレンズに特殊な装置をわざわざ装着しなくて
はいけなかった。

【００３１】本発明は、上記実情に鑑みてなされたもの
であり、焦点距離を可変する撮像装置のキャリブレーシ
ョンを可能とするキャリブレーション方法の提供を目的
とする。

【００３２】また、本発明は、上記実情に鑑みてなされ
たものであり、焦点距離が異なる撮像装置間での２次元
座標系上での物体の投影像の一致を検出できる対応点探
索方法及び装置の提供を目的とする。

【００３３】また、本発明は、上記実情に鑑みてなされ
たものであり、固定焦点距離のレンズを備えた第１の撮
像装置と可変焦点距離のレンズを備えた第２の撮像装置
により同一物体を撮影し、上記第１の撮像装置により物
体を撮像して得られた２次元座標系上の第１の投影像に
基づいて、上記第２の撮像装置の焦点距離を求めること
ができる焦点距離検出方法及び装置の提供を目的とす
る。

【００３４】また、本発明は、上記実情に鑑みてなされ
たものであり、固定焦点距離のレンズを備えた第１の撮
像装置と可変焦点距離のレンズを備えた第２の撮像装置
とにより同一の物体を撮影し、この物体の３次元座標系
での位置を検出できる３次元座標位置検出方法及び装置
の提供を目的とする。

【００３５】また、本発明は、上記実情に鑑みてなされ
たものであり、上記対応点探索方法、上記焦点距離検出
方法並びに上記３次元位置情報検出方法を実現する各処
理手順を記録している記録媒体の提供を目的とする。

【００３６】

【課題を解決するための手段】本発明に係るキャリブレ
ーション方法は、上記課題を解決するために、焦点距離
を可変にして物体を撮像する撮像装置により、複数の特
定焦点距離により物体を撮像して得られた２次元座標系
の投影像の各位置と、上記物体の３次元座標系における
各位置との位置情報対応関係を求める。具体的には、い
くつかの焦点距離におけるキャリブレーションを行い、
残りの焦点距離におけるキャリブレーションは補間によ
り求める。

【００３７】また、本発明に係る対応点探索方法及び装
置は、上記課題を解決するために、他の撮像装置の２次
元座標系上での対応点の候補を中心とした切り出しブロ
ックの大きさを、基準となる撮像装置と上記他の撮像装
置との焦点距離の比により変えてから、上記基準となる
撮像装置の２次元座標系上での投影像を中心とした切り
出しブロックと同じ大きさに調整し、二つのブロック間
における対応の度合いを求めることで、上記対応点を探
す。

【００３８】また、本発明に係る焦点距離検出方法及び
装置は、上記課題を解決するために、第２の撮像装置に
より物体を撮像して得られた２次元座標系上の第２の投
影像を第１の撮像装置により物体を撮像して得られた２
次元座標系上の第１の投影像に対しての相関を算出して
探索し、その探索結果から上記第２の撮像装置の焦点距
離を求める。

【００３９】また、本発明に係る３次元位置情報検出方
法及び装置は、上記課題を解決するために、第２の撮像
装置により物体を撮像して得られた２次元座標系上の第
２の投影像を第１の撮像装置により物体を撮像して得ら
れた２次元座標系上の第１の投影像に対しての相関を算
出して探索し、その探索結果から上記第２の撮像装置の
焦点距離を求め、この焦点距離より上記物体の３次元位
置を検出する。

【００４０】また、本発明に係る記録媒体は、上記課題
を解決するために、他の撮像装置の２次元座標系上での
対応点の候補を中心とした切り出しブロックの大きさを
基準となる撮像装置と上記他の撮像装置との焦点距離の
比により変える工程と、上記可変とされた切り出しブロ
ックを上記基準となる撮像装置の２次元座標系上での投
影像を中心とした切り出しブロックと同じ大きさに調整
する工程と、この調整ブロックと上記投影像を中心とし
た切り出しブロック間における対応の度合いを求める工
程とを有する処理手順を記録している。

【００４１】また、本発明に係る記録媒体は、上記課題
を解決するために、第２の撮像装置により物体を撮像し
て得られた２次元座標系上の第２の投影像を第１の撮像
装置により物体を撮像して得られた２次元座標系の第１
の投影像に対しての相関を算出して探索する工程と、そ
の探索結果から上記第２の撮像装置の焦点距離を求める
工程とを有する処理手順を記録している。

【００４２】また、本発明に係る記録媒体は、上記課題
を解決するために、第２の撮像装置により物体を撮像し
て得られた２次元座標系上の第２の投影像を第１の撮像
装置により物体を撮像して得られた２次元座標系上の第
２の投影像に対しての相関を算出して探索する工程と、
その探索結果から上記第２の撮像装置の焦点距離を求め
る工程と、この焦点距離より上記物体の３次元位置を検
出する工程とを有する処理手順を記録している。

【００４３】

【発明の実施の形態】以下、本発明に係るキャリブレー
ション方法の実施の形態について説明する。この実施の
形態は、本発明に係るキャリブレーション方法を用い
て、いくつかの焦点距離におけるキャリブレーションを
行うキャリブレーション装置である。

【００４４】図１に示すようにこのキャリブレーション
装置は、１つの固定焦点距離のカメラ４（以下、適宜、
第１のカメラという）と、１つのズーム機能付きカメラ
（以下、適宜、第２のカメラという）５より成るステレ
オカメラのキャリブレーションを行う装置である。

【００４５】このキャリブレーション装置は、３次元空
間において、同一平面に含まれ、かつ平行に配置される
パイプ１及び２と、このパイプ１及び２に沿って滑らか
に移動する台車３と、台車３がスライドする方向と垂直
に設置され、正方格子模様が書かれた平板６とを備えて
なる。

【００４６】パイプ１及び２には目盛が記されており、
台車３がスライドした量が測定できるようになってい
る。また、台車３は、上記ステレオカメラを載せてパイ
プ１及び２をスライドする。

【００４７】平板６に書かれている正方格子の横方向を
ｘ軸、縦方向をｙ軸とし、スライドする方向、即ち正方
格子に対して垂直方向をｚ軸とする。平板６よりカメラ
側が、ｚ＞０である。

【００４８】このような構成の、図１に示したキャリブ
レーション装置は、ズーム機能付きカメラである第２の
カメラ５を載せる点を除けば、上記図１４に示したキャ
リブレーション装置と同様であり、スライドの仕方や、
３次元座標の取り方も同じである。

【００４９】実際のキャリブレーションの測定は、第１
のカメラ４及び第２のカメラ５を載せた台車３の位置を
ずらして、平板６の正方格子を撮影しながら行われる。

【００５０】ここで、図１４から図１６を導いたのと同
様に、図１のキャリブレーション装置において、台車３
を距離Ｌだけスライドさせることで、第１のカメラ４及
び第２のカメラ５を基準として、図２に示す平板６上の
第１の正方格子Ｑ₁と第２の正方格子Ｑ₂を撮影すること
が出来る。また、ワールド座標の取り方も同じである。

【００５１】第１のカメラ４のスクリーン（ＣＣＤ面）
の各座標位置に写る、３次元上の物体は、ワールド座標
系におけるどの直線上に存在する物体であるかは上記図
１７を使って説明したように判別できる。つまり、第１
のカメラ４のスクリーンの各点と、ワールド座標系にお
ける直線との対応関係が求まる。

【００５２】次ぎに、ズーム機能付きカメラである第２
のカメラ５の焦点距離を特定の焦点距離（ｆ₁とする）
にセットして、キャリブレーションを測定する。即ち、
焦点距離をｆ₁にセットしたら、焦点距離を動かさずに
台車３を距離Ｌだけスライドさせる。これにより焦点距
離ｆ₁のときの第２のカメラ５については、従来と同様
に、キャリブレーションを行うことが出来る。すなわ
ち、焦点距離ｆ₁のときの第２のカメラ５のスクリーン
の各点と、ワールド座標系における直線との対応関係が
求まる。但し、この対応関係は、焦点距離がｆ₁である
という条件下での関係である。

【００５３】次に、台車３を元の位置にスライドして戻
す。そして、第２のカメラ５の焦点距離を別の特定の焦
点距離（ｆ₂とする）にセットして、キャリブレーショ
ンを測定する。即ち、焦点距離をｆ₂にセットしたら、
焦点距離を動かさずに台車３を距離Ｌだけスライドさせ
る。これにより、キャリブレーションを行うことが出来
る。つまり、焦点距離ｆ₂のときの第２のカメラ５のス
クリーンの各点と、ワールド座標系における直線との対
応関係が求まる。但し、この対応関係は、焦点距離がｆ
₂であるという条件下での関係である。同様に、キャリ
ブレーション装置を用いて、第２のカメラ５の幾つかの
焦点距離（ｆ₃、ｆ₄、．．．）でも、キャリブレーショ
ンを行う。

【００５４】以上により、第１のカメラ４のスクリーン
の各点と、ワールド座標系における直線との対応関係が
求まる。また、第２のカメラ５の焦点距離がｆ₁、ｆ₂、
ｆ₃、ｆ₄、．．．の場合の、第２のカメラ５のスクリー
ンの各点と、ワールド座標系における直線との対応関係
が求まる。

【００５５】また、ｆ₁、ｆ₂、ｆ₃、ｆ_4・・・以外の焦点
距離におけるキャリブレーションは、焦点距離ｆ₁、
ｆ₂、ｆ₃、ｆ_4・・・におけるスクリーンの各点とワールド
座標系における直線との対応関係より補間で求められ
る。

【００５６】すなわち、本発明に係るキャリブレーショ
ン方法を適用した上記キャリブレーション装置によれ
ば、ズームレンズを用いたカメラを１個備えたステレオ
カメラのキャリブレーションを、特殊な装置を付加する
ことなく確実に行うことができる。

【００５７】なお、本発明に係るキャリブレーション方
法は、一つの固定焦点距離のカメラ４と、一つのズーム
機能付きカメラ５よりなるステレオカメラの図１に示し
たキャリブレーション装置に適用が限定されるものでは
なく、図３に示すように、二つの固定焦点距離のカメラ
（第１のカメラ）４及び（第３のカメラ）７と、一つの
ズーム機能付きカメラ（第２のカメラ）５よりなるステ
レオカメラのキャリブレーション装置に適用されてもよ
い。

【００５８】この図３に示すキャリブレーション装置で
の実際のキャリブレーションの測定は、固定焦点距離の
カメラである第１のカメラ４及び第３のカメラ７と、こ
の第１のカメラ４と第３のカメラ７に挟まれて位置する
ズーム機能付きカメラである第２のカメラ５を載せた台
車３の位置をずらして、平板６の正方格子を撮影しなが
ら行われる。

【００５９】ここで、図１４から図１６を導いたのと同
様に、図３のキャリブレーション装置において、台車３
を距離Ｌだけスライドさせることで、第１のカメラ４、
第２のカメラ５及び第３のカメラ７を基準として、図４
に示す平板６上の第１の正方格子Ｑ₁と第２の正方格子
Ｑ₂を撮影することが出来る。また、ワールド座標の取
り方も同じである。

【００６０】後は、上記図２を用いて説明した第１のカ
メラ４及び第２のカメラ５のそれぞれのスクリーンの各
点と、ワールド座標系における直線との関係に、新たに
図４に示すように、第３のカメラ７のスクリーンの各点
と、ワールド座標における直線との関係を加えればよ
い。

【００６１】これで、本発明に係るキャリブレーション
方法を適用したキャリブレーション装置による、いくつ
かの焦点距離におけるキャリブレーションは終わる。

【００６２】このようにキャリブレーションされたステ
レオカメラを使用して、実際の物体を撮影する。なお、
図１及び図３では、説明を省略していたが、図中の複数
のカメラは一体化されており、キャリブレーション装置
から取り外して、実際の物体を撮影する場合でも、カメ
ラ同士の位置関係は保つことが出来る。

【００６３】次ぎに、上記キャリブレーション方法を適
用したキャリブレーション装置により求めたキャリブレ
ーションを使って、３次元空間における物体の位置を求
める３次元位置情報検出方法及び装置の実施の形態につ
いて説明する。

【００６４】この実施の形態は、図５に示すような構成
であり、一つの固定焦点距離のカメラである第１のカメ
ラ４と、一つのズーム機能付きカメラである第２のカメ
ラ５よりなるステレオカメラ８で撮影した画像データよ
り、撮影された物体９までの距離を測定し、その３次元
位置情報を位置出力端子から、また第２のカメラ５から
の画像データを画像出力端子から出力する３次元位置情
報検出装置である。この３次元位置情報検出装置が、上
記３次元位置情報検出方法を適用して、上記３次元位置
情報を得る過程では、本発明に係る対応点探索方法並び
に焦点距離検出方法の技術を使用する。

【００６５】この３次元位置情報検出装置は、上記第１
のカメラ４と第２のカメラ５よりなるステレオカメラ８
と、第１のカメラ４と第２のカメラ５からの画像データ
を蓄積する画像データ蓄積部１０と、このデータ蓄積部
１０からの各画像データから最終的に物体９までの３次
元位置情報を演算する演算部１１と、図１に示したキャ
リブレーション装置により得られたキャリブレーション
データを格納しているキャリブレーションデータ格納部
１２と、制御部１３とを備えてなる。

【００６６】キャリブレーションデータ格納部１２に格
納されているキャリブレーションデータは、図１に示し
たキャリブレーション装置によって、予め第１のカメラ
４のスクリーンの各点と、ワールド座標系における直線
との対応関係、第２のカメラ５の各焦点距離の場合の、
第２のカメラ５のスクリーンの各点と、ワールド座標系
における直線との対応関係を求めて得られたキャリブレ
ーションデータである。このキャリブレーションデータ
には、第２のカメラ５の各焦点距離の場合の、ワールド
座標系における直線との対応関係を示すデータが含まれ
るので、第２のカメラ５の各焦点距離が分かれば、上記
物体までの３次元位置情報を求めることができる。

【００６７】しかし、ステレオカメラ８を用いて、幾つ
かの物体を撮影した時、第２のカメラ５の焦点距離は不
明である。この焦点距離を求めるため、従来は、レンズ
に特殊な装置を付けて、機械的に焦点距離を測定してい
たが、この３次元位置情報検出装置では、本発明に係る
焦点距離検出方法を用いて、画像処理により焦点距離を
求めるようにしている。

【００６８】以下、上記３次元位置情報検出装置の動作
を、図６のフローチャートを参照しながら説明していく
が、先ず、画像処理により第２のカメラ５の焦点距離を
求める本発明に係る焦点距離検出方法について説明して
おく。この焦点距離検出方法は、制御部１３の制御によ
り演算部１１によって実行される。

【００６９】この焦点距離検出方法は、第１のカメラ４
により得られた第１の画像と、第２のカメラにより得ら
れた第２の画像を取り出し、この第１の画像内の特定ポ
イントに対応する第２の画像内の対応点を探索し、その
探索結果から第２のカメラの焦点距離を求める。

【００７０】すなわち、固定焦点距離のレンズを備えた
第１のカメラ４と可変焦点距離のレンズを備えた第２の
カメラ５により同一の物体を撮影し、第１のカメラ４に
より物体を撮像して得られた２次元座標系上の第１の投
影像に基づいて、第２のカメラ５の焦点距離を求める焦
点距離検出方法であり、第２のカメラ５により物体を撮
像して得られた２次元座標系上の第２の投影像を第１の
投影像に対しての相関を算出して探索し、その探索結果
から第２のカメラ５の焦点距離を求める。

【００７１】ここで、第１の画像内の特定ポイントは、
第１のカメラ４のスクリーンの中心と第２のカメラ５の
スクリーンの中心とを結ぶ所定領域外から選ぶ必要があ
る。すなわち、図７に示すように、第１のカメラ４のス
クリーン１４に写し出された物体９の投影像の内、第１
のカメラ４と第２のカメラ５を結ぶ方向１５以外の部分
を選ぶ。第１のカメラ４と第２のカメラ５を結ぶ方向１
５に写し出される部分とは、図７に示す斜線部分１６で
ある。

【００７２】２つのカメラの位置が水平であれば、第１
のカメラ４のスクリーン１４の中心を通って水平方向の
部分が、第１のカメラ４と第２のカメラ５を結ぶ方向と
なる。

【００７３】ここで、なぜ、第１のカメラ４と第２のカ
メラ５を結ぶ方向１５に写し出される部分１６以外の部
分から選ぶかについての理由は後述する。

【００７４】上記条件に従って、制御部１３は演算部１
１に演算を実行させ、図６のフローチャートのステップ
Ｓ１で物体９の第１のカメラ４のスクリーン１４上の座
標位置を図８に示すように（ａ，ｂ）として求める。こ
の座標位置（ａ，ｂ）は、図７の斜線部１６以外の場所
にある。

【００７５】次ぎに、ステップＳ２で座標位置（ａ，
ｂ）に対応するワールド座標系における直線ｌ₁をキャ
リブレーション格納部１２のデータを参照しながら求め
る。

【００７６】次ぎに、ステップＳ３で、第２のカメラ５
の焦点距離を例えばｆ₁に設定する。焦点距離がｆ₁であ
るとしたときの、第２のカメラ５のスクリーン１７の各
位置に対応するワールド座標系における直線も、上記キ
ャリブレーション装置により求められキャリブレーショ
ンデータ格納部１２に格納されている。

【００７７】従って、これら直線の内、前記直線ｌ₁と
交点を持つ、直線を選び出すことが可能である。この選
び出された直線は、図８中の１８₁，１８₂，１８_i で
ある。直線１８₁に対応する、第２のカメラ５のスクリ
ーン１７の点は、１９₁である。同様に、直線１８₂に対
応する点は１９₂であり、直線１８_iに対応する点は１９
_iである。他も同様である。従って、これらから分かる
ように、これら全ての直線１８₁，１８₂，１８_i に対
応する、第２のカメラ５のスクリーン１７の点１９₁，
１９₂，１９_i を集めると、直線２０ｆ₁になる。この
直線２０ｆ₁は、焦点距離がｆ₁であるとしたときのエピ
ポーララインである。

【００７８】このように、演算部１１は、制御部１３の
制御により、ステップＳ４で、第２のカメラ５の焦点距
離として、ステップＳ３で設定された焦点距離と仮定し
た場合の、エピポーララインを求める。

【００７９】次ぎに、ステップＳ５で、ステップＳ４で
求めたエピポーラライン上での上記座標位置（ａ，ｂ）
に対しての相関を算出する。

【００８０】次ぎに、ステップＳ６により全ての焦点距
離について相関を調べたか否かを判定し、未だであれ
ば、ステップＳ９で別の焦点距離に設定しながら、ステ
ップＳ４、ステップＳ５を繰り返し、各焦点距離と仮定
した場合の各エピポーラライン上での上記座標位置
（ａ，ｂ）に対しての相関を算出する。

【００８１】そして、ステップＳ７で相関の一番強かっ
たときの、第２のカメラ５のスクリーン１７上の位置を
求め、その時の焦点距離から、物体の３次元上の位置を
算出する。

【００８２】最後に、ステップＳ８で物体の位置を位置
出力端子から出力すると共に、第２のカメラ５からの画
像データを画像データ蓄積部１０を介して、画像出力端
子から出力する。

【００８３】なお、第１のカメラ４のスクリーン１４の
点（ａ，ｂ）の位置に対応する第２のカメラ５のスクリ
ーン１７上での、焦点距離がｆ₂、ｆ₃、ｆ_4・・・であると
したときの、エピポーララインを最初に求めてから、各
エピポーラライン上で相関をとってもよい。

【００８４】図９には、第２のカメラ５のスクリーン１
７上に、焦点距離がｆ₁であるとしたときのエピポーラ
ライン２０ｆ₁と、焦点距離がｆ₂であるとしたときのエ
ピポーラライン２０ｆ₂と、焦点距離がｆ₃であるとした
ときのエピポーララインｆ₃とが得られる様子を示す。

【００８５】そして、この図９に示す全ての直線上の全
ての個所で、第１のカメラ４のスクリーン１４上の点
（ａ，ｂ）と同じ画像データを探索する。これは、２次
元上での探索となる。例えば、第２のカメラ５のスクリ
ーン１７上の点（ｃ，ｄ）の位置の画像データが同じで
あるとすると、第２のカメラ５の焦点距離はｆ₂である
ことが分かる。なぜなら、点（ｃ，ｄ）はエピポーララ
イン上になくてはいけないが、点（ｃ，ｄ）を含むエピ
ポーラライン２０ｆ₂は、焦点距離がｆ₂のときのものだ
からである。

【００８６】ここで、なぜ、「第１のカメラ４のスクリ
ーン１４に写し出された物体９の投影像の内、第１のカ
メラ４と第２のカメラ５を結ぶ方向１５以外の部分、す
なわち領域１６を除いた部分から、図８に示すように点
（ａ，ｂ）を選ぶ」かということについて述べておく。
もし、図７の斜線部分１６内の点を選んでしまうと、こ
れに対応する第２のカメラ５のスクリーン１７上のエピ
ポーララインが、焦点距離によらずに同じになってしま
うからである。つまり、図９に示したエピポーラライン
２０ｆ₁、２０ｆ₂、２０ｆ₃ が同一の直線になってし
まう。これでは、第１のカメラ４のスクリーン１４の点
（ａ，ｂ）に対応する、第２のカメラ５のスクリーン１
７上の点を探索しても、その結果から、焦点距離を求め
ることが出来ないからである。

【００８７】次ぎに、第２のカメラ５のスクリーン１７
上の各エピポーラライン２０ｆ₁、２０ｆ₂、２０ｆ₃
上で、第１のカメラ４のスクリーン１４上の点（ａ，
ｂ）に対応する画像データの位置を探索する方法につい
て詳しく説明する。この方法は、図６のステップＳ５で
の処理に適用される。

【００８８】この探索方法では、ブロックマッチングを
用いている。しかし、焦点距離が、第１のカメラ４と第
２のカメラ５で違えば、対応するブロックの大きさも変
わってしまう。例えば、ある物体が、第１のカメラ４の
スクリーン１４の４画素×４画素に写っているとする
と、第２のカメラ５のスクリーン１７には、焦点距離に
よって、４画素×４画素であるかもしれないし、８画素
×８画素であるかもしれない。

【００８９】そこで、本発明に係る対応点探索方法を用
いて、焦点距離の異なる第１のカメラ４と第２のカメラ
５により撮影されたスクリーン１４とスクリーン１７上
の二つの画像間における対応点を求める。

【００９０】すなわち、この対応点探索方法は、基準と
なる第１のカメラ４と他の第２のカメラ５によって同一
の物体を撮影し、第１のカメラ４のスクリーン１４上の
投影像に一致する第２のカメラ５のスクリーン１７上の
対応点を探索する対応点探索方法であり、上記第２のカ
メラ５のスクリーン１７上での対応点の候補を中心とし
た切り出しブロックの大きさを、上記第１のカメラ４と
上記第２のカメラ５との焦点距離の比により変えてか
ら、上記第１のカメラ４のスクリーン１４上での投影像
を中心とした切り出しブロックと同じ大きさに調整し、
二つのブロック間における対応の度合いを求めること
で、上記スクリーン１７上の対応点を探す。

【００９１】最終的には、図９の各エピポーラライン２
０ｆ₁，２０ｆ₂，２０ｆ_3・・・上を、第１のカメラ４のス
クリーン１４上の点（ａ，ｂ）と同じ画像データである
部分を探索する。つまり、例えば、第１のカメラ４のス
クリーン１４の点（ａ，ｂ）を中心として４画素×４画
素というブロックを取り出す。このブロックに写ってい
る画像データと同じ部分を、エピポーラライン２０
ｆ₁，２０ｆ₂，２０ｆ_3・・・上の各点から１つ選び出す。
これが探索である。

【００９２】ここで、例えば、これらエピポーラライン
２０ｆ₁，２０ｆ₂，２０ｆ_3・・・の内、焦点距離がｆ₂で
ある場合のエピポーラライン２０ｆ₂について考えてみ
る。第１のカメラ４の焦点距離をｆとすると、第１のカ
メラ４のスクリーン１４上の４画素×４画素に投影され
た物体は、第２のカメラ５のスクリーン１７上の（４×
ｆ₂／ｆ）画素×（４×ｆ₂／ｆ）画素に投影される。従
って、エピポーラライン２０ｆ₂上を探索している時
は、（４×ｆ₂／ｆ）画素×（４×ｆ₂／ｆ）画素を取り
出して、マッチングを取るようにする。

【００９３】これを一般化すると以下のようになる。焦
点距離がｆ_iである場合のエピポーラライン２０ｆ_i上
に、第１のカメラ４のスクリーン１４の位置（ａ，ｂ）
を中心とした４画素×４画素のブロックと相関の強い部
分があるかを調べる。このとき、エピポーラライン２０
ｆ_i上の各点を中心として、（４×ｆ_i／ｆ）画素×（４
×ｆ_i／ｆ）画素を切り出して、縮小あるいは拡大して
４画素×４画素のブロックを作成する。そして、作成さ
れたブロックと、第１のカメラ４のスクリーン１４の点
（ａ，ｂ）を中心とした４画素×４画素のブロックとの
相関を調べる。相関が高ければ、それが求める点であ
る。もし、相関の高い点がなければ、別の焦点距離に対
応するエピポーラライン上の各点で、同様にブロックマ
ッチングを行っていき、最終的に、相関の高い点を求め
ることが出来る。

【００９４】図１０を用いて、４画素×４画素のブロッ
クの作成方法を再度、説明する。図中第１のカメラ４の
スクリーン１４の点（ａ，ｂ）を中心とした４画素×４
画素のブロック２１に対して、第２のカメラ５のスクリ
ーン１７上の、エピポーラライン２０ｆ_i上のある点を
中心とした（４×ｆ_i／ｆ）画素×（４×ｆ_i／ｆ）画素
であるブロック２２を、拡大あるいは縮小して、４画素
×４画素のブロック２３を作成する。この拡大あるいは
縮小は、画像の拡大縮小であり、周知の通りであり、こ
こではその詳細を省略する。

【００９５】ここまでの説明では、ブロックの大きさと
して４画素×４画素にしていたが、これ以外の大きさで
も良い。また、ブロックマッチング以外にも、例えば、
形状のマッチングを調べて、対応点を捜すことなども考
えられるが、この場合でも、ｆ_i／ｆに拡大または縮小
して探索すれば良い。

【００９６】今、第１のカメラ４のスクリーン１４の点
（ａ，ｂ）と対応する点を第２のカメラ５のスクリーン
１７上で求めることで、第２のカメラ５の焦点距離を求
めていたが、第１のカメラ４のスクリーン１４の別の点
についても同様に行い、第２のカメラ５の焦点距離を求
めることも出来る。このように第１のカメラ４のスクリ
ーン１４の複数の点から焦点距離を算出した場合は、例
えば、これら算出結果から最小二乗法などにより、最も
確からしい第のカメラ５の焦点距離を求めることも出来
る。

【００９７】このようにして、本発明に係る焦点距離検
出方法並びに対応点探索方法を適用することで、第２の
カメラ５の焦点距離を求めることが可能である。

【００９８】ところで、上記３次元位置情報検出装置の
キャリブレーショデータ格納部１２には、既に図１に示
したキャリブレーション装置によって得られたキャリブ
レーションデータが格納されている。上記対応点探索方
法と上記焦点距離検出方法を適用して焦点距離が求まれ
ば、上記キャリブレーションデータ格納部１２から、そ
の焦点距離である場合の、第２のカメラ５のスクリーン
１７の各点と、ワールド座標系における直線との対応関
係は求まっているので、固定焦点距離のステレオカメラ
と考えて、各物体までの３次元位置を測定することが出
来る。

【００９９】なお、上記図５に示した３次元位置情報検
出装置は、１つの固定焦点距離のカメラである第１のカ
メラ４と、１つのズーム機能付きカメラである第２のカ
メラ５より成るステレオカメラ８を使用したが、本発明
に係る３次元位置情報検出方法及び装置は、複数の固定
焦点距離のカメラと、一つのズーム機能付きカメラより
なるステレオカメラを用いてもよい。

【０１００】図１１には、例えば二つの固定焦点距離の
カメラと、一つのズーム機能付きカメラとから構成した
ステレオカメラ２５を用いた３次元位置情報検出装置の
構成を示す。二つの固定焦点距離のカメラを第１のカメ
ラ４、第３のカメラ７とする。この第１のカメラ４と第
３のカメラ７の間に挟まれた一つのズーム機能付きカメ
ラを第２のカメラ５とする。

【０１０１】この３次元位置情報検出装置は、第１のカ
メラ４と、第２のカメラ５と、第３のカメラ７よりなる
ステレオカメラ２５と、このステレオカメラ２５からの
画像データを蓄積する画像データ蓄積部２６と、この画
像データ蓄積部２６からの各画像データから最終的に物
体９までの３次元位置情報を演算する演算部２７と、図
３に示したキャリブレーション装置により得られたキャ
リブレーションデータを格納しているキャリブレーショ
ンデータ格納部２８と、制御部２９とを備えてなる。

【０１０２】キャリブレーションデータ格納部２８に格
納されているキャリブレーションデータは、図３に示し
たキャリブレーション装置によって、予め第１のカメラ
４のスクリーンの各点と、ワールド座標系における直線
との対応関係、第２のカメラ５の各焦点距離の場合の、
第２のカメラ５のスクリーンの各点と、ワールド座標系
における直線との対応関係、第３のカメラ７のスクリー
ンの各点と、ワールド座標系における直線との対応関係
を求めて得られたキャリブレーションデータである。こ
のキャリブレーションデータには、第２のカメラ５の各
焦点距離の場合の、ワールド座標系における直線との対
応関係を示すデータが含まれるので、第２のカメラ５の
各焦点距離が分かれば、上記物体までの３次元位置情報
を求めることができる。

【０１０３】しかし、ステレオカメラ２５を用いて、幾
つかの物体を撮影した時、第２のカメラ５の焦点距離は
不明である。この焦点距離を求めるため、この３次元位
置情報検出装置でも、本発明に係る焦点距離検出方法を
用いて、画像処理により焦点距離を求めるようにしてい
る。

【０１０４】先ず、第１のカメラ４と第３のカメラ７を
１つのステレオカメラとみなして、第１のカメラ４と第
３のカメラ７のスクリーンに写っている物体の３次元位
置を測定する。第１のカメラ４のスクリーンには、点
（ａ，ｂ）が写っているとする。この物体９の位置は、
第１のカメラ４と第３のカメラ７より分かるので、その
位置を図１２上で（ｅ，ｆ，ｇ）とする。次に、この物
体９の第２のカメラ５のスクリーン１７への投影像の位
置を調べる。

【０１０５】焦点距離がｆ₁であるとしたときの、第２
のカメラ５のスクリーン１７の各位置に対応するワール
ド座標系における直線も、図３に示したキャリブレーシ
ョン装置によるキャリブレーションにおいて求まってい
る。従って、これら直線の内、上記ワールド座標におけ
る座標位置（ｅ，ｆ，ｇ）を通過する、直線３０を選び
出すことが可能である。この選び出された直線３０に対
応する、第２のカメラ５のスクリーン１７の位置を（ｃ
ｆ₁，ｄｆ₁）とする。

【０１０６】同じようにして、第２のカメラ５のスクリ
ーン１７上での、焦点距離がｆ₂、ｆ₃、ｆ₄、．．．で
あるとしたときの、前記座標位置（ｅ，ｆ，ｇ）を通過
する、直線を選び、さらに、それら直線に対応する第２
のカメラ５のスクリーン１７の位置を求める。求めた結
果は、図１３のようになる。図１３において、焦点距離
がｆ₁であると仮定したときに、物体９が投影される位
置は（ｃｆ₁，ｄｆ₁）である。また、焦点距離がｆ₂あ
ると仮定したときに、物体９が投影される位置は（ｃｆ
₂，ｄｆ₂）である。焦点距離がｆ₃であると仮定したと
きに、この物体が投影される位置は（ｃｆ₃，ｄｆ₃）で
ある。他も同様である。

【０１０７】つまり、第２のカメラ５の焦点距離に応じ
て、図１３上の（ｃｆ₁，ｄｆ₁）、（ｃｆ₂，ｄｆ₂）、
（ｃｆ₃，ｄｆ₃）．．．のいずれかの位置に投影される
はずである。従って、第１のカメラ４のスクリーン上の
位置（ａ，ｂ）と同じ画像データを、第２のカメラ５の
スクリーンの内、（ｃｆ₁，ｄｆ₁）、（ｃｆ₂，ｄ
ｆ₂）、（ｃｆ₃，ｄｆ₃）．．．を含む線上３１にのみ
探索すれば良い。上記図５に示した３次元位置情報検出
装置では、２次元上を探索しなくてはいけなかったが、
この図１１に示す３次元位置情報検出装置は、１次元上
のみを探索すれば良い。

【０１０８】この探索は、本発明に係るブロックマッチ
ング検出方法を適用して、ブロックの大きさを変えて、
探索する。つまり、図１３上にあって焦点距離がｆ₁で
あると仮定したときに得られた位置（ｃｆ₁，ｄｆ₁）に
対応点があるかを調べるときには、その位置を中心とし
て、（４×ｆ_i／ｆ）画素×（４×ｆ_i／ｆ）画素を切り
出して、縮小あるいは拡大して４画素×４画素のブロッ
クを作成する。そして、作成されたブロックと、第１の
カメラ４のスクリーンの位置（ａ，ｂ）を中心とした４
画素×４画素のブロックとの相関を調べる。相関が高け
れば、それが求める点である。もし、相関の高い点でな
ければ、別の焦点距離に対応する点（ｃｆ₂，ｄｆ₂）、
（ｃｆ₃，ｄｆ₃）、・・・を調べれば良い。そして、最
終的に、相関の高い点を求めることが出来る。この相関
の強い点に対応する焦点距離が、求める第２のカメラ５
の焦点距離である。

【０１０９】今、第１のカメラ４のスクリーンの位置
（ａ，ｂ）と対応する点を求めることで、焦点距離を求
めていたが、第１のカメラ４のスクリーンの別の点につ
いても同様に行い、焦点距離を求めることも出来る。こ
のように複数の点から焦点距離を算出した場合は、例え
ば、これら算出結果から最小二乗法などにより、最も確
からしい焦点距離を求めることも出来る。

【０１１０】このようにして、図１１に示した３次元位
置情報検出装置では、第２のカメラの焦点距離を求める
ことが可能である。焦点距離が求まれば、キャリブレー
ションの段階で、その焦点距離である場合の、第２のカ
メラ５のスクリーン１７の各点と、ワールド座標系にお
ける直線との対応関係は求まっているので、従来と同様
に、固定焦点距離のステレオカメラと考えて、各物体ま
での３次元位置を測定することが出来る。

【０１１１】なお、上記図５及び図１１に示した３次元
位置情報検出装置によれば、カメラに写っている物体の
３次元位置の情報を得ると共に、第２のカメラの画像デ
ータを出力することで、同時に、それら物体を、自分の
意図する焦点距離で撮影した画像データも得ることが出
来る。

【０１１２】また、本発明の出願人は、平成９年３月２
６日に出願した、特願平０９−７３２０２号明細書、
「キャリブレーション方法及びキャリブレーション装
置、並びに補正方法及び補正装置」により、正方格子模
様が書かれた平板がスライド方向に対して垂直に設置で
きない場合に、その補正を行う方法に関する技術を開示
しているが、本発明においても、この技術を使用し、よ
り正確にキャリブレーションを行うことが可能である。

【０１１３】また、上記対応点探索方法は、演算部１１
及び２７で制御部１３及び２９の制御により実行され
る。よって、演算部１１及び２７を対応点探索装置とし
て、固定焦点距離の第１のカメラ４及び第３のカメラ７
の２次元座標系上の投影像に一致する可変焦点距離の第
２のカメラの２次元座標系上の対応点を探索するために
だけ用いてもよい。

【０１１４】また、上記焦点距離検出方法も、演算部１
１及び２７で制御部１３及び２９の制御により実行され
る。よって、演算部１１及び２７を焦点距離検出装置と
して、可変焦点距離の第２のカメラ５により物体を撮像
して得られた２次元座標系上の第２の投影像を第１のカ
メラ４及び第３のカメラ７から得られる投影像に対して
の相関を算出して探索し、その探索結果から上記第２の
撮像装置の焦点距離を算出するためにだけ用いてもよ
い。

【０１１５】また、上記対応点探索方法を実行するた
め、演算部１１及び２７は、記録媒体から処理手順を逐
次取り出し、制御手段１３及び２９の制御により実行す
る。ここで、記録媒体は、演算部１１内部又は外部にあ
って、第２のカメラ５の２次元座標系上での対応点の候
補を中心とした切り出しブロックの大きさを第１のカメ
ラ４と第２のカメラ５との焦点距離の比により変える工
程と、上記可変とされた切り出しブロックを上記第１の
カメラ４の２次元座標系上での投影像を中心とした切り
出しブロックと同じ大きさに調整する工程と、この調整
ブロックと上記投影像を中心とした切り出しブロック間
における対応の度合いを求める工程とを有する処理手順
を記録している。

【０１１６】また、上記焦点距離検出方法を実行するた
め、演算部１１及び２７は、記録媒体から処理手順を逐
次取り出し、制御手段１３及び２９の制御により実行す
る。ここで、記録媒体は、演算部１１及び２７の内部又
は外部にあって、第２のカメラ５により物体を撮像して
得られた２次元座標系上の第２の投影像を第１のカメラ
４により得られた第１の投影像に対しての相関を算出し
て探索する工程と、その探索結果から上記第２の撮像装
置の焦点距離を求める工程とを有する処理手順を記録し
ている。

【０１１７】また、上記３次元座標位置検出方法を実行
するため、演算部１１及び２７は、記録媒体から処理手
順を逐次取り出し、制御手段１３及び２９の制御により
実行する。ここで、記録媒体は、演算部１１及び２７の
内部又は外部にあって、第２のカメラ５により物体を撮
像して得られた２次元座標系上の第２の投影像を第１の
カメラ４により得られた第１の投影像に対しての相関を
算出して探索する工程と、その探索結果から上記第２の
撮像装置の焦点距離を求める工程と、この焦点距離より
上記物体の３次元位置を検出する工程とを有する処理手
順を記録している。

【０１１８】

【発明の効果】本発明に係るキャリブレーション方法に
よれば、焦点距離が可変である撮像装置のキャリブレー
ションを実現できる。

【０１１９】また、本発明に係る対応点探索方法及び装
置は、焦点距離が異なる撮像装置間での２次元座標系上
での物体の投影像の一致を検出できる。

【０１２０】また、本発明に係る焦点距離検出方法及び
装置は、固定焦点距離のレンズを備えた第１の撮像装置
と可変焦点距離のレンズを備えた第２の撮像装置により
同一物体を撮影し、上記第１の撮像装置により物体を撮
像して得られた２次元座標系上の第１の投影像に基づい
て、上記第２の撮像装置の焦点距離を求めることができ
る。

【０１２１】また、本発明に係る３次元位置情報検出方
法及び装置によれば、固定焦点距離のレンズを備えた第
１の撮像装置と可変焦点距離のレンズを備えた第２の撮
像装置とにより同一の物体を撮影し、この物体の３次元
座標系での位置を検出できる。

【０１２２】また、この３次元位置情報検出方法及び装
置によれば、ズームレンズに特殊な装置を付けなくて
も、現在の焦点距離を検出でき、これにより対象物体の
３次元情報を得ると共に、意図する焦点距離で撮影した
画像データも同時に得ることができる。

【図面の簡単な説明】

【図１】本発明に係るキャリブレーション方法の実施の
形態となるキャリブレーション装置の斜視図である。

【図２】図１に示したキャリブレーション装置で平板を
スライドさせた様子を示す図である。

【図３】他の実施の形態となるキャリブレーション装置
の斜視図である。

【図４】図３に示したキャリブレーション装置で平板を
スライドさせた様子を示す図である。

【図５】本発明に係る３次元位置情報検出方法及び装置
の実施の形態となる３次元位置情報検出装置のブロック
図である。

【図６】上記図５に示した３次元位置情報検出装置の動
作を説明するためのフローチャートである。

【図７】上記図５に示した３次元位置情報検出装置で焦
点距離を求めるための対応点の選択を説明するための図
である。

【図８】上記図５に示した３次元位置情報検出装置で焦
点距離を求める方法を説明するための図である。

【図９】上記図５に示した３次元位置情報検出装置で焦
点距離を求めるために必要とするエピポーララインを示
す図である。

【図１０】上記図５に示した３次元位置情報検出装置で
行われるブロックマッチングを説明するための図であ
る。

【図１１】本発明に係る３次元位置情報検出方法及び装
置の他の実施の形態となる３次元位置情報検出装置のブ
ロック図である。

【図１２】上記図１１に示した３次元位置情報検出装置
で焦点距離を求めるための原理を説明するための図であ
る。

【図１３】上記図１１に示した３次元位置情報検出装置
で焦点距離を求める方法を説明するための図である。

【図１４】従来の３次元位置情報検出装置となるステレ
オカメラシステムの外観斜視図である。

【図１５】上記図１４に示したステレオカメラシステム
にて二つのカメラをスライドさせた様子を示す図であ
る。

【図１６】上記図１４に示したステレオカメラシステム
にて平板をスライドさせた様子を示す図である。

【図１７】所定の直線上の点が、スクリーンの所定の位
置に投射される様子を示す図である。

【図１８】上記図１４に示したステレオカメラシステム
にて物体の３次元上の位置を求める方法を説明するため
の図である。

【符号の説明】

４ 固定焦点距離のレンズを用いたカメラ、３ 台車、
５ 可変焦点距離のレンズを用いたカメラ、６ 正方格
子模様の付いた平板、８ ステレオカメラ、１０画像デ
ータ蓄積部、１１ 演算部、１２ キャリブレーション
データ格納部、１３ 制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅利 直介 東京都品川区東五反田３丁目14番13号 株 式会社ソニー木原研究所内 (72)発明者 堀川 順治 東京都品川区東五反田３丁目14番13号 株 式会社ソニー木原研究所内 (72)発明者 永野 秀敏 東京都品川区東五反田３丁目14番13号 株 式会社ソニー木原研究所内 (72)発明者 石井 隆寛 東京都品川区東五反田３丁目14番13号 株 式会社ソニー木原研究所内 (72)発明者 野崎 隆志 東京都品川区東五反田３丁目14番13号 株 式会社ソニー木原研究所内

Claims (23)

【特許請求の範囲】
1. 【請求項１】 焦点距離を可変にして物体を撮像する撮
   像装置により、複数の特定焦点距離により物体を撮像し
   て得られた２次元座標系の投影像の各位置と、上記物体
   の３次元座標系における各位置との位置情報対応関係を
   求めることを特徴とするキャリブレーション方法。
2. 【請求項２】 上記複数の特定焦点距離を除く複数の他
   の焦点距離における上記位置情報対応関係を補間により
   求めることを特徴とする請求項１記載のキャリブレーシ
   ョン方法。
3. 【請求項３】 基準となる撮像装置と他の撮像装置によ
   って同一物体を撮影し、基準となる撮像装置の２次元座
   標系上の投影像に一致する他の撮像装置の２次元座標系
   上の対応点を探索する対応点探索方法であって、 上記他の撮像装置の２次元座標系上での対応点の候補を
   中心とした切り出しブロックの大きさを、上記基準とな
   る撮像装置と上記他の撮像装置との焦点距離の比により
   変えてから、上記基準となる撮像装置の２次元座標系上
   での投影像を中心とした切り出しブロックと同じ大きさ
   に調整し、二つのブロック間における対応の度合いを求
   めることで、上記対応点を探すことを特徴とする対応点
   探索方法。
4. 【請求項４】 上記二つのブロック間における対応の度
   合いは、上記二つのブロック間における相関を計算する
   ことで求めることを特徴とする請求項３記載の対応点探
   索方法。
5. 【請求項５】 上記他の撮像装置は複数であることを特
   徴とする請求項３記載の対応点探索方法。
6. 【請求項６】 基準となる撮像装置と他の撮像装置によ
   って同一物体を撮影し、基準となる撮像装置の２次元座
   標系上の投影像に一致する他の撮像装置の２次元座標系
   上の対応点を探索する対応点探索装置であって、 上記他の撮像装置の２次元座標系上での対応点の候補を
   中心とした切り出しブロックの大きさを、上記基準とな
   る撮像装置と上記他の撮像装置との焦点距離の比により
   変えてから、上記基準となる撮像装置の２次元座標系上
   での投影像を中心とした切り出しブロックと同じ大きさ
   に調整し、二つのブロック間における対応の度合いを求
   める対応度演算手段を備えることを特徴とする対応点探
   索装置。
7. 【請求項７】 上記対応度演算手段は、上記二つのブロ
   ック間における相関を計算することで上記二つのブロッ
   ク間における対応の度合いを求めることを特徴とする請
   求項６記載の対応点探索装置。
8. 【請求項８】 上記他の撮像装置は複数であることを特
   徴とする請求項６記載の対応点探索装置。
9. 【請求項９】 基準となる撮像装置と他の撮像装置によ
   って同一物体を撮影し、基準となる撮像装置の２次元座
   標系上の投影像に一致する他の撮像装置の２次元座標系
   上の対応点を探索する対応点探索処理手順を記録してい
   る記録媒体であって、 上記他の撮像装置の２次元座標系上での対応点の候補を
   中心とした切り出しブロックの大きさを上記基準となる
   撮像装置と上記他の撮像装置との焦点距離の比により変
   える工程と、 上記可変とされた切り出しブロックを上記基準となる撮
   像装置の２次元座標系上での投影像を中心とした切り出
   しブロックと同じ大きさに調整する工程と、 この調整ブロックと上記投影像を中心とした切り出しブ
   ロック間における対応の度合いを求める工程とを有する
   処理手順を記録していることを特徴とする記録媒体。
10. 【請求項１０】 固定焦点距離のレンズを備えた第１の
    撮像装置と可変焦点距離のレンズを備えた第２の撮像装
    置により同一物体を撮影し、上記第１の撮像装置により
    物体を撮像して得られた２次元座標系上の第１の投影像
    に基づいて、上記第２の撮像装置の焦点距離を求める焦
    点距離検出方法であって、 上記第２の撮像装置により物体を撮像して得られた２次
    元座標系上の第２の投影像を上記第１の投影像に対して
    の相関を算出して探索し、その探索結果から上記第２の
    撮像装置の焦点距離を求めることを特徴とする焦点距離
    検出方法。
11. 【請求項１１】 上記第１の投影像は、上記第１の撮像
    装置の２次元座標系の中心と上記第２の撮像装置の２次
    元座標系の中心とを結ぶ所定領域外から選ぶことを特徴
    とする請求項１０記載の焦点距離検出方法。
12. 【請求項１２】 上記第１の撮像装置の焦点距離と上記
    第２の撮像装置の焦点距離の比により、上記第２の撮像
    装置の２次元座標系上の第２の投影像の候補を中心とし
    た切り出しブロックの大きさを変えてから、上記第１の
    投影像を中心とした切り出しブロックと同じ大きさに調
    整し、二つのブロック間における対応の度合いにより、
    上記第２の投影像を探索し、その探索結果から上記第２
    の撮像装置の焦点距離を求めることを特徴とする請求項
    １０記載の焦点距離検出方法。
13. 【請求項１３】 固定焦点距離のレンズを備えた第１の
    撮像装置と可変焦点距離のレンズを備えた第２の撮像装
    置により同一物体を撮影し、上記第１の撮像装置により
    物体を撮像して得られた２次元座標系上の第１の投影像
    に基づいて、上記第２の撮像装置の焦点距離を求める焦
    点距離検出装置であって、 上記第２の撮像装置により物体を撮像して得られた２次
    元座標系上の第２の投影像を上記第１の投影像に対して
    の相関を算出して探索し、その探索結果から上記第２の
    撮像装置の焦点距離を算出する焦点距離演算手段を備え
    ることを特徴とする焦点距離検出装置。
14. 【請求項１４】 上記第１の投影像は、上記第１の撮像
    装置の２次元座標系の中心と上記第２の撮像装置の２次
    元座標系の中心とを結ぶ所定領域外から選ぶことを特徴
    とする請求項１３記載の焦点距離検出装置。
15. 【請求項１５】 上記焦点距離演算手段は、上記第１の
    撮像装置の焦点距離と上記第２の撮像装置の焦点距離の
    比により、上記第２の撮像装置の２次元座標系上の第２
    の候補を中心とした切り出しブロックの大きさを変えて
    から、上記第１の投影像を中心とした切り出しブロック
    と同じ大きさに調整し、二つのブロック間における対応
    の度合いにより、上記第２の投影像を探索し、その探索
    結果から上記第２の撮像装置の焦点距離を算出すること
    を特徴とする請求項１３記載の焦点距離検出装置。
16. 【請求項１６】 固定焦点距離のレンズを備えた第１の
    撮像装置と可変焦点距離のレンズを備えた第２の撮像装
    置により同一物体を撮影し、上記第１の撮像装置により
    物体を撮像して得られた２次元座標系上の第１の投影像
    に基づいて、上記第２の撮像装置の焦点距離を求める焦
    点距離検出処理手順を記録している記録媒体であって、 上記第２の撮像装置により物体を撮像して得られた２次
    元座標系上の第２の投影像を上記第１の投影像に対して
    の相関を算出して探索する工程と、 その探索結果から上記第２の撮像装置の焦点距離を求め
    る工程とを有する処理手順を記録していることを特徴と
    する記録媒体。
17. 【請求項１７】 固定焦点距離のレンズを備えた第１の
    撮像装置と可変焦点距離のレンズを備えた第２の撮像装
    置とにより同一の物体を撮影し、この物体の３次元座標
    系での位置を検出する３次元座標位置検出方法であっ
    て、 上記第２の撮像装置により物体を撮像して得られた２次
    元座標系上の第２の投影像を上記第１の投影像に対して
    の相関を算出して探索し、その探索結果から上記第２の
    撮像装置の焦点距離を求め、この焦点距離より上記物体
    の３次元位置を検出することを特徴とする３次元位置情
    報検出方法。
18. 【請求項１８】 上記固定焦点距離のレンズを備えた第
    １の撮像装置を複数用いて上記物体の３次元座標系での
    位置を検出することを特徴とする請求項１７記載の３次
    元位置情報検出方法。
19. 【請求項１９】 上記第１の撮像装置の焦点距離と上記
    第２の撮像装置の焦点距離の比により、上記第２の撮像
    装置の２次元座標系上の第２の投影像の候補を中心とし
    た切り出しブロックの大きさを変えてから、上記第１の
    投影像を中心とした切り出しブロックと同じ大きさに調
    整し、二つのブロック間における対応の度合いにより、
    上記第２の投影像を探索し、その探索結果から上記第２
    の撮像装置の焦点距離を求め、この焦点距離より上記物
    体の３次元位置を検出することを特徴とする請求項１７
    記載の３次元位置情報検出方法。
20. 【請求項２０】 固定焦点距離のレンズを備えた第１の
    撮像装置と可変焦点距離のレンズを備えた第２の撮像装
    置とにより同一の物体を撮影し、この物体の３次元座標
    系での位置を検出する３次元座標位置検出装置であっ
    て、 上記第２の撮像装置により物体を撮像して得られた２次
    元座標系上の第２の投影像を上記第１の投影像に対して
    の相関を算出して探索し、その探索結果から上記第２の
    撮像装置の焦点距離を求め、この焦点距離より上記物体
    の３次元位置を検出する３次元位置情報演算手段を備え
    ることを特徴とする３次元位置情報検出装置。
21. 【請求項２１】 上記固定焦点距離のレンズを備えた第
    １の撮像装置を複数用いて上記物体の３次元座標系での
    位置を検出することを特徴とする請求項２０記載の３次
    元位置情報検出装置。
22. 【請求項２２】 上記３次元位置情報演算手段は、上記
    第１の撮像装置の焦点距離と上記第２の撮像装置の焦点
    距離の比により、上記第２の撮像装置の２次元座標系上
    の第２の投影像の候補を中心とした切り出しブロックの
    大きさを変えてから、上記第１の投影像を中心とした切
    り出しブロックと同じ大きさに調整し、二つのブロック
    間における対応の度合いにより、上記第２の投影像を探
    索し、その探索結果から上記第２の撮像装置の焦点距離
    を求め、この焦点距離より上記物体の３次元位置を演算
    することを特徴とする請求項２０記載の３次元位置情報
    検出装置。
23. 【請求項２３】 固定焦点距離のレンズを備えた第１の
    撮像装置と可変焦点距離のレンズを備えた第２の撮像装
    置とにより同一の物体を撮影し、この物体の３次元座標
    系での位置を検出する３次元座標位置検出処理手順を記
    録している記録媒体であって、 上記第２の撮像装置により物体を撮像して得られた２次
    元座標系上の第２の投影像を上記第１の投影像に対して
    の相関を算出して探索する工程と、 その探索結果から上記第２の撮像装置の焦点距離を求め
    る工程と、 この焦点距離より上記物体の３次元位置を検出する工程
    とを有する処理手順を記録していることを特徴とする記
    録媒体。