JP4172554B2

JP4172554B2 - ステレオカメラの調整装置

Info

Publication number: JP4172554B2
Application number: JP06157798A
Authority: JP
Inventors: 敬二実吉; 英明土屋
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1998-03-12
Filing date: 1998-03-12
Publication date: 2008-10-29
Anticipated expiration: 2018-03-12
Also published as: DE69918347D1; JPH11259632A; US6385334B1; EP0942610B1; EP0942610A3; EP0942610A2; DE69918347T2

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの光軸のズレを調整するステレオカメラの調整装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、ステレオカメラから得られた２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、２つの画像間には視差以外のズレがないことが望ましく、ステレオカメラの光学位置調整が重要となる。
【０００４】
このため、特開平５−１５７５５７号公報には、一対のビデオカメラを連結保持する保持部材に、一方のビデオカメラのイメージセンサの画素の並びが他方のビデオカメラのイメージセンサの画素の並びと平行になるように調整する平行調整手段、一方のビデオカメラの光軸と他方のビデオカメラの光軸とが平行となるように調整する光軸調整部材を設け、２台のカメラの相関関係を機械的に調整・保持する技術が開示されている。
【０００５】
しかしながら、一旦、固定したステレオカメラに経年変化によってズレが生じた場合、従来では、機械構造的に再調整しなければならず、煩雑な作業を要するばかりでなく、再調整のための時間も長くなり、機械的な調整では精度確保に限界がある。
【０００６】
これに対処するため、本出願人は、先に、特願平９−１１７２６８号において、ステレオカメラの光学的位置を機械的な調整を行うことなく電気的に調整する技術を提案しており、ステレオカメラの光学的位置を機械的には調整困難なレベルまで精密に調整可能で、調整後の経年変化によるズレに対しても容易に再調整可能としている。
【０００７】
【発明が解決しようとする課題】
しかしながら、先に本出願人が提案した技術では、特別な調整用パターンをステレオカメラで撮像して光学位置の補正を行うため、定期的にステレオカメラによる画像処理のフィールドでの実稼働を中止して調整を行う等、保守管理の面で気を付ける必要があった。
【０００８】
本発明は上記事情に鑑みてなされたもので、ステレオカメラの経時的な光軸のズレを、測距精度に及ぼす影響が無視できる早期の段階から稼働状態のまま自動的に調整することのできるステレオカメラの調整装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、第１のカメラと第２のカメラとを設定間隔を開けて配設してなるステレオカメラの光軸の経時的なズレを補正するステレオカメラの調整装置であって、上記第１のカメラの画像を幾何学的に回転補正するとともに、上記第２のカメラの画像を水平・垂直方向の並進補正及び回転補正によって幾何学的に画像変換する手段と、上記ステレオカメラで撮像した一対の風景画像をステレオ処理して得られる距離データに基づいて、上記第１のカメラの風景画像と上記第２のカメラの風景画像とにおける対応位置の誤差を遠方の略等距離にある２つの領域と近方の１つの領域とから算出し、各画像の相対的な位置補正と上記第１のカメラの水平ラインを上記ステレオカメラの基線に平行にする補正とを同時に行って上記対応位置の誤差をなくすよう上記画像変換の変換値を設定する手段とを備えたことを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の発明において、上記第１のカメラの画像の遠方の各領域位置に、上記距離データを加算して対応する領域が存在する範囲を上記第２のカメラの画像内に定め、定めた範囲内を探索して上記第２のカメラの画像の遠方の各領域位置を求めることを特徴とする。
【００１２】
請求項３記載の発明は、請求項１記載の発明において、上記第２のカメラの画像に対する水平方向の並進補正量を、上記第１のカメラの画像と上記第２のカメラの画像とにおける各領域の位置ズレ量、及び、各領域の距離に基づいて算出することを特徴とする。
【００１３】
すなわち、本発明では、ステレオカメラで撮像した一対の風景画像を処理して得られる距離データに基づいて、第１のカメラの風景画像と第２のカメラの風景画像とにおける対応位置の誤差を遠方の略等距離にある２つの領域と近方の１つの領域とから算出し、各画像の相対的な位置補正と第１のカメラの水平ラインをステレオカメラの基線に平行にする補正とを同時に行って対応位置の誤差をなくすよう画像変換の変換値を設定することで、ステレオカメラの光軸の経時的なズレを自動的に補正する。
【００１５】
第２のカメラの画像の遠方の各領域位置は、請求項２に記載したように、第１のカメラの画像の遠方の各領域位置に距離データを加算して対応する領域が存在する範囲を第２のカメラの画像内に定め、定めた範囲内を探索することで求めることができ、第２のカメラの画像に対する水平方向の並進補正量は、請求項３に記載したように、第１のカメラの画像と第２のカメラの画像とにおける各領域の位置ズレ量、及び、各領域の距離に基づいて算出することができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図９は本発明の実施の一形態に係わり、図１は画像入力装置のブロック図、図２はアフィン変換回路のブロック図、図３はステレオカメラの取り付けを示す説明図、図４は画像取り込みと逆アフィン変換のタイミングを示す説明図、図５は画像補正処理ルーチンのフローチャート、図６は基準画像と比較画像における対応領域を示す説明図、図７は比較画像のアフィン変換における回転角を示す説明図、図８はメインカメラの水平ラインの基線からのズレを示す説明図、図９はカメラ系を横から見た説明図である。
【００１７】
図３において、符号１は、互いに同期が取れ、例えば電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッタースピード可変の２台のカメラからなるステレオカメラであり、一方のカメラ２をステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ３をステレオ処理の際の比較画像を撮像するサブカメラとして、両カメラ２，３がステイ４に所定間隔を開けて配設されている。尚、図３（ａ）は上面図、図３（ｂ）は正面図である。
【００１８】
両カメラ２，３で撮像した２枚の画像は、画像入力装置１０を介してステレオ処理装置４０へ入力され、ステレオマッチングにより２つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われる。この場合、２台のカメラ２，３は、初期製造段階で互いの光軸が平行となるように調整されてステイ４に固定されているが、通常の使用時、ドリフト的なゆっくりとした光軸のズレが生じ、長期的には測距精度が僅かづつ低下して最終的に誤差が無視できないレベルに達する虞がある。
【００１９】
このため、両カメラ２，３とステレオ処理装置４０との間に接続される画像入力装置１０には、各カメラ２，３の光学位置を画像補正によって調整する機能が備えられており、各カメラ２，３の光軸のズレが軽微な段階すなわちステレオ処理装置４０におけるステレオマッチングの際のミスマッチングが少ない早期の段階から各カメラ２，３で撮像した画像におけるズレを自動的に補正し、等価的に各カメラ２，３の光軸を精密調整するようになっている。
【００２０】
図１に示すように、画像入力装置１０は、撮像画像の入力処理を行う画像入力部１０ａと、画像の回転や平行移動等の幾何学的変換を行う画像調整部１０ｂと、画像の変換値を演算する補正演算部１０ｃとから構成されている。
【００２１】
画像入力部１０ａには、各カメラ２，３からのアナログ画像を後段の入力レンジに合わせるためのアナログインターフェース１１，１２、アナログ画像を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換するＡ／Ｄコンバータ１３，１４等が備えられている。
【００２２】
また、画像調整部１０ｂには、デジタル化された画像を一時的に記憶する入力画像メモリ１５，１６、これらの入力画像メモリ１５，１６に記憶されたデジタル画像に対し、画像の回転や平行移動等の幾何学的変換を行い、ステレオ処理装置４０に出力するアフィン変換回路１７，１８等が備えられている。
【００２３】
上記アフィン変換回路１７，１８は、両カメラ２，３の画像間の対応点が光軸のズレによって本来の位置から幾何学的に移動したときの補正を行うものであり、一方のアフィン変換回路１７で代表すると、図２に示すような内部構成となっている。
【００２４】
この内部構成では、アフィン変換回路１７には、入力画像メモリ１５へのデータの書き込み及びデータの読み出しを行う画像メモリデータインターフェース２０、入力画像メモリ１５のアドレス指定を行う画像メモリアドレスインターフェース２１、Ａ／Ｄコンバータ１３からの画像データを入力画像メモリ１５に書き込む際のアドレスを生成する入力画像書き込みアドレス生成回路２２、入力画像メモリ１５から画像データを読み出して画像の幾何学的変換を行う際のアドレスを逆アフィン変換によって生成する逆アフィン変換読み出しアドレス生成回路２３、逆アフィン変換によって読み出されたデータに対して線形補間を行い、変換画像データを出力する補間演算回路２４等が備えられている。
【００２５】
すなわち、アフィン変換回路１７，１８による画像の幾何学的変換では、変換前の原画像及び変換後の画像は、共に正方格子上に画素を配置したデジタル画像であり、変換後の画像上の画素の濃度値は、原画像を逆アフィン変換して求めた対応画素位置の濃度値で与えられる。この逆アフィン変換による原画像の対応画素位置は、一般に整数画素位置とはならず、原画像に対応画素が存在しないため、上記補間演算回路２４では、周囲４画素の濃度値を用いて線形補間を行い、変換後の画像上で画素の濃度値を隙間なく求める。
【００２６】
図４に示すように、アフィン変換回路１７，１８では、フィールド信号のサンプル期間で各カメラ２，３からの画像信号、例えば、各カメラ２，３から水平同期信号及び垂直同期信号に同期して出力されるＮＴＳＣ映像信号等の画像信号がサンプルされると、このサンプル画像を次のフィールド区間で画像変換する。
【００２７】
すなわち、アナログインターフェース１１，１２によってＡ／Ｄコンバータ１３，１４の入力レンジに合わせて各カメラ２，３からの画像信号のゲイン・オフセット等が調整され、Ａ／Ｄコンバータ１３，１４によってＡ／Ｄ変換されたデジタル画像データが、アフィン変換回路１７，１８の入力画像書き込みアドレス生成回路２２，２２で生成したアドレスに従って入力画像メモリ１５，１６に格納され、次のフィールド区間で、入力画像メモリ１５，１６からアフィン変換回路１７，１８の逆アフィン変換読み出しアドレス生成回路２３，２３で生成したアドレスの濃度データが読み出される。そして、この濃度データに対し、アフィン変換回路１７，１８の補間演算回路２４，２４で補間演算を行って変換画像をステレオ処理装置４０に出力する。
【００２８】
上記カメラ２，３の光軸のズレに対する補正値、すなわちアフィン変換回路１７，１８における画像変換値は、既知の距離（視差が逆算できる距離）に配置した特別な調整用パターンを撮像し、この撮像画像から計測した一致点の座標データから求めることも可能であるが、本発明では、特別な調整用パターンを用いることなく、一般的な風景を撮像してステレオ画像処理を行う通常の動作をさせながら補正演算部１０ｃで補正値を演算し、アフィン変換回路１７，１８に画像変換値として与えることで自動調整を行う。
【００２９】
補正演算部１０ｃは、ＣＰＵ３１、画像メモリ３２，３３等を備えたコンピュータであり、画像メモリ３２，３３を介して上記画像入力装置１０のＡ／Ｄコンバータ１３，１４に接続されるとともに、ステレオ処理装置４０に接続される。尚、補正演算部１０ｃは、ステレオ処理装置４０の一部として構成しても良く、ステレオ画像処理のバックグランドジョブとして補正値演算処理を行うことができる。
【００３０】
以下、画像調整部１０ｂ及び補正演算部１０ｃによる画像補正について図５のフローチャートに従って説明する。
【００３１】
図５は補正演算部１０ｃのＣＰＵ３１で所定周期毎に実行される画像補正処理ルーチンであり、このルーチンでは、まず、ステップS100で、両カメラ２，３で撮像した風景画像を処理して距離画像から立体物データを抽出する際のグループフィルタの結果をステレオ処理装置４０から読み込み、メインカメラ２の画像すなわち基準画像に、補正値演算のための小領域を数カ所設定する。
【００３２】
この領域は、例えば、１６×１６画素の領域で対応する距離画像データが半分以上存在し、５０〜６０ｍ程度の遠方に２カ所、５ｍ程度までの近方に１カ所、計３カ所を選定し、遠方の２カ所の領域は、距離データが略等しい場所で間隔をできるだけあけて設定する。尚、上記グループフィルタは、周囲と似た画素ズレ量を持つグループを検出して距離画像に含まれるノイズを効率的に除去するためのソフトウエアフィルタであり、本出願人による特願平９−８６８７７号に詳述されている。
【００３３】
次に、ステップS110へ進み、サブカメラ３の画像すなわち比較画像において、ステップS100で設定された基準画像の各領域位置に距離データ（ズレ量）を加算して対応する領域を探索する範囲を定めると、ステップS120で、この範囲内を探索し、サブピクセル処理によって１画素以下の分解能（例えば、１／１０画素の分解能）で領域の位置を求める。
【００３４】
その結果、図６に示すように、画像の左上を原点とし、水平方向をＸ、垂直方向をＹ座標とする座標系で、基準画像の遠方の２カ所の領域＃１Ｒ,＃２Ｒの位置座標(Ｘr1,Ｙr1),(Ｘr2,Ｙr2)と近方の１カ所の領域＃３Ｒの位置座標(Ｘr3,Ｙr3)とに対し、比較画像の遠方の２カ所の領域＃１Ｃ,＃２Ｃの位置座標(Ｘc1,Ｙc1),(Ｘc2,Ｙc2)と近方の１カ所の領域＃３Ｃの位置座標(Ｘc3,Ｙc3)とが求まる。
【００３５】
続くステップS130では、遠方の２カ所の領域のうち、基準画像側の一方の領域、例えば、図６の遠方左側の領域＃１Ｒの位置座標(Ｘr1,Ｙr1)と比較画像側の対応する遠方左側の領域＃１Ｃの位置座標(Ｘc1,Ｙc1)とのＹ成分の差(Ｙr1−Ｙc1)を求め、このＹ成分の差（Ｙr1−Ｙc1)をＹ方向並進補正量すなわちＹ方向の画像平行移動変換値として比較画像側のアフィン変換回路１８の既値に加え、サブカメラ３の画像（比較画像）をＹ方向に平行移動させる。
【００３６】
次に、ステップS140へ進み、比較画像のＸ方向並進補正量を求め、このＸ方向並進補正量を比較画像側のアフィン変換回路１８の既値に加えてサブカメラ３の画像をＸ方向に平行移動させる。このＸ方向並進補正量は、無限遠方での基準画像と比較画像とのズレ量Ｚ0で与えることができ、遠方領域までの距離ｄ1、近方領域までの距離ｄ3、遠方の基準画像と比較画像とのズレ量Ｚ1、近方の基準画像と比較画像とのズレ量Ｚ3を用い、無限遠方でのズレ量Ｚ0が以下の(1)式で表されることから、−Ｚ0を比較画像の横方向（Ｘ方向）への並進量とする。
【００３７】
Ｚ0＝(ｄ3・Ｚ3−ｄ1・Ｚ1)／(ｄ1−ｄ3) …(1)
本来、基準画像及び比較画像における一致点は、視差が検出される水平方向のＸ座標のみが異なり、Ｙ座標は同じでなければならない。従って、上記ステップS130では、遠方の２カ所の領域のうち、一方の領域に対して基準画像と比較画像とでＹ座標位置を一致させ、上記ステップS140では、比較画像のＸ座標位置を本来の視差が検出されるべき位置に合わせるのである。
【００３８】
次のステップS150では、比較画像を回転させて他方の領域のＹ座標位置を基準画像と比較画像とで一致させる。すなわち、図７に示すように、基準画像の遠方左側の領域＃１Ｒの位置座標(Ｘr1,Ｙr1)を回転中心として、比較画像の遠方右側の領域＃２ＣのＹ座標値Ｙc2と基準画像の遠方右側の領域＃２ＲのＹ座標値Ｙr2とが一致するように比較画像を回転させる。ここで、座標(Ｘr1,Ｙr1)を中心として回転角θで座標(Ｘc2,Ｙc2)を回転したとき、回転後の座標(Ｘc2',Ｙc2')は、以下の(2)式で表される。
【００３９】

上記(2)式は、回転後の比較画像の領域＃２ＣのＹ座標値Ｙc2'と基準画像の領域＃２ＲのＹ座標値Ｙr2とが一致することを前提とし、Ｙc2'＝Ｙr2としてＹ成分のみについて整理すると、以下の(3)式で示すようになる。
【００４０】
Ｙr2−Ｙr1＝(Ｘc2−Ｘr1)・ｓｉｎθ＋(Ｙc2−Ｙr1)・ｃｏｓθ …(3)
さらに、上記(3)式において、Ｙr2−Ｙr1＝Ａ、Ｘc2−Ｘr1＝Ｂ、Ｙc2−Ｙr1＝Ｃと置き換え、ｃｏｓθ＝±(１−ｓｉｎ²θ)^1/2を代入してｓｉｎθについて解くと、以下の(4)式が得られる。
【００４１】
ｓｉｎθ＝(Ａ・Ｂ±Ｃ・(Ｂ²＋Ｃ²−Ａ²)^1/2)／(Ｂ²＋Ｃ²) …(4)
上記(4)式の値は、Ｙr2＝Ｙc2でＡ＝Ｃのとき、すなわち、基準画像の遠方右側の領域＃２ＲのＹ座標と比較画像の遠方右側の領域＃２ＣのＹ座標値とが既に一致しているときには、回転の必要がないことから０となり、以下の(5)式から上記(4)式の分子の第２項の符号は負でなければならないことが分かる。
【００４２】
ｓｉｎθ＝Ｂ・(Ａ±Ｃ)／(Ｂ²＋Ｃ²)＝０ …(5)
従って、結局、回転角θは、以下の(6)式で求めることができ、この回転角θが座標(Ｘr1,Ｙr1)を中心とする画像回転変換値として比較画像側のアフィン変換回路１８の既値に加えられ、サブカメラ３の画像（比較画像）が回転される。
【００４３】
θ＝ｓｉｎ^-1(Ａ・Ｂ−Ｃ・(Ｂ²＋Ｃ²−Ａ²)^1/2)／(Ｂ²＋Ｃ²) …(6)
この比較画像の回転によって、比較画像の近方の領域＃３Ｃも回転するが、図８に示すように、両カメラ２，３の基線とメインカメラ１の水平ラインとの平行がとれておらず、メインカメラ２の水平ラインが基線に対して角度φだけ傾いている場合には、基準画像の近方領域＃３ＲのＹ座標値Ｙr3と、回転後の比較画像の近方領域＃３ＣのＹ座標置Ｙc3との間には、図９に示すような差ΔＹm−ΔＹsが生じる。
【００４４】
従って、次のステップS160では、差ΔＹm−ΔＹsを無くすため、基準画像側を座標(Ｘr1,Ｙr1)を中心として回転角φの回転が既値に加えられる。この回転角φは、図８から明らかなように、両カメラ２，３の基線長Ｂ、及び、焦点面における基準画像中心と比較画像中心とのズレΔＹから求めることができ、このズレΔＹは、図９に示すようにカメラ系を横から見たときの幾何学的関係から、焦点距離ｆ、遠方領域までの距離ｄ1、近方領域までの距離ｄ3、差ΔＹm−ΔＹsを用いて求めることができる。
【００４５】
すなわち、ＣＣＤ面（撮像面）に結像する近方領域の基準画像における画像中心からのズレΔＹmと比較画像における画像中心からのズレΔＹsの差ΔＹm−ΔＹsを用いて以下の(7)式によってズレΔＹを求めることができ、このズレΔＹと基線長Ｂとから、回転角φは、最終的に以下の(8)式によって求めることができる。
【００４６】
ΔＹ＝(ΔＹm−ΔＹs)・ｄ1・ｄ3／(ｆ・(ｄ1−ｄ3)) …(7)
φ＝ｔａｎ^-1(ΔＹ／Ｂ）
＝ｔａｎ^-1((ΔＹm−ΔＹs)・ｄ1・ｄ3)／(Ｂ・ｆ(ｄ1−ｄ3)) …(8)
以上によって比較画像及び基準画像を回転すると、上記ステップS160からステップS170へ進み、回転角θ,φが精度上充分に小さくなり、許容値内に収まっているか否かを調べる。そして、許容値に達していないときには、前のステップS120へ戻って再度サブピクセル処理によって比較画像の対応領域位置を決定して同様の処理を繰り返し、回転角θ,φが許容値以下に充分小さくなったとき、ルーチンを終了する。
【００４７】
これにより、通常の使用時に徐々に生じるカメラ２，３の光軸のズレがフィールドでの稼働状態のまま自動的に補正される。
【００４８】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラの経時的な光軸のズレを、測距精度に及ぼす影響が無視できる早期の段階から稼働状態のまま自動的に調整するため、常に精密調整された状態で使用することができ、且つ、特別な調整用パターンを撮像して調整する場合のようにフィールドでの稼働を停止する必要が無く、メンテナンスフリー化を図ることができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】画像補正装置のブロック図、
【図２】
アフィン変換回路のブロック図
【図３】ステレオカメラの取り付けを示す説明図
【図４】画像取り込みと逆アフィン変換のタイミングを示す説明図
【図５】画像補正処理ルーチンのフローチャート
【図６】基準画像と比較画像における対応領域を示す説明図
【図７】比較画像のアフィン変換における回転角を示す説明図
【図８】メインカメラの水平ラインの基線からのズレを示す説明図
【図９】カメラ系を横から見た説明図
【符号の説明】
１ …ステレオカメラ
１０ …画像入力装置
１０ａ …画像入力部
１０ｂ …画像調整部
１０ｃ …補正演算部
１７，１８…アフィン変換回路
４０ …ステレオ処理装置

Claims

第１のカメラと第２のカメラとを設定間隔を開けて配設してなるステレオカメラの光軸の経時的なズレを補正するステレオカメラの調整装置であって、
上記第１のカメラの画像を幾何学的に回転補正するとともに、上記第２のカメラの画像を水平・垂直方向の並進補正及び回転補正によって幾何学的に画像変換する手段と、
上記ステレオカメラで撮像した一対の風景画像をステレオ処理して得られる距離データに基づいて、上記第１のカメラの風景画像と上記第２のカメラの風景画像とにおける対応位置の誤差を遠方の略等距離にある２つの領域と近方の１つの領域とから算出し、各画像の相対的な位置補正と上記第１のカメラの水平ラインを上記ステレオカメラの基線に平行にする補正とを同時に行って上記対応位置の誤差をなくすよう上記画像変換の変換値を設定する手段とを
備えたことを特徴とするステレオカメラの調整装置。
上記第１のカメラの画像の遠方の各領域位置に、上記距離データを加算して対応する領域が存在する範囲を上記第２のカメラの画像内に定め、定めた範囲内を探索して上記第２のカメラの画像の遠方の各領域位置を求めることを特徴とする請求項１記載のステレオカメラの調整装置。
上記第２のカメラの画像に対する水平方向の並進補正量を、上記第１のカメラの画像と上記第２のカメラの画像とにおける各領域の位置ズレ量、及び、各領域の距離に基づいて算出することを特徴とする請求項１記載のステレオカメラの調整装置。