JP2020035158A - 姿勢推定装置およびキャリブレーションシステム - Google Patents

Abstract

【課題】 ＳＬＡＭ技術を用いた３次元座標情報から撮像カメラの姿勢情報を推定する姿勢推定装置を提供する。【解決手段】 本発明の姿勢推定装置１００は、車両周囲を撮像する撮像カメラ１１０と、撮像カメラ１１０からの撮像データを３次元座標情報に変換するＳＬＡＭ処理部２１０と、３次元座標情報に基づき撮像カメラの姿勢を推定する姿勢推定部２２０と、姿勢推定部２２０の推定結果に基づき撮像カメラのキャリブレーションを行う較正部２３０とを備える。【選択図】 図２

Description

本発明は、車両に取り付けられた撮像カメラのキャリブレーション（較正）に関し、特に、ＳＬＡＭ（Simultaneous Localization and Mapping）等の画像処理技術を用いた撮像カメラの姿勢の推定およびキャリブレーションに関する。

近年、自動車などの車両に撮像カメラが取り付けられることが多くなっている。車載カメラは、車両内を撮像するカメラの他、車両の前方や後方、側方を撮像するカメラもある。車載カメラの撮像画像は、自車の前方画像、後方画像、側方画像、俯瞰画像等を提供するためにディスプレイに表示されたり、自車周辺の車両や障害物等を検出するために利用される。このように、車載カメラは、オプションとして取り付けられるという従来の立場から、車載装置に必須のものとしての認識が高まりつつある。

車載カメラの取り付けが一般化するに伴い、車載カメラの撮像画像の精度に対する要求も高まっている。車載カメラの誤差を較正する技術として、特許文献１には、車両に搭載されたカメラのキャリブレーション装置が開示されている。当該キャリブレーション装置は、複数枚の撮像画像から特徴点を抽出し、その特徴点の軌跡を解析することで、カメラの内部パラメータのキャリブレーションを行うことができる。

また、自己位置を推定する手段として、ＳＬＡＭ技術が用いられている。ＳＬＡＭ技術は、自己位置推定と環境地図作成の同時実行であり、自立走行を行うロボットなどに対して用いられる技術である。自己位置を把握する方法としては、ＧＰＳ技術が一般的であるが、屋内やトンネルなどの環境においては、その精度が落ちてしまう可能性がある。このような状況下でも、自己位置推定を行うことができるのがＳＬＡＭ技術であり、特に、カメラの画像情報を用いて自己位置推定を行うものを、ＶＩＳＵＡＬ ＳＬＡＭと呼ぶ。特許文献２や特許文献３には、ＳＬＡＭ技術を用いて、走行制御を行ったり、カメラの姿勢を求めたりする技術が開示されている。

特開２０１７−１３９６００号公報 特開２０１３−０４５２９８号公報 特開２０１４−０３２６６６号公報

従来の車載カメラのキャリブレーション方法を図８（Ａ）、（Ｂ）に示す。例えば、車両１の前方に複数のキャリブレーション用のシート３、４、５が配置され、車両１に取付けられた車載カメラ２によりシート３、４、５上の複数のマーカーを撮像する。撮像された画像は、キャリブレーション装置に提供され、そこで車載カメラ２の姿勢を判定し、車載カメラ２あるいは撮像データのキャリブレーションを行う。

しかし、従来のキャリブレーション方法は、複数のシート３〜５を準備しなければならず、また、複数のシート３〜５を車両周辺に配置するための大きな空間を必要とし、さらには、シート３〜５を配置する路面６は平坦であることが望まれる。このため、従来のキャリブレーションは、平坦で広場所の確保が必要であり、かつキャリブレーションに要する時間も長くかかっていた。

本発明は、このような従来の課題を解決するものであり、効率良く撮像カメラの姿勢を推定し、かつキャリブレーションを行うことができる姿勢推定装置およびキャリブレーションシステムを提供することを目的とする。

本発明に係る姿勢推定装置は、移動体に取り付けられた撮像カメラと、前記撮像カメラにより撮像された撮像データを受け取り、当該撮像データを３次元座標情報に変換する変換手段と、前記３次元座標情報から路面情報を算出する第１の算出手段と、前記３次元座標情報から撮像カメラの移動情報を算出する第２の算出手段と、前記路面情報および前記移動情報に基づいて前記撮像カメラの姿勢を推定する推定手段とを有する。

ある実施態様では、前記変換手段は、前記撮像カメラから受け取った複数のフレーム画像に基づき前記３次元座標情報を生成し、前記第２の算出手段は、前記３次元座標情報に含まれる点群を処理することにより路面情報を算出する。ある実施態様では、前記推定手段は、次の式（１）を計算することにより、前記撮像カメラの姿勢を推定する。ここで、Ｖｘ、Ｖｙ、Ｖｚは、前記撮像カメラの移動ベクトル、ａ、ｂ、ｃは、第１の算出手段で算出された路面の平面方程式の係数、Ｒは、前記撮像カメラの回転行列の逆行列である。

ある実施態様では、姿勢推定装置はさらに、前記推定手段により推定された撮像カメラの姿勢に基づき撮像データを校正する校正手段を含む。ある実施態様では、前記撮像カメラは、複数の撮像カメラを含み、前記推定手段は、各々の撮像カメラの位置を推定し、前記構成手段は、複数の撮像カメラ間の撮像データを校正する。

本発明に係るキャリブレーションシステムは、移動体に取り付けられた撮像カメラ、および撮像カメラによって撮像された撮像データを処理する処理手段を含む車載装置と、前記車載装置とは離間されたコンピュータ装置とを含み、前記コンピュータ装置は、前記撮像カメラにより撮像された撮像データを取得する取得手段と、前記取得手段により取得された撮像データを３次元座標情報に変換する変換手段と、前記３次元座標情報から路面情報を算出する第１の算出手段と、前記３次元座標情報から撮像カメラの移動情報を算出する第２の算出手段と、前記路面情報および前記移動情報に基づいて前記撮像カメラの姿勢を推定する推定手段と、前記推定手段により推定された撮像カメラの姿勢に基づき撮像データの校正を行う校正手段とを有する。

ある実施態様では、前記取得手段は、前記車載装置から有線または無線により撮像データを取得する。ある実施態様では、前記校正手段は、前記車載装置の前記処理手段を校正する。

本発明によれば、撮像カメラにより撮像された撮像データの３次元座標情報用いて撮像カメラの姿勢を推定するようにしたので、従来のようにキャリブレーション用のシートや平坦で広い空間を必要とせずに、効率よく撮像カメラの姿勢の推定およびキャリブレーションを行うことができる。

本発明の実施例に係る姿勢推定装置の前提条件を説明する図である。 本発明の実施例に係る姿勢推定装置の構成を示すブロック図である。 撮像カメラの撮像範囲の例示である。 本実施例に係る姿勢推定部の機能的な構成を示す図である。 ＳＬＡＭ処理による３次元座標情報への変換を説明する図である。 本実施例に係る姿勢推定動作を示すフロー図である。 本発明の第１の変形例に係るキャリブレーションシステムを説明する図である。 本発明の第２の変形例を説明する図である。 従来のキャリブレーション方法を説明する図である。

次に、本発明の実施の形態について、図面を参照して詳細に説明する。本発明のある実施態様では、姿勢推定装置は、移動体の周囲を撮像する撮像カメラと、撮像カメラからの撮像データを処理する機能を備えた移動体上に搭載される電子装置または車載装置とを含む。姿勢推定装置は、撮像カメラからの撮像データを取得し、ＳＬＡＭ技術を用いて、逐次的に車両周辺のシーン（風景）の３次元形状を復元し、加えてシーンに対する撮像カメラの姿勢を推定する。さらに姿勢推定装置は、推定された撮像カメラの姿勢に基づいて、撮像カメラまたは撮像データのキャリブレーションを行うことができる。キャリブレーションは、例えば、撮像カメラあるいは撮像データを処理する処理回路の内部パラメータ（例えば、撮像する範囲、撮像された画像のトリミング範囲、角度補正値など）を調整するものでも良いし、外部パラメータ（撮像カメラの取り付け位置、取り付け角度など）を調整するものでもよい。

また、本発明の姿勢推定装置は、キャリブレーションを行う際に、一時的に車両に取り付けられるものであっても良いし、車両に搭載されているナビゲーション装置等の車載装置がその機能を実行するものであってもよい。車載装置は、撮像カメラによって撮像された撮像データに基づき車両の前方、側方、後方、俯瞰を表示する機能、撮像データに基づき周辺の障害物や他の車両を検出する機能などを備えることができる。さらに車載装置は、ナビゲーション機能、オーディオ・ビデオデータを再生する機能、テレビ・ラジオ放送を受信する機能、アプリケーションソフトウエアを実行する機能などが統合的に備えるものであってもよい。

さらに他の実施態様では、本発明の姿勢推定機能は、車両に搭載される車載装置とは別途、外部のコンピュータ装置によって実行されるようにしてもよい。撮像カメラによって撮像された撮像データは、有線または無線により外部のコンピュータ装置へ提供される。

次に、本発明の実施例について説明する。図１は、本発明の実施例に係る姿勢推定装置の前提条件を説明する図である。同図において、車両Ｍは、路面（地面）Ｒ上に存在し、かつ路面Ｒを走行する。車両Ｍの前方には、撮像カメラ１１０が取付けられる。前提条件として、撮像カメラ１１０は、路面Ｒに対して平行に進むものとする。Ｖｘ、Ｖｙ、Ｖｚは、車両Ｍが走行したときの車両Ｍまたは撮像カメラ１１０のＸ、Ｙ、Ｚ方向の移動ベクトルまたは速度を表し、ａ、ｂ、ｃは、路面Ｒの法線ベクトルを表す。撮像カメラ１１０が路面Ｒに対して平行に進むことを前提とするため、路面（地面）Ｒの法線の単位ベクトルは、（ａ，ｂ，ｃ）＝（０，０，１）、撮像カメラの移動ベクトルの単位ベクトルは、（Ｖｘ，Ｖｙ，Ｖｚ）＝（０，１，０）である。なお、撮像カメラ１１０のＸＹＺ座標は、実測値を入力する。

図２は、本発明の実施例に係る姿勢推定装置の概略構成を示すブロック図である。本実施例の姿勢推定装置１００は、撮像カメラ１１０、入力部１２０、表示部１３０、音声出力部１４０、通信部１５０、記憶部１６０、制御部１７０を含んで構成される。この姿勢推定装置１００の機能は、ナビゲーション機能等を実行する車載装置において実行されるものであってもよい。

撮像カメラ１１０は、車両の周囲を撮像するカメラであり、ここでは、図１に示すように車両Ｍの前方に取付けられた例を示す。撮像カメラ１１０は、図２Ａに示すように車両Ｍの前方に取り付けられ、光軸Ｃを中心として、左右方向に範囲θｒ、上下方向に範囲θｈで周辺を撮像する。撮像カメラ１１０で撮像された撮像データは、逐次、制御部１７０に提供される。例えば、撮像カメラ１１０は、１秒間に３０フレームの画像を撮像する。

入力部１２０は、ユーザー等の外部からの指示を受け取り、これを制御部１７０へ提供する。例えば、ユーザーは、撮像カメラ１１０のＸＹＺ座標の実測値を入力したり、姿勢推定の開始の指示などを入力することができる。表示部１３０は、撮像カメラ１１０で撮像された撮像データを表示したり、あるいは、後述する姿勢推定部１７６の推定結果などを表示することができる。音声出力部１４０は、例えば、姿勢推定部１７６の推定結果をなどを音声で出力することができる。通信部１５０は、無線または有線による通信手段を介して外部装置との通信を可能にする。

記憶部１６０は、例えば、撮像カメラ１１０からの撮像データ、制御部１７０が実行するためのプログラムやその他の必要なデータ等を記憶する。制御部１７０は、姿勢推定装置１００の各部を制御する。制御部１７０は、撮像カメラ１１０からの撮像データを処理する画像処理部２００、ＳＬＡＭ処理部２１０、姿勢推定部２２０、および校正部２３０を含んで構成される。これらの機能は、ソフトウエアおよび／またはハードウエアにより実行される。姿勢推定部２２０はさらに、図３に示すように移動ベクトル算出部２２２、路面算出部２２４および姿勢算出部２２６を含む。

画像処理部２００は、撮像カメラ１１０から撮像データを受け取り、受け取った撮像データを処理する。画像処理部２００は、例えば、車両の前方画像を表示部１３０に適切に表示するために撮像データを処理したり、あるいは、前方車両等を検出するために撮像データを処理する。画像処理部２００は、撮像カメラの姿勢判定時ではなく、専ら撮像データを利用するときに動作される。

ＳＬＡＭ処理部２１０は、撮像カメラ１１０の姿勢を判定するとき、単眼の撮像カメラ１１０から撮像データを受け取り、時間的に変化した複数の画像フレームに基づき車両前方の３次元空間のシーン（風景）を復元する。ＳＬＭ処理部１７２によって処理されたデータは、３次元空間を復元する複数の点群の座標データを含む。

図４は、ＳＬＡＭ処理部２１０による撮像データの３次元座標情報への変換を説明する図である。図４（Ａ）は、撮像データの１フレーム画像の例示であり、路面Ｒや白線Ｗが写されている。このようなフレーム画像は、図４（Ｂ）に示すように、例えば、物体の輪郭を特徴点とする無数の点群情報に変換される。また、ＳＬＡＭ処理部２１０には、逐次、フレーム画像が入力されるため、その結果、３次元空間の点群情報が生成される。点群の１つ１つは、ＸＹＺの３次元空間における３次元座標情報を有している。

姿勢推定部２２０は、ＳＬＡＭ処理部２１０によって処理された３次元座標情報を受け取り、撮像カメラ１１０の姿勢を推定する。姿勢推定部２２０は、上記したように、移動ベクトル算出部２２２、路面算出部２２４および姿勢算出部２２６を含む。

移動ベクトル算出部２２２は、ＳＬＡＭ処理部２１０によって処理された３次元座標情報に基づき撮像カメラ１１０（または車両）の移動ベクトルを算出する。撮像カメラ１１０から提供される撮像データは、例えば、１秒間に３０フレームであり、移動ベクトル算出部２２２は、図４（Ｂ）示すような点群情報の中から特徴点を抽出し、その特徴点の時間的な変化を捉えることによって、撮像カメラ１１０の単位時間当たりの移動量および移動方向を算出することができる。例えば、時刻Ｔ１時点の特徴点Ｐと、時刻Ｔ１から１秒経過後の時刻Ｔ２時点の特徴点Ｐとを比較すれば、撮像カメラ１１０が１秒間の間に、どの方向に、どれだけ移動したかを算出することができる。移動ベクトル算出部２２２によって算出された移動ベクトルは、図１で示したＶｘ、Ｖｙ、Ｖｚである。

路面算出部２２４は、ＳＬＡＭ処理部２１０の処理結果である図４（Ｂ）に示す３次元の点群情報から、最も広い平面、すなわち路面を算出する。具体的には、路面算出部２２４は、３次元空間の点群情報に基づき、次の式（２）で規定される路面の平面方程式を算出する。ａ、ｂ、ｃは、ｘ、ｙ、ｚの係数、ｄを定数である。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ …（２）

姿勢算出部２２６は、移動ベクトル算出部２２２によって算出された移動ベクトルＶｘ、Ｖｙ、Ｖｚと、路面算出部２２４によって算出された路面の平面方程式の係数ａ、ｂ、ｃを用いて、次の式（３）に従い撮像カメラ１１０の姿勢を算出する。

式（３）の要素ｒの行列は、撮像カメラ１１０の回転行列であり、Ｖｘ、Ｖｙ、Ｖｚ、ａ、ｂ、ｃの行列は、カメラ座標系のベクトルであり、右辺の行列は、図１で説明した前提条件を反映する世界座標系のベクトルである。式（３）は、次の式（１）に変換される。

式（１）の要素Ｒの行列は、撮像カメラ１１０の回転行列の逆行列である。ここで、撮像カメラ１１０の回転行列について説明する。撮像カメラ１１０が設置されているＸＹＺの３次元空間において、Ｚ軸周りの回転角をｒｚ、Ｘ軸周りの回転角をｒｘ、Ｙ軸周りの回転角をｒｙとすると、撮像カメラ１１０の回転行列は、次の式（４）のように展開される。

式（４）の右辺は、左からＺ軸の回転行列、Ｘ軸の回転行列、Ｙ軸の回転行列を示している。数（４）を逆行列に変換すると、掛け合わせる順番が逆になり、次の式（５）のように変形される。

回転行列の逆行列は、転置行列と同じになるので、式（５）は、次の式（６）に変換することができる。

式（６）の右辺を展開すると、式（７）になり、撮像カメラ１１０の回転行列の逆行列の各要素が算出される。

これにより、式（８）の関係が成り立つ。

式（８）に基づき、ｒｘ、ｒｙ、ｒｚについて解くと、撮像カメラの姿勢を表す式（９）を得ることができる。

ａ、ｂ、ｃ、Ｖｙの値は、既知である。従って、最初にｒｘを求めれば、ｒｙ、ｒｚを求めることができる。こうして、式（９）により、撮像カメラ１１０が、それぞれの軸に対してどの程度の角度で傾いているかを推定することができる。姿勢推定部２２０によって推定された撮像カメラ１１０の姿勢に関する情報は、較正部２３０に提供される。

較正部２３０は、姿勢推定部２２０の推定結果に基づき、撮像カメラ１１０のキャリブレーションを行う。ある実施態様では、較正部２３０は、画像処理部２２０に設定される撮像カメラ１１０の内部パラメータを電子的に調整し、例えば、撮像データの位置補正、トリミング範囲、歪み補正などを調整するパラメータを最適化する。また、較正部２３０は、撮像データを表示部１３０に表示させながら、ユーザーにキャリブレーションの指示を与えるようにしてもよい。さらに、較正部２３０は、撮像カメラ１１０の位置情報（ＸＹＺ座標）の実測値が入力部１２０から入力されている場合、当該実測値を考慮したキャリブレーションを行うこともできる。

次に、本実施例の姿勢推定装置１００の動作を図５のフローに示す。姿勢推定動作の開始は、特に限定されないが、例えば、入力部１２０からユーザーの指示があったとき等に開始される。先ず、車両を前方に走行させながら撮像カメラ１１０による撮像が開始される（Ｓ１００）。次に、撮像カメラ１１０によって撮像された撮像データがＳＬＡＭ処理部２１０に逐次供給され（Ｓ１０２）、ＳＬＡＭ処理部２１０は、撮像データを点群からなる３次元座標情報に変換する（Ｓ１０４）。次に、姿勢推定部２２０は、３次元座標情報に基づき撮像カメラの移動ベクトルを算出し（Ｓ１０６）、かつ平面（路面）を算出すし（Ｓ１０８）、上記した計算式により撮像カメラの姿勢（式（９））を算出する（Ｓ１１０）。次に、較正部２３０は、撮像カメラの推定された姿勢に基づき撮像カメラに関するキャリブレーションを行う（Ｓ１１２）。

このように本実施例によれば、撮像カメラ１１０によって撮像された撮像データから撮像カメラの姿勢を推定するようにしたので、従来のように、キャリブレーションシートを準備したり、そのための平坦な広い空間も不要となり、キャリブレーションに要する時間を短縮し、その作業効率を改善することができる。

次に、本発明の他の実施例について説明する。ＳＬＡＭ技術は、高度な演算能力を有するコンピュータ装置またはコンピュータ資源を必要とする。上記実施例では、車載装置がＳＬＡＭ技術を実施する例を示したが、車載装置が高度な演算能力を備えていない場合がある。そこで、本実施例のキャリブレーションシステムは、外部のコンピュータ装置の資源を利用してＳＬＡＭ技術を実施し、車載カメラのキャリブレーションを行う。

図６は、本実施例のキャリブレーションシステムを例示する図である。キャリブレーション装置３００は、高度な演算能力を有するコンピュータ装置であり、キャリブレーション装置３００は、図２に示したＳＬＡＭ処理部２１０、姿勢推定部２２０および較正部２３０の機能を包含し、かつ車載装置との間で有線または無線によるデータ通信を行う機能を備えている。キャリブレーション装置３００は、車載装置の通信部１５０を介して撮像カメラ１１０によって撮像された撮像データを受け取り、受け取った撮像データをＳＬＡＭ処理し、撮像カメラの姿勢を推定し、その推定結果に応じたキャリブレーションのための制御信号を車載装置へ送信する。制御部１７０は、当該制御信号を受信すると、画像処理部２００の撮像データに関する内部パラメータを電子的に調整する。

このように本実施例によれば、車載装置すなわち姿勢推定装置１００の処理能力が低い場合には、外部のキャリブレーション装置によりＳＬＡＭ等の画像処理や計算処理を高速に行うことができる。車載装置側では、推定された撮像カメラの姿勢に基づいたキャリブレーションのみを行えば良いことになる。

次に、本発明の第１の変形例について説明する。上記実施例では、車両が直線的に走行した場合を想定して撮像カメラ１１０の姿勢を推定したが、本変形例では、車両がカーブしながら走行する場合であっても、撮像カメラ１１０の姿勢をより正確に算出する方法について説明する。

式（１）に基づき、カーブ走行を考慮した際の行列式は、次の式（１０）のようになる。

ここで、Ａの要素で表される行列は、撮像カメラ１１０の移動に係る回転行列であり、ＳＬＡＭ技術の出力データとして取得することができる。Ｒ’を要素とする行列は、Ｒを要素とする行列とＡを要素とする行列の合成行列である。このような合成行列を用いれば、形式上は、式（１）と同じように計算することができるため、次の式（１１）の関係が成り立つ。

ここで、ｒｘ’、ｒｙ’、ｒｚ’は、式（９）のｒｘ、ｒｙ、ｒｚと形式的に同じ意味合いを持つが、Ｒ’の行列は、合成行列であるため、次の式（１２）により、撮像カメラ１１０の姿勢の回転行列に戻す。

式（１２）に基づき、式（１１）を変換すると、式（１３）が得られる。

このように第１の変形例によれば、車両が蛇行ないしカーブした走行をしても、式（１３）に基づき撮像カメラ１１０の姿勢を算出することで、適切なキャリブレーションを行うことができる。

次に、本発明の第２の変形例について説明する。上記実施例では、車載装置に１つの撮像カメラが搭載されている場合の撮像カメラの姿勢推定およびそのキャリブレーションを例示したが、第２の変形例は、車両に複数の撮像カメラが搭載されている場合のキャリブレーションに関する。

図７（Ａ）に示すように、車両Ｍには、フロントビューを撮像する撮像カメラ１１０Ａ、レフトビューを撮像する撮像カメラ１１０Ｂ、リアビューを撮像する撮像カメラ１１０Ｃ、ライトビューを撮像する撮像カメラ１１０Ｄの４つの撮像カメラが搭載される。４つの撮像カメラ１１０Ａ〜１１０Ｄによって撮像された撮像データは、画像処理部２００に提供され、画像処理部２００は、４つの撮像カメラ１１０Ａ〜１１０Ｄからの撮像データを合成し、図７（Ｃ）に示すような車両Ｍを見下ろすような俯瞰画像Ｐａ〜Ｐｄ（トップビュー画像）を生成し、これを表示部１３０に表示させることができる。

一方、キャリブレーションを行うとき、各撮像カメラ１１０Ａ〜１１０Ｄで撮像された撮像データは、上記実施例のときと同様に、ＳＬＡＭ処理部２１０へ供給され、姿勢推定部２２０は、各撮像カメラの姿勢を推定する。ある実施態様では、姿勢推定部２２０は、各撮像カメラに対応するＳＬＡＭ処理された点群の座標情報を、図７（Ｂ）で示すようなＩＣＰアルゴリズムによって位置合わせを行い、撮像カメラ同士の相対位置を推定するようにしてもよい。撮像カメラの相対的な位置関係を調整することは、図７（Ｃ）で示すようなトップビュー画像を生成するときの各画像Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの境界の不連続ままたはズレの発生を抑制する。

なお、上記実施例では、制御部１７０がＳＬＡＭ処理部２１０とは別個に姿勢推定部２２０および較正部２３０を備える例を示したが、これは一例であり、例えば、ＳＬＡＭ処理部２１０が姿勢推定部２２０および／または較正部２３０の機能を備えるものであってもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：姿勢推定装置 １１０：撮像カメラ
１２０：入力部 １３０：表示部
１４０：音声出力部 １５０：通信部
１６０：記憶部 １７０：制御部
２００：画像処理部 ２１０：ＳＬＡＭ処理部
２２０：姿勢推定部 ２３０：較正部

Claims (9)

1. 移動体に取り付けられた撮像カメラと、
   前記撮像カメラにより撮像された撮像データを受け取り、当該撮像データを３次元座標情報に変換する変換手段と、
   前記３次元座標情報から路面情報を算出する第１の算出手段と、
   前記３次元座標情報から撮像カメラの移動情報を算出する第２の算出手段と、
   前記路面情報および前記移動情報に基づいて前記撮像カメラの姿勢を推定する推定手段と、
   を有する姿勢推定装置。
2. 前記変換手段は、前記撮像カメラから受け取った複数のフレーム画像に基づき前記３次元座標情報を生成し、
   前記第２の算出手段は、前記３次元座標情報に含まれる点群を処理することにより路面情報を算出する、請求項１に記載の姿勢推定装置。
3. 前記推定手段は、次の式（１）を計算することにより、前記撮像カメラの姿勢を推定する、請求項１に記載の姿勢推定装置。
   ここで、Ｖｘ、Ｖｙ、Ｖｚは、前記撮像カメラの移動ベクトル、ａ、ｂ、ｃは、第１の算出手段で算出された路面の平面方程式の係数、Ｒは、前記撮像カメラの回転行列の逆行列である。
   

   
4. 姿勢推定装置はさらに、前記推定手段により推定された撮像カメラの姿勢に基づき撮像データを校正する校正手段を含む、請求項１ないし３いずれか１つに記載の姿勢推定装置。
5. 前記撮像カメラは、複数の撮像カメラを含み、前記推定手段は、各々の撮像カメラの位置を推定し、前記構成手段は、複数の撮像カメラ間の撮像データを校正する、請求項１ないし４いずれか１つに記載の姿勢推定装置。
6. 移動体に取り付けられた撮像カメラ、および撮像カメラによって撮像された撮像データを処理する処理手段を含む車載装置と、
   前記車載装置とは離間されたコンピュータ装置とを含み、
   前記コンピュータ装置は、
   前記撮像カメラにより撮像された撮像データを取得する取得手段と、
   前記取得手段により取得された撮像データを３次元座標情報に変換する変換手段と、
   前記３次元座標情報から路面情報を算出する第１の算出手段と、
   前記３次元座標情報から撮像カメラの移動情報を算出する第２の算出手段と、
   前記路面情報および前記移動情報に基づいて前記撮像カメラの姿勢を推定する推定手段と、
   前記推定手段により推定された撮像カメラの姿勢に基づき撮像データの校正を行う校正手段と、
   を有するキャリブレーションシステム。
7. 前記取得手段は、前記車載装置から有線または無線により撮像データを取得する、請求項６に記載のキャリブレーションシステム。
8. 前記校正手段は、前記車載装置の前記処理手段を校正する、請求項６に記載のキャリブレーションシステム。
9. 前記推定手段は、次の式（１）を計算することにより、前記撮像カメラの姿勢を推定する、請求項１に記載のキャリブレーションシステム。
   ここで、Ｖｘ、Ｖｙ、Ｖｚは、前記撮像カメラの移動ベクトル、ａ、ｂ、ｃは、第１の算出手段で算出された路面の平面方程式の係数、Ｒは、前記撮像カメラの回転行列の逆行列である。
   

   

Images