JP6070206B2 - 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム - Google Patents

Description

本発明は、位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラムに関し、特に、路面上の車両や人間を撮影した際の画像座標系における位置と世界座標系における位置との関連付け（位置座標変換）を行うことが可能な位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラムに関する。

道路の路側に設置した撮像装置より車両を撮影し、撮影した映像に画像処理を施して、車両の位置、速度の自動検出を行うシステムとしては、交通流量を計測するトラフィックカウンタや、見通しの悪いカーブや交差点における衝突事故防止などのために開発が進められている安全運転支援システム等が存在している。これらのシステムのうち、特に、安全運転支援システムについては、撮影映像より測定した車両の位置や速度を基にして、ＴＴＣ（Time-To-Collision：衝突余裕時間）を推定して、ドライバへの注意喚起や車両のブレーキ制御を行うなどを可能にするために、撮影映像からの測定には高い精度が求められている。

かくのごとき安全運転支援システムにおいて、カメラ等の撮像装置で撮影した映像から車両の位置、速度を正確に求めるためには、その車両が写っている画像座標系における画素の位置座標と、世界座標系（実空間の或る点を原点とした３次元の座標系）における位置座標との関連付け（位置座標変換）があらかじめ正確に行われていることが必要である。

そこで、例えば、道路の路側に交通車両を監視するカメラ等の撮像装置を新しく設置した場合に、最初に行われるべきこととして、画像座標系の位置座標と世界座標系の位置座標とを正確に対応付ける対応テーブル（２次元座標テーブルを３次元座標テーブルに変換したテーブル）を作成することが重要なこととなる。一般的に、かくのごとき関連付け（位置座標変換）を行う方法としては、以下に述べる方法が主として用いられている。

第１の方法としては、カメラ視野内に光源等の視認可能な目標物を置き、巻尺やレーザ測量計によって測量を行い、世界座標系における該目標物の位置を導出する方法である。そして、導出した目標物の世界座標系における位置と、撮影した画像上すなわち画像座標系における位置とを比較し、両者の関連付けを行うものである。また、各目標物間の座標については、補間などを行い、連続的な対応テーブルを作成するものである。

また、第２の方法としては、一般地図、航空写真、道路図面などに基づいて、照明柱等、カメラ視野上にある主要な目標物の世界座標系における位置を導出する方法である。そして、導出した目標物の世界座標系における位置と、撮影した画像上すなわち画像座標系における位置とを比較し、両者の関連付けを行うものである。また、各目標物間の座標については、補間などを行い、連続的な対応テーブルを作成するものである。

また、第３の方法としては、トータルステーションなど、道路測量用の機材を用いて、照明柱等、カメラ視野上にある主要な目標物の世界座標系における位置を導出する方法である。そして、導出した目標物の世界座標系における位置と、撮影した画像上すなわち画像座標系での位置とを比較し、両者の関連付けを行うものである。各目標物間の座標については、補間などを行い、連続的な対応テーブルを作成するものである。

また、特許文献１の特開２０１０−２３６８９１号公報「カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮像装置および位置座標変換システム」においては、ＧＰＳ（Global Positioning System）と目標物とを搭載した車両を路側のカメラによって撮影し、目標物の世界座標系における位置を導出する方法である。そして、導出した目標物の世界座標系における位置と、撮影した画像上すなわち画像座標系における位置とを比較し、両者の関連付けを行うものである。各目標物間の座標については、補間などを行い、連続的な対応テーブルを作成するものである。

また、特許文献２の特開平０７−２７５４１号公報「道路形状および自車両位置の計測装置」および特許文献３の特開２００７−１０８０４３号公報「位置測位装置および位置測位方法」においては、車両に搭載するカメラによって車両の進行方向前方を撮像し、白線の位置を参照して、自車両位置の計測と道路形状の計測とを行う技術について開示されている。

特開２０１０−２３６８９１号公報（第８−１０頁） 特開平０７−２７５４１号公報（第３−５頁） 特開２００７−１０８０４３号公報（第５−８頁）

しかしながら、前述した既存の関連付け（位置座標変換）を行う方法には、次のような問題がある。まず、前記第１の方法においては、人手による作業であり、測量精度の低下や作業に多くの時間を要するので、人件費等のコストがかかってしまうという問題がある。また、供用中の道路においては、目標物の設置が困難なため、車線規制を行う必要があり、車線規制に伴うコストがかかってしまうという問題もある。

また、前記第２の方法においては、一般地図は誤差が大きく、また、航空写真は存在しない箇所も多く、たとえ存在していても、最新ではない場合も多い。さらには、道路図面は必ずしも入手することができるとは限らず、また、施工上の都合などにより、実際の道路形状は図面通りとなっていない場合もある。このため、前記第２の方法は、精度の高い関連付けを行うことが困難な場合が多いという問題がある。

また、前記第３の方法においては、特に、高速道路などの高架上にてトータルステーションによる測量を実施するためには、通常、車線規制を行う必要がある。このため、車線規制を伴う測量はコストがかかるとともに、幹線道路においては、交通流を妨げるような車線規制を容易には実施することができない。また、例えば、車線間を跨ぐ測量には完全な通行止めが必要な場合もあるが、通常、幹線道路において通行を止めることは困難であるという問題もある。

また、前記特許文献１に記載の技術を用いてＧＰＳによって目標物の位置を計測する方法、前記特許文献２および前記特許文献３に記載の技術を用いて目標物の位置を計測する方法においては、実行上、目標物を車両の荷台等の道路面から離れた位置に設置することが必要であり、図１１に示すように、計測した目標物の世界座標と路側カメラの画像上での目標物すなわち道路面の座標との間に誤差が生じ、両者間の対応付けを行うための対応テーブルを精度高く作成することが困難になるという問題がある。図１１は、既存の位置座標変換システムにおける問題を説明するための模式図であり、目標物が車両の荷台等の道路面から離れた位置に配置されている場合に、該目標物の世界座標系の位置座標と画像座標系の位置座標すなわち道路面の位置座標との間に誤差が生じる様子を説明している。例えば、図１１に示す模式図においては、路側カメラが道路面から垂直方向（Ｚ方向）に８ｍ離れた高さに設置されていて、目標物が車両の高さ１ｍの荷台等に配置されている場合を示しており、該車両が路側カメラから水平方向（Ｙ方向）に７０ｍ離れた位置に存在している場合には、ＧＰＳによって計測した目標物のＹ座標の位置（世界座標系における位置）は７０ｍであるが、画像座標系の位置座標すなわち道路面上のＹ座標の位置は８０ｍとなり、両者の間には１０ｍの誤差が生じてしまう。

また、目標物を車両の荷台等の道路面から離れた位置に設置する場合、道路面を平面と仮定して、路側カメラの画像上における目標物の世界座標を算出する方法もあり得るが、実際の道路面には起伏があり、事前に、道路面の起伏をモデル化しておくことが必要になるという問題もある。つまり、道路形状などの実測量をあらかじめ測定しておくことが必要であり、測量コストやその測量精度の問題がある。

以上のように、前述した既存の各方法においては、画像座標系と世界座標系とを関連付けるために、実際にはカメラの視野に映っている撮影画像上の画像座標系における位置座標と、該画像座標系における位置座標に対応する３次元での連続した世界座標系における位置座標と、の対応付け（位置座標変換）を行う際に、目標物が道路面から離れた位置に配置されている場合や、道路面に傾斜がある場合に、誤差が生じてしまうという問題があった。

（本発明の目的）
本発明は、前述したような問題点に鑑みてなされたものであり、目標物が道路面から離れた位置に設置される場合や、道路面に傾斜がある場合においても、画像座標系と世界座標系との精度の高い位置座標変換を行うことを可能にする位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラムを提供することを、その目的としている。

前述の課題を解決するため、本発明による位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラムは、主に、次のような特徴的な構成を採用している。

（１）本発明による位置座標変換システムは、路側に備えられて車両または人間の撮影を行う路側撮像装置と、前記車両上に備えられる車載装置または前記人間が携帯する世界座標計測装置と、から構成されて、前記車両装置または前記世界座標計測装置に設置された目標物の世界座標系における座標位置と前記路側撮像装置により撮影された前記目標物の画像座標系における座標位置との位置座標の変換を行う位置座標変換システムにおいて、
前記路側撮像装置は、
道路面上を走行する前記車両または歩行する前記人間を撮影記録する路側カメラと、
前記路側カメラによって撮影した映像から前記目標物を検知して、該目標物の画像座標系における位置座標の計測を行う目標物検知手段と、
前記目標物検知手段によって計測された前記目標物の画像座標系における位置座標と前記車載装置において計測し補正された前記目標物の世界座標系における位置座標との対応付けを行い、前記目標物の世界座標系における位置座標と画像座標系における位置座標との位置座標の変換を行う位置座標変換テーブルを作成する座標変換テーブル作成手段と、
を少なくとも備え、
一方、前記車載装置または前記世界座標計測装置は、
前記目標物の世界座標系における位置座標を計測する位置計測手段と、
前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、
前記位置計測手段により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測手段により計測された前記目標物から前記路側カメラへの方向ベクトルを基にして、前記位置計測手段により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正手段と、
を少なくとも備えていることを特徴とする。

（２）本発明による位置座標変換方法は、路側に備えられて車両または人間の撮影を行う路側撮像装置と、前記車両上に備えられる車載装置または前記人間が携帯する世界座標計測装置と、を備え、前記車両装置または前記世界座標計測装置に設置された目標物の世界座標系における座標位置と前記路側撮像装置により撮影された前記目標物の画像座標系における座標位置との位置座標の変換を行う位置座標変換方法であって、
前記路側撮像装置は、
道路面上を走行する前記車両または歩行する前記人間を撮影記録する路側カメラによって撮影した映像から前記目標物を検知して、該目標物の画像座標系における位置座標の計測を行う目標物検知工程と、
前記目標物検知工程によって計測された前記目標物の画像座標系における位置座標と前記車載装置において計測し補正された前記目標物の世界座標系における位置座標との対応付けを行い、前記目標物の世界座標系における位置座標と画像座標系における位置座標との位置座標の変換を行う位置座標変換テーブルを作成する座標変換テーブル作成工程と、
を少なくとも有し、
一方、前記車載装置または前記世界座標計測装置は、
前記目標物の世界座標系における位置座標を計測する位置計測工程と、
前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測工程と、
前記位置計測工程により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測工程により計測された前記目標物から前記路側カメラへの方向ベクトルを基にして、前記位置計測工程により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正工程と、
を少なくとも有していることを特徴とする。

（３）本発明による車載装置は、道路面上を走行する車両上に備えられた車載装置であって、該車両上に設置された目標物の該道路面上の世界座標面における位置座標を計測する車載装置において、
前記目標物の世界座標系における位置座標を計測する位置計測手段と、
前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、
前記位置計測手段により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測手段により計測された前記目標物から前記路側カメラへの方向ベクトルを基にして、前記位置計測手段により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正手段と、
を少なくとも備えていることを特徴とする。

（４）本発明による世界座標計測装置は、道路面上を歩行する人間が携帯する世界座標計測装置であって、該人間が携帯する目標物の該道路面上の世界座標面における位置座標を計測する世界座標計測装置において、
前記目標物の世界座標系における位置座標を計測する位置計測手段と、
前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、
道路面の傾斜を計測する道路平面計測手段と、
前記位置計測手段により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測手段により計測された前記目標物から前記路側カメラへの方向ベクトルおよび前記道路平面計測手段により計測された前記道路面の傾斜を基にして、前記位置計測手段により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正手段と、
前記位置計測手段、前記方向ベクトル計測手段および前記道路平面計測手段それぞれの計測動作を開始させるためのトリガを出力する時刻同期手段と、
を少なくとも備えていることを特徴とする。

（５）本発明による位置座標変換プログラムは、少なくとも前記（２）に記載の位置座標変換方法を、コンピュータによって実行可能なプログラムとして実施していることを特徴とする。

本発明の位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラムによれば、以下のような効果を奏することができる。

すなわち、目標物が道路面と離れた位置に配置されている場合や道路面に傾斜がある場合であっても、画像上の目標物の位置に対応する道路面上の世界座標系の座標位置を精度良く算出して、路側カメラにより得られる画像座標系の位置座標と世界座標系の位置座標とを正確に変換する位置座標変換テーブルを作成することができる。

本発明による位置座標変換システムのシステム構成の第１の実施形態を示すシステム構成図である。 図１に示した位置座標変換システムを構成する路側撮像装置と車載装置とのそれぞれのブロック構成の一例を示すブロック構成図である。 図１、図２に第１の実施形態として示した位置座標変換システムの動作の一例を説明するためのフローチャートである。 方向ベクトル計測部によって計測される目標物から路側カメラへの方向ベクトルを説明するための模式図である。 道路平面計測部によって計測される道路平面を説明するために車両正面からのイメージを示す模式図である。 道路平面計測部によって計測される道路平面を説明するために車両側方からのイメージを示す模式図である。 位置補正部において目標物の世界座標系の位置座標を道路面上の位置座標に補正する様子の一例を説明するための模式図である。 本発明による位置座標変換システムのシステム構成の第２の実施形態を示すシステム構成図である。 図８に示した位置座標変換システムを構成する路側撮像装置と世界座標計測装置とのそれぞれのブロック構成の一例を示すブロック構成図である。 図８、図９に第２の実施形態として示した位置座標変換システムの動作の一例を説明するためのフローチャートである。 既存の位置座標変換システムにおける問題を説明するための模式図である。

以下、本発明による位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラムの好適な実施形態について添付図を参照して説明する。なお、以下の説明においては、本発明による位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置について説明するが、かかる位置座標変換方法をコンピュータにより実行可能な位置座標変換プログラムとして実施するようにしても良いし、あるいは、位置座標変換プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。

（本発明の特徴）
本発明の実施形態の説明に先立って、本発明の特徴についてその概要をまず説明する。画像座標系から世界座標系へ位置座標を変換する位置座標変換テーブルを作成する場合、一般に、画像座標と世界座標との対応が得られる地点があらかじめ定めた個数分存在していれば、その他の各地点の座標については、補間などを行い、連続的な対応テーブルを作成することができるが、本発明においては、前記対応が得られる地点を少なくとも前記個数分だけ精度良く求めることを目的としており、目標物の世界座標上の位置、方向ベクトル、または、目標物の世界座標上の位置、方向ベクトルおよび道路面の傾斜をそれぞれ計測して、計測したそれぞれのデータを基にして、路側カメラ画像上の目標物位置に対応する道路面上の世界座標位置を算出することによって、前記個数分の前記対応箇所を精度良く求め、その他の各地点の座標についても精度の高い位置座標変換を行うことを可能にすることを主要な特徴としている。

より具体的には、本発明による位置座標変換システムは、路側に備えられて車両や人間の撮影を行う路側撮像装置と、車両上に備えられる車載装置または人間が携帯する世界座標計測装置と、から構成されている。路側撮像装置は、道路面を走行する車両または歩行する人間を撮影記録する路側カメラと、該路側カメラにより撮影した映像から車両上の目標物または人間が携帯する目標物の画像座標系における位置計測を行う目標物検知手段（すなわち画像座標系位置計測手段）と、前記目標物の画像座標上の位置座標と世界座標上の位置座標との対応付けを行う位置座標変換テーブルを作成する座標変換テーブル作成手段と、を少なくとも備えて構成されている。一方、車載装置または世界座標計測装置は、位置座標計測の対象となる目標物と、車両上の前記目標物または人間が携帯する前記目標物の世界座標系における位置を計測する位置計測手段と、前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、前記目標物の位置、方向ベクトルの情報を基に、前記路側カメラにより撮影された路側カメラ画像上の目標物の位置に対応する道路面上の世界座標系における位置座標を算出する位置補正手段と、を少なくとも備えて構成されている。ここで、車載装置または世界座標計測装置に、道路面の傾斜を計測する道路平面計測手段をさらに備え、前記位置補正手段が、前記道路平面計測手段により計測された道路面の傾斜に関する情報も参酌して、道路面上の世界座標位置を算出することも可能である。

かくのごとき構成を採用することによって、目標物が道路面と離れた位置に設置されている場合であっても、また、傾斜を有する道路区間の場合であっても、前記位置補正手段によって画像上の目標物の位置に対応する道路面上の世界座標位置を精度良く算出することが可能になり、路側カメラの画像座標系の位置座標と世界座標系の位置座標とを正確に変換する位置座標変換テーブルを作成することができる。

（第１の実施形態の構成例）
次に、本発明による位置座標変換システムの構成例について第１の実施形態としてその一例を図１のシステム構成図および図２のブロック構成図を用いて説明する。ここに、図１は、本発明による位置座標変換システムのシステム構成の第１の実施形態を示すシステム構成図であり、図２は、図１に示した位置座標変換システムを構成する路側撮像装置と車載装置とのそれぞれのブロック構成の一例を示すブロック構成図である。

図１のシステム構成図に示すように、第１の実施形態の位置座標変換システムは、路側に備えられて車両３０の撮影を行う路側撮像装置１０と、車両３０上に備えられる車載装置２０と、から構成されている。なお、車両３０は、車載装置２０を搭載可能であれば任意の車両で構わないが、例えば市販されている四輪車を用いても良い。

ここで、図２のブロック構成図に示すように、路側撮像装置１０は、路側カメラ１１、目標物検知部１２、座標変換テーブル作成部１３を少なくとも備えて構成され、一方、車載装置２０は、位置計測部２１、方向ベクトル計測部２２、道路平面計測部２３、位置補正部２４、目標物２５を少なくとも備えて構成される。

路側撮像装置１０において、路側カメラ１１は、道路の路側上に設置されるカメラであって例えば道路監視用のカメラであり、車両３０上に搭載されている目標物２５も含んで、走行する車両３０を撮影記録する。目標物検知部１２は、路側カメラ１１によって撮影した映像から車両３０の車載装置２０に搭載されている目標物２５の画像上における位置座標を計測し、計測した位置座標に関する情報を座標変換テーブル作成部１３に対して送信する計算機である。座標変換テーブル作成部１３は、目標物検知部１２から受信した目標物２５の画像上の位置座標と車載装置２０の位置補正部２４から受信する補正後の世界座標系における位置座標とを基にして、画像座標系における位置座標と世界座標系における位置座標との座標変換を行う位置座標変換テーブルを作成する計算機である。

また、車載装置２０において、位置計測部２１は、目標物２５の世界座標系における位置座標を計測し、計測した位置座標に関する情報を位置補正部２４に対して送信する部位であり、例えば、ＧＰＳ（Global Positioning System）を用いても良い。

方向ベクトル計測部２２は、目標物２５から路側カメラ１１への方向ベクトルを計測し、計測した方向ベクトルに関する情報を位置補正部２４に対して送信する部位であり、例えば、路側カメラ１１を撮影する車載カメラと該車載カメラの画像から路側カメラ１１のレンズ付近を検出する計算機とを組み合わせることによって構成される。つまり、車載カメラにより撮影した画像上の路側カメラ１１の画像位置座標を求めることにより、幾何学計算によって車載カメラから路側カメラ１１への方向ベクトルを計測することができる。ここで、車載カメラを目標物２５近傍に設置することによって、方向ベクトル計測部２２において計測した方向ベクトルを目標物２５から路側カメラ１１への方向ベクトルと見做すことが可能である。

また、道路平面計測部２３は、車両３０が走行している道路平面を計測し、計測した道路平面の傾斜に関する情報を位置補正部２４に対して送信する部位であり、例えば、車載用として市販されている３軸ジャイロセンサを用いても良い。

また、位置補正部２４は、位置計測部２１からの世界座標系の位置座標情報と、方向ベクトル計測部２２からの方向ベクトル情報と、道路平面計測部２３からの道路平面情報とに基づいて、目標物２５の世界座標系の位置座標を補正して、補正した世界座標系の位置座標に関する情報を路側撮像装置１０の座標変換テーブル作成部１３に対して送信する部位であり、例えば、計算機を用いて構成される。ここで、位置補正部２４における目標物２５の位置座標の補正は、前記位置座標情報、前記方向ベクトル情報および前記道路平面情報を基にした幾何学計算によって実現することが可能である。また、目標物２５は、路側カメラ１１画像上で画像処理を用いて検出することが可能な対象物であり、例えば、明るい光源を用いる。

（第１の実施形態の動作の説明）
次に、図１、図２に第１の実施形態として示した位置座標変換システムの動作についてその一例を図３のフローチャートを用いて説明する。図３は、図１、図２に第１の実施形態として示した位置座標変換システムの動作の一例を説明するためのフローチャートであり、路側撮像装置１０と車載装置２０との双方の動作についてその一例を示している。

まず、路側撮像装置１０側において、路側カメラ１１によって車両３０の撮影を開始し（ステップＳ１）、路側カメラ１１によって撮影した映像を目標物検知部１２に対して送信する（ステップＳ２）。目標物検知部１２は、路側カメラ１１から送信されてきた映像を受け取ると、該映像に対して画像処理を施して、車両３０に搭載されている目標物２５を検出し、目標物２５の画像座標上の位置座標を計測する（ステップＳ３）。しかる後、目標物検知部１２は、計測した目標物２５の画像座標上の位置座標に関する情報を座標変換テーブル作成部１３に対して送信する（ステップＳ４）。

一方、車載装置２０側においては、位置計測部２１によって目標物２５の世界座標上の位置を計測し（ステップＳ５）、計測した目標物２５の世界座標上の位置座標に関する情報を位置補正部２４に対して送信する（ステップＳ６）。さらに、方向ベクトル計測部２２によって図４に示すような目標物２５から路側カメラ１１への方向ベクトルＤを計測し（ステップＳ７）、計測した方向ベクトルＤに関する情報を位置補正部２４に対して送信する（ステップＳ８）。図４は、方向ベクトル計測部２２によって計測される目標物２５から路側カメラ１１への方向ベクトルＤを説明するための模式図であり、目標物２５から路側カメラ１１が存在する方向を方向ベクトルＤとして示している。

さらに、車載装置２０側においては、道路平面計測部２３によって図５や図６に示すような道路平面Ｈを計測し（ステップＳ９）、計測した道路平面Ｈに関する情報を位置補正部２４に対して送信する（ステップＳ１０）。図５は、道路平面計測部２３によって計測される道路平面Ｈを説明するために車両３０正面からのイメージを示す模式図であり、図６は、道路平面計測部２３によって計測される道路平面Ｈを説明するために車両３０側方からのイメージを示す模式図であり、道路平面が傾斜している様子を示している。

車載装置２０側の位置補正部２４においては、目標物２５の世界座標上の位置座標に関する位置計測部２１からの情報、目標物２５から路側カメラ１１への方向ベクトルＤに関する方向ベクトル計測部２２からの情報、および、道路平面Ｈに関する道路平面計測部２３からの情報を受け取ると、受け取った目標物２５の世界座標上の位置座標、方向ベクトルＤおよび道路平面Ｈの情報を基にして、目標物２５の世界座標上の位置座標を、道路面上の世界座標系における位置座標に補正して（ステップＳ１１）、補正した目標物２５の世界座標系における位置座標に関する情報を、路側撮像装置１０側の座標変換テーブル作成部１３に対して送信する（ステップＳ１２）。

位置補正部２４において目標物２５の世界座標系の位置座標を道路面上の位置座標に補正する様子の一例を、図７の模式図を用いて説明する。図７の模式図は、車両３０の側方から眺めた場合のイメージを示しており、水平方向をＹ方向、垂直方向をＺ方向として示している。図７の模式図において、例えば、路側カメラ１１は、垂直方向（Ｚ方向）に８ｍの高さに設置されており、車両３０に搭載される目標物２５は、道路面から１ｍの高さに配置されているものとする。ここで、図７の模式図に示すように、位置計測部２１から受け取った目標物２５の世界座標上の位置座標すなわち路側カメラ１１から目標物２５までの水平方向（Ｙ方向）の距離（位置座標）は７０ｍであり、方向ベクトル計測部２２から受け取った方向ベクトルＤと道路平面Ｈとのなす角度が２０度であり、道路平面計測部２３から受け取った道路平面Ｈと水平方向（Ｙ方向）とがなす角度が１５度であるものと仮定する。かかる場合には、位置補正部２４は、幾何学的計算を行うことによって、図７に示すように、補正後の目標物２５の世界座標上の位置座標つまり方向ベクトルＤが道路面に交差する水平方向（Ｙ方向）の位置座標は約７３．９３ｍであり、垂直方向（Ｚ方向）の位置座標は約１．９ｍであると算出することになる。

路側撮像装置１０側の座標変換テーブル作成部１３においては、目標物２５の画像座標上の位置座標に関する目標物検知部１２からの情報と、補正した目標物２５の道路面上の世界座標系における位置座標に関する車載装置２０側の位置補正部２４からの情報とを受け取ると、受け取った目標物２５の画像座標上の位置座標と世界座標上の位置座標とを対応付けて、画像座標系における位置座標と世界座標系における位置座標との座標変換を行う位置座標変換テーブルを作成する（ステップＳ１３）。

以上のように動作することによって、目標物２５が道路面と離れた位置に配置されている場合であっても、また、傾斜を有する道路区間の場合であっても、位置補正部２４によって画像上の目標物の位置に対応する道路面上の世界座標位置を精度良く算出することが可能になり、路側カメラ１１により得られる画像座標系の位置座標と世界座標系の位置座標とを精度良く変換する位置座標変換テーブルを作成することができる。

なお、路側カメラ１１によって撮影される画像内に、車載装置２０側の位置補正部２４によって補正された目標物２５の世界座標上の位置座標に関する情報が得られた時点の時刻情報を追加して記録する時刻記録手段をさらに追加するように構成しても良い。かくのごとき時刻記録手段を追加することによって、車両３０を走行させながら、あらかじめ定めた個数分の複数の地点における画像座標上の位置座標と世界座標上の位置座標との対応付けを行うことが可能になる。例えば、目標物２５に点滅させることが可能な光源を適用して、目標物２５が点滅した瞬間の画像座標上の位置座標と世界座標上の位置座標とをそれぞれの同時刻の位置座標として記録して、時間同期を自動的に実現することにより、車両３０を走行させながら、複数地点の画像座標上の位置座標と世界座標上の位置座標との対応付けを行うことが可能になる。

また、水平な道路面モデルを用いる場合には、道路平面計測部２３を除く構成としても、位置補正部２４において目標物２５の道路面上の世界座標系における位置座標に補正することが可能である。

（第２の実施形態の構成例）
次に、本発明による位置座標変換システムの構成例について第２の実施形態としてその一例を図８のシステム構成図および図９のブロック構成図を用いて説明する。本第２の実施形態においては、車両３０に搭載する車載装置２０の代わりに、世界座標上の位置座標を計測する仕組みを人間が携帯する携帯端末に備えるようにした場合について説明している。ここに、図８は、本発明による位置座標変換システムのシステム構成の第２の実施形態を示すシステム構成図であり、図９は、図８に示した位置座標変換システムを構成する路側撮像装置と世界座標計測装置とのそれぞれのブロック構成の一例を示すブロック構成図である。

図８のシステム構成図に示すように、第２の実施形態の位置座標変換システムは、路側に備えられて人間６０の撮影を行う路側撮像装置４０と、第１の実施形態の車載装置２０の代わりに、人間６０が携帯する携帯端末例えば携帯電話に搭載される世界座標計測装置５０と、から構成されている。なお、人間６０は、世界座標計測装置５０を携帯しながら、計測対象の道路面を歩行している。

ここで、図９のブロック構成図に示すように、路側撮像装置４０は、第１の実施形態における路側撮像装置１０の場合とほぼ同様に、路側カメラ４１、目標物検知部４２、座標変換テーブル作成部４３を少なくとも備えて構成され、一方、世界座標計測装置５０は、歩行中の複数の地点の位置座標が得られるようにするために、第１の実施形態における車載装置２０の場合にさらに時刻同期を行う部位を追加して、位置計測部５１、方向ベクトル計測部５２、道路平面計測部５３、位置補正部５４、目標物５５、時刻同期部５６を少なくとも備えて構成される。

路側撮像装置４０において、目標物検知部４２は、目標物５５が点滅した瞬間の画像上の位置座標を計測する部位である。また、路側カメラ４１、座標変換テーブル作成部４３は、第１の実施形態として図２に示した路側カメラ１１、座標変換テーブル作成部１３と同様の機能を有している。

また、世界座標計測装置５０において、位置計測部５１は、目標物５５が点滅した瞬間の世界座標上の位置座標を計測する部位であり、例えば、携帯端末に搭載されたＧＰＳを用いても良い。方向ベクトル計測部５２は、目標物５５が点滅した瞬間の目標物５５から路側カメラ４１への方向ベクトルを計測し、計測した方向ベクトルに関する情報を位置補正部５４に対して送信する部位であり、例えば、携帯端末に搭載されたカメラとＣＰＵ（Central Processing Unit）とを組み合わせることによって構成される。

また、道路平面計測部５３は、目標物５５が点滅した瞬間の道路平面を計測し、計測した道路平面の傾斜に関する情報を位置補正部５４に対して送信する部位であり、例えば、携帯端末に搭載されたジャイロセンサを用いても良い。

また、位置補正部５４は、位置計測部５１からの世界座標系の位置座標情報と、方向ベクトル計測部５２からの方向ベクトル情報と、道路平面計測部５３からの道路平面情報とに基づいて、目標物５５の世界座標系の位置座標を補正して、補正した世界座標系の位置座標に関する情報を路側撮像装置４０の座標変換テーブル作成部４３に対して送信する部位であり、例えば、携帯端末に搭載されたＣＰＵを用いて構成される。また、目標物５５は、路側カメラ４１画像上で画像処理を用いて検出することが可能な対象物であり、例えば、携帯端末に搭載されたカメラのフラッシュを用いる。

また、時刻同期部５６は、前述の各部位における計測動作を開始させるためのトリガとなる情報を出力する部位であり、例えば、目標物５５として用いられるカメラのフラッシュを制御するためのＣＰＵを用いて構成される。

（第２の実施形態の動作の説明）
次に、図８、図９に第２の実施形態として示した位置座標変換システムの動作についてその一例を図１０のフローチャートを用いて説明する。図１０は、図８、図９に第２の実施形態として示した位置座標変換システムの動作の一例を説明するためのフローチャートであり、路側撮像装置４０と世界座標計測装置５０との双方の動作についてその一例を示している。

まず、携帯端末に搭載した世界座標計測装置５０を携帯した人間６０が、該携帯端末のカメラを用いて路側カメラ４１を撮影しながら、計測対象の道路面上で歩行を開始すると（ステップＳ２１）、路側撮像装置４０側において、路側カメラ４１によって人間６０の撮影を開始し（ステップＳ２２）、路側カメラ４１によって撮影した映像を目標物検知部４２に対して送信する（ステップＳ２３）。

目標物検知部４２は、路側カメラ４１から送信されてきた映像を受け取ると、該映像に対して画像処理を施して、人間６０が携帯している世界座標計測装置５０に搭載されている目標物５５を検出し、目標物５５が点滅したか否かを判定する（ステップＳ２４）。目標物５５が点滅していない場合には（ステップＳ２４のＮＯ）、ステップＳ２２に復帰し、一方、目標物５５が点滅した場合には（ステップＳ２４のＹＥＳ）、ステップＳ２５に移行して、目標物５５の画像座標上の位置座標を計測する（ステップＳ２５）。しかる後、目標物検知部４２は、計測した目標物５５の画像座標上の位置座標に関する情報を座標変換テーブル作成部４３に対して送信する（ステップＳ２６）。

一方、人間６０が携帯する世界座標計測装置５０側においては、時刻同期部５６により目標物５５を点滅させて、位置計測部５１、方向ベクトル計測部５２、道路平面計測部５３の各部位に対してそれぞれの計測動作を開始させるトリガを出力する（ステップＳ２７）。

時刻同期部５６からのトリガに同期して、位置計測部５１、方向ベクトル計測部５２、道路平面計測部５３の各部位が計測を開始すると、位置計測部２１は、目標物２５の世界座標上の位置を計測し（ステップＳ２８）、計測した目標物２５の世界座標上の位置座標に関する情報を位置補正部２４に対して送信する（ステップＳ２９）。また、方向ベクトル計測部２２は、目標物２５から路側カメラ１１への方向ベクトルＤを計測し（ステップＳ３０）、計測した方向ベクトルＤに関する情報を位置補正部２４に対して送信する（ステップＳ３１）。また、道路平面計測部２３は、道路平面Ｈを計測し（ステップＳ３２）、計測した道路平面Ｈに関する情報を位置補正部２４に対して送信する（ステップＳ３３）。

世界座標計測装置５０側の位置補正部５４においては、目標物５５の世界座標上の位置座標に関する位置計測部５１からの情報、目標物５５から路側カメラ４１への方向ベクトルＤに関する方向ベクトル計測部５２からの情報、および、道路平面Ｈに関する道路平面計測部５３からの情報を受け取ると、受け取った目標物５５の世界座標上の位置座標、方向ベクトルＤおよび道路平面Ｈの情報を基にして、目標物５５の世界座標上の位置座標を、道路面上の世界座標系における位置座標に補正して（ステップＳ３４）、補正した目標物５５の世界座標系における位置座標に関する情報を、路側撮像装置４０側の座標変換テーブル作成部４３に対して送信する（ステップＳ３５）。

路側撮像装置４０側の座標変換テーブル作成部４３においては、目標物５５の画像座標上の位置座標に関する目標物検知部４２からの情報と、道路面上に補正した目標物５５の世界座標系における位置座標に関する世界座標計測装置５０側の位置補正部５４からの情報とを受け取ると、受け取った目標物５５の画像座標上の位置座標と世界座標上の位置座標とを対応付けて、画像座標系における位置座標と世界座標系における位置座標との座標変換を行う位置座標変換テーブルを作成する（ステップＳ３６）。

以上のように動作することによって、人間６０が世界座標計測装置５０を搭載した携帯端末を携帯して移動するような場合において、目標物５５が道路面と離れた位置に配置されている場合であっても、また、傾斜を有する道路区間の場合であっても、時刻同期部５６により各計測動作を同期させることにより、複数の地点において、位置補正部５４によって画像上の目標物の位置に対応する道路面の世界座標位置を精度良く算出することが可能になり、路側カメラ１１により得られる画像座標系の位置座標と世界座標系の位置座標とを精度良く変換する位置座標変換テーブルを作成することができる。

なお、水平な道路面モデルを用いる場合には、第１の実施形態の場合と同様、道路平面計測部５３を除く構成としても、位置補正部５４において目標物５５の世界座標上の位置座標を補正することが可能である。また、１回の歩行で或る１地点の位置座標を取得する場合においては、第１の実施形態として図２に示した車載装置２０の場合と同様、時刻同期部５６を除く構成としても構わない。

以上、本発明の好適な実施形態の構成を説明した。しかし、かかる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。

１０ 路側撮像装置
１１ 路側カメラ
１２ 目標物検知部
１３ 座標変換テーブル作成部
２０ 車載装置
２１ 位置計測部
２２ 方向ベクトル計測部
２３ 道路平面計測部
２４ 位置補正部
２５ 目標物
３０ 車両
４０ 路側撮像装置
４１ 路側カメラ
４２ 目標物検知部
４３ 座標変換テーブル作成部
５０ 世界座標計測装置
５１ 位置計測部
５２ 方向ベクトル計測部
５３ 道路平面計測部
５４ 位置補正部
５５ 目標物
５６ 時刻同期部
６０ 人間

Claims (8)

1. 路側に備えられて車両または人間の撮影を行う路側撮像装置と、前記車両上に備えられる車載装置または前記人間が携帯する世界座標計測装置と、から構成されて、前記車載装置または前記世界座標計測装置に設置された目標物の世界座標系における座標位置と前記路側撮像装置により撮影された前記目標物の画像座標系における座標位置との位置座標の変換を行う位置座標変換システムにおいて、
   前記路側撮像装置は、
   道路面上を走行する前記車両または歩行する前記人間を撮影記録する路側カメラと、
   前記路側カメラによって撮影した映像から前記目標物を検知して、該目標物の画像座標系における位置座標の計測を行う目標物検知手段と、
   前記目標物検知手段によって計測し補正された前記目標物の画像座標系における位置座標と前記車載装置において計測された前記目標物の世界座標系における位置座標との対応付けを行い、前記目標物の世界座標系における位置座標と画像座標系における位置座標との位置座標の変換を行う位置座標変換テーブルを作成する座標変換テーブル作成手段と、
   を少なくとも備え、
   一方、前記車載装置または前記世界座標計測装置は、
   前記目標物の世界座標系における位置座標を計測する位置計測手段と、
   前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、
   道路面の傾斜を計測する道路平面計測手段と、
   前記位置計測手段により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測手段により計測された前記目標物から前記路側カメラへの方向ベクトル、及び、前記道路平面計測手段により計測された前記道路面の傾斜、を基にして、前記位置計測手段により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正手段と、
   を少なくとも備えていることを特徴とする位置座標変換システム。
2. 前記車載装置または前記世界座標計測装置は、
   前記位置計測手段および前記方向ベクトル計測手段それぞれの計測動作を、または、前記位置計測手段、前記方向ベクトル計測手段および前記道路平面計測手段それぞれの計測動作を開始させるためのトリガを出力する時刻同期手段をさらに備えていることを特徴とする請求項１に記載の位置座標変換システム。
3. 路側に備えられた路側撮像装置により車両または人間の撮影を行い、前記車両上に備えられる車載装置または前記人間が携帯する世界座標計測装置に設置された目標物の世界座標系における座標位置と、前記路側撮像装置により撮影された前記目標物の画像座標系における座標位置と、の位置座標の変換を行う位置座標変換方法であって、
   前記路側撮像装置により、道路面上を走行する前記車両または歩行する前記人間を撮影記録する路側カメラによって撮影した映像から前記目標物を検知して、該目標物の画像座標系における位置座標の計測を行う目標物検知工程と、
   前記路側撮像装置により、前記目標物検知工程によって計測された前記目標物の画像座標系における位置座標と前記車載装置において計測し補正された前記目標物の世界座標系における位置座標との対応付けを行い、前記目標物の世界座標系における位置座標と画像座標系における位置座標との位置座標の変換を行う位置座標変換テーブルを作成する座標変換テーブル作成工程と、
   を少なくとも有し、
   一方、
   前記車載装置または前記世界座標計測装置により、前記目標物の世界座標系における位置座標を計測する位置計測工程と、
   前記車載装置または前記世界座標計測装置により、前記目標物から前記路側カメラへの方向ベクトルを計測する方向ベクトル計測工程と、
   前記車載装置または前記世界座標計測装置により、道路面の傾斜を計測する道路平面計測工程と、
   前記車載装置または前記世界座標計測装置により、前記位置計測工程により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測工程により計測された前記目標物から前記路側カメラへの方向ベクトル、及び前記道路平面計測工程により計測された道路面の傾斜、を基にして、前記位置計測工程により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正工程と、
   を少なくとも有していることを特徴とする位置座標変換方法。
4. 前記車載装置または前記世界座標計測装置により、道路面の傾斜を計測する道路平面計測工程をさらに有し、
   前記位置補正工程は、前記位置計測工程により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測工程により計測された前記目標物から前記路側カメラへの方向ベクトルおよび前記道路平面計測工程により計測された前記道路面の傾斜を基にして、前記位置計測工程により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正することを特徴とする請求項３に記載の位置座標変換方法。
5. 前記車載装置または前記世界座標計測装置により、前記位置計測工程および前記方向ベクトル計測工程それぞれの計測動作を、または、前記位置計測工程、前記方向ベクトル計測工程および前記道路平面計測工程それぞれの計測動作を開始させるためのトリガを出力する時刻同期工程をさらに有していることを特徴とする請求項３または４に記載の位置座標変換方法。
6. 道路面上を走行する車両上に備えられた車載装置であって、該車両上に設置された目標物の該道路面上の世界座標面における位置座標を計測する車載装置において、
   前記目標物の世界座標系における位置座標を計測する位置計測手段と、
   前記目標物から、前記道路面上を走行する車両または歩行する人間を撮影記録する路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、
   道路面の傾斜を計測する道路平面計測手段と、
   前記位置計測手段により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測手段により計測された前記目標物から前記路側カメラへの方向ベクトル、及び、前記道路平面計測手段により計測された前記道路面の傾斜、を基にして、前記位置計測手段により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正手段と、
   を少なくとも備えていることを特徴とする車載装置。
7. 道路面上を歩行する人間が携帯する世界座標計測装置であって、該人間が携帯する目標物の該道路面上の世界座標面における位置座標を計測する世界座標計測装置において、
   前記目標物の世界座標系における位置座標を計測する位置計測手段と、
   前記目標物から、道路面上を走行する前記車両または歩行する前記人間を撮影記録する路側カメラへの方向ベクトルを計測する方向ベクトル計測手段と、
   道路面の傾斜を計測する道路平面計測手段と、
   前記位置計測手段により計測された前記目標物の世界座標系における位置座標、前記方向ベクトル計測手段により計測された前記目標物から前記路側カメラへの方向ベクトルおよび前記道路平面計測手段により計測された前記道路面の傾斜を基にして、前記位置計測手段により計測された前記目標物の世界座標系における位置座標を、道路面上の世界座標系における位置座標に補正する位置補正手段と、
   前記位置計測手段、前記方向ベクトル計測手段および前記道路平面計測手段それぞれの計測動作を開始させるためのトリガを出力する時刻同期手段と、
   を少なくとも備えていることを特徴とする世界座標計測装置。
8. 請求項３ないし５のいずれかに記載の位置座標変換方法を、コンピュータによって実行可能なプログラムとして実施していることを特徴とする位置座標変換プログラム。

Images