JP4517003B2 - 道路標識自動認識システム - Google Patents

Description

本発明は、道路情報データベースを構築するために、車両に搭載されるビデオカメラによって撮影された画像より、リアルタイムに道路標識を抽出し認識する方法及びその装置に関する。

一般に、通行止め、進入禁止、一方通行等の道路標識をデータベースに追加したり、更新・削除したりするための手法としては人間の手作業による方法と、画像処理に基づく自動処理を行う方法の二つが存在する。

（１）手作業による方法
人間が自動車で道路を走行しながら道路地図（道路毎に割り付けられた標識案内表でもよい）上の道路標識と、実際の道路上の道路標識とを確認していく。このとき、実際の道路標識と地図上の道路標識とが相違している場合は、地図上のその地点の道路標識を実際の道路標識に書き換える。

また、地図にはない道路標識を走行中に見つけた場合は、地図上のその地点にその新しく設けられた道路標識を書き込む。

また、地図に道路標識が記入されていても実際はその地点にその道路標識が無い場合は、その地点の地図上の道路標識を削除する。

このような処理を手作業で行って、事務所等に帰ってきてから道路情報を記憶しているデータベースの道路情報（位置、道路標識）を、自動車を走行させながら作成してきた道路地図（標識案内表）に基づいて、手作業で書き換える。

すなわち、自動車を走行しながら道路上の標識を１基毎に確認して書き換え作業を手作業で行っているので非常に時間がかかる。

また、作業時間を短くするには、走行中に道路標識を一目見て地図上の標識と相違しているかを判断しなければならないと共に、地図上の位置を瞬時に把握していかなければならないので、地図上に収集した道路標識、位置等は熟練度に左右される。このようなことから、近年は画像処理による方法を用いる場合がある。

（２）画像処理による方法
この画像処理による方法は、図１５に示すように自動車にビデオカメラ１を搭載しながら道路の右側又は左側を撮影し、この撮影データをビデオテープ２に記憶していく。このビデオカメラ１による撮影方法は、道路標識がある場所のみを撮影して行く方法（すなわち、静止画）と、自動車の走行に伴って連続して撮影する方法（すなわち、動画）とがある。

そして、事務所に帰ってきて、ビデオテープ２の道路標識画像を道路標識画像処理装置３で認識する。この道路標識画像処理装置３は、ビデオデッキ４と、ビデオキャプチャーボード内蔵の制御装置５と、表示器６と、キーボード７と、マウス８とで構成されている。

前述の道路標識画像処理装置３による認識は、ビデオデッキ４からの映像信号を制御装置５がビデオキャプチャー（図示せず）を介して読み取り、１フレーム毎に所定レベル以上の画素データに対して２値化処理を行い、道路標識が存在するエリアのデータの輪郭を検出する。

また、このとき色情報に基づいた領域分割を行ってから、前述の輪郭及び色情報（ＲＧＢ）に基づいて標識形状のマッチングを行ったりしている。

そして、検出できた標識情報（輪郭、色）とデータベースに保存されているテンプレート（複数種の道路標識）との相関関数を計算し、最も類似するものをビデオカメラで撮影した道路標識と認識していた。このとき、各々の標識形状に対して異なるアルゴリズムで対処していた。

また、従来においてはＲＧＢ画像を用いているが、ＲＧＢ画像は、一般に照明条件によって画素値が激しく変動する。

このようなことからＲＧＢ表色系からＨＳＶ表色系に変換して利用する場合もあった。

三輪 道雄, 大原 知之, スカンヤ ポンスーパッ, 石井 雅博, 小池 康晴, 佐藤 誠 ，色フィルタとテクスチャ解析を用いた動画像からの道路標識の抽出，情報処理学会研究報告[コンピュータとイメージメディア]，日本，情報処理学会，１９９９年 １月２２日，第99巻第3号，p.97-103，99-CVIM-114-13 粟倉 崇充, 佐々木 一幸, 中島 真人，道路標識の自動認識，電子情報通信学会技術研究報告[パターン認識・メディア理解]，日本，電子情報通信学会，１９９９年 １月２２日，第98巻第528号，p.69-76，PRMU98-201

しかしながら、従来の道路標識画像処理装置における認識方法は、１フレーム毎に、そのフレーム全体に対して２値化処理、輪郭抽出処理、領域分割処理等を行っている。

このため、標識が映っていないフレームに対しても前述の処理を施さなければならないので、道路標識を認識するための処理に時間がかかる。

一方、ＲＧＢ表色系からＨＳＶ表色系に変換して用いる場合は、ＲＧＢからＨＳＶへの変換は非線形であるため、前述のように１フレーム毎に全体を対象とする処理方式では非常に時間がかかる。

さらに、標識形状を利用して標識領域を検出しようとするとき、各々の標識形状に対して異なるアルゴリズムで対処しようとする従来の手法で行っているので、さらに時間がかかってしまう。

すなわち、従来の道路標識の認識方法では認識処理に時間がかかるという課題があった。

一方、車両に搭載されたカメラから撮影された画像に対して、リアルタイムに処理を実現することが期待されている。この問題を解決するために、すべての処理をハードウェアで行うことで認識処理時間を短縮しようとする傾向もある。

しかし、ハードウェア処理へと移行した場合、コストが高くなり、アルゴリズムの変更による改良が困難となる。昨今のパーソナルコンピュータ等の計算機器における急速な高性能化という状況から考えても、すべての処理（道路標識の認識、更新）をソフトウェア的に行う方がより望ましいと言える。

本発明は、ＧＰＳ受信機と、慣性航法装置と、撮影手段と、パソコン本体部と録画装置とを専用線で接続し、これらを車輌に搭載して道路の進行方向を撮影し、この撮影画像を用いて、記憶されている道路標識を自動更新する道路標識自動認識システムであって、
前記ＧＰＳ受信機は、
ＧＰＳ信号を受信し、相対測位方式で前記ビデオカメラの第１の３次元位置を求め、この第１の３次元位置座標を前記慣性航法装置及び前記パソコン本体部に送出する手段と、
前記パソコン本体からシャッタトリガ信号が送出される毎に、前記第１の３次元位置を求めたときのＧＰＳ時刻から前記シャッタトリガ信号が入力したときの現在時刻をシャッタ時刻として前記パソコンに送出する手段と、
ＰＰＳ信号を出力する手段と
を備え、
前記慣性航法装置は、
内部タイマーと、
前記ビデオカメラの第１の３次元位置及び前記移動体の車速エンコーダからの車輌速度に基づき前記ビデオカメラの第２の３次元位置と、該ビデオカメラの姿勢とを推測演算する手段と、
前記ＧＰＳ受信機からＰＰＳ信号を入力する毎に、このＰＰＳ信号に基づいて前記内部タイマーの同期とり、時刻ｔｋ毎（内部タイマー＜時刻ｔｋ＜ＰＰＳ信号）に、前記計測した第２の３次元位置と姿勢と時刻ｔｋとを前記パソコン本体に出力する手段と
を備え、
前記本体パソコンは、
前記道路毎に、認識された該道路における道路標識の道路標識番号と、該道路標識の３次元位置とを対応させて記憶した記憶手段と、
前記撮影手段又は録画装置のビデオ画像を静止画で画面に表示し、道路部分の他方の端までを繋げたスリット線を設定し、前記ビデオ画像の動画再生に伴って前記スリット線と重なる動画再生されたビデオ画像上の、前記スリット線が投影される領域に存在する前記道路標識の道路標識番号を認識する手段と、
前記車輌の距離センサからの距離値を入力し、この距離値が一定距離値になる毎に前記シャッタトリガ信号を前記撮影手段に送出して撮影させて前記ビデオ画像を入力する手段と、
前記ＧＰＳ受信機からの前記シャッタ時刻と前記慣性航法装置からの前記撮影手段の第２の３次元位置と前記撮影手段の姿勢と前記入力したビデオ画像とが入力する毎に、このビデオ画像と第２の３次元位置と前記撮影手段が撮影したときの撮影時刻ｔｐと前記時刻ｔｋとを対応させたデータを生成して記憶する手段と、
前記時刻ｔｋと、該時刻ｔｋより前に記憶した前回のデータの時刻ｔｋ−１との間を前記内部タイマーの分解能に基づいて分割し、この分割時刻ｔｋｋｉにおける３次元位置と姿勢とを補間して、前記撮影時刻ｔｐに一致する３次元位置と姿勢とを抽出し、これらと前記時刻ｔｋのビデオ画像とを対応させる手段と、
前記一致する３次元位置と姿勢と、入力された前記撮影手段のカメラパラメータとに基づいて前記時刻ｔｋのビデオ画像における道路標識の３次元絶対位置を求める手段と、
前記記憶手段から前記求められた３次元絶対位置を有するデータを引当て、このデータの道路標識番号を前記認識した道路標識番号に更新する手段と
を備えたことを要旨とする。

従って、画像全体を処理する従来手法と比べ、道路標識の検出から認識及び更新に至る全てのプロセスにおいて、総合的に処理時間を短縮することができるという効果が得られている。

本発明の実施の形態１の道路標識自動認識装置の概略構成図である。 実施の形態１の道路標識自動認識装置の概略を説明する説明図である。 テンプレートを説明する説明図である。 本実施の形態１の動作を説明するフローチャートである。 本実施の形態１の動作を説明するフローチャートである。 スリットを説明する説明図である。 道路標識の存在範囲の算出を説明する説明図である。 色相による存在確率のイメージ図である（ここで、横軸は色相であり、縦軸は強調因子（０〜３）である）。 エリア内の画像データの輪郭を説明する説明図である。 接線角度の算出を説明する説明図である。 実施の形態２の道路標識自動認識装置の外観図である。 実施の形態２の概略構成図である。 カメラと道路標識との相対位置の算出を説明する説明図である。 ビデオ画像の道路標識の輪郭のなぞり方法と角度分布表との関係を説明する説明図である。 従来の道路標識の認識方法を説明するための説明図である。

＜実施の形態１＞
図１は本実施の形態の道路標識自動認識装置の概略構成図である。本実施の形態１では、車両を走行させながらビデオカメラ１で撮影したビデオ画像をビデオテープ２に記録し、これをビデオデッキ４で再生して事務所にある道路標識自動認識装置１０（パーソナルコンピュータ）でリアルタイムに道路標識を検出するものである。次に、概略処理を説明する。

図２に示すように、まず、画面に表示された初めのビデオ画像（道路標識と道路等が映っている）上に放物線状の特別なスリットｆｉを設定し（図２のａ）、ビデオデッキ４を操作してビデオテープ２を再生する。

このとき、道路標識自動認識装置１０は、スリット上の画素データの色成分から道路標識の有無を検出し、道路標識がスリット上に存在するときは、そのスリット上の道路標識があると判定した範囲に所定の大きさのウィンドウＷｉ（検出エリアともいう）をかけて、色成分、２値化によって抽出した道路標識の輪郭ｒｉを抽出する（図２のｂ）。

そして、その道路標識の輪郭ｒｉから道路標識形状の種類を決定し、この決定した種類内で前述のエリア内の道路標識の絵画像の特徴に最も類似する標識を引当て、これをビデオカメラ１で検出した道路標識と認識する（図２のｃ）。

このようにして道路標識を自動認識するために、図１に示すように、本実施の形態では、ビデオデッキ４からのビデオ画像をコンピュータの内部に取り込んで画像メモリ１２を介して表示部１３に表示させるビデオキャプチャー１１を備えている。前述の表示部１３にはタッチパネル１４（静電式、圧電式）が備えられている。

また、タッチパネル１４に描かれたスリットｆｉの軌跡をスリット形状として設定するスリット設定処理部１５と、指定された箇所（スリット又はエリア）のＲＧＢ画像をＨＳＶ変換して、フレームメモリ１７に記憶するＨＳＶ変換処理部１６と、フレームメモリ１７のスリット状のデータの色成分から標識がそのスリットに存在するかの仮判定を行う標識有無仮判定処理部１８と、道路標識があるスリットｆｉの範囲を基準とした所定の大きさのウィンドウＷｉを画像メモリ１２に設定する検出エリア設定処理部１９とを備えている。

また、フレームメモリ１７の画像データから道路標識が存在する存在確率ｐを求める標識確率計算処理部２０と、標識の存在確率ｐから標識が存在すると判定する標識存在判定処理部２１と、標識が存在すると判定されたときはフレームメモリ１７の検出エリア内の画像データを２値化する２値化処理部２２とを備えている。

また、フィルタリング処理部２３と、フィルタリングされた画像データの集合から標識の輪郭ｒｉを検出する輪郭検出処理部２４と、輪郭ｒｉの各点の接線角度の計算を行い、この角度のヒストグラムをメモリ２８の標識形状角度分布表と比較し形状の種類を決定する形状種類決定処理部２５と、検査エリア内の標識の画像データの色の濃度分布ＮＱｉを求め、この濃度分布ＮＱｉとデータベース２９に記憶されている標識データの濃度分布Ｎｉとの相関を求め、最も相関が強い画像データの標識をビデオ画像の道路標識とする標識認識処理部２６とを備えている。

前述の標識形状角度分布表及びテンプレートについては後述する。さらに、対象色設定処理部３０と、変換開始指令処理部３１とを備えている。

対象色設定処理部３０は、オペレータによって入力された認識する標識の色ｍｉを全て読み込み、標識確率計算処理部２０に設定するので、１フレームにおけるスリットにかかる青、赤、黄色等の道路標識を全て認識できる。

変換開始指令処理部３１は、ビデオ画像の送出に伴ってビデオデッキ４から送出されるフレーム番号ｋｉが送出される毎に、ＨＳＶ変換処理部１６に対して抽出開始、変換開始指令を送出する。

次に、標識形状角度分布表について説明する。この標識形状角度分布表は、表１に示すように、道路標識の形状符号Ｍｉ（マル、四角、菱形、…）を縦軸欄に配列し、横軸欄に全ての道路標識の角度分布を配列している。例えば、横軸欄には「０度」、「４５度」、「６０度」、「９０度」、「１２０」、……、「３００度」、「３１５度」と配列し、この角度分布と道路標識の形状符号Ｍｉとからなる格子群で、どのような道路標識かを判定ができるようにしている。

この標識形状角度分布表は、図１４に示すように、撮影された画像を記憶する平面に対する座標系（Ｘ−Ｙ）から反時計方向に線をなぞり、Ｘ軸方向の線には「０度」が、＋Ｙ軸方向の線には「９０度」が、−Ｘ軸方向の線には「１８０度」が、−Ｙ軸方向の線には「２７０度」がそれぞれ割り当てられるようにしている。すなわち、特定角度、「０度」、「４５度」、「６０度」、「９０度」、「１２０」、……、「３００度」、「３１５度」の１２ポイントの格子を、それぞれの標識の形状符号毎に設けている。

さらに、これらの１２個の角度についてカウンタを設け、ビデオ画像から抽出した輪郭の接線角度を投票できるようにしている。

そして、本実施の形態では、これらの投票角度をヒストグラムで表現し、ヒストグラムの傾向からビデオ画像で得た標識の形状種類を判定できるようにしている。

また、データベース２９におけるテンプレートは、図３に示すように、道路標識の標準的な種類を示す標識形状Ｍｉと、この種類の標識形状Ｍｉに分類される複数の標識がポリゴンデータＨｉで記憶されていると共に、その標識の色Ｇｉ（周囲の色、中央部の色等）と、数字の有無Ｅｉと、これらを特徴づけるための分布（色、形状、内部の形）から求めた分布関数Ｎｉとを対応させている。

上記のように構成された道路標識自動認識装置について図４、図５のフローチャートを用いて以下に動作を説明する。

本説明では、目的とする道路をビデオカメラ１を搭載した自動車ですでに道路を通行したときの正面（やや右又は左側）のビデオ画像をビデオテープ２に録画し、このビデオテープ２をビデオデッキ４で再生する。また、ＨＳＶ変換処理部１６には 対象色設定処理部３０が変換対象の道路標識の色を知らせ、かつ変換開始指令処理部３１がビデオデッキ４からのビデオ画像のフレーム番号ｋｉを入力し、該入力毎にＨＳＶ変換処理部１６に変換開始信号を送出している。

前述の再生の初期画面（道路標識、道路が表示されている）において、オペレータは表示部１３のタッチパネル１４にペン入力によって例えば、放物線状のスリットｆｉを描く（Ｓ４０１）。

次に、スリット設定処理部１５がこの放物線状のスリットｆｉの軌跡（Ｙ＝ａＸ2＋ｂ）を求める（Ｓ４０３）。このスリットｆｉは半楕円、半円でもよいが本実施の形態では放物線とする。

また、このスリットｆｉの軌跡は画像メモリ１２に記憶されていて、図６に示すように表示することもできる。

このスリットｆｉについて図６を用いて説明する。自動車を走行させながらビデオカメラ１で進行方向を撮影すると、自動車の走行に伴い、その道路シーンは図６に示すように周囲の道路標識Ｒｉ（他に樹木、ガードレール等）が画面の中心（ｆｏ）から放射状に画面の周辺に向かう方向へと移動して行くことになる。

すなわち、画面の中心ｆｏの近くにあった道路標識Ｒｉ´は、自動車が進むにつれて図６に示すように中心ｆｏから離れて画面の端側に位置した道路標識Ｒｉとなり、道路標識Ｒｉが大きく見えてくる。

従って、スリット上の道路標識Ｒｉに対して認識処理を行うようにすれば精度の高い認識処理を行うことが可能となる。

つまり、画面の下の部分は道路となるため、標識を検出する場合にはその部分を無視しても差し支えないので、図６に示すような放物線状のスリットｆｉを用いて必ずスリットｆｉに道路標識Ｒｉがかかるようにしている。

そして、このスリット設定処理部１５で求めた軌跡（Ｙ＝ａＸ2＋ｂ）をＨＳＶ変換処理部１６に送出する。

次に、ＨＳＶ変換処理部１６は、変換開始指令処理部３１からの変換開始信号が送出されたかどうかを判断する（Ｓ４０５）。

ステップＳ４０５において、変換開始信号の入力があると判断したときは、スリット設定処理部１５で求められたスリットｆｉをビデオ画像にかける（Ｓ４０７）。次に、ＨＳＶ変換処理部１６がスリットｆｉにかかっているＲＧＢのビデオ画像をＨＳＶ変換し、このＨＳＶの画像データをフレームメモリ１７に記憶する（Ｓ４０９）。このＨＳＶ変換は、Ｈが色相（Hue）、Ｓが飽和度（Saturation）、Ｖが明度（Value）である。

この変換された値に基づいて、後述する標識存在確率算出部が道路標識の存在確率値を求める。

次に、標識有無仮判定処理部１８は、標識確率計算処理部２０を用いてフレームメモリ１７のスリットｆｉ上の画像データに設定された色ｍｉ（赤、黄色、青等）の色成分が存在している確率Ｐを求めさせ（Ｓ４１０）、この確率Ｐの値で、道路標識Ｒｉがスリットにかかっているかどうかを判断する（Ｓ４１１）。この存在確率の求め方については後述する。

ステップ４１１においては、Ｓ４１０で得られたスリット上の確率分布によって、スリットｆｉ上に道路標識が存在するかどうかを判断する。具体的にいえば、スリットｆｉ上の確率分布をｐ０（ｉ）とし、平滑化したものをｐ１（ｉ）とする。さらに、ｐ１（ｉ）に対して平滑化を行ってｐ２（ｉ）が得られる。イメージとして、ｐ０（ｉ）、ｐ１（ｉ）、ｐ２（ｉ）を図７に示す。ここで、横軸はスリット上の画素番号ｉである。図７に示すように、もしｐ１（ｉ）がｐ２（ｉ）より連続的に大きくて、かつその空間の積分値がある閾値より上回るとき（図中の陰の部分）、そのスリットの範囲を道路標識が存在する可能の範囲とする。

また、ステップＳ４１１において、スリットｆｉにかかる道路標識の色が存在すると判断したときは、スリットｆｉのその範囲を検出エリア設定処理部１９に知らせる（Ｓ４０９）。

検出エリア設定処理部１９は、知らせられたスリット上の標識の範囲を基準とし、この範囲に所定の大きさ（例えば、道路標識が入る大きさの四角型）の検出エリアＷｉをかける（Ｓ４１９）。

そして、標識確率計算処理部２０は、フレームメモリ１７に記憶されている検出エリア内の画像データの色相（Hue）・飽和度（Saturation）・明度（Value）を元に、処理対象の検出エリアをＸ、Ｙ方向になぞって行きながら標識色である可能性を表す存在確率値を計算する（Ｓ４２１）。

また、この計算は、数１、数２、数３及び数４に示すように行われる。例えば、対象色ｍｉの数をｎとし、各色の色相をＨi＝０〜２５５，ｉ＝０，１，２，…，ｎ−１とする。変換しようとする色の色相・飽和度・明度を（ｈ，ｓ，ｖ）とするとき、その色が標識色である確率を次式のように定義する。

ここで色相（ｈ）による存在確率は、

すなわち、ｈ−Ｈｉの絶対値が小さいと、標識の存在確率が高いことになる。

また、飽和度（ｓ）による存在確率は、

ここで、ＳthとＳthは定数である。

さらに、明度（ｖ）による存在確率は、

ここで、ＶthとＶthは定数である。

ｎ＝１の場合、上記の各式のアルゴリズムは単色の検出となる。

前述の式において、色相だけを利用するとしたとき、Ｐs（ｓ）＝Ｐv（ｖ）＝１とおいた場合のＰ（ｈ，ｓ，ｖ）＝Ｐh（ｈ）の変換曲線のイメージ（存在確率の分布を示すヒストグラム）を図８に示す。

次に、標識存在判定処理部２１は、Ｐ（ｈ，ｓ，ｖ）の値から標識が存在するかどうかを判断する（Ｓ４２３）。

ステップＳ４２３において、標識が存在すると判断したときは、２値化処理部２２は、前述のようにして得た確率分布のヒストグラムから動的にしきい値を作成し、この所定のしきい値で２値化する（Ｓ４２５）。

次に、図５に示すように、ノイズを除去するため、得られた２値化画像に対して領域の拡張と縮小を行う（Ｓ５０１）。

次に、輪郭検出処理部２４がこの２値化画像から標識の輪郭を検出する（Ｓ５０３）。まず、スリットとかさなる２値化画像のエッジ部分を探す。探索した位置から３×３のマスクで８連結の輪郭線ｒｉを求める。

このステップＳ５０３における輪郭は、図９の左側に示すように、凹凸の多いものとなる。このため、検出した輪郭から以下の処理によってビデオ画像の道路標識の形状を認識する。

最初、形状種類決定処理部２５が輪郭上の点における接線角度を求める計算を行う（Ｓ５０５）。

接線の角度を計算するときには、局所的な最小二乗法を適用する。たとえば、輪郭上のｉ番目の点の接線角度を計算するときには、ｉ−ｗからｉ＋ｗまでの２ｗ＋１個のデータを利用する。さらに、計算時間を短縮するために、計算機の分野で採用されているパイプラインに相当するような仕組みを導入する。具体的には、最小二乗法で接線の角度を計算するとき、各点の座標値（ｘ，ｙ）に対してｘ，ｙ，ｘ2，ｙ2，ｘｙに関する累積値を計算しなければならないが、ｉ番目点においてｘに関する累積Ｓx,iの計算を例とすると、

となり、ｉ＋１番目点においてはｘに関する累積Ｓx,i+1は

となる。これにより、Ｓx,i+1を計算するための２ｗ＋１回の加算は一回の加算と一回の減算で済むことになる。

ｉ番目の点において計算できたｘ，ｙ，ｘ2，ｙ2，ｘｙに関する各々の平均値をＳx,i，Ｓy,i，Ｓx2,i，Ｓy2,i，Ｓxy,iとすると、接線の角度はθiは次式で与えられる。

上式（７）で求められた接線角度θiは、図１０に示すようにπの不確定性が存在する。ここで、点（ｘi-w，ｙi-w）と点（ｘi+w，ｙi+w）から求められた接線に垂線を引き、交点を（ｘ’i-w，ｙ’i-w）と（ｘ’i+w，ｙ’i+w）で表す。

もし数８（式８）または数９（式９）が負であれば、数７で計算された接線角度θiにπを足す。

このとき、形状種類決定処理部２５は、接線角度θiを特定角度カウンタ（図示せず）に投票する（Ｓ５０５）。

また、特定角への投票とは、道路標識の候補として抽出した輪郭上の各点の接線角度をγiへ投票することである。具体的には、まず各特定角γiについて一つのカウンタＣjを用意し、このカウンタをクリアする。

次に、計算された輪郭上の各点の接線角度について次式のように投票を行う。

投票された結果はヒストグラム分布として得られる（Ｓ５０９）。

次に、データベース２９に記憶されている標準の標識形状Ｍｉ群を読み（Ｓ５１１）、ヒストグラム分布に最も類似する角度群を有する標準形状をビデオカメラ１でとらえた標識形状と決定する（Ｓ５１３）。例えば、ヒストグラムのピークが明らかでない場合、つまり、０度、４５度、９０度、…、３１５度の投票があったときは、その形状が円であるとするものと仮定して最適円を探索する。ある点数以上の輪郭点が最適円にフィットできた場合には、その輪郭は円であると判断する。また、０度、９０度、１８０度、２７０度のピークがヒストグラムから得られたときは、四角形と判定し、この四角形に最も類似するデータベースの四角形を検出した標識の形状と認識する。どの形状にも分類されない場合には標識でないものと判断する。

次に、標識認識処理部は，輪郭エリア内の画像データの濃度の確率分布ＮＱｉを求め、この分布ＮＱｉに最も類似する標識データをデータベースから検索し（Ｓ５１５）、検索した標識データをカメラでとらえた標識と認識する（Ｓ５１７）。そして、この認識した道路標識の標識番号とビデオ画像のフレーム番号（ビデオデッキのビデオカウンタの値）と、道路番号とを送出する。

具体的には、まず、検出できた道路標識領域の大きさをデータベースの標識データのサイズに合わせて正規化する。次に，対応する２値化画像の横方向と縦方向の両方の積分分布を計算する。縦・横方向の両分布と道路情報データベースに学習させた標識の縦・横方向の分布との相関値を計算して、その相関値が最も大きく、かつ、ある閾値を超える場合、そのテンプレートに相当する標識が検出できたものと判断する。

すなわち、図３に示すように標識形状Ｍｉがマルと判定し、ビデオ画像のエリア内の標識の画像データの分布が分布関数Ｎａ１に最も相関しているときは、エリア内のビデオ画像は車両通行止めの道路標識と認識する。

そして、処理が終わったら、Ｓ４０５に戻る。

＜実施の形態２＞
図１１は実施の形態２の道路標識自動認識装置の外観図である。この道路標識自動認識装置４０は、ＧＰＳ受信機４１と、慣性航法装置４２（ＩＮＳ）と、ビデオカメラ１と、ビデオデッキ４と、パソコン本体部４３と、ディスプレィ１３とを専用線でそれぞれ接続した構成であり、自動車に搭載して道路の進行方向を撮影しながらリアルタイムで道路標識を認識し、データベースの道路標識を今回の道路標識に更新する。

ＧＰＳ受信機４１は、ＤＧＰＳ（Differential Global Positioning System）方式、すなわち相対測位方式を利用するＧＰＳ受信機であり、ＧＰＳ衛星からのＧＰＳ信号（電波）を受信して、ビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）を求めて、そのデータを、ＲＳ２３２Ｃインターフェースを経由して、慣性航法装置４２へ送信すると共に、ビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）をパソコン本体部４３に送出する。

また、後述するパソコン本体部からのシャッタトリガ信号が送出される毎に、前述の３次元位置座標を求めたときのＧＰＳ時刻からシャッタトリガ信号が入力したときの時刻（以下シャッタ時刻という）をパソコン本体に送出する。

慣性航法装置４２は、ＧＰＳ受信機４１からのビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）および図示しない車速エンコーダからの車両速度に基づき、推測航法演算により、走行する車両に固定されたビデオカメラ１の位置座標（ｘ，ｙ，ｚ）を正確に求めると同時に、ビデオカメラの姿勢であるカメラ角（ψ，ω，κ）、すなわち、撮影方向の、地球座標系の南北軸に対する傾き角度ψと、東西軸に対する傾き角度ωおよび鉛直方向に対する傾き角度κをリアルタイムに求める。

また、百万分の１秒の分解能の内部タイマ（図示せず）を有し、ＧＰＳからＰＰＳ信号が入力される毎に（毎正秒に）時刻合わせを行い、２０ｍｓｅｃ毎にＩＮＳで計測した姿勢と位置とをパソコン本体部４３に送出する。

従って、ＧＰＳ時計に対する内部タイマの誤差の蓄積を回避することができる。

この推測航法演算を用いることで、例えばトンネル内部等のＧＰＳ測位ができない場所においても、常に測位が可能となっている
パソコン本体部４３では、図示しない距離センサからの走行距離値を入力し、例えば５ｍ毎にシャッタ信号をビデオカメラ１に送出して道路の進行方向を撮影したビデオ画像を入力する。

また、ビデオカメラ１のビデオ画像をビデオデッキ４にて再生した場合は、そのビデオ画像とフレーム番号とを入力する。

そして、シャッタ時刻とカメラ１の位置座標、カメラ角および撮影時刻が入力されると、これらのデータとビデオ画像とを対応づける。

すなわち、道路標識を撮影したときのビデオカメラ１の３次元位置と撮影時刻、ビデオ画像が対応させられる。具体的には、ＧＰＳ受信機４１より１ｓｅｃ毎に出力されるＰＰＳ信号を用いて慣性航法装置４２が内部タイマーの同期をとり、この内部タイマーの時刻ｔkと慣性航法装置４２の位置データと姿勢とを対応させて順次記憶すると共に、ビデオ画像を１コマ毎に、その撮影時刻ｔpとを対応させて順次記憶する。

そして、前回のｔk-1と今回の時刻ｔｋとの間を１／１００万秒間隔で分割し、この分割時刻ｔkkiにおける位置データと姿勢とを補間し、前述の撮影時刻ｔpに一致するデータ（位置、姿勢）を見つけ、このデータと今回のビデオ画像（１コマの）とを対応させる。

すなわち、走行中における道路標識を撮影したときのビデオ画像（１コマ）とカメラ位置とカメラ姿勢とが対応させられたことになる。

そして、本実施の形態１の構成によって、ビデオ画像から道路標識を認識し、この認識した道路標識に対応する記憶されている道路標識を更新する。

つまり、本実施の形態２では上記実施の形態の構成に加えて図１２に示すデータベース４５と、カメラパラメータ設定処理部４６と、標識位置計算処理部４７と、更新処理部４８とを備えている。

データベース４５には、道路名（番号）と、標識番号（番号で種類が分かる）と、標識の位置（Ｘ、Ｙ、Ｚ）とが予め記憶されている。

カメラパラメータ設定処理部４６は、オペレータによって入力された、ビデオカメラの視矢角、カメラサイズ、高さ、光学特性等（総称してカメラパラメータという）を標識位置計算処理部４７に設定する。

標識位置計算処理部４７は、入力されたカメラ姿勢、カメラ位置、撮影時刻ｔｐ、ビデオ画像（１コマ）とを前述の具体的な記載のようにして対応させる。

そして、前述のカメラパラメータと、前述のようにして求めたビデオ画像を撮影したときのカメラ位置及び姿勢とを用いて、ビデオ画像内における道路標識とカメラとの相対位置を求め、この相対位置とカメラ位置及び姿勢等からビデオ画像内の道路標識の絶対位置を決定して更新処理部４８に送出する。

ここでカメラと道路標識との相対位置の計算について説明する。

図１３に示すようにカメラ座標系（ＸＹＺ）を定義する。ここで、カメラ座標系のＸ軸と画像平面のｘ軸と平行し、Ｙ軸がｙ軸と平行する。カメラ座標系のＺ軸がカメラの向きと同じである。画像平面上で検出された道路標識の中心位置は（ｘi，ｙi）であり、標識のサイズはｓiであるとすると、三角関係によって、検出された道路標識とカメラとの相対位置（Ｘi，Ｙi，Ｚi）は数１１（式１１）で与えられる。

ここで、ｋはカメラの焦点距離、１ピクセルあたりのサイズなど諸パラメータによって決められる常数であり、Ｓiは標識の実際のサイズである。

次に、更新処理部４８は、認識した標識番号ｋｉと道路番号とを標識認識処理部２６から入力し、標識位置計算処理部４７で求められた標識の絶対位置に対応する位置データのレコードを引当て、そのレコードの標識番号を認識した標識番号ｋｉに更新する。

従って、認識した道路標識と車両の位置情報、カメラパラメータ等から道路情報を更新できる。

１ ビデオカメラ
２ ビデオテープ ４ ビデオデッキ
１０ 道路標識自動認識装置
１１ ビデオキャプチャー
１４ タッチパネル
１５ スリット設定処理部
１６ ＨＳＶ変換処理部
１７ フレームメモリ
１８ 標識有無仮判定処理部
１９ 検出エリア設定処理部
２０ 標識確率計算処理部
２１ 標識存在判定処理部
２４ 輪郭検出処理部
２５ 形状種類決定処理部

Claims (6)

1. ＧＰＳ受信機と、慣性航法装置と、撮影手段と、パソコン本体部と録画装置とを専用線で接続し、これらを車輌に搭載して道路の進行方向を撮影し、この撮影画像を用いて、記憶されている道路標識を自動更新する道路標識自動認識システムであって、
   前記ＧＰＳ受信機は、
   ＧＰＳ信号を受信し、相対測位方式で前記ビデオカメラの第１の３次元位置を求め、この第１の３次元位置座標を前記慣性航法装置及び前記パソコン本体部に送出する手段と、
   前記パソコン本体からシャッタトリガ信号が送出される毎に、前記第１の３次元位置を求めたときのＧＰＳ時刻から前記シャッタトリガ信号が入力したときの現在時刻をシャッタ時刻として前記パソコンに送出する手段と、
   ＰＰＳ信号を出力する手段と
   を備え、
   前記慣性航法装置は、
   内部タイマーと、
   前記ビデオカメラの第１の３次元位置及び前記移動体の車速エンコーダからの車輌速度に基づき前記ビデオカメラの第２の３次元位置と、該ビデオカメラの姿勢とを推測演算する手段と、
   前記ＧＰＳ受信機からＰＰＳ信号を入力する毎に、このＰＰＳ信号に基づいて前記内部タイマーの同期とり、時刻ｔｋ毎（内部タイマー＜時刻ｔｋ＜ＰＰＳ信号）に、前記計測した第２の３次元位置と姿勢と時刻ｔｋとを前記パソコン本体に出力する手段と
   を備え、
   前記本体パソコンは、
   前記道路毎に、認識された該道路における道路標識の道路標識番号と、該道路標識の３次元位置とを対応させて記憶した記憶手段と、
   前記撮影手段又は録画装置のビデオ画像を静止画で画面に表示し、道路部分の他方の端までを繋げたスリット線を設定し、前記ビデオ画像の動画再生に伴って前記スリット線と重なる動画再生されたビデオ画像上の、前記スリット線が投影される領域に存在する前記道路標識の道路標識番号を認識する手段と、
   前記車輌の距離センサからの距離値を入力し、この距離値が一定距離値になる毎に前記シャッタトリガ信号を前記撮影手段に送出して撮影させて前記ビデオ画像を入力する手段と、
   前記ＧＰＳ受信機からの前記シャッタ時刻と前記慣性航法装置からの前記撮影手段の第２の３次元位置と前記撮影手段の姿勢と前記入力したビデオ画像とが入力する毎に、このビデオ画像と第２の３次元位置と前記撮影手段が撮影したときの撮影時刻ｔｐと前記時刻ｔｋとを対応させたデータを生成して記憶する手段と、
   前記時刻ｔｋと、該時刻ｔｋより前に記憶した前回のデータの時刻ｔｋ−１との間を前記内部タイマーの分解能に基づいて分割し、この分割時刻ｔｋｋｉにおける３次元位置と姿勢とを補間して、前記撮影時刻ｔｐに一致する３次元位置と姿勢とを抽出し、これらと前記時刻ｔｋのビデオ画像とを対応させる手段と、
   前記一致する３次元位置と姿勢と、入力された前記撮影手段のカメラパラメータとに基づいて前記時刻ｔｋのビデオ画像における道路標識の３次元絶対位置を求める手段と、
   前記記憶手段から前記求められた３次元絶対位置を有するデータを引当て、このデータの道路標識番号を前記認識した道路標識番号に更新する手段と
   を有することを特徴とする道路標識自動認識システム。
2. 前記認識する手段は、
   前記静止画において手前側となる道路部分の一方の端から該道路部分の他方の端までを繋げた、半円又は半楕円若しくは放物線である１画素幅の曲線を、前記道路標識を抽出するためのスリット線として設定するスリット設定手段と、
   前記ビデオ画像の動画再生に伴って前記スリット線と重なる動画再生されたビデオ画像上の、前記スリット線が投影される領域に存在するＲＧＢの画像データを抽出し、この画像データをＨＳＶ変換するＨＳＶ変換手段と、
   前記ＨＳＶ変換された画像データの値と、予め入力された標識色との類似度を、色相、飽和度、明度毎にそれぞれ関数で定義し、これらの関数の積を前記標識色の存在確率とする標識確率計算手段と、
   前記スリット線を設定したとき、前記標識確率計算手段の存在確率に基づいて前記スリット線に前記動画再生したビデオ画像の道路標識に重なっているかの仮判定を行う標識有無仮判定手段と、
   前記スリット線に前記道路標識に重なっている可能性があると判定したときは、その重なっている前記動画再生したビデオ画像上の位置を検出し、該検出した位置に所定の大きさのエリアを設定する検出エリア設定手段と、
   前記標識確率計算手段で前記エリアの全般に前記入力された標識色が存在する確率が高いと判定されたときは、そのエリア内の前記標識色の画像データ群の輪郭を検出する輪郭検出手段と、
   前記エリア内の所定レベル以上の画像データ群を前記道路標識とし、この輪郭を形成する点列の各点の接線角度を算出し、この算出した接線角度が予め記憶されている道路標識の辺の角度を特定するための特定角度と前記接線角度との差分の大きさが閾値以下であったとき、その特定角度のカウンタに前記算出した接線角度を計数させて、投票角度の数の分布を求め、この投票角度の数の分布と、予め記憶されている複数種類の道路標識の形状に最も類似する形状を前記道路標識の輪郭形状と認識する形状種類決定手段と
   を有することを特徴とする請求項１記載の道路標識自動認識システム。
3. 前記エリア内に前記標識色が存在する確率が高いときは、前記エリア内の画像データを２値化する２値化手段と、
   該２値化された画像データ群の内で輪郭を形成するための画像データ以外は、不要成分であるノイズとして除去し、残った画像データを前記輪郭検出手段に送出するフィルタリング手段と
   を有することを特徴とする請求項２記載の道路標識自動認識システム。
4. 前記形状種類決定手段は、
   前記道路標識の形状を形成する辺の角度を、特定角度とし、この特定角度毎に配列した標識形状角度分布表を、全ての道路標識毎に予め設けたデータベースと、
   前記エリアが設定されたとき、そのエリア内に標識とする画素が、ある一定の長さで連続している画像データ群を前記道路標識とし、この輪郭を形成する点列の各点の接線角度を算出する手段と、
   前記算出した接線角度が前記予め設けられた標識形状角度分布表の特定角度と前記接線角度との差分の大きさが閾値以下であったとき、その特定角度のカウンタに前記算出した接線角度を計数する手段と、
   前記輪郭を一周する毎に、前記カウンタに投票された投票角度の分布を求め、この投票角度の分布と、予め記憶されている複数種類の道路標識の形状に最も類似する形状を前記道路標識の輪郭形状と認識する手段と
   からなることを特徴とする請求項２記載の道路標識自動認識システム。
5. 前記道路標識の特徴を正規化分布で、全ての道路標識毎に、標識番号と対応させて予め記憶されたデータベースと、
   前記輪郭形状が決定されたとき、前記道路標識の２値化した後の画像データに対して縦、横方向の積分分布を求めて正規化し、予め記憶されている前記正規化分布の中で、この正規化分布に最も相関が高いものを前記撮影した道路標識と認識する標識認識手段と
   を有することを特徴とする請求項２又は３記載の道路標識自動認識システム。
6. 前記標識認識手段は、
   前記認識した道路標識に対応する標識番号を外部に知らせることを特徴とする請求項５記載の道路標識自動認識システム。

Images