JP2000293670A - ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 車両に搭載されるビデオカメラによって撮影
された画像より、リアルタイムに道路標識を抽出し認識
する方法及びその装置を得る。 【解決手段】 画面１３に表示されたビデオ画像に特別
なスリットｆｉを設定し、ＨＳＶ変換処理部１６による
スリット上の画素データの色成分から標識確率計算処理
部２０が道路標識の有無を検出し、道路標識がスリット
上に存在すると判断されたときは、検出エリア設定処理
部１９がそのスリット上の道路標識があると判定した範
囲に所定の大きさの検出エリアをかけ、輪郭検出処理部
２４が２値化によって抽出した道路標識の輪郭ｒｉを抽
出し、形状種類決定処理部２５が道路標識の輪郭Ｒｉか
ら種類を決定し、標識認識処理部２６がこの決定した種
類内で前述のエリア内の道路標識の絵画像の特徴に最も
類似する標識を引当て、これをビデオカメラ１で検出し
た道路標識と認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、道路情報データベ
ースを構築するために、車両に搭載されるビデオカメラ
によって撮影された画像より、リアルタイムに道路標識
を抽出し認識する方法及びその装置に関する。

【０００２】

【従来の技術】一般に、通行止め、進入禁止、一方通行
等の道路標識をデータベースに追加したり、更新・削除
したりするための手法としては人間の手作業による方法
と、画像処理に基づく自動処理を行う方法の二つが存在
する。

【０００３】（１）手作業による方法 人間が自動車で道路を走行しながら道路地図（道路毎に
割り付けられた標識案内表でもよい）上の道路標識と、
実際の道路上の道路標識とを確認していく。このとき、
実際の道路標識と地図上の道路標識とが相違している場
合は、地図上のその地点の道路標識を実際の道路標識に
書き換える。

【０００４】また、地図にはない道路標識を走行中に見
つけた場合は、地図上のその地点にその新しく設けられ
た道路標識を書き込む。

【０００５】また、地図に道路標識が記入されていても
実際はその地点にその道路標識が無い場合は、その地点
の地図上の道路標識を削除する。

【０００６】このような処理を手作業で行って、事務所
等に帰ってきてから道路情報を記憶しているデータベー
スの道路情報（位置、道路標識）を、自動車を走行させ
ながら作成してきた道路地図（標識案内表）に基づい
て、手作業で書き換える。

【０００７】すなわち、自動車を走行しながら道路上の
標識を１基毎に確認して書き換え作業を手作業で行って
いるので非常に時間がかかる。

【０００８】また、作業時間を短くするには、走行中に
道路標識を一目見て地図上の標識と相違しているかを判
断しなければならないと共に、地図上の位置を瞬時に把
握していかなければならないので、地図上に収集した道
路標識、位置等は熟練度に左右される。このようなこと
から、近年は画像処理による方法を用いる場合がある。

【０００９】（２）画像処理による方法 この画像処理による方法は、図１５に示すように自動車
にビデオカメラ１を搭載しながら道路の右側又は左側を
撮影し、この撮影データをビデオテープ２に記憶してい
く。このビデオカメラ１による撮影方法は、道路標識が
ある場所のみを撮影して行く方法（すなわち、静止画）
と、自動車の走行に伴って連続して撮影する方法（すな
わち、動画）とがある。

【００１０】そして、事務所に帰ってきて、ビデオテー
プ２の道路標識画像を道路標識画像処理装置３で認識す
る。この道路標識画像処理装置３は、ビデオデッキ４
と、ビデオキャプチャーボード内蔵の制御装置５と、表
示器６と、キーボード７と、マウス８とで構成されてい
る。

【００１１】前述の道路標識画像処理装置３による認識
は、ビデオデッキ４からの映像信号を制御装置５がビデ
オキャプチャー（図示せず）を介して読み取り、１フレ
ーム毎に所定レベル以上の画素データに対して２値化処
理を行い、道路標識が存在するエリアのデータの輪郭を
検出する。

【００１２】また、このとき色情報に基づいた領域分割
を行ってから、前述の輪郭及び色情報（ＲＧＢ）に基づ
いて標識形状のマッチングを行ったりしている。

【００１３】そして、検出できた標識情報（輪郭、色）
とデータベースに保存されているテンプレート（複数種
の道路標識）との相関関数を計算し、最も類似するもの
をビデオカメラで撮影した道路標識と認識していた。こ
のとき、各々の標識形状に対して異なるアルゴリズムで
対処していた。

【００１４】また、従来においてはＲＧＢ画像を用いて
いるが、ＲＧＢ画像は、一般に照明条件によって画素値
が激しく変動する。

【００１５】このようなことからＲＧＢ表色系からＨＳ
Ｖ表色系に変換して利用する場合もあった。

【００１６】

【発明が解決しようとする課題】しかしながら、従来の
道路標識画像処理装置における認識方法は、１フレーム
毎に、そのフレーム全体に対して２値化処理、輪郭抽出
処理、領域分割処理等を行っている。

【００１７】このため、標識が映っていないフレームに
対しても前述の処理を施さなければならないので、道路
標識を認識するための処理に時間がかかる。

【００１８】一方、ＲＧＢ表色系からＨＳＶ表色系に変
換して用いる場合は、ＲＧＢからＨＳＶへの変換は非線
形であるため、前述のように１フレーム毎に全体を対象
とする処理方式では非常に時間がかかる。

【００１９】さらに、標識形状を利用して標識領域を検
出しようとするとき、各々の標識形状に対して異なるア
ルゴリズムで対処しようとする従来の手法で行っている
ので、さらに時間がかかってしまう。

【００２０】すなわち、従来の道路標識の認識方法では
認識処理に時間がかかるという課題があった。

【００２１】一方、車両に搭載されたカメラから撮影さ
れた画像に対して、リアルタイムに処理を実現すること
が期待されている。この問題を解決するために、すべて
の処理をハードウェアで行うことで認識処理時間を短縮
しようとする傾向もある。

【００２２】しかし、ハードウェア処理へと移行した場
合、コストが高くなり、アルゴリズムの変更による改良
が困難となる。昨今のパーソナルコンピュータ等の計算
機器における急速な高性能化という状況から考えても、
すべての処理をソフトウェア的に行う方がより望ましい
と言える。

【００２３】

【課題を解決するための手段】本発明は、道路標識が設
けられた道路を走行しながら進行方向を撮影したときの
ビデオ画像の初期画像を静止画で画面に表示させた後
に、ビデオ画像を動画で表示させたとき、道路標識が画
面にて最も大きく見えてくるとき道路標識画像をとらえ
るためのスリット線を前記画面に描く。次に、ビデオ画
像における道路標識の標識色を入力する。

【００２４】そして、スリット線が描かれた後に、ビデ
オ画像を動画で画面に表示させ、このビデオ画像の動画
表示に伴って、スリット線に重なるＲＧＢの画像データ
をスリット線に沿ってＨＳＶに変換する。

【００２５】次に、ＨＳＶ変換された画像データの値を
用いて、色相、飽和度、明度からスリット線に標識色が
存在する存在確率を求める。

【００２６】次に、標識色が存在する確率が高いときに
は、その画像データを得たスリット線の位置に重なる画
像平面の座標範囲に所定の大きさのエリアを設定し、エ
リア内の全ての画像データをＨＳＶ変換し、これらの値
から標識色の存在確率を求め、該存在確率が高いとき
は、エリア内の道路標識画像の輪郭を求め、この輪郭の
角度分布から道路標識画像の形状を決定し、この形状と
道路標識画像の情報の分布関数から道路標識画像を認識
する。

【００２７】実施態様によれば、画面全体を処理する代
わりに、スリット上のカラーデータ（ＲＧＢ）のみがＨ
ＳＶへと変換され、道路標識と思しき箇所が検出され
る。そして、検出できたスリット上の位置から予め設定
された範囲の原画像をＨＳＶへと変換されて、道路標識
の存在確率値が計算される。

【００２８】そして、計算を行った道路標識を含む領域
内の確率値の分布画像を動的な閾値によって２値化さ
れ、ノイズを除去するために領域の拡張と縮小を行う演
算によって２値化された画像がフィルタリングされる。
引き続き、スリット上から検出できた標識を含む２値化
画像の中から実際の標識部分に相当すると考えられる領
域が検出され、検出された領域の輪郭に対して、各点の
接線角度の計算が行われ、その結果から作成されるヒス
トグラムの分布状況をもとに領域の形状が判定される。
そして、データベースに保存されている形状の等しい標
識のテンプレート群とのマッチングを行うことによって
認識が行われる。

【００２９】

【発明の実施の形態】＜実施の形態１＞図１は本実施の
形態の道路標識自動認識装置の概略構成図である。本実
施の形態１では、車両を走行させながらビデオカメラ１
で撮影したビデオ画像をビデオテープ２に記録し、これ
をビデオデッキ４で再生して事務所にある道路標識自動
認識装置１０（パーソナルコンピュータ）でリアルタイ
ムに道路標識を検出するものである。次に、概略処理を
説明する。

【００３０】図２に示すように、まず、画面に表示され
た初めのビデオ画像（道路標識と道路等が映っている）
上に放物線状の特別なスリットｆｉを設定し（図２の
ａ）、ビデオデッキ４を操作してビデオテープ２を再生
する。

【００３１】このとき、道路標識自動認識装置１０は、
スリット上の画素データの色成分から道路標識の有無を
検出し、道路標識がスリット上に存在するときは、その
スリット上の道路標識があると判定した範囲に所定の大
きさのウィンドウＷｉ（検出エリアともいう）をかけ
て、色成分、２値化によって抽出した道路標識の輪郭ｒ
ｉを抽出する（図２のｂ）。

【００３２】そして、その道路標識の輪郭ｒｉから道路
標識形状の種類を決定し、この決定した種類内で前述の
エリア内の道路標識の絵画像の特徴に最も類似する標識
を引当て、これをビデオカメラ１で検出した道路標識と
認識する（図２のｃ）。

【００３３】このようにして道路標識を自動認識するた
めに、図１に示すように、本実施の形態では、ビデオデ
ッキ４からのビデオ画像をコンピュータの内部に取り込
んで画像メモリ１２を介して表示部１３に表示させるビ
デオキャプチャー１１を備えている。前述の表示部１３
にはタッチパネル１４（静電式、圧電式）が備えられて
いる。

【００３４】また、タッチパネル１４に描かれたスリッ
トｆｉの軌跡をスリット形状として設定するスリット設
定処理部１５と、指定された箇所（スリット又はエリ
ア）のＲＧＢ画像をＨＳＶ変換して、フレームメモリ１
７に記憶するＨＳＶ変換処理部１６と、フレームメモリ
１７のスリット状のデータの色成分から標識がそのスリ
ットに存在するかの仮判定を行う標識有無仮判定処理部
１８と、道路標識があるスリットｆｉの範囲を基準とし
た所定の大きさのウィンドウＷｉを画像メモリ１２に設
定する検出エリア設定処理部１９とを備えている。

【００３５】また、フレームメモリ１７の画像データか
ら道路標識が存在する存在確率ｐを求める標識確率計算
処理部２０と、標識の存在確率ｐから標識が存在すると
判定する標識存在判定処理部２１と、標識が存在すると
判定されたときはフレームメモリ１７の検出エリア内の
画像データを２値化する２値化処理部２２とを備えてい
る。

【００３６】また、フィルタリング処理部２３と、フィ
ルタリングされた画像データの集合から標識の輪郭ｒｉ
を検出する輪郭検出処理部２４と、輪郭ｒｉの各点の接
線角度の計算を行い、この角度のヒストグラムをメモリ
２８の標識形状角度分布表と比較し形状の種類を決定す
る形状種類決定処理部２５と、検査エリア内の標識の画
像データの色の濃度分布ＮＱｉを求め、この濃度分布Ｎ
Ｑｉとデータベース２９に記憶されている標識データの
濃度分布Ｎｉとの相関を求め、最も相関が強い画像デー
タの標識をビデオ画像の道路標識とする標識認識処理部
２６とを備えている。

【００３７】前述の標識形状角度分布表及びテンプレー
トについては後述する。さらに、対象色設定処理部３０
と、変換開始指令処理部３１とを備えている。

【００３８】対象色設定処理部３０は、オペレータによ
って入力された認識する標識の色ｍｉを全て読み込み、
標識確率計算処理部２０に設定するので、１フレームに
おけるスリットにかかる青、赤、黄色等の道路標識を全
て認識できる。

【００３９】変換開始指令処理部３１は、ビデオ画像の
送出に伴ってビデオデッキ４から送出されるフレーム番
号ｋｉが送出される毎に、ＨＳＶ変換処理部１６に対し
て抽出開始、変換開始指令を送出する。

【００４０】次に、標識形状角度分布表について説明す
る。この標識形状角度分布表は、表１に示すように、道
路標識の形状符号Ｍｉ（マル、四角、菱形、…）を縦軸
欄に配列し、横軸欄に全ての道路標識の角度分布を配列
している。例えば、横軸欄には「０度」、「４５度」、
「６０度」、「９０度」、「１２０」、……、「３００
度」、「３１５度」と配列し、この角度分布と道路標識
の形状符号Ｍｉとからなる格子群で、どのような道路標
識かを判定ができるようにしている。

【００４１】

【表１】 この標識形状角度分布表は、図１４に示すように、撮影
された画像を記憶する平面に対する座標系（Ｘ−Ｙ）か
ら反時計方向に線をなぞり、Ｘ軸方向の線には「０度」
が、＋Ｙ軸方向の線には「９０度」が、−Ｘ軸方向の線
には「１８０度」が、−Ｙ軸方向の線には「２７０度」
がそれぞれ割り当てられるようにしている。すなわち、
特定角度、「０度」、「４５度」、「６０度」、「９０
度」、「１２０」、……、「３００度」、「３１５度」
の１２ポイントの格子を、それぞれの標識の形状符号毎
に設けている。

【００４２】さらに、これらの１２個の角度についてカ
ウンタを設け、ビデオ画像から抽出した輪郭の接線角度
を投票できるようにしている。

【００４３】そして、本実施の形態では、これらの投票
角度をヒストグラムで表現し、ヒストグラムの傾向から
ビデオ画像で得た標識の形状種類を判定できるようにし
ている。

【００４４】また、データベース２９におけるテンプレ
ートは、図３に示すように、道路標識の標準的な種類を
示す標識形状Ｍｉと、この種類の標識形状Ｍｉに分類さ
れる複数の標識がポリゴンデータＨｉで記憶されている
と共に、その標識の色Ｇｉ（周囲の色、中央部の色等）
と、数字の有無Ｅｉと、これらを特徴づけるための分布
（色、形状、内部の形）から求めた分布関数Ｎｉとを対
応させている。

【００４５】上記のように構成された道路標識自動認識
装置について図４、図５のフローチャートを用いて以下
に動作を説明する。

【００４６】本説明では、目的とする道路をビデオカメ
ラ１を搭載した自動車ですでに道路を通行したときの正
面（やや右又は左側）のビデオ画像をビデオテープ２に
録画し、このビデオテープ２をビデオデッキ４で再生す
る。また、ＨＳＶ変換処理部１６には 対象色設定処理
部３０が変換対象の道路標識の色を知らせ、かつ変換開
始指令処理部３１がビデオデッキ４からのビデオ画像の
フレーム番号ｋｉを入力し、該入力毎にＨＳＶ変換処理
部１６に変換開始信号を送出している。

【００４７】前述の再生の初期画面（道路標識、道路が
表示されている）において、オペレータは表示部１３の
タッチパネル１４にペン入力によって例えば、放物線状
のスリットｆｉを描く（Ｓ４０１）。

【００４８】次に、スリット設定処理部１５がこの放物
線状のスリットｆｉの軌跡（Ｙ＝ａＸ²＋ｂ）を求める
（Ｓ４０３）。このスリットｆｉは半楕円、半円でもよ
いが本実施の形態では放物線とする。

【００４９】また、このスリットｆｉの軌跡は画像メモ
リ１２に記憶されていて、図６に示すように表示するこ
ともできる。

【００５０】このスリットｆｉについて図６を用いて説
明する。自動車を走行させながらビデオカメラ１で進行
方向を撮影すると、自動車の走行に伴い、その道路シー
ンは図６に示すように周囲の道路標識Ｒｉ（他に樹木、
ガードレール等）が画面の中心（ｆｏ）から放射状に画
面の周辺に向かう方向へと移動して行くことになる。

【００５１】すなわち、画面の中心ｆｏの近くにあった
道路標識Ｒｉ´は、自動車が進むにつれて図６に示すよ
うに中心ｆｏから離れて画面の端側に位置した道路標識
Ｒｉとなり、道路標識Ｒｉが大きく見えてくる。

【００５２】従って、スリット上の道路標識Ｒｉに対し
て認識処理を行うようにすれば精度の高い認識処理を行
うことが可能となる。

【００５３】つまり、画面の下の部分は道路となるた
め、標識を検出する場合にはその部分を無視しても差し
支えないので、図６に示すような放物線状のスリットｆ
ｉを用いて必ずスリットｆｉに道路標識Ｒｉがかかるよ
うにしている。

【００５４】そして、このスリット設定処理部１５で求
めた軌跡（Ｙ＝ａＸ²＋ｂ）をＨＳＶ変換処理部１６に
送出する。

【００５５】次に、ＨＳＶ変換処理部１６は、変換開始
指令処理部３１からの変換開始信号が送出されたかどう
かを判断する（Ｓ４０５）。

【００５６】ステップＳ４０５において、変換開始信号
の入力があると判断したときは、スリット設定処理部１
５で求められたスリットｆｉをビデオ画像にかける（Ｓ
４０７）。次に、ＨＳＶ変換処理部１６がスリットｆｉ
にかかっているＲＧＢのビデオ画像をＨＳＶ変換し、こ
のＨＳＶの画像データをフレームメモリ１７に記憶する
（Ｓ４０９）。このＨＳＶ変換は、Ｈが色相（Hue）、
Ｓが飽和度（Saturation）、Ｖが明度（Value）であ
る。

【００５７】この変換された値に基づいて、後述する標
識存在確率算出部が道路標識の存在確率値を求める。

【００５８】次に、標識有無仮判定処理部１８は、標識
確率計算処理部２０を用いてフレームメモリ１７のスリ
ットｆｉ上の画像データに設定された色ｍｉ（赤、黄
色、青等）の色成分が存在している確率Ｐを求めさせ
（Ｓ４１０）、この確率Ｐの値で、道路標識Ｒｉがスリ
ットにかかっているかどうかを判断する（Ｓ４１１）。
この存在確率の求め方については後述する。

【００５９】ステップ４１１においては、Ｓ４１０で得
られたスリット上の確率分布によって、スリットｆｉ上
に道路標識が存在するかどうかを判断する。具体的にい
えば、スリットｆｉ上の確率分布をｐ０（ｉ）とし、平
滑化したものをｐ１（ｉ）とする。さらに、ｐ１（ｉ）
に対して平滑化を行ってｐ２（ｉ）が得られる。イメー
ジとして、ｐ０（ｉ）、ｐ１（ｉ）、ｐ２（ｉ）を図７
に示す。ここで、横軸はスリット上の画素番号ｉであ
る。図７に示すように、もしｐ１（ｉ）がｐ２（ｉ）よ
り連続的に大きくて、かつその空間の積分値がある閾値
より上回るとき（図中の陰の部分）、そのスリットの範
囲を道路標識が存在する可能の範囲とする。

【００６０】また、ステップＳ４１１において、スリッ
トｆｉにかかる道路標識の色が存在すると判断したとき
は、スリットｆｉのその範囲を検出エリア設定処理部１
９に知らせる（Ｓ４０９）。

【００６１】検出エリア設定処理部１９は、知らせられ
たスリット上の標識の範囲を基準とし、この範囲に所定
の大きさ（例えば、道路標識が入る大きさの四角型）の
検出エリアＷｉをかける（Ｓ４１９）。

【００６２】そして、標識確率計算処理部２０は、フレ
ームメモリ１７に記憶されている検出エリア内の画像デ
ータの色相（Hue）・飽和度（Saturation）・明度（Val
ue）を元に、処理対象の検出エリアをＸ、Ｙ方向になぞ
って行きながら標識色である可能性を表す存在確率値を
計算する（Ｓ４２１）。

【００６３】また、この計算は、数１、数２、数３及び
数４に示すように行われる。例えば、対象色ｍｉの数を
ｎとし、各色の色相をＨ_i＝０〜２５５，ｉ＝０，１，
２，…，ｎ−１とする。変換しようとする色の色相・飽
和度・明度を（ｈ，ｓ，ｖ）とするとき、その色が標識
色である確率を次式のように定義する。

【００６４】

【数１】 ここで色相（ｈ）による存在確率は、

【数２】 すなわち、ｈ−Ｈｉの絶対値が小さいと、標識の存在確
率が高いことになる。

【００６５】また、飽和度（ｓ）による存在確率は、

【数３】 ここで、Ｓ_thとＳ_thは定数である。

【００６６】さらに、明度（ｖ）による存在確率は、

【数４】 ここで、Ｖ_thとＶ_thは定数である。

【００６７】ｎ＝１の場合、上記の各式のアルゴリズム
は単色の検出となる。

【００６８】前述の式において、色相だけを利用すると
したとき、Ｐ_s（ｓ）＝Ｐ_v（ｖ）＝１とおいた場合のＰ
（ｈ，ｓ，ｖ）＝Ｐ_h（ｈ）の変換曲線のイメージ（存
在確率の分布を示すヒストグラム）を図８に示す。

【００６９】次に、標識存在判定処理部２１は、Ｐ
（ｈ，ｓ，ｖ）の値から標識が存在するかどうかを判断
する（Ｓ４２３）。

【００７０】ステップＳ４２３において、標識が存在す
ると判断したときは、２値化処理部２２は、前述のよう
にして得た確率分布のヒストグラムから動的にしきい値
を作成し、この所定のしきい値で２値化する（Ｓ４２
５）。

【００７１】次に、図５に示すように、ノイズを除去す
るため、得られた２値化画像に対して領域の拡張と縮小
を行う（Ｓ５０１）。

【００７２】次に、輪郭検出処理部２４がこの２値化画
像から標識の輪郭を検出する（Ｓ５０３）。まず、スリ
ットとかさなる２値化画像のエッジ部分を探す。探索し
た位置から３×３のマスクで８連結の輪郭線ｒｉを求め
る。

【００７３】このステップＳ５０３における輪郭は、図
９の左側に示すように、凹凸の多いものとなる。このた
め、検出した輪郭から以下の処理によってビデオ画像の
道路標識の形状を認識する。

【００７４】最初、形状種類決定処理部２５が輪郭上の
点における接線角度を求める計算を行う（Ｓ５０５）。

【００７５】接線の角度を計算するときには、局所的な
最小二乗法を適用する。たとえば、輪郭上のｉ番目の点
の接線角度を計算するときには、ｉ−ｗからｉ＋ｗまで
の２ｗ＋１個のデータを利用する。さらに、計算時間を
短縮するために、計算機の分野で採用されているパイプ
ラインに相当するような仕組みを導入する。具体的に
は、最小二乗法で接線の角度を計算するとき、各点の座
標値（ｘ，ｙ）に対してｘ，ｙ，ｘ²，ｙ²，ｘｙに関す
る累積値を計算しなければならないが、ｉ番目点におい
てｘに関する累積Ｓ_x,iの計算を例とすると、

【数５】 となり、ｉ＋１番目点においてはｘに関する累積Ｓ
_x,i+1は

【数６】 となる。これにより、Ｓ_x,i+1を計算するための２ｗ＋
１回の加算は一回の加算と一回の減算で済むことにな
る。

【００７６】ｉ番目の点において計算できたｘ，ｙ，ｘ
²，ｙ²，ｘｙに関する各々の平均値をＳ_x,i，Ｓ_y,i，Ｓ
_x ² _,i，Ｓ_y ² _,i，Ｓ_xy,iとすると、接線の角度はθ_iは次
式で与えられる。

【００７７】

【数７】 上式（７）で求められた接線角度θ_iは、図１０に示す
ようにπの不確定性が存在する。ここで、点（ｘ_i-w，
ｙ_i-w）と点（ｘ_i+w，ｙ_i+w）から求められた接線に垂
線を引き、交点を（ｘ’_i-w，ｙ’_i-w）と（ｘ’_i+w，
ｙ’_i+w）で表す。もし数８（式８）または数９（式
９）が負であれば、数７で計算された接線角度θ_iにπ
を足す。

【００７８】

【数８】

【数９】 このとき、形状種類決定処理部２５は、接線角度θ_iを
特定角度カウンタ（図示せず）に投票する（Ｓ５０
５）。

【００７９】また、特定角への投票とは、道路標識の候
補として抽出した輪郭上の各点の接線角度をγ_iへ投票
することである。具体的には、まず各特定角γ_iについ
て一つのカウンタＣ_jを用意し、このカウンタをクリア
する。

【００８０】次に、計算された輪郭上の各点の接線角度
について次式のように投票を行う。

【数１０】 投票された結果はヒストグラム分布として得られる（Ｓ
５０９）。

【００８１】次に、データベース２９に記憶されている
標準の標識形状Ｍｉ群を読み（Ｓ５１１）、ヒストグラ
ム分布に最も類似する角度群を有する標準形状をビデオ
カメラ１でとらえた標識形状と決定する（Ｓ５１３）。
例えば、ヒストグラムのピークが明らかでない場合、つ
まり、０度、４５度、９０度、…、３１５度の投票があ
ったときは、その形状が円であるとするものと仮定して
最適円を探索する。ある点数以上の輪郭点が最適円にフ
ィットできた場合には、その輪郭は円であると判断す
る。また、０度、９０度、１８０度、２７０度のピーク
がヒストグラムから得られたときは、四角形と判定し、
この四角形に最も類似するデータベースの四角形を検出
した標識の形状と認識する。どの形状にも分類されない
場合には標識でないものと判断する。

【００８２】次に、標識認識処理部は，輪郭エリア内の
画像データの濃度の確率分布ＮＱｉを求め、この分布Ｎ
Ｑｉに最も類似する標識データをデータベースから検索
し（Ｓ５１５）、検索した標識データをカメラでとらえ
た標識と認識する（Ｓ５１７）。そして、この認識した
道路標識の標識番号とビデオ画像のフレーム番号（ビデ
オデッキのビデオカウンタの値）と、道路番号とを送出
する。

【００８３】具体的には、まず、検出できた道路標識領
域の大きさをデータベースの標識データのサイズに合わ
せて正規化する。次に，対応する２値化画像の横方向と
縦方向の両方の積分分布を計算する。縦・横方向の両分
布と道路情報データベースに学習させた標識の縦・横方
向の分布との相関値を計算して、その相関値が最も大き
く、かつ、ある閾値を超える場合、そのテンプレートに
相当する標識が検出できたものと判断する。

【００８４】すなわち、図３に示すように標識形状Ｍｉ
がマルと判定し、ビデオ画像のエリア内の標識の画像デ
ータの分布が分布関数Ｎａ１に最も相関しているとき
は、エリア内のビデオ画像は車両通行止めの道路標識と
認識する。

【００８５】そして、処理が終わったら、Ｓ４０５に戻
る。

【００８６】＜実施の形態２＞図１１は実施の形態２の
道路標識自動認識装置の外観図である。この道路標識自
動認識装置４０は、ＧＰＳ受信機４１と、慣性航法装置
４２（ＩＮＳ）と、ビデオカメラ１と、ビデオデッキ４
と、パソコン本体部４３と、ディスプレィ１３とを専用
線でそれぞれ接続した構成であり、自動車に搭載して道
路の進行方向を撮影しながらリアルタイムで道路標識を
認識し、データベースの道路標識を今回の道路標識に更
新する。

【００８７】ＧＰＳ受信機４１は、ＤＧＰＳ（Differen
tial Global Positioning System）方式、すなわち相対
測位方式を利用するＧＰＳ受信機であり、ＧＰＳ衛星か
らのＧＰＳ信号（電波）を受信して、ビデオカメラ１の
３次元位置座標（ｘ，ｙ，ｚ）を求めて、そのデータ
を、ＲＳ２３２Ｃインターフェースを経由して、慣性航
法装置４２へ送信すると共に、ビデオカメラ１の３次元
位置座標（ｘ，ｙ，ｚ）をパソコン本体部４３に送出す
る。

【００８８】また、後述するパソコン本体部からのシャ
ッタトリガ信号が送出される毎に、前述の３次元位置座
標を求めたときのＧＰＳ時刻からシャッタトリガ信号が
入力したときの時刻（以下シャッタ時刻という）をパソ
コン本体に送出する。

【００８９】慣性航法装置４２は、ＧＰＳ受信機４１か
らのビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）お
よび図示しない車速エンコーダからの車両速度に基づ
き、推測航法演算により、走行する車両に固定されたビ
デオカメラ１の位置座標（ｘ，ｙ，ｚ）を正確に求める
と同時に、ビデオカメラの姿勢であるカメラ角（ψ，
ω，κ）、すなわち、撮影方向の、地球座標系の南北軸
に対する傾き角度ψと、東西軸に対する傾き角度ωおよ
び鉛直方向に対する傾き角度κをリアルタイムに求め
る。

【００９０】また、百万分の１秒の分解能の内部タイマ
（図示せず）を有し、ＧＰＳからＰＰＳ信号が入力され
る毎に（毎正秒に）時刻合わせを行い、２０ｍｓｅｃ毎
にＩＮＳで計測した姿勢と位置とをパソコン本体部４３
に送出する。

【００９１】従って、ＧＰＳ時計に対する内部タイマの
誤差の蓄積を回避することができる。

【００９２】この推測航法演算を用いることで、例えば
トンネル内部等のＧＰＳ測位ができない場所において
も、常に測位が可能となっているパソコン本体部４３で
は、図示しない距離センサからの走行距離値を入力し、
例えば５ｍ毎にシャッタ信号をビデオカメラ１に送出し
て道路の進行方向を撮影したビデオ画像を入力する。

【００９３】また、ビデオカメラ１のビデオ画像をビデ
オデッキ４にて再生した場合は、そのビデオ画像とフレ
ーム番号とを入力する。

【００９４】そして、シャッタ時刻とカメラ１の位置座
標、カメラ角および撮影時刻が入力されると、これらの
データとビデオ画像とを対応づける。

【００９５】すなわち、道路標識を撮影したときのビデ
オカメラ１の３次元位置と撮影時刻、ビデオ画像が対応
させられる。具体的には、ＧＰＳ受信機４１より１ｓｅ
ｃ毎に出力されるＰＰＳ信号を用いて慣性航法装置４２
が内部タイマーの同期をとり、この内部タイマーの時刻
ｔ_kと慣性航法装置４２の位置データと姿勢とを対応さ
せて順次記憶すると共に、ビデオ画像を１コマ毎に、そ
の撮影時刻ｔ_pとを対応させて順次記憶する。

【００９６】そして、前回のｔ_k-1と今回の時刻ｔｋと
の間を１／１００万秒間隔で分割し、この分割時刻ｔ
_kkiにおける位置データと姿勢とを補間し、前述の撮影
時刻ｔ_pに一致するデータ（位置、姿勢）を見つけ、こ
のデータと今回のビデオ画像（１コマの）とを対応させ
る。

【００９７】すなわち、走行中における道路標識を撮影
したときのビデオ画像（１コマ）とカメラ位置とカメラ
姿勢とが対応させられたことになる。

【００９８】そして、本実施の形態１の構成によって、
ビデオ画像から道路標識を認識し、この認識した道路標
識に対応する記憶されている道路標識を更新する。

【００９９】つまり、本実施の形態２では上記実施の形
態の構成に加えて図１２に示すデータベース４５と、カ
メラパラメータ設定処理部４６と、標識位置計算処理部
４７と、更新処理部４８とを備えている。

【０１００】データベース４５には、道路名（番号）
と、標識番号（番号で種類が分かる）と、標識の位置
（Ｘ、Ｙ、Ｚ）とが予め記憶されている。

【０１０１】カメラパラメータ設定処理部４６は、オペ
レータによって入力された、ビデオカメラの視矢角、カ
メラサイズ、高さ、光学特性等（総称してカメラパラメ
ータという）を標識位置計算処理部４７に設定する。

【０１０２】標識位置計算処理部４７は、入力されたカ
メラ姿勢、カメラ位置、撮影時刻ｔｐ、ビデオ画像（１
コマ）とを前述の具体的な記載のようにして対応させ
る。

【０１０３】そして、前述のカメラパラメータと、前述
のようにして求めたビデオ画像を撮影したときのカメラ
位置及び姿勢とを用いて、ビデオ画像内における道路標
識とカメラとの相対位置を求め、この相対位置とカメラ
位置及び姿勢等からビデオ画像内の道路標識の絶対位置
を決定して更新処理部４８に送出する。

【０１０４】ここでカメラと道路標識との相対位置の計
算について説明する。

【０１０５】図１３に示すようにカメラ座標系（ＸＹ
Ｚ）を定義する。ここで、カメラ座標系のＸ軸と画像平
面のｘ軸と平行し、Ｙ軸がｙ軸と平行する。カメラ座標
系のＺ軸がカメラの向きと同じである。画像平面上で検
出された道路標識の中心位置は（ｘ_i，ｙ_i）であり、標
識のサイズはｓ_iであるとすると、三角関係によって、
検出された道路標識とカメラとの相対位置（Ｘ_i，Ｙ_i，
Ｚ_i）は数１１（式１１）で与えられる。

【０１０６】

【数１１】 ここで、ｋはカメラの焦点距離、１ピクセルあたりのサ
イズなど諸パラメータによって決められる常数であり、
Ｓ_iは標識の実際のサイズである。

【０１０７】次に、更新処理部４８は、認識した標識番
号ｋｉと道路番号とを標識認識処理部２６から入力し、
標識位置計算処理部４７で求められた標識の絶対位置に
対応する位置データのレコードを引当て、そのレコード
の標識番号を認識した標識番号ｋｉに更新する。

【０１０８】従って、認識した道路標識と車両の位置情
報、カメラパラメータ等から道路情報を更新できる。

【０１０９】

【発明の効果】以上のように本発明によれば、ビデオ画
像が動画で表示されると、画面中心から画面の周囲に放
射状に拡大する道路標識がスリット線にかかり、このと
きスリットにかかるカラーデータ（ＲＧＢ）のみをＨＳ
Ｖ変換して、この色と予め検出するための道路標識の色
とから存在確率を判断し、スリット上に存在する可能性
があるときは、所定の大きさエリアを画像平面に設定す
る。

【０１１０】そして、このエリア内の全域に渡って標識
色が存在するときに、そのエリア内の画像データの輪郭
に対して、各点の接線角度のヒストグラムを求めて、予
め記憶されている道路標識の角度分布に一致するものを
ビデオ画像の道路標識と決定する。

【０１１１】次に、ビデオ画像のエリア内の画像データ
を予め記憶されている標準標識の画像データとマッチン
グし、道路標識を認識する。

【０１１２】従って、画像全体を処理する従来手法と比
べ、道路標識の検出から認識に至る全てのプロセスにお
いて、総合的に処理時間を短縮することができるという
効果が得られている。

【図面の簡単な説明】

【図１】本発明の実施の形態１の道路標識自動認識装置
の概略構成図である。

【図２】実施の形態１の道路標識自動認識装置の概略を
説明する説明図である。

【図３】テンプレートを説明する説明図である。

【図４】本実施の形態１の動作を説明するフローチャー
トである。

【図５】本実施の形態１の動作を説明するフローチャー
トである。

【図６】スリットを説明する説明図である。

【図７】道路標識の存在範囲の算出を説明する説明図で
ある。

【図８】色相による存在確率のイメージ図である（ここ
で、横軸は色相であり、縦軸は強調因子（０〜３）であ
る）。

【図９】エリア内の画像データの輪郭を説明する説明図
である。

【図１０】接線角度の算出を説明する説明図である。

【図１１】実施の形態２の道路標識自動認識装置の外観
図である。

【図１２】実施の形態２の概略構成図である。

【図１３】カメラと道路標識との相対位置の算出を説明
する説明図である。

【図１４】ビデオ画像の道路標識の輪郭のなぞり方法と
角度分布表との関係を説明する説明図である。

【図１５】従来の道路標識の認識方法を説明するための
説明図である。

【符号の説明】

１ ビデオカメラ ２ ビデオテープ ４ ビデオデッキ １０ 道路標識自動認識装置 １１ ビデオキャプチャー １４ タッチパネル １５ スリット設定処理部 １６ ＨＳＶ変換処理部 １７ フレームメモリ １８ 標識有無仮判定処理部 １９ 検出エリア設定処理部 ２０ 標識確率計算処理部 ２１ 標識存在判定処理部 ２４ 輪郭検出処理部 ２５ 形状種類決定処理部

【手続補正書】

【提出日】平成１１年４月１６日（１９９９．４．１
６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正内容】

【００６８】前述の式において、色相だけを利用すると
したとき、Ｐ_s（ｓ）＝Ｐ_v（ｖ）＝１とおいた場合のＰ
（ｈ，ｓ，ｖ）＝Ｐ_h（ｈ）の変換曲線のイメージを図
８に示す。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正内容】

【００７７】

【数７】 上式（７）で求められた接線角度θ_iは、図１０に示す
ようにπの不確定性が存在する。ここで、点（ｘ_i-w，
ｙ_i-w）と点（ｘ_i+w，ｙ_i+w）から求められた接線に垂
線を引き、交点を（ｘ’_i-w，ｙ’_i-w）と（ｘ’_i+w，
ｙ’_i+w）で表す。もし数８（式８）または数９（式
９）が負であれば、数７で計算された接線角度θ_iにπ
を加算する。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 内田 修 東京都新宿区新宿４−２−18新宿光風ビル アジア航測株式会社内 (72)発明者 坂内 正夫 東京都港区六本木７−22−１ 東京大学生 産技術研究所内 Ｆターム(参考） 2C032 HB11 5B057 AA16 CC03 CE18 DA06 DB02 DB06 DC08 DC16 5H180 AA01 BB15 CC04 CC12 FF04 FF05 FF14 5L096 BA04 FA02 FA04 FA06 FA15 FA67 GA17 GA40 GA41 9A001 HH28 HH30 JJ77 KK56

Claims (11)

【特許請求の範囲】
1. 【請求項１】 道路標識が設けられた道路を走行しなが
   ら進行方向を撮影したときのビデオ画像の初期画像を静
   止画で画面に表示させた後に、前記ビデオ画像を動画で
   表示させたとき、前記道路標識が画面にて最も大きく見
   えてくるとき道路標識画像をとらえるためのスリット線
   を前記画面に設定する工程と、 前記ビデオ画像における前記道路標識の標識色を入力す
   る工程と、 前記スリット線の設定後に、前記ビデオ画像を動画で前
   記画面に表示させる工程と、 前記ビデオ画像の動画表示に伴って、ＲＧＢの画像デー
   タを前記スリット線に沿ってＨＳＶ変換する工程と、 前記ＨＳＶ変換された画像データの値を用いて、色相、
   飽和度、明度から前記スリット線に標識色が存在する存
   在確率を求める工程と、 前記標識色が存在する確率が高いときには、その画像デ
   ータを得た前記スリット線の位置に重なる画像平面の座
   標範囲に所定の大きさのエリアを設定する工程と、 前記エリア内の全ての画像データをＨＳＶ変換し、これ
   らの値から前記標識色の存在確率を求め、該存在確率が
   高いときは、前記エリア内の道路標識画像の輪郭を求
   め、この輪郭の角度分布から前記道路標識画像の形状を
   決定し、この形状と前記道路標識画像の情報の分布関数
   から前記道路標識画像を認識する工程とを有することを
   特徴とするビデオ画像の道路標識自動認識方法。
2. 【請求項２】 前記存在確率は、前記ＨＳＶの画像デー
   タの色と、前記入力された標識色との類似度を、色相、
   飽和度、明度毎にそれぞれ関数で定義し、これらの関数
   の積を前記標識色の存在確率とすることを特徴とする請
   求項１記載のビデオ画像の道路標識自動認識方法。
3. 【請求項３】 前記道路標識画像の形状の決定は、 前記道路標識の形状を形成する辺の角度の分布を示す標
   識形状角度分布表を、全ての道路標識形状毎に予め設
   け、 前記エリアが設定されたとき、そのエリア内の所定レベ
   ル以上の画像データ群を前記道路標識画像とし、この輪
   郭を形成する点列の各点の接線角度を算出する工程と、 前記算出角度が前記予め設けられた標識形状角度分布表
   の角度に対応したとき、その角度に投票する工程と、 前記輪郭を一周する毎に、前記投票された投票角度の分
   布と前記標識形状角度分布表と比較し最も類似する形状
   を前記道路標識画像の輪郭形状と認識する工程とからな
   ることを特徴とする請求項１又は２記載のビデオ画像の
   道路標識自動認識方法。
4. 【請求項４】 前記道路標識画像の認識は、 道路標識の特徴を正規化分布で、全ての道路標識毎に、
   標識番号と対応させて予め記憶し、 前記輪郭形状が認識されたとき、前記道路標識画像の
   縦、横方向の積分分布を求めて正規化し、この正規化分
   布と、予め記憶されている前記正規化分布に最も相関が
   高いものを前記撮影した道路標識画像と認識する工程と
   を有することを特徴とする請求項１、２又は３記載のビ
   デオ画像の道路標識自動認識方法。
5. 【請求項５】 前記認識した道路標識画像に対応する標
   識番号と位置座標を外部に知らせることを特徴とする請
   求項４記載のビデオ画像の道路標識自動認識方法。
6. 【請求項６】 道路標識が設けられた道路を走行しなが
   ら進行方向を撮影したときのビデオ画像の初期画像を静
   止画で画面に表示させた後に、前記ビデオ画像を動画で
   表示させたとき、前記道路標識が画面にて最も大きく見
   えてくるとき道路標識画像をとらえるためのスリット線
   を前記画面に描かせ、前記スリット線に重なる所定の色
   の画像データ群から前記道路標識の形状、色、特徴等を
   認識するビデオ画像の道路標識自動認識装置であって、 前記画面に描かれたスリット線の点列データの座標値を
   抽出し、これらの座標値から前記スリット線の関数を求
   め、この範囲を変換範囲として設定するスリット設定処
   理部と、 変換範囲が設定される毎に、該変換範囲の初めから終わ
   りまでの画像データをＨＳＶ変換するＨＳＶ変換処理部
   と、 前記ＨＳＶ変換された画像データの値と、予め入力され
   た標識色との類似度を、色相、飽和度、明度毎にそれぞ
   れ関数で定義し、これらの関数の積を前記標識色の存在
   確率とする標識確率計算処理部と、 前記スリット線の関数を前記ＨＳＶ変換部に設定したと
   き、前記標識確率計算処理部の存在確率に基づいて前記
   スリット線に前記道路標識が重なっているかの仮判定を
   行う標識有無仮判定処理部と、 前記スリット線に前記道路標識が重なっている可能性が
   あると判定したときは、前記スリット線に重なる前記画
   像平面のその範囲に所定の大きさのエリアを関数で前記
   ＨＳＶ変換処理部に設定する検出エリア設定処理部と、 前記標識確率計算処理部で前記エリアの全般に前記入力
   された標識色が存在する確率が高いと判定されたとき
   は、そのエリア内の前記標識色の画像データ群の輪郭を
   検出する輪郭検出処理部と、 前記輪郭検出処理部で検出された輪郭の点列の接線角度
   を算出し、該接線角度の分布から前記道路標識画像の形
   状を決定する形状種類決定処理部とを有することを特徴
   とするビデオ画像の道路標識自動認識装置。
7. 【請求項７】 前記エリア内に前記標識色が存在する確
   率が高いときは、前記エリア内の画像データを２値化す
   る２値化処理部と、 該２値化された画像データの不要成分をノイズとして除
   去し、この画像データを前記輪郭検出処理部に送出する
   フィルタリング処理部とを有することを特徴とする請求
   項６記載のビデオ画像の道路標識自動認識装置。
8. 【請求項８】 前記形状種類決定処理部は、 前記道路標識の形状を形成する辺の角度を、特定角度と
   し、この特定角度毎に配列した標識形状角度分布表を、
   全ての道路標識毎に予め設けたデータベースと、 前記エリアが設定されたとき、そのエリア内の所定レベ
   ル以上の画像データ群を前記道路標識画像とし、この輪
   郭を形成する点列の各点の接線角度を算出する手段と、 前記算出角度が前記特定角度に対応したとき、その特定
   角度のカウンタに前記算出角度を投票する手段と、 前記輪郭を一周する毎に、前記カウンタに投票された投
   票角度の分布を求め、この投票角度の分布と、予め記憶
   されている複数種類の道路標識の形状に最も類似する形
   状を前記道路標識画像の輪郭形状と認識する手段とから
   なることを特徴とする請求項６記載のビデオ画像の道路
   標識自動認識装置。
9. 【請求項９】 前記道路標識の特徴を正規化分布で、全
   ての道路標識毎に、標識番号と対応させて予め記憶され
   たデータベースと、 前記輪郭形状が決定されたとき、前記道路標識画像の
   縦、横方向の積分分布を求めて正規化し、予め記憶され
   ている前記正規化分布の中で、この正規化分布に最も相
   関が高いものを前記撮影した道路標識画像と認識する標
   識認識処理部とを有することを特徴とする請求項６及び
   ７記載のビデオ画像の道路標識自動認識装置。
10. 【請求項１０】 前記標識認識処理部は、 前記認識した道路標識画像に対応する標識番号を外部に
    知らせることを特徴とする請求項９記載のビデオ画像の
    道路標識自動認識装置。
11. 【請求項１１】 ビデオ画像の初期画像を静止画で画面
    に表示させたときに、前記画面に描かれたスリット線の
    関数を求めさせる手段と、 前記ビデオ画像における前記道路標識を識別するための
    標識色を読み込む手段と、 前記スリット線が描かれた後に、ビデオデッキに再生信
    号を送出して前記ビデオ画像を動画で前記画面に表示さ
    せる手段と、 前記ビデオ画像の動画表示に伴って、前記スリット線に
    重なるＲＧＢの画像データを前記スリット線に沿ってＨ
    ＳＶに変換させる手段と、 前記ＨＳＶ変換された画像データの値を用いて、色相、
    飽和度、明度から前記スリット線に標識色が存在する存
    在確率を求めさせる手段と、 前記標識色が存在する確率が高いときには、その画像デ
    ータを得た前記スリット線の位置に重なる画像平面の座
    標位置に所定の大きさのエリアを設定させる手段と、 前記エリア内の全ての画像データをＨＳＶ変換させ、こ
    れらの値から前記標識色の存在確率を求めさせ、該存在
    確率が高いときは、前記エリア内の道路標識画像の輪郭
    を求めさせ、この輪郭の角度分布から前記道路標識画像
    の形状を決定させ、この形状と前記道路標識画像の情報
    の分布関数から前記道路標識画像を認識させる手段とか
    らなるビデオ画像の道路標識自動認識のプログラムを記
    憶した記憶媒体。