JP7145227B2

JP7145227B2 - 標識認識装置

Info

Publication number: JP7145227B2
Application number: JP2020550281A
Authority: JP
Inventors: 雄飛椎名; 健永崎; 啓佑岩崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-10-04
Filing date: 2019-09-19
Publication date: 2022-09-30
Anticipated expiration: 2039-09-19
Also published as: WO2020071133A1; JPWO2020071133A1; CN112840349A; CN112840349B

Description

本発明は、道路標識を認識する標識認識装置に関する。

安全運転や自動運転に向けた社会的認知度の向上により、車載カメラ装置における物体認識や距離測定への要求は高度化している。

車載カメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、白線、路面、標識など）を詳細に把握し、運転支援時の安全性の向上に寄与するデバイスである。

車載カメラ装置における物体認識の対象の一つとして標識がある。一般に、標識認識機能は、地図情報と連携して自動運転を行う車の加速又は減速に使われる。また、先進運転支援システムの評価指標であるＥｕｒｏＮＣＡＰ（２０１６年～２０２０年アップデート）においても、速度支援システム（ＳＡＳ：Speed Assistance Systems）に関する評価項目が設けられており、その重要度は増している。

そして、標識を認識する装置については、特許文献１に記載されている。

特開２０１７－２６４３０号公報

車載カメラ装置の道路標識の認識機能の課題は、市街地や高速道路等の様々な走行条件下において、対象とする道路標識に対して道路標識の認識結果を出力し、道路標識ではない物体には道路標識の認識結果を出力しないという正確性を高めることにある。

しかし、特許文献１に記載の装置は、画像処理により外観から標識を識別するため、市街地や高速道路に設置されている道路標識に酷似した看板、又は、トラック等の大型車両の背後に貼付されている速度遵守ステッカーなど、対象とする道路標識と見た目が酷似している物体についても道路標識であると誤認識してしまう可能性があった。

本発明は、上記の問題点を解決するためになされたものであり、道路標識に酷似した速度遵守ステッカーなどの物体を道路標識として誤って標識認識をすることを抑制する標識認識装置を得ることを目的とする。

上記目的を達成するために、本発明は、少なくとも一つの撮像部と、前記撮像部で得た画像から標識候補を推定する標識推定部と、前記撮像部の撮像範囲に含まれる所定の立体物を認識する立体物認識部と、前記標識推定部による前記標識候補の推定に関する情報と前記立体物認識部による前記立体物の認識に関する情報から前記標識候補が道路標識であるか否かを判定する標識判定部と、を備え、前記標識判定部は、前記立体物認識部で認識した前記立体物と、前記標識推定部で取得した前記標識候補の包含関係を判定し、前記標識候補が前記立体物に包含される場合には、前記標識候補は道路標識でないと判定する標識認識装置である。

本発明に係る標識認識装置によれば、市街地や高速道路など様々な走行条件において出現する対象標識に酷似した物体に対して誤った標識認識結果を出力することを抑制することができる。

本発明の実施の形態に係る標識認識装置の概略構成を示すブロック図である。カメラ装置による処理フロー図である。図２の標識判定の処理内容を表すフローチャートである。バスの背後に設けられた道路標識候補の一例の図である。標識候補の拡大画像標識候補の拡大画像道路上に設けられた道路標識候補の図である。バスの背後に設けられた道路標識候補の他の例の図である。バスの背後に設けられた道路標識候補の上面図である。

－システム構成－
図１は、本発明の実施の形態に係る標識認識装置の概略構成を示すブロック図である。図１に示されるように、本実施の形態に係る標識認識装置１は、車両に搭載され車両前方の撮影対象領域の画像処理に基づいて車外環境を認識する装置である。標識認識装置１は、画像処理により例えば、道路の白線、歩行者、車両、その他の立体物、信号機、道路標識、点灯ランプなどの認識を行い、道路標識の真偽を判定する機能を持つ。その他、当該標識認識装置１を搭載した自己の車両のブレーキ及びステアリングなどの調整を行う機能も備え得るが、この機能に関しては省略可能である。

標識認識装置１は車両に搭載された道路標識の認識システムであり、カメラ装置１００、ＣＡＮ（Controller Area Network）１１０、出力装置１１４等を備えている。

カメラ装置１００は、左カメラ１０１、右カメラ１０２、画像入力インタフェース１０３、画像処理部１０４、演算処理部１０５、記憶部１０６、ＣＡＮインタフェース１０７、制御処理部１０８、及びバス１０９を備えている。

画像入力インタフェース１０３、画像処理部１０４、演算処理部１０５、記憶部１０６、ＣＡＮインタフェース１０７、制御処理部１０８は、単一又は複数のコンピュータユニットにより構成することができる。本実施形態においては単一のコンピュータユニットで構成した場合を例示しており、画像処理部１０４、制御処理部１０８、記憶部１０６、演算処理１０５、画像入力インタフェース１０３、及びＣＡＮインタフェース１０７は、カメラ装置１００の内部バス１０９を介して相互に接続されている。

また、カメラ装置１００は、前述したＣＡＮ１１０を介して他のコンピュータユニットや出力装置１１４に接続されている。以下、各部について順次説明していく。

左カメラ１０１と右カメラ１０２は、画像情報を取得するために左右に配置されている。左カメラ１０１と右カメラ１０２は左右に設定間隔を空けて車載されており、所定領域がそれぞれ視野に納まるようにしてある。

また、画像入力インタフェース１０３は、左カメラ１０１と右カメラ１０２の撮像を制御して、撮像した画像を取り込む。画像入力インタフェース１０３を通して取り込まれた画像データは、バス１０９を通して例えば画像処理部１０４及び演算処理部１０５に送られる。

画像処理部１０４は、左カメラ１０１の撮像素子から得られる第一の画像と、右カメラ１０２の撮像素子から得られる第二の画像とを比較して、それぞれの画像に対して撮像素子に起因するデバイス固有の偏差の補正、及びノイズ補間などの画像補正を行い、これを記憶部１０６に記憶する。さらに、第一の画像及び第二の画像の間で、相互に対応する箇所を計算して、視差情報（同一点を異なった二点から眺めた時に見える方向の違い、すなわち二つの方向の間の角度の情報）を計算し、これを記憶部１０６に記憶する。

演算処理部１０５は、標識推定部１１１と立体物認識部１１２と標識判定部１１３を有する。

標識推定部１１１は、左カメラ１０１及び右カメラ１０２で撮像され記憶部１０６に蓄えられた画像から標識候補を推定する。ここで標識候補の推定の基礎とする画像は、左カメラ１０１で撮影された画像、右カメラ１０２で撮影された画像のいずれでも良く、また双方のカメラで撮影された画像を用いても良い。推定方法に関しては、例えば画像処理により認識された形状を例えば記憶部１０６に格納された道路標識のデータベースと照合し、いずれかの道路標識との合致度が一定以上のものを道路標識の候補と推定する。

立体物認識部１１２は、画像処理部１０４で演算した視差情報から左カメラ１０１及び右カメラ１０２の撮像範囲に含まれる立体物を認識する。具体的には、左カメラ１０１及び右カメラ１０２で得た画像からステレオ画像処理によって立体物を認識する。立体物認識部１１２は、記憶部１０６に蓄えられた画像及び視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な所定の立体物の認識を行う。認識対象の立体物は、人、車、その他の障害物、例えば信号機、道路標識、車のテールランプ及びヘッドライトなどである。これら対象となる立体物のデータベース（例えば識別するための基準データ）は例えば記憶部１０６に格納されており、立体物認識部１１２は入力された撮影画像について各被写体の切り出し画像とその視差情報等からデータベースを基に立体物を認識する。

標識判定部１１３は、標識推定部１１１による標識の推定に関する情報と立体物認識部１１２による立体物の認識に関する情報から、標識推定部１１１で推定した標識候補が道路標識であるか否かを判定する。演算処理部１０５による道路標識の認識結果や中間的な計算結果（例えば標識推定部１１１や立体物認識部１１２の演算結果等）は適宜、記憶部１０６に記憶される。この判定アルゴリズムについては後述する。

記憶部１０６は例えばメモリであり、画像処理部１０４や演算処理部１０５で得られた情報等を記憶する。

ＣＡＮインタフェース１０７はＣＡＮ１１０に対する入出力部であり、カメラ装置１００の演算情報は、このＣＡＮインタフェース１０７を介してＣＡＮ１１０に出力され、ＣＡＮ１１０を介して自己の車両の制御システムに出力される。具体的には、ＣＡＮインタフェース１０７は、ＣＡＮ１１０を介して、標識判定部１１３が標識候補を道路標識であると判定した場合に出力装置１１４に標識認識結果を出力する。

制御処理部１０８は、以上のカメラ装置１００の動作について、各処理部が異常動作を起こしていないか、又はデータ転送時にエラーが発生していないかどうかなどを監視して異常動作を防ぐ役割を果たす。

以上のようにカメラ装置１００で演算された道路標識の判定結果等は、ＣＡＮ１１０を介して出力装置１１４や他の車載コンピュータユニット（例えば車両制御を実行するユニット）に送信される。出力装置１１４は運転室に搭載された例えばモニタやランプ、ブザー、スピーカ等の表示出力や音声出力をする装置であり、カメラ装置１００から入力された情報を基に道路標識を視覚的又は聴覚的に乗員に報知する。報知の方法は単に道路標識の有無のみを知らせるようにすることもできるし、道路標識の種類も併せて知らせるようにすることもできる。また、視覚的出力態様と聴覚的出力態様の少なくとも一方を選択できる構成とすることもできる。他のコンピュータユニットで車両のブレーキやステアリングの制御を実行する場合には、他のコンピュータユニットによる制御の基礎情報にカメラ装置１００で演算された道路標識の情報等が付加される。

－処理フロー－
次に図２を基にカメラ装置１００による処理フローを説明する。図２は、カメラ装置１００による処理フロー図である。図２に示した車載カメラ装置２００は、図１のカメラ装置１００を模式的に表したものである。まず左カメラ１０１による撮像２０１と右カメラ１０２による撮像２０２が行われる。そして、左カメラ１０１で撮像された画像データ２０３及び右カメラ１０２で撮像された画像データ２０４のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理や、前方の撮像した物体に対して測定距離（視差情報）を計算するなどのステレオ画像処理２０５を行う。このステレオ画像処理２０５については、画像処理部１０４により実行される。

次に、ステレオ画像又は諧調画像の所定の切り出しなどの画像処理である立体物検知２０６を行う。立体物検知２０６の結果などは、図１の記憶部１０６に記憶される。その後、ステレオ画像処理２０５で得られた測定距離結果２０７と立体物検知２０６の処理結果とを基に、画像処理（物体認識のための計算処理）である物体認識２０８の処理が実施される。これら立体物検知２０６及び物体認識２０８の処理は、図１の立体物認識部１１２で行われる。前述した通り、ここで認識される立体物は、人、車、その他の障害物、例えば信号機、道路標識、車のテールランプ及びヘッドライトなどである。その後、立体物検知２０６及び物体認識２０８の処理で得られた物体認識結果２１６（認識された立体物の情報及び立体物とは認識されなかったその他の視差情報を含む）を記憶部１０６に保存する保存処理２１５が行われる。本実施の形態では、立体物認識部１１２の物体認識結果２１６は記憶部１０６に保存されると同時に、ＣＡＮ１１０を介して他のコンピュータユニットや標識判定部１１３に出力される。

カメラ装置１００においては以上の物体認識の処理と並行して、単眼画像を入力として標識認識処理２０９が実施される。標識認識処理２０９は、入力画像から円形物体を抽出する標識検知２１０、円形物体の種別を特定する標識識別２１１、画像間での対応付けを行う標識追跡２１２、及び複数フレームでの総合的な判断を下す標識判定２１３の４つの処理で構成される。

すなわち、本実施形態では判定対象とする道路標識の外形として円形を想定しており、標識検知２１０の処理では、例えば画像処理により真円との一致度が一定以上と推定される形状が標識候補として検出される。続く標識識別２１１の処理では、標識検知２１０の処理で検出した標識候補が例えば記憶部１０６に格納された標識のデータベース（認識辞書）と照合され、標識候補の種別（標識候補がどの道路標識の候補であるのか）が識別される。標識追跡２１２の処理では、カメラ視野の中で車両の走行等に伴って変位し得る標識候補が、連続するフレーム（カメラ画像）間における画像処理による対応付けにより追跡される。ここまでの標識検知２１０、標識識別２１１、標識追跡２１２までの各処理が例えば標識推定部１１１により実行される。

標識判定２１３の処理では、例えば複数フレームの画像から標識候補が本物の道路標識であるかが判定される。この標識判定２１３の処理は標識判定部１１３により実行され、立体物認識部１１２による物体認識２０８の処理で得られた物体認識結果２１６に基づいて実行される点が特徴である。本実施形態では、立体物認識部１１２で認識された立体物その他の視差情報と標識推定部１１１で推定された標識候補との包含関係及び位置関係から真の道路標識か否かが判定される。この標識判定の処理の詳細については後述する。

最後に、以上の標識認識処理２０９で得られた標識認識結果を記憶部１０６に保存する保存処理２１４が行われる。標識認識処理２０９による標識認識結果は記憶部１０６に保存されると同時に、ＣＡＮ１１０を介して他のコンピュータユニットや出力装置１１４に出力される。本実施形態では、対象標識と酷似した物体（つまり真の道路標識ではないと推定される物体）については、出力装置１１４に標識認識結果が出力されることはなく、真の道路標識と推定される物体についてのみ出力装置１１４に標識認識結果が出力されて乗員に報知される。

図３は、図２の標識判定の処理内容を表すフローチャートである。以下、図３に基づいて本発明の標識判定２１３の処理フローについて説明する。

（ステップ５０１）
図２における標識追跡２１２の結果を入力として、複数の画像での標識候補の識別結果を得る。その後、処理は、次のステップ５０２へ移行する。

（ステップ５０２）
取得した各画像での識別結果を考慮し、最終的な判定結果を出力する。判定方法としては、各画像の識別結果の多数決を取得しても良いし、識別結果と同時に得られる信頼度まで考慮して判定結果を取得しても良い。なお、自車両の走行速度が遅いほど多くの画像の識別結果が取得可能であり、また、画像ボケも少ないために有利な状況となる。その後、処理は、次のステップ５０３へ移行する。

（ステップ５０３）
第一の確認として標識候補と、立体物認識部１１２で認識された立体物との重なり具合をチェックする。標識候補と立体物の包含関係を確認し、標識候補が立体物に全て包含されていた場合、道路上に設置された道路標識である可能性は低いと判断し、標識結果としては出力しないこととする。その後、処理は終了する。

一方、標識候補が立体物に包含されていない場合は、道路上に設置されている道路標識であると判定し、処理は、ステップ５０４へ移行する。

（ステップ５０４）
本ステップはステップ５０３では道路標識と認識され得るが実際には道路標識ではない標識候補（つまりステップ５０３の判定漏れ）の一部を検出するための処理であり、標識候補が遮蔽物より外側（例えば画像内の左右の外側）にあるか判定する。遮蔽物とは、立体物認識部１１２で立体物に関するデータベースと照合できず所定の立体物とは認識されなかった視差情報のことをいう。遮蔽物と扱われる視差情報の１つの典型例は、現実には所定の立体物であって視差情報は入力されたものの撮影画像に全体が映っておらず所定の立体物と認識できない被写体の一部であって、撮影画像に全部が映っている部分（図６のバス８０１の側面８０２等）である。仮に遮蔽物が自車両（カメラ）と現実の道路標識の間にある場合、道路標識の全体は映らず標識候補は真の道路標識ではない可能性が高い。このような事象を識別するために、標識候補が遮蔽物よりも画像内において左右方向の外側に位置しているか（標識候補の左右方向の内側に存在する遮蔽物が存在しないか）を判定する。標識候補が遮蔽物よりも外側に位置している場合には、図６及び図７後述する例のように、その標識候補が道路上に設置された道路標識である可能性は低いと判断し、標識結果としては出力しないこととする。つまり、標識候補と自己の車両との間に遮蔽物が位置する場合には、標識候補は道路標識でないと判定される。その後、処理は終了する。

一方、標識候補が遮蔽物より外側に位置していない場合（標識候補の左右方向の内側に遮蔽物が存在しない場合）は、道路上に設置されている道路標識であると判定し、処理は、ステップ５０５へ移行する。

（ステップ５０５）
標識判定２１３は、標識候補が道路標識である旨の標識判定結果を出力する。その後、処理は終了する。

－実施例１－
図４Ａは、バスの背後に設けられた道路標識候補の一例の図である。図４Ａに示されるように、バス６０１は、後面に標識候補６０３及び標識候補６０４を備えている。なお、バス６０１の後面は、カメラ装置１００によって立体物６０２として認識されている。

欧州においてトラック及びバスなどの大型車両の後面には、この車両は一般道では標識候補６０３に示された８０ｋｐｈで走行し、高速道路では標識候補６０４に示された１００ｋｐｈで走行するということを示す、速度遵守ステッカーが貼りつけられている。

図４Ｂ、及び図４Ｃの標識候補６０３及び標識候補６０４の拡大画像に示されるように、これらの物体は速度制限標識に酷似しているため従来のカメラ装置の処理では、標識認識結果として出力されてしまう。

一方で、本発明の標識認識装置１は、標識候補６０３及び標識候補６０４が立体物６０２に包含されているので、図３のステップ５０３において道路上に設置された道路標識である可能性は低いと判断し、標識認識結果としては出力することを抑制する。図４Ａの例では、このように標識候補６０３及び標識候補６０４が道路標識ではないことが識別され、乗員への誤報が回避される。

－実施例２－
図５は、道路上に設けられた道路標識候補の図である。図５に示されるように、標識候補７０１は、立体物７０２に包含されていない。また、標識候補７０１は、立体物７０３にも包含されていない。この例の場合、標識候補７０１が立体物７０２にも立体物７０３にも包含されていないため、図３のステップ５０３からステップ５０４に手順が移行する。ステップ５０４においては標識候補７０１が遮蔽物より画面内で外側にあるかが判定されるが、遮蔽物が検出されていないため判定が満たされることなくステップ５０５に手順が移り、標識候補７０１が道路上に設置されている真の道路標識として出力装置１１４に出力される。

－実施例３－
図６は、バスの背後に設けられた道路標識候補の他の例の図である。図６の例では、バス８０１の後面８０４に貼り付けられた速度遵守ステッカーが標識候補８０３として認識されている。バス８０１のような大型車両が隣の車線を走行している場合、又は大型車両が路肩に停車している場合、バス８０１の後面８０４の位置がカメラ装置１００の撮像範囲を逸脱して、後面８０４の全部が映らずバス８０１がバスとして認識されない。図６の例ではバス８０１の後面８０４に標識候補８０３が包含されているが、後面８０４が所定の立体物として認識されないため図３のステップ５０３の判定では速度遵守ステッカーである標識候補８０３が道路標識と判定され得る。

しかし、バス８０１の側面８０２については全体が映っており、所定の立体物とは認識されずに遮蔽物として分類される。図６の例では遮蔽物である側面８０２の外側に標識候補８０３が位置していることから、図３においてステップ５０４の判定が満たされ、標識候補８０３が誤って道路標識として出力装置１１４に出力されることが回避できる。

図７は、バスの背後に設けられた道路標識候補の上面図（図６の例を俯瞰して表したモデル図）である。図７に示されるように、バス８０１の側面８０２と標識候補８０３の位置関係を見ると、仮に標識候補８０３が道路上に設置されている道路標識８０５であった場合には、この側面８０２を持つバス８０１に遮蔽されて道路標識８０５は撮影画像に映らないはずである。このように、標識候補８０３と側面８０２の位置関係を確認することで、図３のステップ５０４に示されるように、誤った標識認識結果を出力することを防ぐことができる。

－変形例－
なお、本実施の形態でカメラ装置１００が左カメラ１０１及び右カメラ１０２を備えた例を示したが、本発明はこれに限らず左カメラ１０１又は右カメラ１０２のいずれか一方を省略し、立体物認識を単眼処理で実行する構成とすることもできる。カメラをまた、図３の例ではステップ５０３，５０４の手順を持つフローを説明したが、例えばステップ５０３の手順で道路標識の真偽判定について十分な精度が得られる場合には、ステップ５０４の手順は省略しても良い。

１標識認識装置、１００カメラ装置、１０１左カメラ、１０２右カメラ、１０３画像入力インタフェース、１０４画像処理部、１０５演算処理部、１０６記憶部、１０７ＣＡＮインタフェース、１０８制御処理部、１０９バス、１１０ＣＡＮ、１１１標識推定部、１１２立体物認識部、１１３標識判定部、１１４出力装置、２００カメラ装置、２０１撮像、２０２撮像、２０３画像データ、２０４画像データ、２０５ステレオ画像処理、２０６立体物検知、２０７測定距離結果、２０８物体認識、２０９標識認識処理、２１０標識検知、２１１標識識別、２１２標識追跡、２１３標識判定、２１４保存処理、２１５保存処理、６０１バス、６０２立体物、６０３標識候補、６０４標識候補、７０１標識候補、７０２立体物、７０３立体物、８０１バス、８０２立体物、８０３標識候補、８０４後面、８０５道路標識

Claims

少なくとも一つの撮像部と、
前記撮像部で得た画像から標識候補を推定する標識推定部と、
前記撮像部の撮像範囲に含まれる所定の立体物を認識する立体物認識部と、
前記標識推定部による前記標識候補の推定に関する情報と前記立体物認識部による前記立体物の認識に関する情報から前記標識候補が道路標識であるか否かを判定する標識判定部と、を備え、
前記標識判定部は、
前記立体物認識部で認識した前記立体物と、前記標識推定部で取得した前記標識候補の包含関係を判定し、前記標識候補が前記立体物に包含される場合には、前記標識候補は道路標識でないと判定する
ことを特徴とする標識認識装置。
請求項１に記載の標識認識装置において、
前記標識推定部は、単一の前記撮像部で得られた画像から単眼画像処理によって前記標識候補の推定をする、
ことを特徴とする標識認識装置。
請求項１に記載の標識認識装置において、
前記立体物認識部は、複数の前記撮像部で得た画像からステレオ画像処理によって前記立体物を認識する
ことを特徴とする標識認識装置。
請求項３に記載の標識認識装置において、
前記標識判定部は、
前記ステレオ画像処理で前記立体物と認識されなかった視差情報である遮蔽物と、前記標識推定部で取得した前記標識候補との位置関係を判定し、前記標識候補が前記遮蔽物の外側に位置する場合には、前記標識候補は道路標識でないと判定することを特徴とする標識認識装置。
請求項１に記載の標識認識装置において、
前記標識判定部による標識認識結果を出力する出力装置をさらに備えた、
ことを特徴とする標識認識装置。
請求項５に記載の標識認識装置において、
前記出力装置は、モニタ又はブザーである
ことを特徴とする標識認識装置。
請求項３に記載の標識認識装置において、
前記標識判定部は、
前記標識候補が前記立体物に包含されておらず、前記標識候補が道路標識であると判定された場合に、更に、前記ステレオ画像処理で前記立体物と認識されなかった視差情報である遮蔽物と、前記標識推定部で取得した前記標識候補との位置関係を判定し、前記標識候補が前記遮蔽物の外側に位置する場合には、前記標識候補は道路標識でないと判定する
ことを特徴とする標識認識装置。
請求項１に記載の標識認識装置において、
前記立体物認識部で認識する前記立体物は、人、車、信号機、車のテールランプ又はヘッドライトである
ことを特徴とする標識認識装置。