JP3811238B2

JP3811238B2 - 画像情報を利用した車両用音声案内装置

Info

Publication number: JP3811238B2
Application number: JP33603396A
Authority: JP
Inventors: 徹伊藤; 賢一村田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1996-12-16
Filing date: 1996-12-16
Publication date: 2006-08-16
Anticipated expiration: 2016-12-16
Also published as: JPH10177699A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報に基づいて抽出した特徴物を利用して分岐点を特定し案内を行う画像情報を利用した車両用音声案内装置に関する。
【０００２】
【従来の技術】
従来より、車両に搭載される装置の１つとして、ナビゲーション装置が知られており、広く普及されるようになってきている。このナビゲーション装置は、通常ディスプレイを有し、ここに現在地表示を含む地図を表示することを基本とする。そして、目的地を設定した場合には、記憶している地図情報に基づいて、目的地までの最適経路を探索する。そして、目的地までの経路が設定された走行においては、経路を常に表示して、経路案内を行う。
【０００３】
また、走行中は、ドライバーは前方を注視することが必要であり、ディスプレイを注視することはできない。そこで、音声により、右左折などを案内することも行われている。すなわち、案内が必要な案内交差点（分岐点）の手前で「○○ｍ先××交差点を左方向です。」等という案内音声をスピーカから出力し、経路を案内する。これによって、ドライバーは前方を注視したまま耳から案内を得ることができる。
【０００４】
ここで、分岐点の特定には、通常交差点名が用いられるが、必ずしも分かりやすくない。そこで、特開平４−１５２０号公報や特開平４−３２４３１２号公報には、交差点に存在するビル名等の特徴物を案内に利用することが提案されている。このような特徴物を利用することによって、ドライバーに分岐点を分かりやすく説明でき、より好適な経路案内が行える。
【０００５】
【発明が解決しようとする課題】
しかし、上述のような特徴物を利用するものは、二次元地図データ中の特徴物の存在に基づいて、案内文を構成する。従って、道路の起伏などにより、案内が出力されたときに、この案内に利用されている特徴物が見えない可能性もある。また、工事などにより、特徴物が見えなくなっていたり、前方にトラックやバスなどが存在するために特徴物が見えない場合もある。このような場合、特徴物を利用した案内は、非常に分かりにくいものになってしまう。
【０００６】
本発明は、上記問題点を解決することを課題としてなされたものであり、実際に見える特徴物を利用して、案内が行える画像情報を利用した車両用音声案内装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、分岐点の位置情報を含む地図情報を記憶する地図データベースと、自車の現在位置である自車位置を検出する現在位置検出手段とを有し、目的地までの経路が設定された走行においては、その経路上の分岐点であって案内が必要な案内分岐点において、その案内分岐点における経路案内の音声案内を出力する車両用音声案内装置であって、前記現在位置検出手段の検出結果と、前記地図データベースに記憶されている地図情報とに基づき、前記案内分岐点に近づいたことを認識する案内分岐点認識手段と、前方を撮像する車載カメラと、前記案内分岐点手前における車載カメラの撮像結果から音声案内において前記案内分岐点を特定するのに用いる特徴物を抽出する特徴物抽出手段と、抽出された特徴物と自車との位置関係を測定する位置関係測定手段と、前記案内分岐点と自車位置との位置関係と、前記特徴物と自車位置との位置関係と、の両方から求めた案内分岐点と特徴物との位置関係に基づいて、前記特徴物が前記案内分岐点付近に存在する特徴物であることを判定する判定手段と、を備え、前記判定手段によって前記案内分岐点付近に存在すると判定された特徴物の情報によって案内分岐点を特定した音声案内を、前記案内分岐点における経路案内の音声案内に含めて出力することを特徴とする。
【０００８】
このように、本発明では、車載カメラにより得られた撮像結果から特徴物を抽出する。従って、現実に見える特徴物のみが案内に利用され、工事中や、他の車両により見えないものなどを利用した案内が行われることを確実に防止できる。
【００１０】
そして、判定手段により、自車と特徴物の位置関係を判定することで、画像中に存在する特徴物が案内すべき分岐点に存在するものかを確認することができ、誤った特徴物を利用して案内することを効果的に防止できる。
【００１１】
また、本発明は、上記位置関係測定手段は、複数の車載カメラのステレオ測距にて検出した自車と特徴物との距離を測定するものであることを特徴とする。ステレオ測距により、特徴物までの距離を認識することができ、特徴物が案内すべき分岐点に存在するものか否かを確実に判定することができる。
【００１２】
また、本発明は、上記特徴物は信号機であることを特徴とする。信号機は、多くの交差点に設置されており、分岐点を特定するのに非常に有用である。
【００１３】
また、本発明は、上記信号機は特定の色の部分を抽出した後、エッジ検出により特定の色部分の形状を特定して検出することを特徴とする。このように、色を特定することで、容易に信号機を認識することができる。
【００１４】
また、本発明は、上記音声案内には、信号機における色情報を加味することを特徴とする。信号機のその時の色を利用して案内を行うことができ、非常に分かりやすい案内が行える。
【００１５】
本発明は、上記特徴物は行先案内標識であることを特徴とする。行先案内標識には、進路についての情報が含まれており、これを利用して分かりやすい案内が行える。
【００１６】
【発明の実施の形態】
以下、本発明に好適な実施の形態（以下、実施形態という）について、図面に基づいて説明する。
【００１７】
図１は、本実施形態の装置の全体構成を示すブロック図である。ナビ制御部１０は、経路案内のための各種のデータ処理を行う。このナビ制御部１０には、自車位置検出部１２が接続されており、ナビ制御部１０はここからの情報により、常時自車位置（現在位置）を認識する。この自車位置検出部１２は、例えばＧＰＳ（グローバル・ポジショニング・システム）を利用したものであり、ＦＭ多重放送により提供される誤差情報を加味したＤ−ＧＰＳ装置なども利用できる。さらに、光ビーコンや電波ビーコンから供給される位置情報や、マップマッチングによる補正や、進行方向および走行距離から位置を検出する自律航法などを組み合わせることも好適である。
【００１８】
また、ナビ制御部１０には、地図データベース１４が接続されている。この地図データベース１４は、全国の二次元地図情報を記憶しているが、三次元情報を記憶したものでもよい。すなわち、立体交差等の道路の三次元形状データや、交差点周辺のビルの形状等を含む三次元情報を記憶しておくことも好適である。特に案内交差点において、その交差点の形状を三次元で表示する情報を記憶しておくことが好ましい。
【００１９】
また、ナビ制御部１０には、音声合成部１６がＩ／Ｏインタフェース１０ａを介し接続されている。この音声合成部１６は、ナビ制御部１０からの信号に基づき、案内文の音声を合成し、スピーカ（図示せず）から出力する。なお、入力操作部１８は、目的地の入力などを行うためのものである。
【００２０】
さらに、本装置では、車載カメラとして、２つのカメラ２０ａ、２０ｂを有している。このカメラ２０ａ、２０ｂは、車両の前方を撮影するＣＣＤカメラであって、車幅方向に所定距離離して配置されている。このカメラ２０ａ、２０ｂには、それぞれ画像処理部２２ａ、２２ｂが接続されており、カメラ２０ａ、２０ｂにより得られた撮像結果である画像信号が画像処理部２２ａ、２２ｂに供給される。画像処理部２２ａ、２２ｂは画像信号に基づき、デジタルの画像データを得る。画像処理部２２ａ、２２ｂは、認識部２４に接続されており、この認識部２４は、画像データに基づき、特徴物を抽出、認識する。そして、認識部２４の認識結果はナビ制御部１０に供給される。また、認識部２４は、ナビ制御部１０に接続されており、特徴物についての認識結果は、位置関係測定部２６にも供給される。この位置関係測定部２６は、カメラ２０ａ、２０ｂのそれぞれの撮影結果から別個に認識された同一の特徴物の画像中の位置と、カメラ２０ａ、２０ｂの設置位置から、特徴物までの距離をステレオ測距する。そして、位置関係測定部２６もナビ制御部１０に接続されており、測定された特徴物までの距離及び方向についてのデータもナビ制御部１０に供給される。
【００２１】
次に、この装置の動作について、図２のフローチャートに基づいて説明する。まず、経路案内を介する場合には、まず目的地を設定すると共に、現在地を検出する（Ｓ１１）。この目的地の設定は、住所等の入力により行う。なお、入力操作部１８には、タッチパネル等が利用される。また、現在地は、自車位置検出部１２の出力を取り込むことで得られる。
【００２２】
このようにして、目的地が設定された場合には、ナビ制御部１０は、地図データベースに記憶されている地図データを基に、現在地から目的地までの最適経路を探索する（Ｓ１２）。この経路探索は、ダイクストラ法などを用いた通常の方法で行う。
【００２３】
そして、得られた経路が設定されて、目的地に向けての走行が開始された場合には、まず自車位置を検出する（Ｓ１３）。次に、分岐点（案内が必要な分岐する交差点）に近づいているかを判定する（Ｓ１４）。すなわち、目的地までの設定されている経路上で分岐点は予め分かる。そこで、現在地がこの分岐地点に近づいたかを判定する。この判定結果から分岐点に接近したか否かを判定する。分岐点に接近していなかった場合には、Ｓ１３に戻り、現在地を更新し、分岐点に接近したかの判定を繰り返す。
【００２４】
分岐点に接近した場合には、分岐点に近づいていることを分岐方向と共に案内する（Ｓ１５）。例えば、「５００ｍ先交差点を左方向です。」等通常の案内を行う。
【００２５】
次に、カメラ２０ａ、２０ｂから得られる画像を認識部２４で認識し、その結果に基づき特徴物の存在の有無を検出し、特徴物が存在するかを判定する（Ｓ１６）。特徴物としては、信号機等が考えられる。信号機の場合、青、赤、黄色を色フィルタにより、別々に取り出し、輝度の高い部分のエッジを検出する。そして、エッジの形状が○であることから信号機と判定する。また、どのフィルタで○が検出されたかにより、どの信号がついているかも判定できる。
【００２６】
さらに、自車位置検出手段１２および地図データベース１４より自車から見た分岐点の方向や距離が特定でき、案内すべき分岐点付近の画像上での範囲が推定できる。そこで、画像処理をその部分に限定して行うことにより、処理量が減り、処理速度を向上させることができる。また、カメラ２０ａ、２０ｂにステア機構を持たせることで、対象となる分岐点付近を画像の中心付近で捉えることができる。そこで、ズームアップして、対象を捉え、分解能を向上させ、特徴物の検出をより容易にすることもできる。
【００２７】
また、認識部２４におけるパターンマッチングの際には、分岐点と自車の位置関係が分かっている。そこで、この位置関係を利用して、特徴物の見え方を予測し、これに対応したテンプレートを利用してパターンマッチングを行うことで、より効率的な画像処理を行うことができる。なお、テンプレートを各方向や距離に応じて複数設けてもよいが、位置関係に応じてテンプレートの形状を変形させてもよい。
【００２８】
Ｓ１６において、特徴物が存在していた場合には、位置関係測定部２６により、２つのカメラ２０ａ、２０ｂからの画像に基づいて、特徴物までの距離及び方向を測定し、測定された距離及び方向に基づき該当交差点（分岐点）に存在する特徴物かを判定する（Ｓ１７）。すなわち、現在地と分岐点の関係と、現在地と特徴物の関係とから、特徴物と分岐点の関係を求め、特徴物が分岐点上のものかを判定する。ここで、特徴物によっては、大きさが一定のものもある。例えば、信号機は同一の大きさのものが多い。この場合、画像面上での大きさにより、距離を測定できるため、２つのカメラによるステレオ測距が不要となる。
【００２９】
Ｓ１７の判定結果において、該当分岐点上の特徴物であれば、その特徴物を用いて案内が行える。そこで、検出された特徴物を候補として記憶する（Ｓ１８）。一方、Ｓ１７において、特徴物が該当分岐点上の特徴物でなかった場合には、分岐点手前にある行先案内標識かを判定する（Ｓ１９）。そして、行先案内標識であれば、その段階で行先案内標識を用いて、案内を行う（Ｓ２０）。すなわち、行先案内標識は、通常交差点の手前にある。そこで、行先案内標識の表示内容を画像もしくは地図データベース１４などから取得し、これに従って「行先案内標識に従って○○方面です。」等の案内を行先案内標識を認識した段階で行う。
【００３０】
Ｓ１８における特徴物が記憶された場合、Ｓ２０の案内が行われた場合、Ｓ１６において特徴物が存在しなかった場合、Ｓ１９において行先案内標識でなかった場合には、分岐動作を行うまで十分な余裕があるかを判定する（Ｓ２１）。この判定は、例えば分岐点まで１００ｍの地点にあるかを判定することで行う。しかし、多数の車線がある道路では、分岐前に車線変更などを行わなければならず、一車線の道路とは、分岐に要する時間が異なると考えられる。そこで、これらの条件に応じて十分に余裕があるか否かの判定を変更することが好適である。また、走行スピードや、その他の走行環境に応じて、余裕があるかの判定を変更するとよい。
【００３１】
そして、Ｓ２１の判定で余裕があれば、Ｓ１６に戻り特徴物検出の処理を繰り返す。一方、分岐点に近づき、Ｓ２１において、余裕がないと判定されたときには、記憶されている特徴物の候補の中から最適なものを選択し、これを用いて案内を行う。案内に用いる特徴物を一つに絞らなくてもよい。例えば、「前方車両に続いて次の信号を右折です」のような表現も可能である（Ｓ２２）。例えば、「次の青信号を右折です。」等という案内を行う。一方、Ｓ１６において特徴物がなかった場合およびＳ１９において行先案内標識でなかった場合には、結局特徴物を見いだせなかったことになる。このため、自車位置情報を基に距離で案内を行う。例えば、「５０ｍ先、右折です。」という案内を行う。
【００３２】
このようにして、案内出力を終了した場合には、経路から逸脱しているか否かを判定し（Ｓ２３）、逸脱していた場合には、Ｓ１２に戻り経路探索からやり直す。一方、逸脱していなかった場合には、目的地への到達したかを判定し（Ｓ２４）、目的地に到達した場合に、処理を終了する。なお、Ｓ２４において、目的地に到達していなかった場合には、Ｓ１３に戻る。
【００３３】
このように、本実施形態においては、カメラ２０ａ、２０ｂにより得られた画像から特徴物を抽出する。従って、現実に見える特徴物のみが案内に利用され、工事中や、他の車両により見えないものなどを利用した案内が行われることを確実に防止できる。さらに、特徴物までの距離及び方向を計測することで、画像中に存在する特徴物が分岐点に存在するものかを確認することができ、誤った案内をすることを効果的に防止できる。
【００３４】
また、上述の例では、信号機を特徴物として、採用した。信号機は、多くの交差点に設置されており、分岐点を特定するのに非常に有用である。また、信号が近接して配置されている場合には、画像処理によって、複数の信号機が認識できる場合もある。この場合、位置関係測定部２６により測定した距離及び方向に基づき、案内すべき交差点の手前に他の交差点があることなどを認識し、「２つ目の青信号を右折です。」等という案内を行うことも好適である。さらに、特徴物が存在しない場合には、距離を利用した通常の案内が行われるため、特徴物が存在しない場合も特別な問題は生じない。
【００３５】
「その他の構成」
上述の例では、案内に用いる特徴物として、信号機、行先案内標識を取り上げた。しかし、特徴物は、これに限らず各種のものが採用可能である。例えば、レーンの分岐情報（レーン内の矢印）や、各種交通標識、歩道橋、前方車両など採用可能である。特に、Ｙ字分岐などでは、レーンを認識しての案内が好適である。「この車線のまま右方向です。」等という案内が可能である。なお、レーン位置については、自車位置検出部１２の検出結果も併せて検出するとよい。
【００３６】
ここで、特徴物として、ビル、看板なども利用できる。しかし、特徴物の認識は基本的にパターンマッチングにより行う。すなわち、予めテンプレートとして持っている形状と、画像処理で得られた形状の比較に基づいて、特徴物の認識を行う。従って、特徴物は、予め形状が分かっているいくつかのものに限定しておくことが好ましい。さらに、信号機の例においても説明したが、色が予め分かっている特徴物もある。例えば、行先案内標識は、青色を取り出し、青色部分のエッジ検出により、形状を特定できる。
【００３７】
本発明の装置によれば、基本的に音声の案内だけで十分な経路案内が行える。そこで、経路表示のためのディスプレイを省略することができる。これによって、スペースをとらず、低コスト化を図ることができる。
【００３８】
また、経路探索等を外部のセンターにより行うこともできる。センターは、車両の現在位置および目的地から、最適経路の探索を行い、経路案内に必要なデータを車両側に供給する。これによって、車両側の装置の大幅に簡略化することができる。なお、通信に路側ビーコンを用いる場合などは、現在地の送信は不要である。
【図面の簡単な説明】
【図１】全体構成を示すブロック図である。
【図２】動作を説明するフローチャートである。
【符号の説明】
１０ナビ制御部、１２自車位置検出部、１４地図データベース、１６音声合成部、１８入力操作部、２０ａ，２０ｂカメラ、２２ａ，２２ｂ画像処理部、２４認識部、２６位置関係測定部。

Claims

分岐点の位置情報を含む地図情報を記憶する地図データベースと、自車の現在位置である自車位置を検出する現在位置検出手段とを有し、目的地までの経路が設定された走行においては、その経路上の分岐点であって案内が必要な案内分岐点において、その案内分岐点における経路案内の音声案内を出力する車両用音声案内装置であって、
前記現在位置検出手段の検出結果と、前記地図データベースに記憶されている地図情報とに基づき、前記案内分岐点に近づいたことを認識する案内分岐点認識手段と、
前方を撮像する車載カメラと、
前記案内分岐点手前における車載カメラの撮像結果から音声案内において前記案内分岐点を特定するのに用いる特徴物を抽出する特徴物抽出手段と、
抽出された特徴物と自車との位置関係を測定する位置関係測定手段と、
前記地図データベースから読み出された案内分岐点の位置と前記現在位置検出手段によって検出された自車位置との位置関係と、前記位置関係測定手段によって測定された前記特徴物と自車位置との位置関係と、の両方から求めた案内分岐点と特徴物との位置関係に基づいて、前記特徴物が前記案内分岐点付近に存在する特徴物であることを判定する判定手段と、
を備え、
前記判定手段によって前記案内分岐点付近に存在すると判定された特徴物の情報によって案内分岐点を特定した音声案内を、前記案内分岐点における経路案内の音声案内に含めて出力することを特徴とする画像情報を利用した車両用音声案内装置。
請求項１に記載の装置において、
前記位置関係測定手段は、複数の車載カメラのステレオ測距にて検出した自車と特徴物との距離を測定するものであることを特徴とする画像情報を利用した車両用音声案内装置。
請求項１または２に記載の装置において、
前記特徴物は信号機であることを特徴とする画像情報を利用した車両用音声案内装置。
請求項３に記載の装置において、
前記信号機は特定の色の部分を抽出した後、エッジ検出により特定の色部分の形状を特定して検出することを特徴とする画像情報を利用した車両用音声案内装置。
請求項３または４に記載の装置において、
前記音声案内には、信号機における色情報を加味することを特徴とする画像情報を利用した車両用音声案内装置。
請求項１または２に記載の装置において、
前記特徴物は行先案内標識であることを特徴とする画像情報を利用した車両用音声案内装置。