[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5505729B2 - 案内装置、案内方法、および、案内プログラム - Google Patents

案内装置、案内方法、および、案内プログラム Download PDF

Info

Publication number
JP5505729B2
JP5505729B2 JP2011015736A JP2011015736A JP5505729B2 JP 5505729 B2 JP5505729 B2 JP 5505729B2 JP 2011015736 A JP2011015736 A JP 2011015736A JP 2011015736 A JP2011015736 A JP 2011015736A JP 5505729 B2 JP5505729 B2 JP 5505729B2
Authority
JP
Japan
Prior art keywords
correction
color
template
image
correction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011015736A
Other languages
English (en)
Other versions
JP2012155627A (ja
Inventor
裕司 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2011015736A priority Critical patent/JP5505729B2/ja
Priority to CN201280003055.7A priority patent/CN103124978B/zh
Priority to US13/821,479 priority patent/US9031318B2/en
Priority to EP12703893.3A priority patent/EP2599035B1/en
Priority to PCT/JP2012/000111 priority patent/WO2012101965A1/en
Publication of JP2012155627A publication Critical patent/JP2012155627A/ja
Application granted granted Critical
Publication of JP5505729B2 publication Critical patent/JP5505729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、案内装置、案内方法、および、案内プログラムに関する。
従来、例えばカメラ等を用いて車両周辺の地物を撮像し、撮像された画像の画像認識を行うことが公知である。ところで、撮像された地物は、時間帯や天候等によりその見え方が変化する。そのため、特許文献1では、日時、天候、日陰を考慮し、路面標示の輝度を補正している。
特開2009−205559号公報
しかしながら、実際に撮像される地物の見え方は、様々な要因により変化するため、日時、天候、日陰等の条件による輝度の補正だけでは十分とはいえない。
本発明は、上述の課題に鑑みてなされたものであり、その目的は、目印対象物の認識精度を向上可能な案内装置、案内方法、および、案内プログラムを提供することにある。
請求項1に記載の案内装置は、設定された経路上の案内すべき地点の目印となる目印対象物を特定する目印対象物特定手段と、目印対象物の配色に関する配色情報を取得する配色情報取得手段と、配色情報に基づき、経路上であって目印対象物よりも手前にある目印対象物の配色と類似の配色である補正情報作成対象物を特定する補正情報作成対象物特定手段と、経路走行時に補正情報作成対象物の画像を補正用画像として取得する画像取得手段と、取得された補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する色補正情報算出手段と、色補正情報に基づいて認識テンプレートを補正し、補正テンプレートを作成する補正テンプレート作成手段と、を備える。これにより、走行時において目印対象物の手前にある補正情報作成対象物の画像に基づいて目印対象物の画像認識に用いる認識テンプレートを補正して補正テンプレートを作成しているので、補正テンプレートが実際の見え方に近い色となり、目印対象物の認識精度を向上することができる。
請求項2に記載の発明では、補正テンプレートを用いて目印対象物を画像認識する補正後画像認識手段と、補正後画像認識手段により目印対象物を認識できなかった場合、色補正情報に基づく補正前の認識テンプレートを用いて目印対象物を画像認識する補正前画像認識手段と、をさらに備える。これにより、認識テンプレートを補正することによって認識精度が低下するのを防ぐことができる。
請求項3に記載の発明では、補正情報作成対象物との距離が所定距離以下となったときの車両の周辺画像の画像認識を行い、補正情報作成対象物が認識できたか否かを判断する認識判断手段をさらに備える。また、画像取得手段は、認識判断手段により補正情報作成対象物が認識できたと判断された場合、周辺画像に基づいて補正情報作成対象物の画像を補正用画像として取得する。これにより、補正用画像を適切に取得することができる。
請求項4に記載の発明では、補正テンプレート作成手段は、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くに目印対象物と同一対象物がある場合、同一対象物を用いて新たに補正テンプレートを作成する。これにより、同一対象物に基づいて補正テンプレートが作成されるので、目印対象物の認識精度をより向上することができる。
請求項5に記載の発明では、補正テンプレート作成手段は、既に作成されている補正テンプレートが作成されてから所定時間が経過している場合、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くにある補正情報作成対象物を用いて新たに補正テンプレートを作成する。これにより、時間の経過による目印対象物の見え方の変化を考慮して補正テンプレートが作成されるので、目印対象物の認識精度をより向上することができる。
請求項6に記載の発明では、目印対象物を画像認識する時間帯に応じて所定時間を設定する。これにより、例えば早朝や夕方などの目印対象物の見え方が短時間で急激に変化する時間帯には所定時間を短く設定することにより、認識テンプレートがより実際の見え方に近い色に補正されるので、目印対象物の認識精度をより向上することができる。
請求項7に記載の発明では、補正テンプレート作成手段は、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差と比較し、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くにある補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差が小さい場合、角度差が小さい補正情報作成対象物を用いて新たに補正テンプレートを作成する。これにより、目印対象物が設置されている角度による見え方の変化を考慮し、目印対象物の認識精度を向上することができる。
請求項8に記載の案内方法は、設定された経路上の案内すべき地点の目印となる目印対象物を特定する目印対象物特定段階と、目印対象物の配色に関する配色情報を取得する配色情報取得段階と、配色情報に基づき、経路上であって目印対象物よりも手前にある目印対象物の配色と類似の配色である補正情報作成対象物を特定する補正情報作成対象物特定段階と、経路走行時に補正情報作成対象物の画像を補正用画像として取得する画像取得段階と、取得された補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する色補正情報算出段階と、色補正情報に基づいて認識テンプレートを補正し、補正テンプレートを作成する補正テンプレート作成段階と、を備える。
このような方法により、請求項1に記載の案内装置と同様の効果を奏する。
請求項9に記載の案内プログラムは、設定された経路上の案内すべき地点の目印となる目印対象物を特定する目印対象物特定手段、目印対象物の配色に関する配色情報を取得する配色情報取得手段、配色情報に基づき、経路上であって目印対象物よりも手前にある目印対象物の配色と類似の配色である補正情報作成対象物を特定する補正情報作成対象物特定手段、経路走行時に補正情報作成対象物の画像を補正用画像として取得する画像取得手段、取得された補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する色補正情報算出手段、および、色補正情報に基づいて認識テンプレートを補正し、補正テンプレートを作成する補正テンプレート作成手段、としてコンピュータを機能させる。
このような案内プログラムにより、請求項1に記載の案内装置と同様の効果を奏する。
本発明の一実施形態の案内装置の構成を示すブロック図である。 本発明の一実施形態による案内処理を説明するフローチャートである。 本発明の一実施形態による案内処理を説明するフローチャートである。 本発明の一実施形態による補正情報作成対象物抽出処理を説明するフローチャートである。 本発明の一実施形態による補正テンプレート作成処理を説明するフローチャートである。 本発明の一実施形態の画像認識に用いる認識テンプレートを説明する説明図である。 本発明の一実施形態による補正テンプレート作成処理の具体例を説明する説明図である。 本発明の一実施形態による補正テンプレート作成処理の具体例を説明する説明図である。
以下、本発明の実施形態による案内装置を図面に基づいて説明する。
(一実施形態)
図1に示すように、案内装置としての車載器1は、車両2に搭載されている。
車載器1は、所謂車載用ナビゲーション装置であるが、例えば携帯電話やパソコン等、車載用ナビゲーション装置に限らない。車載器1は、制御部10を中心に構成されており、制御部10に接続される位置検出器20、地図データ記憶部30、認識テンプレート記憶部40、操作スイッチ群50、ディスプレイ60、スピーカ70、および情報記憶部80等を備えている。
制御部10は、通常のコンピュータとして構成されており、内部には、CPU、ROM、RAM、I/O、および、これらの構成を接続するバスライン等を有している。
位置検出器20は、いずれも周知の地磁気センサ21、ジャイロスコープ22、距離センサ23、および、衛星からの電波を受信するGPS(Global Positioning System)受信機24等を有している。これらのセンサ等21〜24は、各々が性質の異なる誤差を持っているため、相互に補完しながら使用される。
地図データ記憶部30は、例えばハードディスク装置(HDD)として実現される記憶装置である。なお、本実施形態ではHDDを用いたが、DVD−ROMやメモリカード等他の媒体を用いても差し支えない。地図データ記憶部30は、位置検出の精度向上のための所謂マップマッチング用データ、および、経路を探索するための地図データを記憶している。地図データには、各種データが含まれるが、その一つとして施設に関する施設情報が含まれる。施設情報は、具体的には施設を特定するIDと関連付けられて記憶されているPOI(Point Of Interest)情報である。POI情報には、施設名称、施設ID、位置座標、種別(ジャンル)、住所、電話番号を示す情報などが含まれる。また、地図データには、ノードに関するノードデータ、道路(リンク)に関するリンクデータ等が含まれる。各ノードには、ノードの案内に用いられる地物であるランドマークに関するランドマーク情報が関連づけて記憶されている。ランドマークは、例えばノード近傍の構造物、施設の看板、道路標識等である。また、ランドマーク情報には、ランドマークが設置されている角度に関する角度情報が含まれる。角度情報は、例えば北を0度として時計回りに定義される角度であって、ランドマークが設置されている方位に関する情報である。
認識テンプレート記憶部40は、地図データ記憶部30と同一のHDDで構成される。もちろん、メモリカード等の他の媒体を用いてもよい。認識テンプレート記憶部40には、ランドマークを画像認識するための認識テンプレートが記憶されている。認識テンプレートはカラーであって、色彩に関する情報はRGBの数値で定義されている。なお、認識テンプレートは、画像データであってもよいし、特徴量データであってもよい。
操作スイッチ群50は、ディスプレイ60と一体になったタッチスイッチもしくはメカニカルなスイッチやリモコン装置等で構成され、各種入力に使用される。
ディスプレイ60は、液晶などを用いて構成される画面を有するカラーディスプレイ装置である。ディスプレイ60を介して地図や施設情報などが表示される。スピーカ70は、音声を出力するためのものであり、例えば経路の案内等を音声で行う場合に使用される。
情報記憶部80は、カメラ85により撮像された画像、および、補正された認識テンプレートである補正テンプレート等を記憶するためのものであり、地図データ記憶部30と同一のHDDで構成される。もちろん、メモリカード等の他の媒体を用いてもよい。
また、制御部10には、カメラ85が接続されている。カメラ85は、車両2の周辺の画像を撮像する。本実施形態のカメラ85は、車両2の前方の画像を撮像するフロントカメラである。
本実施形態では、設定された経路上の案内すべき地点の目印となる目印対象物を高精度に画像認識すべく、認識テンプレートを補正し、補正テンプレートを作成している。
ここで、本実施形態による案内処理を図2および図3に基づいて説明する。なお、図2および図3に示す案内処理は、経路を設定して走行しているときに所定の間隔で実行される処理である。
最初のステップS101(以下、「ステップ」を省略し、単に記号「S」で示す。)では、経路上の案内すべき地点(以下、「案内地点」という。)が特定されているか否かを判断する。案内地点は、例えば経路に従って走行した場合に右折または左折する交差点等である。ここでの判断は、S102にてセットされる案内地点特定フラグがセットされているか否かに基づいて判断する。経路上の案内地点が特定されている場合(S101:YES)、S106へ移行する。経路上の案内地点が特定されていない場合(S101:NO)、S102へ移行する。
S102では、経路上の案内地点を特定し、案内地点特定フラグをセットする。なお、経路を逸脱し、リルート処理がなされた場合、案内地点特定フラグはリセットされる。
S103〜S105の処理は、S102で特定された案内地点ごとに実行される。
S103では、案内地点の目印となる目印対象物を特定する。本実施形態の目印対象物は、当該案内地点に関連づけて記憶されているランドマークである。
S104では、目印対象物の配色情報を取得する。例えば、目印対象物がコンビニエンスストアA(以下、「コンビニA」という。)の看板である場合、コンビニAの看板の配色情報を取得する。本実施形態では、コンビニAの認識テンプレートの領域ごとの色成分を抽出し、RGBの数値に基づいて領域ごとの配色を特定することにより配色情報を取得する。例えば、コンビニAの看板に係る認識テンプレートが図6(a)に示す如くであって、領域A1が「白」、領域A2が「赤」、領域A3が「オレンジ」、領域A4が「白」、領域A5が「赤」である場合、配色情報として「赤」、「白」、「オレンジ」が取得される、といった具合である。
図2中のS105では、補正情報作成対象物抽出処理を行う。
ここで、図4に示すサブフローに基づいて補正情報作成対象物抽出処理を説明する。
S201では、設定された経路上であって、当該案内地点よりも手前にあるランドマークを抽出する。
S202〜S205の処理は、S201で抽出されたランドマークごとに実行される。
S202では、抽出されたランドマーク(以下、「今回ランドマーク」という。)が目印対象物と同一である同一対象物か否かを判断する。例えば、目印対象物がコンビニAの看板であり、今回ランドマークがコンビニAの看板である場合は同一対象物であり、その他の地物である場合は同一対象物でないと判断する。今回ランドマークが同一対象物であると判断された場合(S202:YES)、S205へ移行する。今回ランドマークが同一対象物でないと判断された場合(S202:NO)、S203へ移行する。
S203では、今回ランドマークの配色情報を取得する。ランドマークの配色情報の取得は、S104にて説明した目印対象物の配色情報の取得と同様である。
S204では、今回ランドマークの配色が、目印対象物の配色と類似の配色であるか否かを判断する。例えば目印対象物がコンビニAの看板であり、認識テンプレートが図6(a)に示す如く、領域A1が「白」、領域A2が「赤」、領域A3が「オレンジ」、領域A4が「白」、領域A5が「赤」であって、今回ランドマークがガソリンスタンドXYZの看板であり、認識テンプレートが図6(b)に示す如く、領域X1が「オレンジ」、領域X2が「赤」、領域X3が「オレンジ」、領域X4が「白」であるとすると、ガソリンスタンドXYZの看板の配色は、目印対象物の配色と類似の配色であると判断する。今回ランドマークの配色が目印対象物の配色と類似の配色でないと判断された場合(S204:NO)、S205およびS206の処理を行わない。今回ランドマークの配色が目印対象物の配色と類似の配色であると判断された場合(S204:YES)、S205へ移行する。
今回ランドマークが同一対象物であると判断された場合(S202:YES)、または、今回ランドマークの配色が目印対象物の配色と類似の配色であると判断された場合(S204:YES)に移行するS205では、今回ランドマークを補正情報作成対象物として特定し、目印対象物と関連づけて情報記憶部80に記憶する。なお、ランドマークが同一対象物である場合、その配色は目印対象物の配色と類似(同一)であるので、補正情報作成対象物として特定する。
S206では、目印対象物が設置されている角度に関する目印角度情報を地図データ記憶部30から取得し、今回ランドマークが設置されている角度に関する情報を補正情報作成対象物角度情報として地図データ記憶部30から取得する。そして、目印角度情報と補正情報作成対象物角度情報とに基づき、目印対象物が設置されている角度と補正情報作成対象物が設置されている角度との角度差を算出する。
抽出された全てのランドマークについてS202〜S206の処理が終了すると、補正情報作成対象物抽出処理を終了する。
図2に戻り、特定された全ての案内地点についてS103〜S105の処理が終了すると、S106へ移行する。
S106では、後述する補正テンプレート作成処理終了フラグがセットされていない補正情報作成対象物までの距離が所定距離(例えば300m)以内か否かを判断する。なお、所定距離は、カメラ85の性能等により適宜設定される。補正情報作成対象物までの距離が所定距離以内でない場合(S106:NO)、図3中のS111へ移行する。補正情報作成対象物までの距離が所定距離以内である場合(S106:YES)、S107へ移行する。
S107では、カメラ85により車両2の周辺画像を撮像し、撮像された周辺画像の画像認識処理を行う。本実施形態では、車両2の周辺画像は、車両2の前方画像である。
S108では、補正情報作成対象物が認識できたか否かを判断する。補正情報作成対象物が認識できなかった場合(S108:NO)、図3中のS111へ移行する。補正情報作成対象物が認識できた場合(S108:YES)、S109へ移行する。
S109では、認識できた補正情報作成対象物の画像を補正用画像として取得する。なお、周辺画像中に複数の補正情報作成対象物が認識された場合は、補正情報作成対象物ごとに補正用画像を取得する。取得された補正用画像は、情報記憶部80に記憶される。
S110では、補正テンプレート作成処理を行う。なお、複数の補正情報作成対象物が認識された場合、補正情報作成対象物ごとに補正テンプレート作成処理を行う。なお、補正テンプレート作成処理が終了した補正情報作成対象物には、補正テンプレート作成処理終了フラグをセットする。
ここで、図5に示すサブフローに基づいて補正テンプレート作成処理を説明する。
S301では、周辺画像の画像認識により認識された補正情報作成対象物(以下、「今回補正情報作成対象物」という。)に対応する目印対象物について、補正テンプレートが既に作成されているか否かを判断する。補正テンプレートが作成されていない場合(S301:NO)、S308へ移行する。補正テンプレートが既に作成されている場合(S301:YES)、すなわち情報記憶部80に今回補正情報作成対象物に対応する目印対象物の補正テンプレートが記憶されている場合、S302へ移行する。なお、本処理は車両2の経路走行中に実行される処理であるので、今回補正情報作成対象物は、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くにある、といえる。
S302では、今回補正情報作成対象物が目印対象物と同一である同一対象物か否かを判断する。今回補正情報作成対象物が同一対象物であると判断された場合(S302:YES)、S308へ移行する。今回補正情報作成対象物が同一対象物でないと判断された場合(S302:NO)、S303へ移行する。
S303では、補正テンプレートが作成されてから第1の所定時間(例えば30分)が経過したか否かを判断する。補正テンプレートが作成されてから第1の所定時間が経過したと判断された場合(S303:YES)、S308へ移行する。補正テンプレートが作成されてから第1の所定時間が経過していないと判断された場合(S303:NO)、S304へ移行する。
S304では、目印対象物の画像認識を行う時間帯が早朝または夕方か否かを判断する。例えば、午前6時〜午前8時を早朝、午後16時〜午後18時までを夕方とする。なお、早朝および夕方の時間帯については、季節や日時に応じて変更してもよい。また、目印対象物の画像認識を行う時間は、車両2が案内地点の案内の実施に係る地点(以下、「案内実施地点」という。)を通過する通過予定時刻とする。なお、案内実施地点は、例えば案内地点の手前の所定地点にて案内を行うべく、各種処理時間や発話時間等を考慮して設定される地点であって、案内地点までの距離が所定距離である地点である。目印対象物の画像認識を行う時間帯が早朝または夕方ではないと判断された場合(S304:NO)、S306へ移行する。目印対象物の画像認識を行う時間帯が早朝または夕方であると判断された場合(S304:YES)、S305へ移行する。
S305では、補正テンプレートが作成されてから第1の所定時間より短い第2の所定時間(例えば10分)が経過したか否かを判断する。補正テンプレートが作成されてから第2の所定時間が経過したと判断された場合(S305:YES)、S308へ移行する。補正テンプレートが作成されてから第2の所定時間が経過していないと判断された場合(S305:NO)、S306へ移行する。
S306では、情報記憶部80に記憶されている補正テンプレートの作成に用いた補正情報作成対象物が同一対象物であるか否かを判断する。ここでの判断は、後述する同一フラグがセットされているか否かに基づいて判断する。補正テンプレートの作成に用いた補正情報作成対象物が同一対象物であると判断された場合(S306:YES)、補正テンプレート作成処理を終了する。補正テンプレートの作成に用いた補正情報作成対象物が同一対象物でないと判断された場合(S306:NO)、S307へ移行する。
S307では、今回補正情報作成対象物と目印対象物との角度差が、情報記憶部80に記憶されている補正テンプレートの作成に用いた補正情報作成対象物と目印対象物との角度差より小さいか否かを判断する。今回補正情報作成対象物と目印対象物との角度差が、補正テンプレートの作成に用いた補正情報作成対象物と目印対象物の角度差以上であると判断された場合(S307:NO)、補正テンプレート作成処理を終了する。今回補正情報作成対象物と目印対象物との角度差が、補正テンプレートの作成に用いた補正情報作成対象物と目印対象物との角度差より小さいと判断された場合(S307:YES)、S308へ移行する。
例えば、同じコンビニAの看板であっても、図6(a)のように設置されている場合と図6(c)のように設置されている場合とでは、日光の当たり方等の違いにより、異なる色調に見える蓋然性が高い。そこで本実施形態では、目印対象物が設置されている角度との角度差がより小さい補正情報作成対象物を用いて補正テンプレートを作成すべく、S307に係る判断処理を行っている。
今回補正情報作成対象物に対応する目印対象物について補正テンプレートが作成されていないと判断された場合(S301:NO)、今回補正情報作成対象物が同一対象物であると判断された場合(S302:YES)、補正テンプレートが作成されてから第1の所定時間が経過したと判断された場合(S303:YES)、目印対象物の画像認識を行う時間が早朝または夕方であって、第2の所定時間が経過したと判断された場合(S304:YES、かつ、S305:YES)、または、補正テンプレートの作成に用いた補正情報作成対象物が同一対象物ではなく、今回補正情報作成対象物と目印対象物との角度差が補正テンプレートの作成に用いた補正情報作成対象物と目印対象物との角度差よりも小さいと判断された場合(S306:NO、かつ、S307:YES)に移行するS308では、S109にて取得されて情報記憶部80に記憶された今回補正情報作成対象物の補正用画像を解析し、取得色彩情報を算出する。取得色彩情報は、配色ごとに算出される。本実施形態では、取得色彩情報は、RGBの数値が配色ごとに算出される。例えば補正情報作成対象物の配色が「赤」、「白」、「オレンジ」である場合、1つの配色である「赤」に該当する領域について画像解析を行い、RGBの数値を算出する。「白」、「オレンジ」についても同様にRGBの数値を算出する。
S309では、認識テンプレート記憶部40に記憶されている今回補正情報作成対象物の認識テンプレートの色彩に関する情報である既存色彩情報と、S308にて算出された取得色彩情報とに基づき、目印対象物の認識テンプレートの補正に係る色補正情報を配色ごとに算出する。本実施形態では、色補正情報は、既存色彩情報のRGB値と取得色彩情報のRGB値の差分値として算出される。
S310では、S309にて算出された色補正情報に基づき、目印対象物の認識テンプレートの色を配色ごとに補正した補正テンプレートを作成する。本実施形態では、色補正情報は、配色ごとのRGB値の差分値であるので、目印対象物の認識テンプレートの配色ごとのRGB値に色補正情報のRGB値の差分値を加算または減算することにより、認識テンプレートの色が補正される。作成された補正テンプレートは、情報記憶部80に記憶される。
S311では、S206にて算出された今回補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差を、S310にて作成された補正テンプレートと関連づけて情報記憶部80に記憶し、補正テンプレート作成処理を終了する。このとき、補正テンプレートが作成された時刻も併せて記憶しておく。さらにまた、当該補正情報作成対象物が同一対象物である場合、同一フラグを補正テンプレートと関連づけて記憶しておく。
図3に示すように、後述する補正テンプレート作成処理終了フラグがセットされていない補正情報作成対象物までの距離が所定距離以内ではなく(S106:NO)、補正テンプレート作成処理(図2中のS110)の後に移行するS111では、車両2の現在位置が案内実施地点か否かを判断する。車両2の現在位置が案内実施始点でないと判断された場合(S111:NO)、S112以降の処理を行わない。車両2の現在位置が案内実施地点であると判断された場合(S111:YES)、S112へ移行する。
S112では、案内地点の目印となる目印対象物があるか否かを判断する。目印対象物がないと判断された場合(S112:NO)、S119へ移行する。目印対象物があると判断された場合(S112:YES)、S113へ移行する。
S113では、案内地点の目印となる目印対象物について、補正テンプレートが情報記憶部80に記憶されているか否かを判断する。補正テンプレートが情報記憶部80に記憶されていないと判断された場合(S113:NO)、S116へ移行する。補正テンプレートが情報記憶部80に記憶されていると判断された場合(S113:YES)、S114へ移行する。
S114では、カメラ85により車両2の周辺画像を撮像し、情報記憶部80に記憶された補正テンプレートを用いて撮像された周辺画像の画像認識処理を行う。
S115では、目印対象物が認識できたか否かを判断する。目印対象物が認識できたと判断された場合(S115:YES)、S118へ移行する。目印対象物が認識できなかったと判断された場合(S115:NO)、S116へ移行する。
S116では、認識テンプレート記憶部40に記憶されている目印対象物の認識テンプレート、すなわち色補正情報による補正が行われていない認識テンプレートを用い、S114にて撮像された周辺画像の画像認識処理を行う。
S117では、目印対象物が認識できたか否かを判断する。目印対象物が認識できたと判断された場合(S117:YES)、S118へ移行する。目印対象物が認識できなかったと判断された場合(S117:NO)、S119へ移行する。
案内地点の目印対象物が認識できた場合(S115:YES、または、S117:YES)に移行するS118では、目印対象物により案内地点の案内を行う。例えば目印対象物がコンビニAであり、案内地点を右折する場合、「この先、コンビニAのある交差点を右折です」といった具合に、スピーカ70を介して案内する。
案内地点に目印対象物がない場合(S112:NO)、または、案内地点の目印対象物を認識できなかった場合(S117:NO)に移行するS119では、案内地点までの距離により案内地点の案内を行う。例えば300m先の案内地点を右折する場合、「この先、300m先の交差点を右折です」といった具合に、スピーカ70を介して案内する。
ここで、案内処理の具体例を図7および図8に基づいて説明する。
図7に示すように、車両2は、経路R1を設定して走行している。経路R1では、交差点C11にて左折するので、交差点C11が案内地点として特定される(図2中のS102)。交差点C11には、コンビニAがあるので、コンビニAの看板が目印対象物M11として特定され(S103)、コンビニAの看板の配色情報として「赤」、「白」、「オレンジ」が取得される(S104)。また、経路R1上であって交差点C11よりも手前にあるランドマークとして、交差点C12にあるガソリンスタンドXYZが抽出される(図4中のS201)。ガソリンスタンドXYZは、コンビニAと同一対象物ではないので(S202:NO)、ガソリンスタンドXYZの看板の配色情報として、「赤」、「白」、「オレンジ」が取得される(S203)。ガソリンスタンドXYZの看板の配色は、目印対象物M11であるコンビニAの看板と類似の配色であるので(S204:YES)、交差点C12のガソリンスタンドXYZが補正情報作成対象物H12として特定される(S205)。
補正情報作成対象物として特定されたガソリンスタンドXYZのある交差点C12までの距離が所定距離(例えば300m)の地点である地点P12を車両2が走行しているとき(S106:YES)、カメラ85により前方の画像を撮像し、画像認識処理を行う(S107)。画像認識処理を行った結果、交差点C12にあるガソリンスタンドXYZの看板を認識できた場合(S108:YES)、ガソリンスタンドXYZの補正用画像を取得し(S109)、補正テンプレート作成処理を行う(S110)。ここで、コンビニAに係る補正テンプレートがないものとすると(図5中のS301:NO)、ガソリンスタンドXYZの補正用画像を解析して配色ごとに取得色彩情報を算出し(S308)、ガソリンスタンドXYZの認識テンプレートの色彩に関する既存色彩情報と算出された取得色彩情報とに基づき、色補正情報を配色ごとに算出する(S309)。そして、色補正情報に基づいて目印対象物であるコンビニAの看板の認識に係る認識テンプレートを補正した補正テンプレートを作成し(S310)、交差点C12に設置されているガソリンスタンドXYZの看板の設置角度と交差点C11に設置されているコンビニAの看板の設置角度との角度差を補正テンプレートと関連づけて情報記憶部80に記憶する(S311)。
案内地点である交差点C11までの距離が所定距離(例えば300m)の地点である案内実施地点P11を車両2が走行しているとする(図3中のS111:YES)。交差点C11には、目印対象物M11であるコンビニAがあり(S112:YES)、コンビニAの看板の認識に係る補正テンプレートが交差点C12にあるガソリンスタンドXYZの画像を用いて作成されて情報記憶部80に記憶されているので(S113:YES)、補正テンプレートを用いて画像認識処理を行う(S114)。なお、認識テンプレートを色補正情報に基づいて補正することにより、逆に目印対象物の認識率が低下する虞があるので、補正テンプレートを用いてコンビニAが認識できなかった場合は(S115:NO)、色補正情報により補正が行われていない認識テンプレートを用いて画像認識処理を行う(S116)。画像認識処理によりコンビニAが認識できた場合(S115:YES、または、S117:YES)、「この先、コンビニAのある交差点を左折です」といった具合に、目印対象物M11を用いて交差点C11に係る案内を行う(S118)。コンビニAが認識できなかった場合(S117:NO)、「この先、300m先の交差点を左折です」といった具合に、交差点C11までの距離を用いて交差点C11に係る案内を行う(S119)。
また、図8に示すように、車両2は、経路R2を設定して走行している。経路R2では、交差点C21にて右折するので、交差点C21が案内地点として特定される(S102)。交差点C11には、コンビニAがあるので、コンビニAの看板が目印対象物M21として特定され(S103)、コンビニAの看板の配色情報として「赤」、「白」、「オレンジ」が取得される(S104)。また、経路R2上であって交差点C21よりも手前にあるランドマークとして、交差点C22にあるガソリンスタンドXYZおよび交差点C23にあるコンビニAが抽出される(S201)。交差点C22にあるガソリンスタンドXYZは、コンビニAと同一対象物ではないので(S202:NO)、ガソリンスタンドXYZの看板の配色情報として、「赤」、「白」、「オレンジ」が取得される(S203)。ガソリンスタンドXYZの看板の配色は、目印対象物M21であるコンビニAの看板と類似の配色であるので(S204:YES)、交差点C22のガソリンスタンドXYZが補正情報作成対象物H22として特定される(S205)。また、交差点C23にあるコンビニAは、目印対象物M21であるコンビニAと同一対象物であるので(S202:YES)、補正情報作成対象物H23として特定される。
補正情報作成対象物H23として特定されたコンビニAのある交差点C23までの距離が所定距離(例えば300m)の地点である地点P23を車両2が走行しているとき(S106:YES)、カメラ85により前方の画像を撮像し、画像認識処理を行う(S107)。画像認識処理を行った結果、交差点C23にあるコンビニAの看板を認識できた場合(S108:YES)、コンビニAの補正用画像を取得し(S109)、補正テンプレート作成処理を行う(S110)。ここで、コンビニAに係る補正テンプレートが既に情報記憶部80に記憶されているものとする(S301:YES)。交差点C23にあるコンビニAは同一対象物であるので(S302:YES)、コンビニAの補正用画像を用いて補正テンプレートを作成する(S308〜S310)。また、交差点C23に設置されているコンビニAの看板の設置角度と交差点C21に設置されているコンビニAの看板の設置角度との角度差を補正テンプレートと関連づけて情報記憶部80に記憶する(S311)。なお、交差点C23のコンビニAに基づいて新たに作成された補正テンプレートは、既に記憶されている補正テンプレートに上書きされ、補正テンプレートが更新される。
また、補正情報作成対象物H22として特定されたガソリンスタンドXYZのある交差点C22までの距離が所定距離(例えば300m)の地点である地点P22を車両2が走行しているとき、カメラ85により前方の画像を撮像し、(S107)。画像認識処理を行った結果、交差点C22にあるガソリンスタンドXYZの看板を認識できた場合(S108:YES)、ガソリンスタンドXYZの補正用画像を取得し(S109)、補正テンプレート作成処理を行う(S110)。このとき、交差点C23にあるコンビニAの画像を用いて作成された補正テンプレートが情報記憶部80に記憶されている(S301:YES)。また、ガソリンスタンドXYZは、目印対象物M21と同一対象物ではないので(S302:NO)、情報記憶部80に記憶されている補正テンプレートが作成されてから第1の所定時間(例えば30分)が経過したか否かを判断する(S303)。補正テンプレートが作成されてから第1の所定時間が経過している場合(S303:YES)、ガソリンスタンドXYZの補正用画像を用いて補正テンプレートを作成する(S308〜S310)。また、交差点C22に設置されているガソリンスタンドXYZの看板の設置角度と交差点C21に設置されているコンビニAの看板の設置角度との角度差を補正テンプレートと関連づけて情報記憶部80に記憶する(S311)。
補正テンプレートが作成されてから第1の所定時間が経過していない場合であって(S303:NO)、交差点C21の目印対象物M21の画像認識を行う地点である案内実施地点P21を通過する通過予定時刻が早朝または夕方であり(S304:YES)、補正テンプレートが作成されてから第2の所定時間(例えば10分)が経過している場合(S305:YES)、ガソリンスタンドXYZの補正用画像を用いて補正テンプレートを作成する(S308〜S310)。また、交差点C22に設置されているガソリンスタンドXYZの看板の設置角度と交差点C21に設置されているコンビニAの看板の設置角度との角度差を補正テンプレートと関連づけて情報記憶部80に記憶する(S311)。なお、交差点C22のガソリンスタンドXYZに基づいて作成された補正テンプレートは、交差点C23のコンビニAに基づいて作成された補正テンプレートに上書きされ、補正テンプレートが更新される。
本実施形態では、早朝や夕方のように、目印対象物の見え方が急激に変化する時間帯においては、補正テンプレートの更新に係る時間を短く設定し、より目印対象物に近い補正情報作成対象物を用いて補正テンプレートを作成しているので、目印対象物の認識精度を向上することができる。
補正テンプレートが作成されてから第1の所定時間が経過おらず(S303:NO)、交差点C21の目印対象物M21の画像認識を行う地点である案内実施地点P21を通過する通過予定時刻が早朝または夕方ではない場合(S304:NO)、この例では、補正テンプレートの作成に用いた補正情報作成対象物が同一対象物であるので(S306:YES)、交差点C22のガソリンスタンドXYZの補正用画像を用いた補正テンプレートの作成は行わない。すなわち、補正テンプレートの更新を行わず、交差点C23のコンビニAの看板を用いて作成した補正テンプレートを維持する。
なお、補正テンプレートが作成されてから第1の所定時間が経過おらず(S303:NO)、交差点C21の目印対象物M21の画像認識を行う地点である案内実施地点P21を通過する通過予定時刻が早朝または夕方ではない場合であっても(S304:NO)、交差点C23にある補正情報作成対象物H23がコンビニAではない場合であって、すなわち補正テンプレートの作成に用いた補正情報作成対象物が同一対象物でない場合(S306:NO)、交差点C22のガソリンスタンドXYZの看板と交差点C21のコンビニAの看板との角度差を算出する(S307)。そして、算出された角度差が交差点C23にある補正情報作成対象物H23と交差点C21にあるコンビニAの看板との角度差よりも小さい場合(S307:YES)、ガソリンスタンドXYZの補正用画像を用いて補正テンプレートを作成する(S308〜S310)。
また、算出された角度差が交差点C23にある補正情報作成対象物H23と交差点C21にあるコンビニAの看板との角度差以上である場合(S307:NO)、交差点C22のガソリンスタンドXYZの補正用画像を用いた補正テンプレートの作成は行わない。すなわち、補正テンプレートの更新を行わず、交差点C23のコンビニAの看板を用いて作成した補正テンプレートを維持する。
案内地点である交差点C21までの距離が所定距離(例えば300m)の地点である案内実施地点P21を車両2が走行しているとする(S111:YES)。交差点C21には、目印対象物M21であるコンビニAがあり(S112:YES)、コンビニAの看板の認識に係る補正テンプレートが情報記憶部80に記憶されているので(S113:YES)、補正テンプレートを用いて画像認識処理を行う(S114)。なお、認識テンプレートを色補正情報に基づいて補正することにより、逆に目印対象物の認識率が低下する虞があるので、補正テンプレートを用いてコンビニAが認識できなかった場合は(S115:NO)、色補正情報により補正が行われていない認識テンプレートを用いて画像認識処理を行う(S116)。画像認識処理によりコンビニAが認識できた場合(S115:YES、または、S117:YES)、「この先、コンビニAのある交差点を右折です」といった具合に、目印対象物M21を用いて交差点C21に係る案内を行う(S118)。コンビニAが認識できなかった場合(S117:NO)、「この先、300m先の交差点を右折です」といった具合に、交差点C21までの距離を用いて交差点C21に係る案内を行う(S119)。
なお、色補正情報にて補正した補正テンプレートを用いて画像認識を行った方が目印対象物を認識できる可能性が高いので、認識テンプレートを用いた画像認識処理よりも補正テンプレートを用いた画像認識を先に行うことが好ましく、これにより処理時間を短縮することができる。
以上詳述したように、車載器1は、設定された経路上の案内地点の目印となる目印対象物を特定し(S103)、目印対象物の配色に関する配色情報を取得する(S104)。配色情報に基づき、経路上であって目印対象物よりも手前にある目印対象物の配色と類似の配色である補正情報作成対象物を特定する(S205)。また、車両2が経路走行時に補正情報作成対象物の画像を補正用画像として取得し(S308)、取得された補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する(S309)。そして、算出された色補正情報に基づいて認識テンプレートを補正し、補正テンプレートを作成する(S310)。これにより、走行時において目印対象物の手前にある補正情報作成対象物の画像に基づいて目印対象物の画像認識に用いる認識テンプレートを補正して補正テンプレートを作成しているので、補正テンプレートが実際の見え方に近い色となり、目印対象物の認識精度を向上することができる。
また、補正テンプレートが作成されている場合(S113:YES)、補正テンプレートを用いて目印対象物を画像認識し(S114)、補正テンプレートを用いて目印対象物を認識できなかった場合(S115:NO)、色補正情報に基づく補正前の認識テンプレートを用いて目印対象物を画像認識する(S116)。これにより、認識テンプレートを補正することによって認識精度が低下するのを防ぐことができる。また、補正テンプレートを用いた方が目印対象物を認識できる可能性が高いので、補正テンプレートを用いた画像認識を先に行うことにより、補正テンプレートを用いた画像認識を後に行う場合と比較して処理時間の短縮が見込める。
補正情報作成対象物との距離が所定距離以下となった場合(S106:YES)、車両の周辺画像の画像認識を行い(S107)、補正情報作成対象物が認識できたか否かを判断する(S108)。補正情報作成対象物が認識できたと判断された場合(S108:YES)、周辺画像に基づいて補正情報作成対象物の画像を補正用画像として取得する(S109)。これにより、補正用画像を適切に取得することができる。
補正テンプレートは、以下のような場合に更新される。
既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くに目印対象物と同一対象物がある場合(S302:YES)、同一対象物を用いて新たに補正テンプレートを作成する(S310)。これにより、同一対象物に基づいて補正テンプレートが作成されるので、目印対象物の認識精度をより向上することができる。
既に作成されている補正テンプレートが作成されてから第1の所定時間が経過している場合(S303:YES)既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くにある補正情報作成対象物を用いて新たに補正テンプレートを作成する(S310)。これにより、時間の経過による目印対象物の見え方の変化を考慮して補正テンプレートが作成されるので、目印対象物の認識精度をより向上することができる。
また、目印対象物を画像認識する時間帯に応じて所定時間を設定する。具体的には、目印対象物を画像認識する時間帯が早朝または夕方であって(S304:YES)、第1の所定時間より短い第2の所定時間が経過している場合(S305:YES)、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くにある補正情報作成対象物を用いて新たに補正テンプレートを作成する(S310)。これにより、早朝や夕方など目印対象物の見え方が短時間で急激に変化する時間帯には所定時間を短く設定しているので、認識テンプレートがより実際の見え方に近い色に補正されるので、目印対象物の認識精度をより向上することができる。また、日中や夜間など目印対象物の見え方が時間の経過によりあまり変わらない時間帯には所定時間を長く設定することにより、演算負荷を低減することができる。
また、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差と比較し、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物よりも目印対象物の近くにある補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差が小さい場合(S307:YES)、角度差が小さい補正情報作成対象物を用いて新たに補正テンプレートを作成する(S310)。これにより、目印対象物が設置されている角度による見え方の変化を考慮し、目印対象物の認識精度を向上することができる。なお、目印対象物が設置されている方位、すなわち太陽との角度の方が経路に対する角度よりも目印対象物の見え方に与える影響が大きいので、本実施形態では、目印対象物および補正情報作成対象物が設置されている角度および角度差は、経路に対する角度ではなく、方位により規定される。
本実施形態では、車載器1の制御部10が「目印対象物特定手段」、「配色情報取得手段」、「補正情報作成対象物特定手段」、「画像取得手段」、「色補正情報算出手段」、「補正テンプレート作成手段」、「補正後画像認識手段」、「補正前画像認識手段」、および、「認識判断手段」を構成する。また、図2中のS103が「目印対象物特定手段」の機能としての処理に相当し、S104が「配色情報取得手段」の機能としての処理に相当し、図4中のS205が「補正情報作成対象物特定手段」の機能としての処理に相当し、S109が「画像取得手段」の機能としての処理に相当し、図5中のS309が「色補正情報算出手段」の機能としての処理に相当し、S310が「補正テンプレート作成手段」の機能としての処理に相当する。また、図3中のS114が「補正後画像認識手段」の機能としての処理に相当し、S116が「補正前画像認識手段」の機能としての処理に相当し、S108が「認識判断手段」の機能としての処理に相当する。
以上、本発明は、上記実施形態になんら限定されるものではなく、発明の趣旨を逸脱しない範囲において種々の形態で実施可能である。
(ア)目印対象物と補正情報作成対象物との角度差
上記実施形態では、補正情報作成対象物が同一対象物でなく(S302:NO)、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物が同一対象物である場合(S306:YES)、目印対象物との角度差に関わらず、新たに補正テンプレートの作成を行わず、補正テンプレートの更新を行わなかった。他の実施形態では、S306の判断処理を省略し、補正情報作成対象物が同一対象物でない場合であっても、既に作成されている補正テンプレートの作成に用いた補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差と比較し、当該補正情報作成対象物が設置されている角度と目印対象物が設置されている角度との角度差が小さい場合(S307:YES)、新たに補正テンプレートを作成するようにしてもよい。
なお、図5中のS301〜S307に係る処理は、一部または全部を省略したり、順番を入れ替えたりしてもよい。
(イ)類似の配色
上記実施形態では、認識テンプレートの配色を領域毎に特定し、類似の配色か否かを判断した。他の実施形態では、例えばコンビニAの看板が「赤」、「白」、「オレンジ」から構成されていることを示す情報を配色情報として認識テンプレートと関連づけて予め記憶しておき、この配色情報に基づいて類似の配色か否かを判断してもよい。また、領域毎の配色に係るRGBの数値の差が所定値(例えば10%)以内である場合、類似の配色であると判断してもよい。また、配色に係る情報は、RGB以外により定義されていてもよい。また例えば、目印対象物の配色が「赤」、「白」、「オレンジ」であって、今回ランドマークの配色が「赤」、「白」、「オレンジ」、「緑」といった具合に、目印対象物の配色に加え他の色を含んでいる場合についても、類似の配色であるとみなしてもよい。なお、補正情報作成対象物の配色が目印対象物の配色よりも多い場合、目印対象物の配色についてのみ取得色彩情報を算出するようにしてもよい。
(ウ)補正テンプレート
上記実施形態では、新たな補正テンプレートが作成された場合、既に作成されていた補正テンプレートに上書きし、補正テンプレートを更新していた。他の実施形態では、新たな補正テンプレートが作成された場合、既に作成されていた補正テンプレートに上書きせずに別途に記憶し、同一の目印対象物に対して複数の補正テンプレートを保持するようにしてもよい。
(エ)上記実施形態では、車載器1の制御部10が「目印対象物特定手段」、「配色情報取得手段」、「補正情報作成対象物特定手段」、「画像取得手段」、「色補正情報算出手段」、「補正テンプレート作成手段」、「補正後画像認識手段」、「補正前画像認識手段」、および、「認識判断手段」を構成していた。他の実施形態では、これらの手段としてコンピュータを機能させる案内プログラムであってもよいし、当該案内プログラムを記憶する記憶媒体であってもよい。また、「目印対象物特定段階」、「配色情報取得段階」、「補正情報作成対象物特定段階」、「画像取得段階」、「色補正情報算出段階」、「補正テンプレート作成段階」、「補正後画像認識段階」、「補正前画像認識段階」、および、「認識判断段階」として処理を行う案内方法であってもよい。
1・・・車載器(案内装置)
2・・・車両
10・・・制御部(目印対象物特定手段、配色情報取得手段、補正情報作成対象物特定手段、画像取得手段、色補正情報算出手段、補正テンプレート作成手段、補正後画像認識手段、補正前画像認識手段、認識判断手段)
20・・・位置検出器
21・・・地磁気センサ
22・・・ジャイロスコープ
23・・・距離センサ
24・・・GPS受信機
30・・・地図データ記憶部
40・・・認識テンプレート記憶部
50・・・操作スイッチ群
60・・・ディスプレイ
70・・・スピーカ
80・・・情報記憶部
85・・・カメラ

Claims (9)

  1. 設定された経路上の案内すべき地点の目印となる目印対象物を特定する目印対象物特定手段と、
    前記目印対象物の配色に関する配色情報を取得する配色情報取得手段と、
    前記配色情報に基づき、前記経路上であって前記目印対象物よりも手前にある前記目印対象物の配色と類似の配色である補正情報作成対象物を特定する補正情報作成対象物特定手段と、
    前記経路走行時に前記補正情報作成対象物の画像を補正用画像として取得する画像取得手段と、
    取得された前記補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている前記補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている前記目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する色補正情報算出手段と、
    前記色補正情報に基づいて前記認識テンプレートを補正し、補正テンプレートを作成する補正テンプレート作成手段と、
    を備えることを特徴とする案内装置。
  2. 前記補正テンプレートを用いて前記目印対象物を画像認識する補正後画像認識手段と、
    前記補正後画像認識手段により前記目印対象物を認識できなかった場合、前記色補正情報に基づく補正前の前記認識テンプレートを用いて前記目印対象物を画像認識する補正前画像認識手段と、
    をさらに備えることを特徴とする請求項1に記載の案内装置。
  3. 前記補正情報作成対象物との距離が所定距離以下となったときの車両の周辺画像の画像認識を行い、前記補正情報作成対象物が認識できたか否かを判断する認識判断手段をさらに備え、
    前記画像取得手段は、前記認識判断手段により前記補正情報作成対象物が認識できたと判断された場合、前記周辺画像に基づいて前記補正情報作成対象物の画像を前記補正用画像として取得することを特徴とする請求項1または2に記載の案内装置。
  4. 前記補正テンプレート作成手段は、既に作成されている前記補正テンプレートの作成に用いた前記補正情報作成対象物よりも前記目印対象物の近くに前記目印対象物と同一対象物がある場合、前記同一対象物を用いて新たに前記補正テンプレートを作成することを特徴とする請求項1〜3のいずれか一項に記載の案内装置。
  5. 前記補正テンプレート作成手段は、既に作成されている前記補正テンプレートが作成されてから所定時間が経過している場合、前記既に作成されている補正テンプレートの作成に用いた前記補正情報作成対象物よりも前記目印対象物の近くにある前記補正情報作成対象物を用いて新たに前記補正テンプレートを作成することを特徴とする請求項1〜4のいずれか一項に記載の案内装置。
  6. 前記目印対象物を画像認識する時間帯に応じて前記所定時間を設定することを特徴とする請求項5に記載の案内装置。
  7. 前記補正テンプレート作成手段は、既に作成されている前記補正テンプレートの作成に用いた前記補正情報作成対象物が設置されている角度と前記目印対象物が設置されている角度との角度差と比較し、前記既に作成されている補正テンプレートの作成に用いた前記補正情報作成対象物よりも前記目印対象物の近くにある前記補正情報作成対象物が設置されている角度と前記目印対象物が設置されている角度との角度差が小さい場合、前記角度差が小さい前記補正情報作成対象物を用いて新たに前記補正テンプレートを作成することを特徴とする請求項1〜6のいずれか一項に記載の案内装置。
  8. 設定された経路上の案内すべき地点の目印となる目印対象物を特定する目印対象物特定段階と、
    前記目印対象物の配色に関する配色情報を取得する配色情報取得段階と、
    前記配色情報に基づき、前記経路上であって前記目印対象物よりも手前にある前記目印対象物の配色と類似の配色である補正情報作成対象物を特定する補正情報作成対象物特定段階と、
    前記経路走行時に前記補正情報作成対象物の画像を補正用画像として取得する画像取得段階と、
    取得された前記補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている前記補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている前記目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する色補正情報算出段階と、
    前記色補正情報に基づいて前記認識テンプレートを補正し、補正テンプレートを作成する補正テンプレート作成段階と、
    を備えることを特徴とする案内方法。
  9. 設定された経路上の案内すべき地点の目印となる目印対象物を特定する目印対象物特定手段、
    前記目印対象物の配色に関する配色情報を取得する配色情報取得手段、
    前記配色情報に基づき、前記経路上であって前記目印対象物よりも手前にある前記目印対象物の配色と類似の配色である補正情報作成対象物を特定する補正情報作成対象物特定手段、
    前記経路走行時に前記補正情報作成対象物の画像を補正用画像として取得する画像取得手段、
    取得された前記補正用画像を解析して得られた色彩に関する取得色彩情報と予め記憶されている前記補正情報作成対象物の色彩に関する既存色彩情報とに基づき、予め記憶されている前記目印対象物の画像認識に用いる認識テンプレートの色彩の補正に係る色補正情報を算出する色補正情報算出手段、
    および、前記色補正情報に基づいて前記認識テンプレートを補正し、補正テンプレートを作成する補正テンプレート作成手段、
    としてコンピュータを機能させる案内プログラム。
JP2011015736A 2011-01-27 2011-01-27 案内装置、案内方法、および、案内プログラム Active JP5505729B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011015736A JP5505729B2 (ja) 2011-01-27 2011-01-27 案内装置、案内方法、および、案内プログラム
CN201280003055.7A CN103124978B (zh) 2011-01-27 2012-01-11 导引装置和导引方法
US13/821,479 US9031318B2 (en) 2011-01-27 2012-01-11 Guidance device, guidance method, and guidance program
EP12703893.3A EP2599035B1 (en) 2011-01-27 2012-01-11 Guidance device, guidance method, and guidance program
PCT/JP2012/000111 WO2012101965A1 (en) 2011-01-27 2012-01-11 Guidance device, guidance method, and guidance program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011015736A JP5505729B2 (ja) 2011-01-27 2011-01-27 案内装置、案内方法、および、案内プログラム

Publications (2)

Publication Number Publication Date
JP2012155627A JP2012155627A (ja) 2012-08-16
JP5505729B2 true JP5505729B2 (ja) 2014-05-28

Family

ID=45592775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011015736A Active JP5505729B2 (ja) 2011-01-27 2011-01-27 案内装置、案内方法、および、案内プログラム

Country Status (5)

Country Link
US (1) US9031318B2 (ja)
EP (1) EP2599035B1 (ja)
JP (1) JP5505729B2 (ja)
CN (1) CN103124978B (ja)
WO (1) WO2012101965A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108860A1 (de) * 2012-09-20 2014-03-20 Conti Temic Microelectronic Gmbh Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
WO2016058634A1 (en) * 2014-10-14 2016-04-21 Toyota Motor Europe Nv/Sa Systems and methods for traffic sign assistance
KR102506561B1 (ko) * 2014-12-30 2023-03-06 쓰리엠 이노베이티브 프로퍼티즈 캄파니 차량용 표지판 식별 시스템
CN106153035B (zh) * 2015-04-28 2019-07-23 北京智谷睿拓技术服务有限公司 信息处理方法和设备
JP2018128389A (ja) * 2017-02-09 2018-08-16 トヨタ自動車株式会社 画像処理システム及び画像処理方法
KR102096078B1 (ko) * 2018-12-05 2020-04-02 네이버랩스 주식회사 이동 경로 안내 제공 방법, 장치, 시스템 및 컴퓨터 프로그램
JP7298227B2 (ja) * 2019-03-20 2023-06-27 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
CN112076471B (zh) * 2020-09-04 2024-03-15 网易(杭州)网络有限公司 游戏数据处理方法、控制方法、服务端、客户端及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3811238B2 (ja) * 1996-12-16 2006-08-16 トヨタ自動車株式会社 画像情報を利用した車両用音声案内装置
JP2984652B2 (ja) * 1997-08-22 1999-11-29 富士通株式会社 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体
JP3437555B2 (ja) * 2001-03-06 2003-08-18 キヤノン株式会社 特定点検出方法及び装置
JP2005077214A (ja) * 2003-08-29 2005-03-24 Mitsubishi Electric Corp 道案内システム
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP4574473B2 (ja) * 2005-07-11 2010-11-04 キヤノン株式会社 情報処理装置および方法
US8237809B2 (en) * 2005-08-26 2012-08-07 Koninklijke Philips Electronics N.V. Imaging camera processing unit and method
JP4717760B2 (ja) * 2006-08-31 2011-07-06 三菱電機株式会社 物体認識装置および映像物体測位装置
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP4941843B2 (ja) 2008-02-28 2012-05-30 日本電気株式会社 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
US8060302B2 (en) * 2009-03-31 2011-11-15 Microsoft Corporation Visual assessment of landmarks
JP5625987B2 (ja) * 2011-02-16 2014-11-19 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム

Also Published As

Publication number Publication date
EP2599035B1 (en) 2015-03-25
US20130163865A1 (en) 2013-06-27
US9031318B2 (en) 2015-05-12
CN103124978A (zh) 2013-05-29
EP2599035A1 (en) 2013-06-05
WO2012101965A1 (en) 2012-08-02
CN103124978B (zh) 2016-05-04
JP2012155627A (ja) 2012-08-16

Similar Documents

Publication Publication Date Title
JP5505729B2 (ja) 案内装置、案内方法、および、案内プログラム
JP5625987B2 (ja) 案内装置、案内方法、および、案内プログラム
US11709492B2 (en) Information processing device, information processing method, and non-transitory computer readable medium
US9228845B2 (en) Navigation device, navigation method, and program
JP5461065B2 (ja) 現在位置特定装置とその現在位置特定方法
US8275542B2 (en) Navigation device, navigation method, and navigation program
JP5423696B2 (ja) 標識認識装置
JP2008309529A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2014228526A (ja) 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
JP2007106364A (ja) 走行支援装置及び走行支援方法
JP2008232938A (ja) 経路案内装置
JP4936070B2 (ja) ナビゲーション装置及びナビゲーションプログラム
JP2014215205A (ja) 情報処理装置、サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP2013036930A (ja) ナビゲーション装置およびこれを備えたナビゲーションシステム
JP5608126B2 (ja) ナビゲーション装置、ナビゲーション方法、および、ナビゲーションプログラム
JP2009069900A (ja) 車両用ナビゲーション装置
JP2007052341A (ja) 道路データ更新装置
JP2008076366A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JP2009014555A (ja) ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP6785956B2 (ja) 表示制御装置及び表示制御方法
JP2008076365A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JP2005315695A (ja) カーブ曲率推定装置及びカーブ曲率推定方法
JP2007071539A (ja) 車載ナビゲーション装置
JP2009014506A (ja) 現在位置検出システム、現在位置検出装置
JP2008076362A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140305

R150 Certificate of patent or registration of utility model

Ref document number: 5505729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150