JP4446201B2 - 画像認識装置及び画像認識方法 - Google Patents
画像認識装置及び画像認識方法 Download PDFInfo
- Publication number
- JP4446201B2 JP4446201B2 JP2007091047A JP2007091047A JP4446201B2 JP 4446201 B2 JP4446201 B2 JP 4446201B2 JP 2007091047 A JP2007091047 A JP 2007091047A JP 2007091047 A JP2007091047 A JP 2007091047A JP 4446201 B2 JP4446201 B2 JP 4446201B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- information
- recognition
- target
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
さらに、この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
ここで、道路種別情報は、例えば、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、道路が設けられている地域を複数に区分した際の地域種別の情報である。
さらに、この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。これらのリンクkの属性情報が、道路属性情報Rb(図1参照)に相当する。そして、本実施形態においては、この地図データベースDB1が、本発明における道路情報記憶手段及び地図情報記憶手段に相当する。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
地物データベースDB2は、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報Faは、道路情報Raを含む地図情報Mが整備されている全ての地域の中で、大都市周辺や幹線道路等の一部の地域についてのみ整備されている。一方、学習地物情報Fbとは、後述するように、画像認識部18による対象地物の画像認識結果を用いて学習した結果として地物データベースDB2に記憶される地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。本実施形態においては、この地物データベースDB2が、本発明における地物情報記憶手段に相当する。
学習データベースDB3は、認識位置導出部32により導出された認識位置情報Aa、及び認識失敗処理部33により導出された認識失敗情報Acを、各認識位置情報Aa及び各認識失敗情報Acに対応する対象地物が識別可能な状態で記憶するデータベースである。ここでは、各情報Aa、Acに対応する対象地物を識別可能とするために、各情報Aa、Acと、それに対応する対象地物の地物属性情報Abとを関連付けて記憶している。この学習データベースDB3に記憶される認識位置情報Aa、地物属性情報Ab、及び認識失敗情報Acの具体的な内容については、後で詳細に説明する。本実施形態においては、この学習データベースDB3が、本発明における認識結果記憶手段に相当する。
画像情報取得部12は、撮像装置11により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置11は、撮像素子を備えた車載カメラ等であって、少なくとも自車両50の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置11としては、例えば、図4に示すような自車両50の後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部12は、撮像装置11により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部12は、撮像装置11により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部18へ出力される。
自車位置情報取得部16は、自車両50の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部16は、GPS受信機13、方位センサ14、及び距離センサ15と接続されている。ここで、GPS受信機13は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部16へ出力される。自車位置情報取得部16では、GPS受信機13で受信されたGPS衛星からの信号を解析し、自車両50の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ14は、自車両50の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ14は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ14は、その検出結果を自車位置情報取得部16へ出力する。距離センサ15は、自車両50の車速や移動距離を検出するセンサである。この距離センサ15は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両50の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ15は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部16へ出力する。
地物情報取得部17は、自車位置情報取得部16で取得された自車位置情報P等に基づいて、地物データベースDB2から自車両50の周辺に存在する地物の地物情報Fを抽出して取得する。本実施形態においては、一例として、地物情報取得部17は、自車位置情報Pに基づいて、自車位置情報Pに示される自車両50の現在位置から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から抽出する。そして、この地物情報取得部17により取得された地物情報Fは、画像認識部18及び自車位置情報補正部19へ出力される。ここで、地物情報取得部17により地物データベースDB2から抽出される対象地物の地物情報Fには、初期地物情報Fa及び学習地物情報Fbの双方が含まれる。また、対象地物となる地物は、画像認識部5による画像認識処理の対象となる地物である。本実施形態においては、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物が対象地物となる。
画像認識部18は、画像情報取得部12で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部18は、自車位置情報Pの補正に用いるための位置補正用画像認識処理と、対象地物の画像認識結果を学習して地物データベースDB2に反映させるための情報収集用画像認識処理との2種類の画像認識処理を行う。本実施形態においては、画像認識部18は、地物情報取得部17により自車位置情報Pに基づいて地物データベースDB2から取得された地物情報Fを参照する。そして、自車両50の周辺に地物情報Fとして記憶された対象地物が存在すると判定された場合に位置補正用画像認識処理を行い、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しないと判定された場合に情報収集用画像認識処理を行う。これは、後述するように、地物情報Fが既に整備された道路上を自車両50が走行中の場合には、位置補正用画像認識処理による画像認識結果と地物情報Fとに基づく自車位置情報Pの補正処理や、位置補正用画像認識処理に失敗した場合の地物情報Fの修正処理を行い、地物情報Fが整備されていない道路上を自車両50が走行中の場合には、情報収集用画像認識処理により画像認識結果を用いて対象地物の存在する位置を学習する処理を行うためである。なお、本実施形態においては、自車両50の周辺に地物情報Fとして記憶された対象地物が存在するか否かを、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に地物情報Fとして記憶された対象地物が存在するか否かにより判定することとしている。
自車位置情報補正部19は、画像認識部18による対象地物の画像認識処理の結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置情報補正部19は、画像認識部18における地物情報Fに基づく位置補正用画像認識処理による対象地物の画像認識結果と、当該地物情報Fに含まれる当該対象地物の位置情報とを用いて、自車両50の進行方向に沿って自車位置情報Pを補正する。具体的には、自車位置情報補正部19は、まず、画像認識部18による位置補正用画像認識処理の結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車両50の進行方向における対象地物の位置情報(地物情報F)を基準とする高精度な自車両50の位置情報を演算して取得する。そして、自車位置情報補正部19は、このようにして取得した高精度な自車両50の位置情報に基づいて、自車位置情報取得部16で取得した自車位置情報Pに含まれる、自車両50の進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部16は、このような補正後の高精度な自車位置情報Pを取得することになる。
ナビゲーション用演算部20は、自車位置表示、出発地から目的地までの経路探索、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム23に従って動作する演算処理手段である。例えば、ナビゲーション用演算部20は、自車位置情報Pに基づいて地図データベースDB1から自車両50周辺の地図情報Mを取得して表示入力装置21に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部20は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部20は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置21及び音声出力装置22の一方又は双方を用いて、運転者に対する進路案内を行う。また、本実施形態においては、ナビゲーション用演算部20は、表示入力装置21及び音声出力装置22に接続されている。表示入力装置21は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部20、表示入力装置21、及び音声出力装置22が、本発明における案内情報出力手段24として機能する。
認識情報処理部31は、画像認識部18による画像認識処理の結果を表す情報、具体的には、認識位置導出部32により導出される認識位置情報及び認識失敗処理部33により生成される認識失敗情報を、学習データベースDB3に記憶させるための処理を行うための認識情報処理手段である。このため、本実施形態においては、認識情報処理部31は、認識位置導出部32、及び認識失敗処理部33を備えている。そこで、以下に、これら認識位置導出部32及び認識失敗処理部33が行う処理の詳細について、図5〜図8を用いて説明する。
認識位置導出部32は、画像認識部18による画像認識処理において対象地物の画像認識に成功した場合に、自車位置情報Pに基づいて当該対象地物の認識位置を導出する認識位置導出手段として機能する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。図5は、地物情報Fが整備されていない道路(リンクk)を自車両50が走行する場合を例とし、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理の概要を説明するための説明図である。そして、図5(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図5(b)は、学習データベースDB3に記憶された認識位置情報Aaの一例である。図5(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図5では、説明の簡略化のため、図9及び図10に示すように所定の道路区域Z(Za〜Zd)毎に対象種別が異なるものとせず、図示された全ての領域において対象種別が同じ「横断歩道」である場合の例を示している。
認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において地物情報Fが示す対象地物の画像認識に失敗した場合に、当該地物情報Fが示す対象地物の画像認識に失敗したことを表す認識失敗情報Acを生成し、当該画像認識に失敗した対象地物が識別可能な状態で学習データベースDB3に記憶する。すなわち、認識失敗処理部33は、このような認識失敗情報Acの生成及びその学習データベースDB3への記憶といった認識失敗処理を行う認識失敗処理手段として機能する。図6は、地物情報Fが既に整備されている道路(リンクk)を自車両50が走行する場合を例とし、位置補正用画像認識処理の結果を用いた地物情報Fの修正処理の概要を説明するための説明図である。そして、図6(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図6(b)は、学習データベースDB3に記憶された認識位置情報Aa及び認識失敗情報Acの一例である。図6(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図6では、図6(c)の初期地物情報Fa11〜Fa14に示される4つの「横断歩道」を対象地物として位置補正用画像認識処理を行う場合の例を示している。
推測位置判定部34は、同じ対象地物が複数回画像認識されることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識位置情報Aaに基づいて、当該対象地物の推測位置pg(図5参照)を判定する推測位置判定手段として機能する。ここで、推測位置判定部34は、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の代表値を当該対象地物の推測位置pgとして判定する。本実施形態においては、分布の代表値として最頻値を用いる。すなわち、推測位置判定部34は、各対象地物についての認識位置情報Aaとしての学習値が、最初に所定の学習しきい値T1以上となった位置範囲を代表する位置を、当該対象地物の推測位置pgと判定する。これにより、推測位置判定部34は、一つの対象地物についての推測位置pgを判定する場合に、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値の分布に基づいて、最頻値をとる位置範囲を代表する位置を、当該対象地物の推測位置pgと判定することになる。一例として、図5の例における横断歩道f1の推測位置pgを判定する場合の判定方法について説明する。図7に示すように、横断歩道f1についての認識位置情報Aaとしての学習値は、位置範囲a4において最初に学習しきい値T1以上となっている。したがって、推測位置判定部34は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pg4を、横断歩道f1の推測位置pgと判定する。
地物情報管理部35は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fの管理を行う地物情報管理手段として機能する。本実施形態においては、この地物情報管理部35は、地物情報生成部36、地物間距離判定部37、及び削除管理部38を備えている。以下、個別に説明する。
地物情報生成部36は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、学習地物情報Fbを生成する地物情報生成手段として機能する。すなわち、地物情報生成部36は、推測位置判定部34により判定された各対象地物の推測位置pgを表す位置情報と、当該対象地物についての画像認識部18による画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する。ここで、学習地物情報Fbを構成する地物属性情報は、学習データベースDB3において、当該対象地物についての認識位置情報Aaと関連付けて記憶されている地物属性情報Abの内容を用いて生成する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、位置情報及びそれに関連付けられた地物属性情報を備えた情報として生成される。そして、この地物情報生成部36で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図5(c)に示す学習地物情報Fb1〜Fb4、及び図6(c)に示す学習地物情報Fb5が、地物情報生成部36により生成され、地物データベースDB2に記憶されている。なお、これらの図に表されている黒い四角形「■」は、各学習地物情報Fb1〜Fb5の位置情報が示す各対象地物の推測位置pgを表している。
地物間距離判定部37は、2つの対象地物についての複数の認識位置情報Aaに基づいて、当該2つの対象地物間の距離を表す地物間距離Dを判定する地物間距離判定手段として機能する。本実施形態においては、地物間距離判定部37は、推測位置判定部34により判定された2つの対象地物についての推測位置pgの情報を用いて、一つの対象地物の推測位置pgと、他の対象地物の推測位置pgとの間の距離を演算することにより、これら2つの対象地物の地物間距離Dを求める。図5(b)に示す例では、地物間距離判定部37は、互いに隣接する2つの対象地物間の距離を求めることしている。すなわち、この例では、地物間距離判定部37は、横断歩道f1と横断歩道f2との間の地物間距離D1、横断歩道f2と横断歩道f3との間の地物間距離D2、横断歩道f3と横断歩道f4との間の地物間距離D3を判定して求めている。この地物間距離判定部37により判定された地物間距離Dの情報は、上記地物情報生成部36により生成される学習地物情報Fbを構成する情報として利用される。すなわち、本実施形態においては、各対象地物についての学習地物情報Fbは、当該対象地物と近接する他の対象地物との関係を表す関連付情報と、当該他の対象地物との間の地物間距離Dを表す地物間距離情報を有するものとして生成される。これらの情報も、初期地物情報Faに含まれる関連付情報及び地物間距離情報と同じ内容のものとなる。
削除管理部38は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fを削除する処理を行う削除管理手段として機能する。すなわち、削除管理部38は、同じ対象地物について複数回の画像認識処理が行われることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識失敗情報Acに基づいて、地物データベースDB2に記憶された当該対象地物についての地物情報Fの削除を行う。具体的には、削除管理部38は、各対象地物についての学習値が所定の削除しきい値T2以下となった場合に、当該対象地物についての地物情報Fの削除を行う。上記のとおり、本実施形態においては、削除しきい値T2をゼロに設定している。したがって、削除管理部38は、学習データベースDB3に記憶されている、一つの対象地物についての認識失敗情報Acとしての学習値がゼロになった場合に、当該対象地物についての地物情報Fを地物データベースDB2から削除する処理を行う。
道路情報管理部39は、地図データベースDB1に記憶された道路情報Ra及び道路属性情報Rbの一方又は双方を修正する処理を行う道路情報管理手段として機能する。本実施形態においては、道路情報管理手段39は、道路情報Raに含まれるノードnの位置情報及び2つのノードn間を結ぶリンクkの長さの情報の一方又は双方を修正する。この際、道路情報管理手段39は、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される2つの対象地物についての推測位置判定部34により判定された推測位置pgを表す位置情報に基づいて、ノードnの位置及びリンクkの長さの一方又は双方の判定を行う。ここで、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される対象地物としては、例えば横断歩道が該当する。
道路属性情報取得部41は、自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rbを地図データベースDB1から取得する道路属性情報取得手段として機能する。上記のとおり、地図データベースDB1に記憶される道路属性情報Rbには、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報が含まれる。そして、道路属性情報取得部41は、これらの中から後述する対象種別決定部42による対象種別の決定のために必要な情報を道路属性情報Rbとして地図データベースDB1から取得する。本実施形態においては、道路属性情報取得部41は、道路種別情報及び地域種別情報を道路属性情報Rbとして取得する。上記のとおり、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。したがって、道路属性情報取得部41は、自車両50が走行中の道路(リンクk)の道路属性情報Rbとして、例えば、「道路種別:市街地道路、地域種別:愛知県」といった情報を取得する。
認識属性データベースDB4は、対象種別となり得る全ての地物種別についての認識属性情報としての認識率情報S1を記憶したデータベースであり、認識属性情報記憶手段として機能する。ここで、認識率情報S1は、各地物種別に固有の性質に基づいて定めた、画像認識部18による情報収集用画像認識処理に際しての各地物種別の地物の認識率の予想値を表す情報である。すなわち、認識率情報S1は、各地物種別の対象地物の画像認識を行う際に、認識に成功する理論上の割合を表す情報となっている。ここで、各地物種別の認識率に影響を与える各地物種別に固有の性質としては、例えば、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さ等がある。例えば、地物の形態に関しては、他の地物種別と誤認識する可能性が低く、認識が容易な特徴的形態を有する地物種別では認識率が高くなる傾向がある。地物の大きさに関しては、特に道路幅方向に大きい地物ほど撮像装置11により撮像される画像情報Gに含まれる可能性が高くなるため、認識率が高くなる傾向がある。地物の色彩に関しては、道路の路面の色彩とのコントラストが大きいほど認識率が高くなる傾向がある。また、地物のかすれの生じ易さに関しては、かすれが生じている可能性が高いほど、画像認識に失敗する可能性が高くなり、認識率が低くなる傾向がある。なお、地物種別毎のかすれの生じ易さは、各地物種別の地物がどの程度の割合でかすれているかに関する実地調査の結果に基づいて統計的に求められる。そして、認識属性データベースDB4に記憶される各地物種別の認識率情報S1は、これらの各地物種別に固有の性質に基づいて、予め定めた認識率の予想値を表す情報となっている。
出現頻度データベースDB5は、対象種別となり得る全ての地物種別について、道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を記憶したデータベースであり、出現頻度情報記憶手段として機能する。ここで、出現頻度情報S2は、道路属性情報Rbに示される複数の道路属性のそれぞれの道路(リンクk)における、各地物種別の地物の出現頻度を表す情報である。本実施形態においては、上記のとおり、道路属性情報Rbとして道路種別情報及び地域種別情報が用いられる。よって、出現頻度データベースDB5には道路種別情報と地域種別情報との全ての組み合わせについての、各地物種別の出現頻度情報S2が規定されている。このような道路属性に応じた各地物種別の出現頻度は、各道路属性の道路に存在する地物の地物種別に関する実地調査の結果に基づいて統計的に求められる。この出現頻度情報S2は、本実施形態においては、道路の単位長さあたりの各地物種別の地物の出現個数で表される情報とし、より具体的には、道路長1〔km〕あたりの出現個数で表される情報とする。したがって、例えば、道路属性が「道路種別:市街地道路、地域種別:愛知県」であって地物種別が「横断歩道」である出現頻度情報S2が「10.3」の場合、当該出現頻度情報S2は、愛知県の市街地道路には、統計的に道路長1〔km〕あたりに10.3個の横断歩道が設けられていることを表している。
配置傾向データベースDB6は、対象種別となり得る全ての地物種別の地物の道路上での配置傾向を表す配置傾向情報として、各地物種別についての区域情報S3を記憶したデータベースであり、配置傾向情報記憶手段として機能する。ここで、区域情報S3は、各地物種別の地物が、交差点(ノードn)を基準として、道路(リンクk)の長さ方向に区分された複数の道路区域Zのいずれに配置されている可能性が高いかを表す情報である。すなわち、区域情報S3は、各地物種別の地物が配置されている可能性が高い道路区域Zを表す情報となっている。本実施形態においては、図9及び図10に示すように、区域情報S3は、道路属性情報Rbに示される道路種別によって異なる道路区域Zに区分することとしている。すなわち、ここでは、市街地道路については、図9に示すように、道路(リンクk)を、その長さ方向に、道路端部領域に相当する「リンク端部Za」と、道路中央部領域に相当する「リンク中央部Zb」との2つの道路区域Zに区分している。また、細街路については、図10に示すように、道路(リンクk)を、その長さ方向に、交差点中央領域に相当する「ノード上Zc」と、交差点以外の道路上の領域に相当する「リンク上Zd」との2つの道路区域Zに区分している。そして、配置傾向データベースDB6に記憶される区域情報S3の具体例として、例えば、地物種別が「横断歩道」の区域情報S3が表す道路区域Zは、市街地道路については「リンク端部Za」であり、細街路については「リンク上Zd」である。
対象種別決定部42は、道路属性情報取得部41により取得した道路属性情報Rbと、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、対象種別を決定する対象種別決定手段として機能する。ここで、対象種別は、画像認識部18による情報収集用画像認識処理の対象とする一又は二以上の地物種別である。本実施形態においては、対象種別決定部42は、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示に係る地物種別の中から対象種別を選択して決定する。そして、このような対象種別の決定を適切に行うために、本実施形態においては、対象種別決定部42は、認識頻度導出部43、対象種別決定演算部44、及び認識成否管理部45を備えている。そこで、以下に、これら各部が行う処理の詳細について、図9及び図10を用いて説明する。図9は、道路種別が市街地道路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。図10は、道路種別が細街路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。これらの図9及び図10においては、いずれも(a)が道路区域Zの区分の具体例を示し、(b)が対象種別決定処理の具体例を示している。
認識頻度導出部43は、道路属性情報取得部41により取得された道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度と、認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、各地物種別の認識頻度を導出する認識頻度導出手段として機能する。そのため、本実施形態においては、認識頻度導出部43は、まず、道路属性情報取得部41により取得された道路属性情報Rbに基づいて出現頻度データベースDB5を検索し、当該道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を取得する。ここでは、認識頻度導出部43は、道路属性情報取得部41により取得される、自車両50が現在走行中の道路(リンクk)の道路種別情報及び地域種別情報を示す道路属性情報Rbに基づいて、当該道路種別と地域種別との組み合わせに対応する出現頻度情報S2を、各地物種別について取得する。
(認識頻度)=(出現頻度)×(認識率の予測値)・・・(1)
すなわち、この認識頻度は、自車両50が走行中の道路(リンクk)の道路属性に応じた各地物種別の地物の出現頻度に、各地物種別の地物の画像認識処理における認識率の予想値を重みとして乗算した重み付き出現頻度に相当する値として求められる。これにより、認識頻度は、自車両50が道路属性情報Rbに示される道路属性を有する道路(リンクk)を走行しながら地物の画像認識処理を行う際における、各地物種別の地物の総合的な認識率を表す情報となる。具体的には、例えば図9(b)に示す例では、地物種別が「横断歩道」についての認識頻度は、「出現頻度:10.3」に「認識率の予想値80%」を乗算して「8.2」と求められている。同様に、各地物種別の認識頻度は、「停止線:4.8」、「矢印:10.6」「回転禁止:3.0」、「最高速度:2.5」と求められている。また、図10(b)に示す例では、各地物種別の認識頻度は、「T字:8.8」、「十字:8.4」、「停止線:10.8」、「横断歩道:4.1」、「横断歩道あり:3.2」と求められている。認識頻度導出部43は、以上のようにして各地物種別の認識頻度を導出する。
対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に基づいて、情報収集用画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する。本実施形態においては、対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を、対象種別として決定する。但し、この際、対象種別決定演算部44は、各地物種別の地物の配置傾向情報としての区域情報S3に基づいて、各地物種別の区域情報S3が表す配置傾向が、自車位置情報Pに基づく自車両50の道路(リンクk)上での配置に合致する地物種別を優先して、対象種別を決定する。そのため、本実施形態においては、対象種別決定演算部44は、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する。
認識成否管理部45は、情報収集用画像認識処理に関し、過去における対象地物の画像認識の成否の情報を管理する認識成否管理手段として機能する。このため、認識成否管理部45は、自車位置情報Pに基づいて、道路区域Z(所定の領域の一例)毎に、対象種別決定演算部44により決定された対象種別の対象地物の画像認識の成否を表す認識成否情報としての種別失敗情報S4を生成し、生成された種別失敗情報S4を記憶する。本実施形態においては、種別失敗情報S4は、過去に対象種別決定演算部44により道路区域Z毎に決定された対象種別の対象地物の情報収集用画像認識処理に関して、各道路区域Zの全体において全く対象地物を画像認識できなかった場合に、当該画像認識に失敗した事実を表す情報である。そのため、本例では、種別失敗情報S4は、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。ここで、種別失敗情報S4に含まれる「特定の道路区域Z」は、当該画像認識に失敗した一つの道路区域Zを特定可能な情報であって、配置傾向データベースDB6に記憶された区域情報S3のように、単に「リンク端部Za」や「リンク中央部Zb」等の道路区域Zの種別のみを特定する情報とは異なる。そのため、この種別失敗情報S4に含まれる「特定の道路区域Z」は、画像認識に失敗した特定の道路区域Zを通過した際の自車位置情報Pと道路情報Raとに基づいて求められ、例えば、当該特定の道路区域Zが存在する特定のリンクkと関連付けられた情報とされる。
次に、本実施形態に係るナビゲーション装置1において実行される、地物情報収集方法、地物情報修正方法、自車位置情報補正方法、及び地物情報収集方法を実行するための対象種別決定方法について説明する。図11は、本実施形態に係るナビゲーション装置1の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャートである。図12は、本実施形態に係る地物情報収集方法としての地物情報収集処理の詳細な処理順序を示すフローチャートである。図13は、本実施形態に係る対象種別決定方法としての対象種別決定処理の詳細な処理順序を示すフローチャートである。図14は、本実施形態に係る地物情報修正方法としての地物情報修正処理の詳細な処理順序を示すフローチャートである。以下では、まず、ナビゲーション装置1の全体の動作処理について説明する。
次に、本実施形態に係る地物情報収集方法としての地物情報収集処理の処理順序について説明する。図12に示すように、まず、対象種別決定部42による対象種別決定処理を行う(ステップ#21)。この対象種別決定処理は、対象地物となり得る複数の地物種別の中から、情報収集用画像認識処理の対象とする地物種別を対象種別として決定する処理である。この際、対象種別は、所定の道路区域Z(図9及び図10参照)毎に決定される。この対象種別決定処理については、後に図13に示すフローチャートに基づいて詳細に説明する。次に、画像認識部18により、ステップ#21において道路区域Z毎に決定された対象種別に応じて、道路区域Z毎に対象地物の画像認識処理を行う(ステップ#22)。この際、画像認識部18は、道路区域Z毎に決定された対象種別の地物を対象地物として画像認識を行う。このステップ#22の画像認識処理が、上述した画像認識部18による情報収集用画像認識処理である。そして、一つの道路区域Zにおいて、対象地物を画像認識できなかった場合には(ステップ#23:No)、当該道路区域Zにおいて、ステップ#21で決定された対象種別の画像認識に失敗したことを表す種別失敗情報S4(図1参照)を認識成否管理部45に記憶する(ステップ#30)。
次に、本実施形態に係る対象種別決定方法としての対象種別決定処理の処理順序について説明する。図13に示すように、まず、道路属性情報取得部41により、ステップ#01で取得した自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rb(図1参照)を地図データベースDB1から取得する(ステップ#41)。次に、対象種別決定部42の認識頻度導出部43により、ステップ#41で取得した道路属性情報Rbに応じた各地物種別の出現頻度情報S2(図1参照)を出現頻度データベースDB5から取得する(ステップ#42)。また、認識頻度導出部43により、各地物種別の認識率情報S1を認識属性データベースDB4から取得する(ステップ#43)。そして、認識頻度導出部43により、ステップ#41〜#43により取得した情報に基づいて各地物種別の認識頻度を導出する(ステップ#44)。この認識頻度導出部43による各地物種別の認識頻度の導出方法は、既に説明したとおりである。
次に、本実施形態に係る地物情報修正方法としての地物情報修正処理の処理順序について説明する。図14に示すように、まず、ステップ#05の位置補正用画像認識処理において、認識領域E内での画像認識に失敗した(ステップ#06:No)対象地物について、認識失敗処理部33により、当該対象地物についての認識失敗情報Acとしての学習値を生成し、図6(b)及び図8に示すように、当該対象地物についての学習値を減算して学習データベースDB3に記憶する(ステップ#61)。ここで、学習値がゼロでない場合には(ステップ#62:No)、処理はステップ#64へ進む。そして、学習値がゼロである場合(ステップ#62:Yes)、すなわち学習値が削除しきい値T2以下となった場合には、削除管理部38により、当該対象地物の地物情報Fを地物データベースDB2から削除する(ステップ#63)。
(1)上記の実施形態では、認識位置導出部32は、認識位置情報Aaが表す対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する場合の例について説明した。しかし、本発明に係る認識位置情報Aaは、このような位置の情報に限定されるものではない。したがって、例えば、認識位置情報Aaが表す対象地物の認識位置を、当該対象地物の画像を含む画像情報Gを取得した際の自車位置情報Pが示す自車両50の位置とすることも、本発明の好適な実施形態の一つである。この場合、認識位置導出部32は、地物情報生成部36により学習地物情報Fbを生成する際に、撮像装置11の取付位置、取付角度、及び画角等に基づいて、自車両50の位置に対する画像情報G中の対象地物の道路上の位置を演算し、当該対象地物の道路上の位置を、対象地物の学習地物情報Fbが含む位置情報とすると好適である。
2:地物情報収集装置
3:画像認識装置
4:自車位置認識装置
12:画像情報取得部(画像情報取得手段)
16:自車位置情報取得部(自車位置情報取得手段)
17:地物情報取得部
18:画像認識部(画像認識手段)
19:自車位置情報補正部(自車位置情報補正手段)
23:アプリケーションプログラム
24:案内情報出力手段
32:認識位置導出部
33:認識失敗処理部
34:推測位置判定部(推測位置判定手段)
35:地物情報管理部(地物情報管理手段)
36:地物情報生成部(地物情報生成手段)
37:地物間距離判定部(地物間距離判定手段)
38:削除管理部
39:道路情報管理部(道路情報管理手段)
41:道路属性情報取得部(道路属性情報取得手段)
42:対象種別決定部(対象種別決定手段)
43:認識頻度導出部
44:対象種別決定演算部
45:認識成否管理部
50:自車両
Aa:認識位置情報
Ab:地物属性情報
Ac:認識失敗情報
DB1:地図データベース(道路情報記憶手段)
DB2:地物データベース(地物情報記憶手段)
DB3:学習データベース(認識結果記憶手段)
D:地物間距離
E:認識領域
F:地物情報
G:画像情報
L:リンク長さ
M:地図情報
P:自車位置情報
Ra:道路情報
Rb:道路属性情報
S1:認識率情報(認識属性情報)
S2:出現頻度情報
S3:区域情報(配置傾向情報)
S4:種別失敗情報
T1:学習しきい値
T2:削除しきい値
Z:道路区域
a1〜a7:位置範囲
k:リンク
n:ノード
pg:推測位置
pn:ノード位置
Claims (14)
- 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、
自車両の周辺の画像情報を取得する画像情報取得手段と、
前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、
前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、
前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、
前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定するとともに、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報にも基づいて、前記対象種別を決定する画像認識装置。 - 前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項1に記載の画像認識装置。
- 前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む請求項1又は2に記載の画像認識装置。
- 前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む請求項1から3のいずれか一項に記載の画像認識装置。
- 前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項1から4のいずれか一項に記載の画像認識装置。
- 前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む請求項5に記載の画像認識装置。
- 前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である請求項1から6のいずれか一項に記載の画像認識装置。
- 請求項1から7のいずれか一項に記載の画像認識装置と、
前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、を備える地物情報収集装置。 - 同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える請求項8に記載の地物情報収集装置。
- 前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える請求項9に記載の地物情報収集装置。
- 前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する請求項8から10のいずれか一項に記載の地物情報収集装置。
- 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、
自車両の周辺の画像情報を取得する画像情報取得ステップと、
前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、
前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、
前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、
前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定するとともに、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報にも基づいて、前記対象種別を決定する画像認識方法。 - 前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項12に記載の画像認識方法。
- 前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項12又は13に記載の画像認識方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007091047A JP4446201B2 (ja) | 2007-03-30 | 2007-03-30 | 画像認識装置及び画像認識方法 |
US12/073,876 US8184861B2 (en) | 2007-03-30 | 2008-03-11 | Feature information management apparatuses, methods, and programs |
EP08004629A EP1975558A3 (en) | 2007-03-30 | 2008-03-12 | Image recognition apparatus and image recognition method |
CN2008100836821A CN101275852B (zh) | 2007-03-30 | 2008-03-14 | 图像识别装置与图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007091047A JP4446201B2 (ja) | 2007-03-30 | 2007-03-30 | 画像認識装置及び画像認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008249480A JP2008249480A (ja) | 2008-10-16 |
JP4446201B2 true JP4446201B2 (ja) | 2010-04-07 |
Family
ID=39550928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007091047A Expired - Fee Related JP4446201B2 (ja) | 2007-03-30 | 2007-03-30 | 画像認識装置及び画像認識方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8184861B2 (ja) |
EP (1) | EP1975558A3 (ja) |
JP (1) | JP4446201B2 (ja) |
CN (1) | CN101275852B (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5611819B2 (ja) * | 2007-05-25 | 2014-10-22 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | 交通にとって重要な情報を認識する方法及び装置 |
US8803966B2 (en) * | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
KR101541076B1 (ko) * | 2008-11-27 | 2015-07-31 | 삼성전자주식회사 | 지형지물 인식방법 |
JP5538967B2 (ja) | 2009-06-18 | 2014-07-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
CN102483881B (zh) * | 2009-09-29 | 2014-05-14 | 松下电器产业株式会社 | 人行横道线检测方法及人行横道线检测装置 |
TWI419061B (zh) * | 2010-01-18 | 2013-12-11 | Pixart Imaging Inc | 多物件影像辨識方法 |
WO2012089261A1 (en) * | 2010-12-29 | 2012-07-05 | Tomtom Belgium Nv | Method of automatically extracting lane markings from road imagery |
US8504270B2 (en) * | 2011-02-16 | 2013-08-06 | Bayerische Motoren Werke Aktiengesellschaft | Traffic broadcast system |
DE112012001464T5 (de) * | 2011-03-28 | 2013-12-24 | Panasonic Corporation | Bildanzeigegerät |
JP5782948B2 (ja) * | 2011-09-15 | 2015-09-24 | 富士通株式会社 | 情報管理方法及び情報管理装置 |
CN102768805B (zh) * | 2012-06-14 | 2015-10-28 | 深圳市凯立德科技股份有限公司 | 交通信息的显示方法以及可显示交通信息的装置 |
KR20140019501A (ko) * | 2012-08-06 | 2014-02-17 | 현대자동차주식회사 | 장애물 인식을 위한 분류기의 생성방법 |
JP6094252B2 (ja) * | 2013-02-20 | 2017-03-15 | 株式会社デンソー | 道路標識認識装置 |
MX346231B (es) * | 2013-04-04 | 2017-03-13 | Nissan Motor | Aparato de reconocimiento de señales de tránsito. |
JP6313589B2 (ja) * | 2013-12-20 | 2018-04-18 | 矢崎エナジーシステム株式会社 | 運行情報管理システム |
JP6431261B2 (ja) * | 2013-12-20 | 2018-11-28 | 矢崎エナジーシステム株式会社 | 運行情報管理システム |
JP6044556B2 (ja) | 2014-01-16 | 2016-12-14 | 株式会社デンソー | 学習システム、車載装置、及び、サーバ |
US9081383B1 (en) * | 2014-01-22 | 2015-07-14 | Google Inc. | Enhancing basic roadway-intersection models using high intensity image data |
JP6280409B2 (ja) * | 2014-03-25 | 2018-02-14 | 株式会社日立製作所 | 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム |
JP2016018295A (ja) * | 2014-07-07 | 2016-02-01 | 日立オートモティブシステムズ株式会社 | 情報処理システム |
JP2016134136A (ja) * | 2015-01-22 | 2016-07-25 | キャンバスマップル株式会社 | 画像処理装置、および画像処理プログラム |
TWI569764B (zh) * | 2015-05-20 | 2017-02-11 | 國立交通大學 | 用於微創手術的多器械影像辨識方法及系統 |
US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
US20190266416A1 (en) * | 2015-11-08 | 2019-08-29 | Otobrite Electronics Inc. | Vehicle image system and method for positioning vehicle using vehicle image |
JP6665522B2 (ja) * | 2015-12-18 | 2020-03-13 | 株式会社リコー | 情報処理装置、情報処理システム、および情報処理プログラム |
JP6038422B1 (ja) | 2016-01-26 | 2016-12-07 | 三菱電機株式会社 | 車両判定装置、車両判定方法及び車両判定プログラム |
CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
JPWO2017199369A1 (ja) * | 2016-05-18 | 2019-03-07 | パイオニア株式会社 | 地物認識装置、地物認識方法およびプログラム |
CN106781470B (zh) * | 2016-12-12 | 2022-01-28 | 百度在线网络技术(北京)有限公司 | 城市道路的运行速度的处理方法及装置 |
FR3067144B1 (fr) * | 2017-06-06 | 2021-07-30 | Peugeot Citroen Automobiles Sa | Procede de determination du type de route sur laquelle evolue un vehicule |
US11093760B2 (en) * | 2017-08-26 | 2021-08-17 | Here Global B.V. | Predicting features on a road network with repeating geometry patterns |
CN108831176B (zh) | 2018-05-31 | 2020-11-20 | 京东方科技集团股份有限公司 | 交通标识的观测方法、装置、系统、设备和介质 |
CN110617821B (zh) * | 2018-06-19 | 2021-11-02 | 北京嘀嘀无限科技发展有限公司 | 定位方法、装置及存储介质 |
DE102018217840A1 (de) * | 2018-10-18 | 2020-04-23 | Volkswagen Aktiengesellschaft | Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug |
WO2020195969A1 (ja) * | 2019-03-28 | 2020-10-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111942288B (zh) * | 2019-05-14 | 2022-01-28 | 欧特明电子股份有限公司 | 车辆影像系统及使用车辆影像的车辆定位方法 |
JP7364365B2 (ja) * | 2019-06-18 | 2023-10-18 | 矢崎エナジーシステム株式会社 | 車載器及び運転評価システム |
CN110231039A (zh) * | 2019-06-27 | 2019-09-13 | 维沃移动通信有限公司 | 一种定位信息修正方法及终端设备 |
CN110470149A (zh) * | 2019-07-18 | 2019-11-19 | 首钢京唐钢铁联合有限责任公司 | 一种台车动态跟踪方法和装置 |
US11932245B2 (en) * | 2020-09-01 | 2024-03-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for improving path selection for automated driving |
WO2022264492A1 (ja) * | 2021-06-18 | 2022-12-22 | 日立Astemo株式会社 | 外界認識システム |
Family Cites Families (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57144589A (en) * | 1981-03-04 | 1982-09-07 | Nissan Motor | Picture display unit |
EP0199780B1 (en) | 1984-10-22 | 1996-12-27 | Etak, Inc. | Apparatus for displaying a map |
JPH074952B2 (ja) * | 1987-01-12 | 1995-01-25 | キヤノン株式会社 | プリンタ制御装置 |
JPS62187884A (ja) | 1987-02-12 | 1987-08-17 | 株式会社日立製作所 | 回転画像表示装置 |
US5280577A (en) * | 1988-01-19 | 1994-01-18 | E. I. Du Pont De Nemours & Co., Inc. | Character generation using graphical primitives |
US5123085A (en) * | 1990-03-19 | 1992-06-16 | Sun Microsystems, Inc. | Method and apparatus for rendering anti-aliased polygons |
JPH04144479A (ja) | 1990-10-05 | 1992-05-18 | Ricoh Co Ltd | 図形出力装置 |
JP2822697B2 (ja) | 1991-07-08 | 1998-11-11 | 日本電気株式会社 | パーキングメータシステム |
JPH06127318A (ja) | 1992-10-13 | 1994-05-10 | Nissan Motor Co Ltd | 駐車スペースの長さ検出装置 |
DE4313568C1 (de) * | 1993-04-26 | 1994-06-16 | Daimler Benz Ag | Verfahren zur Leithilfe für einen Fahrspurwechsel durch ein Kraftfahrzeug |
DE69316898T2 (de) * | 1993-11-05 | 1998-07-30 | Philips Electronics Nv | Fahrzeugnavigationsanzeigesystem |
US5790714A (en) * | 1994-11-01 | 1998-08-04 | International Business Machines Corporation | System and method for scaling video |
JPH08194432A (ja) | 1995-01-17 | 1996-07-30 | Nippondenso Co Ltd | 地図表示装置 |
US5684940A (en) * | 1995-03-13 | 1997-11-04 | Rutgers, The States University Of New Jersey | Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features |
JP3564547B2 (ja) | 1995-04-17 | 2004-09-15 | 本田技研工業株式会社 | 自動走行誘導装置 |
KR100224326B1 (ko) | 1995-12-26 | 1999-10-15 | 모리 하루오 | 차량용 네비게이션장치 |
JP3225203B2 (ja) | 1996-05-07 | 2001-11-05 | 小糸工業株式会社 | 駐車場利用状況予測装置及び駐車場利用状況測定装置、並びにこれらを用いた駐車場案内装置 |
JP3665436B2 (ja) | 1996-10-22 | 2005-06-29 | 株式会社ザナヴィ・インフォマティクス | ナビゲーション装置 |
DE19724919A1 (de) * | 1997-06-12 | 1999-01-07 | Adolph Michael Dr | Verfahren zum Erzeugen, Verschmelzen und Aktualisieren von in einem Zielführungssystem nutzbaren Daten |
US6047234A (en) * | 1997-10-16 | 2000-04-04 | Navigation Technologies Corporation | System and method for updating, enhancing or refining a geographic database using feedback |
JPH11306498A (ja) | 1998-04-16 | 1999-11-05 | Matsushita Electric Ind Co Ltd | 車載カメラシステム |
JP3434453B2 (ja) | 1998-07-07 | 2003-08-11 | ティーポール株式会社 | 殺菌洗浄剤組成物 |
JP2000029450A (ja) | 1998-07-09 | 2000-01-28 | Alpine Electronics Inc | 文字列表示方法 |
US6771264B1 (en) * | 1998-08-20 | 2004-08-03 | Apple Computer, Inc. | Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor |
DE19842176A1 (de) * | 1998-09-15 | 2000-03-16 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation |
WO2000031707A1 (en) * | 1998-11-23 | 2000-06-02 | Nestor, Inc. | Non-violation event filtering for a traffic light violation detection system |
EP1033693B1 (en) * | 1999-03-01 | 2004-04-21 | Yazaki Corporation | Rear and side view monitor with camera for a vehicle |
US6226592B1 (en) * | 1999-03-22 | 2001-05-01 | Veridian Erim International, Inc. | Method and apparatus for prompting a motor vehicle operator to remain within a lane |
DE19916967C1 (de) | 1999-04-15 | 2000-11-30 | Daimler Chrysler Ag | Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung |
CA2335116C (en) * | 1999-04-20 | 2004-06-22 | Mitsubishi Denki Kabushiki Kaisha | Character display device and character display method |
JP2001075967A (ja) | 1999-08-31 | 2001-03-23 | Denso Corp | 地図データの更新用情報作成方法及び地図データの差分更新システム |
DE19941477A1 (de) * | 1999-09-01 | 2001-03-22 | Bosch Gmbh Robert | Navigationsgerät für ein landgebundenes Fahrzeug |
US6516273B1 (en) * | 1999-11-04 | 2003-02-04 | Veridian Engineering, Inc. | Method and apparatus for determination and warning of potential violation of intersection traffic control devices |
US6803913B1 (en) * | 1999-12-01 | 2004-10-12 | Microsoft Corporation | Warping text along a curved path |
JP4522521B2 (ja) | 2000-01-19 | 2010-08-11 | 日本信号株式会社 | パーキングメータ集中監視システム |
JP3646605B2 (ja) * | 2000-02-23 | 2005-05-11 | 株式会社日立製作所 | 車両走行制御装置 |
US6615130B2 (en) * | 2000-03-17 | 2003-09-02 | Makor Issues And Rights Ltd. | Real time vehicle guidance and traffic forecasting system |
DE10028130C2 (de) | 2000-06-07 | 2003-08-21 | Daimler Chrysler Ag | System zur Fahrzeugführung vor verkehrsgeregelten Kreuzungen |
KR100335906B1 (ko) * | 2000-06-08 | 2002-05-08 | 이계안 | 차량의 교통 신호등 연동 속도 제어 시스템 |
JP2003078654A (ja) | 2001-02-19 | 2003-03-14 | Hitachi Kokusai Electric Inc | 緊急情報通報システムおよび緊急情報通報システムを利用する装置およびその方法、および移動物体 |
EP1233387A2 (en) * | 2001-02-19 | 2002-08-21 | Hitachi Kokusai Electric Inc. | Vehicle emergency reporting system and method |
JP4649756B2 (ja) | 2001-03-28 | 2011-03-16 | 日産自動車株式会社 | 車両用死角モニタの制御装置 |
US6737963B2 (en) * | 2001-03-30 | 2004-05-18 | Koninklijke Philips Electronics N.V. | Driver tailgating and following aid |
JP3660308B2 (ja) | 2001-05-18 | 2005-06-15 | 本田技研工業株式会社 | 車両の走行区分線認識装置 |
US6724320B2 (en) * | 2001-07-09 | 2004-04-20 | International Business Machines Corporation | System and method for controlling a traffic light |
EP1324274A3 (en) * | 2001-12-28 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Vehicle information recording system |
JP2003256257A (ja) | 2002-02-28 | 2003-09-10 | Ntt Comware Corp | 全社統合システムにおける共通処理装置並びにその方法、及び共通処理プログラム |
JP3953858B2 (ja) | 2002-03-26 | 2007-08-08 | アルパイン株式会社 | 車載用ナビゲーション装置 |
GB0208835D0 (en) * | 2002-04-18 | 2002-05-29 | Koninkl Philips Electronics Nv | A method of labelling an image on a display |
JP3660326B2 (ja) | 2002-05-31 | 2005-06-15 | 博久 森田 | デジタル地図情報提供方法、デジタル地図情報提供システム |
JP4003569B2 (ja) | 2002-07-22 | 2007-11-07 | 株式会社デンソー | 交差点事故防止装置及びプログラム |
JP3970718B2 (ja) | 2002-08-07 | 2007-09-05 | アルパイン株式会社 | 車載用ナビゲーション装置 |
DE10251357A1 (de) * | 2002-11-05 | 2004-05-13 | Daimlerchrysler Ag | Setzen oder Abschalten eines Fahrtrichtungsanzeigers |
JP3979272B2 (ja) | 2002-11-20 | 2007-09-19 | 株式会社日立製作所 | 道路交通計測装置 |
JP4578795B2 (ja) * | 2003-03-26 | 2010-11-10 | 富士通テン株式会社 | 車両制御装置、車両制御方法および車両制御プログラム |
US6925378B2 (en) * | 2003-05-12 | 2005-08-02 | Circumnav Networks, Inc. | Enhanced mobile communication device with extended radio, and applications |
JP2004362287A (ja) | 2003-06-05 | 2004-12-24 | Canon Inc | データ更新方式 |
JP4597496B2 (ja) * | 2003-09-04 | 2010-12-15 | 三菱電機株式会社 | 表示装置 |
DE10351894A1 (de) * | 2003-11-06 | 2005-06-09 | Robert Bosch Gmbh | Verfahren zur Ermittlung einer Parklücke |
JP2005165639A (ja) | 2003-12-02 | 2005-06-23 | Matsushita Electric Ind Co Ltd | 差分地図データ生成装置、地図データ更新装置、差分地図データ生成プログラムおよび地図差分更新システム |
JP3979382B2 (ja) * | 2003-12-03 | 2007-09-19 | 日産自動車株式会社 | 車線逸脱防止装置 |
US6989766B2 (en) * | 2003-12-23 | 2006-01-24 | International Business Machines Corporation | Smart traffic signal system |
US6972675B2 (en) * | 2004-01-22 | 2005-12-06 | Ford Global Technologies, Llc | Vehicle turn signal system |
JP2006038558A (ja) | 2004-07-26 | 2006-02-09 | Denso Corp | カーナビゲーションシステム |
JP2006084257A (ja) | 2004-09-15 | 2006-03-30 | Matsushita Electric Ind Co Ltd | 情報配信システムおよびその端末装置、センタ装置 |
JP4729905B2 (ja) * | 2004-11-17 | 2011-07-20 | アイシン・エィ・ダブリュ株式会社 | 車両報知装置及びプログラム |
JP4577827B2 (ja) | 2005-01-06 | 2010-11-10 | アイシン・エィ・ダブリュ株式会社 | 走行車両の次道路予測装置 |
JP4557288B2 (ja) | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 |
JP4321821B2 (ja) * | 2005-01-28 | 2009-08-26 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法 |
JP2006275690A (ja) | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | 運転支援装置 |
JP2006330908A (ja) | 2005-05-24 | 2006-12-07 | Toyota Motor Corp | 位置記録装置及び位置記録方法 |
JP4548607B2 (ja) | 2005-08-04 | 2010-09-22 | アルパイン株式会社 | 標識提示装置及び標識提示方法 |
JP2007041916A (ja) | 2005-08-04 | 2007-02-15 | Nissan Motor Co Ltd | 車両用停止線検出システム |
JP2007131169A (ja) | 2005-11-10 | 2007-05-31 | Nippon Soken Inc | 駐車スペース検出装置 |
US7466227B2 (en) * | 2006-03-17 | 2008-12-16 | Alcatel-Lucent Usa Inc. | Location based vehicle traffic signal alert system |
JP4680131B2 (ja) | 2006-05-29 | 2011-05-11 | トヨタ自動車株式会社 | 自車位置測定装置 |
-
2007
- 2007-03-30 JP JP2007091047A patent/JP4446201B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-11 US US12/073,876 patent/US8184861B2/en not_active Expired - Fee Related
- 2008-03-12 EP EP08004629A patent/EP1975558A3/en not_active Withdrawn
- 2008-03-14 CN CN2008100836821A patent/CN101275852B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101275852A (zh) | 2008-10-01 |
US8184861B2 (en) | 2012-05-22 |
US20080240506A1 (en) | 2008-10-02 |
EP1975558A3 (en) | 2009-11-04 |
CN101275852B (zh) | 2011-12-28 |
EP1975558A2 (en) | 2008-10-01 |
JP2008249480A (ja) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4446201B2 (ja) | 画像認識装置及び画像認識方法 | |
JP4437556B2 (ja) | 地物情報収集装置及び地物情報収集方法 | |
JP4569837B2 (ja) | 地物情報収集装置及び地物情報収集方法 | |
JP4831434B2 (ja) | 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置 | |
JP4703605B2 (ja) | 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法 | |
JP4984152B2 (ja) | 画像認識システム、サーバ装置、及び画像認識装置 | |
US20220412772A1 (en) | Systems and methods for monitoring lane mark quality | |
JP5141969B2 (ja) | 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置 | |
EP4202365A1 (en) | Method, apparatus, and computer program product for identifying and correcting lane geometry in map data | |
JP5099460B2 (ja) | 地物情報収集装置及び地物情報収集方法 | |
JP4831433B2 (ja) | 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置 | |
JP4789868B2 (ja) | 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 | |
EP4202364A1 (en) | Method, apparatus, and computer program product for identifying and correcting intersection lane geometry in map data | |
US12013255B2 (en) | Method, apparatus, and computer program product for correcting lane geometry in map data | |
JP5071737B2 (ja) | レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置 | |
JP4817019B2 (ja) | 自車位置認識装置及び自車位置認識プログラム | |
JP5088592B2 (ja) | 自車位置認識装置及び自車位置認識プログラム | |
JP2013050411A (ja) | 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法 | |
US20240151549A1 (en) | Method, apparatus, and computer program product for sensor data analysis | |
US20230195506A1 (en) | Systems and methods for processing atomic commands | |
JP4943246B2 (ja) | レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置 | |
JP5001911B2 (ja) | 停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4446201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150129 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |