[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4446201B2 - 画像認識装置及び画像認識方法 - Google Patents

画像認識装置及び画像認識方法 Download PDF

Info

Publication number
JP4446201B2
JP4446201B2 JP2007091047A JP2007091047A JP4446201B2 JP 4446201 B2 JP4446201 B2 JP 4446201B2 JP 2007091047 A JP2007091047 A JP 2007091047A JP 2007091047 A JP2007091047 A JP 2007091047A JP 4446201 B2 JP4446201 B2 JP 4446201B2
Authority
JP
Japan
Prior art keywords
feature
information
recognition
target
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007091047A
Other languages
English (en)
Other versions
JP2008249480A (ja
Inventor
正樹 中村
功一 中尾
基揮 勘場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007091047A priority Critical patent/JP4446201B2/ja
Priority to US12/073,876 priority patent/US8184861B2/en
Priority to EP08004629A priority patent/EP1975558A3/en
Priority to CN2008100836821A priority patent/CN101275852B/zh
Publication of JP2008249480A publication Critical patent/JP2008249480A/ja
Application granted granted Critical
Publication of JP4446201B2 publication Critical patent/JP4446201B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行う画像認識装置及び画像認識方法に関する。
これまでに、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行い、その画像認識結果に基づいて地物の情報を収集する装置が知られている(例えば、下記の特許文献1及び2参照)。これらの特許文献に記載された従来の装置は、いずれも、道路に設置された交通標識や道路交通情報表示板を対象地物とするものである。そして、これらの装置は、車両に搭載された撮像装置により取得した画像情報に含まれる対象地物の画像認識を行い、その認識結果から抽出された標識情報等の地物情報を、位置情報や区間情報と関連付けて地図データベースに記憶する。ここで、対象地物の画像認識処理に際しては、交通標識や道路交通情報表示板等の具体的な種別を、パターンマッチング等により認識する構成とされている。
特開2006−038558号公報 特開2006−275690号公報
しかし、上記のような従来の装置では、画像情報に含まれる可能性がある交通標識や道路交通情報表示板等の多数の地物種別を対象として、その地物種別を特定する画像認識処理を行うこととしている。そのため、一つの画像情報に対して、多数の地物種別のそれぞれに関して認識アルゴリズムを適用することが必要となり、画像認識処理のための処理負荷が大きくなる。したがって、画像認識処理を高速で行うことが困難になり、或いは高速で画像認識処理を行うことが可能な装置を実現するために製造コストが高くなるという問題が生じる。
一方、画像認識処理のための処理負荷を抑えるためには、画像認識の対象とする地物種別を限定することが考えられる。しかし、自車両の周辺状況等を考慮せずに一律に同じ地物種別の地物を対象として画像認識処理を行うこととすると、自車両の周辺にほとんど存在していない地物種別の地物を対象として画像認識処理を行うような場合も生じ得る。したがって、取得した画像情報に対して効率的に地物の画像認識処理を行うことができず、そのため効率的に地物の情報を収集することが困難であるという問題がある。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像認識処理のための処理負荷を抑えることができるとともに、効率的に地物の画像認識処理を行うことが可能な画像認識装置及び画像認識方法を提供することにある。
上記目的を達成するための本発明に係る画像認識装置の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、自車両の周辺の画像情報を取得する画像情報取得手段と、前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定するとともに、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報にも基づいて、前記対象種別を決定する点にある。
この特徴構成によれば、自車両が走行中の道路についての道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、画像認識処理の対象とする対象種別を決定するため、道路属性と認識属性とに応じて画像認識処理の対象として最適な地物種別を対象種別とすることが可能となる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、道路属性と認識属性とに応じて画像認識処理に最適な地物種別を対象とし、効率的に地物の画像認識処理を行うことが可能となる。
さらに、この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
ここで、前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する構成とすると好適である。
この構成によれば、自車両が走行中の道路の道路属性に応じた各地物種別の出現頻度と、各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、最も画像認識に成功する可能性が高い一又は二以上の地物種別を対象種別とすることができる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、単位走行距離あたりの画像認識に成功する対象地物の数を多くすることができ、効率的に地物の画像認識処理を行うことが可能となる。
また、前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む構成とすると好適である。
ここで、道路種別情報は、例えば、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、道路が設けられている地域を複数に区分した際の地域種別の情報である。
この構成によれば、自車両が走行中の道路についての道路種別及び地域種別の少なくとも一方に応じて、画像認識処理の対象として最も適した地物種別を対象種別に決定することができる。
また、前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む構成とすると好適である。
この構成によれば、各地物種別の画像認識処理に際しての認識容易性の程度を、各地物種別に固有の性質に基づいて定めた画像認識処理に際しての認識率の予想値の情報として取得することができる。したがって、各地物種別の画像認識に成功する割合を比較的容易に求めることが可能となる。
また、前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する構成とすると好適である。
この構成によれば、各地物種別の地物の道路上での配置傾向に応じて対象種別となる地物種別が異なるように決定することができる。したがって、自車両が同じ道路属性の道路を走行中の場合であっても、自車両の道路上での配置に応じて、適切に対象種別を変化させることが可能となる。これにより、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
また、前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む構成とすると好適である。
この構成によれば、地物種別毎に、交差点を基準とする道路の長さ方向のいずれの道路区域に配置されている可能性が高いかを表す区域情報に応じて、道路区域毎に適切な対象種別を決定することができる。これにより、例えば横断歩道、停止線、最高速度標示、矢印標示等のように交差点に対する配置傾向が定まっている地物種別の地物を、その配置傾向に応じて適切に画像認識することが可能となる。したがって、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
また、前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である構成とすると好適である。
この構成によれば、道路標識、案内標識、信号機等の立体的な地物と比較して比較的画像認識が容易な道路標示の中から対象種別を選択することになるので、画像認識の成功率を高めることができ、より効率的に地物の画像認識処理を行うことが可能となる。
本発明に係る地物情報収集装置の特徴構成は、上記の各構成を備えた画像認識装置と、前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、を備える点にある。
この特徴構成によれば、道路属性と認識属性とに応じて決定した最適な対象種別の地物を対象地物として画像認識処理を行い、その画像認識結果に係る対象地物の認識位置情報を認識結果記憶手段に記憶することになる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定しつつ、効率的に対象地物の画像認識処理を行い、その認識結果を認識結果記憶手段に蓄積することができる。
ここで、同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える構成とすると好適である。
この構成によれば、認識結果記憶手段に記憶された複数の認識位置情報のそれぞれが示す対象地物の認識位置に誤差が含まれる場合であっても、複数の認識位置情報を用いて推測位置を判定することにより誤差を平均化し、対象地物の推測位置を実際の位置により近づけることが可能となる。これにより、対象地物の位置情報を高精度に取得することが可能となる。
また、前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える構成とすると好適である。
この構成によれば、道路属性と認識属性とに応じて決定した最適な対象種別の地物を対象地物とした画像認識処理の結果に基づいて、画像認識された対象地物の地物情報を生成し、地物情報記憶手段に記憶させることができる。したがって、地物情報が予め整備されていない道路を自車両が走行する場合であっても、新たに生成された地物情報を用いて、当該地物情報に示される地物の画像認識処理や、そのような地物の画像認識結果を用いた自車位置情報の補正等を行うことが可能となる。
また、前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する構成とすると好適である。
この構成によれば、複数の車両による対象地物の学習結果としての認識位置情報を、複数の車両と通信可能に接続された認識結果記憶手段に記憶することができ、したがって、多くの認識位置情報を認識結果記憶手段に集積することができる。これにより、多くの認識位置情報を用いて更に高精度な位置情報を有する対象地物の地物情報を生成することが可能となる。
本発明に係る画像認識方法の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、自車両の周辺の画像情報を取得する画像情報取得ステップと、前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定するとともに、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報にも基づいて、前記対象種別を決定する点にある。
この特徴構成によれば、自車両が走行中の道路についての道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、画像認識処理の対象とする対象種別を決定するため、道路属性と認識属性とに応じて画像認識処理の対象として最適な地物種別を対象種別とすることが可能となる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、道路属性と認識属性とに応じて画像認識処理に最適な地物種別を対象とし、効率的に地物の画像認識処理を行うことが可能となる。
さらに、この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
ここで、前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する構成とすると好適である。
この構成によれば、自車両が走行中の道路の道路属性に応じた各地物種別の出現頻度と、各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、最も画像認識に成功する可能性が高い一又は二以上の地物種別を対象種別とすることができる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、単位走行距離あたりの画像認識に成功する対象地物の数を多くすることができ、効率的に地物の画像認識処理を行うことが可能となる。
また、前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する構成とすると好適である。
この構成によれば、各地物種別の地物の道路上での配置傾向に応じて対象種別となる地物種別が異なるように決定することができる。したがって、自車両が同じ道路属性の道路を走行中の場合であっても、自車両の道路上での配置に応じて、適切に対象種別を変化させることが可能となる。これにより、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
次に、本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。このナビゲーション装置1は、本発明の実施形態としての地物情報収集装置2、画像認識装置3、及び自車位置認識装置4を含んで構成されている。このナビゲーション装置1は、所定の地物種別の地物を対象地物とし、画像認識部18による対象地物の画像認識結果を用いて当該対象地物の位置を学習する。そして、このような対象地物の学習結果を地物データベースDB2に反映させることにより、地物情報Fが整備されていなかった道路においても、地物情報Fを用いた自車位置情報Pの補正を行うことを可能とする。また、このナビゲーション装置1は、地物データベースDB2に記憶されている地物情報Fに基づく対象地物の画像認識に失敗した際に、そのことを学習し、それを地物データベースDB2に反映させて地物情報Fを修正する。そして、ナビゲーション装置1は、補正された自車位置情報Pに基づいて経路案内等のナビゲーション処理を行う。
図1に示すナビゲーション装置1の各機能部、具体的には、画像情報取得部12、自車位置情報取得部16、地物情報取得部17、画像認識部18、自車位置情報補正部19、ナビゲーション用演算部20、認識情報処理部31、推測位置判定部34、地物情報管理部35、道路情報管理部39、道路属性情報取得部41、及び対象種別決定部42は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置1の各データベースDB1〜DB6は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
1.地図データベース
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。これらのリンクkの属性情報が、道路属性情報Rb(図1参照)に相当する。そして、本実施形態においては、この地図データベースDB1が、本発明における道路情報記憶手段及び地図情報記憶手段に相当する。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
2.地物データベース
地物データベースDB2は、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報Faは、道路情報Raを含む地図情報Mが整備されている全ての地域の中で、大都市周辺や幹線道路等の一部の地域についてのみ整備されている。一方、学習地物情報Fbとは、後述するように、画像認識部18による対象地物の画像認識結果を用いて学習した結果として地物データベースDB2に記憶される地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。本実施形態においては、この地物データベースDB2が、本発明における地物情報記憶手段に相当する。
この地物データベースDB2に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図3は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを有している。ここで、位置情報は、道路情報Raを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、地物属性情報は、地物種別情報や、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。また、本実施形態においては、地物情報Fは、近接する他の地物との関係を表す関連付情報や、当該他の地物との間の地物間距離を表す地物間距離情報を有している。ここで、関連付情報は、自車両50(図5等参照)が道路に沿って進行中に、一つの地物を画像認識することにより、前方に存在する他の地物を予測できるようにするための情報である。また、地物間距離情報は、そのような前方に存在する地物までの自車両50からの距離を正確に予測するための情報である。
3.学習データベース
学習データベースDB3は、認識位置導出部32により導出された認識位置情報Aa、及び認識失敗処理部33により導出された認識失敗情報Acを、各認識位置情報Aa及び各認識失敗情報Acに対応する対象地物が識別可能な状態で記憶するデータベースである。ここでは、各情報Aa、Acに対応する対象地物を識別可能とするために、各情報Aa、Acと、それに対応する対象地物の地物属性情報Abとを関連付けて記憶している。この学習データベースDB3に記憶される認識位置情報Aa、地物属性情報Ab、及び認識失敗情報Acの具体的な内容については、後で詳細に説明する。本実施形態においては、この学習データベースDB3が、本発明における認識結果記憶手段に相当する。
4.画像情報取得部
画像情報取得部12は、撮像装置11により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置11は、撮像素子を備えた車載カメラ等であって、少なくとも自車両50の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置11としては、例えば、図4に示すような自車両50の後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部12は、撮像装置11により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部12は、撮像装置11により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部18へ出力される。
5.自車位置情報取得部
自車位置情報取得部16は、自車両50の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部16は、GPS受信機13、方位センサ14、及び距離センサ15と接続されている。ここで、GPS受信機13は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部16へ出力される。自車位置情報取得部16では、GPS受信機13で受信されたGPS衛星からの信号を解析し、自車両50の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ14は、自車両50の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ14は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ14は、その検出結果を自車位置情報取得部16へ出力する。距離センサ15は、自車両50の車速や移動距離を検出するセンサである。この距離センサ15は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両50の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ15は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部16へ出力する。
そして、自車位置情報取得部16は、これらのGPS受信機13、方位センサ14及び距離センサ15からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部16は、地図データベースDB1から抽出された自車位置周辺の道路情報Raを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を道路情報Raに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部16は、緯度及び経度で表された自車両50の現在位置の情報、及び自車両50の進行方位の情報を含む自車位置情報Pを取得する。
6.地物情報取得部
地物情報取得部17は、自車位置情報取得部16で取得された自車位置情報P等に基づいて、地物データベースDB2から自車両50の周辺に存在する地物の地物情報Fを抽出して取得する。本実施形態においては、一例として、地物情報取得部17は、自車位置情報Pに基づいて、自車位置情報Pに示される自車両50の現在位置から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から抽出する。そして、この地物情報取得部17により取得された地物情報Fは、画像認識部18及び自車位置情報補正部19へ出力される。ここで、地物情報取得部17により地物データベースDB2から抽出される対象地物の地物情報Fには、初期地物情報Fa及び学習地物情報Fbの双方が含まれる。また、対象地物となる地物は、画像認識部5による画像認識処理の対象となる地物である。本実施形態においては、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物が対象地物となる。
7.画像認識部
画像認識部18は、画像情報取得部12で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部18は、自車位置情報Pの補正に用いるための位置補正用画像認識処理と、対象地物の画像認識結果を学習して地物データベースDB2に反映させるための情報収集用画像認識処理との2種類の画像認識処理を行う。本実施形態においては、画像認識部18は、地物情報取得部17により自車位置情報Pに基づいて地物データベースDB2から取得された地物情報Fを参照する。そして、自車両50の周辺に地物情報Fとして記憶された対象地物が存在すると判定された場合に位置補正用画像認識処理を行い、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しないと判定された場合に情報収集用画像認識処理を行う。これは、後述するように、地物情報Fが既に整備された道路上を自車両50が走行中の場合には、位置補正用画像認識処理による画像認識結果と地物情報Fとに基づく自車位置情報Pの補正処理や、位置補正用画像認識処理に失敗した場合の地物情報Fの修正処理を行い、地物情報Fが整備されていない道路上を自車両50が走行中の場合には、情報収集用画像認識処理により画像認識結果を用いて対象地物の存在する位置を学習する処理を行うためである。なお、本実施形態においては、自車両50の周辺に地物情報Fとして記憶された対象地物が存在するか否かを、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に地物情報Fとして記憶された対象地物が存在するか否かにより判定することとしている。
そして、位置補正用画像認識処理では、画像認識部18は、自車位置情報Pに基づいて地物データベースDB2から取得した自車両50の周辺に存在する対象地物の地物情報Fに基づいて、画像情報Gに含まれる当該地物情報Fが示す対象地物の画像認識処理を行う。この際、画像認識部18は、当該地物情報Fが示す対象地物の認識要求を行う所定の認識領域E(図6参照)を設定し、この認識領域E内の画像情報Gに対して対象地物の画像認識処理を行う。この認識領域Eは、道路情報Raが示すリンクk上における、当該対象地物が存在すると推測される位置範囲として設定される。ここで、各画像情報Gに含まれる現実の道路の撮像領域は、自車両50への撮像装置11の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。よって、画像認識部18は、このように求めた各画像情報Gの撮像領域の情報に基づいて、各対象地物について設定された認識領域Eに対応する画像情報Gを抽出し、画像認識処理を行う。そして、この位置補正用画像認識処理による対象地物の画像認識結果は、自車位置情報補正部19による自車位置情報Pの補正に用いられる。また、位置補正用画像認識処理では、画像認識部18は、各対象地物について設定された認識領域Eの外での対象地物の画像認識も行う。このような認識領域Eの外で認識された対象地物の画像認識結果は、自車位置情報Pの補正に用いられず、後述するように、地物情報Fの修正に用いられる。
また、情報収集用画像認識処理では、画像認識部18は、後述する対象種別決定部42により決定された対象種別の地物を対象地物とし、画像情報Gに含まれる対象地物の画像認識処理を行う。この画像認識処理は、地物データベースDB2に記憶された地物情報Fを用いずに行うため、対象地物が存在する位置を推測することができない。したがって、この情報収集用画像認識処理では、画像認識部18は、対象種別決定部42により所定の道路区域Z(図9及び図10参照)毎に対象種別が決定されることに応じて、各道路区域Z毎に、当該道路区域Zについて決定された対象種別の対象地物の画像認識処理を行う。この道路区域Zは、道路情報Raが示すノードn及びリンクk上に設定される区域であり、各道路(リンクk)の道路属性に応じて、例えば、図9に示すリンク端部Za及びリンク中央部Zb、図10に示すノード上Zc及びリンク上Zd等として設定される。ここで、各画像情報Gに含まれる現実の道路の撮像領域は、上記のとおり、自車両50への撮像装置11の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。よって、画像認識部18は、このように求めた各画像情報Gの撮像領域の情報に基づいて、各道路区域Zに対応する画像情報Gを抽出し、当該道路区域Zについて決定された対象種別の対象地物の画像認識処理を行う。そして、この情報収集用画像認識処理による対象地物の画像認識結果は、後述するように認識位置導出部32により認識位置情報とされ、学習データベースDB3に記憶される。
画像認識部18は、対象地物の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部18は、抽出された地物の輪郭情報と、対象地物の形態の特徴量とのパターンマッチングを行うことにより、画像情報Gに含まれる対象地物の画像を抽出する。そして、画像認識部18は、位置補正用画像認識処理に際しては、設定された認識領域E内の画像情報Gの中から対象地物の画像を抽出できた場合に対象地物の画像認識に成功したと判定する。また、画像認識部18は、情報収集用画像認識処理に際しては、各道路区域Zの画像情報Gの中から対象地物の画像を抽出できた場合に対象地物の画像認識に成功したと判定する。一方、画像認識部18は、認識領域E内又は各道路区域Z内の全ての画像情報Gについて画像認識処理を行った結果、対象地物の画像を抽出できなかった場合には、対象地物の画像認識に失敗したと判定する。
8.自車位置情報補正部
自車位置情報補正部19は、画像認識部18による対象地物の画像認識処理の結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置情報補正部19は、画像認識部18における地物情報Fに基づく位置補正用画像認識処理による対象地物の画像認識結果と、当該地物情報Fに含まれる当該対象地物の位置情報とを用いて、自車両50の進行方向に沿って自車位置情報Pを補正する。具体的には、自車位置情報補正部19は、まず、画像認識部18による位置補正用画像認識処理の結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車両50の進行方向における対象地物の位置情報(地物情報F)を基準とする高精度な自車両50の位置情報を演算して取得する。そして、自車位置情報補正部19は、このようにして取得した高精度な自車両50の位置情報に基づいて、自車位置情報取得部16で取得した自車位置情報Pに含まれる、自車両50の進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部16は、このような補正後の高精度な自車位置情報Pを取得することになる。
9.ナビゲーション用演算部
ナビゲーション用演算部20は、自車位置表示、出発地から目的地までの経路探索、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム23に従って動作する演算処理手段である。例えば、ナビゲーション用演算部20は、自車位置情報Pに基づいて地図データベースDB1から自車両50周辺の地図情報Mを取得して表示入力装置21に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部20は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部20は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置21及び音声出力装置22の一方又は双方を用いて、運転者に対する進路案内を行う。また、本実施形態においては、ナビゲーション用演算部20は、表示入力装置21及び音声出力装置22に接続されている。表示入力装置21は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部20、表示入力装置21、及び音声出力装置22が、本発明における案内情報出力手段24として機能する。
10.認識情報処理部
認識情報処理部31は、画像認識部18による画像認識処理の結果を表す情報、具体的には、認識位置導出部32により導出される認識位置情報及び認識失敗処理部33により生成される認識失敗情報を、学習データベースDB3に記憶させるための処理を行うための認識情報処理手段である。このため、本実施形態においては、認識情報処理部31は、認識位置導出部32、及び認識失敗処理部33を備えている。そこで、以下に、これら認識位置導出部32及び認識失敗処理部33が行う処理の詳細について、図5〜図8を用いて説明する。
10−1.認識位置導出部
認識位置導出部32は、画像認識部18による画像認識処理において対象地物の画像認識に成功した場合に、自車位置情報Pに基づいて当該対象地物の認識位置を導出する認識位置導出手段として機能する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。図5は、地物情報Fが整備されていない道路(リンクk)を自車両50が走行する場合を例とし、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理の概要を説明するための説明図である。そして、図5(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図5(b)は、学習データベースDB3に記憶された認識位置情報Aaの一例である。図5(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図5では、説明の簡略化のため、図9及び図10に示すように所定の道路区域Z(Za〜Zd)毎に対象種別が異なるものとせず、図示された全ての領域において対象種別が同じ「横断歩道」である場合の例を示している。
そして、本実施形態においては、認識位置導出部32は、図5(b)に示すように、各対象地物について認識位置情報Aaを、画像認識部18による当該対象地物の認識位置が属する所定の位置範囲についての学習値として生成し、当該対象地物を認識する度に学習値を前記位置範囲毎に加算して記憶することとしている。以下に、認識位置導出部32が行う処理の内容について、図5(a)及び(b)を用いて順に説明する。
認識位置導出部32は、まず、画像認識部18による、対象種別決定部42により決定された対象種別の地物を対象地物とする情報収集用画像認識処理に際して、対象地物の画像認識に成功したか否かを監視する。本例では、地物種別が「横断歩道」である全ての地物を対象地物として情報収集用画像認識処理を行う。よって、図5(a)に示される例では、自車両50は、進行方向の4箇所において、対象地物としての横断歩道f1〜f4を画像認識するはずである。
そして、画像認識部18により、一つの対象地物の画像認識に成功した場合には、認識位置導出部32は、その画像認識結果に基づいて当該対象地物の認識位置を導出する。ここでは、認識位置導出部32は、対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する。したがって、認識位置導出部32は、画像認識部18による対象地物の画像認識結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該画像情報Gの取得時における自車位置情報Pとに基づいて、自車位置情報Pを基準とする対象地物の位置を演算する。本例では、認識位置導出部32は、対象地物の位置を、自車両50が走行中の道路を表すリンクkに沿った方向の対象地物の代表点の位置として求める。そして、認識位置導出部32は、このように演算された対象地物の位置を、対象地物の認識位置として導出する。この対象地物の認識位置は、当該対象地物の画像を含む画像情報Gの取得時の自車位置情報Pを基準として導出されるため、自車位置情報Pが有する誤差を反映した位置の情報となる。
次に、認識位置導出部32は、上記のようにして導出した対象地物の認識位置を、所定の位置範囲についての学習値とし、当該位置範囲についての学習値を認識位置情報Aaとする。本例では、所定の位置範囲は、道路を表すリンクkに沿った方向に一定距離毎に区分され設定された範囲であり、例えば、リンクkに沿った方向に0.5〔m〕毎に区分された範囲とする。また、学習値は、一つの対象地物の画像認識に成功する毎に、学習データベースDB3における当該対象地物の認識位置が属する位置範囲に加算される値であり、例えば、一つの対象地物の画像認識に成功する毎に1点とする。すなわち、本例では、認識位置情報Aaは、対象地物の認識位置が含まれる位置範囲を表す情報と、その学習値「1」の情報とにより構成される。
ここで、図7は、図5(b)に示す学習データベースDB3に記憶された学習値の横断歩道f1に関する部分の拡大図である。例えば、図5(a)の例において、対象地物としての横断歩道f1の画像認識に成功した場合であって、認識位置導出部32により導出された横断歩道f1の認識位置が、図7中に「a4」として示される位置範囲であった場合には、この図7中に破線で示すように、当該位置範囲a4の学習値に1が加算される。そして、自車両50が同じ道路を複数回通行することにより、同じ対象地物(例えば横断歩道f1)が複数回画像認識されると、学習データベースDB3には、図5(b)及び図7に示すように、当該対象地物が認識される毎に生成された複数の認識位置情報Aaとしての学習値が、当該対象地物の認識位置を表す位置範囲毎に積算されて蓄積される。そして、後述するように、学習値が所定の学習しきい値T1以上になると、地物情報生成部36により当該対象地物についての学習地物情報Fbが生成され、地物データベースDB2に記憶される。図5の例では、図5(c)に示すように、横断歩道f1〜f4に対応する学習地物情報Fb1〜Fb4が、地物データベースDB2に記憶されている。
また、認識位置導出部32は、画像認識部18による位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識された場合には、上記の情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、位置補正用画像認識処理による対象地物の画像認識結果に基づいて、自車位置情報Pを基準とする当該対象地物の認識位置を導出する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。これにより、後述するように、位置補正用画像認識処理における対象地物の画像認識結果を用いて、地物データベースDB2に記憶された地物情報Fの修正を行うことができる。なお、このような位置補正用画像認識処理において設定された認識領域Eの外で対象地物を画像認識した場合の認識位置導出部32による処理の詳細については、後に図6に示す例を用いて詳細に説明する。
ところで、認識位置導出部32は、当該画像認識に成功した対象地物を他の対象地物に対して識別可能な状態とするため、生成した認識位置情報Aaを、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶している。ここで、地物属性情報Abが含む対象地物の属性は、当該一つの対象地物を他の対象地物と識別できるものであればよい。したがって、例えば地物属性情報Abは、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を備えている。このような対象地物についての地物属性情報Abを構成する情報は、画像認識部18による当該対象地物の画像認識結果や、当該画像認識処理に係る画像情報Gの取得時の自車位置情報P等に基づいて生成される。
10−2.認識失敗処理部
認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において地物情報Fが示す対象地物の画像認識に失敗した場合に、当該地物情報Fが示す対象地物の画像認識に失敗したことを表す認識失敗情報Acを生成し、当該画像認識に失敗した対象地物が識別可能な状態で学習データベースDB3に記憶する。すなわち、認識失敗処理部33は、このような認識失敗情報Acの生成及びその学習データベースDB3への記憶といった認識失敗処理を行う認識失敗処理手段として機能する。図6は、地物情報Fが既に整備されている道路(リンクk)を自車両50が走行する場合を例とし、位置補正用画像認識処理の結果を用いた地物情報Fの修正処理の概要を説明するための説明図である。そして、図6(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図6(b)は、学習データベースDB3に記憶された認識位置情報Aa及び認識失敗情報Acの一例である。図6(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図6では、図6(c)の初期地物情報Fa11〜Fa14に示される4つの「横断歩道」を対象地物として位置補正用画像認識処理を行う場合の例を示している。
そして、本実施形態においては、認識失敗処理部33は、図6(b)に示すように、各対象地物について認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する度に当該対象地物についての学習値を減算して記憶することとしている。以下に、認識失敗処理部33が行う処理の内容について、図6(a)〜(c)を用いて順に説明する。
認識失敗処理部33は、まず、画像認識部18による、地物情報Fに示される対象地物の位置補正用画像認識処理に際して、当該対象地物について設定された所定の認識領域E内における対象地物の画像認識に成功したか否かを監視する。本例では、初期地物情報Faが整備された道路(リンクk)を自車両50が走行する際に、初期地物情報Fa11〜Fa14のそれぞれに示される4つの「横断歩道」を対象地物として、画像認識部18において順に画像認識要求を行う。しかし、図6(a)に示すように、本例では、初期地物情報Fa12が示す横断歩道f12はかすれて消えかけており、初期地物情報Fa13が示す横断歩道は完全になくなっている。このため、ここでは、かすれている横断歩道f12については、所定の割合で画像認識に失敗し、完全になくなっている初期地物情報Fa13に示される横断歩道については、毎回画像認識に失敗する例について説明する。また、認識失敗処理部33は、画像認識部18による、地物情報Fに示される対象地物の位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識されたか否かも監視する。本例では、初期地物情報Fa13が示す対象地物(横断歩道)について設定された認識領域E13の外に、初期地物情報Faとして整備されていない横断歩道f5が設けられており、この横断歩道f5が画像認識される。
また、本実施形態においては、学習データベースDB3には、地物データベースDB2に予め整備されて記憶されている初期地物情報Faのそれぞれに対応して、各初期地物情報Faが示す対象地物についての学習値の初期値Tdが設定され記憶されている。図6(b)に示す例では、学習値の初期値Tdは、学習しきい値T1より低い値に設定している。そして、初期地物情報Faが示す対象地物の画像認識に失敗した場合には、認識失敗処理部33は、当該対象地物についての認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する毎に、学習データベースDB3に記憶されている当該対象地物についての学習値の前記初期値Tdから順に減算して記憶する。この際、例えば、対象地物の画像認識に一回失敗する毎に1点を減算する。すなわち、本例では、認識失敗情報Acは、初期地物情報Faが示す対象地物又は当該初期地物情報Faそのものを特定できる情報と、その学習値「1」の情報とにより構成される。
ここで、学習データベースDB3に記憶された学習値の初期値Td及び認識失敗処理部33により生成された認識失敗情報Acは、当該画像認識に失敗した対象地物を他の対象地物に対して識別可能な状態とするため、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶される。この地物属性情報Abは、認識位置情報Aaと関連付けて記憶されるものと同様の情報である。
ここで、図8は、図6(b)に示す学習データベースDB3に記憶された学習値の横断歩道f12(初期地物情報Fa12)に関する部分の拡大図である。例えば、図6(a)の例において、初期地物情報Fa12が示す対象地物としての横断歩道f12の画像認識に失敗した場合には、この図8中に破線で示すように、当該対象地物についての学習値から1が減算される。そして、自車両50が同じ道路を複数回通行することにより、同じ対象地物の画像認識に複数回失敗すると、例えば図6(b)の初期地物情報Fa13が示す横断歩道f13の学習値のように、最終的には学習値がゼロになるまで減少する。そして、本実施形態においては、後述するように、削除しきい値T2をゼロに設定しているので、学習値がゼロになると、削除管理部38により、当該対象地物を表す初期地物情報Faは、地物データベースDB2から削除される。図6の例では、初期地物情報Fa13が示す横断歩道f13の学習値がゼロになったことにより、地物データベースDB2から初期地物情報Fa13が削除されている。
なお、本実施形態においては、認識失敗処理部33は、位置補正用画像認識処理に際して、学習地物情報Fbに示される対象地物の画像認識に失敗した場合であっても、当該対象地物についての認識失敗情報Acを学習データベースDB3に記憶する処理は行わないこととしている。ただし、新たに学習地物情報Fbを生成して地物データベースDB2に記憶する際に、当該学習地物情報Fbについても、初期地物情報Faと同様に学習値の初期値Tdを設定し、これまでの認識位置情報Aaとしての学習値に代えて、学習値の初期値Tdを学習データベースDB3に記憶する構成としても好適である。この場合、認識失敗処理部33は、学習地物情報Fbが示す対象地物の画像認識に失敗した場合には、当該対象地物についての認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する毎に、学習データベースDB3に記憶されている当該対象地物についての学習値の前記初期値Tdから順に減算して記憶する。これにより、学習地物情報Fbについても、初期地物情報Faと同様に取り扱うことが可能となる。
一方、認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において、地物情報Fが示す対象地物の画像認識を、当該対象地物について設定された所定の認識領域E内において成功した場合には、認識失敗情報Acとしての学習値の記憶は行わない。図6の例では、初期地物情報Fa11が示す横断歩道f11、及び初期地物情報Fa14が示す横断歩道f14については、画像認識に成功しているため、図6(b)に示すように、学習データベースDB3に記憶された横断歩道f11及びf14についての学習値は初期値Tdのまま維持されている。
また、認識失敗処理部33は、位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識されたか否かを判定する処理を行う。そして、各対象地物について設定された認識領域Eの外において対象地物が画像認識された場合には、上記のとおり、認識位置導出部32により、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、位置補正用画像認識処理による対象地物の画像認識結果に基づいて、自車位置情報Pを基準とする当該対象地物の認識位置を導出する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。
図6の例では、初期地物情報Fa13が示す対象地物(横断歩道)について設定された認識領域E13に対して自車両50の進行方向手前側に、初期地物情報Faが整備されていない横断歩道f5が設けられている。よって、本例では、この横断歩道f5が、各対象地物について設定された認識領域Eの外において画像認識された対象地物となる。この場合には、認識失敗処理部33に代えて、認識位置導出部32により情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、横断歩道f5の画像認識に成功する毎に、横断歩道f5についての認識位置情報Aaとしての学習値を、学習データベースDB3における当該横断歩道f5の認識位置が属する位置範囲に加算する。そして、自車両50が同じ道路を複数回通行することにより、横断歩道f5が複数回画像認識されると、学習データベースDB3には、図6(b)に示すように、当該横断歩道f5が認識される毎に生成された複数の認識位置情報Aaとしての学習値が積算されて蓄積される。そして、この横断歩道f5についての学習値が所定の学習しきい値T1以上になると、推測位置判定部34により推測位置pgが判定される。そして、図6(c)に示すように、地物情報生成部36により学習地物情報Fb5が生成され、地物データベースDB2に記憶される。本実施形態の構成によれば、地物データベースDB2に対する、上記のような初期地物情報Faの削除と、学習地物情報Fbの追加とにより、地物データベースDB2に記憶された地物情報Fを現状に合わせて適宜修正することが可能となる。
また、認識失敗処理部33は、当該画像認識に失敗した対象地物を他の対象地物に対して識別可能な状態とするため、生成した認識失敗情報Acを、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶している。この地物属性情報Abは、認識位置情報Aaと関連付けて記憶されるものと同様の情報である。
11.推測位置判定部
推測位置判定部34は、同じ対象地物が複数回画像認識されることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識位置情報Aaに基づいて、当該対象地物の推測位置pg(図5参照)を判定する推測位置判定手段として機能する。ここで、推測位置判定部34は、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の代表値を当該対象地物の推測位置pgとして判定する。本実施形態においては、分布の代表値として最頻値を用いる。すなわち、推測位置判定部34は、各対象地物についての認識位置情報Aaとしての学習値が、最初に所定の学習しきい値T1以上となった位置範囲を代表する位置を、当該対象地物の推測位置pgと判定する。これにより、推測位置判定部34は、一つの対象地物についての推測位置pgを判定する場合に、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値の分布に基づいて、最頻値をとる位置範囲を代表する位置を、当該対象地物の推測位置pgと判定することになる。一例として、図5の例における横断歩道f1の推測位置pgを判定する場合の判定方法について説明する。図7に示すように、横断歩道f1についての認識位置情報Aaとしての学習値は、位置範囲a4において最初に学習しきい値T1以上となっている。したがって、推測位置判定部34は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pg4を、横断歩道f1の推測位置pgと判定する。
12.地物情報管理部
地物情報管理部35は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fの管理を行う地物情報管理手段として機能する。本実施形態においては、この地物情報管理部35は、地物情報生成部36、地物間距離判定部37、及び削除管理部38を備えている。以下、個別に説明する。
12−1.地物情報生成部
地物情報生成部36は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、学習地物情報Fbを生成する地物情報生成手段として機能する。すなわち、地物情報生成部36は、推測位置判定部34により判定された各対象地物の推測位置pgを表す位置情報と、当該対象地物についての画像認識部18による画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する。ここで、学習地物情報Fbを構成する地物属性情報は、学習データベースDB3において、当該対象地物についての認識位置情報Aaと関連付けて記憶されている地物属性情報Abの内容を用いて生成する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、位置情報及びそれに関連付けられた地物属性情報を備えた情報として生成される。そして、この地物情報生成部36で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図5(c)に示す学習地物情報Fb1〜Fb4、及び図6(c)に示す学習地物情報Fb5が、地物情報生成部36により生成され、地物データベースDB2に記憶されている。なお、これらの図に表されている黒い四角形「■」は、各学習地物情報Fb1〜Fb5の位置情報が示す各対象地物の推測位置pgを表している。
12−2.地物間距離判定部
地物間距離判定部37は、2つの対象地物についての複数の認識位置情報Aaに基づいて、当該2つの対象地物間の距離を表す地物間距離Dを判定する地物間距離判定手段として機能する。本実施形態においては、地物間距離判定部37は、推測位置判定部34により判定された2つの対象地物についての推測位置pgの情報を用いて、一つの対象地物の推測位置pgと、他の対象地物の推測位置pgとの間の距離を演算することにより、これら2つの対象地物の地物間距離Dを求める。図5(b)に示す例では、地物間距離判定部37は、互いに隣接する2つの対象地物間の距離を求めることしている。すなわち、この例では、地物間距離判定部37は、横断歩道f1と横断歩道f2との間の地物間距離D1、横断歩道f2と横断歩道f3との間の地物間距離D2、横断歩道f3と横断歩道f4との間の地物間距離D3を判定して求めている。この地物間距離判定部37により判定された地物間距離Dの情報は、上記地物情報生成部36により生成される学習地物情報Fbを構成する情報として利用される。すなわち、本実施形態においては、各対象地物についての学習地物情報Fbは、当該対象地物と近接する他の対象地物との関係を表す関連付情報と、当該他の対象地物との間の地物間距離Dを表す地物間距離情報を有するものとして生成される。これらの情報も、初期地物情報Faに含まれる関連付情報及び地物間距離情報と同じ内容のものとなる。
12−3.削除管理部
削除管理部38は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fを削除する処理を行う削除管理手段として機能する。すなわち、削除管理部38は、同じ対象地物について複数回の画像認識処理が行われることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識失敗情報Acに基づいて、地物データベースDB2に記憶された当該対象地物についての地物情報Fの削除を行う。具体的には、削除管理部38は、各対象地物についての学習値が所定の削除しきい値T2以下となった場合に、当該対象地物についての地物情報Fの削除を行う。上記のとおり、本実施形態においては、削除しきい値T2をゼロに設定している。したがって、削除管理部38は、学習データベースDB3に記憶されている、一つの対象地物についての認識失敗情報Acとしての学習値がゼロになった場合に、当該対象地物についての地物情報Fを地物データベースDB2から削除する処理を行う。
また、本実施形態においては、学習地物情報Fbについては認識失敗情報Acを学習データベースDB3に記憶しないこととしているので、削除管理部38は、初期地物情報Faについてのみ地物データベースDB2から削除する処理を行う。図6に示す例では、削除管理部38は、初期地物情報Fa13が示す横断歩道f13の学習値がゼロになった際に、地物データベースDB2から初期地物情報Fa13を削除している。なお、上記のように、学習地物情報Fbについても初期地物情報Faと同様に認識失敗情報Acを学習データベースDB3に記憶する構成とした場合には、削除管理部38は、学習地物情報Fbについても地物データベースDB2から削除する処理を行う。
13.道路情報管理部
道路情報管理部39は、地図データベースDB1に記憶された道路情報Ra及び道路属性情報Rbの一方又は双方を修正する処理を行う道路情報管理手段として機能する。本実施形態においては、道路情報管理手段39は、道路情報Raに含まれるノードnの位置情報及び2つのノードn間を結ぶリンクkの長さの情報の一方又は双方を修正する。この際、道路情報管理手段39は、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される2つの対象地物についての推測位置判定部34により判定された推測位置pgを表す位置情報に基づいて、ノードnの位置及びリンクkの長さの一方又は双方の判定を行う。ここで、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される対象地物としては、例えば横断歩道が該当する。
すなわち、横断歩道は、交差点と道路との境界部分に設けられることから、交差点の中心を表すノードnの両側に略均等な間隔で配置されるのが一般的である。したがって、例えば図5(b)に示すように、学習データベースDB3に記憶された認識位置情報Aaに基づいて、推測位置判定部34により、ノードnの近傍に存在する2つの横断歩道の推測位置pgが求まれば、それら2つの横断歩道の推測位置pgに対して均等な間隔dとなる中間位置をノードnが位置するノード位置pnと推測することができる。同様に、前記ノードnとは反対側のリンクkの端部に位置するノードnについてもノード位置pnを求めることができれば、それら2つのノード位置pn間の距離がリンク長さLに相当するものと推測することができる。そして、道路情報管理手段39は、このようにして求めたノード位置pn及びリンク長さLが、地図データベースDB1に記憶されている道路情報Raに示されるものと異なる場合には、それに合わせて道路情報Raを修正する処理を行う。これにより、対象地物の学習結果を用いて、地図データベースDB1に記憶された道路情報Raを現状に合わせて適宜修正することが可能となる。
14.道路属性情報取得部
道路属性情報取得部41は、自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rbを地図データベースDB1から取得する道路属性情報取得手段として機能する。上記のとおり、地図データベースDB1に記憶される道路属性情報Rbには、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報が含まれる。そして、道路属性情報取得部41は、これらの中から後述する対象種別決定部42による対象種別の決定のために必要な情報を道路属性情報Rbとして地図データベースDB1から取得する。本実施形態においては、道路属性情報取得部41は、道路種別情報及び地域種別情報を道路属性情報Rbとして取得する。上記のとおり、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。したがって、道路属性情報取得部41は、自車両50が走行中の道路(リンクk)の道路属性情報Rbとして、例えば、「道路種別:市街地道路、地域種別:愛知県」といった情報を取得する。
15.認識属性データベース
認識属性データベースDB4は、対象種別となり得る全ての地物種別についての認識属性情報としての認識率情報S1を記憶したデータベースであり、認識属性情報記憶手段として機能する。ここで、認識率情報S1は、各地物種別に固有の性質に基づいて定めた、画像認識部18による情報収集用画像認識処理に際しての各地物種別の地物の認識率の予想値を表す情報である。すなわち、認識率情報S1は、各地物種別の対象地物の画像認識を行う際に、認識に成功する理論上の割合を表す情報となっている。ここで、各地物種別の認識率に影響を与える各地物種別に固有の性質としては、例えば、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さ等がある。例えば、地物の形態に関しては、他の地物種別と誤認識する可能性が低く、認識が容易な特徴的形態を有する地物種別では認識率が高くなる傾向がある。地物の大きさに関しては、特に道路幅方向に大きい地物ほど撮像装置11により撮像される画像情報Gに含まれる可能性が高くなるため、認識率が高くなる傾向がある。地物の色彩に関しては、道路の路面の色彩とのコントラストが大きいほど認識率が高くなる傾向がある。また、地物のかすれの生じ易さに関しては、かすれが生じている可能性が高いほど、画像認識に失敗する可能性が高くなり、認識率が低くなる傾向がある。なお、地物種別毎のかすれの生じ易さは、各地物種別の地物がどの程度の割合でかすれているかに関する実地調査の結果に基づいて統計的に求められる。そして、認識属性データベースDB4に記憶される各地物種別の認識率情報S1は、これらの各地物種別に固有の性質に基づいて、予め定めた認識率の予想値を表す情報となっている。
16.出現頻度データベース
出現頻度データベースDB5は、対象種別となり得る全ての地物種別について、道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を記憶したデータベースであり、出現頻度情報記憶手段として機能する。ここで、出現頻度情報S2は、道路属性情報Rbに示される複数の道路属性のそれぞれの道路(リンクk)における、各地物種別の地物の出現頻度を表す情報である。本実施形態においては、上記のとおり、道路属性情報Rbとして道路種別情報及び地域種別情報が用いられる。よって、出現頻度データベースDB5には道路種別情報と地域種別情報との全ての組み合わせについての、各地物種別の出現頻度情報S2が規定されている。このような道路属性に応じた各地物種別の出現頻度は、各道路属性の道路に存在する地物の地物種別に関する実地調査の結果に基づいて統計的に求められる。この出現頻度情報S2は、本実施形態においては、道路の単位長さあたりの各地物種別の地物の出現個数で表される情報とし、より具体的には、道路長1〔km〕あたりの出現個数で表される情報とする。したがって、例えば、道路属性が「道路種別:市街地道路、地域種別:愛知県」であって地物種別が「横断歩道」である出現頻度情報S2が「10.3」の場合、当該出現頻度情報S2は、愛知県の市街地道路には、統計的に道路長1〔km〕あたりに10.3個の横断歩道が設けられていることを表している。
17.配置傾向データベース
配置傾向データベースDB6は、対象種別となり得る全ての地物種別の地物の道路上での配置傾向を表す配置傾向情報として、各地物種別についての区域情報S3を記憶したデータベースであり、配置傾向情報記憶手段として機能する。ここで、区域情報S3は、各地物種別の地物が、交差点(ノードn)を基準として、道路(リンクk)の長さ方向に区分された複数の道路区域Zのいずれに配置されている可能性が高いかを表す情報である。すなわち、区域情報S3は、各地物種別の地物が配置されている可能性が高い道路区域Zを表す情報となっている。本実施形態においては、図9及び図10に示すように、区域情報S3は、道路属性情報Rbに示される道路種別によって異なる道路区域Zに区分することとしている。すなわち、ここでは、市街地道路については、図9に示すように、道路(リンクk)を、その長さ方向に、道路端部領域に相当する「リンク端部Za」と、道路中央部領域に相当する「リンク中央部Zb」との2つの道路区域Zに区分している。また、細街路については、図10に示すように、道路(リンクk)を、その長さ方向に、交差点中央領域に相当する「ノード上Zc」と、交差点以外の道路上の領域に相当する「リンク上Zd」との2つの道路区域Zに区分している。そして、配置傾向データベースDB6に記憶される区域情報S3の具体例として、例えば、地物種別が「横断歩道」の区域情報S3が表す道路区域Zは、市街地道路については「リンク端部Za」であり、細街路については「リンク上Zd」である。
18.対象種別決定部
対象種別決定部42は、道路属性情報取得部41により取得した道路属性情報Rbと、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、対象種別を決定する対象種別決定手段として機能する。ここで、対象種別は、画像認識部18による情報収集用画像認識処理の対象とする一又は二以上の地物種別である。本実施形態においては、対象種別決定部42は、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示に係る地物種別の中から対象種別を選択して決定する。そして、このような対象種別の決定を適切に行うために、本実施形態においては、対象種別決定部42は、認識頻度導出部43、対象種別決定演算部44、及び認識成否管理部45を備えている。そこで、以下に、これら各部が行う処理の詳細について、図9及び図10を用いて説明する。図9は、道路種別が市街地道路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。図10は、道路種別が細街路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。これらの図9及び図10においては、いずれも(a)が道路区域Zの区分の具体例を示し、(b)が対象種別決定処理の具体例を示している。
18−1.認識頻度導出部
認識頻度導出部43は、道路属性情報取得部41により取得された道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度と、認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、各地物種別の認識頻度を導出する認識頻度導出手段として機能する。そのため、本実施形態においては、認識頻度導出部43は、まず、道路属性情報取得部41により取得された道路属性情報Rbに基づいて出現頻度データベースDB5を検索し、当該道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を取得する。ここでは、認識頻度導出部43は、道路属性情報取得部41により取得される、自車両50が現在走行中の道路(リンクk)の道路種別情報及び地域種別情報を示す道路属性情報Rbに基づいて、当該道路種別と地域種別との組み合わせに対応する出現頻度情報S2を、各地物種別について取得する。
具体的には、例えば自車両50が走行中の道路(リンクk)の道路属性情報Rbとして「道路種別:市街地道路、地域種別:愛知県」が取得された場合、図9(b)に示すように、この道路種別と地域種別との組み合わせに対応する複数の地物種別についての出現頻度情報S2が、出現頻度データベースDB5から取得される。図示の例では、各地物種別についての出現頻度情報S2として、「横断歩道:10.3」、「停止線:8.7」、「矢印:15.2」、「回転禁止:3.3」、「最高速度:3.1」という情報が取得されている。また、例えば自車両50が走行中の道路(リンクk)の道路属性情報Rbとして「道路種別:細街路、地域種別:東京都」が取得された場合、図10(b)に示すように、この道路種別と地域種別との組み合わせに対応する複数の地物種別についての出現頻度情報S2が、出現頻度データベースDB5から取得される。図示の例では、各地物種別についての出現頻度情報S2として、「T字:9.8」、「十字:10.5」、「停止線:19.6」、「横断歩道:5.1」、「横断歩道あり:5.3」という情報が取得されている。なお、これらの図では、説明の簡略化のために、5種類の地物種別についての出現頻度情報S2が取得された例を示しているが、実際には、もっと多数の地物種別についての出現頻度情報S2が取得されることになる。
次に、認識頻度導出部43は、各地物種別の認識属性情報としての認識率情報S1を、認識属性データベースDB4から取得する。ここでは、認識頻度導出部43は、上記のように出現頻度情報S2が取得された複数の地物種別のそれぞれについて、認識属性データベースDB4を検索して認識率情報S1を取得する。具体的には、図9(b)に示す例では、各地物種別についての認識率情報S1として、「横断歩道:80%」、「停止線:55%」、「矢印:70%」、「回転禁止:90%」、「最高速度:80%」という情報が取得されている。また、図10(b)に示す例では、各地物種別についての認識率情報S1として、「T字:90%」、「十字:80%」、「停止線:55%」、「横断歩道:80%」、「横断歩道あり:60%」という情報が取得されている。
その後、認識頻度導出部43は、取得した出現頻度情報S2及び認識率情報S1に基づいて、各地物種別の認識頻度を導出する。本実施形態においては、認識頻度導出部43は、下記の式(1)に示すように、出現頻度情報S2に示される各地物種別についての出現頻度と、認識率情報S1に示される各地物種別の地物の認識率の予想値とを乗算して得られる値を認識頻度として求める。
(認識頻度)=(出現頻度)×(認識率の予測値)・・・(1)
すなわち、この認識頻度は、自車両50が走行中の道路(リンクk)の道路属性に応じた各地物種別の地物の出現頻度に、各地物種別の地物の画像認識処理における認識率の予想値を重みとして乗算した重み付き出現頻度に相当する値として求められる。これにより、認識頻度は、自車両50が道路属性情報Rbに示される道路属性を有する道路(リンクk)を走行しながら地物の画像認識処理を行う際における、各地物種別の地物の総合的な認識率を表す情報となる。具体的には、例えば図9(b)に示す例では、地物種別が「横断歩道」についての認識頻度は、「出現頻度:10.3」に「認識率の予想値80%」を乗算して「8.2」と求められている。同様に、各地物種別の認識頻度は、「停止線:4.8」、「矢印:10.6」「回転禁止:3.0」、「最高速度:2.5」と求められている。また、図10(b)に示す例では、各地物種別の認識頻度は、「T字:8.8」、「十字:8.4」、「停止線:10.8」、「横断歩道:4.1」、「横断歩道あり:3.2」と求められている。認識頻度導出部43は、以上のようにして各地物種別の認識頻度を導出する。
18−2.対象種別決定演算部
対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に基づいて、情報収集用画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する。本実施形態においては、対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を、対象種別として決定する。但し、この際、対象種別決定演算部44は、各地物種別の地物の配置傾向情報としての区域情報S3に基づいて、各地物種別の区域情報S3が表す配置傾向が、自車位置情報Pに基づく自車両50の道路(リンクk)上での配置に合致する地物種別を優先して、対象種別を決定する。そのため、本実施形態においては、対象種別決定演算部44は、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する。
図9に示す市街地道路の例では、認識頻度導出部43により認識頻度が導出された複数の地物種別の中で、「横断歩道」及び「停止線」は、区域情報S3に示される道路区域Zが「リンク端部Za」であり、「矢印」、「回転禁止」、及び「最高速度」は、区域情報S3に示される道路区域Zが「リンク中央部Zb」となっている。そこで、対象種別決定演算部44は、道路区域Zが「リンク端部Za」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「横断歩道:1」、「停止線:2」と決定する。また、対象種別決定演算部44は、道路区域Zが「リンク中央部Zb」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「矢印:1」、「回転禁止:2」、「最高速度:3」と決定する。なお、図9(a)に示す例では、交差点(ノードn)の両側に配置された横断歩道及び停止線を含む交差点(ノードn)近傍の区域を「リンク端部Za」とし、その他の道路(リンクk)上の区域を「リンク中央部Zb」としている。
また、図10に示す細街路の例では、認識頻度導出部43により認識頻度が導出された複数の地物種別の中で、「T字」及び「十字」は、区域情報S3に示される道路区域Zが「ノード上Zc」であり、「停止線」、「横断歩道」、及び「横断歩道あり」は、区域情報S3に示される道路区域Zが「リンク上Zd」となっている。そこで、対象種別決定演算部44は、道路区域Zが「ノード上Zc」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「T字:1」、「十字:1」と決定する。なお、本例では、認識頻度の値が異なるにも関わらず、「T字」と「十字」の優先順位をともに「1」としている。これは、「T字」と「十字」が同じ場所に配置されることがないために位置的に競合せず、更に、これらの地物が、共通する形態を有するために、共通の画像認識処理を用いて、双方を同時に対象種別とする画像認識処理を行うことができるからである。また、対象種別決定演算部44は、道路区域Zが「リンク上Zd」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「停止線:1」、「横断歩道:2」、「横断歩道あり:3」と決定する。なお、図10(a)に示す例では、交差点(ノードn)の両側に配置された横断歩道及び停止線を含む道路(リンクk)上の区域を「リンク上Zd」とし、その他の交差点(ノードn)近傍の区域を「ノード上Zc」としている。
そして、対象種別決定演算部44は、道路区域Z毎の各地物種別の優先順位に基づいて、道路区域Z毎に対象種別を決定する。本実施形態においては、対象種別決定演算部44は、道路区域Z毎の優先順位が「1」である地物種別を対象種別として決定する。よって、図9に示す例では、道路区域Zが「リンク端部Za」での対象種別を「横断歩道」と決定し、道路区域Zが「リンク中央部Zb」での対象種別を「矢印」と決定する。また、図10に示す例では、道路区域Zが「ノード上Zc」での対象種別を「T字」及び「十字」と決定し、道路区域Zが「リンク上Zd」での対象種別を「停止線」と決定する。
また、本実施形態においては、対象種別決定演算部44は、上記のような対象種別の決定に際して、認識成否管理部45に記憶されている種別失敗情報S4を参照し、過去における対象地物の画像認識の成否の情報に基づいて対象種別を決定する。この際、対象種別決定演算部44は、まず、自車位置情報Pに基づいて、認識成否管理部45を検索し、自車両50が走行する道路区域Zについての種別失敗情報S4を抽出する。後述するように、本実施形態においては、種別失敗情報S4は、過去に道路区域Z毎に決定された対象種別の地物についての画像認識に失敗したことを表す情報であって、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。
そして、自車両50が走行する道路区域Zについての種別失敗情報S4が取得された場合には、対象種別決定演算部44は、当該種別失敗情報S4に示されている地物種別の順位が下位になるように当該道路区域Zについての地物種別の優先順位を変更する調整を行う。具体的には、対象種別決定演算部44は、種別失敗情報S4に示されている地物種別の順位が最下位となるように前記優先順位を変更する。またこの際、対象種別決定演算部44は、他の地物種別の優先順位を順に繰り上げる。そして、対象種別決定演算部44は、変更後の優先順位が「1」である地物種別を対象種別として決定する。例えば、図9に示す例において、自車両50の進行方向のリンク中央部Zbの特定の道路区域Zにおいて、過去に対象種別「矢印」の画像認識に失敗したことを表す種別失敗情報S4が取得されたとする。その場合、対象種別決定演算部44は、「矢印」の優先順位を最下位とするように変更する。これにより、当該特定の道路区域Zでの優先順位は「回転禁止」が「1」に、「最高速度」が「2」にそれぞれ繰り上がる。よって、この場合には、対象種別決定演算部44は、変更後の優先順位に従って対象種別を「回転禁止」と決定する。
18−3.認識成否管理部
認識成否管理部45は、情報収集用画像認識処理に関し、過去における対象地物の画像認識の成否の情報を管理する認識成否管理手段として機能する。このため、認識成否管理部45は、自車位置情報Pに基づいて、道路区域Z(所定の領域の一例)毎に、対象種別決定演算部44により決定された対象種別の対象地物の画像認識の成否を表す認識成否情報としての種別失敗情報S4を生成し、生成された種別失敗情報S4を記憶する。本実施形態においては、種別失敗情報S4は、過去に対象種別決定演算部44により道路区域Z毎に決定された対象種別の対象地物の情報収集用画像認識処理に関して、各道路区域Zの全体において全く対象地物を画像認識できなかった場合に、当該画像認識に失敗した事実を表す情報である。そのため、本例では、種別失敗情報S4は、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。ここで、種別失敗情報S4に含まれる「特定の道路区域Z」は、当該画像認識に失敗した一つの道路区域Zを特定可能な情報であって、配置傾向データベースDB6に記憶された区域情報S3のように、単に「リンク端部Za」や「リンク中央部Zb」等の道路区域Zの種別のみを特定する情報とは異なる。そのため、この種別失敗情報S4に含まれる「特定の道路区域Z」は、画像認識に失敗した特定の道路区域Zを通過した際の自車位置情報Pと道路情報Raとに基づいて求められ、例えば、当該特定の道路区域Zが存在する特定のリンクkと関連付けられた情報とされる。
そして、認識成否管理部45は、特定の道路区域Zについての対象地物の画像認識処理に関して、当該画像認識に失敗した回数を計数し、所定回数(例えば、1回、5回、10回等)連続で失敗した場合に、種別失敗情報S4を生成して記憶する。これにより、特定の道路区域Zについて、対象種別決定演算部44により決定された対象種別の地物の画像認識に所定回数失敗した後は、当該特定の道路区域Zについての対象種別が変更されることになる。これにより、情報収集用画像認識処理に際して効率的に対象地物の画像認識を行うことが可能となり、対象地物の学習を効率的に行うことが可能となる。
19.ナビゲーション装置の動作処理
次に、本実施形態に係るナビゲーション装置1において実行される、地物情報収集方法、地物情報修正方法、自車位置情報補正方法、及び地物情報収集方法を実行するための対象種別決定方法について説明する。図11は、本実施形態に係るナビゲーション装置1の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャートである。図12は、本実施形態に係る地物情報収集方法としての地物情報収集処理の詳細な処理順序を示すフローチャートである。図13は、本実施形態に係る対象種別決定方法としての対象種別決定処理の詳細な処理順序を示すフローチャートである。図14は、本実施形態に係る地物情報修正方法としての地物情報修正処理の詳細な処理順序を示すフローチャートである。以下では、まず、ナビゲーション装置1の全体の動作処理について説明する。
図11に示すように、ナビゲーション装置1では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#01)。次に、画像情報取得部12により、撮像装置11により撮像した自車両50の周辺の画像情報Gを取得する(ステップ#02)。その後、地物情報取得部17により、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から取得する(ステップ#03)。そして、ステップ#03において地物情報Fが取得されなかった場合には(ステップ#04:No)、ナビゲーション装置1は、地物情報収集処理を実行する(ステップ#07)。この地物情報収集処理については、後に図12に示すフローチャートに基づいて詳細に説明する。
一方、ステップ#03において地物情報Fが取得された場合には(ステップ#04:Yes)、次に、画像認識部18により、ステップ#03において取得された各地物情報Fが示す各対象地物について、認識領域Eを設定して画像認識処理を行う(ステップ#05)。このステップ#05の画像認識処理が、上述した画像認識部18による位置補正用画像認識処理である。そして、ステップ#05により、認識領域E内で対象地物を画像認識した場合には(ステップ#06:Yes)、自車位置情報補正部19により、当該対象地物の画像認識結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車位置情報Pの補正を行う(ステップ#08)。一方、認識領域E内で対象地物を画像認識できなかった場合には(ステップ#06:No)、ナビゲーション装置1は、地物情報修正処理を実行する(ステップ#09)。この地物情報修正処理については、後に図14に示すフローチャートに基づいて詳細に説明する。以上で、ナビゲーション装置1の全体の動作処理を終了する。
19−1.地物情報収集方法
次に、本実施形態に係る地物情報収集方法としての地物情報収集処理の処理順序について説明する。図12に示すように、まず、対象種別決定部42による対象種別決定処理を行う(ステップ#21)。この対象種別決定処理は、対象地物となり得る複数の地物種別の中から、情報収集用画像認識処理の対象とする地物種別を対象種別として決定する処理である。この際、対象種別は、所定の道路区域Z(図9及び図10参照)毎に決定される。この対象種別決定処理については、後に図13に示すフローチャートに基づいて詳細に説明する。次に、画像認識部18により、ステップ#21において道路区域Z毎に決定された対象種別に応じて、道路区域Z毎に対象地物の画像認識処理を行う(ステップ#22)。この際、画像認識部18は、道路区域Z毎に決定された対象種別の地物を対象地物として画像認識を行う。このステップ#22の画像認識処理が、上述した画像認識部18による情報収集用画像認識処理である。そして、一つの道路区域Zにおいて、対象地物を画像認識できなかった場合には(ステップ#23:No)、当該道路区域Zにおいて、ステップ#21で決定された対象種別の画像認識に失敗したことを表す種別失敗情報S4(図1参照)を認識成否管理部45に記憶する(ステップ#30)。
一方、画像認識部18により、対象地物を画像認識した場合には(ステップ#23:Yes)、認識位置導出部32により、ステップ#01で取得した自車位置情報Pに基づいて、当該対象地物の認識位置を導出する(ステップ#24)。次に、ステップ#24で導出した対象地物の認識位置を表す認識位置情報Aaを、当該認識位置が属する所定の位置範囲についての学習値として生成し、図5(b)及び図7に示すように、位置範囲毎に加算して学習データベースDB3に記憶する(ステップ#25)。ここで、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1未満である場合には(ステップ#26:No)、処理はそのまま終了する。
一方、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1以上である場合には(ステップ#26:Yes)、推測位置判定部34により、当該対象地物の推測位置pgを判定する(ステップ#27)。その後、地物情報生成部36により、当該対象地物についての、ステップ#27で判定された推測位置pgと画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#28)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#29)。以上で、地物情報収集処理は終了する。
19−2.対象種別決定方法
次に、本実施形態に係る対象種別決定方法としての対象種別決定処理の処理順序について説明する。図13に示すように、まず、道路属性情報取得部41により、ステップ#01で取得した自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rb(図1参照)を地図データベースDB1から取得する(ステップ#41)。次に、対象種別決定部42の認識頻度導出部43により、ステップ#41で取得した道路属性情報Rbに応じた各地物種別の出現頻度情報S2(図1参照)を出現頻度データベースDB5から取得する(ステップ#42)。また、認識頻度導出部43により、各地物種別の認識率情報S1を認識属性データベースDB4から取得する(ステップ#43)。そして、認識頻度導出部43により、ステップ#41〜#43により取得した情報に基づいて各地物種別の認識頻度を導出する(ステップ#44)。この認識頻度導出部43による各地物種別の認識頻度の導出方法は、既に説明したとおりである。
次に、対象種別決定部42の対象種別決定演算部44により、各地物種別の配置傾向情報としての区域情報S3を配置傾向データベースDB6から取得する(ステップ#45)。そして、対象種別決定演算部44により、区域情報S3に示される所定の道路区域Z毎に、各地物種別の優先順位を決定する(ステップ#46)。具体的には、上記のとおり、区域情報S3に示される所定の道路区域Z毎に、認識頻度が高い地物種別が上位となるように各地物種別の優先順位を決定する。その後、対象種別決定部42により、認識成否管理部45を参照する(ステップ#47)。そして、ステップ#46で優先順位を決定した道路区域Zについての種別失敗情報S4が認識成否管理部45に記憶されているか否かを判定する(ステップ#48)。ここで、そのような種別失敗情報S4が認識成否管理部45に記憶されていない場合には(ステップ#48:No)、処理はステップ#50へ進む。一方、ステップ#46で優先順位を決定した道路区域Zについての種別失敗情報S4が認識成否管理部45に記憶されている場合には(ステップ#48:Yes)、当該種別失敗情報S4がある道路区域Zの優先順位を変更する。具体的には、上記のとおり、種別失敗情報S4に示されている地物種別の順位が下位になるように優先順位を変更する。そして、対象種別決定演算部44により、ステップ#46及び#49により決定された各地物種別の優先順位に従って一又は二以上の対象種別を決定する(ステップ#50)。以上で対象種別決定処理は終了する。
19−3.地物情報修正方法
次に、本実施形態に係る地物情報修正方法としての地物情報修正処理の処理順序について説明する。図14に示すように、まず、ステップ#05の位置補正用画像認識処理において、認識領域E内での画像認識に失敗した(ステップ#06:No)対象地物について、認識失敗処理部33により、当該対象地物についての認識失敗情報Acとしての学習値を生成し、図6(b)及び図8に示すように、当該対象地物についての学習値を減算して学習データベースDB3に記憶する(ステップ#61)。ここで、学習値がゼロでない場合には(ステップ#62:No)、処理はステップ#64へ進む。そして、学習値がゼロである場合(ステップ#62:Yes)、すなわち学習値が削除しきい値T2以下となった場合には、削除管理部38により、当該対象地物の地物情報Fを地物データベースDB2から削除する(ステップ#63)。
その後、認識失敗処理部33により、ステップ#05の位置補正用画像認識処理において、認識領域Eの外で対象地物が画像認識されたか否かを判定する(ステップ#64)。認識領域Eの外で対象地物が画像認識されなかった場合には(ステップ#64:No)、処理はそのまま終了する。一方、認識領域Eの外で対象地物が画像認識された場合には(ステップ#64:Yes)、認識位置導出部32により、情報収集用画像認識処理において対象地物を画像認識した場合のステップ#24〜#29の処理と同様の処理を行う。すなわち、認識位置導出部32により、ステップ#01で取得した自車位置情報Pに基づいて、当該対象地物の認識位置を導出する(ステップ#65)。次に、図6(b)に横断歩道f5の例として示すように、ステップ#65で導出した対象地物の認識位置を表す認識位置情報Aaを、当該認識位置が属する所定の位置範囲についての学習値として生成し、位置範囲毎に加算して学習データベースDB3に記憶する(ステップ#66)。ここで、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1未満である場合には(ステップ#67:No)、処理はそのまま終了する。
一方、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1以上である場合には(ステップ#67:Yes)、推測位置判定部34により、当該対象地物の推測位置pgを判定する(ステップ#68)。その後、地物情報生成部36により、当該対象地物についての、ステップ#68で判定された推測位置pgと画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#69)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#70)。以上で、地物情報修正処理は終了する。
20.その他の実施形態
(1)上記の実施形態では、認識位置導出部32は、認識位置情報Aaが表す対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する場合の例について説明した。しかし、本発明に係る認識位置情報Aaは、このような位置の情報に限定されるものではない。したがって、例えば、認識位置情報Aaが表す対象地物の認識位置を、当該対象地物の画像を含む画像情報Gを取得した際の自車位置情報Pが示す自車両50の位置とすることも、本発明の好適な実施形態の一つである。この場合、認識位置導出部32は、地物情報生成部36により学習地物情報Fbを生成する際に、撮像装置11の取付位置、取付角度、及び画角等に基づいて、自車両50の位置に対する画像情報G中の対象地物の道路上の位置を演算し、当該対象地物の道路上の位置を、対象地物の学習地物情報Fbが含む位置情報とすると好適である。
(2)上記の実施形態では、推測位置判定部34が、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の最頻値を当該対象地物の推測位置pgとして判定する場合の例について説明した。しかし、推測位置判定部34による推測位置pgの判定方法はこれに限定されない。したがって、例えば、認識位置情報Aaの分布に基づいて、当該分布の平均値や中央値等の他の代表値を当該対象地物の推測位置pgとして判定する構成とすることも、本発明の好適な実施形態の一つである。
(3)上記の実施形態では、認識位置導出部32が、一つの対象地物の画像認識に成功する毎に1点の学習値を加算する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、画像認識部18による対象地物の画像認識処理において、画像認識結果に基づいて対象種別決定部42により決定された対象種別の対象地物であることの確からしさを表す認識自信度を判定し、当該認識自信度に応じて異なる学習値を加算する構成とすることも、本発明の好適な実施形態の一つである。すなわち、認識位置情報Aaとしての学習値を位置範囲毎に加算して学習データベースDB3に記憶するのに際して、当該地物種別の対象地物であることの自信度が高い場合には、大きい値を学習値として加算し、逆に自信度が低い場合には、小さい値を学習値として加算する構成とすると好適である。また、対象地物の画像認識に成功する毎に加算する学習値は正の数には限られず、負の数としても好適である。また、この学習値は、整数に限られず、小数としても好適である。
(4)上記の実施形態では、認識失敗処理部33が、対象地物の画像認識に失敗する毎に、認識失敗情報Acとしての当該対象地物についての学習値を所定の初期値Tdに対して減算し、学習値がゼロになったときに当該対象地物の地物情報Fを地物データベースDB2から削除する構成を例として説明した。しかし、認識失敗情報Acとしての学習値の構成はこのようなものに限定されず、例えば、学習値の初期値Tdをゼロとして画像認識に失敗する毎に学習値を減算し、負の値に設定された所定の削除しきい値T2以下となったときに当該対象地物の地物情報Fを地物データベースDB2から削除する構成とすることも、本発明の好適な実施形態の一つである。また、対象地物の画像認識に失敗する毎に減算する学習値は正の数には限られず、負の数としても好適である。また、この学習値は、整数に限られず、小数や分数としても好適である。更に、学習データベースDB3に記憶される認識失敗情報Acの構成は、このような学習値を用いるものに限定されず、地物情報Fが示す対象地物の画像認識に失敗したことを記憶するために適した各種の形態の情報を用いることができる。
(5)上記の実施形態における各データベースDB1〜DB6の分け方は単なる一例であり、各データベースDB1〜DB6のハードウェア構成を限定するものではない。したがって、例えば、地物データベースDB2と学習データベースDB3とを一つのデータベースとし、或いは、地図データベースDB1と地物データベースDB2とを一つのデータベースとするなど、任意の構成を採用することができる。
(6)上記の実施形態では、地物情報Fとして記憶された対象地物が自車両50の周辺に存在するか否かを判定するための自車両50の周辺の範囲を、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間の範囲とする場合の例について説明した。しかし、これは単なる一例であり、他の基準により定めた範囲を自車両50の周辺の範囲とすることも可能である。したがって、例えば、自車両50の周辺の範囲を、自車両50の現在位置からリンクkを単位としない所定距離内の範囲とすることも、本発明の好適な実施形態の一つである。
(7)上記の実施形態では、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しない場合に、所定の対象種別の地物を対象地物とする画像認識結果に基づいて対象地物の位置を学習し、地物情報Fを生成する地物情報収集処理と、自車両50の周辺に地物情報Fとして記憶された対象地物が存在する場合に、地物情報Fが示す対象地物の画像認識に失敗したことを学習し、地物情報Fを削除或いは修正する地物情報修正処理と、の2つの処理を両方行うことが可能な構成の地物情報収集装置2の例について説明した。しかし、本発明に係る地物情報収集装置2の実施形態はこれに限定されるものではなく、例えば、前記地物情報収集処理と、前記地物情報修正処理或いは地物情報の削除処理とのいずれか一方のみを行うことが可能な構成とすることも、本発明の好適な実施形態の一つである。
(8)上記の実施形態では、認識頻度決定部42の認識頻度導出部43により、出現頻度情報S2及び認識率情報S1を取得し、出現頻度情報S2に示される道路属性に応じた各地物種別の出現頻度と、認識率情報S1に示される各地物種別の地物の認識率の予想値とを乗算して認識頻度として求める場合の例について説明した。しかし、本発明の実施形態はこれに限定されない。したがって、例えば、全ての道路属性と地物種別との組み合わせについて、認識頻度を規定した認識頻度テーブルを用い、道路属性情報取得部41により取得した道路属性情報Rbに基づいて、認識頻度テーブルを参照して各地物種別についての認識頻度を求める構成とすることも、本発明の好適な実施形態の一つである。
(9)上記の実施形態では、道路区域Z毎の各地物種別の優先順位に基づいて、道路区域Z毎に対象種別を決定するに際して、道路区域Z毎の優先順位が「1」である地物種別を対象種別として決定する場合を例として説明した。これは、画像認識部18による画像認識処理の負荷を小さくするために、対象種別の数を少なく抑えることが有効だからである。なお、画像認識部18による演算処理能力に余裕がある場合には、道路区域Z毎の優先順位が「1」である地物種別以外も対象種別とし、対象種別の数を多くすることも可能である。またこの際、異なる道路区域Zの地物種別を対象種別とすることも可能である。
(10)上記の実施形態では、道路属性情報Rbとして道路種別情報及び地域種別情報を取得し、これらの情報に基づいて自車両50が走行中の道路における各地物種別の出現頻度を求める場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路種別及び地域種別以外の道路属性であっても、地物種別の出現頻度に影響するものであれば、道路属性情報Rbとして取得する構成とするのが好適である。したがって、例えば、リンク長、道路幅、リンク形状等の情報を道路属性情報Rbとして取得する構成とすることも、本発明の好適な実施形態の一つである。
(11)上記の実施形態では、対象種別の決定のために、各地物種別の認識属性情報として、各地物種別の地物の認識率の予想値を表す認識率情報S1を取得する場合を例として説明した。しかし、対象種別の決定のために用いる各地物種別の認識属性情報は、認識率の予測値の情報に限られるものではなく、各地物種別の地物の画像認識処理に影響を与える様々な情報を、認識属性情報として対象種別の決定に用いることが可能である。
(12)上記の実施形態では、対象種別の決定に際して、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、この区域情報S3のような各地物種別の地物の配置傾向情報を用いることなく対象種別の決定を行う構成とすることも、本発明の好適な実施形態の一つである。この場合、例えば、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を対象種別として決定する構成とすることができる。
(13)上記の実施形態では、対象種別の決定に際して、認識成否管理部45に記憶されている種別失敗情報S4を参照し、過去における対象地物の画像認識の成否の情報に基づいて対象種別を決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、認識成否管理部45を備えない構成とし、過去における対象地物の画像認識の成否に関係なく、認識頻度導出部43により導出された各地物種別の認識頻度等に基づいて、一律に各地物種別の優先順位を決定し、対象種別を決定する構成とすることも、本発明の好適な実施形態の一つである。
(14)上記の実施形態では、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物を対象地物とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路の周辺に設けられた様々な地物を対象地物とすることが可能である。したがって、例えば、道路標識、案内標識、看板、信号機、マンホール等の各種の地物を対象地物とすることが可能である。
(15)上記の実施形態では、本発明に係る地物情報収集装置2の全ての構成が自車両50に搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。すなわち、本発明の認識結果記憶手段としての学習データベースDB3を含む地物情報収集装置2の一部の構成が、図15に示すように、無線通信回線等を介して、複数の車両50と通信可能に接続されたサーバ装置60に設置された構成とすることも、本発明の好適な実施形態の一つである。地物情報収集装置2をこのような構成とすれば、複数の車両50による対象地物の学習結果をサーバ装置60に設置された学習データベースDB3に集積することができる。したがって、より多くの認識位置情報Aaや認識失敗情報Acを用いて、更に高精度な位置情報を有する対象地物の地物情報Fを生成することが可能となる。なお、サーバ装置60に設置する地物情報収集装置2の構成は、学習データベースDB3に限られず、撮像装置11や自車位置情報取得部16等のような、自車両50に搭載する必要がある構成以外の全ての構成を、サーバ装置60に設置することが可能である。また、同様に、画像認識装置3、自車位置認識装置4、及びナビゲーション装置1の一部の構成を、サーバ装置60に設置することも本発明の好適な実施形態の一つである。
(16)上記の各実施形態では、本発明に係る画像認識装置3を地物情報収集装置2に利用し、本発明に係る地物情報収集装置2を自車位置認識装置4及びナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、本発明に係る画像認識装置3及び地物情報収集装置2を含む自車位置認識装置4を、車両の走行制御装置に利用する等のように、各装置を上記の実施形態とは異なる他の用途に利用することも当然に可能である。
本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行う画像認識装置及び画像認識方法に好適に利用することが可能である。
本発明の実施形態に係るナビゲーション装置の概略構成を示すブロック図 地図データベースに記憶されている地図情報の構成の例を示す図 地物データベースに記憶されている道路標示の地物情報の例を示す図 自車両への撮像装置の配置構成の一例を示す図 地物情報が整備されていない道路を自車両が走行する場合の地物情報の収集処理の概要を説明するための説明図 地物情報が既に整備されている道路を自車両が走行する場合の地物情報の修正処理の概要を説明するための説明図 図5(b)に示す学習データベースに記憶された学習値の要部拡大図 図6(b)に示す学習データベースに記憶された学習値の要部拡大図 道路種別が市街地道路である場合における、道路区域の区分と対象種別決定処理の具体例を示す図 道路種別が細街路である場合における、道路区域の区分と対象種別決定処理の具体例を示す図 本発明の実施形態に係るナビゲーション装置の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャート 本発明の実施形態に係る地物情報収集処理の詳細な処理順序を示すフローチャート 本発明の実施形態に係る対象種別決定処理の詳細な処理順序を示すフローチャート 本発明の実施形態に係る地物情報修正処理の詳細な処理順序を示すフローチャート 本発明の実施形態に係る地物情報収集装置の一部の構成がサーバ装置に設置された例を示す図
符号の説明
1:ナビゲーション装置
2:地物情報収集装置
3:画像認識装置
4:自車位置認識装置
12:画像情報取得部(画像情報取得手段)
16:自車位置情報取得部(自車位置情報取得手段)
17:地物情報取得部
18:画像認識部(画像認識手段)
19:自車位置情報補正部(自車位置情報補正手段)
23:アプリケーションプログラム
24:案内情報出力手段
32:認識位置導出部
33:認識失敗処理部
34:推測位置判定部(推測位置判定手段)
35:地物情報管理部(地物情報管理手段)
36:地物情報生成部(地物情報生成手段)
37:地物間距離判定部(地物間距離判定手段)
38:削除管理部
39:道路情報管理部(道路情報管理手段)
41:道路属性情報取得部(道路属性情報取得手段)
42:対象種別決定部(対象種別決定手段)
43:認識頻度導出部
44:対象種別決定演算部
45:認識成否管理部
50:自車両
Aa:認識位置情報
Ab:地物属性情報
Ac:認識失敗情報
DB1:地図データベース(道路情報記憶手段)
DB2:地物データベース(地物情報記憶手段)
DB3:学習データベース(認識結果記憶手段)
D:地物間距離
E:認識領域
F:地物情報
G:画像情報
L:リンク長さ
M:地図情報
P:自車位置情報
Ra:道路情報
Rb:道路属性情報
S1:認識率情報(認識属性情報)
S2:出現頻度情報
S3:区域情報(配置傾向情報)
S4:種別失敗情報
T1:学習しきい値
T2:削除しきい値
Z:道路区域
a1〜a7:位置範囲
k:リンク
n:ノード
pg:推測位置
pn:ノード位置

Claims (14)

  1. 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、
    自車両の周辺の画像情報を取得する画像情報取得手段と、
    前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、
    前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、
    前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、
    前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定するとともに、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報にも基づいて、前記対象種別を決定する画像認識装置。
  2. 前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項1に記載の画像認識装置。
  3. 前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む請求項1又は2に記載の画像認識装置。
  4. 前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む請求項1から3のいずれか一項に記載の画像認識装置。
  5. 前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項1から4のいずれか一項に記載の画像認識装置。
  6. 前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む請求項5に記載の画像認識装置。
  7. 前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である請求項1からのいずれか一項に記載の画像認識装置。
  8. 請求項1からのいずれか一項に記載の画像認識装置と、
    前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、を備える地物情報収集装置。
  9. 同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える請求項に記載の地物情報収集装置。
  10. 前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える請求項に記載の地物情報収集装置。
  11. 前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する請求項から10のいずれか一項に記載の地物情報収集装置。
  12. 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、
    自車両の周辺の画像情報を取得する画像情報取得ステップと、
    前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、
    前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、
    前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、
    前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定するとともに、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報にも基づいて、前記対象種別を決定する画像認識方法。
  13. 前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項1に記載の画像認識方法。
  14. 前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項1又は1に記載の画像認識方法。
JP2007091047A 2007-03-30 2007-03-30 画像認識装置及び画像認識方法 Expired - Fee Related JP4446201B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007091047A JP4446201B2 (ja) 2007-03-30 2007-03-30 画像認識装置及び画像認識方法
US12/073,876 US8184861B2 (en) 2007-03-30 2008-03-11 Feature information management apparatuses, methods, and programs
EP08004629A EP1975558A3 (en) 2007-03-30 2008-03-12 Image recognition apparatus and image recognition method
CN2008100836821A CN101275852B (zh) 2007-03-30 2008-03-14 图像识别装置与图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007091047A JP4446201B2 (ja) 2007-03-30 2007-03-30 画像認識装置及び画像認識方法

Publications (2)

Publication Number Publication Date
JP2008249480A JP2008249480A (ja) 2008-10-16
JP4446201B2 true JP4446201B2 (ja) 2010-04-07

Family

ID=39550928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007091047A Expired - Fee Related JP4446201B2 (ja) 2007-03-30 2007-03-30 画像認識装置及び画像認識方法

Country Status (4)

Country Link
US (1) US8184861B2 (ja)
EP (1) EP1975558A3 (ja)
JP (1) JP4446201B2 (ja)
CN (1) CN101275852B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5611819B2 (ja) * 2007-05-25 2014-10-22 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 交通にとって重要な情報を認識する方法及び装置
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
KR101541076B1 (ko) * 2008-11-27 2015-07-31 삼성전자주식회사 지형지물 인식방법
JP5538967B2 (ja) 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN102483881B (zh) * 2009-09-29 2014-05-14 松下电器产业株式会社 人行横道线检测方法及人行横道线检测装置
TWI419061B (zh) * 2010-01-18 2013-12-11 Pixart Imaging Inc 多物件影像辨識方法
WO2012089261A1 (en) * 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
US8504270B2 (en) * 2011-02-16 2013-08-06 Bayerische Motoren Werke Aktiengesellschaft Traffic broadcast system
DE112012001464T5 (de) * 2011-03-28 2013-12-24 Panasonic Corporation Bildanzeigegerät
JP5782948B2 (ja) * 2011-09-15 2015-09-24 富士通株式会社 情報管理方法及び情報管理装置
CN102768805B (zh) * 2012-06-14 2015-10-28 深圳市凯立德科技股份有限公司 交通信息的显示方法以及可显示交通信息的装置
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법
JP6094252B2 (ja) * 2013-02-20 2017-03-15 株式会社デンソー 道路標識認識装置
MX346231B (es) * 2013-04-04 2017-03-13 Nissan Motor Aparato de reconocimiento de señales de tránsito.
JP6313589B2 (ja) * 2013-12-20 2018-04-18 矢崎エナジーシステム株式会社 運行情報管理システム
JP6431261B2 (ja) * 2013-12-20 2018-11-28 矢崎エナジーシステム株式会社 運行情報管理システム
JP6044556B2 (ja) 2014-01-16 2016-12-14 株式会社デンソー 学習システム、車載装置、及び、サーバ
US9081383B1 (en) * 2014-01-22 2015-07-14 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
JP6280409B2 (ja) * 2014-03-25 2018-02-14 株式会社日立製作所 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム
JP2016018295A (ja) * 2014-07-07 2016-02-01 日立オートモティブシステムズ株式会社 情報処理システム
JP2016134136A (ja) * 2015-01-22 2016-07-25 キャンバスマップル株式会社 画像処理装置、および画像処理プログラム
TWI569764B (zh) * 2015-05-20 2017-02-11 國立交通大學 用於微創手術的多器械影像辨識方法及系統
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
US20190266416A1 (en) * 2015-11-08 2019-08-29 Otobrite Electronics Inc. Vehicle image system and method for positioning vehicle using vehicle image
JP6665522B2 (ja) * 2015-12-18 2020-03-13 株式会社リコー 情報処理装置、情報処理システム、および情報処理プログラム
JP6038422B1 (ja) 2016-01-26 2016-12-07 三菱電機株式会社 車両判定装置、車両判定方法及び車両判定プログラム
CN105759820A (zh) * 2016-04-08 2016-07-13 济宁中科先进技术研究院有限公司 基于激光和视觉的道路自主清扫控制系统及控制方法
JPWO2017199369A1 (ja) * 2016-05-18 2019-03-07 パイオニア株式会社 地物認識装置、地物認識方法およびプログラム
CN106781470B (zh) * 2016-12-12 2022-01-28 百度在线网络技术(北京)有限公司 城市道路的运行速度的处理方法及装置
FR3067144B1 (fr) * 2017-06-06 2021-07-30 Peugeot Citroen Automobiles Sa Procede de determination du type de route sur laquelle evolue un vehicule
US11093760B2 (en) * 2017-08-26 2021-08-17 Here Global B.V. Predicting features on a road network with repeating geometry patterns
CN108831176B (zh) 2018-05-31 2020-11-20 京东方科技集团股份有限公司 交通标识的观测方法、装置、系统、设备和介质
CN110617821B (zh) * 2018-06-19 2021-11-02 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
DE102018217840A1 (de) * 2018-10-18 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
WO2020195969A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN111942288B (zh) * 2019-05-14 2022-01-28 欧特明电子股份有限公司 车辆影像系统及使用车辆影像的车辆定位方法
JP7364365B2 (ja) * 2019-06-18 2023-10-18 矢崎エナジーシステム株式会社 車載器及び運転評価システム
CN110231039A (zh) * 2019-06-27 2019-09-13 维沃移动通信有限公司 一种定位信息修正方法及终端设备
CN110470149A (zh) * 2019-07-18 2019-11-19 首钢京唐钢铁联合有限责任公司 一种台车动态跟踪方法和装置
US11932245B2 (en) * 2020-09-01 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving path selection for automated driving
WO2022264492A1 (ja) * 2021-06-18 2022-12-22 日立Astemo株式会社 外界認識システム

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57144589A (en) * 1981-03-04 1982-09-07 Nissan Motor Picture display unit
EP0199780B1 (en) 1984-10-22 1996-12-27 Etak, Inc. Apparatus for displaying a map
JPH074952B2 (ja) * 1987-01-12 1995-01-25 キヤノン株式会社 プリンタ制御装置
JPS62187884A (ja) 1987-02-12 1987-08-17 株式会社日立製作所 回転画像表示装置
US5280577A (en) * 1988-01-19 1994-01-18 E. I. Du Pont De Nemours & Co., Inc. Character generation using graphical primitives
US5123085A (en) * 1990-03-19 1992-06-16 Sun Microsystems, Inc. Method and apparatus for rendering anti-aliased polygons
JPH04144479A (ja) 1990-10-05 1992-05-18 Ricoh Co Ltd 図形出力装置
JP2822697B2 (ja) 1991-07-08 1998-11-11 日本電気株式会社 パーキングメータシステム
JPH06127318A (ja) 1992-10-13 1994-05-10 Nissan Motor Co Ltd 駐車スペースの長さ検出装置
DE4313568C1 (de) * 1993-04-26 1994-06-16 Daimler Benz Ag Verfahren zur Leithilfe für einen Fahrspurwechsel durch ein Kraftfahrzeug
DE69316898T2 (de) * 1993-11-05 1998-07-30 Philips Electronics Nv Fahrzeugnavigationsanzeigesystem
US5790714A (en) * 1994-11-01 1998-08-04 International Business Machines Corporation System and method for scaling video
JPH08194432A (ja) 1995-01-17 1996-07-30 Nippondenso Co Ltd 地図表示装置
US5684940A (en) * 1995-03-13 1997-11-04 Rutgers, The States University Of New Jersey Computer-implemented method and apparatus for automatically labeling area regions of maps using two-step label placing procedure and for curved labeling of point features
JP3564547B2 (ja) 1995-04-17 2004-09-15 本田技研工業株式会社 自動走行誘導装置
KR100224326B1 (ko) 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
JP3225203B2 (ja) 1996-05-07 2001-11-05 小糸工業株式会社 駐車場利用状況予測装置及び駐車場利用状況測定装置、並びにこれらを用いた駐車場案内装置
JP3665436B2 (ja) 1996-10-22 2005-06-29 株式会社ザナヴィ・インフォマティクス ナビゲーション装置
DE19724919A1 (de) * 1997-06-12 1999-01-07 Adolph Michael Dr Verfahren zum Erzeugen, Verschmelzen und Aktualisieren von in einem Zielführungssystem nutzbaren Daten
US6047234A (en) * 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
JPH11306498A (ja) 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd 車載カメラシステム
JP3434453B2 (ja) 1998-07-07 2003-08-11 ティーポール株式会社 殺菌洗浄剤組成物
JP2000029450A (ja) 1998-07-09 2000-01-28 Alpine Electronics Inc 文字列表示方法
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
WO2000031707A1 (en) * 1998-11-23 2000-06-02 Nestor, Inc. Non-violation event filtering for a traffic light violation detection system
EP1033693B1 (en) * 1999-03-01 2004-04-21 Yazaki Corporation Rear and side view monitor with camera for a vehicle
US6226592B1 (en) * 1999-03-22 2001-05-01 Veridian Erim International, Inc. Method and apparatus for prompting a motor vehicle operator to remain within a lane
DE19916967C1 (de) 1999-04-15 2000-11-30 Daimler Chrysler Ag Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung
CA2335116C (en) * 1999-04-20 2004-06-22 Mitsubishi Denki Kabushiki Kaisha Character display device and character display method
JP2001075967A (ja) 1999-08-31 2001-03-23 Denso Corp 地図データの更新用情報作成方法及び地図データの差分更新システム
DE19941477A1 (de) * 1999-09-01 2001-03-22 Bosch Gmbh Robert Navigationsgerät für ein landgebundenes Fahrzeug
US6516273B1 (en) * 1999-11-04 2003-02-04 Veridian Engineering, Inc. Method and apparatus for determination and warning of potential violation of intersection traffic control devices
US6803913B1 (en) * 1999-12-01 2004-10-12 Microsoft Corporation Warping text along a curved path
JP4522521B2 (ja) 2000-01-19 2010-08-11 日本信号株式会社 パーキングメータ集中監視システム
JP3646605B2 (ja) * 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
US6615130B2 (en) * 2000-03-17 2003-09-02 Makor Issues And Rights Ltd. Real time vehicle guidance and traffic forecasting system
DE10028130C2 (de) 2000-06-07 2003-08-21 Daimler Chrysler Ag System zur Fahrzeugführung vor verkehrsgeregelten Kreuzungen
KR100335906B1 (ko) * 2000-06-08 2002-05-08 이계안 차량의 교통 신호등 연동 속도 제어 시스템
JP2003078654A (ja) 2001-02-19 2003-03-14 Hitachi Kokusai Electric Inc 緊急情報通報システムおよび緊急情報通報システムを利用する装置およびその方法、および移動物体
EP1233387A2 (en) * 2001-02-19 2002-08-21 Hitachi Kokusai Electric Inc. Vehicle emergency reporting system and method
JP4649756B2 (ja) 2001-03-28 2011-03-16 日産自動車株式会社 車両用死角モニタの制御装置
US6737963B2 (en) * 2001-03-30 2004-05-18 Koninklijke Philips Electronics N.V. Driver tailgating and following aid
JP3660308B2 (ja) 2001-05-18 2005-06-15 本田技研工業株式会社 車両の走行区分線認識装置
US6724320B2 (en) * 2001-07-09 2004-04-20 International Business Machines Corporation System and method for controlling a traffic light
EP1324274A3 (en) * 2001-12-28 2005-11-02 Matsushita Electric Industrial Co., Ltd. Vehicle information recording system
JP2003256257A (ja) 2002-02-28 2003-09-10 Ntt Comware Corp 全社統合システムにおける共通処理装置並びにその方法、及び共通処理プログラム
JP3953858B2 (ja) 2002-03-26 2007-08-08 アルパイン株式会社 車載用ナビゲーション装置
GB0208835D0 (en) * 2002-04-18 2002-05-29 Koninkl Philips Electronics Nv A method of labelling an image on a display
JP3660326B2 (ja) 2002-05-31 2005-06-15 博久 森田 デジタル地図情報提供方法、デジタル地図情報提供システム
JP4003569B2 (ja) 2002-07-22 2007-11-07 株式会社デンソー 交差点事故防止装置及びプログラム
JP3970718B2 (ja) 2002-08-07 2007-09-05 アルパイン株式会社 車載用ナビゲーション装置
DE10251357A1 (de) * 2002-11-05 2004-05-13 Daimlerchrysler Ag Setzen oder Abschalten eines Fahrtrichtungsanzeigers
JP3979272B2 (ja) 2002-11-20 2007-09-19 株式会社日立製作所 道路交通計測装置
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
US6925378B2 (en) * 2003-05-12 2005-08-02 Circumnav Networks, Inc. Enhanced mobile communication device with extended radio, and applications
JP2004362287A (ja) 2003-06-05 2004-12-24 Canon Inc データ更新方式
JP4597496B2 (ja) * 2003-09-04 2010-12-15 三菱電機株式会社 表示装置
DE10351894A1 (de) * 2003-11-06 2005-06-09 Robert Bosch Gmbh Verfahren zur Ermittlung einer Parklücke
JP2005165639A (ja) 2003-12-02 2005-06-23 Matsushita Electric Ind Co Ltd 差分地図データ生成装置、地図データ更新装置、差分地図データ生成プログラムおよび地図差分更新システム
JP3979382B2 (ja) * 2003-12-03 2007-09-19 日産自動車株式会社 車線逸脱防止装置
US6989766B2 (en) * 2003-12-23 2006-01-24 International Business Machines Corporation Smart traffic signal system
US6972675B2 (en) * 2004-01-22 2005-12-06 Ford Global Technologies, Llc Vehicle turn signal system
JP2006038558A (ja) 2004-07-26 2006-02-09 Denso Corp カーナビゲーションシステム
JP2006084257A (ja) 2004-09-15 2006-03-30 Matsushita Electric Ind Co Ltd 情報配信システムおよびその端末装置、センタ装置
JP4729905B2 (ja) * 2004-11-17 2011-07-20 アイシン・エィ・ダブリュ株式会社 車両報知装置及びプログラム
JP4577827B2 (ja) 2005-01-06 2010-11-10 アイシン・エィ・ダブリュ株式会社 走行車両の次道路予測装置
JP4557288B2 (ja) 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP2006275690A (ja) 2005-03-29 2006-10-12 Fujitsu Ten Ltd 運転支援装置
JP2006330908A (ja) 2005-05-24 2006-12-07 Toyota Motor Corp 位置記録装置及び位置記録方法
JP4548607B2 (ja) 2005-08-04 2010-09-22 アルパイン株式会社 標識提示装置及び標識提示方法
JP2007041916A (ja) 2005-08-04 2007-02-15 Nissan Motor Co Ltd 車両用停止線検出システム
JP2007131169A (ja) 2005-11-10 2007-05-31 Nippon Soken Inc 駐車スペース検出装置
US7466227B2 (en) * 2006-03-17 2008-12-16 Alcatel-Lucent Usa Inc. Location based vehicle traffic signal alert system
JP4680131B2 (ja) 2006-05-29 2011-05-11 トヨタ自動車株式会社 自車位置測定装置

Also Published As

Publication number Publication date
CN101275852A (zh) 2008-10-01
US8184861B2 (en) 2012-05-22
US20080240506A1 (en) 2008-10-02
EP1975558A3 (en) 2009-11-04
CN101275852B (zh) 2011-12-28
EP1975558A2 (en) 2008-10-01
JP2008249480A (ja) 2008-10-16

Similar Documents

Publication Publication Date Title
JP4446201B2 (ja) 画像認識装置及び画像認識方法
JP4437556B2 (ja) 地物情報収集装置及び地物情報収集方法
JP4569837B2 (ja) 地物情報収集装置及び地物情報収集方法
JP4831434B2 (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP4703605B2 (ja) 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
JP4984152B2 (ja) 画像認識システム、サーバ装置、及び画像認識装置
US20220412772A1 (en) Systems and methods for monitoring lane mark quality
JP5141969B2 (ja) 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置
EP4202365A1 (en) Method, apparatus, and computer program product for identifying and correcting lane geometry in map data
JP5099460B2 (ja) 地物情報収集装置及び地物情報収集方法
JP4831433B2 (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP4789868B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
EP4202364A1 (en) Method, apparatus, and computer program product for identifying and correcting intersection lane geometry in map data
US12013255B2 (en) Method, apparatus, and computer program product for correcting lane geometry in map data
JP5071737B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置
JP4817019B2 (ja) 自車位置認識装置及び自車位置認識プログラム
JP5088592B2 (ja) 自車位置認識装置及び自車位置認識プログラム
JP2013050411A (ja) 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
US20240151549A1 (en) Method, apparatus, and computer program product for sensor data analysis
US20230195506A1 (en) Systems and methods for processing atomic commands
JP4943246B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置
JP5001911B2 (ja) 停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4446201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150129

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees