[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020003348A - 位置推定装置、位置推定システム - Google Patents

位置推定装置、位置推定システム Download PDF

Info

Publication number
JP2020003348A
JP2020003348A JP2018123161A JP2018123161A JP2020003348A JP 2020003348 A JP2020003348 A JP 2020003348A JP 2018123161 A JP2018123161 A JP 2018123161A JP 2018123161 A JP2018123161 A JP 2018123161A JP 2020003348 A JP2020003348 A JP 2020003348A
Authority
JP
Japan
Prior art keywords
landmark
information
image
position estimation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018123161A
Other languages
English (en)
Inventor
警宇 項
Jing Yu Xiang
警宇 項
雅尊 平井
Masataka Hirai
雅尊 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Priority to JP2018123161A priority Critical patent/JP2020003348A/ja
Priority to US16/452,896 priority patent/US11393221B2/en
Publication of JP2020003348A publication Critical patent/JP2020003348A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】現在位置の推定精度が向上する技術を提供する。【解決手段】位置推定装置100は、周辺環境の画像を取得する画像取得部11と、前記画像からランドマークの情報を抽出する抽出部12と、前記ランドマークの情報を受信する受信部13と、前記受信したランドマークの情報と、前記抽出したランドマークの情報とを照合することにより、前記ランドマークを特定する特定部14と、前記特定したランドマークの情報と、前記画像とを用いて、現在位置を推定する推定部15と、を備える。【選択図】図2

Description

本開示は、位置推定装置、位置推定システムに関する。
従来より、ランドマークを用いて自己の位置を推定する方法が知られている(例えば、特許文献1)。
特表2018−510373号公報
しかし、例えば、霧などの天候の影響によってランドマークを正しく観測できない場合があった。このような場合、ランドマークの情報を正しく取得できず、この結果として、自己の位置を推定することができなくなる虞があった。
本発明は、以下の形態として実現することが可能である。
本発明の一形態によれば、位置推定装置(100)が提供される。この位置推定装置(100)は、周辺環境の画像を取得する画像取得部(11)と、前記画像からランドマークの情報を抽出する抽出部(12)と、前記ランドマークの情報を受信する受信部(13)と、前記受信したランドマークの情報と、前記抽出したランドマークの情報とを照合することにより、前記ランドマークを特定する特定部(14)と、前記特定したランドマークの情報と、前記画像とを用いて、現在位置を推定する推定部(15)と、を備える。
この形態の位置推定装置によれば、受信したランドマークの情報を用いることにより、ランドマークの情報を正しく取得できるため、現在位置の推定精度が向上する。
位置認識システムの構成を示す模式図である。 位置推定装置が搭載された車両の構成を示すブロック図である。 本実施形態における現在位置推定処理を説明するフローチャートである。 晴天の場合において取得された画像の例を示す図である。 ランドマークの情報の抽出を説明する図である。 霧の場合において取得された画像の例を示す図である。 ランドマークの情報の抽出を説明する図である。 複数の送信機AL1,AL2が存在する状況を説明する図である。
A.第1実施形態
図1に示すように、本実施形態の位置推定システム500は、位置推定装置100と、送信機ALと、基地局BSと、を備える。本実施形態では、位置推定装置100は、車両MCに搭載されている。なお、位置推定装置100は、例えば、船舶やドローンなどの車両以外の物体に搭載されていてもよい。また、位置推定システム500は、基地局BSを備えなくてもよい。
図2に示すように、車両MCは、位置推定装置100のほか、車両制御部110と、カメラ22と、GNSSセンサ24とを備える。車両制御部110は、車両MCの制御を行う機能部であり、車両制御部110には、カメラ22、GNSSセンサ24が電気的に接続されているため、これらのセンサによる検知結果が通知される。カメラ22は、車両の前方における周辺画像を取得する。GNSS(Global Navigation Satellite System)センサ24は、例えば、GPS(Global Positioning System)センサにより構成され、GPSを構成する人工衛星から受信する電波に基づき、現在位置を検出する。
本実施形態の位置推定装置100は、車両MCの車両制御部110と電気的に接続されている。具体的には、本実施形態の位置推定装置100は、車両MCのOBD2に接続されているため、位置推定装置100は、車両制御部110から車両MCの各種の情報の受信が可能である。なお、位置推定装置100と車両MCとの接続はこれに限られず、例えば、無線通信による接続を用いてもよい。また、位置推定装置100と車両MCとは接続されておらず、位置推定装置100が、カメラ22やGNSSセンサ24を別途備えてもよい。本実施形態では、OBD2から位置推定装置100へ電力が供給されるが、これに限られず、位置推定装置100は別途バッテリーを備えてもよく、車両MCのシガーソケットから位置推定装置100の電力を供給してもよい。
位置推定装置100は、画像取得部11と、抽出部12と、受信部13と、特定部14と、推定部15とを備える。位置推定装置100は、CPUと、ROMやRAMなどのメモリと、を備える周知のコンピュータとして構成されている。画像取得部11は、周辺環境の画像を取得する。本実施形態では、カメラ22により取得された画像を車両MCから取得する。抽出部12は、取得された画像からランドマークの情報を抽出する。ここで、ランドマークとは、SLAMに用いられ得る物体のことを言う。SLAMとは、Simultaneous Localization And Mappingの頭字語であり、自己位置推定と環境地図作成とを同時に行う手法のことである。ランドマークとしては、例えば、案内標識や、看板などが挙げられる。受信部13は、送信機ALからのランドマークの情報を受信する。特定部14は、受信したランドマークの情報と抽出したランドマークの情報とを照合することにより、ランドマークを特定する。推定部15は、ランドマークの情報を用いて現在位置を推定する。
送信機ALは、位置推定装置100へランドマークの情報を送信する機器である。本実施形態では、送信機ALは、信号機に設けられている。送信機ALは、所定の間隔を開けてランドマークの情報を発信する。
基地局BSは、送信機ALと位置推定装置100と通信可能な基地局である。基地局BSは、サーバ135を備え、サーバ135は、送信機ALや位置推定装置100と通信した情報を収集するとともに、管理する。サーバ135により管理された情報は、車両向けテレマティクスサービスや路車協調サービスや車車協調サービスに用いられる。以下、本実施形態における位置推定装置100の現在位置推定処理について説明する。
図3に示すように、まず、位置推定装置100の画像取得部11は、周辺環境の画像を取得する。本実施形態では、画像取得部11は、車両制御部110を介して、車両MCのカメラ22により取得された画像を取得する(工程S100)。
画像を取得した後、位置推定装置100の抽出部12は、取得した画像からランドマークの情報を抽出する(工程S110)。図4に示される画像は、晴天の場合に取得された画像の例である。本実施形態において、位置推定装置100の抽出部12は、まず、画像の中からオブジェクトを認識する。本実施形態では、オブジェクトとしてランドマークを認識し、より具体的には、抽出部12は、図4の図面右側にある「Cレストラン」の看板をオブジェクトとして認識する。そして、抽出部12は、「Cレストラン」の看板をランドマークLMとして、ランドマークの情報を抽出する。ランドマークの情報の抽出方法について、図5を用いて説明する。
本実施形態では、任意のマッピング関数を用いて、ランドマークを示す画像を、画像よりもデータ情報の少ないテキストなどのデジタル情報に変換する。このようにすることにより、位置推定装置100が扱うデータ情報を少なくできるため、迅速に処理を行うことができる。本実施形態では、ランドマークの情報として、看板の情報をマッピング関数によってアルファベットに変換した情報を用いる。具体的には、抽出部12は、看板の外形形状を確定した後、内部を所定の形状に分割し、各分割領域の画像をマッピング関数によりアルファベットにそれぞれ変換することにより、「ABBDEDEZCE」とのアルファベットの情報を得る。晴天時のように視界が良好である場合、位置推定装置100の抽出部12は、通常、正しくランドマークの情報を抽出できる。
一方、ランドマークの情報を正しく抽出できない場合がある。例えば、図6に示される画像は、霧の場合に取得された画像の例である。このような場合、図7に示すように、画像の一部に不鮮明な部分が生じることがあり、この結果として、位置推定装置100の抽出部12は、画像からランドマークの情報を正しく抽出できない場合がある。具体的には、マッピング関数を用いた変換後において、正しく認識された場合の情報が、「ABBDEDEZCE」であるにもかかわらず、例えば、「ABBDBD??C?」というように変換されるような場合がある。
このような場合においても、本実施形態では、以下の処理が行われることにより、現在位置の推定が可能となる。具体的には、図3に示すように、位置推定装置100の受信部13は、送信機ALからランドマークの情報を受信する(工程S120)。本実施形態では、送信機ALが「Cレストラン」のマッピング関数を用いて変換した後の情報を示す「ABBDEDEZCE」との情報を発信した後、位置推定装置100の受信部がこの情報を受信する。送信機ALは、予め周囲のランドマークを特定する情報を記憶している。送信機ALは、これを繰り返し発信している。送信機ALが発信するランドマークを特定する情報は一つに限らず、2以上の場合もあり得る。
その後、位置推定装置100の特定部14は、受信したランドマークの情報と、記抽出したランドマークの情報とを照合する(工程S140)。そして、照合ができた場合(S140:YES)、特定部14は、ランドマークを特定することができる。本実施形態では、照合ができた場合とは、抽出したランドマークの情報と受信したランドマークの情報とのうち、5割以上の情報が一致することをいう。送信機ALが複数のランドマークを特定する情報を発信していれば、特定部14は、これらの情報を順次照合に用いる。
照合ができない場合(S140:NO)、受信したランドマークの情報と抽出したランドマークの情報とは一致しない情報であるため、ランドマークは特定できずにフローが終了する。
一方、照合ができた場合(S140:YES)、特定部14はランドマークを特定し、特定したランドマークと、画像取得部11が取得した画像とを用いて、現在位置の推定を行う(工程S150)。具体的には、推定部15は、取得した画像の全体に対するランドマークの位置および大きさを用いて、現在位置の推定を行う。以上により、このフローは終了するが、この処理は、位置推定装置100の電源が投入されている限り、繰り返し行われる。
通常、位置推定装置100は、車両MCのGNSSセンサ24から、位置推定装置100のおおよその位置を認識している。しかし、この処理を行うことにより、現在位置の推定精度が向上する。
そして、本実施形態によれば、天候などの影響によりランドマークを正しく観測できない場合においても、送信機ALから受信したランドマークの情報を用いることにより、現在位置の推定精度が向上する。
また、本実施形態では、送信機ALが信号機に設けられている。このようにすることにより、既存の設備及び電源を用いて、ランドマークの情報を送信することができる。
ここで、送信機ALが送信するランドマークの情報は、ランドマークの情報を送信する時刻の情報を含んでもよい。位置推定装置100の特定部14は、複数の送信機ALからの複数のランドマークの情報を受信した場合、受信したランドマークの情報の中で、最も新しい時刻の情報が含まれるランドマークの情報を用いて、ランドマークの特定を行ってもよい。図8に示すように、複数の送信機AL1,AL2が存在することにより、複数のランドマークの情報を受信する場合においても、最新情報を用いてランドマークの特定を行うため、現在位置の推定精度を向上できる。
また、送信機ALが発信する情報として、さらに、周辺の交通情報を含んでもよい。このようにすることにより、位置推定装置100が受信した情報を車両MCの車両制御部110に通知することにより、車両MCの車両制御部110は、周囲の交通情報を反映した車両MCの制御が可能となる。
B.変形例
上述の実施形態では、送信機ALは信号機に設けられていたが、これに限定されない。送信機ALとして、例えば、街灯を用いてもよく、電光掲示板を用いてもよく、WiFiの通信装置を用いてもよい。また、送信機ALは、道路もしくは建物の中に埋め込まれていてもよい。このようにすることにより、送信機ALの設置場所の自由度を向上できる。また、送信機ALは、ドローンや車両などの移動体に設けられていてもよい。このようにすることにより、送信機ALのシステム整備時などに用いることができる。送信機ALを移動体に設ける場合は、移動体の移動位置に応じて情報を発信する対象となるランドマークを変更すればよい。
本発明は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する本実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
11 画像取得部、12 抽出部、13 受信部、14 特定部、15 推定部、22 カメラ、24 GNSSセンサ、100 位置推定装置、110 車両制御部、135 サーバ、500 位置推定システム、AL 送信機、BS 基地局、LM ランドマーク、MC 車両、

Claims (5)

  1. 周辺環境の画像を取得する画像取得部(11)と、
    前記画像からランドマークの情報を抽出する抽出部(12)と、
    前記ランドマークの情報を受信する受信部(13)と、
    前記受信したランドマークの情報と、前記抽出したランドマークの情報とを照合することにより、前記ランドマークを特定する特定部(14)と、
    前記特定したランドマークの情報と、前記画像とを用いて、現在位置を推定する推定部(15)と、を備える、位置推定装置(100)。
  2. 請求項1に記載の位置推定装置と、
    前記前記位置推定装置へ前記ランドマークの情報を送信する送信機(AL)と、を備える位置推定システム(500)であって、
    前記送信機が送信する前記ランドマークの情報は、前記ランドマークの情報を送信する時刻の情報を含み、
    前記特定部は、複数の前記ランドマークの情報を受信した場合、受信した前記ランドマークの情報の中で、最も新しい時刻の情報が含まれる前記ランドマークの情報を用いて前記ランドマークの特定を行う、位置推定システム。
  3. 請求項2に記載の位置推定システムであって、
    前記送信機は、信号機に設けられている、位置推定システム。
  4. 請求項2に記載の位置推定システムであって、
    前記送信機は、道路もしくは建物の中に埋め込まれている、位置推定システム。
  5. 請求項2に記載の位置推定システムであって、
    前記送信機は、ドローンもしくは車両に設けられている、位置推定システム。
JP2018123161A 2018-06-28 2018-06-28 位置推定装置、位置推定システム Pending JP2020003348A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018123161A JP2020003348A (ja) 2018-06-28 2018-06-28 位置推定装置、位置推定システム
US16/452,896 US11393221B2 (en) 2018-06-28 2019-06-26 Location estimation apparatus and location estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018123161A JP2020003348A (ja) 2018-06-28 2018-06-28 位置推定装置、位置推定システム

Publications (1)

Publication Number Publication Date
JP2020003348A true JP2020003348A (ja) 2020-01-09

Family

ID=69054698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018123161A Pending JP2020003348A (ja) 2018-06-28 2018-06-28 位置推定装置、位置推定システム

Country Status (2)

Country Link
US (1) US11393221B2 (ja)
JP (1) JP2020003348A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093260A (ja) * 2005-09-27 2007-04-12 Nissan Motor Co Ltd ナビゲーション装置、そのナビゲーション装置に格納されている地図データの更新システムおよび地図データ更新方法
WO2015083538A1 (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
JP2017073023A (ja) * 2015-10-08 2017-04-13 住友電気工業株式会社 交通事象情報提供システム、中央装置、無人飛行体および交通事象情報提供プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10122871A (ja) 1996-10-24 1998-05-15 Sony Corp 状態検出装置および状態検出方法
JP3485774B2 (ja) 1997-11-07 2004-01-13 株式会社豊田中央研究所 交通流シミュレーションシステム
JP2001283373A (ja) 2000-03-30 2001-10-12 Toshiba Corp 交通流計測システム
JP2012133726A (ja) 2010-12-24 2012-07-12 Nissan Motor Co Ltd 車載通信装置および通信方法
KR20160002178A (ko) 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법
CN111351495B (zh) 2015-02-10 2024-05-28 御眼视觉技术有限公司 服务器系统、方法及机器可读介质
US20190271550A1 (en) * 2016-07-21 2019-09-05 Intelligent Technologies International, Inc. System and Method for Creating, Updating, and Using Maps Generated by Probe Vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093260A (ja) * 2005-09-27 2007-04-12 Nissan Motor Co Ltd ナビゲーション装置、そのナビゲーション装置に格納されている地図データの更新システムおよび地図データ更新方法
WO2015083538A1 (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
JP2017073023A (ja) * 2015-10-08 2017-04-13 住友電気工業株式会社 交通事象情報提供システム、中央装置、無人飛行体および交通事象情報提供プログラム

Also Published As

Publication number Publication date
US20200005057A1 (en) 2020-01-02
US11393221B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
US9651393B2 (en) Driving support device, driving support method, and recording medium storing driving support program
US10762128B2 (en) Information collection system and information center
US20200370890A1 (en) Systems and methods for increasing the accuracy of vehicle positioning
CN107209988B (zh) 确定机动车辆接近交通灯的最佳速度的方法
WO2015083538A1 (ja) 車両位置推定システム,装置,方法、及び、カメラ装置
US20180259353A1 (en) Information processing apparatus and information processing method
CN110208739A (zh) 辅助车辆定位的方法、装置、设备和计算机可读存储介质
US10735988B2 (en) Extra-vehicular communication device, onboard device, onboard communication system, communication control method, and communication control program
CN111201787A (zh) 成像装置、图像处理装置和图像处理方法
US11453367B2 (en) Information processing system, program, and information processing method
CN107923756A (zh) 用于定位自动化的机动车的方法
US11035927B2 (en) Apparatus and method for determining a geographical position of a vehicle
JP2022030770A5 (ja)
US11823464B2 (en) Message-based image processing method and electronic device implementing same
US11710408B2 (en) Communication apparatus, vehicle, computer-readable storage medium, and communication method
US11774258B2 (en) Server apparatus and information processing method for providing vehicle travel guidance that is generated based on an image of a specific point
US20220225071A1 (en) Base station, traffic communication system, and traffic communication method
US11062603B2 (en) Object detection device for vehicle and object detection system for vehicle
US20200252544A1 (en) Camera, method, non-transitory computer-readable medium, and system
JP2020003348A (ja) 位置推定装置、位置推定システム
US12047853B2 (en) Method and device for determining a position of a vehicle
CN111902692A (zh) 判定方法及判定装置
CN109579864B (zh) 导航方法及装置
JP7415849B2 (ja) 車両用システム及び物標識別プログラム
JP7296305B2 (ja) 交通通信システム、路側機、及び教師データ生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220705