[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6837626B1 - 地物データの生成システム、地物データベース更新システム及び地物データの生成方法 - Google Patents

地物データの生成システム、地物データベース更新システム及び地物データの生成方法 Download PDF

Info

Publication number
JP6837626B1
JP6837626B1 JP2020131816A JP2020131816A JP6837626B1 JP 6837626 B1 JP6837626 B1 JP 6837626B1 JP 2020131816 A JP2020131816 A JP 2020131816A JP 2020131816 A JP2020131816 A JP 2020131816A JP 6837626 B1 JP6837626 B1 JP 6837626B1
Authority
JP
Japan
Prior art keywords
feature
data
feature vector
edge pattern
data generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020131816A
Other languages
English (en)
Other versions
JP2022028428A (ja
Inventor
中島　務
務 中島
裕二 中西
裕二 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SPATIAL TECHNOLOGY RESEARCH INSTITUTE CO., LTD.
Original Assignee
SPATIAL TECHNOLOGY RESEARCH INSTITUTE CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SPATIAL TECHNOLOGY RESEARCH INSTITUTE CO., LTD. filed Critical SPATIAL TECHNOLOGY RESEARCH INSTITUTE CO., LTD.
Priority to JP2020131816A priority Critical patent/JP6837626B1/ja
Priority to JP2021001634A priority patent/JP2022028588A/ja
Priority to PCT/JP2021/000660 priority patent/WO2022030033A1/ja
Priority to EP21853512.8A priority patent/EP4191566A4/en
Priority to US18/018,942 priority patent/US20230332917A1/en
Application granted granted Critical
Publication of JP6837626B1 publication Critical patent/JP6837626B1/ja
Publication of JP2022028428A publication Critical patent/JP2022028428A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】地物データベースの正確性を担保することができる地物データの生成システムを提供する。【解決手段】地物データの生成システム１００では、ＬＩＤＡＲ技術を用いて測定された車両２００の周辺の多数の測定点の位置データから、撮像によって得られた車両２００の周辺の画像データに基づいて車両２００の周辺に存在する対象地物の境界を示すエッジパターンが抽出されて情報量が低減され、抽出されたエッジパターンへ絶対座標系の位置が付与され、絶対座標系の位置が付与されたエッジパターンから、地物データベースの地物を生成又は更新するために用いられる形状特徴ベクトル及び地物特徴ベクトルが生成される。【選択図】図１４

Description

本発明は、三次元高精度地図の更新・生成に用いられる地物データの生成システム、地物データベース更新システム及び地物データの生成方法に関する。
先進運転支援システム（ＡＤＡＳ）や自動運転（ＡＤ）に用いられる移動体運転環境記述データとして、道路の各車線、ガードレール、道路標識や横断歩道等を従来の平面的な地図よりも正確な位置で記録した空間的な地図である三次元高精度地図が知られており、さらに、三次元高精度地図へ地物データを提供する地物データベースも知られている。
また、近年、提供が開始された準天頂衛星システム「みちびき」の高精度測位サービスを活用することにより、移動体位置の誤差を数センチメートル級まで抑えることが可能になっている。そして、この高精度測位サービスと三次元高精度地図を併用することにより、より精度の高い自動運転を行うことが期待されている。
三次元高精度地図を作成するためには、目標物となる道路縁、各車線、ガードレール、道路標識や横断歩道のデータ（以下、「地物データ」という。）を予め地物データベースへ収集する必要があるが、このような地物データを収集する方法として、自動車等の移動体に搭載したカメラによって周辺を撮像し、得られた画像を解析して地物データを取得する方法が提唱されている。
例えば、Mobileye社が提唱するシステムでは、単眼カメラを用いて移動体の周辺状況を把握して地物データを取得するが、単眼カメラでは、十分な測距精度が出せないため、三次元高精度地図を構成するに値する高精度な地物データを取得するのが困難である。
また、複眼カメラを用いて移動体の周辺状況を把握して地物データを取得するシステムも提唱されているが、単眼カメラに比較してコストが高い上に、複数のカメラの位置に基づく三角測量によって測距を行うため、各カメラの位置のキャリブレーションが必要である。さらに、カメラは雨天や霧、また西日などの環境変動に弱いという欠点がある。そして、複眼カメラを用いる場合、移動体が移動する間、各カメラから得られた複数の画像に基づいて三角測量の演算を繰り返し行う必要があるため、膨大な計算量が必要であり、地物データを取得するツールとして実用に供するのは現実的ではない。
さらに、カメラ、レーザ・スキャナ等の三次元測定器やＧＰＳ等の衛星測位機器を搭載するＭＭＳ（Mobile Mapping System）という測定システム（例えば、特許文献１参照）を搭載した車両を走行させることにより、車両周辺の地物データを逐次収集する方法も提唱されている。レーザ・スキャナには、レーザ光を用いたリモートセンシング技術であるＬＩＤＡＲ（Laser Imaging Detection and Ranging）技術が適用される。
ＬＩＤＡＲ技術を用いると、三角測量の演算を行うことなくレーザ光による測定点までの正確な距離の位置データを取得可能である。また、ＬＩＤＡＲ技術では極めて短い波長を用いるため、電波を用いるＲＡＤＡＲ技術よりも小さい地物の特徴を識別して検出することができる。また、ＬＩＤＡＲ技術では複眼カメラを用いる場合のように各カメラの位置のキャリブレーションは不要であり、画像を用いないため、雨天や霧等の環境変動にも影響を受けにくい。したがって、ＬＩＤＡＲ技術を利用するレーザ・スキャナを測定システムに適用した場合、複眼カメラを用いる場合よりも簡便に且つ正確な地物データを取得することができる。
特開２０１９−０４９４６６号公報
しかしながら、ＭＭＳのレーザ・スキャナは、車両周辺の全ての測定点の位置データを取得するため、ＭＭＳによって地物データを取得するためには、膨大な量の位置データの処理が必要となり、多大な手間と時間を要する。したがって、或る地域の地物データを取得したら、その後、当該地域の地物データを再取得することは殆ど行われず、該当する地物、例えば、道路標識が工事等によって移動しても、地物データベースへその移動が反映されることがない。
また、路側駐車車両等の障害物が存在する場合には当該障害物によって隠されて測定不可能な地域が発生することがある。さらに、従来のレーザ・スキャナは機械式回転によって一定時間毎のスキャンを実行するため、目標物が隣接するレーザ光の狭間に陥り、目標物へレーザ光が照射されず、目標物が地物として認識されないことがある。したがって、ＭＭＳのレーザ・スキャナによって得られた地物は必ずしも正確とは限らない。
そして、車両周辺の状況を表す測定点の位置データから地物データを取得する際には、例えば、位置データの集合体をオペレータが地物を表すか否かを判別し、地物を表すと判別された集合体のポリゴンデータやスプライン曲線のデータを地物データとして取得する。このとき、オペレータの判別ミス等、人為的な誤りが地物データに反映されることがあるが、上述したように、地物データは再取得されることが殆ど無いため、地物データベースにおいて、ミスを含む地物データが修正される機会がない。
すなわち、ＭＭＳを用いて地物データベースを作成しても、当該地物データベース、さらには当該地物データベースを用いて更新又は生成される三次元高精度地図の正確性を担保し続けるのは困難である。
本発明は、三次元高精度地図の正確性を担保することができる地物データの生成システム、地物データベース更新システム及び地物データの生成方法を提供することを目的とする。
上記目的を達成するために、本発明の地物データの生成システムは、ＬＩＤＡＲ技術を用いて測定された移動体の周辺の多数の測定点の位置データから前記移動体の周辺に存在する対象地物の境界を示すエッジパターンを抽出して不必要な測定点の位置データを削除するエッジパターン抽出部と、前記抽出されたエッジパターンへ地球基準座標系の位置を付与する地球基準座標系位置付与部と、前記地球基準座標系の位置が付与されたエッジパターンから、地物を表す地物データを生成する地物データ生成部と、を有することを特徴とする。
本発明によれば、三次元高精度地図の正確性を担保することができる。
本発明の実施の形態に係る地物データの生成システムの構成を概略的に示すブロック図である。 図１の地物データ生成装置のデータベース構成を説明するための図である。 図１における車両の構成や機能を説明するための図である。 レーザ・スキャナ部によるエッジパターンの抽出を説明するための図である。 地物記述データ生成部による地物記述データの生成を説明するための図である。 地物記述データ生成部による地物記述データのマッチングを説明するための図である。 マハラノビス距離の概念を説明するための図である。 クラス分類処理部による対応地物判別を説明するための図である。 地物統計データ算出部による形状特徴ベクトルの時間的変化の判別を説明するための図である。 道路特徴付与部によるレーンＩＤ等の付与を説明するための図である。 地物特徴ベクトルデータベース生成部が生成する地物特徴ベクトルの一例を示す図である。 品質保証指標算出部による品質保証指標の生成を説明するための図である。 地物データベースの構成を説明するための図である。 本実施の形態における地物データの生成方法を示すフローチャートである。
以下、図面を参照して本発明の各実施の形態を説明する。
図１は、本発明の実施の形態に係る地物データの生成システム（地物データベース更新システム）の構成を概略的に示すブロック図である。図１において、地物データの生成システム１００は、少なくとも１台の車両２００（移動体）、例えば、ホストコンピュータからなる地物データ生成装置３００及び三次元高精度地図更新装置４００を備える。車両２００、地物データ生成装置３００及び三次元高精度地図更新装置４００は互いに無線又は有線によってデータの送受信を行うことができる。
地物データ生成装置３００は、ＳＤマップ３０１（標準精度地図）、地物記述データ生成部３０２、地物特徴データ生成部３０３、異常測定値検出部３０４、クラス分類処理部３０５、形状特徴ベクトルデータベース生成部３０６、地物統計データ算出部３０７、道路特徴付与部３０８、地物特徴ベクトルデータベース生成部３０９、地殻変動補正部３１０、品質保証指標算出部３１１、位置データ再測定要求部３１２及び地物データベース生成部３１３を有する。地物データ生成装置３００の各構成要素については後に詳述する。なお、地物記述データ生成部３０２、地物特徴データ生成部３０３、形状特徴ベクトルデータベース生成部３０６及び地物特徴ベクトルデータベース生成部３０９は地物データ生成部に該当する。
三次元高精度地図更新装置４００は、三次元高精度地図（図示しない）を格納し、地物データ生成装置３００が生成する地物データを用いて三次元高精度地図の地物を生成、更新する。なお、三次元高精度地図更新装置４００が地物データ生成装置３００と一体化され、該一体化された地物データ生成装置３００が自身で生成する地物データを用いて三次元高精度地図の地物を生成、更新してもよい。
図２は、図１の地物データ生成装置３００のデータベース構成を説明するための図である。図２において、地物データ生成装置３００は、形状特徴ベクトルデータベース３１４、地物特徴ベクトルデータベース３１５、及び地物データベース３１６を有する。形状特徴ベクトルデータベース３１４は、地物特徴データ生成部３０３や形状特徴ベクトルデータベース生成部３０６が生成する形状特徴ベクトルを格納する。地物特徴ベクトルデータベース３１５や地物データベース３１６は、地物特徴ベクトルデータベース生成部３０９が生成する地物特徴ベクトルを格納する。地物データ生成装置３００の各データベースについては後に詳述する。
図３は、図１における車両２００の構成や機能を説明するための図である。図１の地物データの生成システム１００では、複数の車両２００が存在するが、いずれも同じ構成を有するため、ここでは１台の車両２００について説明する。なお、車両２００は自動車に限られず、例えば、二輪車や飛翔体（ドローン等）も該当する。
車両２００は、ＬＩＤＡＲ技術を利用するレーザ・スキャナ部２０１、自己位置推定部２０２（絶対座標系位置付与部）、データ送受信部２０３及びカメラ２０９を有する。レーザ・スキャナ部２０１は、ヘッド２０４、スキャナ制御部２０５及びエッジパターン抽出部２０６を有する（図３（Ａ））。
レーザ・スキャナ部２０１は、図３（Ｂ）に示すように、例えば、道路標識１０１を含む自車の周辺へヘッド２０４からレーザ光２０７を照射し、周辺の多数の測定点からの反射光２０８を受光することにより、各測定点のスキャナ基準座標系上の距離、方位及び仰角を位置データとして取得する。車両２００の走行中、この位置データの取得が継続されるため、レーザ・スキャナ部２０１は車両２００の走行に伴い、広範囲の位置データを膨大な点データの群（点群）として取得する。
ヘッド２０４はレーザ光照射方向可変デバイス、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）デバイスを有し、レーザ光２０７による車両２００の周辺の走査（スキャン）を実行する。スキャナ制御部２０５は、ソフトウェアによってヘッド２０４を制御することにより、種々のレーザ光２０７のスキャンパターンを実現する。特に、地物に対しては、レーザ光２０７を集中的に照射し、地物とその周辺から多数の位置データを取得する。レーザ光２０７を集中的に照射するためのスキャンパターンは何種類か存在し、例えば、先端が円板からなる道路標識１０１に対しては、レーザ光２０７によって渦巻きを描くコニカルスキャンを行う（図３（Ｃ））。また、地上に固定された目標物１０２に対しては、レーザ光２０７による上下方向のスキャンを水平方向へ少しずつずらしながら繰り返すバーティカルスキャンを行う（図３（Ｃ））。これにより、地物とその周辺から効率的に多数の位置データを得ることができ、生成される地物データの精度を向上させることができる。また、地物以外の余り価値の無い周辺領域から無駄な位置データを多数取得することがないため、地物データの生成効率を向上することができる。
スキャナ制御部２０５は、車両２００が搭載するカメラ２０９によって撮像された周辺の画像データにおいて確認された地物へ集中的にレーザ光２０７を照射する。なお、後述する画像データと位置データの統合（フュージョン）を円滑に行うためには、このように、搭載するカメラ２０９によって撮像された周辺の画像データにおいて確認された地物へ集中的にレーザ光２０７を照射して地物の位置データを増加させてもよく、若しくは、レーザ光２０７によって取得された位置データにおいて確認された地物を集中的にカメラ２０９によって撮像して地物の画像データの精度を向上させてもよい。また、地物データ生成装置３００がＳＤマップ３０１に含まれる地物の概略位置情報を車両２００へ送信し、レーザ・スキャナ部２０１のスキャナ制御部２０５が受信した地物の位置情報に対応する箇所へ集中的にレーザ光２０７を照射するキューイング計測を行ってもよい。さらに、夜間や雨天時では昼間よりもレーザ光２０７の照射密度を高くしてもよい。
また、スキャナ制御部２０５が実現するスキャンパターンは上述したコニカルスキャンやバーティカルスキャンに限られず、例えば、矩形状に渦を巻くパターンや水平方向のスキャンを上下方向へ少しずつずらしながら繰り返すホリゾンタルスキャンも実現可能である。
エッジパターン抽出部２０６は、車両２００の周辺の位置データの密度やレーザ光２０７の反射強度を参考として、対象地物の輪郭線や線分形状に沿う位置データの集合体をエッジパターンとして抽出する。エッジパターンの抽出方法の一例としては、例えば、米国特許第１０４９５７５７号明細書の出願人であるＡＥＹＥ社のウェブサイト等で示されるように、カメラ２０９によって撮像された車両２００の周辺の画像データ（図４（Ａ））と、レーザ光２０７のスキャンによって得られた車両２００の周辺の多数の位置データ（図４（Ｂ））とを統合（フュージョン）することにより、車両２００の周辺に存在する対象地物の形状境界（エッジ）を示すエッジパターン（図４（Ｃ））を抽出する方法が挙げられる。なお、エッジパターンの抽出方法は、画像データと位置データのフュージョンによるものに限られず、画像データを用いずに位置データのみからエッジパターンを抽出するものであってもよい。ここでの対象地物は、ガードレールや道路縁（縁石も含む）等の道路構造物、道路縁、白線等のペイント表記、標柱（道路標識や信号機を含む）、建築物等の道路近傍の目標物が該当する。
したがって、本実施の形態において、エッジパターンは対象地物の輪郭を表す有意な位置データの集合体である。このエッジパターンの抽出により、不必要な位置データを大幅に削減することができ、地物の候補となる対象地物の位置データのみを抽出することができる。その結果、その後の処理の負荷を大幅に軽減することができる。
自己位置推定部２０２は、例えば、ジャイロや加速度計によって構成された慣性測定装置（Inertial Measurement Unit）やオドメトリを含む。自己位置推定部２０２は、車両２００のロール角、ピッチ角やヨー角で表現される姿勢、並びに車両２００の位置、水平面上の平行移動量や移動軌跡を、高精度測位、例えば、ＧＮＳＳ（Global Navigation Satellite System）単独測位、又はＰＰＰ−ＲＴＫ（Precise Point Positioning-Real Time Kinematic）等のＧＮＳＳ干渉測位を使用して地球基準座標系（以下「絶対座標系」という。）で高精度に取得する。さらに、自己位置推定部２０２は、取得した車両２００の絶対座標系上の位置に基づいて、エッジパターンを構成する各位置データのスキャナ基準座標系上の位置を絶対座標系上の位置（以下、「絶対座標位置」という。）へ座標変換し、各位置データへ絶対座標位置を付与する。なお、車両２００の衛星測位受信機信号を地物データ生成装置３００に送信し、地物データ生成装置３００において衛星測位受信機信号を高精度化して各位置データへ絶対座標位置を付与してもよい。
自己位置推定部２０２は、ＧＮＳＳが利用できないような衛星不可視環境において、予め車両２００に搭載してある各種基準点（例えば、Ground Control Point (GCP)）を利用して三角測量によって車両２００の絶対座標位置を推定してもよい。このとき、トンネル内を走行している車両２００が送風機を認識したら、当該送風機の設計図上の位置情報を基準点として利用してもよい。また、自己位置推定部２０２は、車両２００の絶対座標位置の算出に必要な測定情報を車両２００のサーバ（図示しない）へアップロードし、サーバが車両２００のＧＮＳＳ受信機（不図示）の信号情報を利用することによって車両２００の絶対座標位置を推定してもよい。
本実施の形態では、各位置データのスキャナ基準座標系上の位置から絶対座標位置への座標変換は、エッジパターンの抽出後に行われるが、エッジパターンを抽出する前に全ての位置データの位置情報を絶対座標位置へ変換してもよい。但し、前者の方が座標変換の対象数が少ないため、作業効率向上の観点からは前者が好ましい。
データ送受信部２０３は、各位置データへ絶対座標位置が付与されたエッジパターンを地物データ生成装置３００へ送信し、また、地物をサーチ（スキャン）する指示、例えば、後述の再スキャンの実行要求を受信する。
地物データ生成装置３００のＳＤマップ３０１は、原則として、二次元地図であり、三次元高精度地図よりも含む情報量が少ないが、例えば、経路探索における目安となる地物の位置情報や形状情報を含む。地物の位置情報は、上述したように、車両２００のレーザ・スキャナ部２０１（スキャナ制御部２０５）へ提供され、地物の形状情報は、後述するように、クラス分類処理部３０５によって利用される。
地物記述データ生成部３０２は、データ送受信部２０３から送信されたエッジパターンを多次元ベクトルで記述し、対象地物の地物記述データを生成する。
ここで、エッジパターンは、測定ノイズを含むことがあり、さらに、一部の位置データが欠損していることがある。したがって、地物記述データ生成部３０２は、標柱に代表される円形や多角形等の形状を有する地物と、白線等のペイント表記、ガードレールや道路縁に代表される両端まで長い地物（以下、「線状地物」という。）を区別して、多次元ベクトルによる記述方法を変える。
例えば、図５（Ａ）に示すように、道路標識１０１からはポリゴンを抽出し、抽出されたポリゴンに接する矩形の各点座標や図心点をエッジパターンの各種情報と共にベクトル要素として、地物記述データを生成する。なお、道路標識１０１を囲む矩形の重心点をベクトル要素としてもよい。また、図５（Ｂ）に示すように、道路縁（図中の離散した各白点参照）からはエッジパターンの各位置データの位置情報等をベクトル要素として、地物記述データを生成する。なお、レーザ光２０７の反射強度に応じて対象地物の表面性状も分かるため、反射強度を表面性状の指標としてベクトル要素に設定してもよい。
地物特徴データ生成部３０３（マッチング部）は、例えば、既に地物データベース３１６へ登録されて準備されている地物の地物記述データ（以下、「既存地物記述データ」という。）と、地物記述データ生成部３０２が生成した地物記述データ（以下、「新規地物記述データ」という。）とのマッチングを行う。
具体的には、新規地物記述データが存在する地域の地物の既存地物記述データを地物データベース３１６から読み出し、新規地物記述データの絶対座標位置の情報と、既存地物記述データの絶対座標位置の情報とを比較し、これらの情報が所定の割合以上でマッチングする場合、当該新規地物記述データを、既存地物記述データを更新するための形状特徴ベクトル（以下、「更新用形状特徴ベクトル」とも称する。）として設定する。一方、新規地物記述データの絶対座標位置の情報と、既存地物記述データの絶対座標位置の情報とが所定の割合以上でマッチングしない場合、当該新規地物記述データを、新規の地物データを生成するための形状特徴ベクトル（以下、「生成用形状特徴ベクトル」とも称する。）として設定する。また、地物特徴データ生成部３０３は、設定されたこれらの形状特徴ベクトルを形状特徴ベクトルデータベース３１４へ格納する。
図６は、新規地物記述データと既存地物記述データのマッチングの概念図であり、図６（Ａ）は、道路標識を表す新規地物記述データ６０１と既存地物記述データ６０２のマッチングの様子を示し、図６（Ｂ）は、道路縁を表す新規地物記述データ６０３と既存地物記述データ６０４のマッチングの様子を示す。
本実施の形態では、複数の車両２００から逐次、地物データ生成装置３００へエッジパターンが送信されて地物記述データの生成、さらには、形状特徴ベクトルデータベース３１４への形状特徴ベクトルの格納が繰り返されることになるため、形状特徴ベクトルデータベース３１４には、同じ既存地物記述データを更新するための形状特徴ベクトルや同じ地物を生成するための形状特徴ベクトルが多数格納される。
ところで、このように格納された形状特徴ベクトルには、測定ノイズ等に起因する異常値が含まれることがあり、このような異常値を含む形状特徴ベクトルを用いると、正確な地物データを得ることができない。
これに対応して、異常測定値検出部３０４は、形状特徴ベクトルから異常値を除去する。具体的には、異常測定値検出部３０４は、マハラノビス距離を用いて各形状特徴ベクトルから異常値を検出して除去する。マハラノビス距離は複数のデータの分散を考慮した多次元空間における距離であり、ここでは多次元ベクトルである形状特徴ベクトルを構成する各位置データの分散中心からマハラノビス距離が大きい位置データを除去する。
例えば、理解を容易にするために二次元で表される図７では、位置データａ，ｂが位置データｃ，ｄよりも分散中心に近いように見えるが、分散の形態を考慮した場合、位置データａ，ｂのマハラノビス距離が位置データｃ，ｄのマハラノビス距離よりも長くなる。したがって、ここでは、位置データａ，ｂが異常値として除去される。
また、レーザ・スキャナ部２０１のレーザ光２０７によるスキャン可能な範囲は、車両２００の走行状態や周辺状況に応じて変化することがあるため、レーザ・スキャナ部２０１のエッジパターン抽出部２０６によって抽出されるエッジパターンは地物の全体の位置データを含まないことがある。このような場合、当該エッジパターンがどの地物に対応するのかを特定する必要がある。
これに対応して、クラス分類処理部３０５は、エッジパターンがどの地物に対応するのかを判別する。具体的には、データ送受信部２０３から送信されたエッジパターンを、ＳＤマップ３０１が格納するエッジパターンが存在する地域の地物の形状情報と比較する。図８の事例では、エッジパターン８００（図８（Ａ））が、地物である変形五叉路８０１の一部（図８（Ｂ））に対応し、同じく地物である四差路８０２（図８（Ｃ））に対応しないことが分かる。この場合、エッジパターン８００は変形五叉路に対応すると判別し、エッジパターン８００（と対応する形状特徴ベクトル）を変形五叉路にクラス分類する。また、エッジパターンの方位と地物の方位が一致していないとエッジパターンと地物の正確な比較は困難であるため、車両２００の位置や姿勢を考慮し、エッジパターンの方位を地物の方位と一致させるように補正した上でエッジパターンと地物を比較するのが好ましい。
なお、このようなエッジパターンとＳＤマップ３０１が格納する地物の一部との対比により、車両２００は、ＳＤマップ３０１における自車位置を把握するとともに、自動運転の基準点となる近隣の地物を把握することができる。したがって、車両２００は三次元高精度地図を備えなくても、ＳＤマップ、レーザ・スキャナ部２０１やカメラ２０９さえ備えていれば正確な自己位置推定と周囲環境の認識を行うことができ、安全運転支援や自動運転を行うことができる。
形状特徴ベクトルデータベース生成部３０６は、形状特徴ベクトルデータベース３１４に多数格納される形状特徴ベクトルを管理する。例えば、同じ既存地物記述データに対応する複数の更新用形状特徴ベクトルを互いに関連付けて管理し、これらの更新用形状特徴ベクトルを用いて既存地物記述データに対応する形状特徴ベクトルを更新する。
形状特徴ベクトルの更新のタイミングとしては、同じ既存地物記述データに対応する更新用形状特徴ベクトルの数が所定の数を上回った場合でもよい。この場合、例えば、スライディングウィンドウの考えを用いる方法が採用されてもよく、具体的には、時間の経過とともに累積する更新用形状特徴ベクトルの数（スライディングウィンドウの面積に相当する）が所定の数に達した時点で形状特徴ベクトルが更新されてもよい。このとき、交通量の多い地域では、更新用形状特徴ベクトルの数が比較的短い時間で所定の数に達するため、地物の既存地物記述データに対応する形状特徴ベクトルは短いサイクルで更新される。一方、交通量の少ない地域では、更新用形状特徴ベクトルの数が所定の数に達するためには比較的長い時間を要するため、地物の既存地物記述データに対応する形状特徴ベクトルは長いサイクルで更新される。すなわち、形状特徴ベクトルの更新サイクル（頻度）は地物が存在する地域の交通量に左右されてもよい。これにより、形状特徴ベクトルの更新サイクルが適切化され、形状特徴ベクトルデータベース生成部３０６の計算負荷を適切化することができる。また、形状特徴ベクトルの更新のタイミングとしては、更新用形状特徴ベクトルが最初に格納されてから所定の時間が経過した場合であってもよい。
なお、形状特徴ベクトルの更新のタイミングは、これらに限られず、例えば、後述の公に提供される工事情報における該当地域での工事完了時期から所定の時間が経過したタイミングや、後述するように各形状特徴ベクトルの統計値によって形状特徴ベクトルが時間的変化した時刻を特定し、該特定された時刻から所定の時間が経過したタイミングであってもよい。
また、形状特徴ベクトルの更新方法は、既存地物記述データに対応する地物の種類に応じて異なる。例えば、既存地物記述データに対応する地物が標柱に代表される円形や多角形等の形状を有する地物である場合、形状特徴ベクトルデータベース生成部３０６は、例えば、形状特徴ベクトルデータベース３１４に集積された既存地物記述データと各更新用形状特徴ベクトルに含まれるポリゴンに接する矩形の各点座標や図心点の平均値を求め、これらの平均値を用いて地物に対応する形状特徴ベクトルを更新する。
また、生成用形状特徴ベクトルが形状特徴ベクトルデータベース３１４へ所定の数以上、格納された場合、形状特徴ベクトルデータベース生成部３０６は、生成用地物記述データに対応する地物が標柱に代表される地物であれば、上述したように、ポリゴンに接する矩形の各点座標や図心点の平均値を用いて新たな形状特徴ベクトルを生成する。
ところで、形状特徴ベクトルデータベース３１４へ形状特徴ベクトルを格納していく際、道路工事等によって道路縁の延伸形状や道路の通行区分が変化し、若しくは標柱が移動されることがある。この場合、道路工事前後の各形状特徴ベクトルのベクトル要素が大きく変化するため、道路工事前後の各形状特徴ベクトルを一纏めにして統計処理を施して形状特徴ベクトルを更新又は生成すると、得られる地物データが正確で無くなるおそれがある。
これに対応して、地物統計データ算出部３０７は、形状特徴ベクトルデータベース３１４へ格納された各形状特徴ベクトルの統計値を算出し、各形状特徴ベクトルが時間的変化を含むか否かを判別する。例えば、図９（Ａ）に示すように、道路標識が時刻ｔｘに移動する場合、道路標識に対応する各形状特徴ベクトルの線Ａ上に存在する位置データの数の移動平均値が時刻ｔｘを境に変化する（図９（Ｂ））。このような場合、地物統計データ算出部３０７は、道路標識が時刻ｔｘを境に移動したと判別し、時刻ｔｘより前に格納された各形状特徴ベクトルを以降の処理において使用しない。そして、形状特徴ベクトルデータベース生成部３０６は、時刻ｔｘ以降に格納された各形状特徴ベクトルを用いて既存地物記述データに対応する形状特徴ベクトルを更新する。
なお、地物統計データ算出部３０７が算出する統計値は移動平均値に限られない。例えば、地物統計データ算出部３０７は、各形状特徴ベクトルの位置データのマハラノビス距離を算出し、これらのマハラノビス距離に基づいて各位置データを複数のグループに分類し、最も新しい位置データで構成されるグループ以外のグループに対応する各形状特徴ベクトルを以降の処理において使用しなくてもよい。さらに、各形状特徴ベクトルの位置データの共分散値やヒストグラムを算出してもよい。この場合も、一定時間毎に算出された共分散値やヒストグラムを比較することにより、地物の時間的変化（移動）を検知することができる。
また、道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化の検出方法は、上述したような各形状特徴ベクトルの統計値の算出に基づく方法に限られない。道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化は道路工事によって発生するため、公に提供される工事情報（例えば、公益財団法人日本道路交通情報センターが提供する工事情報）も参考にしてもよい。この場合、該当地域で工事が完了する前に格納された各形状特徴ベクトルを以降の処理において使用せず、該当地域で工事が完了した後に得られた各形状特徴ベクトルを用いて既存地物記述データに対応する形状特徴ベクトルを更新する。
さらに、各形状特徴ベクトルの統計値と公に提供される工事情報を併用して、道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化を検出してもよい。この場合、例えば、道路標識に対応する各形状特徴ベクトルの線Ａ上に存在する位置データの数の移動平均値が変化する時刻ｔｘと、該当地域で工事が完了した時刻とを比較し、両時刻のずれが所定値以内であれば、道路標識が時刻ｔｘを境に移動したと判別する。
また、地物データの生成システム１００では、各車両２００の移動軌跡をモニタリングしてもよく、これらの移動軌跡を用いて道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化を検出してもよい。例えば、或る地域において各車両２００の移動軌跡が時刻ｔｙを境に変化した場合は、当該地域において時刻ｔｙに道路縁の延伸形状の変化や道路の通行区分の変化が発生したと考えられるため、時刻ｔｙより前に格納された各形状特徴ベクトルを以降の処理において使用しない。そして、形状特徴ベクトルデータベース生成部３０６は、時刻ｔｙ以降に格納された各形状特徴ベクトルを用いて既存地物記述データに対応する形状特徴ベクトルを更新する。なお、各車両２００の移動軌跡が変化したか否かは、当該移動軌跡が道路線型に対して大きく変化するか否かに基づいて判別する。例えば、移動軌跡が滑らかで無くあたかも不連続となったような場合には、各車両２００の移動軌跡が変化したと判別する。
ところで、各車両２００の移動軌跡は、例えば、道路に一時的な障害物（落下物や倒木等）が生じた場合にも変化する。この場合、道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化は発生していないため、各車両２００の移動軌跡が変化するより前に格納された各形状特徴ベクトルも形状特徴ベクトルの更新に用いるのが好ましい。各車両２００の移動軌跡の変化が一時的な障害物によるものか否かは、各車両２００の移動軌跡が変化した後、所定時間が経過する前に各車両２００の移動軌跡が元の移動軌跡に戻るか否かに基づいて判別する。具体的に、各車両２００の移動軌跡が変化した後、所定時間が経過する前に元の移動軌跡に戻った場合は、各車両２００の移動軌跡の変化が一時的な障害物によるものと判別し、所定時間が経過しても元の移動軌跡に戻らない場合は、各車両２００の移動軌跡の変化が道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化によるものと判別する。
さらに、道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化は地震や土砂災害によっても発生する。したがって、公に提供される地震情報や災害情報も併用して、道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化を検出してもよい。この場合、該当地域で地震や土砂災害が終息する前に格納された各形状特徴ベクトルを以降の処理において使用せず、該当地域で地震や土砂災害が終息した後に得られた各形状特徴ベクトルを用いて既存地物記述データに対応する形状特徴ベクトルを更新する。
なお、地物の移動は、地震や土砂災害だけでなく地殻変動によっても生じる。地物の移動の要因が地震か土砂災害か、若しくは地殻変動かの判別は、各車両２００から取得される形状特徴ベクトルの位置データが急変するか徐変するかに基づいて判別される。例えば、位置データが徐変する場合、地物の移動の要因は地殻変動であると判別される。そして、この場合、後述するように、地殻変動補正部３１０が各形状特徴ベクトルの位置データへ地殻変動補正を施し、地殻変動補正後の全ての形状特徴ベクトルを用いて既存地物記述データに対応する形状特徴ベクトルを更新する。
形状特徴ベクトルデータベース生成部３０６によって更新又は生成された形状特徴ベクトルが道路縁に対応する場合、道路特徴付与部３０８は、図１０に示すように、１つの道路を構成する一対の道路縁の中央を仮想地物であるレーン中央線とし、レーン中央線にレーンＩＤとしてＬｘ（ｘは自然数）を付与する。
このとき、道路特徴付与部３０８は、レーン中央線の両端にノードを設定し、各ノードの間をレーン中央線に沿うように緩和曲線、例えば、スプライン曲線やクロソイド曲線で繋ぎ、緩和曲線において所定の間隔毎、例えば、５ｍ毎にドットとしてのウェイポイントを設定する。各ウェイポイントにはウェイポイントＩＤとしてＷｘ（ｘは自然数）が付与される。レーンＩＤやウェイポイントＩＤには、三次元高精度地図に収録済みの近隣の建物１２００や標柱１２０１との対応関係が設定される。これにより、自動運転による配達等が行い易くなる。
なお、道路幅が大きいときには、区画線に従って道路を幅方向に複数のレーンに区切り、各レーンの中央線へレーンＩＤを付与する。これにより、同じ道路を車両２００が通行していても、レーンＩＤを参照することにより、自車が直進レーンを走行しているか、右折レーンを走行しているかを判別することができ、例えば、従うべき信号を区別することができる。
また、道路特徴付与部３０８は、レーンＩＤを参照して複数のレーン中央線によって構築された道路ネットワークをトポロジカル地図として表現し、該地図の全体における道路連接の妥当性や無矛盾性を検証することができる。
地物特徴ベクトルデータベース生成部３０９は、更新又は生成された形状特徴ベクトルへ地物統計データ算出部３０７が算出した統計値や道路特徴付与部３０８が付与したレーンＩＤやウェイポイントＩＤ、さらには、地物の名称等を加えて地物特徴ベクトルを生成する。図１１は、地物特徴ベクトルデータベース生成部３０９が生成する地物特徴ベクトルの一例を示すが、地物特徴ベクトルを構成するベクトル要素は図１１の事例に限られない。また、地物特徴ベクトルデータベース生成部３０９は、生成した地物特徴ベクトルを地物特徴ベクトルデータベース３１５へ格納する。
ところで、地殻変動によって地物は移動することがあり、その移動量は、例えば、年間に１０ｃｍ〜２０ｃｍに達することがある。したがって、地物特徴ベクトルに含まれる地物の測定時点の位置が地図制定時の位置からずれていく。これに対応して、地殻変動補正部３１０は、地物特徴ベクトルに含まれる今期の位置データ（測定時点の位置）を元期の位置データ（地図制定時の位置）、例えば、該当車両２００の測地基準系である日本測地系２０１１（ＪＧＤ２０１１）における位置データへ地殻変動補正する。これにより、地物特徴ベクトルに含まれる位置データの国が定めた公的座標系における正確性を担保することができる。特に、日本のように大地震によって大きな地殻変動が頻繁に生じる地域において、公的座標系における正確性を担保することは、地物データにとって必須の条件である。
なお、地物特徴ベクトルは複数の形状特徴ベクトルの統計処理を経て得られるため、地物特徴ベクトルに含まれる今期の位置データは情報量が縮減している可能性がある。そこで、地殻変動補正部３１０は、地物特徴ベクトルに含まれる今期の位置データではなく、エッジパターンに含まれる今期の位置データを元期の位置データへ補正してもよい。これにより、統計処理を施す前に地殻変動補正を行うことができる。すわなち、位置データの情報量が縮減する前に地殻変動補正を行うことができるため、より正確な元期の位置データを得ることができる。
また、地物特徴ベクトルは地物データとして三次元高精度地図更新装置４００における三次元高精度地図の地物の更新又は生成に用いられるが、全ての地物特徴ベクトルが同じように信頼できるとは限らない。例えば、最近取得された位置データを含む地物特徴ベクトルは、過去に取得された位置データを含む地物特徴ベクトルよりも信頼性が高いと考えられ、また、統計値である位置データの分散が大きい地物特徴ベクトルは、当該分散が小さい地物特徴ベクトルはよりも信頼性が低いと考えられる。
そこで、品質保証指標算出部３１１は、各地物特徴ベクトルの信頼性を表す指標である品質保証指標を生成する。例えば、図１２（Ａ）に示すような、位置データの分散（図中の「Variance_Value」参照）が所定値以上であり、位置データの取得時期（図中の「Time_Stamp」参照）が所定時間よりも前の地物特徴ベクトルでは、低い値の品質保証指標（図中の「Quality_Index」参照）が生成される。
一方、図１２（Ｂ）に示すような、分散が小さく、位置データの取得時期が新しい地物特徴ベクトルでは、高い値の品質保証指標が生成される。そして、低い値の品質保証指標を有する地物特徴ベクトルは三次元高精度地図における地物の更新や生成に用いられないか、若しくは、地物の更新や生成に用いられても、当該地物は経路探索や自動運転において積極的に活用されない。なお、品質保証指標を生成する際、分散の代わりにヒストグラムを用いてもよく、また、品質保証指標の値は図１２（Ａ），図１２（Ｂ）に示される値に限られない。
品質保証指標の生成のタイミングは、例えば、公に提供される工事情報における該当地域での工事完了時期、地物特徴ベクトルの統計値が大きく変化したタイミング、各車両２００の移動軌跡が変化したタイミング、公に提供される地震情報において地震が終息したタイミングや公に提供される災害情報において土砂災害が終息したタイミングを基準とする。
また、地物特徴ベクトルの品質保証指標が低い値となる場合は、地物特徴ベクトルの位置データの分散が大きい場合や位置データの取得時期が古い場合に限られず、例えば、地物が存在する地域で工事が行われてから所定の時間が経過していないことが公に提供される工事情報から確認できる場合、各車両２００の移動軌跡から道路標識の移動、道路縁の延伸形状の変化や道路の通行区分の変化が検出されてから所定の時間が経過していない場合、並びに地震や土砂災害が終息してから所定の時間が経過していないことが公に提供される地震情報や災害情報から確認できる場合が該当する。なお、地震や土砂災害が生じた場合は地物が数ｍ単位で移動することがあるため、品質保証指標はかなり低い値、すなわち、使用に耐えないことを示す値に設定される。
位置データ再測定要求部３１２は、各車両２００のレーザ・スキャナ部２０１のスキャナ制御部２０５に対して、上述した種々の要因によって品質保証指標の値が低く設定された地物特徴ベクトルに対応する地物が存在する箇所へ向けて再度のレーザ光２０７の再スキャンを実行するように求める。レーザ光２０７の再スキャンの実行要求は、例えば、地物特徴ベクトルの品質保証指標の値が低くなったタイミングに発信され、データ送受信部２０３によって受信される。これにより、地物特徴ベクトルを新たな（測定し直した）エッジパターンに基づいて更新することができ、地物特徴ベクトルの信頼性を維持することができる。その結果、地物データベース３１６や三次元高精度地図の信頼性を向上することができる。また、品質保証指標の値が低くなった地物特徴ベクトルに対応する地物のみにレーザ光２０７の再スキャンを実行することにより、品質保証指標の値が高いままの地物特徴ベクトルに対応する地物へのレーザ光２０７の再スキャンを実行せずに済む。これにより、不必要なレーザ光２０７の再スキャンを行う必要を無くし、地物データベース３１６や三次元高精度地図の地物の更新の効率を向上させることができる。
なお、レーザ光２０７の再スキャンの実行要求は、品質保証指標の設定とは関係なく、例えば、公に提供される工事情報における該当地域での工事完了時期、地物特徴ベクトルの統計値が大きく変化したタイミング、各車両２００の移動軌跡が変化したタイミング、公に提供される地震情報において地震が終息したタイミングや公に提供される災害情報において土砂災害が終息したタイミングに行われてもよい。
本実施の形態における品質保証指標は、例えば、位置精度（precision）と正確度（accuracy）の２つを担保する。位置精度は、地物特徴ベクトルの位置データの分散が小さいほど高い。
正確度は地物の中心位置の真値から地物特徴ベクトルが表す地物の中心位置のずれ量（偏差バイアス量）が小さいほど高い。また、地物特徴ベクトルが表す地物の中心位置は、地物特徴ベクトルを導き出すために用いられる形状特徴ベクトルの数が増えるにつれて変化するが、地物特徴ベクトルが表す地物の中心位置の初期値が正確であるほど、正確度に対応する品質保証指標は高く設定される。
そして、本実施の形態における品質保証指標は、例えば、下記表1に示されるように設定される。
また、各車両２００の位置は、各車両２００の自己位置推定部２０２がＧＮＳＳ単独測位やＧＮＳＳ干渉測位を使用してリアルタイムに取得するが、上述したように、各車両２００の衛星測位受信機信号を地物データ生成装置３００に送信し、地物データ生成装置３００において衛星測位受信機信号を処理して車両２００の絶対座標位置を取得してもよい。この場合、衛星測位受信機信号を後処理することになり、位置の取得に用いる信号を選別することができ、例えば、マルチパスを起こしている衛星からの信号を除去した上で、車両２００の位置を取得することができる。一方、各信号がマルチパスを起こしているか否かは他の信号との比較によって判別可能であるため、車両２００の位置をリアルタイムで取得する場合は、マルチパスを起こしている衛星からの信号を除去することができない。その結果、地物データ生成装置３００において衛星測位受信機信号を処理する場合、車両２００において位置をリアルタイムで取得する場合よりも正確な車両２００の位置を取得することができるため、品質保証指標を高く設定してもよい。
以上説明した方法によって設定された各地物に対応する地物特徴ベクトルの品質保証指標を地域毎の品質表にまとめてもよく、この品質表を用い、地物データ生成装置３００が、該当する地域において、どの地物特徴ベクトルを用いて地物の更新や生成をすべきかをユーザに提案してもよい。
その後、品質保証指標が生成された地物特徴ベクトルは地物データベース３１６へ格納され、地物データベース３１６が更新される。図１３は、地物データベース３１６の構成を説明するための図である。地物データベース３１６は、オブジェクト指向データベースであり、各地物特徴ベクトルをオブジェクトとして格納する。例えば、「一般道」と「高速道路」の地物特徴ベクトルは「道路」のクラスに分類され、各地物特徴ベクトルのベクトル要素は特徴値（アトリビュート）として管理される。地物データ生成装置３００は、更新された地物データベース３１６を三次元高精度地図更新装置４００へ送信し、三次元高精度地図更新装置４００は、品質保証指標と参照して地物データベース３１６から必要な地物特徴ベクトルを抽出して三次元高精度地図の地物の更新又は生成を行う。
図１４は、本実施の形態における地物データの生成方法を示すフローチャートである。
図１４において、まず、車両２００のレーザ・スキャナ部２０１がレーザ光２０７による周辺の走査（スキャン）を実行し（ステップＳ１４０１）、車両２００の周辺に存在する対象地物のエッジパターンを抽出する（ステップＳ１４０２）。
次いで、自己位置推定部２０２がエッジパターンの各位置データへ絶対座標位置を付与する（ステップＳ１４０３）。なお、車両２００における処理の負担を軽減することを目的とし、自己位置推定部２０２によって絶対座標位置を付与（高精度化）することなくエッジパターンを地物データ生成装置３００へ送信し、地物記述データ生成部３０２がエッジパターンの各位置データへ絶対座標位置を付与してもよい。
その後、データ送受信部２０３が絶対座標位置が付与されたエッジパターンを地物データ生成装置３００へ送信する（ステップＳ１４０４）。このとき、後述のＳ１４１２に代わり、地殻変動補正部３１０が、エッジパターンに含まれる今期の絶対座標位置が付与された位置データを元期の位置データへ地殻変動補正してもよい。
なお、ステップＳ１４０１乃至Ｓ１４０４は１台の車両２００によって繰り返して実行されてもよく、若しくは、複数台の車両２００によって実行されてもよい。その結果、地物データ生成装置３００には複数の対象地物のエッジパターンが送信される。
次いで、地物記述データ生成部３０２が対象地物の地物記述データを生成し（ステップＳ１４０５）、地物特徴データ生成部３０３が既存地物記述データと新規地物記述データとのマッチングを行い（ステップＳ１４０６）、マッチングの結果に基づいて、形状特徴ベクトルを形状特徴ベクトルデータベース３１４へ格納する（ステップＳ１４０７）。
その後、異常測定値検出部３０４が形状特徴ベクトルデータベース３１４へ格納された形状特徴ベクトルから異常値を除去し（ステップＳ１４０８）、形状特徴ベクトルデータベース生成部３０６が複数の更新用形状特徴ベクトルの統計処理を通じて既存地物記述データに対応する形状特徴ベクトルを更新する（ステップＳ１４０９）。
次いで、地物特徴ベクトルデータベース生成部３０９が、更新された形状特徴ベクトルに基づいて地物特徴ベクトルを生成し（ステップＳ１４１０）、地物特徴ベクトルデータベース３１５へ格納する（ステップＳ１４１１）。その後、地殻変動補正部３１０が、格納された地物特徴ベクトルに含まれる今期の位置データを元期の位置データへ地殻変動補正する（ステップＳ１４１２）。なお、ステップＳ１４０３の直後に地殻変動補正が行われている場合は、ステップＳ１４１２をスキップする。
次いで、品質保証指標算出部３１１が各地物特徴ベクトルの品質保証指標を生成し（ステップＳ１４１３）、各地物特徴ベクトルが地物データベース３１６へ格納され（ステップＳ１４１４）、地物データベース３１６が更新されて本処理が終了される。
本実施の形態によれば、レーザ光２０７のスキャンによって得られた車両２００の周辺の多数の位置データからエッジパターンが抽出され、このエッジパターンの位置データに対する統計処理等を通じ、地物データとして三次元高精度地図の地物の更新又は生成に用いられる地物特徴ベクトルが生成される。すなわち、車両２００の周辺の多数の位置データからそのまま地物特徴ベクトルを生成する場合に比して、手間と時間を大幅に減少させることができるため、地物特徴ベクトルを繰り返して生成することが可能である。これにより、地物データベース３１６の更新を繰り返して実行することができる。その結果、地物データベース３１６の誤りが修正され、地物データベース３１６の正確性を担保することができる。また、更新された地物データベース３１６の地物特徴ベクトルを用いて三次元高精度地図を更新又は生成することにより、三次元高精度地図の地物が最新の状態に保たれるため、三次元高精度地図の正確性を担保することができる。
また、本実施の形態では、地物データベース３１６の更新に用いられる地物特徴ベクトルが複数の形状特徴ベクトルへの統計処理を通じて生成されるため、地物特徴ベクトルを用いて三次元高精度地図で更新、生成される地物を統計的に妥当なものとすることができる。
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
１００ 地物データの生成システム
２００ 車両
３００ 地物データ生成装置
３０１ ＳＤマップ３
３０２ 地物記述データ生成部
３０３ 地物特徴データ生成部
３０４ 異常測定値検出部
３０６ 形状特徴ベクトルデータベース生成部
３０７ 地物統計データ算出部
３０９ 地物特徴ベクトルデータベース生成部
３１０ 地殻変動補正部
３１１ 品質保証指標算出部
３１２ 位置データ再測定要求部
３１３ 地物データベース生成部
３１４ 形状特徴ベクトルデータベース
３１５ 地物特徴ベクトルデータベース
３１６ 地物データベース

Claims (16)

  1. ＬＩＤＡＲ技術を用いて測定された移動体の周辺の多数の測定点の位置データから前記移動体の周辺に存在する対象地物の境界を示すエッジパターンを抽出して不必要な測定点の位置データを削除するエッジパターン抽出部と、
    前記抽出されたエッジパターンへ地球基準座標系の位置を付与する地球基準座標系位置付与部と、
    前記地球基準座標系の位置が付与されたエッジパターンから、地物を表す地物データを生成する地物データ生成部と、を有することを特徴とする地物データの生成システム。
  2. 前記地物データ生成部は、前記地球基準座標系の位置が付与されたエッジパターンにおける前記位置データの集合体が予め準備された既存の地物を記述するためのデータと所定の割合以上でマッチングする場合、前記位置データの集合体を、前記地物データを生成又は更新するために用いられる形状特徴ベクトルとして設定するマッチング部を有することを特徴とする請求項１に記載の地物データの生成システム。
  3. マハラノビス距離に基づいて前記形状特徴ベクトルから異常測定値を検出して除去する異常測定値検出部をさらに備えることを特徴とする請求項２に記載の地物データの生成システム。
  4. 前記形状特徴ベクトルにおける統計値を算出し、該算出された統計値に基づいて前記形状特徴ベクトルが時間的変化を含むか否かを判別する地物統計データ算出部をさらに備えることを特徴とする請求項２又は３に記載の地物データの生成システム。
  5. 複数の前記移動体の周辺の位置データから、前記エッジパターン抽出部による前記エッジパターンの抽出、前記地球基準座標系位置付与部による前記エッジパターンへの前記地球基準座標系の位置の付与、及び前記マッチング部による前記形状特徴ベクトルの設定を通じて複数の前記形状特徴ベクトルを取得し、
    前記地物データ生成部は、複数の前記形状特徴ベクトルへ統計処理を施して前記地物データを生成又は更新するための地物特徴ベクトルを生成することを特徴とする請求項２乃至４のいずれか１項に記載の地物データの生成システム。
  6. 前記エッジパターン抽出部による前記エッジパターンの抽出、前記地球基準座標系位置付与部による前記エッジパターンへの前記地球基準座標系の位置の付与、及び前記マッチング部による前記形状特徴ベクトルの設定を繰り返して複数の前記形状特徴ベクトルを取得し、
    前記地物データ生成部は、複数の前記形状特徴ベクトルへ統計処理を施して前記地物データを生成又は更新するための地物特徴ベクトルを生成することを特徴とする請求項２乃至４のいずれか１項に記載の地物データの生成システム。
  7. 前記地物特徴ベクトルに含まれる位置情報を前記移動体が存在する地域の測地基準系に合わせるために前記地物特徴ベクトルへ地殻変動補正を施す地殻変動補正部をさらに備えることを特徴とする請求項５又は６に記載の地物データの生成システム。
  8. 前記地物特徴ベクトルに含まれる位置情報を前記移動体が存在する地域の測地基準系に合わせるために前記地球基準座標系の位置が付与されたエッジパターンへ予め地殻変動補正を施す地殻変動補正部をさらに備えることを特徴とする請求項５又は６に記載の地物データの生成システム。
  9. 前記地物特徴ベクトルが生成された時期及び前記地物特徴ベクトルの統計値の少なくとも１つに基づいて前記地物特徴ベクトルの品質保証のための指標を算出する品質保証指標算出部をさらに備えることを特徴とする請求項５乃至８のいずれか１項に記載の地物データの生成システム。
  10. 前記品質保証のための指標に基づいて、前記地物特徴ベクトルに対応する地域における前記ＬＩＤＡＲ技術による位置データの再測定を要求する位置データ再測定要求部をさらに備えることを特徴とする請求項９に記載の地物データの生成システム。
  11. 前記ＬＩＤＡＲ技術を用い、標準精度地図に含まれる地物に対応する地域において集中的に多数の位置データを測定することを特徴とする請求項１乃至１０のいずれか１項に記載の地物データの生成システム。
  12. 前記ＬＩＤＡＲ技術を用い、前記移動体の周辺の画像データによって認識された地物に対応する地域において集中的に多数の位置データを測定することを特徴とする請求項１乃至１０のいずれか１項に記載の地物データの生成システム。
  13. 前記多数の位置データは、レーザ光照射方向可変技術が適用されるレーザ・スキャナを有するＬＩＤＡＲスキャナによって得られることを特徴とする請求項１１又は１２に記載の地物データの生成システム。
  14. 前記エッジパターン抽出部は、前記ＬＩＤＡＲ技術を用いて測定された移動体の周辺の多数の測定点の位置データから、撮像によって得られた前記移動体の周辺の画像データに基づいて前記エッジパターンを抽出することを特徴とする請求項１乃至１３のいずれか１項に記載の地物データの生成システム。
  15. 請求項１乃至１４のいずれか１項に記載の地物データの生成システムによって生成された前記地物データによって地物データベースを更新することを特徴とする地物データベース更新システム。
  16. ＬＩＤＡＲ技術を用いて測定された移動体の周辺の多数の測定点の位置データから前記移動体の周辺に存在する対象地物の境界を示すエッジパターンを抽出して情報量を低減させるエッジパターン抽出工程と、
    前記抽出されたエッジパターンへ地球基準座標系の位置を付与する地球基準座標系位置付与工程と、
    前記地球基準座標系の位置が付与されたエッジパターンから、地物を表す地物データを生成する地物データ生成工程と、を有することを特徴とする地物データの生成方法。
JP2020131816A 2020-08-03 2020-08-03 地物データの生成システム、地物データベース更新システム及び地物データの生成方法 Active JP6837626B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020131816A JP6837626B1 (ja) 2020-08-03 2020-08-03 地物データの生成システム、地物データベース更新システム及び地物データの生成方法
JP2021001634A JP2022028588A (ja) 2020-08-03 2021-01-07 位置取得装置
PCT/JP2021/000660 WO2022030033A1 (ja) 2020-08-03 2021-01-12 地物データの生成システム、地物データベース更新システム及び地物データの生成方法
EP21853512.8A EP4191566A4 (en) 2020-08-03 2021-01-12 SYSTEM FOR GENERATING PLANIMETRIC FEATURE DATA, SYSTEM FOR UPDATING A PLANIMETRIC FEATURE DATABASE AND METHOD FOR GENERATING PLANIMETRIC FEATURE DATA
US18/018,942 US20230332917A1 (en) 2020-08-03 2021-01-12 Feature data generation system, feature database update system, and feature data generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020131816A JP6837626B1 (ja) 2020-08-03 2020-08-03 地物データの生成システム、地物データベース更新システム及び地物データの生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021001634A Division JP2022028588A (ja) 2020-08-03 2021-01-07 位置取得装置

Publications (2)

Publication Number Publication Date
JP6837626B1 true JP6837626B1 (ja) 2021-03-03
JP2022028428A JP2022028428A (ja) 2022-02-16

Family

ID=74673614

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020131816A Active JP6837626B1 (ja) 2020-08-03 2020-08-03 地物データの生成システム、地物データベース更新システム及び地物データの生成方法
JP2021001634A Pending JP2022028588A (ja) 2020-08-03 2021-01-07 位置取得装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021001634A Pending JP2022028588A (ja) 2020-08-03 2021-01-07 位置取得装置

Country Status (4)

Country Link
US (1) US20230332917A1 (ja)
EP (1) EP4191566A4 (ja)
JP (2) JP6837626B1 (ja)
WO (1) WO2022030033A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240202218A1 (en) * 2022-12-14 2024-06-20 Here Global B.V. Method, apparatus, and system for providing linear feature detection of cartographic features

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2017174197A (ja) * 2016-03-24 2017-09-28 日産自動車株式会社 立体物検出方法及び立体物検出装置
JP2020047276A (ja) * 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101220600B1 (ko) * 2006-03-30 2013-01-10 교세라 가부시키가이샤 휴대 전자 기기 및 지자기 센서 교정 방법
US8233516B2 (en) * 2009-06-24 2012-07-31 Qualcomm Incorporated Wideband correlation mode switching methods and apparatuses
JP5928240B2 (ja) * 2012-08-16 2016-06-01 株式会社豊田中央研究所 ３次元形状解釈装置及びプログラム
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
US10657804B2 (en) * 2017-08-11 2020-05-19 Here Global B.V. Updating maps and road status
JP6970330B6 (ja) 2017-09-11 2021-12-22 国際航業株式会社 沿道地物の座標付与方法
JP7197571B2 (ja) 2017-09-15 2022-12-27 エイアイ インコーポレイテッド 低レイテンシ動作計画更新を有するインテリジェントｌａｄａｒシステム
JP7143562B2 (ja) 2019-02-14 2022-09-29 豊田合成株式会社 蓋開閉構造

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2017174197A (ja) * 2016-03-24 2017-09-28 日産自動車株式会社 立体物検出方法及び立体物検出装置
JP2020047276A (ja) * 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両

Also Published As

Publication number Publication date
JP2022028588A (ja) 2022-02-16
EP4191566A1 (en) 2023-06-07
EP4191566A4 (en) 2024-07-10
US20230332917A1 (en) 2023-10-19
WO2022030033A1 (ja) 2022-02-10
JP2022028428A (ja) 2022-02-16

Similar Documents

Publication Publication Date Title
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
CN109643367B (zh) 用于自主车辆导航的众包和分发稀疏地图以及车道测量的方法、系统和可读介质
CN107850449B (zh) 用于生成及使用定位参考数据的方法及系统
US11971274B2 (en) Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN114812581B (zh) 一种基于多传感器融合的越野环境导航方法
JP2023134478A (ja) ナビゲーション情報を匿名化するためのシステム及び方法
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN105512646B (zh) 一种数据处理方法、装置及终端
CN116539052A (zh) 用于车辆导航的系统、方法和装置
WO2015173034A1 (en) Method and system for determining a position relative to a digital map
Wang et al. Automatic road extraction from mobile laser scanning data
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
JP2008065087A (ja) 静止物地図生成装置
JP6837626B1 (ja) 地物データの生成システム、地物データベース更新システム及び地物データの生成方法
KR20200142315A (ko) 도로 네트워크를 갱신하는 방법 및 장치
JP2021047099A (ja) 車両の自己位置推定装置、および、自己位置推定方法
JP2022117835A (ja) 地物データの生成装置及び地物データの生成方法
TW202115616A (zh) 應用路側特徵辨識之圖資定位系統及方法
JP7329079B2 (ja) 汎用的に使用可能な特徴マップを生成する方法
JP2024063838A (ja) 剪定地点判定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200811

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200811

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201118

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210112

R150 Certificate of patent or registration of utility model

Ref document number: 6837626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250