[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102522923B1 - 차량의 자기위치 추정 장치 및 그 방법 - Google Patents

차량의 자기위치 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR102522923B1
KR102522923B1 KR1020180168628A KR20180168628A KR102522923B1 KR 102522923 B1 KR102522923 B1 KR 102522923B1 KR 1020180168628 A KR1020180168628 A KR 1020180168628A KR 20180168628 A KR20180168628 A KR 20180168628A KR 102522923 B1 KR102522923 B1 KR 102522923B1
Authority
KR
South Korea
Prior art keywords
image
satellite
candidate
vehicle
omnidirectional
Prior art date
Application number
KR1020180168628A
Other languages
English (en)
Other versions
KR20200084943A (ko
Inventor
손주찬
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180168628A priority Critical patent/KR102522923B1/ko
Priority to US16/696,461 priority patent/US11341742B2/en
Publication of KR20200084943A publication Critical patent/KR20200084943A/ko
Application granted granted Critical
Publication of KR102522923B1 publication Critical patent/KR102522923B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/021—Calibration, monitoring or correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284—Relative positioning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

차량의 자기 위치 추정 방법이 개시된다. 이 방법은, 주행 차량의 현재 위치에서 차량 주변의 지면을 촬영하는 전방위 카메라를 이용하여 전방위 영상 이미지를 획득하는 단계; 인공위성으로부터 수신된 GPS 위성 신호를 기반으로 상기 주행 차량의 현재 위치를 추정하는 단계; 상기 인공위성에서 지면을 촬영하여 획득한 위상 영상 이미지가 저장된 위성 영상 데이터베이스를 조회하여, 상기 추정된 주행 차량의 현재 위치에 대응하는 후보 위상 영상 이미지들을 선정하는 단계; 상기 전방위 영상 이미지와 상기 선정된 후보 위상 영상 이미지들을 각각 비교하여, 상기 선정된 후보 위성 영상 이미지들 중에서 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 단계; 및 상기 결정된 후보 위성 영상 이미지에 맵핑되는 측위값을 이용하여, 상기 차량의 현재 위치를 최종적으로 추정하는 단계;를 포함한다.

Description

차량의 자기위치 추정 장치 및 그 방법{Apparatus and method for estimating self-location of a vehicle}
본 발명은 차량의 자기 위치를 추정하는 기술에 관한 것이다.
자율 주행 차량은 계산된 주행 경로를 정확하게 추종해야 한다. 주행 경로를 정확하게 추정하기 위해, 자율 주행 차량은 자신의 위치와 진행방향(heading angle)을 실제 위치와 실제 진행 방향에 가깝도록 정밀하게 계산해야 한다.
위치와 진행방향을 정밀하게 계산하기 위해, Differential GPS(DGPS), 다채널 레이져 스캐너, 비젼 카메라 등과 같은 센서 장비들과, 도로 형상, 노면 표식 데이터, 교통시설물 형상 데이터, 주변 건물 형상데이터 등과 같은 3차원 정보(이하, 점군 데이터(point cloud data))를 포함하고 있는 고정밀 지도 데이터(HD Map)가 저장된 저장 장치가 자율 주행 차량에 탑재될 필요가 있다.
상기 센서 장비들과 상기 고정밀 지도가 탑재된 자율 주행 차량은 상기 센서 장치들로부터 획득한 실시간 점군 데이터와 상기 고정밀 지도에 포함된 점군 데이터를 비교하여, 그 형상 차이로부터 자신의 현재 위치와 진행방향을 정밀하게 계산할 수 있다.
그러나, DGPS, 다채널 레이져 스캐너, 비젼 카메라 등과 같은 센서 장비들은 매우 고가이고, 수십 메가바이트의 용량을 갖는 고정밀 지도 데이터를 수시로 갱신하기 위해, 고정밀 지도 데이터를 보유하고 있는 원거리 서버로부터 고정밀 지도 데이터를 다운 로딩하는데 사용되는 고가의 통신료 부담과 전송지연이 발생하는 문제가 있다. 이 밖에도, 고가의 센서 장비들로부터 획득한 데이터의 실시간 처리를 위해, 고사양의 컴퓨터 시스템을 자율 주행 차량에 장착해야 하는 단점이 있다.
따라서, 본 발명의 목적은 자율 주행 차량에 설치된 전방위 카메라 장치와 위성 네비게이션 장치로부터 각각 획득한 차량 주변 영상 이미지와 위성 영상 이미지를 이용하여 자기 위치와 진행방향을 추정하는 장치 및 방법을 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 차량의 자기위치 추정 방법은, 주행 차량의 현재 위치에서 차량 주변의 지면을 촬영하는 전방위 카메라를 이용하여 전방위 영상 이미지를 획득하는 단계; 인공위성으로부터 수신된 GPS 위성 신호를 기반으로 상기 주행 차량의 현재 위치를 추정하는 단계; 상기 인공위성에서 지면을 촬영하여 획득한 위상 영상 이미지가 저장된 위성 영상 데이터베이스를 조회하여, 상기 추정된 주행 차량의 현재 위치에 대응하는 후보 위상 영상 이미지들을 선정하는 단계; 상기 전방위 영상 이미지와 상기 선정된 후보 위상 영상 이미지들을 각각 비교하여, 상기 선정된 후보 위성 영상 이미지들 중에서 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 단계; 및 상기 결정된 후보 위성 영상 이미지에 맵핑되는 측위값을 이용하여, 상기 차량의 현재 위치를 최종적으로 추정하는 단계;를 포함한다.
본 발명의 다른 일면에 따른 차량의 자기위치 추정 장치는, 주행 차량에 설치된 전방위 카메라로부터 획득한 다수의 주변 영상 이미지를 정합하여 전방위 영상 이미지를 생성하는 영상 정합부; 위성 영상 이미지가 저장된 위성 영상 데이터베이스를 검색하여, GPS 위성 신호를 기반으로 추정된 상기 주행 차량의 현재 위치에 대응하는 후보 위상 영상 이미지들을 선정하는 후보 위성 영상 선정부; 상기 전방위 영상 이미지와 상기 선정된 후보 위상 영상 이미지들을 비교하여, 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 영상 비교부; 및 상기 결정된 후보 위성 영상 이미지에 맵핑되는 측위값을 이용하여, 상기 차량의 현재 위치를 추정하는 위치 결정부;를 포함한다.
본 발명에 따르면, 차량에 설치된 전방위 카메라에서 생성한 다수의 주변 영상 이미지로부터 생성된 전방위 영상 이미지와 네비게이션 시스템과 연동하는 위성 영상 데이터베이스로부터 획득한 위성 영상 이미지를 비교하고, 그 비교 결과에 따른 유사도를 자기 위치 추정에 활용함으로써, 고가의 센서 장비들의 설치에 따른 자율 주행 차량의 개발 비용과 고정밀 지도를 수시로 갱신해야 하는 불편함과 그에 따른 통신료 부담을 줄일 수 있다.
도 1은 도 1은 본 발명의 일 실시 예에 따른 차량의 자기위치 추정 장치를 포함하는 전체 시스템을 도시한 블록도.
도 2는 도 1에 도시한 영상 정합부에서 수행하는 처리 과정을 도시한 흐름도.
도 3은 도 1에 도시한 후보 위성 영상 선정부의 내부 구성을 도시한 블록도.
도 4는 본 발명의 일 실시 예에 따른 후보 위성 영상 이미지를 선정하는 방법을 설명하기 위한 도면이다.
도 5 및 6은 본 발명의 일 실시 예에 따른 후보 위성 영상 이미지를 선정하는 방법을 나타내는 순서도.
도 7은 본 발명의 일 실시 예에 따른 영상 비교부의 내부 구성을 도시한 블록도.
도 8은 본 발명의 일 실시 예에 따른 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 방법을 도시한 흐름도.
도 9는 본 발명의 다른 실시 예에 따른 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 방법을 도시한 흐름도.
도 10은 본 발명에 따른 차량의 자기위치 추정 방법이 적용되는 검퓨팅 시스템을 나타내는 블록도.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다.
도 1은 본 발명의 일 실시 예에 따른 차량의 자기위치 추정 장치를 포함하는 전체 시스템을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 전체 시스템은 자기위치 추정 장치(100)를 포함하며, 전방위 카메라(10), GPS 수신부(30), 네비게이션 시스템(40) 및 저장 장치(50)를 더 포함한다.
전방위 카메라(10)는 차량(이하, 주행 차량)에 장착된다. 주행 차량은 자율 주행 차량일 수 있으나, 이를 한정하는 것은 아니다. 전방위 카메라(10)는 차량 주변을 촬영하여 다수의 주변 영상 이미지를 생성하고, 이를 자기위치 추정 장치(100)로 제공한다. 전방위 카메라(10)는 어라운드 뷰 카메라일 수 있으나, 이를 한정하는 것은 아니다. 다수의 주변 영상 이미지를 생성하기 위해, 전방위 카메라(10)는 다수의 카메라를 포함한다. 예를 들면, 전방위 카메라(10)는 차량의 전방 지면을 촬영하여 전방 영상 이미지를 생성하는 전방 카메라(12), 차량의 후방 지면을 촬영하여 후방 영상 이미지를 생성하는 후방 카메라(14), 차량의 좌측방 지면을 촬영하여 좌측방 영상 이미지를 생성하는 좌측방 카메라(16) 및 차량의 우측방 지면을 촬영하여 우측방 영상 이미지를 생성하는 우측 카메라(18)를 포함한다.
GPS 수신부(30)는 다수의 인공위성으로부터 GPS 위성 신호를 수신한다.
네비게이션 시스템(40)은 상기 GPS 수신부(30)를 통해 수신된 GPS 위성 신호를 이용하여 주행 차량의 현재 위치를 추정한다. 예를 들면, 네비게이션 시스템(40)은 3개 이상의 인공 위성으로부터 수신된 3개의 GPS 위성 신호를 이용하여 삼각 함수법에 따라 주행 차량의 현재 위치를 계산한다. 계산된 현재 위치는 위도값, 경도값 및 고도값을 포함한다. 네비게이션 시스템(40)은 상기 GPS 위성 신호를 기반으로 추정한 상기 주행 차량의 현재 위치를 자기위치 추정 장치(100)로 제공한다.
저장 장치(50)에는 위성 영상 데이터베이스(52)가 저장된다. 위성 영상 데이터베이스(52)는 인공위성에서 지면을 촬영하여 사전에 획득한 위성 영상 이미지가 저장된다. 각 위성 영상 이미지는, 아래에서 설명하겠지만, 전방위 카메라(10)의 다수의 카메라(12, 14, 16, 18)로부터 획득된 다수의 주변 영상 이미지들을 가공하여 생성된 하나의 전방위 영상 이미지와 비교되기 위해, 도 4에 도시된 바와 같이, 다수의 영역으로 구획될 수 있다. 저장 장치(50)에는 구획된 각 영역에 맵핑되는 측위값(위도값, 경도값 및 고도값)이 더 저장된다. 저장 장치(50)는 비휘발성 저장매체일 수 있다.
자기 위치 추정 장치(100)는 전방위 카메라(10)로부터 제공된 다수의 주변 영상 이미지들을 가공하여 생성한 전방위 영상 이미지와 위성 영상 데이터베이스(52)로부터 획득한 위성 영상 이미지들을 비교하여, 상기 전방위 영상 이미지와 유사도가 가장 높은 위성 영상 이미지를 결정하고, 상기 결정된 위성 영상 이미지에 맵핑되는 측위값을 상기 차량의 현재 위치로 추정한다.
이를 위해, 자기 위치 추정 장치(100)는 영상 정합부(110), 후보 위성 영상 선정부(120), 영상 비교부(130) 및 위치 결정부(140)를 포함한다.
영상 정합부 (110)
영상 정합부(110)는 전방위 카메라(10)로부터 입력되는 다수의 주변 영상 이미지들을 정합하여, 후보 위성 영상 선정부(130)에 의해 선정된 다수의 후보 위성 영상 이미지들과 비교되는 전방위 영상 이미지를 생성한다. 이러한 영상 정합부(110)는 다수의 주변 영상 이미지들을 처리하는 중앙 프로세서 유닛, 그래픽 프로세서 유닛 또는 이들의 조합으로 구현될 수 있다.
영상 정합부(110)에서 수행되는 처리 과정은 도 2를 참조하여, 설명하기로 한다.
도 2를 참조하면, S210에서, 영상 정합부(110)가 전방위 카메라(10)에 포함된 다수의 카메라들(12, 14, 16 및 18)로부터 획득한 다수의 주변 영상 이미지들을 수신한다.
이어, S220에서, 상기 다수의 카메라들(12, 14, 16 및 18)에 구비된 렌즈 특성에 따라 발생하는 상기 다수의 주변 영상 이미지들의 왜곡을 보정한다. 다수의 카메라들(12, 14, 16 및 18)이 어라운드 뷰 카메라인 경우, 각 카메라는 넓은 시야각을 확보하기 위해, 광각 렌즈를 포함하도록 구성된다. 때문에, 광각 렌즈의 특성으로 인해, 다수의 주변 영상 이미지들에서는 영상 왜곡이 발생한다. 영상 왜곡을 보정하기 위해, 카메라 내부 파라미터(intrinsic parameters)를 포함하는 회전 변환 행렬 및 평행 이동 변환 행렬을 계산한 후, 회전 변환 행렬과 평행 이동 변환 행렬에 따라 상기 주변 영상 이미지들을 변환하여 상기 영상 왜곡을 보정한다. 여기서, 카메라 내부 파라미터는 초점 거리(focal length), aspect ratio, 주점(principal point)을 포함한다.
이어, S230에서, 영상 왜곡이 보정된 다수의 주변 영상 이미지들의 시점을 위성 영상 이미지들이 갖는 시점으로 변환한다. 카메라들(12, 14, 16, 18)은 지면을 수직하게 바라보지 않고, 수평 또는 경사지게 바라보도록 차량에 설치된다. 즉, 상기 카메라들(12, 14, 16, 18)에 의해 획득된 상기 주변 영상 이미지들의 시점은 지면에 대해 수직한 시점을 갖지 않는다. 이에 반해, 인공 위성에 탑재된 카메라에서 촬영하여 획득한 위성 영상 이미지들은 지면에 대해 수직한 시점을 갖기 때문에, 위성 영상 이미지들과 주변 영상 이미지들은 서로 다른 시점을 갖는다. 따라서, 주변 영상 이미지들을 가공하여 생성된 전방위 영상 이미지와 위성 영상 이미지들 간의 정밀한 비교를 위해, 주변 영상 이미지들의 시점을 위성 영상 이미지들이 갖는 시점으로 변환되어야 한다. 이미지의 시점 변환은 카메라 외부 파라미터를 포함하는 회전 변환 행렬 및 평행 이동 변환 행렬을 계산한 후, 회전 변환 행렬과 평행 이동 변환 행렬에 따라 상기 주변 영상 이미지들을 회전 및 평행 이동하는 방식으로 가능하다.
이어, S240에서, 상기 시점이 변환된 주변 영상 이미지들 간에 서로 중복되는 영역을 제거한 후, 중복되는 영역이 제거된 주변 영상 이미지들을 정합하여, 상기 시점이 변환된 주변 영상 이미지들을 단일 영상 이미지로 재구성한다. 재구성된 단일 영상 이미지는 영상 비교부(140)로 출력된다. 재구성된 단일 영상 이미지는 전단계 S230의 시점 변환을 통해 지면에 대해 수직한 시점을 가지며, 이하에서는 전방위 영상 이미지로 지칭한다.
후보 위성 영상 선정부 (120)
도 3은 도 1에 도시한 후보 위성 영상 선정부의 구성도이다.
도 3을 참조하면, 후보 위성 영상 선정부(120)는 위성 영상 데이터베이스(52)에 저장된 위성 영상 이미지들 중에서 전술한 영상 정합부(110)에 의해 단일 영상 이미지로 재구성된(또는 정합된) 전방위 영상 이미지와 비교해야 하는 후보 위성 영상 이미지들을 선정한다.
이를 위해, 후보 위성 영상 선정부(120)는 위치 추정부(122), 검색부(124) 및 메모리(126)를 포함한다.
위치 추정부(122)는 차량 운행 정보를 이용하여 주행 차량의 현재 위치를 추정한다. 이때, 차량 운행 정보는 주행 차량이 이전 위치에서 현재 위치에 도달하기까지의 이동 거리값, 이동 방향값, 이동 속도값 및 이동 경로 나타내는 일련의 좌표값들을 포함한다.
이동 거리값과 이동 방향값은 차량 제어 유닛(60)으로부터 제공될 수 있다. 이동 거리값과 이동 방향값을 제공받기 위해, 위치 추정부(122)는 차량 제어 유닛과 차량 네트워크 통신 라인으로 연결될 수 있다. 차량 네트워크 통신 라인은 CAN 통신 라인 또는 LIN 통신 라인일 수 있다.
차량 제어 유닛(60)은 차량의 이동 방향값을 감지하는 조향 센서, 브레이크 페달에 가해진 압력값을 감지하는 브레이크 페달 센서, 차량의 이동 거리값 및 속도값을 제공하는 엔진 제어 유닛(engine control unit)을 포함할 수 있다.
위치 추정부(122)는 차량 제어 유닛(60)으로부터 전달된 차량의 이동 거리값, 이동 속도값, 이동 방향값, 브레이크 페달에 가해진 압력값 및 이동 경로를 나타내는 좌표값들을 포함하는 차량 운행 정보를 이용하여 주행 차량의 현재 위치를 추정한다.
검색부(124)는 위치 추정부(120)로부터 입력된 차량 운행 정보 기반으로 추정된 주행 차량의 현재 위치와 네비게이션 시스템(40)으로부터 입력된 GPS 신호 기반으로 추정된 주행 차량의 현재 위치를 검색어로 이용한다. 즉, 검색부(124)는 위성 영상 데이터베이스(52)를 조회하여, 차량 운행 정보 기반으로 추정된 주행 차량의 현재 위치에 대응하는 위성 영상 이미지와 GPS 신호 기반으로 추정된 주행 차량의 현재 위치에 대응하는 위성 영상 이미지를 검색하여 추출하고, 추출된 위성 영상 이미지들을 후보 영상 이미지들로 선정하고, 선정된 후보 영상 이미지들을 메모리(126) 내의 후보 위성 영상 데이터베이스(126_1)에 저장한다.
GPS 위성 신호는 지형, 시간 및 날씨 등의 환경 요소에 따라 지표면에 도달하는 과정에서 굴절, 신호 지연, 반사 등에 의해 오차를 갖는다. 따라서, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치는 오차값을 갖는다.
이러한 오차값이 커질 경우, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치와 실제 위치 간의 차이도 커지므로, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치에 대응하는 위성 영상 이미지만을 전방위 영상 이미지와 비교되는 후보 위성 영상 이미지로 선정하는 것은 바람직하지 않다.
이하, 후보 위성 영상 이미지를 선정하는 방법을 도 4를 참조하여 상세히 설명한다.
먼저, Psatellite는 GPS 위성 신호를 이용하여 계산한 주행 차량의 현재 위치(x 위도, y 경도)이고, Preal는 차량의 실제 위치이고, Pmove는 차량 운행 정보를 이용하여 계산한 주행 차량의 현재 위치이고, Pxy는 현재 위치에 도달하기 직전까지 주행차량이 이동한 경로를 나타내는 위치들로 가정한다. 도 4에서 Pxy는 P41, P42, P43, P44, P54, P64이다.
전술한 바와 같이, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치(Psatellite)는 환경요소에 의해 측위 오차를 가지므로, 검색부(124)의 검색 결과에 대한 신뢰성을 높이기 위해, 차량 운행 정보 기반으로 추정된 주행 차량의 현재 위치에 대응하는 위성 영상 이미지가 후보 위성 영상 이미지를 선정하기 위한 검색 범위에 포함되도록 설정된다.
도 4의 경우에서, 주행 차량의 현재 위치의 직전 위치 P64에서 이동한 주행 차량의 현재 위치(Pmove)는 이동 거리값, 이동 방향값 및 주행 차량의 현재 위치에 도달하기까지의 이동 경로 나타내는 일련의 좌표값들(P41, P42, P43, P44, P54, P64)을 이용하여 추정한다.
주행 차량의 이동 방향(종방향 및 횡방향)과 이동 거리는 주행 차량이 이동한 도로 네트워크의 복잡도와 노면 상태, 타이어 상태 등 다양한 물리적인 환경 요소에 의해 오차를 가질 수 있다.
예를 들어, 도 4에서 주행 차량이 현재 위치에 도달하기 직전 위치 P64 에서 이동하여 실제위치 Preal가 P66로 이동하였다고 가정하자. 그리고, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치(Psatellite)가 401a(P37)로 계산되고, 차량 제어 유닛(60)에서 제공한 차량 운행 정보(이동 방향, 이동 거리, 이동 속도)를 기반으로 계산된 주행 차량의 현재 위치(Pmove)는 참조 번호 402b가 지시하는 영역들(P55, P56, P57, P65, P66, P67, P75, P76, P77)로 추정된 경우를 가정하자
위의 가정에서, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치(401a)와 차량 운행 정보를 기반으로 추정된 주행 차량의 현재 위치(402b)가 도 4에 도시된 바와 같이, 크게 다르다.
이 경우, 본 발명에서는 주행 차량이 주행하고 있는 지역의 환경 변수를 입력으로 이용하는 위성 측위 오차 함수 'f(환경 변수)'를 이용하여 GPS 위성 신호 기반으로 추정된 주행 차량의 현재 위치(Psatellite)의 위성 측위 오차값(Psatellite.error)을 계산한다.
이후, 계산된 위성 측위 오차값(Psatellite.error)과 오차 임계값(Psatellite .limit)을 비교하여, 그 비교 결과에 따라 주행 차량의 현재 위치(Psatellite)를 후보 위성 영상 이미지를 선정하기 위한 검색 범위에 포함시킬 지를 판단한다.
환경 변수는, 지역에 따라 통계학적으로 계산한 위성 측위 오차(Vlocation), 날씨에 따라 통계학적으로 계산한 위성 측위 오차(Vweather) 및 측위 시간에 따라 통계학적으로 계산된 위성 측위 오차(Vtime)를 포함한다.
Psatellite .error = f(Vlocation, Vweather, Vtime)
Psatellite .limit: 위성측위결과의 추정 오차 임계값
위성 측위 오차값(Psatellite.error)을 계산하는 위성 측위 오차 함수 f(Vlocation, Vweather, Vtime)는 위성 측위 오차와 관여하는 다양한 환경 변수를 고려하여 GPS 위성 신호를 이용한 측위결과와 실제 위치 간의 오차를 사전에 비교하는 과정을 통해 산출되어야 하므로, 당 발명에서는 위성 측위 오차 함수 f(Vlocation, Vweather, Vtime)의 세부적인 수식은 본 명세서에서는 생략하기로 한다.
본 발명의 실시 예에서는, 위성 측위 오차값(Psatellite.error)이 오차 임계값(Psatellite.limit)보다 클 경우, GPS 위성 신호를 기반으로 추정된 주행 차량의 현재 위치(Psatellite)를 지시하는 401a(P37)는 측위 정확도의 신뢰도가 낮은 것으로 판단하여, 401a(P37)에 대응하는 위성 영상 이미지는 후보 위성 영상 이미지에 제외하고, 차량 운행 정보를 기반으로 추정된 주행 차량의 현재 위치(Pmove)를 나타내는 402b에 포함된 영역들(P55, P56, P57, P65, P66, P67, P75, P76, P77)에 대응하는 위성 영상 이미지들을 후보 위성 영상 이미지들을 선정하기 위한 검색 범위로 설정한다.
한편, Psatellite가 401b(P46)이며, Psatellite .error가 Psatellite . limit 보다 작지만, 도 4에 도시된 바와 같이, 차량 운행 정보를 기반으로 추정된 현재 위치(Pmove)를 나타내는 402b에 인접하는 경우, 검색 범위는 {P45, P46, P47, P55, P56, P57, P65, P66, P67, P75, P76, P77}로 확장될 수 있다. 즉, 검색 범위는 401b(P46)와 402b에 동시에 인접하는 영역들(P45, P47)을 포함하도록 설정된다. 다르게, 검색 범위의 크기가 고정된 경우, 즉, 도 4에 도시된 바와 같이, 9개의 영역들을 포함하도록 고정된 경우, 검색 범위는 401b(P46)을 포함하도록 이동될 수 있다. 이 경우, 검색 범위는 {P45, P46, P47, P55, P56, P57, P65, P66, P67}가 된다.
도 4는 발명의 이해를 돕고자 예시를 들은 것으로, 위성 영상의 검색범위는 네비게이션 시스템(40)의 지도 데이터에 포함된 도로 네트워크의 모양과 주행 차량의 이동속도에 따라 검색 범위의 크기와 모양은 주행 차량의 운용환경에 따라 다양하게 조정될 수 있다.
이상 설명한 후보 위성 영상 이미지를 선정하는 방법을 나타내는 순서도가 도 5 및 6에 도시된다.
도 5 및 6을 참조하면, S510에서, 먼저, 위성 영상 데이터베이스(52)에 저장된 위성 영상 이미지를 다수의 영역으로 구획된다.
이어, S520에서, 검색부(124)가, 상기 다수의 영역 중에서 상기 주행 차량의 차량 운행 정보를 기반으로 추정된 주행 차량의 현재 위치에 대응하는 제1 영역을 검색한다. 도 4에서, 제1 영역은 참조 번호 402b가 지시하는 검색 범위 내에 포함된 영역들(P55, P56, P57, P65, P66, P67, P75, P76, P77)일 수 있다.
이어, S530에서, 검색부(124)가 상기 다수의 영역 중에서 상기 GPS 위성 신호를 기반으로 추정된 상기 주행 차량의 현재 위치에 대응하는 제2 영역을 검색한다. 도 4에서, 제2 영역은 참조번호 401a이 지시하는 영역(P37), 참조 번호 401b가 지시하는 영역(P46) 또는 참조 번호 402b가 지시하는 박스 내에 포함된 영역일 수 있다.
이어, S540에서, 검색부(124)가 상기 제2 영역에서의 위성 측위 오차값(Psatellite.error)을 계산한다. 위성 측위 오차값(Psatellite.error)은 전술한 바와 같이, 환경 변수를 입력으로 이용하는 위성 측위 오차 함수 f()로부터 계산될 수 있다. 환경 변수는 제2 영역에서 통계학적으로 계산된 위성 측위 오차(Vlocation), 제2 영역의 날씨에 따라 통계학적으로 계산된 위성 측위 오차(Vweather) 및 제2 영역에서의 측위 시간에 따라 통계학적으로 계산된 위성 측위 오차(Vtime)를 포함한다.
이어, S550에서, 위성 측위 오차값(Psatellite.error)과 사전에 설정한 오차 임계값(Psatellite.limit)을 비교한다. 위성 측위 오차값(Psatellite.error)이 오차 임계값(Psatellite.limit) 이하인 경우, S560으로 진행하고, 반대 경우, S580으로 진행한다.
이어, S560에서, S550의 비교 결과에 따라 위성 측위 오차값(Psatellite.error)이 오차 임계값(Psatellite .limit) 이하인 경우, 제1 영역과 제2 영역을 모두 후보 영역으로 설정한다.
이어, S570에서, 상기 제1 영역과 제2 영역에 각각 대응하는 위성 영상 이미지들을 후보 위성 영상 이미지들로 선정한다.
위성 측위 오차값(Psatellite.error)이 오차 임계값(Psatellite .limit) 보다 큰 경우, S580에서, 제1 영역을 후보 영역으로 설정한다. 즉, 검색부(124)는 제2 영역의 특정 날씨 및 특정 시간대에서는, 위성 측위 결과를 신뢰할 수 없는 영역으로 판단하고, 제2 영역을 후보 영역에서 제외시킨다.
이어, S590에서, 후보 영역으로 설정된 제1 영역에 대응하는 위성 영상 이미지를 후보 위성 영상 이미지로 선정한다.
한편, 제1 영역과 제2 영역이 인접한 경우, 제2 영역에서의 위성 측위 오차값(Psatellite.error)과 오차 임계값(Psatellite .limit)과의 비교 결과에 상관 없이, 제2 영역을 후보 영역으로 설정할 수 있다. 즉, 제2 영역에서의 위성 측위 오차값(Psatellite.error)이 오차 임계값(Psatellite .limit)보다 큰 경우에도 제1 영역과 제2 영역이 인접한 경우, 제1 영역과 제2 영역을 모두 후보 영역으로 설정할 수 있다. 예를 들면, 도 4에 도시된 바와 같이, 검색 범위로 정의되는 제1 영역이 402b이고, 제2 영역이 402b에 인접한 영역(401b)인 경우, 제2 영역을 후보 영역에 포함시킨다. 이때, 후보 영역을 선정하기 위한 검색 범위의 신뢰도를 더욱 높이기 위해, 제1 영역(402b: P55, P56, P57, P65, P66, P67, P75, P76, P77)과 제2 영역(401b: P46)에 동시한 인접한 영역들(P45 및 P47)을 포함하도록 검색 범위를 확장하거나 이동시킨다. 확장되거나 이동된 검색 범위 내의 영역들에 각각 대응하는 위성 영상 이미지들을 후보 위성 영상 이미지들로 선정한다. 선정된 후보 위성 영상 이미지들은 후보 위성 영상 데이터베이스(126_1)에 저장된다.
영상 비교부 (130)
영상 비교부(130)는 영상 정합부로부터 입력된 전방위 영상 이미지와 후보 위성 영상 선정부(120)로부터 입력된 후보 위성 영상 이미지들을 비교하여, 후보 위성 영상 이미지들 중에서 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정한다.
이를 위해, 영상 비교부(130)는 도 7에 도시된 바와 같이, 전처리부(132), 객체 제거부(134) 및 유사도 계산부(136)를 포함한다.
전처리부(132)는 전방위 영상 이미지와 후보 위성 영상 이미지들 간의 이미지 속성을 동기화 시킨다. 전방위 영상 이미지를 제공하는 전방위 카메라(10)와 후보 위성 영상 이미지들을 제공하는 위성 탑재 카메라는 서로 다른 광학적 특성을 가지므로, 전방위 영상 이미지와 후보 위성 영상 이미지들은 서로 다른 이미지 속성을 갖는다. 따라서, 전방위 영상 이미지와 후보 위성 영상 이미지들 간의 정확한 비교를 위해, 전방위 영상 이미지의 이미지 속성과 후보 위성 영상 이미지들의 이미지 속성 간의 동기화가 필요하다. 이미지 속성의 동기화는 화소수(해상도)의 동기화, 비교 영역의 크기 동기화 및 이미지 회전에 의한 동기화를 포함한다. 이러한 이미지 속성을 동기화하기 위해, 다양한 영상 처리 알고리즘이 이용될 수 있으며, 이에 대한 설명은 공지 기술로 대신한다.
객체 제거부(134)는 전처리된 전방위 영상 이미지(32A)에 포함된 이동 객체와 후보 위성 영상 이미지들(32B)에 포함된 이동 객체를 제거한다. 전방위 영상 이미지에 포함된 이미지 객체와 후보 위성 영상 이미지에 포함된 이동 개체는 양 영상 이미지 간의 정확한 유사도 계산을 방해하는 잡음 요소이다. 따라서, 양 영상 이미지에 포함된 이동 객체는 제거될 필요가 있다. 이동 객체를 제거하기 위해, 배경 제거 알고리즘, 객체 추출 알고리즘, 객체 인식 알고리즘을 포함하는 영상 인식 알고리즘이 이용될 수 있다.
유사도 계산부(136)는 이동객체가 제거된 전방위 영상 이미지(34A)와 이동객체가 제거된 후보 위성 영상 이미지들(34B) 간의 유사도를 계산한다.
일 실시 예에 따른 유사도 계산 방법은 전방위 영상 이미지(34A)의 히스토그램 분포도와 각 후보 위성 영상 이미지의 히스토그램 분포도의 차이값을 계산하는 것일 수 있다. 히스토그램 분포도를 계산하기 위해, 예를 들면, 히스토그램 분석 알고리즘이 이용될 수 있다. 유사도 계산부(136)는 히스토그램 분포도의 차이값을 기반으로, 히스토그램 분포도의 차이값이 가장 작은 후보 위성 영상 이미지를 전방위 영상 이미지와 유사도가 가장 높은 위성 영상 이미지로 결정한다.
다른 실시 예에 따른 유사도 계산 방법은, 전방위 영상 이미지에 포함된 노면 표식, 도로 형상, 건물 형상에 대응하는 특징 벡터값과 각 후보 위성 영상 이미지에 포함된 노면 표식, 도로 형상, 건물 형상에 대응하는 특징 벡터값의 차이값을 계산하는 것일 수 있다. 특징 벡터값은 상기 객체 제거부에서 각 영상 이미지 포함된 이동 객체를 제거하기 위해 사용하는 객체 추출 알고리즘을 이용하여 계산될 수 있다. 따라서, 각 영상 이미지의 특징 벡터값은 객체 제거부(134)로부터 제공될 수 있다.
또 다른 실시 예에 따른 유사도 계산 방법은, 히스토그램 분포도의 차이값과 특징 벡터값의 차이값을 모두 이용하는 것이다. 전술한 실시 예들에 따라 양 영상 이미지들 간의 유사도가 유의미한 차이를 보이지 않는 경우, 예를 들면, 전방위 영상 이미지의 히스토그램 분포도와 후보 위성 영상 이미지들의 히스토그램 분포들을 각각 비교하여 계산한 차이값들이 모두 유사도를 결정하기 위해 사전에 설정한 허용 오차 범위에 포함되는 경우, 전방위 영상 이미지의 특징 벡터값과 후보 위성 영상 이미지들의 특징 벡터값들을 비교하여 계산한 차이값들을 전방위 영상 이미지와 가장 유사한 후보 위성 영상 이미지를 결정하는데 이용할 수 있다.
반대로, 전방위 영상 이미지의 특징 벡터값과 후보 위성 영상 이미지들의 특징 벡터값들을 각각 비교하여 계산한 차이값들이 모두 유사도를 결정하기 위해 사전에 설정한 허용 오차 범위에 포함되는 경우, 전방위 영상 이미지의 히스토그램 분포도와 후보 위성 영상 이미지들의 히스토그램 분포도들을 각각 비교하여 계산한 차이값들을 전방위 영상 이미지와 가장 유사한 후보 위성 영상 이미지를 결정하는데 이용할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 방법을 도시한 흐름도이다.
도 8을 참조하면, S810에서, 상기 전방위 영상 이미지의 히스토그램 분포도를 계산한다.
이어, S820에서, 후보 위성 영상 이미지들의 히스토그램 분포도를 계산한다.
이어, S830에서, 상기 전방위 영상 이미지의 히스토그램 분포도와 차이값이 가장 작은 히스토그램 분포도를 갖는 후보 위성 영상 이미지를 전방위 영상 이미지와 유사도가 가장 높은 위성 영상 이미지로 결정한다.
도 9는 본 발명의 다른 실시 예에 따른 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 방법을 도시한 흐름도이다.
도 9를 참조하면, S910에서, 상기 전방위 영상 이미지의 특징 벡터값을 계산한다.
이어, S920에서, 후보 위성 영상 이미지들의 특징 벡터값을 계산한다.
이어, S930에서, 상기 전방위 영상 이미지의 특징 벡터값과 차이가 가장 작은 특징 벡터값을 갖는 후보 위성 영상 이미지를 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지로 결정한다.
위치 결정부 (140)
다시 도 1을 참조하면, 위치 결정부(140)는 영상 비교부(130)에 의해 전방위 영상 이미지와 유사도가 가장 높은 것으로 결정된 위성 영상 이미지에 맵핑되는 측위값을 위성 영상 데이터베이스로부터 추출하고, 추출된 측위값을 기반으로 주행 차량의 현재 위치를 최종적으로 결정한다(또는 추정한다).
이상 설명한 바와 같이, 차량에 탑재된 복수개의 카메라로 구성된 전방위 카메라(10)로부터 획득한 차량의 주변영상 이미지를 위성에서 촬영한 위성 영상 이미지와 비교하여 그 유사도를 계산한 결과를 자기 위치 결정에 활용함으로써, 고가의 다채널 레이저 스캐너와 고정밀 도로지도를 이용하여 자기 위치를 결정하는 기존 자율주행차량의 개발 비용과 서버에 구축된 고정밀 도로지도를 통신을 통하여 수시로 갱신해야 하는 불편함과 통신료 부담을 낮출 수 있다.
도 10은 본 발명에 따른 차량의 자기위치 추정방법이 적용되는 검퓨팅 시스템을 나타내는 블록도이다.
도 10을 참조하면, 본 발명에 따른 차량의 자기위치 추정방법이 적용되는 검퓨팅 시스템(600)은 버스(620)를 통해 연결되는 적어도 하나의 프로세서(610), 메모리(630), 사용자 인터페이스 입력 장치(640), 사용자 인터페이스 출력 장치(650), 스토리지(660), 및 네트워크 인터페이스(670)를 포함할 수 있다.
프로세서(610)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 또는 이들을 조합한 것일 수 있다. 프로세서(610)는 메모리(630) 또는 스토리지(660)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 도 1에 도시한 구성들(110, 120, 130, 140)은 로직 형태로 구현되어 중앙 처리 장치(CPU) 또는 그래픽 처리 장치(GPU)에 임베딩될 수 있다.
메모리(630) 및 스토리지(660)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(630)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
메모리(630) 및 스토리지(660)에는 영상 정합부(110)에서 수행하는 영상 정합 과정에 필요한 알고리즘들, 후보 위성 영상 선정부(120)에서 후보 위성 영상 이미지를 선정하는 과정에 필요한 알고리즘들, 영상 비교부(130)에서 영상 비교 및 유사도 계산에 필요한 알고리즘들이 저장될 수 있다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(610)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(630) 및/또는 스토리지(660))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(610)에 연결되며, 그 프로세서(610)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(610)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다.
따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 주행 차량의 현재 위치에서 차량 주변의 지면을 촬영하는 전방위 카메라를 이용하여 획득한 다수의 주변 영상 이미지를 정합하여 전방위 영상 이미지를 획득하는 단계;
    인공위성으로부터 수신된 GPS 위성 신호를 기반으로 상기 주행 차량의 현재 위치를 추정하는 단계;
    상기 인공위성에서 지면을 촬영하여 획득한 위상 영상 이미지가 저장된 위성 영상 데이터베이스를 조회하여, 상기 추정된 주행 차량의 현재 위치에 대응하는 후보 위상 영상 이미지들을 선정하는 단계;
    상기 전방위 영상 이미지와 상기 선정된 후보 위상 영상 이미지들을 각각 비교하여, 상기 선정된 후보 위성 영상 이미지들 중에서 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 단계; 및
    상기 결정된 후보 위성 영상 이미지에 맵핑되는 측위값을 이용하여, 상기 차량의 현재 위치를 최종적으로 추정하는 단계를 포함하고,
    상기 전방위 영상 이미지를 획득하는 단계는,
    상기 주행 차량에 설치된 상기 전방위 카메라의 설치 각도에서 지면을 바라보는 시점을 상기 인공 위성에 설치된 카메라가 상기 지면을 바라보는 시점을 갖도록 상기 다수의 주변 영상 이미지의 시점을 변환하고, 시점이 변환된 상기 다수의 주변 영상 이미지를 정합하여 상기 전방위 영상 이미지를 획득하는 단계를 포함하는 차량의 자기위치 추정 방법.
  2. 제1항에서, 상기 전방위 영상 이미지를 획득하는 단계는,
    상기 전방위 카메라로부터 상기 주행 차량의 전방, 후방, 좌측방 및 우측방의 지면에 각각 대응하는 다수의 주변 영상 이미지를 획득하는 단계;
    상기 다수의 주변 영상 이미지의 영상 왜곡을 보정하는 단계;
    상기 영상 왜곡이 보정된 다수의 주변 영상 이미지의 시점을 변환하는 단계; 및
    상기 시점이 변환된 다수의 주변 영상 이미지 간에 서로 중복되는 영역을 제거하여, 상기 시점이 변환된 다수의 주변 영상 이미지를 상기 전방위 영상 이미지로 정합하는 단계를 포함하는 것인 차량의 자기위치 추정 방법.
  3. 삭제
  4. 제1항에서, 상기 후보 위상 영상 이미지들을 선정하는 단계는,
    상기 위상 영상 이미지를 다수의 영역으로 구획하는 단계;
    상기 다수의 영역 중에서 상기 주행 차량의 차량 운행 정보를 기반으로 추정된 상기 주행 차량의 현재 위치에 대응하는 제1 영역을 검색하는 단계;
    상기 다수의 영역 중에서 상기 GPS 위성 신호를 기반으로 추정된 상기 주행 차량의 현재 위치에 대응하는 제2 영역을 검색하는 단계;
    상기 제2 영역에서의 위성 측위 오차값을 계산하는 단계;
    상기 위성 측위 오차값과 사전에 설정한 오차 임계값을 비교하여, 상기 위성 측위 오차값이 상기 오차 임계값 이하인 경우, 상기 제1 영역과 상기 제2 영역을 후보 영역으로 설정하는 단계; 및
    상기 후보 영역으로 설정된 상기 제1 및 제2 영역에 각각 대응하는 위상 영상 이미지들을 상기 후보 위상 영상 이미지들로 선정하는 단계
    를 포함하는 것인 차량의 자기위치 추정 방법.
  5. 제4항에서, 상기 위성 측위 오차값은,
    환경 변수를 입력값으로 이용하는 위성 측위 오차 함수로부터 계산된 것인 차량의 자기위치 추정 방법.
  6. 제5항에서, 상기 환경 변수는,
    상기 제2 영역에서 통계학적으로 계산된 위성 측위 오차, 상기 제2 영역의 날씨에 따라 통계학적으로 계산된 위성 측위 오차 및 제2 영역에서의 측위 시간에 따라 통계학적으로 계산된 위성 측위 오차
    을 포함하는 것인 차량의 자기위치 추정 방법
  7. 제4항에서,
    상기 위성 측위 오차값과 사전에 설정한 오차 임계값을 비교하여 획득한 비교 결과에 따라 상기 위성 측위 오차값이 상기 오차 임계값 보다 큰 경우, 상기 제2 영역을 상기 후보 영역에서 제외하여, 상기 제1 영역을 후보 영역을 설정하는 단계; 및
    상기 후보 영역으로 설정된 상기 제1 영역에 대응하는 위성 영상 이미지들을 상기 후보 위상 영상 이미지들로 선정하는 단계
    를 더 포함하는 것인 차량의 자기위치 추정 방법.
  8. 제1항에서, 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 단계는,
    상기 전방위 영상 이미지의 히스토그램 분포도를 계산하는 단계;
    상기 선정된 각 후보 위성 영상 이미지들의 히스토그램 분포도를 계산하는 단계; 및
    상기 전방위 영상 이미지의 히스토그램 분포도와 차이값이 가장 작은 히스토그램 분포도를 갖는 후보 위성 영상 이미지를 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지로 결정하는 단계
    를 포함하는 것인 차량의 자기위치 추정 방법.
  9. 제1항에서, 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 단계는,
    상기 전방위 영상 이미지의 특징 벡터값을 계산하는 단계;
    상기 선정된 각 후보 위성 영상 이미지들의 특징 벡터값을 계산하는 단계; 및
    상기 전방위 영상 이미지의 특징 벡터값과 차이가 가장 작은 특징 벡터값을 갖는 후보 위성 영상 이미지를 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지로 결정하는 단계
    를 포함하는 것인 차량의 자기위치 추정 방법.
  10. 주행 차량에 설치된 전방위 카메라로부터 획득한 다수의 주변 영상 이미지를 정합하여 전방위 영상 이미지를 생성하는 영상 정합부;
    위성 영상 이미지가 저장된 위성 영상 데이터베이스를 검색하여, GPS 위성 신호를 기반으로 추정된 상기 주행 차량의 현재 위치에 대응하는 후보 위상 영상 이미지들을 선정하는 후보 위성 영상 선정부;
    상기 전방위 영상 이미지와 상기 선정된 후보 위상 영상 이미지들을 비교하여, 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 영상 비교부; 및
    상기 결정된 후보 위성 영상 이미지에 맵핑되는 측위값을 이용하여, 상기 차량의 현재 위치를 추정하는 위치 결정부를 포함하고,
    상기 영상 정합부는,
    상기 전방위 카메라의 설치 각도에 따른 다수의 주변 영상 이미지의 시점을 상기 인공 위성에 설치된 카메라가 상기 지면을 바라보는 시점을 갖도록 상기 다수의 주변 영상 이미지의 시점을 변환하는 차량의 자기위치 추정 장치.
  11. 삭제
  12. 제10항에서, 상기 후보 위성 영상 선정부는,
    상기 위상 영상 이미지 상에 구획된 다수의 영역 중에서, 상기 주행 차량의 차량 운행 정보를 기반으로 추정된 상기 주행 차량의 현재 위치에 따라 검색된 제1 영역과 상기 GPS 위성 신호를 기반으로 추정된 상기 주행 차량의 현재 위치에 따라 검색된 제2 영역을 후보 위상 영상 이미지들을 선정하기 위한 후보 영역으로 설정하는 것인 차량의 자기위치 추정 장치.
  13. 제12항에서, 상기 후보 위성 영상 선정부는,
    차량 제어 유닛으로부터 입력되는 상기 차량 운행 정보를 기반으로 상기 주행 차량의 현재 위치를 추정하는 위치 추정부; 및
    상기 위치 추정부로부터 입력되는 상기 차량 운행 정보를 기반으로 추정된 주행 차량의 현재 위치와 네비게이션 시스템으로부터 입력되는 상기 GPS 위성 신호를 기반으로 추정된 상기 주행 차량의 현재 위치를 검색어로 구성하여, 상기 제1 및 제2 영역을 검색하는 검색부
    를 포함하는 것인 차량의 자기위치 추정 장치.
  14. 제13항에서, 상기 검색부는,
    상기 제2 영역에서의 위성 측위 오차값을 계산하고, 상기 위성 측위 오차값과 사전에 설정한 오차 임계값을 비교하여, 상기 위성 측위 오차값이 상기 오차 임계값 보다 큰 경우, 상기 제2 영역을 상기 후보 영역에서 제외하는 것인 차량의 자기위치 추정 장치.
  15. 제10항에서, 상기 영상 비교부는,
    상기 전방위 영상 이미지의 히스토그램 분포도와 상기 후보 위성 영상 이미지들의 히스토그램 분포도를 비교하여, 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 것인 차량의 자기위치 추정 장치.
  16. 제10항에서, 상기 영상 비교부는,
    상기 전방위 영상 이미지의 특징 벡터값과 상기 후보 위성 영상 이미지들의 특징 벡터값을 비교하여, 상기 전방위 영상 이미지와 유사도가 가장 높은 후보 위성 영상 이미지를 결정하는 것인 차량의 자기위치 추정 장치.
  17. 삭제
  18. 삭제
KR1020180168628A 2018-12-24 2018-12-24 차량의 자기위치 추정 장치 및 그 방법 KR102522923B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180168628A KR102522923B1 (ko) 2018-12-24 2018-12-24 차량의 자기위치 추정 장치 및 그 방법
US16/696,461 US11341742B2 (en) 2018-12-24 2019-11-26 Apparatus and method of estimating self-location of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168628A KR102522923B1 (ko) 2018-12-24 2018-12-24 차량의 자기위치 추정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200084943A KR20200084943A (ko) 2020-07-14
KR102522923B1 true KR102522923B1 (ko) 2023-04-20

Family

ID=71096852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168628A KR102522923B1 (ko) 2018-12-24 2018-12-24 차량의 자기위치 추정 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11341742B2 (ko)
KR (1) KR102522923B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522923B1 (ko) * 2018-12-24 2023-04-20 한국전자통신연구원 차량의 자기위치 추정 장치 및 그 방법
KR20210071584A (ko) * 2019-12-06 2021-06-16 팅크웨어(주) 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
CN115451976B (zh) * 2022-09-15 2023-06-02 北京四维远见信息技术有限公司 一种高精度定位方法、装置和设备
US20240199035A1 (en) * 2022-12-15 2024-06-20 Ford Global Technologies, Llc Localization of a vehicle
KR102714686B1 (ko) * 2023-08-30 2024-10-11 (주)오토노머스에이투지 특정 자율주행 차량의 측위를 수행하기 위한 방법 및 이를 이용한 컴퓨팅 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013921A1 (en) * 2008-07-17 2010-01-21 Nsj Co., Ltd. Monitoring system and terminal device
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2017146724A (ja) * 2016-02-16 2017-08-24 株式会社Ｓｕｂａｒｕ 地図情報出力装置
US20180149744A1 (en) * 2016-11-30 2018-05-31 GM Global Technology Operations LLC Accurate self localization using automotive radar synthetic aperture radar

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4860847B2 (ja) * 2001-09-03 2012-01-25 パイオニア株式会社 通信ナビゲーションシステム及び方法、並びにコンピュータプログラム
JP4807691B2 (ja) * 2001-09-26 2011-11-02 パイオニア株式会社 画像作成装置及び方法、電子機器並びにコンピュータプログラム
DE10240180A1 (de) * 2002-08-27 2004-03-11 Putzmeister Ag Vorrichtung zur Betätigung eines Knickmasts
JP2006523836A (ja) * 2003-04-17 2006-10-19 セクレタリー・オヴ・ステイト・フォー・ディフェンス 全地球測位システムにおけるトロポシェア誘導エラーの補正
JP4321128B2 (ja) * 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
US7873240B2 (en) * 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data
EP1972893A1 (en) * 2007-03-21 2008-09-24 Universiteit Gent System and method for position determination
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
EP2242994A1 (en) * 2008-02-04 2010-10-27 Tele Atlas North America Inc. Method for map matching with sensor detected objects
US7928905B2 (en) * 2008-10-26 2011-04-19 Mitac International Corp. Method of using road signs to augment global positioning system (GPS) coordinate data for calculating a current position of a personal navigation device
WO2010060720A2 (de) * 2008-11-03 2010-06-03 Andreas Stopp Verfahren zum automatischen laden von vollständig oder teilweise elektrisch betriebenen fahrzeugen und anordnung zur herstellung eines ladekontaktes
US8249302B2 (en) * 2009-06-30 2012-08-21 Mitsubishi Electric Research Laboratories, Inc. Method for determining a location from images acquired of an environment with an omni-directional camera
US9324003B2 (en) * 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
US8477190B2 (en) * 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
US9036000B1 (en) * 2011-09-27 2015-05-19 Google Inc. Street-level imagery acquisition and selection
KR101881415B1 (ko) * 2011-12-22 2018-08-27 한국전자통신연구원 이동체의 위치 인식 장치 및 방법
US9116006B2 (en) * 2012-02-01 2015-08-25 Electronics And Telecommunications Research Institute Apparatus and method for determining indoor collection points and collecting heterogeneous infrastructure measurement information
US8855442B2 (en) * 2012-04-30 2014-10-07 Yuri Owechko Image registration of multimodal data using 3D-GeoArcs
US8825368B2 (en) * 2012-05-21 2014-09-02 International Business Machines Corporation Physical object search
KR101209062B1 (ko) 2012-07-24 2012-12-06 주식회사 피엘케이 테크놀로지 영상인식 정보를 이용한 ｇｐｓ 보정 시스템 및 방법
US9218529B2 (en) * 2012-09-11 2015-12-22 Southwest Research Institute 3-D imaging sensor based location estimation
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
IL226752A (en) * 2013-06-04 2017-02-28 Padowicz Ronen Independent navigation system and method
KR102252190B1 (ko) * 2014-07-11 2021-05-17 한국전자통신연구원 무선 신호를 이용한 측위 방법 및 장치
US20180025632A1 (en) * 2014-12-15 2018-01-25 Intelligent Technologies International, Inc. Mapping Techniques Using Probe Vehicles
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
KR102113816B1 (ko) * 2016-01-05 2020-06-03 한국전자통신연구원 차량 자율주행 서비스 시스템 및 이를 위한 클라우드 서버 및 그 동작 방법
WO2018175441A1 (en) * 2017-03-20 2018-09-27 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
KR102260975B1 (ko) * 2017-05-30 2021-06-04 현대모비스 주식회사 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
JP6897340B2 (ja) * 2017-06-02 2021-06-30 株式会社アイシン 周辺監視装置
TWI654106B (zh) * 2017-06-12 2019-03-21 勝捷光電股份有限公司 利用數位錄影方式以記錄行車資訊與產生汽車履歷之方法
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles
JP7173039B2 (ja) * 2017-11-08 2022-11-16 ソニーグループ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
US11009365B2 (en) * 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10964053B2 (en) * 2018-07-02 2021-03-30 Microsoft Technology Licensing, Llc Device pose estimation using 3D line clouds
KR102522923B1 (ko) * 2018-12-24 2023-04-20 한국전자통신연구원 차량의 자기위치 추정 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013921A1 (en) * 2008-07-17 2010-01-21 Nsj Co., Ltd. Monitoring system and terminal device
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2017146724A (ja) * 2016-02-16 2017-08-24 株式会社Ｓｕｂａｒｕ 地図情報出力装置
US20180149744A1 (en) * 2016-11-30 2018-05-31 GM Global Technology Operations LLC Accurate self localization using automotive radar synthetic aperture radar

Also Published As

Publication number Publication date
US11341742B2 (en) 2022-05-24
KR20200084943A (ko) 2020-07-14
US20200202104A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
KR102522923B1 (ko) 차량의 자기위치 추정 장치 및 그 방법
CN111656136B (zh) 使用激光雷达的车辆定位系统
CN111033299B (zh) 基于点云利用位姿预估的车辆导航系统
CN111436216B (zh) 用于彩色点云生成的方法和系统
US12117541B2 (en) Positioning method and device, and server and system
US10909395B2 (en) Object detection apparatus
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2012086821A1 (ja) 測位装置、測位方法
CN108917753B (zh) 基于从运动恢复结构的飞行器位置确定方法
US20220398825A1 (en) Method for generating 3d reference points in a map of a scene
KR101574876B1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN116097128A (zh) 用于对车辆位置进行确定的方法和设备
WO2020049089A1 (en) Methods and systems for determining the position of a vehicle
CN108801225B (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
WO2021167910A1 (en) A method for generating a dataset, a method for generating a neural network, and a method for constructing a model of a scene
KR102664113B1 (ko) 차량 위치 추정 장치 및 방법
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
De Agostino et al. GIMPHI: a new integration approach for early impact assessment
JPWO2020244717A5 (ko)
AU2018102199A4 (en) Methods and systems for color point cloud generation
US10984265B2 (en) Method and apparatus for estimating front obstacle detection distance
CN114710970A (zh) 用于定位设备的装置和方法
CN118447504A (zh) 动态目标去除方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right