[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102703476B1 - 추측항법 오차 보정 방법 및 그 전자 장치 - Google Patents

추측항법 오차 보정 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102703476B1
KR102703476B1 KR1020190121944A KR20190121944A KR102703476B1 KR 102703476 B1 KR102703476 B1 KR 102703476B1 KR 1020190121944 A KR1020190121944 A KR 1020190121944A KR 20190121944 A KR20190121944 A KR 20190121944A KR 102703476 B1 KR102703476 B1 KR 102703476B1
Authority
KR
South Korea
Prior art keywords
positioning information
vehicle
electronic device
processor
feature points
Prior art date
Application number
KR1020190121944A
Other languages
English (en)
Other versions
KR20210039561A (ko
Inventor
서명환
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020190121944A priority Critical patent/KR102703476B1/ko
Publication of KR20210039561A publication Critical patent/KR20210039561A/ko
Application granted granted Critical
Publication of KR102703476B1 publication Critical patent/KR102703476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Navigation (AREA)

Abstract

본 발명의 다양한 실시 예들은, 추측항법 오차 보정 방법 및 그 전자 장치에 관한 것으로서, 전자 장치는, 이미지 센서, 관성 센서, 휠 센서, 메모리, 및 상기 이미지 센서, 상기 관성 센서, 상기 휠 센서, 및 상기 메모리와 작동적으로 연결된(operatively coupled to) 프로세서를 포함하고, 상기 프로세서는, 상기 이미지 센서로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성하고, 상기 관성 센서의 측정값에 기반하여 상기 차량의 움직임과 연관된 제2 측위 정보를 생성하고, 상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 휠 센서의 측정값에 기반하여 상기 차량의 측위 정보를 결정하도록 설정될 수 있다. 다른 실시 예들도 가능하다.

Description

추측항법 오차 보정 방법 및 그 전자 장치{MEHTOD FOR CORRECTING ERROR OF DEAD RECKONING AND ELECTRONIC DEVICE THEREOF}
본 발명의 다양한 실시 예들은 추측항법 오차 보정 방법 및 그 전자 장치에 관한 것이다.
네비게이션(navigation)은 GNSS(global navigation satellite system)의 위성 신호를 이용하여 차량의 위치 정보를 제공하는 위치 정보 시스템이다. 이러한 네비게이션은, 차량이 위성 신호가 손실되는 환경에서 주행하는 동안 네비게이션의 운전자에게 차량의 위치 정보를 정확하게 제공할 수 없다. 최근에는, 위성 신호가 손실되는 환경(예: 터널, 지하주차장 등)에서도 차량의 운전자에게 보다 정확한 위치 정보를 제공하기 위해 관성 센서를 이용한 추측항법 기술이 개발 및 이용되고 있다.
본 발명의 배경기술은 대한민국 등록특허 제10-1946714호(2019.01.31 등록, 카메라를 이용한 추측항법 기반 네비게이션 시스템)에 개시되어 있다.
추측항법 기술은, 관성 센서 자체의 한계(예: 적분에 의한 오차 누적 등)로 인해 정확한 항법 정보를 제공하기 어렵다. 이로 인해, 추측항법 기술을 사용하는 시간이 길어질수록 오차가 누적되어 신뢰성이 크게 저하될 수 있다. 최근에는, 추측항법 기술의 신뢰성을 높이기 위해, 시각적 관성 주행 거리계(visual inertial odometry)를 이용하는 방안에 대한 관심이 높아지고 있다. 하지만, 시각적 관성 주행 거리계를 이용하는 기술은 관성 센서의 스펙(specification)에 따라 성능이 달라지게 된다. 이에 따라, 시각적 관성 주행 거리계를 이용한 추측항법 기술의 정확도를 높이기 위해 고성능의 관성 센서가 요구되나, 이에 따라, 전자 장치의 제작 단가가 상승하 상승하게 된다. 따라서, 고성능의 관성 센서를 이용하지 않고, 시각적 관성 주행 거리계를 이용한 추측항법 기술의 정확도를 높일 수 있는 방안(solution)이 요구될 수 있다.
본 발명의 다양한 실시 예들은, 고성능의 관성 센서를 이용하지 않고, 시각적 관성 주행 거리계를 이용한 추측항법 기술의 정확도를 높일 수 있는 방법 및 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 전자 장치는, 이미지 센서, 관성 센서, 휠 센서, 메모리, 및 상기 이미지 센서, 상기 관성 센서, 상기 휠 센서, 및 상기 메모리와 작동적으로 연결된(operatively coupled to) 프로세서를 포함하고, 상기 프로세서는, 상기 이미지 센서로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성하고, 상기 관성 센서의 측정값에 기반하여 상기 차량의 움직임과 연관된 제2 측위 정보를 생성하고, 상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 휠 센서의 측정값에 기반하여 상기 차량의 측위 정보를 결정하도록 설정될 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 전자 장치의 프로세서가 상기 전자 장치의 이미지 센서로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성하는 단계와, 상기 프로세서가 상기 관성 센서의 측정값에 기반하여 상기 차량의 움직임과 연관된 제2 측위 정보를 생성하는 단계, 및 상기 프로세서가 상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 휠 센서의 측정값에 기반하여 상기 차량의 측위 정보를 결정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들은, 관성 센서의 스케일 및 바이어스 오차를 감소시킴으로써, 저성능의 관성 센서가 구비된 전자 장치에서도, 시각적 관성 주행 거리계를 이용한 추측항법 기술의 정확도를 높일 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치의 블록도이다.
도 2는 다양한 실시 예들에 따른 전자 장치에서 추측항법에 기반하여 차량의 측위 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
도 3은 다양한 실시 예들에 따른 전자 장치에서 이미지에 기반하여 차량의 움직임과 연관된 측위 정보를 생성하는 방법을 설명하기 위한 흐름도이다.
도 4는 다양한 실시 예들에 따른 전자 장치에서 이미지로부터 추출된 특징점의 일 예를 나타낸 예시도이다.
도 5는 다양한 실시 예들에 따른 전자 장치에서 차량의 측위 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들어, 하드웨어적 또는 소프트웨어적으로 "~에 적합한", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는", 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들어, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 전자 장치(100)는, 프로세서(120), 메모리(130), 이미지 센서(140), 관성 센서(150), 휠 센서(160), 및 통신 회로(170)를 포함할 수 있다. 다만 이에 제한되지 않는다. 예를 들어, 전자 장치(100)는 시각적 정보를 출력하기 위한 디스플레이를 더 포함할 수 있다.
다양한 실시 예들에 따르면, 관성 센서(150)는 이동하는 차량의 움직임과 연관된 정보를 획득할 수 있다. 예를 들어, 관성 센서(150)는 롤(roll) 방향, 피치(pitch) 방향, 요우(yaw) 방향의 기울기 및 회전 각도를 측정할 수 있다. 관성 센서(150)는 차량의 움직임과 연관된 정보를 프로세서(120)로 제공할 수 있다.
다양한 실시 예들에 따르면, 이미지 센서(140)는 차량의 전방을 촬영할 수 있도록 차량의 윈드실드에 배치될 수 있다. 이미지 센서(140)는 차량의 전방을 촬영한 이미지를 프로세서(120)로 제공할 수 있다. 일 실시 예에 따르면, 이미지 센서(140)는 단안 카메라로 구성될 수 있다.
다양한 실시 예들에 따르면, 휠 센서(160)는 차량의 바퀴의 회전수에 대한 정보를 획득할 수 있다. 휠 센서(160)는 차량의 바퀴의 회전수에 대한 정보를 프로세서(120)로 제공할 수 있다.
다양한 실시 예들에 따르면, 통신 회로(170)는 외부 전자 장치와 유선 또는 무선으로 데이터 통신을 수행할 수 있다. 일 실시 예에 따르면, 통신 회로(170)는 GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system 등의 위성 항법 시스템(GNSS)을 지원하는 제1 통신 회로와, 차량 내부의 전자 장치 또는 외부의 전자 장치(예: 다른 차량, 노변 장치 등)와 데이터 통신을 지원하는 제2 통신 회로를 포함할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 운영 체제 또는 어플리케이션을 구동하여 프로세서(120)에 연결된 복수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 SoC(system on chip)로 구현될 수 있다. 프로세서(120)는 다른 구성요소들 중 적어도 하나로부터 수신된 인스트럭션(instruction) 또는 데이터를 메모리(130)에 로드(load)하여 처리하고, 다양한 데이터를 메모리(130)에 저장할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 차량이 위성 신호가 손실되지 않는 환경에서 주행하는 동안, 통신 회로(170)를 통해 위성 신호를 수신하고, 수신된 위성 신호에 기반하여 실시간으로 또는 지정된 주기마다 차량의 측위 정보를 결정할 수 있다. 프로세서(120)는 결정된 측위 정보에 기반하여 차량의 위치 정보를 운전자에게 제공할 수 있다. 예를 들어, 프로세서(120)는 디스플레이(미도시)를 통해 차량의 측위 정보에 기반한 차량의 위치를 실시간으로 출력함으로써, 차량의 위치 정보를 운전자에게 제공할 수 있다. 다른 예를 들어, 프로세서(120)는 통신 회로(170)를 통해 차량의 측위 정보를 외부 전자 장치(예: 차량 내의 내비게이션 등)로 제공함으로써, 차량의 위치 정보를 운전자에게 제공할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 차량이 위성 신호가 손실되는 환경(예: 터널, 지하주차장 등)에서 주행하는 동안, 이미지 센서(140)를 통해 이미지를 획득하고, 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보(예: 차량의 위치, 자세, 속도)를 생성할 수 있다. 예를 들어, 프로세서(120)는 차량이 위성 신호가 손실되는 환경에서 주행하는 동안, 이미지 센서(140)를 통해 차량의 전방을 촬영한 이미지를 획득하고, fast, shi-tomasi, harris-corner 등과 같은 코너 기반의 특징점을 찾는 알고리즘을 이용하여 이미지로부터 특징점을 추출하고, 추출된 특징점의 적어도 일부에 광학 흐름(optical flow)을 산출함으로써, 차량의 움직임과 연관된 제1 측위 정보를 생성할 수 있다. 일 실시 예에 따르면, 코너 기반의 특징점을 찾는 알고리즘은 OpenCV 코드를 이용할 수 있으며, 검출되는 특징점의 수를 조절하기 위해 각각의 임계값(threshold)이 조정될 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 차량이 위성 신호가 손실되는 환경에서 주행하는 동안, 차량의 위치를 결정하기 위해, 관성 센서를 통해 차량의 움직임과 연관된 제2 측위 정보(예: 차량의 위치, 자세, 및 속도)를 생성할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 관성 센서의 측정값의 오차를 보정함으로써, 관성 센서(150)의 측정값의 신뢰도를 향상시킬 수 있다. 예를 들어, 프로세서(120)는 캘리브레이션 기법을 이용하여 관선 센서(150)에 스케일 및 바이어스 편차를 보정함으로써, 관성 센서(150)의 측정값의 신뢰도를 향상시킬 수 있다. 이 경우, 프로세서(120)는 온도 및 시간에 따른 캘리브레이션을 분리하여 수행할 수 있다.
다양한 실시 예들에 따르면, 프로세서(120)는 제1 측위 정보, 제2 측위 정보, 및 휠 센서(160)의 측정값에 기반하여 차량의 측위 정보를 결정할 수 있다. 예를 들어, 프로세서(120)는 휠 센서(160)의 측정값에 기반하여 차량이 주행중임을 식별한 경우, 칼만 필터를 이용하여 제1 측위 정보와 제2 측위 정보를 융합함으로써, 차량의 측위 정보를 결정할 수 있다.
이상에서는, 프로세서(120)가 이미지 센서(140) 및 관성 센서(150)로부터 획득된 정보를 이용하여 차량의 움직임과 연관된 측위 정보를 생성하는 것으로 설명하였으나, 본 발명의 다양한 실시 예들에 따르면, 프로세서(120)가 아닌 차량의 움직임과 연관된 측위 정보를 생성하기 위한 별도의 모듈을 통해 차량의 움직임과 연관된 측위 정보를 생성하고, 생성된 측위 정보가 프로세서(120)로 제공될 수도 있다.
도 2는 다양한 실시 예들에 따른 전자 장치에서 추측항법에 기반하여 차량의 측위 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 동작 201에서, 전자 장치(예: 도 1의 전자 장치(100))의 프로세서(예: 도 1의 프로세서(120))는 이미지 센선(예: 도 1의 이미지 센서(140))로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성할 수 있다. 예를 들어, 프로세서(120)는 차량이 위성 신호를 수신할 수 없는 환경에서 주행하는 동안, 이미지 센서(140)를 통해 차량의 전방을 촬영한 이미지를 획득하고, fast, shi-tomasi, harris-corner 등과 같은 코너 기반의 특징점을 찾는 알고리즘을 이용하여 이미지로부터 특징점을 추출하고, 추출된 특징점의 적어도 일부에 광학 흐름(optical flow)을 산출함으로써, 차량의 움직임과 연관된 제1 측위 정보를 생성할 수 있다. 여기서, 코너 기반의 특징점을 찾는 알고리즘은 OpenCV 코드를 이용할 수 있으며, 각각의 임계값(threshold)을 조정함으로써, 검출되는 특징점의 수를 조정할 수 있다. 일 실시 예에 따르면, 제1 측위 정보는, 차량의 위치, 자세, 및 속도 중 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 이미지 센서는 단안 카메라로 구성될 수 있다.
동작 203에서, 프로세서(120)는 관성 센서(150)의 측정값에 기반하여 차량의 움직임과 연관된 제2 측위 정보를 생성할 수 있다. 예를 들어, 프로세서(120)는 관성 센서(150)의 측정값에 대하여 온도 및 시간에 따른 캘리브레이션을 분리하여 수행함으로써, 관성 센서(150)의 측정값을 보정하고, 보정된 측정값에 기반하여 차량의 움직임과 연관된 제2 측위 정보를 생성할 수 있다. 일 실시 예에 따르면, 제2 측위 정보는, 차량의 위치, 자세, 및 속도 중 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 이미지 센서(140)를 통해 이미지를 촬영하는 시간동안 관성 센서(150)의 측정값을 이용하여 차량의 움직임과 연관된 제2 측위 정보를 생성할 수 있다.
동작 205에서, 프로세서(120)는 제1 측위 정보, 제2 측위 정보, 및 휠 선서의 측정값에 기반하여 차량의 측위 정보를 결정할 수 있다. 예를 들어, 프로세서(120)는 휠 센서(160)의 측정값에 기반하여 차량이 주행중임을 식별한 경우, 칼만 필터를 이용하여 제1 측위 정보와 제2 측위 정보를 융합함으로써, 차량의 측위 정보를 결정할 수 있다. 프로세서(120)는 차량의 측위 정보가 결정된 경우, 디스플레이를 통해 차량의 측위 정보를 표시하거나 또는 통신 회로(170)를 통해 차량의 측위 정보에 기반한 차량의 위치를 표시하거나 외부 전자 장치(예: 네비게이션 또는 외부 디스플레이)로 송신함으로써, 운전자에게 차량의 위치를 제공할 수 있다.
상술한 바와 같이, 전자 장치(100)는 관성 센서의 스케일 및 바이어스 오차를 감소시킬 수 있는 캘리브레이션 기법을 통해 단안 카메라를 이용함에 따라 발생되는 깊이(depth) 오차를 보정할 수 있으며, 이를 통해, 고성능의 관성 센서를 이용하지 않더라도, 시각적 관성 주행 거리계를 이용한 추측항법 기술의 정확도를 높일 수 있다.
도 3은 다양한 실시 예들에 따른 전자 장치에서 이미지에 기반하여 차량의 움직임과 연관된 측위 정보를 생성하는 방법을 설명하기 위한 흐름도이다. 도 4는 다양한 실시 예들에 따른 전자 장치에서 이미지로부터 추출된 특징점의 일 예를 나타낸 예시도이다. 이하 설명은, 도 2의 동작 201에서, 이미지 센서로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성하는 동작의 상세 동작일 수 있다.
도 3을 참조하면, 동작 301에서, 전자 장치(예: 도 1의 전자 장치(100))의 프로세서(예: 도 1의 프로세서(120))는 이미지 센서(예: 도 1의 이미지 센서(140))를 통해 획득된 이미지로부터 특징점을 추출할 수 있다. 예를 들어, 프로세서(120)는 fast, shi-tomasi, harris-corner 등과 같은 코너 기반의 특징점을 찾는 알고리즘을 이용하여 도 4와 같이, 차량의 전방을 촬영한 이미지(401)로부터 특징점(403, 405)을 추출할 수 있다.
동작 303에서, 프로세서(120)는 복수의 특징점 중 적어도 일부 특징점의 광학 흐름(optical flow)을 산출할 수 있다. 예를 들어, 프로세서(120)는 도 4와 같이, KLT(kanade-lucas-tomasi) 트래커 알고리즘을 이용하여 복수의 특징점 중 픽셀 밝기가 일정한 적어도 일부 특징점(403)의 광학 흐름을 계산할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 일부 특징점의 광학 흐름 계산에 실패한 경우, KLT 트래커 알고리즘을 재수행할 수 있다.
동작 305에서, 프로세서(120)는 광학 흐름을 이용하여 트래킹된 특징점의 수가 기준 개수 이상인지 여부를 결정할 수 있다. 프로세서(120)는 광학 흐름을 이용하여 트래킹된 특징점의 수가 기준 개수 미만인 경우, 동작 301을 재수행하고, 광학 흐름을 이용하여 트래킹된 특징점의 수가 기준 개수 이상인 경우, 동작 307을 수행할 수 있다.
동작 307에서, 프로세서(120)는 광학 흐름을 이용하여 트래킹된 특징점의 수가 기준 개수 이상인 경우, 광학 흐름을 이용하여 트래킹된 특징점에 기반하여 제1 측정 정보를 생성할 수 있다. 예를 들어, 프로세서(120)는 광학 흐름을 이용하여 트래킹된 특징점을 이용하여 차량의 위치, 자세, 및 속도를 결정할 수 있다.
도 5는 다양한 실시 예들에 따른 전자 장치에서 차량의 측위 정보를 결정하는 방법을 설명하기 위한 흐름도이다. 이하 설명은, 도 2의 동작 205에서, 제1 측위 정보, 제2 측위 정보, 및 휠 선서의 측정값에 기반하여 차량의 측위 정보를 결정하는 동작의 상세 동작일 수 있다.
도 5를 참조하면, 동작 501에서, 전자 장치(예: 도 1의 전자 장치(100))의 프로세서(예: 도 1의 프로세서(120))는 차량이 주행 중인지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 휠 센서(160)의 측정값에 기반하여 차량이 주행 중인지 여부를 결정할 수 있다. 프로세서(120)는 차량이 주행 중인 경우, 동작 503을 수행하고, 차량이 주행 중이 아닌 경우, 동작 501을 재수행할 수 있다.
동작 503에서, 프로세서(120)는 차량이 주행 중인 경우, 칼만 필터를 이용하여 제1 측위 정보, 제2 측위 정보, 및 휠 센서의 측정값을 융합함으로써, 차량의 측위 정보를 결정할 수 있다. 예를 들어, 프로세서(120)는 이미지의 특징점에 기반하여 결정된 차량의 위치, 자세, 속도, 관성 센서의 측정값에 기반하여 결정된 차량의 위치, 자세, 속도, 및 휠 센서의 측정값에 기반하여 결정된 차량의 속도를 칼만 필터를 통해 융합시킴으로써, 차량의 위치, 자세, 및 속도를 결정할 수 있다. 프로세서(120)는 차량의 위치, 자세, 및 속도가 결정된 것에 응답하여, 전자 장치(100)의 디스플레이를 통해 차량의 위치를 제공하거나 또는 통신 회로(170)를 통해 차량의 측위 정보를 외부 전자 장치(예: 네비게이션 또는 외부 디스플레이)로 송신할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 도 1의 제어 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 도 1의 메모리(130))에 저장된 하나 이상의 인스트럭션들(instructions)을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 도 1의 제어 장치(100))의 프로세서(예: 도 1의 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 할 수 있다. 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
100 : 전자 장치 150 : 이미지 센서
120 : 프로세서 160 : 휠 센서
130 : 메모리 170 : 통신 회로
140 : 관성 센서

Claims (16)

  1. 이미지 센서;
    관성 센서;
    휠 센서;
    메모리; 및
    상기 이미지 센서, 상기 관성 센서, 상기 휠 센서, 및 상기 메모리와 작동적으로 연결된(operatively coupled to) 프로세서를 포함하고, 상기 프로세서는,
    상기 이미지 센서로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성하고,
    상기 이미지 센서를 통해 상기 이미지를 촬영하는 시간 동안, 캘리브레이션 기법을 이용한 상기 관성 센서의 스케일 및 바이어스 편차 보정을 통해 상기 관성 센서의 측정값을 보정하고, 상기 보정된 측정값에 기반하여 상기 차량의 움직임과 연관된 제2 측위 정보를 생성하고, 및
    상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 휠 센서의 측정값에 기반하여 상기 차량의 측위 정보를 결정하도록 설정되는 전자 장치.
  2. 제1항에 있어서,
    상기 제1 측위 정보 또는 상기 제2 측위 정보는,
    상기 차량의 위치, 상기 차량의 자세, 및 상기 차량의 속도를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 제1 측위 정보를 생성하는 동작의 적어도 일부로서,
    상기 이미지 센서를 통해 획득된 이미지로부터 복수의 특징점을 추출하고,
    상기 복수의 특징점 중 적어도 일부 특징점의 광학 흐름(optical flow)을 산출하고,
    상기 광학 흐름을 이용하여 트래킹된 특징점에 기반하여 상기 제1 측위 정보를 생성하도록 설정되는 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 이미지로부터 상기 복수의 특징점을 추출하는 동작의 적어도 일부로서,
    Fast 알고리즘, shi-tomasi 알고리즘, 또는 harris-corner 알고리즘을 이용하여 상기 이미지로부터 상기 복수의 특징점을 추출하도록 설정되는 전자 장치.
  5. 제3항에 있어서,
    상기 프로세서는, 상기 적어도 일부 특징점의 광학 흐름을 산출하는 동작의 적어도 일부로서,
    KLT(Kanade-Lucas-Tomasi) 트래커 알고리즘을 이용하여 상기 복수의 특징점 중 상기 적어도 일부 특징점의 광학 흐름을 산출하도록 설정된 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 차량의 측위 정보를 결정하는 동작의 적어도 일부로서,
    칼만 필터를 이용하여 상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 휠 센서의 측정값을 융합함으로써, 상기 차량의 측위 정보를 결정하도록 설정된 전자 장치.
  7. 제1항에 있어서,
    디스플레이를 더 포함하고,
    상기 프로세서는,
    상기 차량의 측위 정보에 따른 상기 차량의 위치를 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  8. 제1항에 있어서,
    통신 회로를 더 포함하고,
    상기 프로세서는,
    상기 차량의 운전자에게 상기 차량의 측위 정보에 따른 상기 차량의 위치를 제공하기 위해, 상기 통신 회로를 통해 상기 차량의 측위 정보를 외부 전자 장치로 송신하도록 설정되는 전자 장치.
  9. 전자 장치의 프로세서가 상기 전자 장치의 이미지 센서로부터 획득된 이미지에 기반하여 차량의 움직임과 연관된 제1 측위 정보를 생성하는 단계;
    상기 이미지 센서를 통해 상기 이미지를 촬영하는 시간 동안, 상기 프로세서가 캘리브레이션 기법을 이용한 상기 전자 장치의 관성 센서의 스케일 및 바이어스 편차 보정을 통해 상기 관성 센서의 측정값을 보정하고, 상기 보정된 측정값에 기반하여 상기 차량의 움직임과 연관된 제2 측위 정보를 생성하는 단계; 및
    상기 프로세서가 상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 전자 장치의 휠 센서의 측정값에 기반하여 상기 차량의 측위 정보를 결정하는 단계를 포함하는 전자 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 제1 측위 정보 또는 상기 제2 측위 정보는,
    상기 차량의 위치, 상기 차량의 자세, 및 상기 차량의 속도를 포함하는 전자 장치의 동작 방법.
  11. 제9항에 있어서,
    상기 제1 측위 정보를 생성하는 단계는,
    상기 프로세서가 상기 이미지 센서를 통해 획득된 이미지로부터 복수의 특징점을 추출하는 단계;
    상기 프로세서가 상기 복수의 특징점 중 적어도 일부 특징점의 광학 흐름(optical flow)을 산출하는 단계;
    상기 프로세서가 상기 광학 흐름을 이용하여 트래킹된 특징점에 기반하여 상기 제1 측위 정보를 생성하는 단계를 포함하는 전자 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 이미지로부터 상기 복수의 특징점을 추출하는 단계는,
    상기 프로세서가 fast 알고리즘, shi-tomasi 알고리즘, 또는 harris-corner 알고리즘을 이용하여 상기 이미지로부터 상기 복수의 특징점을 추출하는 단계를 포함하는 전자 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 적어도 일부 특징점의 광학 흐름을 산출하는 단계는,
    상기 프로세서가 KLT(Kanade-Lucas-Tomasi) 트래커 알고리즘을 이용하여 상기 복수의 특징점 중 상기 적어도 일부 특징점의 광학 흐름을 산출하는 단계를 포함하는 전자 장치의 동작 방법.
  14. 제9항에 있어서,
    상기 차량의 측위 정보를 결정하는 단계는,
    상기 프로세서가 칼만 필터를 이용하여 상기 제1 측위 정보, 상기 제2 측위 정보, 및 상기 휠 센서의 측정값을 융합함으로써, 상기 차량의 측위 정보를 결정하는 단계를 포함하는 전자 장치의 동작 방법.
  15. 제9항에 있어서,
    상기 프로세서가 상기 차량의 측위 정보에 따른 상기 차량의 위치를 상기 전자 장치의 디스플레이를 통해 표시하는 단계를 더 포함하는 전자 장치의 동작 방법.
  16. 제9항에 있어서,
    상기 프로세서가 상기 차량의 운전자에게 상기 차량의 측위 정보에 따른 상기 차량의 위치를 제공하기 위해, 상기 전자 장치의 통신 회로를 통해 상기 차량의 측위 정보를 외부 전자 장치로 송신하는 단계를 더 포함하는 전자 장치의 동작 방법.
KR1020190121944A 2019-10-02 2019-10-02 추측항법 오차 보정 방법 및 그 전자 장치 KR102703476B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190121944A KR102703476B1 (ko) 2019-10-02 2019-10-02 추측항법 오차 보정 방법 및 그 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190121944A KR102703476B1 (ko) 2019-10-02 2019-10-02 추측항법 오차 보정 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20210039561A KR20210039561A (ko) 2021-04-12
KR102703476B1 true KR102703476B1 (ko) 2024-09-05

Family

ID=75439985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121944A KR102703476B1 (ko) 2019-10-02 2019-10-02 추측항법 오차 보정 방법 및 그 전자 장치

Country Status (1)

Country Link
KR (1) KR102703476B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964059B1 (ko) 2017-10-11 2019-04-01 재단법인대구경북과학기술원 실내 주차장 안내 시스템을 위한 바퀴 속력 센서 기반 차량 측위 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076913A (ko) * 2016-12-28 2018-07-06 엘지전자 주식회사 차량 운전 보조장치
KR101985344B1 (ko) * 2017-06-26 2019-06-04 서울대학교산학협력단 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102331312B1 (ko) * 2017-10-11 2021-11-24 재단법인대구경북과학기술원 차량 내부 센서, 카메라, 및 gnss 단말기를 이용한 3차원 차량 항법 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964059B1 (ko) 2017-10-11 2019-04-01 재단법인대구경북과학기술원 실내 주차장 안내 시스템을 위한 바퀴 속력 센서 기반 차량 측위 시스템

Also Published As

Publication number Publication date
KR20210039561A (ko) 2021-04-12

Similar Documents

Publication Publication Date Title
US10907969B2 (en) Inertia-based navigation apparatus and inertia-based navigation method based on relative preintegration
US10082583B2 (en) Method and apparatus for real-time positioning and navigation of a moving platform
EP2657920B1 (en) Driving assist device
KR20200044420A (ko) 위치 추정 방법 및 장치
EP2952930B1 (en) System and method for augmenting a gnss/ins navigation system in a cargo port environment
US8560234B2 (en) System and method of navigation based on state estimation using a stepped filter
US20080319664A1 (en) Navigation aid
US9121929B2 (en) Position output device using satellite navigation system
US9411053B2 (en) Method for using partially occluded images for navigation and positioning
JP2007101526A (ja) 速度検出装置、速度検出方法、速度検出プログラム、位置検出装置、位置検出方法及び位置検出プログラム並びにナビゲーション装置
JP2009098125A5 (ko)
US9759567B2 (en) Position calculation method and position calculation device
US20210215831A1 (en) Positioning apparatus and positioning method
US11187719B2 (en) In-motion initialization of accelerometer for accurate vehicle positioning
JP7570038B2 (ja) 位置測定装置
JP5119967B2 (ja) 測位方法、プログラム及び測位装置
KR101107219B1 (ko) 비행체의 항법 방법 및 이를 이용한 관성항법장치 필터 및 항법 시스템
JP2016017796A (ja) 車輌位置計測装置及び方法
CN113093239A (zh) 用于提供导航信息的方法、对应系统和程序产品
CN112762944A (zh) 零速区间检测及零速更新方法
US11656242B2 (en) Angular velocity detection device, image display apparatus, angular velocity detection method, and storage medium
KR102703476B1 (ko) 추측항법 오차 보정 방법 및 그 전자 장치
JP7152285B2 (ja) 電子機器、補正方法およびプログラム
US20240353578A1 (en) Localizing a moving vehicle
KR101767169B1 (ko) 비전 센서 기반 자이로 드리프트 감소 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant