[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20210106864A - 레이더 신호에 기초한 오브젝트 검출 방법 및 장치 - Google Patents

레이더 신호에 기초한 오브젝트 검출 방법 및 장치 Download PDF

Info

Publication number
KR20210106864A
KR20210106864A KR1020200059828A KR20200059828A KR20210106864A KR 20210106864 A KR20210106864 A KR 20210106864A KR 1020200059828 A KR1020200059828 A KR 1020200059828A KR 20200059828 A KR20200059828 A KR 20200059828A KR 20210106864 A KR20210106864 A KR 20210106864A
Authority
KR
South Korea
Prior art keywords
radar
data set
target image
detecting
reflection points
Prior art date
Application number
KR1020200059828A
Other languages
English (en)
Inventor
김우석
이성욱
조현웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/126,485 priority Critical patent/US11828873B2/en
Publication of KR20210106864A publication Critical patent/KR20210106864A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

오브젝트를 검출하기 위해, 레이더 시스템을 통해 수신된 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 처리함으로써 오브젝트의 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하고, 뉴럴 네트워크 기반의 오브젝트 검출 모델을 이용하여 데이터 세트에 기초하여 반사 지점들에 대응하는 오브젝트를 검출한다.

Description

레이더 신호에 기초한 오브젝트 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OBJECT BASED ON RADAR SIGNAL}
아래의 실시예들은 오브젝트를 검출하기 위한 기술에 관한 것으로, 보다 상세하게는 오브젝트에 의해 반사된 레이더 신호에 기초하여 레이더 주위의 오브젝트를 검출하는 기술에 관한 것이다.
ADAS(Advanced Driver Assistance Systems)는 차량의 내부 또는 외부에 탑재되는 센서들을 이용하여 운전자의 안전과 편의를 증진하고, 위험한 상황을 회피하고자 하는 목적으로 운전을 지원하는 보조 시스템이다. 국내 및 외국에서 주행 규정이 강화되고 있고, 자율 주행 차량의 상용화가 준비되고 있으므로 이와 관련된 산업의 중요성이 커지고 있다.
ADAS에서 이용되는 센서들은 카메라, 적외선 센서, 초음파 센서, 라이더(LiDAR) 및 레이더(Radar)를 포함할 수 있다. 이 중에서 레이더는 광학 기반 센서에 비해, 날씨와 같은 주변 환경의 영향을 받지 않고 차량 주변의 오브젝트를 안정적으로 측정할 수 있는 장점이 있다. 이에 따라, ADAS를 구축하기 위해 레이더가 중요하게 이용될 수 있다.
일 측면에 따른, 전자 장치에 의해 수행되는, 오브젝트 검출 방법은, 레이더 시스템을 이용하여 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 수신하는 단계, 상기 레이더 수신 신호를 처리함으로써 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하는 단계, 및 뉴럴 네트워크 기반의 오브젝트 검출 모델을 이용하여 상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계를 포함한다.
상기 오브젝트 검출 방법은, 상기 레이더 시스템의 전송 안테나를 통해 레이더 전송 신호를 전송하는 단계를 더 포함하고, 상기 레이더 수신 신호는 상기 레이더 전송 신호가 상기 오브젝트에 의해 반사된 신호일 수 있다.
상기 데이터 세트는 속도 축, 거리 축, 및 각도 축을 포함하고, 상기 데이터 세트 내에 타겟 반사 지점에 대한 복셀(voxel) 좌표가 결정되고, 상기 복셀 좌표의 복셀 값은 상기 타겟 반사 지점에 의한 상기 레이더 수신 신호의 신호 강도에 대응할 수 있다.
상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계는, 상기 오브젝트 검출 모델의 종류에 따라 상기 데이터 세트를 변형하는 단계, 및 상기 변형된 데이터 세트를 상기 오브젝트 검출 모델에 입력함으로써 상기 오브젝트를 검출하는 단계를 포함할 수 있다.
상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계는, 상기 데이터 세트에 기초하여 미리 설정된 2차원의 평면 상에 상기 반사 지점들을 나타냄으로써 타겟 이미지를 생성하는 단계, 및 상기 타겟 이미지에 기초하여 상기 오브젝트를 검출하는 단계를 포함할 수 있다.
상기 데이터 세트 내에 타겟 반사 지점에 대한 복셀(voxel) 좌표가 결정되고, 상기 복셀 좌표의 복셀 값은 상기 타겟 반사 지점에 의한 상기 레이더 수신 신호의 신호 강도에 대응하며, 상기 타겟 이미지를 생성하는 단계는, 상기 복셀 좌표에 기초하여 상기 2차원 평면 내의 픽셀 좌표를 결정하는 단계, 상기 복셀 값에 기초하여 미리 설정된 개수의 채널들 각각의 값을 결정하는 단계, 및 상기 채널들 각각의 값에 기초하여 상기 픽셀 좌표의 픽셀 값을 결정하는 단계를 포함할 수 있다.
상기 복셀 좌표에 기초하여 상기 픽셀 좌표를 결정하는 단계는, 상기 복셀 좌표의 속도 값을 미리 계산된 상수로 변환하는 단계, 및 상기 변환된 복셀 좌표에 기초하여 상기 픽셀 좌표를 결정하는 단계를 포함할 수 있다.
상기 데이터 세트는 속도 축, 거리 축, 및 각도 축을 포함하고, 상기 상수는, 상기 속도 축의 값들의 절대 값과 평균 값을 취함으로써 계산될 수 있다.
상기 미리 설정된 개수의 채널들은 R, G 및 B 채널일 수 있다.
상기 타겟 이미지에 기초하여 상기 오브젝트를 검출하는 단계는, 상기 반사 지점들에 대응하는 상기 타겟 이미지의 픽셀들에 기초하여 상기 타겟 이미지 내에 상기 오브젝트의 영역을 설정하는 단계, 및 상기 오브젝트의 영역에 기초하여 상기 오브젝트를 검출하는 단계를 포함할 수 있다.
상기 타겟 이미지에 기초하여 상기 오브젝트를 검출하는 단계는, 상기 반사 지점들에 대응하는 상기 타겟 이미지의 픽셀들에 기초하여 상기 오브젝트의 클래스를 결정하는 단계를 더 포함하고, 상기 오브젝트의 영역에 기초하여 상기 오브젝트를 검출하는 단계는, 상기 오브젝트의 영역 및 상기 오브젝트의 클래스에 기초하여 상기 오브젝트를 검출하는 단계를 포함할 수 있다.
상기 오브젝트 검출 모델은 상기 레이더 시스템에 포함된 안테나들의 배열 형태(configuration) 및 레이더 전송 신호의 형태 중 적어도 하나에 따라 다르게 설정될 수 있다.
상기 전자 장치는, 자율 주행 차량 또는 ADAS(Advanced Driver Assistance Systems)을 지원하는 차량에 탑재될 수 있다.
상기 데이터 세트는 특정한 시간 구간에 대한 것이고, 상기 오브젝트 검출 방법은, 제1 시간 구간에 대해 검출된 제1 오브젝트 및 제2 시간 구간에 대해 검출된 상기 제1 오브젝트에 대응하는 제2 오브젝트에 기초하여 오브젝트를 추적하는 단계를 더 포함할 수 있다.
다른 일 측면에 따른, 오브젝트를 검출하는 전자 장치에 있어서, 오브젝트를 검출하는 프로그램을 수행하는 프로세서, 및 상기 프로그램을 저장하는 메모리를 포함하고, 상기 프로그램은, 레이더 시스템을 이용하여 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 수신하는 단계, 상기 레이더 수신 신호를 처리함으로써 상기 오브젝트의 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하는 단계, 및 뉴럴 네트워크 기반의 오브젝트 검출 모델을 이용하여 상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계를 수행할 수 있다.
상기 전자 장치는, 자율 주행 차량 또는 ADAS(Advanced Driver Assistance Systems)을 지원하는 차량에 탑재될 수 있다.
또 다른 일 측면에 따른, 전자 장치에 의해 수행되는, 오브젝트 검출 모델 갱신 방법은, 레이더 시스템을 통해 수신된 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 처리함으로써 상기 오브젝트의 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하는 단계, 상기 반사 지점들 각각이 나타내는 오브젝트에 대한 정보를 GT(ground truth)로서 수신하는 단계, 및 GT 정보에 기초하여 상기 오브젝트 검출 모델을 갱신하는 단계를 포함한다.
상기 반사 지점들 각각이 나타내는 오브젝트에 대한 정보를 GT로서 수신하는 단계는, 상기 데이터 세트에 기초하여 미리 설정된 2차원 평면 상에 반사 시점들을 나타냄으로써 타겟 이미지를 생성하는 단계, 및 상기 타겟 이미지 내의 오브젝트를 나타내는 영역을 상기 GT로서 수신하는 단계를 포함하고, 상기 GT 정보에 기초하여 상기 오브젝트 검출 모델을 갱신하는 단계는, 상기 오브젝트의 영역이 설정된 상기 타겟 이미지에 기초하여 상기 오브젝트 검출 모델을 갱신하는 단계를 포함할 수 있다.
상기 오브젝트 검출 모델 갱신 방법은, 상기 레이더 시스템에 포함된 안테나들의 배열 형태(configuration) 및 레이더 전송 신호의 형태 중 적어도 하나에 대응하는 동작 모드를 결정하는 단계를 더 포함하고, 상기 오브젝트 검출 모델은 상기 동작 모드에 따라 달라질 수 있다.
도 1은 일 예에 따른 레이더 시스템에 의해 촬영되는 장면을 도시한다.
도 2는 일 실시예에 따른 오브젝트를 검출하는 전자 장치를 도시한다.
도 3은 일 실시예에 따른 오브젝트를 검출하는 방법의 흐름도이다.
도 4는 일 예에 따른 레이더 전송 신호 및 레이더 수신 신호를 도시한다.
도 5는 일 예에 따른 오브젝트의 반사 지점들에 대해 생성된 데이터 세트를 나타내는 3차원의 데이터 큐브를 도시한다.
도 6은 일 예에 따른 데이터 세트에 기초하여 오브젝트들을 검출하는 방법을 도시한다.
도 7은 일 예에 따른 반사 시점들을 나타내는 타겟 이미지에 기초하여 오브젝트를 검출하는 방법의 흐름도이다.
도 8은 일 예에 따른 데이터 세트에 기초하여 타겟 이미지를 생성하는 방법의 흐름도이다.
도 9는 일 예에 따른 복셀 좌표에 기초하여 2차원 평면 내의 픽셀 좌표를 결정하는 방법의 흐름도이다.
도 10은 일 예에 따른 오브젝트가 위치하는 장면과 이 장면에 대해 생성된 타겟 이미지를 도시한다.
도 11은 일 예에 따른 타겟 이미지 내의 클러스터링된 반사 지점들에 기초하여 오브젝트를 검출하는 방법을 도시한다.
도 12는 일 예에 따른 타겟 이미지 내에 설정된 오브젝트의 영역에 기초하여 오브젝트를 검출하는 방법의 흐름도이다.
도 13은 일 예에 따른 오브젝트의 클래스에 기초하여 오브젝트를 검출하는 방법의 흐름도이다.
도 14는 일 예에 따른 타겟 이미지 내에 설정된 오브젝트의 영역 및 결정된 오브젝트의 클래스를 도시한다.
도 15는 일 예에 따른 검출된 오브젝트에 기초하여 오브젝트를 추적하는 방법의 흐름도이다.
도 16은 일 실시예에 따른 오브젝트를 검출하는 알고리즘을 갱신하는 전자 장치의 구성도이다.
도 17은 일 실시예에 따른 오브젝트를 검출하는 알고리즘을 갱신하는 방법의 흐름도이다.
도 18은 일 예에 따른 반사 시점들이 나타나는 타겟 이미지에 기초하여 오브젝트를 검출하는 알고리즘을 갱신하는 방법의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 예에 따른 레이더 시스템에 의해 촬영되는 장면을 도시한다.
일 측면에 따른, 레이더 시스템(110)은 레이더 시스템(110) 주위의 오브젝트를 검출하기 위해, 송신 안테나를 통해 레이더 전송 신호를 전송하고, 오브젝트에 의해 반사된 레이더 전송 신호를 레이더 수신 신호로서 수신 안테나를 통해 수신한다. 예를 들어, 레이더 시스템(110)은 다중 입출력(multi input multi output: MIMO) 안테나들에 기초하여 레이더 신호들을 전송 및 수신할 수 있다. 레이더 시스템(110)의 안테나들의 배열 형태(configuration)에 따라 레이더 시스템(110)이 오브젝트를 검출할 수 있는 유효 각도 범위(120) 및 거리가 달라질 수 있다. 레이더 시스템(110)은 특정 시간에서 나타나는 장면 내의 오브젝트들(130, 140, 150, 160, 170 및 180)을 검출하기 위해, 미리 설정된 레이더 전송 신호를 전송한다. 특정 시각은 레이더 전송 신호를 통해 오브젝트들(130, 140, 150, 160, 170 및 180)이 스캔되는 시점일 수 있다.
오브젝트의 형태, 반사 계수의 차이, 레이더 시스템(110)의 설정 등에 따라 하나의 오브젝트의 여러 지점들에서 레이더 전송 신호의 반사가 발생할 수 있다. 레이더 전송 신호에 의한 반사 지점들이 여러 군데이고, 반사 지점들의 서로 다른 레이더 반사 면적(Radar Cross Section: RCS)의 차이에 의해, 하나의 오브젝트에 대하여 여러 개의 반사 지점들이 발생할 수 있다. 동일한 오브젝트임에도 불구하고, 반사 지점들의 거리가 떨어져 있는 경우 반사 지점들이 별개의 오브젝트들로 검출될 수 있다.
예를 들어, 사람(170)의 경우 착용하고 있는 시계, 귀걸이 등과 같이 반사 계수가 높은 물질들에 의해 하나의 사람이 아닌 복수의 오브젝트들로 검출될 수 있다. 다른 예로, 차량(140)의 경우, 떨어져 있는 바퀴들 또는 차량 모서리와 같은 물리적인 구조에 의해 하나의 차량이 아닌 복수의 오브젝트들로 검출될 수 있다. 트레일러(150)와 같이 앞 바퀴와 뒷 바퀴 간의 거리가 넓은 경우, 하나의 트레일러가 아닌 분리된 두 개의 차량들로 인식될 가능성도 있다.
레이더 수신 신호에 의해 검출된 오브젝트의 반사 지점들이 어떠한 오브젝트를 나타내는지를 결정한다면 실제로는 하나인 오브젝트가 두 개 이상의 오브젝트들로 분리되어 인식 또는 검출되는 것을 방지할 수 있다. 아래에서, 도 2 내지 도 15를 참조하여 오브젝트를 검출하는 방법에 대해 상세히 설명된다.
도 2는 일 실시예에 따른 오브젝트를 검출하는 전자 장치를 도시한다.
오브젝트를 검출하는 전자 장치(200)는 통신부(210), 프로세서(220) 및 메모리(230)를 포함한다. 추가적으로, 전자 장치(200)는 레이더 시스템(240)을 더 포함하거나, 전자 장치(200)와는 분리된 레이더 시스템(240)과 연결될 수 있다.
예를 들어, 전자 장치(200)는 차량에 탑재된 장치일 수 있으나, 기재된 실시예로 한정되지 않는다. 차량은 자율 주행 차량 또는 ADAS(Advanced Driver Assistance Systems)을 지원하는 차량일 수 있다.
통신부(210)는 프로세서(220), 메모리(230) 및 레이더 시스템(240)과 연결되어 데이터를 송수신한다. 통신부(210)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다. 이하에서 "A"를 송수신한다라는 표현은 "A를 나타내는 정보(information) 또는 데이터"를 송수신하는 것을 나타낼 수 있다.
통신부(210)는 전자 장치(200) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(210)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(210)는 전자 장치(200)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(210)는 인터페이스(interface)일 수 있다. 통신부(210)는 외부의 장치로부터 데이터를 수신하여, 프로세서(220) 및 메모리(230)에 데이터를 전송할 수 있다.
프로세서(220)는 통신부(210)가 수신한 데이터 및 메모리(230)에 저장된 데이터를 처리한다. "프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(220)는 메모리(예를 들어, 메모리(230))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(220)에 의해 유발된 인스트럭션들을 실행한다.
메모리(230)는 통신부(210)가 수신한 데이터 및 프로세서(220)가 처리한 데이터를 저장한다. 예를 들어, 메모리(230)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 알고리즘을 갱신할 수 있도록 코딩되어 프로세서(220)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.
일 측면에 따르면, 메모리(230)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.
메모리(230)는 전자 장치(200)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 전자 장치(200)를 동작 시키는 명령어 세트는 프로세서(220)에 의해 실행된다.
통신부(210), 프로세서(220), 메모리(230) 및 레이더 시스템(240)에 대해, 아래에서 도 3 내지 도 15를 참조하여 상세히 설명된다.
도 3은 일 실시예에 따른 오브젝트를 검출하는 방법의 흐름도이다.
아래의 단계들(310 내지 340)는 도 2를 참조하여 전술된 전자 장치(200)에 의해 수행된다.
단계(310)에서, 전자 장치(200)는 레이더 시스템(240)의 송신 안테나를 통해 레이더 전송 신호를 전송한다. 예를 들어, 송신 안테나는 복수의 안테나들을 포함할 수 있고, 복수의 안테나들에 의해 레이더 전송 신호로서 시분할 다중화 주파수 변조 연속파(Time-Division Multiplexing Frequency-Modulated Continuous-Wave, TDM FMCW)가 레이더 시스템(240)의 주변으로 전송될 수 있다. TDM FMCW는 복수의 안테나들 각각에 의해 전송되는 복수의 처프(chirp) 신호들로 구성될 수 있다. TDM FMCW에 대해, 아래에서 도 4를 참조하여 상세히 설명된다.
특정 시간 구간에 전송되는 레이더 전송 신호는 특정 시간 구간의 장면 내에 있는 오브젝트들을 검출하기 위한 것일 수 있다. 예를 들어, 제1 레이더 전송 신호 및 제1 레이더 전송 신호에 기초하여 검출되는 제1 시간의 장면 내에 있는 오브젝트들은 서로 연관될 수 있다.
단계(320)에서, 전자 장치(200)는 레이더 시스템(240)의 수신 안테나를 통해 레이더 수신 신호를 수신한다. 레이더 수신 신호는 레이더 전송 신호가 레이더 시스템(240)의 주위의 적어도 하나의 오브젝트에 의해 반사된 신호이다. 수신 안테나는 복수의 안테나들을 포함할 수 있고, 복수의 안테나들 각각이 레이더 수신 신호를 수신할 수 있다.
수신 안테나들 간의 거리에 의해 동일한 시각에 대해 수신 안테나들 각각이 수신하는 레이더 수신 신호들이 서로 상이하다. 즉, 수신 안테나들 간의 거리에 의해 레이더 수신 신호들의 TOF(time of flight)가 달라짐으로써, 레이더 수신 신호들의 수신 타이밍이 달라진다. 또한, 오브젝트가 이동함에 따라 동일한 수신 안테나에 대해서도 수신 타이밍이 달라질 수 있다. 복수의 수신 안테나들의 수신 타이밍들 간의 차이에 기초하여 반사 지점에 대한, 거리, 속도 및 각도 등이 결정될 수 있다.
레이더 수신 신호에 대해, 아래에서 도 4를 참조하여 상세히 설명된다.
단계(330)에서, 전자 장치(200)는 오브젝트에 의해 반사된 레이더 수신 신호를 처리함으로써 하나 이상의 반사 지점들에 대한 데이터 세트를 생성한다. 데이터 세트는 오브젝트 검출 정보일 수 있다. 예를 들어, 데이터 세트는 반사 지점들 각각에 대한 거리, 속도, 및 각도 정보를 포함할 수 있다. 즉, 데이터 세트는 3차 텐서(3th order tensor)일 수 있다. 복수 개의 반사 지점들은 하나의 오브젝트에서 발생한 반사 지점들일 수 있고, 복수의 오브젝트들에서 발생한 반사 지점들일 수도 있다. 수신된 레이더 수신 신호를 샘플링 주기, 처프 신호 순서, 송신 안테나, 송수신 안테나들의 배열 형태에 따라 분류한 뒤, 고속 푸리에 변환(Fast Fourier Transform: FFT) 등의 신호 처리 프로세스를 적용하면, 레이더 시스템(240)과 반사 지점 간의 거리, 속도 및 각도가 결정될 수 있다. 예를 들어, 제1 레이더 전송 신호에 대해 제1 데이터 세트가 생성된다.
일 측면에 따르면, 반사 지점들에 대한 데이터 세트는 3차원의 데이터 큐브의 형태를 나타낼 수 있다. 예를 들어, 데이터 세트는 3차원의 데이터 큐브의 형태를 나타내는 매트릭스, 테이블 또는 자료 구조의 형식일 수 있고, 기재된 실시예로 한정되지 않는다. 데이터 세트가 매트릭스와 같은 3차원의 데이터 큐브로 나타나는 경우, 반사 지점의 거리, 속도 및 각도에 대응하는 3차원의 데이터 큐브 내의 위치가 결정될 수 있다. 타겟 반사 지점에 대한 3차원 데이터 큐브 내의 위치가 타겟 복셀(voxel) 좌표로서 결정될 수 있다. 예를 들어, 타겟 복셀 좌표의 복셀 값은 타겟 반사 지점에 의한 레이더 수신 신호의 신호 강도에 대응할 수 있다. 3차원 데이터 큐브에 대해 아래에서 도 5를 참조하여 상세히 설명된다.
단계(340)에서, 전자 장치(200)는 데이터 세트에 기초하여 반사 지점들에 대응하는 레이더 시스템(240) 주변의 오브젝트를 검출한다. 예를 들어, 하나 이상의 반사 지점들에 기초하여 오브젝트의 클래스, 크기, 위치 및 속도 중 적어도 하나가 오브젝트의 정보로서 결정되고, 오브젝트의 정보에 기초하여 오브젝트가 검출될 수 있다. 검출된 오브젝트는 오브젝트의 크기 및 위치에 의해 형상화되고, 클래스에 의해 분류될 수 있다.
일 측면에 따르면, 전자 장치(200)는 데이터 세트를 입력으로 하는 오브젝트 검출 알고리즘을 통해 오브젝트를 검출한다. 오브젝트 검출 알고리즘은 데이터 세트에 기초하여 오브젝트를 검출하도록 미리 갱신(또는, 훈련)될 수 있다.
오브젝트 검출 알고리즘은 뉴럴 네트워크 기반의 오브젝트 검출 모델일 수 있다. 예를 들어, 오브젝트 검출 알고리즘은 DNN(Deep Neural Network)에 기초한 알고리즘일 수 있다. 다른 예로, 오브젝트 검출 알고리즘은 CNN(Convolutional Neural Network)에 기초한 알고리즘일 수 있다. CNN에 기초한 오브젝트 검출 알고리즘은 레이더 이미지 내의 오브젝트를 인지하고 구별하는 구역 기반 컨볼루션 신경망(Region-based Convolution Neural Network: R-CNN)에 기초한 알고리즘일 수 있다. R-CNN은 오브젝트의 속도에 관한 인자(factor)를 더 고려한 한단계 방법 모델(One-Stage Method)에 기초한 알고리즘일 수 있다. 오브젝트 검출 모델은 다양한 뉴럴 네트워크에 기초하여 미리 생성될 수 있고, 기재된 실시예로 한정되지 않는다.
데이터 세트는 오브젝트 검출 알고리즘의 종류에 따라 변형 또는 후-처리될 수 있다. 예를 들어, 데이터 세트가 3차원 매트릭스이고, 매트릭스의 깊이(depth)가 4 이상인 경우, FFT를 위한 빈(bin)들의 개수를 조정함으로써 데이터 세트가 변형될 수 있다. 다른 예로, 매트릭스의 깊이가 3인 경우, 데이터 세트에 기초하여 레이더 이미지가 생성될 수 있다. 전자 장치(200)는 데이터 세트에 기초하여 레이더 이미지를 생성하고, 레이더 이미지를 입력으로 하는 오브젝트 검출 알고리즘을 통해 오브젝트를 검출한다. 레이더 이미지가 이용되는 경우, 종래의 CNN에 기초한 오브젝트 검출 모델이 오브젝트 검출을 위해 이용될 수 있다. 레이더 이미지에 기초하여 오브젝트를 검출하는 방법에 대해, 아래에서 도 7 내지 도 14를 참조하여 상세히 설명된다.
오브젝트를 검출하기 위해 이용되는, 오브젝트 검출 알고리즘은 레이더 시스템(240)에 포함된 안테나들의 배열 형태 및 레이더 전송 신호의 형태 중 적어도 하나에 따라 다르게 설정될 수 있다. 예를 들어, 안테나들의 배열 형태 및 레이더 전송 신호의 형태에 대응하는 알고리즘의 동작 모드가 설정될 수 있다. 일 예에 따른 알고리즘 갱신 방법에 대해 아래에서 도 16 내지 18을 참조하여 상세히 설명된다.
레이더 시스템(240) 주변에서 검출된 오브젝트에 기초하여 전자 장치(200)를 포함하는 장치의 동작이 결정될 수 있다. 예를 들어, 차량이 전자 장치(200)를 포함하는 경우, 차량의 이동 경로 등이 오브젝트에 기초하여 결정될 수 있다.
도 4는 일 예에 따른 레이더 전송 신호 및 레이더 수신 신호를 도시한다.
일 측면에 따르면, 레이더 전송 신호(400)는 제1 신호(410), 제2 신호(420) 및 제3 신호(430)로 구성된다. 제1 신호(410), 제2 신호(420) 및 제3 신호(430) 각각은 주파수 변조 연속파(Frequency Modulated Continuous Wave: FMCW)일 수 있다. 제1 신호(410)는 제1 전송 안테나(Tx1)에 의해 전송되고, 제2 신호(420)는 제2 전송 안테나(Tx2)에 의해 전송되고, 제3 신호(430)는 제3 전송 안테나(Tx3)에 의해 전송된다. 제1 신호(410), 제2 신호(420) 및 제3 신호(430) 각각이 겹치지 않게 전송되도록 시분할될 수 있다. 즉, 레이더 전송 신호(400)는 시분할 다중화 주파수 변조 연속파(Time-Division Multiplexing Frequency-Modulated Continuous-Wave, TDM FMCW)일 수 있다.
도시된 레이더 전송 신호(400)는 제1 신호(410), 제2 신호(420) 및 제3 신호(430)로 구성된 하나의 신호 세트를 포함하고 있으나, 실시예에 따라 레이더 전송 신호(400)는 미리 설정된 개수의 복수의 신호 세트들을 포함할 수 있다. 복수의 신호 세트들의 개수는, 전자 장치(200)가 레이더 수신 신호를 처리하는 성능에 따라 달라질 수 있다. 신호 처리 성능이 좋을수록, 복수의 신호 세트들의 개수가 증가할 수 있다.
레이더 시스템(240)은 복수의 전송 안테나들을 통해 레이더 전송 신호(400)를 전송한다. 레이더 전송 신호(400)는 오브젝트(440)의 특정 반사 지점들에 의해 반사되고, 레이더 시스템(240)은 복수의 수신 안테나들을 통해 레이더 수신 신호들(450, 460, 470)을 수신한다. 예를 들어, 제1 수신 안테나(Rx1)는 레이더 수신 신호(450)를 수신하고, 제2 수신 안테나(Rx2)는 레이더 수신 신호(460)를 수신하고, 제3 수신 안테나(Rx3)는 레이더 수신 신호(470)를 수신할 수 있다. 수신 안테나들 간의 간격에 따라 각 수신 안테나가 레이더 수신 신호를 수신하는 타이밍이 달라진다. 오브젝트(440)로부터 거리가 멀수록 레이더 수신 신호를 수신하는 타이밍이 늦어진다. 레이더 수신 신호들이 수신된 타이밍들 간의 차이 등에 기초하여 오브젝트(440)의 반사 지점들에 대한 거리, 속도, 및 각도가 결정될 수 있다.
예를 들어, 제1 신호(410), 제2 신호(420) 및 제3 신호(430)가 신호 세트를 구성하고, 복수의 신호 세트들이 전송된 경우, 제1 신호(410)에 대응하는 레이더 수신 신호들(450, 460, 470) 내의 동일한 처프 신호들에 대한 샘플링 주기에 기초하여 반사 지점에 대한 거리가 결정될 수 있다.
예를 들어, 제1 신호(410), 제2 신호(420) 및 제3 신호(430)가 신호 세트를 구성하고, 복수의 신호 세트들이 전송되고, 제1 전송 안테나(Tx1) 및 제1 수신 안테나(Rx1)가 쌍(pair)으로 설정된 경우, 제1 신호(410)에 대응하는 레이더 수신 신호(450) 내의 동일한 처프 신호들을 샘플링한 결과에 기초하여 반사 지점에 대한 속도가 결정될 수 있다.
예를 들어, 제1 전송 안테나(Tx1) 및 제1 수신 안테나(Rx1)가 제1 쌍, 제1 전송 안테나(Tx1) 및 제2 수신 안테나(Rx2)가 제2 쌍 및 제1 전송 안테나(Tx1) 및 제3 수신 안테나(Rx3)가 제3 쌍으로 설정된 경우, 제1 쌍 내지 제3 쌍을 이용하여 레이더 수신 신호들(450, 460, 470)을 처리한 결과에 기초하여 반사 지점이 위치한 각도가 결정될 수 있다.
도 5는 일 예에 따른 오브젝트의 반사 지점들에 대해 생성된 데이터 세트를 나타내는 3차원의 데이터 큐브를 도시한다.
도 3을 참조하여 전술된 반사 지점들에 대한 데이터 세트는 반사 지점에 대한 속도 정보, 거리 정보 및 각도 정보 각각에 대한 필드를 포함할 수 있다. 각각의 필드들을 시각적으로 나타내는 경우, 필드들을 축들(속도 축, 거리 축 및 각도 축)로 하는 3차원 공간 상에 반사 지점들이 대응될 수 있다. 반사 지점들이 위치된 3차원 공간의 일부가 데이터 큐브(500)로 명명될 수 있다. 예를 들어, 데이터 큐브(500)의 전체 크기는 설정한 레이더 안테나들의 배열 형태와 레이더 전송 신호의 특성에 따라 결정될 수 있다. 레이더 안테나들의 배열 형태 및 레이더 전송 신호의 특성에 따라 반사 지점의 최대 거리, 최대 속도 및 최대 각도가 결정될 수 있고, 결정된 최대 거리, 최대 속도 및 최대 각도에 기초하여 데이터 큐브(500)의 크기가 미리 결정될 수 있다.
데이터 큐브(500)가 생성된 경우 데이터 큐브(500) 내에 오브젝트(440)의 반사 지점에 대한 복셀(510)의 좌표가 결정될 수 있다. 복셀 좌표의 복셀 값은 반사 지점에 의한 레이더 수신 신호의 신호 강도에 대응한다. 반사 지점들의 속도들, 거리들, 및 각도들에 기초하여 복셀 좌표의 복셀 값이 결정될 수 있다.
도 6은 일 예에 따른 데이터 세트에 기초하여 오브젝트들을 검출하는 방법을 도시한다.
예를 들어, 데이터 큐브(610) 내에 복수의 반사 지점들에 대응하는 복셀들(611, 612, 613)이 위치할 수 있다. 복셀들(611, 612, 613) 각각의 복셀 좌표는 해당 복셀에 대응하는 반사 지점의 거리, 속도 및 각도를 나타낼 수 있다. 복셀들(611, 612, 613) 각각의 복셀 값은 반사 지점에 의한 레이더 수신 신호의 신호 강도를 나타낼 수 있다.
복셀들(611, 612, 613)의 복셀 좌표 및 복셀 값의 입력에 기초하여 오브젝트 검출 알고리즘(620)은 출력(630)으로서 하나 이상의 오브젝트들을 검출할 수 있다. 예를 들어, 검출된 제1 오브젝트는 복셀(611)에 대응하는 반사 지점을 갖는 사람일 수 있고, 검출된 제2 오브젝트는 복셀들(612, 613)에 대응하는 반사 지점들을 갖는 트레일러일 수 있다. 오브젝트 검출 알고리즘(620)은 분리된 복셀들(612, 613)이 하나의 트레일러에 의해 각각 나타난 반사 지점들임을 결정할 수 있다.
일 예에 따른, 오브젝트 검출 알고리즘(620)을 갱신하는 방법에 대해 아래에서 도 16 내지 18을 참조하여 상세히 설명된다.
도 7은 일 예에 따른 반사 시점들을 나타내는 타겟 이미지에 기초하여 오브젝트를 검출하는 방법의 흐름도이다.
일 측면에 따르면, 오브젝트 검출 알고리즘의 종류에 따라 알고리즘에 입력되는 데이터 세트가 적응적으로 변형될 수 있다. 예를 들어, 오브젝트 검출 알고리즘이 이미지를 처리하는 알고리즘인 경우, 데이터 세트에 기초하여 반사 지점의 위치 및 반사 신호의 강도를 나타내는 레이더 이미지가 알고리즘의 입력으로서 생성될 수 있다. 이미지는 2차원의 데이터이므로 3차원의 데이터 세트는 2차원으로 변형되어야 할 수 있다. 오브젝트 검출 알고리즘이 이미지를 처리하는 알고리즘인 경우, 도 3을 참조하여 전술된 단계(340)는 아래의 단계들(710 및 720)을 포함할 수 있다.
단계(710)에서, 전자 장치(200)는 데이터 세트에 기초하여 미리 설정된 2차원의 평면 상에 반사 지점들을 나타냄으로써 레이더 이미지인, 타겟 이미지를 생성한다. 즉, 타겟 이미지는 알고리즘의 종류에 따라 데이터 세트를 변형시킨 알고리즘의 입력이다. 2차원의 평면은 레이더 시스템(240)을 기준으로 하는 조감 시점의 평면일 수 있다. 2차원의 평면에 대해 아래에서 도 10을 참조하여 상세히 설명된다.
반사 지점은 타겟 이미지의 특정한 픽셀의 좌표에 대응하고, 반사 지점에 대한 신호 강도는 픽셀 값에 대응할 수 있다. 즉, 타겟 이미지는 반사 지점들의 위치 및 신호의 강도를 이미지로 나타내는 이미지일 수 있다. 반사 지점의 픽셀 좌표 및 픽셀 값을 결정하는 방법에 대해, 아래에서 도 8 및 9를 참조하여 상세히 설명된다.
단계(720)에서, 전자 장치(200)는 타겟 이미지를 입력으로 하는 오브젝트 검출 알고리즘을 통해 오브젝트를 검출한다. 오브젝트 검출 알고리즘은 레이더 이미지에 기초하여 오브젝트를 검출하도록 미리 갱신(또는, 훈련)될 수 있다. 오브젝트 검출 알고리즘은 레이더 시스템(240)에 포함된 안테나들의 배열 형태에 따라 다르게 설정될 수 있다. 예를 들어, 안테나들의 배열 형태 및 레이더 전송 신호의 형태에 대응하는 알고리즘의 동작 모드가 설정될 수 있다. 일 예에 따른 레이더 이미지에 기초하여 오브젝트 검출 알고리즘을 갱신하는 방법에 대해 아래에서 도 16 내지 18을 참조하여 상세히 설명된다.
일 측면에 따르면, 오브젝트 검출의 결과로서 적어도 하나의 반사 지점을 포함하도록 오브젝트의 영역이 타겟 이미지 내에 설정될 수 있다. 동일한 오브젝트에 의해 발생한 반사 지점들이 동일한 영역에 포함될 수 있다. 타겟 이미지 내에 오브젝트 영역을 설정함으로써 오브젝트를 검출하는 방법에 대해 아래의 도 12를 참조하여 상세히 설명된다.
일 측면에 따르면, 반사 지점에 기초한 타겟 이미지의 픽셀들에 기초하여 오브젝트의 클래스가 결정될 수 있다. 타겟 이미지의 픽셀들에 기초하여 오브젝트의 클래스를 결정하는 방법에 대해 아래의 도 13 및 14를 참조하여 상세히 설명된다.
도 8은 일 예에 따른 데이터 세트에 기초하여 타겟 이미지를 생성하는 방법의 흐름도이다.
일 측면에 따른, 도 7을 참조하여 전술된 단계(710)는 아래의 단계들(810 내지 830)을 포함한다.
단계(810)에서, 전자 장치(200)는 타겟 반사 지점에 대한 데이터 세트(예를 들어, 3차원 데이터 큐브) 내의 타겟 복셀 좌표에 기초하여 2차원 평면 내의 타겟 픽셀 좌표를 결정한다. 2차원 평면은 레이더 시스템(240)의 위치에 기초하는 조감 시점을 나타낼 수 있다. 예를 들어, 2차원 평면은 레이더 시스템(240)이 커버하는 영역이 나타나도록 설정될 수 있다. 픽셀 좌표를 결정하는 방법에 대해 아래에서 도 9를 참조하여 상세히 설명된다.
단계(820)에서, 전자 장치(200)는 타겟 복셀의 타겟 복셀 값에 기초하여 미리 설정된 개수의 채널들 각각의 값을 결정한다. 채널들의 개수는 오브젝트 검출 알고리즘에 입력되는 데이터의 형태(예를 들어, 데이터 세트의 깊이)에 따라 미리 결정될 수 있다. 예를 들어, 미리 설정된 개수의 채널들이 3개인 경우, 3개의 채널들은 색깔을 나타내는 R(red), G(green) 및 B(blue) 채널일 수 있다. 타겟 복셀 값에 대한 R, G, 및 B 값들이 각각 결정될 수 있다. 복셀 값이 높을수록 시각적으로 사람에게 뚜렷하게 인지될 수 있도록 R, G, 및 B 값들이 결정될 수 있다. 채널들의 개수 및 각 채널이 나타내는 값은 실시예에 따라 달라질 수 있고, 기재된 실시예로 한정되지 않는다.단계(830)에서, 전자 장치(200)는 채널들 각각의 값에 기초하여 픽셀 좌표의 픽셀 값을 결정한다. 예를 들어, 픽셀 값은 컬러 값일 수 있다.
추가적으로, 전자 장치(200)는 생성된 타겟 이미지 내의 노이즈를 제거할 수 있다. 예를 들어, 미리 설정된 강도 미만의 픽셀 값을 미리 설정된 픽셀 값으로 조정함으로써 타겟 이미지 내의 노이즈가 제거될 수 있다.
도 9는 일 예에 따른 복셀 좌표에 기초하여 2차원 평면 내의 픽셀 좌표를 결정하는 방법의 흐름도이다.
일 측면에 따른, 도 8을 참조하여 전술된 단계(810)는 아래의 단계들(910 및 920)을 포함한다.
단계(910)에서, 전자 장치(200)는 타겟 복셀의 복셀 좌표의 속도 값을 미리 계산된 상수로 변환한다. 예를 들어, 미리 계산된 상수는, 복수의 타겟 복셀들의 속도 축의 값들에 절대 값과 평균 값을 취함으로써 계산될 수 있다. 타겟 복셀의 복셀 좌표의 속도 값을 미리 계산된 상수로 변환함으로써 3차원 데이터 세트가 반사 지점의 거리 및 각도 만을 나타내는 2차원 데이터 세트로 변환될 수 있다.
단계(920)에서, 전자 장치(200)는 타겟 복셀의 변환된 복셀 좌표 및 복셀 값에 기초하여 2차원 평면을 나타내는 타겟 이미지 내의 픽셀 좌표 및 픽셀 값을 결정한다. 픽셀 좌표는 반사 지점의 위치를 나타낼 수 있다.
도 10은 일 예에 따른 오브젝트가 위치하는 장면과 이 장면에 대해 생성된 타겟 이미지를 도시한다.
레이더 시스템(240)이 스캔하는 장면(1000)에는 제1 트레일러(1010) 및 제1 트레일러(1010)의 후방에 위치하는 제2 트레일러(1020)가 존재한다. 레이더 시스템(240)에 의해 트레일러들(1010 및 1020)의 반사 지점들이 검출되고, 검출된 반사 지점들이 타겟 이미지(1050) 상에 나타날 수 있다. 타겟 이미지(1050)는 레이더 시스템(240)의 위치에 대한 장면(1000)의 위치에 관한 이미지일 수 있다. 예를 들어, 타겟 이미지(1050)의 x축은 레이더 시스템(240)의 좌측 및 우측 방향에 대한 거리를 나타내고, y축은 레이더 시스템(240)의 정면 방향에 대한 거리를 나타낼 수 있다.
반사 지점의 위치는 타겟 이미지(1050) 내의 타겟 픽셀의 픽셀 좌표에 대응하고, 반사 지점에 대한 신호 강도는 타겟 픽셀의 픽셀 값에 대응할 수 있다. 예를 들어, 신호 강도가 높을수록 큰 픽셀 값(예를 들어, 시각적으로 강렬한)을 가질 수 있다.
도 11은 일 예에 따른 타겟 이미지 내의 클러스터링된 반사 지점들에 기초하여 오브젝트를 검출하는 방법을 도시한다.
일 측면에 따르면, 도 10을 참조하여 전술된 타겟 이미지(1050)에 기초하여 타겟 이미지(1050) 상의 반사 지점들이 결정 또는 감지되고, 반사 지점들에 기초하여 적어도 하나의 오브젝트가 검출될 수 있다. 예를 들어, 도 3을 참조하여 전술된 단계(330) 또는 도 7을 참조하여 전술된 단계(720)는 아래에서 단계들(1110 및 1130)을 포함할 수 있다.
단계(1110)에서, 전자 장치(200)는 수신한 레이더 수신 신호를 전-처리함으로써 RA(range-angle) 도메인 정보를 타겟 이미지로서 생성한다. 예를 들어, 생성된 타겟 이미지는 도 10을 참조하여 전술된 타겟 이미지(1050)일 수 있다.
단계(1120)에서, 전자 장치(200)는 타겟 이미지에 주변 신호 강도(surrounding signal strength)에 따라 임계 값이 결정된 CFAR(constant false alarm rate)를 적용함으로써 반사 지점들이 검출된다. 예를 들어, CFAR은 OS-CFAR(ordered statistic constant false alarm rate)일 수 있다.
단계(1130)에서, 전자 장치(200)는 검출된 반사 지점을 클러스터링 기술을 통해 인접한 반사 지점과 그룹화한다. 예를 들어, 사용되는 클러스터링 기술은 DBSCAN(Density-Based Clustering)일 수 있다. 그룹화된 반사 지점들(1141, 1142, 1143)의 각각은 별개의 반사 지점들로 간주될 수 있다.
전자 장치(200)는 그룹화된 반사 지점들(1141, 1142, 1143)의 각각에 기초하여 적어도 하나의 오브젝트들을 검출할 수 있다. 예를 들어, 반사 지점들(1141, 1142, 1143)의 각각에 대응하는 복수의 오브젝트들이 결정될 수 있다.
일 측면에 따르면, 안테나 시스템(240)의 분해능 또는 해상도가 증가함에 따라, 하나의 오브젝트에 의해 나타나는 복수의 반사 지점들이 더욱 잘 구분될 수 있다. 예를 들어, 트레일러와 같이 형상이 길거나 전체의 크기가 큰 오브젝트의 경우, 분해능이 좋은 안테나 시스템(240)은 하나의 오브젝트에 대해 복수의 반사 지점들을 감지할 수 있다. 예를 들어, 영역(1150)이 트레일러의 실제 형상에 대응하지만, 트레일러에 대해 복수의 반사 지점들(1141, 1142, 1143)이 감지될 수 있다.
실제로는 하나의 오브젝트에 의해 나타난 복수의 반사 지점들이, 서로 다른 오브젝트들에서 발생한 것으로 결정된다면 오브젝트 검출 오류가 발생할 수 있다. 예를 들어, 전자 장치(200)가 차량에 탑재된 경우, 오브젝트 검출 오류는 교통 사고로 이어질 수 있으므로, 정확한 오브젝트 검출이 요구된다. 하나의 오브젝트에 의해 복수의 반사 지점들이 감지됨으로써 발생하는 오브젝트 검출 오류를 감소시키기 위해, 타겟 이미지의 입력에 대한 출력으로서 오브젝트를 결정하는 뉴럴 네트워크 기반의 오브젝트 검출 모델(또는, 알고리즘)이 이용될 수 있다.
일 측면에 따르면, 뉴럴 네트워크 기반의 오브젝트 검출 모델은 다양한 타겟 이미지들과 타겟 이미지들 각각에 대한 오브젝트의 GT(ground truth) 정보에 기초하여 미리 훈련될 수 있다. 잘 훈련된 뉴럴 네트워크 기반의 오브젝트 검출 모델에 따르면, 복수의 반사 지점들(1141, 1142, 1143)에 대응하는 트레일러가 오브젝트로서 결정될 수 있고, 트레일러의 위치 및 크기 등이 형상화될 수 잇다.
아래에서 도 12 내지 도 14를 참조하여 뉴럴 네트워크 기반의 오브젝트 검출 모델에 기초하여 오브젝트를 검출하는 방법이 상세하게 설명된다.
도 12는 일 예에 따른 타겟 이미지 내에 설정된 오브젝트의 영역에 기초하여 오브젝트를 검출하는 방법의 흐름도이다.
일 측면에 따른, 도 7을 참조하여 전술된 단계(720)는 아래의 단계들(1210 및 1220)을 포함한다.
단계(1210)에서, 전자 장치(200)는 반사 지점에 대응하는 타겟 이미지의 픽셀들에 기초하여 타겟 이미지 내에 오브젝트의 영역을 설정한다. 오브젝트 검출 알고리즘은 타겟 이미지의 픽셀들의 픽셀 값들에 의해 나타나는 특징들에 기초하여 적어도 하나의 반사 지점의 픽셀을 포함하도록 오브젝트의 영역을 설정한다. 예를 들어, 복수의 반사 지점들을 포함하도록 오브젝트의 영역이 설정될 수 있다. 오브젝트의 영역이 설정됨으로써 오브젝트가 형상화될 수 있다.
단계(1220)에서, 전자 장치(200)는 오브젝트의 영역에 기초하여 오브젝트를 검출한다.
단계들(1210 및 1220)이 시계열적으로 수행되는 것으로 설명되었으나, 단계들(1210 및 1220)은 동시에 수행될 수 있다. 예를 들어, 알고리즘은 타겟 이미지 내의 반사 시점들이 나타내는 오브젝트를 검출함으로써 오브젝트의 영역을 함께 결정할 수 있다. 다른 예로, 알고리즘은 타겟 이미지 내의 반사 시점들이 나타내는 오브젝트의 영역을 결정함으로써 오브젝트를 검출할 수 있다.
도 13은 일 예에 따른 오브젝트의 클래스에 기초하여 오브젝트를 검출하는 방법의 흐름도이다.
일 측면에 따른, 도 12를 참조하여 전술된 단계(720)는 아래의 단계(1310)를 더 포함하고, 단계(1220)는 단계(1320)를 포함할 수 있다.
단계(1310)에서, 전자 장치(200)는 반사 지점에 대응하는 타겟 이미지의 픽셀들에 기초하여 타겟 이미지 내에 오브젝트의 클래스를 결정한다. 예를 들어, 오브젝트의 클래스는, 보행자, 승용차, 및 트레일러 등을 포함할 수 있고, 기재된 실시예로 한정되지 않는다. 오브젝트의 클래스가 결정됨으로써 오브젝트가 종류에 따라 분류될 수 있다.
일 측면에 따라, 단계(1210)가 수행된 후 단계(1310)가 수행되는 경우, 전자 장치(200)는 오브젝트의 영역에 따른 크기를 더 고려하여 오브젝트의 클래스를 결정할 수 있다.
단계(1320)에서, 전자 장치(200)는 오브젝트의 영역 및 클래스에 기초하여 오브젝트를 검출한다.
단계들(1210, 1310 및 1320)이 시계열적으로 수행되는 것으로 설명되었으나, 단계들(1210, 1310 및 1320)은 동시에 수행될 수 있다. 예를 들어, 알고리즘은 타겟 이미지 내의 반사 시점들이 나타내는 오브젝트를 검출함으로써 오브젝트의 영역 및 클래스를 함께 결정할 수 있다. 다른 예로, 알고리즘은 타겟 이미지 내의 반사 시점들이 나타내는 오브젝트의 영역 및 클래스를 결정함으로써 오브젝트를 검출할 수 있다.
도 14는 일 예에 따른 타겟 이미지 내에 설정된 오브젝트의 영역 및 결정된 오브젝트의 클래스를 도시한다.
오브젝트 검출 알고리즘은 타겟 이미지(1050)에 오브젝트의 영역 및 클래스를 결정함으로써 오브젝트를 검출한다. 예를 들어, 오브젝트의 영역(1410) 및 클래스(1406)를 결정함으로써 오브젝트로서 트레일러가 검출될 수 있다. 오브젝트 검출 알고리즘은 반사 지점들(1402 및 1404)이 동일한 오브젝트에 의해 발생한 것으로 결정하고, 반사 지점들(1402 및 1404)을 포함하도록 오브젝트의 영역(1410)을 설정할 수 있다.
다른 예로, 오브젝트의 영역(1420)을 결정함으로써 오브젝트가 검출될 수 있다. 도 10을 참조하면, 제2 트레일러(1020)는 제1 트레일러(1010)에 의해 가려져 있으므로 타겟 이미지(1050)에 나타나는 제2 트레일러(1020)의 반사 지점(1420)은 전체의 일부일 수 있다. 이에 따라, 반사 지점(1420)에 기초하여 오브젝트가 검출될 수 있으나, 오브젝트의 클래스는 정확히 결정되지 않을 수 있다. 예를 들어, 오브젝트의 정확한 클래스가 결정되지 않은 경우, 클래스는 무명(unknown)으로 결정될 수 있다.
오브젝트 검출을 위해 이용되는 도 14의 타겟 이미지(1050)는 CFAR이 적용된 타겟 이미지로 도시되었으나, 타겟 이미지(1050)는 CFAR이 적용된 타겟 이미지에 클러스터링 기술을 더 적용하여 인접한 반사 지점들을 그룹화한 이미지일 수 있다.
도 15는 일 예에 따른 검출된 오브젝트에 기초하여 오브젝트를 추적하는 방법의 흐름도이다.
일 측면에 따르면, 단계(340)가 수행된 후 아래의 단계들(1510 및 1520)이 더 수행될 수 있다.
단계들(310 내지 340)를 통해 검출된 오브젝트는 제1 시간 구간에 대해 검출된 오브젝트일 수 있다. 즉, 단계(330)에서 생성된 데이터 세트는 제1 시간 구간에 대한 것일 수 있다.
단계(1510)에서, 전자 장치(200)는 제2 시간 구간에 대해 단계들(310 내지 340)을 다시 수행함으로써 제2 오브젝트를 검출한다.
단계(1520)에서, 전자 장치(200)는 제2 오브젝트에 기초하여 오브젝트를 추적한다. 예를 들어, 제1 오브젝트 및 제2 오브젝트가 동일한 오브젝트인 경우, 해당 오브젝트의 위치 및 이동 속도 등을 추적할 수 있다. 추가적으로, 전자 장치(200)는 오브젝트를 추적함으로써 미래 시간 구간에 대한 오브젝트의 위치 및 이동 속도 등을 예측할 수 있다.
도 16은 일 실시예에 따른 오브젝트를 검출하는 알고리즘을 갱신하는 전자 장치의 구성도이다.
알고리즘을 갱신하는 전자 장치(1600)는 통신부(1610), 프로세서(1620) 및 메모리(1630)를 포함한다. 예를 들어, 전자 장치(1600)는 도 2 내지 15를 참조하여 전술된 오브젝트 검출 알고리즘을 갱신 또는 훈련시키는 장치일 수 있다. 이하에서 용어 "갱신"은 용어 "훈련"과 상호 교환적으로 이해될 수 있다.
일 측면에 따르면, 전자 장치(1600)는 연산 능력이 우수한 서버일 수 있다. 다른 일 측면에 따르면, 전자 장치(1600)는 전자 장치(200)에 포함되는 장치일 수 있다.
통신부(1610)는 프로세서(1620) 및 메모리(1630)와 연결되어 데이터를 송수신한다. 통신부(1610)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다.
통신부(1610)는 전자 장치(1600) 내의 회로망으로 구현될 수 있다. 예를 들어, 통신부(1610)는 내부 버스 및 외부 버스를 포함할 수 있다. 다른 예로, 통신부(1610)는 전자 장치(1600)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(1610)는 인터페이스일 수 있다. 통신부(1610)는 외부의 장치로부터 데이터를 수신하여, 프로세서(1620) 및 메모리(1630)에 데이터를 전송할 수 있다.
프로세서(1620)는 통신부(1610)가 수신한 데이터 및 메모리(1630)에 저장된 데이터를 처리한다. 프로세서(1620)는 메모리(예를 들어, 메모리(1630))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(1620)에 의해 유발된 인스트럭션들을 실행한다.
메모리(1630)는 통신부(1610)가 수신한 데이터 및 프로세서(1620)가 처리한 데이터를 저장한다. 예를 들어, 메모리(1630)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 알고리즘을 갱신할 수 있도록 코딩되어 프로세서(1620)에 의해 실행 가능한 신텍스들의 집합일 수 있다.
일 측면에 따르면, 메모리(1630)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM, 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.
메모리(1630)는 전자 장치(1600)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 전자 장치(1600)를 동작 시키는 명령어 세트는 프로세서(1620)에 의해 실행된다.
통신부(1610), 프로세서(1620) 및 메모리(1630)에 대해, 아래에서 도 17 및 도 18을 참조하여 상세히 설명된다.
도 17은 일 실시예에 따른 오브젝트를 검출하는 알고리즘을 갱신하는 방법의 흐름도이다.
아래의 단계들(1710 내지 1740)은 도 16을 참조하여 전술된 전자 장치(1600)에 의해 수행된다.
단계(1710)에서, 전자 장치(1600)는 레이더 시스템을 통해 수신된 레이더 시스템 주위의 오브젝트에 의해 반사된 레이더 수신 신호를 처리함으로써 반사 지점들에 대한 3차원의 데이터 세트를 생성한다. 단계(1710)에 대한 설명은 도 3을 참조하여 전술된 단계(330)에 대한 설명으로 대체될 수 있다.
일 측면에 따르면, 3차원 데이터 세트는 갱신될 알고리즘의 종류에 따라 변형 또는 후 처리될 수 있다. 예를 들어, 데이터 세트의 깊이가 4 이상인 경우, FFT를 위한 빈(bin)들의 개수를 조정함으로써 데이터 세트가 변형될 수 있다. 다른 예로, 데이터 세트의 깊이가 3인 경우, 데이터 세트에 기초하여 레이더 이미지가 생성될 수 있다.
단계(1720)에서, 전자 장치(1600)는 각각의 반사 지점이 나타내는 오브젝트에 대한 정보를 GT(ground truth)로서 수신한다. 예를 들어, 전자 장치(1600)의 사용자로부터 반사 지점이 나타내는 실제의 오브젝트에 대한 오브젝트 거리, 속도, 각도 및 클래스 중 적어도 하나가 GT로서 수신될 수 있다. 추가적으로, 서로 떨어져 있는 복수의 반사 지점들이 동일한 오브젝트로부터 발생한 경우, 제1 반사 지점에 대해 제1 반사 지점과 동일한 오브젝트를 나타내는 제2 반사 지점에 대한 정보가 GT로서 수신될 수 있다. GT 정보에 기초하여 데이터 세트의 반사 지점들이 라벨링된다.
도 11에 도시된 타겟 이미지를 참고하면, 트레일러의 형상을 나타내는 영역(1150)에 포함된 감지된 반사 지점들(1141, 1142, 1143)에 대해 트레일러를 나타내는 GT가 수신 및 라벨링된다.
도 12에 도시된 타겟 이미지를 참고하면, 트레일러의 형상을 나타내는 영역(1450)에 포함된 감지된 반사 지점들(1402 및 1404)에 대해 트레일러를 나타내는 GT가 수신 및 라벨링된다.
단계(1730)에서, 전자 장치(1600)는 GT 정보에 기초하여 오브젝트 검출 알고리즘을 갱신한다. 갱신 방법은 지도 학습(supervised learning)일 수 있다. 추가적으로, 수신된 클래스에 더 기초하여 오브젝트 검출 알고리즘이 갱신될 수 있다. 다양한 환경에서 생성된 데이터 세트들 및 데이터 세트들에 대한 GT들을 이용하여 오브젝트 검출 알고리즘이 갱신될 수 있다.
오브젝트 검출 알고리즘이 적절하게 갱신된 경우, 오브젝트 검출 알고리즘은 도 11에 도시된 타겟 이미지의 영역(1150)에 포함된 감지된 반사 지점들(1141, 1142, 1143)에 대해 하나의 오브젝트인 트레일러를 대응시킬 수 있고, 도 12에 도시된 타겟 이미지(1050)의 영역(1410)에 포함된 감지된 반사 지점들(1402 및 1404)에 대해 트레일러를 대응시킬 수 있다.
일 측면에 따르면, 오브젝트 검출 알고리즘 갱신 방법은 레이더 시스템에 포함된 안테나들의 배열 형태 및 레이더 전송 신호의 형태에 대응하는 동작 모드를 결정하는 단계를 더 포함하고, 오브젝트 검출 알고리즘은 동작 모드에 따라 달라질 수 있다.
도 18은 일 예에 따른 반사 시점들이 나타나는 타겟 이미지에 기초하여 오브젝트를 검출하는 알고리즘을 갱신하는 방법의 흐름도이다.
일 측면에 따르면, 오브젝트 검출 알고리즘의 종류에 따라 알고리즘을 갱신하기 위한 GT 정보의 입력 방법이 적응적으로 변형될 수 있다. 예를 들어, 오브젝트 검출 알고리즘이 도 7 내지 도 14를 참조하여 전술된 타겟 이미지를 처리하는 알고리즘인 경우, 단계(1720)는 아래의 단계들(1810 및 1820)을 포함할 수 있고, 단계(1730)는 아래의 단계(1830)을 포함할 수 있다.
단계(1810)에서, 전자 장치(1600)는 데이터 세트에 기초하여 미리 설정된 2차원 평면 상에 반사 시점들을 나타냄으로써 타겟 이미지를 생성한다. 타겟 이미지를 생성하는 방법에 대한 설명은, 도 7을 참조하여 전술된 단계(710)에 대한 설명으로 대체될 수 있다.
단계(1820)에서, 전자 장치(1600)는 타겟 이미지 내의 오브젝트를 나타내는 영역을 GT로서 수신한다. 예를 들어, 전자 장치(1600)의 사용자로부터 오브젝트의 영역 및 오브젝트의 클래스를 수신할 수 있다. 타겟 이미지 내의 적어도 하나의 반사 지점을 포함하도록 오브젝트의 영역이 수신될 수 있다. 떨어져 있는 복수의 반사 지점들이 동일한 오브젝트로부터 발생한 경우, 해당 반사 시점들을 포함하도록 오브젝트의 영역이 설정될 수 있다. GT 정보에 기초하여 타겟 이미지 내의 반사 지점들이 라벨링된다.
단계(1830)에서, 전자 장치(1600)는 오브젝트의 영역이 설정된 타겟 이미지에 기초하여 오브젝트 검출 알고리즘을 갱신한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
200: 전자 장치
210: 통신부
220: 프로세서
230: 메모리
240: 레이더 시스템

Claims (20)

  1. 전자 장치에 의해 수행되는, 오브젝트 검출 방법은,
    레이더 시스템을 이용하여 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 수신하는 단계;
    상기 레이더 수신 신호를 처리함으로써 상기 오브젝트의 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하는 단계; 및
    뉴럴 네트워크 기반의 오브젝트 검출 모델을 이용하여 상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  2. 제1항에 있어서,
    상기 레이더 시스템의 전송 안테나를 통해 레이더 전송 신호를 전송하는 단계
    를 더 포함하고,
    상기 레이더 수신 신호는 상기 레이더 전송 신호가 상기 오브젝트에 의해 반사된 신호인,
    오브젝트 검출 방법.
  3. 제1항에 있어서,
    상기 데이터 세트는 속도 축, 거리 축, 및 각도 축을 포함하고,
    상기 데이터 세트 내에 타겟 반사 지점에 대한 복셀(voxel) 좌표가 결정되고, 상기 복셀 좌표의 복셀 값은 상기 타겟 반사 지점에 의한 상기 레이더 수신 신호의 신호 강도에 대응하는,
    오브젝트 검출 방법.
  4. 제1항에 있어서,
    상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계는,
    상기 오브젝트 검출 모델의 종류에 따라 상기 데이터 세트를 변형하는 단계; 및
    상기 변형된 데이터 세트를 상기 오브젝트 검출 모델에 입력함으로써 상기 오브젝트를 검출하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  5. 제1항에 있어서,
    상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계는,
    상기 데이터 세트에 기초하여 미리 설정된 2차원의 평면 상에 상기 반사 지점들을 나타냄으로써 타겟 이미지를 생성하는 단계; 및
    상기 타겟 이미지에 기초하여 상기 오브젝트를 검출하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  6. 제5항에 있어서,
    상기 데이터 세트 내에 타겟 반사 지점에 대한 복셀(voxel) 좌표가 결정되고, 상기 복셀 좌표의 복셀 값은 상기 타겟 반사 지점에 의한 상기 레이더 수신 신호의 신호 강도에 대응하며,
    상기 타겟 이미지를 생성하는 단계는,
    상기 복셀 좌표에 기초하여 상기 2차원 평면 내의 픽셀 좌표를 결정하는 단계;
    상기 복셀 값에 기초하여 미리 설정된 개수의 채널들 각각의 값을 결정하는 단계; 및
    상기 채널들 각각의 값에 기초하여 상기 픽셀 좌표의 픽셀 값을 결정하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  7. 제6항에 있어서,
    상기 복셀 좌표에 기초하여 상기 픽셀 좌표를 결정하는 단계는,
    상기 복셀 좌표의 속도 값을 미리 계산된 상수로 변환하는 단계; 및
    상기 변환된 복셀 좌표에 기초하여 상기 픽셀 좌표를 결정하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  8. 제7항에 있어서,
    상기 데이터 세트는 속도 축, 거리 축, 및 각도 축을 포함하고,
    상기 상수는, 상기 속도 축의 값들의 절대 값과 평균 값을 취함으로써 계산되는,
    오브젝트 검출 방법.
  9. 제6항에 있어서,
    상기 미리 설정된 개수의 채널들은 R, G 및 B 채널인,
    오브젝트 검출 방법.
  10. 제5항에 있어서,
    상기 타겟 이미지에 기초하여 상기 오브젝트를 검출하는 단계는,
    상기 반사 지점들에 대응하는 상기 타겟 이미지의 픽셀들에 기초하여 상기 타겟 이미지 내에 상기 오브젝트의 영역을 설정하는 단계; 및
    상기 오브젝트의 영역에 기초하여 상기 오브젝트를 검출하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  11. 제10항에 있어서,
    상기 타겟 이미지에 기초하여 상기 오브젝트를 검출하는 단계는,
    상기 반사 지점들에 대응하는 상기 타겟 이미지의 픽셀들에 기초하여 상기 오브젝트의 클래스를 결정하는 단계
    를 더 포함하고,
    상기 오브젝트의 영역에 기초하여 상기 오브젝트를 검출하는 단계는,
    상기 오브젝트의 영역 및 상기 오브젝트의 클래스에 기초하여 상기 오브젝트를 검출하는 단계
    를 포함하는,
    오브젝트 검출 방법.
  12. 제1항에 있어서,
    상기 오브젝트 검출 모델은 상기 레이더 시스템에 포함된 안테나들의 배열 형태(configuration) 및 레이더 전송 신호의 형태 중 적어도 하나에 따라 다르게 설정되는,
    오브젝트 검출 방법.
  13. 제1항에 있어서,
    상기 전자 장치는, 자율 주행 차량 또는 ADAS(Advanced Driver Assistance Systems)을 지원하는 차량에 탑재되는,
    오브젝트 검출 방법.
  14. 제1항에 있어서,
    상기 데이터 세트는 특정한 시간 구간에 대한 것이고,
    제1 시간 구간에 대해 검출된 제1 오브젝트 및 제2 시간 구간에 대해 검출된 상기 제1 오브젝트에 대응하는 제2 오브젝트에 기초하여 오브젝트를 추적하는 단계
    를 더 포함하는,
    오브젝트 검출 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  16. 오브젝트를 검출하는 전자 장치에 있어서,
    오브젝트를 검출하는 프로그램을 수행하는 프로세서; 및
    상기 프로그램을 저장하는 메모리
    를 포함하고,
    상기 프로그램은,
    레이더 시스템을 이용하여 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 수신하는 단계;
    상기 레이더 수신 신호를 처리함으로써 상기 오브젝트의 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하는 단계; 및
    뉴럴 네트워크 기반의 오브젝트 검출 모델을 이용하여 상기 데이터 세트에 기초하여 상기 반사 지점들에 대응하는 상기 오브젝트를 검출하는 단계
    를 수행하는,
    전자 장치.
  17. 제16항에 있어서,
    상기 전자 장치는, 자율 주행 차량 또는 ADAS(Advanced Driver Assistance Systems)을 지원하는 차량에 탑재되는,
    전자 장치.
  18. 전자 장치에 의해 수행되는, 오브젝트 검출 모델 갱신 방법은,
    레이더 시스템을 통해 수신된 적어도 하나의 오브젝트에 의해 반사된 레이더 수신 신호를 처리함으로써 상기 오브젝트의 하나 이상의 반사 지점들에 대한 데이터 세트를 생성하는 단계;
    상기 반사 지점들 각각이 나타내는 오브젝트에 대한 정보를 GT(ground truth)로서 수신하는 단계; 및
    GT 정보에 기초하여 상기 오브젝트 검출 모델을 갱신하는 단계
    를 포함하는,
    오브젝트 검출 모델 갱신 방법.
  19. 제18항에 있어서,
    상기 반사 지점들 각각이 나타내는 오브젝트에 대한 정보를 GT로서 수신하는 단계는,
    상기 데이터 세트에 기초하여 미리 설정된 2차원 평면 상에 반사 시점들을 나타냄으로써 타겟 이미지를 생성하는 단계; 및
    상기 타겟 이미지 내의 오브젝트를 나타내는 영역을 상기 GT로서 수신하는 단계
    를 포함하고,
    상기 GT 정보에 기초하여 상기 오브젝트 검출 모델을 갱신하는 단계는,
    상기 오브젝트의 영역이 설정된 상기 타겟 이미지에 기초하여 상기 오브젝트 검출 모델을 갱신하는 단계
    를 포함하는,
    오브젝트 검출 모델 갱신 방법.
  20. 제18항에 있어서,
    상기 레이더 시스템에 포함된 안테나들의 배열 형태(configuration) 및 레이더 전송 신호의 형태 중 적어도 하나에 대응하는 동작 모드를 결정하는 단계
    를 더 포함하고,
    상기 오브젝트 검출 모델은 상기 동작 모드에 따라 달라지는,
    오브젝트 검출 모델 갱신 방법.
KR1020200059828A 2020-02-20 2020-05-19 레이더 신호에 기초한 오브젝트 검출 방법 및 장치 KR20210106864A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/126,485 US11828873B2 (en) 2020-02-20 2020-12-18 Method and apparatus for detecting object based on transforming voxel to pixel images using radar signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062978870P 2020-02-20 2020-02-20
US62/978,870 2020-02-20

Publications (1)

Publication Number Publication Date
KR20210106864A true KR20210106864A (ko) 2021-08-31

Family

ID=77489527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200059828A KR20210106864A (ko) 2020-02-20 2020-05-19 레이더 신호에 기초한 오브젝트 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US11828873B2 (ko)
KR (1) KR20210106864A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102394024B1 (ko) * 2021-11-19 2022-05-06 서울대학교산학협력단 자율 주행 차량에서 객체 검출을 위한 준지도 학습 방법 및 이러한 방법을 수행하는 장치
CN114563782A (zh) * 2022-03-03 2022-05-31 中国科学院国家天文台 雷达偏移成像的方法及雷达偏移成像装置
KR20240047732A (ko) * 2022-10-05 2024-04-12 한국항공대학교산학협력단 Fmcw 레이다 센서 기반의 사람 및 사물을 분류하는 방법 및 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11536801B1 (en) 2021-10-27 2022-12-27 Aurora Operations, Inc. Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (FMCW) chirps
DE102022129290A1 (de) 2022-11-07 2024-05-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erkennen von Objekten und/oder einer Situation in einer Fahrzeugumgebung
CN116224279B (zh) * 2023-05-08 2023-07-21 之江实验室 一种目标检测的方法、装置、存储介质及电子设备
CN117471421B (zh) * 2023-12-25 2024-03-12 中国科学技术大学 对象跌倒检测模型的训练方法及跌倒检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1196198A (en) * 1967-11-16 1970-06-24 Krupp Gmbh Reflection Position Indicating Apparatus for Reproducing Echo Signals as a P.P.I. Display on a Cathode Ray Tube
DE3279581D1 (en) * 1981-12-28 1989-05-03 Nec Corp Synthetic aperture radar image processing system
JP4079623B2 (ja) 2001-11-13 2008-04-23 富士通テン株式会社 レーダ測距装置
JP5163088B2 (ja) 2007-12-12 2013-03-13 トヨタ自動車株式会社 物体検出装置
US8654197B2 (en) * 2009-03-04 2014-02-18 Raytheon Company System and method for occupancy detection
US20150301167A1 (en) * 2009-12-18 2015-10-22 Christopher Gary Sentelle Detection of movable objects
EP4140414A1 (en) * 2012-03-07 2023-03-01 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
JP6548376B2 (ja) 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10482331B2 (en) 2015-11-20 2019-11-19 GM Global Technology Operations LLC Stixel estimation methods and systems
US20170206434A1 (en) 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US10677894B2 (en) 2016-09-06 2020-06-09 Magna Electronics Inc. Vehicle sensing system for classification of vehicle model
US10942256B2 (en) * 2017-06-05 2021-03-09 Metawave Corporation Intelligent metamaterial radar for target identification
US20190204834A1 (en) 2018-01-04 2019-07-04 Metawave Corporation Method and apparatus for object detection using convolutional neural network systems
EP3561727A1 (en) 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for extracting dynamic information on a scene using a convolutional neural network
EP3570062B1 (en) 2018-05-18 2022-06-29 Aptiv Technologies Limited Radar system and method for receiving and compressing radar signals
US11966673B2 (en) * 2020-03-13 2024-04-23 Nvidia Corporation Sensor simulation and learning sensor models with generative machine learning methods

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102394024B1 (ko) * 2021-11-19 2022-05-06 서울대학교산학협력단 자율 주행 차량에서 객체 검출을 위한 준지도 학습 방법 및 이러한 방법을 수행하는 장치
US11495012B1 (en) 2021-11-19 2022-11-08 Seoul National University R&Db Foundation Semi-supervised learning method for object detection in autonomous vehicle and server for performing semi-supervised learning for object detection in autonomous vehicle
CN114563782A (zh) * 2022-03-03 2022-05-31 中国科学院国家天文台 雷达偏移成像的方法及雷达偏移成像装置
CN114563782B (zh) * 2022-03-03 2024-05-28 中国科学院国家天文台 雷达偏移成像的方法及雷达偏移成像装置
KR20240047732A (ko) * 2022-10-05 2024-04-12 한국항공대학교산학협력단 Fmcw 레이다 센서 기반의 사람 및 사물을 분류하는 방법 및 시스템

Also Published As

Publication number Publication date
US11828873B2 (en) 2023-11-28
US20210302538A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR20210106864A (ko) 레이더 신호에 기초한 오브젝트 검출 방법 및 장치
US11927668B2 (en) Radar deep learning
US11852746B2 (en) Multi-sensor fusion platform for bootstrapping the training of a beam steering radar
KR102695526B1 (ko) 레이더의 해상도 향상 방법 및 장치
US10943355B2 (en) Systems and methods for detecting an object velocity
KR20220119396A (ko) 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정
US11733375B2 (en) Apparatus and method for controlling radar
KR20210096608A (ko) 카메라 및 레이더 프레임들의 초기 융합
US11585896B2 (en) Motion-based object detection in a vehicle radar using convolutional neural network systems
KR20210061597A (ko) 참조 데이터를 이용한 레이더 데이터 처리 장치 및 방법
US20230139751A1 (en) Clustering in automotive imaging
KR20200067629A (ko) 레이더 데이터를 처리하는 장치 및 방법
US12066518B2 (en) GAN-based data synthesis for semi-supervised learning of a radar sensor
KR20210082946A (ko) 레이더 신호 처리 장치 및 방법
CN113792598B (zh) 基于车载摄像头的汽车碰撞预测系统和方法
KR20220066796A (ko) 레이더 신호 처리 방법 및 장치
EP4063910B1 (en) Radar tracking with model estimates augmented by radar detections
US11741843B2 (en) Systems and methods of radar surveillance on-board an autonomous or remotely piloted aircraft
CN113574410A (zh) 自主导航系统的动态控制和配置
EP4306989A1 (en) Generating point clouds with appended features for use in perception
KR102391173B1 (ko) 인공지능 기계학습이 적용된 레이더 센서 개발 방법
US20240094377A1 (en) High resolution radar simulation to train vehicle radar system neural network
WO2024016021A1 (en) Generating point clouds with appended features for use in perception
CN117805824A (zh) 隧道场景内的跟车目标确定方法、装置、设备及存储介质
KR20230153113A (ko) 레이더 모듈

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200519

PG1501 Laying open of application