KR102485359B1 - 현장 적응형 인공지능 모델 강화 방법 - Google Patents
현장 적응형 인공지능 모델 강화 방법 Download PDFInfo
- Publication number
- KR102485359B1 KR102485359B1 KR1020220026324A KR20220026324A KR102485359B1 KR 102485359 B1 KR102485359 B1 KR 102485359B1 KR 1020220026324 A KR1020220026324 A KR 1020220026324A KR 20220026324 A KR20220026324 A KR 20220026324A KR 102485359 B1 KR102485359 B1 KR 102485359B1
- Authority
- KR
- South Korea
- Prior art keywords
- false positive
- data
- image
- image data
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 33
- 230000002708 enhancing effect Effects 0.000 title 1
- 238000011065 in-situ storage Methods 0.000 title 1
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000010191 image analysis Methods 0.000 claims abstract description 24
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 22
- 230000008034 disappearance Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 8
- 238000013213 extrapolation Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000011056 performance test Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
오탐 데이터 및 미탐 데이터를 처리하여 학습 데이터를 구축함으로써 현장에서의 영상분석 성능을 극대화할 수 있는 현장 적응형 인공지능 모델 강화 방법이 개시된다. 상기 인공지능 모델 강화 방법은, (a) 영상 취득부가 영상 데이터를 취득하는 단계, (b) 영상 분석부가 영상 데이터를 분석하여 미탐 또는 오탐된 객체의 관심영역을 추정하는 분석 데이터를 생성하는 단계, 및 (c) 현장 적응형 학습부가 상기 영상 데이터와 상기 분석 데이터를 학습 데이터로 이용해 현장 환경에 적합한 인공지능 모델을 최적화하는 단계를 포함한다.
Description
본 발명은 데이터 구축 자동화 기술에 관한 것으로서, 더 상세하게는 계산량을 높여 효율적으로(높은 정확도로) 오탐 데이터와 미탐 데이터를 처리하여, 기존 영상분석 시스템에서의 고도화 과정 대비 짧은 시간에 모델의 고도화와 업데이트를 할 수 있는 방법에 대한 것이다.
딥러닝 기술은 많은 양의 학습 데이터를 이용하여 모델의 일반화 성능을 높임으로써 다양한 환경에서 강인한 정확도를 보인다.
하지만, 학습에 사용된 데이터가 이 세상의 모든 상황을 반영하지는 못함으로 현장에서 분석 성능의 극대화를 위해서는 각 상황에 대한 최적화 과정이 필요하다.
보편적으로 현장에서의 성능 최적화를 위해서는 제품이 설치된 현장에서 수집된 데이터를 바탕으로 학습 데이터를 구축 후, 모델을 재학습하여 현장에 업데이트가 이루어진다.
하지만, 상기 최적화 과정에서는 최종 업데이트까지는 큰 비용(데이터 전달, 데이터 구축 인력, 데이터 구축 시간 등)이 소요되며 데이터 반출 과정에서 정보 보호 문제가 발생할 수 있다.
그 중, 비용 절감을 위해서는 실제 현장에서 잘못 분석되는(오탐지, 미탐지) 상황에 대하여 학습 데이터 구축을 효율적으로 하는 것이 중요하다.
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 오탐 데이터 및 미탐 데이터를 처리하여 학습 데이터를 구축함으로써 현장에서의 영상분석 성능을 극대화할 수 있는 현장 적응형 인공지능 모델 강화 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 오탐 데이터 및 미탐 데이터를 처리하여 학습 데이터를 구축함으로써 현장에서의 영상분석 성능을 극대화할 수 있는 현장 적응형 인공지능 모델 강화 방법을 제공한다.
상기 인공지능 모델 강화 방법은,
(a) 영상 취득부가 영상 데이터를 취득하는 단계;
(b) 영상 분석부가 영상 데이터를 분석하여 미탐 또는 오탐된 객체의 관심영역을 추정하는 분석 데이터를 생성하는 단계; 및
(c) 현장 적응형 학습부가 상기 영상 데이터와 상기 분석 데이터를 학습 데이터로 이용해 현장 환경에 적합한 인공지능 모델을 최적화하는 단계;를 포함한다.
또한, 상기 (b) 단계는, (b-1) 상기 영상 분석부가 상기 영상 데이터로부터 영상 프레임을 추출하는 단계; (b-2) 상기 영상 분석부가 상기 영상 프레임으로부터 미리 설정되는 객체를 탐지하는 단계; 및 (b-3) 상기 영상 분석부가 상기 객체에 대한 객체 정보를 생성하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (b) 단계는, 상기 (b-3) 단계 이후, 상기 영상 분석부가 상기 영상 데이터 및 상기 객체 정보를 버퍼에 저장하는 단계; 및 상기 영상 분석부가 상기 버퍼에 저장된 상기 영상 데이터 및 상기 객체 정보를 바탕으로 미탐 영상 데이터 또는 오탐 영상 데이터 여부를 판단하여 상기 분석 데이터를 생성하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 분석 데이터는 전후 영상 프레임의 객체 정보를 기반으로 벡터 기반 보외법을 사용하여 미탐 영상 데이터 또는 오탐 영상 데이터에서 관심영역을 추정하여 생성되는 추정 객체 정보인 것을 특징으로 한다.
또한, 상기 (c) 단계는, 상기 현장 적응형 학습부가 상기 분석 데이터를 이용하여 정탐 객체, 오탐 객체, 및 미탐 객체로 판별하는 단계; 상기 현장 적응형 학습부가 상기 정탐 객체, 상기 오탐 객체, 및 상기 미탐 객체를 합하여 상기 학습 데이터로 생성하는 단계; 상기 현장 적응형 학습부가 상기 학습 데이터를 신경망에 적용하여 최적화된 상기 인공지능 모델을 생성하는 단계; 및 상기 현장 적응형 학습부가 상기 인공지능 모델을 테스트하고, 테스트 결과에 따라 상기 신경망에 재적용하거나 업데이트하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 정탐 객체는 정탐 데이터베이스에 바로 저장되며, 상기 오탐 객체는 삭제후 오탐 데이터베이스에 저장되며, 상기 미탐 객체는 크기와 위치를 추정하여 미탐 데이터베이스에 저장되는 것을 특징으로 한다.
또한, 상기 미탐 객체로 판별은 상기 오탐 객체 처리 후 수행되며, 상기 미탐의 4가지 신호와 객체의 가장자리 출현 여부를 바탕으로 미탐 여부를 판별하며, 상기 4가지 신호는 출현 신호, 사라짐 신호, 사리짐후 출현 신호, 및 출현후 사라짐 신호인 것을 특징으로 한다.
또한, 상기 크기와 위치의 추정은 사라짐 신호를 갖는 미탐 객체를 과거 프레임에서 현재 프레임 방향으로 추적하는 전방향 추적 및 출현 신호를 갖는 미탐 객체를 현재 프레임에서 과거 프레임 방향으로 추적하는 역방향 추적을 갖는 시간적 추적, 미탐 발생 프레임과 시간상으로 가장 가까운 프레임에 출현한 참조 객체인 정탐 객체와 가장 유사한 객체를 찾기 위하여 탐색 범위에서 일정 방향 및 속도로 탐색을 수행하는 공간적 탐색, 및 공간적 탐색에서 탐색을 수행하는 각 위치에서 참조 객체와의 유사도를 비교하는 유사도 비교를 통해 이루어지는 것을 특징으로 한다.
또한, 사전에 설정된 임계값보다 높은 유사도를 갖는 화소 영역들을 저장 후, 상기 화소 영역들의 IOU(Intersection Over Union)를 바탕으로 무관한 화소 영역을 배제하며 가중치 기반 투표 방법(Voting - Ensemble Method)을 바탕으로 가장 유사도가 높은 영역이 상기 크기와 위치로 활용되는 것을 특징으로 한다.
또한, 상기 가중치는 실험적으로 결정되는 것을 특징으로 한다.
또한, 상기 객체 정보는 객체 종류, 객체 크기 및 객체 위치를 포함하는 것을 특징으로 한다.
또한, 상기 객체 정보는 상기 객체의 종류, 상기 객체에 대한 객체 존재의 확신도, 상기 객체에 대한 관심영역을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 기존 영상분석 시스템이 가지는 문제를 해결함과 동시에 현장에서의 최적화가 가능하다.
또한, 본 발명의 다른 효과로서는 실제 현장에서 잘못 분석되는(오탐지, 미탐지) 상황에 대하여 학습 데이터 구축을 효율적으로 수행할 수 있다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 현장 적응형 인공지능 모델 강화 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 영상 분석부에서 처리하는 세부 과정을 보여주는 흐름도이다.
도 3은 본 발명의 일실시예에 따른 현장 적응형 학습을 위한 데이터 처리 과정을 보여주는 흐름도이다.
도 4는 도 1에 도시된 현장 적응형 학습부의 세부 개념도이다.
도 5는 본 발명의 일실시예에 따른 오탐, 미탐, 및 정탐의 판별 개념도이다.
도 6은 본 발명의 일실시예에 따른 영상 가장자리 부근 출현 신호 및 영상 가장자리 부근 사라짐 신호의 발생 개념도이다.
도 7은 본 발명의 일실시예에 따른 오탐 판별 및 처리 개념도이다.
도 8은 본 발명의 일실시예에 따른 미탐 판별 개념도이다.
도 9는 본 발명의 일실시예에 따른 보외법으로 확장한 거짓 부 프레임의 개념도이다.
도 10은 본 발명의 일실시예에 따른 보외법으로 확장한 거짓 양 프레임의 개념도이다.
도 2는 도 1에 도시된 영상 분석부에서 처리하는 세부 과정을 보여주는 흐름도이다.
도 3은 본 발명의 일실시예에 따른 현장 적응형 학습을 위한 데이터 처리 과정을 보여주는 흐름도이다.
도 4는 도 1에 도시된 현장 적응형 학습부의 세부 개념도이다.
도 5는 본 발명의 일실시예에 따른 오탐, 미탐, 및 정탐의 판별 개념도이다.
도 6은 본 발명의 일실시예에 따른 영상 가장자리 부근 출현 신호 및 영상 가장자리 부근 사라짐 신호의 발생 개념도이다.
도 7은 본 발명의 일실시예에 따른 오탐 판별 및 처리 개념도이다.
도 8은 본 발명의 일실시예에 따른 미탐 판별 개념도이다.
도 9는 본 발명의 일실시예에 따른 보외법으로 확장한 거짓 부 프레임의 개념도이다.
도 10은 본 발명의 일실시예에 따른 보외법으로 확장한 거짓 양 프레임의 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 현장 적응형 인공지능 모델 강화 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 현장 적응형 인공지능 모델 강화 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 시스템(100)은, 영상 데이터를 취득하는 영상 취득부(110), 취득된 영상 데이터를 분석하여 분석 데이터를 생성하는 영상 분석부(120), 분석 데이터 및 영상 데이터를 저장하는 데이터 저장소(130), 분석 데이터를 이용하여 학습 모델을 생성하는 현장 적응형 학습부(140) 등을 포함하여 구성될 수 있다.
영상 취득부(110)는 영상 데이터를 취득하는 기능을 수행한다. 영상 취득부(110)는 현장에 설치되는 이미지 센서를 통해 생성된 영상 데이터를 취득한다. 물론, 영상 취득부(110)는 통신망을 통해 이미지 센서들과 연결되어 영상 데이터를 취득할 수도 있고, 직접 이미지 센서들과 연결될 수 있다. 이를 위해, 영상 취득부(110)는 통신 모뎀, 메모리 등을 포함하여 구성될 수 있다.
통신망은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다.
그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투쓰(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.
영상 분석부(120)는 영상 취득부(110)를 통해 획득된 영상 데이터를 분석하는 기능을 수행한다. 즉, 영상 이미지로부터 영상을 분석하여 객체 정보를 생성하고, 이 객체 정보를 이용하여 미탐 또는 오탐이 있는지를 확인하고, 미탐 또는 오탐된 객체의 관심영역을 추정하는 분석 데이터를 생성하여 저장한다.
또한, 영상 분석부(120)는 영상 데이터가 동영상인 경우, 정지 영상화 및 크기 조정을 수행한다. 또한, 가공된 데이터에 어노테이션(Annotation)/라벨링(Labeling) 작업을 통하여 학습 데이터를 생성하는 데이터 구축 과정을 수행한다.
데이터 저장소(130)는 영상 취득부(110)를 통해 획득된 영상 데이터, 분석 데이터 등을 저장하는 기능을 수행한다. 이를 위해 데이터 저장소(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버와 관련되어 동작할 수도 있다.
현장 적응형 학습부(140)는 데이터 저장소(130)에 저장된 영상 데이터와 분석 데이터를 이용해 현장 환경에 적합한 인공지능 모델의 성능을 위한 최적화 과정을 수행한다. 또한, 현장 적응형 학습부(140)는 필요에 따라 데이터 저장소(130)에 저장된 영상 데이터, 객체 정보, 분석 데이터를 수정할 수 있다.
도 2는 도 1에 도시된 영상 분석부(120)에서 처리하는 세부 과정을 보여주는 흐름도이다. 도 2를 참조하면, 영상 데이터를 입력받아 영상 분석을 실행하고 버퍼에 저장한다(S210,S220). 부연하면, 영상 데이터로부터 영상 프레임을 추출하여 이 영상 프레임을 입력받아 영상 분석을 수행하여 객체 정보를 생성하여 버퍼에 저장한다. 물론, 원본인 영상 데이터도 버퍼에 저장한다.
도 2는 도 1에 도시된 영상 분석부(120)에서 처리하는 세부 과정을 보여주는 흐름도이다. 도 2를 참조하면, 영상 데이터를 입력받아 영상 분석을 실행하고 버퍼에 저장한다(S210,S220). 부연하면, 영상 데이터로부터 영상 프레임을 추출하여 이 영상 프레임을 입력받아 영상 분석을 수행하여 객체 정보를 생성하여 버퍼에 저장한다. 물론, 원본인 영상 데이터도 버퍼에 저장한다.
부연하면, 2차원 화소값을 갖는 영상 이미지를 입력받아 미리 설정되는 객체를 탐지하는 과정을 거쳐 객체의 종류와 객체 존재의 확신도, 객체에 대한 관심영역 등을 포함하는 객체 정보를 생성하고, 영상 데이터(
)과 해당 영상 데이터에서 생성된 객체 정보(Oi)를 버퍼에 저장한다.
객체의 관심영역은 객체의 위치와 크기 정보를 포함하는 2차원의 박스 형태로 구성된다. 이는 두 개의 점(박스의 최소 좌표와 최대 좌표)로 표현 가능하다.
객체 존재의 확신도는 객체의 관심영역에 객체가 존재할 확률을 의미하며 값은 [0, 1]의 범위를 갖는다. 객체의 관심 영역에 대한 존재 확신도가 낮은 값을 가질수록 해당 객체 정보는 오탐일 가능성이 높아지게 된다.
객체의 종류는 관심영역에 포함된 객체의 분류 결과를 의미하며 차량, 사람, 동물 등으로 구성될 수 있다.
이후, 버퍼에 저장된 영상 데이터와 객체 정보를 바탕으로 미탐 또는 오탐 여부를 판단한다(단계 S230).
객체가 갑자기 탐지된 경우는 아래 식으로 표현할 수 있으며
탐지된 객체가 갑자기 사라진 경우는 아래 식으로 표현할 수 있다.
위 함수에서 Null은 객체가 탐지되지 않았음을 의미하며, Oi는 객체가 탐지된 경우 객체 정보를 의미한다. 여기서 객체 정보 Oi는 객체의 종류와 객체의 존재 확신도, 객체의 관심영역을 포함한다.
미탐은 실제 객체가 출현했지만 객체 탐지 단계에서 객체를 탐지하지 못한 경우이며, 이 경우 프레임에 객체가 출현했다면 해당 객체 정보는 일반적으로 존재 확신도가 높다.
오탐은 탐지할 객체가 없지만 어떤 객체가 탐지된 경우이며, 이 경우 잘못 탐지된 객체 정보의 존재 확신도는 낮다.
미탐/오탐 발생시, 전후 영상 프레임의 객체 정보를 기반으로 벡터 기반 보외법을 사용하여 미탐/오탐 영상 데이터에서 관심영역을 추정하여 생성되는 추정 객체 정보인 분석 데이터를 생성한다(단계 S240).
관심 영역 추정은 미탐 발생의 경우 탐지하지 못한 객체의 위치 정보를 찾는 과정이다. 미탐의 경우 인접 프레임에서 정상적으로 탐지된 객체 정보(관심영역, 존재 확신도, 객체 종류)를 이용하여 객체의 이동 경로 분석 및 움직임 벡터 계산을 하며, 계산된 움직임 벡터를 통하여 미탐이 발생한 프레임의 객체 정보(관심영역, 종류, 존재 확신도)를 추정한다.
관심 영역 추정 과정에서 오탐 발생의 경우에는 잘못 탐지된 객체 정보를 제거하는 과정이다. 일반적으로 잘못 탐지된 객체들은 낮은 존재 확신도를 가진다. 따라서 관심 영역 추정 과정에서 오탐 발생의 경우에는 사전에 설정된 문턱값 대비 낮은 객체 존재 확신도를 갖는 객체의 관심영역에 대하여 오탐 판별 모델을 통하여 객체 정보가 갖는 관심 영역의 객체의 정상/비정상 여부를 판별하며 비정상으로 판별될 경우 해당 객체 정보를 삭제한다.
이후, 영상 데이터 및 분석 데이터는 데이터 저장소(130)의 데이터베이스에 저장된다(단계 S250).
도 3은 본 발명의 일실시예에 따른 현장 적응형 학습을 위한 데이터 처리 과정을 보여주는 흐름도이다. 도 3을 참조하면, 영상 데이터를 입력받아 실시간으로 영상 분석을 실행한다(단계 S310).
이후, 영상 데이터에 대해 오탐 또는 미탐으로 판별하고, 데이터를 수집/가공/구축한다(단계 S330).
이후, 기계 학습을 통해, 현장 환경에서 분석 성능을 극대화하기에 적합한 인공지능 모델을 최적화하고 테스트를 실행한다(단계 S340,S350).
구축된 검증 DB로부터 검증용 데이터 셋을 구성하여 모델의 객관적/주관적 정확도 성능 테스트를 수행한다. 검증용 데이터 셋은 영상과 이에 대응하는 객체 정보(객체의 종류, 객체 존재 확신도, 객체 관심영역)로 구성된다.
객관적 정확도 성능 테스트 과정에서는 전 단계에 학습된 모델이 테스트 영상을 입력 받아 이에 대응하는 객체 정보와의 유사도를 기반으로 모델의 정확도 성능을 검증한다. 객관적 정확도 성능은 객체의 종류별로 Average Precision(AP)를 산출하며, 전체 성능으로는 객체 종류별 Average Precision의 평균인 mAP를 산출한다.
주관적 정확도 성능 테스트 과정에서는 검수자가 육안으로 모델의 탐지 결과를 직접 확인하여 검증한다.
테스트 결과, 재학습이 필요하면 다시 모델 학습이 진행된다(단계 S340).
이와 달리, 테스트 결과, 재학습이 필요없으면 모델을 업데이트한다(단계 S370).
도 4는 도 1에 도시된 현장 적응형 학습부(130)의 세부 개념도이다. 도 4를 참조하면, 영상 분석부(120)로부터 입력되는 분석 데이터를 이용하여 정탐 객체, 오탐 객체, 미탐 객체로 판별할 수 있다. 이러한 판별의 개념을 보여주는 도면이 도 5에 도시되며, 이에 대해서는 후술하기로 한다.
즉, 정탐 객체로 판별되면 정탐 데이터베이스(431)에 저장한다. 이와 달리, 오탐 객체로 판별되면 객체 정보를 삭제하고 오탐 데이터베이스(432)에 저장한다.
한편, 미탐 객체로 판별되면 일련의 추적 과정을 거친후 미탐 객체의 크기와 위치를 추정하여 미탐 데이터베이스(433)에 저장한다.
이들 데이터베이스는 합산기(434)에 의해 학습/검증 데이터베이스(435)에 학습 데이터로 저장된다.
이후, 학습/검증 데이터베이스(435)에 저장된 학습 데이터를 이용하여 모델 학습을 수행한다. 학습은 신경망을 이용하여 수행될 수 있다. 신경망은 입력층과 출력층 사이에 여러층의 은닉층이 있는 구조로 되어 있다. 이는 인간이 데이터 처리에 대한 절차나 규칙을 제시해주지 않아도 기계가 스스로 데이터를 통해 처리규칙을 학습하여 처리하는 방식이다. 신경망은 DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network)이 사용될 수 있다.
모델 학습을 통해 생성된 인공지능 모델을 최적화하고 테스트를 실행한다. 테스트를 실행하여 재학습 여부에 따라 다시 재학습하거나 테스트를 통과한 인공지능 모델로 업데이트한다.
각 상황(정탐, 미탐, 오탐)별 데이터는 검수가 필요할 때 별도의 DB로 관리되며 학습 및 테스트(검증) 과정에서는 구축된 데이터를 활용하여 모델의 고도화를 수행할 수 있다.
또한, 테스트(검증) 과정은 필요시 모델의 객관적인 평가를 위하여 현장 요원이 수행한다.
한편, 분석 데이터 및 영상 데이터는 관제 플랫폼(410)에 제공될 수도 있다.
현장 적응형 학습 기술에서 시스템이 필요로 하는 계산량을 높여 효율적으로(높은 정확도로) 오탐 데이터와 미탐 데이터를 처리하여 기존 영상분석 시스템에서의 고도화 과정 대비 짧은 시간에 모델의 고도화와 업데이트를 할 수 있다. 즉, 본 발명의 일실시예에서는 객체 출현/사라짐 여부를 바탕으로 미탐 상황과 오탐 상황에 대하여 각각 5가지 종류의 신호로 구분한다.
도 5는 본 발명의 일실시예에 따른 오탐, 미탐, 및 정탐의 판별 개념도이다. 도 5를 참조하면, 오탐, 미탐, 정탐 순서로 처리된다. 5가지 종류의 신호는 출현 신호(510), 사라짐 신호(520), 사라짐후 출현신호(530), 출현후 사라짐 신호(540), 완전히 잘못됨 신호(550)이 된다. 출현 신호(510)의 경우, 객체 출현을 기준으로 미탐구간 및 오탐구간이 존재한다. 사라짐 신호(520)의 경우, 객체 사라짐을 기준으로 미탐구간 및 오탐구간이 존재한다. 사라짐후 출현 신호(530)의 경우, 객체 사라짐후 출현을 기준으로 미탐구간 및 오탐구간이 존재한다. 출현후 사라짐 신호(540)의 경우, 객체 출현후 사라짐을 기준으로 미탐구간 및 오탐구간이 존재한다. 완전히 잘못됨 신호(550)의 경우, 객체 출현 및 사라짐이 없다.
이중, 미탐 상황에서 완전한 미탐은 나머지 네 종류의 미탐(출현/사라짐/사라짐 후 출현/출현 후 사라짐) 신호에 현장적응형 학습을 통하여 모델을 고도화할 경우 해결 가능할 것으로 가정한다.
도 6은 본 발명의 일실시예에 따른 영상 가장자리 부근 출현 신호 및 영상 가장자리 부근 사라짐 신호의 발생 개념도이다. 도 6을 참조하면, 오탐 신호는 일반적으로 낮은 객체의 존재 가능도(Objectness 또는 Confidence score)를 가지며 영상분석 시스템에 사용하는 임계치로 무시 가능하다. 따라서, 현장 적응형 시스템은 오탐과 미탐에 대하여 네 종류의 신호(출현/사라짐/사라짐 후 출현/출현 후 사라짐)만을 고려할 수 있다.
영상 가장자리 부근 출현 신호 발생의 경우(610) 및 영상 가장자리 부근 사라짐 신호 발생의 경우(620)가 도시된다.
데이터 판별 과정에서는 존재 가능도(Objectness 또는 Confidence score)를 오탐과 미탐 판별을 위한 사전 조건(또는 Prior Knowledge)으로 활용할 수 있다.
즉, 본 기술에서 고려하는 4종류의 신호가 발생한 경우 객체가 설정한 임계치보다 큰 값을 가진다면 미탐을 의심하며 임계치보다 낮은 값을 갖는 경우에는 오탐을 의심한다.
도 7은 본 발명의 일실시예에 따른 오탐 판별 및 처리 개념도이다. 도 7을 참조하면, 오탐 판별은 영상 분석부로부터 추출된 객체에 대해 각각의 정상/비정상 탐지 모델을 갖는다. 영상 데이터로부터 추출된 객체 정보는 객체 종류, 객체 크기, 객체 위치로 구성된다. 따라서, 객체 영역을 추출하고(710), 먹스(720)를 통해 각 객체 종류별로 분리하고, 탐지 모델(730)을 적용하여 비정상, 정상으로 판단한다(740). 이후, 제거 또는 저장한다(750).
도 8은 본 발명의 일실시예에 따른 미탐 판별 개념도이다. 도 8을 참조하면, 미탐 객체처리 과정은 오탐 객체 처리 후 수행됨으로써 미탐의 4가지 신호와 객체의 가장자리 출현 여부를 바탕으로 미탐 여부를 판별한다. 4가지 신호는 출현 신호(810), 사라짐 신호(820), 사라짐후 출현 신호(830), 출현후 사라짐 신호(840)로 이루어진다.
미탐 객체의 크기 및 위치 추정은 시간적 추적, 공간적 탐색, 그리고 유사도 비교로 구성된다.
즉, 시간적 추적은 전방향 추적과 역방향 추적으로 구성된다. 전방향 추적은 사라짐 신호(820)를 갖는 미탐 객체를 과거 프레임에서 현재 프레임 방향으로 추적한다.
역방향 추적은 출현 신호(810)를 갖는 미탐 객체를 현재 프레임에서 과거 프레임 방향으로 추적한다.
공간적 탐색은 미탐 발생 프레임과 시간상으로 가장 가까운 프레임에 출현한 정탐 객체(참조 객체)와 가장 유사한 객체를 찾기 위하여 탐색 범위에서 일정 방향 및 속도로 탐색을 수행한다.
유사도 비교는 공간적 탐색에서 탐색을 수행하는 각 위치에서 참조 객체와의 유사도를 비교하기 위하여, 탐색 대상 화소와 참조 객체의 화소 단위 비교, 영상처리 기반 특징 비교, CNN 기반 특징 비교 결과를 각각 계산하여 사전에 설정된 임계값보다 높은 유사도를 갖는 화소 영역들을 저장 후, 화소 영역의 IOU(Intersection Over Union)를 바탕으로 무관한 화소 영역을 배제하며 가중치 기반 투표 방법(Voting - Ensemble Method)을 바탕으로 가장 유사도가 높은 영역을 미탐 객체의 크기 및 위치로 활용한다.
여기서, 가중치 기반 투표 방법에서 가중치는 실험적으로 결정 가능하다.
도 9는 본 발명의 일실시예에 따른 보외법으로 확장한 거짓 부 프레임(910,920)의 개념도이다. 도 9를 참조하면, 910과 920은 객체 탐지 과정에서 객체가 정상 탐지되다가 미탐이 발생하는 경우와 미탐이 발생하다 정상 탐지되는 경우이다. 이 경우 정상 탐지된 객체 정보에서 신뢰 스코어는 대체적으로 높은 값을 가진다. 따라서 객체가 탐지되지 않은 프레임의 인접 시간에 위치한 프레임들에 사전에 설정된 문턱값보다 높은 객체 신뢰 스코어를 갖는 객체 정보들이 존재할 경우 객체가 탐지되지 않은 프레임을 거짓 부 프레임이라 하고 미탐 프레임으로 간주하여 미탐 객체 추적 과정을 수행하여 객체 정보를 추정하게 된다.
부연하면, 910(사라짐)은 아래 식과 같은 경우로 i번째 프레임 fi 이후로 객체 정보의 신뢰값이 문턱값보다 작은 경우에 거짓 부 프레임(미탐)이 발생하는 경우로 i번째 프레임 이전 프레임의 객체에 대한 벡터 정보를 사용해 거짓 부 프레임에서 객체 정보를 결정한다.
이와 반대로 920(출현)은 아래 식과 같은 경우로 i번째 프레임 fi 이전에 객체 정보의 신뢰값이 문턱값보다 작은 경우에 거짓 부 프레임(미탐)이 발생하는 경우로 i번째 프레임 이후 프레임의 객체에 대한 벡터 정보를 사용해 거짓 부 프레임에서 객체 정보를 결정한다.
도 10은 본 발명의 일실시예에 따른 보외법으로 확장한 거짓 양 프레임(1010,1020)의 개념도이다. 도 10을 참조하면, 1010과 1020은 객체 탐지 과정에서 갑자기 잘못된 객체 정보가 탐지되는 경우와 잘못된 객체정보가 탐지된 후 사라진 경우이다. 일반적으로 오탐이 발생한 경우 객체는 낮은 신뢰 스코어를 가짐으로 사전에 설정된 문턱 값보다 낮은 신뢰 스코어를 갖는 객체가 존재하는 프레임을 거짓 양 프레임이라 하고 오탐이 발생한 프레임으로 간주하며 낮은 신뢰 스코어를 갖는 객체에 대하여 오탐 판별 모델을 거쳐 잘못 탐지된 객체의 경우 해당 객체 정보를 제거한다.
1010(오탐 출현)은 아래 식과 같은 경우로 i번째 프레임 fi 이후로 객체 정보의 신뢰값이 문턱값보다 큰 경우에 거짓 양 프레임(오탐)이 발생하는 경우로 i번째 프레임 이후 프레임에서 발생한 객체 정보(
)를 제거한다.
이와 반대로 1020(오탐 사라짐)은 아래 식과 같은 경우로 i번째 프레임 fi 이전에 객체 정보의 신뢰값이 문턱값보다 큰 경우에 거짓 양 프레임(오탐)이 발생하는 경우로 i번째 프레임 이전 프레임에서 발생한 객체 정보(
)를 제거한다.
또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM: Read Only Memory), 램(RAM: Random Access Memory), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.
여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100: 현장 적응형 인공지능 모델 강화 시스템
110: 영상 취득부
120: 영상 분석부
130: 데이터 저장소
140: 현장 적응형 학습부
110: 영상 취득부
120: 영상 분석부
130: 데이터 저장소
140: 현장 적응형 학습부
Claims (12)
- (a) 영상 취득부(110)가 영상 데이터를 취득하는 단계;
(b) 영상 분석부(120)가 영상 데이터를 분석하여 미탐 또는 오탐된 객체의 관심영역을 추정하는 분석 데이터를 생성하는 단계; 및
(c) 현장 적응형 학습부(140)가 상기 영상 데이터와 상기 분석 데이터를 학습 데이터로 이용해 현장 환경에 적합한 인공지능 모델을 최적화하는 단계;
를 포함하며
상기 (b) 단계는,
(b-1) 상기 영상 분석부(120)가 상기 영상 데이터로부터 영상 프레임을 추출하는 단계;
(b-2) 상기 영상 분석부(120)가 상기 영상 프레임으로부터 미리 설정되는 객체를 탐지하는 단계; 및
(b-3) 상기 영상 분석부(120)가 상기 객체에 대한 객체 정보를 생성하는 단계;
를 포함하고,
상기 (b) 단계는, 상기 (b-3) 단계 이후,
상기 영상 분석부(120)가 상기 영상 데이터 및 상기 객체 정보를 버퍼에 저장하는 단계; 및
상기 영상 분석부(120)가 상기 버퍼에 저장된 상기 영상 데이터 및 상기 객체 정보를 바탕으로 미탐 영상 데이터 또는 오탐 영상 데이터 여부를 판단하여 상기 분석 데이터를 생성하는 단계;를 포함하며,
상기 분석 데이터는 전후 영상 프레임의 객체 정보를 기반으로 벡터 기반 보외법을 사용하여 미탐 영상 데이터 또는 오탐 영상 데이터에서 관심영역을 추정하여 생성되는 추정 객체 정보인 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 (c) 단계는,
상기 현장 적응형 학습부(140)가 상기 분석 데이터를 이용하여 정탐 객체, 오탐 객체, 및 미탐 객체로 판별하는 단계;
상기 현장 적응형 학습부(140)가 상기 정탐 객체, 상기 오탐 객체, 및 상기 미탐 객체를 합하여 상기 학습 데이터로 생성하는 단계;
상기 현장 적응형 학습부(140)가 상기 학습 데이터를 신경망에 적용하여 최적화된 상기 인공지능 모델을 생성하는 단계; 및
상기 현장 적응형 학습부(140)가 상기 인공지능 모델을 테스트하고, 테스트 결과에 따라 상기 신경망에 재적용하거나 업데이트하는 단계;를 포함하는 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
- 제 5 항에 있어서,
상기 정탐 객체는 정탐 데이터베이스(431)에 바로 저장되며, 상기 오탐 객체는 삭제후 오탐 데이터베이스(432)에 저장되며, 상기 미탐 객체는 크기와 위치를 추정하여 미탐 데이터베이스(433)에 저장되는 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
- 제 6 항에 있어서,
상기 미탐 객체로 판별은 상기 오탐 객체 판별 처리 후 수행되며, 상기 미탐의 4 가지 신호와 객체의 가장자리 출현 여부를 바탕으로 미탐 여부를 판별하며, 상기 4가지 신호는 출현 신호(810), 사라짐 신호(820), 사리짐후 출현 신호(830), 및 출현후 사라짐 신호(840)인 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
- 제 7 항에 있어서,
상기 크기와 위치의 추정은 사라짐 신호(820)를 갖는 미탐 객체를 과거 프레임에서 현재 프레임 방향으로 추적하는 전방향 추적 및 출현 신호(810)를 갖는 미탐 객체를 현재 프레임에서 과거 프레임 방향으로 추적하는 역방향 추적을 갖는 시간적 추적, 미탐 발생 프레임과 시간상으로 가장 가까운 프레임에 출현한 참조 객체인 정탐 객체와 가장 유사한 객체를 찾기 위하여 탐색 범위에서 일정 방향 및 속도로 탐색을 수행하는 공간적 탐색, 및 공간적 탐색에서 탐색을 수행하는 각 위치에서 참조 객체와의 유사도를 비교하는 유사도 비교를 통해 이루어지는 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 객체 정보는 객체 종류, 객체 크기 및 객체 위치를 포함하는 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
- 제 1 항에 있어서,
상기 객체 정보는 상기 객체의 종류, 상기 객체에 대한 객체 존재의 확신도, 상기 객체에 대한 관심영역을 포함하는 것을 특징으로 하는 현장 적응형 인공지능 모델 강화 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220026324A KR102485359B1 (ko) | 2022-02-28 | 2022-02-28 | 현장 적응형 인공지능 모델 강화 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220026324A KR102485359B1 (ko) | 2022-02-28 | 2022-02-28 | 현장 적응형 인공지능 모델 강화 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102485359B1 true KR102485359B1 (ko) | 2023-01-06 |
Family
ID=84923955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220026324A Active KR102485359B1 (ko) | 2022-02-28 | 2022-02-28 | 현장 적응형 인공지능 모델 강화 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102485359B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102673850B1 (ko) | 2023-03-14 | 2024-06-11 | 주식회사 비아 | 품질 평가를 이용한 인공지능 비전 모델 학습 실습 시스템 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879735B1 (ko) * | 2017-03-15 | 2018-07-18 | (주)넥셀 | 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 |
| KR101910542B1 (ko) * | 2017-06-21 | 2018-10-22 | 에스케이 텔레콤주식회사 | 객체 검출을 위한 영상분석 서버장치 및 방법 |
| KR20210111516A (ko) | 2020-03-03 | 2021-09-13 | 박병훈 | 맞춤형 인공지능 서비스를 위한 실시간 지능화 플랫폼 구성 |
-
2022
- 2022-02-28 KR KR1020220026324A patent/KR102485359B1/ko active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879735B1 (ko) * | 2017-03-15 | 2018-07-18 | (주)넥셀 | 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 |
| KR101910542B1 (ko) * | 2017-06-21 | 2018-10-22 | 에스케이 텔레콤주식회사 | 객체 검출을 위한 영상분석 서버장치 및 방법 |
| KR20210111516A (ko) | 2020-03-03 | 2021-09-13 | 박병훈 | 맞춤형 인공지능 서비스를 위한 실시간 지능화 플랫폼 구성 |
Non-Patent Citations (1)
| Title |
|---|
| SouYoung Jin et al., "Unsupervised Hard Example Mining from Videos for Improved Object Detection," ECCV 2018 (2018.09.08.)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102673850B1 (ko) | 2023-03-14 | 2024-06-11 | 주식회사 비아 | 품질 평가를 이용한 인공지능 비전 모델 학습 실습 시스템 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3690714B1 (en) | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same | |
| CN110766724B (zh) | 目标跟踪网络训练、跟踪方法及装置、电子设备及介质 | |
| CN110348437B (zh) | 一种基于弱监督学习与遮挡感知的目标检测方法 | |
| CN106971401B (zh) | 多目标跟踪装置和方法 | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| CN110147768B (zh) | 一种目标跟踪方法及装置 | |
| CN111507469A (zh) | 对自动标注装置的超参数进行优化的方法和装置 | |
| CN112668483A (zh) | 一种融合行人重识别和人脸检测的单目标人物跟踪方法 | |
| US20230154016A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN112738470A (zh) | 一种高速公路隧道内停车检测的方法 | |
| Choi et al. | Robust long-term object tracking via improved discriminative model prediction | |
| JP7327077B2 (ja) | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム | |
| CN112418149A (zh) | 一种基于深卷积神经网络的异常行为检测方法 | |
| US20220172378A1 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
| US20230316775A1 (en) | Methods and Systems for Object Tracking | |
| CN115661860A (zh) | 一种狗行为动作识别技术的方法、装置、系统及存储介质 | |
| CN110222585A (zh) | 一种基于级联检测器的运动目标跟踪方法 | |
| CN115862119A (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
| KR102485359B1 (ko) | 현장 적응형 인공지능 모델 강화 방법 | |
| CN116665015A (zh) | 一种基于YOLOv5的红外序列图像弱小目标检测方法 | |
| US20220277552A1 (en) | Object sensing device, learning method, and recording medium | |
| US20230334837A1 (en) | Object detection device, learned model generation method, and recording medium | |
| CN113591593A (zh) | 基于因果干预的异常天气下目标检测方法、设备及介质 | |
| Romain et al. | Semi-supervised learning through adversary networks for baseline detection | |
| Dixon et al. | Predicting uncertainty in vision-based satellite pose estimation using deep evidential regression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220228 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20220502 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20220228 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220718 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221124 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230102 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230103 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |