KR101405085B1 - 차량녹화영상분석 방법 및 장치 - Google Patents
차량녹화영상분석 방법 및 장치 Download PDFInfo
- Publication number
- KR101405085B1 KR101405085B1 KR1020120150869A KR20120150869A KR101405085B1 KR 101405085 B1 KR101405085 B1 KR 101405085B1 KR 1020120150869 A KR1020120150869 A KR 1020120150869A KR 20120150869 A KR20120150869 A KR 20120150869A KR 101405085 B1 KR101405085 B1 KR 101405085B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- traffic light
- candidate region
- distance
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000004458 analytical method Methods 0.000 title description 8
- 230000008859 change Effects 0.000 claims description 24
- 238000001454 recorded image Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일실시예는 블랙박스를 통해 촬영된 화면을 이용하여, 신호등이 정지신호에서 진행신호로 변경되거나 정체구간에서 앞 차량이 이동하는 경우, 운전자에게 정지된 차량을 출발하라는 신호를 제공함으로써, 운전자에게 안전운전을 하는데 도움을 주며, 차량 흐름을 원활하게 하여 교통체증을 예방할 수 있다.
Description
본 발명은 차량녹화영상분석 방법 및 장치에 관한 것으로, 보다 상세하게는 차량에 차량외부의 상황을 녹화(촬영 등)할 수 있는 장치를 통해 녹화된 영상을 이용하여, 정지된 차량의 출발시기를 알려줌으로써 운전자에게 안전운전 및 교통흐름을 원활하게 하는 차량녹화영상분석 방법 및 장치이다.
최근 들어 차량을 제어하기 위해 차량 내에 많은 전자장비가 장착되고, 특히 교통사고가 생겼을 경우, 증거수집을 위해 차량외부를 촬영하는 블랙박스의 보급이 늘어났으며, 그 외 많은 전자장비가 운전자의 운전편의를 위해 대중화되었다.
운전자들은 차량이 정지된 중에 전자장비 또는 내비게이션 등 차량 내의 장치를 제어하는 경우가 많으며, 따라서 정지신호에서 출발신호로 변경되거나, 차량 정체 중 앞 차량이 출발하는 상황을 운전자가 인지하지 못하는 경우가 많아 안전운전 또는 차량흐름을 방해하는 문제점이 있다.
이와 관련하여, 한국공개특허 10-2000-0012994호는 블랙박스를 이용한 기존 기술로, 차량의 전후방 주변 환경 모니터링 장치를 이용하여 차량의 주변을 촬영하는 기술에 대하여 기재하고 있다. 그러나 상기 공개특허는 상술된 문제점을 해결하지 못하였다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
본 발명은 차량의 외부를 촬영할 수 있는 블랙박스를 이용하여 촬영된 화면과 일정한 거리에서 미리 촬영된 신호등의 크기를 이용하여 앞 차량과의 거리 변화 또는 신호등의 패턴을 확인하여 교통 흐름의 변화를 식별할 수 있고, 운전자에게 식별된 결과를 통지하여, 운전자가 주변 상황의 변화를 인지 못 하는 경우를 방지할 수 있다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술정보로서, 반드시 본 발명의 출원 전에 일반공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일실시예는 차량이 정지하고 있는 경우, 블랙박스를 통해 촬영된 화면을 이용하여, 정지신호에서 진행신호로 변경되거나 정체구간에서 앞 차량이 이동하면, 운전자에게 정지된 차량을 출발하라는 신호를 제공하는 차량녹화영상 분석 방법 및 장치에 관한 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따라 차량외부의 상황을 프레임 단위로 연속적으로 촬영하는 단계, 촬영된 복수의 프레임을 저장하는 단계, 상기 프레임에서 제 1 후보영역의 정보를 추출하는 단계, 상기 추출된 제 1 후보영역의 노이즈를 제거하여 제 2 후보영역을 생성하는 단계, 차량의 정지여부를 판단하는 단계를 포함한다.
본 발명의 제 2 측면에 따른, 차량 외부의 상황을 프레임 단위로 연속적으로 촬영하는 촬영부, 촬영된 복수의 프레임을 저장하는 저장부, 상기 프레임에서 제 1 후보영역의 정보를 추출하여, 노이즈를 제거하여 제 2 후보영역을 생성하는 노이즈제거부, 상기 후보영역에서 윤곽선을 찾아내어, 신호등 및 차량 중 적어도 하나를 찾아내고, 상기 신호등과의 거리 및 상기 차량과의 거리 중 적어도 하나를 계산하는 영상분석부, 영상을 분석한 결과에 따라 운전자에게 지시사항을 알리는 알림부를 포함한다.
전술한 본 발명의 과제해결수단 중 어느 하나에 의하면, 본 발명의 일실시예는 블랙박스를 통해 촬영된 화면을 이용하여, 신호등이 정지신호에서 진행신호로 변경되거나 정체구간에서 앞 차량이 이동하는 경우, 운전자에게 정지된 차량을 출발하라는 신호를 제공함으로써, 운전자가 운전을 안전하게 할 수 있도록 하여, 차량흐름을 원할하게 하여 교통체증을 예방할 수 있도록 한다.
도 1 은 본 발명의 일실시예에 따른 차량녹화영상분석장치의 블록도이다.
도 2 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 순서도이다.
도 3 은 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 연속적으로 촬영된 영상의 일부 프레임을 표시한 예시도이다.
도 4 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 후보영역에 신호등이 없는 프레임을 표시한 예시도이다.
도 5 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 후보영역에 신호등이 있는 프레임을 표시한 예시도이다.
도 6 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 신호등과의 거리를 계산하기 위한 참조프레임을 표시한 예시도이다.
도 7 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 앞 차량의 이동에 따른 변화를 표시한 예시도이다.
도 2 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 순서도이다.
도 3 은 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 연속적으로 촬영된 영상의 일부 프레임을 표시한 예시도이다.
도 4 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 후보영역에 신호등이 없는 프레임을 표시한 예시도이다.
도 5 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 후보영역에 신호등이 있는 프레임을 표시한 예시도이다.
도 6 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 신호등과의 거리를 계산하기 위한 참조프레임을 표시한 예시도이다.
도 7 는 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도로 특히 앞 차량의 이동에 따른 변화를 표시한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결" 되어 있다고 할 때, 이는 "직접적으로 연결" 되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 되어있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 차량녹화영상분석장치(블랙박스)에 관한 발명으로 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 본 발명의 일실시예에 따른 차량녹화영상분석장치를 도시한 블록도이다. 우선 각 용어를 정의한 후, 도 1 의 차량녹화영상분석장치의 블록도를 설명한다.
‘프레임’이란 차량녹화영상분석장치에 의해 연속적으로 촬영된 차량의 외부상황 영상 중 특정시간의 차량 외부상황이 담긴 스냅샷 형태의 사진이다.
‘신호등유사정보’는 프레임에 포함된 픽셀정보로서, 프레임내부에 신호등과 유사한 형태(예를 들어, 원형, 화살표, 직사각형 또는 테두리가 라운드처리된 직사각형 등)를 갖는 픽셀정보를 말한다. 신호등유사정보는 본 발명의 프로세스에 의해 실제 신호등인지 여부가 판단되는 대상이다.
‘후보영역’은 프레임에 포함되는 일 영역으로서, 예를 들어, 신호등유사정보가 존재할 대략적인 영역, 정면에 있는 앞 차량이 존재할 대략적인 영역, 차량의 정지여부를 판단할 외부풍경 등 차량의 정지여부를 판단하기 위한 대략적인 영역 및 차량으로부터 신호등 또는 앞 차량까지의 거리를 파악하기 위한 비교 목적물이 존재하는 대략적인 영역이 될 수 있다. 이러한 후보영역은 대체적으로, 차량이 정지되었음이 감지된 시점(즉, 정지시점)에서부터 녹화된 영상의 프레임으로부터 추출될 수 있다. 관련하여 프레임에서 추출한 후보영역이 제 1 후보영역이고, 제 1 후보영역의 노이즈를 제거한 후의 후보영역을 제 2 후보영역이라 한다.
‘참조프레임’이란 일정한 거리에서 촬영한 신호등 이미지로서, 상기 신호등 이미지 내에서의 규격화된 신호등 크기와 촬영 지점에서부터 신호등까지의 거리에 관한 정보를 포함하며, 후보영역에 포함된 신호등 크기와 함께 차량과 신호등 사이의 거리를 계산하는데 이용될 수 있다.
본 발명의 일실시예에 따른 차량녹화영상분석장치(10)는, 촬영부(101), 영상저장부(102), 노이즈제거부(103), 영상분석부(104) 및 알림부(105)를 포함할 수 있다.
촬영부(101)는 스틸컷 형태로 일정한 시간 간격마다 차량의 외부상황을 하나의 영상으로 촬영할 수 있다. 운전자의 설정으로 촬영을 시작할 수 있으며, 차량이 운행 중일 때 또는 차량에 충격이 느껴지는 경우에 촬영을 시작할 수 있다.
영상저장부(102)는 촬영부(101)에서 촬영한 영상을 저장할 수 있으며, 촬영된 영상전부를 저장할 수 있고, 또는, 촬영된 영상을 버퍼에 저장한 후, 상기 촬영된 영상 중 일 프레임을 기준으로 변화가 있는 프레임의 이전 프레임과 이후 프레임의 소정의 개수를 저장할 수 있다.
노이즈제거부(103)는 영상저장부(102)에 저장된 영상의 일부 프레임 중 제 1 후보영역을 추출할 수 있고, 분석을 정확성 및 효율성을 높이기 위해, 중간값 보정(Median filter) 등을 이용하여 노이즈를 제거하여 제 2 후보영역을 생성할 수 있다.
영상분석부(104)는 노이즈제거부(103)에서 노이즈가 제거된 제 2 후보영역을 기준으로 영상을 분석할 수 있으며, 차량이 정지하고 있는지 여부를 복수의 프레임 사이 동일한 픽셀의 변화를 계산하여 판단할 수 있고, 후보영역의 패턴매칭을 위해 윤곽선을 추출할 수 있으며, 추출된 윤곽선을 기준으로 신호등의 패턴(예를 들어, 신호등의 모양, 신호등 불의 배치 구조 등) 또는 자동차의 패턴(예를 들어, 차량의 모양, 차량의 후면에 부착된 차량번호정보 등)이 있는지를 판단할 수 있다.
또한, 영상분석부(104)는 참조 프레임과 촬영된 프레임을 픽셀단위로 비교하여 픽셀의 변화량과 참조프레임이 촬영된 거리 정보를 이용하여, 차량으로부터 신호등까지의 거리, 또는 차량과 앞 차량 간의 거리를 계산할 수 있다.
알림부(105)는 영상분석부(104)에 의해 프레임의 후보영역을 분석하여 결정된 지시사항을 운전자에게 통지할 수 있다. 알림부(105)는 음성으로 지시사항을 통지할 수 있고, 영상 또는 불빛 등 시각적인 방식으로 지시사항을 통지할 수 있다.
도 2 는 본 발명의 일실시예에 따라 차량녹화영상분석장치가 수행하는 차량녹화영상분석방법을 설명하기 위한 순서도이고, 도 3 내지 도 7 을 참조하여 이하에서 후술된다.
도 3 내지 도 7 은 본 발명의 일실시예에 따른 차량녹화영상분석방법을 설명하기 위한 예시도이다.
차량녹화영상분석장치(10)는 차량외부의 상황을 일정한 시간마다 프레임단위로 연속적으로 촬영할 수 있다(S2001).
차량녹화영상분석장치(10)는 복수의 프레임으로 구성된 영상을 촬영할 수 있고, 운전자의 설정에 따라 정해진 초당 촬영 프레임에 따라 차량의 외부상황을 촬영할 수 있다. 차량의 외부상황은 차량녹화영상분석장치(10)가 장착된 차량의 주변상황을 말하며, 특히 차량의 정면을 중심으로 촬영할 수 있다.
예를 들어, 운전자의 설정에 의해 초당 15 프레임을 기준으로 차량전방의 상황을 촬영할 수 있다.
상기와 같이 촬영된 영상은 차량녹화영상분석장치(10)에 전부 저장될 수도 있고, 우선적으로 버퍼에 촬영된 영상이 임시 저장되고, 프레임간 픽셀단위로 변화량을 계산하여, 변화량이 일정한 값을 초과하면, 변화량이 초과된 프레임을 기준으로 앞뒤로 일정한 시간 동안의 영상을 저장할 수 있다. 상기 시간은 운전자에 의해 설정될 수 있다.
도 3 을 참조하면, 차량녹화영상분석장치(10)은 일정한 시간간격으로 처음프레임(301)과 일정한 시간 뒤의 다음프레임(302)을 연속적으로 스냅샷 형태로 촬영하여 영상으로 저장할 수 있다.
차량녹화영상분석을 하기 위해 상기 촬영된 복수의 프레임에 기초하여 상기 차량이 정지되어 있는지 여부를 판단할 수 있다(S2002).
복수의 프레임간 픽셀변화가 기(旣)설정한 값 이하인 경우, 현재 차량이 정지되어 있다고 판단할 수 있다. 특히 프레임 내에 포함된 배경이미지의 픽셀변화를 기준으로 정지여부를 판단하면 차량의 정지여부를 판단하는데 정확성을 높일 수 있다. 프레임 내의 다른 차량의 이미지를 기준으로 정지여부를 판단하면, 운전자의 차량이 정지되어 있어도, 다른 차량은 움직일 수 있기 때문에 차량의 정지 여부를 정확히 판단하기 어렵기 때문이다.
예를 들어, 앞 프레임과 뒤 프레임간의 픽셀에 대한 YUV정보 중 휘도신호를 뺀 값들의 총 합이 일정한 값 이하에 해당하는 경우, 차량이 정지하고 있다고 판단할 수 있다. 휘도신호를 이용하는 이유는 휘도신호에 영상 정보가 집중되어 보다 정확한 판단을 할 수 있기 때문이다.
도 3 을 참조하면, 앞 프레임(301)과 뒤 프레임(302) 중 차량의 외부배경에 해당하는 각각의 영역(303,304) 사이를 비교하면, 앞 프레임(301)의 배경영역(303)과 뒤 프레임(302)의 배경영역(304) 간에 픽셀변화가 있고, 따라서 차량이 이동하고 있다고 판단할 수 있다.
만약, 차량이 정지되어 있지 않다고 판단이 되면, 지속적으로 촬영되는 영상을 분석하여 차량이 정지하고 있는지 여부를 계속 판단할 수 있다.
차량녹화영상분석장치(10)가 복수의 프레임을 비교하여 차량이 정지한 것으로 판단되면, 정지시점부터 촬영한 복수의 프레임에서 제 1 후보영역을 추출할 수 있다(S2003).
S2001 단계에서 촬영된 복수의 프레임은 영상저장부(102)에 저장될 수 있고, 저장된 프레임에서 미리 설정된 특정위치를 제 1 후보영역으로 추출할 수 있거나, 운전자가 설정한 프레임내의 위치를 제 1 후보영역으로 사용할 수 있다.
예를 들어, 차량의 정면을 촬영하는 경우, 신호등의 위치는 프레임의 상단 부분에 표시될 확률이 높고, 앞 차량의 경우 프레임의 중단 부분에 표시될 확률이 높으며, 배경의 경우 하단 또는 양 바깥쪽 부분에 표시될 확률이 높다. 따라서, 녹화 영상분석의 효율성을 높이기 위해 상기 정보가 표시될 확률이 높은 곳(상기 확률은 차량녹화영상분석장치(10)에 의해 기설정되거나 이전 프레임 중 하나 이상을 기초로 분석한 통계에 따라 결정될 수 있음)을 제 1 후보영역으로 하여 잘라내는 방식으로 필요한 정보를 추출할 수 있고, 또는 운전자가 설정한 위치를 제 1 후보영역으로 하여 추출할 수 있다.
도 4 및 도 5 를 참조하면, 차량녹화영상분석장치(10)에 의해 촬영된 프레임(400,500)으로 신호등이 표시될 확률이 높은 상단 부분(501)과 앞 차량이 표시될 확률이 높은 중앙부분(401,502) 그리고 배경이 표시될 확률이 높은 양 바깥쪽부분(402,503)을 잘라내어 제 1 후보영역으로 이용할 수 있다.
이렇게 지정된 제 1 후보영역에 차량녹화영상분석장치(10)는 자동밝기조정(AutoExposure), 역광보정(BLC) 또는 광역역광보정(WideDynamicRange) 기술을 이용하여 제 1 후보영역을 보정할 수 있다. 예를 들어, 촬영 당시 역광방향일 경우 또는 차량이 터널을 나와 광량이 급격히 상승하는 경우 등과 같은 상황에서 촬영된 영상은 물체를 식별하기 어렵기 때문에 분석효율이 낮아지므로, 상기 자동밝기조정, 역광보정 및 광역역광보정 중 하나 이상의 기술을 적용하여 제 1 후보영역의 분석효율을 높일 수 있다.
S2003 단계를 통해 제 1 후보영역이 설정되면, 차량녹화영상분석장치(10)는 제 1 후보영역을 기준으로 분석의 효율성을 높이기 위해 노이즈를 제거하여 제 2 후보영역을 생성할 수 있다(S2004).
S2001 단계에서 차량녹화영상분석장치(10)이 촬영한 차량의 외부상황 영상은 차량의 유리, 외부건물 또는 앞 차량에 의한 난반사 그리고 차량녹화영상분석장치(10) 렌즈의 이물질 등 다양한 이유로 노이즈가 발생할 수 있고, 이러한 노이즈는 영상을 분석하는데 효율성과 정확성을 떨어트린다.
그래서 영상분석의 효율성과 정확성을 높이기 위해, 제 1 후보영역의 노이즈를 제거할 수 있으며 이때 중간값 보정(Median Filter) 또는 Dust &Scrathces필터 등 다양한 노이즈 제거 알고리즘을 이용할 수 있다.
예를 들어, 제 1 후보영역 중 3X3마스크가 씌어진 영역에 픽셀값이 왼쪽 위부터 102, 67, 84, 224, 189, 33, 212, 163, 54이고, 노이즈가 발생한 픽셀값이 189이면, 중간값 보정(Median Filter)을 이용하여 노이즈가 발생한 픽셀값을 102 로 보정하여 노이즈를 제거할 수 있다.
S2003 및 S2004 단계를 통하여 분석의 효율이 높아진 제 2 후보영역에서 차량녹화영상분석장치(10)는 신호등유사정보가 있는지 판단할 수 있다(S2005).
제 2 후보영역에 신호등유사정보가 포함되어 있는지 판단하기 위해 차량녹화영상분석장치(10)는 제 2 후보영역에 포함된 물체들의 윤곽선을 추출할 수 있고, 윤곽선을 추출하기 위해 캐니에지변환(Canny edge transform) 또는 허프변환(Hough transform) 등을 이용할 수 있다.
윤곽선 추출을 위한 파라미터 값은 미리 설정될 수 있거나 운전자의 설정에 따라 변경할 수 있다.
차량녹화영상분석장치(10)는 상기 추출된 윤곽선을 기준으로 신호등유사정보를 찾을 수 있다. 예를 들어, 제 2 후보영역의 윤곽선을 기준으로 신호등유사정보에 해당하는 원형의 물체를 패턴매칭을 통해 찾아낼 수 있다.
도 5 를 참조하면, 프레임(500)의 제 2 후보영역(501,502,503) 중 상단에 위치한 제 2 후보영역(501)에서 신호등유사정보인 원형의 물체를 찾아낼 수 있다.
예를 들어, 제 2 후보영역에서 찾아진 신호등유사정보 중 신호등과 유사할 확률이 높은 일부 신호등유사정보를 잘라내는 방식(예를 들어 제2후보영역에서 원 이미지가 총 5개가 추출된 경우, 상기 5개의 원 이미지 중에서, 원 형상에 가장 가까운 3개의 원 이미지를 추출하고 나머지 2개의 원 이미지는 잘라내는 방식), 즉 Crop 방식으로 신호등유사정보를 획득할 수 있다.
S2005 단계를 통해 제 2 후보영역에 신호등유사정보가 존재하면, 차량녹화영상분석장치(10)는 제 2 후보영역의 신호등유사정보 중 실제 신호등에 해당되는 신호등유사정보를 찾을 수 있다.
예를 들어, 신호등유사정보 중 RGB값이 신호등의 색인 경우 또는 신호등유사정보인 원형이 적어도 2개 이상이 근접하여 위치하고 RGB값이 신호등의 색인 경우에는 신호등으로 판단할 수 있고, 이 부분을 잘라내어 정밀하게 분석할 수 있다.
즉, 상술된 바와 같이, 차량녹화영상분석장치(10)는 패턴매칭을 통해 제 2 후보영역에 신호등유사정보가 존재함을 결정하고 상기 신호등유사정보가 신호등임을 결정할 수 있다. 그리고 상기 신호등까지의 거리가 운전자가 설정한 일정한 거리 이하인지 여부를 판단할 수 있다(S2006).
즉, 차량녹화영상분석장치(10)는 제 2 후보영역에 존재하는 신호등을 찾아낸 후, 운전자가 촬영하거나 제조사가 촬영한 참조프레임에 포함된 신호등의 원의 크기와 제 2 후보영역의 신호등의 원의 크기를 비교하여 차량과 신호등 사이의 거리를 계산할 수 있다.
왜냐하면, 신호등은 규격화된 크기이고, 신호등에 가까워질수록 신호등의 크기가 비례해서 커지기 때문에, 신호등의 크기 변화에 따른 거리의 변화 비율을 미리 측정해 놓으면, 참조프레임을 이용하여 거리를 계산할 수 있다.
도 6 을 참조하면, 일정한 거리에서 신호등(601)을 촬영한 참조프레임(600)으로 차량녹화영상분석장치(10)에 기 저장될 수 있다. 차량녹화영상분석장치(10)는 신호등(601)의 원형 모양 크기를 기준으로, 차량녹화영상분석장치(10)에 촬영된 영상의 신호등의 크기와 참조프레임(600)의 신호등의 크기를 비교하여, 거리를 판단할 수 있다.
예를 들어, 100m 전방의 신호등을 촬영한 참조프레임에 포함된 신호등의 원의 크기와 제 2 후보영역에 포함된 신호등의 원의 크기를 아래와 같은 계산식 1을 이용하여 거리를 계산할 수 있다.
계산식 1 : (100m : 참조프레임에 포함된 신호등의 원의 크기) = (X : 제 2 후보영역에 포함된 신호등의 원의 크기)
이렇게 계산된 거리가 미리 설정된 거리 보다 작으면, 앞 차량의 움직임 여부와 관계없이 신호등의 패턴(예를 들어 신호등의 색상 변화 등)을 분석하여 상기 신호등의 변화에 따라 차량이 출발을 해야 하는지 여부를 판단할 수 있다(S2007).
차량과 신호등 사이의 거리가 미리 설정된 거리보다 작으면, 신호등과 차량 사이에 다른 차량의 수가 적기 때문에 앞 차량의 움직임에 따라 운전자에게 출발 신호를 통지하는 것은 차량의 흐름을 방해할 수 있다. 따라서 신호등의 신호에 의해 출발신호를 통지하는 것이 더 효율적이다.
신호등의 패턴을 분석하는 방법으로, 예를 들어, (신호등의 진행 신호의 위치와 색 그리고 모양은 규격화되어있기에) 신호등 영역의 RGB값을 이용하여 진행신호인지 정지신호인지 판단할 수 있고, 신호등의 밝기 위치 변화를 이용하여 진행신호인지 정지신호인지 판단할 수 있다.
그러나 이와 달리 S2005 단계에서 제 2 후보영역에 신호등유사정보가 없거나, S2006 단계에서 신호등으로부터의 거리가 미리 설정된 거리 초과일 경우에는, 차량과 앞 차량간의 거리변화에 따라 출발신호 통지 여부를 판단할 수 있다(S2008).
차량이 정지하고 있는데 제 2 후보영역에 신호등유사정보가 없는 경우는 차량녹화영상분석장치(10)가 차량이 정체되고 있다고 판단할 수 있다. 따라서 이러한 경우, 운전자에게 출발여부를 알리기 위해서 차량녹화영상분석장치(10)가 앞 차량과의 거리변화여부를 계산하여 판단할 수 있다.
또한, 제 2 후보영역에 신호등유사정보가 존재하나, 신호등유사정보 중 찾아진 신호등으로부터의 거리가 미리 설정된 거리보다 큰 경우에는, 차량의 이동 여부가 신호등의 지시보다 앞 차량의 이동에 따라 결정되므로, 앞 차량의 이동 여부에 따라 차량 출발 지시를 통지하는 것이 효과적일 수 있다.
앞 차량과의 거리변화를 계산하기 위해, 차량녹화영상분석장치(10)는 촬영된 영상의 가운데에 위치하는 제 2 후보영역을 이용할 수 있다. 왜냐하면, 앞 차량의 위치는 촬영된 영상의 가운데에 위치하기 때문이다.
따라서, 상기 제 2 후보영역의 픽셀값이 프레임 사이에 변화하는 경우 앞 차량이 이동한 것으로 판단할 수 있다. 예를 들어, 프레임 사이의 제 2 후보영역의 휘도의 차이가 미리 설정한 값 이상이거나, 앞 차량을 구성하는 픽셀의 위치가 변화하는 경우 앞 차량과의 거리가 변한 것으로 판단할 수 있다.
상술한 바와 같이 앞 차량과의 거리가 변화량이 소정의 값 이상이면 운전자에게 출발신호를 통지하도록 결정할 수 있다.
도 7 을 참조하면, 연속으로 촬영된 앞 프레임(701)과 뒤 프레임(703)사이에 앞 프레임(701)의 제 2 후보영역(702)에 존재하는 앞 차량을 구성하는 픽셀이 뒤 프레임(703)의 제 2 후보영역(704)에서 변화하는 경우, 앞 차량이 출발하는 것으로 판단할 수 있다.
S2007 단계와 S2008 단계에서 각각 운전자에게 출발신호를 알리는 것으로 판단된 경우, 운전자에게 출발신호를 통지할 수 있다(S2009).
이때, 차량녹화영상분석장치(10)는 운전자에게 다양한 방식으로 출발신호를 통지할 수 있다.
예를 들어, 음성을 통해 “차량을 출발하세요” 라고 안내할 수 있고, 시각적인 방식으로 빛을 깜빡일 수 있으며, 별도의 LCD창 등을 이용하여 “출발” 이라는 문자를 표시할 수 있다.
도 3 내지 도 7 을 통해 설명된 실시예에 따른 차량녹화영상분석방법은 컴퓨터에 의해 실행되는 프로그램모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능매체는 컴퓨터 저장매체 및 통신매체를 모두 포함할 수 있다. 컴퓨터 저장매체는 컴퓨터 판독가능명령어, 데이터구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능명령어, 데이터구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터신호의 기타데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보전달매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 차량녹화영상분석장치
101: 촬영부 104: 영상분석부
102: 영상저장부 105: 알림부
103: 노이즈제거부
101: 촬영부 104: 영상분석부
102: 영상저장부 105: 알림부
103: 노이즈제거부
Claims (13)
- 차량에 부착되는 차량녹화영상분석장치가 차량녹화영상을 분석하는 방법에 있어서,
차량외부의 상황을 프레임 단위로 연속적으로 촬영하여 차량녹화영상을 생성하는 단계;
촬영된 복수의 프레임을 저장하는 단계;
상기 촬영된 복수의 프레임에 기초하여 상기 차량의 정지여부를 결정하는 단계;
상기 차량이 정지하고 있다고 결정된 경우, 정지시점에서부터 촬영된 프레임으로부터 제 1 후보영역을 추출하는 단계;
상기 추출된 제 1 후보영역의 노이즈를 제거하여 제 2 후보영역을 생성하는 단계; 및
상기 제 2 후보영역에 기초하여 상기 차량의 운전자에게 지시사항을 통지하는 단계를 포함하고,
상기 차량의 정지여부를 결정하는 단계는,
상기 저장된 프레임 중 소정의 시간 동안의 프레임을 선택하는 단계;
상기 선택된 프레임들 사이의 픽셀위치변화를 계산하는 단계; 및
상기 계산 결과값이 소정의 값 이하인 경우, 차량이 정지하고 있다고 결정하는 단계를 포함하는, 차량녹화영상분석방법.
- 삭제
- 제 1 항에 있어서,
상기 차량의 운전자에게 지시사항을 통지하는 단계는,
상기 제 2 후보영역에 포함된 윤곽선을 추출하는 단계; 및
상기 윤곽선을 이용하여, 상기 제 2 후보영역에서 신호등유사정보를 추출하는 단계를 더 포함하는, 차량녹화영상분석방법.
- 제 3 항에 있어서,
상기 제 2 후보영역에서 신호등유사정보를 추출한 경우, 상기 신호등유사정보가 신호등인지 여부를 결정하는 단계;
상기 신호등유사정보가 신호등인 경우, 미리 저장된 참조프레임의 신호등 크기와 제 2 후보영역의 신호등의 크기를 픽셀단위로 비교하여 상기 제 2 후보영역의 신호등으로부터 차량까지의 거리를 계산하는 단계; 및
상기 신호등으로부터의 차량 거리가 소정 거리 이하인 경우, 상기 프레임간 후보영역내의 신호등의 모양을 분석하는 단계를 더 포함하는, 차량녹화영상분석방법.
- 제 4 항에 있어서,
상기 신호등의 모양을 분석하여 상기 신호등의 변화에 따라 운전자에게 지시사항을 통지하는 단계를 더 포함하는, 차량녹화영상분석방법.
- 제 4 항에 있어서,
상기 신호등으로부터 차량 거리가 소정 거리 초과인 경우, 상기 제 2 후보영역내의 앞 차량과의 거리변화를 계산하는 단계를 포함하는, 차량녹화영상분석방법.
- 제 3 항 있어서,
상기 제 2 후보영역에 신호등유사정보를 추출하지 못한 경우, 상기 제 2 후보영역내의 앞 차량과의 거리변화를 계산하는 단계를 더 포함하는, 차량녹화영상분석방법.
- 제 6 항 또는 제 7 항에 있어서,
상기 제 2 후보영역내의 앞 차량과 거리변화를 계산하는 단계는,
복수의 프레임간 상기 제 2 후보영역의 앞 차량을 구성하는 픽셀의 위치변화를 픽셀단위로 비교하는 단계; 및
상기 비교결과에 따라, 운전자에게 지시사항을 통지하는 단계를 더 포함하는, 차량녹화영상분석방법.
- 차량에 부착되는 차량녹화영상분석장치에 있어서,
차량외부의 상황을 프레임 단위로 연속적으로 촬영하는 촬영부;
촬영된 복수의 프레임을 저장하는 영상저장부;
상기 촬영된 복수의 프레임에 기초하여 상기 차량의 정지여부를 결정하는 영상분석부;
정지시점에서부터 촬영된 프레임에서 제 1 후보영역의 정보를 추출하고, 노이즈를 제거하여 제 2 후보영역을 생성하는 노이즈제거부; 및
상기 제 2 후보영역에 기초하여 상기 차량의 운전자에게 지시사항을 통지하는 알림부를 포함하고,
상기 영상분석부는,
상기 저장된 프레임 중 소정의 시간 동안의 프레임을 선택하고, 상기 선택된 프레임들 사이의 픽셀위치변화를 계산하여, 상기 계산 결과값이 소정의 값 이하인 경우, 차량이 정지하고 있다고 결정하는, 차량녹화영상분석장치.
- 제 9 항에 있어서,
상기 영상분석부는,
상기 제 2 후보영역에서 윤곽선을 추출하고, 상기 제 2 후보영역에 신호등유사정보가 있는 경우, 상기 신호등유사정보가 신호등인지 여부를 결정하는, 차량녹화영상분석장치.
- 제 10 항에 있어서,
상기 영상분석부는,
상기 신호등유사정보가 신호등인 경우, 참조프레임에 포함된 신호등과 상기 제 2 후보영역에 포함된 신호등의 패턴을 픽셀단위로 비교하여 거리를 계산하는, 차량녹화영상분석장치.
- 제 9 항에 있어서,
상기 영상분석부는,
상기 복수의 프레임간 제 2 후보영역의 앞 차량을 구성하는 픽셀의 위치변화를 픽셀단위로 비교하여 앞 차량의 움직임 여부를 판단하는, 차량녹화영상분석장치.
- 제 9 항에 있어서,
상기 영상저장부는,
일정한 거리에서 촬영된 신호등 이미지를 상기 일정한 거리의 거리 정보와 함께 참조프레임으로 저장하는 차량녹화영상분석장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120150869A KR101405085B1 (ko) | 2012-12-21 | 2012-12-21 | 차량녹화영상분석 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120150869A KR101405085B1 (ko) | 2012-12-21 | 2012-12-21 | 차량녹화영상분석 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101405085B1 true KR101405085B1 (ko) | 2014-06-19 |
Family
ID=51132225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120150869A Expired - Fee Related KR101405085B1 (ko) | 2012-12-21 | 2012-12-21 | 차량녹화영상분석 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101405085B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070862A1 (en) * | 2015-10-28 | 2017-05-04 | Volkswagen (China) Investment Co., Ltd. | Control method, control apparatus and control system |
| KR20180042585A (ko) * | 2016-10-18 | 2018-04-26 | 주식회사 에프에스솔루션 | 차량 주행 상태 알림 방법 및 그 장치 |
| KR20190016690A (ko) * | 2017-08-09 | 2019-02-19 | 삼성전자주식회사 | 차량의 주행 제어 방법 및 장치 |
| KR20190046553A (ko) * | 2017-10-26 | 2019-05-07 | 서울대학교산학협력단 | 영상 분석 장치 및 그것의 동작 방법 |
| WO2019190171A1 (ko) * | 2018-03-30 | 2019-10-03 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN113971778A (zh) * | 2021-10-27 | 2022-01-25 | 吉林大学 | 一种远光灯检测、预警系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003002256A (ja) | 2001-06-22 | 2003-01-08 | Matsushita Electric Ind Co Ltd | 車両用ドライブレコーダ |
| JP2003521860A (ja) | 2000-02-04 | 2003-07-15 | セルニウム、インコーポレーテッド | 防犯カメラの自動スクリーニングシステム |
| KR20070074913A (ko) * | 2006-01-11 | 2007-07-18 | 주식회사 현대오토넷 | 영상인식을 이용한 신호등 변경 통보 시스템 및 방법 |
| KR20110115927A (ko) * | 2010-04-16 | 2011-10-24 | 경북대학교 산학협력단 | 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치 |
-
2012
- 2012-12-21 KR KR1020120150869A patent/KR101405085B1/ko not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003521860A (ja) | 2000-02-04 | 2003-07-15 | セルニウム、インコーポレーテッド | 防犯カメラの自動スクリーニングシステム |
| JP2003002256A (ja) | 2001-06-22 | 2003-01-08 | Matsushita Electric Ind Co Ltd | 車両用ドライブレコーダ |
| KR20070074913A (ko) * | 2006-01-11 | 2007-07-18 | 주식회사 현대오토넷 | 영상인식을 이용한 신호등 변경 통보 시스템 및 방법 |
| KR20110115927A (ko) * | 2010-04-16 | 2011-10-24 | 경북대학교 산학협력단 | 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070862A1 (en) * | 2015-10-28 | 2017-05-04 | Volkswagen (China) Investment Co., Ltd. | Control method, control apparatus and control system |
| KR20180042585A (ko) * | 2016-10-18 | 2018-04-26 | 주식회사 에프에스솔루션 | 차량 주행 상태 알림 방법 및 그 장치 |
| KR20190016690A (ko) * | 2017-08-09 | 2019-02-19 | 삼성전자주식회사 | 차량의 주행 제어 방법 및 장치 |
| KR102339776B1 (ko) | 2017-08-09 | 2021-12-15 | 삼성전자주식회사 | 차량의 주행 제어 방법 및 장치 |
| KR20190046553A (ko) * | 2017-10-26 | 2019-05-07 | 서울대학교산학협력단 | 영상 분석 장치 및 그것의 동작 방법 |
| KR101977673B1 (ko) * | 2017-10-26 | 2019-05-13 | 서울대학교산학협력단 | 영상 분석 장치 및 그것의 동작 방법 |
| WO2019190171A1 (ko) * | 2018-03-30 | 2019-10-03 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| KR20190119205A (ko) * | 2018-03-30 | 2019-10-22 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US11430137B2 (en) | 2018-03-30 | 2022-08-30 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| KR102532230B1 (ko) * | 2018-03-30 | 2023-05-16 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN113971778A (zh) * | 2021-10-27 | 2022-01-25 | 吉林大学 | 一种远光灯检测、预警系统及方法 |
| CN113971778B (zh) * | 2021-10-27 | 2024-05-03 | 吉林大学 | 一种远光灯检测、预警系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7228652B2 (ja) | 物体検出装置、物体検出方法およびプログラム | |
| KR101405085B1 (ko) | 차량녹화영상분석 방법 및 장치 | |
| US11205284B2 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
| US8184859B2 (en) | Road marking recognition apparatus and method | |
| CN106611512B (zh) | 前车起步的处理方法、装置和系统 | |
| JP6755161B2 (ja) | 付着物検出装置および付着物検出方法 | |
| CN104798368B (zh) | 车载图像处理装置 | |
| KR20010093930A (ko) | 차량의 차선 이탈 판단 방법 | |
| US20140225723A1 (en) | Image display device and image display method | |
| WO2016076449A1 (en) | Method and system for detecting an approaching obstacle based on image recognition | |
| CN110532903A (zh) | 一种交通灯图像处理的方法和设备 | |
| US7250593B2 (en) | Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium | |
| CN111294564A (zh) | 信息显示方法及可穿戴设备 | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| KR101239718B1 (ko) | 차량 주변 물체 검출 시스템 및 방법 | |
| KR101404658B1 (ko) | 촬영된 영상의 보정값을 고려한 차량녹화영상 분석 방법 및 장치 | |
| JP6152261B2 (ja) | 車載用駐車枠認識装置 | |
| JP6880252B2 (ja) | 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 | |
| JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
| KR101374653B1 (ko) | 차량의 움직임을 검출하는 장치 및 방법 | |
| KR20130070210A (ko) | 영상의 노이즈 제거 방법 | |
| CN113614810A (zh) | 图像处理装置、车辆控制装置、方法和程序 | |
| JP6949090B2 (ja) | 障害物検知装置及び障害物検知方法 | |
| JP2004252550A (ja) | 運転支援装置 | |
| US20130004084A1 (en) | Linear mark detection system, linear mark detection method, and non-transitory computer readable medium storing linear mark detecting program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20121221 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20140114 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140430 |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20140529 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140602 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140602 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170413 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170413 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180530 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180530 Start annual number: 5 End annual number: 5 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20210313 |