KR20190047244A - Apparatus and method for warning contamination of camera lens - Google Patents
Apparatus and method for warning contamination of camera lens Download PDFInfo
- Publication number
- KR20190047244A KR20190047244A KR1020170140891A KR20170140891A KR20190047244A KR 20190047244 A KR20190047244 A KR 20190047244A KR 1020170140891 A KR1020170140891 A KR 1020170140891A KR 20170140891 A KR20170140891 A KR 20170140891A KR 20190047244 A KR20190047244 A KR 20190047244A
- Authority
- KR
- South Korea
- Prior art keywords
- state
- warning
- pollution
- contamination
- camera lens
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- H04N5/2171—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 차량용 카메라를 통해 획득한 다수의 영상들을 심층 신경망(Deep Neural Network)을 활용하여 분석하여 카메라 렌즈의 오염 상태를 경고하는 카메라 렌즈 오염 경고 장치 및 방법에 관한 것이다.The present invention relates to a camera lens pollution warning apparatus and method for warning a pollution state of a camera lens by analyzing a plurality of images acquired through a camera for a vehicle using a deep neural network.
최근에는 운전자가 차량의 주변 상황을 편리하게 확인하여 주행 및 주차 등을 손쉽게 할 수 있도록 카메라를 이용하여 차량의 주변 영상을 제공하는 영상 처리 시스템이 보편적으로 적용되고 있다. 이러한 영상 처리 시스템은 날씨 또는 먼지 등과 같은 외부 요인으로 인해 카메라 렌즈가 오염되면 영상 처리 시 오류를 발생시킬 수 있어 시스템에 대한 신뢰성이 저하될 수 있다.2. Description of the Related Art Recently, an image processing system that provides a peripheral image of a vehicle using a camera has been widely applied so that a driver can conveniently check the surrounding situation of the vehicle and easily perform driving and parking. Such an image processing system may cause an error in the image processing if the camera lens is contaminated due to external factors such as weather or dust, so that the reliability of the system may be deteriorated.
이에, 종래에는 카메라 렌즈의 오염을 검출하기 위해 영상의 명암을 이용하거나 동영상에서 동일 영역의 면적을 계산하거나, 영상의 블러(blur) 현상 또는 에지 맵(edge map)을 이용하는 방법이 대부분이다. 그러나 이러한 종래기술은 특정 종류의 오염물에만 적용가능하거나 특정 환경에서 획득된 영상에서만 적용 가능할 수 있어 제한적이다.Conventionally, in order to detect the contamination of the camera lens, most methods are to use the brightness of the image or to calculate the area of the same area in the moving image, or to use blur phenomenon or edge map of the image. However, this conventional technique is applicable only to a certain kind of pollutants or is limited to be applicable only to images obtained in a specific environment.
본 발명은 차량용 카메라를 통해 획득한 다수의 영상들을 심층 신경망(Deep Neural Network)을 활용하여 분석하여 카메라 렌즈의 오염 상태를 분류하는 카메라 렌즈 오염 경고 장치 및 방법을 제공하고자 한다.An object of the present invention is to provide a camera lens contamination warning device and method for classifying a contamination state of a camera lens by analyzing a plurality of images acquired through a camera for a vehicle using a deep neural network.
또한, 본 발명은 카메라 렌즈의 오염 상태에 따라 상이한 방식으로 운전자에게 경고하는 카메라 렌즈 오염 경고 장치 및 방법을 제공하고자 한다.It is another object of the present invention to provide a camera lens contamination warning device and method for warning a driver in a different manner depending on the contamination state of the camera lens.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 장치는 차량에 탑재된 카메라를 통해 연속되는 영상들을 획득하는 영상 획득기, 상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하고 검출된 오염 상태에 따라 오염 경고 출력을 제어하는 처리기, 및 상기 처리기의 제어에 따라 오염 경고를 출력하는 출력기를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for alerting a camera lens pollution according to an embodiment of the present invention, which includes an image acquirer for acquiring images successively through a camera mounted on a vehicle, A processor for detecting the contamination state of the camera lens and controlling the pollution warning output according to the detected pollution state, and an output device for outputting the pollution warning under the control of the processor.
상기 처리기는, 상기 연속되는 영상들로부터 N개의 연산프레임들을 추출하고 상기 심층 신경망을 활용하여 추출된 N개의 연산프레임들을 분석하여 카메라 렌즈의 오염 상태를 분류하는 오염 상태 분류부, 및 분류된 오염 상태에 따라 오염 경고 방식을 결정하여 오염 경고를 출력하는 오염 상태 경고부를 포함하는 것을 특징으로 한다.Wherein the processor comprises: a pollution state classifier for extracting N operation frames from the continuous images and classifying the pollution state of the camera lens by analyzing N extracted operation frames using the depth network, And a pollution state warning unit for determining a pollution warning system according to the pollution condition and outputting a pollution warning.
상기 오염 상태 분류부는, 정해진 추출 시간 간격으로 상기 연속되는 영상들에서 상기 N개의 연산프레임들을 추출하는 연산프레임 추출부, 심층 신경망 연산을 수행하여 상기 추출된 N개의 연산프레임들로부터 특징값추출하는 특징 추출부, 및 상기 특징 추출부로부터 출력되는 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값에 근거하여 상기 카메라 렌즈의 오염 상태를 결정하는 오염 상태 결정부를 포함하는 것을 특징으로 한다.The pollution state classifying unit may include an operation frame extracting unit for extracting the N operation frames from the continuous images at a predetermined extraction time interval, a feature extracting unit for extracting feature values from the extracted N operation frames by performing a neural network operation, And a pollution state determiner for determining a pollution state of the camera lens based on the calculated probability value, using the feature value output from the feature extraction unit, and calculating a probability value for each pollution state.
상기 연산프레임 추출부는, 이전에 결정된 카메라 렌즈의 오염 상태에 따라 상기 추출 시간 간격을 결정하는 것을 특징으로 한다.Wherein the calculation frame extracting unit determines the extraction time interval according to a previously determined contamination state of the camera lens.
상기 연산프레임 추출부는, 각 오염 상태의 발생 빈도 및 분류 난이도를 고려하여 상기 추출 시간 간격을 결정하는 것을 특징으로 한다.The calculation frame extracting unit may determine the extraction time interval in consideration of the occurrence frequency and the classification difficulty of each contamination state.
상기 특징 추출부는, 상기 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하고, 다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 것을 특징으로 한다.Wherein the feature extraction unit calculates a first intermediate feature value by performing a convolution neural network operation that combines a first operation frame and a second operation frame among the N operation frames, And a feature value is calculated by performing a convolution neural network operation.
상기 특징 추출부는, N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 계산된 특징값을 제2중간 특징값으로 저장하고 상기 다음 연산프레임과 상기 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 과정을 반복하는 것을 특징으로 한다.Wherein the feature extraction unit stores the calculated feature value as a second intermediate feature value until a depth neural network operation is performed on an Nth operation frame, and combines the second operation feature value with the second intermediate feature value, And calculating the feature value by repeating the calculation of the feature value.
상기 오염 상태 결정부는, 상기 오염 상태별 확률값 중 확률값이 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 한다.The pollution state determination unit determines the pollution state of the camera lens as a pollution state in which the probability value of the probability value of each pollution state has the largest probability value.
상기 오염 상태 경고부는, 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나의 경고 방식을 선택하여 상기 카메라 렌즈의 오염 상태를 경고하는 것을 특징으로 한다.The contamination state warning unit may select at least one of a visual warning, an audible warning, and a tactile warning to warn a contamination state of the camera lens.
한편, 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 방법은 차량에 장착된 카메라를 통해 연속되는 영상들을 획득하는 단계, 상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하는 단계, 및 상기 검출된 오염 상태에 따라 오염 경고를 출력하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, the camera lens contamination warning method according to an embodiment of the present invention includes acquiring consecutive images through a camera mounted on a vehicle, analyzing the consecutive images through a neural network, and detecting a contamination state of the camera lens And outputting a pollution warning in accordance with the detected pollution state.
상기 카메라 렌즈의 오염 상태를 검출하는 단계는, 상기 연속되는 영상들에서 정해진 추출 시간 간격으로 N개의 연산프레임들을 추출하는 단계, 상기 N개의 연산프레임들을 순차적으로 심층 신경망 연산을 수행하여 특징값을 계산하는 단계, 및 상기 계산된 특징값에 근거하여 카메라 렌즈의 오염 상태를 분류하는 단계를 포함하는 것을 특징으로 한다.The step of detecting the contamination state of the camera lens may include extracting N operation frames at an extraction time interval determined in the continuous images, calculating depth values by sequentially performing the NN operation frames, And classifying the contamination state of the camera lens based on the calculated feature value.
상기 특징값을 계산하는 단계는, 상기 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하는 단계, 다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 제2중간 특징값을 계산하는 단계, 및 N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 다음 연산 프레임과 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 순차적으로 수행하여 특징값을 계산하는 단계를 포함하는 것을 특징으로 한다.The calculating of the feature value may include calculating a first intermediate feature value by performing a convolution neural network operation that combines a first operation frame and a second operation frame among the N operation frames, Calculating a second intermediate feature value by performing a convolutional neural network operation combining the first intermediate feature value, and calculating a second intermediate feature value, And calculating a feature value by sequentially performing convolution neural network operations that combine the convolution neural network operations.
상기 카메라 렌즈의 오염 상태를 분류하는 단계는, 상기 계산된 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값 중 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 한다.The step of classifying the contamination state of the camera lens may include calculating a probability value for each contamination state using the calculated feature value and determining a contamination state having the largest probability value among the calculated probability values as a contamination state of the camera lens .
상기 오염 경고를 출력하는 단계는, 상기 검출된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 출력하는 것을 특징으로 한다.The outputting of the pollution warning may include outputting at least one of a visual warning, an audible warning, and a tactile warning according to the detected contamination state.
본 발명은 차량용 카메라를 통해 획득한 다수의 영상들을 심층 신경망(Deep Neural Network)을 활용하여 분석하여 카메라 렌즈의 오염 상태를 분류하고 분류된 오염 상태에 대한 정보를 운전자에게 제공할 수 있다.The present invention analyzes a plurality of images acquired through a camera for a vehicle using a Deep Neural Network to classify the contamination state of the camera lens and provide information on the contaminated state to the driver.
또한, 본 발명은 운전자에게 카메라 렌즈의 오염 상태에 대한 정보를 제공하여 카메라 렌즈의 교체 및 세척의 필요성을 인지시킴으로 차량용 카메라를 사용하는 영상 처리 시스템의 신뢰성을 향상시킬 수 있다.Further, the present invention provides the driver with information on the contamination state of the camera lens, recognizes the necessity of replacing and cleaning the camera lens, and thereby improves the reliability of the image processing system using the camera.
또한, 본 발명은 카메라 렌즈의 오염 상태에 따라 운전자가 렌즈를 교체할지, 세척할지를 결정하거나 세척의 시급성을 판단하는 데에 도움을 줄 수 있다.In addition, the present invention can help the driver to decide whether to replace or clean the lens or to determine the urgency of the cleaning according to the contamination state of the camera lens.
또한, 본 발명은 시간 간격을 조절하여 추출한 복수의 영상들을 사용하여 카메라 렌즈의 오염 상태를 판단하므로 오염 여부 판단의 정확도를 높일 수 있다. 따라서, 본 발명은 카메라 렌즈의 오염 상태 오검출로 인한 운전자의 불편을 최소화할 수 있다.In addition, the present invention can determine the contamination state of the camera lens by using a plurality of images extracted by adjusting the time interval, thereby improving the accuracy of the contamination determination. Therefore, the present invention can minimize the inconvenience of the driver due to the contamination state of the camera lens.
또한, 본 발명은 복수의 영상을 효과적으로 계산하기 위해 중간 특징값을 버퍼에 저장하는 방식을 사용함으로써 경고를 출력하기까지의 지연시간을 최소화할 수 있다.In addition, the present invention can minimize the delay time until the warning is output by using the method of storing the intermediate feature value in the buffer to efficiently calculate a plurality of images.
도 1은 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 장치를 도시한 블록구성도.
도 2는 도 1에 도시된 오염 상태 분류부의 블록구성도.
도 3은 도 1에 도시된 오염 상태 분류부의 심층 신경망 구조를 도시한 예시도.
도 4는 도 1에 도시된 오염 상태 경고부의 블록구성도.
도 5는 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 방법을 도시한 흐름도.1 is a block diagram illustrating a camera lens contamination warning device according to an embodiment of the present invention;
2 is a block diagram of the pollution state classifying unit shown in FIG. 1;
3 is an exemplary view showing a depth neural network structure of the pollution state classifying portion shown in Fig.
FIG. 4 is a block diagram of the contamination state warning unit shown in FIG. 1. FIG.
FIG. 5 is a flowchart illustrating a camera lens contamination warning method according to an embodiment of the present invention. FIG.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the difference that the embodiments of the present invention are not conclusive.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. Also, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.
도 1은 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 장치를 도시한 블록구성도이고, 도 2는 도 1에 도시된 오염 상태 분류부의 블록구성도이며, 도 3은 도 1에 도시된 오염 상태 분류부의 심층 신경망(Deep Neural Network, DNN) 구조를 도시한 예시도이고, 도 4는 도 1에 도시된 오염 상태 경고부의 블록구성도이다.FIG. 1 is a block diagram showing a camera lens pollution warning device according to an embodiment of the present invention. FIG. 2 is a block diagram of the pollution state classifying part shown in FIG. 1, FIG. 4 is a block diagram of the contamination state warning unit shown in FIG. 1; FIG.
도 1에 도시된 바와 같이, 카메라 렌즈 오염 경고 장치는 영상 획득기(100), 처리기(200) 및 출력기(300)를 포함한다.1, the camera lens pollution warning device includes an image acquirer 100, a
영상 획득기(100)는 차량에 장착된 적어도 하나 이상의 카메라(들)를 이용하여 차량 주변의 영상을 획득한다. 영상 획득기(100)는 연속되는 영상들(동영상)을 획득한다. 예컨대, 영상 획득기(100)는 전방 카메라, 후방 카메라, 및/또는 측방 카메라(사이드 카메라)를 통해 차량 주위의 외부 영상(전방 영상, 후방 영상 및/또는 측방 영상)을 획득할 수 있다. 영상 획득기(100)는 획득한 영상을 처리기(200)의 입력 데이터(입력 영상)로 제공한다.The image acquirer 100 acquires images of the surroundings of the vehicle using at least one camera (s) mounted on the vehicle. The image acquirer 100 acquires successive images (moving images). For example, the
카메라(미도시)는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등의 영상센서들 중 어느 하나를 포함할 수 있다. 또한, 카메라(미도시)는 표준렌즈, 광각렌즈, 어안렌즈 및 망원렌즈 중 어느 하나의 렌즈를 구비할 수 있다.The camera (not shown) may be a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, a charge priming device (CPD) image sensor, and a charge injection device And may include any one of the image sensors. In addition, the camera (not shown) may include any one of a standard lens, a wide-angle lens, a fish-eye lens, and a telephoto lens.
처리기(200)는 영상 획득기(100)를 통해 획득한 N개의 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 판정하고 판정된 오염 상태에 따라 경고한다. 처리기(200)는 내부 및/또는 외부에 메모리(미도시)를 구비할 수 있다. 메모리(미도시)는 처리기(200)의 동작을 제어하기 위한 프로그램, 설정정보 및 처리기(200)의 입/출력 데이터를 저장할 수 있다.The
처리기(200)는 심층 신경망을 활용하여 획득한 N개의 영상들(연산프레임들)을 분석하여 카메라 렌즈의 오염 상태를 분류하는 오염 상태 분류부(210) 및 오염 상태 분류부(210)에 의해 분류된 오염 상태에 따라 오염 경고를 출력하는 오염 상태 경고부(220)를 포함한다.The
오염 상태 분류부(210)는 도 2에 도시된 바와 같이 연산프레임 추출부(211), 특징 추출부(212) 및 오염 상태 결정부(213)를 포함한다.The pollution
연산프레임 추출부(211)는 영상 획득기(100)를 통해 실시간으로 연속되는 영상들을 입력받는다. 연산프레임 추출부(211)는 연속된 영상들 중에서 정해진 추출 시간 간격 t으로 N개의 연산프레임들을 추출하여 순차적으로 특징 추출부(212)로 전달한다. N개의 연산프레임들은 오염 상태 분류에 사용된다. 연산프레임 추출부(211)는 연속된 영상들로부터 연산프레임을 추출하면 추출한 순서대로 연산프레임 번호를 부여한다. 예를 들어, 연산프레임 추출부(211)는 N개의 연산프레임을 추출하는 경우 연산프레임 번호를 1부터 N까지 순차적으로 부여한다.The operation
연산프레임 추출부(211)는 연산프레임을 추출한 후 전처리하여 특징 추출부(212)의 입력 데이터로 전달한다. 연산프레임 추출부(211)는 추출한 연산프레임의 크기 조절 및 픽셀값 정규화 등의 전처리를 수행한다.The operation
연산프레임 추출부(211)는 이전에 결정된 카메라 렌즈의 오염 상태에 따라 추출 시간 간격 t을 결정한다. 연산프레임 추출부(211)는 오염 상태 결정부(213)에서 출력되는 이전 오염 상태를 고려하여 연산프레임을 추출하는 시간 간격 t을 변경한다. 이때, 오염 상태에 따른 추출 시간 간격은 미리 정해지며 각 오염 상태의 발생 빈도 및 분류 난이도 등이 고려되어 결정될 수 있다. 오염 상태는 비오염, 반투명 오염, 및 불투명 오염 등으로 구분될 수 있다.The calculation
연산프레임 추출부(211)는 학습을 위한 데이터 습득 과정에서 정해지는 발생 빈도 F 및 분류 난이도 L를 고려하여 추출 시간 간격 t을 결정한다.The operation
발생 빈도 F는 실제의 발생 빈도가 아닌 [수학식 1]과 같이 오염 상태별 데이터 개수의 비율로 정해진다.The occurrence frequency F is determined not by the actual occurrence frequency but by the ratio of the number of data per contamination state as shown in [Equation 1].
여기서, ND은 데이터 개수이고, NCD은 오염 상태의 데이터 개수이다.Where N D is the number of data and N CD is the number of data in the contaminated state.
분류 난이도 L는 [수학식 2]와 같이 데이터 내의 오차율로 표현될 수 있다.The classification difficulty level L can be expressed by an error rate in the data as shown in [Equation 2].
여기서, Nerror는 오염 상태의 오류 데이터 개수이다.Here, N error is the number of error data in the contaminated state.
가중치 w는 발생 빈도 F와 분류 난이도 L를 곱하여 정규화한 값으로, [수학식 3]과 같이 정의할 수 있다.The weight w is a value normalized by multiplying the occurrence frequency F by the classification difficulty L and can be defined as Equation (3).
여기서, Nmin-error는 오염 상태별 오류 개수 중 최소 오류 데이터 개수이다.Here, N min-error is the minimum number of error data among the number of errors per contamination state.
추출 시간 간격 t은 [수학식 4]와 같이 기본 추출 시간 간격 tdefault을 비례 상수로 하여 가중치 w에 비례하여 결정된다.The extraction time interval t is determined in proportion to the weight w with the basic extraction time interval tdefault being a proportionality constant as in Equation (4).
오염 상태 분류의 경우 배경에 큰 영향을 받으며 비오염 상태의 발생 빈도가 아주 작기 때문에 일단 오염 상태라고 분류하면 어려운 배경에 의한 오류라고 판단하여 배경의 다양성을 확보하기 위해 연산프레임 추출 시간 간격을 증가시킨다. 이과정에서 분류 난이도와 발생 빈도를 고려하는 이유는 판단이 오류가 아닌 경우 이후의 판단이 분류 난이도와 발생 빈도에 강인하게 안정적인 판단을 유지하도록 하기 위함이다. 또한, 발생 빈도가 데이터 내의 비중으로써 정의되는 이유는 알고리즘 기준에서의 발생 빈도는 실제 발생 빈도가 아닌 데이터 내의 발생 빈도이며 실제의 발생 빈도와 너무 차이가 심하기 때문이다.Since pollution status classification is greatly influenced by the background and the occurrence frequency of non-pollution is very small, it is judged that it is an error caused by difficult background once it is classified as a pollution state, so that the calculation frame extraction time interval is increased . The classification difficulty and the frequency of occurrence are considered in this process because if the judgment is not an error, the subsequent judgment is to maintain a stable judgment that is robust to classification difficulty and occurrence frequency. Also, the occurrence frequency is defined as the weight in the data because the occurrence frequency in the algorithm reference is not the actual occurrence frequency but the occurrence frequency in the data, which is too different from the actual occurrence frequency.
특징 추출부(212)는 제1심층 신경망을 적용하여 N개의 연산프레임들로부터 특징(특징값)을 추출(계산)한다. 여기서, 심층 신경망으로는 콘볼루션 신경망(Convolutional Neural Network, CNN)이 사용될 수 있다. 콘볼루션 신경망은 하나 이상의 콘볼루션 계층(convolutional layer), 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성되는 신경망이다.The
예를 들어, 도 3에 도시된 바와 같이, 특징 추출부(212)는 1번째 연산프레임 f1이 입력되면 콘볼루션 신경망(CNN0) 연산을 수행하여 1번째 연산프레임 f1의 특징값을 계산한다. 즉, 특징 추출부(212)는 콘볼루션 신경망(CNN0)을 활용하여 1번째 연산프레임 f1으로부터 특징을 추출하는 것이다. 특징 추출부(212)는 계산된 특징값을 버퍼(buffer)에 저장한다.For example, as shown in FIG. 3, when the first calculation frame f 1 is input, the
이후, 특징 추출부(212)는 2번째 연산프레임 f2이 입력되면 2번째 연산프레임 f2에 대해 콘볼루션 신경망(CNN0) 연산을 수행하여 2번째 연산프레임 f2의 특징값을 계산한다. 특징 추출부(212)는 계산된 특징값과 버퍼에 저장된 특징값을 결합하는 콘볼루션 신경망(combiner CNN1) 연산을 수행하여 제1중간 특징값을 계산하고 계산된 제1중간 특징값을 버퍼에 저장한다.Then, the
특징 추출부(213)는 3번째 연산프레임 f3이 입력되면 콘볼루션 신경망(CNN0)을 이용하여 3번째 연산프레임 f3의 특징값을 계산한다. 특징 추출부(213)는 계산된 3번째 연산프레임 f3의 특징값과 버퍼에 저장된 제1중간 특징값을 결합하는 콘볼루션 신경망(combiner CNN2) 연산을 수행하여 제2중간 특징값을 계산한다. 그리고, 특징 추출부(213)는 계산된 제2중간 특징값을 버퍼에 저장한다. 특징 추출부(213)는 다음 연산프레임이 입력되면 콘볼루션 신경망(CNN0)을 활용하여 해당 연산프레임의 특징값을 계산하고 그 계산된 특징값과 앞서 계산된 중간 특징값(이전 중간 특징값)을 결합하는 콘볼루션 신경망(combiner CNN#)을 이용하여 중간 특징값을 계산하고 그 계산된 중간 특징값을 저장하는 과정을 최종 특징값을 추출할 때까지 반복한다. 여기서, 콘볼루션 신경망(CNN0)와 결합하는 콘볼루션 신경망(combiner CNN#)을 통칭하여 제1심층 신경망이라 한다. 그리고, 특징 추출부(213)는 N개의 연산프레임들을 이용하여 오염 상태를 분류하는 경우 제1심층 신경망을 활용한 특징 추출 과정을 (N-1)번 반복한다.When the third calculation frame f 3 is input, the
오염 상태 결정부(213)는 특징 추출부(212)로부터 출력되는 특징값과 미리 정해진 오염 상태 목록을 결합하여 제2심층 신경망 연산을 수행함으로써 오염 상태별 확률값을 계산하여 오염 상태를 결정한다. 오염 상태 결정부(213)는 오염 상태별 확률값 중 가장 큰 확률값을 가지는 오염 상태를 카메라 렌즈의 오염 상태로 결정한다.The pollution
오염 상태 경고부(220)는 도 4에 도시된 바와 같이 오염 경고 결정부(221) 및 경고 출력 제어부(222)를 포함한다.The pollution
오염 경고 결정부(221)는 오염 상태 분류부(210)에 의해 분류된 카메라 렌즈의 오염 상태에 따라 경고 방식을 결정한다. 오염 경고 결정부(221)는 분류된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 결정할 수 있다. 예를 들어, 오염 경고 결정부(221)는 렌즈 오염 상태가 불투명한 오염이면 스피커를 통한 청각적 경고 출력을 결정하고, 빗물 등에 의한 투명한 오염이면 디스플레이를 사용한 시각적 경고 출력을 결정할 수 있다.The pollution
오염 경고 결정부(221)는 오염 상태 분류부(210)에 의해 분류된 카메라 렌즈의 오염 상태가 경고 출력을 통해 오염 상태 정보를 운전자에게 경고할 필요가 있는지를 결정한다. 오염 경고 결정부(221)는 오염 상태 결정부(213)에 의해 결정된 오염 상태가 미리 설정된 경고 필요 오염 상태 목록에 포함되어 있으면 경고 출력을 결정하고, 결정된 오염 상태가 미리 설정된 경고 필요 오염 상태 목록에 포함되어 있지 않으면 경고 미출력을 결정한다.The pollution
경고 출력 제어부(222)는 오염 경고 결정부(221)의 결정에 따라 오염 경고 출력을 제어한다. 예컨대, 경고 출력 제어부(222)는 오염 경고 결정부(221)의 결정에 따라 시각 정보만 출력하도록 제어하거나 시각 정보 및 청각 정보로 출력하도록 제어한다.The warning
출력기(300)는 경고 출력 제어부(222)의 제어에 따라 시각 정보(시각적 경고), 청각 정보(청각적 경고) 및/또는 촉각 정보(촉각적 경고) 등의 정보를 출력하기 위한 것으로, 디스플레이, 음향 출력 모듈 및 햅틱 모듈 등이 포함될 수 있다.The
디스플레이는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 및 클러스터(cluster) 중 적어도 하나 이상으로 구현될 수 있다.The display may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, (3D) display, a transparent display, a head-up display (HUD), a touch screen, and a cluster.
음향 출력 모듈은 메모리(미도시)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈은 리시버(receiver), 스피커(speaker), 및/또는 버저(buzzer) 등을 포함할 수 있다.The sound output module can output audio data stored in a memory (not shown). The sound output module may include a receiver, a speaker, and / or a buzzer.
햅틱 모듈은 사용자가 촉각으로 인지할 수 있는 형태의 신호를 출력한다. 예를 들어, 햅틱 모듈은 진동자로 구현되어 진동 세기 및 패턴 등을 제어할 수 있다.The haptic module outputs a signal of a type that the user can perceive by the tactile sense. For example, the haptic module can be implemented as a vibrator to control vibration intensity and pattern.
도 4는 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 방법을 도시한 흐름도이다. 본 실시예에서는 N개의 연산프레임들을 사용하여 카메라 렌즈의 오염 상태를 분류하는 것을 예로 들어 설명한다.4 is a flowchart illustrating a camera lens contamination warning method according to an embodiment of the present invention. In the present embodiment, the classification of the contamination state of the camera lens using N calculation frames will be described as an example.
처리기(200)는 영상 획득기(100)를 통해 연속되는 영상들을 획득한다(S110). 영상 획득기(100)는 카메라를 통해 실시간으로 촬영되는 영상프레임을 순차적으로 처리기(200)로 전달한다.The
처리기(200)는 연속되는 영상들 중에서 연산프레임을 추출한다(S120). 처리기(200)는 심층 신경망 연산에 사용할 수 있도록 추출된 연산프레임에 대해 크기 조절 및 픽셀값 정규화 등의 전처리를 수행한다. 그리고, 처리기(200)는 추출한 연산프레임에 연산프레임 번호를 부여한다.The
처리기(200)는 추출된 연산프레임이 1번째 연산프레임이 아닌지를 확인한다(S130). 예컨대, 처리기(200)는 추출된 연산프레임의 연산프레임 번호가 1인지를 확인한다.The
처리기(200)는 추출된 연산프레임이 1번째 연산프레임이면 일정 시간 경과 후 연산프레임을 추출한다(S135 및 S120). 여기서, 일정 시간 간격을 연산프레임을 추출하는 추출 시간 간격 t를 의미한다. 처리기(200)는 추출된 연산프레임이 1번째 연산프레임이면 콘볼루션 신경망(CNN0)을 적용하여 1번째 연산프레임의 특징값을 계산하고 그 계산된 특징값을 버퍼에 저장할 수 있다.The
S130에서 추출된 연산프레임이 1번째 연산프레임이 아니면, 처리기(200)는 제1심층 신경망을 이용하여 이전에 추출된 연산프레임과 현재 추출된 연산프레임으로부터 중간 특징값을 계산한다(S140). 이때, 처리기(200)는 계산된 중간 특징값을 버퍼에 저장한다.If the computation frame extracted in step S130 is not the first computation frame, the
처리기(200)는 중간 특징값을 계산한 후 현재 추출된 연산프레임이 N번째 연산프레임인지를 확인한다(S150). 처리기(200)는 N번째 연산프레임을 추출할 때까지 추출 시간 간격으로 다음 연산프레임을 추출하고 S130 내지 S150를 반복한다.The
처리기(200)는 현재 추출된 연산프레임이 N번째 연산프레임이면 계산된 중간 특징값들 중 최종 특징값에 근거하여 카메라 렌즈의 오염 상태를 결정하고 결정된 오염 상태에 근거하여 추출 시간 간격을 변경한다(S160). 처리기(200)는 최종 특징값을 사용하여 제2심층 신경망 연산을 수행하므로 오염 상태별 확률값을 계산한다. 처리기(200)는 계산된 오염 상태별 확률값 중 가장 큰 확률값을 가지는 오염 상태를 카메라 렌즈의 오염 상태로 결정한다. 그리고, 처리기(200)는 결정된 오염 상태의 가중치에 비례하여 연산프레임을 추출하는 시간 간격을 변경한다.The
처리기(200)는 결정된 오염 상태에 따라 카메라 렌즈의 오염 상태 경고를 출력한다(S170). 처리기(200)는 결정된 오염 상태에 따라 경고 방식을 결정한다. 예를 들어, 처리기(200)는 결정된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 출력한다.The
처리기(200)는 경고를 출력하며 연산프레임 번호 및 시간을 초기화한다. 그리고, 처리기(200)는 차량 시동 오프(OFF) 시까지 변경된 추출 시간 간격으로 S110 내지 S170을 반복적으로 수행한다.The
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
100: 영상 획득기
200: 처리기
210: 오염 상태 분류부
211: 연산프레임 추출부
212: 특징 추출부
213: 오염 상태 결정부
220: 오염 상태 경고부
221: 오염 경고 결정부
222: 경고 출력 제어부
300: 출력기100: image acquiring machine
200: processor
210: pollution state classification section
211: Operation frame extracting unit
212: Feature extraction unit
213: contamination state determination unit
220: Pollution status warning section
221: Pollution warning decision unit
222: a warning output control section
300:
Claims (14)
상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하고 검출된 오염 상태에 따라 오염 경고 출력을 제어하는 처리기, 및
상기 처리기의 제어에 따라 오염 경고를 출력하는 출력기를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.An image acquiring device for acquiring images successively through a camera mounted on the vehicle,
A processor for analyzing the continuous images through a neural network to detect a contamination state of the camera lens and controlling a pollution warning output according to the detected pollution state,
And an output device for outputting a pollution warning under the control of the processor.
상기 처리기는,
상기 연속되는 영상들로부터 N개의 연산프레임들을 추출하고 상기 심층 신경망을 활용하여 추출된 N개의 연산프레임들을 분석하여 카메라 렌즈의 오염 상태를 분류하는 오염 상태 분류부, 및
분류된 오염 상태에 따라 오염 경고 방식을 결정하여 오염 경고를 출력하는 오염 상태 경고부를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.The method according to claim 1,
The processor includes:
A pollution state classifier for classifying the pollution state of the camera lens by extracting N operation frames from the continuous images and analyzing N extracted operation frames using the depth network,
And a pollution state warning unit for determining a pollution warning method according to the classified pollution state and outputting a pollution warning.
상기 오염 상태 분류부는,
정해진 추출 시간 간격으로 상기 연속되는 영상들에서 상기 N개의 연산프레임들을 추출하는 연산프레임 추출부,
심층 신경망 연산을 수행하여 상기 추출된 N개의 연산프레임들로부터 특징값추출하는 특징 추출부, 및
상기 특징 추출부로부터 출력되는 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값에 근거하여 상기 카메라 렌즈의 오염 상태를 결정하는 오염 상태 결정부를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.3. The method of claim 2,
The contamination state classifying unit may classify,
An operation frame extracting unit for extracting the N operation frames from the continuous images at a predetermined extraction time interval,
A feature extraction unit for performing a depth neural network operation to extract a feature value from the extracted N operation frames,
And a pollution state determiner for determining a pollution state of the camera lens based on the calculated probability value by calculating a probability value for each pollution state using the feature value output from the feature extractor.
상기 연산프레임 추출부는,
이전에 결정된 카메라 렌즈의 오염 상태에 따라 상기 추출 시간 간격을 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.The method of claim 3,
Wherein the operation frame extracting unit extracts,
Wherein the extraction time interval is determined according to a previously determined state of contamination of the camera lens.
상기 연산프레임 추출부는,
각 오염 상태의 발생 빈도 및 분류 난이도를 고려하여 상기 추출 시간 간격을 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.5. The method of claim 4,
Wherein the operation frame extracting unit extracts,
Wherein the extraction time interval is determined in consideration of occurrence frequency and classification difficulty of each pollution state.
상기 특징 추출부는,
상기 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하고, 다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.The method of claim 3,
The feature extraction unit may extract,
Calculating a first intermediate feature value by performing a convolutional neural network operation that combines a first operation frame and a second operation frame among the N operation frames and converting the convolution neural network operation to a convolution operation And calculating a feature value by performing a neural network operation.
상기 특징 추출부는,
N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 계산된 특징값을 제2중간 특징값으로 저장하고 상기 다음 연산프레임과 상기 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 과정을 반복하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.The method according to claim 6,
The feature extraction unit may extract,
A convolution neural network operation is performed to store the calculated feature value as a second intermediate feature value until a depth neural network operation for the Nth operation frame is performed, and to combine the next operation frame and the second intermediate feature value, Wherein the step of calculating the value of the camera lens foul warning is repeated.
상기 오염 상태 결정부는,
상기 오염 상태별 확률값 중 확률값이 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.The method of claim 3,
The contamination state determination unit determines,
Wherein the pollution state of the camera lens is determined as a pollution state in which the probability value of the probability values by the pollution state has a largest probability value.
상기 오염 상태 경고부는,
시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고 방식을 선택하여 상기 카메라 렌즈의 오염 상태를 경고하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.3. The method of claim 2,
The contamination state warning unit,
Wherein at least one of a visual warning, an audible warning, and a tactile warning is selected to warn a contamination state of the camera lens.
상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하는 단계, 및
상기 검출된 오염 상태에 따라 오염 경고를 출력하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.Acquiring successive images through a camera mounted on the vehicle,
Analyzing the continuous images through a neural network to detect a contamination state of the camera lens, and
And outputting a pollution warning according to the detected pollution state.
상기 카메라 렌즈의 오염 상태를 검출하는 단계는,
상기 연속되는 영상들에서 정해진 추출 시간 간격으로 N개의 연산프레임들을 추출하는 단계,
상기 N개의 연산프레임들을 순차적으로 심층 신경망 연산을 수행하여 특징값을 계산하는 단계, 및
상기 계산된 특징값에 근거하여 카메라 렌즈의 오염 상태를 분류하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.11. The method of claim 10,
Wherein the step of detecting the contamination state of the camera lens comprises:
Extracting N operation frames at a predetermined extraction time interval in the continuous images,
Calculating a feature value by performing a depth neural network operation sequentially on the N operation frames; and
And classifying the contamination state of the camera lens based on the calculated feature value.
상기 특징값을 계산하는 단계는,
상기 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하는 단계,
다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 제2중간 특징값을 계산하는 단계, 및
N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 다음 연산 프레임과 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 순차적으로 수행하여 특징값을 계산하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.12. The method of claim 11,
Wherein the step of calculating the feature value comprises:
Calculating a first intermediate feature value by performing a convolution neural network operation that combines a first operation frame and a second operation frame among the N operation frames,
Calculating a second intermediate feature value by performing a convolution neural network operation combining the next operation frame and the first intermediate feature value, and
And calculating a feature value by sequentially performing a convolution neural network operation for combining the next operation frame and a second intermediate feature value until a depth neural network operation for the Nth operation frame is performed. Lens contamination warning method.
상기 카메라 렌즈의 오염 상태를 분류하는 단계는,
상기 계산된 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값 중 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.12. The method of claim 11,
The step of classifying the contamination state of the camera lens comprises:
Calculating a probability value for each of the pollution states using the calculated feature value, and determining a pollution state having the largest probability value among the calculated probability values as the pollution state of the camera lens.
상기 오염 경고를 출력하는 단계는,
상기 검출된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 출력하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.11. The method of claim 10,
The step of outputting the contamination warning includes:
Wherein at least one of a visual warning, an audible warning, and a tactile warning is output in accordance with the detected state of contamination.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170140891A KR102348123B1 (en) | 2017-10-27 | 2017-10-27 | Apparatus and method for warning contamination of camera lens |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170140891A KR102348123B1 (en) | 2017-10-27 | 2017-10-27 | Apparatus and method for warning contamination of camera lens |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190047244A true KR20190047244A (en) | 2019-05-08 |
KR102348123B1 KR102348123B1 (en) | 2022-01-07 |
Family
ID=66580129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170140891A KR102348123B1 (en) | 2017-10-27 | 2017-10-27 | Apparatus and method for warning contamination of camera lens |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102348123B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532876A (en) * | 2019-07-26 | 2019-12-03 | 纵目科技(上海)股份有限公司 | Night mode camera lens pays detection method, system, terminal and the storage medium of object |
KR20240029662A (en) | 2022-08-26 | 2024-03-06 | 주식회사 켐트로닉스 | Contamination detection device and method for vehicle camera |
KR102697859B1 (en) * | 2023-09-14 | 2024-08-23 | (주)오토노머스에이투지 | Method for determining whether camera is contaminated in real time and computing device using the same |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH117536A (en) * | 1997-04-25 | 1999-01-12 | Fuji Electric Co Ltd | Device and method for recognizing picture by using neural network, and converter |
JP2007189369A (en) * | 2006-01-12 | 2007-07-26 | Alpine Electronics Inc | Device for detecting dirt of camera lens, and image display system |
JP2007318355A (en) * | 2006-05-24 | 2007-12-06 | Matsushita Electric Ind Co Ltd | Imaging device and lens stain detecting method |
US8208043B2 (en) | 2008-05-09 | 2012-06-26 | Aptina Imaging Corporation | Lens cleaning warning system and method |
US20150009296A1 (en) | 2013-07-03 | 2015-01-08 | Kapsch Trafficcom Ab | Method for identification of contamination upon a lens of a stereoscopic camera |
KR101525516B1 (en) | 2014-03-20 | 2015-06-03 | 주식회사 이미지넥스트 | Camera Image Processing System and Method for Processing Pollution of Camera Lens |
US20150177512A1 (en) | 2012-07-27 | 2015-06-25 | Nissan Motor Co., Ltd. | Camera device, three-dimensional object detection device, and lens cleaning method |
KR20150076371A (en) | 2013-12-26 | 2015-07-07 | 재단법인 포항산업과학연구원 | Apparatus for measuring contamination on lens |
US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
-
2017
- 2017-10-27 KR KR1020170140891A patent/KR102348123B1/en active IP Right Grant
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH117536A (en) * | 1997-04-25 | 1999-01-12 | Fuji Electric Co Ltd | Device and method for recognizing picture by using neural network, and converter |
JP2007189369A (en) * | 2006-01-12 | 2007-07-26 | Alpine Electronics Inc | Device for detecting dirt of camera lens, and image display system |
JP2007318355A (en) * | 2006-05-24 | 2007-12-06 | Matsushita Electric Ind Co Ltd | Imaging device and lens stain detecting method |
US8208043B2 (en) | 2008-05-09 | 2012-06-26 | Aptina Imaging Corporation | Lens cleaning warning system and method |
US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
US20150177512A1 (en) | 2012-07-27 | 2015-06-25 | Nissan Motor Co., Ltd. | Camera device, three-dimensional object detection device, and lens cleaning method |
US20150009296A1 (en) | 2013-07-03 | 2015-01-08 | Kapsch Trafficcom Ab | Method for identification of contamination upon a lens of a stereoscopic camera |
KR20150076371A (en) | 2013-12-26 | 2015-07-07 | 재단법인 포항산업과학연구원 | Apparatus for measuring contamination on lens |
KR101525516B1 (en) | 2014-03-20 | 2015-06-03 | 주식회사 이미지넥스트 | Camera Image Processing System and Method for Processing Pollution of Camera Lens |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532876A (en) * | 2019-07-26 | 2019-12-03 | 纵目科技(上海)股份有限公司 | Night mode camera lens pays detection method, system, terminal and the storage medium of object |
KR20240029662A (en) | 2022-08-26 | 2024-03-06 | 주식회사 켐트로닉스 | Contamination detection device and method for vehicle camera |
KR102697859B1 (en) * | 2023-09-14 | 2024-08-23 | (주)오토노머스에이투지 | Method for determining whether camera is contaminated in real time and computing device using the same |
Also Published As
Publication number | Publication date |
---|---|
KR102348123B1 (en) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8184196B2 (en) | System and method to generate depth data using edge detection | |
US11443438B2 (en) | Network module and distribution method and apparatus, electronic device, and storage medium | |
KR20190047243A (en) | Apparatus and method for warning contamination of camera lens | |
KR101204556B1 (en) | Method for removing image noise and night-vision system using the same | |
US10255683B1 (en) | Discontinuity detection in video data | |
CN110135235B (en) | Glare processing method and device and vehicle | |
CN109784487B (en) | Deep learning network for event detection, training device and method of deep learning network | |
KR102348123B1 (en) | Apparatus and method for warning contamination of camera lens | |
US10336256B1 (en) | Reduction of LED headlight flickering in electronic mirror applications | |
JP6809613B2 (en) | Image foreground detection device, detection method and electronic equipment | |
CN111339808A (en) | Vehicle collision probability prediction method and device, electronic equipment and storage medium | |
CN112288031A (en) | Traffic signal lamp detection method and device, electronic equipment and storage medium | |
US20220301185A1 (en) | Information processing apparatus, information processing method, and storage medium for estimating movement amount of moving object | |
CN108259819B (en) | Dynamic image feature enhancement method and system | |
CN116309634A (en) | Image processing method, device, terminal device, storage medium and program product | |
KR101684032B1 (en) | Driver State Monitoring Apparatus and Method for Correcting Position of Camera thereof | |
JP7099091B2 (en) | License plate recognition device, license plate recognition method and program | |
TW201824864A (en) | Dynamic image feature enhancement method and system capable of directly and instantly adjusting imaging parameters of the camera and improving parameters of the captured image | |
KR102168038B1 (en) | Apparatus for recognizing object and Method thereof | |
JP7544019B2 (en) | Hand area detection device, hand area detection method, and computer program for detecting hand area | |
US20240257498A1 (en) | Electronic apparatus for classifying object region and background region and operating method of the electronic apparatus | |
US12020486B2 (en) | Information processing device, in-vehicle control device, and vehicle control system | |
JP7109528B2 (en) | VEHICLE IMAGE INFORMATION PROCESSING DEVICE, VEHICLE IMAGE INFORMATION TRANSMITTER AND IMAGE INFORMATION PROCESSING METHOD | |
EP4304191A2 (en) | Camera system, method for controlling the same, and computer program | |
US20240095883A1 (en) | Image processing device, electronic device having the same, and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |