KR101766239B1

KR101766239B1 - Apparatus and method for recognition road surface state

Info

Publication number: KR101766239B1
Application number: KR1020150094849A
Authority: KR
Inventors: 이승래; 송원석
Original assignee: 이승래
Priority date: 2015-07-02
Filing date: 2015-07-02
Publication date: 2017-08-08
Also published as: KR20170004466A; WO2017003257A1

Abstract

도로 표면 상태 인식 장치 및 방법이 제공된다. 도로 표면 상태 인식 장치는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 보정하는 위치 보정부 및 위치 보정부에 의해 보정된 제1 편광 영상과 제2 편광 영상을 통해 도로 표면의 상태를 판정하는 도로 표면 상태 판정부를 포함 한다.An apparatus and method for recognizing a road surface state are provided. The road surface condition recognition apparatus includes a position correcting unit for correcting a first polarized image and a second polarized image with respect to a road surface into a polarized image captured at the same position, a first polarized image corrected by the position correcting unit, And a road surface state determination unit that determines the state of the road surface through the road surface state determination unit.

Description

[0001] APPARATUS AND METHOD FOR RECOGNITION ROAD SURFACE STATE [0002]

본 발명은 도로 표면 상태 인식 장치 및 방법에 관한 것으로서, 보다 상세하게는 서로 다른 위치에서 촬영된 편광 영상을 동일한 위치에서 촬영된 영상으로 보정하고 보정된 편광 영상의 편광 특성을 이용하여 도로 표면의 상태를 인식하는 도로 표면 상태 인식 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for recognizing a road surface state, and more particularly, to an apparatus and method for recognizing a state of a road surface by correcting a polarized image photographed at different positions to an image photographed at the same position, The present invention relates to a road surface state recognition apparatus and method.

도로 표면의 상태, 즉, 적설 상태, 결빙 상태, 습윤 상태, 건조 상태 등을 감지하여 이를 자동차 운전자에게 알려줌으로써 운전 사고를 줄이고 운전자의 안전을 보장하기 위한 다양한 도로 표면 상태 인식 방법에 공지되어 있다. A variety of road surface condition recognition methods are known in order to reduce the number of driving accidents and ensure the safety of the driver by detecting the state of the road surface, that is, the snow state, the icing state, the wet state, the dry state,

이러한 도로 표면 상태 인식 방법 중 대부분은 주행 중인 자동차에 설치된 카메라가 아닌 고정된 위치의 카메라에서 촬영된 영상을 기초로 하여 도로 표면 상태를 인식하고 있다. 그러나, 자동차의 경우 정지된 상태로 있는 경우도 있으나, 대부분의 경우 특정 이동 속도로 주행하는 경우가 대부분이다. 또한, 자동차 운전자는 자동차를 운전하는 과정에서 변화하는 도로 표면 상태에 대한 정보를 원하는 경우가 대부분이며, 자동차가 정지된 상태에서는 자동차 운전자에게 도로 표면 상태를 알려줄 필요성이 상대로 적다.Most of the road surface state recognition methods recognize the road surface state based on images taken from a fixed position camera rather than a camera installed in a running car. However, in some cases, the vehicle is stationary, but in most cases, the vehicle travels at a specific speed. In addition, the driver of a vehicle often needs information on the road surface condition that changes during the operation of the vehicle, and the necessity of informing the driver of the road surface condition is low when the vehicle is stopped.

이에, 주행 중인 자동차에서 촬영된 영상을 사용하여 도로 표면 상태를 인식하기 위한 방법에 대한 요구가 존재한다. Accordingly, there is a need for a method for recognizing road surface conditions using images photographed on a moving vehicle.

[관련기술문헌] [Related Technical Literature]

웨이블릿 영상처리에 의한 도로표면상태 인식 및 분류(Journal of KIEE, Vol. 22, No. 4, April 2008)Recognition and Classification of Road Surface States by Wavelet Image Processing (Journal of KIEE, Vol. 22, No. 4, April 2008)

이에, 본 발명이 해결하고자 하는 과제는 주행 중인 자동차에서 촬영된 편광 영상을 사용하여 도로 표면 상태를 판정할 수 있는 도로 표면 상태 인식 장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide an apparatus and method for recognizing a road surface state that can determine a state of a road surface using a polarized image photographed in a running vehicle.

본 발명이 해결하고자 하는 다른 과제는 하나의 편광 영상 촬영부를 통해 서로 상이한 위치에서 촬영된 편광 영상들의 촬영 위치를 보정하여 도로 표면 상태를 보다 정확하게 판정할 수 있는 도로 표면 상태 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide a road surface state apparatus and method capable of more accurately determining a road surface state by correcting a photographing position of polarized images photographed at different positions through a single polarized image photographing unit .

본 발명이 해결하고자 하는 또 다른 과제는 서로 이격된 2개의 편광 영상 촬영부를 통해 촬영된 편광 영상들의 촬영 위치를 보정하여 도로 표면 상태를 보다 정확하게 판정할 수 있는 도로 표면 상태 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide a road surface state apparatus and method capable of more accurately determining a road surface state by correcting a photographing position of polarized images photographed through two polarized image capturing units spaced apart from each other .

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 도로 표면 상태 인식 장치는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 보정하는 위치 보정부 및 위치 보정부에 의해 보정된 제1 편광 영상과 제2 편광 영상을 통해 도로 표면의 상태를 판정하는 도로 표면 상태 판정부를 포함한다. According to an aspect of the present invention, there is provided a road surface state recognition apparatus for correcting a first polarized image and a second polarized image of a road surface to a polarized image captured at the same position, And a road surface state determining section for determining the state of the road surface through the first polarized image and the second polarized image corrected by the position correcting section.

본 발명의 다른 특징에 따르면, 제1 편광 영상 및 제2 편광 영상 중 하나는 수직 편광 영상이고, 다른 하나는 수평 편광 영상인 것을 특징으로 한다.According to another aspect of the present invention, one of the first polarized image and the second polarized image is a vertically polarized image and the other is a horizontally polarized image.

본 발명의 또 다른 특징에 따르면, 도로 표면 상태 인식 장치는 제1 편광 영상 및 제2 편광 영상을 촬영하기 위한 하나의 편광 영상 촬영부를 더 포함하고, 제1 편광 영상 및 제2 편광 영상은 편광 영상 촬영부를 사용하여 상이한 위치에서 촬영된 것을 특징으로 한다.According to another aspect of the present invention, there is provided a road surface state recognition apparatus, further comprising one polarized image capturing unit for capturing the first polarized image and the second polarized image, wherein the first polarized image and the second polarized image are polarized images And is photographed at a different position using a photographing unit.

본 발명의 또 다른 특징에 따르면, 편광 영상 촬영부는 물리적으로 회전 가능한 편광자 또는 전기적 방법으로 편광 방향을 변경하는 편광자 중 하나 이상을 사용하여 제1 편광 영상 및 제2 편광 영상을 촬영하도록 구성된 것을 특징으로 한다.According to another aspect of the present invention, a polarimetric imaging unit is configured to photograph a first polarized image and a second polarized image using at least one of a physically rotatable polarizer or a polarizer that changes the polarization direction by an electrical method do.

본 발명의 또 다른 특징에 따르면, 제1 편광 영상을 촬영하기 위한 제1 편광 영상 촬영부 및 제1 편광 영상 촬영부와 이격되도록 배치되고, 제2 편광 영상을 촬영하기 위한 제2 편광 영상 촬영부를 더 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for photographing a first polarized light image, comprising a first polarized image capturing unit for capturing a first polarized image and a second polarized image capturing unit disposed for being apart from the first polarized image capturing unit, And further comprising:

본 발명의 또 다른 특징에 따르면, 위치 보정부는, 제1 편광 영상 및 제2 편광 영상 중 어느 하나를 기준 영상으로, 다른 하나를 후보 영상으로 정의하고, 기준 영상의 영역별로 기준 영상의 영역과 동일한 위치를 나타내는 후보 픽셀의 영역을 연결하는 움직임 벡터(motion vector)를 생성하고, 움직임 벡터에 기초하여 기준 영상 및 후보 영상 중 적어도 촬영 위치를 보정하는 것을 특징으로 한다.According to still another aspect of the present invention, the position correction unit defines one of the first polarized image and the second polarized image as a reference image and the other as a candidate image, A motion vector connecting a region of a candidate pixel representing a position is generated, and at least a photographing position of the reference image and the candidate image is corrected based on the motion vector.

본 발명의 또 다른 특징에 따르면, 위치 보정부는, 기준 영상의 영역과 후보 영상의 영역 사이의 비용 함수(cost function)를 계산하고, 비용 함수의 값을 최소값으로 하는 후보 영상의 영역과 기준 영상의 영역을 연결하는 움직임 벡터를 생성하는 것을 특징으로 한다.According to another aspect of the present invention, a position correction unit calculates a cost function between a region of a reference image and a region of a candidate image, and calculates a cost function of a region of the candidate image, And generates a motion vector for connecting the regions.

본 발명의 또 다른 특징에 따르면, 도로 표면 상태 판정부는 비용 함수의 값이 임계치 이상인 기준 영상의 영역을 제외하고 도로 표면의 상태를 판정하는 것을 특징으로 한다.According to still another aspect of the present invention, the road surface state determination section determines the state of the road surface except the region of the reference image whose value of the cost function is equal to or greater than the threshold value.

본 발명의 또 다른 특징에 따르면, 비용 함수는 기준 영상의 영역과 후보 영상의 후보 영역의 유사 정도를 나타내는 함수인 정합 비용(matching cost) 함수 및 움직임 벡터의 후보 벡터와 후보 벡터 주변의 움직임 벡터의 유사 정도를 나타내는 함수인 공간 제약(spatial constraint) 함수에 기초하여 결정되는 것을 특징으로 한다.According to another aspect of the present invention, the cost function includes a matching cost function, which is a function indicating the degree of similarity between a region of the reference image and a candidate region of the candidate image, and a candidate vector of the motion vector, And is determined based on a spatial constraint function which is a function indicating the degree of similarity.

본 발명의 또 다른 특징에 따르면, 비용 함수는, 도로 표면 상태 인식 장치가 이동하는 속도 및 제1 편광 영상과 제2 편광 영상을 촬영하는 편광 영상 촬영부의 특성을 고려하여 결정되는 기준 움직임 벡터(default motion vector)와 움직임 벡터의 후보 벡터의 유사 정도를 나타내는 함수인 속도 제약(velocity constraint) 함수에 더 기초하여 결정되는 것을 특징으로 한다.According to still another aspect of the present invention, the cost function is determined based on a velocity at which the road surface state recognition apparatus moves and a reference motion vector (default) determined in consideration of the characteristics of the polarized-light imaging unit that photographs the first polarized image and the second polarized image. and a velocity constraint function, which is a function indicating a degree of similarity between the motion vector and the candidate vector of the motion vector.

본 발명의 또 다른 특징에 따르면, 도로 표면 상태 판정부는 위치 보정부에 의해 생성된 움직임 벡터 중 기준 움직임 벡터와 임계치 이상의 차이를 갖는 움직임 벡터에 대응하는 기준 영상의 영역을 제외하고 도로 표면 상태를 판정하는 것을 특징으로 한다.According to another aspect of the present invention, the road surface state determination section determines the road surface state by excluding the region of the reference image corresponding to the motion vector having a difference of at least a threshold value from the reference motion vector among the motion vectors generated by the position correcting section .

본 발명의 또 다른 특징에 따르면, 위치 보정부는 기준 움직임 벡터를 중심으로 하는 탐색 범위를 설정하고, 후보 영상의 후보 영역은 후보 영상에서 탐색 범위 내의 영역인 것을 특징으로 한다.According to still another aspect of the present invention, the position correction unit sets a search range around the reference motion vector, and the candidate region of the candidate image is an area within the search range in the candidate image.

본 발명의 또 다른 특징에 따르면, 위치 보정부는, 제1 편광 영상 및 제2 편광 영상 중 어느 하나를 기준 영상으로, 다른 하나를 후보 영상으로 정의하고, 기준 영상의 영역별로 기준 영상의 영역과 동일한 위치를 나타내는 후보 픽셀의 영역을 연결하는 시차 벡터(disparity vector)를 생성하고, 시차 벡터에 기초하여 기준 영상 및 후보 영상 중 하나의 촬영 위치를 보정하는 것을 특징으로 한다.According to still another aspect of the present invention, the position correction unit defines one of the first polarized image and the second polarized image as a reference image and the other as a candidate image, A disparity vector connecting the region of the candidate pixel indicating the position is generated, and one of the reference image and the candidate image is corrected based on the parallax vector.

본 발명의 또 다른 특징에 따르면, 비용 함수는 기준 영상의 영역과 후보 영상의 후보 영역의 유사 정도를 나타내는 함수인 정합 비용(matching cost) 함수 및 시차 벡터의 후보 벡터와 후보 벡터 주변의 시차 벡터의 유사 정도를 나타내는 함수인 공간 제약(spatial constraint) 함수에 기초하여 결정되는 것을 특징으로 한다.According to another aspect of the present invention, the cost function includes a matching cost function, which is a function indicating the degree of similarity between the region of the reference image and the candidate region of the candidate image, and a candidate vector of the parallax vector and a parallax vector And is determined based on a spatial constraint function which is a function indicating the degree of similarity.

본 발명의 또 다른 특징에 따르면, 비용 함수는, 제1 편광 영상을 촬영한 제1 편광 영상 촬영부와 제2 편광 영상을 촬영한 제2 편광 영상 촬영부 사이의 거리 및 제1 편광 영상 촬영부와 제2 편광 영상 촬영부의 특성을 고려하여 결정되는 기준 시차 벡터와 시차 벡터의 후보 벡터의 유사 정도를 나타내는 함수인 시차 제약(disparity constraint) 함수에 더 기초하여 결정되는 것을 특징으로 한다.According to another aspect of the present invention, the cost function includes a distance between the first polarized image capturing unit that has captured the first polarized image and the second polarized image capturing unit that captured the second polarized image, And a disparity constraint function, which is a function representing a degree of similarity between a reference parallax vector determined in consideration of the characteristics of the second polarimetric imaging unit and a candidate vector of a parallax vector.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 도로 표면 상태 인식 방법은 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 위치 보정하는 단계 및 보정된 제1 편광 영상과 제2 편광 영상을 통해 도로 표면의 상태를 판정하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of recognizing a road surface state according to an embodiment of the present invention includes: correcting a first polarized image and a second polarized image with respect to a road surface to a polarized image captured at the same position; And determining the state of the road surface through the corrected first polarized image and the second polarized image.

본 발명의 다른 특징에 따르면, 위치 보정하는 단계는, 제1 편광 영상 및 제2 편광 영상 중 어느 하나를 기준 영상으로, 다른 하나를 후보 영상으로 정의하는 단계, 기준 영상의 영역별로 기준 영상의 영역과 동일한 위치를 나타내는 후보 픽셀의 영역을 연결하는 움직임 벡터(motion vector) 또는 시차 벡터(disparity vector)를 생성하는 단계 및 움직임 벡터 또는 시차 벡터에 기초하여 기준 영상 및 후보 영상 중 하나의 촬영 위치를 보정하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, the step of correcting the position includes the steps of defining one of the first polarized image and the second polarized image as a reference image and the other as a candidate image, Generating a motion vector or a disparity vector connecting the regions of the candidate pixels representing the same position as the reference image and the reference image and correcting one of the reference and candidate images based on the motion vector or the parallax vector The method comprising the steps of:

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 판독가능 매체는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 위치 보정하고, 보정된 제1 편광 영상과 제2 편광 영상을 통해 도로 표면의 상태를 판정하게 하는 명령어들의 세트를 포함한다.According to an aspect of the present invention, there is provided a computer-readable medium having a first polarized image and a second polarized image with respect to a road surface, And a set of instructions for determining the state of the road surface through the first polarized image and the second polarized image.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

본 발명은 주행 중인 자동차에서 촬영된 편광 영상을 사용하여 도로 표면 상태를 판정할 수 있다.The present invention can determine the state of the road surface using the polarized image photographed in the running vehicle.

또한, 본 발명은 하나의 편광 영상 촬영부를 통해 서로 상이한 위치에서 촬영된 편광 영상들의 촬영 위치를 보정하여 도로 표면 상태를 보다 정확하게 판정할 수 있다.In addition, the present invention can more precisely determine the road surface state by correcting the photographing position of polarized images photographed at different positions through one polarized image capturing unit.

또한, 본 발명은 서로 이격된 2개의 편광 영상 촬영부를 통해 촬영된 편광 영상들의 촬영 위치를 보정하여 도로 표면 상태를 보다 정확하게 판정할 수 있다.In addition, the present invention can more precisely determine the road surface state by correcting the photographing position of the polarized images photographed through the two polarized-light imaging units separated from each other.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the specification.

도 1은 본 발명의 일 실시예에 따른 도로 표면 상태 인식 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 개략도이다.
도 5a 내지 도 6b는 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 편광 영상들에 대한 개략도이다.
도 7은 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 개략도이다.
도 9a 내지 도 10b는 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 편광 영상들에 대한 개략도이다.
도 11 및 도 12는 본 발명의 다양한 실시예들에 따른 도로 표면 상태 인식 장치의 개략적인 블록도들이다.1 is a schematic block diagram of a road surface state recognition apparatus according to an embodiment of the present invention.
2 is a flowchart for explaining a road surface state recognition method according to an embodiment of the present invention.
3 is a flowchart for explaining a road surface state recognition method according to another embodiment of the present invention.
4 is a schematic diagram for explaining a road surface state recognition method according to another embodiment of the present invention.
5A and 6B are schematic diagrams of polarized images for explaining a road surface state recognition method according to another embodiment of the present invention.
7 is a flowchart for explaining a road surface state recognition method according to another embodiment of the present invention.
8 is a schematic view for explaining a road surface state recognition method according to another embodiment of the present invention.
FIGS. 9A and 10B are schematic views of polarized images for explaining a road surface state recognition method according to another embodiment of the present invention. FIG.
11 and 12 are schematic block diagrams of a road surface state recognition apparatus according to various embodiments of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout the specification.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 펌웨어 (firmware), 소프트웨어 (software), 또는 하드웨어 (hardware) 로 구성된, 알고리즘 또는 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 디지털 신호 처리 디바이스 (Digital Signal Processing Device) 의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Each block of the accompanying block diagrams and combinations of the steps of the flowcharts may be performed by algorithms or computer program instructions comprised of firmware, software, or hardware. These algorithms or computer program instructions may be embedded in a processor of a general purpose computer, special purpose computer, or other programmable digital signal processing device, so that the instructions that are executed by a processor of a computer or other programmable data processing apparatus Generate means for performing the functions described in each block or flowchart of the block diagram. These algorithms or computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement a function in a particular manner, It is also possible for instructions stored in a possible memory to produce a manufacturing item containing instruction means for performing the function described in each block or flowchart of each block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.It is to be understood that each of the features of the various embodiments of the present invention may be combined or combined with each other partially or entirely and technically various interlocking and driving is possible as will be appreciated by those skilled in the art, It may be possible to cooperate with each other in association.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.Various embodiments of the present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 도로 표면 상태 인식 장치의 개략적인 블록도이다. 도 2는 본 발명의 일 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 순서도이다. 도 1을 참조하면, 도로 표면 상태 인식 장치(100)는 위치 보정부(110) 및 도로 표면 상태 판정부(120)를 포함한다.1 is a schematic block diagram of a road surface state recognition apparatus according to an embodiment of the present invention. 2 is a flowchart for explaining a road surface state recognition method according to an embodiment of the present invention. Referring to FIG. 1, the road surface state recognition apparatus 100 includes a position correction unit 110 and a road surface state determination unit 120.

도로 표면 상태 인식 장치(100)는 서로 다른 위치에서 촬영된 제1 편광 영상과 제2 편광 영상을 보정하고, 보정된 제1 편광 영상과 제2 편광 영상을 사용하여 도로 표면의 상태를 판정하는 장치이다. 도로 표면 상태 인식 장치(100)는 다양한 형태의 전자 장치로 구현될 수 있다. 예를 들어, 일반적으로 자동차에 부착되는 블랙박스, 네비게이션 등의 형태로 구현될 수도 있고, 자동차에 내장되도록 구현될 수도 있다. 또한, 블랙박스, 네비게이션 등과 무관한 별도의 전자 장치 형태로 자동차에 부착되도록 구현될 수도 있다.The road surface state recognition apparatus 100 includes a device for correcting a first polarized image and a second polarized image photographed at different positions and determining the state of the road surface using the corrected first polarized image and the second polarized image, to be. The road surface condition recognition apparatus 100 may be implemented in various types of electronic devices. For example, it may be implemented in the form of a black box, navigation, or the like generally attached to a car, or may be embodied in a car. It may also be implemented to be attached to an automobile in the form of a separate electronic device independent of a black box, navigation, or the like.

도로 표면 상태 인식 장치(100)는 위치 보정부(110) 및 도로 표면 상태 판정부(120)를 포함한다. 이하에서는 도 2를 함께 참조하여 위치 보정부(110) 및 도로 표면 상태 판정부(120)의 기능에 대해 보다 상세히 설명한다.The road surface condition recognizing apparatus 100 includes a position correcting unit 110 and a road surface state determining unit 120. Hereinafter, the functions of the position correcting unit 110 and the road surface state determining unit 120 will be described in more detail with reference to FIG.

먼저, 위치 보정부(110)는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 위치 보정한다(S100).First, the position correcting unit 110 corrects the first polarized image and the second polarized image with respect to the road surface to a polarized image photographed at the same position (S100).

위치 보정부(110)는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 수신한다. 제1 편광 영상 및 제2 편광 영상은 도로 표면 상태 인식 장치(100)와 별개인 편광 영상 촬영부에 의해 촬영된 영상으로서, 적어도 도로 표면을 촬영한 편광 영상이다. 구체적으로, 제1 편광 영상 및 제2 편광 영상은 도로 표면 상태 인식 장치(100)와 별개인 하나의 편광 영상 촬영부에 의해 촬영될 수 있고, 하나의 편광 영상 촬영부가 서로 다른 위치에서 촬영된 편광 영상일 수 있다. 또한, 제1 편광 영상 및 제2 편광 영상은 서로 이격된 2개의 편광 영상 촬영부 각각에 의해 촬영될 수 있고, 2개의 편광 영상 촬영부가 서로 이격되어 있으므로 제1 편광 영상 및 제2 편광 영상은 서로 다른 위치에서 촬영된 편광 영상일 수 있다.The position correcting unit 110 receives the first polarized image and the second polarized image with respect to the road surface. The first polarized light image and the second polarized light image are images taken by a polarized light image capturing unit separate from the road surface state recognition apparatus 100, and are polarized images obtained by photographing at least the road surface. Specifically, the first polarized image and the second polarized image can be photographed by one polarized image capturing unit different from the road surface state recognizing apparatus 100, and the one polarized image capturing unit can capture polarized light It can be a video. Also, since the first polarized image and the second polarized image can be photographed by each of the two polarized image capturing units separated from each other and the two polarized image capturing units are spaced apart from each other, It may be a polarized image photographed at another position.

편광 영상을 통해 도로 표면 상태를 판정하기 위해, 제1 편광 영상과 제2 편광 영상 중 하나는 수직 편광 영상이고, 다른 하나는 수평 편광 영상이다. 즉, 도로 표면 상태 판정을 위해서는 동일한 위치에서 촬영된 수직 편광 영상 및 수평 편광 영상이 필요하므로, 위치 보정부(110)는 수직 편광 영상과 수평 편광 영상을 수신할 수 있다. To determine the road surface condition through the polarized image, one of the first polarized image and the second polarized image is a vertically polarized image and the other is a horizontally polarized image. That is, in order to determine the road surface state, the vertical polarized image and the horizontally polarized image captured at the same position are required, so that the position correcting unit 110 can receive the vertical polarized image and the horizontally polarized image.

이하에서는, 제1 편광 영상 및 제2 편광 영상이 서로 다른 위치에서 촬영된 편광 영상이고, 제1 편광 영상이 수직 편광 영상이고 제2 편광 영상이 수평 편광 영상인 것으로 설명한다. 다만, 제1 편광 영상이 수평 편광 영상이고 제2 편광 영상이 수직 편광 영상일 수도 있다.Hereinafter, it is assumed that the first polarized image and the second polarized image are polarized images taken at different positions, the first polarized image is a vertical polarized image, and the second polarized image is a horizontally polarized image. However, the first polarized image may be a horizontally polarized image and the second polarized image may be a vertically polarized image.

위치 보정부(110)는 서로 다른 위치에서 촬영된 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 위치 보정한다. 즉, 제1 편광 영상이 제1 위치에서 촬영된 편광 영상이고 제2 편광 영상이 제2 위치에서 촬영된 편광 영상이라고 가정하면, 위치 보정부(110)는 제1 편광 영상을 제2 위치에서 촬영된 편광 영상인 것으로 보정하거나, 제2 편광 영상을 제1 위치에서 촬영된 편광 영상으로 보정할 수 있다.The position correcting unit 110 corrects the position of the first polarized light image and the second polarized light image photographed at different positions to a polarized light image photographed at the same position. That is, assuming that the first polarized image is a polarized image photographed at a first position and the second polarized image is a polarized image photographed at a second position, the position correcting unit 110 corrects the position of the first polarized image, Or the second polarized image can be corrected to the polarized image photographed at the first position.

예를 들어, 제1 편광 영상과 제2 편광 영상이 하나의 편광 영상 촬영부에 의해 촬영된 경우, 위치 보정부(110)는 동작 예측(motion estimation) 방법을 사용하여 제1 편광 영상과 제2 편광 영상을 보정할 수 있다. 구체적으로, 제1 편광 영상과 제2 편광 영상이 하나의 편광 영상 촬영부에 의해 촬영된 경우, 위치 보정부(110)는 촬영 시각과 위치가 다른 수직 편광 영상과 수평 편광 영상의 쌍을 수신하고, 동작 예측 방법을 사용하여 동일한 위치에서 촬영된 것과 같은 편광 영상의 쌍을 생성할 수 있다. For example, when the first polarized image and the second polarized image are photographed by one polarized image capturing unit, the position correcting unit 110 uses the motion estimation method to obtain the first polarized image and the second polarized image, The polarized image can be corrected. Specifically, when the first polarized image and the second polarized image are photographed by one polarized image capturing unit, the position correcting unit 110 receives a pair of the vertically polarized image and the horizontally polarized image, which are different in position and time from each other, , A motion estimation method can be used to generate a pair of polarized images as captured at the same location.

또한, 예를 들어, 제1 편광 영상과 제2 편광 영상이 서로 이격된 2개의 편광 영상 촬영부에 의해 촬영된 경우, 위치 보정부(110)는 시차 예측(disparity estimation) 방법을 사용하여 제1 편광 영상과 제2 편광 영상을 보정할 수 있다. 구체적으로, 제1 편광 영상과 제2 편광 영상이 서로 이격된 2개의 편광 영상 촬영부에 의해 촬영된 경우, 위치 보정부(110)는 촬영 위치가 다른 수직 편광 영상과 수평 편광 영상의 쌍을 수신하고, 시차 예측 방법을 사용하여 동일한 위치에서 촬영된 것과 같은 편광 영상의 쌍을 생성할 수 있다.In addition, for example, when the first polarized image and the second polarized image are photographed by two polarized-light imaging units spaced from each other, the position correcting unit 110 uses the disparity estimation method, The polarized image and the second polarized image can be corrected. Specifically, when the first polarized image and the second polarized image are photographed by two polarized image capturing units spaced from each other, the position correcting unit 110 receives the pair of the vertical polarized image and the horizontally polarized image, And a pair of polarized images, such as those taken at the same position, can be generated using the time difference prediction method.

위치 보정부(110)가 동작 예측 방법 또는 시차 예측 방법을 사용하여 제1 편광 영상과 제2 편광 영상의 촬영 위치를 보정하는 구체적인 방법에 대해서는 후술한다.A specific method for correcting the photographing position of the first polarized image and the second polarized image using the motion prediction method or the differential prediction method by the position correcting unit 110 will be described later.

이어서, 도로 표면 상태 판정부(120)는 보정된 제1 편광 영상과 제2 편광 영상을 통해 도로 표면의 상태를 판정한다(S200).Next, the road surface state determining unit 120 determines the state of the road surface through the corrected first polarized image and the second polarized image (S200).

도로 표면 상태 판정부(120)는 위치 보정부(110)에 의해 보정된 제1 편광 영상과 제2 편광 영상을 위치 보정부(110)로부터 수신한다. 위치 보정부(110)의 위치 보정 결과 제1 편광 영상과 제2 편광 영상은 동일한 위치에서 촬영된 영상으로 보정되어, 도로 표면 상태 판정부(120)는 동일한 위치에서 촬영된 수직 편광 영상과 수평 편광 영상을 수신할 수 있다. The road surface state determining unit 120 receives the first and second polarized images corrected by the position correcting unit 110 from the position correcting unit 110. As a result of the position correction of the position correcting unit 110, the first polarized image and the second polarized image are corrected to an image photographed at the same position, so that the road surface state determining unit 120 determines that the vertical polarized image and the horizontally polarized light Image can be received.

도로 표면 상태 판정부(120)는 보정된 제1 편광 영상과 제2 편광 영상의 편광 특성 및 텍스쳐 특성을 이용하여 도로 표면 상태를 분류한다. The road surface condition determining unit 120 classifies the road surface state using the polarization characteristics and the texture characteristics of the corrected first and second polarized images.

편광 특성을 이용한 도로 표면 상태 인식에 대한 방법은 물 표면과 같이 반사율이 높은 물질에 빛이 입사한 경우 빛의 진동 방향에 따라 반사율이 달라지는데, 전체적으로 수직 방향 성분의 빛이 수평 방향 성분의 빛보다 반사율이 높다는 것에 착안한다. 특히, 입사각이 브루스터(Brewster)각 이하가 되면 수평 방향 성분의 반사율은 0에 가까워지게 되어, 수직 편광 영상과 수평 편광 영상 사이에 반사광의 양이 큰 차이가 나게 된다. 반면, 마른 상태의 도로와 같이 반사율이 크지 않은 물질의 경우에는 수직 편광 영상과 수평 편광 영상 사이에 반사율의 차이가 크지 않다. 상술한 내용을 바탕으로 편광 계수가 높고 낮음에 따라 도로 표면 상태를 판정할 수 있다.In the method for recognizing the road surface state using the polarization characteristic, when light is incident on a material having a high reflectance such as a water surface, the reflectance varies depending on the direction of the light. In general, Is high. In particular, when the angle of incidence is less than the Brewster angle, the reflectance of the horizontal component becomes close to zero, and the amount of reflected light between the vertically polarized image and the horizontally polarized image becomes large. On the other hand, in the case of a material having a low reflectance such as a dry road, there is not a large difference in reflectance between the vertical polarized image and the horizontally polarized image. Based on the above description, it is possible to determine the state of the road surface according to the polarization coefficient being high and low.

텍스쳐 특성을 이용한 도로 표면 상태 인식에 대한 방법은 수평 편광 영상을 웨이블릿(Wavelet) 패킷 변환기에 통과시켜 웨이블릿 계수를 획득한다. 이후, 웨이블릿 계수를 이용하여 도로 표면의 질감을 분류함으로써, 도로 표면 상태를 판정할 수 있다.A method for road surface condition recognition using texture properties is achieved by passing a horizontally polarized image through a wavelet packet converter to obtain a wavelet coefficient. Thereafter, the road surface state can be determined by classifying the texture of the road surface by using the wavelet coefficient.

도로 표면 상태 판정부(120)는 상술한 바와 같은 편광 특성을 이용한 도로 표면 상태 인식에 대한 방법과 텍스쳐 특성을 이용한 도로 표면 상태 인식에 대한 방법을 사용하여 도로 표면의 상태를 판정할 수 있다. 또한, 유효성 검사를 실시하여 유효 영역에 대한 최종 도로 표면 인식 결과를 출력할 수 있다.The road surface state determination unit 120 can determine the state of the road surface using the method for recognizing the road surface state using the polarization characteristic as described above and the method for recognizing the road surface state using the texture characteristic. In addition, the validity check can be performed to output the final road surface recognition result for the valid area.

본 발명의 일 실시예에 따른 도로 표면 상태 인식 장치(100) 및 방법에서는 주행하는 자동차에서 하나의 편광 영상 촬영부를 사용하는 경우 및 2개의 편광 영상 촬영부를 사용하는 경우 모두 수직 편광 영상과 수평 편광 영상이 촬영된 위치가 상이하다는 문제를 해결할 수 있다. 구체적으로, 촬영된 위치가 상이한 수직 편광 영상과 수평 편광 영상을 사용하여 도로 표면 상태를 판정하는 경우, 판정 결과의 정확성은 매우 떨어진다. 이에, 본 발명의 일 실시예에 따른 도로 표면 상태 인식 장치(100)의 위치 보정부(110)는 동작 예측 방법 또는 시차 예측 방법을 사용하여 수직 편광 영상 또는 수평 편광 영상 중 적어도 하나에 대한 위치를 보정할 수 있고, 이에 따라 서로 상이한 위치에서 촬영된 수직 편광 영상과 수평 편광 영상이 동일한 위치에서 촬영된 것으로 보정될 수 있다. 이에, 본 발명의 일 실시예에 따른 도로 표면 상태 인식 장치(100) 및 방법에서는 실제로는 상이한 위치에서 촬영되었으나, 동일한 위치에서 촬영된 것으로 보정된 수직 편광 영상과 수평 편광 영상을 사용하여 보다 정확하게 도로 표면 상태를 판정할 수 있다.In the road surface state recognition apparatus 100 and method according to an embodiment of the present invention, in the case of using one polarized image capturing unit and the case of using two polarized image capturing units in a traveling automobile, It is possible to solve the problem that the photographed position is different. Specifically, when the state of the road surface is judged by using the vertically polarized image and the horizontally polarized image which have different photographed positions, the accuracy of the judgment result is very poor. Accordingly, the position correcting unit 110 of the road surface state recognition apparatus 100 according to an embodiment of the present invention uses a motion prediction method or a parallax prediction method to calculate a position of at least one of a vertically polarized image and a horizontally- So that the vertical polarization image and the horizontal polarization image photographed at mutually different positions can be corrected to be photographed at the same position. Accordingly, in the road surface state recognition apparatus 100 and method according to an embodiment of the present invention, a vertically polarized image and a horizontally polarized image, which were actually photographed at different positions but corrected to be photographed at the same position, The surface state can be determined.

도 3은 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 순서도이다. 도 4는 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 개략도이다. 도 5a 및 도 5b는 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 편광 영상들에 대한 개략도이다. 도 3은 동작 예측 방법을 사용하는 도로 표면 상태 인식 방법을 설명하기 위한 순서도이고, 도 4는 도로 표면 상태 인식 장치(100)가 장착된 자동차(400)에서의 편광 영상 촬영 위치를 설명하기 위한 개략도이다. 또한, 도 5a 및 도 5b는 동작 예측 방법을 사용하는 도로 표면 상태 인식 방법을 설명하기 위한 제1 편광 영상 및 제2 편광 영상의 개략도이다.3 is a flowchart for explaining a road surface state recognition method according to another embodiment of the present invention. 4 is a schematic diagram for explaining a road surface state recognition method according to another embodiment of the present invention. 5A and 5B are schematic diagrams of polarized images for explaining a road surface state recognition method according to another embodiment of the present invention. FIG. 3 is a flowchart for explaining a road surface state recognition method using a motion prediction method, FIG. 4 is a schematic diagram for explaining a polarized image pickup position in a vehicle 400 equipped with the road surface state recognition apparatus 100 to be. 5A and 5B are schematic views of a first polarized image and a second polarized image for explaining a road surface state recognition method using a motion prediction method.

위치 보정부(110)는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 수신한다. 제1 편광 영상과 제2 편광 영상 중 하나는 수직 편광 영상이고, 다른 하나는 수평 편광 영상이다. 여기서, 제1 편광 영상은 자동차(400)가 제1 위치(L1)에 위치한 경우 자동차(400)에 부착된 편광 영상 촬영부(430)에 의해 촬영된 편광 영상이고, 제2 편광 영상은 자동차(400)가 제1 위치(L1)에서 이동하여 제2 위치(L2 또는 L2')에 위치한 경우 편광 영상 촬영부(430)에 의해 촬영된 편광 영상이다. 여기서, 자동차(400)는 프레임간 시간 간격에 대응하는 시간 동안 이동하여 제1 위치(L1)에서 제2 위치(L2 또는 L2')로 이동한 것으로 가정한다. 도 5a를 참조하면, 자동차(400)가 이동함에 따라, 제1 편광 영상에서의 별 모양의 객체의 위치와 제2 편광 영상에서의 별 모양의 객체의 위치가 상이함을 확인할 수 있다. The position correcting unit 110 receives the first polarized image and the second polarized image with respect to the road surface. One of the first polarized image and the second polarized image is a vertical polarized image, and the other is a horizontally polarized image. Here, the first polarized image is a polarized image captured by the polarized image capturing unit 430 attached to the automobile 400 when the automobile 400 is located at the first position L1, and the second polarized image is captured by the car 400 is moved from the first position L1 to the second position L2 or L2 ', the polarized image captured by the polarized-light imaging unit 430 is a polarized image. Here, it is assumed that the automobile 400 moves for a time corresponding to the inter-frame time interval and moves from the first position L1 to the second position L2 or L2 '. Referring to FIG. 5A, as the automobile 400 moves, it can be seen that the position of the star-shaped object in the first polarized image is different from the position of the star-shaped object in the second polarized image.

이어서, 위치 보정부(110)는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 위치 보정한다(S100). 이하에서는 위치 보정부(110)가 동작 예측 방법을 사용하여 위치 보정을 수행하는 과정에 대해 도 5a 및 도 5b를 함께 참조하여 설명한다.Next, the position correcting unit 110 corrects the position of the first polarized image and the second polarized image with respect to the road surface to a polarized image photographed at the same position (S100). Hereinafter, a process of the position correcting unit 110 to perform position correction using the motion prediction method will be described with reference to FIGS. 5A and 5B.

위치 보정부(110)는 제1 편광 영상 및 제2 편광 영상 중 어느 하나를 기준 영상으로, 다른 하나를 후보 영상으로 정의한다(S110). The position correcting unit 110 defines one of the first polarized image and the second polarized image as a reference image and the other as a candidate image (S110).

위치 보정부(110)는 제1 편광 영상 및 제2 편광 영상 중 기준 영상으로 정의된 편광 영상의 각 영역에 대하여 해당 영역이 후보 영상의 어느 영역과 동일한 위치인지를 계산할 수 있다. 예를 들어, 위치 보정부(110)는 제1 편광 영상의 별 모양의 객체의 꼭지점에 대응하는 픽셀(P1)이 제2 편광 영상의 어느 픽셀과 동일한 위치인지 계산할 수 있고, 계산을 통해 픽셀(P1)이 제2 편광 영상의 픽셀(P2)과 동일한 위치임을 계산할 수 있다. 여기서, 편광 영상의 영역은 편광 영상에서의 하나의 픽셀로 정의될 수도 있고, 픽셀들의 그룹인 블록일 수도 있다. 이하에서는, 제1 편광 영상이 기준 영상이고 제2 편광 영상이 후보 영상인 것으로 가정하나, 이에 제한되지는 않는다. 또한, 이하에서는 편광 영상의 영역이 편광 영상에서의 하나의 픽셀인 것으로 가정하나, 이에 제한되지 않는다.The position correcting unit 110 can calculate which region of the candidate image has the same position with respect to each region of the polarized image defined as the reference image among the first polarized image and the second polarized image. For example, the position correcting unit 110 can calculate which pixel P1 corresponding to the vertex of the star-shaped object of the first polarized image is the same as which pixel of the second polarized image, P1 is the same position as the pixel P2 of the second polarized image. Here, the region of the polarized image may be defined as one pixel in the polarized image, or may be a block that is a group of pixels. Hereinafter, it is assumed that the first polarized image is the reference image and the second polarized image is the candidate image, but the present invention is not limited thereto. Further, it is assumed here that the region of the polarized image is one pixel in the polarized image, but it is not limited thereto.

이어서, 위치 보정부(110)는 기준 영상의 영역별로 기준 영상의 영역과 동일한 위치를 나타내는 후보 픽셀의 영역을 연결하는 움직임 벡터(mv)를 생성한다(S120).Next, the position correcting unit 110 generates a motion vector mv for connecting the candidate pixel region indicating the same position as the reference image region for each reference image region (S120).

위치 보정부(110)는 기준 영상의 영역과 상기 후보 영상의 영역 사이의 비용 함수(cost function)를 계산하고, 비용 함수의 값을 최소값으로 하는 후보 영상의 영역과 기준 영상의 영역을 연결하는 움직임 벡터를 생성한다. 구체적으로, 위치 보정부(110)는 기준 영상의 대상 픽셀과 후보 영상의 후보 픽셀 사이의 비용 함수를 계산하고 비용 함수를 최소값으로 하는 후보 영상의 후보 픽셀을 기준 영상의 대상 픽셀과 연결하여 움직임 벡터를 계산한다. 움직임 벡터(mv)는 다음의 수학식 1을 통해 계산될 수 있다.The position correcting unit 110 calculates a cost function between the region of the reference image and the region of the candidate image and calculates a motion function of connecting the region of the candidate image with the value of the cost function as the minimum value, Create a vector. Specifically, the position correcting unit 110 calculates a cost function between the target pixel of the reference image and the candidate pixel of the candidate image, and connects the candidate pixel of the candidate image having the minimum cost function to the target pixel of the reference image, . The motion vector mv can be calculated by the following equation (1).

[수학식 1][Equation 1]

mv(x)는 기준 영상의 대상 픽셀의 위치 x에서의 움직임 벡터이고, 움직임 벡터는 움직임 벡터의 후보 벡터(v) 중 비용 함수(cost)를 최소화하는 벡터이다. 또한, 움직임 벡터의 후보 벡터(v)는 기준 영상의 대상 픽셀과 후보 영상의 탐색 범위(SR) 내의 픽셀들을 연결하는 움직임 벡터이다. 여기서, 탐색 범위(SR)는 비용 함수를 비교하기 위한 움직임 벡터의 후보군이 분포하는 범위를 의미하는 것으로서, 예를 들어 도 5b를 참조하면, 제1 편광 영상의 픽셀(P1)에 대한 움직임 벡터를 생성하기 위해 사용되는 탐색 범위(SR)는 픽셀(P1)에 대응하는 제2 편광 영상에서의 위치를 기준으로 정의될 수 있으며, 도 5b에 도시된 바와 같이 사각형 형상으로 정의될 수도 있고, 원형 형상으로 정의될 수도 있다. 다만 이에 제한되는 것은 아니다.mv (x) is a motion vector at a position x of a target pixel of the reference image, and the motion vector is a vector that minimizes a cost function among candidate vectors (v) of a motion vector. Further, the candidate vector v of the motion vector is a motion vector that links the target pixel of the reference image and the pixels in the search range SR of the candidate image. Here, the search range SR refers to a range in which a candidate group of motion vectors for comparing cost functions is distributed. For example, referring to FIG. 5B, a motion vector for a pixel P1 of the first polarized image The search range SR used for generating may be defined based on the position in the second polarized image corresponding to the pixel P1, and may be defined as a rectangular shape as shown in Fig. 5B, . &Lt; / RTI > However, the present invention is not limited thereto.

이 때, 비용 함수(cost)는 수학식 2와 같이 크게 두 부분으로 구성된다.In this case, the cost function (cost) consists of two parts as shown in Equation (2).

[수학식 2]&Quot; (2) "

구체적으로 비용 함수(cost)는 기준 영상의 영역과 후보 영상의 후보 영역의 유사 정도를 나타내는 함수인 정합 비용(matching cost) 함수 및 움직임 벡터의 후보 벡터와 후보 벡터 주변의 움직임 벡터의 유사 정도를 나타내는 함수인 공간 제약(spatial constraint) 함수에 기초하여 결정될 수 있다.Specifically, the cost function includes a matching cost function, which is a function indicating the degree of similarity between the reference image region and the candidate region of the candidate image, and a similarity degree between the candidate vector of the motion vector and the motion vector around the candidate vector. Can be determined based on a spatial constraint function that is a function.

정합 비용 함수는 기준 영상의 대상 픽셀의 위치 x의 영상과 후보 영상에서의 위치 x+v의 영상이 얼마나 유사한가를 나타내는 함수이다. 즉, 정합 비용 함수는 기준 영상의 대상 픽셀과 후보 영상의 탐색 범위(SR) 내의 픽셀이 얼마나 유사한가를 나타내는 함수이다. 정합 비용 함수로는 예를 들어, SAD(Sum of Absolute Differences) 등이 사용될 수 있다. The matching cost function is a function that shows how the image of the position x of the target pixel of the reference image is similar to the image of the position x + v in the candidate image. That is, the matching cost function is a function indicating how similar the target pixel of the reference image is to the pixel in the search range (SR) of the candidate image. As the matching cost function, for example, Sum of Absolute Differences (SAD) or the like may be used.

다음은 정합 비용 함수로서로서 SAD를 사용한 수학식 3이다. 여기서 i는 제1 편광 영상이고, i'는 제2 편광 영상을 나타낸다. 여기서, k는 주변 픽셀의 인덱스를 나타낸다.The following is Equation 3 using SAD as the matching cost function. Where i is the first polarized image and i 'is the second polarized image. Here, k represents the index of the surrounding pixels.

[수학식 3]&Quot; (3) "

공간 제약 함수는 기준 영상의 대상 픽셀의 위치 x에 대한 움직임 벡터의 후보 벡터(v)가 후보 벡터(v) 주변의 움직임 벡터들과 얼마나 유사한 가를 나타낸다. 일반적인 영상에서는 움직임 벡터 필드(motion vector field)의 대부분이 부드러우므로, 기준 영상의 대상 픽셀의 위치 x에 대한 움직임 벡터의 후보 벡터(v)가 후보 벡터(v) 주변의 움직임 벡터들 간의 차이가 클수록 높은 비용을 부여한다. 수학식 4는 일 구현예이다.The spatial constraint function indicates how similar the candidate vector (v) of the motion vector to the position x of the target pixel of the reference image is to the motion vectors around the candidate vector (v). Since most of the motion vector field is smooth in a general image, the difference between the motion vector around the candidate vector v and the candidate vector v of the motion vector with respect to the position x of the target pixel of the reference image is The higher the price, the higher the cost. Equation 4 is an implementation example.

[수학식 4]&Quot; (4) "

정리하면, 비용 함수는 정합 비용 함수 및 공간 제약 함수에 기초하여 결정될 수 있다. 이 때, 비용 함수에 기여하는 정합 비용 함수 및 공간 제약 함수의 가중치를 조절하기 위해, 수학식 2에 나타난 바와 같이 공간 제약 함수에 가중치 λ를 곱할 수 있다. In summary, the cost function can be determined based on the matching cost function and the space constraint function. In this case, in order to adjust the weight of the matching cost function and the space constraint function contributing to the cost function, the space constraint function can be multiplied by the weight? As shown in Equation (2).

이어서, 위치 보정부(110)는 움직임 벡터에 기초하여 기준 영상 및 후보 영상 중 하나의 촬영 위치를 보정한다(S130).Next, the position correcting unit 110 corrects one photographing position of the reference image and the candidate image based on the motion vector (S130).

위치 보정부(110)는 생성된 움직임 벡터에 기초하여 기준 영상 및 후보 영상 중 적어도 하나의 촬영 위치를 보정할 수 있다. 예를 들어, 위치 보정부(110)는 기준 영상의 픽셀들에 움직임 벡터를 가산하는 방식으로 기준 영상의 픽셀들의 위치를 조정함에 의해 기준 영상의 촬영 위치를 보정하여, 기준 영상과 후보 영상이 동일한 위치에서 촬영된 것으로 보정한다. 또한, 예를 들어, 위치 보정부(110)는 후보 영상의 픽셀들에 움직임 벡터를 감산하는 방식으로 후보 영상의 픽셀들의 위치를 조정함에 의해 후보 영상의 촬영 위치를 보정하여, 기준 영상과 후보 영상이 동일한 위치에서 촬영된 것으로 보정한다.The position correcting unit 110 may correct at least one photographing position of the reference image and the candidate image based on the generated motion vector. For example, the position correcting unit 110 corrects the position of the reference image by adjusting the position of the pixels of the reference image by adding a motion vector to the pixels of the reference image, And corrects it to be photographed at the position. In addition, for example, the position correcting unit 110 corrects the position of the candidate image by adjusting the position of the pixels of the candidate image by subtracting the motion vector from the pixels of the candidate image, Is corrected to be photographed at the same position.

이어서, 도로 표면 상태 판정부(120)는 보정된 제1 편광 영상과 제2 편광 영상을 통해 도로 표면의 상태를 판정한다(S200). 도로 표면 상태 판정부(120)가 도로 표면의 상태를 판정하는 것은 도 1 및 도 2를 참조하여 설명한 내용과 동일하다.Next, the road surface state determining unit 120 determines the state of the road surface through the corrected first polarized image and the second polarized image (S200). The road surface state determination unit 120 determines the state of the road surface in the same manner as described with reference to Figs. 1 and 2. Fig.

본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법에서는 주행하는 자동차(400)에서 하나의 편광 영상 촬영부(430)를 사용하여 상이한 위치에서 제1 편광 영상과 제2 편광 영상을 촬영한 경우, 동작 예측 방법을 사용하여 제1 편광 영상과 제2 편광 영상이 동일한 위치에서 촬영된 것으로 보정될 수 있다. 이에 따라, 동일한 위치에서 촬영된 것으로 보정된 수직 편광 영상과 수평 편광 영상을 사용하여 보다 정확하게 도로 표면 상태가 판정될 수 있다.In the road surface state recognition method according to another embodiment of the present invention, when the first polarized image and the second polarized image are captured at different positions using one polarized image capturing unit 430 in the running vehicle 400, It can be corrected that the first polarized image and the second polarized image are photographed at the same position using the motion prediction method. Accordingly, the road surface state can be determined more accurately by using the vertical polarized image and the horizontally polarized image corrected to be photographed at the same position.

몇몇 실시예에서, 비용 함수는, 도로 표면 상태 인식 장치(100)가 이동하는 속도 및 제1 편광 영상과 제2 편광 영상을 촬영하는 편광 영상 촬영부(430)의 특성을 고려하여 결정되는 기준 움직임 벡터(default motion vector)와 움직임 벡터의 후보 벡터의 유사 정도를 나타내는 함수인 속도 제약(velocity constraint) 함수에 더 기초하여 결정될 수 있다. 즉, 비용 함수는 정합 비용 함수, 공간 제약 함수 및 속도 제약 함수에 기초하여 결정될 수 있다.In some embodiments, the cost function may be determined based on the velocity at which the road surface state recognition apparatus 100 moves, and the reference motion, which is determined in consideration of the characteristics of the polarized-light imaging unit 430 that photographs the first polarized image and the second polarized image. Can be determined further based on a velocity constraint function, which is a function representing a degree of similarity between a vector (default motion vector) and a candidate vector of a motion vector. That is, the cost function may be determined based on the matching cost function, the space constraint function, and the rate constraint function.

구체적으로, 도로 표면 상태 인식 장치(100)가 주행하는 자동차(400)에 장착되는 경우, 도로 표면 상태 인식 장치(100)가 이동하는 속도는 주행하는 자동차(400)의 속도와 동일하므로, 자동차(400)의 속도계 또는 GPS 등을 통해 도로 표면 상태 인식 장치(100)의 속도가 획득될 수 있다. 따라서, 편광 영상 간의 촬영 위치 차이는 기본적으로 자동차(400)의 속도에 프레임간 시간 간격을 곱해 얻은 편광 영상 촬영부(430)의 이동 거리로부터 얻을 수 있다. 다만, 도 4에 도시된 바와 같이 자동차(400)가 직진하여 제1 위치(L1)에서 제2 위치(L2)로 이동하는 경우도 있으나, 자동차(400)가 직진하지 않고 제1 위치(L1)에서 제2 위치(L2')로 이동하는 경우도 많다. 또한, 도로 표면이 정확히 수평면이 아닌 경우도 많다. 따라서, 자동차(400)의 속도만으로 움직임 벡터를 결정하게 되면 오류가 발생한다. 따라서, 정합 비용 함수에 기준 영상의 대상 픽셀과 후보 영상의 후보 픽셀로부터 만들어지는 움직임 벡터와 자동차(400)의 속도계 등으로부터 획득된 움직임 벡터의 차를 포함하여 모든 픽셀의 움직임 벡터가 자동차(400)의 속도로부터 얻은 기준 움직임 벡터와 큰 차이가 나지 않도록 유도할 수 있다.Specifically, when the road surface state recognizing apparatus 100 is mounted on the running vehicle 400, the speed at which the road surface state recognizing apparatus 100 moves is the same as the speed of the traveling vehicle 400, The speed of the road surface state recognition apparatus 100 can be obtained through a speedometer of a portable terminal 400, a GPS, or the like. Therefore, the difference in the photographing position between the polarized images can be basically obtained from the moving distance of the polarized-light imaging unit 430 obtained by multiplying the speed of the car 400 by the inter-frame time interval. 4, the automobile 400 may move straight from the first position L1 to the second position L2. However, when the automobile 400 does not go straight and moves to the first position L1, To the second position L2 '. In many cases, the road surface is not exactly horizontal. Therefore, if a motion vector is determined only by the speed of the automobile 400, an error occurs. Therefore, the motion vector of all the pixels including the difference between the motion vector generated from the target pixel of the reference image and the candidate pixel of the candidate image and the motion vector obtained from the speedometer of the automobile 400, Lt; RTI ID = 0.0 > motion vector, < / RTI >

예를 들어, 위치 보정부(110)는 자동차(400)의 속도(V)를 입력 받아 기준 영상의 위치 x에 대하여 기준 움직임 벡터(default motion vector) (v₀(x))를 구한다. 기준 움직임 벡터는 기본적으로 자동차(400)의 속도에 비례하지만 각 픽셀마다 편광 영상 촬영부(430)와 피사체 사이의 거리가 다르기 때문에, 비례 상수(α(x))는 픽셀 위치에 따라 다르게 정의되어야 한다. 비례 상수 α(x)는 편광 영상 촬영부(430)의 설치 조건 및 편광 영상 촬영부(430)의 규격에 따라 달라지므로 실측을 통하여 설정될 수 있다. 기준 움직임 벡터는 다음 수학식 5와 같다.For example, the position correcting unit 110 receives the velocity V of the automobile 400 and obtains a reference motion vector v ₀ (x) with respect to the position x of the reference image. Since the reference motion vector is basically proportional to the speed of the car 400, but the distance between the polarized-light imaging unit 430 and the subject differs for each pixel, the proportional constant? (X) must be defined differently depending on the pixel position do. The proportional constant? (X) depends on the installation condition of the polarization image capturing unit 430 and the specification of the polarization image capturing unit 430, and thus can be set through actual measurement. The reference motion vector is expressed by the following equation (5).

[수학식 5]&Quot; (5) "

이러한 기준 움직임 벡터는 이상적인 주행 환경(자동차(400)의 상하 이동이 전혀 없으면서 굴곡이 전혀 없는 도로를 직선으로 등속도 주행하는 상황)에서는 움직임 벡터와 일치하나 현실 주행 환경에서는 기준 움직임 벡터를 그대로 사용하지 못하고, 속도 제약 함수로 사용한다. 속도 제약 함수의 일 구현예는 수학식 6과 같다.This reference motion vector coincides with the motion vector in an ideal driving environment (a situation in which the vehicle 400 travels at a constant speed on a road with no up and down movement at all and no bends at all), but the reference motion vector is not used And can be used as a speed limiting function. One example of the velocity constraint function is shown in Equation (6).

[수학식 6]&Quot; (6) "

수학식 6과 같은 속도 제약 함수가 적용되면 전체 비용 함수는 다음과 같은 형태가 된다.When the rate constraint function as shown in Equation (6) is applied, the total cost function becomes as follows.

[수학식 7]&Quot; (7) "

위와 같은 과정을 통해 움직임 벡터를 획득하게 되면, 최종적으로 촬영 위치가 보정된 편광 영상이 생성될 수 있다. When a motion vector is obtained through the above process, a polarized image in which a photographing position is finally corrected can be generated.

상술한 바와 같이 비용 함수에 속도 제약 함수를 추가적으로 적용함에 따라, 보다 정확하게 기준 영상과 후보 영상의 촬영 위치가 보정될 수 있다. 즉, 주행하는 자동차(400)에 설치된 편광 영상 촬영부(430)에 의해 촬영된 편광 영상들을 동일한 위치에서 촬영된 것으로 보정하기 위해, 자동차(400)의 속도와 관련된 속도 제약 함수를 추가적으로 고려함으로써, 기준 영상과 후보 영상의 촬영 위치가 보다 정확하게 보정되고, 이에 따라 보다 정확하게 도로 표면 상태가 파악될 수 있다. As described above, by additionally applying the rate limiting function to the cost function, the photographing position of the reference image and the candidate image can be corrected more accurately. In other words, by further considering the speed limitation function related to the speed of the vehicle 400 in order to correct the polarized images photographed by the polarized-light image capturing unit 430 installed in the running vehicle 400 to be photographed at the same position, The photographing position of the reference image and the candidate image is corrected more accurately, and thus the road surface state can be grasped more accurately.

몇몇 실시예에서, 도로 표면 상태 판정부(120)는 비용 함수의 값이 임계치 이상인 기준 영상의 영역을 제외하고 도로 표면의 상태를 판정할 수도 있다. 촬영 위치 보정이 실패하여 잘못된 움직임 벡터가 계산된 영역의 경우, 이들을 도로 표면 인식에 포함시키면 잘못된 인식 결과가 나오는 경우가 많다. 따라서 위치 보정이 실패했다고 판단하면, 해당 영역을 도로 표면 인식에서 제외할 수 있다. 위치 보정의 실패 여부를 판단하는 한 가지 방법으로 비용 함수를 사용할 수 있다. 일반적으로 움직임 벡터의 비용 함수의 값이 작을수록 해당 움직임 벡터는 참일 확률이 높다. 따라서, 기준 영상의 특정 영역에 대한 비용 함수의 값이 임계치 이상인 경우 해당 영역을 도로 표면 인식에서 제외할 수 있고, 이에 따라 보다 정확하게 도로 표면이 판정될 수 있다.In some embodiments, the road surface state determining section 120 may determine the state of the road surface except for the region of the reference image whose value of the cost function is equal to or greater than the threshold value. In the case of a region where erroneous motion vectors are calculated due to the failure of the photographing position correction, if these are included in the road surface recognition, a wrong recognition result often appears. Therefore, if it is judged that the position correction has failed, the corresponding area can be excluded from the road surface recognition. One way to determine whether a position correction fails is to use a cost function. In general, the smaller the cost function of the motion vector is, the higher the probability of the corresponding motion vector is. Accordingly, when the value of the cost function for a specific region of the reference image is equal to or greater than the threshold value, the region can be excluded from the road surface recognition, so that the road surface can be determined more accurately.

몇몇 실시예에서, 도로 표면 상태 판정부(120)는 위치 보정부(110)에 의해 생성된 움직임 벡터 중 기준 움직임 벡터와 임계치 이상의 차이를 갖는 움직임 벡터에 대응하는 기준 영상의 영역을 제외하고 도로 표면 상태를 판정할 수 있다. 앞서 설명한 바와 같이 편광 특성을 이용한 도로 표면 인식 알고리즘은 수직 편광 영상 및 수평 편광 영상이 정확하게 같은 위치에서 촬영되는 것을 전제하고 있다. 그 이유는 두 장의 편광 영상에서의 같은 위치의 픽셀에는 동일한 물체가 촬영되어 있어야 하기 때문이다. 그런데, 두 장의 편광 영상이 정확히 동일한 위치에서 촬영되거나 완벽하게 위치가 보정되어도 촬영 시각이 다르면, 각 물체의 움직임이 발생하여 앞서 설명한 전제가 성립하지 않을 수 있다. 따라서 물체의 이동에 의하여 발생한 휘도의 차이를 편광 효과로 잘못 해석하여 도로 표면 상태 판정부(120)가 습윤 상태가 아닌 지역을 습윤 상태로 인식하는 경우가 발생할 수 있다.In some embodiments, the road surface state determining unit 120 may determine the road surface state by comparing the reference motion vector of the motion vectors generated by the position correcting unit 110 with the reference image, The state can be judged. As described above, the road surface recognition algorithm using the polarization characteristics assumes that the vertical polarization image and the horizontally polarized image are photographed at exactly the same position. This is because the same object must be photographed in the pixels at the same position in the two polarized images. However, even if the two polarized images are photographed at exactly the same position or the position is completely corrected, if the photographing time is different, movement of each object occurs and the premise described above may not be established. Accordingly, it may happen that the road surface state determining unit 120 recognizes the wet state as a region that is not wet by erroneously analyzing the difference in brightness caused by the movement of the object as a polarizing effect.

이에, 상술한 바와 같은 오류를 방지하기 위해, 촬영 시각이 다른 편광 영상의 쌍으로부터 움직임 벡터를 계산한 다음, 영상에서 움직임 벡터가 다른 영역과 현저히 다른 픽셀들을 움직이는 물체로 간주하여 도로 표면 인식에서 제외한다. 또한, 움직이는 물체가 지나간 배경 부분도 정상적인 움직임 벡터를 구할 수 없으므로 도로 표면 인식에서 제외한다. 구체적인 예로서, 도로 표면 상태 판정부(120)는 도로 표면이 완전한 평면이라는 가정 하에서 계산된 기준 움직임 벡터와 임계치 이상의 차이를 갖는 움직임 벡터에 대응하는 기준 영상의 영역을 제외하고 도로 표면 상태를 판정할 수 있다. 이에 따라, 보다 정확하게 도로 표면이 판정될 수 있다.In order to prevent such errors, a motion vector is calculated from a pair of polarized images having different photographing times, and pixels considered as moving objects, which are significantly different from other regions in the image, are regarded as moving objects, do. In addition, since the motion vector can not be obtained even in the background part where the moving object passes, it is excluded from the road surface recognition. As a specific example, the road surface state determining section 120 determines the road surface state except for the region of the reference image corresponding to the motion vector having a difference of more than the threshold value from the reference motion vector calculated under the assumption that the road surface is perfectly flat . Thus, the road surface can be determined more accurately.

몇몇 실시예에서, 위치 보정부(110)는 기준 움직임 벡터를 중심으로 하는 탐색 범위를 설정하고, 후보 영상의 후보 영역은 후보 영상에서 탐색 범위 내의 영역으로 정의될 수 있다. 이에 대한 보다 상세한 설명을 위해 도 6a 및 도 6b를 함께 참조한다. In some embodiments, the position correcting unit 110 sets a search range around the reference motion vector, and the candidate region of the candidate image may be defined as an area within the search range in the candidate image. See also FIGS. 6A and 6B for a more detailed description.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 편광 영상들에 대한 개략도이다.6A and 6B are schematic views illustrating polarized images for explaining a road surface state recognition method according to another embodiment of the present invention.

동작 예측 방법에서 탐색 범위는 비용 함수를 비교하기 위한 움직임 벡터의 후보군이 분포하는 범위를 의미한다. 따라서, 실제 움직임 벡터의 크기가 탐색 범위보다 큰 경우에는 동작 예측이 실패하게 된다. 예를 들어, 도 6a에 도시된 바와 같이 탐색 범위가 제1 탐색 범위(SR1)로 설정된 상태에서 제1 편광 영상의 별 모양의 객체가 제2 편광 영역에서 제1 탐색 범위(SR1)를 벗어나도록 이동한 경우라면, 제1 편광 영상에서의 별 모양의 객체의 꼭지점에 대응하는 픽셀(P1)에 대응하는 제2 편광 영상에서의 픽셀인(P2)가 제1 탐색 범위(SR1) 외부에 존재한다. 따라서, 제1 편광 영상에서의 픽셀(P1)에 대응하는 움직임 벡터가 정확하게 생성될 수 없다. In the motion estimation method, the search range refers to a range in which candidate groups of motion vectors for comparing cost functions are distributed. Therefore, when the size of the actual motion vector is larger than the search range, motion prediction fails. For example, as shown in FIG. 6A, in a state where the search range is set to the first search range SR1, the star object of the first polarized image is shifted from the first search range SR1 in the second polarization area (P2) in the second polarized image corresponding to the pixel P1 corresponding to the vertex of the star-shaped object in the first polarized image exists outside the first search range SR1 . Therefore, a motion vector corresponding to the pixel P1 in the first polarized image can not be accurately generated.

이에 따라, 보다 정확한 동작 예측 방법을 수행하기 위해서는 탐색 범위의 크기를 제2 탐색 범위(SR2)로 넓게 설정하여야 한다. 다만, 탐색 범위의 크기가 증가되면 그에 따른 연산량이 크게 증가하는 단점이 발생한다.Accordingly, in order to perform a more accurate operation prediction method, the size of the search range should be set to a wide second search range (SR2). However, if the size of the search range is increased, the computational complexity increases accordingly.

이에 따라, 탐색 범위의 중심을 기준 움직임 벡터로 설정함으로써, 연산량을 증가시키지 않으면서도 크기가 큰 움직임 벡터를 계산할 수 있다. 일반적으로, 제2 편광 영상에서의 탐색 범위를 제로 벡터(zero vector)를 중심으로 설정하게 된다. 그 이유는 일반적인 영상에서 출현 확률이 가장 높은 움직임 벡터가 제로 벡터이기 때문이다. 그러나, 상술한 도로 표면 상태 인식 방법에서는 각 픽셀에 대하여 기준 움직임 벡터를 구할 수 있으므로 출현 확률이 가장 높은 움직임 벡터는 제로 벡터가 아닌 기준 움직임 벡터라 할 수 있다. 따라서, 도 6b에 도시된 바와 같이 기준 움직임 벡터(V₀)를 사용하여 탐색 범위를 P'를 중심으로 설정하게 되면, 탐색 범위(SR')를 크게 잡지 않아도 크기가 큰 움직임 벡터를 탐색 범위(SR') 내에 포함할 수 있다. 따라서, 보다 정확하게 움직임 벡터를 계산할 수 있고, 움직임 벡터를 계산하는데 요구되는 연산량 또한 감소될 수 있다.Thus, by setting the center of the search range to be a reference motion vector, it is possible to calculate a motion vector having a large size without increasing the amount of calculation. Generally, the search range in the second polarized image is set around a zero vector. This is because the motion vector with the highest probability of occurrence in a general image is a zero vector. However, in the road surface state recognition method described above, since a reference motion vector can be obtained for each pixel, the motion vector with the highest probability of occurrence can be referred to as a reference motion vector, not a zero vector. 6B, when the search range is set to be centered around P 'using the reference motion vector V ₀ , a motion vector having a large size can be used as a search range SR '). Therefore, the motion vector can be calculated more accurately, and the amount of calculation required to calculate the motion vector can also be reduced.

도 7은 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 순서도이다. 도 8은 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 개략도이다. 도 9a 및 도 9b는 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 편광 영상들에 대한 개략도이다. 도 7은 시차 예측 방법을 사용하는 도로 표면 상태 인식 방법을 설명하기 위한 순서도이고, 도 8은 도로 표면 상태 인식 장치(100)가 장착된 자동차(800)에서의 편광 영상 촬영 위치를 설명하기 위한 개략도이다. 또한, 도 9a 및 도 9b는 동작 예측 방법을 사용하는 도로 표면 상태 인식 방법을 설명하기 위한 제1 편광 영상 및 제2 편광 영상의 개략도이다.7 is a flowchart for explaining a road surface state recognition method according to another embodiment of the present invention. 8 is a schematic view for explaining a road surface state recognition method according to another embodiment of the present invention. 9A and 9B are schematic views of polarized images for explaining a road surface state recognition method according to another embodiment of the present invention. FIG. 7 is a flowchart for explaining a road surface state recognition method using a parallax prediction method, and FIG. 8 is a schematic diagram for explaining a polarized image capturing position in the automobile 800 equipped with the road surface state recognition apparatus 100 to be. 9A and 9B are schematic views of a first polarized image and a second polarized image for explaining a road surface state recognition method using a motion prediction method.

위치 보정부(110)는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 수신한다. 제1 편광 영상과 제2 편광 영상 중 하나는 수직 편광 영상이고, 다른 하나는 수평 편광 영상이다. 여기서, 제1 편광 영상은 자동차(800)의 제1 편광 영상 촬영부(830)에 의해 촬영된 편광 영상이고, 제2 편광 영상은 자동차(800)의 제2 편광 영상 촬영부(840)에 의해 촬영된 편광 영상이다. 여기서, 제1 편광 영상 촬영부(830)와 제2 편광 영상 촬영부(840)는 동기화되어 있다. 도 9a를 참조하면, 자동차(800)에서 서로 이격된 제1 편광 영상 촬영부(830)와 제2 편광 영상 촬영부(840)에 의해 편광 영상을 촬영함에 따라, 제1 편광 영상에서의 별 모양의 객체의 위치와 제2 편광 영상에서의 별 모양의 객체의 위치가 상이함을 확인할 수 있다. The position correcting unit 110 receives the first polarized image and the second polarized image with respect to the road surface. One of the first polarized image and the second polarized image is a vertical polarized image, and the other is a horizontally polarized image. Here, the first polarized image is a polarized image captured by the first polarized image capturing unit 830 of the automobile 800, and the second polarized image is captured by the second polarized-light capturing unit 840 of the car 800 It is a photographed polarized image. Here, the first polarized-light imaging unit 830 and the second polarized-light imaging unit 840 are synchronized. 9A, a polarized image is captured by the first polarized image capturing unit 830 and the second polarized image capturing unit 840, which are separated from each other in the automobile 800, The position of the object of the second polarized image is different from the position of the object of the star shape in the second polarized image.

이어서, 위치 보정부(110)는 도로 표면에 대한 제1 편광 영상과 제2 편광 영상을 동일한 위치에서 촬영된 편광 영상으로 위치 보정한다(S100). 이하에서는 위치 보정부(110)가 시차 예측 방법을 사용하여 위치 보정을 수행하는 과정에 대해 도 9a 및 도 9b를 함께 참조하여 설명한다.Next, the position correcting unit 110 corrects the position of the first polarized image and the second polarized image with respect to the road surface to a polarized image photographed at the same position (S100). Hereinafter, a process of the position correcting unit 110 performing the position correction using the time difference prediction method will be described with reference to FIGS. 9A and 9B.

위치 보정부(110)는 제1 편광 영상 및 제2 편광 영상 중 어느 하나를 기준 영상으로, 다른 하나를 후보 영상으로 정의한다(S110). 단계 S110은 도 3을 참조하여 설명한 단계 S110과 동일하므로 중복 설명을 생략한다.The position correcting unit 110 defines one of the first polarized image and the second polarized image as a reference image and the other as a candidate image (S110). Step S110 is the same as step S110 described with reference to FIG. 3, and redundant description will be omitted.

이어서, 위치 보정부(110)는 기준 영상의 영역별로 기준 영상의 영역과 동일한 위치를 나타내는 후보 픽셀의 영역을 연결하는 시차 벡터(D)를 생성한다(S121).Next, the position correcting unit 110 generates a parallax vector D connecting the regions of the candidate pixels indicating the same position as the region of the reference image for each region of the reference image (S121).

위치 보정부(110)는 기준 영상의 영역과 상기 후보 영상의 영역 사이의 비용 함수를 계산하고, 비용 함수의 값을 최소값으로 하는 후보 영상의 영역과 기준 영상의 영역을 연결하는 시차 벡터를 생성한다. 구체적으로, 위치 보정부(110)는 기준 영상의 대상 픽셀과 후보 영상의 후보 픽셀 사이의 비용 함수를 계산하고 비용 함수를 최소값으로 하는 후보 영상의 후보 픽셀을 기준 영상의 대상 픽셀과 연결하여 시차 벡터를 계산한다. 시차 벡터(D)는 다음의 수학식 8을 통해 계산될 수 있다.The position correcting unit 110 calculates a cost function between the region of the reference image and the region of the candidate image, and generates a parallax vector connecting the region of the candidate image with the value of the cost function as the minimum value and the region of the reference image . Specifically, the position correcting unit 110 calculates the cost function between the target pixel of the reference image and the candidate pixel of the candidate image, and connects the candidate pixel of the candidate image having the minimum cost function to the target pixel of the reference image, . The parallax vector D can be calculated by the following equation (8).

[수학식 8]&Quot; (8) "

D(x)는 기준 영상의 대상 픽셀의 위치 x에서의 시차 벡터이고, 시차 벡터는 시차 벡터의 후보 벡터(d) 중 비용 함수(cost)를 최소화하는 벡터이다. 또한, 시차 벡터의 후보 벡터(d)는 기준 영상의 대상 픽셀과 후보 영상의 탐색 범위(SR) 내의 픽셀들을 연결하는 시차 벡터이다. 이 때, 비용 함수(cost)는 수학식 9와 같이 크게 두 부분으로 구성된다.D (x) is a parallax vector at the position x of the target pixel of the reference image, and the parallax vector is a vector that minimizes the cost function among the candidate vectors d of the parallax vectors. The candidate vector d of the parallax vector is a parallax vector connecting the target pixel of the reference image and the pixels in the search range SR of the candidate image. In this case, the cost function (cost) consists of two parts as shown in Equation (9).

[수학식 9]&Quot; (9) "

구체적으로 비용 함수(cost)는 기준 영상의 영역과 후보 영상의 후보 영역의 유사 정도를 나타내는 함수인 정합 비용 함수 및 시차 벡터의 후보 벡터와 후보 벡터 주변의 시차 벡터의 유사 정도를 나타내는 함수인 공간 제약 함수에 기초하여 결정될 수 있다.Specifically, the cost function includes a matching cost function, which is a function indicating the degree of similarity between the reference image region and the candidate region of the candidate image, and a space constraint function representing a similarity degree between the candidate vector of the parallax vector and the parallax vector around the candidate vector. Can be determined based on the function.

정합 비용 함수는 기준 영상의 대상 픽셀의 위치 x의 영상과 후보 영상에서의 위치 x+d의 영상이 얼마나 유사한가를 나타내는 함수이다. 즉, 정합 비용 함수는 기준 영상의 대상 픽셀과 후보 영상의 탐색 범위(SR) 내의 픽셀이 얼마나 유사한가를 나타내는 함수이다. 정합 비용 함수로는 상술한 바와 같이 SAD 등이 사용될 수 있다. The matching cost function is a function that shows how the image of the position x of the target pixel in the reference image is similar to the image of the position x + d in the candidate image. That is, the matching cost function is a function indicating how similar the target pixel of the reference image is to the pixel in the search range (SR) of the candidate image. As the matching cost function, SAD or the like can be used as described above.

다음은 정합 비용 함수로서로서 SAD를 사용한 수학식 10이다. 여기서 i는 제1 편광 영상이고, i'는 제2 편광 영상을 나타낸다. 여기서, k는 주변 픽셀의 인덱스를 나타낸다.The following is Equation 10 using SAD as the matching cost function. Where i is the first polarized image and i 'is the second polarized image. Here, k represents the index of the surrounding pixels.

[수학식 10]&Quot; (10) "

공간 제약 함수는 기준 영상의 대상 픽셀의 위치 x에 대한 시차 벡터의 후보 벡터(d)가 후보 벡터(d) 주변의 시차 벡터들과 얼마나 유사한 가를 나타낸다. 일반적인 영상에서는 시차 벡터 필드(disparity vector field)의 대부분이 부드러우므로, 기준 영상의 대상 픽셀의 위치 x에 대한 시차 벡터의 후보 벡터(d)가 후보 벡터(d) 주변의 시차 벡터들 간의 차이가 클수록 높은 비용을 부여한다. 수학식 11은 일 구현예이다.The spatial constraint function indicates how similar the candidate vector d of the parallax vector to the position x of the target pixel of the reference image is to the parallax vectors around the candidate vector d. Since the disparity vector field of a general image is smooth, the difference vector between the parallax vectors around the candidate vector (d) and the candidate vector (d) of the parallax vector with respect to the position x of the target pixel of the reference image is The higher the price, the higher the cost. Equation (11) is an implementation example.

[수학식 11]&Quot; (11) "

정리하면, 비용 함수는 정합 비용 함수 및 공간 제약 함수에 기초하여 결정될 수 있다. 이 때, 비용 함수에 기여하는 정합 비용 함수 및 공간 제약 함수의 가중치를 조절하기 위해, 수학식 9에 나타난 바와 같이 공간 제약 함수에 가중치 λ를 곱할 수 있다. In summary, the cost function can be determined based on the matching cost function and the space constraint function. At this time, in order to adjust the weight of the matching cost function and the space constraint function contributing to the cost function, the space limitation function can be multiplied by the weight? As shown in Equation (9).

이어서, 위치 보정부(110)는 시차 벡터에 기초하여 기준 영상 및 후보 영상 중 하나의 촬영 위치를 보정한다(S131).Subsequently, the position correcting unit 110 corrects one photographing position of the reference image and the candidate image based on the parallax vector (S131).

위치 보정부(110)는 생성된 시차 벡터에 기초하여 기준 영상 및 후보 영상 중 적어도 하나의 촬영 위치를 보정할 수 있다. 예를 들어, 위치 보정부(110)는 기준 영상의 픽셀들에 시차 벡터를 가산하는 방식으로 기준 영상의 픽셀들의 위치를 조정함에 의해 기준 영상의 촬영 위치를 보정하여, 기준 영상과 후보 영상이 동일한 위치에서 촬영된 것으로 보정한다. 또한, 예를 들어, 위치 보정부(110)는 후보 영상의 픽셀들에 시차 벡터를 감산하는 방식으로 후보 영상의 픽셀들의 위치를 조정함에 의해 후보 영상의 촬영 위치를 보정하여, 기준 영상과 후보 영상이 동일한 위치에서 촬영된 것으로 보정한다.The position correcting unit 110 may correct at least one photographing position of the reference image and the candidate image based on the generated parallax vector. For example, the position correcting unit 110 corrects the position of the reference image by adjusting the position of the pixels of the reference image by adding a parallax vector to the pixels of the reference image, And corrects it to be photographed at the position. In addition, for example, the position correcting unit 110 corrects the position of the candidate image by adjusting the position of the pixels of the candidate image by subtracting the parallax vector from the pixels of the candidate image, Is corrected to be photographed at the same position.

본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법에서는 자동차(800)에서 서로 이격되어 설치된 제1 편광 영상 촬영부(830)와 제2 편광 영상 촬영부(840)를 통해 촬영된 제1 편광 영상과 제2 편광 영상을 동작 예측 방법을 사용하여 보정하여, 제1 편광 영상과 제2 편광 영상이 동일한 위치에서 촬영된 것으로 보정될 수 있다. 이에 따라, 동일한 위치에서 촬영된 것으로 보정된 수직 편광 영상과 수평 편광 영상을 사용하여 보다 정확하게 도로 표면 상태가 판정될 수 있다.In the road surface state recognition method according to another embodiment of the present invention, the first polarized light image capturing unit 830 and the second polarized light image capturing unit 840, which are installed apart from each other in the automobile 800, The image and the second polarized image may be corrected using the motion prediction method so that the first polarized image and the second polarized image are photographed at the same position. Accordingly, the road surface state can be determined more accurately by using the vertical polarized image and the horizontally polarized image corrected to be photographed at the same position.

몇몇 실시예에서, 비용 함수는, 제1 편광 영상 촬영부(830)와 제2 편광 영상을 촬영한 제2 편광 영상 촬영부(840) 사이의 거리 및 제1 편광 영상 촬영부(830)와 제2 편광 영상 촬영부(840)의 특성을 고려하여 결정되는 기준 시차 벡터(default disparity vector)와 시차 벡터의 후보 벡터의 유사 정도를 나타내는 함수인 시차 제약(disparity constraint) 함수에 더 기초하여 결정될 수 있다. 즉, 비용 함수는 정합 비용 함수, 공간 제약 함수 및 시차 제약 함수에 기초하여 결정될 수 있다.In some embodiments, the cost function may include a distance between the first polarized imaging unit 830 and the second polarized imaging unit 840 that has taken the second polarized imaging and the distance between the first polarized imaging unit 830 and Can be determined further based on a disparity constraint function that is a function representing a degree of similarity between a default disparity vector determined in consideration of the characteristics of the two-polarized-light imaging unit 840 and a candidate vector of a parallax vector . That is, the cost function may be determined based on the matching cost function, the space constraint function, and the time lag constraint function.

자동차(800)에 설치된 제1 편광 영상 촬영부(830)와 제2 편광 영상 촬영부(840) 사이의 간격을 이미 알고 있으므로, 도로가 완전한 평면이라고 가정할 때, 제1 편광 영상 촬영부(830)와 제2 편광 영상 촬영부(840)의 설치 조건으로부터 기준 영상의 픽셀과 후보 영상의 픽셀의 시차를 계산할 수 있다. 만일 이상적인 조건이라면 기준 영상의 픽셀과 후보 영상의 픽셀의 시차 벡터는 기준 시차 벡터와 일치할 것이다. 단, 현실의 도로는 완전한 평면이 아니고 자동차(800) 역시 정확한 직진만을 하지 않으므로 모든 경우에 기준 시차 벡터만을 사용할 수는 없다. 따라서, 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법에서는 정합 비용 함수에 기준 영상의 대상 픽셀과 후보 영상의 후보 픽셀 사이의 시차 벡터가 기준 시차 벡터와 얼마나 차이가 나는지를 추가하여 예측된 시차 벡터가 기준 시차 벡터로부터 크게 벗어나는 일을 방지할 수 있다.Assuming that the distance between the first polarized image capturing unit 830 and the second polarized image capturing unit 840 installed in the automobile 800 is already known, the first polarized-light capturing unit 830 And the second polarimetric image pickup unit 840, it is possible to calculate the parallax between the pixel of the reference image and the pixel of the candidate image. If it is an ideal condition, the parallax vector of the pixel of the reference image and the pixel of the candidate image will coincide with the reference parallax vector. However, since the actual road is not a perfect plane and the automobile 800 does not perform a straight forward motion, only the reference parallax vector can be used in all cases. Therefore, in the road surface state recognition method according to another embodiment of the present invention, how much the parallax vector between the target pixel of the reference image and the candidate pixel of the candidate image differs from the reference parallax vector is added to the matching cost function, It is possible to prevent the parallax vector from deviating greatly from the reference parallax vector.

기준 시차 벡터(d₀)를 이용한 시차 제약 함수의 일 구현예는 수학식 12와 같다.One embodiment of the differential constraint function using the reference parallax vector (d ₀₎ is equal to the equation (12).

[수학식 12]&Quot; (12) "

수학식 12와 같은 속도 제약 함수가 적용되면 개선된 전체 비용 함수는 다음과 같은 형태가 된다.When the rate constraint function as shown in Equation (12) is applied, the improved total cost function becomes as follows.

[수학식 13]&Quot; (13) "

위와 같은 과정을 통해 시차 벡터를 획득하게 되면, 최종적으로 촬영 위치가 보정된 편광 영상을 생성한다. When the parallax vector is obtained through the above process, a polarized image in which the photographing position is finally corrected is generated.

상술한 바와 같이 비용 함수에 시차 제약 함수를 추가적으로 적용함에 따라, 보다 정확하게 기준 영상과 후보 영상의 촬영 위치가 보정될 수 있다. 즉, 자동차(800)에서 서로 다른 위치 설치된 제1 편광 영상 촬영부(830) 및 제2 편광 영상 촬영부(840)에 의해 촬영된 편광 영상들을 동일한 위치에서 촬영된 것으로 보정하기 위해, 제1 편광 영상 촬영부(830) 및 제2 편광 영상 촬영부(840) 사이의 거리에 대한 시차 제약 함수를 추가적으로 고려함으로써, 기준 영상과 후보 영상의 촬영 위치가 보다 정확하게 보정되고, 이에 따라 보다 정확하게 도로 표면 상태가 파악될 수 있다. As described above, the time lag constraint function is additionally applied to the cost function, so that the photographing position of the reference image and the candidate image can be corrected more accurately. That is, in order to correct the polarized images photographed by the first polarized image capturing unit 830 and the second polarized image capturing unit 840, which are installed at different positions in the automobile 800, to be photographed at the same position, By further considering the time lag constraint function on the distance between the image capturing unit 830 and the second polarimetric image capturing unit 840, the photographing position of the reference image and the candidate image is corrected more accurately, Can be grasped.

몇몇 실시예에서, 도로 표면 상태 판정부(120)는 비용 함수의 값이 임계치 이상인 기준 영상의 영역을 제외하고 도로 표면의 상태를 판정할 수도 있다. 촬영 위치 보정이 실패하여 잘못된 시차 벡터가 계산된 영역의 경우, 이들을 도로 표면 인식에 포함시키면 잘못된 인식 결과가 나오는 경우가 많다. 따라서 위치 보정이 실패했다고 판단하면, 해당 영역을 도로 표면 인식에서 제외할 수 있다. 위치 보정의 실패 여부를 판단하는 한 가지 방법으로 비용 함수를 사용할 수 있다. 일반적으로 시차 벡터의 비용 함수의 값이 작을수록 해당 시차 벡터는 참일 확률이 높다. 따라서, 기준 영상의 특정 영역에 대한 비용 함수의 값이 임계치 이상인 경우 해당 영역을 도로 표면 인식에서 제외할 수 있고, 이에 따라 보다 정확하게 도로 표면이 판정될 수 있다.In some embodiments, the road surface state determining section 120 may determine the state of the road surface except for the region of the reference image whose value of the cost function is equal to or greater than the threshold value. In the case where the photographed position correction is failed and the erroneous parallax vectors are calculated, there are many cases in which an erroneous recognition result is obtained if they are included in the road surface recognition. Therefore, if it is judged that the position correction has failed, the corresponding area can be excluded from the road surface recognition. One way to determine whether a position correction fails is to use a cost function. Generally, the smaller the cost function of the parallax vector is, the higher the probability of the parallax is true. Accordingly, when the value of the cost function for a specific region of the reference image is equal to or greater than the threshold value, the region can be excluded from the road surface recognition, so that the road surface can be determined more accurately.

몇몇 실시예에서, 도로 표면 상태 판정부(120)는 위치 보정부(110)에 의해 생성된 시차 벡터 중 기준 시차 벡터와 임계치 이상의 차이를 갖는 시차 벡터에 대응하는 기준 영상의 영역을 제외하고 도로 표면 상태를 판정할 수 있다. 앞서 설명한 바와 같이 편광 특성을 이용한 도로 표면 인식 알고리즘은 수직 편광 영상 및 수평 편광 영상이 정확하게 같은 위치에서 촬영되는 것을 전제하고 있다. 그 이유는 두 장의 편광 영상에서의 같은 위치의 픽셀에는 동일한 물체가 촬영되어 있어야 하기 때문이다. 그런데, 두 장의 편광 영상이 정확히 동일한 위치에서 촬영되거나 완벽하게 위치가 보정되어도 도로 표면으로부터 돌출되어 있는 물체가 존재한다면 문제가 발생할 수도 있다. In some embodiments, the road surface state determining unit 120 determines the road surface state by comparing the reference parallax vector of the parallax vectors generated by the position correcting unit 110 with the reference image, excluding the region of the reference image corresponding to the parallax vector, The state can be judged. As described above, the road surface recognition algorithm using the polarization characteristics assumes that the vertical polarization image and the horizontally polarized image are photographed at exactly the same position. This is because the same object must be photographed in the pixels at the same position in the two polarized images. However, even if the two polarized images are photographed at exactly the same position or the position is completely corrected, a problem may arise if there is an object protruding from the road surface.

이에, 도로 표면 상태 판정부(120)는 도로 표면이 완전한 평면이라는 가정 하에서 계산된 기준 시차 벡터와 임계치 이상의 차이를 갖는 시차 벡터에 대응하는 기준 영상의 영역은 도로 표면으로부터 돌출된 물체일 가능성이 높으므로, 해당 영역을 제외하고 도로 표면 상태를 판정할 수 있다. 이에 따라, 보다 정확하게 도로 표면이 판정될 수 있다.Therefore, the road surface state determining unit 120 is likely to be an object protruding from the road surface, and the area of the reference image corresponding to the parallax vector having a difference of more than the threshold value from the reference parallax vector calculated under the assumption that the road surface is perfectly flat The road surface condition can be determined except for the area. Thus, the road surface can be determined more accurately.

몇몇 실시예에서, 위치 보정부(110)는 기준 시차 벡터를 중심으로 하는 탐색 범위를 설정하고, 후보 영상의 후보 영역은 후보 영상에서 탐색 범위 내의 영역으로 정의될 수 있다. 이에 대한 보다 상세한 설명을 위해 도 10a 및 도 10b를 함께 참조한다. In some embodiments, the position correcting unit 110 sets a search range around the reference parallax vector, and the candidate region of the candidate image may be defined as an area within the search range in the candidate image. See also FIGS. 10A and 10B for a more detailed description.

도 10a 및 도 10b는 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 방법을 설명하기 위한 편광 영상들에 대한 개략도이다.10A and 10B are schematic diagrams of polarized images for explaining a road surface state recognition method according to another embodiment of the present invention.

시차 예측 방법에서 탐색 범위는 비용 함수를 비교하기 위한 시차 벡터의 후보군이 분포하는 범위를 의미한다. 따라서, 실제 시차 벡터의 크기가 탐색 범위보다 큰 경우에는 동작 예측이 실패하게 된다. 예를 들어, 도 10a에 도시된 바와 같이 탐색 범위가 제1 탐색 범위(SR1)로 설정된 상태에서 제1 편광 영상의 별 모양의 객체가 제2 편광 영역에서 제1 탐색 범위(SR1)를 벗어나도록 이동한 경우라면, 제1 편광 영상에서의 별 모양의 객체의 꼭지점에 대응하는 픽셀(P1)에 대응하는 제2 편광 영상에서의 픽셀인(P2)가 제1 탐색 범위(SR1) 외부에 존재한다. 따라서, 제1 편광 영상에서의 픽셀(P1)에 대응하는 시차 벡터를 정확하게 생성할 수 없다. The search range in the time difference prediction method means a range in which the candidate group of the parallax vector for comparing the cost function is distributed. Therefore, if the size of the actual parallax vector is larger than the search range, the motion prediction fails. For example, as shown in FIG. 10A, in a state where the search range is set to the first search range SR1, the star object of the first polarized image is shifted from the first search range SR1 in the second polarization region (P2) in the second polarized image corresponding to the pixel P1 corresponding to the vertex of the star-shaped object in the first polarized image exists outside the first search range SR1 . Therefore, a parallax vector corresponding to the pixel P1 in the first polarized image can not be accurately generated.

이에 따라, 보다 정확한 시차 예측 방법을 수행하기 위해서는 탐색 범위의 크기를 제2 탐색 범위(SR2)로 넓게 설정하야여 한다. 다만, 탐색 범위의 크기가 증가되면 그에 따른 연산량이 크게 증가하는 단점이 발생한다.Accordingly, in order to perform a more accurate parallax prediction method, the size of the search range should be set to a wide second search range (SR2). However, if the size of the search range is increased, the computational complexity increases accordingly.

이에 따라, 몇몇 실시예에서는 탐색 범위의 중심을 기준 시차 벡터로 설정함으로써, 연산량을 증가시키지 않으면서도 크기가 큰 시차 벡터에 대응할 수 있다. 구체적으로, 도 10b에 도시된 바와 같이 기준 시차 벡터(d₀)를 사용하여 탐색 범위를 P'를 중심으로 설정하게 되면, 탐색 범위(SR')를 크게 잡지 않아도 크기가 큰 시차 벡터를 탐색 범위(SR') 내에 포함할 수 있다. 따라서, 보다 정확하게 시차 벡터를 계산할 수 있고, 시차 벡터를 계산하는데 요구되는 연산량 또한 감소될 수 있다.Accordingly, in some embodiments, by setting the center of the search range as the reference parallax vector, it is possible to cope with a parallax vector having a large size without increasing the amount of computation. 10B, if the search range is set to be centered on P 'using the reference parallax vector d ₀ , a parallax vector having a large size can be obtained as a search range without increasing the search range SR' (SR '). Therefore, the parallax vector can be calculated more accurately, and the amount of calculation required to calculate the parallax vector can also be reduced.

도 11 및 도 12는 본 발명의 다양한 실시예들에 따른 도로 표면 상태 인식 장치의 개략적인 블록도들이다.11 and 12 are schematic block diagrams of a road surface state recognition apparatus according to various embodiments of the present invention.

먼저, 도 11을 참조하면 본 발명의 다른 실시예에 따른 도로 표면 상태 인식 장치(1100)는 하나의 편광 영상 촬영부(1130), 위치 보정부(110) 및 도로 표면 상태 판정부(120)를 포함한다. 도 11에 도시된 도로 표면 상태 인식 장치(100)는 도 1에 도시된 도로 표면 상태 인식 장치(100)와 비교하여 편광 영상 촬영부(1130)가 추가되었다는 것만이 상이할 뿐, 다른 구성요소들은 실질적으로 동일하므로, 중복 설명은 생략한다.11, a road surface state recognition apparatus 1100 according to another embodiment of the present invention includes one polarized image capturing unit 1130, a position correcting unit 110, and a road surface state determining unit 120 . The road surface state recognition apparatus 100 shown in FIG. 11 differs from the road surface state recognition apparatus 100 shown in FIG. 1 only in that a polarized-light imaging unit 1130 is added, They are substantially the same, so redundant explanations are omitted.

도로 표면 상태 인식 장치(1100)는 제1 편광 영상 및 제2 편광 영상을 촬영하기 위한 하나의 편광 영상 촬영부(1130)를 포함한다. 편광 영상 촬영부(1130)는 도로 표면 상태 인식 장치(1100)가 이동함에 따라 제1 위치에서 제1 편광 영상을 촬영하고, 제2 위치에서 제2 편광 영상을 촬영할 수 있다. 즉, 제1 편광 영상 및 제2 편광 영상은 편광 영상 촬영부(1130)를 사용하여 상이한 위치에서 촬영된 편광 영상이다.The road surface state recognition apparatus 1100 includes one polarized image capturing unit 1130 for capturing the first polarized image and the second polarized image. As the road surface state recognition apparatus 1100 moves, the polarized image capturing unit 1130 can take a first polarized image at a first position and a second polarized image at a second position. That is, the first polarized image and the second polarized image are polarized images photographed at different positions using the polarized-light imaging unit 1130.

앞서 설명한 바와 같이 제1 편광 영상 및 제2 편광 영상 중 하나가 수직 편광 영상이고 다른 하나가 수평 편광 영상이므로, 편광 영상 촬영부(1130)는 제1 위치 및 제2 위치에서 다른 편광 영상을 촬영하여야 한다. 이에 따라, 편광 영상 촬영부(1130)는 편광자를 구비할 수 있다. 예를 들어, 편광 영상 촬영부(1130)는 물리적으로 회전 가능한 편광자를 사용하여 제1 위치에서는 수직 편광 영상을 촬영하고 제2 위치에서는 편광자를 회전시켜 수평 편광 영상을 촬영할 수 있다. 또한, 편광 영상 촬영부(1130)는 전기적 방법으로 편광 방향을 변경하는 편광자를 구비할 수 있고, 이를 사용하여 제1 위치에서는 수직 편광 영상을 촬영하고 제2 위치에서는 편광자를 회전시켜 수평 편광 영상을 촬영할 수 있다. 다만, 상술한 방법에 제한되지 않고, 다양한 방법을 통해 편광 영상 촬영부(1130)는 수직 편광 영상 및 수평 편광 영상을 촬영할 수 있다. 이에 따라, 도로 표면 상태 인식 장치(1100)는 자동차에 편광 영상 촬영부가 내장되거나 부착된 경우가 아니라도 도로 표면 상태 인식 장치(1100)에 포함된 편광 영상 촬영부(1130)를 통해 편광 영상을 획득할 수 있다.As described above, since one of the first polarized image and the second polarized image is a vertical polarized image and the other is a horizontally polarized image, the polarized-light image capturing unit 1130 captures another polarized image at the first position and the second position do. Accordingly, the polarized-light imaging unit 1130 may include a polarizer. For example, the polarized-light imaging unit 1130 may take a vertically polarized image at a first position and a horizontally polarized image using a physically rotatable polarizer by rotating the polarizer at a second position. In addition, the polarized-light image capturing unit 1130 may include a polarizer for changing the polarization direction by an electrical method. The polarized light image capturing unit 1130 captures a vertical polarized image at the first position and rotates the polarizer at the second position using the polarizer, You can shoot. However, the present invention is not limited to the above-described method, and the polarized-light imaging unit 1130 can take a vertical polarization image and a horizontally-polarized polarization image through various methods. Accordingly, the road surface state recognition apparatus 1100 may acquire a polarized image through the polarized-light image capturing unit 1130 included in the road surface state recognition apparatus 1100, not only when the polarized- can do.

다음으로, 도 12를 참조하면 본 발명의 또 다른 실시예에 따른 도로 표면 상태 인식 장치(1200)는 제1 편광 영상 촬영부(1230), 제2 편광 영상 촬영부(1240), 위치 보정부(110) 및 도로 표면 상태 판정부(120)를 포함한다. 도 12에 도시된 도로 표면 상태 인식 장치(1200)는 도 1에 도시된 도로 표면 상태 인식 장치(100)와 비교하여 제1 편광 영상 촬영부(1230) 및 제2 편광 영상 촬영부(1240)가 추가되었다는 것만이 상이할 뿐, 다른 구성요소들은 실질적으로 동일하므로, 중복 설명은 생략한다.12, a road surface state recognition apparatus 1200 according to another embodiment of the present invention includes a first polarized light imaging unit 1230, a second polarized light imaging unit 1240, a position correction unit 110 and a road surface condition determining unit 120. [ The road surface state recognition apparatus 1200 shown in FIG. 12 is different from the road surface state recognition apparatus 100 shown in FIG. 1 in that the first polarized light imaging unit 1230 and the second polarized imaging unit 1240 Only the fact that it is added is different, and the other components are substantially the same, so redundant explanation is omitted.

도로 표면 상태 인식 장치(1200)는 제1 편광 영상을 촬영하기 위한 제1 편광 영상 촬영부(1230) 및 제2 편광 영상을 촬영하기 위한 제2 편광 영상 촬영부(1240)를 포함한다. 제1 편광 영상 촬영부(1230)는 수직 편광 영상 및 수평 편광 영상 중 하나인 제1 편광 영상을 촬영하고, 제2 편광 영상 촬영부(1240)는 제1 편광 영상 촬영부(1230)와 이격되어 수직 편광 영상 및 수평 편광 영상 중 다른 하나인 제2 편광 영상을 촬영할 수 있다. 이에 따라, 도로 표면 상태 인식 장치(1200)는 자동차에 편광 영상 촬영부가 내장되거나 부착된 경우가 아니라도 도로 표면 상태 인식 장치(1200)에 포함된 제1 편광 영상 촬영부(1130) 및 제2 편광 영상 촬영부(1140)를 통해 편광 영상을 획득할 수 있다.The road surface state recognition apparatus 1200 includes a first polarized image capturing unit 1230 for capturing a first polarized image and a second polarized image capturing unit 1240 for capturing a second polarized image. The first polarized image capturing unit 1230 captures a first polarized image, which is one of a vertical polarized image and a horizontally polarized image, and the second polarized image capturing unit 1240 is spaced apart from the first polarized image capturing unit 1230 The second polarized image, which is another one of the vertical polarized image and the horizontally polarized image, can be photographed. Accordingly, the road surface state recognition apparatus 1200 may be configured not to include the polarized-light imaging unit in the vehicle or to attach the polarized-light imaging unit to the first polarized-light imaging unit 1130 and the second polarized- And the polarized image can be acquired through the image capturing unit 1140. [

이상으로 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the present invention is not limited to the disclosed exemplary embodiments, but various changes and modifications may be made without departing from the spirit and scope of the invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the technical idea of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

100, 1100, 1200: 도로 표면 상태 인식 장치.
110: 위치 보정부
120: 도로 표면 상태 판정부
400, 800: 자동차
430, 1130: 편광 영상 촬영부
830, 1230: 제1 편광 영상 촬영부
840, 1240: 제2 편광 영상 촬영부100, 1100, 1200: road surface condition recognition device.
110:
120: road surface state determination section
400, 800: Cars
430, and 1130: polarized image capturing unit
830, and 1230: the first polarized-
840, and 1240: a second polarized-

Claims

A position correcting unit for correcting the first polarized image and the second polarized image with respect to the road surface into a polarized image photographed at the same position; And
And a road surface state determining unit that determines the state of the road surface through the first polarized image and the second polarized image corrected by the position correcting unit,
Wherein the position correcting unit comprises:
Wherein one of the first polarized image and the second polarized image is defined as a reference image and the other is defined as a candidate image,
Generating a motion vector for connecting the region of the candidate pixel indicating the same position as the region of the reference image for each region of the reference image,
And corrects one photographing position of the reference image and the candidate image based on the motion vector.

The method according to claim 1,
Wherein one of the first polarized image and the second polarized image is a vertically polarized image and the other is a horizontally polarized image.

The method according to claim 1,
Further comprising one polarized image capturing unit for capturing the first polarized image and the second polarized image,
Wherein the first polarized image and the second polarized image are photographed at different positions using the polarized-light imaging unit.

The method of claim 3,
Wherein the polarized-light imaging unit is configured to photograph the first polarized image and the second polarized image using at least one of a physically rotatable polarizer or a polarizer that changes the polarization direction by an electrical method. Device.

The method according to claim 1,
A first polarized image capturing unit for capturing the first polarized image; And
Further comprising a second polarimetric image capturing unit disposed to be spaced apart from the first polarimetric image capturing unit and configured to capture the second polarized image.

delete

The method according to claim 1,
Wherein the position correcting unit comprises:
Calculating a cost function between the region of the reference image and the region of the candidate image,
And generates the motion vector connecting the region of the candidate image having the minimum value of the cost function and the region of the reference image.

8. The method of claim 7,
Wherein the road surface state determination unit determines the state of the road surface except for the region of the reference image where the value of the cost function is equal to or greater than the threshold value.

8. The method of claim 7,
Wherein the cost function is a matching cost function which is a function representing a degree of similarity between a region of the reference image and a candidate region of the candidate image, and a similarity degree between the candidate vector of the motion vector and a motion vector around the candidate vector. And a spatial constraint function that is a function of the road surface state.

10. The method of claim 9,
Wherein the cost function includes a reference motion vector that is determined in consideration of a moving speed of the road surface state recognition apparatus and characteristics of a polarimetric imaging unit that photographs the first polarized image and the second polarized image, Wherein the motion vector is determined based on a velocity constraint function which is a function representing a degree of similarity of the candidate vector of the motion vector.

11. The method of claim 10,
Wherein the road surface state determination section determines a road surface state by excluding a region of the reference image corresponding to a motion vector having a difference greater than or equal to a threshold value from the reference motion vector among the motion vectors generated by the position correction section A road surface state recognition device.

11. The method of claim 10,
Wherein the position correction unit sets a search range centered on the reference motion vector,
Wherein the candidate region of the candidate image is an area within the search range in the candidate image.

A position correcting unit for correcting the first polarized image and the second polarized image with respect to the road surface into a polarized image photographed at the same position; And
And a road surface state determining unit that determines the state of the road surface through the first polarized image and the second polarized image corrected by the position correcting unit,
Wherein the position correcting unit comprises:
Wherein one of the first polarized image and the second polarized image is defined as a reference image and the other is defined as a candidate image,
Generating a disparity vector for connecting the region of the candidate pixel that represents the same position as the region of the reference image for each region of the reference image,
And corrects one photographing position of the reference image and the candidate image based on the parallax vector.

14. The method of claim 13,
Wherein the position correcting unit comprises:
Calculating a cost function between the region of the reference image and the region of the candidate image,
And generates the parallax vector connecting the region of the candidate image with the value of the cost function as the minimum value and the region of the reference image.

15. The method of claim 14,
Wherein the cost function is a matching cost function that is a function representing a degree of similarity between a region of the reference image and a candidate region of the candidate image, and a similarity degree between the candidate vector of the parallax vector and a parallax vector around the candidate vector. And a spatial constraint function that is a function of the road surface state.

16. The method of claim 15,
Wherein the cost function is a function of a distance between a first polarized image capturing unit capturing the first polarized image and a second polarized image capturing unit capturing the second polarized image, And a disparity constraint function that is a function indicating a degree of similarity between a reference parallax vector determined in consideration of characteristics of the image pickup unit and a candidate vector of the parallax vector.

Correcting a first polarized image and a second polarized image with respect to a road surface to a polarized image photographed at the same position; And
And determining the state of the road surface through the corrected first polarized image and the second polarized image,
Wherein the step of correcting the position comprises:
Defining one of the first polarized image and the second polarized image as a reference image and the other as a candidate image;
Generating a motion vector or a disparity vector for connecting the region of the candidate pixel that indicates the same position as the region of the reference image for each region of the reference image; And
And correcting one photographing position of the reference image and the candidate image based on the motion vector or the parallax vector.

delete

The first polarized image and the second polarized image with respect to the road surface are corrected to the polarized image photographed at the same position,
And a set of instructions for determining the state of the road surface through the corrected first polarized image and the second polarized image,
In the position correction,
Wherein one of the first polarized image and the second polarized image is defined as a reference image and the other is defined as a candidate image,
Generating a motion vector or a disparity vector for connecting the region of the candidate pixel that indicates the same position as the region of the reference image for each region of the reference image,
And corrects one photographing position of the reference image and the candidate image based on the motion vector or the parallax vector.