KR101926561B1 - Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same - Google Patents
Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same Download PDFInfo
- Publication number
- KR101926561B1 KR101926561B1 KR1020180029145A KR20180029145A KR101926561B1 KR 101926561 B1 KR101926561 B1 KR 101926561B1 KR 1020180029145 A KR1020180029145 A KR 1020180029145A KR 20180029145 A KR20180029145 A KR 20180029145A KR 101926561 B1 KR101926561 B1 KR 101926561B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- road
- crack
- patch
- road surface
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 도로 크랙 검출 장치에 관한 것으로, 좀 더 구체적으로는 차량용 블랙박스 영상을 이용하여 딥러닝 기반의 패치 단위로 도로 표면의 크랙을 검출하는 도로 크랙 검출 장치 및 그의 패치 단위 도로 크랙 검출 방법에 관한 것이다.More particularly, the present invention relates to a road crack detecting apparatus for detecting a crack on a road surface in units of patches based on a deep running based on a black box image for a vehicle, .
또 본 발명은 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치의 도로 크랙 검출 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.The present invention also relates to a computer program stored in a computer-readable recording medium for executing a road crack detection method of a patch-unit road crack detection apparatus based on a deep-run based on a black box image.
산업의 발달과 더불어 사회 간접 자본인 도로의 건설이 광범위하게 이루어지고 있다. 광범위한 도로의 건설로 인하여 그 유지 관리 비용과 시간의 소요도 국가 운영에 상당한 영향을 미치고 있다. 그로 인하여, 포장 도로의 보수에 있어서 효율적인 유지 관리가 요구되고 있다.With the development of the industry, the construction of roads, which are social overhead capital, has been widely carried out. Due to the construction of a wide range of roads, the cost of maintenance and the time required also have a significant impact on national operations. Therefore, efficient maintenance is required in the repair of pavement roads.
종래에는 포장 도로의 크랙(crack)을 신뢰성있게 측정할 수 있는 방안이 강구되지 못하여, 균열 검사 분야에 경험이 뛰어난 특정 조사자가 포장 도로를 육안으로 확인한 후, 해당 포장 도로를 균열 상태 등을 판별하는 방식을 취하였다. 그러나, 이러한 방식은 균열 검출의 객관성이 결여될 수 밖에 없어서, 포장 도로를 체계적으로 통합 관리하기에는 한계가 있었다.Conventionally, there is no way to reliably measure the cracks on the pavement, so that a specific investigator who is highly experienced in the field of crack inspection can visually check the pavement road and then determine the cracked state of the pavement road . However, since this method lacks objectivity of crack detection, there is a limit to systematically and integratively managing pavement roads.
이러한 문제점으로 인하여, 포장 도로 조사 차량이나 특정 위치에 도로 표면을 촬영하는 카메라를 설치하고, 이를 이용하여 도로 표면을 촬영하는 방식으로 도로 크랙을 검출하는 방법들이 다양하게 시도되고 있다.Due to such a problem, various attempts have been made to detect road cracks by installing a pavement road survey vehicle or a camera for photographing the surface of the road at a specific position and photographing the road surface using the camera.
예컨대, 도로 촬영 영상에서 딥러닝 기술을 활용해 도로 표면을 추출하거나, 콘크리트, 금속, 아스팔트 등의 도로 표면에서 딥러닝 기술을 활용해 크랙을 검출하는 기술 등은 이미 다양하게 공개되어 있다. 특히 도로 크랙을 검출하는 기존의 기술들은 이미지 수집을 위해 도로 크랙이 있는 표면으로부터 일정한 거리를 유지하여 촬영하기 때문에 데이터 수집에 있어 많은 노력이 필요하다.For example, techniques for extracting a road surface using a deep running technique on a road taken image, and a technique for detecting a crack using a deep running technique on road surfaces such as concrete, metal, and asphalt have already been disclosed variously. In particular, existing techniques for detecting road cracks require a great deal of effort in data collection because they are taken at a constant distance from the road cracked surface for image acquisition.
예를 들어, 도로를 카메라의 영상에 의하여 관리하도록 하는 방법이 특허 제10-0443667호의 '포장 도로의 균열 검출 방법'에 개시되어 있다. 이 기술은 차량이 포장된 도로를 따라 이동하면서 도로의 표면을 촬영하고 촬영된 영상을 화상 처리함으로써 포장의 균열 부분을 검출하도록 하는 것이다.For example, a method of managing roads by camera images is disclosed in 'Method for detecting cracks in pavement' in Patent No. 10-0443667. This technology allows the vehicle to detect the cracked portion of the package by photographing the surface of the road while moving along the packed road and imaging the photographed image.
이러한 방법들은 도포 표면의 이미지로부터 도로의 균열을 검출하기 위하여, 일반적으로 도로 만을 대상으로 하여 도로 표면 영상을 촬영 및 획득하고, 이를 통해 도로 크랙을 검출하는 시스템은 정밀도를 요구하므로, 고가의 영상 장비 등을 구비하는 경우에 대부분으로, 시스템 구축에 많은 비용이 소요된다. 또한 현재 도로 포장 상태 모니터링은 일부 도로 구간에 대해서 이루어지고 있으며, 이에 따라 결함이 있는 도로의 예방적 유지 보수가 어려운 상황이다.In order to detect cracks in the road from the image of the applied surface, these methods generally capture the road surface image only for roads and acquire road surface images, and through this, a system for detecting road cracks requires precision, Etc., it takes a lot of cost to construct the system. In addition, monitoring of road pavement status is performed for some road sections, and it is difficult to prevent preventive maintenance of defective roads.
또한 기존의 CCTV 카메라를 이용하여 도로 표면의 크랙을 추출하는 경우, 일부 도로 구간에 대해서 도로 포장 상태의 모니터링이 이루어지고 있다. 따라서 결함이 있는 도로의 예방적 유지 보수가 어려운 상황이다. 또 이러한 방식은 시스템 구축에 많은 비용이 소모되고, 딥러닝 기술을 활용하여 고해상도의 영상으로부터 도로 표면의 크랙을 검출하는 경우, 복잡한 영상 인식 기술과 훈련 과정을 통해 분석되므로, 아키텍쳐가 복잡하다는 문제점이 있다.In addition, when the cracks of the road surface are extracted using the existing CCTV camera, the road pavement status is monitored for some road sections. Therefore, preventive maintenance of defective roads is difficult. In addition, this method consumes a lot of cost for system construction, and when a crack of a road surface is detected from a high resolution image by utilizing a deep learning technology, it is analyzed through a complex image recognition technology and a training process, have.
뿐만 아니라, 기존의 도로 크랙을 검출하는 기술에 블랙박스 영상을 바로 적용할 경우, 블랙박스 영상에 포함된 다른 차량, 차선, 건물 등을 크랙으로 인식하는 문제가 발생한다.In addition, when a black box image is directly applied to a technique for detecting an existing road crack, there arises a problem of recognizing other vehicles, lanes, buildings, and the like included in the black box image as cracks.
따라서 본 발명은 기존의 도로 크랙 검출 기술들보다 데이터 취득이 쉬운 블랙박스 영상을 활용하여 영상에 맞는 크랙 검출 모델을 설계하고자 한다.Therefore, the present invention aims at designing a crack detection model suitable for an image using a black box image which is easier to acquire data than existing road crack detection techniques.
본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법은 다음과 같은 해결과제를 가진다.The apparatus and method for patch cracking based on deep running using a black box image according to the present invention have the following problems.
첫째, 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하고자 한다.First, we want to detect the road crack using the black box image of the vehicle.
둘째, 차량용 블랙박스 영상으로부터 패치 단위로 이미지를 딥러닝 기반의 모델을 훈련 및 분석하여 도로 크랙을 추출하고자 한다.Second, we try to extract the road cracks by training and analyzing the deep - run - based model of the images from the vehicle black box images in patch units.
셋째, 차량용 블랙박스 영상을 이용하여 다양한 시간대, 도로 상황 및 조명 상태 등에 따른 도로 크랙 검출의 정확도를 향상시키고자 한다.Third, it is aimed to improve the accuracy of road crack detection according to various time of day, road condition, lighting condition, etc. by using a black box image of a vehicle.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다. The solution of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
상기 목적들을 달성하기 위한, 본 발명의 도로 크랙 검출 장치는 차량용 블랙박스 영상을 이용하여 딥러닝 기반의 패치 단위로 도로 크랙을 검출하는데 그 한 특징이 있다. 이와 같은 본 발명의 도로 크랙 검출 장치는 차량용 블랙박스의 영상을 이용하여 도로 크랙을 검출함으로써, 블랙박스 영상의 해상도가 넓은 면적을 포함한 도로 표면의 촬영이 가능하며, 데이터 획득이 용이하고, 데이터를 획득하기 위한 추가적인 작업이 필요하지 않아 비용 및 시간 절약이 가능하다.In order to achieve the above-mentioned objects, the road crack detecting apparatus of the present invention is characterized in that road cracks are detected in units of patches based on deep running using a vehicle black box image. The road crack detecting apparatus of the present invention can detect a road crack using an image of a black box for a vehicle, thereby making it possible to photograph a road surface including an area having a large resolution of a black box image, No additional work is required to acquire, which saves cost and time.
이 특징에 따른 본 발명의 도로 크랙 검출 장치는, 적어도 하나의 블랙박스로부터 촬영된 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 영상 데이터로부터 복수 개의 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에서 추출된 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부; 상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및 임의의 블랙박스로부터 영상 데이터를 받아서 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 추출하는 크랙 검출부;를 포함한다.The road crack detecting apparatus of the present invention according to this feature comprises: a data collecting unit for collecting image data photographed from at least one black box; An image extracting unit for extracting a plurality of images from the image data collected by the data collecting unit; A patch image generation unit for classifying the classes of the road crack, the lane and the undamaged road by selecting the image extracted by the image extracting unit for each pixel of a predetermined size, and generating a patch image for each of the classified classes; A model training unit for training each patch image generated from the patch image generating unit to extract a road crack using a neural network model; And a crack detector for extracting an image by receiving image data from an arbitrary black box and applying a neural network model trained from the model training unit to the extracted image to extract road cracks.
이 특징의 한 실시예에 있어서, 상기 패치 이미지 생성부는; 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성한다.In one embodiment of this aspect, the patch image generating unit may include: A patch image is generated for each road crack, lane, and undamaged road in a patch unit of 40 × 40 pixels.
다른 실시예에 있어서, 상기 패치 이미지 생성부는; 상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성한다.In another embodiment, the patch image generator comprises: An image extracted from the image extracting unit is extracted as an image having a predetermined size to limit the crack detection region and the patch image is generated in a limited crack detection region.
또 다른 실시예에 있어서, 상기 패치 이미지 생성부는; 도로 크랙의 상기 패치 이미지의 경우, 가장자리에서 도로 크랙을 검출하기 위해 상기 크랙 검출 영역을 중첩시킨다.In yet another embodiment, the patch image generator may include: In the case of the patch image of the road crack, the crack detection area is overlapped to detect a road crack at the edge.
또 다른 실시예에 있어서, 상기 모델 훈련부는; 신경망 모델 중 VGG 16 network를 이용하여 학습시킨다.In another embodiment, the model training unit includes: We use
또 다른 실시예에 있어서, 상기 모델 훈련부는; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력한다.In another embodiment, the model training unit includes: A patch image is trained for each road crack, lane, and undamaged road to calculate and output the probability of detecting road cracks.
또 다른 실시예에 있어서, 상기 모델 훈련부는; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다.In another embodiment, the model training unit includes: Determine the weights for each of the road cracks, lanes and undamaged roads and apply them to the model training. Determine the layer while gradually reducing the size of the patch image to calculate the probability for each crack, lane and undamaged road And outputs it.
본 발명의 다른 특징에 따르면, 도로 크랙 검출 장치의 도로 크랙 검출 방법이 제공된다.According to another aspect of the present invention, there is provided a road crack detection method of a road crack detection apparatus.
이 특징에 따른 도로 크랙 검출 장치의 도로 크랙 검출 방법은, 복수 개의 블랙박스로부터 영상 데이터를 수집하고, 수집된 영상 데이터로부터 복수 개의 프레임을 추출하는 단계; 오퍼레이터에 의해 추출된 프레임으로부터 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대해 일정 크기의 패치 이미지를 생성하는 단계; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시키는 단계; 임의의 블랙박스 영상이 입력되면, 복수 개의 프레임을 추출하고, 추출된 프레임에서 도로 표면에 대한 이미지를 추출하는 단계; 도로 표면에 대한 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시키는 단계; 상기 크랙 검출 영역이 제한된 도로 표면에 대한 이미지를 일정 크기의 패치 단위로 영역을 분할하는 단계; 및 패치 단위로 분할된 도로 표면에 대한 이미지에 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a road crack detection method for a road crack detection apparatus, comprising the steps of: collecting image data from a plurality of black boxes and extracting a plurality of frames from the collected image data; When a desired point is selected from the frame extracted by the operator, generating a patch image of a predetermined size for each road crack, lane, and undamaged road centered on the selected point; Training patch images for road cracks, lanes and undamaged roads using a neural network model; Extracting a plurality of frames when an arbitrary black box image is input, and extracting an image of the road surface in the extracted frame; Extracting an image of a road surface with a predetermined size image to limit a crack detection area; Dividing an image of a road surface with the crack detection area limited by patch units of a predetermined size; And detecting a road crack by applying a trained neural network model to an image of a road surface divided into patch units.
이 특징의 한 실시예에 있어서, 상기 패치 이미지를 생성하는 단계는; 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성한다.In one embodiment of this aspect, the step of generating the patch image comprises: A patch image is generated for each road crack, lane, and undamaged road in a patch unit of 40 × 40 pixels.
다른 실시예에 있어서, 상기 신경망 모델을 이용하여 훈련시키는 단계는; 도로 크랙, 차선 및 손상되지 않은 도로에 따른 클래스를 구분하고, 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력하고, 계산된 확률이 일정 크기 이상이면, 크랙으로 판단한다.In another embodiment, training using the neural network model comprises: A probability for determining whether a road crack is a road crack is calculated and outputted, and when the calculated probability is equal to or larger than a certain size, .
또 다른 실시예에 있어서, 상기 도로 표면에 대한 이미지를 추출하는 단계는; 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출한다.In yet another embodiment, extracting an image for the road surface comprises: In the extracted frame, the image of the road surface is extracted by excluding the portion not the road surface and the image of the front portion of the vehicle.
또 다른 실시예에 있어서, 상기 크랙 검출 영역을 제한시키는 단계는; 720 × 240 픽셀 크기의 이미지로 크랙 검출 영역을 제한한다.In another embodiment, the step of limiting the crack detection region comprises: Limit the crack detection area to 720 x 240 pixel size image.
또 다른 실시예에 있어서, 상기 영역을 분할하는 단계는; 720 × 240 픽셀 크기의 이미지를 상하 좌우 방향 각각으로 20 픽셀 씩 중첩되도록 하여 40 × 40 픽셀 단위로 분할한다.In yet another embodiment, dividing the region comprises: The image of 720x240 pixels is divided into 40x40 pixels so that the images are overlapped by 20 pixels each in the up, down, left and right directions.
본 발명의 또 다른 특징에 따르면, 하드웨어와 결합되어, 도로 크랙 검출 방법을 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공된다.According to still another aspect of the present invention, there is provided a computer program stored in a computer-readable recording medium in combination with hardware for executing a road crack detection method.
본 발명에 따른 차량용 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법은 다음과 같은 효과를 가진다.The apparatus and method for patch crack detection based on deep running using a vehicle black box image according to the present invention have the following effects.
첫째, 차량용 블랙박스의 영상을 이용하여 도로 크랙을 검출함으로써, 블랙박스 영상의 해상도가 넓은 면적을 포함한 도로 표면의 촬영이 가능하며, 데이터 획득이 용이하고, 데이터를 획득하기 위한 추가적인 작업이 필요하지 않아 비용 및 시간 절약이 가능하다.First, by detecting a road crack using an image of a vehicle black box, it is possible to photograph a road surface including an area having a large resolution of a black box image, to easily acquire data, and to perform additional operations to acquire data It is possible to save cost and time.
둘째, 차량용 블랙박스 영상으로부터 패치 단위로 도로 크랙을 검출하여 정확한 도로 크랙 검출이 가능하고, 도로 크랙 검출을 위한 시스템 구축이 용이하며 저렴하게 구현 가능하다.Second, accurate road crack detection is possible by detecting a road crack from a black box image of a vehicle by a patch unit, and it is easy to construct a system for detecting a road crack, and it can be implemented at a low cost.
셋째, 빠른 시간 내에 많은 도로 구간의 크랙을 관찰하여 도로의 상태를 신속히 파악할 수 있기 때문에 도로 크랙 검출 장치의 제품 차별화를 확보할 수 있어 시장성이 매우 크다.Third, since the state of the road can be quickly identified by observing cracks in many road sections within a short time, the product can be differentiated in the road crack detection device, and the marketability is very high.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 구성을 도시한 블럭도,
도 2는 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 패치 단위 도로 크랙 검출 수순을 도시한 흐름도,
도 3은 도 2에 도시된 신경망 모델 훈련 루틴을 나타내는 흐름도,
도 4는 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 이미지를 나타내는 도면,
도 5는 본 발명의 실시예에 따른 신경망 모델 구조를 나타내는 도면,
도 6은 본 발명의 실시예에 따른 도로 표면 추출 상태를 나타내는 도면,
도 7은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면, 그리고
도 8은 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.1 is a block diagram showing the configuration of a patch unit road crack detection apparatus in a black box image utilizing deep running according to the present invention;
2 is a flowchart showing a patch unit road crack detection procedure of a patch unit road crack detection apparatus in a black box image utilizing deep running according to the present invention,
3 is a flow chart showing the neural network model training routine shown in FIG. 2,
4 is a view illustrating an image extracted from a black box image according to an embodiment of the present invention,
5 is a diagram illustrating a neural network model structure according to an embodiment of the present invention.
6 is a diagram showing a road surface extraction state according to an embodiment of the present invention,
FIG. 7 is a view showing a crack area division state according to an embodiment of the present invention, and FIG.
8 is a view showing a road crack detection state according to an embodiment of the present invention.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Wherever possible, the same or similar parts are denoted using the same reference numerals in the drawings.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular forms as used herein include plural forms as long as the phrases do not expressly express the opposite meaning thereto.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.Means that a particular feature, region, integer, step, operation, element and / or component is specified and that other specific features, regions, integers, steps, operations, elements, components, and / It does not exclude the existence or addition of a group.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.All terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Predefined terms are further interpreted as having a meaning consistent with the relevant technical literature and the present disclosure, and are not to be construed as ideal or very formal meanings unless defined otherwise.
본 발명은 도로 크랙 검출을 위하여 차량용 블랙박스 영상을 이용하고 패치 단위로 딥러닝 기반의 모델 훈련하고, 훈련된 모델을 블랙박스 영상에 적용하여 도로 표면의 크랙을 검출한다.The present invention uses a black box image for a vehicle for a road crack detection, a deep training based model training on a patch unit basis, and a trained model is applied to a black box image to detect a crack on a road surface.
본 발명에 의하면, 도로 표면의 이미지를 패치 단위로 도로 크랙을 검출하므로 도로 크랙 검출의 정확도를 높일 수 있으며, 도로 크랙 검출을 위한 시스템 구축이 용이하고, 시스템 구축 비용 또한 절감할 수 있다.According to the present invention, it is possible to increase the accuracy of road crack detection, to easily construct a system for detecting road cracks, and to reduce the construction cost of a system.
이하에서는 도면을 중심으로 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
도 1은 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 구성을 도시한 블럭도이다.FIG. 1 is a block diagram showing the configuration of a patch unit road crack detection apparatus in a black box image utilizing deep learning according to the present invention.
도 1을 참조하면, 본 발명의 도로 크랙 검출 장치(100)는 도로 표면의 크랙을 검출하기 위하여, 차량용 블랙박스(10)의 영상을 이용하여 일정 크기의 패치(patch) 단위로 딥러닝 기반의 모델을 훈련하고, 블랙박스 영상의 이미지로부터 훈련된 모델을 적용하여 픽셀 단위의 도로 크랙을 검출한다.Referring to FIG. 1, the road
이를 위해, 본 발명의 도로 크랙 검출 장치(100)는 복수 개의 차량용 블랙박스(10)로부터 동영상 데이터를 수집하고, 수집된 동영상으로부터 도로 크랙을 검출하기 위한 복수 개의 이미지를 추출하고, 각각의 추출된 이미지에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류하고, 분류된 각각의 클래스에 따른 이미지를 패치 단위로 딥러닝 기반의 모델에 적용하여 훈련하도록 처리한다.To this end, the road
또 본 발명의 도로 크랙 검출 장치(100)는 블랙박스(10)의 영상으로부터 이미지를 추출하고 추출된 이미지에 훈련된 모델을 적용하여 패치 단위로 도로 크랙을 검출한다.The road
구체적으로 본 발명의 도로 크랙 검출 장치(100)는 데이터 수집부(110)와, 이미지 추출부(120)와, 패치 이미지 생성부(130)와, 모델 훈련부(140) 및 크랙 검출부(150)를 포함한다.Specifically, the road
데이터 수집부(110)는 복수 개의 차량용 블랙박스(10)들 각각으로부터 촬영된 전방 도로 표면에 대한 동영상 데이터를 수집한다. 데이터 수집부(110)는 예를 들어, 유선 또는 무선 통신망을 통해 실시간으로 블랙박스(10)와 연결되어 동영상 데이터를 수집하거나, 블랙박스(10)의 영상을 저장하는 데이터 저장 매체를 통해 영상 데이터를 수집한다.The
이미지 추출부(120)는 데이터 수집부(110)로부터 수집된 동영상 데이터를 받아서 도로 크랙을 검출하기 위한 복수 개의 이미지를 추출한다. 이미지 추출부(120)는 예를 들어, 수집된 블랙박스(10)의 동영상 데이터로부터 도로 표면 내의 크랙을 검출하기 위한 복수 개의 프레임을 임의로 추출한다. 이 실시예에서 프레임은 블랙박스(10)의 동영상 데이터로부터 수백 여 개가 추출된다. 이러한 프레임은 추후 딥러닝 기반의 CNN 모델을 훈련시키는데에 활용된다.The
이 실시예에서 이미지 추출은 K. Simonyan and A. Zisserman이 2014년 제안한 VGG 16 network라는 신경망(Convolution Neural Network : CNN) 모델에 기반하여 차량용 블랙박스(10)의 이미지로부터 도로 표면을 추출하기 위해 파이션 코딩(python coding)을 활용한다.In this embodiment, the image extraction is based on the Convolution Neural Network (CNN) model proposed by K. Simonyan and A. Zisserman in
패치 이미지 생성부(130)는 패치 단위로 크랙을 검출하기 위하여, 이미지 추출부(120)로부터 추출된 이미지에서 오퍼레이터에 의해 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다.When a desired point is selected by the operator in the image extracted from the
이 실시예에서 패치 이미지는 40 × 40 픽셀 크기를 갖는다. 패치 이미지는 3 가지의 클래스(class)에 대해 각각 생성된다. 즉, 패치 이미지들은 크랙, 차선 및 손상되지 않은 도로에 대한 데이터로 각각 생성된다.In this embodiment, the patch image has a size of 40 x 40 pixels. A patch image is created for each of the three classes. That is, the patch images are respectively generated as data for cracks, lanes and undamaged roads.
모델 훈련부(140)는 패치 이미지 생성부(130)에서 생성된 각각의 패치 이미지를 딥러닝 기반의 모델을 이용하여 훈련하도록 처리한다. 모델 훈련부(140)는 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련하여 도로 크랙을 검출하기 위한 확률을 계산하여 출력한다.The
또 모델 훈련부(140)는 실제로 블랙박스 영상을 입력받아서 패치 단위로 도로 크랙을 검출하기 위해 크랙, 차선 및 손상되지 않은 도로에 대해 훈련된 모델을 적용하도록 처리한다.In addition, the
이 실시예에서 모델 훈련부(140)는 신경망(CNN) 모델을 활용한다. 신경망(CNN) 모델은 예컨대, 크게 3 가지 층(layer) 즉, 컨볼루션 레이어(Conovolutional layer, 이하 Conv 층), 풀링 레이어(Pooling layer, 이하 Pool 층) 그리고 풀리 커넥티드 레이어(Fully-connected layer, 이하 FC 층)들로 구성된다.In this embodiment, the
Conv 층을 구성하는 필터(filter)는 이전 층의 결과값과 합성곱(convolution) 연산이 수행되며 이는 다음 층의 입력값이 된다. Pool 층은 이전 층의 결과값을 작은 크기로 축소(downsampling)하는 역할을 한다. FC 층은 이전 층의 모든 노드(node)와 연결되어 있으며 주로 CNN 모델의 뒷부분을 구성한다. CNN 모델의 최종 출력값은 FC 층으로 구성되며, 각 클래스(class)에 속하는 확률을 계산하는 역할을 한다. CNN 모델이 이미지 분류기로 활용될 때 최종 출력값 중 가장 높은 확률을 갖는 클래스를 입력 이미지에 대한 클래스로 예측한다.Conv The filter composing the Conv layer is subjected to a convolution operation with the result of the previous layer, which becomes the input value of the next layer. The Pool layer plays a role of downsampling the result of the previous layer to a small size. The FC layer is connected to all the nodes of the previous layer and mainly constitutes the rear part of the CNN model. The final output value of CNN model is composed of FC layer and it calculates the probability belonging to each class. When the CNN model is used as an image classifier, the class having the highest probability of the final output value is predicted as a class for the input image.
본 발명은 레이어의 깊이, 크기 등의 변수를 조절하여 모델이 높은 성능을 가지는지 실험하고 최종적으로 도 5와 같이 신경망(CNN) 모델 구조를 설계하였다. 이러한 신경망(CNN) 모델은 각 클래스에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 최종적으로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다. 이미지는 세 클래스 중 가장 높은 확률값을 가지는 클래스에 속한다. 크랙일 확률이 가장 높을 경우, 크랙으로 판단한다.The present invention tests whether the model has high performance by adjusting parameters such as the depth and the size of a layer, and finally, a neural network (CNN) model structure is designed as shown in FIG. The CNN model determines the weights for the layers for each class, applies them to the model training, decides the layers while gradually reducing the size of the patch image, and finally calculates the probability for cracks, lanes, and unimpaired roads And outputs it. The image belongs to the class with the highest probability among the three classes. If the probability of cracking is the highest, it is judged as a crack.
그리고 크랙 검출부(150)는 블랙박스로부터 영상이 입력되면, 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 도로 크랙을 검출한다. 크랙 검출부(150)는 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 각 패치 이미지마다 클래스를 구분하여 예측값을 계산하고, 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.When the image is input from the black box, the
따라서 본 발명의 도로 크랙 검출 장치(100)는 차량용 블랙박스(10)의 영상을 이용하고 패치 단위로 이미지를 추출하여 딥러닝 기반의 모델에 훈련시키고, 훈련된 모델을 블랙박스 영상에 적용하여 패치 단위로 도로 크랙을 검출한다.Therefore, the road
도 2는 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 패치 단위 도로 크랙 검출 수순을 도시한 흐름도이고, 도 3은 도 2에 도시된 신경망 모델 훈련 루틴을 나타내는 흐름도이다.FIG. 2 is a flowchart showing a patch unit road crack detection procedure of a patch unit road crack detection apparatus in a black box image utilizing deep learning according to the present invention, and FIG. 3 is a flowchart showing a neural network model training routine shown in FIG. to be.
도 2 및 도 3을 참조하면, 본 발명의 도로 크랙 검출 장치(100)는 단계 S160에서 복수 개의 블랙박스로부터 영상 데이터를 수집하고, 단계 S162에서 영상 데이터로부터 복수 개의 이미지 즉, 프레임을 추출한다. Referring to FIGS. 2 and 3, the road
추출된 프레임을 신경망 모델을 이용하여 훈련하는 경우, 단계 S164에서 오퍼레이터에 의해 추출된 프레임으로부터 원하는 지점을 선택하고, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다. 이 실시예에서 패치 이미지는 40 × 40 픽셀 크기를 갖는다. 패치 이미지는 3 가지의 클래스 즉, 크랙, 차선 및 손상되지 않은 도로에 대해 각각 생성된다.If the extracted frame is trained by using the neural network model, a desired point is selected from the frame extracted by the operator in step S164, and an image of a predetermined size, that is, a patch image is generated centering on the selected point. In this embodiment, the patch image has a size of 40 x 40 pixels. The patch image is generated for three classes, crack, lane, and undamaged road, respectively.
단계 S166에서 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시킨다. 구체적으로 신경망(CNN) 모델 훈련 루틴(S166)은 도 3에 도시된 바와 같이, 단계 S190에서 클래스를 구분하고, 단계 S192에서 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력한다. 단계 S194에서 확률이 일정 크기 이상이면, 크랙으로 판단한다. 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.In step S166, a patch image for each of the crack, lane and undamaged road is trained using a neural network model. Specifically, as shown in FIG. 3, the neural network (CNN) model training routine S166 classifies the class in step S190 and calculates a model predicted value for each class classified in step S192 to calculate a probability And outputs it. If the probability is greater than or equal to a certain size in step S194, it is judged as a crack. If the probability of cracking is the highest among the three classes, it is judged as a crack.
이렇게 훈련된 모델은 추후 블랙박스 영상이 입력되면, 도로 크랙을 검출하는데 적용된다. 즉, 다시 도 2를 참조하면, 단계 S170에서 블랙박스 영상으로부터 도로 크랙을 검출하기 위하여 프레임이 추출되면, 추출된 프레임에서 도로 표면에 대한 이미지를 추출한다. 이 때, 추출된 프레임에는 도로 표면, 도로 표면이 아닌 부분, 그리고 차량의 앞부분(즉, 보닛)이 함께 추출되는데, 도로 표면이 아닌 부분에 대한 이미지와 차량의 앞부분 이미지를 제외시킨다. This trained model is applied to detect a road crack when a black box image is input later. That is, referring again to FIG. 2, in step S170, when a frame is extracted to detect a road crack from a black box image, an image of the road surface is extracted from the extracted frame. At this time, the extracted frame extracts the road surface, the portion not the road surface, and the front portion of the vehicle (that is, the bonnet) together.
단계 S172에서 도로 표면 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시킨다. 이 실시예에서 도로 표면 이미지는 720 × 240 픽셀 크기로 추출된다. 이 도로 표면 이미지에는 도로 크랙, 차선 및 손상되지 않은 도로에 따른 영역이 포함된다.In step S172, the road surface image is extracted as an image of a predetermined size to limit the crack detection area. In this embodiment, the road surface image is extracted with a size of 720 x 240 pixels. This road surface image includes areas along road cracks, lanes and undamaged roads.
단계 S174에서 도로 표면 이미지를 일정 크기의 패치 단위로 영역을 분할한다. 단계 S176에서 패치 단위로 분할된 도로 표면 이미지에 훈련된 신경망 모델을 적용하고, 단계 S178에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류한다. 이어서 단계 S180에서 분류된 클래스를 이용하여 도로 크랙을 검출한다.In step S174, the road surface image is divided into patches of a predetermined size. The trained neural network model is applied to the road surface image divided into patch units in step S176, and the class is classified into road cracks, lanes and unimpaired roads in step S178. Then, a road crack is detected using the class classified in step S180.
상술한 도로 크랙 검출 장치(100)의 도로 크랙 검출 방법은 컴퓨터 프로그램으로 제공될 수 있다. 이 컴퓨터 프로그램은 도로 크랙 검출용 소프트웨어로 제공되어, 도로 크랙 검출 장치(100) 예를 들어, 휴대용 컴퓨터, 퍼스널 컴퓨터, 서버 등으로 구비되는 컴퓨터 시스템 상에서 복수 개의 차량용 블랙박스(10)와 연동해서 처리될 수 있다.The road crack detection method of the road
이러한 컴퓨터 프로그램은 상술한 본 발명의 도로 크랙 검출 장치(100)의 도로 크랙 검출 방법을 실행하기 위하여 컴퓨터로 독출 가능한 기록매체에 기록되어 제공될 수 있다.Such a computer program may be recorded on a computer-readable recording medium for executing the road crack detection method of the road
예컨대, 본 발명의 도로 크랙 검출 장치(100)가 컴퓨터로 구비되고, 도로 크랙 검출 방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체에는 컴퓨터에 의하여 읽힐 수 있는 데이터가 저장되는 다양한 종류의 기록 장치를 포함할 수 있다. 예를 들어, 기록 매체에는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함할 뿐만 아니라, 인터넷, 인프라 등의 네트워크를 통해 상호 연결된 컴퓨터에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 컴퓨터 프로그램이 저장 및 실행되는 형태로 제공될 수 있다.For example, the road
도 4는 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 이미지를 나타내는 도면이다.4 is a view showing an image extracted from a black box image according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 실시예에서는 추출된 도로 표면에 대하여 40 × 40 픽셀 크기의 패치 단위로 크랙을 검출하는 딥러닝 모델을 훈련시키기 위해 3 가지 클래스에 대한 데이터를 만든다. 블랙박스 영상으로부터 데이터를 추출할 이미지(200)를 예컨대, 100 여장 선정한 후, 파이선 코딩을 통해 이미지(200)를 화면에 띄우고 원하는 지점을 선택한다. 선택한 지점을 중앙으로 하는 40 × 40 픽셀 크기의 이미지가 생성된다. 이러한 방식으로 도로 크랙, 차선 그리고 손상되지 않은 도로 3 가지 클래스에 대한 데이터를 생성한다. 도 4에서 크랙 부분에 빨간색으로 표시된 부분(202)들이 각각 선택된 지점이다.Referring to FIG. 4, in an embodiment of the present invention, three classes of data are created to train a deep learning model for detecting cracks in patch units of 40 × 40 pixels on the extracted road surface. After selecting, for example, 100
도 5는 본 발명의 실시예에 따른 신경망 모델 구조를 나타내는 도면이다.5 is a diagram illustrating a neural network model structure according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 신경망 모델(210)은 예컨대, 크게 3 가지 층(layer) 즉, 컨볼루션 레이어(Conovolutional layer, 이하 Conv 층), 풀링 레이어(Pooling layer, 이하 Pool 층) 그리고 풀리 커넥티드 레이어(Fully-connected layer, 이하 FC 층)들로 구성된다. Conv 층을 구성하는 필터(filter)는 이전 층의 결과값과 합성곱(convolution) 연산이 수행되며 이는 다음 층의 입력값이 된다. Pool 층은 이전 층의 결과값을 작은 크기로 축소(downsampling)하는 역할을 한다. FC 층은 이전 층의 모든 노드(node)와 연결되어 있으며 주로 CNN 모델의 뒷부분을 구성한다. CNN 모델의 최종 출력값은 FC 층으로 구성되며, 각 클래스(class)에 속하는 확률을 계산하는 역할을 한다.Referring to FIG. 5, the
CNN 모델이 이미지 분류기로 활용될 때 최종 출력값 중 가장 높은 확률을 갖는 클래스를 입력 이미지에 대한 클래스로 예측한다. 본 발명은 레이어의 깊이, 크기 등의 변수를 조절하여 모델이 높은 성능을 가지는지 실험하고 최종적으로 도 5와 같이 신경망(CNN) 모델 구조를 설계하였다. 이러한 신경망(CNN) 모델(210)은 각 클래스에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 최종적으로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다. 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.When the CNN model is used as an image classifier, the class having the highest probability of the final output value is predicted as a class for the input image. The present invention tests whether the model has high performance by adjusting parameters such as the depth and the size of a layer, and finally, a neural network (CNN) model structure is designed as shown in FIG. This neural network (CNN)
도 6은 본 발명의 실시예에 따른 도로 표면 추출 상태를 나타내는 도면이고, 도 7은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면이며, 그리고 도 8은 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.FIG. 6 is a view showing a road surface extraction state according to an embodiment of the present invention, FIG. 7 is a view showing a crack area division state according to an embodiment of the present invention, and FIG. 8 is a cross- These are views showing a crack detection state.
도 6 내지 도 8을 참조하면, 이 실시예에서 블랙박스 영상에서 추출된 프레임은 도로 표면과, 도로 표면이 아닌 부분 및 차량의 앞부분(보닛)이 함께 추출된다. 따라서 도로 표면 이미지(220)는 도로 표면이 아닌 부분(204)과 차량의 보닛 부분(206)을 제외시킨다.Referring to Figs. 6 to 8, in the present embodiment, the frame extracted from the black box image is extracted together with the road surface, the portion not on the road surface, and the front portion (bonnet) of the vehicle. The
신경망 모델을 이용하여 훈련시키기 위하여, 도로 표면 이미지(220)를 도 7에 도시된 바와 같이, 도로 표면 영역에 대한 패치 이미지(230)를 생성한다. 이 때, 패치 이미지(230)는 720 × 240 픽셀 크기의 패치 이미지(232)로 크랙 검출 영역을 제한한다.In order to train using the neural network model, a
설계된 CNN 모델(210)은 720 × 240 픽셀 크기의 패치 이미지(232) 내에서 40 × 40 픽셀 크기의 패치를 선택하여 도로 크랙, 차선 그리고 손상되지 않은 도로 표면의 클래스로 구분한다. 크랙의 경우, 패치 이미지(232)의 가장자리에 있으면 검출이 되지 않을 수 있으므로, 패치 이미지(232)에서 가장자리에 있는 크랙 부분도 검출할 수 있도록 설계한다.The designed
이를 위해 40 × 40 픽셀 크기의 패치가 원래 위치로부터 상하 좌우 방향 각각으로 20 픽셀씩 떨어진 곳에 위치한 사각형 이미지(234) 또한 테스트 이미지로 활용되도록 데이터를 구축한다. 즉, 사각형 이미지(232)는 패치 이미지(232)에서 상하 좌우 방향으로 20 픽셀씩 떨어져 생성된 패치 이미지이다. 따라서 도로 표면에 대한 패치 이미지(232)와 사각형 이미지(234)를 중첩시켜서 중첩 패치 이미지(236, 238)을 생성한다.For this purpose, a rectangular image (234) located at a distance of 20 pixels in each of the upper, lower, left, and right directions from the original position is also constructed so as to be used as a test image. That is, the
40 × 40 픽셀 크기의 패치에 대해 CNN 모델을 적용한 결과, 도 8에 도시된 바와 같이, 도로 크랙으로 검출(240)된다. 여기서 도로 크랙으로 분류된 패치(242)는 붉은 색 테두리로 나타낸다.As a result of applying the CNN model to a patch having a size of 40 × 40 pixels, the road crack is detected (240) as shown in FIG. Here,
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments and the accompanying drawings described in the present specification are merely illustrative of some of the technical ideas included in the present invention. Accordingly, the embodiments disclosed herein are for the purpose of describing rather than limiting the technical spirit of the present invention, and it is apparent that the scope of the technical idea of the present invention is not limited by these embodiments. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
10 : 블랙박스
100 : 도로 크랙 검출 장치
110 : 데이터 수집부
120 : 이미지 추출부
130 : 패치 이미지 생성부
140 : 모델 훈련부
150 : 크랙 검출부10: Black box
100: Road crack detector
110: Data collecting unit
120: image extracting unit
130: patch image generating unit
140: Model Training Department
150:
Claims (14)
적어도 하나의 블랙박스로부터 촬영된 영상 데이터를 수집하는 데이터 수집부;
상기 데이터 수집부에서 수집된 영상 데이터로부터 복수 개의 이미지를 추출하는 이미지 추출부;
상기 이미지 추출부에서 추출된 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부;
상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및
임의의 블랙박스 영상이 입력되면, 복수 개의 프레임을 추출하고, 추출된 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 추출하는 크랙 검출부;를 포함하며,
상기 모델 훈련부는; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며,
상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 것을 특징으로 하는 도로 크랙 검출 장치.A road crack detection apparatus comprising:
A data collecting unit for collecting image data photographed from at least one black box;
An image extracting unit for extracting a plurality of images from the image data collected by the data collecting unit;
A patch image generation unit for classifying the classes of the road crack, the lane and the undamaged road by selecting the image extracted by the image extracting unit for each pixel of a predetermined size, and generating a patch image for each of the classified classes;
A model training unit for training each patch image generated from the patch image generating unit to extract a road crack using a neural network model; And
Extracting a plurality of frames from the arbitrary black box image, extracting an image of the road surface from the extracted frame, applying a neural network model trained from the model training section to the extracted image, And a detector,
The model training unit includes: A patch image is trained for each road crack, lane, and undamaged road to calculate and output a probability for detecting a road crack,
Wherein the image of the road surface is extracted from the road surface by excluding the portion of the extracted road surface that is not the road surface and the front portion image of the vehicle.
상기 패치 이미지 생성부는;
40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하는 것을 특징으로 하는 도로 크랙 검출 장치.The method according to claim 1,
Wherein the patch image generating unit comprises:
And generates a patch image for each of the road crack, the lane, and the undamaged road in units of patches each having a size of 40 x 40 pixels.
상기 패치 이미지 생성부는;
상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성하는 것을 특징으로 하는 도로 크랙 검출 장치.The method of claim 2,
Wherein the patch image generating unit comprises:
Extracting an image extracted from the image extracting unit as an image of a predetermined size to limit a crack detection area, and generating the patch image in a limited crack detection area.
상기 패치 이미지 생성부는;
도로 크랙의 상기 패치 이미지의 경우, 가장자리에서 도로 크랙을 검출하기 위해 상기 크랙 검출 영역을 중첩시키는 것을 특징으로 하는 도로 크랙 검출 장치.The method of claim 3,
Wherein the patch image generating unit comprises:
In the case of the patch image of the road crack, overlaps the crack detection area to detect a road crack at the edge.
상기 모델 훈련부는;
신경망 모델 중 VGG 16 network를 이용하여 학습시키는 것을 특징으로 하는 도로 크랙 검출 장치.The method according to claim 1,
The model training unit includes:
Wherein the learning is performed using the VGG 16 network among the neural network models.
상기 모델 훈련부는;
도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력하는 것을 특징으로 하는 도로 크랙 검출 장치.The method according to claim 1,
The model training unit includes:
Determine the weights for each of the road cracks, lanes and undamaged roads, apply them to the model training, and calculate the probability for each of the cracks, lanes and undamaged roads by determining the layers while gradually reducing the size of the patch image And outputting the road cracks.
복수 개의 블랙박스로부터 영상 데이터를 수집하고, 수집된 영상 데이터로부터 복수 개의 프레임을 추출하는 단계;
오퍼레이터에 의해 추출된 프레임으로부터 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대해 일정 크기의 패치 이미지를 생성하는 단계;
도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시키는 단계;
임의의 블랙박스 영상이 입력되면, 복수 개의 프레임을 추출하고, 추출된 프레임에서 도로 표면에 대한 이미지를 추출하는 단계;
도로 표면에 대한 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시키는 단계;
상기 크랙 검출 영역이 제한된 도로 표면에 대한 이미지를 일정 크기의 패치 단위로 영역을 분할하는 단계; 및
패치 단위로 분할된 도로 표면에 대한 이미지에 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 단계;를 포함하며,
상기 신경망 모델을 이용하여 훈련시키는 단계는; 도로 크랙, 차선 및 손상되지 않은 도로에 따른 클래스를 구분하고, 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력하고, 계산된 확률이 일정 크기 이상이면, 크랙으로 판단하며,
상기 도로 표면에 대한 이미지를 추출하는 단계는; 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.A road crack detection method for a road crack detection apparatus comprising:
Collecting image data from a plurality of black boxes, and extracting a plurality of frames from the collected image data;
When a desired point is selected from the frame extracted by the operator, generating a patch image of a predetermined size for each road crack, lane, and undamaged road centered on the selected point;
Training patch images for road cracks, lanes and undamaged roads using a neural network model;
Extracting a plurality of frames when an arbitrary black box image is input, and extracting an image of the road surface in the extracted frame;
Extracting an image of a road surface with a predetermined size image to limit a crack detection area;
Dividing an image of a road surface with the crack detection area limited by patch units of a predetermined size; And
Detecting a road crack by applying a trained neural network model to an image of a road surface divided by a patch unit,
Training using the neural network model comprises: A probability for determining whether a road crack is a road crack is calculated and outputted, and when the calculated probability is equal to or larger than a certain size, However,
Wherein the step of extracting an image for the road surface comprises: Wherein an image of the road surface is extracted by excluding a portion of the extracted frame that is not a road surface and an image of a front portion of the vehicle.
상기 패치 이미지를 생성하는 단계는;
40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.The method of claim 8,
Wherein the generating the patch image comprises:
And a patch image is generated for each of road cracks, lanes, and undamaged roads in units of patches each having a size of 40 x 40 pixels.
상기 크랙 검출 영역을 제한시키는 단계는;
720 × 240 픽셀 크기의 이미지로 크랙 검출 영역을 제한하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.The method of claim 8,
Limiting the crack detection region comprises:
And the crack detection area is limited to an image of 720 x 240 pixels in size.
상기 영역을 분할하는 단계는;
720 × 240 픽셀 크기의 이미지를 상하 좌우 방향 각각으로 20 픽셀 씩 중첩되도록 하여 40 × 40 픽셀 단위로 분할하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.The method of claim 12,
Dividing the region comprises:
Wherein the image is divided into 40 × 40 pixel units so that the image of 720 × 240 pixels is overlapped by 20 pixels in the vertical and horizontal directions, respectively.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180029145A KR101926561B1 (en) | 2018-03-13 | 2018-03-13 | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180029145A KR101926561B1 (en) | 2018-03-13 | 2018-03-13 | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101926561B1 true KR101926561B1 (en) | 2018-12-07 |
Family
ID=64669489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180029145A KR101926561B1 (en) | 2018-03-13 | 2018-03-13 | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101926561B1 (en) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110120041A (en) * | 2019-05-14 | 2019-08-13 | 郑州大学 | Pavement crack image detecting method |
CN110490839A (en) * | 2019-07-11 | 2019-11-22 | 平安科技(深圳)有限公司 | The method, apparatus and computer equipment of failure area in a kind of detection highway |
CN110517312A (en) * | 2019-07-05 | 2019-11-29 | 银河水滴科技(北京)有限公司 | Gap localization method, device and storage medium based on deep learning |
KR102107119B1 (en) * | 2018-12-27 | 2020-05-07 | 한국건설기술연구원 | Condition rating decision system of road pavement using friction noise between tire and pavement surface and using artificial intelligence, and method for the same |
CN111242017A (en) * | 2020-01-10 | 2020-06-05 | 北京邮电大学 | Multi-marking-line pavement crack identification method, device, equipment and storage medium |
JP2020144572A (en) * | 2019-03-06 | 2020-09-10 | エヌ・ティ・ティ・コムウェア株式会社 | Road failure detection device, road failure detection method, and road failure detection program |
KR20210063637A (en) * | 2019-11-25 | 2021-06-02 | 대구가톨릭대학교산학협력단 | System and method for pothole detection based on road aerial images |
KR102272745B1 (en) * | 2020-05-29 | 2021-07-06 | 충북대학교 산학협력단 | Inspection System and Method for Compact Camera Module Cover |
KR20210089365A (en) * | 2020-01-08 | 2021-07-16 | 한국건설기술연구원 | System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method |
JP2021148719A (en) * | 2020-03-23 | 2021-09-27 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method |
JP2021148720A (en) * | 2020-03-23 | 2021-09-27 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method |
WO2021192627A1 (en) * | 2020-03-23 | 2021-09-30 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method |
KR20210143465A (en) * | 2020-05-20 | 2021-11-29 | 연세대학교 산학협력단 | Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same |
CN113762020A (en) * | 2021-02-01 | 2021-12-07 | 长安大学 | Highway road surface crack detecting system based on matrix structure degree of depth neural network |
KR20220017657A (en) * | 2020-08-05 | 2022-02-14 | (주)이포즌 | Apparatus and method for detecting concrete construction crack |
KR102396169B1 (en) * | 2021-09-07 | 2022-05-11 | 주식회사 로드텍 | Apparatus and method for evaluating state of road pavement |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6120037B1 (en) * | 2016-11-30 | 2017-04-26 | 国際航業株式会社 | Inspection device and inspection method |
-
2018
- 2018-03-13 KR KR1020180029145A patent/KR101926561B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6120037B1 (en) * | 2016-11-30 | 2017-04-26 | 国際航業株式会社 | Inspection device and inspection method |
Non-Patent Citations (5)
Title |
---|
논문1:IEEE(2016.09)* |
논문2:한국정보과학회(2016.01)* |
논문3:2018.02 |
논문4:한국건설관리학회(2017.11) |
논문5:대한토목학회(2017.10) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102107119B1 (en) * | 2018-12-27 | 2020-05-07 | 한국건설기술연구원 | Condition rating decision system of road pavement using friction noise between tire and pavement surface and using artificial intelligence, and method for the same |
JP2020144572A (en) * | 2019-03-06 | 2020-09-10 | エヌ・ティ・ティ・コムウェア株式会社 | Road failure detection device, road failure detection method, and road failure detection program |
CN110120041A (en) * | 2019-05-14 | 2019-08-13 | 郑州大学 | Pavement crack image detecting method |
CN110517312A (en) * | 2019-07-05 | 2019-11-29 | 银河水滴科技(北京)有限公司 | Gap localization method, device and storage medium based on deep learning |
CN110490839A (en) * | 2019-07-11 | 2019-11-22 | 平安科技(深圳)有限公司 | The method, apparatus and computer equipment of failure area in a kind of detection highway |
CN110490839B (en) * | 2019-07-11 | 2024-02-27 | 平安科技(深圳)有限公司 | Method and device for detecting damaged area in expressway and computer equipment |
KR20210063637A (en) * | 2019-11-25 | 2021-06-02 | 대구가톨릭대학교산학협력단 | System and method for pothole detection based on road aerial images |
KR102332971B1 (en) | 2019-11-25 | 2021-11-30 | 대구가톨릭대학교산학협력단 | System and method for pothole detection based on road aerial images |
KR102311558B1 (en) * | 2020-01-08 | 2021-10-12 | 한국건설기술연구원 | System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method |
KR20210089365A (en) * | 2020-01-08 | 2021-07-16 | 한국건설기술연구원 | System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method |
CN111242017B (en) * | 2020-01-10 | 2024-01-23 | 北京邮电大学 | Multi-marking pavement crack identification method, device, equipment and storage medium |
CN111242017A (en) * | 2020-01-10 | 2020-06-05 | 北京邮电大学 | Multi-marking-line pavement crack identification method, device, equipment and storage medium |
JP2021148720A (en) * | 2020-03-23 | 2021-09-27 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method |
WO2021192627A1 (en) * | 2020-03-23 | 2021-09-30 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method |
JP2021148719A (en) * | 2020-03-23 | 2021-09-27 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method |
JP7449739B2 (en) | 2020-03-23 | 2024-03-14 | 株式会社Lixil | Inspection system, learning device, learning program, learning method, inspection device, inspection program, inspection method |
KR20210143465A (en) * | 2020-05-20 | 2021-11-29 | 연세대학교 산학협력단 | Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same |
KR102334709B1 (en) * | 2020-05-20 | 2021-12-02 | 연세대학교 산학협력단 | Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same |
KR102272745B1 (en) * | 2020-05-29 | 2021-07-06 | 충북대학교 산학협력단 | Inspection System and Method for Compact Camera Module Cover |
KR20220017657A (en) * | 2020-08-05 | 2022-02-14 | (주)이포즌 | Apparatus and method for detecting concrete construction crack |
KR102408407B1 (en) * | 2020-08-05 | 2022-06-14 | (주)이포즌 | Apparatus and method for detecting concrete construction crack |
CN113762020A (en) * | 2021-02-01 | 2021-12-07 | 长安大学 | Highway road surface crack detecting system based on matrix structure degree of depth neural network |
CN113762020B (en) * | 2021-02-01 | 2024-03-22 | 长安大学 | Highway road surface crack detecting system based on matrix structure degree of depth neural network |
KR102396169B1 (en) * | 2021-09-07 | 2022-05-11 | 주식회사 로드텍 | Apparatus and method for evaluating state of road pavement |
KR102416146B1 (en) * | 2021-09-07 | 2022-07-06 | 주식회사 로드텍 | Apparatus and method for evaluating state of road pavement |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101926561B1 (en) | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same | |
Koch et al. | Pothole detection in asphalt pavement images | |
KR101896406B1 (en) | Road crack detection apparatus of pixel unit and method thereof, and computer program for executing the same | |
Akagic et al. | Pothole detection: An efficient vision based method using rgb color space image segmentation | |
KR102121958B1 (en) | Method, system and computer program for providing defect analysis service of concrete structure | |
Shaghouri et al. | Real-time pothole detection using deep learning | |
Kim et al. | Review and analysis of pothole detection methods | |
Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
KR102185225B1 (en) | Method for detecting sinkhole using deep learning and data association and sinkhole detecting system using it | |
Staniek et al. | Self-correcting neural network in road pavement diagnostics | |
Arjapure et al. | Deep learning model for pothole detection and area computation | |
Ketcham et al. | The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes | |
JP2019192209A (en) | Learning target image packaging device and method for artificial intelligence of video movie | |
CN114248819B (en) | Railway intrusion foreign matter unmanned aerial vehicle detection method, device and system based on deep learning | |
Buza et al. | Unsupervised method for detection of high severity distresses on asphalt pavements | |
KR102559586B1 (en) | Structural appearance inspection system and method using artificial intelligence | |
Gunawan | Detecting road damages by using gyroscope sensor | |
Zhao et al. | High-resolution infrastructure defect detection dataset sourced by unmanned systems and validated with deep learning | |
Radopoulou et al. | Patch distress detection in asphalt pavement images | |
JP2019192201A (en) | Learning object image extraction device and method for autonomous driving | |
Samadzadegan et al. | Automatic Road Crack Recognition Based on Deep Learning Networks from UAV Imagery | |
Gorintla et al. | Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system | |
Azhari et al. | PointCrack3D: crack detection in unstructured environments using a 3D-point-cloud-based deep neural network | |
KR20230032150A (en) | Crack detection system for road | |
Radopoulou et al. | Detection of multiple road defects for pavement condition assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |