[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101926561B1 - Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same - Google Patents

Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same Download PDF

Info

Publication number
KR101926561B1
KR101926561B1 KR1020180029145A KR20180029145A KR101926561B1 KR 101926561 B1 KR101926561 B1 KR 101926561B1 KR 1020180029145 A KR1020180029145 A KR 1020180029145A KR 20180029145 A KR20180029145 A KR 20180029145A KR 101926561 B1 KR101926561 B1 KR 101926561B1
Authority
KR
South Korea
Prior art keywords
image
road
crack
patch
road surface
Prior art date
Application number
KR1020180029145A
Other languages
Korean (ko)
Inventor
김형관
박소민
방성덕
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180029145A priority Critical patent/KR101926561B1/en
Application granted granted Critical
Publication of KR101926561B1 publication Critical patent/KR101926561B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an apparatus for detecting a patch unit road crack based on deep learning using a black box image, a method thereof, and a computer program stored in a computer-readable recording medium to execute the method. The apparatus for detecting a road crack according to the present invention detects a road crack through model training based on deep learning in a patch unit by using a black box image for a vehicle. The apparatus for detecting a road crack extracts an image from a black box image for a vehicle to detect a road crack. A class of the extracted image is classified into a road crack, a lane, and a non-damaged road. The classified image is subjected to model training based on deep learning in a patch unit, and the trained model is applied to a black box image to detect a crack of a road surface in a patch unit. According to the present invention, the accuracy of detection of a road crack can be improved by detecting the road crack in a patch unit on a road surface. Since a black box image is used, it is possible to easily construct a system for detecting a road crack. The system construction costs can also be reduced.

Description

블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램{ROAD CRACK DETECTION APPARATUS OF PATCH UNIT AND METHOD THEREOF, AND COMPUTER PROGRAM FOR EXECUTING THE SAME}Field of the Invention [0001] The present invention relates to a patch crack detection apparatus and a patch crack detection apparatus based on deep-learning using a black box image, and a computer program stored in a computer-readable recording medium for executing the method. PROGRAM FOR EXECUTING THE SAME}

본 발명은 도로 크랙 검출 장치에 관한 것으로, 좀 더 구체적으로는 차량용 블랙박스 영상을 이용하여 딥러닝 기반의 패치 단위로 도로 표면의 크랙을 검출하는 도로 크랙 검출 장치 및 그의 패치 단위 도로 크랙 검출 방법에 관한 것이다.More particularly, the present invention relates to a road crack detecting apparatus for detecting a crack on a road surface in units of patches based on a deep running based on a black box image for a vehicle, .

또 본 발명은 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치의 도로 크랙 검출 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.The present invention also relates to a computer program stored in a computer-readable recording medium for executing a road crack detection method of a patch-unit road crack detection apparatus based on a deep-run based on a black box image.

산업의 발달과 더불어 사회 간접 자본인 도로의 건설이 광범위하게 이루어지고 있다. 광범위한 도로의 건설로 인하여 그 유지 관리 비용과 시간의 소요도 국가 운영에 상당한 영향을 미치고 있다. 그로 인하여, 포장 도로의 보수에 있어서 효율적인 유지 관리가 요구되고 있다.With the development of the industry, the construction of roads, which are social overhead capital, has been widely carried out. Due to the construction of a wide range of roads, the cost of maintenance and the time required also have a significant impact on national operations. Therefore, efficient maintenance is required in the repair of pavement roads.

종래에는 포장 도로의 크랙(crack)을 신뢰성있게 측정할 수 있는 방안이 강구되지 못하여, 균열 검사 분야에 경험이 뛰어난 특정 조사자가 포장 도로를 육안으로 확인한 후, 해당 포장 도로를 균열 상태 등을 판별하는 방식을 취하였다. 그러나, 이러한 방식은 균열 검출의 객관성이 결여될 수 밖에 없어서, 포장 도로를 체계적으로 통합 관리하기에는 한계가 있었다.Conventionally, there is no way to reliably measure the cracks on the pavement, so that a specific investigator who is highly experienced in the field of crack inspection can visually check the pavement road and then determine the cracked state of the pavement road . However, since this method lacks objectivity of crack detection, there is a limit to systematically and integratively managing pavement roads.

이러한 문제점으로 인하여, 포장 도로 조사 차량이나 특정 위치에 도로 표면을 촬영하는 카메라를 설치하고, 이를 이용하여 도로 표면을 촬영하는 방식으로 도로 크랙을 검출하는 방법들이 다양하게 시도되고 있다.Due to such a problem, various attempts have been made to detect road cracks by installing a pavement road survey vehicle or a camera for photographing the surface of the road at a specific position and photographing the road surface using the camera.

예컨대, 도로 촬영 영상에서 딥러닝 기술을 활용해 도로 표면을 추출하거나, 콘크리트, 금속, 아스팔트 등의 도로 표면에서 딥러닝 기술을 활용해 크랙을 검출하는 기술 등은 이미 다양하게 공개되어 있다. 특히 도로 크랙을 검출하는 기존의 기술들은 이미지 수집을 위해 도로 크랙이 있는 표면으로부터 일정한 거리를 유지하여 촬영하기 때문에 데이터 수집에 있어 많은 노력이 필요하다.For example, techniques for extracting a road surface using a deep running technique on a road taken image, and a technique for detecting a crack using a deep running technique on road surfaces such as concrete, metal, and asphalt have already been disclosed variously. In particular, existing techniques for detecting road cracks require a great deal of effort in data collection because they are taken at a constant distance from the road cracked surface for image acquisition.

예를 들어, 도로를 카메라의 영상에 의하여 관리하도록 하는 방법이 특허 제10-0443667호의 '포장 도로의 균열 검출 방법'에 개시되어 있다. 이 기술은 차량이 포장된 도로를 따라 이동하면서 도로의 표면을 촬영하고 촬영된 영상을 화상 처리함으로써 포장의 균열 부분을 검출하도록 하는 것이다.For example, a method of managing roads by camera images is disclosed in 'Method for detecting cracks in pavement' in Patent No. 10-0443667. This technology allows the vehicle to detect the cracked portion of the package by photographing the surface of the road while moving along the packed road and imaging the photographed image.

이러한 방법들은 도포 표면의 이미지로부터 도로의 균열을 검출하기 위하여, 일반적으로 도로 만을 대상으로 하여 도로 표면 영상을 촬영 및 획득하고, 이를 통해 도로 크랙을 검출하는 시스템은 정밀도를 요구하므로, 고가의 영상 장비 등을 구비하는 경우에 대부분으로, 시스템 구축에 많은 비용이 소요된다. 또한 현재 도로 포장 상태 모니터링은 일부 도로 구간에 대해서 이루어지고 있으며, 이에 따라 결함이 있는 도로의 예방적 유지 보수가 어려운 상황이다.In order to detect cracks in the road from the image of the applied surface, these methods generally capture the road surface image only for roads and acquire road surface images, and through this, a system for detecting road cracks requires precision, Etc., it takes a lot of cost to construct the system. In addition, monitoring of road pavement status is performed for some road sections, and it is difficult to prevent preventive maintenance of defective roads.

또한 기존의 CCTV 카메라를 이용하여 도로 표면의 크랙을 추출하는 경우, 일부 도로 구간에 대해서 도로 포장 상태의 모니터링이 이루어지고 있다. 따라서 결함이 있는 도로의 예방적 유지 보수가 어려운 상황이다. 또 이러한 방식은 시스템 구축에 많은 비용이 소모되고, 딥러닝 기술을 활용하여 고해상도의 영상으로부터 도로 표면의 크랙을 검출하는 경우, 복잡한 영상 인식 기술과 훈련 과정을 통해 분석되므로, 아키텍쳐가 복잡하다는 문제점이 있다.In addition, when the cracks of the road surface are extracted using the existing CCTV camera, the road pavement status is monitored for some road sections. Therefore, preventive maintenance of defective roads is difficult. In addition, this method consumes a lot of cost for system construction, and when a crack of a road surface is detected from a high resolution image by utilizing a deep learning technology, it is analyzed through a complex image recognition technology and a training process, have.

뿐만 아니라, 기존의 도로 크랙을 검출하는 기술에 블랙박스 영상을 바로 적용할 경우, 블랙박스 영상에 포함된 다른 차량, 차선, 건물 등을 크랙으로 인식하는 문제가 발생한다.In addition, when a black box image is directly applied to a technique for detecting an existing road crack, there arises a problem of recognizing other vehicles, lanes, buildings, and the like included in the black box image as cracks.

따라서 본 발명은 기존의 도로 크랙 검출 기술들보다 데이터 취득이 쉬운 블랙박스 영상을 활용하여 영상에 맞는 크랙 검출 모델을 설계하고자 한다.Therefore, the present invention aims at designing a crack detection model suitable for an image using a black box image which is easier to acquire data than existing road crack detection techniques.

대한민국 공개특허공보 제10-2016-0039316호(공개일 2016.04.11.)Korean Patent Laid-Open Publication No. 10-2016-0039316 (Publication date 2016.04.11.) 대한민국 등록특허공보 제10-1543342호(공고일 2015.08.11.)Korean Registered Patent No. 10-1543342 (Published on Aug. 20, 2015) 대한민국 등록특허공보 제10-1772916호(공고일 2017.08.31.)Korean Registered Patent No. 10-1772916 (Published on Aug. 31, 2017) 대한민국 등록특허공보 제10-1178772호(공고일 2012.09.07.)Korean Registered Patent No. 10-1178772 (Published on September 07, 2012)

본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법은 다음과 같은 해결과제를 가진다.The apparatus and method for patch cracking based on deep running using a black box image according to the present invention have the following problems.

첫째, 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하고자 한다.First, we want to detect the road crack using the black box image of the vehicle.

둘째, 차량용 블랙박스 영상으로부터 패치 단위로 이미지를 딥러닝 기반의 모델을 훈련 및 분석하여 도로 크랙을 추출하고자 한다.Second, we try to extract the road cracks by training and analyzing the deep - run - based model of the images from the vehicle black box images in patch units.

셋째, 차량용 블랙박스 영상을 이용하여 다양한 시간대, 도로 상황 및 조명 상태 등에 따른 도로 크랙 검출의 정확도를 향상시키고자 한다.Third, it is aimed to improve the accuracy of road crack detection according to various time of day, road condition, lighting condition, etc. by using a black box image of a vehicle.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다. The solution of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.

상기 목적들을 달성하기 위한, 본 발명의 도로 크랙 검출 장치는 차량용 블랙박스 영상을 이용하여 딥러닝 기반의 패치 단위로 도로 크랙을 검출하는데 그 한 특징이 있다. 이와 같은 본 발명의 도로 크랙 검출 장치는 차량용 블랙박스의 영상을 이용하여 도로 크랙을 검출함으로써, 블랙박스 영상의 해상도가 넓은 면적을 포함한 도로 표면의 촬영이 가능하며, 데이터 획득이 용이하고, 데이터를 획득하기 위한 추가적인 작업이 필요하지 않아 비용 및 시간 절약이 가능하다.In order to achieve the above-mentioned objects, the road crack detecting apparatus of the present invention is characterized in that road cracks are detected in units of patches based on deep running using a vehicle black box image. The road crack detecting apparatus of the present invention can detect a road crack using an image of a black box for a vehicle, thereby making it possible to photograph a road surface including an area having a large resolution of a black box image, No additional work is required to acquire, which saves cost and time.

이 특징에 따른 본 발명의 도로 크랙 검출 장치는, 적어도 하나의 블랙박스로부터 촬영된 영상 데이터를 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 영상 데이터로부터 복수 개의 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에서 추출된 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부; 상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및 임의의 블랙박스로부터 영상 데이터를 받아서 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 추출하는 크랙 검출부;를 포함한다.The road crack detecting apparatus of the present invention according to this feature comprises: a data collecting unit for collecting image data photographed from at least one black box; An image extracting unit for extracting a plurality of images from the image data collected by the data collecting unit; A patch image generation unit for classifying the classes of the road crack, the lane and the undamaged road by selecting the image extracted by the image extracting unit for each pixel of a predetermined size, and generating a patch image for each of the classified classes; A model training unit for training each patch image generated from the patch image generating unit to extract a road crack using a neural network model; And a crack detector for extracting an image by receiving image data from an arbitrary black box and applying a neural network model trained from the model training unit to the extracted image to extract road cracks.

이 특징의 한 실시예에 있어서, 상기 패치 이미지 생성부는; 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성한다.In one embodiment of this aspect, the patch image generating unit may include: A patch image is generated for each road crack, lane, and undamaged road in a patch unit of 40 × 40 pixels.

다른 실시예에 있어서, 상기 패치 이미지 생성부는; 상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성한다.In another embodiment, the patch image generator comprises: An image extracted from the image extracting unit is extracted as an image having a predetermined size to limit the crack detection region and the patch image is generated in a limited crack detection region.

또 다른 실시예에 있어서, 상기 패치 이미지 생성부는; 도로 크랙의 상기 패치 이미지의 경우, 가장자리에서 도로 크랙을 검출하기 위해 상기 크랙 검출 영역을 중첩시킨다.In yet another embodiment, the patch image generator may include: In the case of the patch image of the road crack, the crack detection area is overlapped to detect a road crack at the edge.

또 다른 실시예에 있어서, 상기 모델 훈련부는; 신경망 모델 중 VGG 16 network를 이용하여 학습시킨다.In another embodiment, the model training unit includes: We use VGG 16 network among neural network models.

또 다른 실시예에 있어서, 상기 모델 훈련부는; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력한다.In another embodiment, the model training unit includes: A patch image is trained for each road crack, lane, and undamaged road to calculate and output the probability of detecting road cracks.

또 다른 실시예에 있어서, 상기 모델 훈련부는; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다.In another embodiment, the model training unit includes: Determine the weights for each of the road cracks, lanes and undamaged roads and apply them to the model training. Determine the layer while gradually reducing the size of the patch image to calculate the probability for each crack, lane and undamaged road And outputs it.

본 발명의 다른 특징에 따르면, 도로 크랙 검출 장치의 도로 크랙 검출 방법이 제공된다.According to another aspect of the present invention, there is provided a road crack detection method of a road crack detection apparatus.

이 특징에 따른 도로 크랙 검출 장치의 도로 크랙 검출 방법은, 복수 개의 블랙박스로부터 영상 데이터를 수집하고, 수집된 영상 데이터로부터 복수 개의 프레임을 추출하는 단계; 오퍼레이터에 의해 추출된 프레임으로부터 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대해 일정 크기의 패치 이미지를 생성하는 단계; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시키는 단계; 임의의 블랙박스 영상이 입력되면, 복수 개의 프레임을 추출하고, 추출된 프레임에서 도로 표면에 대한 이미지를 추출하는 단계; 도로 표면에 대한 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시키는 단계; 상기 크랙 검출 영역이 제한된 도로 표면에 대한 이미지를 일정 크기의 패치 단위로 영역을 분할하는 단계; 및 패치 단위로 분할된 도로 표면에 대한 이미지에 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a road crack detection method for a road crack detection apparatus, comprising the steps of: collecting image data from a plurality of black boxes and extracting a plurality of frames from the collected image data; When a desired point is selected from the frame extracted by the operator, generating a patch image of a predetermined size for each road crack, lane, and undamaged road centered on the selected point; Training patch images for road cracks, lanes and undamaged roads using a neural network model; Extracting a plurality of frames when an arbitrary black box image is input, and extracting an image of the road surface in the extracted frame; Extracting an image of a road surface with a predetermined size image to limit a crack detection area; Dividing an image of a road surface with the crack detection area limited by patch units of a predetermined size; And detecting a road crack by applying a trained neural network model to an image of a road surface divided into patch units.

이 특징의 한 실시예에 있어서, 상기 패치 이미지를 생성하는 단계는; 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성한다.In one embodiment of this aspect, the step of generating the patch image comprises: A patch image is generated for each road crack, lane, and undamaged road in a patch unit of 40 × 40 pixels.

다른 실시예에 있어서, 상기 신경망 모델을 이용하여 훈련시키는 단계는; 도로 크랙, 차선 및 손상되지 않은 도로에 따른 클래스를 구분하고, 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력하고, 계산된 확률이 일정 크기 이상이면, 크랙으로 판단한다.In another embodiment, training using the neural network model comprises: A probability for determining whether a road crack is a road crack is calculated and outputted, and when the calculated probability is equal to or larger than a certain size, .

또 다른 실시예에 있어서, 상기 도로 표면에 대한 이미지를 추출하는 단계는; 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출한다.In yet another embodiment, extracting an image for the road surface comprises: In the extracted frame, the image of the road surface is extracted by excluding the portion not the road surface and the image of the front portion of the vehicle.

또 다른 실시예에 있어서, 상기 크랙 검출 영역을 제한시키는 단계는; 720 × 240 픽셀 크기의 이미지로 크랙 검출 영역을 제한한다.In another embodiment, the step of limiting the crack detection region comprises: Limit the crack detection area to 720 x 240 pixel size image.

또 다른 실시예에 있어서, 상기 영역을 분할하는 단계는; 720 × 240 픽셀 크기의 이미지를 상하 좌우 방향 각각으로 20 픽셀 씩 중첩되도록 하여 40 × 40 픽셀 단위로 분할한다.In yet another embodiment, dividing the region comprises: The image of 720x240 pixels is divided into 40x40 pixels so that the images are overlapped by 20 pixels each in the up, down, left and right directions.

본 발명의 또 다른 특징에 따르면, 하드웨어와 결합되어, 도로 크랙 검출 방법을 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공된다.According to still another aspect of the present invention, there is provided a computer program stored in a computer-readable recording medium in combination with hardware for executing a road crack detection method.

본 발명에 따른 차량용 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법은 다음과 같은 효과를 가진다.The apparatus and method for patch crack detection based on deep running using a vehicle black box image according to the present invention have the following effects.

첫째, 차량용 블랙박스의 영상을 이용하여 도로 크랙을 검출함으로써, 블랙박스 영상의 해상도가 넓은 면적을 포함한 도로 표면의 촬영이 가능하며, 데이터 획득이 용이하고, 데이터를 획득하기 위한 추가적인 작업이 필요하지 않아 비용 및 시간 절약이 가능하다.First, by detecting a road crack using an image of a vehicle black box, it is possible to photograph a road surface including an area having a large resolution of a black box image, to easily acquire data, and to perform additional operations to acquire data It is possible to save cost and time.

둘째, 차량용 블랙박스 영상으로부터 패치 단위로 도로 크랙을 검출하여 정확한 도로 크랙 검출이 가능하고, 도로 크랙 검출을 위한 시스템 구축이 용이하며 저렴하게 구현 가능하다.Second, accurate road crack detection is possible by detecting a road crack from a black box image of a vehicle by a patch unit, and it is easy to construct a system for detecting a road crack, and it can be implemented at a low cost.

셋째, 빠른 시간 내에 많은 도로 구간의 크랙을 관찰하여 도로의 상태를 신속히 파악할 수 있기 때문에 도로 크랙 검출 장치의 제품 차별화를 확보할 수 있어 시장성이 매우 크다.Third, since the state of the road can be quickly identified by observing cracks in many road sections within a short time, the product can be differentiated in the road crack detection device, and the marketability is very high.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 구성을 도시한 블럭도,
도 2는 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 패치 단위 도로 크랙 검출 수순을 도시한 흐름도,
도 3은 도 2에 도시된 신경망 모델 훈련 루틴을 나타내는 흐름도,
도 4는 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 이미지를 나타내는 도면,
도 5는 본 발명의 실시예에 따른 신경망 모델 구조를 나타내는 도면,
도 6은 본 발명의 실시예에 따른 도로 표면 추출 상태를 나타내는 도면,
도 7은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면, 그리고
도 8은 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.
1 is a block diagram showing the configuration of a patch unit road crack detection apparatus in a black box image utilizing deep running according to the present invention;
2 is a flowchart showing a patch unit road crack detection procedure of a patch unit road crack detection apparatus in a black box image utilizing deep running according to the present invention,
3 is a flow chart showing the neural network model training routine shown in FIG. 2,
4 is a view illustrating an image extracted from a black box image according to an embodiment of the present invention,
5 is a diagram illustrating a neural network model structure according to an embodiment of the present invention.
6 is a diagram showing a road surface extraction state according to an embodiment of the present invention,
FIG. 7 is a view showing a crack area division state according to an embodiment of the present invention, and FIG.
8 is a view showing a road crack detection state according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Wherever possible, the same or similar parts are denoted using the same reference numerals in the drawings.

본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular forms as used herein include plural forms as long as the phrases do not expressly express the opposite meaning thereto.

본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.Means that a particular feature, region, integer, step, operation, element and / or component is specified and that other specific features, regions, integers, steps, operations, elements, components, and / It does not exclude the existence or addition of a group.

본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.All terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Predefined terms are further interpreted as having a meaning consistent with the relevant technical literature and the present disclosure, and are not to be construed as ideal or very formal meanings unless defined otherwise.

본 발명은 도로 크랙 검출을 위하여 차량용 블랙박스 영상을 이용하고 패치 단위로 딥러닝 기반의 모델 훈련하고, 훈련된 모델을 블랙박스 영상에 적용하여 도로 표면의 크랙을 검출한다.The present invention uses a black box image for a vehicle for a road crack detection, a deep training based model training on a patch unit basis, and a trained model is applied to a black box image to detect a crack on a road surface.

본 발명에 의하면, 도로 표면의 이미지를 패치 단위로 도로 크랙을 검출하므로 도로 크랙 검출의 정확도를 높일 수 있으며, 도로 크랙 검출을 위한 시스템 구축이 용이하고, 시스템 구축 비용 또한 절감할 수 있다.According to the present invention, it is possible to increase the accuracy of road crack detection, to easily construct a system for detecting road cracks, and to reduce the construction cost of a system.

이하에서는 도면을 중심으로 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 구성을 도시한 블럭도이다.FIG. 1 is a block diagram showing the configuration of a patch unit road crack detection apparatus in a black box image utilizing deep learning according to the present invention.

도 1을 참조하면, 본 발명의 도로 크랙 검출 장치(100)는 도로 표면의 크랙을 검출하기 위하여, 차량용 블랙박스(10)의 영상을 이용하여 일정 크기의 패치(patch) 단위로 딥러닝 기반의 모델을 훈련하고, 블랙박스 영상의 이미지로부터 훈련된 모델을 적용하여 픽셀 단위의 도로 크랙을 검출한다.Referring to FIG. 1, the road crack detecting apparatus 100 of the present invention detects a crack on a road surface by using a video of a vehicle black box 10, The model is trained and a trained model is applied from the image of the black box image to detect the road crack in pixel unit.

이를 위해, 본 발명의 도로 크랙 검출 장치(100)는 복수 개의 차량용 블랙박스(10)로부터 동영상 데이터를 수집하고, 수집된 동영상으로부터 도로 크랙을 검출하기 위한 복수 개의 이미지를 추출하고, 각각의 추출된 이미지에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류하고, 분류된 각각의 클래스에 따른 이미지를 패치 단위로 딥러닝 기반의 모델에 적용하여 훈련하도록 처리한다.To this end, the road crack detection apparatus 100 of the present invention collects moving image data from a plurality of vehicle black boxes 10, extracts a plurality of images for detecting a road crack from the collected moving images, Classes are classified into road cracks, lanes, and undamaged roads in the image, and the images according to the classified classes are applied to the deep-run-based model in units of patches.

또 본 발명의 도로 크랙 검출 장치(100)는 블랙박스(10)의 영상으로부터 이미지를 추출하고 추출된 이미지에 훈련된 모델을 적용하여 패치 단위로 도로 크랙을 검출한다.The road crack detecting apparatus 100 of the present invention extracts an image from the image of the black box 10 and applies a trained model to the extracted image to detect a road crack in units of patches.

구체적으로 본 발명의 도로 크랙 검출 장치(100)는 데이터 수집부(110)와, 이미지 추출부(120)와, 패치 이미지 생성부(130)와, 모델 훈련부(140) 및 크랙 검출부(150)를 포함한다.Specifically, the road crack detecting apparatus 100 of the present invention includes a data collecting unit 110, an image extracting unit 120, a patch image generating unit 130, a model training unit 140, and a crack detecting unit 150 .

데이터 수집부(110)는 복수 개의 차량용 블랙박스(10)들 각각으로부터 촬영된 전방 도로 표면에 대한 동영상 데이터를 수집한다. 데이터 수집부(110)는 예를 들어, 유선 또는 무선 통신망을 통해 실시간으로 블랙박스(10)와 연결되어 동영상 데이터를 수집하거나, 블랙박스(10)의 영상을 저장하는 데이터 저장 매체를 통해 영상 데이터를 수집한다.The data collecting unit 110 collects moving image data on the front road surface photographed from each of the plurality of vehicle black boxes 10. The data collecting unit 110 is connected to the black box 10 in real time via a wired or wireless communication network and collects the moving image data or transmits the image data through the data storage medium storing the image of the black box 10. [ Lt; / RTI >

이미지 추출부(120)는 데이터 수집부(110)로부터 수집된 동영상 데이터를 받아서 도로 크랙을 검출하기 위한 복수 개의 이미지를 추출한다. 이미지 추출부(120)는 예를 들어, 수집된 블랙박스(10)의 동영상 데이터로부터 도로 표면 내의 크랙을 검출하기 위한 복수 개의 프레임을 임의로 추출한다. 이 실시예에서 프레임은 블랙박스(10)의 동영상 데이터로부터 수백 여 개가 추출된다. 이러한 프레임은 추후 딥러닝 기반의 CNN 모델을 훈련시키는데에 활용된다.The image extracting unit 120 receives the moving image data collected from the data collecting unit 110 and extracts a plurality of images for detecting a road crack. The image extracting unit 120 arbitrarily extracts a plurality of frames for detecting a crack in the road surface from the moving image data of the collected black box 10, for example. In this embodiment, hundreds of frames are extracted from the moving image data of the black box 10. These frames are then used to train deep-run-based CNN models.

이 실시예에서 이미지 추출은 K. Simonyan and A. Zisserman이 2014년 제안한 VGG 16 network라는 신경망(Convolution Neural Network : CNN) 모델에 기반하여 차량용 블랙박스(10)의 이미지로부터 도로 표면을 추출하기 위해 파이션 코딩(python coding)을 활용한다.In this embodiment, the image extraction is based on the Convolution Neural Network (CNN) model proposed by K. Simonyan and A. Zisserman in VGG 16 network proposed in 2014 to extract the road surface from the image of the vehicle black box 10 It uses python coding.

패치 이미지 생성부(130)는 패치 단위로 크랙을 검출하기 위하여, 이미지 추출부(120)로부터 추출된 이미지에서 오퍼레이터에 의해 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다.When a desired point is selected by the operator in the image extracted from the image extracting unit 120 in order to detect a crack in units of patches, the patch image generating unit 130 generates an image of a predetermined size, that is, a patch Create an image.

이 실시예에서 패치 이미지는 40 × 40 픽셀 크기를 갖는다. 패치 이미지는 3 가지의 클래스(class)에 대해 각각 생성된다. 즉, 패치 이미지들은 크랙, 차선 및 손상되지 않은 도로에 대한 데이터로 각각 생성된다.In this embodiment, the patch image has a size of 40 x 40 pixels. A patch image is created for each of the three classes. That is, the patch images are respectively generated as data for cracks, lanes and undamaged roads.

모델 훈련부(140)는 패치 이미지 생성부(130)에서 생성된 각각의 패치 이미지를 딥러닝 기반의 모델을 이용하여 훈련하도록 처리한다. 모델 훈련부(140)는 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련하여 도로 크랙을 검출하기 위한 확률을 계산하여 출력한다.The model training unit 140 processes each of the patch images generated by the patch image generating unit 130 to train using the deep learning based model. The model training unit 140 calculates the probability of detecting a road crack by outputting a patch image for each of cracks, lanes and undamaged roads, and outputs the calculated probability.

또 모델 훈련부(140)는 실제로 블랙박스 영상을 입력받아서 패치 단위로 도로 크랙을 검출하기 위해 크랙, 차선 및 손상되지 않은 도로에 대해 훈련된 모델을 적용하도록 처리한다.In addition, the model training unit 140 receives the black box image and processes it so as to apply a trained model for cracks, lanes, and undamaged roads to detect road cracks on a patch-by-patch basis.

이 실시예에서 모델 훈련부(140)는 신경망(CNN) 모델을 활용한다. 신경망(CNN) 모델은 예컨대, 크게 3 가지 층(layer) 즉, 컨볼루션 레이어(Conovolutional layer, 이하 Conv 층), 풀링 레이어(Pooling layer, 이하 Pool 층) 그리고 풀리 커넥티드 레이어(Fully-connected layer, 이하 FC 층)들로 구성된다.In this embodiment, the model training unit 140 utilizes a neural network (CNN) model. The CNN model includes, for example, three layers: a convolution layer (Conv layer), a pooling layer (Pool layer), and a fully-connected layer Hereinafter FC layer).

Conv 층을 구성하는 필터(filter)는 이전 층의 결과값과 합성곱(convolution) 연산이 수행되며 이는 다음 층의 입력값이 된다. Pool 층은 이전 층의 결과값을 작은 크기로 축소(downsampling)하는 역할을 한다. FC 층은 이전 층의 모든 노드(node)와 연결되어 있으며 주로 CNN 모델의 뒷부분을 구성한다. CNN 모델의 최종 출력값은 FC 층으로 구성되며, 각 클래스(class)에 속하는 확률을 계산하는 역할을 한다. CNN 모델이 이미지 분류기로 활용될 때 최종 출력값 중 가장 높은 확률을 갖는 클래스를 입력 이미지에 대한 클래스로 예측한다.Conv The filter composing the Conv layer is subjected to a convolution operation with the result of the previous layer, which becomes the input value of the next layer. The Pool layer plays a role of downsampling the result of the previous layer to a small size. The FC layer is connected to all the nodes of the previous layer and mainly constitutes the rear part of the CNN model. The final output value of CNN model is composed of FC layer and it calculates the probability belonging to each class. When the CNN model is used as an image classifier, the class having the highest probability of the final output value is predicted as a class for the input image.

본 발명은 레이어의 깊이, 크기 등의 변수를 조절하여 모델이 높은 성능을 가지는지 실험하고 최종적으로 도 5와 같이 신경망(CNN) 모델 구조를 설계하였다. 이러한 신경망(CNN) 모델은 각 클래스에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 최종적으로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다. 이미지는 세 클래스 중 가장 높은 확률값을 가지는 클래스에 속한다. 크랙일 확률이 가장 높을 경우, 크랙으로 판단한다.The present invention tests whether the model has high performance by adjusting parameters such as the depth and the size of a layer, and finally, a neural network (CNN) model structure is designed as shown in FIG. The CNN model determines the weights for the layers for each class, applies them to the model training, decides the layers while gradually reducing the size of the patch image, and finally calculates the probability for cracks, lanes, and unimpaired roads And outputs it. The image belongs to the class with the highest probability among the three classes. If the probability of cracking is the highest, it is judged as a crack.

그리고 크랙 검출부(150)는 블랙박스로부터 영상이 입력되면, 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 도로 크랙을 검출한다. 크랙 검출부(150)는 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 각 패치 이미지마다 클래스를 구분하여 예측값을 계산하고, 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.When the image is input from the black box, the crack detecting unit 150 detects a road crack by applying a model trained by the model training unit 140. The crack detecting unit 150 calculates a predicted value by classifying each patch image by applying a model trained by the model training unit 140. If the probability of cracking among the three classes is the highest, it is judged as a crack.

따라서 본 발명의 도로 크랙 검출 장치(100)는 차량용 블랙박스(10)의 영상을 이용하고 패치 단위로 이미지를 추출하여 딥러닝 기반의 모델에 훈련시키고, 훈련된 모델을 블랙박스 영상에 적용하여 패치 단위로 도로 크랙을 검출한다.Therefore, the road crack detection apparatus 100 of the present invention uses an image of the vehicle black box 10, extracts an image in units of patches, trains the model to a deep learning-based model, applies the trained model to a black box image, Detects road cracks in units.

도 2는 본 발명에 따른 딥러닝을 활용한 블랙박스 영상 내의 패치 단위 도로 크랙 검출 장치의 패치 단위 도로 크랙 검출 수순을 도시한 흐름도이고, 도 3은 도 2에 도시된 신경망 모델 훈련 루틴을 나타내는 흐름도이다.FIG. 2 is a flowchart showing a patch unit road crack detection procedure of a patch unit road crack detection apparatus in a black box image utilizing deep learning according to the present invention, and FIG. 3 is a flowchart showing a neural network model training routine shown in FIG. to be.

도 2 및 도 3을 참조하면, 본 발명의 도로 크랙 검출 장치(100)는 단계 S160에서 복수 개의 블랙박스로부터 영상 데이터를 수집하고, 단계 S162에서 영상 데이터로부터 복수 개의 이미지 즉, 프레임을 추출한다. Referring to FIGS. 2 and 3, the road crack detection apparatus 100 of the present invention collects image data from a plurality of black boxes in step S160, and extracts a plurality of images, that is, frames, from the image data in step S162.

추출된 프레임을 신경망 모델을 이용하여 훈련하는 경우, 단계 S164에서 오퍼레이터에 의해 추출된 프레임으로부터 원하는 지점을 선택하고, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다. 이 실시예에서 패치 이미지는 40 × 40 픽셀 크기를 갖는다. 패치 이미지는 3 가지의 클래스 즉, 크랙, 차선 및 손상되지 않은 도로에 대해 각각 생성된다.If the extracted frame is trained by using the neural network model, a desired point is selected from the frame extracted by the operator in step S164, and an image of a predetermined size, that is, a patch image is generated centering on the selected point. In this embodiment, the patch image has a size of 40 x 40 pixels. The patch image is generated for three classes, crack, lane, and undamaged road, respectively.

단계 S166에서 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시킨다. 구체적으로 신경망(CNN) 모델 훈련 루틴(S166)은 도 3에 도시된 바와 같이, 단계 S190에서 클래스를 구분하고, 단계 S192에서 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력한다. 단계 S194에서 확률이 일정 크기 이상이면, 크랙으로 판단한다. 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.In step S166, a patch image for each of the crack, lane and undamaged road is trained using a neural network model. Specifically, as shown in FIG. 3, the neural network (CNN) model training routine S166 classifies the class in step S190 and calculates a model predicted value for each class classified in step S192 to calculate a probability And outputs it. If the probability is greater than or equal to a certain size in step S194, it is judged as a crack. If the probability of cracking is the highest among the three classes, it is judged as a crack.

이렇게 훈련된 모델은 추후 블랙박스 영상이 입력되면, 도로 크랙을 검출하는데 적용된다. 즉, 다시 도 2를 참조하면, 단계 S170에서 블랙박스 영상으로부터 도로 크랙을 검출하기 위하여 프레임이 추출되면, 추출된 프레임에서 도로 표면에 대한 이미지를 추출한다. 이 때, 추출된 프레임에는 도로 표면, 도로 표면이 아닌 부분, 그리고 차량의 앞부분(즉, 보닛)이 함께 추출되는데, 도로 표면이 아닌 부분에 대한 이미지와 차량의 앞부분 이미지를 제외시킨다. This trained model is applied to detect a road crack when a black box image is input later. That is, referring again to FIG. 2, in step S170, when a frame is extracted to detect a road crack from a black box image, an image of the road surface is extracted from the extracted frame. At this time, the extracted frame extracts the road surface, the portion not the road surface, and the front portion of the vehicle (that is, the bonnet) together.

단계 S172에서 도로 표면 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시킨다. 이 실시예에서 도로 표면 이미지는 720 × 240 픽셀 크기로 추출된다. 이 도로 표면 이미지에는 도로 크랙, 차선 및 손상되지 않은 도로에 따른 영역이 포함된다.In step S172, the road surface image is extracted as an image of a predetermined size to limit the crack detection area. In this embodiment, the road surface image is extracted with a size of 720 x 240 pixels. This road surface image includes areas along road cracks, lanes and undamaged roads.

단계 S174에서 도로 표면 이미지를 일정 크기의 패치 단위로 영역을 분할한다. 단계 S176에서 패치 단위로 분할된 도로 표면 이미지에 훈련된 신경망 모델을 적용하고, 단계 S178에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류한다. 이어서 단계 S180에서 분류된 클래스를 이용하여 도로 크랙을 검출한다.In step S174, the road surface image is divided into patches of a predetermined size. The trained neural network model is applied to the road surface image divided into patch units in step S176, and the class is classified into road cracks, lanes and unimpaired roads in step S178. Then, a road crack is detected using the class classified in step S180.

상술한 도로 크랙 검출 장치(100)의 도로 크랙 검출 방법은 컴퓨터 프로그램으로 제공될 수 있다. 이 컴퓨터 프로그램은 도로 크랙 검출용 소프트웨어로 제공되어, 도로 크랙 검출 장치(100) 예를 들어, 휴대용 컴퓨터, 퍼스널 컴퓨터, 서버 등으로 구비되는 컴퓨터 시스템 상에서 복수 개의 차량용 블랙박스(10)와 연동해서 처리될 수 있다.The road crack detection method of the road crack detection apparatus 100 described above can be provided as a computer program. This computer program is provided as software for detecting road cracks and is used in conjunction with a plurality of vehicle black boxes 10 on a computer system provided with a road crack detecting apparatus 100, for example, a portable computer, a personal computer, .

이러한 컴퓨터 프로그램은 상술한 본 발명의 도로 크랙 검출 장치(100)의 도로 크랙 검출 방법을 실행하기 위하여 컴퓨터로 독출 가능한 기록매체에 기록되어 제공될 수 있다.Such a computer program may be recorded on a computer-readable recording medium for executing the road crack detection method of the road crack detecting apparatus 100 of the present invention described above.

예컨대, 본 발명의 도로 크랙 검출 장치(100)가 컴퓨터로 구비되고, 도로 크랙 검출 방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체에는 컴퓨터에 의하여 읽힐 수 있는 데이터가 저장되는 다양한 종류의 기록 장치를 포함할 수 있다. 예를 들어, 기록 매체에는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함할 뿐만 아니라, 인터넷, 인프라 등의 네트워크를 통해 상호 연결된 컴퓨터에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 컴퓨터 프로그램이 저장 및 실행되는 형태로 제공될 수 있다.For example, the road crack detection apparatus 100 of the present invention can be implemented by a computer, and the road crack detection method can be implemented by a computer-readable computer program on a computer readable recording medium. The computer-readable recording medium may include various types of recording devices in which data that can be read by a computer is stored. For example, the recording medium includes not only a ROM, a RAM, an optical disk, a magnetic tape, a floppy disk, a hard disk, a nonvolatile memory and the like but also distributed to computers interconnected via a network such as the Internet, A computer-readable computer program may be stored and executed.

도 4는 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 이미지를 나타내는 도면이다.4 is a view showing an image extracted from a black box image according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에서는 추출된 도로 표면에 대하여 40 × 40 픽셀 크기의 패치 단위로 크랙을 검출하는 딥러닝 모델을 훈련시키기 위해 3 가지 클래스에 대한 데이터를 만든다. 블랙박스 영상으로부터 데이터를 추출할 이미지(200)를 예컨대, 100 여장 선정한 후, 파이선 코딩을 통해 이미지(200)를 화면에 띄우고 원하는 지점을 선택한다. 선택한 지점을 중앙으로 하는 40 × 40 픽셀 크기의 이미지가 생성된다. 이러한 방식으로 도로 크랙, 차선 그리고 손상되지 않은 도로 3 가지 클래스에 대한 데이터를 생성한다. 도 4에서 크랙 부분에 빨간색으로 표시된 부분(202)들이 각각 선택된 지점이다.Referring to FIG. 4, in an embodiment of the present invention, three classes of data are created to train a deep learning model for detecting cracks in patch units of 40 × 40 pixels on the extracted road surface. After selecting, for example, 100 images 200 from which to extract data from the black box image, the image 200 is displayed on the screen through Pichuan coding and a desired point is selected. A 40x40 pixel image centered on the selected point is created. In this way, data is generated for three classes of road cracks, lanes, and undamaged roads. In FIG. 4, red portions 202 are selected at the crack portions.

도 5는 본 발명의 실시예에 따른 신경망 모델 구조를 나타내는 도면이다.5 is a diagram illustrating a neural network model structure according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 신경망 모델(210)은 예컨대, 크게 3 가지 층(layer) 즉, 컨볼루션 레이어(Conovolutional layer, 이하 Conv 층), 풀링 레이어(Pooling layer, 이하 Pool 층) 그리고 풀리 커넥티드 레이어(Fully-connected layer, 이하 FC 층)들로 구성된다. Conv 층을 구성하는 필터(filter)는 이전 층의 결과값과 합성곱(convolution) 연산이 수행되며 이는 다음 층의 입력값이 된다. Pool 층은 이전 층의 결과값을 작은 크기로 축소(downsampling)하는 역할을 한다. FC 층은 이전 층의 모든 노드(node)와 연결되어 있으며 주로 CNN 모델의 뒷부분을 구성한다. CNN 모델의 최종 출력값은 FC 층으로 구성되며, 각 클래스(class)에 속하는 확률을 계산하는 역할을 한다.Referring to FIG. 5, the neural network model 210 of the present invention includes, for example, three layers: a convolution layer (Conv layer), a pooling layer (Pool layer) And a fully-connected layer (FC layer). Conv The filter composing the Conv layer is subjected to a convolution operation with the result of the previous layer, which becomes the input value of the next layer. The Pool layer plays a role of downsampling the result of the previous layer to a small size. The FC layer is connected to all the nodes of the previous layer and mainly constitutes the rear part of the CNN model. The final output value of CNN model is composed of FC layer and it calculates the probability belonging to each class.

CNN 모델이 이미지 분류기로 활용될 때 최종 출력값 중 가장 높은 확률을 갖는 클래스를 입력 이미지에 대한 클래스로 예측한다. 본 발명은 레이어의 깊이, 크기 등의 변수를 조절하여 모델이 높은 성능을 가지는지 실험하고 최종적으로 도 5와 같이 신경망(CNN) 모델 구조를 설계하였다. 이러한 신경망(CNN) 모델(210)은 각 클래스에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 최종적으로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다. 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.When the CNN model is used as an image classifier, the class having the highest probability of the final output value is predicted as a class for the input image. The present invention tests whether the model has high performance by adjusting parameters such as the depth and the size of a layer, and finally, a neural network (CNN) model structure is designed as shown in FIG. This neural network (CNN) model 210 determines weights for the layers for each class and applies them to the model training. The layer is determined while gradually reducing the size of the patch image, and finally, each of the cracks, lanes, And outputs the calculated probability. If the probability of cracking is the highest among the three classes, it is judged as a crack.

도 6은 본 발명의 실시예에 따른 도로 표면 추출 상태를 나타내는 도면이고, 도 7은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면이며, 그리고 도 8은 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.FIG. 6 is a view showing a road surface extraction state according to an embodiment of the present invention, FIG. 7 is a view showing a crack area division state according to an embodiment of the present invention, and FIG. 8 is a cross- These are views showing a crack detection state.

도 6 내지 도 8을 참조하면, 이 실시예에서 블랙박스 영상에서 추출된 프레임은 도로 표면과, 도로 표면이 아닌 부분 및 차량의 앞부분(보닛)이 함께 추출된다. 따라서 도로 표면 이미지(220)는 도로 표면이 아닌 부분(204)과 차량의 보닛 부분(206)을 제외시킨다.Referring to Figs. 6 to 8, in the present embodiment, the frame extracted from the black box image is extracted together with the road surface, the portion not on the road surface, and the front portion (bonnet) of the vehicle. The road surface image 220 thus excludes the non-road surface portion 204 and the bonnet portion 206 of the vehicle.

신경망 모델을 이용하여 훈련시키기 위하여, 도로 표면 이미지(220)를 도 7에 도시된 바와 같이, 도로 표면 영역에 대한 패치 이미지(230)를 생성한다. 이 때, 패치 이미지(230)는 720 × 240 픽셀 크기의 패치 이미지(232)로 크랙 검출 영역을 제한한다.In order to train using the neural network model, a patch image 230 for the road surface area is created, as shown in FIG. 7, for the road surface image 220. At this time, the patch image 230 limits the crack detection area to the patch image 232 of 720 x 240 pixel size.

설계된 CNN 모델(210)은 720 × 240 픽셀 크기의 패치 이미지(232) 내에서 40 × 40 픽셀 크기의 패치를 선택하여 도로 크랙, 차선 그리고 손상되지 않은 도로 표면의 클래스로 구분한다. 크랙의 경우, 패치 이미지(232)의 가장자리에 있으면 검출이 되지 않을 수 있으므로, 패치 이미지(232)에서 가장자리에 있는 크랙 부분도 검출할 수 있도록 설계한다.The designed CNN model 210 selects a patch having a size of 40 × 40 pixels within a patch image 232 having a size of 720 × 240 pixels, and classifies the patch as a road crack, a lane, and an unimpaired road surface class. In the case of a crack, since it may not be detected if it is at the edge of the patch image 232, it is designed so that a crack part at the edge in the patch image 232 can also be detected.

이를 위해 40 × 40 픽셀 크기의 패치가 원래 위치로부터 상하 좌우 방향 각각으로 20 픽셀씩 떨어진 곳에 위치한 사각형 이미지(234) 또한 테스트 이미지로 활용되도록 데이터를 구축한다. 즉, 사각형 이미지(232)는 패치 이미지(232)에서 상하 좌우 방향으로 20 픽셀씩 떨어져 생성된 패치 이미지이다. 따라서 도로 표면에 대한 패치 이미지(232)와 사각형 이미지(234)를 중첩시켜서 중첩 패치 이미지(236, 238)을 생성한다.For this purpose, a rectangular image (234) located at a distance of 20 pixels in each of the upper, lower, left, and right directions from the original position is also constructed so as to be used as a test image. That is, the rectangular image 232 is a patch image generated by 20 pixels in the up, down, left, and right directions in the patch image 232. Thus, the patch image 232 and the rectangular image 234 for the road surface are superimposed to create an overlapping patch image 236, 238.

40 × 40 픽셀 크기의 패치에 대해 CNN 모델을 적용한 결과, 도 8에 도시된 바와 같이, 도로 크랙으로 검출(240)된다. 여기서 도로 크랙으로 분류된 패치(242)는 붉은 색 테두리로 나타낸다.As a result of applying the CNN model to a patch having a size of 40 × 40 pixels, the road crack is detected (240) as shown in FIG. Here, patches 242 classified as road cracks are indicated by red borders.

본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments and the accompanying drawings described in the present specification are merely illustrative of some of the technical ideas included in the present invention. Accordingly, the embodiments disclosed herein are for the purpose of describing rather than limiting the technical spirit of the present invention, and it is apparent that the scope of the technical idea of the present invention is not limited by these embodiments. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

10 : 블랙박스
100 : 도로 크랙 검출 장치
110 : 데이터 수집부
120 : 이미지 추출부
130 : 패치 이미지 생성부
140 : 모델 훈련부
150 : 크랙 검출부
10: Black box
100: Road crack detector
110: Data collecting unit
120: image extracting unit
130: patch image generating unit
140: Model Training Department
150:

Claims (14)

도로 크랙 검출 장치에 있어서:
적어도 하나의 블랙박스로부터 촬영된 영상 데이터를 수집하는 데이터 수집부;
상기 데이터 수집부에서 수집된 영상 데이터로부터 복수 개의 이미지를 추출하는 이미지 추출부;
상기 이미지 추출부에서 추출된 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부;
상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및
임의의 블랙박스 영상이 입력되면, 복수 개의 프레임을 추출하고, 추출된 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 추출하는 크랙 검출부;를 포함하며,
상기 모델 훈련부는; 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며,
상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 것을 특징으로 하는 도로 크랙 검출 장치.
A road crack detection apparatus comprising:
A data collecting unit for collecting image data photographed from at least one black box;
An image extracting unit for extracting a plurality of images from the image data collected by the data collecting unit;
A patch image generation unit for classifying the classes of the road crack, the lane and the undamaged road by selecting the image extracted by the image extracting unit for each pixel of a predetermined size, and generating a patch image for each of the classified classes;
A model training unit for training each patch image generated from the patch image generating unit to extract a road crack using a neural network model; And
Extracting a plurality of frames from the arbitrary black box image, extracting an image of the road surface from the extracted frame, applying a neural network model trained from the model training section to the extracted image, And a detector,
The model training unit includes: A patch image is trained for each road crack, lane, and undamaged road to calculate and output a probability for detecting a road crack,
Wherein the image of the road surface is extracted from the road surface by excluding the portion of the extracted road surface that is not the road surface and the front portion image of the vehicle.
청구항 1에 있어서,
상기 패치 이미지 생성부는;
40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하는 것을 특징으로 하는 도로 크랙 검출 장치.
The method according to claim 1,
Wherein the patch image generating unit comprises:
And generates a patch image for each of the road crack, the lane, and the undamaged road in units of patches each having a size of 40 x 40 pixels.
청구항 2에 있어서,
상기 패치 이미지 생성부는;
상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성하는 것을 특징으로 하는 도로 크랙 검출 장치.
The method of claim 2,
Wherein the patch image generating unit comprises:
Extracting an image extracted from the image extracting unit as an image of a predetermined size to limit a crack detection area, and generating the patch image in a limited crack detection area.
청구항 3에 있어서,
상기 패치 이미지 생성부는;
도로 크랙의 상기 패치 이미지의 경우, 가장자리에서 도로 크랙을 검출하기 위해 상기 크랙 검출 영역을 중첩시키는 것을 특징으로 하는 도로 크랙 검출 장치.
The method of claim 3,
Wherein the patch image generating unit comprises:
In the case of the patch image of the road crack, overlaps the crack detection area to detect a road crack at the edge.
청구항 1에 있어서,
상기 모델 훈련부는;
신경망 모델 중 VGG 16 network를 이용하여 학습시키는 것을 특징으로 하는 도로 크랙 검출 장치.
The method according to claim 1,
The model training unit includes:
Wherein the learning is performed using the VGG 16 network among the neural network models.
삭제delete 청구항 1에 있어서,
상기 모델 훈련부는;
도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력하는 것을 특징으로 하는 도로 크랙 검출 장치.
The method according to claim 1,
The model training unit includes:
Determine the weights for each of the road cracks, lanes and undamaged roads, apply them to the model training, and calculate the probability for each of the cracks, lanes and undamaged roads by determining the layers while gradually reducing the size of the patch image And outputting the road cracks.
도로 크랙 검출 장치의 도로 크랙 검출 방법에 있어서:
복수 개의 블랙박스로부터 영상 데이터를 수집하고, 수집된 영상 데이터로부터 복수 개의 프레임을 추출하는 단계;
오퍼레이터에 의해 추출된 프레임으로부터 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대해 일정 크기의 패치 이미지를 생성하는 단계;
도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시키는 단계;
임의의 블랙박스 영상이 입력되면, 복수 개의 프레임을 추출하고, 추출된 프레임에서 도로 표면에 대한 이미지를 추출하는 단계;
도로 표면에 대한 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시키는 단계;
상기 크랙 검출 영역이 제한된 도로 표면에 대한 이미지를 일정 크기의 패치 단위로 영역을 분할하는 단계; 및
패치 단위로 분할된 도로 표면에 대한 이미지에 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 단계;를 포함하며,
상기 신경망 모델을 이용하여 훈련시키는 단계는; 도로 크랙, 차선 및 손상되지 않은 도로에 따른 클래스를 구분하고, 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력하고, 계산된 확률이 일정 크기 이상이면, 크랙으로 판단하며,
상기 도로 표면에 대한 이미지를 추출하는 단계는; 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.
A road crack detection method for a road crack detection apparatus comprising:
Collecting image data from a plurality of black boxes, and extracting a plurality of frames from the collected image data;
When a desired point is selected from the frame extracted by the operator, generating a patch image of a predetermined size for each road crack, lane, and undamaged road centered on the selected point;
Training patch images for road cracks, lanes and undamaged roads using a neural network model;
Extracting a plurality of frames when an arbitrary black box image is input, and extracting an image of the road surface in the extracted frame;
Extracting an image of a road surface with a predetermined size image to limit a crack detection area;
Dividing an image of a road surface with the crack detection area limited by patch units of a predetermined size; And
Detecting a road crack by applying a trained neural network model to an image of a road surface divided by a patch unit,
Training using the neural network model comprises: A probability for determining whether a road crack is a road crack is calculated and outputted, and when the calculated probability is equal to or larger than a certain size, However,
Wherein the step of extracting an image for the road surface comprises: Wherein an image of the road surface is extracted by excluding a portion of the extracted frame that is not a road surface and an image of a front portion of the vehicle.
청구항 8에 있어서,
상기 패치 이미지를 생성하는 단계는;
40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.
The method of claim 8,
Wherein the generating the patch image comprises:
And a patch image is generated for each of road cracks, lanes, and undamaged roads in units of patches each having a size of 40 x 40 pixels.
삭제delete 삭제delete 청구항 8에 있어서,
상기 크랙 검출 영역을 제한시키는 단계는;
720 × 240 픽셀 크기의 이미지로 크랙 검출 영역을 제한하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.
The method of claim 8,
Limiting the crack detection region comprises:
And the crack detection area is limited to an image of 720 x 240 pixels in size.
청구항 12에 있어서,
상기 영역을 분할하는 단계는;
720 × 240 픽셀 크기의 이미지를 상하 좌우 방향 각각으로 20 픽셀 씩 중첩되도록 하여 40 × 40 픽셀 단위로 분할하는 것을 특징으로 하는 도로 크랙 검출 장치의 도로 크랙 검출 방법.
The method of claim 12,
Dividing the region comprises:
Wherein the image is divided into 40 × 40 pixel units so that the image of 720 × 240 pixels is overlapped by 20 pixels in the vertical and horizontal directions, respectively.
하드웨어와 결합되어, 청구항 8, 청구항 9, 청구항 12 또는 청구항 13 중 어느 한 항에 기재된 도로 크랙 검출 방법을 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium for executing the road crack detection method according to any one of claims 8, 9, 12 and 13, in combination with hardware.
KR1020180029145A 2018-03-13 2018-03-13 Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same KR101926561B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180029145A KR101926561B1 (en) 2018-03-13 2018-03-13 Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180029145A KR101926561B1 (en) 2018-03-13 2018-03-13 Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same

Publications (1)

Publication Number Publication Date
KR101926561B1 true KR101926561B1 (en) 2018-12-07

Family

ID=64669489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180029145A KR101926561B1 (en) 2018-03-13 2018-03-13 Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same

Country Status (1)

Country Link
KR (1) KR101926561B1 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120041A (en) * 2019-05-14 2019-08-13 郑州大学 Pavement crack image detecting method
CN110490839A (en) * 2019-07-11 2019-11-22 平安科技(深圳)有限公司 The method, apparatus and computer equipment of failure area in a kind of detection highway
CN110517312A (en) * 2019-07-05 2019-11-29 银河水滴科技(北京)有限公司 Gap localization method, device and storage medium based on deep learning
KR102107119B1 (en) * 2018-12-27 2020-05-07 한국건설기술연구원 Condition rating decision system of road pavement using friction noise between tire and pavement surface and using artificial intelligence, and method for the same
CN111242017A (en) * 2020-01-10 2020-06-05 北京邮电大学 Multi-marking-line pavement crack identification method, device, equipment and storage medium
JP2020144572A (en) * 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 Road failure detection device, road failure detection method, and road failure detection program
KR20210063637A (en) * 2019-11-25 2021-06-02 대구가톨릭대학교산학협력단 System and method for pothole detection based on road aerial images
KR102272745B1 (en) * 2020-05-29 2021-07-06 충북대학교 산학협력단 Inspection System and Method for Compact Camera Module Cover
KR20210089365A (en) * 2020-01-08 2021-07-16 한국건설기술연구원 System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method
JP2021148719A (en) * 2020-03-23 2021-09-27 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method
JP2021148720A (en) * 2020-03-23 2021-09-27 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method
WO2021192627A1 (en) * 2020-03-23 2021-09-30 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method
KR20210143465A (en) * 2020-05-20 2021-11-29 연세대학교 산학협력단 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same
CN113762020A (en) * 2021-02-01 2021-12-07 长安大学 Highway road surface crack detecting system based on matrix structure degree of depth neural network
KR20220017657A (en) * 2020-08-05 2022-02-14 (주)이포즌 Apparatus and method for detecting concrete construction crack
KR102396169B1 (en) * 2021-09-07 2022-05-11 주식회사 로드텍 Apparatus and method for evaluating state of road pavement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6120037B1 (en) * 2016-11-30 2017-04-26 国際航業株式会社 Inspection device and inspection method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6120037B1 (en) * 2016-11-30 2017-04-26 国際航業株式会社 Inspection device and inspection method

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
논문1:IEEE(2016.09)*
논문2:한국정보과학회(2016.01)*
논문3:2018.02
논문4:한국건설관리학회(2017.11)
논문5:대한토목학회(2017.10)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102107119B1 (en) * 2018-12-27 2020-05-07 한국건설기술연구원 Condition rating decision system of road pavement using friction noise between tire and pavement surface and using artificial intelligence, and method for the same
JP2020144572A (en) * 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 Road failure detection device, road failure detection method, and road failure detection program
CN110120041A (en) * 2019-05-14 2019-08-13 郑州大学 Pavement crack image detecting method
CN110517312A (en) * 2019-07-05 2019-11-29 银河水滴科技(北京)有限公司 Gap localization method, device and storage medium based on deep learning
CN110490839A (en) * 2019-07-11 2019-11-22 平安科技(深圳)有限公司 The method, apparatus and computer equipment of failure area in a kind of detection highway
CN110490839B (en) * 2019-07-11 2024-02-27 平安科技(深圳)有限公司 Method and device for detecting damaged area in expressway and computer equipment
KR20210063637A (en) * 2019-11-25 2021-06-02 대구가톨릭대학교산학협력단 System and method for pothole detection based on road aerial images
KR102332971B1 (en) 2019-11-25 2021-11-30 대구가톨릭대학교산학협력단 System and method for pothole detection based on road aerial images
KR102311558B1 (en) * 2020-01-08 2021-10-12 한국건설기술연구원 System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method
KR20210089365A (en) * 2020-01-08 2021-07-16 한국건설기술연구원 System and method for detecting structure damage using artificial intelligence, and a recording medium having computer readable program for executing the method
CN111242017B (en) * 2020-01-10 2024-01-23 北京邮电大学 Multi-marking pavement crack identification method, device, equipment and storage medium
CN111242017A (en) * 2020-01-10 2020-06-05 北京邮电大学 Multi-marking-line pavement crack identification method, device, equipment and storage medium
JP2021148720A (en) * 2020-03-23 2021-09-27 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method
WO2021192627A1 (en) * 2020-03-23 2021-09-30 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method
JP2021148719A (en) * 2020-03-23 2021-09-27 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, and inspection method
JP7449739B2 (en) 2020-03-23 2024-03-14 株式会社Lixil Inspection system, learning device, learning program, learning method, inspection device, inspection program, inspection method
KR20210143465A (en) * 2020-05-20 2021-11-29 연세대학교 산학협력단 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same
KR102334709B1 (en) * 2020-05-20 2021-12-02 연세대학교 산학협력단 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same
KR102272745B1 (en) * 2020-05-29 2021-07-06 충북대학교 산학협력단 Inspection System and Method for Compact Camera Module Cover
KR20220017657A (en) * 2020-08-05 2022-02-14 (주)이포즌 Apparatus and method for detecting concrete construction crack
KR102408407B1 (en) * 2020-08-05 2022-06-14 (주)이포즌 Apparatus and method for detecting concrete construction crack
CN113762020A (en) * 2021-02-01 2021-12-07 长安大学 Highway road surface crack detecting system based on matrix structure degree of depth neural network
CN113762020B (en) * 2021-02-01 2024-03-22 长安大学 Highway road surface crack detecting system based on matrix structure degree of depth neural network
KR102396169B1 (en) * 2021-09-07 2022-05-11 주식회사 로드텍 Apparatus and method for evaluating state of road pavement
KR102416146B1 (en) * 2021-09-07 2022-07-06 주식회사 로드텍 Apparatus and method for evaluating state of road pavement

Similar Documents

Publication Publication Date Title
KR101926561B1 (en) Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same
Koch et al. Pothole detection in asphalt pavement images
KR101896406B1 (en) Road crack detection apparatus of pixel unit and method thereof, and computer program for executing the same
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
KR102121958B1 (en) Method, system and computer program for providing defect analysis service of concrete structure
Shaghouri et al. Real-time pothole detection using deep learning
Kim et al. Review and analysis of pothole detection methods
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
KR102185225B1 (en) Method for detecting sinkhole using deep learning and data association and sinkhole detecting system using it
Staniek et al. Self-correcting neural network in road pavement diagnostics
Arjapure et al. Deep learning model for pothole detection and area computation
Ketcham et al. The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes
JP2019192209A (en) Learning target image packaging device and method for artificial intelligence of video movie
CN114248819B (en) Railway intrusion foreign matter unmanned aerial vehicle detection method, device and system based on deep learning
Buza et al. Unsupervised method for detection of high severity distresses on asphalt pavements
KR102559586B1 (en) Structural appearance inspection system and method using artificial intelligence
Gunawan Detecting road damages by using gyroscope sensor
Zhao et al. High-resolution infrastructure defect detection dataset sourced by unmanned systems and validated with deep learning
Radopoulou et al. Patch distress detection in asphalt pavement images
JP2019192201A (en) Learning object image extraction device and method for autonomous driving
Samadzadegan et al. Automatic Road Crack Recognition Based on Deep Learning Networks from UAV Imagery
Gorintla et al. Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system
Azhari et al. PointCrack3D: crack detection in unstructured environments using a 3D-point-cloud-based deep neural network
KR20230032150A (en) Crack detection system for road
Radopoulou et al. Detection of multiple road defects for pavement condition assessment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant