KR102190891B1 - 차량의 주변 감시 장치 및 방법 - Google Patents
차량의 주변 감시 장치 및 방법 Download PDFInfo
- Publication number
- KR102190891B1 KR102190891B1 KR1020140125919A KR20140125919A KR102190891B1 KR 102190891 B1 KR102190891 B1 KR 102190891B1 KR 1020140125919 A KR1020140125919 A KR 1020140125919A KR 20140125919 A KR20140125919 A KR 20140125919A KR 102190891 B1 KR102190891 B1 KR 102190891B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- guide line
- obstacle
- surrounding
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 title abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 239000003086 colorant Substances 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/92—Driver displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은 차량의 주변 감시 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량 주변의 용이한 감시를 가능하게 하고, 차량 주변의 장애물 위치를 용이하게 판단할 수 있도록 하는 차량의 주변 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량의 주변 감시 장치는, 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 영상 획득부, 상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 주변 영상 생성부, 상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 장애물 감지부, 상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가이드 라인을 생성하는 가이드 라인 생성부, 상기 생성된 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 감시 영상 생성부, 및 상기 생성된 감시 영상을 디스플레이하는 디스플레이부를 포함한다.
본 발명의 실시예에 따른 차량의 주변 감시 장치는, 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 영상 획득부, 상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 주변 영상 생성부, 상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 장애물 감지부, 상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가이드 라인을 생성하는 가이드 라인 생성부, 상기 생성된 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 감시 영상 생성부, 및 상기 생성된 감시 영상을 디스플레이하는 디스플레이부를 포함한다.
Description
본 발명은 차량의 주변 감시 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량 주변의 용이한 감시를 가능하게 하고, 차량 주변의 장애물 위치를 용이하게 판단할 수 있도록 하는 차량의 주변 감시 장치 및 방법에 관한 것이다.
일반적으로 차량은 운전석에서 전방의 감시는 용이한 반면 측방이나 후방의 감시가 상대적으로 어렵기 때문에 사각 지대가 발생하게 되며, 차량의 운행 중 발생하는 대부분의 인명 사고나 구조물 파손 등의 사고는 이러한 사각 지대에서 발생하게 된다.
운전자는 차량에 구비된 하나 이상의 미러를 통해 주변, 특히 사각 지대를 감시하며 차량을 운행하게 되나, 이러한 미러에 의한 감시는 운전자의 지속적인 주의가 요구되므로 운전자의 피로도가 증가하게 되고 차량 자체에 의한 시야 방해로 인해 차량의 안전 운행을 도모하는데 한계가 있다.
특히, 덤프 트럭과 같은 대형 차량의 경우에는 소형 차량에 비하여 차량 자체에 의한 시야 방해가 상대적으로 더 크기 때문에 안전 사고 발생 가능성이 더 높게 된다.
최근에는 차량에 카메라를 설치하고 카메라에 의해 촬영된 영상을 차량의 운전석 내에 디스플레이하여 운전자로 하여금 차량 주변의 장애물을 확인할 수 있도록 하고 있다.
그러나, 단순히 차량에 설치된 카메라를 설치하고 차량 운행 도중 주변을 감시하는 경우 실질적으로 운전자가 차량과 주변 장애물과의 정확한 거리를 판단하기가 어렵고 카메라가 향하는 방향에 대한 영상만을 통해 주변을 감지하게 되므로 차량 주변에는 여전히 사각 지대가 존재하게 된다.
따라서, 차량 운행 도중 안전 사고를 미연에 방지하기 위하여 보다 효율적으로 차량 주변을 감시할 수 있는 방안이 요구되고 있다.
본 발명은 상기한 문제점을 해결하기 위해 고안된 것으로서, 본 발명의 이루고자 하는 기술적 과제는 차량의 주변 영상에 장애물의 위치에 따라 가변되는 가이드 라인을 합성하여 차량 주변에 존재하는 장애물의 위치나 거리 등을 직관적으로 인지할 수 있도록 하는 차량의 주변 감시 장치 및 방법을 제공하는 것이다.
또한, 차량의 작업 범위와 차량 주변의 장애물 위치를 함께 인자할 수 있도록 하여 안전 사고를 예방할 수 있는 차량의 주변 감시 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 장치는, 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 영상 획득부, 상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 주변 영상 생성부, 상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 장애물 감지부, 상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가이드 라인을 생성하는 가이드 라인 생성부, 상기 생성된 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 감시 영상 생성부, 및 상기 생성된 감시 영상을 디스플레이하는 디스플레이부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 장치는, 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 영상 획득부, 상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 주변 영상 생성부, 상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 장애물 감지부, 상기 차량에 따른 기준 가이드 라인 및 상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가변 가이드 라인을 생성하는 가이드 라인 생성부, 상기 기준 가이드 라인 및 상기 가변 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 감시 영상 생성부, 및 상기 생성된 감시 영상을 디스플레이하는 디스플레이부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 방법은, 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 단계, 상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 단계, 상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 단계, 상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가이드 라인을 생성하는 단계, 상기 감지된 장애물의 위치에 따라 서로 다른 색상을 가지는 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 단계, 및 상기 생성된 감시 영상을 디스플레이하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명의 차량의 주변 감시 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
차량 주변의 장애물 위치에 따라 차량의 주변 영상에 합성되는 가이드 라인의 위치가 가변되도록 하여 장애물의 위치를 직관적으로 인지할 수 있는 효과가 있다.
또한, 차량의 작업 범위를 나타내는 가이드 라인과 차량 주변의 장애물 위치에 따른 가이드 라인을 함께 생성하여 안전 사고의 발생을 사전에 방지할 수 있는 효과도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 주변 감시 장치가 도시된 블록도.
도 2는 본 발명의 실시예에 따른 차량에 설치된 카메라가 도시된 개략도.
도 3은 본 발명의 실시예에 따른 차량의 주변 영상이 도시된 개략도.
도 4 및 도 5는 본 발명의 실시예에 따른 가이드 라인이 도시된 개략도.
도 6은 본 발명의 실시예에 따른 복수의 장애물이 위치한 경우 가이드 라인이 도시된 개략도.
도 7은 본 발명의 실시예에 따른 기준 가이드 라인 및 가변 가이드 라인이 도시된 개략도.
도 8은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도.
도 9는 본 발명의 다른 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도.
도 2는 본 발명의 실시예에 따른 차량에 설치된 카메라가 도시된 개략도.
도 3은 본 발명의 실시예에 따른 차량의 주변 영상이 도시된 개략도.
도 4 및 도 5는 본 발명의 실시예에 따른 가이드 라인이 도시된 개략도.
도 6은 본 발명의 실시예에 따른 복수의 장애물이 위치한 경우 가이드 라인이 도시된 개략도.
도 7은 본 발명의 실시예에 따른 기준 가이드 라인 및 가변 가이드 라인이 도시된 개략도.
도 8은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도.
도 9는 본 발명의 다른 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 포함한다(comprises) 및/또는 포함하는(comprising)은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.
이하, 본 발명의 실시예들에 의하여 차량의 주변 감시 장치 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 차량의 주변 감시 장치가 도시된 블록도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 감시 장치(1)는 영상 획득부(100), 주변 영상 생성부(200), 장애물 감지부(300), 가이드 라인 생성부(400), 감시 영상 생성부(500) 및 디스플레이부(600)를 포함할 수 있다.
영상 획득부(100)는 도 2와 같이 차량(10)에 설치되는 하나 이상의 카메라를 포함할 수 있으며, 본 발명의 실시예에서 영상 획득부(100)는 차량(10)의 전후좌우 방향에 각각 설치되어 영상을 획득하는 복수의 카메라(110~140)를 포함할 수 있다.
이하, 본 발명의 실시예에서는 복수의 카메라(110~140)를 각각 제 1카메라(110), 제 2카메라(120), 제 3카메라(130) 및 제 4카메라(140)라 칭하기로 하며, 각 카메라(110~140)에 의해 획득된 영상을 제 1영상(111), 제 2영상(121), 제 3영상(131) 및 제 4영상(141)이라 칭하기로 한다.
복수의 카메라(110~140)는 차량(10)의 주변 전방향에 대한 영상을 획득할 수 있으며, 카메라의 종류에 따라 설치 방향이나 설치 개수는 다양하게 변경될 수 있따.
예를 들어, 복수의 카메라(110~140)에 상대적으로 큰 화각을 가지는 광각 렌즈나 어안 렌즈가 사용되는 경우에는 설치 개수가 감소될 수 있고, 그렇지 않은 경우에는 설치 개수가 증가할 수 있다.
이때, 복수의 카메라(110~140)에 의해 획득된 영상은 차량(10)의 주변 전방향, 즉 360도 방향에 대한 영상일 수 있으며, 복수의 카메라(110~140)가 차량(10)의 전후좌우 방향에 설치된 경우 각 카메라는 대략 180도의 화각을 가지는 광각 렌즈가 사용된 카메라일 수 있다.
또한, 차량(10)의 주변 전방향에 대한 영상을 획득하기 위하여 복수의 카메라(110~140)는 반드시 차량(10)의 전후좌우 방향에 설치될 필요는 없으며, 차량(10) 주변 전방향에 대한 영상을 획득할 수 있는 조건 하에서 설치 위치는 다양하게 변경될 수 있다.
전술한 바와 같이, 복수의 카메라(110~140)에 광각 렌즈나 어안 렌즈가 사용되는 경우 완전한 구 형태가 아니고 초점 거리가 짧아지게 되어 렌즈의 기하학적 왜곡, 예를 들어 방사상 왜곡이나 접선 방향의 왜곡이 발생할 수 있기 때문에 복수의 카메라(110~140)에 의해 획득된 영상은 왜곡 보정 알고리즘에 의한 왜곡 보정 처리가 이루어질 수 있다.
한편, 본 발명의 실시예에서는 차량(10)이 덤프 트럭인 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 차량(10)은 덤프 트럭뿐만 아니라, 각종 토목 공사나 건축 공사에 쓰이는 불도저, 지게차 등과 같은 중장비 또는 건설 장비가 포함될 수 있다.
주변 영상 생성부(200)는 도 3과 같이 영상 획득부(100)에서 획득된 영상을 이용하여 차량(10)의 주변 영상(210)을 생성할 수 있다.
즉, 주변 영상 생성부(200)는 전술한 제 1 내지 제 4카메라(110~140)를 통해 획득되어 왜곡이 보정된 전술한 제 1영상 내지 제 4영상(111~141)을 통합하여 차량(10)을 중심으로 하며 차량(10)의 상측에서 바라본 것과 같은 탑뷰 형태의 주변 영상(210)을 생성할 수 있다.
이때, 주변 영상(210)은 복수의 카메라(110~114)의 종류 등에 따라 차량(10)으로부터 사전 설정된 거리까지의 영역을 포함하도록 생성될 수 있으며, 차량(10)으로부터 소정 거리만큼 떨어진 위치에 대응하는 주변 영상(210) 내의 위치는 차량(10)으로부터의 떨어진 위치의 좌표를 주변 영상(210)의 영상 좌표로 변환하는 과정을 통해 얻어질 수 있다.
장애물 감지부(300)는 차량(10) 주변에 위치한 하나 이상의 장애물을 감지하고 감지된 장애물의 위치나 거리 등을 감지할 수 있으며, 본 발명의 실시예에서 장애물 감지부(300)는 초음파 센서, 적외선 센서 및 레이더 등이 사용될 수 있으나, 이에 한정되지 않고 장애물 감지부(300)에 사용되는 센서의 종류나 개수는 다양하게 변경될 수 있다.
또한, 장애물 감지부(300)는 장애물의 위치를 갱신하기 위하여 일정 주기로 차량(10) 주변에 위치한 하나 이상의 장애물을 감지할 수 있다.
가이드 라인 생성부(400)는 도 4 및 도 5와 같이 장애물 감지부(300)에 의해 감지된 장애물(11, 12)의 위치를 나타내며, 장애물(11, 12)의 위치에 따라 주변 영상(210)에 합성되는 합성 위치가 가변되는 가이드 라인(410)을 생성할 수 있다.
예를 들어, 가이드 라인 생성부(400)는 감지된 장애물(11, 12)의 위치를 주변 영상(210) 내의 영상 좌표로 변환한 다음, 변환된 영상 좌표를 이용하여 가이드 라인(410)을 생성할 수 있다.
가이드 라인 생성부(400)는 장애물(11, 12)의 위치에 따라 서로 다른 색상을 가지는 가이드 라인(410)을 생성할 수 있으며, 일 예로 도 5의 장애물(12)은 도 4의 장애물(11)에 비하여 상대적으로 차량(10)에 근접하게 위치하는 것을 알 수 있는데, 도 4 및 도 5에서의 가이드 라인(410)이 서로 다른 색상을 가지도록 하여 차량(10)의 운전자로 하여금 가이드 라인(410) 및 가이드 라인(410)의 색상을 통해 장애물(11, 12)의 위치를 보다 직관적으로 판단할 수 있도록 하여 안전 사고를 예방할 수 있게 된다.
이때, 전술한 도 4 및 도 5에서는 각각 단일의 장애물(11, 12)이 감지된 경우에 가이드 라인(410)을 생성하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 도 6과 같이 차량(10) 주변에 복수의 장애물(13, 14)이 위치한 경우에는 사전 설정된 우선 순위에 따라 높은 우선 순위를 가지는 장애물(13)을 기준으로 가이드 라인(410)을 생성할 수 있다.
도 6에서는 차량(10) 주변에 복수의 장애물(13, 14)이 위치한 경우, 그 우선 순위를 판단하기 위하여 차량(10)으로부터의 거리를 기준으로 차량(10)에 더 근접한 장애물(13)이 높은 우선 순위를 가지는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 우선 순위는 다양한 기준, 예를 들어 장애물의 종류나 장애물의 위치 등에 에 의해 판단될 수 있다.
또한, 도 6에서는 복수의 장애물(13, 14) 중 어느 하나(13)를 기준으로 가이드 라인(410)을 생성하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 복수의 장애물(13, 14)에 대하여 각각 가이드 라인을 생성할 수도 있다.
한편, 전술한 실시예에서는 가이드 라인 생성부(400)가 장애물의 위치에 따른 가이드 라인을 생성하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 가이드 라인 생성부(400)는 도 7과 같이 사전 설정된 기준 가이드 라인(421)과 장애물의 위치에 따른 가변 가이드 라인(422)을 함께 생성할 수도 있다.
기준 가이드 라인(421)은 차량(10)의 작업 범위에 따라 사전 설정된 가이드 라인으로서, 차량(10)의 종류에 따라 작업 범위가 상이하므로 차량(10) 종류에 따라 서로 다른 기준 가이드 라인(421)이 생성될 수 있다.
예를 들어, 덤프 트럭은 지게차에 비하여 상대적으로 작은 작업 범위를 가지므로 덤프 트럭의 기준 가이드 라인은 지게차에 비하여 상대적으로 더 근접하게 위치하도록 생성될 수 있다.
가변 가이드 라인(422)은 차량(10) 주변에 위치한 장애물에 따라 생성되는 전술한 도 4 및 도 5의 가이드 라인(410)으로 이해될 수 있으며, 가변 가이드 라인(422)은 장애물의 위치에 따라 서로 다른 색상을 가지도록 생성될 수 있다.
다시 말해서, 기준 가이드 라인(421)은 차량(10)의 작업 범위를 나타내는 것으로서, 장애물이 기준 가이드 라인(421)에 근접할수록 안전 사고 발생의 가능성이 상대적으로 높아지기 때문에 가변 가이드 라인(422)이 기준 가이드 라인(421)과 가까워질수록 색상을 변경하여 차량(10)의 운전자로 하여금 장애물이 근접하여 위치하였음을 용이하게 인지할 수 있도록 함으로써 안전 사고를 예방할 수 있게 된다.
감시 영상 생성부(500)는 가이드 라인 생성부(400)에 의해 생성된 가이드 라인을 주변 영상(210)에 합성하여 감시 영상을 생성할 수 있다.
예를 들어, 감시 영상 생성부(500)는 가이드 라인 생성부(400)에 의해 장애물의 위치에 따른 가이드 라인만 생성된 경우, 전술한 도 4 및 도 5와 같이 주변 영상(210)에 가이드 라인(410)을 합성하여 감시 영상을 생성할 수 있다.
한편, 감시 영상 생성부(500)는 가이드 라인 생성부(400)에 의해 기준 가이드 라인(421)과 가변 가이드 라인(422)이 생성된 경우, 전술한 도 7과 같이 주변 영상(210)에 기준 가이드 라인(421)과 가변 가이드 라인(422)을 합성하여 감시 영상을 생성할 수 있다.
감시 영상 생성부(500)는 전술한 장애물 감지부(300)가 장애물을 감지하는 주기에 따라 감시 영상을 갱신할 수도 있고, 장애물의 위치가 달라지는 경우 감시 영상을 갱신할 수도 있으나, 이에 한정되지 않고 감시 영상을 갱신하는 주기는 다양하게 변경될 수 있다.
디스플레이부(600)는 생성된 감시 영상을 디스플레이할 수 있으며, 본 발명의 실시예에서 디스플레이부(600)는 차량(10)에 구비된 네비게이션, HUD, AV 시스템 등의 디스플레이 장치로 구성되거나 별도의 디스플레이 장치로 구성될 수 있다.
도 8은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도로서, 도 8은 전술한 도 4 및 도 5와 같이 차량(10) 주변의 장애물 위치에 따라 가이드 라인(410)을 생성하는 경우를 일 예이다.
도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 감시 방법은, 먼저 영상 획득부(100)에 포함된 복수의 카메라(110~140)를 통해 차량(10) 주변의 하나 이상의 방향에 대한 영상을 획득한다(S110).
획득된 영상을 이용하여 차량(10)의 주변 영상(210)을 생성하게 된다(S120).
이때, 제 1 내지 제 4카메라(110~140)가 광각 렌즈나 어안 렌즈를 사용하는 경우 제 1 내지 제 4영상(111~141)을 이용하여 주변 영상(210) 생성시 왜곡 보정 과정을 거치게 되고, 이를 통합하여 전술한 도 3과 같은 탑뷰 형태의 주변 영상(210)을 생성하게 된다.
차량(10) 주변에 위치한 하나 이상의 장애물을 감지하게 된다(S130).
감지된 장애물의 위치를 기준으로 장애물의 위치에 따라 주변 영상(210)에 합성되는 합성 위치가 가변되는 가이드 라인(410)을 생성하게 된다(S140). 이때, 가이드 라인(410)은 장애물의 위치에 따라 서로 다른 색상을 가질 수 있다. 또한, 복수의 장애물이 감지된 경우에는 높은 우선 순위를 가지는 장애물을 기준으로 가이드 라인(410)을 생성하거나 복수의 장애물에 대하여 각각 가이드 라인을 생성할 수도 있다.
생성된 가이드 라인(410)을 주변 영상(210)에 합성하여 감시 영상을 생성하고(S150), 생성된 감시 영상을 디스플레이한다(S160).
이후, 차량(10)의 주변 감시가 중지될때까지 전술한 S130 내지 S160단계를 반복적으로 수행하게 된다(S170).
도 9는 본 발명의 다른 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도로서, 도 9는 전술한 도 7과 같이 기준 가이드 라인(421) 및 가변 가이드 라인(422)을 함께 생성하는 경우의 일 예이다.
도시된 바와 같이, 본 발명의 다른 실시예에 따른 차량의 주변 감시 방법은, 먼저 영상 획득부(100)를 통해 차량(10) 주변의 하나 이상의 방향에 대한 영상을 획득한다(S210).
획득된 영상을 이용하여 차량(10)의 주변 영상을 생성하게 된다(S220).
차량(10)의 종류에 따른 기준 가이드 라인(421)을 생성한다(S230). 이때, 기준 가이드 라인(421)은 차량(10)별 작업 범위에 따라 서로 다를 수 있으며, 본 발명의 실시예들에서는 차량(10)이 덤프 트럭인 경우를 예를 들어 설명하고 있으므로, 기준 가이드 라인(421)은 덤프 트럭의 작업 범위, 예를 들어 적재함의 작업 범위를 나타내는 경우를 예를 들어 설명하기로 한다.
차량(10) 주변에 위치한 하나 이상의 장애물을 감지하고(S240), 감지된 장애물의 위치에 따른 가변 가이드 라인(422)을 생성한다(S250). 이때, 복수의 장애물이 감지된 경우에는 가변 가이드 라인(422)은 높은 우선 순위를 가지는 장애물을 기준으로 생성되거나 복수의 장애물에 대하여 각각 생성될 수도 있다.
기준 가이드 라인(421) 및 장애물의 위치에 따라 주변 영상(210)에 합성되는 합성 위치가 가변되는 가변 가이드 라인(422)을 주변 영상(210)에 합성하여 감시 영상을 생성하고(S260), 생성된 감시 영상을 디스플레이한다(S270).
이후, 차량(10)의 주변 감시가 중지될때까지 전술한 S240 내지 S270단계를 반복적으로 수행하게 된다(S280).
이때, 도 9에서는 기준 가이드 라인(421)을 생성한 다음, 장애물의 위치에 따른 가변 가이드 라인(422)을 생성하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 기준 가이드 라인(421) 및 가변 가이드 라인(422)을 생성하는 순서는 달라질 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 획득부
200: 주변 영상 생성부
300: 장애물 감지부
400: 가이드 라인 생성부
500: 감시 영상 생성부
600: 디스플레이부
200: 주변 영상 생성부
300: 장애물 감지부
400: 가이드 라인 생성부
500: 감시 영상 생성부
600: 디스플레이부
Claims (11)
- 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 영상 획득부;
상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 주변 영상 생성부;
상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 장애물 감지부;
상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가이드 라인을 생성하는 가이드 라인 생성부;
상기 생성된 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 감시 영상 생성부; 및
상기 생성된 감시 영상을 디스플레이하는 디스플레이부를 포함하며,
상기 장애물 감지부는,
상기 차량 주변에 위치한 복수의 장애물을 감지하고,
상기 가이드 라인 생성부는,
상기 복수의 장애물 중 사전 설정된 우선 순위에 따라 높은 우선 순위를 가지는 장애물의 위치를 기준으로 상기 가이드 라인을 생성하는 차량의 주변 감시 장치. - 제 1 항에 있어서,
상기 차량은,
중장비 또는 건설 장비인 차량의 주변 감시 장치. - 제 1 항에 있어서,
상기 가이드 라인 생성부는,
상기 장애물의 위치에 따라 서로 다른 색상을 가지는 가이드 라인을 생성하는 차량의 주변 감시 장치. - 삭제
- 제 1 항에 있어서,
상기 복수의 장애물은,
상기 차량에 근접할수록 높은 우선 순위를 가지는 차량의 주변 감시 장치. - 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 영상 획득부;
상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 주변 영상 생성부;
상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 장애물 감지부;
상기 차량에 따른 기준 가이드 라인 및 상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가변 가이드 라인을 생성하는 가이드 라인 생성부;
상기 기준 가이드 라인 및 상기 가변 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 감시 영상 생성부; 및
상기 생성된 감시 영상을 디스플레이하는 디스플레이부를 포함하며,
상기 기준 가이드 라인은,
상기 차량의 작업 범위에 따라 상기 차량으로부터 사전 설정된 거리를 가지도록 생성되는 차량의 주변 감시 장치. - 삭제
- 제 6 항에 있어서,
상기 가변 가이드 라인은,
상기 기준 가이드 라인을 기준으로 상기 장애물의 위치에 따라 서로 다른 색상을 가지는 차량의 주변 감시 장치. - 차량 주변의 하나 이상의 방향에 대한 영상을 획득하는 단계;
상기 획득된 영상을 이용하여 상기 차량의 주변 영상을 생성하는 단계;
상기 차량 주변에 위치하는 하나 이상의 장애물을 감지하는 단계;
상기 감지된 장애물의 위치에 따라 상기 주변 영상에 합성되는 합성 위치가 가변되는 가이드 라인을 생성하는 단계;
상기 감지된 장애물의 위치에 따라 서로 다른 색상을 가지는 가이드 라인을 상기 주변 영상에 합성하여 감시 영상을 생성하는 단계; 및
상기 생성된 감시 영상을 디스플레이하는 단계를 포함하며,
상기 가이드 라인을 생성하는 단계는,
복수의 장애물 중 높은 우선 순위를 가지는 장애물을 기준으로 상기 가이드 라인을 생성하는 단계를 포함하는 차량의 주변 감시 방법. - 제 9 항에 있어서,
상기 가이드 라인을 생성하는 단계는,
상기 차량의 작업 범위에 따라 사전 설정된 기준 가이드 라인을 생성하는 단계; 및
상기 기준 가이드 라인을 기준으로 상기 장애물의 위치에 따라 서로 다른 색상을 가지며 상기 합성 위치가 가변되는 가변 가이드 라인을 생성하는 단계를 포함하는 차량의 주변 감시 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140125919A KR102190891B1 (ko) | 2014-09-22 | 2014-09-22 | 차량의 주변 감시 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140125919A KR102190891B1 (ko) | 2014-09-22 | 2014-09-22 | 차량의 주변 감시 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160034670A KR20160034670A (ko) | 2016-03-30 |
| KR102190891B1 true KR102190891B1 (ko) | 2020-12-14 |
Family
ID=55660286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140125919A KR102190891B1 (ko) | 2014-09-22 | 2014-09-22 | 차량의 주변 감시 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102190891B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102270793B1 (ko) * | 2018-12-07 | 2021-06-29 | 아진산업(주) | 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템 |
| KR102355998B1 (ko) * | 2020-09-21 | 2022-02-07 | 제이씨현오토 주식회사 | Svm 탑뷰 기반 시청각적 인체 및 장애물 감지 통합 표시시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013176024A (ja) * | 2012-02-27 | 2013-09-05 | Kyocera Corp | 映像処理装置、映像処理方法、および映像表示システム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101123738B1 (ko) | 2009-08-21 | 2012-03-16 | 고려대학교 산학협력단 | 중장비 동작 안전 모니터링 시스템 및 방법 |
| JP5667638B2 (ja) * | 2010-10-22 | 2015-02-12 | 日立建機株式会社 | 作業機械の周辺監視装置 |
| KR101438921B1 (ko) * | 2012-11-16 | 2014-09-11 | 현대자동차주식회사 | 차량 주변의 이동체 경보 장치 및 방법 |
-
2014
- 2014-09-22 KR KR1020140125919A patent/KR102190891B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013176024A (ja) * | 2012-02-27 | 2013-09-05 | Kyocera Corp | 映像処理装置、映像処理方法、および映像表示システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160034670A (ko) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101566784B1 (ko) | 산업용 및 건설용 중장비 접근감시 및 작동제어 시스템 | |
| EP3579143B1 (en) | Information processing device, approaching object notification method, and program | |
| US8570188B2 (en) | Driver vision support system and vehicle including the system | |
| US9836938B2 (en) | Shovel having audio output device installed in cab | |
| JP6307895B2 (ja) | 車両用周辺監視装置 | |
| JP5177515B2 (ja) | 周辺認知支援システム | |
| US20110228980A1 (en) | Control apparatus and vehicle surrounding monitoring apparatus | |
| US20110044505A1 (en) | Equipment operation safety monitoring system and method and computer-readable medium recording program for executing the same | |
| US9691283B2 (en) | Obstacle alert device | |
| JPWO2018003532A1 (ja) | 物体検出表示装置、移動体及び物体検出表示方法 | |
| TWI533694B (zh) | 車用障礙物偵測顯示系統 | |
| JP6629715B2 (ja) | 車両用監視システム | |
| KR20160076736A (ko) | 차량의 주변 감시 장치 및 방법 | |
| JP2016119559A (ja) | 作業機械の周囲監視装置 | |
| JPWO2006028180A1 (ja) | カメラ及びカメラ装置 | |
| WO2020157901A1 (ja) | 運転支援装置 | |
| KR102190892B1 (ko) | 차량의 주변 감시 장치 및 방법 | |
| KR102190891B1 (ko) | 차량의 주변 감시 장치 및 방법 | |
| WO2017022262A1 (ja) | 作業機械の周囲監視装置 | |
| JP2019188855A (ja) | 車両用視認装置 | |
| KR101729030B1 (ko) | 차량 주변의 위험요소 경고장치 및 경고방법 | |
| KR20160034669A (ko) | 차량의 주변 감시 장치 및 방법 | |
| JP2006160193A (ja) | 車両運転支援装置 | |
| JP2011191859A (ja) | 車両の周辺監視装置 | |
| JP7180172B2 (ja) | 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |