[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170081375A - Drive assistance apparatus and method for controlling the same - Google Patents

Drive assistance apparatus and method for controlling the same Download PDF

Info

Publication number
KR20170081375A
KR20170081375A KR1020160000330A KR20160000330A KR20170081375A KR 20170081375 A KR20170081375 A KR 20170081375A KR 1020160000330 A KR1020160000330 A KR 1020160000330A KR 20160000330 A KR20160000330 A KR 20160000330A KR 20170081375 A KR20170081375 A KR 20170081375A
Authority
KR
South Korea
Prior art keywords
vehicle
processor
visible light
camera
image
Prior art date
Application number
KR1020160000330A
Other languages
Korean (ko)
Other versions
KR101768500B1 (en
Inventor
김철문
이상혁
이진교
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160000330A priority Critical patent/KR101768500B1/en
Priority to PCT/KR2016/006545 priority patent/WO2017119557A1/en
Publication of KR20170081375A publication Critical patent/KR20170081375A/en
Application granted granted Critical
Publication of KR101768500B1 publication Critical patent/KR101768500B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/30—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by reflectors
    • F21S41/32—Optical layout thereof
    • F21S41/36—Combinations of two or more separate reflectors
    • F21S41/365—Combinations of two or more separate reflectors successively reflecting the light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/60—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution
    • F21S41/67—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution by acting on reflectors
    • F21S41/675—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution by acting on reflectors by moving reflectors
    • F21S48/1388—
    • F21S48/1757—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2101/00—Point-like light sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/30—Semiconductor lasers

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

본 발명은 운전 보조 장치 및 그 제어 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 운전 보조 장치는, 차량에 구비되는 조명 장치로부터 출력된 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 나타나는 이미지를 획득하는 카메라 및 상기 카메라 및 상기 조명 장치와 연결되는 프로세서를 포함한다. 이 경우, 상기 프로세서는, 상기 카메라로부터 제공되는 상기 이미지로부터 상기 복수의 마킹 영역을 검출하고, 상기 복수의 마킹 영역을 기초로, 상기 차량 주변에 위치하는 오브젝트를 검출한다.A driving assist device according to an embodiment of the present invention includes a plurality of marking areas formed by visible light of a first pattern outputted from a lighting device provided in a vehicle, A camera for acquiring an image, and a processor coupled to the camera and the lighting device. In this case, the processor detects the plurality of marking areas from the image provided from the camera, and detects an object located around the vehicle based on the plurality of marking areas.

Description

운전 보조 장치 및 그 제어방법{DRIVE ASSISTANCE APPARATUS AND METHOD FOR CONTROLLING THE SAME}[0001] DRIVE ASSISTANCE APPARATUS AND METHOD FOR CONTROLLING THE SAME [0002]

본 발명은 차량에 구비된 조명 장치와 연동하는 운전 보조 장치 및 그 제어 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a driving assistance device interlocked with a lighting device provided in a vehicle and a control method thereof.

차량이란, 차륜을 구동시켜 사람이나 화물 등을 어느 장소로부터 다른 장소로 운송하는 장치를 말한다. 예컨대, 오토바이와 같은 2륜차, 세단과 같은 4륜차는 물론 기차 등이 차량에 속한다.A vehicle is a device that drives a wheel to transport a person or cargo from one place to another. For example, two-wheeled vehicles such as a motorcycle, a four-wheeled vehicle such as a sedan, as well as a train belong to the vehicle.

차량을 이용하는 사용자의 안전 및 편의를 증대하기 위해, 각종 센서와 전자 장치 등을 차량에 접목하기 위한 기술 개발이 가속화되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 개발된 다양한 기능(예, smart cruise control, lane keeping assistance)을 제공하는 시스템이 차량에 탑재되고 있다. 이에 따라, 운전자의 조작 없이도, 차량이 스스로 외부 환경을 고려하여, 도로를 주행하는 이른바 자율 주행(autonomous driving)이 가능하게 되었다.In order to increase the safety and convenience of users who use the vehicle, development of technologies for connecting various sensors and electronic devices to the vehicle has been accelerated. In particular, a system that provides various functions (eg, smart cruise control, lane keeping assistance) developed for the user's driving convenience is installed in the vehicle. Thereby, so-called autonomous driving in which the vehicle runs on the road in consideration of the external environment itself becomes possible without the driver's operation.

특히, 자율 주행은 물론 수동 주행 시, 차량의 주변 상황을 식별하기 위한 카메라 등의 다양한 전자 장치가 차량에 장착되고 있다. 한편, 야간이나 악천후 상황에서는 운전자의 가시 거리는 짧아지게 되는바, 차량에 장착되는 헤드램프 등의 조명 장치는 차량의 외부의 밝기나 도로의 형상에 따라, 밝기나 각도가 조절되어 차량의 전방을 비춰줌으로써, 운전자에게 전방에 대한 넓고 밝은 시야를 제공할 수 있다.Particularly, various electronic devices such as a camera for identifying the surroundings of the vehicle during self-driving as well as manual driving are mounted on the vehicle. On the other hand, in the nighttime or in bad weather conditions, the driver's visual distance is shortened. The lighting device such as a head lamp mounted on the vehicle illuminates the front of the vehicle with the brightness and the angle adjusted according to the brightness of the outside of the vehicle or the shape of the road It is possible to provide the driver with a wide and bright view toward the front.

하지만, 종래 기술에 따르면, 운전자는 조명 장치에 의해 비춰지는 영역만을 육안으로 확인할 수 밖에 없다는 한계가 있다.However, according to the related art, there is a limitation that the driver can only visually confirm the area illuminated by the lighting device.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 미리 정해진 상황에서, 일반적인 시야 확보용 가시광과는 구별되는 객체 검출용 가시광을 출력하도록 조명 장치를 제어함으로써, 운전자의 육안으로 확인 가능한 거리보다 멀리 떨어진 오브젝트를 검출할 수 있는 운전 보조 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been conceived to solve the above-described problems, and it is an object of the present invention to provide an illuminating device for illuminating a visible light for object detection, And an object of the present invention is to provide a driving assisting device capable of detecting a dropped object and a control method thereof.

또한, 검출된 오브젝트에 관한 정보를 기초로, 조명 장치에 의해 비춰지는 영역의 위치, 형상 또는 밝기 등을 조절함으로써, 운전자가 오브젝트를 용이하게 인지할 수 있도록 하는 운전 보조 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.Further, the present invention provides a driver assistance device and a control method thereof that enable a driver to easily recognize an object by adjusting the position, shape, or brightness of an area illuminated by the illumination device based on information about the detected object The purpose of that is to do.

또한, 검출된 오브젝트에 관한 정보를 기초로, 차량의 조향, 가속 또는 제동을 제어함으로써, 주행 시의 안전성을 향상시킬 수 있는 운전 보조 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.It is another object of the present invention to provide a driving assistance device and a control method thereof that can improve the safety during traveling by controlling the steering, acceleration, or braking of the vehicle based on information about the detected object.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 차량에 구비되는 조명 장치로부터 출력된 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 나타나는 이미지를 획득하는 카메라 및 상기 카메라 및 상기 조명 장치와 연결되는 프로세서를 포함하는 운전 보조 장치가 제공된다. 이 경우, 상기 프로세서는, 상기 카메라로부터 제공되는 상기 이미지로부터 상기 복수의 마킹 영역을 검출하고, 상기 복수의 마킹 영역을 기초로, 상기 차량 주변에 위치하는 오브젝트를 검출한다.According to an aspect of the present invention, there is provided a camera for acquiring an image in which a plurality of marking regions formed by visible light of a first pattern output from a lighting device provided in a vehicle appear, There is provided a driving assistance device including a processor connected to a device. In this case, the processor detects the plurality of marking areas from the image provided from the camera, and detects an object located around the vehicle based on the plurality of marking areas.

또한, 상기 프로세서는, 상기 제1 패턴의 가시광을 소정 시간 동안 출력하도록 상기 조명 장치를 제어할 수 있다.Further, the processor may control the illumination device to output visible light of the first pattern for a predetermined time.

또한, 상기 프로세서는, 상기 이미지의 획득 시점이 상기 제1 패턴의 가시광의 출력 시점에 동기화되도록 상기 카메라를 제어할 수 있다.Further, the processor may control the camera such that an acquisition time of the image is synchronized with an output time of visible light of the first pattern.

또한, 상기 카메라는, 서로 소정 간격 이격된 제1 이미지 센서와 제2 이미지 센서를 포함하는 스테레오 카메라일 수 있다.In addition, the camera may be a stereo camera including a first image sensor and a second image sensor spaced apart from each other by a predetermined distance.

또한, 상기 프로세서는, 상기 제1 이미지 센서에 의해 획득된 제1 이미지와 상기 제2 이미지 센서에 의해 획득된 제2 이미지를 비교하여, 상기 복수의 마킹 영역에 대한 디스페리티 정보를 산출하고, 상기 디스페리티 정보를 기초로, 상기 오브젝트를 검출할 수 있다.The processor may further include a display unit for comparing the first image obtained by the first image sensor and the second image obtained by the second image sensor to calculate disparity information for the plurality of marked areas, And the object can be detected based on the disparity information.

또한, 상기 프로세서는, 상기 차량의 운전자의 요청이 있거나, 상기 차량 외부의 조도가 임계값 미만인 경우, 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.In addition, the processor may control the illumination device to output the visible light of the first pattern when there is a request from the driver of the vehicle, or when the illuminance outside the vehicle is less than a threshold value.

또한, 상기 프로세서는, 상기 제1 패턴의 가시광을 상기 차량의 주행 속도에 대응하는 광량으로 출력하도록 상기 조명 장치를 제어할 수 있다.Further, the processor may control the illuminating device to output the visible light of the first pattern at a light amount corresponding to the traveling speed of the vehicle.

또한, 상기 프로세서는, 상기 복수의 마킹 영역의 크기를 기초로, 상기 차량와 상기 오브젝트 간의 거리를 산출할 수 있다.The processor may calculate a distance between the vehicle and the object based on the size of the plurality of marking areas.

또한, 상기 프로세서는, 상기 검출된 오브젝트가 복수인 경우, 상기 차량의 주행 속도 및 상기 차량과 각 오브젝트 간의 거리를 기초로, 각 오브젝트마다 동일한 크기의 마킹 영역을 형성하기 위한 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.In addition, the processor may be configured to, if the detected objects include a plurality of objects, to output visible light for forming a marking area of the same size for each object, based on the running speed of the vehicle and the distance between the vehicle and each object The device can be controlled.

또한, 상기 프로세서는, 상기 검출된 오브젝트 중 서로 인접한 두 오브젝트 간의 거리가 기준 거리 이상인 경우, 상기 두 오브젝트 사이의 영역으로 상기 제1 패턴보다 조밀한 제2 패턴의 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.The processor controls the illumination device to output visible light of a second pattern that is denser than the first pattern in a region between the two objects when the distance between two adjacent objects of the detected objects is equal to or greater than a reference distance can do.

또한, 상기 프로세서는, 상기 제2 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 기초로, 상기 두 오브젝트 사이의 다른 오브젝트를 검출할 수 있다.In addition, the processor can detect another object between the two objects based on a plurality of marking regions formed by the visible light of the second pattern.

또한, 상기 프로세서는, 상기 오브젝트의 검출이 완료된 경우, 상기 제1 패턴의 가시광의 출력을 중단하도록 상기 조명 장치를 제어할 수 있다.Further, the processor may control the illumination device to stop outputting the visible light of the first pattern when the detection of the object is completed.

또한, 상기 프로세서는, 상기 오브젝트의 종류에 대응하는 광량의 가시광이, 상기 오브젝트로 투사되도록 상기 조명 장치를 제어할 수 있다.Further, the processor may control the illumination device such that visible light of a light amount corresponding to the kind of the object is projected onto the object.

또한, 상기 프로세서는, 상기 오브젝트가 타차량인 경우, 상기 타차량에 탑승한 운전자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어할 수 있다.In addition, the processor may control the illumination device to block visible light projected on the eyes of a driver who rides on the other vehicle when the object is another vehicle.

또한, 상기 프로세서는, 상기 오브젝트가 보행자인 경우, 상기 보행자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어할 수 있다.Further, the processor may control the illumination device to block visible light projected on the eyes of the pedestrian when the object is a pedestrian.

또한, 상기 프로세서는, 상기 오브젝트가 교통 표지인 경우, 상기 교통 표지로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어할 수 있다.In addition, the processor may control the illumination device to increase the amount of visible light projected on the traffic sign when the object is a traffic sign.

또한, 상기 프로세서는, 상기 오브젝트가 낙하물인 경우, 상기 낙하물로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어할 수 있다.In addition, the processor may control the lighting device to increase the amount of visible light projected onto the falling object when the object is a falling object.

또한, 상기 조명 장치는, 적어도 하나의 레이저 다이오드를 포함하는 발광 소자 및 상기 레이저 다이오드에 의해 출력되는 레이저 빔을 반사하도록 정렬된 복수의 마이크로 미러를 포함하는 리플렉터를 포함할 수 있다. 이 경우, 상기 프로세서는, 상기 복수의 마이크로 미러 중 적어도 일부의 틸팅각을 조절하여 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.In addition, the illumination device may include a reflector including a light emitting device including at least one laser diode and a plurality of micromirrors arranged to reflect the laser beam output by the laser diode. In this case, the processor may control the illumination device to adjust the tilting angle of at least a part of the plurality of micromirrors to output the visible light of the first pattern.

또한, 상기 프로세서는, 상기 오브젝트의 크기 및 위치를 기초로, 상기 차량의 주행 경로를 산출하고, 상기 주행 경로를 가이드하기 위한 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.Further, the processor may control the lighting device to calculate the traveling path of the vehicle based on the size and position of the object, and to output visible light for guiding the traveling path.

본 발명의 다른 측면에 따르면, 차량 전방의 이미지를 획득하는 카메라; 및According to another aspect of the present invention, there is provided a vehicle comprising: a camera for acquiring an image of a vehicle front; And

상기 카메라와 연결되어 상기 이미지로부터 타차량의 헤드라이트 영역을 검출하는 프로세서;를 포함하는 운전 보조 장치가 제공된다. 이 경우, 상기 프로세서는, 상기 검출된 헤드라이트 영역의 밝기값을 기준값과 비교하여, 눈부심 상황의 발생 여부를 판단하고, 상기 눈부심 상황이 발생한 것으로 판단 시, 상기 눈부심 상황의 발생 전에 사용된 조리개값을 상기 카메라에 설정할 수 있다.And a processor connected to the camera and detecting a headlight area of another vehicle from the image. In this case, the processor compares the detected brightness value of the headlight area with a reference value to determine whether or not a glare condition has occurred. When it is determined that the glare condition has occurred, Can be set in the camera.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

본 발명에 따른 운전 보조 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.Effects of the driving assistance device and the control method according to the present invention will be described as follows.

본 발명의 실시예들 중 적어도 하나에 의하면, 미리 정해진 상황에서, 일반적인 시야 확보용 가시광과는 구별되는 객체 검출용 가시광을 출력하도록 조명 장치를 제어함으로써, 운전자의 육안으로 확인 가능한 거리보다 멀리 떨어진 오브젝트를 검출할 수 있다. 이에 따라, 운전자가 오브젝트와의 충돌을 회피할 수 있도록 차량의 조작하는 데에 도움을 줄 수 있다.According to at least one of the embodiments of the present invention, by controlling the illuminating device so as to output visible light for object detection, which is distinguished from general visible light for visible clearance in a predetermined situation, Can be detected. Accordingly, it is possible to help the driver to operate the vehicle so as to avoid collision with the object.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 검출된 오브젝트에 관한 정보를 기초로, 조명 장치에 의해 비춰지는 영역의 위치, 형상 또는 밝기 등을 조절함으로써, 오브젝트를 용이하게 인지할 수 있도록 운전자를 지원할 수 있다.According to at least one of the embodiments of the present invention, the position, shape, or brightness of the area illuminated by the illumination device is adjusted based on the information about the detected object so that the object can be easily recognized You can support the driver.

또한, 검출된 오브젝트에 관한 정보를 기초로, 차량의 조향, 가속 또는 제동을 제어함으로써, 주행 시의 안전성을 향상시킬 수 있다.Further, by controlling the steering, acceleration, or braking of the vehicle based on information about the detected object, it is possible to improve the safety during traveling.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명과 관련된 차량의 블록 다이어그램을 보여준다.
도 2는 도 1에 도시된 차량의 예시적인 외관을 도시한 것이다. 설명의 편의를 위해, 차량은 4륜 자동차인 것으로 가정한다.
도 3는 도 1을 참조하여 전술한 차량의 일 예를 보여준다.
도 4a는 차량의 서로 다른 위치에 복수개의 카메라가 장착된 상태를 예시한다. 설명의 편의를 위해, 4개의 카메라들이 장착되는 것으로 가정한다.
도 4b는 차량을 기준으로 360도 방향의 장면이 나타나는 예시적인 합성 영상을 보여준다.
도 5는 본 발명의 일 실시예에 따른 조명 장치의 예시적인 블록 다이어그램이다.
도 6a는 본 발명의 일 실시예에 따른 제1 발광 모듈의 구조를 보여주는 도면이다.
도 6b는 본 발명의 일 실시예에 따른 제2 발광 모듈의 구조를 보여주는 도면이다.
도 6c는 본 발명의 일 실시예에 따른 제3 발광 모듈의 구조를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 운전 보조 장치의 블록 다이어그램을 보여준다.
도 8은 운전 보조 장치에 포함된 카메라가 스테레오 카메라인 경우를 예시한다.
도 9는 도 7에 도시된 프로세서의 내부 블록 다이어그램의 일 예를 보여준다.
도 10a 및 도 10b는 도 9에 도시된 프로세서의 동작 설명에 참조되는 도면이다.
도 11은 본 발명의 일 실시예에 따른 운전 보조 장치가 조명 장치를 제어하여 오브젝트를 검출하는 프로세스의 플로우 챠트를 보여준다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 운전 보조 장치가, 객체 검출용 가시광에 의해 형성된 복수의 마킹 영역을 촬영하는 동작을 설명하기 위한 도면이다.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 운전 보조 장치가 제1 패턴의 가시광을 이용하여, 차량 전방의 거리 정보를 획득하는 동작을 설명하는 도면이다.
도 14a 및 도 14b는 본 발명의 일 실시예에 따른 운전 보조 장치가 제1 패턴의 가시광을 이용하여, 도 13b에 도시된 미검출 영역의 거리 정보를 획득하는 동작을 설명하는 도면이다.
도 15a 내지 도 15d는 본 발명의 일 실시예에 따른 운전 보조 장치가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른 운전 보조 장치가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 운전 보조 장치가 도로의 상태를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 운전 보조 장치가 카메라를 이용하여 차선을 검출하는 프로세스의 플로우 챠트를 보여준다.
도 19a 내지 도 19c는 본 발명의 일 실시예에 따른 운전 보조 장치가 눈부심 상황 발생 시에 수행하는 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 운전 보조 장치가 차선 검출 실패 시, 지도 데이터를 기초로 차선을 추정하는 프로세스의 플로우 챠트를 보여준다.
도 21a 및 도 21b는 본 발명의 일 실시예에 따른 운전 보조 장치가 지도 데이터를 기초로 차선을 추정하는 동작을 설명하기 위한 도면이다.
도 22a 및 도 22b는 본 발명의 일 실시예에 따른 운전 보조 장치가 교차로 내에 유도 차선을 표시하는 동작의 일 예를 보여준다.
도 23a 및 도 23b는 본 발명의 일 실시예에 따른 운전 보조 장치가 교차로 내에 유도 차선을 표시하는 동작의 다른 예를 보여준다.
도 24a 및 도 24b는 본 발명의 일 실시예에 따른 운전 보조 장치가 차량의 차선 이탈을 방지하기 위해 수행하는 동작을 설명하기 위한 도면이다.
도 25a 및 도 25b는 본 발명의 일 실시예에 따른 운전 보조 장치가 차량의 정차를 유도하는 가시광을 출력하는 동작을 설명하기 위한 도면이다.
도 26a 내지 도 26e는 차량이 주행 중인 차로가 다른 차로와 합류되는 구간에서, 본 발명의 일 실시예에 따른 운전 보조 장치가 수행하는 동작을 설명하기 위한 도면이다.Figure 1 shows a block diagram of a vehicle related to the present invention.
Fig. 2 shows an exemplary appearance of the vehicle shown in Fig. 1. Fig. For convenience of explanation, it is assumed that the vehicle is a four-wheeled vehicle.
Fig. 3 shows an example of the vehicle described above with reference to Fig.
4A illustrates a state where a plurality of cameras are mounted at different positions of the vehicle. For convenience of explanation, it is assumed that four cameras are mounted.
FIG. 4B shows an exemplary composite image in which a scene in a 360-degree direction is viewed with respect to a vehicle.
5 is an exemplary block diagram of a lighting apparatus according to an embodiment of the present invention.
6A is a view illustrating a structure of a first light emitting module according to an exemplary embodiment of the present invention.
6B is a view illustrating a structure of a second light emitting module according to an embodiment of the present invention.
6C is a diagram illustrating a structure of a third light emitting module according to an embodiment of the present invention.
7 shows a block diagram of a driving assistance device according to an embodiment of the present invention.
8 illustrates a case where the camera included in the driving assistant device is a stereo camera.
9 shows an example of an internal block diagram of the processor shown in FIG.
10A and 10B are diagrams referred to in the description of the operation of the processor shown in FIG.
11 is a flowchart of a process in which a driving assistance device according to an embodiment of the present invention controls an illumination device to detect an object.
12A to 12C are views for explaining an operation of photographing a plurality of marking regions formed by visible light for object detection, according to the driving assistance device according to an embodiment of the present invention.
13A to 13C are views for explaining an operation in which a driving assistance device according to an embodiment of the present invention acquires distance information in front of the vehicle using a first pattern of visible light.
FIGS. 14A and 14B are diagrams for explaining the operation of obtaining the distance information of the undetected area shown in FIG. 13B using the first pattern of visible light by the driving assistance device according to the embodiment of the present invention.
FIGS. 15A to 15D are views for explaining operations performed by the driving assistant device according to an embodiment of the present invention, based on object information.
16A and 16B are views for explaining an operation of the driving assistance device according to an embodiment of the present invention to perform based on object information.
17 is a view for explaining an operation in which a driving assistance device according to an embodiment of the present invention performs on the basis of a road condition.
18 is a flowchart of a process in which a driving assistance device detects a lane using a camera according to an embodiment of the present invention.
FIGS. 19A to 19C are views for explaining an operation performed by the driving assist system according to an embodiment of the present invention when a glare situation occurs. FIG.
20 shows a flowchart of a process of estimating a lane based on map data when the driving assistance device fails to detect a lane according to an embodiment of the present invention.
FIGS. 21A and 21B are diagrams for explaining an operation of a driving assistance device according to an embodiment of the present invention for estimating a lane based on map data.
22A and 22B show an example of an operation in which a driving assistance device according to an embodiment of the present invention displays an induction lane in an intersection.
23A and 23B show another example of the operation in which the driving assistance device according to the embodiment of the present invention displays an induction lane in an intersection.
24A and 24B are views for explaining operations performed by the driving assistance device according to an embodiment of the present invention to prevent lane departure of the vehicle.
25A and 25B are views for explaining an operation in which a driving assist device according to an embodiment of the present invention outputs visible light for inducing a vehicle to stop.
26A to 26E are views for explaining operations performed by the driving assistance device according to an embodiment of the present invention in a section where a lane on which the vehicle is traveling joins another lane.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소를 "제어"한다는 것은, 어떤 구성요소가 다른 구성요소를 직접적으로 제어하는 것은 물론, 제3의 구성요소의 중개를 통해 제어하는 것까지 포괄하는 의미로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소에 정보 내지 신호를 "제공"한다는 것은, 어떤 구성요소가 다른 구성요소에 직접 제공하는 것은 물론, 제3의 구성요소의 중개를 통해 제공하는 것까지 포괄하는 의미로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. It should also be understood that the term "controlling" one component is meant to encompass not only one component directly controlling the other component, but also controlling through mediation of a third component something to do. It is also to be understood that any element "providing" information or signals to another element is meant to encompass not only providing the element directly to the other element, but also providing it through intermediation of a third element .

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.The vehicle described in the present specification may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.

도 1은 본 발명과 관련된 차량(100)의 블록 다이어그램을 보여준다.1 shows a block diagram of a vehicle 100 related to the present invention.

차량(100)은 통신부(110), 입력부(120), 메모리(130), 출력부(140), 차량 구동부(150), 센싱부(160), 제어부(170), 인터페이스부(180) 및 전원부(190)를 포함할 수 있다.The vehicle 100 includes a communication unit 110, an input unit 120, a memory 130, an output unit 140, a vehicle driving unit 150, a sensing unit 160, a control unit 170, an interface unit 180, (Not shown).

통신부(110)는 차량(100)과 외부 기기(예, 휴대 단말, 외부 서버, 타차량)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(110)는 차량(100)을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.The communication unit 110 may include one or more modules that enable wireless communication between the vehicle 100 and an external device (e.g., portable terminal, external server, other vehicle). In addition, the communication unit 110 may include one or more modules that connect the vehicle 100 to one or more networks.

통신부(110)는 방송 수신 모듈(111), 무선 인터넷 모듈(112), 근거리 통신 모듈(113), 위치 정보 모듈(114) 및 광통신 모듈(115)을 포함할 수 있다.The communication unit 110 may include a broadcast receiving module 111, a wireless Internet module 112, a local area communication module 113, a location information module 114, and an optical communication module 115.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.The broadcast receiving module 111 receives broadcast signals or broadcast-related information from an external broadcast management server through a broadcast channel. Here, the broadcast includes a radio broadcast or a TV broadcast.

무선 인터넷 모듈(112)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(112)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.The wireless Internet module 112 refers to a module for wireless Internet access, and may be built in or externally mounted on the vehicle 100. The wireless Internet module 112 is configured to transmit and receive wireless signals in a communication network according to wireless Internet technologies.

무선 인터넷 기술로는 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(112)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(112)은 외부 서버와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(112)은 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA, WiBro Interoperability for Microwave Access, High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE) and Long Term Evolution-Advanced (LTE-A) 112 transmit and receive data according to at least one wireless Internet technology, including Internet technologies not listed above. For example, the wireless Internet module 112 may exchange data wirelessly with an external server. The wireless Internet module 112 can receive weather information and road traffic situation information (for example, TPEG (Transport Protocol Expert Group)) from an external server.

근거리 통신 모듈(113)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. The short-range communication module 113 is for short-range communication, and includes Bluetooth ™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB) (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technology.

이러한, 근거리 통신 모듈(113)은 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(113)은 탑승자의 휴대 단말과 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(113)은 휴대 단말이나 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량(100)에 탑승한 경우, 사용자의 휴대 단말과 차량(100)은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.The short-range communication module 113 may form short-range wireless communication networks to perform short-range communication between the vehicle 100 and at least one external device. For example, the short-range communication module 113 can wirelessly exchange data with the occupant's portable terminal. The short-range communication module 113 can receive weather information and road traffic situation information (for example, TPEG (Transport Protocol Expert Group)) from a portable terminal or an external server. For example, when the user aboard the vehicle 100, the user's portable terminal and the vehicle 100 can perform pairing with each other automatically or by execution of the user's application.

위치 정보 모듈(114)은 차량(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다. The position information module 114 is a module for acquiring the position of the vehicle 100, and a representative example thereof is a Global Positioning System (GPS) module. For example, when the vehicle utilizes a GPS module, it can acquire the position of the vehicle using a signal sent from the GPS satellite.

광통신 모듈(115)은 광발신부 및 광수신부를 포함할 수 있다. The optical communication module 115 may include a light emitting portion and a light receiving portion.

광수신부는 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 발광 소자에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다. The light receiving section can convert the light signal into an electric signal and receive the information. The light receiving unit may include a photodiode (PD) for receiving light. Photodiodes can convert light into electrical signals. For example, the light receiving section can receive the information of the preceding vehicle through the light emitted from the light emitting element included in the front vehicle.

광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량(100)에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(115)은 광 통신을 통해 타차량과 데이터를 교환할 수 있다.The light emitting unit may include at least one light emitting element for converting an electric signal into an optical signal. Here, the light emitting element is preferably an LED (Light Emitting Diode). The optical transmitter converts the electrical signal into an optical signal and transmits it to the outside. For example, the optical transmitter can emit the optical signal to the outside through the blinking of the light emitting element corresponding to the predetermined frequency. According to an embodiment, the light emitting portion may include a plurality of light emitting element arrays. According to the embodiment, the light emitting portion can be integrated with the lamp provided in the vehicle 100. [ For example, the light emitting portion may be at least one of a headlight, a tail light, a brake light, a turn signal lamp, and a car light. For example, the optical communication module 115 can exchange data with other vehicles through optical communication.

입력부(120)는 운전 조작 수단(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.The input unit 120 may include a driving operation unit 121, a microphone 123, and a user input unit 124.

운전 조작 수단(121)은 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단(121)은 조향 입력 수단(121a), 쉬프트 입력 수단(121b), 가속 입력 수단(121c), 브레이크 입력 수단(121d)을 포함할 수 있다. The driving operation means 121 receives a user input for driving the vehicle 100. The driving operation means 121 may include a steering input means 121a, a shift input means 121b, an acceleration input means 121c and a brake input means 121d.

조향 입력 수단(121a)은 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 수단(121a)은 스티어링 휠을 포함할수 있다. 실시예에 따라, 조향 입력 수단(121a)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.The steering input means 121a receives a forward direction input of the vehicle 100 from the user. The steering input means 121a may include a steering wheel. According to the embodiment, the steering input means 121a may be formed of a touch screen, a touch pad, or a button.

쉬프트 입력 수단(121b)은 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(121b)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(121b)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다. The shift input means 121b receives inputs of parking (P), forward (D), neutral (N), and reverse (R) of the vehicle 100 from the user. The shift input means 121b is preferably formed in a lever shape. According to an embodiment, the shift input means 121b may be formed of a touch screen, a touch pad, or a button.

가속 입력 수단(121c)은 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(121d)은 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 수단(121c) 및 브레이크 입력 수단(121d)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(121c) 또는 브레이크 입력 수단(121d)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.The acceleration input means 121c receives an input for acceleration of the vehicle 100 from the user. The brake input means 121d receives an input for decelerating the vehicle 100 from the user. The acceleration input means 121c and the brake input means 121d are preferably formed in the form of a pedal. According to the embodiment, the acceleration input means 121c or the brake input means 121d may be formed of a touch screen, a touch pad, or a button.

카메라(122)는 차량(100)의 실내 일측에 배치되어, 차량(100)의 실내 영상을 생성한다. 예컨대, 카메라(122)는 대쉬보드 표면, 루프 표면, 리어 뷰 미러 등 차량(100)의 다양한 위치에 배치되어, 차량(100)의 탑승자를 촬영할 수 있다. 이 경우, 카메라(122)는 차량(100)의 운전석을 포함하는 영역에 대한 실내 영상을 생성할 수 있다. 또한, 카메라(122)는 차량(100)의 운전석 및 보조석을 포함하는 영역에 대한 실내 영상을 생성할 수 있다. 카메라(122)에 의해 생성되는 실내 영상은 2차원 영상 및/또는 3차원 영상일 수 있다. 3차원 영상을 생성하기 위해, 카메라(122)는 스테레오 카메라, 깊이 카메라 및 3차원 레이저 스캐너 중 적어도 하나를 포함할 수 있다. 카메라(122)는 자신이 생성한 실내 영상을, 이와 기능적으로 결합된 제어부(170)로 제공할 수 있다. The camera 122 is disposed at one side of the interior of the vehicle 100 to generate an indoor image of the vehicle 100. [ For example, the camera 122 may be disposed at various positions of the vehicle 100, such as a dashboard surface, a roof surface, a rear view mirror, etc., to photograph the passenger of the vehicle 100. In this case, the camera 122 may generate an indoor image of an area including the driver's seat of the vehicle 100. [ In addition, the camera 122 may generate an indoor image of an area including an operator's seat and an assistant seat of the vehicle 100. [ The indoor image generated by the camera 122 may be a two-dimensional image and / or a three-dimensional image. To generate a three-dimensional image, the camera 122 may include at least one of a stereo camera, a depth camera, and a three-dimensional laser scanner. The camera 122 can provide the indoor image generated by the camera 122 to the control unit 170 functionally combined with the indoor image.

제어부(170)는 카메라(122)로부터 제공되는 실내 영상을 분석하여, 각종 오브젝트를 검출할 수 있다. 예컨대, 제어부(170)는 실내 영상 중 운전석 영역에 대응하는 부분으로부터 운전자의 시선 및/또는 제스처를 검출할 수 있다. 다른 예로, 제어부(170)는 실내 영상 중 운전석 영역을 제외한 실내 영역에 대응하는 부분으로부터 동승자의 시선 및/또는 제스처를 검출할 수 있다. 물론, 운전자와 동승자의 시선 및/또는 제스처는 동시에 검출될 수도 있다.The controller 170 analyzes the indoor image provided from the camera 122 and can detect various objects. For example, the control unit 170 can detect the sight line and / or the gesture of the driver from the portion corresponding to the driver's seat area in the indoor image. As another example, the control unit 170 can detect the sight line and / or the gesture of the passenger from the portion corresponding to the indoor area excluding the driver's seat area in the indoor image. Of course, the sight line and / or the gesture of the driver and the passenger may be detected at the same time.

마이크로 폰(123)은 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다. The microphone 123 can process an external acoustic signal into electrical data. The processed data can be utilized variously according to functions performed in the vehicle 100. The microphone 123 can convert the voice command of the user into electrical data. The converted electrical data may be transmitted to the control unit 170.

한편, 실시예에 따라, 카메라(122) 또는 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(160)에 포함되는 구성요소일 수도 있다.The camera 122 or the microphone 123 may be a component included in the sensing unit 160 and not a component included in the input unit 120. [

사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.The user input unit 124 is for receiving information from a user. When information is input through the user input unit 124, the controller 170 may control the operation of the vehicle 100 to correspond to the input information. The user input unit 124 may include a touch input means or a mechanical input means. According to an embodiment, the user input 124 may be located in one area of the steering wheel. In this case, the driver can operate the user input unit 124 with his / her finger while holding the steering wheel.

입력부(120)는 복수의 버튼 또는 터치 센서를 구비할 수 있다. 복수의 버튼 또는 터치 센서를 통해, 다양한 입력 동작을 수행하는 것도 가능하다.The input unit 120 may include a plurality of buttons or a touch sensor. It is also possible to perform various input operations through a plurality of buttons or touch sensors.

센싱부(160)는 차량(100)의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(160)는 충돌 센서, 스티어링 센서(steering sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 적외선 센서, 레이더(162), 라이다(163), 초음파 센서(164) 등을 포함할 수 있다.The sensing unit 160 senses a signal related to the running of the vehicle 100 or the like. To this end, the sensing unit 160 may include a sensor, a steering sensor, a speed sensor, a tilt sensor, a weight sensor, a heading sensor, a yaw sensor, a gyro sensor, A position sensor, a position module, a vehicle forward / reverse sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, a vehicle internal humidity sensor, 163, an ultrasonic sensor 164, and the like.

이에 의해, 센싱부(160)는 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다. 또한, 제어부(170)는 차량(100)에 구비된 카메라, 초음파 센서, 적외선 센서, 레이더 및 라이다 중 적어도 어느 하나에 의해 획득된 외부 환경 정보를 기초로, 차량(100)의 가속, 감속, 방향 전환 등을 위한 제어신호를 생성할 수 있다. 여기서, 외부 환경 정보란, 주행 중인 차량(100)으로부터 소정 거리 범위 내에 위치하는 각종 오브젝트와 관련된 정보일 수 있다. 예를 들어, 외부 환경 정보에는, 차량(100)으로부터 100m 내의 거리에 위치하는 장애물의 수, 장애물까지의 거리, 장애물의 크기, 장애물의 유형 등에 관한 정보가 포함될 수 있다.Accordingly, the sensing unit 160 can sense the vehicle collision information, the vehicle direction information, the vehicle position information (GPS information), the vehicle angle information, the vehicle speed information, the vehicle acceleration information, the vehicle tilt information, Fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, and the like. The control unit 170 controls the acceleration and deceleration of the vehicle 100 based on the external environment information obtained by at least one of the camera, the ultrasonic sensor, the infrared sensor, the radar, A control signal for changing direction, etc. can be generated. Here, the external environment information may be information related to various objects located within a predetermined distance from the vehicle 100 in motion. For example, the external environment information may include information on the number of obstacles located within a distance of 100 m from the vehicle 100, a distance to the obstacle, a size of the obstacle, a type of the obstacle, and the like.

한편, 센싱부(160)는 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 포함할 수 있다.The sensing unit 160 may further include an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor AFS, an intake air temperature sensor ATS, a water temperature sensor WTS, A sensor (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.

센싱부(160)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 카메라(122) 및 마이크로 폰(123)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 카메라(122)를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다. The sensing unit 160 may include a biometric information sensing unit. The biometric information sensing unit senses and acquires the biometric information of the passenger. The biometric information may include fingerprint information, iris-scan information, retina-scan information, hand geo-metry information, facial recognition information, Voice recognition information. The biometric information sensing unit may include a sensor that senses the passenger's biometric information. Here, the camera 122 and the microphone 123 can operate as sensors. The biometric information sensing unit can acquire hand shape information and facial recognition information through the camera 122. [

센싱부(160)는 차량(100)의 외부를 촬영하는 적어도 하나 이상의 카메라(161)를 포함할 수 있다. 카메라(161)는 외부 카메라로 명명될 수 있다. 예를 들어, 센싱부(160)는 차량 외관의 서로 다른 위치에 배치되는 복수의 카메라(161)들을 포함할 수 있다. 이러한 카메라(161)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(161)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.The sensing unit 160 may include at least one camera 161 for photographing the outside of the vehicle 100. [ The camera 161 may be referred to as an external camera. For example, the sensing unit 160 may include a plurality of cameras 161 disposed at different positions of the vehicle exterior. The camera 161 may include an image sensor and an image processing module. The camera 161 can process still images or moving images obtained by an image sensor (e.g., CMOS or CCD). The image processing module may process the still image or the moving image obtained through the image sensor, extract necessary information, and transmit the extracted information to the control unit 170.

카메라(161)는 이미지 센서(예를 들면, CMOS 또는 CCD)와 영상 처리 모듈을 포함할 수 있다. 또한, 카메라(161)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공할 수 있다. 또한, 카메라(161)는 신호등, 교통 표지판, 보행자, 타차량 및 노면 중 적어도 하나를 포함하는 영상을 획득할 수 있다.The camera 161 may include an image sensor (e.g., CMOS or CCD) and an image processing module. In addition, the camera 161 can process still images or moving images obtained by the image sensor. The image processing module can process the still image or moving image obtained through the image sensor. In addition, the camera 161 may acquire an image including at least one of a traffic light, a traffic sign, a pedestrian, another vehicle, and a road surface.

출력부(140)는 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부(141), 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다.The output unit 140 may include a display unit 141, an acoustic output unit 142, and a haptic output unit 143 for outputting information processed by the control unit 170.

디스플레이부(141)는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부(141)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.The display unit 141 may display information processed by the controller 170. [ For example, the display unit 141 can display vehicle-related information. Here, the vehicle-related information may include vehicle control information for direct control of the vehicle, or driving assistance information for a driver's guide to the vehicle driver. Further, the vehicle-related information may include vehicle state information indicating the current state of the vehicle or vehicle driving information related to the driving of the vehicle.

디스플레이부(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit 141 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED) display, a 3D display, and an e-ink display.

디스플레이부(141)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은 차량(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(124)로써 기능함과 동시에, 차량(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이부(141)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(141)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(141)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(170)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.The display unit 141 may have a mutual layer structure with the touch sensor or may be integrally formed to realize a touch screen. Such a touch screen may function as a user input 124 that provides an input interface between the vehicle 100 and a user and may provide an output interface between the vehicle 100 and a user. In this case, the display unit 141 may include a touch sensor that senses a touch with respect to the display unit 141 so as to receive a control command by a touch method. When a touch is made to the display unit 141, the touch sensor senses the touch, and the control unit 170 generates a control command corresponding to the touch based on the touch. The content input by the touch method may be a letter or a number, an instruction in various modes, a menu item which can be designated, and the like.

한편, 디스플레이부(141)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.Meanwhile, the display unit 141 may include a cluster so that the driver can check the vehicle state information or the vehicle driving information while driving. Clusters can be located on the dashboard. In this case, the driver can confirm the information displayed in the cluster while keeping the gaze ahead of the vehicle.

한편, 실시예에 따라, 디스플레이부(141)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(141)가 HUD로 구현되는 경우, 윈드 쉴드에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이부(141)는 투사 모듈을 구비하여 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.Meanwhile, according to the embodiment, the display unit 141 may be implemented as a Head Up Display (HUD). When the display unit 141 is implemented as a HUD, information can be output through a transparent display provided in the windshield. Alternatively, the display unit 141 may include a projection module to output information through an image projected on the windshield.

음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(124) 동작에 대응하는 사운드를 출력하는 것도 가능하다.The sound output unit 142 converts an electric signal from the control unit 170 into an audio signal and outputs the audio signal. For this purpose, the sound output unit 142 may include a speaker or the like. It is also possible that the sound output unit 142 outputs a sound corresponding to the operation of the user input unit 124. [

햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.The haptic output unit 143 generates a tactile output. For example, the haptic output section 143 may vibrate the steering wheel, the seat belt, and the seat so that the user can operate to recognize the output.

차량 구동부(150)는 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 와이퍼 구동부(159) 중 적어도 하나 이상을 포함할 수 있다.The vehicle driving unit 150 can control the operation of various devices of the vehicle. The vehicle driving unit 150 includes a power source driving unit 151, a steering driving unit 152, a brake driving unit 153, a lamp driving unit 154, an air conditioning driving unit 155, a window driving unit 156, an airbag driving unit 157, A driving unit 158, and a wiper driving unit 159. [0035]

동력원 구동부(151)는 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 동력원 구동부(151)는 차량(100)의 속도를 증가시키는 가속 장치 및 차량(100)의 속도를 감소시키는 제동 장치를 포함할 수 있다.The power source drive unit 151 may perform electronic control of the power source in the vehicle 100. [ The power source drive unit 151 may include an acceleration device for increasing the speed of the vehicle 100 and a braking device for decreasing the speed of the vehicle 100. [

예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.For example, when the fossil fuel-based engine (not shown) is a power source, the power source drive unit 151 can perform electronic control of the engine. Thus, the output torque of the engine and the like can be controlled. When the power source drive unit 151 is an engine, the speed of the vehicle can be limited by limiting the engine output torque under the control of the control unit 170. [

다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.In another example, when the electric motor (not shown) is a power source, the power source drive unit 151 can perform control on the motor. Thus, the rotation speed, torque, etc. of the motor can be controlled.

조향 구동부(152)는 조향 장치(steering apparatus)를 포함할 수 있다. 이에, 조향 구동부(152)는 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 조향 구동부(152)에는 조향토크센서, 조향각센서 및 조향모터가 구비될 수 있고, 운전자가 스티어링 휠에 가하는 조향토크는 조향토크센서에 의해 감지될 수 있다. 조향 구동부(152)는 차량(100)의 속도 및 조향토크 등을 기초로, 조향모터에 인가되는 전류의 크기와 방향을 변경함으로써, 조향력과 조향각을 제어할 수 있다. 또한, 조향 구동부(152)는 조향각센서에 의해 획득된 조향각 정보를 기초로, 차량(100)의 주행방향이 제대로 조절되고 있는 상태인지 판단할 수 있다. 이에 의해, 차량의 주행 방향을 변경할 수 있다. 또한, 조향 구동부(152)는 차량(100)이 저속 주행 시에는 조향모터의 조향력을 증가시켜 스티어링 휠의 무게감을 낮추고, 차량(100)이 고속 주행 시에는 조향모터의 조향력을 감소시켜 스티어링 휠의 무게감을 높일 수 있다. 또한, 차량(100)의 자율 주행 기능이 실행된 경우, 조향 구동부(152)는 운전자가 스티어링 휠을 조작하는 상황(예, 조향토크가 감지되지 않는 상황)에서도, 센싱부(160)가 출력하는 센싱 신호 또는 제어부(170)가 제공하는 제어신호 등을 기초로, 조향모터가 적절한 조향력을 발생시키도록 제어할 수도 있다.The steering driver 152 may include a steering apparatus. Accordingly, the steering driver 152 can perform electronic control of the steering apparatus in the vehicle 100. [ For example, the steering driver 152 may be provided with a steering torque sensor, a steering angle sensor, and a steering motor, and the steering torque applied by the driver to the steering wheel may be sensed by the steering torque sensor. The steering driver 152 can control the steering force and the steering angle by changing the magnitude and direction of the current applied to the steering motor based on the speed of the vehicle 100 and the steering torque. In addition, the steering driver 152 can determine whether the running direction of the vehicle 100 is properly adjusted based on the steering angle information obtained by the steering angle sensor. Thereby, the running direction of the vehicle can be changed. In addition, when the vehicle 100 is running at a low speed, the steering driver 152 lowers the weight of the steering wheel by increasing the steering force of the steering motor and reduces the steering force of the steering motor when the vehicle 100 is traveling at high speed, The weight can be increased. When the autonomous vehicle running function of the vehicle 100 is executed, the steering driver 152 may be configured to determine whether or not the steering wheel 160 is in a state where the driver operates the steering wheel (e.g., a situation in which the steering torque is not detected) It is also possible to control the steering motor to generate appropriate steering force based on the sensing signal or the control signal provided by the control unit 170. [

브레이크 구동부(153)는 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다. The brake driver 153 may perform electronic control of a brake apparatus (not shown) in the vehicle 100. [ For example, it is possible to reduce the speed of the vehicle 100 by controlling the operation of the brakes disposed on the wheels. As another example, it is possible to adjust the traveling direction of the vehicle 100 to the left or right by differently operating the brakes respectively disposed on the left wheel and the right wheel.

램프 구동부(154)는 차량 내, 외부에 배치되는 적어도 하나 이상의 램프의 턴 온/턴 오프를 제어할 수 있다. 램프 구동부(154)는 조명 장치를 포함할 수 있다. 또한, 램프 구동부(154)는 조명 장치에 포함된 램프 각각이 출력하는 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 헤드램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.The lamp driving unit 154 may control the turn-on / turn-off of at least one or more lamps disposed inside or outside the vehicle. The lamp driver 154 may include a lighting device. Further, the lamp driving unit 154 can control intensity, direction, etc. of light output from each of the lamps included in the lighting apparatus. For example, it is possible to perform control for a direction indicating lamp, a head lamp, a brake lamp, and the like.

공조 구동부(155)는 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다. The air conditioning driving unit 155 may perform electronic control on an air conditioner (not shown) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioner can be operated to control the cool air to be supplied to the inside of the vehicle.

윈도우 구동부(156)는 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다. The window driving unit 156 may perform electronic control of a window apparatus in the vehicle 100. [ For example, it is possible to control the opening or closing of the side of the vehicle with respect to the left and right windows.

에어백 구동부(157)는 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.The airbag drive 157 may perform electronic control of the airbag apparatus in the vehicle 100. [ For example, in case of danger, the airbag can be controlled to fire.

썬루프 구동부(158)는 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.The sunroof driving unit 158 may perform electronic control of a sunroof apparatus (not shown) in the vehicle 100. [ For example, the opening or closing of the sunroof can be controlled.

와이퍼 구동부(159)는 차량(100)에 구비된 와이퍼(14a, 14b)에 대한 제어를 수행할 수 있다. 예를 들어, 와이퍼 구동부(159)는 사용자 입력부(124)를 통해 와이퍼를 구동할 것을 명령하는 사용자 입력을 수신 시, 사용자 입력에 따라 와이퍼(14a, 14b)의 구동 횟수, 구동 속도 등에 대한 전자식 제어를 수행할 수 있다. 다른 예를 들어, 와이퍼 구동부(159)는 센싱부(160)에 포함된 레인센서(rain sensor)의 센싱 신호를 기초로, 빗물의 양 또는 세기를 판단하여, 사용자 입력없이도 와이퍼(14a, 14b)를 자동적으로 구동할 수 있다.The wiper driving unit 159 may control the wipers 14a and 14b provided on the vehicle 100. [ For example, the wiper drive 159 may be configured to provide an electronic control for the number of drives, drive speeds, etc. of the wipers 14a, 14b in response to user input upon receipt of a user input instructing to drive the wiper through the user input 124 Can be performed. The wiper drive unit 159 may determine the amount or intensity of the rainwater based on the sensing signal of the rain sensor included in the sensing unit 160 so that the wipers 14a and 14b may be used without user input, Can be automatically driven.

한편, 차량 구동부(150)는 서스펜션 구동부(미도시)를 더 포함할 수 있다. 서스펜션 구동부는 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.Meanwhile, the vehicle driving unit 150 may further include a suspension driving unit (not shown). The suspension driving unit may perform electronic control of a suspension apparatus (not shown) in the vehicle 100. For example, when there is a curvature on the road surface, it is possible to control the suspension device so as to reduce the vibration of the vehicle 100. [

메모리(130)는 제어부(170)와 전기적으로 연결된다. 메모리(170)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(190)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.The memory 130 is electrically connected to the controller 170. The memory 170 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data. The memory 190 may be, in hardware, various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, and the like. The memory 130 may store various data for operation of the vehicle 100, such as a program for processing or controlling the controller 170. [

인터페이스부(180)는 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 휴대 단말과 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 휴대 단말과 연결할 수 있다. 이경우, 인터페이스부(180)는 휴대 단말과 데이터를 교환할 수 있다.The interface unit 180 may serve as a path to various kinds of external devices connected to the vehicle 100. For example, the interface unit 180 may include a port connectable to the portable terminal, and may be connected to the portable terminal through the port. In this case, the interface unit 180 can exchange data with the portable terminal.

인터페이스부(180)는 턴 시그널 정보를 수신할 수 있다. 여기서, 턴 시그널 정보는 사용자에 의해 입력된 좌회전 또는 우회전을 위한 방향 지시등의 턴 온(turn on) 시그널일 수 있다. 차량(100)의 사용자 입력부(도 1의 124)를 통해, 좌측 또는 우측 방향 지시등 턴 온 입력이 수신되는 경우, 인터페이스부(180)는 좌측 또는 우측 방향 턴 시그널 정보를 수신할 수 있다.The interface unit 180 may receive the turn signal information. Here, the turn signal information may be a turn-on signal of the turn signal lamp for the left turn or the turn right turn inputted by the user. When the left or right turn signal turn-on input is received through the user input (124 in FIG. 1) of the vehicle 100, the interface unit 180 may receive the left or right turn signal information.

인터페이스부(180)는 차량 속도 정보, 스티어링 휠의 회전 각도 정보 또는 기어 쉬프트 정보를 수신할 수 있다. 인터페이스부(180)는 차량의 센싱부(160)를 통해 센싱된 차량 속도 정보, 스티어링 휠 회전 각도 정보, 또는 기어 쉬프트 정보를 수신할 수 있다. 또는, 인터페이스부(180)는 차량의 제어부(170)로부터 차량 속도 정보, 스티어링 휠 회전 각도 정보 또는 기어 쉬프트 정보를 수신할 수 있다. 한편, 여기서, 기어 쉬프트 정보는, 차량의 변속 레버가 어느 상태에 있는지에 대한 정보일 수 있다. 예를 들면, 기어 쉬프트 정보는 변속 레버가 주차(P), 후진(R), 중립(N), 주행(D), 1 내지 다단 기어 상태 중 어느 하나 중 어느 상태에 있는지에 대한 정보일 수 있다.The interface unit 180 may receive vehicle speed information, rotation angle information of the steering wheel, or gear shift information. The interface unit 180 may receive the sensed vehicle speed information, the steering wheel rotation angle information, or the gear shift information through the sensing unit 160 of the vehicle. Alternatively, the interface unit 180 may receive the vehicle speed information, the steering wheel rotation angle information, or the gear shift information from the control unit 170 of the vehicle. Here, the gear shift information may be information on which state the shift lever of the vehicle is in. For example, the gear shift information may be information on which state the shift lever is in the parking (P), reverse (R), neutral (N), running (D) .

인터페이스부(180)는 차량(100)의 사용자 입력부(124)를 통해 수신되는 사용자 입력을 수신할 수 있다. 인터페이스부(180)는 사용자 입력을 차량(100)의 입력부(120)로부터 수신하거나, 제어부(170)를 거쳐 수신할 수 있다.The interface unit 180 may receive user input received via the user input 124 of the vehicle 100. [ The interface unit 180 may receive the user input from the input unit 120 of the vehicle 100 or may receive the user input through the control unit 170. [

인터페이스부(180)는 외부 기기로부터 획득된 정보를 수신할 수 있다. 예를 들면, 차량(100)의 통신부(110)를 통해 외부 서버로부터 신호등 변경 정보가 수신되는 경우, 인터페이스부(180)는 상기 신호등 변경 정보를 제어부(170)로부터 수신할 수 있다. The interface unit 180 can receive information obtained from an external device. For example, when the traffic light change information is received from the external server through the communication unit 110 of the vehicle 100, the interface unit 180 can receive the traffic light change information from the control unit 170. [

제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.The control unit 170 can control the overall operation of each unit in the vehicle 100. [ The control unit 170 may be referred to as an ECU (Electronic Control Unit).

제어부(170)는 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어부(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 제어부(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.The control unit 170 may be implemented in hardware as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) ), Controllers, micro-controllers, microprocessors, and other electronic units for performing other functions.

전원부(190)는 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(170)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.The power supply unit 190 can supply power necessary for the operation of each component under the control of the controller 170. [ In particular, the power supply unit 170 can receive power from a battery (not shown) or the like inside the vehicle.

AVN(Audio Video Navigation) 장치(400)는 제어부(170)와 데이터를 교환할 수 있다. 제어부(170)는 AVN 장치 또는 별도의 내비게이션 장치(미도시)로부터 내비게이션 정보를 수신할 수 있다. 여기서, 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지에 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보 또는 차량 위치 정보를 포함할 수 있다. The AVN (Audio Video Navigation) device 400 can exchange data with the control unit 170. [ The control unit 170 may receive navigation information from the AVN apparatus or a separate navigation apparatus (not shown). Here, the navigation information may include set destination information, route information according to the destination, map information about the vehicle driving, or vehicle location information.

한편, 도 1에 도시된 구성요소들 중 일부는 차량(100)를 구현하는데 있어서 필수적인 것이 아닐 수 있다. 따라서, 본 명세서 상에서 설명되는 차량(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.On the other hand, some of the components shown in FIG. 1 may not be essential to the implementation of the vehicle 100. Thus, the vehicle 100 described herein may have more or fewer components than those listed above.

도 2는 도 1에 도시된 차량(100)의 예시적인 외관을 도시한 것이다. 설명의 편의를 위해, 차량(100)은 4륜 자동차인 것으로 가정한다.Fig. 2 shows an exemplary appearance of the vehicle 100 shown in Fig. For convenience of explanation, it is assumed that the vehicle 100 is a four-wheeled vehicle.

도 2를 참조하면, 차량(100)은 동력원에 의해 회전하는 타이어(11a-11d), 차량(100)의 진행 방향을 조절하기 위한 스티어링 휠(12), 헤드램프(13a, 13b) 등을 포함할 수 있다.2, the vehicle 100 includes a tire 11a-11d rotated by a power source, a steering wheel 12 for adjusting the traveling direction of the vehicle 100, headlamps 13a and 13b, and the like can do.

차량(100)의 전고(H)는 접지면으로부터 차체의 가장 높은 곳까지의 길이로서, 차량(100)의 탑승자나 적재물의 무게나 위치 등에 따라, 소정 범위 내에서 변경될 수 있다. 또한, 차량(100)는 차체의 최저 지점과 노면 사이는 최저 지상고(G)만큼 이격될 수 있다. 이에 따라, 최저 지상고(G)보다 낮은 높이를 가지는 물체에 의한 차체 손상을 막을 수 있다.The height H of the vehicle 100 is the length from the ground plane to the highest position of the vehicle body and can be changed within a predetermined range depending on the weight or position of the occupant or the load of the vehicle 100. [ Further, the vehicle 100 may be separated by a minimum ground clearance G between the lowest point of the vehicle body and the road surface. Thus, the vehicle body can be prevented from being damaged by an object having a height lower than the minimum ground clearance G.

차량(100)의 전방 좌우 타이어(11a, 11b) 간의 간격과 후방 좌우 타이어(11c, 11d) 간의 간격은 동일한 것으로 가정한다. 이하에서는, 전륜 좌측 타이어(11a)의 내측과 우측 타이어(11b)의 내측 사이의 거리와 후륜 좌측 타이어(11c)의 내측과 우측 타이어(11d)의 내측 사이의 거리는 동일한 값(T)인 것으로 가정한다. It is assumed that the distance between the front left and right tires 11a and 11b of the vehicle 100 and the distance between the rear left and right tires 11c and 11d are the same. It is assumed that the distance between the inside of the front wheel left tire 11a and the inside of the right tire 11b and the distance between the inside of the rear left tire 11c and the inside of the right tire 11d are the same value T do.

차량(100)의 전폭(O)은 사이드 미러(예, 전동 접이식 사이드 미러)를 제외한 차량(100)의 차체 좌측 끝단부터 우측 끝단 간의 최대 거리로 정의될 수 있다.The full width O of the vehicle 100 can be defined as the maximum distance between the left end of the vehicle body and the right end of the vehicle 100 excluding the side mirror (e.g., electric folding side mirror).

한편, 차량(100)의 윈드 쉴드의 일측에는, 도 1에 도시된 카메라(161)와는 별개의 카메라(195)가 장착될 수 있다. 카메라(195)는 후술할 운전 보조 장치(700)에 포함되는 것일 수 있다. 카메라(195)는 차량(100)의 전방에 대한 3차원 데이터를 제공하는 스테레오 카메라일 수 있다.On the other hand, a camera 195 separate from the camera 161 shown in Fig. 1 may be mounted on one side of the windshield of the vehicle 100. [ The camera 195 may be included in the driving assistance device 700 to be described later. The camera 195 may be a stereo camera that provides three-dimensional data about the front of the vehicle 100. [

차량(100)의 제어부(170) 또는 운전 보조 장치(700)의 프로세서(770)는 카메라(195)로부터 제공되는 전방의 영상을 기초로, 차량(100)의 외부 환경과 관련된 정보를 획득할 수 있다. 예컨대, 외부 환경과 관련된 정보는, 카메라(195)의 촬영 범위 내에 위치하는 각종 오브젝트(예, 보행자, 신호등, 대향 차량, 벽)에 관한 데이터를 포함할 수 있다.The control unit 170 of the vehicle 100 or the processor 770 of the driving assistance apparatus 700 can acquire information related to the external environment of the vehicle 100 based on the forward image provided from the camera 195 have. For example, the information related to the external environment may include data relating to various objects (e.g., a pedestrian, a traffic light, an opposing vehicle, a wall) located within the shooting range of the camera 195.

이 경우, 차량(100)의 제어부(170) 또는 운전 보조 장치(700)의 프로세서(770)는, 획득된 외부 환경과 관련된 정보를 기초로, 기 설정된 적어도 하나의 동작을 실행하기 위한 제어 신호를 구동부(150)에 출력할 수 있다. 예컨대, 차량(100)의 제어부(170) 또는 운전 보조 장치(700)의 프로세서(770)는, 차량(100)의 조향, 가속, 제동 및 조명 중 적어도 하나를 제어할 수 있다.In this case, the control unit 170 of the vehicle 100 or the processor 770 of the driving assistant apparatus 700 generates a control signal for executing at least one predetermined operation based on the information related to the obtained external environment And outputs it to the driving unit 150. For example, the control unit 170 of the vehicle 100 or the processor 770 of the driving assistance apparatus 700 can control at least one of steering, acceleration, braking, and illumination of the vehicle 100. [

도 3는 도 1을 참조하여 전술한 차량(100)의 일 예를 보여준다. Fig. 3 shows an example of the vehicle 100 described above with reference to Fig.

도 3를 참조하면, 도 1을 참조하여 전술한 바와 같이, 차량(100)은 적어도 하나 이상의 레이더(162), 라이다(163) 및 초음파 센서(164)를 포함할 수 있다.Referring to FIG. 3, the vehicle 100 may include at least one or more radar 162, RLayer 163, and ultrasonic sensor 164, as described above with reference to FIG.

레이더(162)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 전자기파를 송출하고, 차량(100)의 주변에 존재하는 각종 오브젝트에서 반사되는 전자기파를 수신할 수 있다. 예를 들어, 레이더(162)는 어느 한 오브젝트에 의해 반사되어 돌아온 전자기파의 시간을 측정하여, 해당 오브젝트의 거리, 방향, 고도 등과 관련된 정보를 획득할 수 있다.The radar 162 is mounted on one side of the vehicle 100 and can transmit electromagnetic waves toward the periphery of the vehicle 100 and can receive electromagnetic waves reflected from various objects existing around the vehicle 100. [ For example, the radar 162 measures the time of an electromagnetic wave reflected by an object and acquires information related to the distance, direction, altitude, and the like of the object.

라이다(163)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 레이저를 발사할 수 있다. 라이다(163)에 의해 발사된 레이저는 산란되거나 반사되어 차량(100)으로 되돌아올 수 있고, 라이다(163)는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량(100)의 주변에 위치하는 타겟의 거리, 속도, 형상 등의 물리적 특성에 대한 정보를 획득할 수 있다.The laser 163 is mounted on one side of the vehicle 100 and can emit laser toward the periphery of the vehicle 100. [ The laser emitted by the laser 163 may be scattered or reflected back to the vehicle 100 and the laser 163 may be reflected on the basis of the change in the time, intensity, frequency, , Information on the physical characteristics such as the distance, speed, and shape of the target located in the periphery of the vehicle 100 can be obtained.

초음파 센서(164)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 초음파를 발생시킨다. 초음파 센서(164)에 의해 발생되는 초음파는 주파수(약, 20KHz 이상)가 높고 파장이 짧은 특성을 가진다. 이러한 초음파 센서(164)는 주로 차량(100)과 근접한 장애물 등을 인식하는 데에 이용될 수 있다.The ultrasonic sensor 164 is mounted on one side of the vehicle 100 to generate ultrasonic waves toward the periphery of the vehicle 100. [ Ultrasonic waves generated by the ultrasonic sensor 164 have a high frequency (about 20 KHz or more) and a short wavelength. Such an ultrasonic sensor 164 can be used mainly to recognize an obstacle close to the vehicle 100 and the like.

한편, 실시예에 따라, 레이더(162), 라이다(163) 및 초음파 센서(164)는 도 3에 도시된 것과는 다른 위치에 다른 개수로 장착될 수 있다는 것은 당업자에게 자명하다. 또한, 레이더(162), 라이다(163) 및 초음파 센서(164) 중 적어도 하나는 차량(100)에 구비되지 않을 수 있다.On the other hand, it is apparent to those skilled in the art that the radar 162, the radar 163, and the ultrasonic sensor 164 may be mounted in different numbers in different positions from those shown in FIG. 3, depending on the embodiment. At least one of the radar 162, the RDA 163, and the ultrasonic sensor 164 may not be provided in the vehicle 100.

도 4a는 차량(100)의 서로 다른 위치에 복수개의 카메라가 장착된 상태를 예시한다. 설명의 편의를 위해, 4개의 카메라들(161a, 161b, 161c, 161d)이 장착되는 것으로 가정한다. FIG. 4A illustrates a state in which a plurality of cameras are mounted at different positions of the vehicle 100. FIG. For convenience of explanation, it is assumed that four cameras 161a, 161b, 161c, and 161d are mounted.

이 경우, 4개의 카메라들(161a, 161b, 161c, 161d) 각각은 전술한 카메라(161)와 동일할 수 있다. In this case, each of the four cameras 161a, 161b, 161c, and 161d may be the same as the camera 161 described above.

도 4a를 참조하면, 복수의 카메라들(161a, 161b, 161c, 161d)는 각각 차량(100)의 전방, 좌측, 우측 및 후방에 배치될 수 있다. 복수의 카메라들(161a, 161b, 161c, 161d) 각각은 도 1에 도시된 카메라(161)에 포함되는 것일 수 있다.Referring to FIG. 4A, the plurality of cameras 161a, 161b, 161c, and 161d may be disposed at the front, left, right, and rear of the vehicle 100, respectively. Each of the plurality of cameras 161a, 161b, 161c, and 161d may be included in the camera 161 shown in FIG.

전방 카메라(161a)는 윈드 쉴드 부근, 앰블럼 부근 또는 라디에이터 그릴 부근에 배치될 수 있다.The front camera 161a may be disposed near the windshield, near the ambulance, or near the radiator grill.

좌측 카메라(161b)는 좌측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는, 좌측 카메라(161b)는 좌측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 좌측 카메라(161b)는 좌측 프런트 도어, 좌측 리어 도어 또는 좌측 휀더(fender) 외측 일 영역에 배치될 수 있다.The left camera 161b may be disposed in a case surrounding the left side mirror. Alternatively, the left camera 161b may be disposed outside the case surrounding the left side mirror. Alternatively, the left camera 161b may be disposed in one area outside the left front door, the left rear door, or the left fender.

우측 카메라(161c)는 우측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는 우측 카메라(161c)는, 우측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 우측 카메라(161c)는 우측 프런트 도어, 우측 리어 도어 또는 우측 펜더(fender) 외측 일 영역에 배치될 수 있다.The right camera 161c may be disposed in a case surrounding the right side mirror. Or the right camera 161c may be disposed outside the case surrounding the right side mirror. Alternatively, the right camera 161c may be disposed in one area outside the right front door, the right rear door, or the right fender.

한편, 후방 카메라(161d)는 후방 번호판 또는 트렁크 스위치 부근에 배치될 수 있다.On the other hand, the rear camera 161d may be disposed in the vicinity of a rear license plate or a trunk switch.

복수의 카메라(161a, 161b, 161c, 161d)에서 촬영된 각각의 이미지는 제어부(170)에 전달되고, 제어부(170)는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다.The respective images photographed by the plurality of cameras 161a, 161b, 161c, and 161d are transmitted to the control unit 170, and the control unit 170 may synthesize the respective images to generate a peripheral image of the vehicle.

또한, 도 4a에서는 차량(100) 외관에 4대의 카메라들이 장착되는 것으로 도시하였지만, 본 발명은 카메라의 개수에 한정되지 않으며, 더 적거나 많은 수의 카메라가 도 4a에 도시된 위치와는 다른 위치에 장착될 수도 있음을 명시한다.4A, four cameras are shown mounted on the outer surface of the vehicle 100. However, the present invention is not limited to the number of cameras, and the number of cameras may be different from the position shown in FIG. 4A Lt; / RTI >

도 4b는 차량(100)을 기준으로 360도 방향의 장면이 나타나는 예시적인 합성 영상(400)을 보여준다.FIG. 4B shows an exemplary composite image 400 in which a scene in a 360-degree direction is displayed with respect to the vehicle 100. FIG.

도 4b를 참조하면, 합성 영상(400)은 전방 카메라(161a)에 의해 촬영된 외부 영상에 대응하는 제1 이미지 영역(401), 좌측 카메라(161b)에 의해 촬영된 외부 영상에 대응하는 제2 이미지 영역(402), 우측 카메라(161c)에 의해 촬영된 외부 영상에 대응하는 제3 이미지 영역(403) 및 후방 카메라(161d)에 의해 촬영된 외부 영상에 대응하는 제4 이미지 영역(404)을 포함할 수 있다. 합성 영상(400)은 어라운드 뷰 모니터링(around view monitoring) 영상이라고 칭할 수 있다.4B, the composite image 400 includes a first image area 401 corresponding to an external image photographed by the front camera 161a, a second image area 401 corresponding to an external image photographed by the left camera 161b, A third image area 403 corresponding to an external image photographed by the right camera 161c and a fourth image area 404 corresponding to an external image photographed by the rear camera 161d . The composite image 400 may be referred to as an " around view monitoring " image.

한편, 합성 영상(400) 생성 시, 합성 영상(400)에 포함된 어느 두 외부 영상 간에는 경계선(411, 412, 413, 414)이 발생한다. 제어부(170)는 외부 영상들 간의 경계 부분을 이미지 블렌딩(blending) 처리하여 자연스럽게 표시될 수 있다.At the time of generating the composite image 400, the boundary lines 411, 412, 413, and 414 are generated between any two external images included in the composite image 400. The control unit 170 may perform image blending processing on the boundary portion between the external images to be displayed naturally.

한편, 복수의 영상들 간의 경계에는 경계선(411, 412, 413, 414)이 표시될 수 있다. 또한, 합성 영상(400)의 중앙에는 차량(100)을 가리키는 것으로 기 설정된 이미지가 포함될 수 있다. On the other hand, boundary lines 411, 412, 413, and 414 may be displayed at the boundaries between the plurality of images. In addition, a predetermined image may be included in the center of the composite image 400 to indicate the vehicle 100.

또한, 제어부(170)는 차량(100)의 실내에 장착된 디스플레이 장치에 합성 영상(400)을 표시할 수 있다.In addition, the control unit 170 may display the composite image 400 on a display device installed in the interior of the vehicle 100.

도 5는 본 발명의 일 실시예에 따른 조명 장치(500)의 예시적인 블록 다이어그램이다.5 is an exemplary block diagram of a lighting device 500 in accordance with an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시예에 따른 조명 장치(500)는 광원부(510), 메모리(520), 인터페이스부(530), 프로세서(540) 및 전원부(550)를 포함할 수 있다.5, the lighting apparatus 500 may include a light source unit 510, a memory 520, an interface unit 530, a processor 540, and a power source unit 550. Referring to FIG.

광원부(510)는 적어도 하나 이상의 발광 소자를 포함할 수 있다. 이때, 각각의 발광 소자는 전기 에너지를 빛로 변환할 수 있다. 예컨대, 발광 소자는, 백열전구(metal filament lamps), 할로겐전구(halogen bulb), 고전압방출(HID)램프, 네온 가스 방전등(Neon gas discharge lamp), 발광 다이오드(LED: Light Emitting lamp), 레이저 다이오드(Laser Diode) 중 어느 하나일 수 있다.The light source unit 510 may include at least one light emitting element. At this time, each light emitting element can convert electrical energy into light. For example, the light emitting device may be a metal filament lamps, a halogen bulb, a high voltage discharge (HID) lamp, a neon gas discharge lamp, a light emitting diode (LED) (Laser Diode).

광원부(510)는 프로세서(540)의 제어에 따라, 오브젝트 검출용 가시광, 시야 확보용 가시광 및 주행 정보 안내용 가시광 중 적어도 하나를 출력할 수 있다. 여기서, 오브젝트 검출용 가시광은 차량(100)의 주변에 위치하는 각종 오브젝트를 검출하기 위해 출력되는 것일 수 있다. 시야 확보용 가시광은 일반적인 헤드레이트와 같이, 운전자가 전방 시야를 확보할 수 있도록 하기 위해 출력되는 것일 수 있다. 주행 정보 안내용 가시광은 운전자에게 차선 등과 같은 주행 정보를 안내하기 위해 지면을 향하여 출력되는 것일 수 있다.The light source unit 510 can output at least one of visible light for object detection, visible light for securing the view, and visible light in the traveling information under the control of the processor 540. [ Here, the visible light for object detection may be output to detect various objects located in the periphery of the vehicle 100. The visible light for securing the view may be outputted in order to allow the driver to secure the front view field like a general head rate. The visual information of the driving information may be outputted toward the ground to guide driving information such as a lane to the driver.

일 실시예에서, 광원부(510)는 제1 광원 모듈, 제2 광원 모듈 및 제3 광원 모듈을 포함할 수 있다. 예컨대, 제1 광원 모듈은 레이저 다이오드를 발광 소자로 이용하여, 차량(100)의 전방을 향하여 오브젝트 검출용 가시광을 출력할 수 있다. 제2 광원 모듈은 매트릭스 형태로 배열된 LED들을 발광 소자로 이용하여, 차량(100)의 전방을 향하여 시선 확보용 가시광을 출력할 수 있다. 제3 광원 모듈은 레이저 다이오드나 LED를 발광 소자로 이용하여, 지면에 주행 정보를 안내하는 각종 표식을 형성하기 위한 주행 정보 안내용 가시광을 출력할 수 있다. 광원부(510)의 형태에 대한 구체적인 설명은, 이하 도 6을 참조하여 별도로 서술하기로 한다.In one embodiment, the light source section 510 may include a first light source module, a second light source module, and a third light source module. For example, the first light source module can output visible light for object detection toward the front of the vehicle 100 by using a laser diode as a light emitting element. The second light source module can output visual line-securing visible light toward the front of the vehicle 100 by using LEDs arranged in a matrix form as light emitting elements. The third light source module can output visible light in the traveling information for forming various landmarks for guiding the traveling information on the ground by using a laser diode or an LED as a light emitting element. A detailed description of the shape of the light source 510 will be separately described with reference to FIG.

메모리(520)는 조명 장치(500)에 포함된 각 구성요소에 대한 기본 데이터, 각 구성요소의 동작 제어를 위한 명령어들 및 제어 데이터, 조명 장치(500)에 입출력되는 데이터를 저장할 수 있다. The memory 520 may store basic data for each component included in the illumination device 500, instructions and control data for controlling the operation of each component, and data input to and output from the illumination device 500.

메모리(520)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. The memory 520 may be, in hardware, various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, and the like.

메모리(520)는 프로세서(540)의 처리 또는 제어를 위한 프로그램 등, 조명 장치(500) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.The memory 520 may store various data for operation of the lighting device 500, such as a program for processing or controlling the processor 540.

프로세서(540)는 조명 장치(500) 내의 각 구성 요소의 전반적인 동작을 제어할 수 있다. The processor 540 may control the overall operation of each component within the illumination device 500.

프로세서(540)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(540)(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(540)(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다. The processor 540 may be implemented in hardware as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) 540 may be implemented using at least one of processors, controllers, micro-controllers, microprocessors 540, and electrical units for performing other functions.

운전 보조 장치(700)는 제어부와 직간접적으로 연결될 수 있고, 프로세서(540)는 제어부(170)의 제어를 받을 수 있다.The driving assistance device 700 may be directly or indirectly connected to the control unit, and the processor 540 may be under the control of the control unit 170.

프로세서(540)는 제1 패턴의 가시광을 출력하도록 광원부(510)를 제어할 수 있다. 제1 패턴의 가시광에 의해, 차량(100)의 전방에 복수의 마킹 영역이 형성될 수 있다. 제1 패턴의 가시광은 복수의 빔(beam)들을 포함할 수 있다. 이때, 서로 인접한 빔들 간에는 동일한 각도 차이가 형성될 수 있다. 이때, 각각의 빔은 미리 정해진 형상과 크기로 전방을 향하여 조사될 수 있다. 제1 패턴의 가시광에 포함된 복수의 빔들이 차량(100) 전방의 오브젝트에 비춰지는 경우, 상기 복수의 마킹 영역이 형성될 수 있다. 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역은 운전 보조 장치(700)의 카메라(710)에 의해 촬영될 수 있다.The processor 540 may control the light source unit 510 to output the first pattern of visible light. A plurality of marking areas can be formed in front of the vehicle 100 by the visible light of the first pattern. The visible light of the first pattern may include a plurality of beams. At this time, the same angle difference may be formed between adjacent beams. At this time, each beam can be irradiated forward with a predetermined shape and size. When a plurality of beams included in the visible light of the first pattern are projected on an object in front of the vehicle 100, the plurality of marking areas can be formed. A plurality of marking regions formed by the visible light of the first pattern can be photographed by the camera 710 of the driving assistant 700. [

프로세서(540)는 제2 패턴의 가시광을 출력하도록 광원부(510)를 제어할 수 있다. 이때, 제2 패턴의 가시광은 상기 제1 패턴의 가시광보다, 차량(100)의 전방을 향하여 조밀하게 출력될 수 있다. The processor 540 may control the light source unit 510 to output the visible light of the second pattern. At this time, the visible light of the second pattern can be outputted more densely toward the front of the vehicle 100 than the visible light of the first pattern.

구체적으로, 제2 패턴의 가시광은 복수의 빔들로 이루어질 수 있다. 제2 패턴의 가시광에 포함되는 서로 인접한 빔들이 이루는 각도는, 제1 패턴의 가시광에 포함되는 서로 인접한 빔들들이 이루는 각도보다 작을 수 있다. 이에 따라, 제2 패턴의 가시광은 제1 패턴의 가시광보다 차량(100)의 전방을 향하여 조밀하게 출력될 수 있다. 제2 패턴의 가시광에 의해 형성된 복수의 마킹 영역은 운전 보조 장치(700)의 카메라(710)에 의해 촬영될 수 있다.Specifically, the visible light of the second pattern may be composed of a plurality of beams. The angle formed by the adjacent beams included in the visible light of the second pattern may be smaller than the angle formed by the adjacent beams included in the visible light of the first pattern. Accordingly, the visible light of the second pattern can be outputted more densely toward the front of the vehicle 100 than the visible light of the first pattern. The plurality of marking regions formed by the visible light of the second pattern can be photographed by the camera 710 of the driving assistant 700. [

후술할 운전 보조 장치(700)는 조명 장치(500)에 의해 형성된 복수의 마킹 영역을 기초로, 차량(100)의 주변에 위치하는 오브젝트를 검출할 수 있다.The driving assist device 700 to be described later can detect an object located in the periphery of the vehicle 100 based on a plurality of marking areas formed by the illumination device 500. [

프로세서(540)는 광원부(510)로부터 출력되는 가시광의 광량을 조절할 수 있다. 예컨대, 프로세서(540)는 광원부(510)로 공급되는 전기 에너지의 양을 조절하여, 광원부(510)로부터 출력되는 가시광의 광량을 조절할 수 있다. 전술한 바와 같이, 광원부(510)는 복수의 광원 모듈을 포함할 수 있는바, 이 경우 프로세서(540)는 광원 모듈별로 공급되는 전기 에너지의 양을 개별적으로 조절할 수 있다.The processor 540 can adjust the amount of visible light output from the light source unit 510. For example, the processor 540 may adjust the amount of visible light output from the light source unit 510 by adjusting the amount of electrical energy supplied to the light source unit 510. As described above, the light source unit 510 may include a plurality of light source modules. In this case, the processor 540 may individually adjust the amount of electric energy supplied to each light source module.

일 실시예에서, 프로세서(540)는 운전 보조 장치(700)의 요청에 응답하여, 운전 보조 장치(700)에 의해 검출된 오브젝트의 종류에 대응하는 광량의 가시광을 출력할 수 있다. In one embodiment, the processor 540, in response to a request from the driving assistance device 700, may output visible light of a quantity of light corresponding to the type of object detected by the driving assistance device 700. [

예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 보행자인 경우, 프로세서(540)는 보행자의 적어도 일부분(예, 얼굴)을 향하는 가시광의 광량을 소정값 이하로 줄이거나 차단할 수 있다. For example, if the object detected by the driving assistance device 700 is a pedestrian, the processor 540 may reduce or block the amount of visible light directed to at least a portion (e.g., a face) of the pedestrian to less than or equal to a predetermined value.

다른 예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 대향 차량인 경우, 프로세서(540)는 대향 차량의 적어도 일부분(예, 앞유리)을 향하는 가시광의 광량을 소정값 이하로 줄이거나 차단할 수 있다. For example, when the object detected by the driving assistance device 700 is an opposite vehicle, the processor 540 may reduce the light amount of the visible light toward at least a part of the opposite vehicle (e.g., windshield) to a predetermined value or less Can be blocked.

다른 예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 교통 표지인 경우, 프로세서(540)는 교통 표시를 향하는 가시광의 광량을 증가시킬 수 있다.In another example, if the object detected by the driving assistance device 700 is a traffic sign, the processor 540 may increase the amount of visible light directed to the traffic sign.

다른 예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 차량(100)의 주행 경로 상에 있는 낙하물인 경우, 프로세서(540)는 낙하물를 향하는 가시광의 광량을 증가시킬 수 있다.For example, when the object detected by the driving assistance device 700 is a fall object on the traveling path of the vehicle 100, the processor 540 can increase the amount of visible light directed toward the fallen object.

프로세서(540)는 차량(100)의 주행 속도를 기초로, 오브젝트를 향하는 가시광의 광량을 조절할 수 있다. 예컨대, 차량(100)의 주행 속도가 빠를수록, 오브젝트를 향하는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 운전자는 빠른 주행 속도에서도 차량(100) 주변의 오브젝트를 용이하게 확인할 수 있다.The processor 540 can adjust the light amount of the visible light directed toward the object based on the traveling speed of the vehicle 100. [ For example, the faster the running speed of the vehicle 100, the greater the amount of visible light directed toward the object. Accordingly, the driver can easily check the object around the vehicle 100 even at a fast running speed.

프로세서(540)는 차량(100)과 오브젝트 간의 거리를 기초로, 오브젝트를 향하는 가시광의 광량을 조절할 수 있다. 예컨대, 차량(100)과 오브젝트 간의 거리가 짧아 질수록, 충돌 위험이 커지므로, 해당 오브젝트를 향하는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 운전자는 잠재적 충돌 위험이 있는 오브젝트를 신속히 확인할 수 있다.The processor 540 can adjust the amount of visible light directed toward the object based on the distance between the vehicle 100 and the object. For example, the shorter the distance between the vehicle 100 and the object is, the greater the risk of collision, and thus the amount of visible light directed toward the object can be increased. Accordingly, the driver can quickly identify an object that is at risk of a potential collision.

한편, 전술한 오브젝트에 관한 정보는 인터페이스부(530)에 의해 수신된 후, 프로세서(540)에 제공되는 것일 수 있다. 이때, 오브젝트에 관한 정보에는, 오브젝트의 크기, 속도, 위치, 종류 등이 포함될 수 있다.On the other hand, the information on the above-described objects may be provided to the processor 540 after being received by the interface unit 530. [ At this time, the information about the object may include the size, speed, position, type, and the like of the object.

인터페이스부(530)는 차량(100)의 센싱부(160), 제어부(170) 및 운전 보조 장치(700) 중 적어도 하나와 유무선으로 연결되어, 상호 간에 데이터를 교환할 수 있다.The interface unit 530 is connected to at least one of the sensing unit 160 of the vehicle 100, the control unit 170, and the driving assistance device 700 by wire or wireless, and can exchange data with each other.

인터페이스부(530)는 차량 관련 데이터 또는 사용자 입력을 수신하거나, 프로세서(540)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(530)는, 유선 통신 또는 무선 통신 방식에 의해, 제어부(170), 센싱부(160), 운전 보조 장치(700) 등과 데이터 통신을 수행할 수 있다.The interface unit 530 may receive vehicle-related data or user input, or may send out signals processed or generated by the processor 540 to the outside. To this end, the interface unit 530 can perform data communication with the control unit 170, the sensing unit 160, the driving assistant 700, and the like by a wired communication or a wireless communication method.

한편, 인터페이스부(530)는, 제어부(170) 또는 센싱부(160)로부터, 센싱 데이터를 수신할 수 있다.Meanwhile, the interface unit 530 may receive the sensing data from the control unit 170 or the sensing unit 160.

여기서, 센싱 데이터는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.Here, the sensing data includes at least one of vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / backward information, battery information, fuel information, Information on the inside temperature of the vehicle, and humidity information of the inside of the vehicle.

이러한 센싱 데이터는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다. 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.Such sensing data may include a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle forward / backward sensor, a wheel sensor, a vehicle speed sensor, A vehicle body inclination sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, and a vehicle internal humidity sensor. The position module may include a GPS module for receiving GPS information.

한편, 센싱 데이터 중, 차량(100)의 방향 정보, 위치 정보, 각도 정보, 속도 정보, 기울기 정보 등 차량의 주행과 관련된 정보를 주행 정보라고 명명할 수 있다.On the other hand, among the sensing data, the information related to the running of the vehicle such as the direction information, the position information, the angle information, the speed information, and the tilt information of the vehicle 100 can be referred to as running information.

한편, 인터페이스부(530)는 운전 보조 장치(700)로부터 운전 보조 장치(700)에 의해 검출된 오브젝트 정보를 수신할 수 있다. 또는, 인터페이스부(530)는 운전 보조 장치(700)에 의해 검출된 오브젝트에 관한 정보를 제어부(170)를 거쳐 수신할 수 있다.On the other hand, the interface unit 530 can receive the object information detected by the driving assist device 700 from the driving assist device 700. [ Alternatively, the interface unit 530 can receive information about the object detected by the driving assistant 700 through the control unit 170. [

운전 보조 장치(700)는 카메라(710)로부터 제공되는 영상을 기초로 차선 검출(Lane Detection, LD), 주변 차량 검출(Vehicle Detection, VD), 보행자 검출(Pedestrian Detection, PD), 불빛 검출(Brightspot Detection, BD), 교통 표지 검출(Traffic Sign Recognition, TSR), 도로면 검출을 수행할 수 있다. 운전 보조 장치(700)는 검출된 오브젝트와의 거리 정보를 생성할 수 있다. The driving assistance device 700 may be configured to detect a lane detection (LD), a vehicle detection (VD), a pedestrian detection (PD), a light detection (Brightspot) Detection, BD), Traffic Sign Recognition (TSR), and Road Surface Detection. The driving assistant 700 can generate the distance information with the detected object.

인터페이스부(530)는 운전 보조 장치(700)로부터 대향 차량의 윈드 쉴드에 대한 정보를 수신할 수 있다. 더 나아가, 인터페이스부(530)는 운전 보조 장치(700)로부터 대향 차량의 윈스 쉴드의 전체 영역 중, 대향차 운전자의 얼굴이 위치하는 부분에 대한 정보를 수신할 수 있다. The interface unit 530 can receive information on the windshield of the opposite vehicle from the driving assistance device 700. [ Furthermore, the interface unit 530 can receive information on the part of the entire area of the windshield of the opposite vehicle where the face of the opponent vehicle is located, from the driving assistance device 700. [

인터페이스부(530)는 운전 보조 장치(700)로부터 운전 보조 장치(700)에 의해 검출된 보행자에 대한 정보를 수신할 수 있다.The interface unit 530 can receive information on the pedestrian detected by the driving assist device 700 from the driving assist device 700. [

인터페이스부(530)는 차량이 현재 주행 중인 경로의 차선 정보를 수신할 수 있다. 여기서, 차선 정보는 운전 보조 장치(700)에 의해 검출된 차선을 컴퓨터 처리하여 획득될 수 있다.The interface unit 530 can receive the lane information of the route that the vehicle is currently traveling on. Here, the lane information may be obtained by computer processing the lane detected by the driving assistance device 700. [

인터페이스부(530)는 차량(100)이 현재 주행 중인 도로의 곡률 및/또는 기울기 정보를 수신할 수 있다. 예컨대, 운전 보조 장치(700)는 카메라(195)로부터 제공되는 이미지를 기초로, 차량(100)이 현재 주행 중인 도로의 곡률을 산출하고, 산출된 곡률을 인터페이스부(530)로 제공할 수 있다.The interface unit 530 may receive curvature and / or tilt information of the road on which the vehicle 100 is currently traveling. For example, the driving assistance device 700 may calculate the curvature of the road on which the vehicle 100 is currently traveling based on the image provided from the camera 195, and provide the calculated curvature to the interface unit 530 .

인터페이스부(530)는 운전 보조 장치(700)로부터 차량(100)의 전방에 위치하는 오브젝트에 관한 정보, 차량(100)의 후방에 위치하는 오브젝트에 관한 정보를 수신할 수 있다. The interface unit 530 can receive information about an object located in front of the vehicle 100 and information about an object located behind the vehicle 100 from the driving assistance device 700. [

프로세서(540)는 인터페이스부(530)에 의해 수신된 오브젝트에 관한 정보를 기초로, 광원부(510)를 통해 출력할 가시광의 패턴을 변경할 수 있다.The processor 540 can change the pattern of the visible light to be output through the light source unit 510 based on the information about the object received by the interface unit 530. [

전원부(550)는 프로세서(540)의 제어에 따라, 조명 장치(500)에 포함된 각 구성 요소의 동작에 필요한 전원을 공급할 수 있다. 이 경우, 전원 공급부는 차량(100)에 장착된 배터리로부터 전원을 공급받을 수 있다. 또는, 전원 공급부는 자체적으로 별도의 배터리를 포함할 수 있다.The power supply unit 550 may supply power necessary for operation of each component included in the illumination device 500 under the control of the processor 540. [ In this case, the power supply unit can be supplied with power from the battery mounted on the vehicle 100. Alternatively, the power supply may itself include a separate battery.

조명 장치(500)는 도 2에 도시된 좌측 헤드램프(13a) 및 우측 헤드램프(13b) 중 적어도 하나에 포함될 수 있다.The lighting apparatus 500 may be included in at least one of the left head lamp 13a and the right head lamp 13b shown in FIG.

도 6a는 본 발명의 일 실시예에 따른 제1 발광 모듈(511)의 구조를 보여주는 도면이다.6A is a view illustrating a structure of a first light emitting module 511 according to an embodiment of the present invention.

도 6a를 참조하면, 제1 발광 모듈(511)은 발광 소자(611), 광 변환 소자(612), 제1 렌즈(613), 리플렉터(614) 및 제2 렌즈(615)를 포함할 수 있다.6A, the first light emitting module 511 may include a light emitting element 611, a light converting element 612, a first lens 613, a reflector 614, and a second lens 615 .

발광 소자(611)는 전기 에너지를 빛으로 변환할 수 있다. 예컨대, 발광 소자(611)는 LED(Light Emitting Diode) 또는 레이저 다이오드를 포함할 수 있다. 레이저 다이오드를 광원으로 이용할 경우, LED보다 큰 밝기를 구현할 수 있다. 예컨대, 발광 소자(611)의 레이저 빔은 청색의 파장(약, 450nm)을 가질 수 있다. 이하에서는, 레이저 다이오드를 발광 소자(611)로 이용하는 것으로 가정한다.The light emitting element 611 can convert electrical energy into light. For example, the light emitting element 611 may include a light emitting diode (LED) or a laser diode. When a laser diode is used as a light source, a brightness greater than that of an LED can be realized. For example, the laser beam of the light emitting element 611 may have a blue wavelength (about 450 nm). Hereinafter, it is assumed that a laser diode is used as the light emitting element 611.

광 변환 소자(612)는 발광 소자(611)로부터 방출되는 레이저 빔을 소정 색상으로 변환한다. 즉, 발광 소자(611)로부터 방출되는 레이저 빔은 광 변환 소자(612)를 통과하면서, 다양한 파장대의 빛으로 변환될 수 있다. 이러한 다양한 파장대의 빛들이 합성되어 소정 색상(예, 백색)의 가시광으로 변환될 수 있다. The light conversion element 612 converts the laser beam emitted from the light emitting element 611 into a predetermined color. That is, the laser beam emitted from the light emitting element 611 can be converted into light of various wavelength ranges while passing through the light converting element 612. The light of various wavelengths can be synthesized and converted into visible light of a predetermined color (e.g., white).

이러한 광 변환 소자(612)는 적어도 한 종류의 형광 물질을 포함할 수 있다. 예컨대, 광 변환 소자(612)는 포스퍼러스(phosphorous)를 포함할 수 있다. Such a photoconversion device 612 may include at least one kind of fluorescent material. For example, photoconversion device 612 may comprise a phosphorous.

제1 렌즈(613)는 광 변환 소자(612)로부터 방출되는 가시광을 굴절시켜 리플렉터(614)로 제공할 수 있다. 즉, 제1 렌즈(613)는 광 변환 소자(612)로부터 방출되는 가시광이 리플렉터(614)로 전달되도록, 광 변환 소자(612)로부터 방출되는 가시광을 굴절시킬 수 있다.The first lens 613 may refract visible light emitted from the photoconversion element 612 and provide it to the reflector 614. [ That is, the first lens 613 can refract visible light emitted from the light converting element 612 so that the visible light emitted from the light converting element 612 is transmitted to the reflector 614. [

리플렉터(614)는 제1 렌즈(613)로부터 방출되는 가시광을 반사시킬 수 있다. 이 경우, 리플렉터(614)는, 도시된 바와 같이, DMD(Digital Micromirror Device)(614a)를 포함할 수 있다. DMD(614a)는 소정의 형태로 배열되는 복수개의 마이크로 미러들(M)을 포함할 수 있다. 예컨대, DMD(614a)에는 수십만개의 마이크로 미러들(M)이 포함될 수 있다. DMD(614a)의 구조 및 작동 원리에 관하여는 널리 공지된 바, 구체적인 설명은 생략하기로 한다.The reflector 614 can reflect visible light emitted from the first lens 613. In this case, the reflector 614 may include a DMD (Digital Micromirror Device) 614a as shown. The DMD 614a may include a plurality of micromirrors M arranged in a predetermined form. For example, the DMD 614a may contain hundreds of thousands of micromirrors M. The structure and operation principle of the DMD 614a are well known, and a detailed description thereof will be omitted.

프로세서(540)는 마이크로 미러(M) 각각의 틸트각을 개별적으로 제어함으로써, 제1 렌즈(613)로부터 방출되는 가시광의 투사각 및/또는 반사율을 픽셀 단위로 조절할 수 있다. 예를 들어, 각각의 마이크로 미러(M)는 자기장에 의해 초당 수천번 이상 틸트각을 변경할 수 있다. 틸트각의 변경에 의해, 제1 렌즈(613)로부터 리플렉터(614)로 방출된 가시광 중 적어도 일부분의 투사각이 변경될 수 있다. 이에 따라, 제1 렌즈(613)로부터 방출되는 가시광 중 일부분은 차량(100) 전방으로의 투사가 차단될 수 있다.The processor 540 can adjust the tilt angle of each of the micromirrors M individually by controlling the tilt angle and / or reflectance of the visible light emitted from the first lens 613 in units of pixels. For example, each micromirror M can change the tilt angle by a magnetic field several thousand times per second. By changing the tilt angle, the projection angle of at least a part of the visible light emitted from the first lens 613 to the reflector 614 can be changed. Accordingly, a part of the visible light emitted from the first lens 613 can be blocked from projecting toward the front of the vehicle 100. [

DMD(614a)에 의해, 제1 렌즈(613)로부터 방출되는 가시광의 적어도 일부만이 제2 렌즈(615)를 통과한 후, 차량(100)의 전방을 향하여 투사될 수 있다. 실시예에 따라, 제2 렌즈(615)는 생략될 수 있다.Only a part of the visible light emitted from the first lens 613 can be projected toward the front of the vehicle 100 after passing through the second lens 615 by the DMD 614a. According to the embodiment, the second lens 615 may be omitted.

프로세서(540)는 운전 보조 장치(700)로부터 제공되는 오브젝트 정보를 기초로, DMD(614a)에 포함된 적어도 일부의 마이크로 미러(M)의 틸트각을 제어함으로써, 차량(100) 전방으로 투사되는 다양한 패턴의 가시광을 구현할 수 있다. The processor 540 controls the tilt angle of at least some of the micromirrors M included in the DMD 614a based on the object information provided from the driving assistant 700 Various patterns of visible light can be realized.

한편, 도 6a에 도시된 제1 발광 모듈(511)은 객체 검출용 가시광 및 시야 확보용 가시광을 동시에 출력할 수 있다. 제1 발광 모듈(511)은 객체 검출용 가시광 및 시야 확보용 가시광을 시간차를 두고 출력할 수 있다. 예컨대, 제1 발광 모듈(511)이 객체 검출용 가시광을 출력 중인 경우, 시야 확보용 가시광의 출력은 중단될 수 있다. 이 경우, 후술할 제2 발광 모듈(512)은 생략될 수 있다. 다른 예로, 제1 발광 모듈(511)이 객체 검출용 가시광을 출력 중인 경우, 제2 발광 모듈(512) 또는 제3 발명 모듈(513)에 의해 시야 확보용 가시광이 출력될 수 있다. 이 경우, 객체 검출용 가시광은 시야 확보용 가시광보다 더 큰 광량 또는 세기로 출력될 수 있다. 이에 따라, 객체 검출용 가시광은 시야 확보용 가시광보다 차량(100)의 전방의 먼 곳까지 도달할 수 있다.Meanwhile, the first light emitting module 511 shown in FIG. 6A can simultaneously output visible light for object detection and visible light for field of view. The first light emitting module 511 can output visible light for object detection and visible light for visual confirmation with a time lag. For example, when the first light emitting module 511 is outputting the visible light for object detection, the output of the visible light for securing the view can be stopped. In this case, the second light emitting module 512 to be described later may be omitted. As another example, when the first light emitting module 511 is outputting visible light for object detection, visible light for securing view can be output by the second light emitting module 512 or the third invention module 513. In this case, the visible light for object detection can be output with a larger amount of light or intensity than the visible light for visual field assurance. Accordingly, the visible light for object detection can reach farther to the front of the vehicle 100 than visible visible light.

도 6b는 본 발명의 일 실시예에 따른 제2 발광 모듈(512)의 구조를 보여주는 도면이고, 도 6c는 본 발명의 일 실시예에 따른 제3 발광 모듈(513)의 구조를 보여주는 도면이다.FIG. 6B is a view illustrating a structure of a second light emitting module 512 according to an embodiment of the present invention, and FIG. 6C is a diagram illustrating a structure of a third light emitting module 513 according to an embodiment of the present invention.

도 6b를 참조하면, 제2 발광 모듈(512)은 미리 정해진 형태로 정렬되는 복수개의 발광 소자(621)를 포함할 수 있다. 각각의 발광 소자(621)는 개별적으로 온오프되거나, 색상과 밝기가 조절되는 LED일 수 있다. 제2 발광 모듈(512)은 프로세서(540)의 제어에 따라, 복수개의 발광 소자(621)들을 개별적으로 제어함으로써, 다양한 패턴의 시야 확보용 가시광을 차량(100)의 전방을 향하여 출력할 수 있다. Referring to FIG. 6B, the second light emitting module 512 may include a plurality of light emitting devices 621 arranged in a predetermined shape. Each of the light emitting devices 621 may be individually turned on or off, or may be an LED whose color and brightness are adjusted. The second light emitting module 512 may control the plurality of light emitting devices 621 under the control of the processor 540 to individually output visible light for securing various fields of view toward the front of the vehicle 100 .

도 6c를 참조하면, 제3 발광 모듈(513)은 발광 소자(631), 리플렉터(632), 투명 디스플레이(633) 및 렌즈(634)를 포함할 수 있다.Referring to FIG. 6C, the third light emitting module 513 may include a light emitting element 631, a reflector 632, a transparent display 633, and a lens 634.

발광 소자(631)는 전기 에너지를 빛으로 변환하고, 리플렉터(632)는 발광 소자(631)로부터 출력되는 빛을 투명 디스플레이(633)를 향하여 반사시킨다. 이때, 리플렉터(632)는 알루미늄이나 은과 같이 소정값 이상의 반사율을 가지는 재질을 포함할 수 있다.The light emitting element 631 converts electrical energy into light and the reflector 632 reflects the light output from the light emitting element 631 toward the transparent display 633. [ At this time, the reflector 632 may include a material having a reflectance higher than a predetermined value such as aluminum or silver.

투명 디스플레이(633)는 발광 소자(631)로부터 출력되는 빛의 적어도 일부분을 차단하거나, 밝기 및 색상 중 적어도 하나를 변화시킬 수 있다. 구체적으로, 투명 디스플레이(633)는 프로세서(540)의 제어에 따라, 다양한 이미지를 표시할 수 있다. 발광 소자(631)로부터 출력되는 빛의 적어도 일부분은, 투명 디스플레이(633)에 표시되는 이미지에 의해, 차량(100) 전방으로의 투사가 차단되거나, 밝기 또는 색상이 변경될 수 있다. 예컨대, 투명 디스플레이(633)에 표시되는 이미지가 적색인 경우, 발광 소자(631)로부터 출력되는 빛은 투명 디스플레이(633)을 통과하면서 적색으로 변경될 수 있다. 다른 예로, 발광 소자(631)로부터 출력되는 빛은 투명 디스플레이(633)에 의해 표시된 이미지 영역의 투과율에 따라, 밝기 또는 광량이 변경될 수 있다. The transparent display 633 may block at least a part of the light output from the light emitting element 631, or change at least one of brightness and hue. Specifically, the transparent display 633 may display various images under the control of the processor 540. [ At least a part of the light output from the light emitting element 631 may be shielded from projection toward the front of the vehicle 100 or may be changed in brightness or color by the image displayed on the transparent display 633. For example, when the image displayed on the transparent display 633 is red, light output from the light emitting device 631 may be changed to red while passing through the transparent display 633. [ As another example, the light output from the light emitting element 631 may be changed in brightness or amount of light depending on the transmittance of the image area indicated by the transparent display 633.

투명 디스플레이(633)를 통과한 빛은 렌즈(634)에 의해 굴절되어, 차량(100) 전방의 지면을 향하여 투사될 수 있다. 실시예에 따라, 제3 발광 모듈(513)은 렌즈(634)를 포함하지 않을 수 있다.Light passing through the transparent display 633 can be refracted by the lens 634 and projected toward the ground in front of the vehicle 100. [ According to the embodiment, the third light emitting module 513 may not include the lens 634. [

도 7은 본 발명의 일 실시예에 따른 운전 보조 장치(700)의 블록 다이어그램을 보여준다.FIG. 7 shows a block diagram of a driving assistance device 700 according to an embodiment of the present invention.

도 7을 참조하면, 운전 보조 장치(700)는 카메라(710), 입력부(720), 메모리(730), 음향 출력부(740), 디스플레이부(750), 인터페이스부(760), 프로세서(770) 및 전원부(780)를 포함할 수 있다. 7, the driving assistance device 700 includes a camera 710, an input unit 720, a memory 730, an acoustic output unit 740, a display unit 750, an interface unit 760, a processor 770 And a power supply unit 780.

카메라(710)는 차량 전방을 촬영하여, 전방의 전경에 대응하는 이미지를 획득할 수 있다. 이때, 카메라(710)는 싱글뷰 카메라 또는 스테레오 카메라일 수 있다. The camera 710 can photograph the front of the vehicle to obtain an image corresponding to the foreground of the front. At this time, the camera 710 may be a single view camera or a stereo camera.

카메라(710)는 이미지 센서(예를 들면, CMOS 또는 CCD)와 영상 처리 모듈을 포함할 수 있다. The camera 710 may include an image sensor (e.g., CMOS or CCD) and an image processing module.

카메라(710)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공할 수 있다. 실시예에 따라, 카메라(710)에 포함되는 영상 처리 모듈은 프로세서(770)와 별도로 구성되거나 일체화되어 구성될 수 있다.The camera 710 can process still images or moving images obtained by the image sensor. The image processing module can process the still image or moving image obtained through the image sensor. According to an embodiment, the image processing module included in the camera 710 may be separately configured or integrated with the processor 770.

카메라(710)는 프로세서(770)의 제어에 따라, 줌(Zoom)이 설정될 수 있다. 예를 들어, 프로세서(770)에 의해 검출된 복수의 오브젝트들 중, 차량과 가장 가까이 있는 오브젝트까지의 거리를 기초로, 카메라(710)의 줌(Zoom)이 설정될 수 있다.The camera 710 may be set to a zoom according to the control of the processor 770. For example, the zoom of the camera 710 can be set based on the distance from the plurality of objects detected by the processor 770 to the object closest to the vehicle.

카메라(710)는 프로세서(770)의 제어에 따라, 포커스(Focus)가 설정될 수 있다. 예를 들면, 프로세서(770)의 제어에 따라, 카메라(710)에 포함된 포커스배럴(미도시)이 이동하여, 포커스가 설정될 수 있다. 포커스는 줌 설정에 기초하여, 자동적으로 설정될 수 있다.The camera 710 may be set to focus under the control of the processor 770. [ For example, under the control of the processor 770, the focus barrel (not shown) included in the camera 710 may be moved and the focus may be set. The focus can be automatically set based on the zoom setting.

카메라(710)에 의해 생성된 이미지 내에 차량(100) 전방에 있는 적어도 하나의 오브젝트가 포함되는 경우, 프로세서(770)에 의해 이미지 내의 오브젝트가 검출되고, 검출된 오브젝트의 종류가 식별될 수 있다.When at least one object in front of the vehicle 100 is included in the image generated by the camera 710, an object in the image is detected by the processor 770, and the type of the detected object can be identified.

입력부(720)는 운전 보조 장치(700)에 대한 사용자의 입력을 수신하기 위한, 복수의 버튼 또는 터치 스크린을 구비할 수 있다. 복수의 버튼 또는 터치 스크린을 통해, 운전 보조 장치(700)의 전원을 온 시키는 것이 가능하다. 그 외, 다양한 입력 동작을 수행하는 것도 가능하다.The input unit 720 may include a plurality of buttons or a touch screen for receiving a user's input to the driving assistance device 700. [ It is possible to turn on the power of the driving assistant 700 through a plurality of buttons or a touch screen. In addition, it is also possible to perform various input operations.

메모리(730)는 프로세서(770)의 처리 또는 제어를 위한 프로그램 등, 운전 보조 장치(700) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. The memory 730 may store various data for operation of the driving assistant 700, such as a program for processing or controlling the processor 770. [

메모리(730)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 구체적으로, 프로세서(770)가 카메라(710)로부터 제공되는 이미지를 기초로, 소정 오브젝트를 검출한 경우, 메모리(730)는 상기 검출된 오브젝트의 종류가 무엇인지 식별하기 위한 데이터를 저장할 수 있다. 예를 들어, 메모리(730)에는 미리 정해진 오브젝트의 종류별 템플릿 이미지(template image)가 저장될 수 있다. 프로세서(770)는 메모리(730)에 저장된 다양한 템플릿 이미지 중, 상기 검출된 오브젝트와 가장 유사도가 높은 템플릿 이미지를 결정함으로써, 상기 검출된 오브젝트의 종류를 식별할 수 있다.The memory 730 may store data for object identification. Specifically, when the processor 770 detects a predetermined object based on an image provided from the camera 710, the memory 730 may store data for identifying what kind of the detected object is. For example, a predetermined template image for each type of object may be stored in the memory 730. The processor 770 can identify the type of the detected object by determining a template image having the highest degree of similarity to the detected object among the various template images stored in the memory 730. [

메모리(730)는 교통 정보에 대한 데이터를 저장할 수 있다. 예를 들면, 메모리(730)는 카메라(710)로부터 제공되는 이미지를 기초로, 소정의 교통 정보가 검출되는 경우, 소정 알고리즘에 의해, 상기 교통 정보가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.The memory 730 may store data on traffic information. For example, when predetermined traffic information is detected based on the image provided from the camera 710, the memory 730 may store data for checking what the traffic information corresponds to by a predetermined algorithm have.

한편, 메모리(730)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 한편, 도 7에는 메모리(730)와 프로세서(770)가 구분되는 것으로 도시되어 있으나, 실시예에 따라 메모리(730)는 프로세서(770)에 포함될 수도 있다.Meanwhile, the memory 730 may be various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like in hardware. Although the memory 730 and the processor 770 are shown as being separate from each other in FIG. 7, the memory 730 may be included in the processor 770 according to an embodiment of the present invention.

음향 출력부(740)는 프로세서(770)에서 처리된 오디오 신호에 기초하여, 소정의 사운드를 외부로 출력할 수 있다. 이를 위해, 음향 출력부(740)는 적어도 하나의 스피커를 구비할 수 있다.The sound output unit 740 can output a predetermined sound to the outside based on the audio signal processed by the processor 770. [ For this purpose, the sound output unit 740 may include at least one speaker.

디스플레이부(750)는 프로세서(770)에서 처리된 각종 정보를 표시할 수 있다. 디스플레이부(750)는 운전 보조 장치(700)의 동작과 관련된 각종 이미지를 표시할 수 있다. 이러한 이미지 표시를 위해, 디스플레이부(750)는 차량의 운전석의 전면에 장착되는 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. HUD는 차량(100)의 윈드 쉴드 상에 이미지를 투사하는 투사 모듈을 포함할 수 있다.The display unit 750 can display various information processed by the processor 770. The display unit 750 may display various images related to the operation of the driving assistant 700. For this image display, the display unit 750 may include a cluster or a head up display (HUD) mounted on the front of the driver's seat of the vehicle. The HUD may include a projection module that projects an image onto the windshield of the vehicle 100. [

전원 공급부(190)는, 프로세서(770)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다. The power supply unit 190 can supply power necessary for the operation of each component under the control of the processor 770. [ Particularly, the power supply unit 190 can receive power from a battery or the like inside the vehicle.

인터페이스부(760)는 외부 장치로부터 차량 관련 데이터를 수신하거나, 프로세서(770)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(760)는, 유선 통신 또는 무선 통신 방식에 의해, 차량에 포함된 적어도 하나의 구성 요소 및/또는 조명 장치(500)와 데이터 통신을 수행할 수 있다.The interface unit 760 may receive the vehicle-related data from the external device, or may transmit the processed or generated signal to the outside by the processor 770. To this end, the interface unit 760 can perform data communication with at least one component included in the vehicle and / or the lighting device 500 by a wired communication or a wireless communication method.

인터페이스부(760)는 제어부(170) 및/또는 통신부(110)와의 데이터 통신에 의해, 내비게이션 정보를 수신할 수 있다. 여기서, 내비게이션 정보는 기 설정된 목적지 정보, 상기 목적지까지의 경로 정보, 지도 데이터, 차량(100)의 현재 위치 정보를 포함할 수 있다. The interface unit 760 can receive the navigation information by the data communication with the control unit 170 and / or the communication unit 110. [ Here, the navigation information may include predetermined destination information, route information to the destination, map data, and current position information of the vehicle 100.

인터페이스부(760)는 센싱부(160)로부터 제공되는 센싱 데이터를 수신할 수 있다.The interface unit 760 may receive the sensing data provided from the sensing unit 160.

여기서, 센싱 데이터는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.Here, the sensing data includes at least one of vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / backward information, battery information, fuel information, Information on the inside temperature of the vehicle, and humidity information of the inside of the vehicle.

이러한 센싱 데이터는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등에 의해 획득되는 것일 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.Such sensing data may include a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle forward / backward sensor, a wheel sensor, a vehicle speed sensor, A vehicle body inclination sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, a vehicle interior humidity sensor, and the like. On the other hand, the position module may include a GPS module for receiving GPS information.

인터페이스부(760)는 프로세서(770)에 의해 검출된 오브젝트에 대한 정보를 조명 장치(500)에 제공할 수 있다. 예컨대, 오브젝트는, 보행자, 대향 차량, 또는 교통 표지 등일 수 있다.The interface unit 760 may provide information about the object detected by the processor 770 to the lighting device 500. [ For example, the object may be a pedestrian, an opposing vehicle, a traffic sign, or the like.

인터페이스부(760)는 오브젝트와의 거리 정보를 조명 장치(500)에 제공할 수 있다.The interface unit 760 can provide distance information to the object to the illumination device 500.

인터페이스부(760)는 차량(100)을 기준으로 오브젝트의 상대 위치 변화에 대한 정보를 조명 장치(500)에 제공할 수 있다.The interface unit 760 can provide the illumination device 500 with information on the relative positional change of the object with respect to the vehicle 100. [

인터페이스부(760)는, 검출된 오브젝트의 시간에 따른 속도, 위치 또는 크기 변화에 대한 정보를 조명 장치(500)에 제공할 수 있다.The interface unit 760 may provide information on the speed, position, or size change of the detected object over time to the illumination device 500.

인터페이스부(760)는 검출된 대향 차량의 윈드 쉴드에 대한 정보를 조명 장치(500)에 제공할 수 있다. 인터페이스부(760)는 대향 차량의 운전자의 얼굴이 위치하는 윈드 쉴드의 일부분에 대한 정보를 조명 장치(500)에 제공할 수 있다. 여기서, 대향 차량의 운전자의 얼굴이 위치하는 부분은 대향 차량의 운전석쪽의 윈드 쉴드 영역일 수 있다.The interface unit 760 can provide information on the detected windshield of the opposing vehicle to the lighting apparatus 500. [ The interface unit 760 can provide the illumination device 500 with information on a part of the windshield where the face of the driver of the opposite vehicle is located. Here, the portion where the face of the driver of the opposite vehicle is located may be the windshield region of the driver's seat side of the opposite vehicle.

인터페이스부(760)는 보행자 얼굴에 대한 정보를 조명 장치(500)에 제공할 수 있다. 예컨대, 프로세서(770)는 검출된 보행자의 최상단 지점으로부터 아래로 1/7에 대응하는 영역이 보행자의 얼굴인 것으로 결정할 수 있다.The interface unit 760 may provide information on the pedestrian face to the lighting device 500. [ For example, the processor 770 may determine that the area corresponding to 1/7 downward from the highest point of the detected pedestrian is the face of the pedestrian.

프로세서(770)는 운전 보조 장치(700)에 포함된 구성 요소들 각각의 전반적인 동작을 제어한다. 이러한 프로세서(770)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 중 적어도 하나를 이용하여 구현될 수 있다.Processor 770 controls the overall operation of each of the components included in the driving assistance device 700. The processor 770 may be implemented as one or more of application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) Controllers, micro-controllers, microprocessors, and the like.

프로세서(770)는 카메라(710)로부터 제공되는 이미지를 처리할 수 있다. 프로세서(770)는 컴퓨터 비전(computer vision) 기반의 신호 처리를 수행할 수 있다. 이에 따라, 프로세서(770)는 카메라(710)로부터 제공되는 이미지에 기초하여, 오브젝트 검출하고, 검출된 오브젝트의 종류를 식별하며, 검출된 오브젝트를 트래킹할 수 있다. 프로세서(770)는, 오브젝트 검출시, 차선 검출(Lane Detection, LD), 주변 차량 검출(Vehicle Detection, VD), 보행자 검출(Pedestrian Detection,PD), 불빛 검출(Brightspot Detection, BD), 교통 표지 검출(Traffic Sign Recognition, TSR), 도로면 검출 등을 수행할 수 있다.The processor 770 may process the image provided by the camera 710. The processor 770 may perform signal processing based on computer vision. Accordingly, the processor 770 can detect an object based on the image provided from the camera 710, identify the type of the detected object, and track the detected object. The processor 770 may be configured to detect an object such as a lane detection (LD), a vehicle detection (VD), a pedestrian detection (PD), a light detection (Brightspot Detection, BD) (Traffic Sign Recognition, TSR), road surface detection, and the like.

교통 표지(Traffic Sign)는 차량(100)의 운전자에게 전달 될 수 있는 소정의 정보를 의미할 수 있다. 교통 표지의 대표적인 예로는, 신호등, 교통 표지판, 차선을 들 수 있다. The traffic sign may mean predetermined information that can be transmitted to the driver of the vehicle 100. [ Typical examples of traffic signs include traffic lights, traffic signs, and lanes.

예를 들면, 교통 표지는 신호등에서 출력되는 차량 또는 보행자의 고(Go) 또는 스탑(Stop) 신호일 수 있다. For example, a traffic sign may be a Go or Stop signal of a vehicle or pedestrian output from a traffic light.

다른 예로, 교통 표지는, 교통 표지판에 표시된 각종 도안 또는 텍스트일 수 있다. As another example, the traffic sign may be various designs or texts displayed on traffic signs.

다른 예로, 교통 표지는 지면에 그려진 각종 도안 또는 텍스트일 수 있다. As another example, a traffic sign may be various designs or texts drawn on the ground.

프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 오브젝트를 검출하고, 검출된 오브젝트에 관한 정보를 조명 장치(500)에 제공할 수 있다. The processor 770 can detect the object based on the image provided from the camera 710 and provide the information about the detected object to the illumination device 500. [

프로세서(770)는 카메라(710)의 줌(Zoom)을 제어할 수 있다. 예를 들면, 프로세서(770)는 오브젝트 검출 결과에 따라 카메라(710)의 줌을 제어할 수 있다. 가령, 교통 표지판은 검출되지만, 교통 표지판에 표시된 내용이 검출되지 않는 경우, 프로세서(770)는 카메라(710)가 줌인(Zoom-in)되도록 제어할 수 있다.The processor 770 may control the zoom of the camera 710. For example, the processor 770 may control the zoom of the camera 710 according to the object detection result. For example, if a traffic sign is detected but the contents displayed on the traffic sign are not detected, the processor 770 may control the camera 710 to zoom in.

프로세서(770)는, 인터페이스부(760)를 통해, 센싱부로부터 제공되는 센싱 데이터를 수신할 수 있다. 여기서, 센싱 데이터는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 정보, 외부 조도 정보, 차량 외부 날씨 정보 중 적어도 하나를 포함할 수 있다.The processor 770 can receive the sensing data provided from the sensing unit through the interface unit 760. [ Here, the sensing data may include vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / backward information, battery information, fuel information, Lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation information, external illuminance information, and weather information on the outside of the vehicle.

프로세서(770)는 검출된 오브젝트의 크기 변화를 기초로, 차량을 기준으로 검출된 오브젝트의 상대적 위치를 산출할 수 있다. 프로세서(770)는 산출된 위치 및 차량의 주행 속도를 기초로, 검출된 오브젝트와의 상대 속도를 검출할 수 있다.The processor 770 can calculate the relative position of the detected object on the basis of the vehicle based on the size change of the detected object. The processor 770 can detect the relative speed with the detected object based on the calculated position and the running speed of the vehicle.

예를 들면, 카메라(710)가 차량(100) 전방 영상을 촬영하는 경우, 프로세서(770)는 전방 오브젝트를 검출할 수 있다. 프로세서(770)는 시간에 따른 검출된 전방 오브젝트의 크기 변화를 기초로 상기 전방 오브젝트와의 상대 거리를 검출할 수 있다. 여기서, 전방 오브젝트는 대향 차량일 수 있다.For example, when the camera 710 photographs the forward image of the vehicle 100, the processor 770 can detect the forward object. The processor 770 can detect the relative distance to the front object based on the size change of the detected front object with respect to time. Here, the front object may be an opposite vehicle.

프로세서(770)는 대향 차량의 윈드 쉴드를 검출할 수 있다. 프로세서(770)는, 특징점(예를 들면, 대향차에서 윈드 쉴드의 각 모서리) 검출을 통해, 대향 차량의 윈드 쉴드를 검출할 수 있다.The processor 770 can detect the windshield of the opposite vehicle. The processor 770 can detect the windshield of the opposite vehicle through detection of the feature point (for example, each corner of the windshield in the opposite vehicle).

프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 차량(100)이 현재 주행 중인 도로의 곡률 및/또는 기울기를 산출할 수 있다. The processor 770 can calculate the curvature and / or the slope of the road on which the vehicle 100 is currently traveling, based on the image provided from the camera 710. [

예를 들면, 프로세서(770)는 스테레오 이미지에 나타나는 소실점을 기초로 도로 전방의 오르막 또는 내리막을 판단할 수 있다. 가령, 스테레오 영상에서 소실점이 기준선보다 위에 위치하는 경우, 오르막으로 판단할 수 있다. 또는 영상에서 소실점이 기준선보다 아래에 위치하는 경우, 내리막으로 판단할 수 있다.For example, the processor 770 can determine an uphill or downhill road ahead based on the vanishing point appearing in the stereo image. For example, if the vanishing point is located above the reference line in the stereo image, it can be judged as ascending. Or if the vanishing point is located below the reference line in the image, it can be judged to be a downward slope.

다른 예를 들면, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 차선을 검출하고, 검출된 차선의 형상을 기초로, 차량(100)이 현재 주행 중인 도로의 곡률을 산출할 수 있다.In another example, the processor 770 detects the lane based on the image provided from the camera 710, and calculates the curvature of the road on which the vehicle 100 is currently traveling based on the shape of the detected lane .

프로세서(770)는 스테레오 영상을 기초로, 차량(100)의 전방에 고정된 오브젝트를 검출할 수 있다. 여기서, 고정된 오브젝트는 가로등, 가로수, 가이드레일, 과속 방지턱, 벽, 전봇대 등일 수 있다. The processor 770 can detect an object fixed in front of the vehicle 100 based on the stereo image. Here, the fixed object may be a street lamp, a row of trees, a guide rail, a speed limiter, a wall, a pole, and the like.

프로세서(770)는 제어부(170)의 제어를 받거나, 제어부(170)로 특정 동작의 실행을 요청할 수 있다. 프로세서(770)는 조명 장치(500)의 프로세서(540)로 특정 동작의 실행을 요청할 수 있다.The processor 770 may be under the control of the control unit 170 or may request the control unit 170 to execute a specific operation. The processor 770 may request the processor 540 of the lighting device 500 to perform a particular operation.

한편, 도 5 및 도 7을 살펴보면, 조명 장치(500)와 운전 보조 장치(700)가 별개인 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 예컨대, 넓은 의미에서, 운전 보조 장치(700)는 조명 장치(500)까지 포함하는 것도 가능하다. 이 경우, 조명 장치(500)의 프로세서(540)은 운전 보조 장치(700)의 프로세서(770)에 포함되는 서브 프로세서(subprocessor)로 구현될 수 있다.5 and 7, the illumination device 500 and the driving assist device 700 are shown as being separate, but the present invention is not limited thereto. For example, in a broad sense, it is also possible for the driving assistance device 700 to include the illumination device 500 as well. In this case, the processor 540 of the lighting apparatus 500 may be implemented as a sub processor included in the processor 770 of the driving assistant apparatus 700. [

도 8은 운전 보조 장치(700)에 포함된 카메라(710)가 스테레오 카메라인 경우를 예시한다.8 illustrates a case where the camera 710 included in the driving assistant device 700 is a stereo camera.

도 8을 참조하면, 카메라(710)는 제1 렌즈(311)를 구비하는 제1 카메라 모듈(310) 및 제2 렌즈(321)를 구비하는 제2 카메라 모듈(320)를 포함할 수 있다. 또한, 제1 렌즈(311)와 제2 렌즈(312)는 소정 간격만큼 이격되어, 공통의 시점(time point)에 동일한 피사체에 대한 서로 다른 두 장의 이미지를 획득할 수 있다.Referring to FIG. 8, the camera 710 may include a first camera module 310 having a first lens 311 and a second camera module 320 having a second lens 321. Also, the first lens 311 and the second lens 312 are spaced apart from each other by a predetermined distance, and can acquire two different images for the same object at a common time point.

또한, 카메라(710)는 제1 카메라 모듈(310)과 제2 카메라 모듈(321)에 입사되는 광을 차폐하기 위한, 제1 광 차폐부(light shield)(312) 및 제2 광 차폐부(322)를 더 포함할 수 있다. 제1 카메라 모듈(310)은 제1 렌즈(311)을 통해 입사되는 광을 전기적인 영상 신호로 변환함으로써, 이미지를 생성할 수 있다. 제2 카메라 모듈(320)은 제2 렌즈(321)을 통해 입사되는 광을 전기적인 영상 신호로 변환함으로써, 이미지를 생성할 수 있다.The camera 710 further includes a first light shield 312 and a second light shield 312 for shielding the light incident on the first camera module 310 and the second camera module 321, 322). The first camera module 310 can generate an image by converting the light incident through the first lens 311 into an electrical image signal. The second camera module 320 converts the light incident through the second lens 321 into an electrical image signal, thereby generating an image.

카메라(710)는 윈드쉴드에 탈부착 가능한 구조일 수 있다.The camera 710 can be detachably attached to the windshield.

이러한 카메라(710)는 제1 및 제2 카메라 모듈(310, 320)로부터, 차량 전방에 대한 스테레오 이미지를 획득할 수 있다. 이때, 제1 카메라 모듈(310)의 제1 이미지 센서에 의해 획득된 이미지를 우측 이미지라고 칭하고, 제2 카메라 모듈(320)의 제2 이미지 센서에 의해 획득된 이미지를 좌측 이미지라고 칭할 수 있다.Such a camera 710 may obtain a stereo image for the front of the vehicle from the first and second camera modules 310 and 320. At this time, the image obtained by the first image sensor of the first camera module 310 may be referred to as a right image, and the image obtained by the second image sensor of the second camera module 320 may be referred to as a left image.

또한, 프로세서(770)는 카메라(710)로부터 제공되는 스테레오 이미지(즉, 좌측 이미지 및 우측 이미지)에 기초하여, 차량(100)의 주변에 대한 디스패러티(disparity) 정보를 산출할 수 있다. 프로세서(770)는 제1 이미지 센서에 의해 획득된 이미지와 제2 이미지 센서에 의해 획득된 제2 이미지를 비교하여, 복수의 마킹 영역에 대한 디스페리티 정보를 산출할 수 있다. 또한, 프로세서(770)는 디스패러티 정보에 기초하여, 적어도 하나의 스테레오 이미지에 나타나는 적어도 하나의 오브젝트(예, 보행자, 신호등, 도로, 차선, 타차량)에 대한 검출을 수행할 수 있다. 또한, 프로세서(770)는 기 검출된 오브젝트가 카메라(710)로부터 제공되는 스테레오 이미지 내에 더 이상 나타나지 않을 때까지, 주기적으로 해당 오브젝트의 움직임을 트래킹할 수 있다. The processor 770 may also calculate disparity information about the periphery of the vehicle 100 based on the stereo images provided from the camera 710 (i.e., the left image and the right image). The processor 770 may compare the image obtained by the first image sensor with the second image obtained by the second image sensor to calculate the disparity information for the plurality of marked areas. The processor 770 may also perform detection for at least one object (e.g., a pedestrian, traffic light, road, lane, other vehicle) that appears in at least one stereo image based on the disparity information. The processor 770 may also periodically track the motion of the object until the previously detected object is no longer present in the stereo image provided by the camera 710. [

도 9는 도 7에 도시된 프로세서(770)의 내부 블록 다이어그램의 일 예를 보여준다. FIG. 9 shows an example of an internal block diagram of the processor 770 shown in FIG.

도 9를 참조하면, 프로세서(770)는, 영상 전처리부(910), 디스패러티 연산부(920), 오브젝트 검출부(934), 오브젝트 트래킹부(940), 및 어플리케이션부(950)를 포함할 수 있다.9, the processor 770 may include an image preprocessing unit 910, a disparity computing unit 920, an object detecting unit 934, an object tracking unit 940, and an application unit 950 .

영상 전처리부(image preprocessor)(910)는 도 7에 도시된 카메라(710)로부터 제공되는 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다. 이때, 카메라(710)로부터 제공되는 이미지는, 스테레오 이미지일 수 있다.The image preprocessor 910 receives an image provided from the camera 710 shown in FIG. 7 and can perform preprocessing. At this time, the image provided from the camera 710 may be a stereo image.

구체적으로, 영상 전처리부(910)는 수신된 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(710)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.Specifically, the image preprocessing unit 910 performs a noise reduction, a rectification, a calibration, a color enhancement, a color space conversion, and the like on the received image, Interpolation, camera gain control, and the like. Accordingly, it is possible to obtain a clearer image than the stereo image photographed by the camera 710.

디스패러티 연산부(disparity calculator)(920)는 영상 전처리부(910)에서 신호 처리된 이미지를 수신할 수 있다. 디스패러티 연산부(920)는, 공통의 시점(time point)에서 제1 카메라 모듈(310) 및 제2 카메라 모듈(320)에 의해 생성된 두 이미지에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량(100) 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.The disparity calculator 920 can receive the signal processed image from the image preprocessing unit 910. [ The disparity calculating unit 920 performs stereo matching on the two images generated by the first camera module 310 and the second camera module 320 at a common time point, It is possible to obtain a disparty map according to the matching. That is, it is possible to obtain the disparity information about the stereo image with respect to the front of the vehicle 100. [

이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌측 이미지와 우측 이미지 간의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.At this time, the stereo matching may be performed on a pixel-by-pixel basis of stereo images or on a predetermined block basis. On the other hand, the disparity map may mean a map in which binaural parallax information between a stereo image, i.e., a left image and a right image, is expressed numerically.

세그멘테이션부(segmentation unit)(932)는 디스패러티 연산부(920)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.The segmentation unit 932 may perform segmentation and clustering on at least one of the images based on the dispetity information from the disparity operation unit 920. [

구체적으로, 세그멘테이션부(932)는 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다. 예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다. Specifically, the segmentation unit 932 can separate the background and the foreground for at least one of the stereo images based on the disparity information. For example, an area having dispaly information within a disparity map of a predetermined value or less can be calculated as a background, and the corresponding part can be excluded. Thereby, the foreground can be relatively separated.

다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.As another example, an area in which the dispetity information is equal to or greater than a predetermined value in the disparity map can be calculated with the foreground, and the corresponding part can be extracted. Thereby, the foreground can be separated.

이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.Thus, by separating the foreground and the background based on the disparity information information extracted based on the stereo image, it becomes possible to shorten the signal processing speed, signal processing amount, and the like at the time of object detection thereafter.

다음, 오브젝트 검출부(object detector)(934)는 세그멘테이션부(932)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다. Next, the object detector 934 can detect the object based on the image segment from the segmentation unit 932. [

즉, 오브젝트 검출부(934)는 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.That is, the object detecting unit 934 can detect an object for at least one of the images based on the disparity information.

구체적으로, 오브젝트 검출부(934)는 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.Specifically, the object detection unit 934 can detect an object for at least one of the images. For example, an object can be detected from a foreground separated by an image segment.

다음, 오브젝트 확인부(object verification unit)(936)는 분리된 오브젝트를 분류하고(classify), 분류된 오브젝트의 타입을 확인할 수 있다(verify).Next, an object verification unit 936 classifies the separated objects and verifies the type of the classified objects.

이를 위해, 오브젝트 확인부(936)는 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.For this purpose, the object identification unit 936 may identify a method using a neural network, a SVM (Support Vector Machine) technique, an AdaBoost-based technique using Haar-like features, or a Histograms of Oriented Gradients Etc. may be used.

한편, 오브젝트 확인부(936)는 메모리(130)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 검출된 오브젝트의 타입을 확인할 수 있다.On the other hand, the object checking unit 936 can check the type of the detected object by comparing the objects stored in the memory 130 with the detected object.

예를 들면, 오브젝트 확인부(936)는 차량 주변에 위치하는 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다. For example, the object checking unit 936 can identify nearby vehicles, lanes, roads, signs, hazardous areas, tunnels, and the like located in the vicinity of the vehicle.

오브젝트 트래킹부(object tracking unit)(940)는 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 카메라(710)로부터 순차적으로 제공되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량(100)의 주변에 위치하는 보행자, 타차량, 차선, 도로면, 교통 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다. An object tracking unit 940 may perform tracking on the identified object. For example, it is possible to identify an object in the stereo images sequentially provided from the camera 710, calculate a motion or a motion vector of the identified object, and move the object based on the calculated motion or motion vector And so on. Accordingly, it is possible to track a pedestrian, another vehicle, a lane, a road surface, a traffic sign, a hazardous area, a tunnel, etc. located around the vehicle 100.

다음, 어플리케이션부(950)는 차량(100)의 주변에 위치하는 각 오브젝트와 관련된 데이터(예, 속도, 차량(100)과의 거리, 크기)에 기초하여, 차량(100)의 위험도 등을 연산할 수 있다. 예컨대, 어플리케이션부(950)는 차량(100)과 타차량 간의 추돌 가능성, 차량(100)의 슬립 여부 등을 연산할 수 있다.Next, the application unit 950 calculates the risk of the vehicle 100, etc. based on data (e.g., speed, distance to the vehicle 100, and size) related to each object located in the periphery of the vehicle 100 can do. For example, the application unit 950 can calculate the possibility of a collision between the vehicle 100 and another vehicle, whether the vehicle 100 is slipping or the like.

그리고, 어플리케이션부(950)는 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 운전자에게 임박한 위험를 알려주기 위한 신호를 운전 보조 장치(700)로 제공할 수 있다. 또는, 어플리케이션부(950)는 차량(100)의 자세 제어 또는 주행 제어를 위한 제어 신호를 생성할 수도 있다. The application unit 950 can provide a signal to the driver assistance device 700 to notify the driver of the imminent danger based on the calculated risk, collision possibility, slip or the like. Alternatively, the application unit 950 may generate a control signal for attitude control or running control of the vehicle 100. [

한편, 실시예에 따라, 프로세서(770)는 영상 전처리부(910), 디스페러티 연산부(920), 세그먼테이션부(932), 오브젝트 검출부(934), 오브젝트 확인부(936), 오브젝트 트래킹부(940) 및 어플리케이션부(950) 중 일부만을 포함할 수 있다. 가령, 카메라(710)가 2차원 영상만을 제공하는 카메라인 경우, 디스패러티 연산부(920)는 제외될 수 있다. The processor 770 may include an image preprocessing unit 910, a disparity computing unit 920, a segmentation unit 932, an object detection unit 934, an object verification unit 936, an object tracking unit 940, and an application unit 950, as shown in FIG. For example, when the camera 710 is a camera that provides only two-dimensional images, the disparity calculating unit 920 may be omitted.

도 10a 및 도 10b는 도 9에 도시된 프로세서(770)의 동작 설명에 참조되는 도면이다.10A and 10B are diagrams referred to in the description of the operation of the processor 770 shown in FIG.

도 10a와 도 10b는 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 프로세서(770)의 동작 방법 설명을 위해 참조되는 도면이다.FIGS. 10A and 10B are views referred to for explaining the operation method of the processor 770, based on the stereo images respectively obtained in the first and second frame periods.

먼저, 도 10a를 참조하면, 카메라(710)가 도 8과 같은 스테레오 카메라인 경우, 카메라(710)는 제1 프레임 구간 동안, 스테레오 이미지를 획득한다.First, referring to FIG. 10A, when the camera 710 is a stereo camera as shown in FIG. 8, the camera 710 acquires a stereo image during a first frame period.

프로세서(770) 내의 디스패러티 연산부(920)는 영상 전처리부(910)에서 신호 처리된, 스테레오 이미지(FR1a, FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a, FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(1020)을 획득한다.The disparity calculating unit 920 in the processor 770 receives the stereo images FR1a and FR1b signal-processed by the image preprocessing unit 910 and performs stereo matching on the received stereo images FR1a and FR1b , And obtains a disparity map (1020).

디스패러티 맵(dispartiy map)(1020)은 스테레오 이미지(FR1a, FR1b) 사이의 시차(disparity)를 레벨화한 것으로서, 디스패러티 레벨이 큰 지점일수록 차량(100)과의 거리가 가깝고, 디스패러티 레벨이 작은 지점일수록 차량(100)과의 거리가 먼 것으로 연산할 수 있다.The disparity map 1020 is obtained by leveling the disparity between the stereo images FR1a and FR1b. The distance from the vehicle 100 to the disparity level is closer to the disparity level, The smaller the point, the greater the distance from the vehicle 100 is.

한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다. 물론, 그 반대로도 가능하다.On the other hand, when such a disparity map is displayed, it may be displayed so as to have a higher luminance as the disparity level becomes larger, and a lower luminance as the disparity level becomes smaller. Of course, the opposite is also possible.

디스패러티 맵(1020) 내에서, 제1 차선 내지 제4 차선(1028a, 1028b, 1028c, 1028d), 공사 지역(1022), 제1 전방 차량(1024) 및 제2 전방 차량(1026)이 각각 서로 다른 디스패러티 레벨을 가지는 것을 예시한다.In the disparity map 1020, the first to fourth lanes 1028a, 1028b, 1028c and 1028d, the construction area 1022, the first front vehicle 1024 and the second front vehicle 1026 are connected to each other And having different disparity levels.

세그멘테이션부(932)와, 오브젝트 검출부(934), 오브젝트 확인부(936)는 디스패러티 맵(1020)에 기초하여, 스테레오 이미지(FR1a, FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.The segmentation unit 932, the object detection unit 934 and the object identification unit 936 determine whether or not a segment, an object detection, and an object of at least one of the stereo images FR1a and FR1b, based on the disparity map 1020, Perform verification.

디스패러티 맵(1020)를 기초로, 제2 스테레오 이미지(FR1b)에 나타나는 오브젝트별 검출 및 확인이 수행된 결과 이미지(1030)를 예시한다.Based on the disparity map 1020, a resultant image 1030 is shown that performs object-by-object detection and verification, as shown in the second stereo image FR1b.

결과 이미지(1030) 내에, 제1 차선 내지 제4 차선(1038a, 1038b, 1038c, 1038d), 공사 지역(1032), 제1 전방 차량(1034) 및 제2 전방 차량(1036)이, 배경과 구분되도록 표시될 수 있다.In the resultant image 1030, the first to fourth lanes 1038a, 1038b, 1038c and 1038d, the construction area 1032, the first front vehicle 1034 and the second front vehicle 1036 are separated from the background .

다음, 도 10b를 참조하면, 상기 제1 프레임 구간 이후의 제2 프레임 구간 동안, 스테레오 카메라(710)는, 스테레오 이미지를 획득한다.Next, referring to FIG. 10B, during a second frame period after the first frame period, the stereo camera 710 acquires a stereo image.

프로세서(770) 내의 디스패러티 연산부(920)는 영상 전처리부(910)에서 신호 처리된, 스테레오 이미지(FR2a, FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a, FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(1040)을 획득한다.The disparity calculating unit 920 in the processor 770 receives the stereo images FR2a and FR2b signal-processed by the image preprocessing unit 910 and performs stereo matching on the received stereo images FR2a and FR2b , And a disparity map (1040).

디스패러티 맵(1040) 내에서, 제1 차선 내지 제4 차선(1048a, 1048b, 1048c, 1048d), 공사 지역(1042), 제1 전방 차량(1044) 및 제2 전방 차량(1046)이 각각 서로 다른 디스패러티 레벨을 가지는 것을 예시한다.In the disparity map 1040, the first to fourth lanes 1048a, 1048b, 1048c and 1048d, the construction area 1042, the first front vehicle 1044 and the second front vehicle 1046 are connected to each other And having different disparity levels.

세그멘테이션부(932)와 오브젝트 검출부(934), 오브젝트 확인부(936)는, 디스패러티 맵(1040)에 기초하여, 스테레오 이미지(FR2a, FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.The segmentation unit 932, the object detection unit 934 and the object identification unit 936 are configured to determine whether or not a segment, an object detection, and an object of at least one of the stereo images FR2a and FR2b, based on the disparity map 1040, Perform verification.

디스패러티 맵(1040)을 기초로, 제2 스테레오 이미지(FR2b)에 나타나는 오브젝트 검출, 및 확인이 수행된 결과 이미지(1050)를 예시한다.Based on the disparity map 1040, an object image 1050 appearing in the second stereo image FR2b is illustrated, and a result image 1050 is shown.

결과 이미지(1050) 내에 제1 차선 내지 제4 차선(1058a, 1058b, 1058c, 1058d), 공사 지역(1052), 제1 전방 차량(1054), 제2 전방 차량(1056)이, 배경과 구분되도록 표시될 수 있다.The first lane to the fourth lane 1058a, 1058b, 1058c and 1058d, the construction area 1052, the first forward vehicle 1054 and the second forward vehicle 1056 are distinguished from the background in the resultant image 1050 Can be displayed.

한편, 오브젝트 트래킹부(940)는 순차적으로 생성되는 결과 이미지들(1030, 1050)을 비교하여, 각각의 오브젝트에 대한 트래킹을 수행할 수 있다. Meanwhile, the object tracking unit 940 may compare the sequentially generated result images 1030 and 1050, and perform tracking on each object.

구체적으로, 오브젝트 트래킹부(940)는 도 10a와 도 10b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량(100)의 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.Specifically, the object tracking unit 940 can track the movement of the object based on the motion or motion vector of each object, which is identified in FIGS. 10A and 10B. Accordingly, it is possible to perform tracking on the lane, the construction area, the first forward vehicle, the second forward vehicle, and the like, which are located around the vehicle 100. [

도 11은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 조명 장치(500)를 제어하여 오브젝트를 검출하는 프로세스(S1100)의 플로우 챠트를 보여준다.FIG. 11 shows a flowchart of a process (S1100) in which a driving assistance device 700 according to an embodiment of the present invention controls an illumination device 500 to detect an object.

단계 S1110에서, 운전 보조 장치(700)는 기 설정된 이벤트의 발생 여부를 판단할 수 있다. 구체적으로, 프로세서(770)는 인터페이스부(760)에 의해 수신된 정보를 기초로, 객체 검출용 가시광의 출력을 위해 기 설정된 이벤트가 현재 발생하였는지 판단할 수 있다.In step S1110, the driving assist device 700 may determine whether a predetermined event has occurred. Specifically, the processor 770 can determine, based on the information received by the interface unit 760, whether a predetermined event for outputting visible light for object detection currently occurs.

기 설정된 이벤트는, 객체 검출용 가시광의 출력을 명령하는 운전자의 요청을 수신하는 이벤트를 포함할 수 있다. 예컨대, 운전자가 입력부(720)에 포함된 특정 버튼을 클릭하는 경우, 프로세서(770)는 기 설정된 이벤트가 발생한 것으로 판단할 수 있다.The predetermined event may include an event for receiving a request of a driver to command output of visible light for object detection. For example, when the driver clicks a specific button included in the input unit 720, the processor 770 can determine that a preset event has occurred.

기 설정된 이벤트는, 외부의 조도가 임계만 미만으로 낮아지는 이벤트를 포함할 수 있다. 이때, 외부의 조도는 차량(100)의 센싱부(160)에 포함된 조도 센서에 의해 측정되는 것일 수 있다. 예컨대, 야간이나 터널 내부와 같이, 차량(100)이 어두운 도로를 주행하는 경우, 프로세서(770)는 기 설정된 이벤트가 발생한 것으로 판단할 수 있다.The preset event may include an event in which the external illuminance falls below a threshold value. At this time, the external illuminance may be measured by an illuminance sensor included in the sensing unit 160 of the vehicle 100. For example, when the vehicle 100 travels on a dark road, such as at night or inside a tunnel, the processor 770 may determine that a predetermined event has occurred.

기 설정된 이벤트는, 카메라(710)로부터 제공되는 스테레오 이미지를 기초로 검출되는 오브젝트까지의 최대 거리가 기준 거리 미만이 되는 이벤트를 포함할 수 있다. 전술한 바와 같이, 카메라(710)는 스테레오 이미지를 획득할 수 있는바, 프로세서(770)는 스테레오 이미지에서 기준 거리(예, 약 50m) 내의 오브젝트만이 검출되는 경우, 기 설정된 이벤트가 발생한 것으로 판단할 수 있다. 즉, 기준 거리보다 먼 곳에 있는 다른 오브젝트가 검출되지 않는 상태인 것으로 판단할 수 있다. 이때, 기준 거리는 차량(100)의 주행 속도에 비례하여 증가할 수 있다. 이에 따라, 차량(100)의 속도 증가에 따른 오브젝트와의 충돌 위험을 저감할 수 있다.The predetermined event may include an event that the maximum distance to the object to be detected based on the stereo image provided from the camera 710 is less than the reference distance. As described above, the camera 710 can acquire a stereo image, and when the processor 770 detects only an object within a reference distance (e.g., about 50 m) in the stereo image, it determines that a predetermined event has occurred can do. That is, it can be determined that the other object located farther than the reference distance is not detected. At this time, the reference distance may increase in proportion to the running speed of the vehicle 100. Thus, the risk of collision with an object due to an increase in the speed of the vehicle 100 can be reduced.

한편, 단계 S1110에서, 조명 장치(500)는 시야 확보용 가시광을 차량(100)의 전방을 향하여 투사하는 동작을 수행 중인 상태일 수 있다.On the other hand, in step S1110, the illuminating device 500 may be in a state of performing an operation of projecting visible light for securing the view toward the front of the vehicle 100. [

단계 S1120에서, 운전 보조 장치(700)는 조명 장치(500)를 통해, 제1 패턴의 가시광을 차량(100) 전방의 소정 범위를 향하여 출력할 수 있다. 여기서, 제1 패턴의 가시광은, 객체 검출용 가시광일 수 있다. 즉, 객체 검출용 가시광은, 다양한 패턴을 가질 수 있고, 이러한 다양한 패턴 중의 하나가 상기 제1 패턴일 수 있다. 이때, 전술한 바와 같이, 객체 검출용 가시광은 시선 확보용 가시광보다 먼 곳까지 비출 수 있다. 이에 따라, 객체 검출용 가시광은, 시선 확보용 가시광에 의해 비춰지지 않은 영역에 위치하는 오브젝트까지 도달할 수 있다.In step S1120, the driving assistance device 700 can output the visible light of the first pattern toward the predetermined range in front of the vehicle 100 through the illumination device 500. [ Here, the visible light of the first pattern may be visible light for object detection. That is, the visible light for object detection may have various patterns, and one of the various patterns may be the first pattern. At this time, as described above, the visible light for object detection can be emitted farther than visible light for sight line securing. Thus, the visible light for object detection can reach an object located in an area not covered by the visual line-securing visible light.

제1 패턴의 가시광은 복수의 빔들을 포함할 수 있다. 제1 패턴의 가시광에 포함된 각각의 빔은 다른 빔과는 다른 방향으로 투사될 수 있다. 제1 패턴의 가시광에 포함된 각각의 빔은 동일한 형상 및 크기를 가지도록 투사될 수 있다. 이때, 서로 인접한 빔들은 일정한 간격 또는 일정한 각도를 가질 수 있다.The visible light of the first pattern may include a plurality of beams. Each beam included in the visible light of the first pattern may be projected in a direction different from the other beam. Each of the beams included in the visible light of the first pattern may be projected so as to have the same shape and size. At this time, beams adjacent to each other may have a constant interval or a constant angle.

한편, 객체 검출용 가시광이 출력되는 시간 동안, 시선 확보용 가시광의 출력은 중단될 수 있다. 즉, 단계 S1120에서 제1 패턴의 가시광의 출력이 개시된 시점부터 종료된 시점까지, 조명 장치(500)는 시선 확보용 가시광의 출력을 일시적으로 중지할 수 있다. 제1 패턴의 가시광의 출력이 종료됨과 동시에 또는 그 이후에, 조명 장치(500)는 일시 중지되었던 시선 확보용 가시광의 출력을 재시작할 수 있다.On the other hand, during the time when visible light for object detection is output, the output of visible light for sight line securing can be stopped. That is, from the time when the output of the visible light of the first pattern is started to the time when the output of the visible light of the first pattern is finished, the illumination device 500 can temporarily stop the output of the visible light for securing sight. At the same time as or after the end of the output of the visible light of the first pattern, the illumination device 500 can restart the output of visible light for securing the sight line.

시선 확보용 가시광의 출력이 긴 시간 동안 중단되면, 운전자가 차량(100) 전방을 눈으로 확인하는 것이 곤란할 수 있다. 이러한 문제를 해결하기 위해, 프로세서(770)는 운전자가 인지할 수 있을 정도의 짧을 시간 동안만 제1 패턴의 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 단계 S1120에서 제1 패턴의 가시광은 약 1/60초 동안만 출력될 수 있다. It is difficult for the driver to visually confirm the front of the vehicle 100 when the output of the sight line securing visible light is interrupted for a long time. To solve this problem, the processor 770 can control the illumination device 500 to output the first pattern of visible light only for a time that is short enough for the driver to perceive. For example, in step S1120, the visible light of the first pattern may be output for about 1/60 second.

한편, 제1 패턴의 가시광이 차량(100)의 전방에 있는 오브젝트에 반사되는 경우, 복수의 마킹 영역이 형성될 수 있다. 즉, 각각의 마킹 영역은, 차량(100) 전방의 오브젝트가 제1 패턴의 가시광에 포함된 빔에 의해 비춰지는 영역일 수 있다. 예컨대, 차량(100)을 기준으로 종방향으로 동일한 거리에 두 오브젝트가 있는 경우, 두 오브젝트를 비춰진 마킹 영역의 크기는 동일할 수 있다. 반면, 차량(100)을 기준으로 종방향으로 서로 다른 거리에 두 오브젝트가 있는 경우, 두 오브젝트 중 차량(100)으로부터 더 멀리 있는 오브젝트에 비춰진 마킹 영역의 크기는, 더 가까이 있는 오브젝트에 비춰진 마킹 영역의 크기보다 작을 수 있다. On the other hand, when visible light of the first pattern is reflected on an object in front of the vehicle 100, a plurality of marking areas can be formed. That is, each marking area may be an area in which an object in front of the vehicle 100 is illuminated by a beam included in the visible light of the first pattern. For example, when there are two objects at the same distance in the longitudinal direction with respect to the vehicle 100, the size of the marking area in which the two objects are illuminated may be the same. On the other hand, when there are two objects at different distances in the longitudinal direction on the basis of the vehicle 100, the size of the marking area illuminated on the object farther from the vehicle 100 among the two objects is the marking area Lt; / RTI >

단계 S1130에서, 운전 보조 장치(700)는 카메라(710)를 이용하여 이미지를 획득할 수 있다. 구체적으로, 프로세서(770)는 제1 패턴의 가시광의 출력에 응답하여, 카메라(710)를 활성할 수 있다. 이에 따라, 카메라(710)는 소정의 화각(angle of view)으로, 차량(100)의 전방의 전경에 대한 정지 영상 또는 동영상을 촬영할 수 있다. In step S1130, the driving assistance device 700 can acquire an image using the camera 710. [ Specifically, the processor 770 can activate the camera 710 in response to the output of the visible light of the first pattern. Accordingly, the camera 710 can take a still image or a moving image of the foreground in front of the vehicle 100 at a predetermined angle of view.

이때, 운전 보조 장치(700)는 (i)카메라(710)의 영상 획득 시점과 (ii)제1 패턴의 가시광의 출력 시점이 상호 동기화되도록, 카메라(710) 및 조명 장치(500) 중 적어도 하나를 제어할수 있다. At this time, the driving assistance device 700 may include at least one of the camera 710 and the illumination device 500 so that (i) the image acquisition point of the camera 710 and (ii) the output point of the visible light of the first pattern are synchronized with each other .

프로세서(770)는 제1 패턴의 가시광의 출력 시점에 맞춰, 카메라(710)의 영상 획득 시점을 조절할 수 있다. The processor 770 may adjust the image acquisition time of the camera 710 in accordance with the output timing of the visible light of the first pattern.

또는, 프로세서(770)는 카메라(710)의 영상 획득 시점에 맞춰, 제1 패턴의 가시광의 출력 시점을 조절할 수 있다. Alternatively, the processor 770 may adjust the output timing of the visible light of the first pattern in accordance with the image acquisition timing of the camera 710. [

(i)카메라(710)의 영상 획득 시점과 (ii)제1 패턴의 가시광의 출력 시점이 동기화되는 경우, 단계 S1130에서 획득된 이미지에는, 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 정확히 캡처될 수 있다.(i) the image acquiring time of the camera 710 and (ii) the output timing of the visible light of the first pattern are synchronized, a plurality of marking areas formed by the visible light of the first pattern are accurately displayed in the image obtained in step S1130 Can be captured.

단계 S1140에서, 운전 보조 장치(700)는 카메라(710)에 의해 획득된 이미지로부터 복수의 마킹 영역을 검출할 수 있다.In step S1140, the driving assistance device 700 can detect a plurality of marked areas from the image acquired by the camera 710. [

프로세서(770)는 (i)제1 패턴의 가시광이 출력되기 직전의 제1 프레임에 획득되어 메모리(730)에 저장된 제1 이미지를 (ii)제1 패턴의 가시광이 출력되는 중의 제2 프레임에 획득된 제2 이미지와 비교하여, 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 추출할 수 있다. The processor 770 calculates (i) a first image acquired in the first frame immediately before the visible light of the first pattern is output and stored in the memory 730, (ii) a second image of the visible light of the first pattern, A plurality of marking regions formed by the visible light of the first pattern can be extracted as compared with the obtained second image.

구체적으로, 제1 이미지에는 복수의 마킹 영역이 캡쳐되지 않은 상태인 반면, 제2 이미지에는 복수의 마킹 영역이 캡쳐된 상태이다. 따라서, 제2 이미지의 전체 영역 중, 제1 이미지와 유사도가 임계값 이상인 영역을 제거함으로써, 복수의 마킹 영역을 검출할 수 있다. 예컨대, 제1 이미지와 제2 이미지에 대한 차영상(difference image)을 획득하고, 획득된 차영상을 기초로 상기 복수의 마킹 영역을 검출할 수 있다.Specifically, a plurality of marking areas are not captured in the first image while a plurality of marking areas are captured in the second image. Therefore, a plurality of marking regions can be detected by removing the region having the degree of similarity with the first image equal to or higher than the threshold value, among the entire region of the second image. For example, a difference image for the first image and the second image may be obtained, and the plurality of marking regions may be detected based on the obtained difference image.

또는, 프로세서(770)는 카메라(710)에 의해 획득된 이미지의 전체 영역 중, 기 설정된 형상을 가지는 일부의 영역들이 상기 복수의 마킹 영역인 것으로 검출할 수 있다. 즉, 프로세서(770)는 카메라(710)에 의해 획득된 이미지 중, 제1 패턴의 가시광에 포함된 빔들의 형상에 대응하는 영역들이 상기 복수의 마킹 영역인 것으로 검출할 수 있다. 예컨대, 제1 패턴의 가시광에 포함된 빔들의 형상이 삼각형인 경우, 프로세서(770)는 카메라(710)에 의해 획득된 이미지의 전체 영역 중, 상기 삼각형과 임계값 이상의 유사도를 가지는 영역들이 상기 복수의 마킹 영역인 것으로 인식할 수 있다.Alternatively, the processor 770 may detect that some of the entire areas of the image obtained by the camera 710 have a predetermined shape, as the plurality of marking areas. That is, the processor 770 can detect that the areas corresponding to the shapes of the beams included in the visible light of the first pattern among the images obtained by the camera 710 are the plurality of marking areas. For example, when the shapes of the beams included in the visible light of the first pattern are triangles, the processor 770 determines that the regions of the entire region of the image acquired by the camera 710, As shown in FIG.

단계 S1150에서, 운전 보조 장치(700)는 검출된 복수의 마킹 영역을 기초로, 차량(100) 전방의 오브젝트를 검출할 수 있다.In step S1150, the driving assistance device 700 can detect an object in front of the vehicle 100 based on the plurality of detected marking areas.

프로세서(770)는 검출된 마킹 영역을 기초로, 차량(100)의 주변의 오브젝트를 검출하고, 검출된 각각의 오브젝트의 크기, 거리, 위치 및 속도 중 적어도 하나를 산출할 수 있다.The processor 770 can detect an object in the vicinity of the vehicle 100 based on the detected marking area and calculate at least one of the size, distance, position, and speed of each object detected.

일 실시예에서, 프로세서(770)는 검출된 마킹 영역 각각의 크기를 기초로, 차량(100)으로부터 오브젝트까지의 거리를 산출할 수 있다. In one embodiment, the processor 770 may calculate the distance from the vehicle 100 to the object, based on the size of each of the detected marking areas.

가령, 제1 오브젝트에 비춰진 제1 마킹 영역과 제2 오브젝트에 비춰진 제2 마킹 영역이 각각 검출된 것으로 가정하자. 이때, 제1 마킹 영역이 제1 사이즈인 경우, 프로세서(770)는 제1 사이즈에 대응하는 제1 거리에 제1 오브젝트가 위치하는 것으로 판단할 수 있다. 또한, 제2 마킹 영역이 제2 사이즈인 경우, 프로세서(770)는 제2 사이즈에 대응하는 제2 거리에 제2 오브젝트가 위치하는 것으로 판단할 수 있다. 만약, 제1 사이즈가 제2 사이즈보다 큰 경우, 제1 거리는 제2 거리보다 짧을 수 있다. 즉, 프로세서(770)는 제1 오브젝트가 제2 오브젝트보다 차량(100)에 더 가까운 것으로 판단할 수 있다. For example, assume that a first marking region illuminated on the first object and a second marking region illuminated on the second object are respectively detected. At this time, if the first marking area is the first size, the processor 770 can determine that the first object is located at the first distance corresponding to the first size. In addition, when the second marking area is the second size, the processor 770 can determine that the second object is located at the second distance corresponding to the second size. If the first size is larger than the second size, the first distance may be shorter than the second distance. That is, the processor 770 can determine that the first object is closer to the vehicle 100 than the second object.

일 실시예에서, 단계 S1130에서 획득된 이미지가 스테레오 이미지인 경우, 프로세서(770)는 검출된 마킹 영역 각각의 디스페리티 레벨을 기초로, 오브젝트를 검출하고, 차량(100)으로부터 검출된 오브젝트까지의 거리를 산출할 수 있다. 구체적으로, 프로세서(770)는 스테레오 이미지에 포함된 좌측 이미지 및 우측 이미지에 대한 스테레오 매칭을 수행하여, 좌측 이미지 및 우측 이미지에 공통된 복수의 마킹 영역 각각의 디스페리티 레벨을 산출하고, 산출된 디스페리티 레벨을 기초로, 오브젝트까지의 거리를 산출할 수 있다. 물론, 프로세서(770)는 오브젝트까지의 거리와 함께, 오브젝트의 위치, 속도, 형상 또는 크기 등을 더 산출할 수도 있다. In one embodiment, when the image obtained in step S1130 is a stereo image, the processor 770 detects the object based on the disparity level of each of the detected marking areas, and detects the object from the vehicle 100 Can be calculated. Specifically, the processor 770 performs stereo matching on the left image and the right image included in the stereo image to calculate the disparity level of each of the plurality of marking areas common to the left image and the right image, The distance to the object can be calculated based on the ferritic level. Of course, the processor 770 may further calculate the position, velocity, shape or size of the object, as well as the distance to the object.

또한, 프로세서(770)는 검출된 오브젝트의 종류를 식별할 수도 있다. 예컨대, 프로세서(770)는 검출된 오브젝트가 타차량, 보행자, 낙하물, 교통 표지 중 무엇인지 식별할 수 있다. 프로세서(770)는 복수의 오브젝트가 검출된 경우, 각각의 오브젝트의 종류를 식별할 수 있다. 구체적으로, 프로세서(770)는 위치, 속도, 형상 및 크기와 같은 오브젝트의 특징들을 메모리(730)에 기 저장된 기준값들과 비교함으로써, 검출된 오브젝트가 종류를 식별할 수 있다. 이때, 메모리(730)에 기 저장된 각각의 기준값은 특정 오브젝트의 특징을 기초로 미리 정해진 것일 수 있다. Processor 770 may also identify the type of object detected. For example, the processor 770 can identify which of the other vehicles, pedestrians, falling objects, and traffic signs the detected object is. The processor 770 can identify the type of each object when a plurality of objects are detected. Specifically, the processor 770 can compare the characteristics of the object, such as position, velocity, shape, and size, with pre-stored reference values in the memory 730 so that the detected object can identify the type. At this time, each reference value previously stored in the memory 730 may be predetermined based on the characteristic of the specific object.

한편, 프로세서(770)는, 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 기초로한 오브젝트의 검출이 완료된 경우, 제1 패턴의 가시광의 출력을 중단하도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 프로세서(770)에 의한 오브젝트 검출이 완료될 때까지, 제1 패턴의 가시광을 소정 시간 간격마다 주기적으로 출력할 수 있다.On the other hand, when the detection of the object based on the plurality of marking regions formed by the visible light of the first pattern is completed, the processor 770 can control the illumination device 500 to stop the output of the visible light of the first pattern have. The illumination device 500 may periodically output the visible light of the first pattern at predetermined time intervals until object detection by the processor 770 is completed.

단계 S1160에서, 운전 보조 장치(700)는 카메라(710)의 화각에 대응하는 전방의 영역 중, 미검출 영역이 존재하는지 판단할 수 있다. 여기서, 미검출 영역은, 복수의 마킹 영역들 중 서로 인접한 두 마킹 영역 간의 거리가 기 설정된 임계 거리(예, 약 5m) 이상인 영역일 수 있다. In step S1160, the driving assistance device 700 can determine whether there is a non-detection area out of the front area corresponding to the angle of view of the camera 710. [ Here, the undetected area may be a region where the distance between two marking areas adjacent to each other among the plurality of marking areas is a predetermined threshold distance (e.g., about 5 m) or more.

가령, 단계 S1150에서 복수의 마킹 영역을 기초로 검출된 제1 내지 제3 오브젝트에 있어서, 제1 오브젝트는 제2 오브젝트와 인접하고, 제2 오브젝트는 제3 오브젝트와 인접한 것으로 가정하자. 이 경우, 제1 오브젝트와 제2 오브젝트 간의 거리가 임계 거리 이상이고, 제2 오브젝트와 제3 오브젝트 간의 거리가 임계 거리 미만인 경우, 프로세서(770)는 제1 오브젝트와 제2 오브젝트 사이에 미검출 영역이 존재하는 것으로 판단할 수 있다.For example, in the first to third objects detected based on the plurality of marking areas in step S1150, it is assumed that the first object is adjacent to the second object, and the second object is adjacent to the third object. In this case, when the distance between the first object and the second object is equal to or greater than the threshold distance and the distance between the second object and the third object is less than the threshold distance, Can be judged to exist.

한편, 상기 임계 거리는 사용자의 입력 또는 차량(100)의 주행 속도 등에 따라 조절될 수 있다. 예컨대, 프로세서(770)는 차량(100)의 주행 속도에 비례하여 임계 거리를 감소시킬 수 있다. 즉, 차량(100)의 주행 속도가 빠를수록 임계 거리를 감소시켜, 사고 위험을 저감할 수 있다.Meanwhile, the critical distance may be adjusted according to the input of the user or the traveling speed of the vehicle 100, for example. For example, the processor 770 can reduce the critical distance in proportion to the running speed of the vehicle 100. [ That is, the faster the running speed of the vehicle 100, the smaller the critical distance and the risk of accident can be reduced.

프로세서(770)는 차량(100) 전방에 미검출 영역이 있는 것으로 판단 시, 단계 S1170을 수행하고, 미검출 영역이 없는 것으로 판단 시, 단계 S1180을 수행할 수 있다.The processor 770 performs step S1170 when it is determined that there is a non-detection area in front of the vehicle 100, and may perform step S1180 when it is determined that there is no non-detection area.

단계 S1170에서, 운전 보조 장치(700)는 미검출 영역을 향하여 제2 패턴의 가시광을 출력할 수 있다. 여기서, 제2 패턴의 가시광은 제1 패턴의 가시광보다 조밀하게 투사되는 복수의 빔들을 포함할 수 있다. 예컨대, 제2 패턴의 가시광에 포함된 빔들 간의 간격은, 제1 패턴의 가시광에 포함된 빔들 간의 간격보다 짧을 수 있다. 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, DMD(614a)에 포함된 복수개의 마아크로 미러들 중 적어도 일부의 틸트각을 변화시켜, 제2 패턴의 가시광을 구현할 수 있다. In step S1170, the driving assist device 700 can output the visible light of the second pattern toward the undetected area. Here, the visible light of the second pattern may include a plurality of beams that are projected more densely than the visible light of the first pattern. For example, the interval between the beams included in the visible light of the second pattern may be shorter than the interval between the beams included in the visible light of the first pattern. The illuminating device 500 may change the tilt angle of at least a part of the plurality of mirrors included in the DMD 614a under the control of the driving assist device 700 to realize the visible light of the second pattern.

제2 패턴의 가시광이 미검출 영역으로 투사됨에 따라, 미검출 영역에 복수의 마킹 영역이 형성될 수 있다. 제2 패턴의 가시광에 의해 형성된 마킹 영역은 카메라(710)에 의해 촬영될 수 있고, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 제2 패턴의 가시광에 의해 형성된 마킹 영역을 검출할 수 있다. 이에 따라, 미검출 영역에 있는 오브젝트가 새롭게 검출될 수 있다.As the visible light of the second pattern is projected to the non-detection area, a plurality of marking areas can be formed in the non-detection area. The marking area formed by the visible light of the second pattern can be photographed by the camera 710 and the processor 770 can display the marking area formed by the visible light of the second pattern on the basis of the image provided from the camera 710 Can be detected. Thereby, an object in the undetected area can be newly detected.

한편, 단계 S1130 내지 단계 S1170은 미검출 영역이 없는 것으로 판단될 때까지, 반복될 수 있다.On the other hand, steps S1130 to S1170 can be repeated until it is determined that there is no undetected area.

단계 S1180에서, 운전 보조 장치(700)는 검출된 오브젝트를 기초로, 기 설정된 동작을 실행할 수 있다. 여기서, 기 설정된 동작은 차량(100)의 조향, 가속, 제동 및 조명 중 적어도 하나를 제어하는 동작일 수 있다.In step S1180, the driving assistant 700 can execute a predetermined operation based on the detected object. Here, the predetermined operation may be an operation of controlling at least one of steering, acceleration, braking, and illumination of the vehicle 100. [

프로세서(770)는 검출된 오브젝트의 종류에 따라, 조명 장치(500)의 광량을 제어할 수 있다. 즉, 프로세서(770)는 검출된 오브젝트의 종류에 대응하는 광량의 가시광이, 검출된 오브젝트로 투사되도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 DMD(614a)에 포함된 마이크로 미러의 틸트각을 개별적으로 조절함으로써, 검출된 오브젝트를 향하는 가시광의 광량을 증가 또는 감소시킬 수 있다. 메모리(730)에는 오브젝트의 종류별로 이에 대응하는 광량의 출력을 지시하는 데이터가 미리 저장될 수 있다. 프로세서(770)는 검출된 오브젝트의 종류에 대응하는 데이터를 메모리(730)로부터 획득하고, 획득된 데이터를 이용하여 조명 장치(500)가 오브젝트의 종류별로 서로 다른 광량의 가시광을 출력하도록 제어할 수 있다.The processor 770 can control the light amount of the illumination device 500 according to the type of the detected object. That is, the processor 770 can control the illumination device 500 so that visible light of a light amount corresponding to the detected object type is projected onto the detected object. The illumination device 500 can increase or decrease the amount of visible light directed toward the detected object by individually adjusting the tilt angle of the micromirror included in the DMD 614a. In the memory 730, data for instructing output of the light amount corresponding to the type of the object may be stored in advance. The processor 770 obtains data corresponding to the detected object type from the memory 730 and controls the illumination device 500 to output visible light of different amounts of light for each object type using the obtained data have.

예를 들어, 검출된 오브젝트가 신호등과 같은 교통 표지인 경우, 프로세서(770)는 교통 표지로 투사되는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 차량(100)의 탑승자가 교통 표지를 용이하게 확인할 수 있다.For example, if the detected object is a traffic sign such as a traffic light, the processor 770 may increase the amount of visible light projected onto the traffic sign. Accordingly, the occupant of the vehicle 100 can easily confirm the traffic sign.

다른 예로, 검출된 오브젝트가 낙석과 같은 낙하물인 경우, 프로세서(770)는 낙하물로 투사되는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 차량(100)의 탑승자가 낙하물을 회피할 수 있도록 도움을 줄 수 있다.As another example, when the detected object is a fall object such as a rockfall, the processor 770 can increase the amount of visible light projected onto the fall object. Accordingly, it is possible to help the occupant of the vehicle 100 to avoid falling objects.

다른 예로, 검출된 오브젝트가 대향 차량인 경우, 프로세서(770)는 대향 차량의 적어도 일부로 투사되는 가시광의 광량을 감소시킬 수 있다. 특히, 프로세서(770)는 대향 차량에 탑승한 운전자의 눈으로 투사되는 가시광을 차단하도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 DMD(614a)에 포함된 복수의 마이크로 미러들 중, 대향 차량에 탑승한 운전자의 얼굴로 향하는 빔을 반사하는 마이크로 미러들을 오프 상태로 전환하거나 틸트각을 변경함으로써, 대향 차량에 탑승한 운전자의 얼굴을 향하는 가시광의 일부분을 선택적으로 차단할 수 있다. 이때, 프로세서(770)는 대향 차량의 위치, 형상 및 크기를 기초로, 대향 차량의 운전자의 얼굴 위치 또는 윈드 쉴드 위치를 추정하고, 추정된 위치를 향하는 가시광의 차단을 명령하는 제어신호를 조명 장치(500)에 제공할 수 있다. 이에 따라, 차량(100)의 가시광에 의해 대향 차량의 운전자가 운전에 방해를 받지 않도록 할 수 있다.As another example, when the detected object is the opposite vehicle, the processor 770 can reduce the amount of visible light projected onto at least a part of the opposite vehicle. In particular, the processor 770 can control the illumination device 500 to block visible light projected on the eyes of the driver aboard the opposite vehicle. The illumination device 500 switches the micromirrors that reflect beams directed to the face of the driver on the opposite vehicle to the off state or changes the tilt angle among the plurality of micromirrors included in the DMD 614a, It is possible to selectively block a part of the visible light directed to the driver's face. At this time, the processor 770 estimates the face position or the windshield position of the driver of the opposite vehicle based on the position, shape and size of the opposite vehicle, and outputs a control signal for instructing the blocking of the visible light toward the estimated position, (500). As a result, the driver of the opposed vehicle can be prevented from being disturbed by the operation of the visible light of the vehicle 100.

다른 예로, 검출된 오브젝트가 보행자인 경우, 프로세서(770)는 보행자의 얼굴로 투사되는 가시광의 광량을 감소시킬 수 있다. 특히, 프로세서(770)는 보행자의 눈으로 투사되는 가시광을 차단하도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 DMD(614a)에 포함된 복수의 마이크로 미러들 중, 보행자의 얼굴로 향하는 빔을 반사하는 마이크로 미러들을 오프 상태로 전환하거나 틸트각을 변경함으로써, 보행자의 얼굴을 향하는 가시광 성분만을 선택적으로 차단할 수 있다. 이때, 프로세서(770)는 보행자의 위치 및 크기를 기초로, 보행자의 얼굴 위치 또는 눈 위치를 추정하고, 추정된 위치를 향하는 가시광의 차단을 명령하는 제어신호를 조명 장치(500)에 제공할 수 있다.As another example, when the detected object is a pedestrian, the processor 770 can reduce the amount of visible light projected onto the face of the pedestrian. In particular, the processor 770 may control the illumination device 500 to block visible light projected to the eyes of the pedestrian. The illumination device 500 changes the tilt angle of the micromirrors that reflect the beam directed to the face of the pedestrian among the plurality of micromirrors included in the DMD 614a to an off state, Can be selectively blocked. At this time, the processor 770 can estimate the face position or the eye position of the pedestrian based on the position and the size of the pedestrian, and provide the control device 500 with a control signal instructing the blocking of the visible light toward the estimated position have.

프로세서(770)는 검출된 오브젝트의 위치, 크기, 속도 및 형상 중 적어도 하나를 기초로, 차량(100)의 전방에 차량(100)이 통과할 수 있는 공간이 있는지 판단할 수 있다. 만약, 차량(100)의 전방에 차량(100)이 통과할 수 있는 공간이 있는 경우, 상기 공간을 통과하기 위한 경로를 산출하고, 지면을 향하여 상기 산출된 경로를 안내하는 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. The processor 770 can determine whether there is a space through which the vehicle 100 can pass ahead of the vehicle 100 based on at least one of the position, size, speed, and shape of the detected object. In the case where there is a space through which the vehicle 100 can pass through in front of the vehicle 100, a path for passing through the space is calculated, and a light beam for guiding the calculated path toward the ground is output. (500).

도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가, 객체 검출용 가시광에 의해 형성된 복수의 마킹 영역을 촬영하는 동작을 설명하기 위한 도면이다.12A to 12C are views for explaining an operation of photographing a plurality of marking regions formed by visible light for object detection, in the driving assistance device 700 according to an embodiment of the present invention.

도 12a를 참조하면, 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, 제1 내지 제3 빔(1a, 1b, 1c)을 포함하는 객체 검출용 가시광을 차량(100) 전방을 향하여 출력할 수 있다. 이때, 제1 내지 제3 빔(1a, 1b, 1c) 각각의 투사 방향, 크기, 형상에 따라, 객체 검출용 가시광의 패턴이 정해질 수 있다. 제1 내지 제3 빔(1a, 1b, 1c)은 동일한 형상 및 크기를 가지는 것으로 가정한다. 이 경우, 제1 내지 제3 빔(1a-c)은 인접한 것끼리 등간격 또는 등각도를 이루도록 출력될 수 있다.12A, according to the control of the driving assistance device 700, the illumination device 500 irradiates visible light for object detection including the first to third beams 1a, 1b, 1c to the front of the vehicle 100 . At this time, a pattern of visible light for object detection can be determined according to the projection direction, size, and shape of each of the first to third beams 1a, 1b, and 1c. It is assumed that the first to third beams 1a, 1b, 1c have the same shape and size. In this case, the first to third beams 1a-c may be output so that adjacent ones are equally spaced or conformed to each other.

도시된 바와 같이, 차량(100)의 전방에는 서로 동일한 형상 및 크기를 가지는 제1 내지 제3 오브젝트(1201a-1201c)가 있다고 가정하자. 이때, 제1 내지 제3 오브젝트(1201a-1201c)은, 차량(100)을 기준으로 종방향으로 동일 거리에 위치하는 것들일 수 있다.As shown in the figure, it is assumed that there are first to third objects 1201a to 1201c having the same shape and size in front of the vehicle 100. [ At this time, the first to third objects 1201a to 1201c may be located at the same distance in the longitudinal direction with respect to the vehicle 100.

제1 내지 제3 빔(1a-1c)이 순서대로 제1 내지 제3 오브젝트(1201a-1201c)에 의해 반사됨에 따라, 카메라(710)에 의해 촬영된 이미지(1210)에는 제1 내지 제3 마킹 영역(11a-11c)이 포함될 수 있다.As the first to third beams 1a to 1c are sequentially reflected by the first to third objects 1201a to 1201c, the image 1210 photographed by the camera 710 is subjected to the first to third markings Regions 11a-11c may be included.

프로세서(770)는 이미지(1210)에서 제1 내지 제3 마킹 영역(11a-11c)을 검출하고, 검출된 제1 내지 제3 마킹 영역(11a-11c) 각각의 크기를 산출하고, 산출된 크기를 기초로, 제1 내지 제3 오브젝트(1201a-1201c)까지의 거리를 산출할 수 있다. 차량(100)을 기준으로 제1 내지 제3 오브젝트(1201a-1201c)까지의 종방향 거리는 모두 동일하므로, 제1 내지 제3 마킹 영역(11a-11c)의 크기는 서로 동일하거나 기 설정된 오차 범위 내의 차이만을 가질 수 있다. 이에 따라, 프로세서(770)는 제1 내지 제3 오브젝트(1201a-1201c)가 차량(100)을 기준으로 종방향으로 모두 같은 거리에 있는 것으로 판단할 수 있다.The processor 770 detects the first to third marking areas 11a to 11c in the image 1210 and calculates the size of each of the detected first to third marking areas 11a to 11c, The distance to the first to third objects 1201a to 1201c can be calculated. Since the longitudinal distances from the vehicle 100 to the first to third objects 1201a to 1201c are all the same, the sizes of the first to third marking areas 11a to 11c are equal to each other or within a predetermined error range You can only have a difference. Accordingly, the processor 770 can determine that the first to third objects 1201a to 1201c are all at the same distance in the longitudinal direction with respect to the vehicle 100. [

또한, 프로세서(770)는 제1 내지 제3 마킹 영역(11a-11c) 각각의 이미지(1210) 내 좌표를 기초로, 차량(100)에 대한 제1 내지 제3 오브젝트(1201a-1201c)의 횡방향 거리를 산출할 수도 있다.The processor 770 also calculates the lateral position of the first to third objects 1201a to 1201c relative to the vehicle 100 on the basis of the coordinates in the image 1210 of each of the first to third marking areas 11a to 11c The direction distance may be calculated.

도 12b는 도 12a와 달리, 차량(100)에 대한 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리가 모두 다른 상황을 예시한다. 제1 내지 제3 오브젝트(1202a-1202c)는 서로 동일한 형상 및 크기를 가지는 것으로 가정한다. 예컨대, 도시된 바와 같이, 제1 오브젝트(1202a)의 종방향 거리가 가장 짧고, 제3 오브젝트(1202c)의 종방향 거리가 가장 길 수 있다.FIG. 12B illustrates a situation in which the longitudinal distances to the first to third objects 1202a-1202c for the vehicle 100 are different from those of FIG. 12A. It is assumed that the first to third objects 1202a to 1202c have the same shape and size. For example, as shown, the longitudinal distance of the first object 1202a may be the shortest, and the longitudinal distance of the third object 1202c may be the longest.

제1 내지 제3 빔(1a-1c)이 순서대로 제1 내지 제3 오브젝트(1202a-1202c)에 의해 반사됨에 따라, 카메라(710)에 의해 촬영된 이미지(1220)에는 제1 내지 제3 마킹 영역(12a-12c)이 포함될 수 있다.As the first through third beams 1a-1c are sequentially reflected by the first through third objects 1202a-1202c, the image 1220 photographed by the camera 710 has the first through third markings Regions 12a-12c may be included.

차량(100)을 기준으로 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리는 서로 다르므로, 이미지(1220) 내의 제1 내지 제3 마킹 영역(12a-12c)의 크기는 서로 다를 수 있다. 즉, 제1 마킹 영역(12a)의 크기가 가장 크고, 제3 마킹 영역(12c)의 크기가 가장 작을 수 있다. 이에 따라, 프로세서(770)는 차량(100)을 기준으로 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리가 서로 다른 것으로 판단할 수 있다.Since the longitudinal distances from the vehicle 100 to the first to third objects 1202a to 1202c are different from each other, the sizes of the first to third marking regions 12a to 12c in the image 1220 may be different from each other have. That is, the size of the first marking area 12a may be the largest, and the size of the third marking area 12c may be the smallest. Accordingly, the processor 770 can determine that the longitudinal distances from the vehicle 100 to the first to third objects 1202a to 1202c are different.

도 12c를 참조하면, 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, 도 12b에 도시된 것과 같은 제1 내지 제3 오브젝트(1202a-1202c)마다 동일한 크기의 마킹 영역을 형성하기 위한 제1 내지 제3 빔(2a-2c)을 포함하는 가시광을 출력할 수 있다.Referring to FIG. 12C, the lighting apparatus 500 forms a marking area having the same size for each of the first to third objects 1202a to 1202c as shown in FIG. 12B under the control of the driving assistant 700 And the first through third beams 2a-2c for the visible light.

구체적으로, 프로세서(770)는 (i)차량(100)의 주행 속도 및 (ii)차량(100)과 제1 내지 제3 오브젝트(1202a-1202c) 간의 거리 중 적어도 하나를 기초로, 제1 내지 제3 빔(2a-2c)을 포함하는 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 이때, 제1 내지 제3 빔(2a-2c)의 형상은 동일한 반면, 제1 빔(2a)의 크기는 가장 작으며, 제3 빔(2c)의 크기는 가장 클 수 있다. 예컨대, 제1 내지 제3 빔(2a-2c) 각각의 크기는 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리에 반비례할 수 있다. Specifically, the processor 770 calculates the distance between the vehicle 100 and the first to third objects 1202a-1202c based on at least one of (i) the traveling speed of the vehicle 100 and (ii) The illumination device 500 can be controlled to output visible light including the third beams 2a-2c. At this time, the shapes of the first to third beams 2a to 2c are the same, while the size of the first beam 2a is the smallest and the size of the third beam 2c is the largest. For example, the size of each of the first through third beams 2a-2c may be inversely proportional to the longitudinal distance to the first through third objects 1202a-1202c.

제1 내지 제3 빔(2a-2c)이 순서대로 제1 내지 제3 오브젝트(1202a-1202c)에 의해 반사됨에 따라, 카메라(710)에 의해 촬영된 이미지(1230)에는 제1 내지 제3 마킹 영역(13a-13c)이 포함될 수 있다. 제1 내지 제3 오브젝트(1202a-1202c)의 종방향을 거리에 따라 제1 내지 제3 빔(2a-2c)의 크기가 개별적으로 조절되어 투사되었으므로, 이미지(1230) 내의 제1 내지 제3 마킹 영역(13a-13c)의 크기는 동일하거나, 기 설정된 오차 범위 내의 매우 작은 차이만을 가질 수 있다. 이에 따라, 프로세서(770)는 동일한 오브젝트에 대하여 시간차를 두고 객체 검출용 가시광을 출력함으로써, 검출된 오브젝트에 관한 정보의 신뢰성을 확보할 수 있다.As the first through third beams 2a-2c are sequentially reflected by the first through third objects 1202a-1202c, the image 1230 photographed by the camera 710 is subjected to the first through third markings Areas 13a-13c may be included. Since the magnitudes of the first to third beams 2a to 2c are individually adjusted and projected along the longitudinal direction of the first to third objects 1202a to 1202c, The sizes of the regions 13a-13c may be the same, or may have only very small differences within a predetermined error range. Accordingly, the processor 770 outputs visible light for object detection with a time difference to the same object, thereby securing the reliability of the information about the detected object.

도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 제1 패턴의 가시광을 이용하여, 차량(100) 전방의 거리 정보를 획득하는 동작을 설명하는 도면이다.13A to 13C are diagrams illustrating an operation in which the driving assistance device 700 according to the embodiment of the present invention acquires distance information in front of the vehicle 100 using the first pattern of visible light.

도 13a는 차량(100)이 주행 중인 도로의 탑뷰를 보여준다. 도시된 바와 같이, 차량(100)의 좌측에는 제1 오브젝트(1311)가 있고, 우측에는 제2 오브젝트(1312)가 있으며, 전방에는 제3 오브젝트(1313)가 있을 수 있다. 예컨대, 제1 오브젝트(1311)와 제2 오브젝트(1312)는 가이드레일이고, 제3 오브젝트(1313)는 대향 차량일 수 있다.13A shows a top view of a road on which the vehicle 100 is traveling. As shown in the figure, the first object 1311 is located on the left side of the vehicle 100, the second object 1312 is located on the right side, and the third object 1313 is located on the front side. For example, the first object 1311 and the second object 1312 may be guide rails, and the third object 1313 may be an opposite vehicle.

운전 보조 장치(700)의 프로세서(770)는 기 설정된 이벤트가 발생한 경우, 복수의 빔(3a-3j)을 포함하는 제1 패턴의 가시광을 차량(100)의 전방을 향하여 소정 시간 동안 출력할 수 있다. 설명의 편의를 위해, 제1 패턴의 가시광에는 총 10개의 빔(3a-3j)이 포함되는 것으로 가정한다. 제1 패턴의 가시광은 인간이 인지할 수 없는 매우 짧은 시간(예컨대, 1/60초) 동안 출력될 수 있다. 이에 따라, 제1 패턴의 가시광은 매우 짧은 시간 동안만 전방으로 비춰지므로, 시선 확보용 가시광보다 광량 또는 세기가 큰 제1 패턴의 가시광에 의해 대향 차량의 운전자가 눈부심을 느끼는 것을 방지할 수 있다.The processor 770 of the driving assistant apparatus 700 can output the visible light of the first pattern including the plurality of beams 3a to 3j toward the front of the vehicle 100 for a predetermined time have. For convenience of explanation, it is assumed that a total of ten beams 3a-3j are included in the visible light of the first pattern. The visible light of the first pattern can be output for a very short time (e.g., 1/60 second) that the human can not recognize. Accordingly, since the visible light of the first pattern is reflected forward only for a very short time, it is possible to prevent the driver of the opposed vehicle from glare by the visible light of the first pattern having a larger light intensity or intensity than the visible light.

도 13b는 도 13a에 도시된 복수의 빔(3a-3j)에 의해 형성되는 복수의 마킹 영역(21a-21j)을 예시한다. 이때, 마킹 영역(21a-21j)의 개수는 제1 패턴의 가시광에 포함된 빔(3a-3j)의 개수와 동일할 수 있다. Fig. 13B illustrates a plurality of marking areas 21a-21j formed by the plurality of beams 3a-3j shown in Fig. 13A. At this time, the number of the marking areas 21a-21j may be the same as the number of the beams 3a-3j included in the visible light of the first pattern.

도시된 바와 같이, 복수의 마킹 영역(21a-21j) 중 어느 하나는 나머지 마킹 영역과 서로 같거나 다른 오브젝트에 형성되는 영역일 수 있다. 예컨대, 제1 내지 제4 마킹 영역(21a-21d)은 제3 오브젝트(1313)에 형성되고, 제5 및 제6 마킹 영역(21e-21f)은 지면에 형성되며, 제7 내지 제10 마킹 영역(21g-21j)은 제2 오브젝트(1312)에 형성될 수 있다.As shown in the figure, any one of the plurality of marking areas 21a to 21j may be a region formed in the same or different object as the remaining marking area. For example, the first to fourth marking areas 21a to 21d are formed on the third object 1313, the fifth and sixth marking areas 21e to 21f are formed on the ground, and the seventh to tenth marking areas 21a- (21g-21j) may be formed in the second object (1312).

한편, 복수의 빔(3a-3j)에 의해 형성되는 복수의 마킹 영역(21a-21j)은 스테레오 카메라(710)에 의해 촬영될 수 있다.On the other hand, the plurality of marking areas 21a-21j formed by the plurality of beams 3a-3j can be photographed by the stereo camera 710. [

도 13c는 프로세서(770)가 도 13b에 도시된 복수의 마킹 영역(21)을 기초로, 차량(100) 전방의 거리 정보를 산출한 것을 예시한다. 구체적으로, 프로세서(770)는 스테레오 카메라(710)로부터 제공되는 이미지를 기초로, 복수의 마킹 영역(21a-21j) 각각에 대한 디스패리티 레벨을 산출하고, 산출된 디스패리티 레벨을 기초로, 복수의 마킹 영역(21a-21j) 각각의 위치에 대응하는 지점의 좌표(Pa-Pj)를 산출할 수 있다. 각 좌표의 x축 성분은 차량(100)에 대한 횡방향 거리를 의미하고, y축 성분은 차량(100)에 대한 종방향 거리를 의미할 수 있다.13C illustrates that the processor 770 calculates the distance information in front of the vehicle 100 based on the plurality of marking areas 21 shown in Fig. 13B. Specifically, the processor 770 calculates a disparity level for each of the plurality of marking areas 21a to 21j based on the image provided from the stereo camera 710, and based on the calculated disparity level, The coordinates (Pa-Pj) of the points corresponding to the positions of the respective marking areas 21a-21j of the marking areas 21a-21j can be calculated. The x-axis component of each coordinate means the lateral distance to the vehicle 100, and the y-axis component can mean the longitudinal distance to the vehicle 100.

한편, 프로세서(770)는 스테레오 카메라(710)에 의해 촬영된 전체 영역 중 미검출 영역이 있는지 판단할 수 있다. 예컨대, 도시된 바와 같이, 제4 좌표(Pd)에 대응하는 지점과 제5 좌표(Pe)에 대응하는 지점 간의 거리가 기준 거리 이상인 경우, 프로세서(770)는 제4 마킹 영역(21d)과 제5 마킹 영역(21e) 사이의 영역(N)이 미검출 영역인 것으로 판단할 수 있다.Meanwhile, the processor 770 can determine whether the entire area photographed by the stereo camera 710 has a non-detection area. For example, as shown in the figure, when the distance between the point corresponding to the fourth coordinate Pd and the point corresponding to the fifth coordinate Pe is equal to or larger than the reference distance, the processor 770 reads the fourth marking region 21d and the fourth marking region Pe It can be judged that the area N between the five marking areas 21e is the undetected area.

도 14a 및 도 14b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 제1 패턴의 가시광을 이용하여, 도 13b에 도시된 미검출 영역(N)의 거리 정보를 획득하는 동작을 설명하는 도면이다.14A and 14B illustrate an operation in which the driving assistance device 700 according to the embodiment of the present invention acquires the distance information of the undetected area N shown in FIG. 13B using the first pattern of visible light FIG.

도 14a를 참조하면, 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, 미검출 영역(N)을 향하여 제2 패턴의 가시광을 출력할 수 있다. 제2 패턴의 가시광은 복수의 빔(4a, 4b)를 포함할 수 있다. 14A, the illumination device 500 can output visible light of the second pattern toward the non-detection area N under the control of the driving assist device 700. [ The visible light of the second pattern may include a plurality of beams 4a and 4b.

두 개의 빔(4a, 4b)에 의해 제2 오브젝트(1313)에 두 마킹 영역(31a, 31b)이 형성될 수 있다. 두 마킹 영역(31a, 31b)은 스테레오 카메라(710)에 의해 촬영되고, 프로세서(770)는 스테레오 카메라(710)로부터 제공되는 이미지를 기초로, 두 마킹 영역(31a, 31b)을 검출할 수 있다.Two marking areas 31a and 31b can be formed in the second object 1313 by the two beams 4a and 4b. The two marking regions 31a and 31b are photographed by the stereo camera 710 and the processor 770 can detect the two marking regions 31a and 31b based on the image provided from the stereo camera 710 .

이어, 프로세서(770)는 검출된 두 마킹 영역(31a, 31b) 각각에 대한 디스패리티 레벨을 산출하고, 산출된 디스패리티 레벨을 기초로, 두 마킹 영역(31a, 31b) 각각의 위치에 대응하는 지점의 좌표(Na, Nb)를 산출할 수 있다. The processor 770 then calculates a disparity level for each of the two marking areas 31a and 31b detected and calculates a disparity level for each of the two marking areas 31a and 31b based on the calculated disparity level The coordinates (Na, Nb) of the point can be calculated.

즉, 프로세서(770)는 제2 패턴의 가시광을 출력하도록 조명 장치(500)를 제어함으로써, 제1 패턴의 가시광을 이용하여 기 검출된 오브젝트까지의 거리 정보를 업데이트할 수 있다. 이에 따라, 프로세서(7770)는 두 마킹 영역(31a, 31b)을 기초로, 제4 마킹 영역(21d)과 제5 마킹 영역(21e) 사이의 영역인 미검출 영역(N)에 위치하는 새로운 오브젝트를 추가적으로 검출할 수 있다. That is, the processor 770 can control the illumination device 500 to output the visible light of the second pattern, thereby updating the distance information to the previously detected object using the visible light of the first pattern. Thus, the processor 7770 detects a new object located in the non-detection area N, which is an area between the fourth marking area 21d and the fifth marking area 21e, based on the two marking areas 31a and 31b Can be additionally detected.

도 15a 내지 도 15d는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.FIGS. 15A to 15D are diagrams for explaining an operation in which the driving assistance device 700 according to an embodiment of the present invention performs object based information.

도 15a는 차량(100)이 주행 중인 도로(1510)의 탑뷰를 보여준다. 도 15a를 참조하면, 차량(100)의 전방에는 제1 내지 제3 오브젝트(1511-1513)가 있을 수 있다. 이하에서는, 제1 내지 제3 오브젝트(1511-1513)는 순서대로 보행자, 교통 표지 및 대향 차량인 것으로 가정한다. 또한, 차량(100)의 양측에는 도로의 경계를 가이드하는 제1 연석(1514) 및 제2 연석(1515)이 있을 수 있다.15A shows a top view of the road 1510 on which the vehicle 100 is running. Referring to FIG. 15A, there may be first to third objects 1511 to 1513 in front of the vehicle 100. Hereinafter, it is assumed that the first to third objects 1511 to 1513 are, in order, a pedestrian, a traffic sign, and an opposite vehicle. Further, on both sides of the vehicle 100, there may be a first curbstone 1514 and a second curbstone 1515 for guiding road boundaries.

프로세서(770)는 도 12a 내지 도 14b를 참조하여 전술한 방법을 이용하여, 차량(100) 주변의 오브젝트를 검출하고, 검출된 각각의 오브젝트의 특징(예, 크기, 위치, 거리, 형상)을 산출하며, 검출된 각각의 오브젝트의 종류를 식별할 수 있다.The processor 770 detects an object around the vehicle 100 using the method described above with reference to Figs. 12A to 14B and determines the characteristics (e.g., size, position, distance, shape) of each object detected And the type of each detected object can be identified.

또한, 프로세서(770)는 검출된 오브젝트까지의 거리를 기초로, 오브젝트에 의해 가려지지 않은 도로(1510)의 일 영역(1520)을 검출할 수 있다. 프로세서(770)는 상기 영역(1520)의 폭이 기 설정된 값 이상인 경우, 상기 영역(1520)을 통과하기 위한 경로를 산출할 수 있다.In addition, the processor 770 can detect one area 1520 of the road 1510 that is not covered by the object, based on the distance to the detected object. The processor 770 may calculate a path for passing through the area 1520 when the width of the area 1520 is equal to or greater than a predetermined value.

도 15b는 상기 영역(1520)의 폭이 기 설정된 값 이상인 경우에, 운전 보조 장치(700)의 동작을 예시한다. 구체적으로, 프로세서(770)는 상기 영역(1520)을 통과하기 위한 주행 경로를 산출하고, 산출된 주행 경로의 좌우측 경계를 가이드하기 위한 가시광(1531a, 1531b)을 상기 영역(1520)에 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 가시광(1531a, 1531b)은 제1 내지 제3 발광 모듈(511-513) 중 적어도 하나에 의해 출력되는 것일 수 있다.15B illustrates the operation of the driving assist device 700 when the width of the area 1520 is equal to or greater than a predetermined value. More specifically, the processor 770 calculates a traveling path for passing through the area 1520 and outputs visible light 1531a and 1531b for guiding the left and right boundaries of the calculated traveling path to the area 1520, The device 500 can be controlled. For example, the visible light 1531a and 1531b may be output by at least one of the first through third light emitting modules 511-513.

가시광(1531a, 1531b)의 출력과 함께 또는 별개로, 프로세서(770)는 상기 영역(1520)을 통과할 수 있음을 안내하는 이미지(1541)를 디스플레이부(750)에 표시할 수 있다.The processor 770 may display an image 1541 on the display unit 750 that guides the processor 1570 through the region 1520 with or without the output of the visible light 1531a and 1531b.

도 15c는 상기 영역(1520)의 폭이 기 설정된 값 미만인 경우에, 운전 보조 장치(700)의 동작을 예시한다. 구체적으로, 프로세서(770)는 상기 영역(1520)을 통과할 수 없음을 안내하기 위한 가시광(1532)을 상기 영역(1520)에 출력하도록 조명 장치(500)를 제어할 수 있다. 제1 내지 제3 발광 모듈(511-513) 중 적어도 하나에 의해 출력되는 것일 수 있다.15C illustrates the operation of the driving assistance device 700 when the width of the area 1520 is less than a predetermined value. Specifically, the processor 770 may control the illumination device 500 to output visible light 1532 to the area 1520 to guide that it can not pass through the area 1520. And may be output by at least one of the first to third light emitting modules 511 to 513.

가시광(1532)의 출력과 함께 또는 별개로, 프로세서(770)는 상기 영역(1520)을 통과할 수 없음을 안내하는 인디케이터(1542)를 디스플레이부(750)에 표시할 수 있다.The processor 770 may display on the display unit 750 an indicator 1542 that guides the processor 770 not to pass through the area 1520, either with or without the output of the visible light 1532.

도 15d는 조명 장치(500)가 오브젝트의 종류별로 서로 다른 광량의 가시광을 출력하는 동작을 설명하기 위한 도면이다.15D is a diagram for explaining an operation in which the illumination device 500 outputs visible light of different amounts of light for each object type.

도 15d를 참조하면, 프로세서(770)는 제1 오브젝트(1511)가 보행자이고, 제2 오브젝트(1512)가 교통 표지이며, 제3 오브젝트(1513)가 대향 차량인 것을 식별할 수 있다. 이 경우, 프로세서(770)는 제1 내지 제3 오브젝트(1511-1513) 각각의 위치, 크기, 형상 및 종류에 관한 데이터를 조명 장치(500)에 제공할 수 있다.15D, the processor 770 can identify that the first object 1511 is a pedestrian, the second object 1512 is a traffic sign, and the third object 1513 is an opposite vehicle. In this case, the processor 770 may provide the illumination device 500 with data regarding the position, size, shape, and type of each of the first to third objects 1511-1513.

조명 장치(500)는 운전 보조 장치(700)로부터 제공되는 데이터를 기초로, DMD(614a)에 포함된 복수개의 마이크로 미러들의 틸트각을 개별적으로 조절할 수 있다. 이에 따라, 특정 종류의 오브젝트를 향하는 가시광의 광량이 증가 또는 감소될 수 있다.The illumination device 500 can individually adjust the tilt angles of the plurality of micromirrors included in the DMD 614a based on data provided from the driving assistance device 700. [ Thereby, the amount of light of the visible light toward a specific kind of object can be increased or decreased.

구체적으로, 조명 장치(500)는 DMD(614a)의 제1 내지 제3 영역(1551-1553)을 제외한 나머지 영역(1554)에 장착된 마이크로 미러들의 틸트각은 제1 내지 제3 오브젝트(1511-1513)가 검출되기 전과 후로 일정하게 유지할 수 있다. 이에 따라, 차량(100)의 전방에는 DMD(614a)의 나머지 영역(1554)에서 반사된 시야 확보용 가시광이 비춰지는 조명 영역(A)이 형성될 수 있다.Specifically, the tilting angle of the micromirrors mounted on the remaining region 1554 of the illumination device 500 except for the first to third regions 1551-1553 of the DMD 614a is the same as that of the first to third objects 1511- 1513 can be kept constant before and after detection. Accordingly, the illumination area A in which the visible light for securing the field of view reflected by the remaining area 1554 of the DMD 614a is illuminated can be formed in front of the vehicle 100. [

조명 장치(500)는 DMD(614a)의 제1 영역 및 제3 영역(1551, 1553)에 장착된 마이크로 미러들의 틸트각을 조절하여, 대향 차량(1513)의 윈드 쉴드(1513a) 및 보행자(1511)의 얼굴(1511a)로 향하는 가시광의 광량을 줄이거나 차단할 수 있다. 이와 함께 또는 별개로, 조명 장치(500)는 DMD(614a)의 제2 영역(1552)에 장착된 마이크로 미러들의 틸트각을 조절하여, 교통 표지(1512)로 향하는 가시광의 광량을 증가시킬 수 있다. 이 경우, 상기 조명 영역(A)을 비추는 가시광의 광량보다 교통 표지(1512)로 향하는 가시광의 광량이 클 수 있다.The illumination device 500 adjusts the tilt angles of the micromirrors mounted on the first area and the third areas 1551 and 1553 of the DMD 614a to adjust the tilt angle of the windshield 1513a and the pedestrian 1511a of the opposite vehicle 1513 The amount of visible light directed to the face 1511a of the display 1511a can be reduced or blocked. Additionally or alternatively, the illumination device 500 may adjust the tilt angle of the micromirrors mounted in the second area 1552 of the DMD 614a to increase the amount of visible light directed to the traffic sign 1512 . In this case, the light amount of the visible light toward the traffic sign 1512 may be larger than the light amount of the visible light illuminating the illumination area A. [

도 16a 및 도 16b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.16A and 16B are diagrams for explaining an operation in which the driving assist device 700 according to an embodiment of the present invention performs an operation based on object information.

도 16a는 차량(100)이 주행 중인 도로의 탑뷰를 보여준다. 도로는 제1 차로(1611) 및 제2 차로(1611)가 있고, 차량(100)은 제2 차로(1611)에서 주행 중인 것으로 가정한다.16A shows a top view of a road on which the vehicle 100 is traveling. It is assumed that the road has a first lane 1611 and a second lane 1611 and that the vehicle 100 is traveling in the second lane 1611. [

프로세서(770)는 도 12a 내지 도 14b를 참조하여 전술한 방법을 이용하여, 차량(100) 전방에 있는 오브젝트(1620)를 검출하고, 검출된 오브젝트(1620)의 특징을 기초로, 검출된 오브젝트(1620)가 낙하물인 것으로 판단할 수 있다. The processor 770 detects an object 1620 in front of the vehicle 100 using the method described above with reference to Figures 12A to 14B and, based on the characteristics of the detected object 1620, It can be determined that the object 1620 is a fall object.

이 경우, 프로세서(770)는 차량(100)과 낙하물(1620) 간의 거리 및 차량(100)의 주행 속도 중 적어도 하나를 기초로, 차량(100)과 낙하물(1620) 간의 충돌 위험 레벨을 산출하고, 산출된 위험 레벨이 소정값 이상인 경우, 낙하물(1620)과의 충돌 위험을 안내하는 정보(1631, 1632)를 낙하물(1620) 또는 도로의 일 영역(1630)에 표시하기 위한 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 제3 발광 모듈(513)로부터 출력된 가시광에 의해, 제2 차로(1612)의 일 영역(1630)에 정보(1631, 1632)가 표시될 수 있다. 도시된 바와 같이, 제1 정보(1631)는 충돌 위험을 알리는 기호의 형태로 표시되고, 제2 정보(1632)는 낙하물(1620)까지의 남은 거리를 알리는 숫자나 텍스트 형태로 표시될 수 있다.In this case, the processor 770 calculates a collision risk level between the vehicle 100 and the fallen object 1620 based on at least one of the distance between the vehicle 100 and the fallen object 1620 and the running speed of the vehicle 100 And outputs the information 1631 and 1632 for guiding the risk of collision with the falling object 1620 to the falling object 1620 or a visible region of the road 1630, The device 500 can be controlled. The information 1631 and 1632 can be displayed in one area 1630 of the second lane 1612 by the visible light output from the third light emitting module 513. [ As shown, the first information 1631 may be displayed in the form of a symbol indicating a risk of collision and the second information 1632 may be displayed in the form of a number or text indicating the remaining distance to the drop 1620. [

도 16b는 도 16a에 도시된 정보(1631, 1632)와는 다른 정보(1641a, 1641b)가 지면에 표시되는 것을 예시한다. 구체적으로, 프로세서(770)는 차량(100)에 대한 낙하물(1620)의 상대적 위치를 기초로, 차량(100)의 현 위치로부터 낙하물(1620)을 회피하기 위한 경로를 생성하고, 생성된 경로를 가이드하는 정보(1641a, 1641b)를 지면에 표시하기 위한 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 제3 발광 모듈(513)로부터 출력된 가시광에 의해, 정보(1641a, 1641b)가 지면에 표시될 수 있다. 이때, 제1 정보(1641a)는 경로의 좌측 경계를 가이드하고, 제2 정보(1641b)는 경로의 우측 경계를 가이드할 수 있다. 차량(100)의 운전자는 정보(1641a, 1641b)를 따라 차량(100)의 스티어링 휠을 조작하여, 낙하물(1620)을 안전하게 회피할 수 있다.16B illustrates that information 1641a and 1641b different from the information 1631 and 1632 shown in FIG. 16A are displayed on the ground. Specifically, the processor 770 generates a path for avoiding the falling object 1620 from the current position of the vehicle 100, based on the relative position of the object 1620 with respect to the vehicle 100, The illuminating device 500 can be controlled to output visible light for displaying the guiding information 1641a and 1641b on the ground. For example, the information 1641a and 1641b can be displayed on the ground by the visible light outputted from the third light emitting module 513. At this time, the first information 1641a guides the left boundary of the path, and the second information 1641b can guide the right boundary of the path. The driver of the vehicle 100 can safely avoid the falling object 1620 by operating the steering wheel of the vehicle 100 along the information 1641a and 1641b.

도 17은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 도로의 상태를 기초로 수행하는 동작을 설명하기 위한 도면이다.FIG. 17 is a view for explaining an operation in which the driving assistance device 700 according to an embodiment of the present invention performs operations based on the state of a road.

도 17을 참조하면, 조명 장치(500)는 지면을 향하여 객체 검출용 가시광을 출력할 수 있다. 객체 검출용 가시광에 포함된 제1 내지 제4 빔(5a-5d)은 차량(100)을 기준으로 종방향으로 거리차를 두고 출력될 수 있다. 이에 따라, 제1 내지 제4 마킹 영역(1711a-1711d) 역시, 차량(100)을 기준으로 종방향으로 거리차를 두고 형성될 수 있다. 이때, 제1 내지 제4 마킹 영역(1711a-1711d)은 순서대로 제1 내지 제4 빔(5a-5d)에 의해 형성되는 것일 수 있다.Referring to FIG. 17, the illumination device 500 can output visible light for object detection toward the ground. The first to fourth beams 5a to 5d included in the visible light for object detection can be output with a distance difference in the longitudinal direction with respect to the vehicle 100. [ Accordingly, the first to fourth marking regions 1711a to 1711d may also be formed with a distance in the longitudinal direction with respect to the vehicle 100. At this time, the first to fourth marking regions 1711a to 1711d may be formed by the first to fourth beams 5a to 5d in order.

차량(100)의 전방에는 도로 표면으로부터 오목하게 들어간 포트홀(1720)이 있을 수 있다. 프로세서(770)는 제1 내지 제4 마킹 영역(1711a-1711d)의 거리 정보를 기초로, 포트홀(1720)을 검출할 수 있다. 예컨대, 프로세서(770)는 제1 내지 제4 마킹 영역(1711a-1711d) 중, 제3 마킹 영역(1711c)의 z축 좌표값이 나머지 마킹 영역(1711a, 1711b, 1711d)의 z축 좌표값보다 작은 것을 기초로, 제3 마킹 영역(1711c)의 위치에 포트홀(1720)이 있는 것으로 판단할 수 있다.In front of the vehicle 100, there may be a port hole 1720 recessed from the road surface. The processor 770 can detect the port hole 1720 based on the distance information of the first to fourth marking areas 1711a to 1711d. For example, the processor 770 determines whether the z coordinate value of the third marking region 1711c among the first to fourth marking regions 1711a to 1711d is greater than the z axis coordinate value of the remaining marking regions 1711a, 1711b, and 1711d It can be judged that there is a porthole 1720 at the position of the third marking area 1711c on the basis of a small thing.

이 경우, 프로세서(770)는 포트홀(1720)에 대한 정보를 차량(100)의 사용자에게 제공할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(770)는 포트홀(1720)의 존재를 안내하는 인디케이터(1730)를 디스플레이부(750)에 표시할 수 있다. 물론, 포트홀(1720) 이외에 절벽이나 경사로가 검출되는 경우에도, 전술한 동작과 동일 또는 유사한 동작이 수행될 수 있다.In this case, the processor 770 may provide information about the port hole 1720 to the user of the vehicle 100. [ For example, as shown, the processor 770 may display on the display unit 750 an indicator 1730 that guides the presence of the porthole 1720. [ Of course, even when a cliff or a ramp is detected in addition to the port hole 1720, the same or similar operation as the above-described operation can be performed.

도 18은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 카메라(710)를 이용하여 차선을 검출하는 프로세스(S1800)의 플로우 챠트를 보여준다.FIG. 18 shows a flowchart of a process (S1800) in which the driving assistance device 700 according to an embodiment of the present invention detects a lane using the camera 710. FIG.

단계 S1810에서, 운전 보조 장치(700)는 차량(100) 외부의 밝기를 기초로, 카메라(710)의 노출값을 설정할 수 있다. 구체적으로, 프로세서(770)는 외부의 밝기가 낮을수록(즉, 어두울수록) 카메라(710)의 노출값을 증가시킬 수 있다. 여기서 카메라(710)의 노출값은 조리개값 및 셔터스피드 중 어느 하나에 의해 정해지는 것이거나, 둘의 조합에 의해 정해지는 것일 수 있다. 예컨대, 조리개값이 낮아질수록 카메라(710)의 렌즈를 통과하는 빛의 양이 줄어들며, 이에 따라 카메라(710)의 노출값이 줄어들 수 있다. 다른 예로, 셔터스피드가 빠를수록 카메라(710)가 빛에 노출되는 시간이 짧아지며, 이에 따라 카메라(710)의 노출값이 줄어들 수 있다.In step S1810, the driving assistant 700 can set the exposure value of the camera 710 based on the brightness outside the vehicle 100. [ Specifically, the processor 770 may increase the exposure value of the camera 710 as the external brightness is lower (i.e., the darker). Here, the exposure value of the camera 710 may be determined by either the aperture value or the shutter speed, or may be determined by a combination of the two. For example, the lower the aperture value, the less the amount of light passing through the lens of the camera 710, thereby reducing the exposure value of the camera 710. As another example, the faster the shutter speed, the shorter the time that the camera 710 is exposed to light, and accordingly, the exposure value of the camera 710 may be reduced.

단계 S1820에서, 운전 보조 장치(700)의 카메라(710)는 단계 S1810에서 설정된 노출값을 이용하여 이미지를 획득할 수 있다. 이어, 단계 S1830에서, 프로세서(770)는 획득된 이미지를 기초로, 타차량의 헤드라이트 영역을 검출할 수 있다. 일 예로, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 그레이 영상으로 변환하고, 그레이 영상에서 타차량의 헤드라이트 영역을 검출할 수 있다. 이때, 타차량의 헤드라이트 영역은, 그레이 영상의 전체 영역 중 기준값 이상의 밝기값을 가지는 영역일 수 있다.In step S1820, the camera 710 of the driving assistant device 700 can acquire an image using the exposure value set in step S1810. Then, in step S1830, the processor 770 can detect the headlight area of the other vehicle based on the acquired image. For example, the processor 770 may convert an image provided from the camera 710 into a gray image, and detect a headlight area of another vehicle in the gray image. At this time, the headlight area of the other vehicle may be an area having a brightness value equal to or greater than a reference value among the entire area of the gray image.

단계 S1840에서, 프로세서(770)는 타차량의 헤드라이트 영역을 기초로, 눈부심 상황이 발생하였는지 판단할 수 있다. 예컨대, 프로세서(770)는 타차량의 헤드라이트 영역의 크기가 소정 크기 이상이거나, 헤드라이트 영역의 밝기값이 기준값 이상인 경우, 눈부심 상황이 발생한 것으로 판단할 수 있다. 여기서 눈부심 상황이란, 타차량의 헤드라이트로 인해 차량(100)의 운전자의 시야가 방해를 받는 상황일 수 있다. In step S1840, the processor 770 can determine whether a glare situation has occurred based on the headlight area of the other vehicle. For example, the processor 770 can determine that the glare situation has occurred when the size of the headlight area of the other vehicle is equal to or larger than a predetermined size, or when the brightness value of the headlight area is equal to or greater than the reference value. Here, the glare condition may be a situation where the driver's view of the vehicle 100 is disturbed due to the headlight of another vehicle.

단계 S1850에서, 프로세서(770)는 메모리(730)에 기 저장된 노출값을 카메라(710)에 설정할 수 있다. 구체적으로, 프로세서(770)는 단계 S1810에서 설정된 노출값을 기 저장된 노출값으로 변경할 수 있다. 여기서, 기 저장된 노출값은 상기 눈부심 상황이 발생하기 이전의 특정 시점에 카메라(710)에 설정되었던 노출값일 수 있다. 즉, 프로세서(770)는 단계 S1810에서 설정된 노출값과 같거나 더 큰 노출값을 카메라(710)에 설정할 수 있다. In step S1850, the processor 770 may set the camera 710 to an exposure value previously stored in the memory 730. [ Specifically, the processor 770 may change the exposure value set in step S1810 to the previously stored exposure value. Here, the pre-stored exposure value may be an exposure value set in the camera 710 at a specific point in time before the glare condition occurs. That is, the processor 770 can set an exposure value equal to or larger than the exposure value set in step S1810 in the camera 710. [

이에 따라, 차량(100) 외부의 밝기가 실제로는 낮음에도 불구하고, 타차량의 헤드라이트로 인해 외부의 밝기가 높은 것으로 잘못 인식됨에 따라 카메라(710)의 노출값이 감소하는 종래 기술의 문제를 해소할 수 있다. 단계 S1820 내지 단계 S1850은 눈부심 상황이 종료될 때까지 반복될 수 있다.Accordingly, despite the fact that the brightness of the outside of the vehicle 100 is actually low, the problem of the prior art in which the exposure value of the camera 710 decreases due to the erroneous recognition that the brightness of the outside is high due to the headlights of other vehicles can do. Steps S1820 to S1850 can be repeated until the glare condition is ended.

단계 S1860에서, 프로세서(770)는 획득된 이미지를 기초로 오브젝트를 검출하고, 검출된 오브젝트 중 차선이 있는지 판단할 수 있다. 만약, 차선이 검출되지 않은 경우, 프로세서(770)는 단계 S1870을 수행하고, 차선이 검출된 경우, 프로세서(770)는 단계 S1880을 수행할 수 있다. In step S1860, the processor 770 may detect the object based on the acquired image and determine whether there is a lane among the detected objects. If a lane is not detected, the processor 770 performs step S1870, and if the lane is detected, the processor 770 can perform step S1880.

단계 S1870에서, 프로세서(770)는 메모리(730)에 기 저장된 차선 정보를 기초로, 현재의 차선을 추정할 수 있다. In step S1870, the processor 770 can estimate the current lane based on the lane information pre-stored in the memory 730. [

프로세서(770)는 상기 눈부심 상황이 발생하기 이전에 마지막으로 검출된 차선의 위치 및 형상을 기초로, 현재의 차선의 위치 및 형상을 추정할 수 있다. 또는, 프로세서(770)는 상기 눈부심 상황이 발생하기 이전의 소정 시간 동안 검출된 차선의 위치 및 형상의 평균값을 기초로, 현재의 차선의 위치 및 형상을 추정할 수 있다. The processor 770 may estimate the position and shape of the current lane based on the position and shape of the lane last detected before the glare situation occurs. Alternatively, the processor 770 can estimate the position and shape of the current lane based on the average value of the position and shape of the lane detected for a predetermined time before the glare situation occurs.

예를 들어, 프로세서(770)는 상기 눈부심 상황이 발생하기 이전에 마지막으로 검출된 차선의 기울기가 제1 값이었던 경우, 현재의 차선의 기울기도 제1 값인 것으로 추정할 수 있다. 다른 예를 들어, 프로세서(770)는 상기 눈부심 상황이 발생하기 이전의 소정 시간 동안 검출된 차선의 평균 곡률을 기초로, 현재의 차선의 곡률을 추정할 수 있다. 한편, 프로세서(770)는 상기 차량(100)의 속도 및 이동 방향 중 적어도 하나를 더 기초로, 현재의 차선의 위치 및 형상을 추정할 수 있다.For example, the processor 770 can estimate that the slope of the current lane is also the first value when the slope of the lane detected last before the glare occurs is the first value. Alternatively, the processor 770 may estimate the curvature of the current lane based on the average curvature of the lane detected for a predetermined time before the glare condition occurs. On the other hand, the processor 770 can estimate the position and shape of the current lane based on at least one of the speed and the moving direction of the vehicle 100. [

단계 S1870에서, 프로세서(770)는 조명 장치(500)를 이용하여, 차선 안내를 위한 가시광을 출력할 수 있다. 즉, 조명 장치(500)는 프로세서(770)의 제어에 따라, 차선 안내를 위한 가시광을 차량(100) 전방의 지면을 향하여 출력할 수 있다. 이때, 차선 안내를 위한 가시광은, 단계 S1860에서 검출된 실제 차선을 안내하는 것이거나, 단계 S1870에서 추정된 가상의 차선을 안내하는 것일 수 있다. In step S1870, the processor 770 may output the visible light for lane guidance using the illumination device 500. [ That is, the lighting apparatus 500 can output visible light for guiding the lane toward the ground in front of the vehicle 100, under the control of the processor 770. At this time, the visible light for guiding the lane may be to guide the actual lane detected in step S1860, or to guide the estimated virtual lane in step S1870.

구체적으로, 차선 안내를 위한 가시광은 차량(100)을 기준으로 좌측 차선 또는 우측 차선이 그려진 적어도 일부의 영역을 비추는 가시광일 수 있다. 예컨대, 제3 발광 모듈(513)은 투명 디스플레이에 차선에 대응하는 형상 및 기 설정된 색상을 가지는 이미지를 디스플레이함으로써, 상기 차선 안내를 위한 가시광이 지면에 비춰지도록 할 수 있다. Specifically, the visible light for lane guidance may be visible light that illuminates at least a part of the area where the left lane or the right lane is drawn based on the vehicle 100. [ For example, the third light emitting module 513 may display an image having a shape corresponding to the lane and a predetermined color on the transparent display, so that the visible light for guiding the lane is reflected on the ground.

예컨대, 프로세서(770)는 차량(100)의 좌측 차선과 우측 차선 중, 상기 대향 차량의 헤드라이트와 상대적으로 더 멀리 위치하는 어느 하나의 차선이 그려진 지면을 향하여 소정 색상(예, 녹색)의 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. For example, the processor 770 determines whether or not a predetermined color (e.g., green) visible light (for example, green light) is incident on the left lane and the right lane of the vehicle 100, The lighting device 500 may be controlled to output the output signal.

도 19a 내지 도 19c는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 눈부심 상황 발생 시에 수행하는 동작을 설명하기 위한 도면이다.FIGS. 19A to 19C are views for explaining operations performed by the driving assist device 700 according to an embodiment of the present invention when a glare situation occurs.

도 19a는 야간 주행 중, 타차량(1900)의 헤드라이트 영역(1910)으로 인해, 차량(100)의 운전자의 시야가 방해는 받는 눈부심 상황을 보여준다. 19A shows the glare condition in which the driver's view of the vehicle 100 is disturbed due to the headlight area 1910 of the other vehicle 1900 during night driving.

카메라(710)는 차량(100) 전방에 대한 이미지를 획득하고, 프로세서(770)는 카메라(710)로부터 제공되는 이미지로부터 헤드라이트 영역(1910)을 검출할 수 있다. The camera 710 acquires an image for the front of the vehicle 100 and the processor 770 can detect the headlight area 1910 from the image provided from the camera 710. [

프로세서(770)는 검출된 헤드라이트 영역(1910)의 밝기값을 기초로, 눈부심 상황의 발생 여부를 판단할 수 있다. 구체적으로, 프로세서(770)는 검출된 헤드라이트 영역(1910)의 밝기값을 기준값과 비교할 수 있다. 예를 들어, 만약 헤드라이트 영역(1910)의 평균 밝기값이 기준값 이상이고, 헤드라이트 영역(1910)의 크기가 소정 크기 이상인 경우, 프로세서(770)는 현재 눈부심 상황이 발생한 것으로 판단할 수 있다.The processor 770 can determine whether a glare situation has occurred based on the brightness value of the detected headlight area 1910. [ Specifically, the processor 770 can compare the brightness value of the detected headlight area 1910 with a reference value. For example, if the average brightness value of the headlight area 1910 is greater than the reference value and the size of the headlight area 1910 is greater than or equal to a predetermined size, the processor 770 can determine that the current glare condition has occurred.

한편, 외부의 밝기에 대응하는 노출값이 카메라(710)에 자동 설정되는 경우, 헤드라이트 영역(1910)으로 인해 차량(100)의 외부의 밝기가 실제로 밝아진 것으로 잘못 인식되어, 카메라(710)의 노출값이 작아질 수 있다. 차량(100)의 외부의 밝기가 실제로는 어두움에도 불구하고, 카메라(710)의 노출값이 작아지는 경우, 카메라(710)에 의해 촬영되는 영상에는 양측 차선(1920a, 1920b)이 선명하게 나타나지 않을 수 있다.On the other hand, when the exposure value corresponding to the brightness of the outside is automatically set in the camera 710, the brightness of the outside of the vehicle 100 is erroneously recognized as being actually bright due to the headlight area 1910, Can be reduced. When the exposure value of the camera 710 becomes small despite the fact that the brightness of the outside of the vehicle 100 is actually dark, the two lane lines 1920a and 1920b may not be clearly displayed in the image photographed by the camera 710 have.

도 19b는 도 19a와 같은 눈부심 상황에서, 프로세서(770)가 카메라(710)의 노출값을 조절하는 동작을 보여준다. 도 19b에서 제1 시점(T1)은 눈부심 상황이 발생한 시점이고, 제2 시점(T2)은 눈부심 상황이 종료된 시점이며, 차량(100) 외부의 밝기는 일정한 것으로 가정한다. 19B shows an operation in which the processor 770 adjusts the exposure value of the camera 710 in the glare state as shown in FIG. 19A. In FIG. 19B, it is assumed that the glare state occurs at the first time point T1, the glare state ends at the second time point T2, and the brightness outside the vehicle 100 is constant.

도 19b를 참조하면, 제1 시점(T1) 이전에, 카메라(710)에는 제1 조리개값(V11) 및 제2 셔터스피드(V21)가 설정될 수 있다. 제1 조리개값(V11) 및 제2 셔터스피드(V21)는 차량(100) 외부의 실제 밝기에 대응하는 노출값일 수 있고, 메모리(730)에 저장될 수 있다. Referring to FIG. 19B, before the first time point T1, the first aperture value V11 and the second shutter speed V21 may be set to the camera 710. FIG. The first aperture value V11 and the second shutter speed V21 may be an exposure value corresponding to the actual brightness outside the vehicle 100 and may be stored in the memory 730. [

외부 밝기만을 기초로 카메라(710)의 노출값을 설정하는 경우, 헤드라이트 영역(1910)의 영향으로 인해, 제1 시점(T1)부터 제2 시점(T2)까지는 카메라(710)에 제2 조리개값(V12) 및 제2 셔터스피드(V22)가 설정될 수 있다. 즉, 카메라(710)에 의해 촬영되는 이미지 내의 헤드라이트 영역(1910)으로 인해, 카메라(710)의 렌즈로 들어오는 빛이 충분한 것으로 잘못 인식되어, 제1 시점(T1)부터 조리개값은 감소하고, 셔터스피드는 증가질 수 있다. 즉, 카메라(710)의 노출값이 감소할 수 있다. 차량(100) 외부가 실제로는 어두움에도 불구하고, 카메라(710)의 노출값이 감소하는 경우, 카메라(710)에 의해 촬영되는 이미지에는 차선(1920a, 1920b)이 선명하게 나타나지 않아, 차선 검출에 실패할 가능성이 높아진다. When the exposure value of the camera 710 is set based only on the external brightness, the camera 710 receives the second diaphragm value from the first time point T1 to the second time point T2 due to the influence of the headlight area 1910 The second shutter speed V12 and the second shutter speed V22 may be set. That is, due to the headlight area 1910 in the image taken by the camera 710, the light entering the lens of the camera 710 is erroneously recognized as being sufficient, the aperture value decreases from the first time point T1, The shutter speed can be increased. That is, the exposure value of the camera 710 may decrease. The lane lines 1920a and 1920b do not appear clearly in the image photographed by the camera 710 when the exposure value of the camera 710 decreases despite the fact that the outside of the vehicle 100 is actually dark, .

위와 같은 문제를 해소하기 위해, 본 발명의 일 실시예에 따른 운전 보조 장치(700)는, 도시된 바와 같이, 제1 시점(T1)부터 제2 시점(T2)까지 카메라(710)에 설정된 제1 조리개값(V11) 및 제1 셔터스피드(V21)를 계속 유지할 수 있다. 이에 따라, 헤드라이트 영역(1910)으로 인한 눈부심 상황에서도, 카메라(710)에 의해 촬영된 이미지를 기초로, 차량(100)을 기준으로 양측의 차선(1920a, 1920b)을 보다 정확히 검출할 수 있다. 이때, 헤드라이트 영역(1910)와 상대적으로 먼 우측 차선(1920b)이 좌측 차선(1920a)보다 용이하게 검출될 수 있다.In order to solve the above problems, the driving assistance device 700 according to an embodiment of the present invention may be configured such that, as shown in the figure, The first aperture value V11 and the first shutter speed V21 can be maintained. This makes it possible to more accurately detect the lanes 1920a and 1920b on both sides of the vehicle 100 based on the image photographed by the camera 710 even in the glare state caused by the headlight area 1910 . At this time, the right lane 1920b farther away from the headlight area 1910 can be detected more easily than the left lane 1920a.

도 19c는 조명 장치(500)가 우측 차선(1920b)을 안내하는 가시광(1930)을 지면에 비추는 상황을 예시한다. 도 19c를 참조하면, 프로세서(770)는 눈부심 상황이 발생한 제1 시점(T1)부터 제2 시점(T2)까지, 제1 조리개값(V11) 및 제1 셔터스피드(V21)가 설정된 카메라(710)에 의해 촬영된 이미지에서 차량(100)을 기준으로 양측의 차선(1920a, 1920b) 중 적어도 우측 차선(1920b)을 검출하고, 검출된 우측 차선(1920b)이 그려진 영역을 향하여 가시광(1930)을 출력하도록 조명 장치(500)를 제어할 수 있다. Fig. 19C illustrates a situation in which the illuminating device 500 illuminates the visible light 1930 guiding the right lane 1920b onto the ground. Referring to FIG. 19C, the processor 770 determines whether the first aperture value V11 and the first shutter speed V21 have been set to the camera 710 (step S710) from the first point of time T1 to the second point of time T2, At least the right lane 1920b of the lanes 1920a and 1920b on both sides of the vehicle 100 is detected from the image photographed by the driver 1900 and the visible light 1930 is directed toward the area where the detected right lane 1920b is drawn And control the lighting device 500 to output the output signal.

예컨대, 도시된 바와 같이, 차량(100)을 기준으로 좌측 전방에서 비춰지는 헤드라이트 영역(1910)으로 인해 눈부심 상황이 발생하더라도, 차량(100)을 기준으로 우측 전방에 가시광(1930)이 비춰짐으로써, 차량(100)의 운전자는 도로를 따라 안전하게 주행할 수 있다.For example, as shown in the figure, visible light 1930 is illuminated on the right front side with respect to vehicle 100, even if a glare situation occurs due to the headlight area 1910 illuminated from the left front side with respect to the vehicle 100 , The driver of the vehicle 100 can safely run along the road.

도 20은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 차선 검출 실패 시, 지도 데이터를 기초로 차선을 추정하는 프로세스(S2000)의 플로우 챠트를 보여준다.FIG. 20 shows a flowchart of a process (S2000) of estimating a lane based on map data when the driving assistance device 700 according to an embodiment of the present invention fails to detect a lane.

단계 S2010에서, 운전 보조 장치(700)는 카메라(710)를 이용하여, 차량(100) 주변의 이미지를 획득할 수 있다. 예를 들어, 카메라(710)는 소정의 화각으로 차량(100) 전방을 촬영하고, 촬영된 이미지를 프로세서(770)로 제공할 수 있다. 이때, 카메라(710)는 스테레오 카메라(710)로서, 프로세서(770)의 요청 시에 촬영된 스테레오 이미지를 프로세서(770)로 제공할 수 있다. 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 차선 검출 동작을 수행할 수 있다.In step S2010, the driving assistance device 700 can use the camera 710 to acquire an image around the vehicle 100. [ For example, the camera 710 may photograph the front of the vehicle 100 at a predetermined angle of view, and may provide the photographed image to the processor 770. At this time, the camera 710 may be a stereo camera 710 and may provide the captured stereo image to the processor 770 at the request of the processor 770. The processor 770 can perform a lane detection operation based on the image provided from the camera 710. [

단계 S2020에서, 운전 보조 장치(700)는 카메라(710)에 의해 촬영된 이미지를 기초로, 차선이 검출되었는지 판단할 수 있다. 만약, 차선이 미검출된 경우, 프로세서(770)는 단계 S2030을 수행하고, 차선이 검출된 경우, 프로세서(770)는 단계 S2030를 생략하고 단계 S2040을 수행할 수 있다.In step S2020, the driving assistance device 700 can determine whether a lane has been detected based on the image photographed by the camera 710. [ If a lane is not detected, the processor 770 performs step S2030, and if the lane is detected, the processor 770 can skip step S2030 and perform step S2040.

예컨대, 도로에 그려진 차선이 눈, 비, 흙 등의 이물질에 의해 가려지거나 일부분이 지워진 상황에서, 프로세서(770)는 카메라(710)에 의해 촬영된 이미지로부터 차선을 검출하지 못할 수 있는바, 이 경우 프로세서(770)는 단계 S2030을 수행할 수 있다.For example, in a situation where a lane drawn on the road is obscured or partially erased by foreign matter such as snow, rain, soil, etc., the processor 770 may not detect the lane from the image photographed by the camera 710, The processor 770 may perform step S2030.

단계 S2030에서, 운전 보조 장치(700)는 상기 획득된 이미지 및 지도 데이터를 기초로, 차량(100)의 주행 경로 상의 차선을 추정할 수 있다. 이때, 지도 데이터는 메모리(730)에 미리 저장된 것이거나, 차량(100)의 통신부(110)에 의해 외부 서버로부터 수신된 것일 수 있다. 지도 데이터에는 도로의 특징에 대한 정보들이 포함될 수 있다. 예컨대, 지도 데이터에는, 도로의 형상, 도로에 그려진 차선의 위치와 개수, 및 도로에 인접한 구조물들의 위치를 지시하는 데이터들이 포함될 수 있다. 또한, 지도 데이터에는, 도로를 촬영한 영상 데이터들이 포함될 수 있다. In step S2030, the driving assistance device 700 can estimate a lane on the driving route of the vehicle 100 based on the obtained image and map data. At this time, the map data may be stored in advance in the memory 730 or received from an external server by the communication unit 110 of the vehicle 100. The map data may include information on characteristics of the road. For example, the map data may include data indicating the shape of the road, the location and number of lanes drawn on the road, and the location of structures adjacent to the road. The map data may include image data of the road.

구체적으로, 프로세서(770)는 스테레오 이미지의 디스패리티 정보를 기초로, 차량(100) 외부의 3차원 공간 정보를 획득하고, 획득된 3차원 공간 정보를 차량(100)의 현 위치에 대응하는 지도 데이터와 매칭할 수 있다. 이때, 맵 매칭(map matching) 기법이 이용될 수 있고, 차량(100)의 현 위치는 위치 정보 모듈(114)에 의해 획득되는 것일 수 있다. 예컨대, 차량(100)의 현 위치는 DGPS(Differential GPS) 기반으로 획득되는 것일 수 있다. Specifically, the processor 770 acquires the three-dimensional spatial information outside the vehicle 100 based on the disparity information of the stereo image, and outputs the obtained three-dimensional spatial information to the map corresponding to the current position of the vehicle 100 Data can be matched. At this time, a map matching technique may be used, and the current position of the vehicle 100 may be obtained by the position information module 114. For example, the current position of the vehicle 100 may be obtained on a DGPS (Differential GPS) basis.

프로세서(770)는 차량(100)이 현재 주행 중인 도로에 대한 차량(100)의 위치 및 주행 방향을 산출할 수 있다. 이어, 프로세서(770)는 지도 데이터에 포함된 차선 정보를 기초로, 차량(100)의 현재 위치 및 주행 방향에 대응하는 차선을 추정할 수 있다.The processor 770 can calculate the position and running direction of the vehicle 100 with respect to the road on which the vehicle 100 is currently traveling. Then, the processor 770 can estimate the lane corresponding to the current position and the running direction of the vehicle 100, based on the lane information included in the map data.

단계 S2040에서, 프로세서(770)는 조명 장치(500)를 이용하여, 상기 검출 또는 추정된 차선을 안내하기 위한 가시광을 출력할 수 있다. 즉, 조명 장치(500)는 프로세서(770)의 제어에 따라, 차선 안내를 위한 가시광을 차량(100) 전방의 지면을 향하여 출력할 수 있다. 구체적으로, 차선 안내를 위한 가시광은 차량(100)을 기준으로 좌측 차선 또는 우측 차선이 그려진 적어도 일부의 영역을 비추는 가시광일 수 있다. 예컨대, 제3 발광 모듈(513)은 투명 디스플레이에 차선에 대응하는 형상 및 기 설정된 색상을 가지는 이미지를 디스플레이함으로써, 상기 차선 안내를 위한 가시광이 지면에 비춰지도록 할 수 있다. In step S2040, the processor 770 may use the illumination device 500 to output visible light for guiding the detected or estimated lane. That is, the lighting apparatus 500 can output visible light for guiding the lane toward the ground in front of the vehicle 100, under the control of the processor 770. Specifically, the visible light for lane guidance may be visible light that illuminates at least a part of the area where the left lane or the right lane is drawn based on the vehicle 100. [ For example, the third light emitting module 513 may display an image having a shape corresponding to the lane and a predetermined color on the transparent display, so that the visible light for guiding the lane is reflected on the ground.

프로세서(770)는 지도 데이터에 포함된 차선 정보에 대응하는 조명 제어 신호를 조명 장치(500)로 제공하고, 조명 장치(500)는 상기 조명 제어 신호에 응답하여, 상기 검출 또는 추정된 차선의 영역을 비추기 위한 가시광을 출력할 수 있다.The processor 770 provides a lighting control signal to the lighting device 500 corresponding to the lane information included in the map data and the lighting device 500 is responsive to the lighting control signal to determine the area of the detected or estimated lane The visible light can be output.

도 21a 및 도 21b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 지도 데이터를 기초로 차선을 추정하는 동작을 설명하기 위한 도면이다.FIGS. 21A and 21B are diagrams for explaining an operation of the driving assist device 700 for estimating a lane based on map data according to an embodiment of the present invention.

도 21a를 참조하면, 제1 이미지(2110)는 카메라(710)에 의해 촬영된 것이고, 제2 이미지(2120)는 지도 데이터에 포함된 것일 수 있다. 이때, 제2 이미지(2120)는 메모리(730)에 기 저장된 지도 데이터에 포함된 이미지들 중, 차량(100)의 현 위치에 대응하는 것일 수 있다. Referring to FIG. 21A, a first image 2110 is taken by a camera 710, and a second image 2120 is included in map data. At this time, the second image 2120 may correspond to the current position of the vehicle 100 among the images included in the map data previously stored in the memory 730.

도시된 바와 같이, 제2 이미지(2120)에는 좌측 차선(2121a) 및 우측 차선(2121b)이 나타날 수 있다. 다만, 제1 이미지(2110)에서는 눈이나 흙과 같은 이물질(2111)에 의해 좌측 차선(2121a) 및 우측 차선(2121b)이 가려져, 프로세서(770)는 제1 이미지(2110)로부터 좌측 차선(2121a) 및 우측 차선(2121b)을 검출하지 못할 수 있다.As shown, a left lane 2121a and a right lane 2121b may appear in the second image 2120. However, in the first image 2110, the left lane 2121a and the right lane 2121b are covered by the foreign object 2111 such as snow or earth, and the processor 770 removes the left lane 2121a from the first image 2110 And the right lane 2121b may not be detected.

이 경우, 프로세서(770)는 제1 이미지(2110)와 제2 이미지(2120)를 비교하여, 차량(100)에 대한 좌측 차선(2121a) 및 우측 차선(2121b)의 위치 및 형상을 추정할 수 있다. 예컨대, 프로세서(770)는 제1 이미지(2110)와 제2 이미지(2120) 간의 차이를 기초로, 차량(100)의 현재 위치 및 방향을 산출할 수 있다. 이어, 프로세서(770)는 산출된 차량(100)의 현재 위치 및 방향을 기초로, 차량(100)에 대한 좌측 차선(2121a) 및 우측 차선(2121b)의 위치 및 형상을 추정할 수 있다.In this case, the processor 770 compares the first image 2110 with the second image 2120 to estimate the position and shape of the left lane 2121a and the right lane 2121b for the vehicle 100 have. For example, the processor 770 may calculate the current position and orientation of the vehicle 100 based on the difference between the first image 2110 and the second image 2120. The processor 770 can then estimate the position and shape of the left lane 2121a and the right lane 2121b with respect to the vehicle 100 based on the calculated current position and orientation of the vehicle 100. [

도 21b는 조명 장치(500)가 도 21a을 참조하여 전술한 방법을 통해 추정된 차선을 안내하는 가시광(2131a, 2131b)을 지면에 비추는 상황을 예시한다. 도 21b를 참조하면, 좌측에 비춰지는 가시광(2131a)은 좌측 차선(2121a)의 추정된 위치를 안내하는 것이고, 우측에 비춰지는 가시광(2131b)은 우측 차선(2121b)의 추정된 위치를 안내하는 것일 수 있다. Fig. 21B illustrates a situation in which the illuminating device 500 illuminates visible light 2131a, 2131b guiding the estimated lane through the method described above with reference to Fig. 21A onto the ground. 21B, the visible light 2131a on the left side guides the estimated position of the left lane 2121a, and the visible light 2131b on the right side guides the estimated position of the right lane 2121b Lt; / RTI >

도 21a 및 도 21b에 따르면, 지도 데이터를 기초로, 차선 중 끊기거나 가려진 부분을 추정할 수 있으므로, 차량(100)이 주행 중인 도로의 차선 일부가 갑자기 소실되더라도, 운전자가 차량(100)을 안전하게 조작할 수 있도록 도움을 줄 수 있다.21A and 21B, since it is possible to estimate a part of the lane to be cut off or hidden based on the map data, even if a part of the lane of the road on which the vehicle 100 is traveling suddenly disappears, It can help to manipulate.

도 22a 및 도 22b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 교차로 내에 유도 차선을 표시하는 동작의 일 예를 보여준다.22A and 22B show an example of an operation in which the driving assistance device 700 according to an embodiment of the present invention displays an induction lane in an intersection.

도 22a는 교차로(2200)를 향하여 다가가는 중인 차량(100)의 탑뷰를 예시한다. 프로세서(770)는 교차로(2200)에서 어느 방향으로 이동할지 예측할 수 있다. 예를 들어, 좌측 방향 지시등이 켜지는 경우, 프로세서(770)는 차량(100)이 좌회전할 것으로 예측할 수 있다. 다른 예를 들어, 우측 방향 지시등이 켜지는 경우, 프로세서(770)는 차량(100)이 우회전할 것으로 예측할 수 있다. 다른 예를 들어, 좌측 및 우측 방향 지시등이 모두 켜지지 않는 경우, 프로세서(770)는 차량(100)이 직진할 것으로 예측할 수 있다.22A illustrates a top view of the approaching vehicle 100 towards the intersection 2200. FIG. Processor 770 can predict which direction the intersection 2200 will travel. For example, when the left direction indicator is turned on, the processor 770 can predict that the vehicle 100 will turn left. As another example, when the right direction indicator is turned on, the processor 770 can predict that the vehicle 100 will turn to the right. As another example, if both the left and right direction indicators are not turned on, the processor 770 can predict that the vehicle 100 will go straight.

도시된 바와 같이, 교차로(2200) 내에는 좌회전 시에 차량(100)의 위치를 가이드하는 유도 차선 및 우회전 시에 차량(100)의 위치를 가이드하는 유도 차선이 그려져 있지 않거나, 이물질에 의해 가려질 수 있다. As shown in the figure, an intersection 2200 includes an induction lane for guiding the position of the vehicle 100 at the time of left turn and an induction lane for guiding the position of the vehicle 100 at the right turn, .

도 22b는 도 22a에 도시된 차량(100)이 좌회전할 것으로 예측된 경우, 운전 보조 장치(700)의 동작을 설명한다. 구체적으로, 차량(100)의 좌측 방향 지시등이 켜진 경우, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 교차로(2200) 내에 좌회전 시의 양측 경계를 안내하는 유도 차선이 그려져 있는지 판단할 수 있다. 22B illustrates the operation of the driving assistance device 700 when the vehicle 100 shown in FIG. 22A is predicted to turn to the left. Specifically, when the left turn signal lamp of the vehicle 100 is turned on, the processor 770 determines whether an induction lane that guides both side boundaries when turning left in the intersection 2200 is drawn based on the image provided from the camera 710 It can be judged.

도시된 바와 같이, 교차로(2200) 내에 좌회전을 위한 좌우측 유도 차선이 그려져 있지 않은 경우, 프로세서(770)는 메모리(730)에 기 저장된 지도 데이터를 기초로, 차량(100)을 기준으로 교차로(2200) 내의 유도 차선의 위치 및 형상을 추정할 수 있다. 이어, 프로세서(770)는 추정된 좌우측 유도 차선의 위치 및 형상에 대응하는 영역을 향하여 제1 및 제2 가시광(2210a, 2210b)을 비추도록 조명 장치(500)를 제어할 수 있다. 즉, 제1 가시광(2210a)은 좌측 유도 차선을 비추고, 제2 가시광(2210b)은 우측 유도 차선을 비출 수 있다.As shown, when the left and right guided lanes for the left turn are not drawn in the intersection 2200, the processor 770 calculates the intersection 2200 with respect to the vehicle 100 based on the map data previously stored in the memory 730 The position and the shape of the induction lane in the vehicle can be estimated. The processor 770 may then control the illumination device 500 to illuminate the first and second visible light 2210a, 2210b towards the area corresponding to the position and shape of the estimated left and right guided lane. That is, the first visible light 2210a can illuminate the left guided lane and the second visible light 2210b can illuminate the right guided lane.

이에 따라, 차량(100)의 운전자는 제1 및 제2 가시광(2210a, 2210b)에 의해 안내되는 좌우측 유도 차선을 따라, 차량(100)이 교차로(2200)를 안전하게 통과하도록 차량(100)의 좌회전을 조작할 수 있다.The driver of the vehicle 100 is allowed to turn leftward and rightward of the vehicle 100 to pass the intersection 2200 safely along the left and right guided lanes guided by the first and second visible lights 2210a and 2210b Can be operated.

도 23a 및 도 23b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 교차로 내에 유도 차선을 표시하는 동작의 다른 예를 보여준다.23A and 23B show another example of an operation in which the driving assistance device 700 according to an embodiment of the present invention displays an induction lane in an intersection.

도 23a는 교차로(2200)를 향하여 다가가는 중인 차량(100)의 탑뷰를 예시한다. 도 22a와 비교할 때, 타차량(2310)이 차량(100)과는 반대 방향에서 교차로(2200)를 향하여 다가오고 있다는 점에서 차이가 있다.23A illustrates a top view of the approaching vehicle 100 towards the intersection 2200. FIG. 22A, the difference is that the other vehicle 2310 is approaching the intersection 2200 in the direction opposite to the vehicle 100. As shown in Fig.

프로세서(770)는 차량(100)이 교차로(2200)에서 좌회전할 것으로 예측되는 경우, 차량(100)과 반대편의 타차량(2310)이 교차로(2200) 내로 진입 중인지 여부를 판단할 수 있다. 구체적으로, 프로세서(770)는 카메라(710)로부터 제공되는 스테레오 이미지를 기초로, 타차량(2310)을 검출하고, 검출된 타차량(2310)이 현재 교차로(2200) 내로 진입 중이거나 소정 시간 내에 진입할 것인지 여부를 판단할 수 있다. The processor 770 can determine whether or not the other vehicle 2310 opposite to the vehicle 100 is entering the intersection 2200 when the vehicle 100 is predicted to turn left at the intersection 2200. [ Specifically, the processor 770 detects the other vehicle 2310 based on the stereo image provided from the camera 710, and if the detected other vehicle 2310 is entering the current intersection 2200 or is within a predetermined time It is possible to judge whether or not to enter.

도 23b는 도 23a에 도시된 타차량(2310)이 현재 교차로(2200)를 향하여 진입 중이거나 소정 시간 내에 진입할 것으로 판단된 경우, 운전 보조 장치(700)의 동작을 설명한다. 구체적으로, 프로세서(770)는 타차량(2310)이 검출된 경우, 제1 및 제2 가시광(2210a, 2210b) 중, 제2 가시광(2210b)을 출력하지 않도록 조명 장치(500)를 제어할 수 있다. 예컨대, 조명 장치(500)는 프로세서(770)의 제어에 따라, 차량(100)이 교차로(2310)를 완전히 통과할때까지, 제2 가시광(2210b)의 출력을 중단할 수 있다.23B illustrates the operation of the driving assistance device 700 when it is determined that the other vehicle 2310 shown in FIG. 23A is entering the current intersection 2200 or entering within a predetermined time. Specifically, when the other vehicle 2310 is detected, the processor 770 can control the illumination device 500 so as not to output the second visible light 2210b out of the first and second visible light 2210a and 2210b have. For example, the illumination device 500 may stop the output of the second visible light 2210b until the vehicle 100 has completely passed through the intersection 2310, under the control of the processor 770. [

이에 따라, 조명 장치(500)에 의해 출력되는 제2 가시광(2210b)으로 인한, 타차량(2310)의 운전자의 혼란을 방지할 수 있다.Thus, it is possible to prevent the driver of the other vehicle 2310 from being disturbed by the second visible light 2210b output by the illumination device 500. [

도 24a 및 도 24b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 차량(100)의 차선 이탈을 방지하기 위해 수행하는 동작을 설명하기 위한 도면이다.24A and 24B are views for explaining operations performed by the driving assistance device 700 according to an embodiment of the present invention to prevent the vehicle 100 from departing from the lane.

도 24a는 중앙선(2400)에 의해 구분되는 제1 차로(2401) 및 제2 차로(2402) 중, 제2 차로(2402)에서 주행 중인 상황의 탑뷰를 보여준다. 도시된 바와 같이, 조명 장치(500)는 프로세서(770)의 제어에 따라, 제2 차로(2402)의 양측 경계를 안내하는 제1 및 제2 가시광(2410a, 2410b)을 출력하는 중일 수 있다. 예컨대, 제1 및 제2 가시광(2410a, 2410b)은, 도 15b에 도시된 가시광(1531a, 1531b)과 동일한 방법으로 조명 장치(500)에 의해 출력되는 것일 수 있다. 다른 예로, 제1 및 제2 가시광(2410a, 2410b)은, 도 21b에 도시된 가시광(2131a, 2131b)과 동일한 방법으로 조명 장치(500)에 의해 출력되는 것일 수 있다. 차량(100)이 제1 및 제2 가시광(2410a, 2410b)에 의해 안내되는 제2 차로(2402) 내에서 주행 중인 경우, 제1 및 제2 가시광(2410a, 2410b)은 소정 색상(예, 녹색)으로 출력될 수 있다.24A shows a top view of a situation in which the vehicle is traveling in the second lane 2402 among the first lane 2401 and the second lane 2402 separated by the center line 2400. Fig. As shown, the illumination device 500 may be outputting first and second visible light 2410a and 2410b guiding both side boundaries of the second lane 2402 under the control of the processor 770. For example, the first and second visible light 2410a and 2410b may be output by the illumination device 500 in the same manner as the visible light 1531a and 1531b shown in Fig. 15B. As another example, the first and second visible light 2410a and 2410b may be output by the illumination device 500 in the same manner as the visible light 2131a and 2131b shown in Fig. 21B. When the vehicle 100 is traveling in the second lane 2402 guided by the first and second visible lights 2410a and 2410b, the first and second visible lights 2410a and 2410b are emitted in a predetermined color ). ≪ / RTI >

제1 및 제2 가시광(2410a, 2410b)이 출력되는 동안, 프로세서(770)는 제1 차로(2401)에서 차량(100)과는 반대 방향으로 주행 중인 타차량(2420)을 검출할 수 있다. 예를 들어, 프로세서(770)는 카메라(710)를 이용하여 도 13a 내지 도 14b를 참조하여 전술한 객체 검출용 가시광에 의해 형성된 복수의 마킹 영역이 포함된 이미지를 촬영하고, 촬영된 이미지를 기초로, 타차량(2420)을 검출할 수 있다. While the first and second visible lights 2410a and 2410b are output, the processor 770 can detect the other vehicle 2420 running in the direction opposite to the vehicle 100 in the first lane 2401. [ For example, the processor 770 may use the camera 710 to photograph an image including a plurality of marking regions formed by visible light for object detection described above with reference to Figs. 13A to 14B, The other vehicle 2420 can be detected.

한편, 프로세서(770)는 차량(100)이 제1 및 제2 가시광(2410a, 2410b)에 의해 안내되는 제2 차로(2402)를 이탈하는지 여부를 판단할 수 있다. On the other hand, the processor 770 can determine whether or not the vehicle 100 leaves the second lane 2402 guided by the first and second visible lights 2410a and 2410b.

도 24b는 차량(100)이 제1 및 제2 가시광(2410a, 2410b)에 의해 안내되는 제2 차로(2402)를 이탈한 경우, 운전 보조 장치(700)의 동작을 설명하기 위한 도면이다. 도 24b를 참조하면, 차량(100)은 운전자의 오조작 등으로 인해, 제2 차로(2402)를 이탈해 제1 차로(2401)를 향해 주행할 수 있다. 이 경우, 제1 차로(2401)에서 반대 방향으로 다가오는 타차량(2401)과 충돌 위험이 있다.24B is a view for explaining the operation of the driving assistant 700 when the vehicle 100 leaves the second lane 2402 guided by the first and second visible lights 2410a and 2410b. Referring to FIG. 24B, the vehicle 100 may depart from the second lane 2402 and travel toward the first lane 2401 due to erroneous operation of the driver. In this case, there is a risk of collision with another vehicle 2401 approaching in the opposite direction in the first road 2401.

따라서, 프로세서(770)는 차량(100)이 제2 차로(2402)를 이탈하는 경우, 제1 가시광(2410a)을 제2 가시광(2410b)과는 다른 색상 또는 점멸 주기로 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 조명 장치(500)는 프로세서(770)의 제어에 따라, 제1 가시광(2410a)은 적색으로 출력하고 제2 가시광(2410b)은 청색으로 출력할 수 있다. 다른 예로, 조명 장치(500)는 프로세서(770)의 제어에 따라, 제1 가시광(2410a)을 제2 가시광(2410b)보다 더 빠르게 점멸 시킬 수 있다. 이에 따라, 차량(100)의 운전자는 제1 가시광(2410a)의 색상 변화 또는 깜빡임을 통해, 현재 차선 이탈 중임을 신속히 확인하고, 제2 차로(2402) 내에 위치하도록 차량(100)의 조향을 조작할 수 있다.The processor 770 controls the illumination device 500 to output the first visible light 2410a in a different color or blink period than the second visible light 2410b when the vehicle 100 leaves the second lane 2402. [ Can be controlled. For example, the illumination device 500 may output the first visible light 2410a in a red color and the second visible light 2410b in a blue color under the control of the processor 770. [ As another example, the illumination device 500 may blink the first visible light 2410a faster than the second visible light 2410b under the control of the processor 770. [ Accordingly, the driver of the vehicle 100 can promptly confirm that the vehicle is currently lane departing through a color change or flickering of the first visible light 2410a, manipulate the steering of the vehicle 100 so as to be located in the second lane 2402 can do.

이와 함께 또는 별개로, 프로세서(770)는 차량(100)이 현재 제2 차로(2402)를 이탈하였음을 안내하는 인디케이터(2420)를 디스플레이부(750)에 표시할 수 있다.Alternatively or additionally, the processor 770 may display on the display unit 750 an indicator 2420 that indicates that the vehicle 100 has left the second lane 2402.

도 25a 및 도 25b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 차량(100)의 정차를 유도하는 가시광을 출력하는 동작을 설명하기 위한 도면이다.25A and 25B are views for explaining an operation in which the driving assist device 700 according to an embodiment of the present invention outputs visible light for inducing a stop of the vehicle 100. FIG.

도 25a는 교차로(2500)에 진입 중인 차량(100)의 탑뷰를 보여준다. 도 25a를 참조하면, 프로세서(770)는 카메라(710)를 이용하여 차량(100)의 전방의 교차로를 촬영할 수 있다. 이어, 프로세서(770)는 카메라(710)로부터 제공되는 영상을 기초로, 교통 표지를 검출할 수 있다. 예컨대, 프로세서(770)는 지도 데이터를 기초로, 차량(100)의 현 위치로부터 소정 거리 내에 교차로(2500)가 있는지 확인하고, 카메라(710)에 의해 촬영된 영상에서 교차로(2500) 근방에 설치된 신호등(2510)을 검출할 수 있다. 25A shows a top view of the vehicle 100 entering the intersection 2500. Fig. Referring to Fig. 25A, the processor 770 can photograph an intersection in front of the vehicle 100 using the camera 710. Fig. Then, the processor 770 can detect the traffic sign based on the image provided from the camera 710. [ For example, the processor 770 determines whether the intersection 2500 exists within a predetermined distance from the current position of the vehicle 100 based on the map data, and determines whether the intersection 2500 exists in the vicinity of the intersection 2500 in the image photographed by the camera 710 The signal lamp 2510 can be detected.

만약, 신호등(2510)에 차량(100)의 정지를 지시하는 적색이 표시 중인 경우, 프로세서(770)는 차량(100)과 신호등(2510)의 사이의 도로면에 기 설정된 형상 및 색상의 가시광(2520)을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 신호등(2510)에 적색이 표시되는 경우, 조명 장치(500)는 일반적인 정지선에 대응하는 형상을 가지는 적색의 가시광(2520)을 차량(100)과 신호등(2510)의 사이의 지면의 일부 영역으로 투사할 수 있다. 만약, 신호등(2510)이 적색에서 청색으로 전환되는 경우, 프로세서(770)는 가시광(2520)의 출력을 중단하도록 조명 장치(500)를 제어할 수 있다.If the red light indicating the stop of the vehicle 100 is displayed on the traffic light 2510, the processor 770 displays visible light of a predetermined shape and color on the road surface between the vehicle 100 and the traffic light 2510 2520 of the illumination device 500. [0060] For example, when red is displayed on the signal lamp 2510, the illuminating device 500 displays red visible light 2520 having a shape corresponding to a normal stop line in a part of the ground between the vehicle 100 and the signal lamp 2510 As shown in FIG. If the signal lamp 2510 switches from red to blue, the processor 770 can control the lighting device 500 to stop outputting the visible light 2520. [

도 25b는 교차로(2500)에서 차량(100)과 반대편의 타차량(2530)이 좌회전 중인 상황의 탑뷰를 보여준다. 도 25b를 참조하면, 프로세서(770)는 카메라(710)를 이용하여 차량(100)의 전방의 교차로를 촬영할 수 있다. 이어, 프로세서(770)는 카메라(710)로부터 제공되는 영상을 기초로, 타차량(2530)을 검출할 수 있다. 예컨대, 프로세서(770)는 스테레오 이미지를 기초로, 타차량(2530)의 위치, 속도 및 주행 방향을 산출할 수 있다.25B shows a top view of a situation in which the other vehicle 2530 on the opposite side of the vehicle 100 from the intersection 2500 is turning left. Referring to FIG. 25B, the processor 770 can photograph the intersection in front of the vehicle 100 using the camera 710. FIG. The processor 770 can then detect the other vehicle 2530 based on the image provided from the camera 710. [ For example, the processor 770 can calculate the position, speed, and running direction of another vehicle 2530 based on the stereo image.

한편, 신호등(2510)이 정차를 지시하는 적색에서 주행을 지시하는 녹색으로 전환되었다고 하더라도, 타차량(2530)이 교차로(2500) 내에서 주행 중인 경우, 프로세서(770)는 적색의 가시광(2520)을 차량(100) 전방에 계속하여 투사하도록 조명 장치(500)를 제어할 수 있다. 이후, 타차량(2530)이 교차로(2500)를 완전히 통과하여, 스테레오 이미지에서 타차량(2530)이 더 이상 검출되지 않는 경우, 프로세서(770)는 가시광(2520)의 출력을 중단하도록 조명 장치(500)를 제어할 수 있다.On the other hand, when the other vehicle 2530 is traveling in the intersection 2500, the processor 770 displays the red visible light 2520 even if the traffic light 2510 is switched from red indicating the stop to green indicating driving. To project the vehicle 100 in front of the vehicle 100. Thereafter, when the other vehicle 2530 passes completely through the intersection 2500 and no other vehicle 2530 is detected in the stereo image, the processor 770 stops the output of the visible light 2520 500).

도 26a 내지 도 26e는 차량(100)이 주행 중인 차로가 다른 차로와 합류되는 구간에서, 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 수행하는 동작을 설명하기 위한 도면이다.26A to 26E are views for explaining operations performed by the driving assistance device 700 according to an embodiment of the present invention in a section where a lane on which the vehicle 100 is traveling is merged with another lane.

도 26a는 합류 구간(2610)이 존재하는 도로의 탑뷰를 예시한다. 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 합류 구간(2610)을 검출할 수 있다. Figure 26A illustrates a top view of a road on which a confluence section 2610 is present. Processor 770 may detect a confluence period 2610 based on the image provided by camera 710. [

구체적으로, 프로세서(770)는 차량(100)이 제1 차로(2601)를 주행 중인 경우, 제1 차로(2601)의 좌우측 경계를 가리키는 좌측 차선(2611a) 및 우측 차선(2611b)의 기울기 변화를 기초로, 합류 구간(2610)을 검출할 수 있다. 예컨대, 도시된 바와 같이, 좌측 차선(2611a)이 우측 차선(2611b)을 향하여 기울어지는 경우, 제1 차로(2601)의 전체 영역 중, 좌측 차선(2611a)의 기울기가 변화하는 제1 지점(P1)부터 좌우측 차선(2611a, 2011b)이 만나는 제2 지점(P2) 사이의 영역인 합류 구간(2610)을 검출할 수 있다.Specifically, when the vehicle 100 is traveling on the first lane 2601, the processor 770 calculates a slope change of the left lane 2611a and the right lane 2611b indicating the left and right boundaries of the first lane 2601 As a basis, the confluence section 2610 can be detected. For example, when the left lane 2611a is inclined toward the right lane 2611b, as shown in the figure, among the entire area of the first lane 2601, the first point P1 (P1) at which the slope of the left lane 2611a changes ) To the second point P2 where the left and right lanes 2611a and 2011b meet.

또는, 프로세서(770)는 제1 차로(2601)에 그려진 화살표(2612)을 검출하고, 검출된 화살표(2612)의 위치 및 지시 방향을 기초로, 합류 구간(2610)을 검출할 수 있다.Alternatively, the processor 770 may detect an arrow 2612 drawn in the first lane 2601, and may detect the confluence section 2610 based on the position of the detected arrow 2612 and the indicated direction.

도 26b는 도 26a에 도시된 합류 구간(2610)의 양측 경계를 안내하는 한 쌍의 가시광(2620a, 2620b)이 조명 장치(500)에 의해 출력되는 것을 보여준다. 프로세서(770)는 합류 구간(2610)의 좌측 차선(2611a)과 우측 차선(2611b)에 대한 정보를 조명 장치(500)로 제공하고, 조명 장치(500)는 프로세서(770)로부터 제공되는 좌측 차선(2611a)과 우측 차선(2611b)에 대한 정보를 기초로, 합류 구간(2610)의 양측 경계를 안내하는 한 쌍의 가시광(2620a, 2620b)을 차량(100)의 전방으로 투사할 수 있다. 일 예로, 도시된 바와 같이, 한 쌍의 가시광(2620a, 2620b)은 각각 좌측 차선(2611a)과 우측 차선(2611b) 상에 겹쳐지도록 투사될 수 있다.Fig. 26B shows that a pair of visible lights 2620a and 2620b guiding both sides of the confluence section 2610 shown in Fig. 26A are output by the illumination device 500. Fig. The processor 770 provides information on the left lane 2611a and the right lane 2611b of the confluence section 2610 to the illuminator 500 and the illuminator 500 receives information from the left lane 2611a A pair of visible rays 2620a and 2620b guiding both sides of the confluence section 2610 can be projected toward the front of the vehicle 100 based on the information about the right lane 2611a and the right lane 2611b. For example, as shown in the figure, a pair of visible lights 2620a and 2620b may be projected so as to overlap on the left lane 2611a and the right lane 2611b, respectively.

한편, 차량(100)은 합류 구간(2610)의 종료되는 지점(P2)에 도달하기 전에, 제1 차로(2601)로부터 제2 차로(2602)로 이동해야 하므로, 프로세서(770)는 제1 가시광(2620a)을 제1 색상(예, 적색)으로 출력하고, 제2 가시광(2620b)을 제2 색상(예, 녹색)으로 출력하도록 조명 장치(500)를 제어할 수 있다. 이에 따라, 차량(100)의 운전자는 제2 가시광(2620b)에 의해 안내되는 제2 차로(2602)로의 이동이 필요한 상황임을 직관적으로 인지할 수 있다.Since the vehicle 100 must move from the first lane 2601 to the second lane 2602 before reaching the end point P2 of the confluence section 2610, The controller may control the illumination device 500 to output the first visible light 2620a in a first color (e.g., red) and the second visible light 2620b in a second color (e.g., green). Accordingly, the driver of the vehicle 100 intuitively recognizes that it is necessary to move to the second lane 2602 guided by the second visible light 2620b.

도 26c는 도 26b와 달리, 타차량(2630)이 합류 구간(2610)의 우측에 위치하는 상황을 예시한다. 예컨대, 타차량(2630)은 차량(100)의 주행 속도보다 매우 느리게 주행 중이거나 정차한 상태일 수 있다. 이와 같은 상황에서 차량(100)이 합류 구간(2610) 내에서 제2 차로(2602)로 이동하면, 타차량(2630)과의 충돌 위험이 있다. 따라서, 프로세서(770)는 타차량(2630)이 제2 지점(P2)을 통과할 때까지, 제2 가시광(2620b)을 소정 색상(예, 적색)으로 표시할 수 있다. 차량(100)의 운전자는 소정 색상으로 표시되는 제2 가시광(2620b)을 통해, 제2 차로(2602)로 이동하면 위험한 상황임을 신속히 파악할 수 있다. 이와 동시에, 프로세서(770)는 제2 차로(2602)로의 이동 전에 차량(100)의 주행 속도를 줄이도록 제동 장치를 제어할 수 있다. 이때, 차량(100)과 타차량(2630) 간의 종방향 거리가 짧을수록, 제동 장치에 의한 제동력은 증가할 수 있다.26C illustrates a situation in which the other vehicle 2630 is located on the right side of the confluence section 2610, unlike FIG. 26B. For example, the other vehicle 2630 may be in a running state or a stopped state much slower than the running speed of the vehicle 100. [ When the vehicle 100 moves to the second lane 2602 in the confluence section 2610 in such a situation, there is a risk of collision with the other vehicle 2630. Accordingly, the processor 770 can display the second visible light 2620b in a predetermined color (e.g., red) until the other vehicle 2630 passes through the second point P2. The driver of the vehicle 100 can quickly recognize that the vehicle is in a dangerous state by moving to the second lane 2602 through the second visible light 2620b displayed in a predetermined color. At the same time, the processor 770 can control the braking device so as to reduce the running speed of the vehicle 100 before moving to the second lane 2602. At this time, the shorter the longitudinal distance between the vehicle 100 and the other vehicle 2630 is, the more the braking force by the braking device can be increased.

도 26d는 도 26c와 달리, 타차량(2640)이 차량(100)의 우측 후방에 위치하는 상황을 예시한다. 프로세서(770)는 센싱부(160)로부터 타차량(2640)의 위치 및 주행 속도를 수신할 수 있다. 예컨대, 타차량(2640)의 주행 속도는 차량(100)의 주행 속도 이상일 수 있다. 이와 같은 상황에서 차량(100)이 합류 구간(2610)이 종료되는 제2 지점(P2)에 도달하기 전에 제1 차로(2601)로부터 제2 차로(2602)로 이동하면, 타차량(2640)과의 충돌 위험이 있다. Fig. 26D illustrates a situation in which the other vehicle 2640 is located on the right rear side of the vehicle 100, unlike Fig. 26C. The processor 770 can receive the position and the traveling speed of the other vehicle 2640 from the sensing unit 160. [ For example, the traveling speed of the other vehicle 2640 may be more than the traveling speed of the vehicle 100. [ In this situation, when the vehicle 100 moves from the first lane 2601 to the second lane 2602 before reaching the second point P2 where the confluence section 2610 ends, the other vehicle 2640 There is a risk of collision.

따라서, 프로세서(770)는 차량(100)과 타차량(2640) 간의 종방향 거리가 소정 거리 이하인 경우, 제2 가시광(2620b)을 제1 색상(예, 적색)으로 표시할 수 있다. 차량(100)의 운전자는 제1 색상으로 표시되는 제2 가시광(2620b)을 통해, 제2 차로(2602)로의 이동이 위험한 상황임을 신속히 파악할 수 있다. Accordingly, the processor 770 can display the second visible light 2620b in a first color (e.g., red) when the longitudinal distance between the vehicle 100 and the other vehicle 2640 is less than a predetermined distance. The driver of the vehicle 100 can quickly recognize that the movement to the second lane 2602 is a dangerous situation through the second visible light 2620b indicated by the first color.

도 26e는 도 26a 내지 도 26d와 달리, 차량(100)이 합류 구간(2610)이 있는 제1 차로(2601)가 아닌 제2 차로(2602)를 주행 중인 상황을 보여준다. 프로세서(770)는 도 21a를 참조하여 전술바와 같이, 카메라(710)로부터 제공되는 이미지를 기초로 합류 구간(2610)을 검출하고, 검출된 합류 구간(2610)이 제2 차로(2602) 내인지 판단할 수 있다. 만약, 도시된 바와 같이, 합류 구간(2610)이 제2 차로(2602)가 아닌 제1 차로(2601)에 존재하는 경우, 프로세서(770)는 합류 구간(2610)의 위치를 안내하는 적어도 하나의 가시광을 출력할 수 있다. 예를 들어, 조명 장치(500)는 프로세서(770)의 제어에 따라, 합류 구간(2610) 내에, 제1 가시광(2651a) 및 제2 가시광(2651b)을 투사할 수 있다. 이때, 제1 가시광(2651a) 및 제2 가시광(2651b)은 'X'와 같이 기 설정된 형상을 가질 수 있다. 26E shows a situation in which the vehicle 100 is traveling on the second lane 2602 instead of the first lane 2601 having the confluence section 2610, unlike Figs. 26A to 26D. The processor 770 detects the confluence section 2610 based on the image provided from the camera 710 as described above with reference to Figure 21A and determines whether the detected confluence section 2610 is within the second lane 2602 It can be judged. If, as shown, the confluence section 2610 is present in the first lane 2601, but not in the second lane 2602, the processor 770 may determine at least one Visible light can be output. For example, the illumination device 500 may project the first visible light 2651a and the second visible light 2651b in the confluence section 2610 under the control of the processor 770. [ At this time, the first visible light 2651a and the second visible light 2651b may have a predetermined shape such as 'X'.

한편, 프로세서(770)는 차량(100)의 주행 속도를 기초로, 제1 가시광(2651a)과 제2 가시광(2651b)의 간격이나 크기를 조절할 수 있다. 일 예로, 차량(100)의 주행 속도가 높을수록, 제1 가시광(2651a)과 제2 가시광(2651b) 간의 간격을 좁힐 수 있다. 다른 예로, 차량(100)의 주행 속도가 높을수록, 제1 가시광(2651a)과 제2 가시광(2651b)의 크기를 증가시킬 수 있다. 이에 따라, 차량(100)의 운전자는 빠른 속도에서도 제1 가시광(2651a)과 제2 가시광(2651b)을 용이하게 확인하고, 제1 차로(2601)로 이동하지 않도록 차량(100)의 조향을 조작할 수 있다.On the other hand, the processor 770 can adjust an interval or a size of the first visible light 2651a and the second visible light 2651b based on the traveling speed of the vehicle 100. [ For example, the interval between the first visible light 2651a and the second visible light 2651b can be narrowed as the traveling speed of the vehicle 100 is high. As another example, the higher the traveling speed of the vehicle 100, the larger the size of the first visible light 2651a and the second visible light 2651b. Accordingly, the driver of the vehicle 100 can easily confirm the first visible light 2651a and the second visible light 2651b even at a high speed and manipulate the steering of the vehicle 100 so as not to move to the first road 2601 can do.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

또한, 이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to be illustrative, The present invention is not limited to the drawings, but all or some of the embodiments may be selectively combined so that various modifications may be made.

100: 차량
500: 조명 장치
700: 운전 보조 장치100: vehicle
500: Lighting device
700: Driving assistance device

Claims (20)

조명 장치를 구비하는 차량에 사용되는 운전 보조 장치에 있어서,
상기 조명 장치로부터 출력된 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 나타나는 이미지를 획득하는 카메라; 및
상기 카메라 및 상기 조명 장치와 연결되는 프로세서;를 포함하고,
상기 프로세서는,
상기 카메라로부터 제공되는 상기 이미지로부터 상기 복수의 마킹 영역을 검출하고, 상기 복수의 마킹 영역을 기초로, 상기 차량 주변에 위치하는 오브젝트를 검출하는, 운전 보조 장치.A driving assist system used in a vehicle having a lighting device,
A camera for acquiring an image in which a plurality of marking regions formed by the visible light of the first pattern outputted from the illumination device appear; And
And a processor coupled to the camera and the lighting device,
The processor comprising:
Detects the plurality of marking areas from the image provided from the camera, and detects an object located around the vehicle based on the plurality of marking areas. 제1항에 있어서,
상기 프로세서는,
상기 제1 패턴의 가시광을 소정 시간 동안 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to output visible light of the first pattern for a predetermined period of time. 제1항에 있어서,
상기 프로세서는,
상기 이미지의 획득 시점이 상기 제1 패턴의 가시광의 출력 시점에 동기화되도록 상기 카메라를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the camera such that an acquisition time of the image is synchronized with an output time of visible light of the first pattern. 제1항에 있어서,
상기 카메라는,
서로 소정 간격 이격된 제1 이미지 센서와 제2 이미지 센서를 포함하는 스테레오 카메라인, 운전 보조 장치.The method according to claim 1,
The camera comprises:
Wherein the first camera is a stereo camera including a first image sensor and a second image sensor spaced apart from each other by a predetermined distance. 제4항에 있어서,
상기 프로세서는,
상기 제1 이미지 센서에 의해 획득된 제1 이미지와 상기 제2 이미지 센서에 의해 획득된 제2 이미지를 비교하여, 상기 복수의 마킹 영역에 대한 디스페리티 정보를 산출하고, 상기 디스페리티 정보를 기초로, 상기 오브젝트를 검출하는, 운전 보조 장치.5. The method of claim 4,
The processor comprising:
Comparing the first image acquired by the first image sensor with the second image acquired by the second image sensor to calculate dispitient information for the plurality of marked areas, And the object is detected based on the detection result. 제1항에 있어서,
상기 프로세서는,
상기 차량의 운전자의 요청이 있거나, 상기 차량 외부의 조도가 임계값 미만인 경우, 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to output the visible light of the first pattern when there is a request from the driver of the vehicle or when the illuminance outside the vehicle is less than a threshold value. 제1항에 있어서,
상기 프로세서는,
상기 제1 패턴의 가시광을 상기 차량의 주행 속도에 대응하는 광량으로 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to output the visible light of the first pattern at a light amount corresponding to the running speed of the vehicle. 제1항에 있어서,
상기 프로세서는,
상기 복수의 마킹 영역의 크기를 기초로, 상기 차량와 상기 오브젝트 간의 거리를 산출하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And calculates the distance between the vehicle and the object based on the size of the plurality of marking areas. 제8항에 있어서,
상기 프로세서는,
상기 검출된 오브젝트가 복수인 경우, 상기 차량의 주행 속도 및 상기 차량과 각 오브젝트 간의 거리를 기초로, 각 오브젝트마다 동일한 크기의 마킹 영역을 형성하기 위한 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.9. The method of claim 8,
The processor comprising:
And controls the illumination device to output visible light for forming a marking area of the same size for each object based on the traveling speed of the vehicle and the distance between the vehicle and each object when the detected objects are a plurality Auxiliary device. 제1항에 있어서,
상기 프로세서는,
상기 검출된 오브젝트 중 서로 인접한 두 오브젝트 간의 거리가 기준 거리 이상인 경우, 상기 두 오브젝트 사이의 영역으로 상기 제1 패턴보다 조밀한 제2 패턴의 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to output visible light of a second pattern that is denser than the first pattern in an area between the two objects when the distance between two adjacent objects among the detected objects is equal to or larger than a reference distance. 제10항에 있어서,
상기 프로세서는,
상기 제2 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 기초로, 상기 두 오브젝트 사이의 다른 오브젝트를 검출하는, 운전 보조 장치.11. The method of claim 10,
The processor comprising:
And detects another object between the two objects based on the plurality of marking regions formed by the visible light of the second pattern. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트의 검출이 완료된 경우, 상기 제1 패턴의 가시광의 출력을 중단하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to stop outputting the visible light of the first pattern when the detection of the object is completed. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트의 종류에 대응하는 광량의 가시광이, 상기 오브젝트로 투사되도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device such that visible light of a light quantity corresponding to the kind of the object is projected onto the object. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트가 타차량인 경우, 상기 타차량에 탑승한 운전자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to block visible light projected on the eyes of a driver who rides on the other vehicle when the object is another vehicle. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트가 보행자인 경우, 상기 보행자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to block visible light projected on the eyes of the pedestrian when the object is a pedestrian. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트가 교통 표지인 경우, 상기 교통 표지로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to increase the amount of visible light projected onto the traffic sign when the object is a traffic sign. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트가 낙하물인 경우, 상기 낙하물로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
And controls the illumination device to increase the amount of visible light projected onto the falling object when the object is a fall object. 제1항에 있어서,
상기 조명 장치는, 적어도 하나의 레이저 다이오드를 포함하는 발광 소자; 및 상기 레이저 다이오드에 의해 출력되는 레이저 빔을 반사하도록 정렬된 복수의 마이크로 미러를 포함하는 리플렉터;를 포함하고,
상기 프로세서는,
상기 복수의 마이크로 미러 중 적어도 일부의 틸팅각을 조절하여 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The illumination device includes: a light emitting element including at least one laser diode; And a reflector including a plurality of micromirrors arranged to reflect a laser beam output by the laser diode,
The processor comprising:
And controls the illumination device to output the visible light of the first pattern by adjusting a tilting angle of at least a part of the plurality of micromirrors. 제1항에 있어서,
상기 프로세서는,
상기 오브젝트의 크기 및 위치를 기초로, 상기 차량의 주행 경로를 산출하고, 상기 주행 경로를 가이드하기 위한 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.The method according to claim 1,
The processor comprising:
Calculates a traveling route of the vehicle based on the size and position of the object, and controls the lighting device to output visible light for guiding the traveling route. 차량 전방의 이미지를 획득하는 카메라; 및
상기 카메라와 연결되어 상기 이미지로부터 타차량의 헤드라이트 영역을 검출하는 프로세서;를 포함하고,
상기 프로세서는,
상기 검출된 헤드라이트 영역의 밝기값을 기준값과 비교하여, 눈부심 상황의 발생 여부를 판단하고,
상기 눈부심 상황이 발생한 것으로 판단 시, 상기 눈부심 상황의 발생 전에 사용된 조리개값을 상기 카메라에 설정하는, 운전 보조 장치.A camera for acquiring an image of the front of the vehicle; And
And a processor coupled to the camera for detecting a headlight area of another vehicle from the image,
The processor comprising:
A brightness value of the detected headlight area is compared with a reference value to determine whether a glare condition has occurred,
And sets the aperture value used before the glare situation to the camera when it is determined that the glare condition has occurred.
KR1020160000330A 2016-01-04 2016-01-04 Drive assistance apparatus and method for controlling the same KR101768500B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160000330A KR101768500B1 (en) 2016-01-04 2016-01-04 Drive assistance apparatus and method for controlling the same
PCT/KR2016/006545 WO2017119557A1 (en) 2016-01-04 2016-06-20 Driving assistance device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160000330A KR101768500B1 (en) 2016-01-04 2016-01-04 Drive assistance apparatus and method for controlling the same

Publications (2)

Publication Number Publication Date
KR20170081375A true KR20170081375A (en) 2017-07-12
KR101768500B1 KR101768500B1 (en) 2017-08-17

Family

ID=59273729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160000330A KR101768500B1 (en) 2016-01-04 2016-01-04 Drive assistance apparatus and method for controlling the same

Country Status (2)

Country Link
KR (1) KR101768500B1 (en)
WO (1) WO2017119557A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082980A1 (en) * 2017-10-26 2019-05-02 株式会社小糸製作所 Vehicle headlight system, vehicle lamp system
KR20200027198A (en) * 2018-09-04 2020-03-12 현대모비스 주식회사 Apparatus and method for controlling head-lamp of vehicle
KR20200073038A (en) * 2018-12-13 2020-06-23 에스엘 주식회사 lamp system for vehicle
KR20210004632A (en) * 2019-07-05 2021-01-13 울산과학기술원 Road lighting device for preventing illegal parking
KR102309608B1 (en) * 2020-10-21 2021-10-06 주식회사 노바테크 Method of convergence a coordinate system between Lidar and Stereo-Camera
US11208085B2 (en) * 2018-02-09 2021-12-28 Mando Corporation Automotive braking control system, apparatus, and method considering weather condition

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017223434B4 (en) 2017-12-20 2019-08-08 Audi Ag Shortening of light guiding functions
EP3858668B1 (en) * 2018-09-28 2024-03-20 Koito Manufacturing Co., Ltd. Lamp system
CN111212756B (en) * 2018-10-31 2023-10-17 深圳市大疆创新科技有限公司 Method and apparatus for controlling an illumination system of a vehicle
EP3650271A1 (en) * 2018-11-09 2020-05-13 Valeo Vision Lane recognition for automotive vehicles
JP7429227B2 (en) 2019-05-09 2024-02-07 株式会社小糸製作所 Driving support systems, vehicles, vehicle lights
WO2021166814A1 (en) * 2020-02-17 2021-08-26 株式会社小糸製作所 Lamp system
IL273288B2 (en) * 2020-03-12 2023-10-01 Elbit Systems Ltd System and method for determining a relative motion between two or more objects
US20220101022A1 (en) * 2020-09-29 2022-03-31 Rivian Ip Holdings, Llc Vehicle cliff and crevasse detection systems and methods
DE102022130176A1 (en) 2022-11-15 2024-05-16 Valeo Schalter Und Sensoren Gmbh CONTROL DEVICE FOR CONTROLLING A HEADLIGHT, VEHICLE AND METHOD

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730589B2 (en) * 2005-04-28 2011-07-20 アイシン精機株式会社 Vehicle perimeter monitoring system
KR101163042B1 (en) * 2009-11-26 2012-07-05 재단법인대구경북과학기술원 Apparatus and Method for Extracting Vehicle
KR101303758B1 (en) * 2012-06-13 2013-09-06 주식회사 만도 Camera system and control method there of
KR101934750B1 (en) * 2012-10-31 2019-01-03 현대모비스 주식회사 Lighting System for Vehicle and Control Method Thereof
JP6166225B2 (en) * 2014-06-10 2017-07-19 トヨタ自動車株式会社 Vehicle headlamp control device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082980A1 (en) * 2017-10-26 2019-05-02 株式会社小糸製作所 Vehicle headlight system, vehicle lamp system
JPWO2019082980A1 (en) * 2017-10-26 2020-11-12 株式会社小糸製作所 Vehicle headlight system, vehicle lamp system
US11351912B2 (en) 2017-10-26 2022-06-07 Koito Manufacturing Co., Ltd. Vehicle headlamp system and vehicle lamp system
US11208085B2 (en) * 2018-02-09 2021-12-28 Mando Corporation Automotive braking control system, apparatus, and method considering weather condition
KR20200027198A (en) * 2018-09-04 2020-03-12 현대모비스 주식회사 Apparatus and method for controlling head-lamp of vehicle
KR20200073038A (en) * 2018-12-13 2020-06-23 에스엘 주식회사 lamp system for vehicle
KR20210004632A (en) * 2019-07-05 2021-01-13 울산과학기술원 Road lighting device for preventing illegal parking
KR102309608B1 (en) * 2020-10-21 2021-10-06 주식회사 노바테크 Method of convergence a coordinate system between Lidar and Stereo-Camera

Also Published As

Publication number Publication date
WO2017119557A1 (en) 2017-07-13
KR101768500B1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
KR101768500B1 (en) Drive assistance apparatus and method for controlling the same
US10479269B2 (en) Lighting apparatus for vehicle and vehicle having the same
US10737689B2 (en) Parking assistance apparatus and vehicle having the same
US10240937B2 (en) Display apparatus for vehicle and vehicle
KR101832466B1 (en) Parking Assistance Apparatus and Vehicle Having The Same
US9952051B2 (en) Advanced driver assistance apparatus, display apparatus for vehicle and vehicle
US10127820B2 (en) Driver assistance apparatus and vehicle including the same
KR101916993B1 (en) Display apparatus for vehicle and control method thereof
CN106167045B (en) Driver assistance device and control method thereof
US10377309B2 (en) Driver assistance apparatus and control method for the same
KR101824982B1 (en) Vehicle and control method for the same
US20200361482A1 (en) Vehicle display device and vehicle
KR20180040235A (en) Parking Assistance Apparatus and Vehicle Having The Same
KR20180037426A (en) Parking Assistance Apparatus and Vehicle Having The Same
KR102372566B1 (en) Lighting apparatus for Vehicle and Vehicle
KR20170035238A (en) Vehicle and control method for the same
KR101850794B1 (en) Parking assist appratus and method for assisting parking
KR101972352B1 (en) Parking Assistance Apparatus and Vehicle Having The Same
KR101850325B1 (en) Lighting apparatus for Vehicle and Vehicle
KR101752798B1 (en) Vehicle and control method for the same
KR101929288B1 (en) Parking Assistance Apparatus and Vehicle Having The Same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant