[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20220170207A - 주변 감시 시스템 - Google Patents

주변 감시 시스템 Download PDF

Info

Publication number
KR20220170207A
KR20220170207A KR1020210080965A KR20210080965A KR20220170207A KR 20220170207 A KR20220170207 A KR 20220170207A KR 1020210080965 A KR1020210080965 A KR 1020210080965A KR 20210080965 A KR20210080965 A KR 20210080965A KR 20220170207 A KR20220170207 A KR 20220170207A
Authority
KR
South Korea
Prior art keywords
image
wide
angle
trailer
original image
Prior art date
Application number
KR1020210080965A
Other languages
English (en)
Inventor
권석근
예정열
이민희
정철
최수영
Original Assignee
주식회사 에스엘미러텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스엘미러텍 filed Critical 주식회사 에스엘미러텍
Priority to KR1020210080965A priority Critical patent/KR20220170207A/ko
Publication of KR20220170207A publication Critical patent/KR20220170207A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/22Articulation angle, e.g. between tractor and trailer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/10Road Vehicles
    • B60Y2200/14Trucks; Load vehicles, Busses
    • B60Y2200/148Semi-trailers, articulated vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/20Off-Road Vehicles
    • B60Y2200/22Agricultural vehicles
    • B60Y2200/221Tractors

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 주변 감시 시스템에 관한 것으로서, 트랙터와 트레일러 간의 각도를 고려하여 사각 지대에 대한 용이한 감시를 가능하게 하는 주변 감시 시스템에 관한 것이다.
본 발명의 실시예에 따른 주변 감시 시스템은 트랙터 및 트레일러를 포함하는 차량과, 상기 트랙터의 좌우측 각각에 구비된 하나의 광각 카메라와, 상기 각 하나의 광각 카메라로부터 상기 트레일러가 포함된 하나의 광각 원본 영상을 수신하는 영상 수신부와, 상기 하나의 광각 원본 영상에서 제1 영역을 추출하여 제1 영상을 생성하고, 상기 하나의 광각 원본 영상에서 제2 영역을 추출하여 제2 영상을 생성하며, 상기 제1 영상 및 제2 영상의 합성 영상을 생성하는 영상 처리부와, 상기 합성 영상을 송신하는 영상 송신부, 및 상기 합성 영상을 출력하는 디스플레이 장치를 포함하되, 상기 영상 처리부는 상기 영상 수신부에 의해 수신된 상기 하나의 광각 원본 영상에서 상기 트레일러를 인식하고, 상기 광각 원본 영상에 포함된 상기 트레일러의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선이 교차하는 소실점의 위치를 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절함으로써 상기 트레일러의 말단이 상기 제2 영상에 포함되도록 한다.

Description

주변 감시 시스템{Environment monitoring system}
본 발명은 주변 감시 시스템에 관한 것으로서, 더욱 상세하게는 트랙터와 트레일러 간의 각도를 고려하여 트레일러의 말단에 대한 용이한 감시를 가능하게 하는 주변 감시 시스템에 관한 것이다.
일반적으로 차량은 운전석에서 전방의 감시는 용이한 반면 측방이나 후방의 감시가 상대적으로 어렵기 때문에 사각 지대가 발생하게 되며, 차량의 운행 중 발생하는 대부분의 인명 사고나 구조물 파손 등의 사고는 이러한 사각 지대에서 발생하게 된다.
특히, 버스나 트럭과 같은 상용 차량의 경우에는 소형 차량에 비하여 차량 자체에 의한 시야 방해가 상대적으로 더 크기 때문에 안전 사고 발생 가능성이 더 높게 된다.
이를 위해, 차량에는 운전자가 사각 지대를 감시할 수 있도록 적어도 하나의 미러가 구비되어 있으며, 각 미러에 대한 시야 범위는 UN/ECE 규칙 제46호로 규정되어 있다.
이러한 미러를 통한 감시는 운전자의 지속적인 주의가 요구되므로 운전자의 피로도가 증가하게 되고, 차량 자체에 의한 시야 방해로 인해 안전 운행을 도모하는데 한계가 있기 때문에 최근에는 차량에 카메라를 설치하고 카메라에 의해 획득된 영상을 차량의 운전석 내에 출력하여 운전자로 하여금 차량 주변을 감시할 수 있도록 하고 있다.
한편, 트랙터 및 트레일러를 포함하는 차량에서 카메라를 이용한 주변 감시를 수행하는 경우 트랙터 및 트레일러 간의 각도에 따라 트레일러의 말단에 대한 시야가 확보되지 못하는 문제가 발생할 수 있다.
이에, 트랙터 및 트레일러 간의 각도에 무관하게 트레일러의 말단에 대한 시야가 올바르게 확보될 수 있도록 하는 발명의 등장이 요구된다.
대한민국 공개특허공보 제10-2004-0076993호 (2004.09.04)
본 발명이 해결하고자 하는 과제는 트랙터와 트레일러 간의 각도를 고려하여 트레일러의 말단에 대한 용이한 감시를 가능하게 하는 주변 감시 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 주변 감시 시스템은 트랙터 및 트레일러를 포함하는 차량과, 상기 트랙터의 좌우측 각각에 구비된 하나의 광각 카메라와, 상기 각 하나의 광각 카메라로부터 상기 트레일러가 포함된 하나의 광각 원본 영상을 수신하는 영상 수신부와, 상기 하나의 광각 원본 영상에서 제1 영역을 추출하여 제1 영상을 생성하고, 상기 하나의 광각 원본 영상에서 제2 영역을 추출하여 제2 영상을 생성하며, 상기 제1 영상 및 제2 영상의 합성 영상을 생성하는 영상 처리부와, 상기 합성 영상을 송신하는 영상 송신부, 및 상기 합성 영상을 출력하는 디스플레이 장치를 포함하되, 상기 영상 처리부는 상기 영상 수신부에 의해 수신된 상기 하나의 광각 원본 영상에서 상기 트레일러를 인식하고, 상기 광각 원본 영상에 포함된 상기 트레일러의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선이 교차하는 소실점의 위치를 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절함으로써 상기 트레일러의 말단이 상기 제2 영상에 포함되도록 한다.
상기 광각 카메라의 시야 범위는 제1 시야 범위 및 제2 시야 범위를 포함하고, 상기 제1 시야 범위의 화각은 상기 제2 시야 범위의 화각에 비하여 크고, 상기 제2 시야 범위는 상기 제1 시야 범위에 포함되고, 상기 제1 영상은 상기 제1 시야 범위를 촬영한 영상을 포함하며, 상기 제2 영상은 상기 제2 시야 범위를 촬영한 영상을 포함한다.
상기 영상 처리부는 상기 광각 원본 영상에 설정된 분할선을 기준으로 상기 광각 원본 영상의 양측 중 목표 영역에 상기 소실점이 포함되는 경우 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절한다.
상기 분할선은 상기 광각 원본 영상을 좌측 및 우측으로 분할하는 세로선을 포함한다.
상기 분할선은 상기 광각 원본 영상의 가로 폭의 중심에 배치된다.
상기 영상 처리부는 상기 소실점이 상기 제2 영역의 가장자리에 일치하도록 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절한다.
상기 영상 처리부는 상기 소실점이 상기 제2 영역의 가장자리에서 일정 거리만큼 이격된 지점에 배치되도록 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절한다.
상기 영상 처리부는 상기 제1 영역의 범위 내에서 상기 제2 영역의 위치를 조절한다.
본 발명의 실시예에 따른 주변 감시 시스템은 트랙터 및 트레일러를 포함하는 차량과, 상기 트랙터의 좌우측 각각에 구비된 하나의 광각 카메라와, 상기 각 하나의 광각 카메라로부터 상기 트레일러가 포함된 하나의 광각 원본 영상을 수신하는 영상 수신부와, 상기 하나의 광각 원본 영상에서 제1 영역을 추출하여 제1 영상을 생성하고, 상기 하나의 광각 원본 영상에서 제2 영역을 추출하여 제2 영상을 생성하며, 상기 제1 영상 및 제2 영상의 합성 영상을 생성하는 영상 처리부와, 상기 합성 영상을 송신하는 영상 송신부, 및 상기 합성 영상을 출력하는 디스플레이 장치를 포함하되, 상기 영상 처리부는 상기 영상 수신부에 의해 수신된 상기 하나의 광각 원본 영상에서 상기 트레일러를 인식하고, 상기 광각 원본 영상에 포함된 상기 트레일러의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선 중 하나가 상기 제1 영역의 가장자리 또는 상기 제2 영역의 가장자리와 교차하는 교차점을 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절함으로써 상기 트레일러의 말단이 상기 제2 영상에 포함되도록 한다.
상기 영상 처리부는 상기 제1 영역의 가장자리 또는 상기 제2 영역의 가장자리 중 상기 교차점이 매핑된 가장자리의 꼭지점과 상기 교차점 간의 거리를 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 실시예에 따른 주변 감시 시스템에 따르면 트랙터와 트레일러 간의 각도를 고려하여 차량의 주변 정보를 제공함으로써 트랙터와 트레일러 간의 각도에 무관하게 운전자로 하여금 후진 주행 시에 트레일러의 말단에 대한 용이한 감시를 가능하게 하는 장점이 있다.
도 1은 본 발명의 실시예에 따른 주변 감시 시스템을 나타낸 도면이다.
도 2는 제어부의 블록도이다.
도 3은 광각 카메라의 시야 범위를 설명하기 위한 도면이다.
도 4는 제2 시야 범위에 트레일러가 포함된 것을 설명하기 위한 도면이다.
도 5는 제2 시야 범위에서 트레일러가 벗어난 것을 설명하기 위한 도면이다.
도 6은 디스플레이 장치를 나타낸 도면이다.
도 7은 합성 영상이 디스플레이 장치를 통해 출력되는 것을 설명하기 위한 도면이다.
도 8은 제2 영상에서 트레일러 말단이 벗어난 것을 설명하기 위한 도면이다.
도 9는 원본 영상에서 제2 영역의 위치가 조절되는 것을 설명하기 위한 도면이다.
도 10은 트레일러에 의한 소실점을 설명하기 위한 도면이다.
도 11은 소실점의 좌표가 산출되는 것을 설명하기 위한 도면이다.
도 12는 원본 영상에 분할선이 설정된 것을 설명하기 위한 도면이다.
도 13은 소실점이 분할선에 일치한 것을 나타낸 도면이다.
도 14는 소실점이 목표 영역에 포함된 것을 나타낸 도면이다.
도 15는 제2 영상의 변화 과정을 설명하기 위한 도면이다.
도 16은 소실점이 분할선에 일치하고, 제2 영역의 가장자리에서 이격된 것을 나타낸 도면이다.
도 17은 소실점이 목표 영역에 포함되고, 제2 영역의 가장자리에서 이격된 것을 나타낸 도면이다.
도 18은 트레일러의 하단 라인의 연장선과 제1 영역의 상측 가장자리가 교차하는 것을 나타낸 도면이다.
도 19는 트레일러의 하단 라인의 연장선과 제1 영역의 측면 가장자리가 교차하는 것을 나타낸 도면이다.
도 20은 트레일러의 하단 라인의 연장선과 제2 영역의 상측 가장자리가 교차하는 것을 나타낸 도면이다.
도 21은 트레일러의 하단 라인의 연장선과 제2 영역의 측면 가장자리가 교차하는 것을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 주변 감시 시스템을 나타낸 도면이다.
도 1을 참조하면, 주변 감시 시스템(10)은 차량(20), 광각 카메라(100), 디스플레이 장치(200) 및 제어부(300)를 포함하여 구성된다.
차량(20)은 트랙터(21) 및 트레일러(22)를 포함할 수 있다. 트랙터(21)는 구동력을 발생시켜 주행 가능한 것이고, 트레일러(22)는 트랙터(21)에 결합되어 트랙터(21)와 함께 이동 가능한 것을 나타낸다.
광각 카메라(100)는 피사체에 대한 영상을 생성할 수 있다. 예를 들어, 광각 카메라(100)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 영상 센서를 포함할 수 있다. 광각 카메라(100)로 입력된 광은 영상 센서에 의해 감지되고, 감지된 광이 전기 신호로 변환되어 디지털 영상이 생성될 수 있다. 광각 카메라(100)에 의해 생성된 영상은 차량(20)의 주변 영상일 수 있다. 구체적으로, 광각 카메라(100)는 트랙터(21)의 양측 프론트 도어 또는 프론트 도어 부근에 설치되어 차량(20)의 측후방에 대한 주변 영상을 획득할 수 있다.
본 발명에서 광각 카메라(100)는 광각 렌즈를 포함한 것일 수 있다. 예를 들어, 광각 카메라(100)의 광각 렌즈는 표준 렌즈보다 초점 거리가 짧은 50mm이하의 초점 거리를 갖는 렌즈일 수 있다. 이에, 광각 카메라(100)는 표준 렌즈를 구비한 것에 비하여 넓은 범위로 주변을 촬영하여 영상을 생성할 수 있다.
광각 카메라(100)는 트랙터(21)의 좌우측 각각에 하나씩 구비될 수 있다. 즉, 트랙터(21)의 좌측에 구비된 하나의 광각 카메라(100)가 트랙터(21)의 좌측 후방을 촬영하고, 트랙터(21)의 우측에 구비된 하나의 광각 카메라(100)가 트랙터(21)의 우측 후방을 촬영할 수 있다.
디스플레이 장치(200)는 광각 카메라(100)에 의해 촬영된 영상을 출력할 수 있다. 이에, 광각 카메라(100)에 의해 획득된 주변 영상은 차량(20)의 내부에 구비된 디스플레이 장치(200)를 통해 출력될 수 있다. 출력된 영상을 통해 운전자는 차량(20)의 측후방의 상황을 파악할 수 있다. 그러나, 광각 카메라(100)에 의해 촬영되는 영상이 차량(20)의 측후방인 것은 예시적인 것으로서, 광각 카메라(100)는 운전자의 파악이 필요한 적어도 하나의 방향에 대한 주변 영상을 획득할 수 있다.
디스플레이 장치(200)는 광각 카메라(100)별로 구비될 수 있다. 즉, 도 1에 도시된 바와 같이 차량(20)의 양측에 광각 카메라(100)가 구비되고, 각 광각 카메라(100)에 대응한 디스플레이 장치(200)가 차량(20)의 내부에 구비될 수 있다. 각 디스플레이 장치(200)는 대응하는 광각 카메라(100)에 의해 촬영된 영상을 출력할 수 있다. 한편, 본 발명의 몇몇 실시예에 따르면, 하나의 디스플레이 장치(200)가 양측 광각 카메라(100)에 의해 촬영된 영상을 출력하거나 3개 이상의 디스플레이 장치(200)가 양측 광각 카메라(100) 중 선택된 광각 카메라(100)에 의해 촬영된 영상을 출력할 수도 있다.
제어부(300)는 광각 카메라(100)로부터 영상을 수신하고, 수신된 영상을 처리하여 디스플레이 장치(200)로 제공할 수 있다. 디스플레이 장치(200)는 제어부(300)로부터 제공된 영상을 출력하는 것이다.
제어부(300)는 트레일러(22)의 말단(이하, 트레일러 말단이라 한다)이 디스플레이 장치(200)를 통하여 지속적으로 출력되도록 할 수 있다. 후술하는 바와 같이, 디스플레이 장치(200)는 제1 영상 및 제2 영상이 합성된 합성 영상을 출력하는데, 제어부(300)는 제1 영상 및 제2 영상 모두를 통하여 트레일러 말단이 관찰 가능하도록 할 수 있다.
이하, 제어부(300)의 구성 및 기능에 대하여 자세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 제어부의 블록도이고, 도 3은 광각 카메라의 시야 범위를 설명하기 위한 도면이고, 도 4는 제2 시야 범위에 트레일러가 포함된 것을 설명하기 위한 도면이며, 도 5는 제2 시야 범위에서 트레일러가 벗어난 것을 설명하기 위한 도면이다.
도 2를 참조하면, 제어부(300)는 ECU(310) 및 메모리(320)를 포함할 수 있다.
ECU(310)는 영상 수신부(311), 신호 수신부(312), 영상 처리부(313), 조건 판단부(314) 및 영상 송신부(315)를 포함하여 구성된다.
영상 수신부(311)는 트랙터(21)의 좌우측에 각 구비된 광각 카메라(100)로부터 트레일러(22)가 포함된 하나의 광각 원본 영상을 수신하는 역할을 수행한다. 차량(20)은 트랙터(21) 및 트레일러(22)를 포함하는 것일 수 있다. 영상 수신부(311)는 유선 또는 무선 방식으로 광각 카메라(100)와 통신을 수행하여 광각 원본 영상을 수신할 수 있다.
신호 수신부(312)는 센서 신호 및 사용자 명령 신호를 수신할 수 있다. 센서 신호는 트랙터(21)와 트레일러(22) 간의 각도를 감지하는 각도 감지 센서(미도시)로부터 수신된 신호일 수 있다. 센서 신호에는 트랙터(21)와 트레일러(22) 간의 각도가 포함될 수 있다. 사용자 명령 신호는 사용자 명령이 포함된 신호를 나타낸다. 사용자 명령은 차량(20)의 턴 주행 시 턴 시그널 스위치 작동 명령일 수 있다. 또한, 사용자 명령은 후술하는 참조 영역의 크기 조절 명령 또는 위치 조절 명령일 수 있다.
영상 처리부(313)는 트랙터(21)의 좌우측에 구비된 광각 카메라(100) 중 하나의 광각 카메라(100)로부터 수신된 하나의 광각 원본 영상에서 제1 영역을 추출하여 제1 영상을 생성하고, 하나의 광각 원본 영상에서 제2 영역을 추출하여 제2 영상을 생성하며, 제1 영상 및 제2 영상의 합성 영상을 생성하는 역할을 수행한다.
도 3을 참조하면, 광각 카메라(100)는 차량(20)의 측후방을 촬영할 수 있다. 광각 카메라(100)의 시야 범위는 제1 시야 범위(S1) 및 제2 시야 범위(S2)를 포함할 수 있다. 제1 시야 범위(S1)의 화각은 제2 시야 범위(S2)의 화각에 비하여 크고, 제2 시야 범위(S2)는 제1 시야 범위(S1)에 포함될 수 있다.
제1 영상은 제1 시야 범위(S1)를 촬영한 영상을 포함하고, 제2 영상은 제2 시야 범위(S2)를 촬영한 영상을 포함할 수 있다. 제2 시야 범위(S2)가 제1 시야 범위(S1)에 포함됨에 따라 제2 영상에 포함된 피사체는 모두 제1 영상에 포함될 수 있다.
전술한 바와 같이, 본 발명의 광각 카메라(100)는 광각 렌즈를 포함할 수 있다. 이에, 하나의 광각 카메라(100)에 의해 생성된 영상에 제1 영상 및 제2 영상이 모두 포함될 수 있다. 또한, 영상 수신부(311)가 광각 카메라(100)로부터 수신하는 광각 원본 영상은 광각 렌즈가 이용되어 넓은 범위에 걸쳐 주변이 촬영됨으로써 생성된 영상일 수 있다.
본 발명에서 제1 시야 범위(S1) 및 제2 시야 범위(S2)는 UN/ECE 규칙 제46호에서 규정하고 있는 Class Ⅳ 및 Class Ⅱ를 만족하는 시야 범위를 나타낸 것일 수 있으나, 본 발명의 제1 시야 범위(S1) 및 제2 시야 범위(S2)가 Class Ⅳ 및 Class Ⅱ를 만족하는 시야 범위에 한정되는 것은 아니다.
도 3은 차량(20)의 우측에 구비된 광각 카메라(100)에 의한 시야 범위를 도시하고 있으나, 차량(20)의 좌측에 구비된 광각 카메라(100)에 의한 시야 범위도 이와 유사하게 형성될 수 있다.
다시 도 2를 설명하면, 영상 처리부(313)는 제1 영상 및 제2 영상을 합성한 합성 영상을 생성할 수 있다. 제1 영상은 보다 넓은 시야 범위로 촬영한 영상을 나타내고, 제2 영상은 제1 영상에 비하여 좁은 시야 범위로 촬영한 영상을 나타낸다. 영상 처리부(313)는 제1 영상 및 제2 영상을 인접하여 배치함으로써 합성 영상을 생성할 수 있다.
영상 송신부(315)는 영상 처리부(313)에 의해 생성된 합성 영상을 송신할 수 있다. 영상 송신부(315)에 의해 송신된 합성 영상은 디스플레이 장치(200)를 통하여 출력될 수 있다. 영상 송신부(315)는 유선 또는 무선 방식으로 디스플레이 장치(200)와 통신을 수행하여 합성 영상을 송신할 수 있다
운전자는 디스플레이 장치(200)에서 출력된 영상을 통하여 차량(20)의 주변을 확인할 수 있다. 운전자는 영상을 참조하여 전방 주행 또는 후방 주행을 수행할 수 있다. 한편, 트랙터(21)와 트레일러(22) 간의 각도에 따라 차량(20)의 후방 시야가 확보되지 못할 수 있다.
도 4 및 도 5를 참조하여 설명하면, 트랙터(21)의 전방 방향과 트레일러(22)의 길이 방향 간의 각도(a)가 상대적으로 작은 경우 도 4에 도시된 바와 같이 제2 시야 범위(S2)에 트레일러(22)가 포함될 수 있다. 이러한 경우 제2 영상에 트레일러 말단이 포함되기 때문에 제2 영상을 참조한 운전자는 안정적으로 주행을 수행할 수 있다.
한편, 트랙터(21)의 전방 방향과 트레일러(22)의 길이 방향 간의 각도(a)가 일정 각도를 초과하는 경우 도 5에 도시된 바와 같이 제2 시야 범위(S2)에서 트레일러(22)가 벗어날 수 있다. 이러한 경우 제2 영상에 트레일러 말단이 포함되어 있지 않기 때문에 제2 영상을 참조한 운전자는 안정적으로 전방 주행 및 후방 주행을 수행할 수 없다. 특히, 후방 주행을 통한 주차 시에 후방 시야가 확보되지 않기 때문에 올바른 주차가 수행될 수 없다.
운전자로 하여금 트레일러 말단을 지속적으로 관찰 가능하도록 하기 위하여 영상 처리부(313)는 트레일러의 말단이 제2 영상에 포함되도록 광각 원본 영상에서 제2 영역의 위치를 조절할 수 있다. 트레일러의 말단이 포함되도록 제2 영역의 위치가 조절됨에 따라 운전자는 제2 영상에서 트레일러 말단을 지속적으로 관찰할 수 있다.
다시 도 2를 설명하면, 조건 판단부(314)는 트레일러(22)의 말단이 제2 영상에 포함되도록 하는 조건의 만족 여부를 판단할 수 있다.
조건 판단부(314)는 광각 원본 영상에 포함된 트레일러(22)의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선이 교차하는 소실점의 위치를 참조하여 조건의 만족 여부를 판단할 수 있다. 트레일러(22)의 상단 라인 및 하단 라인은 영상 처리부(313)에 의한 영상 분석에 의해 인식될 수 있다. 영상 처리부(313)는 영상 수신부(311)를 통하여 수신되는 광각 원본 영상을 실시간으로 분석하여 트레일러(22)의 상단 라인 및 하단 라인을 인식할 수 있다. 조건 판단부(314)는 광각 원본 영상에 설정된 분할선을 기준으로 광각 원본 영상의 양측 중 목표 영역에 소실점이 포함되는 경우 조건이 만족된 것으로 판단할 수 있다.
또는, 조건 판단부(314)는 광각 원본 영상에 포함된 트레일러의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선 중 하나가 제1 영역의 가장자리 또는 제2 영역의 가장자리와 교차하는 교차점을 참조하여 조건의 만족 여부를 판단할 수 있다. 트레일러(22)의 상단 라인 및 하단 라인은 영상 처리부(313)에 의한 영상 분석에 의해 인식될 수 있다. 영상 처리부(313)는 영상 수신부(311)를 통하여 수신되는 광각 원본 영상을 실시간으로 분석하여 트레일러(22)의 상단 라인 및 하단 라인을 인식할 수 있다. 조건 판단부(314)는 제1 영역의 가장자리 또는 제2 영역의 가장자리 중 교차점이 매핑된 가장자리의 꼭지점과 교차점 간의 거리를 참조하여 조건의 만족 여부를 판단할 수 있다.
또는, 조건 판단부(314)는 신호 수신부(312)를 통하여 수신된 사용자 명령 신호를 참조하여 조건의 만족 여부를 판단할 수 있다. 신호 수신부(312)를 통하여 턴 시그널 스위치 작동 명령이 수신된 경우 조건 판단부(314)는 조건이 만족된 것으로 판단할 수 있다.
조건이 만족된 경우 조건 판단부(314)는 영상 처리부(313)로 하여금 광각 원본 영상에서 제2 영역의 위치를 조절함으로써 트레일러(22)의 말단이 제2 영상에 포함되도록 할 수 있다. 한편, 조건이 만족되지 않는 경우 조건 판단부(314)는 영상 처리부(313)로 하여금 트레일러(22)의 말단이 제2 영상에 포함되지 않도록 할 수 있다.
메모리(320)는 영상 수신부(311) 및 신호 수신부(312)를 통하여 수신된 영상 및 신호를 임시로 또는 영구적으로 저장할 수 있다.
도 6은 디스플레이 장치를 나타낸 도면이다.
도 6을 참조하면, 디스플레이 장치(200)는 제1 디스플레이 영역(210) 및 제2 디스플레이 영역(220)을 포함할 수 있다.
제1 디스플레이 영역(210)은 제1 영상을 출력하고, 제2 디스플레이 영역(220)은 제2 영상을 출력할 수 있다. 제1 디스플레이 영역(210) 및 제2 디스플레이 영역(220)은 세로 방향으로 배치될 수 있다.
디스플레이 장치(200)는 세로 방향으로 긴 형태로 제공될 수 있다. 제1 디스플레이 영역(210)은 세로 방향으로 긴 직사각형의 형상을 갖고, 제2 디스플레이 영역(220)은 정사각형이거나 가로 길이 및 세로 길이가 유사한 직사각형의 형상을 가질 수 있다. 제1 디스플레이 영역(210)의 가로 길이 및 제2 디스플레이 영역(220)의 가로 길이는 동일할 수 있다. 이에, 제1 디스플레이 영역(210)의 양측 세로 가장자리와 제2 디스플레이 영역(220)의 양측 세로 가장자리는 서로 이어질 수 있다.
도 7은 합성 영상이 디스플레이 장치를 통해 출력되는 것을 설명하기 위한 도면이다.
도 7을 참조하면, 디스플레이 장치(200)를 통하여 합성 영상(500)이 출력될 수 있다.
영상 처리부(313)는 광각 카메라(100)에 의해 생성된 하나의 광각 원본 영상(400)에서 제1 영역(410)을 추출하여 제1 영상(510)을 생성할 수 있다. 또한, 영상 처리부(313)는 하나의 광각 원본 영상(400)에서 제2 영역(420)을 추출하여 제2 영상(520)을 생성할 수 있다. 즉, 영상 처리부(313)는 하나의 광각 원본 영상에서 추출된 제1 영역(410) 및 제2 영역(42)으로 제1 영상(510) 및 제2 영상(520)을 생성할 수 있는 것이다.
제1 영역(410)의 가로 및 세로 비율은 제1 디스플레이 영역(210)의 가로 및 세로 비율과 동일할 수 있다. 또한, 제1 영역(410)은 그 가로 및 세로 비율을 유지하면서 광각 원본 영상(400)의 범위 내에서 가장 큰 크기로 확장될 수 있다. 예를 들어, 도 7에 도시된 바와 같이 제1 영역(410)에 비하여 광각 원본 영상(400)이 세로 방향으로 길게 형성된 경우 제1 영역(410)의 양측 세로 가장자리는 광각 원본 영상(400)의 양측 세로 가장자리에 일치할 수 있다.
제2 영역(420)은 세로 방향으로 길게 형성될 수 있다. 구체적으로, 제2 영역(420)의 가로 및 세로 비율은 제2 디스플레이 영역(220)의 가로 및 세로 비율과 동일할 수 있다. 광각 원본 영상(400)에서 제2 영역(420)은 제1 영역(410) 이내에 포함될 수 있다. 따라서, 제2 영역(420)에 포함된 피사체는 제1 영역(410)에 포함될 수 있다.
영상 처리부(313)는 제1 영역(410)에서 추출된 제1 영상(510)과 제2 영역(420)에서 추출된 제2 영상(520)을 합성하여 합성 영상(500)을 생성할 수 있다. 영상 처리부(313)는 제1 영상(510) 및 제2 영상(520)을 세로 방향으로 배치하여 합성 영상(500)을 생성할 수 있다. 합성 영상(500)에서 제1 영상(510) 및 제2 영상(520)의 가로 길이는 동일할 수 있다.
제2 영상(520)은 그 크기에 대한 변화가 거의 없거나 전혀 없는 상태로 합성 영상(500)에 포함되지만, 제1 영상(510)은 그 크기가 축소된 상태로 합성 영상(500)에 포함될 수 있다. 즉, 제1 영상(510)의 가로 길이와 제2 영상(520)의 가로 길이가 동일하게 형성되도록 제2 영상(520)이 축소된 이후에 제1 영상(510) 및 제2 영상(520)이 합성될 수 있는 것이다.
이렇게 생성된 합성 영상(500)은 디스플레이 장치(200)로 송신되고, 디스플레이 장치(200)는 합성 영상(500)을 디스플레이할 수 있다. 도시된 바와 같이, 제2 디스플레이 영역(220)은 제1 디스플레이 영역(210)에 비하여 큰 크기로 피사체를 출력할 수 있다. 이에, 운전자는 대체로 제2 디스플레이 영역(220)에 포함된 제2 영상(520)을 참조하여 전방 주행 및 후방 주행을 수행할 수 있다.
도 8은 제2 영상에서 트레일러 말단이 벗어난 것을 설명하기 위한 도면이다.
도 8을 참조하면, 디스플레이 장치(200)의 제1 디스플레이 영역(210)은 제1 영상(510)을 출력하고, 제2 디스플레이 영역(220)은 제2 영상(520)을 출력할 수 있다.
운전자는 제1 영상(510)에 비하여 큰 크기로 피사체를 표현하는 제2 영상(520)을 참조하여 주행을 수행할 수 있다. 한편, 트랙터(21)와 트레일러(22) 간의 각도(a)가 일정 각도를 초과하는 경우 트레일러 말단이 제2 영상(520)에서 벗어날 수 있다. 이러한 경우 트레일러 말단 및 그 주변에 대한 시각적인 정보가 확보되지 않기 때문에 운전자는 올바른 전방 주행 및 후방 주행을 수행할 수 없다. 특히, 후방 주행을 통한 주차가 용이하게 수행될 수 없다.
본 발명의 실시예에 따른 제어부(300)는 트랙터(21)와 트레일러(22) 간의 각도(a)가 임계 각도를 초과하더라도 제2 영상(520)에 트레일러 말단이 포함되도록 할 수 있다.
도 9는 광각 원본 영상에서 제2 영역의 위치가 조절되는 것을 설명하기 위한 도면이다.
도 9를 참조하면, 광각 원본 영상(400)에서 제2 영역(420)의 위치가 조절될 수 있다.
제어부(300)의 영상 처리부(313)는 제2 영역(420)에 트레일러(22) 말단이 포함되도록 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다. 제2 영역(420)의 위치가 조절됨에 따라 제2 영상(520)은 항상 트레일러 말단을 포함할 수 있다.
영상 처리부(313)는 제1 영역(410)의 범위 내에서 제2 영역(420)의 위치를 조절할 수 있다. 제2 영역(420)의 가장자리 중 어느 것도 제1 영역(410)의 가장자리를 벗어나지 않는 것이다. 이하, 광각 원본 영상(400)에서 제2 영역(420)의 위치 조절이라 함은 제1 영역(410)의 범위 내에서 제2 영역(420)의 위치 조절을 의미하는 것일 수 있다.
도 10은 트레일러에 의한 소실점을 설명하기 위한 도면이고, 도 11은 소실점의 좌표가 산출되는 것을 설명하기 위한 도면이다.
도 10 및 도 11을 참조하면, 영상 처리부(313)는 트레일러(22)에 의한 소실점(P)을 산출할 수 있다.
본 발명의 실시예에 따른 영상 처리부(313)는 광각 원본 영상(400)에 포함된 트레일러(22)의 상단 라인의 연장선(이하, 제1 연장선이라 한다)(411) 및 하단 라인의 연장선(이하, 제2 연장선이라 한다)(412)이 교차하는 소실점(P)의 위치를 참조하여 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다. 이를 위하여, 우선적으로 영상 처리부(313)는 광각 원본 영상(400)을 분석하여 제1 연장선(411) 및 제2 연장선(412)을 생성할 수 있다. 즉, 영상 처리부(313)는 광각 원본 영상(400)을 실시간으로 분석하여 트레일러(22)의 직선 성분을 인식할 수 있다. 그리고, 영상 처리부(313)는 직선 성분 중 트레일러(22)의 상단 라인 및 하단 라인을 추출하고, 상단 라인 및 하단 라인을 연장하여 제1 연장선(411) 및 제2 연장선(412)을 생성할 수 있다. 그리고, 영상 처리부(313)는 트레일러(22)의 소실점(P)을 산출할 수 있다.
트레일러(22)의 소실점(P)은 제1 연장선(411) 및 제2 연장선(412)이 교차하는 지점을 나타낸다. 제1 연장선(411) 및 제2 연장선(412)은 제1 영역(410)의 가장자리에 교차할 수 있다. 제1 연장선(411) 및 제2 연장선(412)이 제1 영역(410)의 가장자리에 교차하는 지점(P1, P2, P3, P4)의 좌표를 이용하여 제1 영역(410)상에서 소실점(P)의 좌표를 산출할 수 있다. 소실점(P)의 좌표 (x, y)는 다음 수학식에 의해 산출될 수 있다.
[수학식1]
Figure pat00001
Figure pat00002
도 12는 광각 원본 영상에 분할선이 설정된 것을 설명하기 위한 도면이고, 도 13은 소실점이 분할선에 일치한 것을 나타낸 도면이고, 도 14는 소실점이 목표 영역에 포함된 것을 나타낸 도면이며, 도 15는 제2 영상의 변화 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 소실점(P)의 위치를 참조하여 제2 영역(420)의 위치를 조절하기 위하여 영상 처리부(313)는 광각 원본 영상(400)에 분할선(413)을 설정할 수 있다.
분할선(413)은 광각 원본 영상(400) 즉, 제1 영역(410)을 좌측 및 우측으로 분할하는 세로선을 나타낸다. 예를 들어, 분할선(413)은 광각 원본 영상(400) 즉, 제1 영역(410)의 가로 폭의 중심에 배치될 수 있다.
도 13 및 도 14를 참조하면, 영상 처리부(313)는 광각 원본 영상(400)에 설정된 분할선(413)을 기준으로 광각 원본 영상(400)의 양측 중 목표 영역에 소실점(P)이 포함되는 경우 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다.
목표 영역은 제1 영역(410)의 좌측 영역 및 우측 영역 중 트레일러(22)가 트랙터(21)를 향하지 않는 방향의 영역일 수 있다. 도 13 및 도 14에서 트랙터(21)는 좌측 영역의 방향에 위치할 수 있다. 따라서, 도 13 및 도 14에서 목표 영역은 제1 영역(410)의 우측 영역일 수 있다.
도 13 및 도 14에 도시된 바와 같이, 영상 처리부(313)는 소실점(P)이 제2 영역(420)의 가장자리에 일치하도록 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다. 즉, 영상 처리부(313)는 소실점(P)이 목표 영상에 포함된 경우 소실점(P)이 제2 영역(420)의 가장자리에 일치하도록 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있는 것이다.
트레일러 말단은 소실점(P)에서 일정 거리만큼 이격된 위치에 존재할 수 있다. 따라서, 제2 영역(420)의 가장자리에 소실점(P)이 일치하는 경우 제2 영역(420)의 가장자리에서 일정 거리만큼 이격된 트레일러 말단이 관찰될 수 있다.
도 15는 제2 영상(520)을 통하여 트레일러 말단이 지속적으로 관찰되는 것을 도시하고 있다. 트랙터(21)에 대한 트레일러(22)의 각도가 증가하더라도 제2 영상(520)에 트레일러 말단이 포함되기 때문에 운전자는 안정적으로 주행을 수행할 수 있게 된다.
도 16은 소실점(P)이 분할선(413)에 일치하고, 제2 영역의 가장자리에서 이격된 것을 나타낸 도면이고, 도 17은 소실점(P)이 목표 영역에 포함되고, 제2 영역의 가장자리에서 이격된 것을 나타낸 도면이다.
도 16 및 도 17을 참조하면, 영상 처리부(313)는 소실점(P)이 제2 영역(420)의 가장자리에서 일정 거리(G)만큼 이격된 지점에 배치되도록 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다.
소실점(P)과 제2 영역(420)의 가장자리 간의 거리(이하, 이격 거리라 한다)(G)는 트랙터(21)와 트레일러 간의 각도에 따라 변경되거나 트랙터(21)와 트레일러 간의 각도에 무관하게 고정될 수 있다. 이격 거리(G)가 확보됨에 따라 제2 영역(420)의 가장자리와 트레일러 말단 간의 간격이 증가하고, 트레일러 말단이 제2 영역(420)의 중심 부근에 위치할 수 있다. 이로 인하여, 제2 영상(520)을 통한 트레일러 말단의 관찰이 보다 용이해질 수 있다.
도 18은 트레일러의 하단 라인의 연장선과 제1 영역의 상측 가장자리가 교차하는 것을 나타낸 도면이고, 도 19는 트레일러의 하단 라인의 연장선과 제1 영역의 측면 가장자리가 교차하는 것을 나타낸 도면이고, 도 20은 트레일러의 하단 라인의 연장선과 제2 영역의 상측 가장자리가 교차하는 것을 나타낸 도면이며, 도 21은 트레일러의 하단 라인의 연장선과 제2 영역의 측면 가장자리가 교차하는 것을 나타낸 도면이다.
도 18 내지 도 21을 참조하면, 영상 처리부(313)는 광각 원본 영상(400)에 포함된 트레일러(22)의 상단 라인의 제1 연장선(411) 및 하단 라인의 제2 연장선(412) 중 하나가 제1 영역(410)의 가장자리 또는 제2 영역(420)의 가장자리와 교차하는 교차점(C1, C2, C3, C4)을 참조하여 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다.
야간 주행과 같이 명확한 시야가 확보되지 않는 경우 영상 처리부(313)에 의한 트레일러(22)의 상단 라인 및 하단 라인의 추출이 용이하지 않을 수 있다. 이러한 경우 영상 처리부(313)는 제1 연장선(411) 및 제2 연장선(412) 중 하나만을 이용하여 제2 영역(420)에 트레일러 말단이 포함되도록 제2 영역(420)의 위치를 조절할 수 있다. 예를 들어, 야간 주행 시에 트레일러(22)의 하단에 존재하는 조명(미도시)이 점등되면 영상 처리부(313)에 의해 제2 연장선(412)이 추출될 수 있다. 이러한 경우 영상 처리부(313)는 제2 연장선(412)만을 이용하여 제2 영역(420)에 트레일러 말단이 포함되도록 제2 영역(420)의 위치를 조절할 수 있다.
영상 처리부(313)는 제1 영역(410)의 가장자리 또는 제2 영역(420)의 가장자리 중 교차점(C1, C2, C3, C4)이 매핑된 가장자리의 꼭지점(A1, A2, A3, A4)과 교차점(C1, C2, C3, C4) 간의 거리(D1, D2, D3, D4)를 참조하여 광각 원본 영상(400)에서 제2 영역(420)의 위치를 조절할 수 있다.
도 18은 제2 연장선(412)과 제1 영역(410)의 상측 가장자리가 교차한 것을 도시하고 있고, 도 19는 제2 연장선(412)과 제1 영역(410)의 측면 가장자리가 교차한 것을 도시하고 있다. 조건 판단부(314)는 교차점(C1, C2)이 매핑된 가장자리의 일측 꼭지점(A1, A2)과 교차점(C1, C2) 간의 거리(D1, D2)에 따라 제2 영역(420)의 위치 조절 여부를 결정할 수 있다. 예를 들어, 꼭지점(A1, A2)과 교차점(C1, C2) 간의 거리(D1, D2)가 사전에 설정된 임계 거리를 초과하는 경우 조건 판단부(314)는 영상 처리부(313)로 하여금 제2 영역(420)의 위치를 조절하도록 할 수 있다.
도 20은 제2 연장선(412)과 제2 영역(420)의 상측 가장자리가 교차한 것을 도시하고 있고, 도 21은 제2 연장선(412)과 제2 영역(420)의 측면 가장자리가 교차한 것을 도시하고 있다. 조건 판단부(314)는 교차점(C3, C4)이 매핑된 가장자리의 일측 꼭지점(A3, A4)과 교차점(C3, C4) 간의 거리(D3, D4)에 따라 제2 영역(420)의 위치 조절 여부를 결정할 수 있다. 예를 들어, 꼭지점(A3, A4)과 교차점(C3, C4) 간의 거리(D3, D4)가 사전에 설정된 임계 거리를 초과하는 경우 조건 판단부(314)는 영상 처리부(313)로 하여금 제2 영역(420)의 위치를 조절하도록 할 수 있다.
제1 연장선(411) 및 제2 연장선(412)이 모두 추출되지 않는 상황에서도 트레일러 말단이 제2 영역(420)에 포함되도록 제2 영역(420)의 위치가 조절됨에 따라 시야 확보가 불량한 경우에도 운전자는 제2 영상(520)을 통하여 트레일러 말단을 관찰하면서 주행을 수행할 수 있다. 조건 판단부(314)는 트레일러(22)의 가장자리를 인식하기 위한 시야 확보 여부에 따라 소실점(P)을 이용하거나 제1 연장선(411) 및 제2 연장선(412) 중 하나를 이용하여 제2 영역(420)의 위치가 조절되도록 영상 처리부(313)를 제어할 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 주변 감시 시스템 20: 차량
21: 트랙터 22: 트레일러
100: 광각 카메라 200: 디스플레이 장치
300: 제어부 310: ECU
320: 저장부 311: 영상 수신부
312: 신호 수신부 313: 영상 처리부
314: 조건 처리부 315: 영상 송신부

Claims (10)

  1. 트랙터 및 트레일러를 포함하는 차량;
    상기 트랙터의 좌우측 각각에 구비된 하나의 광각 카메라;
    상기 각 하나의 광각 카메라로부터 상기 트레일러가 포함된 하나의 광각 원본 영상을 수신하는 영상 수신부;
    상기 하나의 광각 원본 영상에서 제1 영역을 추출하여 제1 영상을 생성하고, 상기 하나의 광각 원본 영상에서 제2 영역을 추출하여 제2 영상을 생성하며, 상기 제1 영상 및 제2 영상의 합성 영상을 생성하는 영상 처리부;
    상기 합성 영상을 송신하는 영상 송신부; 및
    상기 합성 영상을 출력하는 디스플레이 장치를 포함하되,
    상기 영상 처리부는 상기 영상 수신부에 의해 수신된 상기 하나의 광각 원본 영상에서 상기 트레일러를 인식하고, 상기 광각 원본 영상에 포함된 상기 트레일러의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선이 교차하는 소실점의 위치를 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절함으로써 상기 트레일러의 말단이 상기 제2 영상에 포함되도록 하는 주변 감시 시스템.
  2. 제1 항에 있어서,
    상기 광각 카메라의 시야 범위는 제1 시야 범위 및 제2 시야 범위를 포함하고,
    상기 제1 시야 범위의 화각은 상기 제2 시야 범위의 화각에 비하여 크고,
    상기 제2 시야 범위는 상기 제1 시야 범위에 포함되고,
    상기 제1 영상은 상기 제1 시야 범위를 촬영한 영상을 포함하며,
    상기 제2 영상은 상기 제2 시야 범위를 촬영한 영상을 포함하는 주변 감시 시스템.
  3. 제1 항에 있어서,
    상기 영상 처리부는 상기 광각 원본 영상에 설정된 분할선을 기준으로 상기 광각 원본 영상의 양측 중 목표 영역에 상기 소실점이 포함되는 경우 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절하는 주변 감시 시스템.
  4. 제3 항에 있어서,
    상기 분할선은 상기 광각 원본 영상을 좌측 및 우측으로 분할하는 세로선을 포함하는 주변 감시 시스템.
  5. 제4 항에 있어서,
    상기 분할선은 상기 광각 원본 영상의 가로 폭의 중심에 배치되는 주변 감시 시스템.
  6. 제1 항에 있어서,
    상기 영상 처리부는 상기 소실점이 상기 제2 영역의 가장자리에 일치하도록 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절하는 주변 감시 시스템.
  7. 제1 항에 있어서,
    상기 영상 처리부는 상기 소실점이 상기 제2 영역의 가장자리에서 일정 거리만큼 이격된 지점에 배치되도록 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절하는 주변 감시 시스템.
  8. 제1 항에 있어서,
    상기 영상 처리부는 상기 제1 영역의 범위 내에서 상기 제2 영역의 위치를 조절하는 주변 감시 시스템.
  9. 트랙터 및 트레일러를 포함하는 차량;
    상기 트랙터의 좌우측 각각에 구비된 하나의 광각 카메라;
    상기 각 하나의 광각 카메라로부터 상기 트레일러가 포함된 하나의 광각 원본 영상을 수신하는 영상 수신부;
    상기 하나의 광각 원본 영상에서 제1 영역을 추출하여 제1 영상을 생성하고, 상기 하나의 광각 원본 영상에서 제2 영역을 추출하여 제2 영상을 생성하며, 상기 제1 영상 및 제2 영상의 합성 영상을 생성하는 영상 처리부;
    상기 합성 영상을 송신하는 영상 송신부; 및
    상기 합성 영상을 출력하는 디스플레이 장치를 포함하되,
    상기 영상 처리부는 상기 영상 수신부에 의해 수신된 상기 하나의 광각 원본 영상에서 상기 트레일러를 인식하고, 상기 광각 원본 영상에 포함된 상기 트레일러의 상단 라인의 제1 연장선 및 하단 라인의 제2 연장선 중 하나가 상기 제1 영역의 가장자리 또는 상기 제2 영역의 가장자리와 교차하는 교차점을 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절함으로써 상기 트레일러의 말단이 상기 제2 영상에 포함되도록 하는 주변 감시 시스템.
  10. 제9 항에 있어서,
    상기 영상 처리부는 상기 제1 영역의 가장자리 또는 상기 제2 영역의 가장자리 중 상기 교차점이 매핑된 가장자리의 꼭지점과 상기 교차점 간의 거리를 참조하여 상기 광각 원본 영상에서 상기 제2 영역의 위치를 조절하는 주변 감시 시스템.
KR1020210080965A 2021-06-22 2021-06-22 주변 감시 시스템 KR20220170207A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210080965A KR20220170207A (ko) 2021-06-22 2021-06-22 주변 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210080965A KR20220170207A (ko) 2021-06-22 2021-06-22 주변 감시 시스템

Publications (1)

Publication Number Publication Date
KR20220170207A true KR20220170207A (ko) 2022-12-29

Family

ID=84539387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210080965A KR20220170207A (ko) 2021-06-22 2021-06-22 주변 감시 시스템

Country Status (1)

Country Link
KR (1) KR20220170207A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076993A (ko) 2003-02-27 2004-09-04 주식회사 센트럴미디어 카메라를 이용한 차량용 전후방감시시스템의 영상처리장치및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076993A (ko) 2003-02-27 2004-09-04 주식회사 센트럴미디어 카메라를 이용한 차량용 전후방감시시스템의 영상처리장치및 방법

Similar Documents

Publication Publication Date Title
US20230202563A1 (en) Vehicular trailer guidance system
US11845546B2 (en) Vehicle vision system using aerial camera
US10354155B2 (en) Vehicle vision system with multiple cameras
US11930264B2 (en) Vehicular driver monitoring system with camera view optimization
EP2042374B1 (en) Vehicle periphery monitoring apparatus and image displaying method
US10462354B2 (en) Vehicle control system utilizing multi-camera module
US10040481B2 (en) Vehicle trailer angle detection system using ultrasonic sensors
US11180083B2 (en) Vehicular multi-camera vision system that utilizes trailer camera
US20130155236A1 (en) Camera-mirror system for motor vehicle
JP6035298B2 (ja) ビジュアルシステム
US20070242944A1 (en) Camera and Camera System
CN112351242A (zh) 图像处理装置以及图像处理方法
KR101179326B1 (ko) 차량 후방 감시 장치
CN111186375B (zh) 车辆用电子镜系统
KR102010407B1 (ko) 스마트 리어뷰 시스템
KR20220170207A (ko) 주변 감시 시스템
CN216611052U (zh) 一种基于ai识别的电子后视镜
KR20220170252A (ko) 주변 감시 시스템
CN216331763U (zh) 一种集成全景功能和bsd功能的智能汽车电子后视镜设备
KR100882670B1 (ko) 차량용 장애물 감지 시스템
KR20220170258A (ko) 주변 감시 시스템
CN111907409A (zh) 倒车辅助装置以及倒车辅助方法
KR20220170255A (ko) 주변 감시 시스템
KR200484997Y1 (ko) 내시경 응용한 차량 사이드 미러 장치
US20230365134A1 (en) Vehicular trailering assist system with driver monitoring and gesture detection

Legal Events

Date Code Title Description
A201 Request for examination