[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170120010A - 영상 취득 장치 및 그 방법 - Google Patents

영상 취득 장치 및 그 방법 Download PDF

Info

Publication number
KR20170120010A
KR20170120010A KR1020160048444A KR20160048444A KR20170120010A KR 20170120010 A KR20170120010 A KR 20170120010A KR 1020160048444 A KR1020160048444 A KR 1020160048444A KR 20160048444 A KR20160048444 A KR 20160048444A KR 20170120010 A KR20170120010 A KR 20170120010A
Authority
KR
South Korea
Prior art keywords
image
photographed
pattern
reference pattern
camera unit
Prior art date
Application number
KR1020160048444A
Other languages
English (en)
Other versions
KR102597435B1 (ko
Inventor
김주형
이승원
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020160048444A priority Critical patent/KR102597435B1/ko
Priority to PCT/KR2017/004211 priority patent/WO2017183915A2/ko
Priority to US16/095,583 priority patent/US11151745B2/en
Publication of KR20170120010A publication Critical patent/KR20170120010A/ko
Application granted granted Critical
Publication of KR102597435B1 publication Critical patent/KR102597435B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Supplying Of Containers To The Packaging Station (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 실시 예는 영상 취득 장치 및 방법에 관한 것이다.
지면으로 기준 패턴을 조사하는 프로젝터; 상기 프로젝터에서 조사된 기준 패턴을 촬영하는 제1 카메라부; 영상을 촬영하는 제2 카메라부; 상기 제1 카메라부에서 촬영된 패턴을 분석하여, 상기 제2 카메라부에서 촬영된 영상을 처리하는 제어부;를 포함한다.

Description

영상 취득 장치 및 그 방법{IMAGE ACQUIRING DEVICE AND METHID OF THE SAME}
본 실시 예는 영상 취득에 관한 것으로, 특히 차량에 설치되는 카메라에 의해 영상을 취득하는 장치 및 방법에 관한 것이다.
일반적으로 차량에 카메라를 장착시켜 주위를 감시하는 시스템이 널리 알려져 있다. 이와 같은 시스템은 차량에 설치된 복수 대의 카메라 화상을 수취하고, 그에 따른 차량의 주변 상태 정보를 취득할 수 있다.
이때 차량에 설치된 카메라가 어느 위치, 어느 방향으로 장착되어 있는지를 미리 정확하게 계산해 낼 필요가 있으며, 이러한 계산을 카메라의 캘리브레이션(calibration)이라 한다. 일반적인 차량은 출고 전 공장에서 좌표 위치를 이미 알고 있는 특징점을 각각의 카메라로 촬영하고, 상기 촬영된 영상과 각 기준 좌표점을 1:1로 비교하여 그 결과 값에 따른 캘리브레이션을 수행하게 된다.
이러한 차량의 캘리브레이션은 차량 출고 시점에 최초로 수행되거나, 추후 정비 또는 공장 재 입고 시에 별도의 장치와 캘리브레이션을 위한 별도의 패턴을 구비한 경우 실행될 수 있다.
차량의 캘리브레이션은 차량의 안전 주행 및 주변 인지를 위한 영상 취득에서 높은 신뢰도를 요구하며, 차량 외부 및 내부적 충격 등에 의해 카메라가 기준 위치로부터 틀어지게되는 경우 영상 또는 카메라의 위치 보정이 절대적으로 요구된다. 하지만 상기와 같은 보정 요구가 발생하더라도, 캘리브레이션을 위한 별도의 장치 및 환경에서 수행해야 하는 문제점이 있다.
또한, 캘리브레이션의 문제가 발생했음에도, 사용자가 카메라 영상의 캘리브레이션에 대한 필요성을 인지하지 못하는 경우 그에 따른 부가적 안전성 문제가 발생할 수 있다.
실시 예는 차량의 카메라의 영상에 대한 정확도 및 그에 따른 신뢰성을 향상 시킬 수 있는 영상 취득 장치 및 그 방법을 제공한다.
또한 실시 예는 신뢰성이 향상된 카메라 영상에 의해 다중 카메라에 의한 영상 취득의 정확성을 향상 시킬 수 있는 영상 취득 장치 및 그 방법을 제공한다.
또한 실시 예는 차량 주변의 객체를 용이하게 취득하고 운전자가 용이하게 위험을 인지할 수 있도록 하기 위한 영상을 제공하기 위한 영상 취득 장치 및 그 방법을 제공한다.
제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 실시 예에 따른 영상 취득 장치는 지면으로 기준 패턴을 조사하는 프로젝터; 상기 프로젝터에서 조사된 기준 패턴을 촬영하는 제1 카메라부; 영상을 촬영하는 제2 카메라부; 상기 제1 카메라부에서 촬영된 패턴을 분석하여, 상기 제2 카메라부에서 촬영된 영상을 처리하는 제어부;를 포함한다.
또한 실시 예에 따른 영상 취득 방법은 지면으로 기준 패턴을 조사하는 단계; 상기 조사된 기준 패턴을 제1 카메라부에서 촬영하는 단계; 제2 카메라부에서 영상을 촬영하는 단계; 상기 제1 카메라부에서 촬영된 패턴을 분석하는 단계; 상기 분석된 패턴을 분석하여 상기 제2 카메라부에서 촬영된 영상을 처리하는 단계;를 포함한다.
실시 예에 따른 영상 취득 장치 및 그 방법은 차량에 설치되는 카메라에서 정확도 및 신뢰도가 높은 영상을 취득함으로써 운전자에게 차량 주변의 상태 정보를 정확하게 제공할 수 있는 효과를 가지고 있다.
또한 실시 예에 의하면, 차량에 설치되는 카메라의 위치 틀어짐에 대응하여 상기 카메라를 통해 촬영된 영상을 보정해줌으로써, 카메라의 상태와 무관하게 차량 주변의 영상 및 상태 정보를 정확하게 취득할 수 있다.
또한 실시 예에 의하면 복수개의 카메라로부터 의 영상을 AVM영상으로 편집하여 디스플레이 하는데 있어서 보다 정확한 영상합성을 제공한다.
또한 실시 예에 의하면, 차량 주위를 감시하여 접근하는 객체정보를 제공해줄 수 있는 기능도 수행 가능하다.
또한 실시 예에 의하면, 기준 패턴을 지면에 조사함으로써, 별도의 설치물이 요구되지 않는 환경에서도 용이하게, 기준 패턴을 조사하고, 조사된 패턴의 촬영을 실시 할 수 있는 효과를 가지고 있다.
또한, 실시 예에 의하면, 적외선을 기준 패턴으로 하는 경우, 기준 패턴을 지면으로 조사함으로써 주간 환경에서 촬영되는 적외선의 손실이 최소화 될 수 있는 효과를 가지고 있다.
도 1은 본 실시 예에 따른 영상 취득 장치의 구성도이다.
도 2는 본 실시 예에 따른 영상 취득 장치의 제어부 상세 구성도이다.
도 3 및 도 4는 일 실시 예에 따른 영상 취득 동작을 설명하기 위한 예시도이다.
도 5는 일 실시 예에 따른 영상 취득 동작 흐름도이다.
도 6은 실시 예에 따른 패턴 거리 산출 방법을 설명하기 위한 예시도이다.
도 7은 실시 예에 따라 카메라 영상의 상태를 나타낸 예시도이다.
도 8은 다른 실시 예에 따른 영상 취득 동작 흐름도이다.
도 9 및 도 10은 다른 실시 예에 따른 영상 취득 동작을 설명하기 위한 예시도이다.
도 11 및 도 12는 다른 실시 예에 따라 영상의 조합 동작을 설명하기 위한 예시도이다.
도 13은 또 다른 실시 예에 따른 영상 취득 동작 흐름도이다.
도 14는 또 다른 실시 예에 따른 영상 취득 동작을 설명하기 위한 예시도이다.
도 15은 또 다른 실시 예에 따라 취득된 영상의 출력 상태를 설명하기 위한 화면 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 이 때 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
도 1은 본 실시 예에 따른 영상 취득 장치의 구성도이고, 도 2는 본 실시 예에 따른 영상 취득 장치의 제어부 상세 구성도이다.
도 1 및 도 2를 참조하면, 실시 예에 따른 영상 취득 장치는 촬상부(110), 영상 처리부(120), 디스플레이부(130), 오디오 출력부(140), 저장부(150), 통신부(160), 입력부(170) 및 제어부(180)를 포함한다. 촬상부(110)는 차량의 주변 영상이 획득될 수 있도록 차량의 전후방 및 좌우측으로 배치될 수 있다. 따라서 실시 예에서는 4개의 촬상부(110)를 구성하는 것으로 예를 들어 설명한다. 하지만 이는 한정되지 않으며, 카메라의 성능 또는 촬영 범위에 따라 카메라의 구성은 유동적일 수 있다.
실시 예에 따른 카메라부는 적외선 영상을 촬영할 수 있는 IR 카메라(111, 이하 제1 카메라부)와 RGB영상을 촬영할 수 있는 RGB카메라(112, 이하 제2 카메라부)로 구성된다. IR카메라(111)와 RGB카메라(112)는 RGB모듈 및 IR모듈을 일체형으로 구성할 수 있다. 또는 RGB모듈과 IR모듈을 별도의 모듈로 각각 구성할 수 있다.
촬상부(110)는 카메라부(111,112)와 대응되도록 프로젝터(113) 를 포함한다. 구체적으로 프로젝터(113)는 IR 카메라부(111)에서 촬영되는 영상을 위한 기준 패턴을 조사한다. 상기 기준 패턴은 적외선일 수 있다. RGB카메라부(112)는 차량의 주변 영상을 촬영한다.
프로젝터(113)는 취득하고자 하는 영상 또는 실행 모드에 따라 조사되는 기준 패턴의 개수 또는 위치 값이 가변될 수 있다. IR 카메라부(111)는 프로젝터(113)에서 조사되는 기준 패턴을 촬영한다. 이와 같이 촬영된 영상으로부터 취득된 패턴 정보 및 기준 패턴 정보에 기초하여 영상의 보정, 영상의 조합 또는 차량 주변 객체를 감지할 수 있다. 본 실시 예에서는 촬상부(110)에 카메라부(111,112)와 프로젝터(113)가 일체로 형성된 것으로 예를 들어 설명하였으나, 별도로 구성될 수 있다. 카메라부(111,112)와 프로젝터(113)가 별도로 구성되는 경우 상기 카메라부(111,112)와 프로젝터(113)의 이격 거리 정보가 요구된다.
영상 처리부(120)는 카메라부(111, 112)에서 촬영되는 영상 또는 디스플레이부(130)에서 출력될 영상을 생성하거나 가공한다. 구체적으로, 영상 처리부(120)는 제2 카메라부(112)에서 촬영되는 영상을 기준 패턴의 위치에 기준하여 조합한다. 또한 영상 처리부(120)는 차량에 인접한 객체에 대한 이미지를 제2 카메라부(112)에서 촬영한 영상에 조합한다.
디스플레이부(130)는 영상 취득 장치에서 처리되는 정보를 표시할 수 있다.
디스플레이부(130)는 일 예로 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
오디오 출력부(140)는 차량의 상태 및 주변 정보를 오디오 데이터로 출력한다. 오디오 출력부(140)는 영상 보정에 대한 알림, 객체 접근에 대한 알림 등에 대한 다양한 정보를 오디오 데이터로 출력할 수 있다. 이러한 오디오 출력부(140)는 스피커를 포함할 수 있다.
저장부(150)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입출력되는 데이터를 임시 저장할 수 있다. 저장부(150)는 프로젝터(113)에서 조사되는 기준 패턴에 대한 정보를 저장할 수 있다. 구체적으로 저장부(150)는 제어부(180)의 제어에 기초하여 취득영상 및 동작 모드에 따라 프로젝터(113)에서 조사하는 기준 패턴의 정보를 저장할 수 있다. 상기 기준 패턴 정보는 패턴의 위치 정보 및 개수 정보일 수 있다. 구체적으로 상기 기준 패턴은 도트(dot)형태를 가지고 동작 모드에 따라 상이한 개수 및 위치일 수 있다. 하지만 상기 기준 패턴의 형태와 개수는 한정되지 않으며, 실시 예에 따라 다양한 형태를 가질 수 있다.
저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부(160)는 영상 취득 장치간의 통신 및 외부 장치와의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
제어부(170)는 영상 취득 장치의 전반적인 동작을 제어한다. 제어부(170)는 실시 예에 따라 도 2에 도시된 바와 같이 영상의 보정 또는 조합 또는 객체 감지를 위한 구성부를 포함할 수 있다. 구체적으로 제어부(170)는 패턴 조사 구동부(171), 패턴 촬영 구동부(172), 영상 보정 구동부(173), 영상 조합 구동부(174), 객체 감지 구동부(175)를 포함할 수 있다.
패턴 조사 구동부(171)는 프로젝터(113)에서 조사되는 기준 패턴을 결정할 수 있다. 구체적으로 패턴 조사 구동부(171)는 영상 취득 장치의 동작 모드에 따라 취득 영상의 보정을 위한 캘리브레이션 기준 패턴, 촬영 영상 조합을 위한 영상 조합 기준 패턴 및 객체 인지를 위한 객체 감시 기준 패턴 등 다양한 패턴이 조사될 수 있도록 프로젝터(113)에 제어 신호를 출력할 수 있다. 예를 들어 패턴 조사 구동부(171)는 캘리브레이션 모드 시 기준 패턴을 2x3으로 구성되는 매트릭스 형태로 6개의 패턴을 조사하도록 제어 신호를 생성할 수 있다. 또한 패턴 조사 구동부(171)는 영상 조합 모드 시 인접한 카메라 간 중첩되는 촬영 영역에 패턴을 조사하도록 제어할 수 있다. 예를 들어, 인접 카메라 간 중첩 위치는 촬영 범위의 에지 영역일 수 있다. 구체적으로 전방 카메라의 경우 좌측 카메라 및 우측 카메라가 인접하는 에지 영역에 기준 패턴을 조사하도록 제어할 수 있다. 또한 패턴 조사 구동부(171)는 장치가 객체 감지 모드로 동작 시 객체 감지를 위해 상기 두 가지의 모드에 대비하여 더 많은 패턴이 조사될 수 있도록 제어할 수 있다.
영상 보정 구동부(172)는 제1 카메라부(111)에서 촬영된 패턴과 기준 패턴 정보를 비교하여 제2 카메라부(112)에서 촬영된 영상을 보정한다. 구체적으로 영상 보정 구동부(172)는 프로젝터(113)에서 조사되는 기준 패턴의 정보와 상기 프로젝터(113)에서 조사된 기준 패턴을 촬영한 촬영 패턴을 비교한다. 따라서 영상 보정 구동부(172)는 비교 결과에 따라 제2 카메라부(112)에서 촬영된 영상의 방향, 회전 각도 또는 위치를 보정할 수 있다. 영상 보정 구동부(172)의 구체적인 영상 보정 동작은 이하 도면에서 상세하게 설명한다.
영상 조합 구동부(173)는 제1 카메라부(111)에서 촬영된 패턴과 기준 패턴 정보를 비교하여 제2 카메라부(112)에서 촬영되는 복수의 영상을 조합한다. 구체적으로 영상 조합 구동부(173)는 촬영 위치에 따라 카메라 간의 중첩 위치에 조사되는 기준 패턴을 기준 위치로 하여 인접 카메라에서 촬영된 영상을 조합할 수 있다. 영상 조합 구동부(173)의 구체적인 영상 조합 동작은 이하 도면에서 상세하게 설명한다.
객체 감지부(174)는 프로젝터(113)에서 조사된 패턴에 의하여 제1 카메라(111)가 촬영한 상기 패턴의 입사량, 입사 방향 등에 의하여 차량 주변에 객체의 인접 여부, 인접 방향을 감지한다. 객체 감지부(174)의 구체적인 객체 감지 동작은 이하 도면에서 상세하게 설명한다.
이하에서는 상기한 실시 예에 따라 구성되는 영상 취득 장치에 기초하여 다양한 실시 예에 따른 영상 취득 방법에 대해 상세히 설명한다.
도 3 및 도 4는 일 실시 예에 따른 영상 취득 동작을 설명하기 위한 예시도이고, 도 5는 일 실시 예에 따른 영상 취득 동작 흐름도이고, 도 6은 실시 예에 따른 패턴 거리 산출 방법을 설명하기 위한 예시도이고, 도 7은 실시 예에 따라 카메라 영상의 상태를 나타낸 예시도이다.
본 실시 예에서는 적외선 패턴의 기준 패턴 조사를 위한 프로젝터와 상기 조사된 기준 패턴에 대한 촬영을 위한 카메라가 하나의 모듈로 구성되는 촬상부를 예를 들어 설명한다. 하지만 이는 한정되지 않으며, 구성에 따라 별도의 모듈로 인접 또는 이격되어 설치될 수 있다. 또한, 실시 예에서는 촬상부(110)가 차량의 전, 후, 좌, 우 방향을 촬영하기 위하여 복수의 카메라로 구성되는 것을 예를 들어 설명한다. 하지만, 이는 한정되지 않으며, 구성에 따라 하나의 촬상부(110)가 다양한 방향으로 구동할 수 있도록 할 수 있다.
도 3 내지 도 7을 참조하면 제어부(170)는 차량의 캘리브레이션 동작 모드에 따라 프로젝터(113)에서 기준 패턴을 차량이 위치한 바닥면(Ground Plane)에 조사한다.(S510) 상기 프로젝터(113)에서 조사되는 기준 패턴은 적외선일 수 있다. 구체적으로, 도 3의 예시도와 같이 차량의 전, 후, 좌, 우 방향에 대응되게 촬상부(110a, 110b, 110c, 110d)를 구성하고, 상기 촬상부(110) 각각은 제1 카메라(111), 제2 카메라(112) 및 프로젝터(113)를 포함한다. 따라서 각각의 촬상부(110a, 110b, 110c, 110d)의 프로젝터(113)를 통하여 기준 패턴을 차량이 배치된 위치의 바닥면으로 조사한다. 예를 들어, 상기 조사된 패턴은 도 4에 도시된 바와 같이 매트릭스 형태로 조사될 수 있다. 하지마 이에 한정되지 않으며, 다양한 형태 및 조합으로 기준 패턴을 조사할 수 있다.
프로젝터(113)에서 조사된 패턴은 제1 카메라부(111)에 의해 촬영된다.(S520) 구체적으로, 제1 카메라부(111)는 적외선 채널을 이용하여 촬영 범위(A1, A2, A3, A4) 내에 조사된 기준 패턴(P)을 촬영하여 패턴 영상을 획득한다.
제어부(170)는 제1 카메라부(111)에서 획득된 패턴과 프로젝터(113)에서 조사된 기준 패턴의 정보를 비교하여 차이 정보를 분석한다.(S530) 구체적으로, 제1 카메라부(111)에서 촬영된 패턴과 프로젝터(113)에서 조사된 기준 패턴에 대하여 삼각 측량을 통하여 제1 카메라(111)와 촬영된 패턴과의 거리를 산출할 수 있다.
상기 제1 카메라부(111)와 촬영 패턴의 거리는 삼각 함수에 기초하여 계산되며, 도 4 및 하기의 [수학식 1], [수학식 2]로 표현된다. 도 4에 도시된 바와 같이 기준 패턴의 정보에 기초하여 프로젝터(113)를 통해 참조 영역(Reference Plane)으로 조사되는 패턴은 제1 카메라부(111)를 통해 촬영되는 패턴 영상의 초점 거리가 대상 영역(object plane)에서 인지됨에 따라 시차를 가질 수 있다.
Figure pat00001
Figure pat00002
여기서 Zk는 대상 영역에서 감지되는 영상의 위치(k)에서의 제1 카메라(111)와 거리, Z0은 참조 영역에서의 깊이 값, d는 제1 카메라부(111)에서 기록되는 시차, D는 촬영된 패턴에서 이동된 시차이다.
[수학식 2]에서 D값을 [수학식 1]에 입력하면, 촬영된 영상에서의 패턴 거리값 Zk는 하기의 [수학식 3]과 같이 표현된다.
Figure pat00003
제어부(170)는 상기한 [수학식 1], [수학식 2]에 의해 산출된 촬영 패턴의 거리와 프로젝터(113)에서 조사된 기준 패턴의 위치 값을 기초하여 캘리브레이션을 위한 위치 값을 산출할 수 있다. 구체적으로, 제1 카메라부(111)와 프로젝터(113)를 포함하는 촬상부(110)는 차량의 상부에 위치함에 따라 지면으로부터의 거리와 이격되어 있다.
따라서, 정확한 패턴의 위치 및 거리를 산출하기 위해서는 조사된 기준 패턴의 위치 정보와 촬영된 패턴의 위치 및 거리 정보를 차량이 위치한 지면을 기준으로 변환하여 연산하게 된다.
예를 들어, 도 4에 도시된 바와 같이 프로젝터(113)에서 조사된 기준 패턴은 저장부(120)에 저장된 위치 값에 기초하여 하기의 [표 1]과 같이 조사될 수 있다. 또한, 상기 조사된 기준 패턴을 제 1카메라부(111)에서 촬영하여 상기 수학식 1 내지 수학식 3에 의해 산출된 촬영 패턴의 거리 및 상기 거리를 지면을 기준으로 변환한 값이 하기와 같이 나타날 수 있다.
패턴 No. 패턴 위치 값
(A)		 촬영 패턴 위치값(cm)
(B)		 변환된 Ground Plane 위치값(cm)
(C)
P1 X:200 Y:400 X:-30 Y:10 Z:100 X:-30 Y:0 Z:0
P2 X:300 Y:400 X:0 Y:10 Z:100 X:0 Y:0 Z:0
P3 X:400 Y:400 X:30 Y:10 Z:100 X:30 Y:0 Z:0
P4 X:200 Y:500 X:-30 Y:20 Z:120 X:-30 Y:30 Z:0
P5 X:300 Y:500 X:-30 Y:20 Z:120 X:0 Y:30 Z:0
P6 X:400 Y:500 X:30 Y:20 Z:120 X:30 Y:30 Z:0
제어부(170)는 프로젝터(113)에서 조사된 패턴의 위치값(A)과 제1 카메라부(111)에서 촬영된 패턴의 위치값(B) 및 변환된 촬영 패턴의 위치값(C)에 기초하여 제2 카메라 영상(112)에서 촬영되는 영상의 회전 및 이동 여부를 판단하고, 그에 따른 영상의 보정 값을 산출할 수 있다.(S540) 상기 산출된 보정 값은 영상의 회전 각 또는 이동 위치 값일 수 있다.
제어부(170)는 영상 보정 값이 산출되면, 도 7에 도시된 바와 같이 디스플레이부(130)를 통하여 예시도(a)와 같이 사용자 인지가 용이하도록 촬영된 패턴(P)을 가이드 라인(G)과 함께 출력한다. 이때, 촬영된 패턴(P)의 일부가 가이드 라인(G)을 벗어나는 위치로 표시됨에 따라 사용자는 제2 카메라부(112)에서 촬영되는 영상의 위치와 보정의 필요성을 용이하게 인지할 수 있다.
제어부(170)는 산출된 영상 보정값에 기초하여 제2 카메라부(112)에서 촬영되는 영상을 보정한다.(S560) 상기 영상 보정은 제2 카메라부(112)에서 촬영된 영상의 회전, 위치 값일 수 있다.
제어부(170)는 보정된 영상을 디스플레이부(130)를 통해 출력할 수 있다. 이때 제어부(170)는 도 7 예시도(b)와 같이 디스플레이부(130)를 통하여 영상의 보정 상태를 보여줄 수 있는 영상을 출력한다. 구체적으로, 가이드 라인(G)과 영상 보정에 따라 촬영 패턴이 상기 가이드 라인(G)내부에 위치하는 등의 상태를 보정 결과를 출력한다.
또한 영상 보정 값은 저장부(150)에 저장될 수 있다. 상기 저장되는 영상 보정 값은 룩업 테이블 형태로 저장되어, 영상 보정의 데이터 베이스로 활용될 수 있다.
도 8은 다른 실시 예에 따른 영상 취득 동작 흐름도이고, 도 9 및 도 10은 다른 실시 예에 따른 영상 취득 동작을 설명하기 위한 예시도이고, 도 11 및 도 12는 다른 실시 예에 따라 영상의 조합 동작을 설명하기 위한 예시도이다.
다른 실시 예에서는 차량의 전, 후, 좌, 우 방향의 영상을 촬영하고, 상기 촬영된 영상을 조합하는 동작을 예를 들어 설명하며, 이에 따라 제1 카메라부, 제2 카메라부 및 프로젝터가 포함되는 촬상부가 각 방향에 대응되도록 4대로 구성된 경우를 예를 들어 설명한다. 하지만 이에 한정되지 않으며, 하나의 촬상부를 구성하고, 상기 촬상부가 복수의 영역을 촬영하여 취득된 복수의 영상을 조합하도록 할 수 있다.
도 8 내지 도 12를 참조하면, 제어부(170)는 차량의 영상 조합 동작 모드에 따라 프로젝터(113)에서 기준 패턴을 차량이 위치한 바닥면에 조사한다.(S810) 구체적으로 도 9의 예시도와 같이 차량의 전, 후, 좌, 우 방향에 대응되게 구성되는 제1 카메라(111)와 그에 대응되는 프로젝터(113)를 포함하는 제1 촬상부(110a), 제2 촬상부(110b), 제3 촬상부(110c) 및 제4 촬상부(110d)를 통하여 기준 패턴을 차량이 배치된 위치의 바닥면으로 일정 각도를 가지고 조사한다.
상기 조사되는 패턴은 도 10에 도시된 바와 같이 제2 카메라부(112)의 촬영 범위(A1, A2, A3, A4)에서 각 촬상부(110a, 110b, 110c, 110d)의 제2 카메라부(112)의 영상이 중첩되는 위치에 패턴을 조사한다. 예를 들어, 카메라부(112)의 영상이 중첩되는 위치는 촬영 영상의 좌측 및 우측의 에지 영역(E) 일 수 있다. 상기 에지 영역(E)에 조사되는 패턴은 제1 내지 제4 카메라의 영상을 조합할 경우 조합 기준점으로 사용될 수 있다.
구체적으로, 제1 촬상부(110a)의 제1 카메라(111)에 의해 촬영되는 촬영 범위(A1)에는 프로젝터(113)에서 좌측 및 우측 에지 영역(E)에 기준 패턴(PFL, PFR)을 조사할 수 있다. 또한 제2 촬상부의 제1 카메라(111)에 의해 촬영되는 촬영 범위(A2)에는 제2 카메라(111b)에 의해 촬영되는 촬영범위(A2)에는 프로젝터(113)에서 좌측 및 우측 에지 영역(E)에 기준 패턴(PLL, PLR)이러한 경우 상기 에지 영역에 조사되는 패턴은 제1 범위의 우측 패턴(PFR)과 제2 범위의 좌측 패턴(PRL)의 을 기준으로 영상을 조합한다.
이와 같이 제2 촬영 범위(A2)의 우측 패턴(PRR)과 제3 촬영범위(A3)의 좌측 패턴(PBL), 제3 촬영 범위(A3)의 우측 패턴(PBR)및 제4 촬영 범위(A4)의 좌측 패턴(PLL), 제4 촬영 범위(A4)의 우측 패턴(PLR) 및 제1 촬영 범위(A1)의 좌측 패턴(PFL)을 기준으로 영상을 조합할 수 있다. 따라서 촬영 범위 내에 조사된 패턴을 촬영하여 패턴 영상을 획득할 수 있다.(S820)
이때 제어부(170)는 제1 카메라부(111)에서 촬영한 패턴 영상의 거리를 추정할 수 있다.
구체적으로, 제1 카메라부(111)에서 촬영된 패턴과 프로젝터(113)에서 조사된 기준 패턴에 대하여 삼각 측량을 통하여 제1 카메라(111)와 촬영된 패턴과의 거리를 산출할 수 있다.
상기 제1 카메라(111)와 촬영 패턴의 거리는 삼각 함수에 기초하여 계산되며, 도 4 및 하기의 [수학식 4], [수학식 5]로 표현된다. 도 4에 도시된 바와 같이 기준 패턴의 정보에 기초하여 프로젝터(113)를 통해 참조 영역(Reference Plane)으로 조사되는 패턴은 제1 카메라부를 통해 촬영되는 패턴 영상의 초점 거리가 대상 영역(object plane)에서 인지됨에 따라 시차를 가질 수 있다.
Figure pat00004
Figure pat00005
여기서 Zk는 포인트 k에서의 카메라와 거리, Z0은 참조 영역에서의 깊이 값, d는 카메라부에서 기록되는 시차, D는 촬영 패턴에서의 포인트 k의 이동된 시차이다.
[수학식 5]에서 D값을 [수학식 4]에 입력하면, 촬영된 영상에서의 패턴 거리값 Zk는 하기의 [수학식 6]과 같이 표현된다.
Figure pat00006
제어부(170)는 삼각 함수에 기초하여 산출된 촬영 패턴의 거리와 프로젝터(113)에서 조사된 패턴의 위치 값을 기초하여 제2 카메라(112)에서 촬영된 영상의 조합을 위한 위치 값을 산출할 수 있다. 구체적으로, 촬상부(110)는 차량의 상부에 위치함에 따라 지면으로부터의 거리와 이격되어 있다. 따라서, 정확한 패턴의 위치 및 거리를 산출하기 위해서는 조사된 패턴의 위치 정보와 촬영된 영상으로부터 추출된 패턴의 위치 및 거리 정보를 차량이 위치한 지면을 기준으로 변환한다.
제어부(170)는 지면을 기준으로 변환된 촬영된 각 영상의 중첩 영역에 조사된 패턴의 위치에의 위치를 기초하여 각 촬상부(110a, 110b, 110c, 110d)의 제2 카메라부(112)에서 촬영한 영상을 조합한다.(S840) 구체적으로 제2 카메라부(112)에서 촬영된 복수의 영상은 제2 카메라부(112)에서 촬영되는 영상의 중첩되는 영역에 조사된 기준 패턴을 기준 점으로 하여 복수의 영상을 조합한다.를 기초하여
따라서 상기한 바와 같이 다른 실시 예에 따라 확인된 기준 패턴에 기초하여 복수의 영상을 조합하는 경우 도 11 및 도 12에서와 같이 디스플레이부(130)를 통해 출력된다.(S850)
구체적으로 도 11 예시도(a) 내지 (d)와 같이 프로젝터(113)에서 조사되는 영상 조합 기준 패턴을 제1 카메라부(111)에서 촬영한다. 도 11에서는 기준 패턴의 촬영 범위의 좌, 우 에지 영역에 각각 조사되는 경우를 예를 든 것이다. 도 11 예시도(a) 내지 (d)와 같이 제1 카메라부(111)와 제2 카메라부(112)에서 획득된 차량의 전방 영상(a), 좌측 영상(b), 후방 영상(c) 및 우측 영상(d)에 대하여 도 12 예시도와 같이 하나의 영상으로 조합할 수 있다. 이때, 영상 조합의 기준 점으로, 각 영상에 포함되는 기준 패턴을 매칭하여 하나의 영상으로 조합되도록 할 수 있다.
도 13은 또 다른 실시 예에 따른 영상 취득 동작 흐름도이고, 도 14는 또 다른 실시 예에 따른 영상 취득 동작을 설명하기 위한 예시도이고, 도 15는 또 다른 실시 예에 따라 취득된 영상의 출력 상태를 설명하기 위한 화면 예시도이다.
다른 실시 예에서는 차량의 전, 후, 좌, 우 방향의 영상을 촬영하고, 상기 촬영된 영상을 조합하는 동작을 예를 들어 설명하며, 이에 따라 제1 카메라부, 제2 카메라부 및 프로젝터가 포함되는 촬상부가 각 방향에 대응되도록 4대로 구성된 경우를 예를 들어 설명한다. 하지만 이에 한정되지 않으며, 하나의 촬상부를 구성하고, 상기 촬상부가 복수의 영역을 촬영하여 취득된 영상으로부터 객체를 감지할 수도 있다.
도 13 내지 도 15를 참조하면, 제어부(170)는 차량 주변 감시 모드에 따라 프로젝터(113)에서 기준 패턴을 차량 주변으로 조사한다.(S1310) 상기 프로젝터(113)에서 조사되는 기준 패턴은 적외선일 수 있다. 구체적으로 도 12의 예시도(a)와 같이 차량의 전, 후, 좌, 우 방향에 대응되게 구성되는 복수의 촬상부(110a, 110b, 110c, 110d)를 통해 기준 패턴을 차량의 주변 위치에 조사할 수 있다.
상기 기준 패턴은 도 14에 도시된 바와 같이 차량의 주변으로 소정 간격 이격된 패턴이 복수개 조사될 수 있다. 구체적으로, 제2 카메라부(112)가 촬영하는 촬영 범위(A1, A2, A3, A4) 영역에 복수의 패턴(P)을 조사하여 차량의 주변으로 인접하는 객체를 용이하게 판단하도록 할 수 있다. 상기 조사되는 패턴의 일 예는 차량의 주변으로 원형 또는 사각형 등의 형태가 되도록 다수의 패턴이 소정 간격 이격되어 조사될 수 있다.
상기 기준 패턴은 제1 카메라부(111)에 의해 촬영된다.(S1320)
제어부(170)는 제1 카메라부(111)에 의해 촬영된 패턴의 거리와 기준 패턴 정보를 비교한다.(S1330) 구체적으로, 제1 카메라부(111)에서 촬영된 패턴과 프로젝터(113)에서 조사된 기준 패턴에 대하여 삼각 측량을 통하여 제1 카메라(111)와 촬영된 패턴과의 거리를 산출한다.
상기 제1 카메라부(111)와 촬영 패턴의 거리는 삼각 함수에 기초하여 계산되며 도 4 및 하기의 [수학식 7], [수학식 8]로 표현된다. 도 4에 도시된 바와 같이 기준 패턴의 정보에 기초하여 프로젝터(113)를 통해 참조 영역(Reference Plane)으로 조사되는 패턴은 제1 카메라부(111)를 통해 촬영되는 영상의 패턴 영상의 초점 거리가 대상 영역(object plane)에서 인지됨에 따라 시차를 가질 수 있다.
Figure pat00007
Figure pat00008
여기서 Zk는 대상 영역에서 감지되는 영상의 위치(k)에서의 제1 카메라부(111)와 거리, Z0은 참조 영역에서의 깊이 값, d는 제1 카메라부(111)에서 기록되는 시차, D는 촬영된 패턴에서 이동된 시차이다.
[수학식 8]에서 D값을 [수학식 7]에 입력하면, 촬영된 영상에서의 패턴 거리값 Zk는 하기의 [수학식 9]과 같이 표현된다.
Figure pat00009
제어부(170)는 삼각함수에 기초하여 산출된 촬영 패턴의 거리 추정할 수 있다.
제어부(170)는 객체 감지 모드 동작에 따라 프로젝터(113)에서 조사되는 패턴을 제1 카메라부(111)에서 지속적으로 촬영하여 패턴의 거리를 추정하는 중에 추정된 패턴의 거리가 기 추정된 거리 미만으로 감지되는 경우 객체 인접을 감지할 수 있다.(S1340) 구체적으로, 제어부(1170)는 프로젝터(113)에서 조사되는 기준 패턴을 제1 카메라부(111)에서 촬영하여 패턴의 거리를 모니터링 하는 중에 패턴의 거리가 추정된 패턴 거리 이하로 감지되는 경우 기준 패턴 조사 범위에 객체가 접근한 것으로 감지할 수 있다. 즉, 도 14(b)예시도와 같이 패턴(P)의 조사 위치가 차량에 인접한 객체에 의하여 P'로 인식되면, 조사 패턴(P)의 거리(d)가 (d')로 인식될 수 있다. 따라서 이러한 경우 차량 근처로 객체가 인접한 것으로 감지할 수 있다.(S1350)
상기와 같이 객체가 차량에 인접하게 되면, 도 15에 도시된 바와 같이 디스플레이부(130)를 통하여 제2 카메라부(112)에서 촬영된 영상에 상기 감지된 객체의 위치에 대응하는 알림 이미지를 표시하도록 영상처리부(120)에서 디스플레이 영상을 생성한다.(S1360) 구체적으로, 차량의 디스플레이부(130) 또는 오디오 출력부(140)를 통하여 영상(1500) 및 오디오를 제공하여 객체 접근을 차량 탑승자에게 알림할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (20)

  1. 지면으로 기준 패턴을 조사하는 프로젝터;
    상기 프로젝터에서 조사된 기준 패턴을 촬영하는 제1 카메라부;
    영상을 촬영하는 제2 카메라부;
    상기 제1 카메라부에서 촬영된 패턴을 분석하여, 상기 제2 카메라부에서 촬영된 영상을 처리하는 제어부;를 포함하는 영상 취득 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 제1 카메라부에서 촬영된 기준 패턴과 상기 프로젝터에서 조사하는 기준 패턴의 정보를 비교하여 영상 보정 정보를 추출하는 영상 취득 장치.
  3. 제2항에 있어서,
    상기 제어부의 영상 보정 정보에 따라 상기 제2 카메라로부터 촬영된 영상을 보정하여 출력하는 영상 처리부;를 더 포함하는 영상 취득 장치.
  4. 제2항에 있어서,
    상기 기준 패턴은 영상 보정을 위한 영상 보정 기준 패턴인 영상 취득 장치.
  5. 제1항에 있어서,
    상기 프로젝터는 상기 제2 카메라부에서 촬영하는 복수의 영상이 중첩되는 위치에 기준 패턴을 조사하고,
    상기 제어부는 상기 제1 카메라부에서 촬영한 기준 패턴에 기초하여 상기 제2 카메라부에서 촬영된 복수의 영상을 조합하는 영상 취득 장치.
  6. 제5항에 있어서,
    상기 기준 패턴은 영상 조합을 위한 영상 조합 기준 패턴인 영상 취득 장치.
  7. 제1항에 있어서,
    상기 프로젝터는 상기 제2 카메라부에서 촬영하는 촬영 범위에 복수의 기준 패턴을 조사하고,
    상기 제어부는 상기 제1 카메라부에서 촬영한 복수의 기준 패턴을 기초하여 차량에 인접한 객체를 감지하는 영상 취득 장치.
  8. 제7항에 있어서,
    제어부는
    상기 제1 카메라부에서 촬영한 복수의 패턴의 거리가 기 설정된 기준 패턴의 거리 미만이면 상기 객체의 인접을 감지하는 영상 취득 장치.
  9. 제7항에 있어서,
    상기 차량에 인접한 객체 정보를 표시하는 디스플레이부를 더 포함하는 영상 취득 장치.
  10. 제9항에 있어서,
    상기 차량에 인접한 객체 정보와 상기 제2 카메라부에서 촬영한 영상을 조합하여 상기 디스플레이부에 출력할 영상을 생성하는 영상 처리부를 더 포함하는 영상 취득 장치.
  11. 제7항에 있어서,
    상기 기준 패턴은 객체 감지를 위한 객체 감지 기준 패턴인 영상 취득 장치.
  12. 제1항에 있어서,
    상기 기준 패턴은 적외선인 영상 취득 장치.
  13. 제1항에 있어서,
    상기 프로젝터, 제1 카메라부, 제2 카메라부는 하나의 모듈로 구성되는 영상 취득 장치.
  14. 지면으로 기준 패턴을 조사하는 단계;
    상기 조사된 기준 패턴을 제1 카메라부에서 촬영하는 단계;
    제2 카메라부에서 영상을 촬영하는 단계;
    상기 제1 카메라부에서 촬영된 패턴을 분석하는 단계;
    상기 분석된 패턴을 분석하여 상기 제2 카메라부에서 촬영된 영상을 처리하는 단계;를 포함하는 영상 취득 방법.
  15. 제14항에 있어서,
    상기 제1 카메라부에서 촬영된 패턴을 분석하는 단계는
    상기 제1 카메라부에서 촬영된 기준 패턴과 상기 프로젝터에서 조사하는 기준 패턴의 정보를 비교하는 단계;
    상기 비교 결과에 따라 영상 보정 정보를 추출하는 단계;를 포함하는 영상 취득 방법.
  16. 제14 및 15항에 있어서,
    상기 제2 카메라부에서 촬영된 영상을 처리하는 단계는
    상기 추출된 영상 보정 정보에 기초하여 상기 제2 카메라부에서 촬영된 영상을 보정하는 단계;를 포함하는 영상 취득 방법.
  17. 제14항에 있어서,
    상기 기준 패턴을 조사하는 단계는
    상기 제2 카메라부에서 촬영하는 복수의 영상이 중첩되는 위치에 기준 패턴을 조사하는 영상 취득 방법.
  18. 제17항에 있어서,
    상기 촬영된 영상을 처리하는 단계는
    상기 조사되는 기준 패턴을 상기 제1 카메라부에서 촬영하여 상기 촬영된 패턴을 기준으로 상기 복수의 영상을 조합하는 영상 취득 방법.
  19. 제14항에 있어서,
    상기 기준 패턴을 조사하는 단계는
    상기 제2 카메라부에서 촬영하는 촬영 범위에 복수의 기준 패턴을 조사하는 영상 취득 방법.
  20. 제19항에 있어서,
    상기 촬영된 영상을 처리하는 단계는
    상기 조사되는 기준 패턴을 상기 제1 카메라부에서 촬영하여 상기 촬영된 패턴의 거리와 기준 패턴의 거리를 비교하여 객체 인접을 감지하고, 상기 감지된 객체를 포함하는 객체 알림 영상을 생성하는 영상 취득 방법.
KR1020160048444A 2016-04-20 2016-04-20 영상 취득 장치 및 그 방법 KR102597435B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160048444A KR102597435B1 (ko) 2016-04-20 2016-04-20 영상 취득 장치 및 그 방법
PCT/KR2017/004211 WO2017183915A2 (ko) 2016-04-20 2017-04-19 영상취득 장치 및 그 방법
US16/095,583 US11151745B2 (en) 2016-04-20 2017-04-19 Image acquisition apparatus and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160048444A KR102597435B1 (ko) 2016-04-20 2016-04-20 영상 취득 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170120010A true KR20170120010A (ko) 2017-10-30
KR102597435B1 KR102597435B1 (ko) 2023-11-03

Family

ID=60116135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160048444A KR102597435B1 (ko) 2016-04-20 2016-04-20 영상 취득 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11151745B2 (ko)
KR (1) KR102597435B1 (ko)
WO (1) WO2017183915A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102597435B1 (ko) * 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법
DE102017202652A1 (de) * 2017-02-20 2018-08-23 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Kalibrierung mittels projizierter Muster
JP7167453B2 (ja) * 2018-03-12 2022-11-09 オムロン株式会社 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
US11155226B2 (en) * 2018-08-17 2021-10-26 Veoneer Us, Inc. Vehicle cabin monitoring system
CN111284503B (zh) * 2020-03-10 2021-12-10 宁波远景汽车零部件有限公司 一种汽车安全出行装置
CN111815719B (zh) 2020-07-20 2023-12-22 阿波罗智能技术(北京)有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
KR20240030098A (ko) * 2022-08-29 2024-03-07 현대자동차주식회사 차량 및 차량의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231710A1 (en) * 2007-01-31 2008-09-25 Sanyo Electric Co., Ltd. Method and apparatus for camera calibration, and vehicle
WO2012143036A1 (en) * 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
KR20140091113A (ko) * 2012-12-31 2014-07-21 인하대학교 산학협력단 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
US20150172635A1 (en) * 2013-12-12 2015-06-18 Intel Corporation Calibration of a three-dimensional acquisition system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200285649Y1 (ko) 2002-04-08 2002-08-13 한국수력원자력 주식회사 다중 캘리브레이션 플레이트의 구조
JP4847051B2 (ja) * 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
DE102007049821A1 (de) * 2007-10-16 2009-04-23 Daimler Ag Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
KR100927096B1 (ko) * 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
CN102175613B (zh) * 2011-01-26 2012-11-14 南京大学 基于图像亮度特征的ptz视频能见度检测方法
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
JP5648746B2 (ja) * 2011-07-12 2015-01-07 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
KR101332257B1 (ko) 2011-12-15 2013-11-26 현대자동차주식회사 차량용 도로 노면 탐지시스템 및 도로 노면 탐지방법
WO2014002534A1 (ja) * 2012-06-26 2014-01-03 本田技研工業株式会社 対象物認識装置
KR101435076B1 (ko) 2013-01-25 2014-08-29 한국표준과학연구원 이동 기기에 구비되는 장애물 감지장치, 감지방법 및 그 감지장치를 갖는 이동 기기
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
KR20150004989A (ko) 2013-07-03 2015-01-14 한국전자통신연구원 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
CN105474634A (zh) * 2013-08-30 2016-04-06 歌乐株式会社 摄像机校准装置、摄像机校准系统及摄像机校准方法
US9386302B2 (en) * 2014-05-21 2016-07-05 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6219784B2 (ja) * 2014-06-17 2017-10-25 トヨタ自動車株式会社 車両用前照灯装置
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
KR102597435B1 (ko) * 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231710A1 (en) * 2007-01-31 2008-09-25 Sanyo Electric Co., Ltd. Method and apparatus for camera calibration, and vehicle
WO2012143036A1 (en) * 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
KR20140091113A (ko) * 2012-12-31 2014-07-21 인하대학교 산학협력단 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
US20150172635A1 (en) * 2013-12-12 2015-06-18 Intel Corporation Calibration of a three-dimensional acquisition system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법

Also Published As

Publication number Publication date
US20190087977A1 (en) 2019-03-21
US11151745B2 (en) 2021-10-19
KR102597435B1 (ko) 2023-11-03
WO2017183915A2 (ko) 2017-10-26
WO2017183915A3 (ko) 2018-08-02

Similar Documents

Publication Publication Date Title
KR20170120010A (ko) 영상 취득 장치 및 그 방법
JP6364627B2 (ja) 視線方向検出装置および視線方向検出方法
US11838497B2 (en) Calibration of a surround view camera system
KR101967305B1 (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR101656162B1 (ko) 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차
US10672137B2 (en) Generating a disparity map having reduced over-smoothing
US20110234761A1 (en) Three-dimensional object emergence detection device
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
KR102059244B1 (ko) 라이다 장치
KR20120077309A (ko) 차량의 후방 영상 표시 장치 및 방법
RU2013132011A (ru) Устройство помощи при вождении и способ обнаружения транспортного средства рядом с ним
US9798936B2 (en) System and method for detecting obstacles using a single camera
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP5085230B2 (ja) 移動体システム
JP2014154898A (ja) 物体検知装置
JP2010109451A (ja) 車両周囲監視装置及び車両周囲監視方法
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
WO2020157901A1 (ja) 運転支援装置
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
KR101793790B1 (ko) 축사 개체 탐지 장치 및 방법
KR101491305B1 (ko) 장애물 검출 장치 및 방법
JP2019142714A (ja) フォークリフト用の画像処理装置
EP3217191B1 (en) Distance measuring apparatus and method for measuring a distance
JP2019028959A (ja) 画像登録装置、画像登録システムおよび画像登録方法
KR20230082387A (ko) 차량 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant