[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20120053713A - 차량용 카메라의 제어 장치 및 방법 - Google Patents

차량용 카메라의 제어 장치 및 방법 Download PDF

Info

Publication number
KR20120053713A
KR20120053713A KR1020100114974A KR20100114974A KR20120053713A KR 20120053713 A KR20120053713 A KR 20120053713A KR 1020100114974 A KR1020100114974 A KR 1020100114974A KR 20100114974 A KR20100114974 A KR 20100114974A KR 20120053713 A KR20120053713 A KR 20120053713A
Authority
KR
South Korea
Prior art keywords
garage
vehicle
rotation angle
camera
image
Prior art date
Application number
KR1020100114974A
Other languages
English (en)
Inventor
김대현
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020100114974A priority Critical patent/KR20120053713A/ko
Priority to US13/277,745 priority patent/US20120127310A1/en
Publication of KR20120053713A publication Critical patent/KR20120053713A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 차량의 차고가 변화될 때 이에 따라 적응적으로 카메라의 각도를 제어하는 장치 및 방법에 관한 것이다. 차량용 카메라 제어 장치는, 차고의 변화를 감지하는 적어도 하나 이상의 센서와, 상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출하는 회전각 산출부와, 상기 산출된 회전각에 기초하여 상기 차량용 카메라의 촬상 각도를 조절하는 카메라 조절부로 이루어진다.

Description

차량용 카메라의 제어 장치 및 방법{Apparatus and method for controlling a vehicle camera}
본 발명은 차량용 카메라의 각도를 제어하는 기술에 관한 것으로, 보다 자세하게는 차량의 차고가 변화될 때 이에 따라 적응적으로 카메라의 각도를 제어하는 장치 및 방법에 관한 것이다.
차량의 운행에 있어서, 선행 차량의 수와 위치 등의 정보를 파악하는 것은 매우 중요하다. 특히, 최근 들어, 전조등의 동적 제어 기술의 개발과 더불어 이러한 판단은 더욱 더 중요시되고 있다. 전조등의 동적 제어란 주행 차량 주변의 환경에 적합하게 동적으로 전조등을 제어하여 조사하는 기술을 의미한다. 즉, 주변의 환경에서 차량의 수, 거리, 방향, 도로의 곡률 등 다양한 조건에 적합하도록 최적으로 전조등의 빔 패턴을 제어하는 것이다. 이와 같은 기술 개발 동향은 기존의 차량 성능 향상에서 한걸음 나아가 운전자의 편의 및 안전을 한층 더 중요시하는 시장의 요구에 부응하여 이루어지고 있다.
선행 차량의 정보를 파악하는 방법은 여러 가지가 있을 수 있다. 레이더 빔을 조사하고 반사되는 파를 도플러 효과를 이용하여 거리 및 속도(및 방향)를 판단하는 것은 상대적으로 정확한 고전적 기술에 속하지만 경제성 면에서는 불리한 측면이 있다. 따라서, 최근에는 상대적으로 저가로 구현할 수 있는, 차량용 카메라를 이용하여 선행 차량의 이미지를 처리함으로써 다양한 정보를 얻어서 현재 주행중인 차량의 제어에 활용하는 연구가 많이 이루어지고 있다.
그런데, 차량의 차고는 다양한 요인에 의하여 상시적으로 변화될 수 있다. 첫째는, 고급형 차량의 옵션 사양으로 운전자의 조작에 의하여 전륜의 차고 또는 후륜의 차고를 변화시키는 경우이다. 이는 주변의 환경이나 차량의 주행 모드에 따라 운전자가 능동적으로 차고를 변화시키는 것으로, 예를 들어, 운전자는 스포츠 모드에서는 차고를 낮추었다가 안전턱이 많은 지역에서는 차고를 높이는 등의 조작을 할 수 있다.
둘째는, 차량의 현재 상태에 따라 운전자의 의도와 무관하게 차량의 차고가 변화되는 경우이다. 예를 들어, 차량의 트렁크에 무거운 물건을 적재하거나 차량의 뒷좌석에 많은 사람이 탑승한 경우에는 후륜의 차고가 감소할 수 있다. 또한, 전륜의 타이어의 공기압이 부족하다면 전륜의 차고가 감소할 수도 있다.
전술한 바와 같이, 선행 차량의 정보를 정확하게 인식하기 위하여, 특히 선행 차량과의 거리를 추산하기 위해서는 환경의 변화와 무관하게 카메라의 촬상 각도를 일정하게 유지할 필요가 있다. 그러나, 상기와 같이 차고의 변화가 발생된다면 카메라의 촬상 각도 또한 변화되기 때문에, 선행 차량의 정보를 정확하게 인식하기가 어렵다.
본 발명은 상기한 필요성을 감안하여 창안된 것으로, 다양한 요인에 의하여 차량의 차고가 변화되더라도 차량용 카메라의 촬상 각도를 일정하게 유지하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, 차량의 차고의 변화와 무관하게 차량용 카메라의 촬상 각도를 일정하게 유지하기 위한 차량용 카메라 제어 장치는, 차고의 변화를 감지하는 적어도 하나 이상의 센서; 상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출하는 회전각 산출부; 및 상기 산출된 회전각에 기초하여 상기 차량용 카메라의 촬상 각도를 조절하는 카메라 조절부를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, 차량의 차고의 변화와 무관하게 차량에 디스플레이되는 영상의 위치를 일정한 방향으로 유지하기 위한 차량용 카메라 제어 장치는, 차고의 변화를 감지하는 적어도 하나 이상의 센서; 상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출하는 회전각 산출부; 상기 차량에 대하여 상대적으로 고정되어 영상을 포착하는 카메라; 및 상기 산출된 회전각에 기초하여 상기 포착된 영상 중 샘플 영상을 추출하는 영상 처리부를 포함한다.
본 발명에 따르면, 차량용 카메라의 촬상 각도를 능동적으로 일정하게 제어함으로써, 전조등의 동적 제어를 위한 선행 차량의 이미지 처리 기술의 정밀도를 향상시킬 수 있는 효과가 있다.
이를 통하여, 높은 비용을 들이지 않고도 주행 차량의 주변 환경의 변화에 신속하게 대응하여 운전자의 편의와 안전을 도모할 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 카메라 제어 장치의 구성을 도시하는 블록도이다.
도 2는 차량과, 제1 차고 및 제2 차고를 예시적으로 보여주는 도면이다.
도 3은 차량의 차고와 카메라의 촬상 각도를 보여주는 도면이다.
도 4는 본 발명의 제1 실시예에 따른 후륜의 차고가 상승된 경우를 나타낸 도면이다.
도 5는 도 4의 경우에 오프셋과 차량의 회전각 간의 관계를 나타내는 도면이다.
도 6은 도 5의 회전각에 기초하여 카메라의 방향을 보상한 결과를 보여주는 도면이다.
도 7은 본 발명의 제1 실시예에 따른 전륜의 차고가 상승된 경우를 나타낸 도면이다.
도 8은 도 7의 경우에 오프셋과 차량의 회전각 간의 관계를 나타내는 도면이다.
도 9는 도 8의 회전각에 기초하여 카메라의 방향을 보상한 결과를 보여주는 도면이다.
도 10은 본 발명의 제2 실시예에 따라 촬상된 이미지를 보여주는 도면이다.
도 11은 도 10에서 전륜의 차고를 상승시킨 경우에 촬상된 이미지를 보여주는 도면이다.
도 12는 도 11에서 카메라를 하방으로 조절하여 촬상된 이미지가 원래의 위치로 복귀한 결과를 보여주는 도면이다.
도 13은 차고의 변화가 없는 경우에 카메라에 포착된 영상 및 샘플 영상을 보여주는 도면이다.
도 14는 차고의 변화에 의하여 차량이 상방향으로 다소간 회전한 경우에 카메라에 포착된 영상 및 샘플 영상을 보여주는 도면이다.
도 15는 차고의 변화에 의하여 차량이 하방향으로 다소간 회전한 경우에 카메라에 포착된 영상 및 샘플 영상을 보여주는 도면이다.
도 16은 차고의 변화에도 불구하고 고정된 방향의 샘플 영상을 얻은 결과를 보여주는 도면이다.
도 17은 본 발명의 제3 실시예에 따른 차량용 카메라 제어 장치의 구성을 도시하는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 차량용 카메라 제어 장치(100)의 구성을 도시하는 블록도이다. 상기 차량용 카메라 제어 장치(100)는 차량의 차고의 변화와 무관하게 차량용 카메라의 촬상 각도를 일정하게 유지하기 위한 장치로서, ECU(electronic control unit)(105), 메모리(110), 회전각 산출부(120), 센서부(135), 카메라 조절부(150), 카메라(160) 및 디스플레이부(170)를 포함하여 구성될 수 있다. 상기 차량용 카메라 제어 장치(100)는 차량 내부의 ECU를 중심으로 인쇄 회로 기판 상에 실장된 각각의 유닛이거나 이러한 인쇄 회로 기판과 별도로 구비된 장치(예: 카메라 조절부(150), 카메라(160), 디스플레이부(170) 등)일 수도 있음은 당업자에게는 자명할 것이다.
차량의 전방 이미지는 카메라(160)에 의하여 포착된다. 일 실시예로, 카메라(160)는 이미지 센서와 ADC(Analog to Digital Converter)를 포함할 수 있다. 상기 이미지 센서는 CCD(Charge Coupled Device), CMOS(complementary metal oxide semiconductor), 기타의 광 촬상 소자로 이루어질 수 있다. 상기 ADC는 상기 이미지 센서에 의하여 포착된 이미지를 디지털 신호로 변환된다. 이러한 디지털 신호는 ECU(105)에 제공되어 이미지 처리 과정이 수행된다.
ECU(105)는 상기 카메라에 의하여 얻어진 이미지를 처리하여 선행 차량의 정보를 분석하고, 상기 분석된 정보를 기초로 차량의 동작을 제어한다. 이러한 차량 동작 제어로는 엔진 제어, 브레이크 제어, 스티어링 제어, 전조등 제어 등이 있다.
이러한 차량 동작 제어 결과 또는 카메라(160)에 의하여 포착된 영상은 LCD(Liquid Crystal Display), LED(Light Emitting Diode), HUD(Head-up Display) 또는 각종 표시등으로 구현된 디스플레이부(170)를 통하여 운전자에게 제공될 수 있다.
센서부(135)는 차고의 변화를 감지하기 위하여 적어도 하나 이상의 높이 감지 센서를 포함한다. 바람직하게는, 센서부(135)는 차량의 전륜 위치에서의 제1 차고를 감지하는 전륜 차고 센서(130)와, 상기 차량의 후륜 위치에서의 제2 차고를 감지하는 후륜 차고 센서(140)를 포함한다. 이러한 센서부(135)는 홀 IC(Hall IC), 기타 공지의 수단에 의하여 구현될 수 있다.
도 2는 차량(50)과 제1 차고(h1) 및 제2 차고(h2)를 예시적으로 보여주는 도면이다. 도시된 바와 같이 제1 차고(h1)는 전륜의 축의 위치에서 차체의 높이를, 제2 차고(h2)는 후륜의 축의 위치에서 차체의 높이를 각각 나타낸다. 카메라(160)는 촬영이 용이하도록 차량(50)의 상부에 구비되는 것이 일반적이다.
회전각 산출부(120)는 상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출한다.
제1 실시예에 있어서, 회전각 산출부(120)는 상기 제1 차고와 상기 제2 차고 중에서 적어도 하나의 변화가 감지되는 경우에는, 상기 제1 차고 및 제2 차고의 조합에 의하여 결정되는 오프셋과, 상기 전륜 위치와 후륜 위치 간의 거리로부터 상기 차량의 회전 각도를 계산하고, 상기 계산된 회전 각도를 상쇄하는 회전각을 산출한다.
제2 실시예에 있어서, 회전각 산출부(120)는 상기 제1 차고, 상기 제2 차고 및 상기 회전각 간의 관계를 정의하는 매핑 테이블을 기초로 상기 회전각을 산출한다. 상기 매핑 테이블은 메모리(110)에 저장되어 있을 수 있다.
이러한 제1 및 제2 실시예에 따라 구체적으로 회전각을 산출하는 실시예는 이하 도 3 내지 도 11을 참조하여 후술하기로 한다.
카메라 조절부(150)는 회전각 산출부(120)에 의하여 제공된 회전각에 기초하여 상기 차량용 카메라의 촬상 각도를 조절한다. 이를 위하여 카메라 조절부(150)는 스텝 모터, 서보 모터 등의 기계적인 구동 메커니즘을 포함한다. 주어진 각도에 따라 물체의 각도를 조절하는 기술은 폐쇄회로 카메라, 자동차 등 전자/기계 산업의 다양한 분야에서 이미 활용되고 있는 주지의 기술이므로 구체적인 설명은 생략하기로 한다.
그런데, 차고 센서(130, 140)에 의하여 감지되는 차고(h1, h2)는 도로의 굴곡이나 차량의 진동에 의하여 미소하게 변화될 수 있다. 이 경우에도 적응적으로 카메라(160)를 적응적으로 제어한다면 자원의 낭비하는 것이 될 것이다. 따라서, 카메라 조절부(150)는 바람직하게는, 상기 회전각이 소정의 문턱값 이상인 경우에만 상기 촬상 각도를 조절하도록 한다.
도 3은 차량의 차고와 카메라의 촬상 각도를 보여주는 도면이다. 차량(50)의 전륜(10)과 후륜(20)의 위치에서의 차고는 각각 h1, h2로 표시되고, 전륜(10)의 축과 후륜(20)의 축 사이의 거리, 즉 축간 거리는 d로 표시된다. 카메라(160)는 통상적으로 차량(50)의 상부에 설치되고, 수평 방향(L)에 대하여 소정의 각도(θ) 만큼 하향된 방향(D)을 향하도록 공장 초기값으로 설정된다.
도 4 내지 6은 후륜(20)의 차고(h2)가 초기 위치로부터 상승된 경우를 나타낸 도면들이다. 도 4를 참조하면, 후륜(20)의 차고(h2)는 △2만큼 증가되어 있다. 따라서, 차량(50)에 설치된 카메라(160)는 별도의 제어가 없는 한 원래의 방향(도 3의 D)보다 더 하향된 방향(A)을 향하게 된다. 원래의 방향(D)와 상기 하향된 방향(A)간의 각도(α), 즉 차체의 회전각을 구하는 방법은 도 5를 참조하면 다음의 수학식 1과 같이 구해질 수 있다.
Figure pat00001
도 6을 참조하면, 카메라 조절부(150)는 상기 얻어진 각도(α)와 같은 크기만큼 카메라(160)를 상방으로 회전시킨다. 즉, 차체의 회전각은 보상될 각도와 크기는 같고 방향은 반대가 된다. 이를 통하여 도 4에서와 같이 왜곡된 카메라의 방향(A)은 원래의 카메라의 방향(D)으로 보상된다.
한편, 도 7 내지 도 9는 전륜(10)의 차고(h1)가 초기 위치로부터 상승된 경우를 나타낸 도면들이다. 도 7을 참조하면, 전륜(10)의 차고(h1)는 △1만큼 증가되어 있다. 따라서, 차량(50)에 설치된 카메라(160)는 별도의 제어가 없는 한 원래의 방향(도 3의 D)보다 더 상향된 방향(B)을 향하게 된다. 원래의 방향(D)와 상기 상향된 방향(B)간의 각도(β), 즉 차체의 회전각을 구하는 방법은 도 8을 참조하면 다음의 수학식 2와 같이 구해질 수 있다.
Figure pat00002
도 9를 참조하면, 카메라 조절부(150)는 상기 얻어진 각도(β)와 같은 크기만큼 카메라(160)를 하방으로 회전시킨다. 여기서도 차체의 회전각은 보상될 각도와 크기는 같고 방향은 반대가 된다. 이를 통하여 도 7에서와 같이 왜곡된 카메라의 방향(A)은 원래의 카메라의 방향(D)으로 보상된다.
이상 도 4 내지 도 9을 참조하여 본 발명의 제1 실시예에 따라 카메라 방향을 조절하는 방법을 설명하였다. 여기서는 전륜 차고(h1) 및 후륜 차고(h2) 중 어느 하나가 변화되는 경우를 예로 들어 설명하였으나, 전륜 차고(h1) 및 후륜 차고(h2)가 동시에 변화되더라도 무방하다. 왜냐하면, 도 5 및 8에서의 기하학적 관계는 전륜 차고(h1) 및 후륜 차고(h2)의 상대적인 차이값(이하, 본 발명에서는 오프셋이라고 정의함)에 의해서도 얻어질 수 있기 때문이다.
상기 제1 실시예는 수학식의 계산에 의하여 카메라의 방향을 간단히 조절할 수 있기는 하지만, 상기 카메라의 방향을 매우 정밀하게 조절하기 위해서는 추가적인 고려가 필요하다. 예를 들어, 전륜 차고(h1)와 후륜 차고(h2)가 동일하게 상승하거나 하강하는 경우에는 차체의 회전각은 0이므로 카메라 조절부(150)는 카메라(160)의 방향을 조절하지 않게 된다. 그러나, 실제로 차체의 회전은 없지만 차고가 평행하게 상승하게 되므로 카메라에 입력되는 이미지가 변화될 수 있다.
따라서, 카메라(160) 방향의 정밀한 제어를 위해서는, 차량의 회전각뿐만 아니라 전륜 차고(h1) 및 후륜 차고(h2)의 절대적인 크기도 함께 고려할 필요가 있다. 그러나, 이 경우에는 카메라(160)의 설치 위치나 초기의 방향 등 다양한 요인에 의하여 영향을 받기 때문에 하나의 기하학적 관계식으로는 표현하기가 용이하지 않다. 따라서, 공장에서 사전에 캘리브레이션(calibration)을 수행하고 그 수행된 결과를 매핑 테이블로 저장해 둔다면 실제 운행시에 매핑 테이블을 참조하면 필요한 보상 각도를 결정할 수 있을 것이다.
도 10 내지 도 12는 본 발명의 제2 실시예에 따른 매핑 테이블 생성 방법을 보여주는 도면들이다.
도 10을 참조하면, 가상의 도로면에는 등간격으로 배치된 다수의 수평선(s1, s2, s3, s4, ...)이 표시되어 있다. 초기의 차고, 즉 h1 및 h2의 변화량(dh1, dh2)이 모두 0인 상태에서 차량의 카메라(160)에 의하여 촬상된 이미지(60)의 중심은 f로 표시된다. 상기 이미지(60)의 중심(f)이 가리키는 위치는 상기 다수의 수평선을 식별함에 의하여 간단히 측정될 수 있다.
이후, 도 11에서와 같이, h2가 고정된 상태에서 h1의 변화량(dh1)의 +a이라고 하면, 새로이 촬상된 이미지(70)의 중심은 f'로 변화된다. 마지막으로, 도 12에서와 같이, h1의 변화량(dh1)이 +a인 상태에서 카메라(160)의 방향을 하방으로 조절하여 촬상된 이미지(60)의 중심이 원래의 위치인 f로 돌아오도록 한다. 이 때, 상기 카메라(160)의 회전각도(c)를 β라고 하면, h1의 변화량(dh1), h2의 변화량(dh2) 및 카메라의 회전 각도(c)에 대해서 (+a, 0, β)라는 데이터 세트가 생성된다. 이와 같은 방법을 반복하여, h1 및 h2를 다양하게 변화시키면서 이를 보상하는 카메라의 회전 각도(c)를 모두 구하면 매핑 테이블이 완성된다. 예를 들어, h1을 총 20개의 샘플로 구분하고, h2를 총 20개의 샘플로 구분한다면, 총 400회의 반복된 데이터 세트 생성 과정이 필요하다. 이와 같이 다수의 데이터 세트로 매핑 테이블을 구성하면, 실제 측정된 차고에 대한 회전 각도(c)는 상기 데이터 세트를 구성하는 대표값을 보간(interpolation)함에 의하여 구해질 수 있을 것이다.
지금까지 설명한 실시예들은, 차고의 변화가 발생하여 카메라에 포착되는 영역이 변경되는 경우, 이에 따라 카메라의 방향을 조절함으로써 카메라에 일정한 영역이 포착될 수 있도록 하는 구성을 보여준다. 그런데, 이와 다른 실시예(제3 실시예)로서, 차고의 변화가 발생되더라도 카메라 자체는 고정된 상태에서 포착된 영상을 적절히 가공하여 디스플레이 함으로써 운전자에게 동일한 효과(차고의 변화가 없다고 느끼는 효과)를 제공하는 기술도 고려할 필요가 있다.
도 13 내지 도 16은 본 발명의 제3 실시예에 따른 동작 원리를 보여주는 도면이다. 이 중에서 도 13은 차고의 변화가 없는 경우를 보여준다.
먼저, 차고의 변화가 없는 상태에서 카메라에 포착된 영상(70)과 실제 차량의 디스플레이부에 표시하기 위한 샘플 영상(72)은 상이할 수 있다. 즉, 카메라의 촬상 소자 어레이의 크기에 따라 포착된 전체 영상(70) 중에서, 일정한 위치에 있는 샘플 영상(72)만을 추출하여 차량의 디스플레이부에 표시할 수 있는 것이다. 따라서, 샘플 영상(72)은 포착된 영상(70) 보다 상대적으로 작은 고정된 크기를 가지며, 포착된 영상(70)에 대하여 고정된 위치(예: 가운데 위치)에 존재한다.
도 14는 차고의 변화에 의하여 차량이 상방향으로 다소간 회전한 경우를 보여준다. 이 때 카메라에 포착된 영상(74)은 차고의 변화가 없는 경우에 포착된 영상(70)보다 상방향의 영상이다. 이 상황에서는 샘플 영상(76)도 마찬가지로 샘플 영상(72)에 비하여 상방향의 영상이 될 것이다. 그러나, 만약, 샘플 영상(76)의 위치를 하방향으로 a (수직 방향 시프트 값)만큼 이동시켜 시프트된 샘플 영상(78)만을 추출하여 디스플레이부에 표시한다면 운전자는 차고의 변화에 따른 카메라 각도의 변동을 느끼지 못할 수 있다.
한편, 도 15는 차고의 변화에 의하여 차량이 하방향으로 다소간 회전한 경우를 보여준다. 이 때 카메라에 포착된 영상(80)은 차고의 변화가 없는 경우에 포착된 영상(70)보다 하방향의 영상이다. 이 상황에서는 샘플 영상(82)도 마찬가지로 샘플 영상(72)에 비하여 하방향의 영상이 될 것이다. 그러나, 만약, 샘플 영상(82)의 위치를 상방향으로 b (수직 방향 시프트 값)만큼 이동시켜 시프트된 샘플 영상(84)만을 추출하여 디스플레이부에 표시한다면 운전자는 카메라 각도의 변동을 느끼지 못할 수 있다.
결국, 도 13 내지 도 15 중 어느 경우에도 디스플레이부에 표시되어 운전자에게 제공되는 영상은 도 16과 같이 추출되는 일정한 방향으로 고정된 위치의 영상이 된다. 이와 같이 본 발명의 제3 실시예에 따를 경우, 실제 디스플레이하는 영역에 비하여, 카메라의 촬상 소자 어레이가 제공하는 영역이 상하 방향으로 상당히 커야 하므로 상대적으로 높은 해상도의 촬상 소자가 필요하거나, 차고의 변화가 커서 동일 위치의 영상을 완전하게 추출할 수 없는 문제가 발생될 수 있다. 그러나, 상기 제3 실시예에 따르면, 카메라의 움직임을 조절하는 구동 장치가 요구되지 않고 단순히 영상의 처리만을 통해서도 운전자에게 고정된 방향의 영상을 제공할 수 있는 면에서는 장점이 있으므로 필요에 따라 상기 3가지 실시예 중에서 적절한 실시예의 선택이 가능하게 된다.
도 17은 본 발명의 제3 실시예에 따른 차량용 카메라 제어 장치(200)의 구성을 도시하는 블록도이다. 상기 차량용 카메라 제어 장치(200)는 도 1의 카메라 제어 장치(100)에서 카메라 조절부(150)가 제거되는 대신에, 영상 처리부(265)가 추가되었다는 점에서 차이가 있을 뿐이고, ECU(205), 메모리(210), 회전각 산출부(220), 센서부(235), 카메라(260) 및 디스플레이부(270)는 각각, ECU(105), 메모리(110), 회전각 산출부(120), 센서부(135), 카메라(160) 및 디스플레이부(170)와 마찬가지의 기능을 갖는다.
다만, 회전각 산출부(220)에서 제공된 회전각(α)는 영상 처리부(265)에 제공되며, 영상 처리부(265)는 상기 회전각(α)에 기초하여 샘플 영상을 상방향 또는 하방향으로 이동하여 추출함으로써 상기 회전각(α)에 의한 영향을 상쇄시킨다. 이 때, 영상 처리부(265)에 의하여 추출된 영상은 디스플레이부(270)를 통하여 운전자에게 제공된다.
그런데, 회전각(α)과 샘플 영상의 수직 방향 시프트 값(도 14의 a, 도 15의 b)과의 관계를 구하는 방법으로는 여러가지 방법이 있겠으나, 차량의 출시전 사전 캘리브레이션을 양자 간의 관계를 나타내는 매핑 테이블을 구하고 이를 차량의 메모리(210)에 저장하는 방식을 사용할 수 있다. 이 경우, 영상 처리부(265)는 상기 저장된 매핑 테이블을 통하여, 현재 상황에서의 수직 방향 시프트 값을 상시적으로 결정할 수 있다.
한편, 전술한 도 10 내지 도 12와 관련된 설명에서도 언급한 바와 같이, 단순히 회전각만으로는 차량의 상태를 정확하게 표현하는 데에 한계가 있을 수 있다. 따라서, 보다 정밀한 결과를 얻고자 한다면, 전륜 차고(h1) 및 후륜 차고(h2)의 절대적인 크기도 함께 고려할 필요가 있다. 따라서, 보다 바람직하게는, 차량의 출시전 사전 캘리브레이션을 통하여, 전륜 차고(h1), 후륜 차고(h2) (또는 전륜 차고의 변화량, 후륜 차고의 변화량) 및 샘플 영상의 수직 방향 시프트 값 간의 관계를 나타내는 매핑 테이블을 생성하여 차량의 메모리(210)에 저장해 두고, 영상 처리부(265)가 상기 저장된 매핑 테이블을 통하여 현재 상황에서의 수직 방향 시프트 값을 결정하게 할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
100, 200: 차량용 카메라 제어 장치 105, 205: ECU
110, 210: 메모리 120, 220: 회전각 산출부
130, 230: 전륜 차고 센서 135, 235: 센서부
140, 240: 후륜 차고 센서 150: 카메라 조절부
160, 260: 카메라 265: 영상 처리부
170, 270: 디스플레이부

Claims (11)

  1. 차량의 차고의 변화와 무관하게 차량용 카메라의 촬상 각도를 일정하게 유지하기 위한 차량용 카메라 제어 장치로서,
    차고의 변화를 감지하는 적어도 하나 이상의 센서;
    상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출하는 회전각 산출부; 및
    상기 산출된 회전각에 기초하여 상기 차량용 카메라의 촬상 각도를 조절하는 카메라 조절부를 포함하는, 차량용 카메라 제어 장치.
  2. 제1항에 있어서, 상기 적어도 하나 이상의 센서는
    상기 차량의 전륜 위치에서의 제1 차고를 감지하는 전륜 차고 센서와, 상기 차량의 후륜 위치에서의 제2 차고를 감지하는 후륜 차고 센서를 포함하는, 차량용 카메라 제어 장치.
  3. 제2항에 있어서, 상기 회전각 산출부는
    상기 제1 차고와 상기 제2 차고 중에서 적어도 하나의 변화가 감지되는 경우에는, 상기 제1 차고 및 제2 차고의 조합에 의하여 결정되는 오프셋과, 상기 전륜 위치와 후륜 위치 간의 거리로부터 상기 차량의 회전 각도를 계산하고, 상기 계산된 회전 각도를 상쇄하는 회전각을 산출하는, 차량용 카메라 제어 장치.
  4. 제2항에 있어서, 상기 회전각 산출부는
    소정의 메모리에 저장되고, 상기 제1 차고, 상기 제2 차고 및 상기 회전각 간의 관계를 정의하는 매핑 테이블을 기초로 상기 회전각을 산출하는, 차량용 카메라 제어 장치.
  5. 제1항에 있어서,
    상기 차량용 카메라에 의하여 촬상된 이미지를 표시하는 디스플레이부를 더 포함하는, 차량용 카메라 제어 장치.
  6. 제1항에 있어서, 상기 카메라 조절부는
    상기 회전각이 소정의 문턱값 이상인 경우에만 상기 촬상 각도를 조절하는, 차량용 카메라 제어 장치.
  7. 제1항에 있어서,
    상기 카메라에 의하여 얻어진 이미지를 처리하여 선행 차량의 정보를 분석하고, 상기 분석된 정보를 기초로 차량의 동작을 제어하는 ECU를 더 포함하는, 차량용 카메라 제어 장치.
  8. 차량의 차고의 변화와 무관하게 차량에 디스플레이되는 영상의 위치를 일정한 방향으로 유지하기 위한 차량용 카메라 제어 장치로서,
    차고의 변화를 감지하는 적어도 하나 이상의 센서;
    상기 감지된 차고의 변화를 보상하기 위한 차체의 회전각을 산출하는 회전각 산출부;
    상기 차량에 대하여 상대적으로 고정되어 영상을 포착하는 카메라; 및
    상기 산출된 회전각에 기초하여 상기 포착된 영상 중 샘플 영상을 추출하는 영상 처리부를 포함하는, 차량용 카메라 제어 장치.
  9. 제8항에 있어서, 상기 영상 처리부는
    상기 산출된 회전각에 기초하여, 상기 차고의 변화를 보상하기 위한 수직 방향 시프트 값을 획득하고, 상기 획득된 수직 방향 시프트 값만큼 이동된 상기 샘플 영상을 추출하는, 차량용 카메라 제어 장치.
  10. 제9항에 있어서,
    상기 산출된 회전각과 상기 수직 방향 시프트 값 간의 관계를 나타내는 매핑 테이블을 저장하는 메모리를 더 포함하는, 차량용 카메라 제어 장치.
  11. 제9항에 있어서,
    상기 차고의 변화와 상기 수직 방향 시프트 값 간의 관계를 나타내는 매핑 테이블을 저장하는 메모리를 더 포함하는, 차량용 카메라 제어 장치.
KR1020100114974A 2010-11-18 2010-11-18 차량용 카메라의 제어 장치 및 방법 KR20120053713A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100114974A KR20120053713A (ko) 2010-11-18 2010-11-18 차량용 카메라의 제어 장치 및 방법
US13/277,745 US20120127310A1 (en) 2010-11-18 2011-10-20 Apparatus and method for controlling a vehicle camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100114974A KR20120053713A (ko) 2010-11-18 2010-11-18 차량용 카메라의 제어 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130030453A Division KR101678519B1 (ko) 2013-03-21 2013-03-21 차량용 카메라의 제어 장치

Publications (1)

Publication Number Publication Date
KR20120053713A true KR20120053713A (ko) 2012-05-29

Family

ID=46064024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100114974A KR20120053713A (ko) 2010-11-18 2010-11-18 차량용 카메라의 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US20120127310A1 (ko)
KR (1) KR20120053713A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406230B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
TWI497990B (zh) * 2012-01-11 2015-08-21 Hon Hai Prec Ind Co Ltd Ptz攝像裝置控制系統及方法
JP5379334B1 (ja) * 2012-06-12 2013-12-25 オリンパスイメージング株式会社 撮像装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
EP2942951A1 (en) * 2014-05-06 2015-11-11 Application Solutions (Electronics and Vision) Limited Image calibration
KR101822890B1 (ko) * 2015-01-22 2018-01-29 엘지전자 주식회사 차량의 전방 촬영 카메라 모듈
US9863789B2 (en) 2015-06-30 2018-01-09 Ford Global Technologies, Llc Rotating camera systems and methods
DE102015010009A1 (de) * 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010011B4 (de) 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP6540656B2 (ja) 2016-11-08 2019-07-10 トヨタ自動車株式会社 車両後方画像表示装置及び車両後方画像表示プログラム
JP2019108076A (ja) * 2017-12-20 2019-07-04 トヨタ自動車株式会社 画像表示装置
US12077948B2 (en) 2022-03-04 2024-09-03 Deere &Company System and method for maintaining a view of an area of interest proximate a work vehicle
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476730B2 (en) * 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP3729095B2 (ja) * 2001-06-29 2005-12-21 日産自動車株式会社 走行路検出装置
JP4108314B2 (ja) * 2001-10-31 2008-06-25 トヨタ自動車株式会社 車両用周辺監視装置
JP4155780B2 (ja) * 2002-09-19 2008-09-24 富士通テン株式会社 画像処理方法
JP2004276825A (ja) * 2003-03-18 2004-10-07 Mitsubishi Fuso Truck & Bus Corp 車両用ヘッドランプの光軸調整装置
JP3979339B2 (ja) * 2003-05-12 2007-09-19 日産自動車株式会社 車線逸脱防止装置
JP4435519B2 (ja) * 2003-08-21 2010-03-17 富士重工業株式会社 車両の走行制御装置
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP4158664B2 (ja) * 2003-09-25 2008-10-01 三菱ふそうトラック・バス株式会社 車両用ヘッドランプの光軸制御装置
JP4196942B2 (ja) * 2004-12-21 2008-12-17 セイコーエプソン株式会社 撮像装置及びこれを備えた携帯電話機
JP4623501B2 (ja) * 2005-02-18 2011-02-02 タカタ株式会社 検知システム、報知装置、駆動装置、車両
JP4300199B2 (ja) * 2005-06-13 2009-07-22 株式会社東芝 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
JP2008001136A (ja) * 2006-06-20 2008-01-10 Takata Corp 車両乗員シート検出システム、作動装置制御システム、車両
JP2008145226A (ja) * 2006-12-08 2008-06-26 Olympus Corp 欠陥検査装置及び欠陥検査方法
JP4859652B2 (ja) * 2006-12-15 2012-01-25 アルパイン株式会社 画像表示装置
JP4428390B2 (ja) * 2007-02-15 2010-03-10 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP4386083B2 (ja) * 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
JP4609444B2 (ja) * 2007-03-08 2011-01-12 トヨタ自動車株式会社 駐車支援装置
JP2008269496A (ja) * 2007-04-24 2008-11-06 Takata Corp 乗員情報検出システム、乗員拘束システム、車両
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406230B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법

Also Published As

Publication number Publication date
US20120127310A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
KR20120053713A (ko) 차량용 카메라의 제어 장치 및 방법
US20090322872A1 (en) Image acquisition system and method for distance determination using an image recording system
JP5051468B2 (ja) センサ校正装置、及び、センサ校正方法
JP5592961B2 (ja) 車体の動きを特定するための方法
JP5692044B2 (ja) 車両状態量推定装置、車両用操舵制御装置
US7965871B2 (en) Moving-state determining device
JP3722487B1 (ja) 車両用走行区分線認識装置
US8659659B2 (en) System of gauging a camera suitable for equipping a vehicle
CN102778754B (zh) 用于使车辆的投影装置的投影对齐的方法和装置
JP2007024590A (ja) 物体検出装置
CN101676686B (zh) 确定布置在车辆中的照相机的位置和取向的方法
US20120256874A1 (en) Operation apparatus
CN103502876A (zh) 用于校正车辆的投影装置的方法和设备
CN102211523A (zh) 用于跟踪对象标记位置的方法和装置
CN106573571A (zh) 利用惯性传感器的驾驶员辅助系统
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
CN110174059A (zh) 一种基于单目图像的受电弓导高及拉出值测量方法
JP2019003613A (ja) 車両の車両カメラを較正するための方法および装置
CN108430859A (zh) 挡风板装置
KR101678519B1 (ko) 차량용 카메라의 제어 장치
US8681138B2 (en) Method and device for measuring light conditions in an automobile for determining a control signal
JP2010160379A (ja) カメラキャリブレーション方法、およびカメラキャリブレーション装置
JPWO2018173907A1 (ja) 車両制御装置
US8064047B2 (en) Method and apparatus for contactless determination of a lateral offset relative to a straight-ahead direction
CN113474678B (zh) 用于补偿车辆部件的运动的系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application
A107 Divisional application of patent