[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20110092322A - 화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치 - Google Patents

화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치 Download PDF

Info

Publication number
KR20110092322A
KR20110092322A KR1020117014413A KR20117014413A KR20110092322A KR 20110092322 A KR20110092322 A KR 20110092322A KR 1020117014413 A KR1020117014413 A KR 1020117014413A KR 20117014413 A KR20117014413 A KR 20117014413A KR 20110092322 A KR20110092322 A KR 20110092322A
Authority
KR
South Korea
Prior art keywords
edge
image
image processing
output
directions
Prior art date
Application number
KR1020117014413A
Other languages
English (en)
Other versions
KR101265000B1 (ko
Inventor
료스케 가사하라
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20110092322A publication Critical patent/KR20110092322A/ko
Application granted granted Critical
Publication of KR101265000B1 publication Critical patent/KR101265000B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

화상의 선예도를 향상시키는 에지 강조 필터를 포함하는 화상 처리 장치가 제공된다. 상기 에지 강조 필터는, 주목 화소와 촬상된 화상의 광학 중심 간의 2축 이상의 방향들에서의 거리의 값들을 산출하는 거리 산출기들, 2 방향들에서의 에지량들을 추출하는 에지 추출 필터들, 상기 에지 추출 필터들에 의하여 추출된 에지량들 각각에, 축 방향들 중 대응하는 방향의 거리값들 중 하나를 곱하는 곱셈기들, 상기 곱셈기들의 출력들을 가산하는 제1 가산기, 및 상기 제1 가산기의 출력과 상기 주목 화소의 화소값을 가산하는 제2 가산기를 포함한다 필요시, 상기 제1 가산기와 상기 제2 가산기 사이에 코어링기가 개재될 수 있다.

Description

화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치{METHOD AND APPARATUS FOR IMAGE PROCESSING AND ON-VEHICLE CAMERA APPARATUS}
본 발명은 일반적으로, 광화각(wide-view-angle) 광학 시스템을 이용하여 취득한 화상을 처리하는 화상 처리 장치 및 방법, 및 이 화상 처리 장치를 포함하는 차량 탑재 카메라 장치에 관한 것이다.
종래부터 렌즈와 같은 광학 시스템에 의한 해상도의 열화와, 왜곡 보정 후의 주파수 특성을 보정하기 위하여, 고역 강조 필터(high-frequency enhancement filter)(에지 강조 필터)가 이용되어 왔다.
그런데, 광학 시스템을 사용하여 촬상할 때, 사용되는 광학 시스템에 따라서는, 화상이 주변을 향해 감에 따라, 즉 광학 시스템의 광학 중심에서 멀어질수록 화상의 해상도가 떨어진다. 이 때문에, 예컨대, 일본 특허 공개 제2007-148500호는 고역 강조 필터의 사용을 개시하고 있다. 이 고역 강조 필터에서, 화상 프레임 중심으로부터의 거리에 따라 필터 계수가 변하여, 화상 프레임의 주변에 대하여 광역 강조를 수행한다.
종래의 방향 비의존성의 균일한 필터를 이용하여, 화상 프레임의 주변부에서 고역 강조(에지 강조)의 강도를 증가시키기 위하여, 전방향으로(omnidirectional) 상당히 강한 에지 강조가 요구되었다. 이것은, 노이즈가 크게 증폭된다는 부작용을 야기한다.
비트 시프터(bit shifter) 및 가산기(adder)에 의하여 계수 고정 필터가 실행될 수 있다. 반대로, 화상 프레임이 화상 프레임의 상이한 부분들에서 상이한 필터 계수들을 갖도록 하는 구성은, 다수의 곱셈기들이 필요하여 회로 구모가 커진다. 이로써, 이 구성이 저전력으로도 동작해야 하는, 차량 적재 기기와 같은 특정 경우들에서 본 구성은 덜 적합하게 된다.
본 발명은 종래 기술에서 상기 문제점들을 해결하고자 한다.
본 발명의 태양에 따르면, 화상의 선예도(sharpness)를 향상시키는 에지 강조 필터 수단을 포함하는 화상 처리 장치를 제공한다. 이 에지 강조 필터 수단은, 적어도 2축 방향들에서 주목(target) 화소와, 촬상된 화상의 광학 중심 간의 거리의 값들인 거리값들을 산출하는 거리 산출 수단; 축 방향들 각각에 대응하는 에지 추출 필터들로서, 에지 추출 필터들 각각은 적어도 2 방향들 중 대응하는 방향으로 에지량을 방향별로 추출하도록 구성된 상기 에지 추출 필터들; 상기 에지 추출 필터들 각각에 대응하는 곱셈 수단들로서, 상기 곱셈 수단들 각각은, 상기 에지 추출 필터들 중 대응하는 하나에서 추출된 에지량에, 축 방향들 중 대응하는 하나에 대하여 상기 거리 산출 수단에서 산출된 거리값을 곱하는 상기 곱셈 수단들; 상기 곱셈 수단들의 출력들을 가산하는 제1 가산 수단; 및 상기 제1 가산 수단의 출력에 주목 화소의 화소값을 가산하는 제2 가산 수단을 포함한다.
본 발명의 태양에 따르면, 화상 프레임의 주변에서 해상도가 떨어지는 광학 시스템의 보정이 비교적 작은 규모의 회로 및 처리로 수행될 수 있다. 이와 동시에, 노이즈 증폭도 억제될 수 있다. 또한, 화상 프레임의 주변부에서 뿐만 아니라, 그 중심 부분에서도 에지 강조가 수행될 수 있다.
도 1은 본 발명의 실시예에 따른 화상 촬상 장치의 전체 구성을 도시하는 블록도이다.
도 2는 배율 색 수차 및 왜곡을 설명하는 도면이다.
도 3은 배율 색 수차 및 왜곡의 동시 보정을 설명하는 도면이다.
도 4a 및 도 4b는 배율 색 수차 및 왜곡의 독립적인 보정을 설명하는 도면이다.
도 5는 도 1에 도시된 배율 색 수차 보정 유닛의 구체적 구성을 도시하는 블록도이다.
도 6a 내지 도 6c는 도 5에 도시된 좌표 변환 유닛의 예시적인 구성을 도시하는 블록도이다.
도 7은 도 1에 도시된 왜곡 보정 유닛의 구체적 구성을 도시하는 블록도이다.
도 8은 도 1에 도시된 변조 전달 함수(Modulation Transfer Function, MTF) 보정 유닛의 기본 구성을 도시하는 블록도이다.
도 9는 유한 임펄스 응답(Finite Impulse Response, FIR) 필터에 대한 예시적인 계수들을 도시하는 테이블이다.
도 10은 도 8에 도시된 FIR 필터의 예시적인 구성을 도시하는 블록도이다.
도 11은 도 10에 도시된 세로/가로 에지 추출 필터들에 대한 예시적인 계수들을 도시하는 테이블이다.
도 12는 화상 프레임 중심과 주목 화소 간의 관계를 도시하는 개략도이다.
도 13a 내지 도 13c 각각은 거리 산출기의 예시적인 입력/출력 특성들을 설명하는 그래프들이다.
도 14a 및 도 14b 각각은 코어링(coring)기의 예시적인 입력/출력 특성들을 설명하는 그래프들이다.
도 15는 도 8에 도시된 FIR 필터의 다른 구성예를 도시하는 블록도이다.
본 발명의 예시적인 실시예들을 첨부된 도면들을 참조하여 이하에 상세히 설명한다. 본 발명의 일 실시예는, 고배율 색 수차와 높은 왜곡을 갖는 광화각 광학 시스템을 이용하여 피사체를 촬상하는 화상 촬상 장치를 제공한다. 이 화상 촬상 장치는, MTF 보정 외에, 배율 색 수차 보정, 왜곡 보정 등을 수행하는 화상 처리 시스템을 포함한다. 본 구성은 여기에 한정되지 않는다는 것은 물론이다.
또한, 다음 설명에서, 화상은 가법 원색들, 즉 적(R), 녹(G), 청(B)으로 구성되는 것으로 가정한다. 본 발명은, 화상이 감법 원색들, 즉 황(Y), 마젠타(M), 시안(C)으로 구성되는 경우에도 적용될 수 있다는 것은 물론이다.
도 1은, 본 발명의 실시예에 따른 화상 촬상 장치에서의 화상 처리 시스템의 기능 블록도이다. 본 화상 촬상 장치는, 외적으로, 조작 유닛, 화상 기억 유닛, 및 화상 표시 유닛(모니터)을 더 포함하지만, 도 1에 도시되어 있지 않다. 본 화상 촬상 장치는 차량 탑재 카메라 장치로서 사용되는 것을 상정하고 잇다. 본 화상 촬상 장치는 어떤 다른 방식으로도 사용될 수 있다는 것은 물론이다.
화상 촬상 장치는 제어 유닛(100)을 포함한다. 제어 유닛(100)은 제어 신호들(클록, 수평/수직 동기 신호 등)을 화상 촬상 장치의 모든 다른 유닛들에 공급한다. 즉, 제어 유닛(100)은 모든 다른 유닛들의 동작을 파이프라인적으로 제어한다.
화상 촬상 장치는 촬상 소자(110)를 포함한다. 촬상 소자(110)는, 소자들, 예컨대 CCD(charge-coupled device) 또는 CMOS(complementary metal oxide semiconductor) 센서를 포함하고, 광각 광학 시스템(미도시)을 사용함으로써 촬상된 광학 화상을 전기 신호들(화소 신호들)로 변환시킨다. 광각 광학 시스템은 큰 배율 수차 및 왜곡을 갖는다. 촬상 소자(110)는 배이어 배열(Bayer-array) 컬러 필터를 더 포함하고, 배이어 배열의 RGB 화소 신호들을, 제어 유닛(100)으로부터 주어진 좌표값들(x, y)에 따라 순차 출력한다. 제어 유닛(100)은 또한, 촬상 소자(110)에 부여하는 좌표값들(x, y)을, 미리 결정된 타임 래그(time lag)로 제어 유닛(100)의 후단에 배치된 유닛들에 순차 공급한다.
다른 구성에서, 제어 유닛(100) 대신, 촬상 소자(110)가, 클록 및 수평/수직 동기 신호들의 수신에 응답하여 좌표값들(x, y)을 생성하고, 이들을 제어 유닛(100)의 후단에 배치된 유닛들에 순차적으로 공급한다.
화상 촬상 장치는 촬상 소자(110)의 후단에 아날로그-디지털(A/D) 변환기(120)를 포함한다. 촬상 소자(110)로부터 출력된 배이어 배열 RGB 화상 신호들은 아날로그 신호들이다. A/D 변환기(120)는 아날로그 배이어 배열의 RGB 화상 신호들을 디지털 신호들(화소 데이터)로 변환시킨다. 디지털 신호들 각각은, 예컨대 RGB 컬러당 8비트를 갖는 신호이다. 통상적으로 A/D 변환기(120)의 전단에는 자동 이득 제어(Automatic Gain Control, AGC) 회로가 제공되어 있으나, 그 설명은 생략한다.
화상 촬상 장치는 A/D 변환기(120)의 후단에 배이어 보간 유닛(130)을 포함한다. 배이어 보간 유닛(130)은, 디지털 배이어 배열의 RGB 화상 신호(화소 데이터)를 받아, RGB의 개별 컬러별로 선형 보간을 행함으로써 모든 좌표 위치들에 대한 화소 데이터를 생성한다.
본 실시예에서, 촬상 소자를 배이어 배열의 컬러 필터를 포함하는 것으로 논의하였으나, 본 실시예는, 다른 CMYG 배열이나, RGB + Ir(infrared-ray) 배열과 같은, 다른 배열의 컬러 필터를 포함하는 촬상 소자에 대해서도 효과적이다. 특히, 상술된 4컬러 배열을 갖는 이러한 컬러 필터를 포함하는 촬상 소자는, RGB와 같은 3컬러의 타입과 비교하여, 배율 색 수차 보정을 위한 저 레이턴시(lower latency)의 메모리 또는 4포트 RAM(random access memory)을 필요로 한다.
화상 촬상 장치는 배이어 보간 유닛(130)의 후단에 배율 색 수차 보정 유닛(140)을 포함한다. 배율 색 수차 보정 유닛(140)은, 배이어 보간된 R, G, B 화소 데이터를 받아, 미리 결정된 다항식을 사용하여 RGB의 개별 색 성분별로 좌표 변환(배율 색 수차에 대한 좌표 변환)을 수행하고, 배율 색 수차 보정된 RGB 화소 데이터를 출력한다. 후술하는 바와 같이, 배율 색 수차 보정을 위한 좌표 변환은, 비교적 저용량 및 저 레이턴시를 갖는 메모리, 또는 비교적 저용량 및 복수의 포트들을 갖는 메모리(예컨대, SRAM(static random access memory))를 사용함으로써 수행될 수 있다.
화상 촬상 장치는 배율 색 수차 보정 유닛(140)의 후단에 MTF 보정 유닛(150)을 포함한다. MTF 보정 유닛(150)은, 배율 색 수차 보정된 RGB 화소 데이터를 받아, RGB 화소 데이터의 휘도 신호에 고역 강조 필터링인 MTF 보정을 수행하고, MTF 보정된 RGB 화소 데이터를 출력한다. 본 발명은 일반적으로, 이 MTF 보정 유닛(150)에 관한 것이다. 후술하는 바와 같이, 본 발명에 따른 구성으로 함으로써, 비교적 작은 회로 규모의 회로로 화상 프레임의 단부를 향해 고역 강조의 강도를 증가시키게 할 수 있다. 또한, 광학적 해상도가 낮은 경향이 있는 화상 프레임 중심으로부터 탄젠트 방향으로 특이적으로 강한 에지 강조를 수행할 수 있다.
화상 촬상 장치는 MTF 보정 유닛(150)의 후단에 왜곡 보정 유닛(160)을 포함한다. 왜곡 보정 유닛(160)은, 배율 색 수차 보정 및 MTF 보정된 RGB 화소 데이터를 받아, 미리 결정된 다항식 등을 사용하여 RGB 색 성분들 공통으로 좌표 변환(왜곡에 대한 좌표 변환)을 수행하여, 왜곡 보정된 RGB 화소 데이터를 출력한다. 후술하는 바와 같이, 왜곡 보정을 위한 좌표 변환에 사용되는 메모리는 바람직하게는, 배율 색 수차 보정에 사용되는 메모리보다 큰 용량(최대 1 화상 프레임 만큼)을 가지나, 왜곡 보정을 위한 메모리에 요구되는 포트 수는 1개이다. 따라서, 이 메모리로서, 고 레이턴시의 메모리(DRAM(dynamic random access memory) 등)가 사용될 수 있다.
화상 촬상 장치는 왜곡 보정 유닛(160)의 후단에 감마 보정 유닛(170)을 포함한다. 감마 보정 유닛(170)은, 왜곡 보정 유닛(160)으로부터 출력된 RGB 화소 데이터를 받아, RGB의 개별 색별로 룩업 테이블(look-up table) 등을 이용하여 이 데이터에 미리 결정된 감마 보정을 수행하고, 감마 보정된 RGB 화소 데이터를 출력한다. 감마 보정 유닛(170)으로부터 출력된 화소 데이터는 표시 유닛(미도시)에 모니터 표시된다.
도 1에 도시된 구성을 갖는 화상 촬상 장치는, 촬상 시스템이 색 배율 수차 및 왜곡을 갖는 광학 시스템을 채용하여 화상 품질(해상도)이 그 주변에서 비교적 낮은 화상을 생성하여도, 비교적 작은 규모의 회로를 갖고 저비용인 고품질 화상 촬상 시스템을 제공할 수 있다. 한편, 배율 색 수차 보정 유닛(140)은, 배율 색 수차 및 왜곡을 동시에 보정하는 배율 색 수차 및 왜곡 보정 유닛으로 대체될 수 있다. 이러한 배율 색 수차 및 왜곡 보정 유닛이 채용되면, 왜곡 보정 유닛(160)은 불필요하다. 감마 보정 유닛(170)은 배이어 보간 유닛(130)의 바로 후단에 배치될 수 있다.
배율 색 수차 보정 유닛(140), MTF 보정 유닛(150), 및 왜곡 보정 유닛(160)의 예시적인 구체적인 구성을 이하에 상술한다.
배율 색 수차 보정 유닛(140)과 왜곡 보정 유닛(160)에 관해 상술하기 전에, 배율 색 수차 보정과 왜곡 보정의 원리를 설명한다.
도 2에 개략적으로 도시된 바와 같이, 광학 시스템을 사용하여 화상이 촬상되고, 또 배율 색 수차와 왜곡이 발생될 때, 화상 프레임의 우측 위에 1로 표시되는 원위치(화소)에 관련된 화소 데이터는, 왜곡에 의해 이 원위치로부터 어긋나고, 또한 배율 색 수차에 의해서 RGB의 상이한 색 성분들 간에서 상이하게 어긋난다. 따라서, 촬상 소자로 실제로 촬상되는 R 성분, G 성분, 및 B 성분은 각각 도 2에 2(R), 3(G), 및 4(B)로서 도시되어 있다. 배율 색 수차 보정과 왜곡 보정은, 2(R), 3(G), 4(B)의 위치들(화소들)에서의 RGB 색 성분들에 관련된 화소 데이터를 원위치인 1의 위치(화소)에 복사함으로써, 즉 좌표 변환을 수행함으로써 실행될 수 있다. 좌표 변환을 수행할 때, 위치들 2, 3, 4은 좌표 변환원 좌표들로서 사용되고, 위치 1은 좌표 변환처 좌표로서 사용된다.
광학 시스템의 설계 데이터로부터 왜곡량 및 배율 색 수차량이 획득될 수 있고, 따라서 원위치에 대하여, RGB 색 성분들의 어긋남들의 양을 계산할 수 있다.
도 3은 배율 색 수차와 왜곡을 동시에 보정하는 방법을 설명하는 개략도이다. 구체적으로, 2(R), 3(G), 4(B)의 위치들(화소들)에서의 RGB 색 성분들에 관련하는 화소 데이터를 원위치인 1의 위치(화소)에 복사함으로써, 즉 좌표 변환을 수행함으로써, 배율 색 수차와 왜곡이 동시에 보정될 수 있다. 그러나, 이 방법에서, RGB 각각에 대하여 비교적 큰 용량과 저 레이턴시 또는 복수의 포트들을 갖는 메모리를 제공해야 한다는 단점이 있다. 예컨대, 도 3에 도시된 예에서, RGB 각각에 대하여, 좌표 변환을 수행하기 위하여 고속의 6라인 메모리가 필요하다.
도 4a 및 도 4b는 배율 색 수차와 왜곡을 독립적으로 보정하는 방법들을 설명하는 개략도이다. 배율 색 수차는 상이한 색 성분들 간에 상이한 어긋남량들로 발생하지만, 어긋남량들은 비교적 작다. 반면, 왜곡은 비교적 어긋남량이 크게 발생하지만, 어긋남량은 상이한 색 성분들에 대하여 동일하다. 이것에 착안하여, 화소 데이터의 좌표 변환은 RGB의 개별 색 성분별로 수행되어(후술되는 예에서, RB 색 성분들은 좌표 변환되어 G 성분의 위치에 복사된다), 배율 색 수차를 보정하고, 그 후 배율 색 수차 보정된 RGB 화소 데이터가 하나의 데이터 세트로서, 왜곡 보정을 위하여 좌표 변환된다. 이 방법에 의하여, 좌표 변환용 메모리들을 배율 색 수차 보정용으로, 및 왜곡 보정을 위한 좌표 변환용으로 따로따로 사용할 수 있다. 보다 구체적으로는, 배율 색 수차 보정을 위한 좌표 변환에 사용되는 RGB를 위한 고속(저 레이턴시 또는 복수의 포트들을 갖는)의 저용량 메모리를 사용할 수 있고, 왜곡 보정을 위하여 RGB 간에 공유되는 저속(고 레이턴시 또는 단일 포트를 갖는)의 대용량 메모리를 사용할 수 있다. 분리된 메모리들을 사용함으로써 비용이 절감된다. 도 1의 시스템 구성은 이것을 설명하기 위한 것이다.
배율 색 수차 보정의 개략도인 도 4a를 참조하여, 위치들(화소들) 2(R) 및 4(B)에서의 RB 색 성분들에 관련된 화소 데이터는 좌표 변환이 행해져, G 성분의 위치(화소)인 3(G)에 복사된다. 이 동작을 수행함으로써 배율 색 수차 보정이 달성된다. 왜곡 보정의 개략도인 도 4b를 참조하여, 배율 색 수차 보정되고, 위치들(화소들) 3에서의 RGB 색 성분들에 관련된 화소 데이터는 하나의 데이터 세트로서 좌표 변환이 행해져, 원위치인 위치(화소) 1에 복사된다. 이 동작을 수행함으로써 왜곡 보정이 달성된다.
도 4a 및 도 4b에 도시된 예에서, RGB를 개별적으로 처리하는 3 라인의 고속 메모리가 배율 색 수차 보정용으로 만족스럽게 사용될 수 있다. 반면, 왜곡 보정용 5 라인 메모리가 추가로 요구되지만, 이 메모리는 RGB 간에 공유되는 저속 메모리일 수 있어, 도 3에 비교하여 전체적인 비용 절감이 가능하다.
여기서 논의된 왜곡이란, 사용되는 사영 방식의 렌즈의 왜곡을 의미한다. 사용되는 사영 방식의 예들로서, 카메라를 위에서 본 화상을 획득하기 위한 사영 방식, 및 화상의 일부를 확대하여 표시하기 위한 사영 방식을 들 수 있다.
도 5는 배율 색 수차 보정 유닛(140)의 개략 구성도이다. 배율 색 수차 보정 유닛(140)은, 1410(R), 1410(G), 1410(B)이 각각 R 색 성분, G 색 성분, B 색 성분에 대한 것인, 배율 색 수차 보정을 위한 좌표 변환 메모리들(라인 버퍼들)(SRAM); 미리 결정된 좌표 변환 알고리즘에 기초하여 RGB의 개별 색별로 배율 색 수차 보정용 변환 좌표를 계산하는 좌표 변환 유닛(1420); 및 좌표 변환 알고리즘에 사용되는 계수들을 내부에 기억하는 좌표 변환 계수 테이블(1430)을 포함한다.
배율 색 수차 보정은, 라인 버퍼로서, 비교적 소용량이지만 RGB용 3개의 포트들 또는 저 레이턴시를 갖는 메모리로 만족스럽게 수행될 수 있다. 이 예에서, 좌표 변환 메모리들(1410(R), 1410(G), 1410(B)) 각각은, 배율 색 수차로 인한 최대 어긋남량이 20 라인들인 것으로 가정하여, 20 라인들의 용량을 갖는 SRAM을 포함하는 것으로 한다. X 방향의 메모리 사이즈는 해상도에 좌우된다. 예컨대 해상도가 비디오 그래픽스 어레이(video graphics array, VGA)(640 x 480)의 해상도와 동일할 때, 640 도트의 X 방향의 사이즈는 충분하다. 색 심도는 RGB의 색당 8비트이고, 좌표 변환 메모리들(1410(R),1410(G),1410(B)) 각각에 대한 기록 및 판독은 8비트 단위로 수행된다.
따라서, 좌표 변환 메모리들(1410(R),1410(G),1410(B)) 각각은 소용량이고, 따라서 메모리들 각각은 바람직하게는, 화상 처리 칩 내에 제공된 3포트 SRAM을 포함하여, 20 라인들을 포함하는 메모리 영역을 확보한다. 메모리가 SRAM과 같은 저 레이턴시 메모리인 경우, 1 포트 메모리가 타임 셰어링(time sharing) 방식으로 3포트 메모리로서 사용될 수 있다.
배율 색 수차를 받은 RGB의 각 색들의 화소 데이터가, 좌표 변환 메모리들(1410(R), 1410(G), 1410(B)) 중 대응하는 하나에, 대응하는 좌표값들(x, y)에 따라서 그 선두 라인으로부터 순차 기록된다. 화소 데이터의 20 라인들이 메모리들 각각에 기록되었으면, 선두 라인으로부터 화소 데이터가 순차적으로 폐기되고, 폐기된 데이터에 대신하여 화소 데이터의 후속 라인들이 순차적으로 새롭게 기록된다. 따라서, 좌표 변환 메모리들(1410(R), 1410(G), 1410(B)) 각각에, 배율 색 수차 보정용 좌표 변환의 수행이 필요한, 메모리당 최대 20 라인들의 RGB 화소 데이터가 순차 기억된다.
좌표값들(x, y)은 촬상 화상의 1 프레임의 판독 위치를 나타낸다. 한편, 좌표 변환 메모리들(1410(R), 1410(G), 1410(B)) 각각은 20라인의 라인 버퍼로, 기록될 라인이 주기적으로 변하고, 따라서 좌표값들(x, y)을 그대로 좌표 변환 메모리들(1410(R), 1410(G), 1410(B))의 기록 어드레스들로서 사용할 수 없다. 따라서, 좌표값들(x, y)을, 좌표 변환 메모리들(1410(R), 1410(G), 1410(B))의 실 어드레스들로 변환해야 하나, 이것에 관한 구성은 도 5에 도시되어 있지 않다. 이것은, 후술할 것인, 판독 동작에서 변환후 좌표값들(X, Y)과 좌표 변환 메모리들(1410(R), 1410(G), 1410(B))의 판독 어드레스들 간의 관계에 대해서도 마찬가지이다.
좌표 변환 유닛(1420)은, 좌표 변환처 좌표들인 좌표값들(x, y)을 받고, 다항식과 같은 미리 결정된 좌표 변환 알고리즘을 사용하여 RGB 개별 색별로 배율 색 수차 보정용 변환 좌표들을 계산하고, RGB의 개별 색별로 좌표 변환원 좌표들인 좌표값들(X, Y)을 출력한다. 도 4a에 도시된 바와 같이, 본 실시예에서, R 및 B 색 성분들은 좌표 변환되어 G 성분의 위치에 복사된다. 따라서, G 성분에 관하여는, 입력 좌표값들(x, y)을 받은 좌표 변환 유닛(1420)은 이들을, 변환을 수행하지 않고 좌표값들(X, Y)로서 출력하고, R 및 B 색 성분들에 관하여는, 좌표 변환 유닛(1420)은 미리 결정된 좌표 변환 알고리즘을 이용하여 RB의 개별 색별로 입력된 좌표값들(x, y)을 좌표값들(X, Y)로 변환하여, 이 좌표값들(X, Y)을 출력한다. 이 동작을 좌표값들(x, y)의 각 세트에 대하여 반복한다.
화상 프레임의 중심을 원점으로 가정할 때, 좌표 변환 알고리즘은 다음 식 (1)로 표현될 수 있다.
Figure pct00001
여기서, abs( )는 ( )의 파라미터의 절대값이고, a(1)∼a(4), b(1)∼b(4)는 좌표 변환 계수들이다. 좌표 변환 계수들은 미리 좌표 변환 계수 테이블(1430)에 기억된다.
상술된 좌표 변환 메모리들(1410(R), 1410(G), 1410(B))에의 기록과 평행하게(실제로는, 미리 결정된 기간 지연되어), 좌표 변환 유닛(1420)으로부터 출력된 좌표값들(X, Y)에 따라(실제로는, 좌표값들(X, Y)의 어드레스 변환된 값들), RGB 화소 데이터가 좌표 변환 메모리들(1410(R), 1410(G), 1410(B))로부터 순차 판독된다. 이 경우, 좌표 변환 메모리(1410(G))로부터, G 성분 화소 데이터가 기록되었던 위치와 동일한 위치의 G 성분 화소 데이터가 판독된다. 반면, 좌표 변환 메모리들(1410(R), 1410(B)) 중 대응하는 메모리로부터는, 색 성분 화소 데이터가 기록되었던 위치로부터 미리 결정된 거리만큼, 즉 배율 색 수차량만큼 어긋난 위치의 R 성분 화소 데이터 및 B 성분 화소 데이터 각각이 판독된다.
이상의 처리에 의해, 좌표 변환 메모리들(1410(R), 1410(G), 1410(B))로부터, 배율 색 수차 보정된 RGB 화소 데이터가 출력된다. 구체적으로는, 좌표 변환원 좌표값들(X, Y)의 RGB 화소 데이터가, 좌표 변환처 좌표값들(x, y)의 RGB 화소 데이터로서 출력된다.
도 6a 내지 도 6c는 좌표 변환 유닛(1420)의 다양한 구성예들을 도시한다. 도 6a는, G의 색 성분은 좌표 변환이 되지 않고, 입력값들인 좌표값들(x, y)이 G 용 좌표값들(X, Y)로서 출력되고, R과 B의 색 성분들은, 각각 R에 대한 좌표 변환 연산 유닛(1421) 및 B에 대한 좌표 변환 연산 유닛(1422)에 의해, 입력값들인 좌표값들(x, y)을 변환하여 R용 좌표값들(X, Y) 및 B용 좌표값들(X, Y)을 출력하는 좌표 변환이 되는 구성예이다. 좌표 변환 연산 유닛들은 R과 B 색 성분들만을 위하여 제공되므로, 회로 규모의 증가를 억제할 수 있다.
도 6b 및 도 6c는, R 및 B 색 성분들이 일반적으로, G 색 성분에 대하여 실질적으로 대칭이도록 배율 색 수차에 의하여 어긋난다는 사실에 착안하여 도출된 다른 예시적인 구성들을 도시한다(도 2). 도 6b는, 하나의 좌표 변환 연산 유닛(1423)이 좌표값들(x, y)에 관해서 보정량들을 계산하고, 감산 유닛(1424)이 좌표값들(x, y)에서 보정량들을 감산하여 B용 좌표값들(X, Y)을 획득하는 한편, 가산 유닛(1425)이 보정량들을 좌표값들(x, y)에 가산하여 R용 좌표값들(X, Y)을 획득하는 예시적인 구성을 도시한다. 반면, 도 6a에 도시된 것과 동일한 방식으로, G용 입력 좌표값들(x, y)은 G용 좌표값들(X, Y)로서 그대로 출력된다.
도 6c는, 대칭 위치들 간의 어긋남을 감안하도록 R용 보정량들을 조정하기 위하여 게인 회로(1426)가 제공되는 예시적인 구성을 도시한다. 도 6b 및 도 6c에 도시된 예시적인 구성은 단지 하나의 좌표 변환 연산 유닛으로 구현되어, 회로 규모를 더욱 작게 한다.
도 6a에 도시된 좌표 변환 연산 유닛들(1421, 1422) 대신에, R 및 B 색 성분들 각각에 대한 입력 좌표값들(x, y)과 출력 좌표값들(X, Y) 간의 대응을 기억하는 룩업 테이블(look-up table, LUT)이 제공되어, LUT를 이용하여 좌표 변환처 좌표값들(x, y)에 대응하는 좌표 변환원 좌표값들(X, Y)이 직접 획득될 수 있다. 마찬가지로, 도 6b 및 도 6c에 도시된 좌표 변환 연산 유닛(1423) 대신에, 입력 좌표값들(x,y)과 보정량들 간의 대응을 기억하는 LUT가 제공되어, 이 LUT를 이용하여 좌표값들(x, y)에 대응하는 보정량들이 직접 획득될 수 있다. 이에 따라, 좌표 변환을 위한 계산이 생략될 수 있어, 배율 색 수차 보정이 기본적으로 메모리 칩에서만 실현할 수 있게 된다.
도 7은 왜곡 보정 유닛(160)의 상세한 구성도이다. 왜곡 보정 유닛(160)은, RGB 화소 데이터의, 한 색에 각각 대응하는 3개의 피스(piece)들을 하나의 데이터 피스로 합성하는 RGB 합성 유닛(1610); RGB 화소 데이터의 색 성분들 간에 공유되고 왜곡 보정에 사용되는 좌표 변환 메모리(1620)(SRAM); 합성된 RGB 화소 데이터를 원래의 색 성분들로 분리하는 RGB 분리 유닛(1630); 합성된 RGB 화소 데이터의 왜곡 보정에 대하여 미리 결정된 좌표 변환 알고리즘을 사용하여 변환 좌표들을 계산하는 왜곡 보정 좌표 변환 연산 유닛(1640); 및 좌표 변환 알고리즘에 사용되는 계수들을 기억하는 좌표 변환 계수 테이블(1650)을 포함한다.
왜곡은 비교적 큰 어긋남량으로 발생하므로, 왜곡 보정을 수행하기 위하여, 최대 하나의 화상 프레임의 화소 데이터를 기억하기 위한 버퍼 메모리가 사용되는 것이 바람직하다. 한편, RGB 색 성분들은 단일 어긋남량으로 어긋나므로, RGB 화소 데이터의 총 비트수와 동일한 비트 폭을 갖는 단일 버퍼 메모리가 만족스럽게 채용될 수 있다. 해상도가 VGA(640 x 480)이고, RGB 화소 데이터의 비트수(색 심도)는 RGB 색당 8비트이고, 좌표 변환 메모리(1620)는, 기록 및 판독이 24비트 단위의 640 x 480 도트로 수행되는 DRAM인 것으로 한다.
상술된 바와 같이 매우 큰 용량을 요하는 좌표 변환 메모리(1620)는 화상 처리 칩 내에 SRAM의 형태로 구현되는 것은 비용면에서 곤란하고, 또한, RGB를 다루기 위하여 1 포트의 메모리가 만족스럽게 사용될 수 있고, 따라서, 좌표 변환 메모리(1620)는 화상 처리 칩 외부에 제공된 DRAM을 이용함으로써 구현되는 것이 바람직하다.
RGB 합성 유닛(1610)은, 배율 색 수차 보정된 RGB 화소 데이터(각 8비트)를 받고, 순차적으로 이 RGB 화소 데이터를 하나의 피스의 화소 데이터(24 비트)로 합성하여, 이 화소 데이터를 출력한다. 이와 같이 합성된 RGB 화소 데이터는, 좌표 변환 메모리(1620)에, 좌표 변환처 좌표값들(x, y)에 따라서 그 선두 라인으로부터 순차 기록된다.
한편, 왜곡 보정 좌표 변환 연산 유닛(1640)은, 좌표 변환처 좌표값들(x, y)을 받아, 다항식과 같은 미리 결정된 좌표 변환 알고리즘을 사용하여 왜곡 보정을위한, RGB에 공통인 변환 좌표들을 계산하고, 좌표 변환원 좌표값들(X, Y)을 출력한다. 좌표 변환 알고리즘은, 상술된 배율 색 수차 보정에서 사용된 것과 동일한 식 (1)로서 나타낼 수 있다. 물론, 상이한 좌표 변환 계수들이 사용되어야 한다. 좌표 변환 계수들은 미리 좌표 변환 계수 테이블(1650)에 기억된다.
상술된 좌표 변환 메모리(1620)에의 합성된 RGB 화소 데이터(24 비트)의 기록과 평행하게(정확하게는, 미리 결정된 기간 지연되어), 왜곡 보정 좌표 변환 연산 유닛(1640)으로부터 출력된 좌표값들(X, Y)에 따라, 합성된 RGB 화소 데이터가 좌표 변환 메모리(1620)로부터 순차 판독된다. RGB 분리 유닛(1630)은, 좌표 변환 메모리(1620)로부터 판독된 합성된 RGB 화소 데이터(24 비트)를 R, G, B 각 성분들의 원래의 화소 데이터(각 8 비트)로 분리한다.
이들 동작들의 결과로서, RGB 분리 유닛(1630)으로부터, 왜곡 보정된 R 화소 데이터, G 화소 데이터, 및 B 화소 데이터가 출력된다. 다시 말하면, R 화소 데이터, G 화소 데이터, 및 B 화소 데이터가 좌표값들(x, y), 즉 그들의 원위치에 복사된다.
왜곡 보정의 경우에서도, 입력 좌표값들(x, y)과 출력 좌표값들(X, Y) 간의 대응을 기억한 LUT이 제공되어, 이 LUT을 이용하여, 좌표 변환처 좌표값들(x, y)에 대응하는 좌표 변환원 좌표값들(X, Y)이 직접 획득될 수 있다. 이에 따라, 좌표 변환을 위한 계산이 생략될 수 있고, 따라서 왜곡 보정도 기본적으로 메모리 칩에서만 실현할 수 있게 된다.
MTF 보정 유닛(150)을 이하에 설명한다. 도 8은 MTF 보정 유닛(150)의 기본 구성을 도시하는 개략도이다. MTF 보정 유닛(150)에서, 배율 색 수차 보정된 RGB 화소 데이터의 수신에 응답하여, 색/휘도 신호 분리 유닛(1510)은 RGB 화소 데이터를 휘도 신호(Y)와 색 신호들(Cb, Cr)로 분리하고, FIR 필터(에지 강조 필터)(1520)가 휘도 신호(Y)의 고역 강조(MTF 보정)를 수행하고, 색/휘도 신호 합성 유닛(1530)이 고역 강조된 휘도 신호(Y)와 색 신호들(Cb, Cr)을 합성하여, RGB 화소 데이터를 출력한다.
색/휘도 신호 분리 유닛(1510)은, 예컨대 다음 식들에 의해 RGB 화소 데이터를 휘도 신호(Y)와 색 신호들(Cb, Cr)로 분리한다.
Figure pct00002
FIR 필터(1520)는, 일반적으로 도 9에 도시된 바와 같은 5 x 5 필터를 포함하여, 휘도 신호(Y)와 색 신호들(Cb, Cr) 중 휘도 신호(Y)만을 받아, 미리 결정된 고역 강조 필터링을 수행하여, Y 신호에만 고역 강조 필터링(MTF 보정)을 수행함으로써 색 노이즈 증폭이 억제된다. 이것에 의해 고품질 화상을 얻을 수 있다.
색/휘도 신호 합성 유닛(1530)은, 색 신호들(Cb, Cr) 및 고역 강조된 휘도 신호(Y)를 받아, 예컨대, 다음 식들에 의해 신호들을 합성하여, RGB 화소 데이터를 출력한다.
Figure pct00003
본 발명은, FIR 필터(에지 강조 필터)(1520)의 개량에 관한 것이다. 본 발명의 실시예에 따른 FIR 필터를 채용함으로써 화상 프레임의 단부로 감에 따라 고역 강조의 강도를 증가시킬 수 있다. 또한, 이것에 의하여, 광학적으로 낮은 경향이 있는 화상 프레임 중심으로부터 탄젠트 방향으로 특이적으로 비교적 강한 에지 강조를 수행할 수 있다. 도 9에 도시된 바와 같은 종래의 방향 의존성이 없는 균일한 필터를 이용하여, 본 발명의 실시예로부터 획득된 효과와 동일한 고역 강조 효과를 획득하기 위하여, 전방향으로 매우 강한 에지 강조를 수행할 필요가 있어, 노이즈 증폭이 크다는 부작용이 생긴다.
그러나, 본 발명의 실시예에 따르면, 광학 해상도가 감소되는 탄젠트 방향으로 특이적으로 에지 강조가 수행됨으로써, 노이즈의 증폭도 억제된다. 여기서, 화상의 중심은 반드시 엄격한 화상의 중심일 필요는 없고, 예컨대 화상의 중심이 렌즈의 제조 공차 등에 의해 어긋난 경우에는, 광축의 중심이 이 중심으로서 조정될 수 있다.
도 10은 FIR 필터(1520)의 구성의 개략도이다. 입력 화소 데이터(휘도 신호(Y))는 순차적으로 라인 버퍼(11)에 기억되고, 주목 화소와 필요한 참조 화소의 화소값들이 가로 에지 추출 필터(12) 및 세로 에지 추출 필터(13) 각각에 보내진다. 주목 화소의 화소값은 동시에 가산기(22)에도 보내진다. 라인 버퍼(11)는, SRAM 등으로 형성되고, 바람직하게는 많아야 수 라인들(예컨대, 5 라인들)의 용량을 갖는다.
가로 에지 추출 필터(12)와 세로 에지 추출 필터(13)는, 주목 화소와 미리 결정된 참조 화소의 화소값들의 수신에 응답하여, 가로(X 방향) 에지 방향과 세로(Y 방향) 에지 방향 추출 필터링을 각각 수행한다. 가로 에지 추출 필터(12)의 계수들과 세로 에지 추출 필터(13)의 계수들의 예는 도 11에 주어진다. 도 11에 "a"로 나타낸 값들은 가로 에지 추출 필터(12)의 계수들의 예이며, "b"로 나타낸 값들은 세로 에지 추출 필터(13)의 계수들의 예이다. 이들 계수 값들은 바람직하게는 사용되는 광학 시스템에 따라 변경된다.
X 방향 거리 산출기(14)와 Y 방향 거리 산출기(15)는, 각각 수평 동기 신호와 수직 동기 신호에 따라 현재 필터링되고 있는 주목 화소와 화면 프레임 중심 간의 X 방향의 거리값과 Y 방향의 거리값을 산출한다.
도 12은 화상 프레임 중심과 주목 화소 간의 관계를 도시한다. 화상 프레임 중심은 촬상된 화상의 광학 중심을 의미한다. 주목 화소와 화상 프레임 중심 간의 거리 산출은, 광학 시스템에 따라, 도 13a에 도시한 바와 같은 단순 일차 함수, 및 도 13b에 도시한 바와 같은 2차 혹은 고차 함수 중 어느 하나로부터 행해질 수 있다. 광학 시스템의 조립 오차에 기인될 수 있는, 원 사이드 블러(one-side blur)라고 불리는, 우측부와 좌측부 간의 해상도차를 보정해야 하는 경우에는, 도 13c에 도시된 바와 같이, 화상의 중심에 관해 비대칭인 함수가 사용되어, 우측부에 적용된 에지 강조의 강도와 좌측부에 적용된 에지 강조의 강도가 서로 상이할 수 있다. 이 경우, 주변으로 감에 따라 증가하는 MTF 보정량은 거리에 적절한 게인을 적용함으로써 조정될 수 있다. 도 13a, 도 13b, 및 도 13c 각각은, X 방향 거리 산출기(14)의 입력-출력 특성을 도시하고, Y 방향 거리 산출기(15)도 이와 유사한 특성을 나타낸다.
가산기(16)는, X 방향 거리 산출기(14)에 의하여 산출된 주목 화소와 화상 프레임 중심 간의 X 방향 거리의 값에, 미리 결정된 상수인 중앙부 계수 "a"를 가산한다. 가산기(17)는, Y 방향 거리 산출기(15)에 의하여 산출된 주목 화소와 화상 프레임 중심 간의 Y 방향 거리의 값에, 미리 결정된 상수인 미리 결정된 중앙부 계수 "a"를 가산한다. X/Y 방향 거리값들 각각에 중앙부 계수 "a"를 가산함으로써, 화상 프레임 중심에 적용된 MTF의 강조량을 조정할 수 있다. 한편, 화상 프레임 중심에 적용된 MTF 강조량을 조정해야 하는 경우, 중앙부 계수 "a"는 0에 설정될 수 있거나, 가산기들(16,17)이 생략될 수 있다.
곱셈기(18)는, 가로 에지 추출 필터(12)에 의하여 산출된 X 방향의 에지의 추출량에, 가산기(16)의 출력값을 곱한다. 곱셈기(19)는, 세로 에지 추출 필터(13)에 의하여 산출된 Y 방향의 에지의 추출량에, 가산기(17)의 출력값을 곱한다. 다시 말하면, 곱셈기들(18, 19)은, 주목 화소와 화상 프레임 중심 간의 거리들에 따라 가로/세로 에지 추출 필터들(12, 13)의 게인들을 변화시키도록 하는 기능을 한다. 또한, 가산기들(16, 17)을 개재시킴으로써, 동시에 화상 프레임 중심에 적용된 MTF 강조량을 조정할 수 있다.
가산기(20)는 곱셈기들(18, 19)의 출력들을 가산하여, 주목 화소와 중심 간의 거리들에 따르는 에지 강조량을 획득한다. 필요시, 가산기(20)의 출력은, 코어링기(21)에 의하여 노이즈의 증폭 억제를 위하여 코어링될 수 있다. 가산기(22)는 라인 버퍼(11)로부터 판독된 주목 화소의 화소값을 코어링기(21)의 출력에 가산하여, 출력 화소 데이터를 획득한다.
코어링기(21)는, 예컨대, 도 14a 및 도 14b에 도시된 바와 같은 입력-출력 특성을 갖고, 미리 결정된 레벨 이하의 에지 성분들을 출력으로부터의 노이즈로 하여 잘라 냄으로써 노이즈의 증폭을 억제하는 기능을 한다. 도 14a 및 도 14b 중 임의의 적절한 것이 사용될 수 있다. 높은 임계값이 노이즈 저감 효과를 더 크게 하므로, 미리 결정된 임계값은 적절한 값에 설정되는 것이 바람직하나, 높은 임계값은 화상에 부자연스러움이 나타나게 하고, 에지 추출 효과가 감소되게 할 수 있다.
코어링기는, 곱셈기들(18, 19) 각각의 후단에 제공될 수 있다. 이 경우, 두 개의 코어링기들의 임계값들을 상이한 값들에 설정함으로써, 개별 방향별로 노이즈 증폭이 적절하게 억제될 수 있다.
도 15는 본 발명의 또다른 실시예에 따른 FIR 필터(에지 강조 필터)(1521)의 개략 구성도이다. FIR 필터(1521)는 FIR 필터(1520) 대신 사용될 수 있다. FIR 필터(1521)는, 코어링기들(23, 24)이 가로/세로 에지 추출 필터들(12, 13)의 후단들에 부가적으로 제공된다는 점에서, 도 10에 도시된 FIR 필터(1520)와 상이하다. 곱셈기(25), 곱셈기(26), 및 가산기(27)는, 곱셈기(18), 곱셈기(19), 및 가산기(20)와 각각 동일하다. 나머지 구성은 도 10에 도시된 것과 유사하다.
도 15에 도시된 구성으로, 코어링의 임계값은 화상 프레임에서의 위치에 따라 등가적으로 변한다. 따라서, 도 10에 도시된 바와 같이, 코어링의 임계값이 화상 프레임에 걸쳐 균일한 구성으로부터 얻은 노이즈 저감 효과보다 큰 노이즈 저감 효과가 획득된다.
도 10 또는 도 15에 도시된 구성에서, 가로 에지 추출 필터와 세로 에지 추출 필터는 X/Y 방향 거리 산출기들 등과 조합된다. 이것에 의하여, 화상 프레임이 상이한 부분들에서 상이한 필터의 계수들을 갖도록 하는 구성으로부터 얻은 효과와 유사한 효과를, 비교적 작은 회로 규모와 저소비 전력으로 획득할 수 있다. 에지 추출 필터들은 가로 방향과 세로 방향에 한하지 않는다. 경사 방향 에지 추출 필터가 부가적으로 제공될 수 있다. 또한, 이 경우에서도, 필요한 곱셈기 등 각각의 수는 각 방향들마다 단지 하나이고, 따라서 회로 규모 및 소비 전력은 약간 증가한다.
본 발명의 또다른 실시예로서, 도 10 또는 도 15에 도시된 구성의 FIR 필터(에지 강조 필터)는 RGB 성분 신호들 각각에 대하여 제공되어, RGB의 개별 성분 신호별로 화상 프레임의 단부로 감에 따라 고역 강조의 강도를 크게 할 수 있다. 다시 말하면, MTF 보정 유닛은, 색/휘도 신호 분리 유닛 또는 색/휘도 신호 합성 유닛을 가지지 않고, RGB 신호들의 색 성분들에 대하여 개별적으로 제공된 FIR 필터들만을 가질 수 있다. 도 10 또는 도 15의 구성의 FIR 필터는 이러한 경우에 구성 그대로 적용될 수 있다.
물론, 도 1, 도 10 또는 도 15에 도시된 화상 처리 장치의 처리 기능을 실행하기 위하여 컴퓨터의 프로그램들을 구성하고, 컴퓨터가 그 컴퓨터 프로그램들을 실행하도록 함으로써, 본 발명의 태양에 따른 화상 처리 방법을 실행할 수 있다. 대안적으로, 본 발명의 태양에 따른 화상 처리 방법은, 그 처리 순서를 실행하도록 컴퓨터 프로그램들을 구성하고, 컴퓨터가 그 컴퓨터 프로그램들을 실행하도록 함으로써 실행될 수 있다. 컴퓨터가 그 처리 기능들을 수행하도록 하는 컴퓨터 프로그램들은, 플렉서블 디스크(FD), 자기 광학 디스크(MO), 판독 전용 메모리(ROM), 메모리 카드, 컴팩트 디스크(CD), 디지털 다기능 디스크(DVD), 및 착탈 가능한 디스크와 같은 컴퓨터 판독 가능한 기록 매체에 컴퓨터 프로그램들을 기록함으로써 기억되고 및/또는 제공될 수 있고, 및/또는 인터넷과 같은 네트워크를 통하여 배포될 수 있다.

Claims (19)

  1. 화상의 선예도(sharpness)를 향상시키는 에지 강조 필터 수단을 포함하는 화상 처리 장치로서, 상기 에지 강조 필터 수단은,
    주목(target) 화소와 촬상된 화상의 광학 중심 간의 2축 이상의 방향들에서의 거리의 값들인 거리값들을 산출하는 거리 산출 수단;
    축 방향들 각각에 대응하는 에지 추출 필터들로서, 상기 에지 추출 필터들 각각은 방향별로 2 방향들 이상 중 대응하는 방향에서의 에지량을 추출하도록 구성된 상기 에지 추출 필터들;
    상기 에지 추출 필터들 각각에 대응하는 곱셈 수단들로서, 상기 곱셈 수단들 각각은 상기 에지 추출 필터들 중 대응하는 에지 추출 필터에서 추출된 에지량에, 축 방향들 중 대응하는 방향에 대하여 상기 거리 산출 수단에서 산출된 거리값을 곱하는 상기 곱셈 수단들;
    상기 곱셈 수단들의 출력들을 가산하는 제1 가산 수단; 및
    상기 제1 가산 수단의 출력에 상기 주목 화소의 화소값을 가산하는 제2 가산 수단
    을 포함하는 것인 화상 처리 장치.
  2. 제 1 항에 있어서, 상기 에지 추출 필터들은 2개이며, 상기 에지 추출 필터들 중 하나는 화상 프레임의 가로 방향으로 에지를 추출하고, 상기 에지 추출 필터들 중 다른 하나는 화상 프레임의 세로 방향으로 에지를 추출하는 것인 화상 처리 장치.
  3. 제 1 항에 있어서, 상기 에지 강조 필터 수단은, 상기 제1 가산 수단의 후단에, 상기 제1 가산 수단의 출력이 미리 결정된 임계값 이하일 때 영을 출력하는 코어링(coring) 수단을 더 포함하는 것인 화상 처리 장치.
  4. 제 1 항에 있어서, 상기 에지 강조 필터 수단은, 상기 곱셈 수단들 각각의 후단에, 상기 곱셈 수단들 중 대응하는 곱셈 수단의 출력이 미리 결정된 임계값 이하일 때 영을 출력하는 코어링 수단을 더 포함하는 것인 화상 처리 장치.
  5. 제 1 항에 있어서, 상기 에지 강조 필터 수단은, 상기 에지 추출 필터들 각각의 후단에, 상기 에지 추출 필터들 중 대응하는 에지 추출 필터의 출력이 미리 결정된 임계값 이하일 때 영을 출력하는 코어링 수단을 더 포함하는 것인 화상 처리 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 에지 강조 필터 수단은, 상기 거리 산출 수단의 후단에, 상기 거리 산출 수단의 출력에 일정값을 가산하도록 구성된, 축 방향들 각각에 대응하는 제3 가산 수단을 더 포함하는 것인 화상 처리 장치.
  7. 제 1 항에 있어서, 상기 거리 산출 수단의 출력들은 상기 화상의 중심에 대하여 비대칭인 것인 화상 처리 장치.
  8. 제 1 항에 있어서, 상기 에지 강조 필터 수단의 전단에, 화상 데이터를 색 신호들과 휘도 신호로 분리하는 색/휘도 분리 수단을 더 포함하고, 상기 에지 강조 필터 수단은 상기 휘도 신호를 받아, 상기 휘도 신호에 에지 강조를 수행하는 것인 화상 처리 장치.
  9. 제 1 항에 있어서, 상기 화상은 광화각(wide-view-angle) 광학 시스템을 사용하여 촬상되는 것인 화상 처리 장치.
  10. 화상의 선예도를 향상시키는 에지 강조 필터링 단계를 포함하는 화상 처리 방법으로서, 상기 에지 강조 필터링 단계는,
    주목 화소와 촬상된 화상의 광학 중심 간의 2축 이상의 방향들에서의 거리의 값들인 거리값들을 산출하는 거리 산출 단계;
    방향별로 2 방향들 이상에서 에지량들을 추출하는 에지 추출 필터링 단계;
    상기 에지 추출 필터링 단계에서 추출된 에지량들 각각에, 축 방향들 중 대응하는 방향에서 추출된, 상기 거리 산출 단계에서 산출된 거리값들 중 하나를 곱하는 곱셈 단계;
    상기 곱셈 단계에서 획득된 곱셈 결과들을 가산하는 제1 가산 단계; 및
    상기 제1 가산 단계의 출력에 상기 주목 화소의 화소값을 가산하는 제2 가산 단계
    를 포함하는 것인 화상 처리 방법.
  11. 제 10 항에 있어서, 상기 에지 추출 필터링 단계는, 화상 프레임의 가로 방향과 세로 방향의 2 방향들에서 에지를 추출하는 단계를 포함하는 것인 화상 처리 방법.
  12. 제 10 항에 있어서, 상기 에지 강조 필터링 단계는, 상기 제1 가산 단계 후에, 상기 제1 가산 단계의 출력이 미리 결정된 임계값 이하일 때 영을 출력하는 코어링 단계를 포함하는 것인 화상 처리 방법.
  13. 제 10 항에 있어서, 상기 에지 강조 필터링 단계는, 상기 곱셈 단계 후에, 상기 곱셈 단계에서 상기 방향들 중 대응하는 방향에 대한 출력이 미리 결정된 임계값 이하일 때 영을 출력하는 코어링 단계를 포함하는 것인 화상 처리 방법.
  14. 제 10 항에 있어서, 상기 에지 강조 필터링 단계는, 상기 에지 추출 필터링 단계 후에, 상기 에지 추출 필터링 단계에서 상기 방향들 중 대응하는 방향의 출력이 미리 결정된 임계값 이하일 때 영을 출력하는 코어링 단계를 포함하는 것인 화상 처리 방법.
  15. 제 10 항 내지 제 14 항 중 어느 한 항에 있어서, 상기 에지 강조 필터링 단계는, 상기 거리 산출 단계 후에, 상기 거리 산출 단계의 각 출력에 일정값을 가산하는 제3 가산 단계를 더 포함하는 것인 화상 처리 방법.
  16. 제 10 항에 있어서, 상기 거리 산출 단계의 출력들은 상기 화상의 중심에 대하여 비대칭인 것인 화상 처리 방법.
  17. 제 10 항에 있어서, 상기 에지 강조 필터링 단계 전에, 화상 데이터를 색 신호들과 휘도 신호로 분리하는 색/휘도 분리 단계를 더 포함하고, 상기 에지 강조 필터링 단계는 상기 휘도 신호에 에지 강조를 수행하는 단계를 포함하는 것인 화상 처리 방법.
  18. 제 10 항에 있어서, 상기 화상은 광화각 광학 시스템을 사용하여 촬상되는 것인 화상 처리 방법.
  19. 차량 탑재 카메라 장치로서,
    광화각 광학 시스템;
    상기 광화각 광학 시스템에서 촬상된 화상을 판독하는 촬상 소자;
    상기 촬상 소자로 판독된 화상을 처리하여 처리된 화상을 출력하도록 구성된, 제 1 항 내지 제 9 항 중 어느 한 항에 기재된 화상 처리 장치; 및
    상기 처리된 화상을 표시하는 표시 장치
    를 포함하는 차량 탑재 카메라 장치.
KR1020117014413A 2008-12-24 2009-12-10 화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치 KR101265000B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-327986 2008-12-24
JP2008327986A JP5273371B2 (ja) 2008-12-24 2008-12-24 画像処理装置及び方法、並びに車載カメラ装置
PCT/JP2009/071007 WO2010073953A1 (en) 2008-12-24 2009-12-10 Method and apparatus for image processing and on-vehicle camera apparatus

Publications (2)

Publication Number Publication Date
KR20110092322A true KR20110092322A (ko) 2011-08-17
KR101265000B1 KR101265000B1 (ko) 2013-05-15

Family

ID=42287568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117014413A KR101265000B1 (ko) 2008-12-24 2009-12-10 화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치

Country Status (7)

Country Link
US (1) US8681214B2 (ko)
EP (1) EP2368359A4 (ko)
JP (1) JP5273371B2 (ko)
KR (1) KR101265000B1 (ko)
CN (1) CN102265595B (ko)
TW (1) TW201101807A (ko)
WO (1) WO2010073953A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900760B2 (ja) * 1993-07-22 1999-06-02 神鋼電機株式会社 舶用油圧クラッチユニットの冷却構造
JP5607911B2 (ja) * 2009-10-21 2014-10-15 オリンパスイメージング株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
CN102822863B (zh) * 2010-03-31 2015-11-25 佳能株式会社 图像处理设备和使用该图像处理设备的图像拾取设备
TWI455570B (zh) * 2011-06-21 2014-10-01 Himax Imaging Inc 彩色內插系統及方法
CN103517048B (zh) * 2012-06-20 2017-03-01 Vixs系统公司 自适应边缘增强
JP5488853B1 (ja) * 2012-11-16 2014-05-14 株式会社ジェイエイアイコーポレーション 収差補正機能付き画像読取装置
JP6156724B2 (ja) 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
JP6417666B2 (ja) 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
US10255665B2 (en) 2014-12-04 2019-04-09 Mitsubishi Electric Corporation Image processing device and method, image capturing device, program, and record medium
CN108154534B (zh) * 2017-12-26 2020-09-01 努比亚技术有限公司 一种图片清晰度校准方法、终端和计算机可读存储介质
JP2020155850A (ja) * 2019-03-19 2020-09-24 株式会社リコー 撮像装置、液体吐出装置、および撮像方法
CN111736237A (zh) * 2020-07-31 2020-10-02 上海眼控科技股份有限公司 辐射雾检测方法、装置、计算机设备和可读存储介质
KR20240139314A (ko) * 2023-03-14 2024-09-23 주식회사 엘엑스세미콘 디스플레이 구동 장치 및 이를 포함하는 디스플레이 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603885B1 (en) 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
JP2006211218A (ja) * 2005-01-27 2006-08-10 Canon Inc 画像処理装置および画像処理方法
JP2006217058A (ja) * 2005-02-01 2006-08-17 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4577565B2 (ja) * 2005-03-03 2010-11-10 ソニー株式会社 画像処理方法、画像処理装置、プログラム、および撮影装置
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP5001717B2 (ja) * 2007-05-28 2012-08-15 パナソニック株式会社 輪郭強調装置
JP5008139B2 (ja) 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP5008578B2 (ja) 2008-01-28 2012-08-22 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP4911628B2 (ja) 2008-01-28 2012-04-04 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5049155B2 (ja) 2008-02-07 2012-10-17 株式会社リコー プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置
JP5080305B2 (ja) 2008-02-13 2012-11-21 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP5078147B2 (ja) 2008-03-04 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP5078148B2 (ja) 2008-03-10 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP2009218909A (ja) 2008-03-11 2009-09-24 Ricoh Co Ltd 画像撮像装置
JP4966894B2 (ja) 2008-03-18 2012-07-04 株式会社リコー 画像撮像装置
JP5062846B2 (ja) 2008-07-04 2012-10-31 株式会社リコー 画像撮像装置

Also Published As

Publication number Publication date
TW201101807A (en) 2011-01-01
US8681214B2 (en) 2014-03-25
CN102265595A (zh) 2011-11-30
JP5273371B2 (ja) 2013-08-28
EP2368359A1 (en) 2011-09-28
KR101265000B1 (ko) 2013-05-15
EP2368359A4 (en) 2013-11-06
US20110254947A1 (en) 2011-10-20
CN102265595B (zh) 2014-05-14
JP2010154050A (ja) 2010-07-08
WO2010073953A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101265000B1 (ko) 화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치
JP5078147B2 (ja) 画像処理装置及び画像撮像装置
JP5078148B2 (ja) 画像処理装置及び画像撮像装置
JP5008578B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP5008139B2 (ja) 画像撮像装置
JP4911628B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP5267794B2 (ja) 画像処理装置及び車載カメラ装置
JP4966894B2 (ja) 画像撮像装置
JP5062846B2 (ja) 画像撮像装置
JP2009218909A (ja) 画像撮像装置
JP2009194573A (ja) 画像処理方法及び装置、並びに画像撮像装置
CN104754314B (zh) 图像处理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20110622

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120807

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130222

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130509

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130509

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170427

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180427

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200220