[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101313911B1 - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR101313911B1
KR101313911B1 KR1020097023185A KR20097023185A KR101313911B1 KR 101313911 B1 KR101313911 B1 KR 101313911B1 KR 1020097023185 A KR1020097023185 A KR 1020097023185A KR 20097023185 A KR20097023185 A KR 20097023185A KR 101313911 B1 KR101313911 B1 KR 101313911B1
Authority
KR
South Korea
Prior art keywords
kernel
matrix
image
metric
signal matrix
Prior art date
Application number
KR1020097023185A
Other languages
English (en)
Other versions
KR20100016278A (ko
Inventor
노이 코헨
갈 샤브테이
에프라임 골든버그
데이비드 멘들로빅
데이비드 야라
Original Assignee
디지털옵틱스 코포레이션 유럽 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털옵틱스 코포레이션 유럽 리미티드 filed Critical 디지털옵틱스 코포레이션 유럽 리미티드
Publication of KR20100016278A publication Critical patent/KR20100016278A/ko
Application granted granted Critical
Publication of KR101313911B1 publication Critical patent/KR101313911B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Television Receiver Circuits (AREA)

Abstract

신호에 커널을 적용하는 효과를 조절하기 위한 방법 장치가 제공된다. 상기 조절은 커널 메트릭스가 신호 매트릭스에 대해 갖도록 의도된 효과의 크기에 기초할 수 있다. 상기 조절은 다음의 것으로 한정되지 않지만, 신호 데이터의 신호-대-잡음 비율, 신호 데이터를 캡처하기 위해 이용되는 장치(예를 들어, 렌즈)의 속성, 또는 신호 데이터의 분석에 기초하여 유도되는 메트릭을 포함하는 인자에 기초할 수 있다. 본 발명의 실시예에 따라 이미지 데이터를 처리하는 것은 이미지 데이터를 캡처하기 위해 이용되는 광학기기의 속성에 기인할 수 있는 콘트라스트 손상을 복구하는 것이다.
콘트라스트, 광학 수차, 커널 매트릭스, 신호 매트릭스, 메트릭

Description

이미지 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AN IMAGE}
본 발명은 디지털 신호 처리에 관한 것으로, 보다 상세하게는 이미지 처리 방법 및 장치에 관한 것이다. 구체적으로, 본 발명의 실시예는 커널 매트릭스(kernel matrix)를 적용하여 희망하는 효과를 달성하도록 신호 데이터를 처리할 경우에 달성되는 효과를 수정하는 것에 관한 것이다.
디지털 이미징(digital imaging)에서는, 디지털 카메라와 같은 촬영 기구에서 발생하는 광학적 블러링(optical blurring), 광학적 왜곡(optical distortion), 색수차(chromatic aberration), 필드 곡률(field curvature) 등의 광학적 수차(optical aberration)를 보정함으로써 더욱 양호한 이미지를 생성하기 위하여 때때로 디컨벌루션(de-convolution)이 이용된다. 디컨벌루션을 정의하는 수학적 연산은 컨벌루션(convolution)에서 수행되는 것과 동일한 수학적 연산이며, 디컨벌루션이라고 부르는 이유는 컨벌루션에 의해 이미지에 가해지는 효과를 보정 또는 보상하는 상황에서 이용되기 때문이다. 즉, 이러한 방식으로 디컨벌루션을 이용하는 것은, 이미지 신호가 촬영 기구를 통과할 때, 이미지 신호와 포인트 스프레드 함수(PSF : point spread function)라고 불리는 2D 함수 사이의 컨벌루션으로서 출력 신호를 설명하는 것이 가능하다는 사실에 기초하고 있다. 광학적 블러링을 일례로서 이용하면, PSF는 전자기 방사선의 포인트 소스가 상기 기구를 통과하여 선택하는 경로의 측면에서 광학적 블러링을 설명하며, 즉, 광의 단일 포인트가 어떻게 광학계를 통해 촬영되는지를 설명한다. PSF 컨벌루션의 결과는 캡처된 이미지 신호가 피사체 자체보다 더욱 블러링 된다(그리고 왜곡될 수도 있고, 및/또는 색수차를 포함할 수 있다)는 것이다. 이 블러링을 보상하기 위하여, 디컨벌루션 처리가 수행될 수 있고, 이미지 신호는 비-블러링 이미지를 생성하는 것을 목적으로 하는 2D 함수와 컨벌루션 된다. 이 2D 함수는 흔히 PSF가 도입하는 블러링을 취소하는 방식의 PSF의 역(inverse)(또는 PSF 역의 변형)이다.
2D 디컨벌루션은 이미지의 디지털 표현에 대해 디지털 도메인(domain)에서 소프트웨어(SW) 또는 하드웨어(HW)에 의해 수행될 수 있다. 통상, 커널 매트릭스는 희망하는 주파수 응답으로 특징지어질 수 있는 2D 디컨벌루션 필터로서 이용된다. PSF 블러(blur)를 보상하고 이미지에서의 콘트라스트(contrast)를 증가시키기 위하여, 커널 매트릭스는 신호 매트릭스(2D 이미지)와 컨벌루션 된다. 필터가 콘트라스트를 증가시키기 위해서는, 필터가 대역통과 필터(BPF : band-pass filter) 또는 고역통과 필터(HPF : high-pass filter)의 주파수 응답을 가져야 하고, 요구되는 주파수에서의 콘트라스트가 지정된 레벨까지 증가하는 방식으로 주파수 응답은 PSF와 일치한다.
이미지의 콘트라스트를 증가시키는 것에 추가하여, 저역통과 주파수 응답(LPF : low-pass frequency)을 갖는 커널을 이미지에 적용하여 노이즈를 평균함 으로써 이미지에서 노이즈를 감소시키기 위하여 동일한 컨벌루션 동작이 이용될 수 있다. 이러한 디노이징(de-noising) 동작을 수행할 경우에 신호의 콘트라스트를 손상시키지 않도록 주의해야 한다.
통상, 이미지를 확대하는 디컨벌루션 처리는 디지털 카메라에서(SW 또는 HW에 의해) 실행되는 이미지 신호 처리(ISP : image signal processing) 체인(chain)의 일부이다. 이미지에 대한 수학적 연산의 이러한 체인은 이미지를, CMOS/CCD 센서가 (예를 들어, "BAYER" 포맷으로) 출력하는 "원시(RAW)" 포맷 이미지(때때로 "NEF" 이미지라고 칭함)로부터, 시청 및 저장되는 최종 이미지(예를 들어, JPEG 이미지, TIFF 이미지 등)로 변환한다. ISP 체인 내에서, 이미지에 디컨벌루션 필터를 적용하는 것은 디-모자이킹(de-mosaicing)(색 보간(color interpolation))을 수행한 후, 또는 디-모자이킹을 수행하기 전에 행해질 수 있다. 전자의 방법은 필터가 이미지에서의 (픽셀마다의) 최대 가능 주파수에 영향을 주도록 할 수 있지만, 큰 공간 지원을 포괄하기 위해서는, 2D 커널이 다수의 계수를 가져야 한다. 후자의 방법은 (색 보간 전에) 이미지가 여전히 BAYER 포맷인 상태에서 필터를 적용하는 것을 의미한다. 후자의 방법은 더 적은 계수에 대한 더 큰 공간 지원을 포괄하는 장점을 가지지만, 필터는 더 낮은 주파수에만 영향을 줄 수 있다. 대부분의 광학 설계에 대하여, 디컨벌루션이 효율적인 것으로 되도록 하기 위하여, 커널의 크기는 (픽셀에서의) PSF의 크기와 거의 동일해야 하므로, 큰 PSF를 보상하는 것은 디컨벌루션 커널에 대한 충분히 큰 공간 지원과, 이에 따른 다수의 계수를 필요로 한다(이것은 더 많은 메모리 및 수학적 계산을 의미함). 큰 PSF에 의해 블러링되는 이 미지에 대해 너무 작은 커널이 적용될 경우, 처리 후에 원하지 않는 결과가 남아 있을 수 있으므로, 이것은 디-모자이킹 처리 전에 BAYER 이미지에 대해 디컨벌루션 커널을 적용하는 주요한 이유가 될 수 있다.
HPF/BPF 주파수 응답을 갖는 디컨벌루션 필터를 이미지에 대해 적용하는 것은 콘트라스트 증가로 귀결될 수 있지만, 바람직하지 않게도 노이즈를 증폭시킬 수 있다. 이러한 노이즈 증폭은 신호-대-잡음(S/N : signal-to-noise) 비율이 양호할 경우에 덜 두드러지며, 낮은 S/N을 발생시킬 수 있는 열악한 광 조건에서 가장 두드러진다. 불운하게도, 이미지에 이미 존재하는 노이즈의 양을 고려하지 않고 디컨벌루션 커널을 적용하는 것은 노이즈가 많은 이미지로 될 수 있다.
디노이징 알고리즘은 디컨벌루션 커널을 적용함으로 인해 발생하는 원하지 않는 노이즈 증폭을 감소시키기 위하여 적용될 수 있다. 그러나, 디컨벌루션 처리가 이미지에서 노이즈를 이미 증폭한 후에 디노이징 알고리즘을 적용하는 것은 강한 디노이징을 수행하는 것을 요구할 수 있고, 이것은 이미지에서 미세한 상세부분을 갖는 영역에서 원하지 않는 데이터의 손실을 일으킬 수 있다. 또한, 강한 디노이징을 적용하는 것은 여전히 노이즈 전부를 제거하지 못할 것이다.
이 부분에서 설명된 방법은 추구될 수 있는 방법이지만, 반드시 이전에 인식되었거나 추구되었던 방법은 아니다. 그러므로, 달리 표시되지 않은 경우, 이 부분에서 설명된 임의의 방법은 이 부분에 포함된 것만으로 종래기술인 것으로 가정하지 않아야 한다.
신호에 커널을 적용하는 효과를 조절하기 위한 방법 장치가 제공된다. 상기 조절은 커널 메트릭스가 신호 매트릭스에 대해 갖도록 의도된 효과의 크기에 기초할 수 있다. 상기 조절은 다음의 것으로 한정되지 않지만, 신호 데이터의 신호-대-잡음 비율, 신호 데이터를 캡처하기 위해 이용되는 장치(예를 들어, 렌즈)의 속성, 또는 신호 데이터의 분석에 기초하여 유도되는 메트릭을 포함하는 인자에 기초할 수 있다. 본 발명의 실시예에 따라 이미지 데이터를 처리하는 것은 이미지 데이터를 캡처하기 위해 이용되는 광학기기의 속성에 기인할 수 있는 콘트라스트 손상을 복구하는 것이다.
본 발명은 한정을 위한 것이 아니라 그 일례로서 첨부 도면에서 예시되어 있으며, 동일한 참조 번호는 유사한 구성요소를 의미한다.
도 1a는 디지털-자동-포커스 블럭을 갖지 않는 ISP 체인을 도시한다.
도 1b는 실시예에 따라 디지털-자동-포커스 블럭을 위한 가능한 위치를 갖는 ISP 체인을 도시한다.
도 1c는 실시예에 따라 디지털-자동-포커스 블럭을 위한 또 다른 가능한 위치를 갖는 ISP 체인을 도시한다.
도 2는 실시예에 따라 커널 매트릭스를 업데이트하고 업데이트 커널 매트릭스를 갖는 이미지 데이터를 처리하기 위한 예시적인 시스템을 예시하는 블럭도를 도시한다.
도 3은 실시예에 따라 커널을 업데이트하기 위한 예시적인 수학식을 도시한 다.
도 4는 실시예에 따라 컨벌루션 커널을 수정하기 위하여 "차단 표시자(shading indicator)"가 이용되는 시스템의 블럭도를 도시한다.
도 5는 예시적인 렌즈 차단 프로파일의 그래프를 도시한다.
도 6은 실시예에 따라 차단 파라미터에 기초하여 커널을 업데이트하기 위한 수학식을 도시한다.
도 7은 실시예에 따라 컨벌루션 블럭의 커널 업데이트 로직이 "메트릭(metric)"을 이용하여 커널을 수정하는 시스템의 블럭도를 도시한다.
도 8은 적색(R), 청색(B) 및 녹색(G) 픽셀을 갖는 예시적인 베이어(bayer) 이미지를 도시한다.
도 9a는 이미지 윈도우에 대한 데이터를 예시한다.
도 9b는 도 9a의 데이터에 대한 히스토그램을 예시한다.
도 10a는 유니모달(unimodal) 히스토그램을 예시한다.
도 10b는 바이모달(bimodal) 히스토그램을 예시한다.
도 11은 실시예에 따라 메트릭에 기초하여 커널을 업데이트하기 위한 수학식을 도시한다.
도 12는 실시예에 따라 커널 효과의 크기를 조절하기 위한 처리를 예시하는 순서도이다.
도 13은 본 발명의 실시예가 실시될 수 있는 예시적인 이동 장치의 도면이다.
도 14는 본 발명의 실시예가 실시될 수 있는 예시적인 컴퓨터 시스템의 도면이다.
도 15는 실시예에 따라 이미지 특성에 기초하여 커널을 수정하기 위한 파라미터를 결정하는 곡선을 도시하는 그래프이다.
도 16은 실시예에 따라 신호를 처리하기 위한 시스템의 블럭도이다.
도 17은 실시예에 따라 모션 블러(motion blur)의 보정을 도시한다.
도 18은 실시예에 따라 모션 시프트(motion shift)의 보정을 도시한다.
도 19는 실시예에 따라 적어도 차단 파라미터에 기초하여 커널 처리의 강도를 조절하기 위한 시스템을 도시하는 블럭도이다.
도 20은 실시예에 따라 적어도 인접한(neighborhood) 픽셀의 특성에 기초하여 커널 처리의 강도를 조절하기 위한 시스템을 도시하는 블럭도이다.
도 21은 실시예에 따라 하나 이상의 파라미터에 기초하여 커널이 업데이트되는 기술을 도시한다.
도 22는 실시예에 따라 수정되지 않은(un-modified) 커널의 컨벌루션 결과에 "스케일링(scaling)"이 적용되는 기술을 도시한다.
도 23은 실시예에 따라 거리에 기초하여 정보 메트릭을 계산하기 위한 기술을 도시한다.
도 24는 실시예에 따라 별개의 이득 함수를 도시한다.
다음의 설명에서는, 설명을 위한 목적으로, 본 발명의 완전한 이해를 제공하 기 위하여 다수의 특정한 상세 내용을 설명한다. 그러나, 본 발명은 이러한 특정한 상세 내용 없이 실시될 수 있다는 것은 명백할 것이다. 다른 예에서는, 본 발명을 불필요하게 불명료하도록 하는 것을 회피하기 위하여, 잘 알려진 구조 및 장치가 블럭도 형태로 도시되어 있다.
본 명세서에서는 다음의 목차에 따라 실시예를 설명한다.
1.0 개요
2.0 예시적인 이미지 신호 처리 체인
3.0 컨벌루션의 개요
4.0 의도된 효과의 크기에 기초하여 커널 효과를 조절하는 것의 개요
4.1 처리 개요
4.2 커널을 업데이트 함으로써 커널 효과를 조절하는 것의 개요
4.3 컨벌루션 결과를 수정함으로써 커널 효과를 조절하는 것의 개요
5.0 다양한 인자에 기초하여 커널 효과 조절
5.1 S/N 수치에 기초하여 커널 효과 조절
5.2 공간 위치에 따라 커널 효과 조절
5.3 국소적인 이미지 특성에 따라 커널 효과 조절
6.0 실시예에 따라 모션 블러를 처리하기 위하여 커널 효과 조절
6.1 모션 블러 보정의 개요
6.2 블러리 포인트 스프레드 함수 실시예
6.3 모션 시프트 벡터 실시예
6.4 샤프닝 및 모션 블러 커널의 조합
8.0 하드웨어 개요
8.1 예시적인 이동 장치
8.2 예시적인 컴퓨터 시스템
1.0 개요
본 명세서에는 신호 데이터를 처리하기 위한 기술이 개시되어 있다. 신호 데이터는 다수의 상이한 신호 매트릭스에 의해 표현될 수 있고, 각각의 매트릭스는 신호의 상이한 부분을 나타낸다. 예를 들어, 각각의 신호 매트릭스는 이미지 센서의 픽셀 세트에 대응하는 엔트리(entry)를 포함할 수 있다. 그러나, 신호는 예를 들어, 이미지 데이터가 아니라 오디오 데이터 또는 신호 데이터일 수 있다. 약간의 의도된 효과를 달성하기 위하여, 주어진 신호 매트릭스는 적어도 하나의 커널 매트릭스에 기초하여 처리된다. 더욱 구체적으로, 의도된 효과의 크기를 달성하기 위하여, 커널 매트릭스에 기초하여 신호 매트릭스를 처리하는 것에 의해 달성되는 의도된 효과의 크기가 조절된다.
실시예에서는, 수정된 커널 매트릭스를 신호 데이터에 적용하기 전에, 신호 데이터에 적용되는 커널 매트릭스는 후속 섹션에서 기술되는 하나의 이상의 파라미터에 따라 하나 이상의 횟수만큼 수정된다. 하나 이상의 파라미터에 따라 커널 매트릭스를 수정하는 것은 의도된 효과의 크기가 달성되도록 한다. 또 다른 실시예에서, 특정 픽셀에 대한 최종 처리 결과는 수정되지 않은 커널을 이용한 디컨벌루션 결과와, 다음의 것으로 한정되지 않지만, 입력 이미지에서의 원래의 픽셀값을 포함 하는 약간의 다른 값(하나 이상)의 가중된 합일 수 있다. 각각의 합산된 값의 가중치는 후속 섹션에서 기술될 몇 개의 파라미터에 따라 수정될 수 있다. 상기 수정은, 다음의 것으로 한정되지 않지만, 신호 데이터의 신호-대-잡음 비율, 신호 데이터를 캡처하기 위해 이용되는 장치(예를 들어, 렌즈)의 속성, 공간-종속 정보(예를 들어, 픽셀 위치), 또는 신호 데이터의 분석에 기초하여 얻어지는 메트릭(예를 들어, 현재 처리 중인 픽셀에 인접한 픽셀)을 포함하는 인자에 기초할 수 있다.
본 발명의 "샤프닝(sharpening)" 실시예에 따라 이미지 데이터를 처리하는 것은 손상된 콘트라스트를 복구하는 것을 목적으로 한다. 예를 들어, 콘트라스트는 이미지 데이터를 캡처하기 위해 이용되는 광학기기의 속성으로 인해 손상될 수 있다. 그러나, 샤프닝 실시예는 임의의 특정한 렌즈의 이용을 요구하지 않는다. 샤프닝 실시예의 목적은 렌즈의 광학적 속성으로 인해 손상된 이미지의 콘트라스트 중의 일부를 복구하는 것이므로, 최종 이미지는 합리적인 S/N 불이익(penalty)을 부담하면서 멀리 떨어진 피사체 및 근접 피사체의 이미지에 대해 모두 양호한 콘트라스트를 가진다. 샤프닝 실시예는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 일부 조합에 의해 이미지 신호 처리(ISP) 블럭으로서 구현될 수 있다.
실시예에서, 이용되는 커널은 고역통과 또는 대역통과 주파수 응답을 가지며, 이것은 이미지에서의 차이를 확대함으로써 커널이 이미지를 샤프닝하도록 한다. 차이의 예는 어두운 영역 및 밝은 영역 사이의 에지(edge), 형상, 윤곽 등을 포함한다. 그러나, (예를 들어, 회색 벽 또는 푸른 하늘과 같은) 이미지에서의 비교적 균일한 표면 상에서 이러한 커널을 적용하는 것은 픽셀 사이에 존재하는 작은 차이의 증폭을 일으킬 수 있다. 픽셀 사이의 이러한 작은 차이는 노이즈(랜덤 노이즈 또는 고정-패턴 노이즈)에 의해 발생될 수 있다. 그러므로, 커널을 적용하는 것은 이미지의 "평평하고(flat)" 균일한 정보 부존재(informationless) 영역에서 원하지 않는 노이즈 증폭에 이르게 할 수 있다. 원하지 않는 노이즈는 특히 낮은 광 조건에서 심각할 수 있다. 희망하는 영역에서 콘트라스트를 보존하면서 이미지의 "평평한" 영역에서 노이즈 증폭을 회피하는 몇 가지 기술이 본 명세서에 개시되어 있다.
각각의 커널의 이득(커널이 제공하는 샤프닝의 양)은 실시예에서 S/N 수치에 따라 조절된다. 따라서, 커널의 이득은 열악한 S/N을 갖는 이미지 또는 그 일부를 처리할 경우에 감소될 수 있다. 구체적인 예로서, 커널의 이득은 매우 낮은 광에서 캡처된 이미지를 처리할 경우에 감소될 수 있다. 하나의 실시예에서, 커널의 이득은 S/N 파라미터에 기초하여 커널을 수정한 다음, 수정된 커널을 이미지에 적용함으로써 조절된다. 또 다른 실시예에서는, 수정되지 않은 커널을 이미지에 적용한 후, S/N 파라미터에 기초하여 스케일링(scaling)이 수행된다.
하나의 실시예에서, 커널의 이득은 처리 중인 이미지의 현재의 부분에 대한 공간적인 위치에 기초하여 조절된다. 하나의 실시예에서, 공간적인 위치에 종속적인 조절은 이미지 데이터를 캡처하기 위해 이용되는 렌즈의 속성을 보상한다. 자동 포커스 및 표준 렌즈는 모두 방사상으로 열화하는 조도 프로파일(radially degrading illumination profile)을 경험할 수 있다. 즉, 렌즈를 통해 나오는 광의 양은 렌즈의 중간보다 높은 필드에서 상당히 더 낮다. 그러므로, S/N은 중심에 비 해 이미지 경계에서 더 낮을 수 있다. 일부 설계에서는, 경계에서의 조도가 중간 필드에서의 값의 약 50-55%이다. 그러나, 경계에서의 조도는 50-55%보다 크거나 작을 수 있다. 하나의 실시예에서, 커널의 이득은 차단 파라미터(shading parameter)에 기초하여 커널을 수정한 다음, 수정된 커널을 이미지에 적용함으로써 조절된다. 또 다른 실시예에서는, 수정되지 않은 커널을 이미지에 적용한 후, 차단 파라미터에 기초하여 스케일링이 수행된다. 결과적으로, 본 발명의 실시예에 따르면, 이미지 경계에서의 더 양호한 S/N 및 더욱 잘 보이는 이미지가 달성된다.
하나의 실시예에서, 커널을 적용하는 효과는 처리 중인 현재의 픽셀에 인접한 이미지의 일부 특성을 기술하는 메트릭(metric)에 기초하여 수정된다. 실시예에서, 메트릭은 현재의 픽셀에 인접한 픽셀의 통계적 분석에 기초하고 있다. 예를 들어, 통계적 분석은 이미지 데이터의 매트릭스에서의 엔트리 사이의 표준 편차, 이미지 매트릭스에서의 엔트리의 히스토그램, 또는 이미지 매트릭스의 엔트리에서의 엔트로피(entropy)에 기초할 수 있다. 그러나, 상기 메트릭은 현재의 픽셀에 인접한 특정 픽셀 사이의 경도(gradient)의 계산에 기초할 수도 있다. 하나의 실시예에서, 커널은 메트릭에 기초하여 수정된다. 다음으로, 수정된 커널은 이미지 데이터에 적용된다. 또 다른 실시예에서, 수정되지 않은 커널을 이미지에 적용한 후, 메트릭에 기초하여 스케일링이 수행된다.
일부 응용에서는, 커널이 PSF를 중화(counteract)시키도록 의도될 수 있다. 즉, 커널은 신호를 캡처하는 장치에서 블러링과 같은 광학적 수차를 표현하는 PSF의 역(inverse)이 되도록 의도될 수 있다. 그러나, 커널이 PSF의 역이어야 한다고 요구되지는 않는다. 또한, 본 명세서에서는 커널이 이미지 콘트라스트를 증가시키기 위해 이용되는 예가 존재한다. 그러나, 본 명세서에서 설명된 기술이 이미지 콘트라스트를 증가시키기 위해 이용되는 커널에 적용되어야 한다고 요구되지는 않는다. 또한, 본 명세서에서는 커널이 이미지 처리에 이용되는 예가 존재한다. 그러나, 더욱 일반적으로, 본 명세서에서 설명된 기술은 임의의 디지털 신호 처리 응용에 이용되는 커널에 적용될 수 있다.
하나의 실시예에서, 이미지를 샤프닝하기(콘트라스트 증가) 위해 이용되는 동일한 메커니즘은 이미지에서 모션-블러 또는 쉐이크(shake)의 효과를 감소 또는 제거하기 위해서도 이용된다. 동일한 메커니즘을 모션 블러 보정 및 콘트라스트 증가에 이용하는 것은 실리콘 크기, 프로세서 사이클, 복잡도 및 비용의 측면에서 더 양호한 해결책이 될 수 있다.
2.0 예시적인 이미지 신호 처리 체인
디지털 스틸 카메라(digital still camera) 모듈에서는, 원시 이미지(raw image)를 처리하고, 비휘발성 메모리(non-volatile) 메모리에 저장되는 최종 이미지(예를 들어, JPEG 이미지, TIFF 이미지 등)를 출력하는 알고리즘의 세트(set)가 이미지 신호 처리 체인(image signal processing chain) 또는 ISP 체인으로 불린다. 도 1a는 ISP 체인(100)에 존재하는 전형적인 단계(stage)를 도시한다. ISP 체인은 다른 스테이지를 가질 수 있으며, 도 1a에 도시된 모든 단계를 갖도록 요구되지는 않는다. 상기 단계는 상이한 순서일 수 있다.
하나의 실시예에서, 디지털 자동-포커스(digital auto-focus)는 ISP 체인의 일부로서 작용하는 독립형 블럭(standalone block)으로서 구현된다. 예시적인 ISP 체인(100)은 디지털-자동-포커 블럭을 갖지 않는 전형적인 ISP 체인을 도시한다. 예시적인 ISP 체인(100)은 다음의 단계를 포함한다. 아날로그 이득(101)은 (예를 들어, 낮은 노출 시간을 이용하면서) 어두운 이미지를 보상하기 위한 A/D 변환 전의 이득을 적용한다. 블랙 레벨 보정(102)은 이미지로부터 바닥 값(floor value)(예를 들어, 센서로부터 출력되는 "암 전류(dark current)")을 제거한다. 배드 픽셀(bad pixel) 보정(106)은 이미지에서 매우 낮은 또는 매우 높은 값을 잘못 생성하는 "불탄(burned)" 픽셀의 위치를 결정하고, 이를 주변의 "스마트(smart)" 평균으로 대체한다. Gr/Gb 보상(107)은 BAYER 패턴을 갖는 CMOS 센서에서, 청색 픽셀을 갖는 라인의 녹색 픽셀값과 적색 픽셀을 갖는 라인의 녹색 픽셀값 사이에서 발생할 수 있는 차이를 보상한다. 이미지 센서가 BAYER 포맷을 이용해야 한다고 요구되지는 않는다. 화이트 밸런스 및 디지털 이득(108)은 동적 범위를 유지하면서, 색의 밸런스를 맞추고 조명 조건 및 광 레벨을 보상하기 위하여 각각의 색(녹색-적색, 적색, 녹색-청색, 청색)에 대한 이득을 적용한다.
렌즈 차단 보정(109)은 중심으로부터 떨어진(far-from-the-center) 픽셀의 휘도(luminance)를 증가시킴으로써 렌즈 차단 프로파일을 보상한다. 노이즈 제거(110)는 이미지로부터 랜덤 노이즈 및 고정-패턴 노이즈를 제거한다. 색 보간(디모자이킹(demosaicing))(112)은 BAYER 이미지를 보간하여 RGB 이미지를 완성하며, 모든 픽셀은 3개의 색 채널 값을 가진다.
샤프닝(114)은 이미지에서 콘트라스트를 증가시킨다. 이후에 보다 상세하게 설명되는 바와 같이, 디지털 자동 포커스 블럭은 디지털 자동 포커스가 PSF를 보상한다는 점에서 샤프닝 블럭과 상이하다.
색 보정 매트릭스(115)는 이미지의 색 정밀도 및 색 포화를 담당하고 있다. 감마 보정(116)은 감마 곡선을 이미지에 적용한다. JPEG 압축(118)은 이미지를 완전한 BMP 이미지로부터, (플래시 메모리와 같은) 비휘발성 메모리에 저장될 수 있는 JPEG 이미지로 압축한다. JPEG 이외의 압축이 이용될 수 있다.
ISP 체인에는 디지털-자동-포커스 블럭을 위한 다수의 가능한 위치가 존재한다. 도 1b는 실시예에 따라 디지털 자동 포커스 블럭(111)을 포함하는 ISP 체인(100a)을 도시한다. 예를 들어, ISP 체인(100a)에서는, 디지털 자동 포커스 블럭(111)이 디모자이킹 블럭(112) 직전에 위치하며, 바꾸어 말하면, BAYER 이미지에 대해 적용된다. 도 1c는 실시예에 따라 디지털 자동 포커스 블럭(111)을 역시 포함하는 ISP 체인(100b)을 도시한다. ISP 체인(100b)에서는, 디지털 자동 포커스 블럭(111)이 디모자이킹 블럭(112) 이후에 위치되며, 바꾸어 말하면, RGB 이미지에 대해 적용된다. ISP(100a) 및 ISP(100b)의 두 경우에 있어서, 디지털 자동 포커스 블럭은 도시된 위치에 정확하게 위치되어야 한다고 요구되지는 않으며, ISP에서 어느 곳에라도 위치될 수 있다. 실시예에서, 디지털 자동 포커스(111)는 배드 픽셀 효과를 증가시킬 수 있으므로, 디지털 자동 포커스(111) 블럭은 배드 픽셀 보정(106) 이후에 나온다. 또 다른 실시예에서, 베이어 디노이징(bayer de-noising)(110) 블럭, 렌즈 차단 보정(109) 블럭, 화이트 밸런스(108) 블럭, Gr/Gb 보상(107) 블럭, 배드 픽셀 보정(106) 블럭 및 블랙 레벨 보정(102) 블랙은 센서 및 부분적으로 렌즈 결함을 보정함으로, 디지털 자동 포커스 블럭은 이러한 블럭들 이후에 나오도록 추천된다. 디지털 자동 포커스 블럭을 ISP에 포함시키는 것은 샤프닝(114) 블럭이 불필요해지는 결과가 될 수 있다는 것에 유의해야 한다.
ISP 체인(100)은 전체적으로 디지털 자동 포커스(111) 단계를 적용하지 않고도, 낮은 해상도의 화면에 대해 양호한 품질의 이미지를 생성할 수 있다. 따라서, 프리뷰 모드(preview mode)(이미지를 캡처하기 전에 핸드셋(handset)의 프리뷰 화면에 이미지가 표시될 때)에서 디지털 자동 포커스(111)를 활성화시키는 것이 요구되지 않는다.
알고리즘의 실시예에서, 이미지를 캡처한 카메라 모듈 시스템은 이용자가 피사체에 근접한 이미지(close-object image)(예를 들어, 20-40cm)를 취할 것인지 또는 피사체에서 떨어진 이미지(distant-object image)(예를 들어, 40cm-무한대)를 캡처할 것인지를 선택하도록 하는 매크로/정상(macro/normal) 특징을 포함한다. 하나의 실시예에서, 모드의 선택은 디지털 자동 포커스(111)로 입력되고, 그 처리를 변경하기 위해 이용될 수 있다. 예를 들어, 촬영 모드(shooting mode)에 따라, 상이한 디컨벌루션 커널이 이용되거나, 커널이 변경될 수 있다. ISP 체인(100)의 다른 단계로부터의 다른 파라미터가 디지털 자동 포커스 단계(111)로 입력될 수도 있다. 일례로서, 다른 단계는 이미지에 속하는 S/N 수치를 디지털 자동 포커스 단계(111)에 제공한다. 디지털 자동 포커스 단계(111)는 S/N 수치에 기초하여 샤프닝의 양을 조절한다. 하나의 실시예에서, 샤프닝의 양은 ISP 체인(100)의 또 다른 단계에서 제공될 수 있는 픽셀 위치에 기초하고 있다. 그러나, 정상/매크로 모드가 상이한 커널 사이에서 선택하도록 이용될 것이라고 요구되지는 않으며, 커널의 단일 세트는 멀리 떨이진 거리 및 근접 거리를 모두 지원할 수 있다.
3.0 디컨벌루션의 개요
하나의 실시예에서, 커널은 베이어 디컨벌루션을 수행하기 위해 이용된다. 그러나, 디컨벌루션은 커널이 어떻게 이용될 수 있는지에 대한 하나의 예에 불과하다. 베이어 이미지는 픽셀값의 2D 매트릭스로서 모델링될 수 있고, 모든 셀 값은 그것이 나타내는 센서의 픽셀 상부의 색 필터에 따라 그 자신의 색, 적색, 녹색 또는 청색을 가진다. 도 8은 적색(R), 청색(B) 및 녹색(G) 픽셀을 갖는 예시적인 베이어 이미지(800)를 도시한다. 픽셀의 위치는 그 색에 대해 커널과 컨벌루션 되는 이미지 데이터에서의 픽셀 위치를 나타낸다. 각각의 색은 중심 픽셀 801g, 801r, 801b을 가지며, 상기 중심 픽셀은 적절한 색 커널 매트릭스를 이미지 신호에서의 대응하는 픽셀과 컨벌루션 함으로써 그 값이 수정되는 이미지 신호에서의 픽셀을 식별한다.
실시예에 따르면, 베이어 컨벌루션은 컨벌루션에 참여하는 픽셀을 정의하는 3개의 2D 커널(각각의 픽셀 색에 대해 하나)과, 각각의 픽셀과 승산되는 계수 값을 이용한다. 커널 크기는 커널이 이미지 위에 놓여질 경우에 커널이 신호 이미지 내의 얼마나 많은 픽셀을 "포괄(cover)"하는지를 의미하는 지원(support)의 측면에서 정의될 수 있다. 도 8을 참조하면, 커널 지원 크기는 9x9이다. 커널은 다수의 다른 크기를 지원할 수 있다. 또 다른 실시예에서, 녹색 픽셀은 청색 픽셀을 갖는 행(row)에 위치된 녹색 픽셀(Gb)과, 적색 픽셀을 갖는 행에 위치된 녹색 픽셀(Gr)로 분할된다. 이러한 실시예에서는, Gb 및 Gr에 대해 하나씩, 2개의 녹색 커널이 존재하고, 적색 또는 청색 픽셀 커널에 대한 구성도 유사하다.
일부 실시예에서, 컨벌루션은 상이한 색을 혼합하지 않는다는 것에 유의해야 한다. 즉, 일부 실시예에서, 각각의 중심 픽셀은 동일한 색 단독의 주변 픽셀과 컨벌루션된다. 그러나, 다른 실시예에서는, 컨벌루션이 색을 혼합한다. 예를 들어, 적색 중심 픽셀을 처리할 때, 청색 및/또는 녹색 픽셀로부터의 정보는 디컨벌루션에 이용될 수 있다. 따라서, 주어진 색에 대한 커널 매트릭스는 상이한 색의 픽셀에 대응하는 위치에서 난-제로(non-zero) 계수를 가질 수 있다.
커널의 계수는 캡처된 이미지에서의 대응하는 픽셀과 승산되고, 이들은 모두 합산되며, 그 결과는 출력 이미지의 적당한 장소에 기록된다. 이미지에서의 이러한 대응하는 픽셀은 본 명세서에서 "현재의 이미지 윈도우(current image window)"라고 칭한다. 예를 들어, 도 8의 커널은 9x9 픽셀 환경을 지원한다. 도 8에서, 적색 픽셀 및 청색 픽셀 각각은 5x5 매트릭스를 구성한다. 중심 적색 픽셀 801r을 처리할 때, 중심 적색 픽셀 801r 주위의 캡처된 이미지 내의 적색 픽셀은 현재의 이미지 윈도우이다. 따라서, 이 예에서, 현재의 이미지 윈도우는 단일 색의 픽셀만을 포함한다. 그러나, 일부 타입의 처리에 대해서는, 현재의 이미지 윈도우는 하나 이상의 색의 픽셀을 가질 수 있으며, 예를 들어, 커널이 색을 혼합하는 경우, 즉, 처리가 수행되는 중심 픽셀과 상이한 색의 픽셀과 승산되는 계수를 커널이 포함하는 경우, 이들이 동작하는 이미지 윈도우는 이러한 픽셀도 포함해야 한다. 녹색 픽셀은 전체 41개의 픽셀에 대해 5x5 패턴 및 4x4 패턴을 가진다는 것에 유의해야 한다. 각 패턴의 중심 픽셀은 그 값이 컨벌루션에 의해 업데이트되는 픽셀이다. 이 예에서는, 베이어 컨벌루션이 이용되고, 이 베이어 컨벌루션에서는, 각각의 색에 대해 동일한 색의 픽셀만 이용된다. 따라서, 적색 패턴은 적색 중심 픽셀과 그 패턴에서의 인접한 적색 픽셀에 기초하여 적색 중심 픽셀 801r을 업데이트하기 위해 이용된다.
표 1은 녹색 픽셀을 컨벌루션하기 위한 3x3-지원 커널의 예시적인 베이어 필터에 대한 계수를 도시한다. 커널의 중심 계수가 녹색 픽셀에 속할 때, 녹색 픽셀만 컨벌루션에 참여하고 있는 것이다. 제로(zero)의 값을 갖는 커널 계수에 대해 승산을 실제로 수행하는 것은 필요하지 않다는 점에 유의해야 한다.
- 0.5 0 - 0.5
0 3 0
- 0.5 0 - 0.5
일례로서, 상기 베이어 필터가 도 8의 적절한 부분에 적용되면, 녹색 중심 픽셀 801g 및 4개의 최근접 녹색 픽셀이 컨벌루션에 참여한다. 상기 컨벌루션은 고역통과 필터 또는 대역통과 필터로서 작용할 수 있다. 그러나, 상기 컨벌루션은 저역통과 필터 또는 다른 함수로서 작용할 수 있다.
표 1의 커널 계수의 합은 1과 동일하다는 점에 유의해야 한다. 계수가 1이 아닌 값으로 합산되면, (예를 들어, 참여 중인 모든 픽셀이 동일한 값일 때) 커널은 이미지의 "DC" 값에 영향을 줄 것이며, 이것은 색 또는 명암도(intensity)에 영향을 줄 수 있다. 커널을 균일한 색의 표면에 적용할 때, 그 색(또는 명암도)을 보존하는 것이 바람직할 수 있다.
RGB 디컨벌루션이 이용될 때(즉, 디모자이킹 처리 후에 디컨벌루션이 수행될 때), 모든 픽셀은 3개의 값(R, G, B)을 각각 가지며, 이에 따라, 각각의 색에 대한 이미지의 정보는 공간적으로 연속적이고 모든 픽셀에 존재하므로, 각각의 색에 대한 커널은 각각의 매트릭스 셀에 대한 유효한 계수를 갖는 2D 매트릭스로서 기록될 수 있다. RGB 이미지를 3개의 2D 매트릭스, 즉, 적색에 대해 하나, 녹색에 대해 하나, 그리고 청색에 대해 마지막 하나의 조합으로서 관찰하는 것이 편리하다. 색 혼합이 수행되지 않는 경우, 각각의 커널은 그 커널에 맞는 색을 포함하는 2D 매트릭스에 적용된다. 그러나, 실시예에서는, 커널이 색을 혼합할 수 있으며, 이에 따라, 커널은 모든 R, G 및 B 이미지 매트릭스에서 픽셀과 승산되는 값을 가질 수 있다.
하나의 실시예에서는, 출력 이미지의 비트 해상도에 대해 오버플로우(overflow) 또는 언더플로우(underflow)가 존재하는지를 보장하기 위하여 검사가 행해진다. 오버플로우 또는 언더플로우가 존재하면, 포화(saturation) 및 클립핑(clipping)이 이용될 수 있다. 실시예에서, 출력 이미지의 비트 해상도는 입력 이미지와 동일하다. 그러나, 이것이 요구되지는 않는다. 또 다른 실시예에서는, 출력 이미지 해상도가 입력 이미지 해상도에 대해 변경될 수 있다. 픽셀이 처리되는 순서는 임의의 특정한 순서에 한정되지 않는다. 상기 순서는 샤프닝 단계(114)에 대한 입력 인터페이스에 의존할 수 있다.
4.0 의도된 효과의 크기에 기초하여 커널 효과를 조절하는 것의 개요
4.1 처리 개요
도 12는 실시예에 따라 커널 효과를 조절하기 위한 처리(1200)를 예시하는 순서도이다. 스텝(1202)에서는, 초기 커널 매트릭스가 액세스된다. 스텝(1204)에서는, 커널 매트릭스를 처리하는 것이 신호 매트릭스에 대해 가지는 효과에 대한 조절이 행해진다. 상기 조절은 커널이 신호에 대해 가지는 효과의 크기를 수정하도록 설계된다. 도 21 및 도 22는 커널 매트릭스를 처리하는 것이 신호 매트릭스에 대해 가지는 효과를 조절하기 위한 2개의 기술을 도시한다.
의도된 효과는 또 다른 효과일 수 있지만, 상기 의도된 효과는 이미지 콘트라스트를 증가시키기 위한 것일 수 있다. 효과의 크기에 대한 조절은 신호의 S/N 수치에 기초할 수 있다. 효과의 크기에 대한 조절은 픽셀의 위치에 기초할 수 있다. 효과의 크기에 대한 조절은 신호를 캡처하기 위해 이용되는 렌즈의 속성(예를 들어, 렌즈 차단)에 기초할 수 있다. 효과의 크기에 대한 조절은 처리 중인 데이터에 인접한 데이터의 특성에 기초할 수 있다. 일례로서, 상기 특성은 데이터의 표준 편차와 같이 그 본질이 통계일 수 있다. 커널 효과는 임의의 수의 이러한 인자 또는 다른 인자에 의해 조절될 수 있다.
4.2 커널을 업데이트 함으로써 커널 효과를 조절하는 것의 개요
도 21은 실시예에 따라 하나 이상의 파라미터에 기초하여 커널이 업데이트되는 기술을 도시한다. 그 다음으로, 업데이트된 커널은 컨벌루션에 이용된다. 도 21에서, 입력 인터페이스(2202)는 ISP 체인의 또 다른 단계로부터 이미지 신호를 받아들이며, 이미지 픽셀을 업데이트 커널 블럭(2106)에 전달한다. 이 실시예에서, 입력 인터페이스(2206)는 특정한 데이터를 ISP 체인으로부터 업데이트 커널 블럭(2106)으로 제공한다. 이 데이터의 예는 다음의 것으로 한정되지는 않지만, S/N 수치, 이미지 히스토그램, 노출 시간, 디지털 및 아날로그 이득, 디노이징 정보, 화이트-밸런스 정보, 및 픽셀 위치를 포함한다.
업데이트 커널 블럭(216)은 선택된 이미지 픽셀로부터 구성되는 신호 매트릭스의 컨벌루션에 이용하기 위한 커널(215)을 업데이트한다. 여기서, S/N("알파(alpha)"), 공간 위치("베타(beta)"), 국소적인 특성("감마(gamma)")와 같은 인자에 기초하고 있는 몇 개의 예시적인 파라미터가 개시되어 있다. 커널은 하나 이상의 이러한 파라미터 또는 다른 파라미터에 기초하여 업데이트될 수 있다. 따라서, 커널 업데이트는 이러한 파라미터에 한정되지 않는다. 컨벌루션 블럭(2206)은 (이미지 픽셀에 기초한) 신호 매트릭스를 업데이트된 커널 및 최종 결과와 컨벌루션한다.
계산된 메트릭(예를 들어, "알파", "베타", "감마",...)을 이용하여 커널을 수정하기 위한 방법은 다음과 같으며, 0 및 1의 동적 범위(그렇지 않을 경우, 이러한 동적 범위로 변환하는 것이 가능함) 내에 있는 메트릭이 일단 계산되면, 커널의 효과는 다음의 업데이트 공식(예를 들어, 3x3 커널)을 이용하여 감소될 수 있다.
Figure 112009068139617-pct00001
최종 커널 초기 커널
이 공식은 메트릭이 0에 근접할 경우에 커널의 효과를 감소시키는 희망하는 효과를 생성하며, 메트릭이 1에 근접할 경우에 초기 커널 상태로 남겨둔다. 최종 커널은 2개의 커널, 즉, 초기 커널 및 크로넥커-델타 커널의 선형 조합이다. 이미지와 컨벌루션 되는 크로넥커-델타 커널은 그것을 변경하지 않고 그 상태로 남겨둔다. 따라서, 커널과 승산되는 계수의 합계가 1이 될 때, 초기 커널과 조합하는 것은, (최종 커널에서의 모든 계수의 합이 1을 유지하므로) 이미지의 DC 주파수 성분에 변경이 적용되지 않음을 보장하면서, 메트릭에 따라, 초기 커널 효과의 강도(strength)가 감소되는 것을 보장한다.
또 다른 실시예에서, 크로넥커-델타 커널은 또 다른 커널, 예를 들어, 초기 커널보다 더 강한 효과를 갖는 커널로 대체되며, 이에 따라, 메트릭에 따라, 처리의 효력을 증가시키는 효과가 달성될 수 있다.
4.3 컨벌루션 결과를 수정함으로써 커널 효과를 조절하는 것의 개요
도 22는 실시예에 따라 반드시 수정되지는 않은 커널의 컨벌루션 결과에 대해 "스케일링(scaling)"이 적용되는 기술을 도시한다. 이 스케일링은 도 21에서 도시된 바와 같이 커널을 업데이트하는 것과 동일한 결과를 달성한다. 도 22에서, 입력 인터페이스(2202)는 ISP 체인의 또 다른 단계로부터 이미지 신호를 받아들이고, 이미지 픽셀을 컨벌루션 블럭(2206)에 전달한다. 컨벌루션 블럭(2206)은 (이미지 픽셀에 기초한) 신호 매트릭스를 수정되지 않은 커널(215)과 컨벌루션하고, 컨벌루션 결과를 출력한다. 컨벌루션 블럭(2206)은 처리 중인 현재의 픽셀에 대한 초기 커널과의 컨벌루션을 수행하고, 그 결과를 블럭(2212)에 출력한다.
평균기 블럭(2212)은 ISP로부터의 추가적인 데이터와 함께, 블럭(2212)으로부터의 컨벌루션 결과와 컨벌루션 이전의 현재의 픽셀값을 받아들인다. 이러한 데이터의 예는 다음의 것으로 한정되지는 않지만, S/N 수치, 이미지 히스토그램, 노출 시간, 디지털 및 아날로그 이득, 디노이징 정보, 화이트-밸런스 정보, 및 픽셀 위치를 포함하고, 요구되는 업데이트 메트릭을 계산한다(다른 방안으로서, 이 정보에 기초하고 있는 업데이트 메트릭은 사전에 계산되고, 평균기로만 입력된다).
다음으로, 평균기(2212)는 컨벌루션 결과의 컨벌루션 이전의 픽셀값 사이에서 평균을 구하고, 실시예의 다음의 공식을 이용하여 최종 결과(final result)를 출력한다.
Figure 112009068139617-pct00002
수학식 1에서, ConvRs는 컨벌루션 결과이고, InputPixel은 처리 중인 현재의 픽셀의 원래의 값이다. InputPixel은 실시예에서 크로넥커-델타 커널 및 신호 매트릭스의 컨벌루션 결과이므로 이용된다. 희망하는 효과가 초기 커널의 효과를 증가시키는 것인 경우, InputPixel은 ConvRs를 생성하기 위해 이용되었던 커널보다 더욱 강력한 효과를 갖는 커널과의 컨벌루션 결과로 대체된다. 상기 메트릭은 0 및 1 사이의 동적 범위를 가지는 임의의 업데이트 메트릭일 수 있고, 상기 업데이트 메트릭은, 0에 근접할 때, 수학식에서 첫 번째 가수(addend)의 효과를 감소시키고 두 번째 가수의 효과를 증가시키도록 구성되고, 1에 근접할 때, 그 반대의 현상이 발생하도록 구성된다(최종 결과의 수학식에서 첫 번째 가수의 효과를 증가시키고 두 번째 가수의 효과를 감소시킨다). 최종 출력을 생성하기 위하여 몇 개의 메트릭이 이용될 수 있고, 승산 계수가 1에 합산되기만 한다면, 2 이상의 가수가 수학식에서 이용될 수 있다. 여기서, S/N("알파"), 공간 위치("베타"), 국소적인 특성("감마")과 같은 인자에 기초하고 있는 메트릭의 몇 가지 예에 대해 논의된다. 최종 결과는 하나 이상의 이러한 인자 또는 다른 인자에 의존될 수 있다.
5.0 다양한 인자에 기초하여 커널 효과 조절
5.1 S/N 수치에 기초하여 커널 효과 조절
커널을 업데이트하는 예시적인 시스템
도 2는 커널 매트릭스에 기초하여 희망하는 처리량을 달성하기 위하여 신호 매트릭스를 처리하기 위한 예시적인 시스템(200)을 예시하는 블럭도를 도시한다. 도 2는 실시예에 따라 커널 매트릭스를 업데이트하고 업데이트된 커널 매트릭스를 갖는 이미지 데이터를 처리하는 것에 대해 도시한다. 본 명세서의 어디에선가 설명된 바와 같이, 커널을 적용하는 효과를 조절하기 위하여 커널 자체가 수정되도록 요구되지는 않는다. 하나의 실시예에서, 커널에 기초하여 처리의 효과를 조절하기 위하여, 수정되지 않은 커널을 갖는 이미지를 처리한 후에 스케일링이 수행된다. 따라서, 도 2의 다양한 블럭은 설명의 편의를 위해 도시된 것이며, 커널에 대한 업데이트를 구현하는 것은 도 2에 도시된 바와 같이 알파와 커널의 승산을 요구하지 않는다는 점을 이해할 것이다.
일반적으로, 업데이트 커널 블럭(202)은 노이즈 레벨 추정자(noise level estimator)에 기초하여 선택된 커널 매트릭스를 업데이트한다. 컨벌루션 블럭(206)은 업데이트된 커널을 이미지 데이터에 적용하고, 이 데이터는 출력 인터페이스(209)에 출력된다. 하나의 실시예에서, 업데이트 커널 블럭(202) 및 컨벌루션 블럭(206)은 도 1b 또는 도 1c의 자동 포커스 블럭(111)의 일부를 구성한다. 실시예에서, ISP 체인(204a)의 상향 부분은 다음의 파라미터를 입력 인터페이스(208)에 제공한다.
i. 촬영 모드.
ii. 노이즈 레벨 추정자.
iii. 입력 이미지.
촬영 모드는 실시예에서 커널(215a, 215a)의 어느 세트를 이용할 것인지를 결정하기 위해 이용된다. 도 2의 예시적인 시스템은 매크로 모드 및 정상 모드에 대한 커널을 도시한다. 그러나, 야간, 풍경 등과 같은 다른 모드에 대한 커널이 존재할 수 있다. 촬영 모드는 커널에 대한 특수한 처리를 요구하는 임의의 타입의 장면(scene)일 수 있다. 하나의 실시예에서, 촬영 모드는 이용자-선택에 기초하고 있다. 예를 들어, 이용자는 매크로 모드 및 정상 모드 사이에서 선택할 수 있다. 또 다른 실시예에서, 촬영 모드는 자동으로 결정된다. 이 실시예에서는, 촬영 모드에 기초하여, 매크로 커널(215a) 또는 정상 커널(215b)이 입력으로서 업데이트 초기 커널 블럭(202)에 제공된다. 실시예에서, 커널에 대한 계수는 내부 메모리에 저장된다. 일례로서, 16-비트의 부호를 지닌 해상도가 계수를 표현하기 위해 이용될 수 있다.
정상 모드 커널(215b)은 예를 들어, 40cm-무한대 사이에서 얻어진 이미지에 대해 이용될 수 있다. 매크로 모드 커널(215a)은 근접 요소를 촬영하기 위해 이용될 수 있다. 일례로서, 근접 요소는 20cm-40cm의 범위 또는 심지어 10cm40cm의 더 근접한 범위일 수 있다. 하나의 실시예에서, 3개의 색의 커널(적색, 녹색, 청색)에 대한 2개의 세트가 존재하며, 하나의 세트는 정상 모드에 대한 것이고 하나의 세트는 매크로 모드에 대한 것이다. 상이한 수의 색 커널이 이용될 수 있다. 상이한 크기의 커널도 마찬가지로 존재할 수 있다. 또한, 이용되는 지원 크기는 픽셀 크기에 기초할 수 있다. 예를 들어, 픽셀 크기가 1.75um인 경우, 커널 지원 크기는 13x13일 수 있다. 2.2um 픽셀 크기에 대해서는, 커널 지원 크기가 9x9일 수 있다. 그러나, 더 작은 픽셀 크기에 대해 더 큰 지원 크기를 이용하도록 요구되지는 않는다.
노이즈 레벨 추정자는 캡처된 이미지에서의 노이즈 레벨의 추정자이다. 노이즈 레벨 추정자는 임의의 포맷으로 표현될 수 있다. 일례로서, 노이즈 레벨 추정자는 0 및 7 사이의 정수 값일 수 있고, 0은 낮은 노이즈(양호한 S/N)를 나타내고, 7은 상당한 양의 노이즈(열악한 S/N)를 나타낸다. 열악한 S/N은 열악한 조명 조건과 관련될 수 있다.
실시예에서, ISP 체인(204a)의 상향 부분은 이미지 픽셀 데이터를 입력으로서 제공하기 전에 배드 픽셀 보정(BPC : bad pixel correction)을 이미지 데이터에 적용한다. 실시예에서는, 이미지 데이터가 컨벌루션 블럭(206)에 의해 처리된 후, ISP 체인(204b)의 하향 부분에 의해 디모자이킹이 이미지 데이터에 적용된다.
업데이트 커널 블럭(202)은 본 명세서에서 "α"라고 불리는 값을 노이즈 레벨 추정자로부터 계산하기 위한 알파 계산 로직(212)을 가진다. 하나의 실시예에서, 노이즈 레벨 추정자가 0 및 Max_noise_val 사이의 수인 경우, α의 값은 수학식 2를 이용하여 계산된다.
Figure 112009068139617-pct00003
수학식 2는 이미지에 노이즈가 많을수록(noise_val이 클수록) α의 값이 더 낮다는 것을 나타낸다(그 반대도 성립한다). 그러므로, 이미지에 노이즈가 거의 존재하지 않는다면, α의 값은 1에 근접한다. 알파 및 noise_val 사이의 관계는 수학식 2에서 선형적이다. 그러나, 선형 관계가 요구되지는 않는다. noise_val 및 이미지에서의 진정한 노이즈 양 사이의 관계에 따르면, 2차 의존성 또는 임의의 다른 것과 같은 더욱 복잡한 형태에서는 알파가 noise_val에 종속적일 수 있고, noise_val이 선형이면, 알파는 noise_val의 선형 함수일 수 있다. 업데이트 커널 블럭(202)은 커널 업데이트 로직(214)을 가지고, 이 커널 업데이트 로직(214)은 α의 값에 기초하여 초기 커널의 업데이트된 버전을 생성한다.
도 3은 실시예에 따라 커널을 업데이트하기 위한 예시적인 수학식을 도시한다. 도 3은 알파-업데이트된 커널 매트릭스가 2개의 커널의 선형 조합임을 나타내고, 2개의 커널은 α와 승산되는 초기 커널 매트릭스 및 (1-α)와 승산되는 델타 커널 매트릭스이다. 델타 커널은 크로넥커-델타 커널이라고도 불릴 수 있다. 이것 은 1로 유지되는 알파-업데이트된 커널의 계수의 합으로 되며, 이에 따라 이미지의 "DC" 값을 보존한다는 점에 유의해야 한다. 도 3의 수학식의 구현은 디컨벌루션 커널의 알파와의 승산을 요구하지 않는다는 점에 유의해야 한다. 오히려, 이하에서 논의되는 바와 같이, 동일한 결과를 생성하기 위하여 이미지 매트릭스를 수정되지 않은 디컨벌루션 매트릭스와 컨벌루션한 후, 알파 "스케일링"이 발생할 수 있다.
α가 비교적 1에 근접하면, 알파-업데이트된 커널은 초기 커널과 매우 유사하다. 그러나, α의 값이 1보다 0에 근접하면, 알파-업데이트된 커널은 크로넥커-델타 커널과 더 유사할 것이다. 예를 들어, α=0.2이면, 알파-업데이트된 커널은 80% 크로넥커-델타 커널 및 20%의 초기 커널만을 포함할 것이다. 실시예에서, 초기 커널은 본질적으로 고역통과 또는 대역통과 필터이다. 따라서, α가 낮으면, 알파-업데이트된 커널이 이미지에 야기시키는 샤프닝의 양은 초기 커널의 양보다 훨씬 작다.
커널이 고역통과 또는 대역통과 필터이면, 노이즈를 증폭시킬 수 있음에 유의해야 하며, 그러므로, 이미지가 낮은 S/N을 가질 때, 이러한 커널을 약화시키는 것은 업데이트하지 않고 초기 커널을 갖는 이미지를 처리하는 것에 비해 최종 처리된 이미지에서 S/N을 향상시킬 수 있다. 이러한 기술은 초기 커널의 이득을 약화시킬 수 있다. 크로넥커-델타 커널을, 초기 커널보다 더 강한 고역통과/대역통과 주파수 응답을 갖는 커널로 대체함으로써, 초기 커널을 강화하기 위하여 동일한 기술이 이용될 수 있다. 컨벌루션 블럭(206) 내의 컨벌루션 로직(216)은 입력 이미지의 현재의 부분을 알파-업데이트된 커널과 컨벌루션하고, 값을 출력 인터페이스(209) 에 출력한다. 실시예에서, 출력 이미지는 입력 이미지 해상도와 동일한 해상도를 가진다.
포스트 컨벌루션 스케일링(post convolution scaling)을 이용하는 예시적인 시스템
앞서 논의된 바와 같이, 알파 업데이트를 달성하기 위하여 커널이 알파와 승산되는 것이 요구되지는 않는다. 도 16은 수정되지 않은 커널의 컨벌루션 결과에 "스케일링"이 적용되는 실시예를 도시한다. 이 스케일링은 도 2에 도시된 바와 같이 알파에 의해 커널을 업데이트하는 것과 동일한 결과를 달성한다. 도 16에서, 촬영장치 인터페이스(208)는 이미지 센서(1372)로부터 이미지 신호를 받아들이고 이미지 매트릭스를 컨벌루션 블럭(206)에 전달한다. 촬영장치 인터페이스(208)로부터의 모드 선택 신호는 하나 이상의 커널(215)을 선택하기 위해 이용되고, 이 커널은 컨벌루션 블럭(206)에 제공된다. 상이한 모드의 예는 앞에서 논의되었다. 컨벌루션 블럭(206)은 신호 매트릭스를 수정되지 않은 커널과 컨벌루션하고 컨벌루션 결과를 출력한다. 각각의 컨벌루션 결과는 현재 처리 중인 신호 매트릭스의 엔트리 중에서 하나에 대한 값을 포함한다.
이 실시예에서, 촬영장치 인터페이스(208)는 노이즈 레벨 추정자 신호를 스케일링(1602)에 제공하고, 스케일링(1602)은 알파 계산 로직(212)을 이용하여 "알파"를 계산한다. 알파 계산은 도 2에 도시된 실시예와 유사한 방식으로 수행될 수 있다. 알파 스케일링(1612)은 컨벌루션 결과, 알파, 및 처리 중인 현재의 픽셀에 대한 원래의 값을 입력하고, 현재의 픽셀에 대한 최종 결과를 출력한다. 하나의 실시예에서, 현재의 픽셀은 신호 매트릭스의 중심 픽셀이다. 하나의 실시예에서, 알 파 스케일링(1612)은 다음 수학식의 연산을 수행한다.
Figure 112009068139617-pct00004
수학식 3에서, ConvRs는 컨벌루션 결과이고 InputPixel은 처리 중인 현재의 픽셀의 원래의 값이다. 따라서, 현재의 픽셀에 대한 최종 처리 결과는 수정되지 않은 커널 및 하나 이상의 다른 값을 이용한 컨벌루션 결과의 가중된 합이다. 이러한 다른 값은 다음의 것으로 한정되지 않지만, 입력 이미지에서의 원래의 픽셀값을 포함한다. 이 실시예에서, 알파 파라미터는 가중(또는 스케일링) 파라미터로서 이용된다.
5.2 공간 위치에 따라 커널 효과 조절
예시적인 시스템
하나의 실시예에서, 디컨벌루션 커널을 이미지에 적용하는 효과는 공간적인 위치에 따라 수정된다. 하나의 실시예에서, 공간적인 위치는 이미지 데이터를 캡처하기 위해 이용되는 렌즈에 대한 차단 프로파일에 기초하고 있다. 도 4는 업데이트 커널 블럭(202)에 의해 수정된 후에 알파-업데이트된 컨벌루션 커널을 수정하기 위하여 컨벌루션 블럭(203) 내의 베타-업데이트 로직(304)이 "차단 표시자(shading indicator)"를 이용하는 시스템(400)의 블럭도를 도시한다. 차단 표시자는 렌즈-차단의 양을 정의하고, 이미지 데이터의 중심에 대해 기술될 수 있다. 희망하는 경우, 커널에 대한 베타-업데이트는 커널에 대한 알파-업데이트 이전 또는 알파-업데 이트 없이 수행될 수 있다. 본 명세서의 어디에선가 설명된 바와 같이, 커널을 적용하는 효과를 조절하기 위하여 커널 자체가 수정되어야 한다고 요구되지는 않는다. 하나의 실시예에서는, 커널에 기초하여 처리의 효과를 조절하기 위하여, 수정되지 않은 커널을 갖는 이미지를 처리한 후에 스케일링이 수행된다. 여기서, 차단 표시자에 기초한 조절은 "베타-조절"이라고 칭한다.
도 6은 실시예에 따라 차단 파라미터에 기초하여 커널을 업데이트하기 위한 수학식을 도시한다. 도 6의 수학식은 알파-업데이트된 커널에 대한 베타 업데이트를 설명한다는 점에 유의해야 한다. 초기 커널 계수는 초기 커널이 α에 의해 업데이트 되었음을 나타내기 위하여 태그(tag)에 의해 표시된다. 앞에서 논의된 바와 같이, 커널에 대한 베타 업데이트는 알파 업데이트 이전에 수행될 수 있다. 또한, 실시예에서, 베타-업데이트는 알파-업데이트를 수행하지 않고 수행될 수 있다. 커널에 대해 베타-업데이트가 수행되면, 컨벌루션은 비선형(non-linear) 컨벌루션(즉, 커널은 하나 이상의 조건에 따라 각각의 픽셀에 대해 변하는 컨벌루션)이다. 도 6의 수학식의 구현은 알파 업데이트된 디컨벌루션 커널의 베타와의 승산을 요구하지 않는다는 점에 유의해야 한다. 오히려, 이하에서 논의되는 바와 같이, 이미지 매트릭스를 수정되지 않은 디컨벌루션 매트릭스와 컨벌루션한 후에 알파 및 베타 "스케일링"이 발생할 수 있다.
관련 있는 색 커널에 대한 베타 업데이트를 수행한 후, 컨벌루션 로직(216)은 관련 있는 색 커널을, 이미지 매트릭스에서 표현되어 있는 이미지 데이터와 컨벌루션한다. 관련 있는 색 커널은 이미지 매트릭스의 중심 픽셀의 색에 기초하여 결정되고, 중심 픽셀은 처리 중인 현재의 픽셀이다. 상기 컨벌루션은 베타-업데이트된 커널의 계수를 이미지 매트릭스에서의 일치하는 픽셀과 승산하는 것을 포함한다. 상기 결과는 현재의 픽셀에 대한 값을 업데이트하기 위하여 출력 이미지의 적당한 장소에 기록된다. 추후에, 이미지 데이터의 다음 픽셀이 처리된다. 예를 들어, 베이어 처리가 수행 중이면, 베이어 이미지 내의 다음 픽셀이 처리된다. 커널에 대한 베타-업데이트는 더 양호한 S/N을 제공할 수 있지만, 이미지 경계에서 이미지의 샤프닝은 적을 수 있다.
베타 및 차단 프로파일의 예
실시예에서는, 렌즈-차단 프로파일에 의해 야기되는 이미지 경계에서의 S/N 불이익을 보상하기 위하여, 베타-업데이트는 이미지의 중심으로부터의 거리의 함수로서 커널을 약화시킨다. 도 5는 예시적인 렌즈 차단 프로파일의 그래프(500)를 도시한다. y-축은 차단 파라미터인 베타의 값이다. x-축은 렌즈의 중심으로부터의 거리("R")이다. 이 예에서는, R이 커질수록 베타가 작아지는 결과가 된다. 따라서, 이 예에서는, 베타가 렌즈의 중심 근처에서 1에 접근하고 렌즈의 외부 가장자리(예를 들어, 원주(circumference))를 향할수록 제로에 접근한다. R 및 베타 사이의 관계는 이 예에서 비선형임에 유의해야 한다. 곡선의 형상은 수학식 4에 따라 근사화될 수 있다.
Figure 112009068139617-pct00005
수학식 4에서, β는 0 및 1 사이의 값을 가진다. 따라서, 각각의 픽셀은 이미지의 렌즈 중심으로부터의 거리(R)에 따라 처리된다. 이 거리 또는 거리의 제곱은 다음의 수학식에 따라 계산될 수 있다.
Figure 112009068139617-pct00006
Figure 112009068139617-pct00007
이러한 수학식에서, x_index 및 y_index는 이미지에서의 픽셀의 인덱스이며(x는 열(column)에 대한 것이고 y는 행(row)에 대한 것임), 이미지의 중심 픽셀은 [0,0]으로 인덱스된다. "a" 및 "b"의 값은 차단 양에 영향을 주는 상수이다.
"a" 및 "b"에 대한 값은 변할 수 있고, 상향 ISP 체인(204a)에 의해 제공될 수 있다. 따라서, 하나의 실시예에서, 상향 ISP 체인(204a)에 의해 제공되는 차단 표시자는 상수 a 및 b를 정의한다. 또 다른 실시예에서는, 차단 표시자가 이미지 통계에 기초하여 계산된다. 예를 들어, 차단 표시자는 픽셀 데이터의 좌표와 이미지 데이터와 관련된 S/N에 기초하여 컨벌루션 블럭(206)에 의해 계산될 수 있다. S/N은 상향 ISP 체인(204a)에 의해 제공될 수 있다. 또 다른 실시예에서, a 및 b는 렌즈 차단 프로파일 특성을 충족하도록 렌즈 차단 프로파일에 따라 설정되며, 차단 표시자에 대한 필요성 없이 고정된다.
컨벌루션 블럭(206) 내의 R 계산 로직(302)은 적어도 일부의 픽셀에 대한 R을 결정한다. R의 값에 기초하여, 베타-업데이트 로직(304)은 β에 대한 값을 액세스(또는 결정)한다. 즉, β는 테이블(table)로부터 액세스되거나 실행 시에 계산될 수 있다. 전형적으로는, β는 현재 처리 중인 픽셀에 대한 값에 적어도 부분적으로 기초하여, 처리 시간을 절약하기 위하여 테이블로부터 액세스된다. 그러나, β는 작동 중에 계산될 수 있다.
R의 값은 하나의 픽셀로부터 그 인접 픽셀까지 약간만 상이하므로, 모든 픽셀에 대해 R의 새로운 값이 계산되어야 한다고 요구되지는 않는다. 따라서, 각각의 픽셀에 대한 커널에 대해서 베타-업데이트가 수행되도록 요구되지는 않는다. 그러므로, 베타-업데이트는 몇 개의 픽셀마다 또는 더 많은 픽셀마다 수행될 수 있으며, 그렇게 하더라도 희망하는 효과를 여전히 달성할 것이다.
동일한 렌즈에 대해 상이한 차단 프로파일 중에서 선택하는 것이 가능하지만, 특정한 렌즈 설계에 대해 상수 프로파일이 선택될 수 있다. 실시예에서는, 차단 표시자가 0 및 8 사이의 정수 값이고, 0은 경계에서 차단이 없음을 나타내고, 8은 경계에서 심각한 차단이 있음을 나타낸다. 그러나, 이 범위 외부의 값이 이용될 수도 있다.
β 계수를 결정하기 위한 대안적인 실시예
이 단락은 값 "R"에 기초하여, 렌즈에 대한 픽셀 데이터의 상대적인 위치를 설명하는 β를 결정하기 위한 대안적인 기술을 설명한다. 이 실시예에서는, 먼저, R2의 값이 더 작은 동적 범위로 시프트(shift)될 수 있다. 수학식 7은 이러한 시프트를 수행하는 예이다.
Figure 112009068139617-pct00008
R의 값을 유사한 동적 범위로 시프트한 후, 베타를 계산하기 위하여 수학식 8이 이용될 수 있다.
Figure 112009068139617-pct00009
상수 "p" 및 "q"는 차단의 양에 영향을 주며, 이에 따라 커널의 강도를 조절한다. 이와 같이, 이러한 상수는 베타 결정하기 위한 이전의 기술에서 논의된 상수 "a" 및 "b"와 유사한 목적을 담당하지만, 동일한 상수는 아니다. "p" 및 "q"에 대한 값은 ISP 체인(204a)에 의해 제공될 수 있다(예를 들어, 차단 표시자는 이러한 상수를 정의할 수 있다). 다른 방안으로서, p 및 q에 대한 적당한 값은 컨벌루션 블럭(206)에 의해 결정될 수 있다. 일례로서, p 및 q는 이미지 통계에 기초하여 결정될 수 있다. 그러나, p 및 q는 렌즈 차단 프로파일에 의해 결정될 수도 있고 고정된 상태로 유지될 수도 있다. 이 수학식에서, β의 최종 값은 0 및 15 사이일 수 있다(즉, β를 표현하기 위하여 여기서는 4비트가 이용된다). 그러나, 구현예에 따르면, β는 임의의 희망하는 동적 범위를 가질 수 있다.
이미지의 경계에서의 커널의 약화하는 양은 "p" 및 "q"에 기초하여 조절될 수 있다. 예를 들어, p=0 및 q=1이면, 이미지 경계에서 커널의 약화는 없을 것이다. p=1 및 q=1이면, 이미지 경계에서 커널은 크로넥커 델타 함수가 될 것이다. 따라서, 커널은 약화될 것이다.
커널의 이득이 업데이트되는 것에 따른 차단 프로파일은 R^2의 함수 이외의 것일 수 있다. 예를 들어, R의 함수이거나, 비회전적인 대칭 함수일 수 있다. 이러한 다른 경우에 있어서는, 베타를 계산하기 위한 공식이 다소 상이할 것이다. 예를 들어, 다음의 수학식에서 예시된 것과 같은 이러한 함수에 대해서는 다항식이 이용될 수 있다.
Figure 112009068139617-pct00010
수학식 9에서, β는 0 및 1 사이의 최종 값을 가질 수 있다.
또한, 렌즈 차단 프로파일에 기초한 조절은 커널을 약화시키는 대신에 이미지 경계에서 커널을 강화시키기 위하여 이용될 수 있다. 이 실시예에서, 크로넥커-델타 커널을, 더욱 공격적인 고역통과/대역통과 주파수 응답 및 초기 커널 계술르 갖는 커널로 대체하는 것이 이에 대응하여 조절된다. 커널을 강화시키기를 원하는 이유는 일반적으로, 주어진 렌즈에 대해 PSF가 통상적으로 그 중심에서보다 시계(FOV : field of view)의 경계에서 더 크기 때문이다.
공간 종속적인 처리
렌즈 차단 프로파일에 기초한 커널 효과 조절의 예는 공간(또는 픽셀) 위치에 기초하여 커널 효과를 조절하기 위한 하나의 기술이다. 그러나, 이것은 공간 위치에 기초하여 커널 효과를 조절하기 위한 유일한 기술이 아니다. 하나의 실시예에서는, 이미지 센서의 상이한 영역을 상이하게 처리하여 위치 종속적인 광학 수차를 설명하기 위하여, 이미지 처리 도중에 상이한 커널이 저장되거나 유도된다. 이 위치 종속적인 처리는 단일 픽셀 영역만큼 미립자(fine-grained)일 수 있지만, 상이한 영역은 단일 픽셀 이상을 가질 수 있다.
예를 들어, 광학 수차는 이미지 센서의 상이한 영역에 대해 계산될 수 있다. 각각의 영역의 크기는 단일 픽셀만큼 작을 수 있지만, 단일 픽셀 이상을 포함할 수도 있다. 하나의 실시예에서는, 각각의 영역에 대해 디컨벌루션 커널이 설정되어("영역 커널(region kernel"), 그 영역에서 픽셀에 대한 광학적 수차를 중화시킨다. 각각의 영역에 대해 상이한 영역 커널이 저장될 수 있다. 다른 방안으로서, 다수의 영역에 대해 단일 영역 커널이 저장될 수 있고, 상이한 영역에 대해 상이한 처리를 달성하기 위하여 커널에 대해 조절이 행해진다.
포스트 디컨벌루션 스케일링에 의한 커널 효과 조절
앞에서 논의된 바와 같이, 도 4에 도시된 바와 같이 커널을 알파 및 베타에 의해 업데이트하는 결과를 달성하기 위하여 커널이 알파 및 베타 위치와 승산되어야 한다고 요구되지는 않는다. 도 19는 수정되지 않은 커널에 기초하여 알파 및 베타 "스케일링"이 디컨벌루션 결과에 적용되는 실시예를 도시한다. 이 실시예에서, 촬영장치 인터페이스(208)는 노이즈 레벨 추정자 및 차단 표시자를 스케일링(1602) 에 제공하고, 스케일링(1602)은 알파 계산 로직(212)을 이용하여 "알파"를 계산한다. 알파 계산은 도 2에 도시된 실시예와 유사한 방식으로 수행될 수 있다. 본 실시예에서, 촬영장치 인터페이스(208)는 차단 표시자 신호 및 픽셀 인덱스를 스케일링(1602)에 제공하고, 스케일링(1602)은 베타 계산 로직(302)을 이용하여 "베타"를 계산한다. 베타 계산은 도 4에 도시된 실시예와 유사한 방식으로 수행될 수 있다. 하나의 실시예에서, 차단 표시자는 베타를 결정하도록 이용되지는 않는다. 오히려, 베타는 차단 표시자를 이용하지 않고 픽셀 인덱스에 기초하여 결정된다.
알파/베타 스케일링(1912)은 컨벌루션 결과, 알파, 베타, 및 처리 중인 현재의 픽셀에 대한 원래의 값을 입력하고, 현재의 픽셀에 대한 최종 결과를 출력한다. 하나의 실시예에서, 현재의 픽셀은 신호 매트릭스의 중심 픽셀이다. 하나의 실시예에서, 알파 스케일링(1612)은 다음을 수행한다.
Figure 112009068139617-pct00011
수학식 10에서, ConvRs는 컨벌루션 결과이고 InputPixel은 처리 중인 현재의 픽셀의 원래의 값이다. 따라서, 현재의 픽셀에 대한 최종 처리 결과는 수정되지 않은 커널 및 하나 이상의 다른 값을 이용한 컨벌루션 결과의 가중된 합이다. 이러한 다른 값은 다음의 것으로 한정되지 않지만, 입력 이미지에서의 원래의 픽셀값을 포함한다. 이 실시예에서는, 알파 및 베타 파라미터가 가중(또는 스케일링) 파라미터로서 이용된다. 희망한다면, 베타 파라미터는 알파 없이 이용될 수 있다.
5.3 국소적인 이미지 특성에 따라 커널 효과 조절
하나의 실시예에서, 커널 효과는 국소적인 이미지 특성에 따라 조절된다. 이미지 특성은 처리 중인 현재의 픽셀에 대한 국소적인 특성일 수 있다. 이미지 특성에 따라 커널 효과를 조절하는 것은 앞에서 논의된 알파 조절 및/또는 베타 조절과 함께 수행될 수 있다. 그러나, 하나의 실시예에서는, 커널 효과가 임의의 알파 또는 베타 조절 없이 이미지 특성에 따라 조절된다. 또한, 알파 조절 또는 베타 조절 이외의 커널 효과에 대한 조절은 이 단락의 기술에 의해 수행될 수 있다.
이미지 특성에 따라 커널 효과를 조절하는 하나의 형태는 중심 픽셀값 자체에 따라(또는, 다른 방안으로서, 중심 픽셀 주변의 몇 개의 픽셀의 가중된 평균에 따라) 처리의 레벨(즉, 커널의 강도 또는 효과의 크기)을 조절하는 것이다. 따라서, 예를 들어, 중심 픽셀(또는 평균값)이 높은 값을 가질 때, 효과의 크기는 더 커질 것이고, 중심 픽셀이 낮은 값을 가질 때에는, 효과의 크기가 작아질 것이다. 그 반대도 필요에 따라 이용될 수 있으며, 중심 픽셀의 더 낮은 값(또는 중심 픽셀 주변의 몇 개의 픽셀의 평균)에 대해 커널 효과가 더 강해지고, 높은 값에 대해 효과가 더 약해진다. 픽셀의 값에 따라 효과의 크기를 변경시키는 것의 예는 다음의 수학식 11에서 주어진다.
Figure 112009068139617-pct00012
상기 수학식 11에서, pixel_val이 높을 때, 최종 결과는 컨벌루션 결과와 유사할 것이고, pixel_val이 낮을 때에는, 최종 결과가 컨벌루션 이전의 원래의 픽셀값과 유사할 것이다.
이미지 특성에 따라 커널 효과를 조절하는 또 다른 형태는 강도가 더 커지거나 작아짐에 따라 커널이 적용되어야 할 이미지에서의 영역을 식별하는 것이다. 따라서, 커널이 신호 매트릭스에 대해 가져야 하는 효과의 크기에 대한 결정이 행해진다. 희망하는 효과는 이미지 콘트라스트일 수 있고, 이 경우, 커널은 최대 이미지 콘트라스트를 희망하는 이미지의 영역에서 최대 효과를 얻기 위해 적용될 수 있다. 다른 방안으로서, 약간의 이미지 콘트라스트를 희망하거나 이미지 콘트라스트를 희망하지 않는 영역에서는, 커널이 전혀 적용되지 않거나, 이미지 콘트라스트를 덜 발생시키기 위하여 커널을 적용하는 효과가 수정될 수 있다. 실시예에서는, 최소 효과 및 최대 효과 사이의 완만한 천이를 달성하기 위하여, 커널을 적용하는 효과가 수정된다. 하나의 실시예에서는, 효과에 대한 조절을 전혀 희망하지 않을 경우에 적용되는 디폴트 커널(default kernel)이 존재한다. 상기 조절은 디폴트 커널의 효과의 크기를 증가시키거나 디폴트 커널의 효과의 크기를 감소시키는 것일 수 있다. 또 다른 실시예에서, 이용되는 커널은 디노이징 목적을 위하여 저역통과 필터이며, 커널을 어디에 적용하고 어떤 강도인지를 결정하기 위하여 동일한 메트릭이 이용된다.
국소적인 이미지 특성에 따라 커널 효과를 조절하는 것의 구조적 개요
도 7은 컨벌루션 블럭(206) 내의 커널 업데이트 로직(704)이 현재 처리 중인 픽셀의 위치에서의 이미지 특성에 기초하여 계산되는 메트릭에 기초하여 커널을 수정하는 시스템(700)의 블럭도를 도시한다. 메트릭 자체는 본 명세서에서 "감마"라고 불리는 값에 도달하도록 수정될 수 있다. 시스템(700)에서, 커널은 감마 업데이트 이전에 알파-업데이트 및 베타-업데이트에 기초하여 먼저 업데이트된다. 그러나, 감마-업데이트와 함께 알파-업데이트 또는 베타-업데이트를 이용하도록 요구되지는 않는다. 또한, 이 실시예에서는, 감마 업데이트가 알파-업데이트 및 베타-업데이트 이후에 존재한다. 그러나, 커널 업데이트의 순서는 변경될 수 있다. 본 명세서의 어디에선가 설명된 바와 같이, 커널을 적용하는 효과를 조절하기 위하여 커널 자체가 수정되어야 한다고 요구되지는 않는다. 하나의 실시예에서는, 커널에 기초하여 처리의 효과를 조절하기 위하여, 수정되지 않은 커널에 의해 이미지를 처리한 후에 스케일링이 수행된다.
컨벌루션 블럭(206) 내의 메트릭 계산 로직(702)은 처리 중인 현재의 픽셀과 그와 인접한 픽셀에 대한 분석에 기초하여 메트릭을 계산한다. 메트릭 계산 로직(702)은 각각의 픽셀에 대해 현재의 이미지 윈도우(컨벌루션 커널과 승산되는 이미지 부분)를 검사하고, 그 현재의 픽셀에 대해 희망하는 처리의 양에 대한 메트릭을 결정한다. 그 다음으로, 컨벌루션 커널은 메트릭에 기초하여 커널 업데이트 로직(704)에 의해 업데이트된다. 최종적으로, 업데이트된 커널은 이미지 데이터에 적용된다.
일단 메트릭으로부터 감마가 정의되면, 커널을 업데이트하기 위한 방법은 커널에 대한 알파-업데이트 또는 베타-업데이트를 위해 이용되는 방법과 논리적으로 유사할 수 있다. 예를 들어, 논리적 관점에서 보면, 처리의 크기를 감소시키기를 희망하는 경우, 원래의 커널 및 델타 커널의 선형 조합으로부터 업데이트된 커널이 생성될 수 있고, 또는, 처리의 크기를 증가시키기를 희망하는 경우, 커널은 더욱 공격적일 수 있다. 도 3을 다시 참조하면, 커널을 업데이트하기 위하여 알파는 감마로 대체될 수 있다. 따라서, 감마는 커널의 선형 조합에 대한 커널 계수에 영향을 준다. 컨벌루션이 감마와 알파 및/또는 베타에 의해 업데이트되는 커널에 수행되는 경우, 비선형 컨벌루션이 된다는 점에 유의해야 한다. 즉, 하나 이상의 조건에 따라 커널이 각각의 픽셀에 대해 변경되는 컨벌루션이 수행된다. 업데이트된 커널에 의한 디컨벌루션의 결과를 달성하기 위하여, 본 명세서에서 설명된 바와 같은 포스트 디컨벌루션 스케일링(post de-convolution scaling)이 이용될 수 있다.
국소적인 이미지 특성에 따라 커널 효과를 조절하는 것의 기본적인 개요
앞에서 논의된 바와 같이, 이 실시예에서는, 현재 처리 중인 픽셀 주변의 국소적인 특성에 기초하여 처리의 강도가 조절된다. 우선, 에지가 존재하는지, 픽셀 주변의 영역이 비교적 평평한지, 즉, 균일하고 (블랭크 회색 벽(blank gray wall)과 같이) 그 내부에서 정보의 변경이 없는 상태 등과 같은 정보를 결정하기 위하여 현재의 픽셀 주변의 영역이 검사된다. 수학식 11은 메트릭을 계산하는 하나의 기술을 설명한다.
Figure 112009068139617-pct00013
수학식 12에서, Pj 및 N은 윈도우 내부의 픽셀이고,
Figure 112009068139617-pct00014
는 N 픽셀의 평균값이다.
메트릭을 결정하는 예
메트릭을 결정하는 몇 가지 예시적인 방법은 다음과 같다. 메트릭은 출력값이 계산되는 중심 픽셀 주변의 현재의 이미지 윈도우를 이용하여 계산될 수 있다. 그러나, 전체적인 현재 이미지 윈도우의 (처리 중인 색에 대한) 모든 픽셀이 이용되어야 한다고 요구되지는 않는다. 또한, 메트릭은 현재의 이미지 윈도우의 외부에 위치한 픽셀에 기초할 수 있다. 또한, 메트릭이 동일한 색의 픽셀에만 기초하여 결정되어야 한다고 요구되지는 않는다. 즉, 일부 타입의 처리에 대하여, 메트릭 계산시에 상이한 색의 픽셀을 포함하는 것이 적절할 수 있다.
변동/표준 편차의 예
하나의 실시예에서는, 중심 픽셀 주변의 현재의 이미지 윈도우에서 차분의 존재 및 차분의 양을 표시하기 위하여, 현재의 이미지 윈도우 내의 픽셀의 변동(variance) 또는 표준 편차(standard deviation)이 이용된다. 표준 편차가 이용되는 경우, 수학식 13A 또는 수학식 13B의 공식이 이용될 수 있다.
Figure 112009068139617-pct00015
Figure 112009068139617-pct00016
수학식 13A 및 수학식 13B에서, xi는 현재의 이미지 윈도우에서의 픽셀이고, "n"은 현재의 이미지 윈도우에서의 픽셀의 수이고,
Figure 112009068139617-pct00017
는 평균값이다. 앞에서 논의된 바와 같이, 실시예에서는, 현재의 이미지 윈도우 내의 픽셀이 모두 동일한 색이다. 평균값은 수학식 14에서 표시된 바와 같이 결정될 수 있다.
Figure 112009068139617-pct00018
그러나, 실시예에서는 모든 픽셀이 평균 계산에 참여하도록 요구되지는 않는다. 또한, 실시예에서는, 간단한 평균 대신에 가중 평균이 이용되며, 가중 평균에서는, 평균 계산에 참여하는 픽셀이 중심 픽셀에 대한 공간적인 위치에 따라 또는 또는 또 다른 가중 방식에 따라 가중된다. 가중치는 1로 정규화되므로, 균일한 영역에 대한 평균값은 동일한 상태를 유지한다. 가중 평균은 다음의 수학식에서 예로 들고 있다(여기서, Wi는 가중치이다).
Figure 112009068139617-pct00019
xi가 임의 변수인 것으로 간주되면, 표준 편차에 대해 바이어스되지 않은 추정자 및 바이어스된 추정자가 존재한다. 다음으로, 실시예에서는 2개의 값, 즉, 현재의 이미지 윈도우에서의 win_std에 대한 최대값과, 현재의 이미지 윈도우에서의 win_std에 대한 최소값이 계산된다. 이러한 값은 수학식 16a 및 수학식 16b에 따라 계산된다.
Figure 112009068139617-pct00020
Figure 112009068139617-pct00021
수학식 16a 및 수학식 16b에서,
Figure 112009068139617-pct00022
는 평균값이고, "n"은 현재의 이미지 윈도우에서의 픽셀의 수이다. 이러한 최소값 및 최대값은 위와 아래로부터 표준 편차를 반동시킨다. 따라서, 현재의 이미지 윈도우에 대한 표준 편차의 동적 범위는 수학식 16과 같이 정의될 수 있다.
Figure 112009068139617-pct00023
커널은 도 11에 도시된 수학식에 따라 업데이트될 수 있다. 도 11에 설명된 바와 같은 커널 업데이트는 본 명세서에서 설명된 바와 같이 감마에 의해 포스트 디컨벌루션 스케일링에 의해 구현될 수 있음에 유의해야 한다. 즉, 신호 매트릭스는 수정되지 않은 커널 매트릭스와 컨벌루션되고, 그 다음으로, 컨벌루션 결과 및 원래의 픽셀값의 합은 감마에 기초하여 스케일링된다.
또한, dyn_range = 0이면, 중심 픽셀에 인접한 모든 픽셀은 동일하다는 점에 유의해야 한다. 그러므로, 중심 픽셀이 현재의 이미지 윈도우의 나머지 픽셀과 동일한 값을 가지는지(즉, win_std=0), 또는 중심 픽셀이 나머지 픽셀과 상이한 값을 가지는지에 따라 델타 커널이 중심 픽셀에 대해 적용된다. 전술한 경우 중의 어느 하나에서는 처리를 희망하지 않을 수도 있음에 유의해야 한다. 첫 번째의 경우는 현재의 이미지 윈도우가 이미지 콘트라스트 증가를 희망하지 않는 "평평한 영역"(예를 들어, 벽, 푸른 하늘 등)을 나타낼 수 있다. 두 번째의 경우는 패턴이 전혀 검출되지 않으므로 노이즈로 인한 경우일 수 있으며, 그러므로, 이미지 콘트라스트 증가를 희망하지 않을 수 있다. 또한, 도 11의 수학식에서는, input_kernel 및 delta_kernel에 승산되는 2개의 계수의 합이 1이라는 점에 유의해야 한다.
현재의 이미지 윈도우가 "평평한" 또는 거의 "평평한" 경우이거나, 노이즈 영역이더라도 비교적 낮은 노이즈 표준 편차를 가진다면, 표준 편차는 낮은 값일 것이다. 그러므로, 도 11의 input_kernel에 승산되는 계수는 0 근처일 것이고, delta_kernel에 승산되는 계수는 1에 근접할 것이다. 이에 따라, 상세한 내용을 거의 가지지 않는 이미지 영역에 대해 희망하는 바와 같이 거의 처리가 발생하지 않을 것이다.
그러나, 현재의 이미지 윈도우가 밝은 영역 및 어두운 영역 사이에 에지를 포함하면, 표준 편차의 값은 커질 것이다(예를 들어, 가능한 최대값에 근접). 따라서, 도 11의 input_kernel에 승산되는 계수는 1에 근접한 값에 도달할 것이고, delta_kernel에 승산되는 계수는 0에 근접한 값에 도달할 것이며, 이것은 final_kernel이 이미지를 샤프닝할 것이고 손실된 콘트라스트를 다시 얻을 것이라는 것을 의미한다. 표준 편차의 동적 범위는 모든 픽셀에 대해 설정되므로, 장면마다 변경될 수 있는 고정 임계값에 대한 종속성이 존재하지 않는다.
그러나, 윈도우에서 최소값 및 최대값을 계산하고 국소적인 동적 범위를 이용하도록 요구되지는 않는다. 실시예에서는, 표준 편차를 [0 1]의 동적 범위로 정규화하기 위하여 고정된 동적 범위가 이용된다. 예를 들어, 0 내지 1023(픽셀 당 10비트)의 픽셀값에 대해, 표준 편차는 0 내지 512의 값을 받아들일 수 있고, 이에 따라, 동적 범위를 이 범위에 고정하는 것이 가능하다.
다른 방안으로서, 커널을 더욱 복잡한 방식으로 변경시키기 위하여, 표준 편차 메트릭에 대해 더욱 복잡한 함수가 적용될 수 있다. 일례로서, 표준 편차의 동적 범위는 몇 개의 섹션(section)으로 분할될 수 있고, 각각의 상이한 함수에서, 섹션 사이의 천이가 연속적이고 희망하는 효과를 달성하도록 적용될 수 있다. 일례 로서, 도 15에 도시된 그래프(1500)는 실시예에 따라 감마의 곡선 대 메트릭을 예시한다. 도 15를 참조하면, 2개의 임계값이 정의되어 있다("low_th" 및 "high_th"). 메트릭이 낮으면(예를 들어, "low_th" 이하), 현재의 이미지 윈도우에는 에지 정보가 전혀 없다(또는 에지 정보가 극히 적다). 그러므로, 감마의 값은 낮게 유지된다. 메트릭이 "low_th" 및 "high_th" 사이이면, 감마는 더 높은 값으로 할당된다. 이 범위는 에지가 존재한다는 증거이지만, 이 범위는 상한 "high_th"을 가진다는 점에 유의해야 한다. 도 15의 예에서는, 감마가 "low_th" 및 "high_th" 사이의 어떤 값에서 1에 도달할 때까지, 감마의 값이 "low_th" 이상으로 증가된다. 그러나, 메트릭이 높으면(예를 들어, "high_th" 이상), 감마의 값은 감마가 "high_th"에서 받아들인 1의 값으로부터 서서히 감소된다. 이러한 감마의 감소는 이미 충분히 샤프닝된 오버-샤프닝(over-sharpening) 에지의 가능성을 감소시킨다. 각각의 메트릭 값에 따르면, 감마 파라미터가 계산되고, 감마는 0 내지 1 사이이다. 상기 함수는 메트릭의 전체 범위에 걸쳐 연속적이다. 알파-업데이트 및 베타-업데이트가 수행되는 것과 유사한 방식으로, 감마값은 커널과 승산되는 반면, (1-감마)는 크로넥커-델타 커널(또는, 다른 방안으로서, 희망하는 효과에 따라 더욱 공격적인 커널)과 승산된다.
경도-존재(gradient-presence) 식별을 위한 메트릭으로서 표준 편차를 이용하는 것에 대한 대안으로서, 다음의 공식에 따라 변동(variance)이 이용될 수 있다.
Figure 112009068139617-pct00024
수학식 17에서, 표시법은 표준 편차 공식과 동일하다. 이러한 대안에서는, 적합한 동적 범위를 생성하기 위하여(또는, 앞에서 설명된 바와 같이 고정된 동적 범위를 이용하는 것이 가능하다), 최대값 및 최소값이 이에 대응하여 결정되어야 한다. 여기에서도, 도 11의 공식은 커널을 업데이트하기 위해 이용될 수 있고, 또는 위에서 설명된 바와 같이 더욱 복잡한 함수가 이용될 수 있다.
경도-존재 식별을 위한 메트릭으로서 표준 편차를 이용하는 것에 대한 또 다른 대안으로서, 수학식 18에 따라 차분의 절대값이 이용될 수 있다.
Figure 112009068139617-pct00025
표시법은 표준 편차 공식과 동일하다. 이러한 대안에서는, 적합한 동적 범위를 생성하기 위하여, 최대값 및 최소값이 이에 대응하여 결정되어야 한다. 여기에서도, 도 11의 공식은 커널을 업데이트하기 위해 이용될 수 있고, 또는 위에서 설명된 바와 같이 더욱 복잡한 함수가 이용될 수 있다.
히스토그램의 예
표준 편차 방법과 유사한 방법은 현재의 이미지 윈도우에 대한 히스토그램(histogram)을 계산하고 히스토그램에 기초하여 커널의 크기를 결정하는 것이다. 현재의 이미지 윈도우의 국소적인 히스토그램은 일정한 수의 공간(bin)을 먼저 정의함으로써 계산될 수 있다. 이것은 예를 들어, 수학식 19에 따라 행해질 수 있다.
Figure 112009068139617-pct00026
다른 방안으로서, 공간의 수는 미리 결정된 수로서 고정될 수 있다. 일례로서, 10-비트 이미지에 대한 명암도 레벨의 수에 대응하도록 하기 위하여 1024개의 공간이 이용될 수 있다. 따라서, 공간 자체는 수학식 20에 설명된 바와 같이, #bins에 의해 이미지 윈도우의 동적 범위를 분할함으로써 정의된다.
Figure 112009068139617-pct00027
이 예에서는 #bins의 공간이 존재할 것이고, 그 각각은 1-픽셀 폭일 것이다. 동적 범위를 폭이 더 넓은 공간으로 분할하는 것이 가능하며, 몇 개의 픽셀값 각각은 폭이 넓다. 공간이 일단 정의되면, 각각의 공간은 그 공간 범위에 속하는 이미지 윈도우에서의 다수의 픽셀값으로 채워진다. 도 9a는 이미지 윈도우에 대한 데이터를 예시한 것이고, 도 9b는 데이터에 대한 히스토그램을 예시한 것이다.
현재의 이미지 윈도우의 히스토그램이 일단 알려지면, 하나의 실시예에서는, 히스토그램이 유니모달(unimodal) 히스토그램에 얼마나 근접하는지와, 히스토그램이 멀티모달(multimodal) 히스토그램에 얼마나 근접하는지에 대한 결정이 행해진다. 유니모달 히스토그램은 균일한 히스토그램으로도 불릴 수 있다. 실시예에서는, 멀티모달 히스토그램이 바이모달(bi-modal) 및 더 상위 등급의 히스토그램을 포함한다.
히스토그램의 형상이 멀티모달 히스토그램에 근접할수록, 현재의 이미지 윈도우에서의 에지의 존재에 대한 표시가 더 강해진다. 에지를 갖는 윈도우에 적용되는 디컨벌루션 커널의 효과를 증가시키는 것이 바람직할 수 있다. 예를 들어, 이미지 콘트라스트를 증가시키는 것이 바람직할 수 있다. 다른 방안으로서, 커널이 저역통과 주파수 응답을 가진다면, 그 효과의 크기를 감소시켜서 이미지에서 에지를 블러링하지 않도록 하는 것이 바람직할 수 있다.
히스토그램이 유니모달 히스토그램에 근접할수록, 이미지 윈도우는 더욱 "평평한" 상태가 된다(즉, 더욱 균일해진다). 그러므로, 그 효과를 최소화하기 위하여 디컨벌루션 커널을 수정하는 것이 바람직할 수 있다. 예를 들어, 이 경우에는 이미지 콘트라스트를 증가시키지 않는 것이 바람직할 수 있다. 노이즈가 있는 이미지 윈도우는 균일한 히스토그램 또는 유니모달 히스토그램을 생성할 수 있다. 도 10a는 유니모달 히스토그램을 예시한 것이고, 도 10b는 상이한 녹색 이미지 윈도우에 대한 바이모달 히스토그램을 예시한 것이다. 이러한 히스토그램은 1024개의 공간(10-비트 베이어 이미지의 명암도 레벨의 수)과, 분포시키기 위한 41개의 값(9x9 녹색 커널에 대한 녹색 이미지 윈도우에서의 값의 수)을 이용하여 생성되었다.
따라서, 하나의 실시예에서는, 분포가 유니모달인지 또는 멀티모달인지를 결정하기 위하여 히스토그램이 분석된다. 유니모달 히스토그램을 멀티모달 히스토그램과 구별하기 위한 하나의 기술은 2개 이상의 클러스터(cluster)가 존재하는지를 검출하기 위하여 이용될 수 있는 클러스터링 알고리즘(예를 들어, k-means)을 이용하는 것이다. 또한, 상기 메트릭은 클러스터의 질량 중심 사이의 거리에 기초할 수 있다. 커널의 이득이 업데이트 되도록 하는 메트릭에 도달하기 위하여, 상기 거리는 그 동적 범위에 의해 정규화된다.
바이모달 히스토그램 및 유니모달 히스토그램을 구별하기 위한 또 다른 기술은 히스토그램을 평탄화하고 그 안에서 국소적인 최대값을 찾는 것에 기초하고 있다. 오직 하나의 국소적인 최대값이 존재하면, 히스토그램은 유니모달이다. 그러나, 2개의 국소적인 최대값이 발견되면, 2개의 국소적인 최대 포인트 사이의 범위는 메트릭을 유도하기 위해 이용된다. 일례로서, 범위가 작으면, 커널은 낮은 이득을 갖도록 조절될 수 있다. 그러나, 범위가 크면, 커널은 높은 이득을 갖도록 조절될 수 있다. 이러한 조절은 범위가 클 경우에 채널이 가장 큰 이미지 콘트라스트 증가를 갖도록 하기 위해 바람직할 수 있다. 3개 이상의 국소적인 최대값이 발견되면, 메트릭은 국소적인 최대값 사이의 범위에 기초할 수도 있다.
앞에서 논의된 표준 편차 기술과 히스토그램의 형상 사이에는 관계가 존재할 수 있다. 픽셀의 값이 높은 표준 편차를 가지는 픽셀을 구비한 현재의 윈도우 매트릭스는 2개 이상의 피크(peak)를 갖는 히스토그램 형상을 가질 수 있으며, 이 경우, 픽셀값은 평균값과는 멀리 떨어져 있다. 다른 한편으로, 픽셀의 값이 낮은 표준 편차를 가지는 픽셀을 구비한 현재의 윈도우 매트릭스는 단일 피크 히스토그램을 갖는 히스토그램을 가질 수 있으며, 이 경우, 대부분의 픽셀값은 평균값에 근접해 있다.
에지 검출의 예
하나의 실시예에서, 메트릭을 결정하는 것은 이미지에서 에지를 검출하는 것에 기초하고 있다. 예를 들어, 현재의 이미지 윈도우에서 에지를 발견하기 위하여 컨벌루션 마스크(convolution mask)가 이용될 수 있다. 이용될 수 있는 컨벌루션 마스크의 예는 다음의 것으로 한정되지 않지만, 소벨(Sobel), 라플라시안(Laplacian), 프리윗(Prewitt) 및 로버츠(Roberts)를 포함한다. 하나의 실시예에서, 에지-검출 마스크는 에지를 검출하기 위하여 현재의 이미지 윈도우에 적용된다. 윈도우에서의 픽셀의 표준 편차와 같은 통계적 방법이 그 결과에 적용된다. 다음으로, 메트릭은 표준 편차 결과에 기초한다. 또 다른 실시에에서, 에지-검출 마스크는 에지를 검출하기 위하여 이미지 윈도우에 적용된다. 에지 검출 실시예에서는, 커널은 에지가 발견되는지 여부에 기초하여 적용된다.
거리의 예
정보 메트릭은 "거리(distance)" 방법에 기초하여 구성될 수도 있다. 정보 메트릭을 구성하기 위한 방법(2300)은 도 23에 도시되어 있다. 상기 방법은 스텝(2304)에서 시작하고, 픽셀 사이의 절대값 차분이 합산된다. 현재의 이미지 윈도우 내의 중간 픽셀 주변에 있는 픽셀로부터 근접 거리(close distance)가 계산된다. 동일한 이미지 윈도우 내의 중간 픽셀로부터 공간적으로 떨어진 픽셀로부터 먼 거리(far distance)가 계산된다. 정보 메트릭(2312)은 오직 근접 거리로부터 계산되는 반면, 메트릭(2316)은 근접 거리 및 먼 거리 모두로부터 계산된다. 스텝(2320)에서, 상기 방법(2300)은 비록 스케일링되지 않았지만 최종 정보 메트릭이 되는 2개의 정보 메트릭의 값에 따라 결정되는 가중치를 갖는 두 정보 메트릭의 가중 평균을 계산한다. 스텝(2324)에서는, 그 최종 정보 메트릭이 현재의 이미지 내의 공간적인 위치에 따라 스케일링되고, 그 다음으로, 그 스케일링된 정보 메트릭은 도 24에서 더욱 상세하게 설명되는 처리(2400)로 제공된다.
실시예에서, 다양한 거리 메트릭을 계산하는 것은 다음의 방식으로 수행되며, 즉, 이미지 윈도우는 픽셀의 클러스터로 분할되고, 클러스터의 픽셀과 중간 클러스터의 일치하는 픽셀(중간 픽셀을 즉시 둘러쌈) 사이의 차분에 대한 절대값의 가중된 합을 이용하여, 거리 메트릭은 각각의 클러스터에 대해 계산된다. 수학식 21은 예시적인 하나의 3x3 클러스터의 경우에 대한 거리 메트릭의 계산을 보여준다.
Figure 112009068139617-pct00028
여기서, W[i,j]는 구성가능한 가중 매트릭스이고, Ck[i,j]는 3x3 Ck 클러스터에서의 픽셀[i,j]의 값이며, Cmid[i,j]는 중간 클러스터에서의 [i,j] 픽셀의 값이다.
에지 증가의 실시예
에지 검출 마스크에서의 계수의 합은 0이므로, 원래의 이미지 윈도우에 에지가 존재할 경우, 결과적으로 얻어지는 이미지 윈도우는 강한 포지티브(positive) 및 네거티브(negative) 값을 포함할 것이다. 그러므로, 에지를 포함하는 이미지 윈도우는 높은 표준 편차의 값과, 결과적으로 높은 처리-메트릭(processing-metric)을 가질 것이다. 다른 한편으로, 윈도우가 이미지의 "평평하고" 균일한 영역, 또는 심지어 노이즈가 있는 영역이지만 비교적 낮은 표준 편차를 갖는 영역에 대한 데이터를 가진다면, 에지-필터링된(edge-filtered) 이미지는 서로 근접한(전형적으로는 0에 근접) 픽셀값을 가질 것이다. 그러므로, 에지-필터링된 이미지는 낮은 표준 편차 값과 낮은 처리-메트릭을 가질 것이다. 하나의 실시예에서는, 최종 처리-메트릭이 0 및 1 사이의 값을 갖도록 표준 편차를 정규화하기 위하여 고정된 미리 결정된 임계값이 이용된다. 메트릭 계산은 수학식 22에서 표시된 바와 같이 결정될 수 있다.
Figure 112009068139617-pct00029
커널은 도 3에 도시된 것과 유사한 방식으로 업데이트될 수 있다. 그러나, p_metric은 알파를 대체한다.
표준 편차의 정규화는 낮은 값으로부터 높은 값까지의 처리-메트릭에 대한 변경의 경도가 완만하게 되도록 하며, 이에 따라, 연속적이고 완만한 처리를 생성 하고 출력 이미지에서 아티팩트(artifact)를 제거한다.
표 2는 녹색 베이어 처리를 위하여 베이어 이미지에 대한 에지 검출의 예시적인 값을 제공한다. 녹색 픽셀이 Gr(적색 행에서의 녹색) 및 Gb(청색 행에서의 녹색)로 분할되면, 모든 픽셀(Gr, R, B 및 Gb)에 대해 표 3을 이용하는 것이 가능하다. 표 3은 적색 또는 청색 베이어 처리를 위한 에지 검출 마스크의 예시적인 값을 제공한다.
-1 0 -1 0 -1
0 -1 0 -1 0
-1 0 12 0 -1
0 -1 0 -1 0
-1 0 -1 0 -1
-1 0 -1 0 -1
0 0 0 0 0
-1 0 8 0 -1
0 0 0 0 0
-1 0 -1 0 -1
비한정적인 예로서, 디모자이킹 후에 이미지에 대해 수행되는 처리를 위한 에지 검출 마스크는 잘 알려진 소벨, 프리윗, 로버츠 및 라플라시안 마스크일 수 있다.
에지 검출의 실시예
에지 검출 실시예에서는, 에지를 검색하기 위하여 에지-검출 마스크(처리가 베이어 이미지에 대해 행해지는 경우에는 베이어 패턴에 맞음)가 이미지 윈도우에 적용된다. 자연적인 이미지에서 에지가 어떻게 나타나는지에 대한 패턴이 존재한다는 선험적인 가정(apriory assumption)을 고려하여, 에지가 존재하는지 여부를 결정하기 위하여 임계값이 이용될 수 있다. 예를 들어, 다른 것과 상이한 단일 픽셀은 유효 이미지 데이터와 반대인 임의 노이즈일 수 있다. 상기 임계값은 인접 픽셀에 대해 달성된 결과에 따라 업데이트될 수 있고, 에지를 검출하는 것과 반대로, 노이즈를 잘못 검출할 가능성을 감소시킨다. 이 방법에 대한 가능한 구현은 다음과 같을 수 있다.
우선, 에지-검출 마스크가 현재의 이미지 윈도우에 적용된다. 현재의 임계값 이상의 절대값이 존재하면, 이것이 라인 또는 다른 패턴을 구성하는지 검사한다. 라인 또는 다른 패턴의 표시는 몇 개의 인접한 픽셀이 높은 절대값을 가지는 것일 수 있다. 라인 또는 다른 패턴이 발견되면, 현재의 이미지 윈도우가 에지를 포함한다고 선언한다. 픽셀이 임계값 이상의 절대값을 가지지 않거나, 또는 높은 절대값을 갖는 픽셀이 라인 또는 다른 패턴을 구성하지 않으면, 현재의 이미지 윈도우는 "평평한"(노이즈 있어도 가능함) 영역을 포함하는 것으로 간주된다.
다음으로, 에지가 발견되었는지의 여부에 따라, 디컨벌루션 커널이 현재의 이미지 윈도우에 적용된다. 예를 들어, 에지가 발견되면, 강한 디컨벌루션 커널이 적용될 수 있다. 그렇지 않을 경우에는, 약한 디컨벌루션 커널이 윈도우에 적용될 수 있다. 또한, 디컨벌루션 커널 이득을 설정하는 것은 에지의 "강도(strength)"에 따라 행해질 수 있다. 예를 들어, 에지가 발견된 경우, 이미지 윈도우에서의 픽셀의 표준 편차는 에지 마스크를 적용한 후에 계산된다. 다음으로, 위에서 설명된 표준 편차 방법과 유사한 방식으로, 커널의 이득은 표준 편차 메트릭에 기초하고 있다.
에지를 검출하는 다른 방법이 채용될 수도 있다. 예를 들어, 다음의 것으로 한정되지 않지만, 로버츠, 프리윗, 소벨 또는 캐니(Canny)를 포함하는 다른 에지-검출 마스크는 윈도우에 에지가 존재하는지를 결정하기 위하여 이용될 수 있다.
엔트로피에 기초한 예
하나의 실시예에서, 이미지 윈도우에 적용될 커널(예를 들어, 고이득 또는 저이득 디컨벌루션 커널)의 크기는 현재의 이미지 윈도우에서의 엔트로피(entropy)에 기초하고 있다. 더 높은 엔트로피는 현재의 이미지 윈도우에서 상당한 양의 정보가 존재함을 암시할 수 있으며, 이에 따라, 그 윈도우에 더 강한 커널을 적용하는 것이 바람직할 수 있다. "평평한" 이미지 윈도우는 낮은 엔트로피를 가질 수 있으며, 그러므로, 그 윈도우 처리-메트릭에 더 약한 커널을 적용하는 것이 바람직할 수 있다. 엔트로피 계산은 수학식 23에서 설명되는 바와 같이 결정될 수 있다.
Figure 112009068139617-pct00030
수학식 23에서, pi는 현재의 이미지 윈도우에서 픽셀값 i의 경험적 확률이다. 예를 들어, 이미지 윈도우가 "평평한" 상태이면, 엔트로피는 0이고, 에지(상이한 명암도 값을 갖는 픽셀)를 포함하면, 엔트로피는 높은 값을 받아들일 것이다. 실제적인 처리-메트릭은 엔트로피 값을 수학식 23으로부터 정규화함으로써 결정될 수 있다.
그러나, 엔트로피는 픽셀 사이의 차분의 양을 고려하지 않으므로, 높은 엔트로피 값은 임의 노이즈로부터 발생할 수 있다. 그러므로, 하나의 실시예에서, 이미지의 S/N은 엔트로피 기술을 이용할 것인지의 여부를 결정하기 위해 이용된다.
경도에 기초한 예
실시예에서, 에지의 존재는 현재 처리 중인 윈도우의 중심 픽셀 주위에서의 몇 개의 국소적인 경도(local gradient)를 계산함으로써 결정된다. 다음으로, 메트릭은 경도의 진폭, 예를 들어, 경도의 진폭의 가중 평균에 따라 계산된다. 경도는 다음의 예에 따라 선택될 수 있다.
1 2 3
4 5
6 7 8
9 10
11 12 13
표 4로부터, 가능한 경도는
Figure 112009068139617-pct00031
이다.
1 2 3
4 5 6
7 8 9
표 5로부터, 가능한 경도는
Figure 112009068139617-pct00032
이다.
표 4는 베이어 이미지에서 녹색에 대한 5x5 지원을 위한 픽셀 위치를 도시하며, 표 5는 베이어 이미지에서 적색 및 청색에 대한 5x5 지원을 위한 픽셀 위치를 도시한다. 경도의 가중 평균을 계산할 때, 가중치는 특정한 경도에서 참여하는 픽셀 사이의 공간적 거리에 의해 결정될 수 있다.
메트릭이 일단 계산되면, 커널 업데이트 메커니즘은 이전에 제안된 바와 같을 수 있다. 즉, 메트릭은 "감마"를 결정하기 위한 가능한 동적 범위에 따라 정규화될 수 있다. 실시예에서, 이 정규화는 도 15에 도시된 것과 유사한 이득 함수를 이용하여 행해진다. 그 다음으로, 알파 및 베타 업데이트에서 이용되는 것과 같은 디컨벌루션 커널 이득에 영향을 주기 위한 본 명세서에서 개시된 기술이 감마 업데이트에 이용될 수 있다.
실시예에서, 메트릭을 생성하기 위한 방법은 위에서 설명된 일부 방법의 가중된 조합으로 구성된다. 예를 들어, 최종 메트릭은 표준 편차 메트릭 및 경도 메트릭의 가중 평균에 기초하거나, 2개 이상의 메트릭의 임의의 다른 조합이 최종 메트릭을 생성하기 위해 이용된다.
이용가능한 광의 예
정보 메트릭으로부터 "감마"를 결정하기 위하여 동일한 이득 함수를 항상 이용하는 것이 아니라, 현재의 이미지 윈도우에서의 광의 양(레벨)의 국소적인 추정에 따라 이용되는 2개 이상의 별도의 이득 함수를 가지는 것도 가능하다. 실시예에서, 이러한 추정은 중간 픽셀 자체의 값이거나, 몇 개의 근접 픽셀의 가중 평균일 수 있다. 예시적인 방법(2400)이 도 24에 도시되어 있으며, 2개 이상의 이득 함수가 이용될 수 있지만, 정확하게 2개의 이득 함수만 이용되며, 도 24는 단지 예시를 위한 것이다. 스텝(2404)에서, 스케일링된 정보 메트릭(도 23과 관련하여 논의됨)은 2개의 이득 함수 Fg1 및 Fg2에 전달된다. 이 예에서, 이득 함수 Fg1은 광의 높은 레벨에 적합할 수 있고, 이득 함수 Fg2는 광의 낮은 레벨에 적합할 수 있다. 한편, 스텝(2408)에서, 현재 처리 중인 픽셀의 광 레벨이 측정된다. 스텝(2412 및 2416)에서, 첫 번째 및 두 번째 이득 함수 Fg1 및 Fg2는 스케일링된 정보 메트릭에 적용된다. 스텝(2420)에서, 2개의 이득 함수의 출력은 설명된 바와 같이 스텝(2408)에서 측정된 픽셀의 광 레벨에 따라 가중되고, 하나의 통합된 메트릭을 생성하도록 합산된다.
포스트 컨벌루션 스케일링에 의해 커널 효과 조절
알파, 베타 및 감마에 기초한 이미지 처리는 커널을 감마와 승산하는 것을 포함하도록 요구되지는 않는다. 도 20은 알파, 베타 및 감마 "스케일링"이 수정되지 않은 커널의 디컨벌루션 결과에 적용되는 실시예를 도시한다. 이 실시예에서, 촬영장치 인터페이스(208)는 노이즈 레벨 추정자 신호 및 차단 표시자를 스케일링(1602)에 제공하고, 스케일링(1602)은 알파 계산 로직(212)을 이용하여 "알파"를 계산한다. 알파 계산은 도 2에 도시된 실시예와 유사한 방식으로 수행될 수 있다. 이 실시예에서, 촬영장치 인터페이스(208)는 차단 표시자 신호 및 픽셀 인덱스를 스케일링(1602)에 제공하고, 스케일링(1602)은 베타 계산 로직(302)을 이용하여 "베타"를 계산한다. 베타 계산은 도 4에 도시된 실시예와 유사한 방식으로 수행될 수 있다. 이 실시예에서, 촬영장치 인터페이스(208)는 현재의 픽셀 및 그 인접 픽셀의 값을 스케일링(1602)에 제공하고, 스케일링(1602)은 감마 계산 로직(702)을 이용하여 "감마"를 계산한다. 감마 계산은 본 명세서에서 개시된 임의의 기술에 따라 수행될 수 있다.
알파/베타/감마 스케일링(2012)은 컨벌루션 결과, 알파, 베타, 감마, 및 처리 중인 현재의 픽셀에 대한 원래의 값을 입력하고, 현재의 픽셀에 대한 최종 결과를 출력한다. 하나의 실시예에서, 현재의 픽셀은 신호 매트릭스의 중심 픽셀이다. 하나의 실시예에서, 알파 스케일링(1612)은 다음을 수행한다.
Figure 112009068139617-pct00033
수학식 24에서, ConvRs는 컨벌루션 결과이고 InputPixel은 처리 중인 현재의 픽셀의 원래의 값이다. 따라서, 현재의 픽셀에 대한 최종 처리 결과는 수정되지 않은 커널을 이용한 컨벌루션 결과와 하나 이상의 다른 값의 가중된 합이다. 이러한 다른 값은 다음의 것으로 한정되지 않지만, 입력 이미지에서의 원래의 픽셀값을 포함한다. 이 실시예에서는, 알파, 베타 및 감마 파라미터가 가중(또는 스케일링) 파라미터로서 이용된다. 알파, 베타 및 감마 파라미터의 임의의 조합이 이용될 수 있다.
6.0 실시예에 따라 모션 블러를 처리하기 위하여 커널 효과 조절
6.1 모션 블러 보정의 개요
모션-블러(motion-blur)는 이미지 캡처 도중에 카메라의 움직임에 의해 야기될 수 있는 이미지에서의 블러이다. 모션-블러는 긴 노출 시간(예를 들어, 낮은 광 조건에서)에 의해 이미지를 캡처할 경우에 주로 발생한다. 종종, 모션 블러는 방향 성이 있는 PSF에 의해 특징지어질 수 있다. 예를 들어, 수평 라인은 카메라의 수평 움직임에 의해 야기된 블러를 의미한다.
모션 블러를 보상하는 것은 모션 블러를 결정하는 것과, 결정된 모션 블러에 대해 보정하는 것을 일반적으로 포함한다. 모션 블러를 결정하는 것은 모션 벡터(motion vector)에 의해 규정될 수 있는 움직임의 방향, 양 및 특성을 결정하는 것을 포함한다. 모션 벡터는 자이로스코프(gyroscope)에 의해 측정되거나, 이미지의 세트로부터 이미지 자체에 의해 추론되거나, 또는 다른 수단에 의해 추출될 수 있다. 디컨벌루션 커널은 결정된 모션 블러를 보정하기 위해 이미지에 적용될 수 있다.
일정한 공간적인 이미지 처리 커널을 적용하는 것의 효과가 S/N, 렌즈 차단 프로파일, 픽셀 위치에 종속적인 광학 수차, 및 현재 처리 중인 픽셀의 위치에서의 이미지의 특성과 같은 다양한 인자에 따라 조절될 수 있는 다양한 이미지 처리 알고리즘이 본 명세서에서 설명되어 있다. 실시예에서, 모션 블러는 전술한 공간적인 이미지 처리 커널이 적용되는 동일한 IP 블럭에서 보정될 수도 있다. 여기서, 공간적인 이미지 처리 커널은 "렌즈 PSF"를 보정하기 위한 커널이라고 할 수 있다. 따라서, 렌즈 PSF 블러 뿐만 아니라 모션-블러도 동시에 보정될 수 있다. 모션-블러 및 렌즈 PSF 블러는 이미지와 컨벌루션된 PSF로서 모델링될 수 있으므로, 조합된 블러는 모션-블러 PSF 및 렌즈 PSF 2개를 컨벌루션 함으로써 모델링될 수 있다. 따라서, 실시예에서는, 조합된 모션-블러 PSF 및 렌즈 PSF를 일치시키기 위하여 디컨벌루션 커널이 조절될 수 있다.
모션 벡터가 이용되는 경우, 모션 벡터는 이미지의 단일 프레임 또는 프레임의 시퀀스(sequence) 중 어느 하나로부터 추출될 수 있다. 비한정적인 예로서, 모션 벡터를 정의하는 것을 돕기 위하여 자이로스코프가 이용될 수 있다. 하나의 실시예에서, 모션-블러 PSF는 움직임의 방향(또는 몇 개의 방향)에 따라 모션 벡터로부터 추론된다. 실시예에서, 디컨벌루션 역 커널(de-convolution inverse kernel)은 모션-블러 PSF로부터 계산된다.
그러나, 모션 벡터로부터 모션-블러 PSF를 추론하도록 요구되지는 않는다. 오히려, 모션 벡터 자체로부터의 정보는 모션-블러 PSF를 추론하지 않고도 모션 블러를 보정하기에 충분할 수 있다. 다른 방안으로서, 모션 블러 정보는 (모션 블러) PSF의 형태로 이미 부여될 수 있으며, 여기서, 모션 벡터는 모션 블러 PSF를 추론하기 위해 필수적인 것은 아니다.
실시예에서는, 모션 블러 PSF 또는 모션 벡터 중의 어느 하나로부터, 디컨벌루션 역 커널이 결정된다. 디컨벌루션 역 커널은 블러 방향 및 형상과 일치하고, 이미지를 샤프닝하기 위한 것이다. 하나의 실시예에서, 디컨벌루션 커널은 모션-블러 PSF의 가능한 방향과 일치하는 커널의 세트(set)로부터 선택될 수 있다. 이러한 디컨벌루션 커널은 메모리에 유지되고, 모션 블러에 대한 다수의 확률로 구성된다. 실시예에서, 선택된 커널은 모션 벡터의 방향에서 렌즈 PSF 및 모션-블러 PSF의 컨벌루션인 PSF와 일치한다. 커널을 선택하는 것은 일치 알고리즘(matching algorithm)을 이용하여 행해질 수 있다.
계산 또는 선택에 의해 디컨벌루션 커널이 일단 결정되면, 상기 단락에서 설 명된 바와 같이, S/N, 픽셀 위치, 렌즈 차단 프로파일 및 이미지 특성에 따른 디컨벌루션 커널에 대한 조절을 고려하면서, 이미지를 디컨벌루션 커널과 컨벌루션 함으로써 이미지가 처리될 수 있다.
디컨벌루션 커널은 블러 이외의 다른 광학적 수차를 처리할 수 있으며, 커널은 희망하는 주파수 응답을 가질 수 있음에 유의해야 한다. 실시예에서, 모션 블러 보정은 실리콘 크기를 증가시키지 않고 본 명세서에서 설명된 바와 같이 샤프닝 블럭(114)으로 집적될 수 있다. 예를 들어, 샤프닝 알고리즘을 구현하기 위해 이용되는 하드웨어는 모션 블러 보정에 이용된다. 따라서, 본 명세서에서 개시된 기술은 2개의 상이한 ISP 블럭에서 모션 블러 및 PSF 블러를 별도로 처리하는 것에 비해, 자원(예를 들어, 실리콘 크기/게이트 수, 프로세서 사이클, 전력 소비, 복잡도)의 측면에서 비교적 비용 효율성이 있다.
6.2 블러리 포인트 스프레드 함수 실시예
모션 블러 보정을 구현하는 한 가지 방법은 모션 블러의 특성을 추정하고 프리뷰(preview) 모드 도중에 일치하는 디컨벌루션 커널("모션 블러 커널")을 생성하는 것이다. 이 방법은 도 17에 도시된 실시예에 예시되어 있다. 이 방법은 프리뷰 모드 도중에 프레임을 비교함으로써 모션 블러를 식별한다. 다음으로, 캡처 모드로 들어가면, 모션 블러 커널 및 다른 커널이 이미지에 적용된다. 다른 커널은 샤프닝에 이용될 수 있다. 다양한 실시예에서는, 본 명세서에서 설명된 바와 같이, 알파, 베타, 및/또는 감마 파라미터는 다른 커널에 의해 처리 효과의 강도를 수정하기 위해 이용된다.
이하, 프리뷰 모드 ISP(1710)를 참조하면, 블러링 PSF(1721)는 블럭(1725)에서 모션 블러링된 이미지(1722)에 기초하여 추정된다. 블러링 PSF(1721)를 추정하는 것은 당업자에게 알려져 있는 기술을 이용하여 캡처된 이미지(1722)를 분석함으로써 얻어질 수 있다. 캡처된 이미지(1722)를 분석함으로써 블러링 PSF(1721)를 추정하기 위한 하나의 기술은 카메라에 모션 벡터를 공급하는 자이로스코프를 이용하는 것을 포함한다. 또 다른 기술은 블러링의 방향을 구하기 위해 상관(correlation)을 이용하는 것, 몇 개의 연속적인 프레임을 비교하는 것, 그리고 비교에 기초하여 움직임의 방향을 추출하는 것을 포함한다. 블러링 PSF(1721)에 기초하여, 모션 블러 디컨벌루션 커널은 블럭(1728)에서 생성된다.
이하, 캡처 모드 ISP 체인(1720)을 참조하면, 모션 블러 커널은 이미지에 대한 다른 커널 처리를 수행하는 로직에 제공된다. 하나의 실시예에서, 상기 다른 로직은 디지털 자동 포커스 블럭(111)이다. 컨벌루션 연산은 결합적이므로(즉, a*(b*image)=(a*b)*image), 샤프닝으로부터의 컨벌루션 커널 및 모션 블러 커널은 이미지에 적용될 하나의 커널로 조합될 수 있다. 샤프닝이 가능하지 않고, 디지털 자동 포커스 블럭(111)이 IP 체인(1720)에서 구현되면, 디지털 자동 포커스 블럭(111)은 모션 블러 디컨벌루션을 위해 단독으로 이용될 수 있다.
6.3 모션 시프트 벡터 실시예
IP 체인 내의 디지털 자동 포커스 블럭(111)은 프리뷰 모드 또는 비디오 스트리밍(streaming) 도중에 흔들린 이미지의 문제를 해결하기 위해 이용될 수 있다. 프리뷰 모드 또는 비디오 스트리밍에서는, 디스플레이에서 "흔들린(shaky)" 이미지 를 발생하는 연속적인 프레임 사이에는 공간적인 오프셋(offset)이 나타날 수 있다. 이 문제를 처리하는 하나의 방법은 마지막 프레임으로부터 추정된 모션 벡터에 반대인 방향으로 이미지를 소정의 양만큼 시프트하는 것이다. 모션 벡터가 일단 추정되면, 희망하는 방향으로 공간적인 시프트를 일으키는 커널과 이미지를 컨벌루션 함으로써, 이러한 시프트가 디지털 자동 포커스 블럭(111) 내에서 구현될 수 있다.
도 18은 실시예에 따라 모션 시프트를 보정하는 것에 대해 도시한다. 각각의 이미지(1802a-1802c)의 프레임(1801)은 "조망된(viewed)" 이미지를 포함한다. 3개의 이미지(1802a-1802c)에서 프레임은 도시된 집에 대해 이동하고 있음에 유의해야 한다. 모션 벡터 추정 로직(1810)은 현재의 프레임(n)과 이전 프레임(n-1)으로부터의 파라미터에 기초하여 블럭(1820)에서 모션 벡터를 추정한다. 예를 들어, 각각의 프레임의 몇 개의 위치로부터 특징이 추출된다. 그 다음으로, 모션 벡터를 계산하기 위하여, 현재의 프레임에서의 특징 위치는 하나 이상의 이전 프레임에서의 특징 위치와 비교된다. 특징의 예는 다음의 것에 한정되지 않지만, 프레임으로부터 프레임으로 뒤따를 수 있는 장면에서의 에지 또는 다른 고유의 마크(mark)를 포함한다.
추정된 모션 벡터에 기초하여, 블럭(1830)에서 시프트 커널이 계산된다. 모션 벡터로부터 시프트 커널을 계산하기 위한 기술은 미리 계산된 모션 벡터에 따라 시프트되는 크로넥커-델타 커널을 이용하는 것을 포함한다. 시프트 커널은 프리뷰/비디오 모드 ISP(1850) 내의 디지털 자동 포커스 블럭(111)에 제공되며, 여기서, 프레임은 시프트 커널 및 다른 커널에 기초하여 처리된다. 다른 커널은 샤프닝을 위해 이용될 수 있다. 다양한 실시예에서는, 본 명세서에서 설명된 바와 같이, 알 파, 베타, 및/또는 감마 파라미터는 다른 커널에 의해 처리 효과의 강도를 수정하기 위해 이용된다.
6.4 샤프닝 및 모션 블러 커널의 조합
본 명세서에서 설명된 바와 같이, 샤프닝 알고리즘은 구현에 있어서 종속적일 수 있는 그 커널에 대한 일정한 지원 크기를 이용할 수 있다. 예를 들어, 커널은 9x9 픽셀 지원을 제공할 수 있다. 그러나, 샤프닝 알고리즘과 함께 안티-모션-블러(anti-motion-blur)를 이용하는 것은 커널 크기를 반드시 증가시키지 않아야 한다. 통상적으로, 2개의 커널을 컨벌루션할 때, 하나가 크기 MxM이고, 다른 하나가 NxN이면, 그 컨벌루션은 (M+N-1) x (M+N-1)이다. 커널 크기를 유지하기 위하여, 샤프닝 커널의 형상을 변경하여 모션 블러 커널과 더욱 근접하게 유사하게 하고 보완하는 것이 가능하다. 또한, 모션 디블러링 커널(motion de-blurring kernel)은 비대칭적 형상을 가질 수 있음에 유의해야 한다. 예를 들어, 디블러 커널은 직사각형, 대각선 및 심지어 원형의 지원을 포함할 수 있지만, 반드시 정사각형 지원을 포함할 필요는 없다. 이 비대칭은 (라인과 같은) "간단한" 흔들림-경로(shaking path) 뿐만 아니라 (십자형, T 또는 원형 경로와 같은) 더욱 복잡한 경로의 보상을 제공한다.
8.0 하드웨어 개요
8.1 예시적인 이동 장치
도 13은 본 발명의 실시예가 구현될 수 있는 예시적인 이동 장치(1300)의 블럭도를 예시한다. 이동 장치(1300)는 카메라 어셈블리(1302), 카메라 및 그래픽 인 터페이스(1380) 및 통신 회로(1390)를 포함한다. 카메라 어셈블리(1370)는 카메라 렌즈(1336), 이미지 센서(1372), 및 이미지 프로세서(1374)를 포함한다. 단일 렌즈 또는 복수의 렌즈를 포함하는 카메라 렌즈(1336)는 광을 수집하여 이미지 센서(1372)에 포커싱한다. 이미지 센서(1372)는 카메라 렌즈(1336)에 의해 수집 및 포커싱된 광에 의해 형성된 이미지를 캡처한다. 이미지 센서(1372)는 전하 결합 소자(CCD : charge-coupled device)와 같은 임의의 통상적인 이미지 센서(1372) 또는 상보형 금속 산화물 반도체(CMOS : complementary metal oxide semiconductor) 이미지 센서일 수 있다. 이미지 프로세서(1374)는 메모리(1396)에서의 추후 저장, 디스플레이(1326)로의 출력, 및/또는 통신 회로(1390)에 의해 송신을 위하여, 이미지 센서(1372)에 의해 캡처된 원시 이미지 데이터를 처리한다. 이미지 프로세서(1374)는 이미지 데이터를 처리하도록 프로그래밍된 당업계에 잘 알려진 통상적인 디지털 신호 프로세서일 수 있다.
이미지 프로세서(1374)는 카메라 및 그래픽 인터페이스(1380)를 통해 통신 회로(1390)와 인터페이스한다. 통신 회로(1390)는 안테나(1392), 트랜시버(1394), 메모리(1396), 마이크로프로세서(1392), 입력/출력 회로(1394), 오디오 처리 회로(1396) 및 이용자 인터페이스(1397)를 포함한다. 트랜시버(1394)는 신호를 수신 및 송신하기 위하여 안테나(1392)에 연결되어 있다. 트랜시버(1392)는 완전히 기능적인 셀룰러 라디오 트랜시버이며, 이동통신용 글로벌 시스템(GSM : global system for mobile communications), TIA/EIA-136, cdmaOne, cdma2000, UMTS, 및 광대역 CDMA로서 일반적으로 알려져 있는 표준을 포함하는 임의의 알려진 표준에 따라 동 작할 수 있다.
이미지 프로세서(1374)는 본 명세서에서 설명된 하나 이상의 실시예를 이용하여 센서(1372)에 의해 취득된 이미지를 처리할 수 있다. 이미지 프로세서(1374)는 하드웨어, 소프트웨어, 또는 소프트웨어 및 하드웨어의 일부 조합에 의해 구현될 수 있다. 예를 들어, 이미지 프로세서(1374)는 주문형 반도체(ASIC : application specific integrated circuit)의 일부로서 구현될 수 있다. 또 다른 예로서, 이미지 프로세서(1374)는 본 발명의 하나 이상의 실시예를 구현하기 위하여, 컴퓨터 판독가능 매체 상에 저장되어 있는 명령을 액세스하고 프로세서에 대한 이러한 명령을 실행할 수 있다.
마이크로프로세서(1392)는 메모리(1396)에 저장된 프로그램에 따라 트랜시버(1394)를 포함하는 이동 장치(1300)의 동작을 제어한다. 또한, 마이크로프로세서(1392)는 본 명세서에서 개시된 이미지 처리 실시예의 일부 또는 전부를 실행할 수 있다. 처리 기능은 단일 마이크로프로세서 또는 다수의 마이크로프로세서에 의해 구현될 수 있다. 적합한 마이크로프로세서는 예를 들어, 범용 및 특수한 목적의 마이크로프로세서와 디지털 신호 프로세서를 모두 포함할 수 있다. 메모리(1396)는 이동 통신 장치에서 메모리의 전체 계층을 표현하고, 랜덤 액세스 메모리(RAM : random access memory) 및 판독전용 메모리(ROM : read-only memory)를 모두 포함할 수 있다. 동작에 필요한 컴퓨터 프로그램 명령 및 데이터는 EPROM, EEPROM 및/또는 플래시 메모리와 같은 비휘발성 메모리에 저장되며, 이러한 비휘발성 메모리는 개별 장치, 적층 장치로서 구현되거나, 마이크로프로세서와 통합될 수 있다.
입력/출력 회로(1394)는 카메라 및 그래픽 인터페이스(1380)를 통해 마이크로프로세서(1392)를 카메라 어셈블리(1370)의 이미지 프로세서(1374)와 인터페이스한다. 카메라 및 그래픽 인터페이스(1380)는 당업계에 알려진 임의의 방법에 따라 이미지 프로세서(1374)를 이용자 인터페이스(1397)와 인터페이스한다. 또한, 입력/출력 회로(1394)는 마이크로프로세서(1392), 트랜시버(1394), 오디오 처리 회로(1396) 및 통신 회로(1390)의 이용자 인터페이스(1397)를 인터페이스한다. 이용자 인터페이스(1397)는 디스플레이(1326), 스피커(1328), 마이크로폰(1338) 및 키패드(1340)를 포함한다. 디스플레이 섹션의 배면에 배치된 디스플레이(1326)는 조작자가 다이얼링된 숫자, 이미지, 통화 상태, 메뉴 옵션 및 다른 서비스 정보를 볼 수 있도록 한다. 키패드(1340)는 알파벳/숫자 키패드를 포함하고, 선택적으로, 당업계에 잘 알려져 있는 바와 같이 조이스틱 제어(도시하지 않음)와 같은 내비게이션 제어를 포함할 수 있다. 또한, 키패드(1340)는 팜톱(palmtop) 컴퓨터 또는 스마트 폰(smart phone)에서 이용되는 것과 같은 완전한 QWERTY 키보드를 포함할 수 있다. 키패드(1340)는 조작자가 번호를 다이얼링하고 명령을 입력하고 옵션을 선택하도록 할 수 있다.
마이크로폰(1338)은 이용자의 음성을 전기적인 오디오 신호로 변환한다. 오디오 처리 회로(1396)는 마이크로폰(1338)으로부터 아날로그 오디오 입력을 받아들이고, 이러한 신호를 처리하며, 입력/출력 회로(1394)를 통해 처리된 신호를 트랜시버(1394)에 제공한다. 트랜시버(1394)에 의해 수신된 오디오 신호는 오디오 처리 회로(1396)에 의해 처리된다. 오디오 처리 회로(1396)에 의해 생성된 기본적인 아 날로그 출력 신호는 스피커(1328)에 제공된다. 그 다음으로, 스피커(1328)는 아날로그 오디오 신호를 이용자가 들을 수 있는 청각 신호로 변환한다.
당업자는 도 13에 도시된 하나 이상의 소자는 조합될 수 있다는 것을 이해할 것이다. 예를 들어, 카메라 및 그래픽 인터페이스(1380)는 도 13에서 분리된 부품으로서 도시되어 있지만, 카메라 및 그래픽 인터페이스(1380)는 입력/출력 회로(1394)에 포함될 수 있음을 이해할 것이다. 또한, 마이크로프로세서(1392), 입력/출력 회로(1394), 오디오 처리 회로(1396), 이미지 프로세서(1374) 및/또는 메모리(1396)는 특별히 설계된 주문형 반도체(ASIC)(1391)에 통합될 수 있다.
8.2 예시적인 컴퓨터 시스템
도 14는 발명의 하나 이상의 실시예가 구현될 수 있는 컴퓨터 시스템(1400)을 예시하는 블럭도이다. 컴퓨터 시스템(1400)은 정보를 통신하기 위한 버스(1402) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위하여 버스(1402)와 연결된 프로세서(1404)를 포함한다. 또한, 컴퓨터 시스템(1400)은 프로세서(1404)에 의해 실행될 정보 및 명령을 저장하기 위하여 버스(1402)에 연결된, 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 장치와 같은 메인 메모리(1406)를 포함한다. 또한, 메인 메모리(1406)는 프로세서(1404)에 의해 실행되는 명령의 실행 도중에 임시 변수 또는 다른 중간 정보를 저장하기 위해 이용될 수 있다. 컴퓨터 시스템(1400)은 프로세서(1404)를 위한 정적 정보 및 명령을 저장하기 위하여 버스(1402)에 연결된 판독전용 메모리(ROM)(1408) 및 다른 정적 저장 장치를 더 포함한다. 자기 디스크 또는 광 디스크와 같은 저장 장치(1410)는 정보 및 명령을 저장하기 위하여 버스(1402) 에 제공되고 버스(1402)에 연결되어 있다.
컴퓨터 시스템(1400)은 컴퓨터 이용자에게 정보를 디스플레이하기 위하여 음극선관(CRT : cathode ray tube)과 같은 디스플레이(1412)와 버스(1402)를 통해 연결될 수 있다. 알파벳/숫자 및 다른 키를 포함하는 입력 장치(1414)는 정보 및 명령 선택을 프로세서(1404)에 전달하기 위하여 버스(1402)에 연결된다. 다른 타입의 이용자 입력 장치는 방향 정보 및 명령 선택을 프로세서(1404)에 전달하고 디스플레이(1412) 상의 커서 움직임을 제어하기 위한 마우스, 트랙볼(trackball) 또는 커서 방향 키와 같은 커서 제어부(1416)이다. 이 입력 장치는 일반적으로 평면 내에서 위치를 지정하도록 할 수 있는 2개의 축, 제1축(예를 들어, x) 및 제2축(예를 들어, y)에서 2개의 자유도를 가진다. 컴퓨터 시스템(1400)은 위에서 설명된 실시예를 이용하여 처리될 수 있는 청각 음, 스틸 이미지 또는 움직임 비디오를 제공하기 위하여 마이크로폰 또는 카메라와 같은 오디오/비디오 입력 장치(1415)를 더 포함할 수 있다.
본 명세서에서 개시된 다양한 처리 기술은 컴퓨터 시스템(1400) 상에서 데이터를 처리하도록 구현될 수 있다. 발명의 하나의 실시예에 따르면, 이러한 기술은 프로세서(1404)에 응답하여 메인 메모리(1406)에 포함된 하나 이상의 명령의 하나 이상의 시퀀스를 실행하는 컴퓨터 시스템(1400)에 의해 수행된다. 이러한 명령은 저장 장치(1410)와 같은 또 다른 기계-판독가능 매체로부터 메인 메모리(1406)로 판독될 수 있다. 메인 메모리(1406)에 포함된 명령 시퀀스의 실행은 프로세서(1404)가 본 명세서에서 설명된 처리 스텝을 수행하도록 한다. 대안적인 실시예 에서는, 배선접속된 회로가 발명을 구현하기 위하여 소프트웨어 명령 대신에 또는 소프트웨어 명령과 조합하여 이용될 수 있다. 따라서, 발명의 실시예는 하드웨어 회로 및 소프트웨어의 임의의 특정한 조합에 한정되지 않는다.
본 명세서에서 사용되는 용어 "기계-판독가능 매체"는 기계가 특정한 방식으로 동작하도록 하는 데이터를 제공하는데 참여하는 임의의 매체를 칭한다. 컴퓨터 시스템(1400)을 이용하여 구현되는 실시예에서는, 예를 들어, 실행을 위하여 프로세서(1404)에 명령을 제공함에 있어서, 다양한 기계-판독가능 매체가 관여된다. 이러한 매체는 다음의 것으로 한정되지 않지만 저장 매체 및 전송 매체를 포함하는 다수의 형태를 가질 수 있다. 저장 매체는 비휘발성 매체 및 휘발성 매체를 모두 포함한다. 비휘발성 매체는 예를 들어, 저장 장치(1410)와 같은 광 또는 자기 다시크를 포함한다. 휘발성 매체는 메인 메모리(1406)와 같은 동적 메모리를 포함한다. 전송 매체는 버스(1402)를 포함하는 배선을 포함하는 동축 케이블, 구리 배선 및 광 섬유를 포함한다. 전송 매체는 전파 및 적외선 통신 도중에 생성되는 것과 같은 음향 또는 광 파동의 형태를 취할 수도 있다. 이러한 모든 매체는 매체에 의해 전달된 명령이 명령을 기계로 판독하는 물리적 메커니즘에 의해 검출될 수 있도록 실체가 있는 것이어야 한다.
기계-판독가능 매체의 보편적인 형태는 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드, 종이테이프, 구멍의 패턴을 갖는 임의의 다른 물리 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 이후 에 설명되는 반송파, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태의 기계-판독가능 매체는 실행을 위하여 하나 이상의 명령의 하나 이상의 시퀀스를 프로세서(1404)에 전달하는데 관여될 수 있다. 예를 들어, 상기 명령은 초기에 원격 컴퓨터의 자기 디스크에 전달될 수 있다. 원격 컴퓨터는 명령을 동적 메모리에 로드(load)하고, 명령을 모뎀을 이용하여 전화선을 통해 송신할 수 있다. 컴퓨터 시스템(1400)에 접속된 모뎀은 전화선 상의 데이터를 수신하고 적외선 송신기를 이용하여 데이터를 적외선 신호로 변환한다. 적외선 검출기는 적외선 신호에 의해 전달된 데이터를 수신할 수 있고, 적절한 회로는 데이터를 버스(1402)에 배치할 수 있다. 버스(1402)는 데이터를 메인 메모리(1406)로 전달하고, 프로세서(1404)는 메인 메모리(1406)로부터 검색하여 명령을 실행한다. 메인 메모리(1406)에 의해 수신된 명령은 프로세서(1404)에 의한 실행 전 또는 실행 후에 저장 장치(1410) 상에 선택적으로 저장될 수 있다.
또한, 컴퓨터 시스템(1400)은 버스(1402)에 연결된 통신 인터페이스(1418)를 포함한다. 통신 인터페이스(1418)는 양방향 데이터 통신 결합을 로컬 네트워크(1422)에 접속되어 있는 네트워크 링크(1420)에 제공한다. 예를 들어, 통신 인터페이스(1418)는 대응하는 타입의 전화선에 데이터 통신 접속을 제공하기 위한 통합 서비스 디지털 네트워크(ISDN : integrated services digital network) 카드 또는 모뎀일 수 있다. 또 다른 예로서, 통신 인터페이스(1418)는 호환가능한 근거리 네트워크(LAN : local area network)에 데이터 통신 접속을 제공하기 위한 LAN 카드일 수 있다. 무선 링크 또한 구현될 수 있다. 이러한 임의의 구현예에서, 통신 인 터페이스(1418)는 다양한 타입의 정보를 나타내는 디지털 데이터 스트림을 전달하는 전기 신호, 전자기 신호 또는 광 신호를 송신 및 수신한다.
네트워크 링크(1420)는 일반적으로 하나 이상의 네트워크를 통해 다른 데이터 장치에 데이터 통신을 제공한다. 예를 들어, 네트워크 링크(1420)는 인터넷 서비스 제공자(ISP : internet service provider)(1426)에 의해 운영되는 호스트 컴퓨터(1424) 또는 데이터 장비에 대해 로컬 네트워크(1422)를 통한 접속을 제공할 수 있다. ISP(1426)는 이제 "인터넷"(1428)이라고 보편적으로 칭하는 월드 와이드 패킷 데이터 통신 네트워크를 통해 데이터 통신 서비스를 제공한다. 로컬 네트워크(1422) 및 인터넷(1428)은 모두 디지털 데이터 스트림을 전달하는 전기 신호, 전자기 신호 또는 광 신호를 이용한다. 컴퓨터 시스템(1400)으로 그리고 컴퓨터 시스템(1400)으로부터 디지털 데이터를 전달하는 다양한 네트워크를 통한 신호와, 네트워크 링크(1420) 상의 신호와, 통신 인터페이스(1418)를 통한 신호는 정보를 수송하는 반송파의 예시적인 형태이다.
컴퓨터 시스템(1400)은 네트워크, 네트워크 링크(1420) 및 통신 인터페이스(1418)를 통해 메시지를 송신하고 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷의 예에서는, 서버(1430)가 어플리케이션 프로그램을 위한 요청된 코드를 인터넷(1428), ISP(1426), 로컬 네트워크(1422) 및 통신 인터페이스(1418)를 통해 송신할 수 있다.
수신된 코드는 수신되는 대로 프로세서(1404)에 의해 실행될 수 있고, 및/또는, 추후의 실행을 위하여 저장 장치(1410) 또는 다른 비휘발성 저장장치에 저장될 수 있다. 이러한 방식으로, 컴퓨터 시스템(1400)은 반송파 형태의 어플리케이션 코드를 얻을 수 있다.
본 명세서에서 설명된 바와 같은 프로그램 코드의 실시예에 의해 처리되는 데이터는 다음의 것으로 한정되지 않지만 A/V 입력 장치(1415), 저장 장치(1410) 및 통신 인터페이스(1418)를 포함하는 다양한 소스로부터 얻어질 수 있다.

Claims (39)

  1. 이미지를 처리하기 위해 이미지 프로세서에 의해 수행되는 방법에 있어서,
    캡처된 이미지의 일부에 대응하는 복수의 픽셀 값들을 포함하는 신호 매트릭스를 수신하는 단계;
    저장장치로부터 상기 신호 매트릭스에 적용될 때 특정 크기의 필터 효과를 일으키는 미리 구성된 커널 매트릭스(kernel matrix)를 액세스하는 단계;
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭(metric)을 계산하는 단계; 및
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 의도된(intended) 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과를 조절하는 단계를 포함하는 이미지 처리 방법.
  2. 제 1 항에 있어서,
    상기 특정 크기로부터 의도된 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과를 조절하는 단계는,
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 커널 매트릭스를 수정하여 상기 신호 매트릭스에 대한 수정된 커널 매트릭스를 발생시키는 단계; 및
    상기 의도된 크기의 필터 효과를 달성하도록 상기 수정된 커널 매트릭스를 상기 신호 매트릭스에 적용하는 단계를 포함하는 것인 이미지 처리 방법.
  3. 제 1 항에 있어서,
    상기 특정 크기로부터 의도된 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과를 조절하는 단계는,
    상기 특정 크기의 필터 효과를 갖는 중간 결과를 유도하도록 상기 커널 매트릭스를 상기 신호 매트릭스에 적용하는 단계; 및
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 상기 의도된 크기로 필터 효과를 조절하도록 상기 중간 결과를 스케일링(scaling)하는 단계를 포함하는 것인 이미지 처리 방법.
  4. 제 1 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에서의 이미지 콘트라스트를 증가시키는 것을 포함하는 것인 이미지 처리 방법.
  5. 제 1 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부를 디노이징(de-noising)하는 것을 포함하는 것인 이미지 처리 방법.
  6. 제 1 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 단계는,
    상기 신호 매트릭스의 노이즈 파라미터에 기초하여 제1 메트릭을 계산하는 단계를 포함하고, 상기 노이즈 파라미터는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에 얼마나 많은 노이즈가 존재하는지를 나타내는 것인 이미지 처리 방법.
  7. 제 1 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 단계는,
    상기 캡처된 이미지를 캡처하는데 사용되는 렌즈의 특성에 기초하여 제1 메트릭을 계산하는 단계를 포함하는 것인 이미지 처리 방법.
  8. 제 1 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 단계는,
    적어도, 처리되고 있는 현재 픽셀 값 및 하나 이상의 이웃하는 픽셀 값을 포함한, 상기 신호 매트릭스에서의 픽셀 값들의 서브세트에 기초하여 제1 메트릭을 계산하는 단계를 포함하는 것인 이미지 처리 방법.
  9. 제 1 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 단계는,
    상기 신호 매트릭스의 공간적인 위치 파라미터에 기초하여 제1 메트릭을 계산하는 단계를 포함하고, 상기 공간적인 위치 파라미터는 상기 캡처된 이미지에서 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부가 위치되어 있는 곳을 나타내는 것인 이미지 처리 방법.
  10. 제 1 항에 있어서, 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하기 전에, 상기 캡처된 이미지의 모션 블러(motion blur) 특성에 기초하여 상기 커널 매트릭스를 수정하는 단계를 더 포함하는 이미지 처리 방법.
  11. 이미지 처리 장치에 있어서,
    렌즈;
    상기 렌즈에 광학적으로 연결되고, 이미지를 캡처하는 이미지 캡처 장치; 및
    이미지 프로세서를 포함하고,
    상기 이미지 프로세서는,
    상기 이미지 캡처 장치로부터, 캡처된 이미지의 일부에 대응하는 복수의 픽셀 값들을 포함하는 신호 매트릭스를 수신하고;
    저장장치로부터 상기 신호 매트릭스에 적용될 때 특정 크기의 필터 효과를 일으키는 미리 구성된 커널 매트릭스(kernel matrix)에 액세스하고;
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭(metric)을 계산하고;
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 의도된(intended) 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과를 조절하는,
    동작들을 수행하도록 구성된 것인 이미지 처리 장치.
  12. 제 11 항에 있어서,
    상기 이미지 프로세서는,
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 커널 매트릭스를 수정하여 상기 신호 매트릭스에 대한 수정된 커널 매트릭스를 발생시키고;
    상기 의도된 크기의 필터 효과를 달성하도록 상기 수정된 커널 매트릭스를 상기 신호 매트릭스에 적용함으로써,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과를 조절하는 것인 이미지 처리 장치.
  13. 제 11 항에 있어서,
    상기 이미지 프로세서는,
    상기 특정 크기의 필터 효과를 갖는 중간 결과를 유도하도록 상기 커널 매트릭스를 상기 신호 매트릭스에 적용하고;
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 상기 의도된 크기로 필터 효과를 조절하도록 상기 중간 결과를 스케일링(scaling)함으로써,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과를 조절하는 것인 이미지 처리 장치.
  14. 제 11 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에서의 이미지 콘트라스트를 증가시키는 것을 포함하는 것인 이미지 처리 장치.
  15. 제 11 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부를 디노이징(de-noising)하는 것을 포함하는 것인 이미지 처리 장치.
  16. 제 11 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 것은,
    상기 신호 매트릭스의 노이즈 파라미터에 기초하여 제1 메트릭을 계산하는 것을 포함하고, 상기 노이즈 파라미터는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에 얼마나 많은 노이즈가 존재하는지를 나타내는 것인 이미지 처리 장치.
  17. 제 16 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 것은,
    상기 렌즈의 특성에 기초하여 제2 메트릭을 계산하는 것을 더 포함하는 것인 이미지 처리 장치.
  18. 제 17 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 것은,
    적어도, 처리되고 있는 현재 픽셀 값 및 하나 이상의 이웃하는 픽셀 값을 포함한, 상기 신호 매트릭스에서의 픽셀 값들의 서브세트에 기초하여 제3 메트릭을 계산하는 것을 포함하는 것인 이미지 처리 장치.
  19. 제 16 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 것은,
    적어도, 처리되고 있는 현재 픽셀 값 및 하나 이상의 이웃하는 픽셀 값을 포함한, 상기 신호 매트릭스에서의 픽셀 값들의 서브세트에 기초하여 제2 메트릭을 계산하는 것을 포함하는 것인 이미지 처리 장치.
  20. 제 19 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 제1 메트릭 및 제2 메트릭에 적어도 부분적으로 기초하여 조절되는 것인 이미지 처리 장치.
  21. 제 17 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 제1 메트릭 및 제2 메트릭에 적어도 부분적으로 기초하여 조절되는 것인 이미지 처리 장치.
  22. 제 18 항에 있어서,
    상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 필터 효과는 상기 제1 메트릭, 제2 메트릭 및 제3 메트릭에 적어도 부분적으로 기초하여 조절되는 것인 이미지 처리 장치.
  23. 제 11 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 것은,
    상기 렌즈의 특성에 기초하여 제1 메트릭을 계산하는 것을 포함하는 것인 이미지 처리 장치.
  24. 제 11 항에 있어서,
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭을 계산하는 것은,
    적어도, 처리되고 있는 현재 픽셀 값 및 하나 이상의 이웃하는 픽셀 값을 포함한, 상기 신호 매트릭스에서의 픽셀 값들의 서브세트에 기초하여 제1 메트릭을 계산하는 것을 포함하는 것인 이미지 처리 장치.
  25. 제 24 항에 있어서,
    상기 제1 메트릭은 상기 픽셀 값들의 서브세트에서의 다양한 픽셀 값들 사이에 픽셀 값들의 차(difference)에 적어도 부분적으로 기초하여 계산되는 것인 이미지 처리 장치.
  26. 제 24 항에 있어서,
    상기 제1 메트릭은 상기 픽셀 값들의 서브세트에서의 픽셀 값들의 표준 편차에 적어도 부분적으로 기초하여 계산되는 것인 이미지 처리 장치.
  27. 제 24 항에 있어서,
    상기 제1 메트릭은 상기 픽셀 값들의 서브세트에서의 픽셀 값들의 히스토그램(histogram)에 적어도 부분적으로 기초하여 계산되는 것인 이미지 처리 장치.
  28. 제 24 항에 있어서,
    상기 제1 메트릭은 적어도 부분적으로 상기 픽셀 값들의 서브세트에서의 픽셀 값들에 에지 검출 마스크를 적용함으로써 계산되는 것인 이미지 처리 장치.
  29. 제 24 항에 있어서,
    상기 제1 메트릭은 상기 픽셀 값들의 서브세트에서의 픽셀 값들의 엔트로피에 적어도 부분적으로 기초하여 계산되는 것인 이미지 처리 장치.
  30. 제 11 항에 있어서, 상기 이미지 프로세서는, 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하기 전에, 상기 캡처된 이미지의 모션 블러(motion blur) 특성에 기초하여 상기 커널 매트릭스를 수정하는 것인 이미지 처리 장치.
  31. 이미지를 처리하기 위해 이미지 프로세서에 의해 수행되는 방법에 있어서,
    캡처된 이미지의 일부에 대응하는 복수의 픽셀 값들을 포함하는 신호 매트릭스를 수신하는 단계;
    상기 신호 매트릭스에 적용될 때 특정 크기의 효과를 일으키는 커널 매트릭스(kernel matrix)에 액세스하는 단계로서, 상기 효과는 상기 신호 매트릭스에 대응하는 캡처된 이미지의 일부를 샤프닝(sharpening)하는 것을 포함하는, 액세스 단계;
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭(metric)을 계산하는 단계로서, 상기 하나 이상의 메트릭은 상기 신호 매트릭스의 노이즈 파라미터에 기초하여 계산되는 제1 메트릭을 포함하고, 상기 제1 메트릭은 상기 캡처된 이미지에 얼마나 많은 노이즈가 존재하는지 나타내는 것인, 계산 단계; 및
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 의도된(intended) 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 효과를 조절하는 단계를 포함하고,
    상기 효과를 조절하는 단계는 상기 캡처된 이미지에 더 많은 노이즈가 존재할수록 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에 더 적은 샤프닝이 수행되도록 상기 제1 메트릭에 적어도 부분적으로 기초하여 상기 효과를 조절하는 것을 포함하는 것인 이미지 처리 방법.
  32. 이미지를 처리하기 위해 이미지 프로세서에 의해 수행되는 방법에 있어서,
    캡처된 이미지의 일부에 대응하는 복수의 픽셀 값들을 포함하는 신호 매트릭스를 수신하는 단계;
    상기 신호 매트릭스에 적용될 때 특정 크기의 효과를 일으키는 커널 매트릭스(kernel matrix)에 액세스하는 단계로서, 상기 효과는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부를 샤프닝(sharpening)하는 것을 포함하는, 액세스 단계;
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭(metric)을 계산하는 단계로서, 상기 하나 이상의 메트릭은 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부와 상기 캡처된 이미지의 렌즈 중심 사이의 거리 R에 기초하여 계산되는 제1 메트릭을 포함하는, 계산 단계; 및
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 의도된(intended) 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 효과를 조절하는 단계를 포함하고,
    상기 효과를 조절하는 단계는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부와 상기 캡처된 이미지의 렌즈 중심 사이의 거리 R이 더 클수록 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에 더 적은 샤프닝이 수행되도록 상기 제1 메트릭에 적어도 부분적으로 기초하여 상기 효과를 조절하는 것을 포함하는 것인 이미지 처리 방법.
  33. 이미지 처리 장치에 있어서,
    렌즈;
    상기 렌즈에 광학적으로 연결되고, 이미지를 캡처하는 이미지 캡처 장치; 및
    이미지 프로세서를 포함하고,
    상기 이미지 프로세서는,
    상기 이미지 캡처 장치로부터, 캡처된 이미지의 일부에 대응하는 복수의 픽셀 값들을 포함하는 신호 매트릭스를 수신하고;
    상기 신호 매트릭스에 적용될 때 특정 크기의 효과를 일으키는 커널 매트릭스(kernel matrix)에 액세스하되, 상기 효과는 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부를 샤프닝(sharpening)하는 것을 포함하며;
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭(metric)을 계산하되, 상기 하나 이상의 메트릭은 상기 신호 매트릭스의 노이즈 파라미터에 기초하여 계산되는 제1 메트릭을 포함하고, 상기 제1 메트릭은 상기 캡처된 이미지에 얼마나 많은 노이즈가 존재하는지 나타내며;
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 의도된(intended) 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 효과를 조절하되, 상기 효과를 조절하는 것은 상기 캡처된 이미지에 더 많은 노이즈가 존재할수록 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에 더 적은 샤프닝이 수행되도록 상기 제1 메트릭에 적어도 부분적으로 기초하여 상기 효과를 조절하는 것을 포함하는,
    동작들을 수행하도록 구성된 것인 이미지 처리 장치.
  34. 이미지 처리 장치에 있어서,
    렌즈;
    상기 렌즈에 광학적으로 연결되고, 이미지를 캡처하는 이미지 캡처 장치; 및
    이미지 프로세서를 포함하고,
    상기 이미지 프로세서는,
    상기 이미지 캡처 장치로부터, 캡처된 이미지의 일부에 대응하는 복수의 픽셀 값들을 포함하는 신호 매트릭스를 수신하고;
    상기 신호 매트릭스에 적용될 때 특정 크기의 효과를 일으키는 커널 매트릭스(kernel matrix)에 액세스하되, 상기 효과는 상기 신호 매트릭스에 대응하는 캡처된 이미지의 일부를 샤프닝(sharpening)하는 것을 포함하며;
    상기 신호 매트릭스에 관련된 하나 이상의 파라미터에 적어도 부분적으로 기초하여 하나 이상의 메트릭(metric)을 계산하되, 상기 하나 이상의 메트릭은 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부와 상기 캡처된 이미지의 렌즈 중심 사이의 거리 R에 기초하여 계산되는 제1 메트릭을 포함하고;
    상기 하나 이상의 메트릭에 적어도 부분적으로 기초하여, 상기 특정 크기로부터 의도된(intended) 크기로 상기 커널 매트릭스를 상기 신호 메트릭스에 적용하는 것의 효과를 조절하되, 상기 효과를 조절하는 것은 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부와 상기 캡처된 이미지의 렌즈 중심 사이의 거리 R이 더 클수록 상기 신호 매트릭스에 대응하는 상기 캡처된 이미지의 일부에 더 적은 샤프닝이 수행되도록 상기 제1 메트릭에 적어도 부분적으로 기초하여 상기 효과를 조절하는 것을 포함하는,
    동작들을 수행하도록 구성된 것인 이미지 처리 장치.
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
KR1020097023185A 2007-04-24 2008-04-24 이미지 처리 방법 및 장치 KR101313911B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US92610907P 2007-04-24 2007-04-24
US60/926,109 2007-04-24
US93317707P 2007-06-04 2007-06-04
US60/933,177 2007-06-04
US11/970,427 2008-01-07
US11/970,427 US8306348B2 (en) 2007-04-24 2008-01-07 Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
PCT/EP2008/003278 WO2008128772A2 (en) 2007-04-24 2008-04-24 Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signals

Publications (2)

Publication Number Publication Date
KR20100016278A KR20100016278A (ko) 2010-02-12
KR101313911B1 true KR101313911B1 (ko) 2013-10-01

Family

ID=39876007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097023185A KR101313911B1 (ko) 2007-04-24 2008-04-24 이미지 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US8306348B2 (ko)
EP (1) EP2147406A2 (ko)
JP (1) JP5374700B2 (ko)
KR (1) KR101313911B1 (ko)
CN (2) CN101669142B (ko)
WO (1) WO2008128772A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095462A (ko) * 2017-05-12 2019-08-14 구글 엘엘씨 멀티 코어 이미지 프로세서에서의 애플리케이션 소프트웨어의 구성
WO2023038219A1 (ko) * 2021-09-07 2023-03-16 삼성전자 주식회사 이미지를 선명화하는 전자 장치 및 그 동작 방법

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622652B (zh) 2007-02-08 2012-03-21 行为识别系统公司 行为识别系统
JP4922091B2 (ja) * 2007-07-23 2012-04-25 ルネサスエレクトロニクス株式会社 映像信号処理装置、映像信号処理方法及び表示装置
US8064695B2 (en) * 2007-09-27 2011-11-22 Behavioral Recognition Systems, Inc. Dark scene compensation in a background-foreground module of a video analysis system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8200011B2 (en) 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
JP5191224B2 (ja) * 2007-12-07 2013-05-08 イーストマン コダック カンパニー 画像処理装置
US20090179913A1 (en) * 2008-01-10 2009-07-16 Ali Corporation Apparatus for image reduction and method thereof
WO2009136923A2 (en) * 2008-05-07 2009-11-12 Tessera, Inc. Efficient implementations of kernel computation
US8471921B1 (en) * 2008-06-23 2013-06-25 Marvell International Ltd. Reducing optical crosstalk and radial fall-off in imaging sensors
US8537233B1 (en) 2008-10-14 2013-09-17 Marvell International Ltd. Preventing color artifacts in overexposed regions and preserving maximum signals in near-overexposed regions of digital images
EP2384492A4 (en) * 2009-01-22 2012-08-08 Hewlett Packard Development Co ESTIMATING THE FLOU TYPE DEGRADATION OF AN IMAGE USING SPECULAR OVERFLOWS
WO2010114449A1 (en) * 2009-03-30 2010-10-07 Telefonaktiebolaget Lm Ericsson (Publ) Barcode processing
TW201044856A (en) * 2009-06-09 2010-12-16 Ind Tech Res Inst Image restoration method and apparatus
US8482622B2 (en) * 2009-08-27 2013-07-09 Sony Corporation Method, system and computer program product for reducing motion blur
WO2011049565A1 (en) * 2009-10-21 2011-04-28 Hewlett-Packard Development Company, L.P. Real-time video deblurring
TW201121305A (en) * 2009-12-15 2011-06-16 Ability Entpr Co Ltd System and method of color interpolation
CN102098520A (zh) * 2009-12-15 2011-06-15 佳能企业股份有限公司 色彩内插系统及方法
US8478064B2 (en) * 2010-01-19 2013-07-02 Pixar Selective diffusion of filtered edges in images
EP2574038B1 (en) 2010-05-21 2018-10-24 Panasonic Intellectual Property Corporation of America Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US8228406B2 (en) 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
US8325248B2 (en) 2010-06-04 2012-12-04 Apple Inc. Dual processing of raw image data
US8319861B2 (en) 2010-06-04 2012-11-27 Apple Inc. Compensation for black level changes
KR101681776B1 (ko) * 2010-06-10 2016-12-01 엘지디스플레이 주식회사 화질 제어 방법과 이를 이용한 표시장치
US9373158B2 (en) 2010-07-30 2016-06-21 Ge Healthcare Bio-Sciences Corp. Method for reducing image artifacts produced by a CMOS camera
US20120033888A1 (en) * 2010-08-09 2012-02-09 Tetsuya Takamori Image processing system, image processing method, and computer readable medium
US9208570B2 (en) * 2012-03-28 2015-12-08 Sony Corporation System and method for performing depth estimation by utilizing an adaptive kernel
WO2012127904A1 (ja) * 2011-03-24 2012-09-27 三菱電機株式会社 画像処理装置及び方法
US8781187B2 (en) * 2011-07-13 2014-07-15 Mckesson Financial Holdings Methods, apparatuses, and computer program products for identifying a region of interest within a mammogram image
SE536669C2 (sv) * 2012-02-21 2014-05-13 Flir Systems Ab Bildbehandlingsmetod med detaljförstärkande filter med adaptiv filterkärna
JP6306811B2 (ja) 2012-06-22 2018-04-04 富士通株式会社 画像処理装置、情報処理方法及びプログラム
US9830172B2 (en) * 2012-06-30 2017-11-28 Microsoft Technology Licensing, Llc Implementing functional kernels using compiled code modules
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9635220B2 (en) * 2012-07-16 2017-04-25 Flir Systems, Inc. Methods and systems for suppressing noise in images
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
KR102087986B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 이미지 데이터를 처리하는 방법 및 장치
WO2015064277A1 (ja) * 2013-10-31 2015-05-07 富士フイルム株式会社 信号処理装置、撮像装置、パラメータ生成方法、信号処理方法及びプログラム
US9626476B2 (en) 2014-03-27 2017-04-18 Change Healthcare Llc Apparatus, method and computer-readable storage medium for transforming digital images
US9785860B2 (en) * 2014-07-16 2017-10-10 The Cleveland Clinic Foundation Real-time image enhancement for X-ray imagers
CN104202583B (zh) * 2014-08-07 2017-01-11 华为技术有限公司 图像处理装置和方法
US9781405B2 (en) * 2014-12-23 2017-10-03 Mems Drive, Inc. Three dimensional imaging with a single camera
CN104574277A (zh) * 2015-01-30 2015-04-29 京东方科技集团股份有限公司 图像插值方法和图像插值装置
KR101731178B1 (ko) * 2015-10-02 2017-04-28 엘지디스플레이 주식회사 유기 발광 표시장치와 그 구동 방법
US9503291B1 (en) * 2015-11-04 2016-11-22 Global Unichip Corporation Method and apparatus for discrete multitone transmission
KR102567186B1 (ko) * 2016-04-21 2023-08-16 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법
US10230912B2 (en) * 2016-06-28 2019-03-12 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
CN107005657A (zh) * 2016-10-13 2017-08-01 深圳市大疆创新科技有限公司 处理数据的方法、装置、芯片和摄像头
US11113791B2 (en) 2017-01-03 2021-09-07 Flir Systems, Inc. Image noise reduction using spectral transforms
KR101956250B1 (ko) * 2017-02-20 2019-03-08 한국해양과학기술원 해색 영상을 이용한 해안선 모니터링 장치 및 방법
CN108513043A (zh) * 2017-02-27 2018-09-07 中兴通讯股份有限公司 一种图像降噪方法及终端
US10580149B1 (en) * 2017-06-26 2020-03-03 Amazon Technologies, Inc. Camera-level image processing
US10510153B1 (en) * 2017-06-26 2019-12-17 Amazon Technologies, Inc. Camera-level image processing
CN109587466B (zh) * 2017-09-29 2020-02-21 华为技术有限公司 颜色阴影校正的方法和装置
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
US20190295228A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Image in-painting for irregular holes using partial convolutions
US10546044B2 (en) 2018-05-15 2020-01-28 Apple Inc. Low precision convolution operations
CN110536063B (zh) * 2018-05-25 2021-06-15 神讯电脑(昆山)有限公司 车用取像装置及影像撷取方法
CN109065001B (zh) * 2018-06-20 2021-06-25 腾讯科技（深圳）有限公司 一种图像的降采样方法、装置、终端设备和介质
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
KR102575126B1 (ko) * 2018-12-26 2023-09-05 주식회사 엘엑스세미콘 영상 처리 장치 및 그 방법
US11170475B2 (en) 2019-01-10 2021-11-09 Kla Corporation Image noise reduction using stacked denoising auto-encoder
US20220299338A1 (en) * 2019-09-24 2022-09-22 Samsung Electronics Co., Ltd. Method for generating diagrammatic representation of area and electronic device thereof
US11257294B2 (en) * 2019-10-15 2022-02-22 Magic Leap, Inc. Cross reality system supporting multiple device types
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
US11640645B2 (en) 2019-10-25 2023-05-02 Samsung Electronics Co., Ltd. Apparatus and method of acquiring image by employing color separation lens array
JP2023501952A (ja) 2019-10-31 2023-01-20 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
KR20210099516A (ko) * 2020-02-03 2021-08-12 아이엠에스 나노패브릭케이션 게엠베하 멀티―빔 라이터의 블러 변화 보정
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS
US11727540B2 (en) * 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening
US11922609B2 (en) * 2021-03-17 2024-03-05 Huawei Technologies Co., Ltd. End to end differentiable machine vision systems, methods, and media
CN113191976B (zh) * 2021-04-30 2024-03-22 Oppo广东移动通信有限公司 图像拍摄方法、装置、终端及存储介质
EP4095882A1 (en) 2021-05-25 2022-11-30 IMS Nanofabrication GmbH Pattern data processing for programmable direct-write apparatus
EP4109060A1 (en) * 2021-06-22 2022-12-28 Melexis Technologies NV Method of digitally processing a plurality of pixels and temperature measurement apparatus
KR20230039018A (ko) * 2021-09-13 2023-03-21 삼성전자주식회사 대조도 조절 방법 및 이를 이용하는 장치
CN114511469B (zh) * 2022-04-06 2022-06-21 江苏游隼微电子有限公司 一种图像智能降噪先验检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025379A1 (en) 2003-07-31 2005-02-03 Renato Keshet Digital imaging systems, articles of manufacture, and digital image processing methods
US20060093234A1 (en) 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764307A (en) * 1995-07-24 1998-06-09 Motorola, Inc. Method and apparatus for spatially adaptive filtering for video encoding
JPH11122626A (ja) 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
JP2000057337A (ja) 1998-08-06 2000-02-25 Mitsubishi Electric Corp 画像処理装置
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
AUPQ377899A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Phase three kernel selection
JP2001319228A (ja) 2000-02-28 2001-11-16 Sharp Corp 画像処理装置および画像処理システム
JP2001352464A (ja) 2000-06-08 2001-12-21 Sony Corp 映像信号処理装置および映像信号処理方法
US6674486B2 (en) 2000-05-31 2004-01-06 Sony Corporation Signal processor and signal processing method
US6823086B1 (en) * 2000-08-29 2004-11-23 Analogic Corporation Adaptive spatial filter
KR20020086937A (ko) * 2001-01-26 2002-11-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 시공간 필터 유닛 및 이러한 시공간 필터 유닛을 포함하는영상 디스플레이 장치
JP4468598B2 (ja) 2001-02-14 2010-05-26 オリンパス株式会社 画像処理装置及び画像処理プログラムを記録した記録媒体
US7072525B1 (en) * 2001-02-16 2006-07-04 Yesvideo, Inc. Adaptive filtering of visual image using auxiliary image information
JP4632568B2 (ja) 2001-04-25 2011-02-16 パナソニック株式会社 撮像装置
JP2003150955A (ja) 2001-11-15 2003-05-23 Denso Corp 画像処理装置、ナビゲーション装置、プログラム
CN1208740C (zh) * 2002-05-29 2005-06-29 北京中星微电子有限公司 数码图像噪声净化和锐化方法
JP4186640B2 (ja) 2003-02-04 2008-11-26 セイコーエプソン株式会社 画像処理装置および方法
US7305145B2 (en) * 2003-05-23 2007-12-04 Lockheed Martin Corporation Method and apparatus for filtering an image
JP4366634B2 (ja) 2003-08-08 2009-11-18 ノーリツ鋼機株式会社 ノイズ画素マップ作成方法とその方法を実施する装置とプログラム及び写真プリント装置
JP2005074080A (ja) 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 異常陰影候補検出方法、装置、およびプログラム
JP2005142891A (ja) 2003-11-07 2005-06-02 Fujitsu Ltd 画像処理方法及び画像処理装置
US20050114418A1 (en) * 2003-11-24 2005-05-26 John E. Rosenstengel Efficient convolution method with radially-symmetric kernels
JP4479257B2 (ja) 2004-01-30 2010-06-09 ノーリツ鋼機株式会社 軟調効果フィルタ及びその処理プログラム
KR100541961B1 (ko) * 2004-06-08 2006-01-12 삼성전자주식회사 선명도 향상 및 잡음처리가 가능한 영상신호 처리장치 및방법
CN100524346C (zh) * 2004-06-14 2009-08-05 普瑞科德公司 过滤数字图像的方法和系统、数字图像处理器
JP4354359B2 (ja) 2004-07-21 2009-10-28 オリンパス株式会社 撮像装置および画像補正方法
US7936941B2 (en) * 2004-10-08 2011-05-03 Panasonic Corporation Apparatus for clearing an image and method thereof
JP2006166108A (ja) 2004-12-08 2006-06-22 Canon Inc 撮像装置および撮像制御方法
TWI274258B (en) * 2004-12-24 2007-02-21 Sony Taiwan Ltd Image processing system
JP2005103325A (ja) 2004-12-28 2005-04-21 Olympus Corp 電子内視鏡装置
JP4406711B2 (ja) 2005-02-16 2010-02-03 ソニー株式会社 画像データ処理方法および画像データ処理装置
US7847863B2 (en) * 2005-06-10 2010-12-07 Intel Corporation Enhancing sharpness in video images
JP4157592B2 (ja) * 2005-10-12 2008-10-01 松下電器産業株式会社 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
US7826676B2 (en) 2007-03-08 2010-11-02 Mitsubishi Electric Research Laboraties, Inc. Method for filtering data with arbitrary kernel filters
US20090077359A1 (en) * 2007-09-18 2009-03-19 Hari Chakravarthula Architecture re-utilizing computational blocks for processing of heterogeneous data streams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025379A1 (en) 2003-07-31 2005-02-03 Renato Keshet Digital imaging systems, articles of manufacture, and digital image processing methods
US20060093234A1 (en) 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095462A (ko) * 2017-05-12 2019-08-14 구글 엘엘씨 멀티 코어 이미지 프로세서에서의 애플리케이션 소프트웨어의 구성
KR102217969B1 (ko) 2017-05-12 2021-02-19 구글 엘엘씨 멀티 코어 이미지 프로세서에서의 애플리케이션 소프트웨어의 구성
WO2023038219A1 (ko) * 2021-09-07 2023-03-16 삼성전자 주식회사 이미지를 선명화하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
WO2008128772A3 (en) 2009-10-01
US20080266413A1 (en) 2008-10-30
CN101669142B (zh) 2013-10-16
CN101669142A (zh) 2010-03-10
JP5374700B2 (ja) 2013-12-25
WO2008128772A8 (en) 2010-04-29
JP2010525470A (ja) 2010-07-22
CN103561206B (zh) 2017-05-31
WO2008128772A2 (en) 2008-10-30
EP2147406A2 (en) 2010-01-27
KR20100016278A (ko) 2010-02-12
US8306348B2 (en) 2012-11-06
CN103561206A (zh) 2014-02-05

Similar Documents

Publication Publication Date Title
KR101313911B1 (ko) 이미지 처리 방법 및 장치
US9898807B2 (en) Image processing device, imaging device, image processing method, and program
RU2543974C2 (ru) Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки
JP5653913B2 (ja) 画像のコントラストを維持しながらノイズを低減するための技術
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства
JP5597717B2 (ja) 撮像素子における欠陥画素の検出及び補正のためのシステム及び方法
TWI454153B (zh) 使用加權梯度用於去馬賽克影像資料之系統及方法
JP5643320B2 (ja) 画像信号処理のための時間フィルタリング技術
US20160117806A1 (en) Image processing device, image capture device, image processing method, and program
EP1766569A1 (en) Methods, system, program modules and computer program product for restoration of color components in an image model
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
KR20070078463A (ko) 이미지 센서 노이즈 저감 장치 및 방법
JP2007041834A (ja) 画像処理装置
KR20130088711A (ko) 화상 처리 장치, 화상 처리 방법 및 카메라 모듈
JP2008124653A (ja) 画像信号処理装置、画像信号処理プログラム、画像信号処理方法
JP2007067625A (ja) カメラシステムにおけるフィルタ補正回路
JP2010016479A (ja) 画像処理装置および画像処理方法ならびに撮像装置
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP2008305122A (ja) 画像処理装置、画像処理方法、およびプログラム
KR100647955B1 (ko) 디포커스 현상을 보정하는 영상처리장치
EP2410731B1 (en) Edge correction apparatus, edge correction method, program, and storage medium
KR100764395B1 (ko) 디지털 카메라용 적응적 링잉 제거 장치
KR100617661B1 (ko) 영상 처리 장치 및 그 방법
CN110136073B (zh) 图像锐化处理方法及其系统
JP2010239493A (ja) 撮像装置および映像信号の補正処理方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160909

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180906

Year of fee payment: 6