KR101161471B1 - 비선형 및/또는 공간적으로 변하는 이미지 프로세싱을 이용한 광학 이미징 시스템 및 방법 - Google Patents
비선형 및/또는 공간적으로 변하는 이미지 프로세싱을 이용한 광학 이미징 시스템 및 방법 Download PDFInfo
- Publication number
- KR101161471B1 KR101161471B1 KR1020087026314A KR20087026314A KR101161471B1 KR 101161471 B1 KR101161471 B1 KR 101161471B1 KR 1020087026314 A KR1020087026314 A KR 1020087026314A KR 20087026314 A KR20087026314 A KR 20087026314A KR 101161471 B1 KR101161471 B1 KR 101161471B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic data
- image
- data
- processing
- data sets
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 247
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000012634 optical imaging Methods 0.000 title description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 131
- 230000008859 change Effects 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 67
- 238000001914 filtration Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000009792 diffusion process Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 3
- 238000005452 bending Methods 0.000 claims 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 22
- 238000011045 prefiltration Methods 0.000 description 18
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 15
- 239000010432 diamond Substances 0.000 description 14
- 230000007704 transition Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 229910003460 diamond Inorganic materials 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 244000025254 Cannabis sativa Species 0.000 description 5
- 230000004075 alteration Effects 0.000 description 5
- 210000000554 iris Anatomy 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005202 decontamination Methods 0.000 description 2
- 230000003588 decontaminative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 101150085511 PEDS1 gene Proteins 0.000 description 1
- 102100037592 Plasmanylethanolamine desaturase Human genes 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920003199 poly(diethylsiloxane) Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/46—Systems using spatial filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
시스템 및 방법은 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계를 포함한다. 검출기는 상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환한다. 신호 처리기는 상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 데이터 세트를 분류하며, 데이터 세트를 독립적으로 처리하여, 가공 전자 데이터를 형성한다. 프로세싱은 선택적으로 비선형적일 수 있다. 다른 이미징 시스템 및 방법은 광학 이미지를 형성하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계를 포함한다. 검출기는 상기 위상 변경 요소 및/또는 검출기의 특성에 의존하는 하나 이상의 이미지 특성을 갖는 전자 데이터를 생성한다. 신호 처리기는 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 데이터 세트를 분류하며, 데이터 세트를 독립적으로 처리하여 가공 전자 데이터를 형성한다.
이미지, 광학, 위상, 변경, 비선형, 파면, 특성, 검출기, DSP
Description
본 출원은 2006년 4월 3일에 출원된 미국 특허 출원(출원번호 60/788,801)을 우선권으로 주장하고 있으며, 여기에서는 참조문헌으로 반영되었다.
어떤 광학 이미징 시스템은 광학계를 통해서 물체로부터 반사되거나 방출되는 전자기 에너지를 이미지화하고, 그 물체의 디지털 이미지를 획득(capture)하며, 이미지 품질을 높이기 위하여 그 디지털 이미지를 처리한다. 이미지 품질을 개선하기 위하여 처리는 메모리 공간 및 컴퓨팅 시간(computing time)과 같은 충분한 컴퓨터적 자원을 필요로 할 수 있다.
관찰자(viewer)들에게 있어서, 이미지의 품질은 이미지 특성의 주관적인 조건이다. 머신 비전 어플리케이션(machine vision application)에 있어서, 이미지의 품질은 이미지가 작업(task) 수행을 객관적으로 용이하게 하는지의 정도와 연관된다. 전자 이미지 데이터의 처리는 주관적 또는 객관적 요인에 근거하는 이미지 품질을 향상시킬 수 있다. 예를 들면, 관찰자들은 선명도(sharpness), 휘도(brightness), 콘트라스트(contrast), 채도(colorfulness), 노이즈 있 음(noisiness), 구별가능도(discriminability), 식별가능도(identifiability), 자연스러움(naturalness)과 같은 주관적인 요인들을 고려할 수 있다. 선명도는 섬세한 세부사항의 존재를 나타낸다. 예를 들면, 관찰자는 잔디의 개개의 잎을 보기를 기대할 수 있다. 휘도는 이미지의 전체적인 밝음과 어두움을 나타낸다. 예를 들면, 화창한 집 밖의 장면은 밝은 것으로 생각되지만, 반면에 그늘진 집 안 장면은 어두운 것으로 생각되는 것이다. 콘트라스트는 이미지의 더 밝은 영역과 더 어두운 영역 간의 농도 차이를 나타낸다. 채도는 색상의 농도(intensity of hue)를 나타낸다. 예를 들면, 회색은 채도를 가지지 않는 반면에 선명한 빨간색은 높은 채도를 가진다. 노이즈 있음은 노이즈가 존재하는 정도를 나타낸다. 노이즈는 예를 들면, 이미지 검출기에 의해(예: 고정형 노이즈, 일시적 노이즈로서, 또는 검출기의 픽셀의 결함의 결과로서)삽입될 수 있다. 또는 이미지 조작 알고리즘(예: 단조 결함)에 의해 삽입될 수 있다. 구별가능도는 하나의 이미지에 있는 물체를 서로 간에 구별할 수 있는 능력을 나타낸다. 식별가능도는 이미지나 그 부분이 그 이미지나 그와 유사한 이미지에 대한 관찰자의 연상과 일치하게 하는 정도를 나타낸다. 자연스러움은 이미지나 그 부분이 그 이미지나 그 부분에 대한 관찰자의 이상적인 기억과 일치되는 정도를 나타낸다. 예를 들면, 녹색 잔디, 푸른 하늘 그리고 햇볕에 그을린 피부는 이상적인 기억에 의해 인지된 것보다 더 자연스럽고 친근하다고 생각되는 것이다.
머신 비전 어플리케이션(machine vision application)에 있어서, 이미지의 품질은 이미지가 수행되는 작업(task)에 적합한 지의 정도와 관계가 있다. 머신 비 전 어플리케이션과 관련된 이미지의 품질은 일정한 신호 대 노이즈 비율(SNR) 및 일정한 작업을 성공적으로 수행할 가능성과 관계가 있을 수 있다. 예를 들면, 패키지 분류 시스템에서, 패키지들의 이미지는 패키지의 사이즈를 결정하기 위하여 각 패키지의 가장자리를 식별하는데 활용될 수 있다. 만약 분류 시스템이 패키지들을 일관되게 식별할 수 있다면, 성공 확률은 높고 따라서 활용된 이미지들의 가장자리에 대한 SNR은 작업을 수행하는데 충분하다. 홍채 인식에 있어서, 홍채 내부의 특징들의 특정 공간 주파수는 홍채들 간의 구별을 돕기 위하여 식별되는 것임에 틀림없다. 이 공간 주파수들에 대한 SNR이 충분하지 않으면, 홍채 인식 알고리즘은 바라는 만큼 기능을 하지 못할 것이다.
실시예로서, 이미징 시스템은 이미지 특성을 광학 이미지에 삽입하기 위하여, 파면(wavefront) 위상을 변경하는 하나 이상의 위상 변경 요소를 가지는 광학계를 포함한다. 검출기는 이미지 특성을 유지하면서 광학 이미지를 전자 데이터로 변환한다. 신호 처리기는 전자 데이터를 하나 이상의 데이터 세트(sets)로 세분하고, 적어도 그 이미지 특성에 근거하여 데이터 세트를 분류하며, 그 데이터 세트를 독립적으로 처리하여 가공 전자 데이터를 형성한다.
일 실시예로서, 이미징 시스템은 광학 이미지를 형성하기 위하여 파면 (wavefront) 위상을 변경하는 하나 이상의 위상 변경 요소를 가지는 광학계를 포함한다. 검출기는 광학 이미지를 위상 변경 요소 및/또는 검출기의 특성에 의존하는 하나 이상의 이미지 특성을 가지는 전자 데이터로 변환한다. 신호 처리기는 전자 데이터를 하나 이상의 데이터 세트(sets)로 세분하고, 적어도 그 이미지 특성에 근거하여 데이터 세트를 분류하며, 그 데이터 세트를 독립적으로 처리하여 가공 전자 데이터를 형성한다.
일 실시예로서, 이미징 시스템은 광학 이미지에 미리 결정적으로 영향을 미치는 파면(wavefront) 위상을 변경하는 하나 이상의 위상 변경 요소를 가지는 광학계를 포함한다. 검출기는 그 광학 이미지를 전자 데이터로 변환한다. 디지털 신호 처리기는 그 전자 데이터를 하나 이상의 데이터 세트(sets)로 세분하고, 위상 변경 요소가 파면 위상을 어떻게 변경하는가에 대한 선험적 지식에 적어도 부분적으로 근거하여 그 데이터 세트를 분류한다. 디지털 신호 처리기는 데이터 세트의 각각을 독립적으로 처리하여, 가공 전자 데이터를 형성한다.
일 실시예로서, 이미징 시스템은 하나 이상의 위상 변경 요소를 포함하며, 파면 위상을 변경하여 적어도 하나의 알려진 이미지 특성을 가지는 광학 이미지를 산출하는 광학계를 포함한다. 검출기는 그 광학 이미지를, 이미지 특성을 유지하면서 데이터 세트로 분할할 수 있는 전자 데이터로 변환한다. 디지털 신호 처리기는 데이터 세트의 각각에 대해 적어도 하나의 특성을 결정하고, 그 데이터 세트에 대해 독립적으로 조정될 수 있는 정도와 방식으로 이미지 특성을 변경하도록 데이터 세트를 처리하여, 가공 전자 데이터를 생성한다.
일 실시예로서, 이미징 시스템은 하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 가지는 광학계를 포함한다. 검출기는 이미지 특성을 유지하면서 그 광학 이미지를 전자 데이터로 변환한다. 디지털 신호 처리기는 전자 데이터의 하나 이상의 특성을 결정하고,이미지 특성을 변경하여 가공 전자 데이터를 형성하기 위하여 전자 데이터의 비선형 프로세싱을 제공한다.
일 실시예로서, 이미징 시스템은 하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 가지는 광학계를 포함한다. 검출기는 이미지 특성을 유지하면서 그 광학 이미지를 전자 데이터로 변환한다. 디지털 신호 처리기는 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 적어도 이미지 특성에 근거하여 데이터 세트를 분류하며, 가공 전자 데이터를 형성하기 위하여 독립적으로 그리고 비선형적으로 그 데이터 세트를 처리한다.
일 실시예로서, 가공 전자 데이터를 생성하는 방법은 하나 이상의 이미지 특성을 이미징 시스템에 의해 형성된 광학 이미지에 삽입하기 위하여 물체로부터의 파면의 위상을 변경하는 단계를 포함한다. 그 방법은 이미지 특성을 유지하면서 광학 이미지를 전자 데이터로 변환하는 단계, 그 전자 데이터를 하나 이상의 데이터 세트로 세분하는 단계, 적어도 하나 이상의 이미지 특성에 근거하여 데이터 세트를 분류하는 단계, 및 데이터 세트를 독립적으로 처리하여 가공 전자 데이터를 형성하는 단계를 포함한다.
소프트웨어 제품은 컴퓨터로 읽을 수 있는 미디어(media)에 저장된 명령을 포함한다. 명령은, 컴퓨터에 의해 실행될 때, (a)하나 이상의 이미지 특성을 이미징 시스템에 의해 형성된 광학 이미지에 삽입하기 위하여 물체로부터의 파면 위상을 변경하고, (b)이미지 특성을 유지하면서 광학 이미지를 전자 데이터로 변환함으로써 생성된 전자 데이터를 처리하는 단계를 수행한다. 명령은 전자 데이터를 하나 이상의 데이터 세트로 세분하기 위한 명령, 데이터 세트를 적어도 이미지 특성에 근거하여 분류하기 위한 명령, 및 가공 전자 데이터를 형성하기 위하여 데이터 세트를 독립적으로 처리하기 위한 명령을 포함한다.
도 1은 대표 장면(exemplary scene)에 있는 물체에 의해 방출되거나 물체로부터 반사되는 전자기 에너지를 이미징하는 이미징 시스템을 보여준다.
도 2는 도 1의 장면을 더 자세하게 설명하기 위하여 확대된 이미지를 보여준다.
도 3은 도 1의 이미징 시스템의 대표 구성요소 및 연결관계를 보여준다.
도 4는 일 실시예로서, 도 1의 이미징 시스템에 의해 수행되는 처리의 흐름도이다.
도 5a 내지 도 5e는 비선형 및/또는 공간적으로 변하는 이미지 프로세싱의 예를 설명한다.
도 5f는 가상 이미징 시스템에서 라인스캔(linescan)의 플롯(plot)을 보여준다.
도 6은 다른 특성을 가지는 것으로 식별될 수 있는 영역을 포함하는 물체의 이미지를 보여준다.
도 7(a), 7(b), 7(c)는 제한된 픽셀 세트에 근거하여 이미지의 분할에 대한 3가지 접근방법을 예시한다.
도 8(a)는 픽셀 세트 상에 중첩된 도 2의 장면에서의 물체를 보여준다.
도 8(b)는 도 8(a)에 도시된 물체의 경계를 따라서 데이터 세트로 분리된 도 8(a)의 픽셀들을 보여준다.
도 9(a), 9(b), 및 9(c)는 가중되거나 분할된 픽셀 블록을 예시한다.
도 10(a)는 두 물체를 예시한다.
도 10(b)는 "키(key)" 이미지를 보여준다.
도 11은 라인 플롯(line plot)이 어떻게 공간 위치의 함수로서 빛의 세기 및/또는 전자 데이터 크기를 표현하는데 활용될 수 있는지를 설명한다.
도 12는 도 6에 도시된 일 영역의 범위에 들어가는 전자 데이터의 처리를 예시한다.
도 13은 도 6에 도시된 또 다른 영역의 범위에 들어가는 전자 데이터의 처리를 예시한다.
도 14는 도 6에 도시된 또 다른 영역의 범위에 들어가는 전자 데이터의 처리를 예시한다.
도 15는 도 6에 도시된 두 개의 다른 영역의 범위에 들어가는 전자 데이터의 처리를 예시한다.
도 16은 장면의 높은(high) 콘트라스트 이미지 영역의 라인스캔(linescan)을 보여준다.
도 17은 도 16에 도시된 물체의 라인스캔을 보여준다.
도 18은 도 16에 도시된 물체의 라인스캔의 전자 데이터를 예시한다.
도 19는 도 16에 도시된 물체의 라인스캔의 가공 전자 데이터를 예시한다.
도 20은 장면의 낮은(low) 콘트라스트 이미지 영역의 라인스캔을 보여준다.
도 21은 도 20에 도시된 물체의 라인스캔을 보여준다.
도 22는 도 20에 도시된 물체의 라인스캔의 전자 데이터를 예시한다.
도 23은 도 20에 도시된 물체의 라인스캔의 가공 전자 데이터를 예시한다.
도 24는 도 23과 비교하여 다르게 처리된, 도 20에 도시된 물체의 라인스캔의 전자 데이터를 예시한다.
도 25는 비선형 및/또는 공간적으로 변하는 프로세싱을 이용하는 광학 이미징 시스템을 예시한다.
도 26은 비선형 및/또는 공간적으로 변하는 색상(color) 프로세싱을 하는 광학 이미징 시스템을 도식적으로 예시한다.
도 27은 비선형 및/또는 공간적으로 변하는 프로세싱을 이용하는 또 다른 광학 이미징 시스템(2700)을 보여준다.
도 28은 흐림(blur) 제거 블록이 어떻게 다양한 공간 필터 주파수를 가지는 가중 요인에 따라서 전자 데이터를 처리하는지를 예시한다.
도 29는 M개의 다중 채널에 걸친 N개의 처리에 대한 가중된 흐림 제거의 일반화를 보여준다.
도 30(a) 내지 도 30(d)는 그 이상의 가공된 이미지를 형성하기 위하여 비선형 프로세스가 남아있는 흐림을 제거하는 동안에, 흐림을 제거하기 위한 프리필 터(prefilter)의 작동을 설명한다.
도 31(a) 내지 도 31(d)는 그 이상의 가공된 이미지를 형성하기 위하여 비선형 프로세스가 남아있는 흐림을 제거하는 동안에, 흐림을 제거하기 위한 프리필터(prefilter)의 작동을 설명한다.
도 32(a) 내지 도 32(d)는 도 30(a) 내지 도 30(d), 도 31(a) 내지 도 31(d)와 동일한 물체의 이미지를 보여주지만, 온도에 의존하는 광학계를 포함하고 있다.
도 33은 이미지화된 물체를 보여준다. 그리고 공간적으로 변하는 프로세싱을 결정하기 위하여 색상의 농도 정보가 어떻게 이용될 수 있는지를 예시한다.
도 34(a) 내지 도 34(c)는 도 33에 도시된 물체를 이미징하여 얻어진 RGB 이미지를 보여준다.
도 35(a) 내지 도 35(c)는 도 33에 도시된 물체를 이미징하여 얻어진 YUV 이미지를 보여준다.
도 36(a) 내지 도 36(c)는 코사인(cosine) 광학계를 이용하고 이미지를 YUV 포맷으로 변환하는 이미징 시스템을 통해 촬영된 도 33의 물체의 전자 데이터를 보여준다.
도 37(a) 내지 도 37(c)는 도 36(a) 내지 도 36(c)에 도시된 YUV 전자 데이터가 처리되고 RGB 포맷으로 다시 변환될 때 얻어지는 결과를 예시한다.
도 38(a) 내지 도 38(c)는 이미지의 RGB 복원이 YUV 이미지의 Y 채널만을 이용할 때 얻어지는 결과를 예시한다.
도 39(a) 내지 도 39(c)는 농도 정보의 결핍에 따라 처리가 달라지는, 도 36(a) 내지 도 36(c)에 도시된 YUV 전자 데이터가 처리 및 RGB 포맷으로 다시 변환될 때 얻어지는 결과를 예시한다.
도 40은 흐림 제거 블록이 어떻게 비선형 연산자(operators)들의 가중합을 생성할 수 있는지를 예시한다.
도 41은 이미지의 다른 데이터 세트 또는 다른 이미지 채널에 다르게 작동하는 비선형 연산자를 포함하는 흐림 제거 블록을 예시한다.
도 42는 직렬 또는 병렬로, 혹은 반복적으로 이미지의 다른 데이터 세트, 또는 다른 채널로부터 전자 데이터를 처리하는 흐림 제거 블록을 예시한다.
도 43은 이미지 특성을 증대시키기 위하여 프로세스 파라미터를 선택하기 위한 방법의 흐름도를 보여준다.
도 1은 대표 장면(exemplary scene)(200) 안의 물체에 의해 방출되거나, 물체로부터 반사되는 전자기 에너지(105)를 이미징하는 이미징 시스템(100)을 보여준다. 이미징 시스템(100)은 장면(200)의 디지털 이미지를 전자 데이터로서 획득하는 광학계 및 검출기를 포함한다. 그것은 가공 전자 데이터의 이미지 품질을 높이기 위하여 전자 데이터를 처리할 수 있다. 이미징 시스템(100)은 도 1에서는 디지털 카메라로 도시되어 있지만, 이미징 시스템(100)은 휴대전화 또는 다른 장치의 일부분으로서 포함될 수 있다는 것을 이해할 수 있을 것이다. 시스템(100)은 아래에 설명된 바와 같이, 이미지 획득(capture) 및 이미지 처리 작업(task)을 수행하기 위하여 일정 거리에서 서로 협력하는 구성 요소를 포함할 수 있다.
시스템(100)은 공간적으로 변하는 프로세스에서 전자 데이터를 처리함으로써 가공 전자 데이터에 있는 이미지의 품질을 향상시킬 수 있도록 구성될 수 있다. 시스템(100)은 또한 비선형 프로세스에서 전자 데이터를 처리함으로써 이미지의 품질을 향상시킬 수 있도록 구성될 수 있다. 이와 같은 구성은 선형 처리보다 일정한 이점을 제공할 수 있다. 시스템(100)은 또한 비선형 및 공간적으로 변하는 프로세스에서 전자 데이터를 처리함으로써 이미지의 품질을 향상시킬 수 있도록 구성될 수 있다.
도 2는 대표 장면(200)의 좀 더 상세부분을 예시하기 위한 대표 장면(200)의 확대된 이미지를 보여준다. 장면(200)은 다중 이미지 영역을 가지는 비가공(raw) 전자 데이터와 관련된다. 각 이미지 영역은 후술되는 바와 같이, 이미지가 비선형의, 공간적으로 변하는 및/또는 최적화된 처리의 이득을 얻게 할 수 하는 일정 이미지 특성 및/또는 부분 공간(subspace)을 가진다. 이러한 이미지 특성 및/또는 부분 공간은 신호, 노이즈 및 공간 카테고리를 포함하는 넓은 카테고리들로 나누어질 수 있다. 신호 카테고리는 채도(color saturation), 동적 범위(dynamic range), 휘도(brightness), 및 콘트라스트(contrast)와 같은 이미지 특성이나 부분 공간 특성(attribute)을 포함할 수 있다. 노이즈 카테고리 또는 부분 공간은 고정형 노이즈(fixed-pattern noise; FPN), 랜덤 노이즈 및 결함 픽셀과 같은 이미지 특성들을 포함할 수 있다. 공간 카테고리 또는 부분 공간은 트랜지션(transition) 및 가장자리(edge)의 선명도(sharpness), 에일리어싱(aliasing), 아티팩트(artifact)(예: 가상(ghosting)), 피사계 심도(depth of field; DOF) 또는 범위, 택스쳐(texture) 및 공간적 디테일(즉, 공간 주파수 내용)과 같은 이미지 특성을 포함할 수 있다. 본 발명의 범위 내에서 다른 분류 또는 부분 공간의 정의도 가능하다. 그리고 위에 나열된 것과 다른 혹은 더 적은 이미지 특성들이 각 카테고리 내에 있을 수 있다.
지금까지 상술한 많은 이미지 특성들은 장면(200)과 관련하여 논의되었다. 예를 들면, 장면(200)의 하늘 구역(210)은 적은 공간적 디테일(detail)을 가진다. 즉, 이런 구역은 대부분 낮은 공간 주파수 내용(content), 약간 높은 공간 주파수 내용, 및 낮은 콘트라스트를 가진다. 구름(220)은 작은 양의 공간적 디테일(detail)만을 가질 수 있다. 장면 안의 일정한 구역 또는 물체는 매우 높은 공간적 디테일을 가지지만 콘트라스트는 낮다. 즉, 이러한 구역은 높은 공간 주파수를 통해 낮은 정보를 가진다. 하지만 로컬 배경(local backround)에 관한 농도 차이는 낮다. 예를 들면, 장면(200)에서, 울타리(250)에 의해 만들어진 그림자(240) 안에 있는 잔디(230)는 높은 공간적 디테일을 가지지만 콘트라스트는 낮다. 장면(200)의 다른 구역 또는 물체는 매우 높은 공간적 디테일과 콘트라스트를 가진다. 즉, 이러한 구역은 많은 공간 주파수의 전체에 걸쳐 정보를 가지고, 로컬 배경에 관한 농도 차이는 높다. 장면(200) 안의 태양(260)과 울타리(250)는 높은 공간 주파수, 높은 콘트라스트를 가지는 구역의 예이다. 장면(200)의 또 다른 구역 또는 물체는 검출기를 포화시킬 수 있다. 즉, 이러한 물체의 농도나 색상은 물체에 존재하는 농도들이나 색상들 사이를 구별하는 검출기의 능력을 초과할 수 있다. 태양(260)의 중심은 검출기를 포화시킬 수 있는 그러한 하나의 물체이다. 열기구(280)의 바스켓(270)의 직물에 있는 바둑판 패턴과 같은 일정한 구역 또는 물체는 중간 정도의 공간적 디테일과 낮은 콘트라스트를 가진다. 즉, 그러한 구역은 로컬 배경에 관한 낮은 농도 차이와 중간 정도의 공간 주파수를 통해 낮은 위치의 정보를 가진다. 장면(200)은 만약 시스템(100)에 의해 밤에 획득된다면 어두울 수 있다(예: 낮은 농도 정보를 가지는 이미지 영역). 장면(200)의 다른 영역은 서로 비교했을 때 유사한 레벨의 공간적 디테일을 가지는 영역을 포함할 수 있지만, 열기구(280)의 컬러 밴드(color band)(285)와 같이 색상면에서 변할 수 있다.
상술한 장면의 디지털 이미지 구역(예: 장면(200))은 여기에서 논의되는 비선형 및/또는 공간적으로 변하는 방법에 의해 처리될 수 있다. 이러한 프로세싱은 선형 프로세싱을 이용하는 이미지의 글로벌(global) 프로세싱을 대신하여 또는 부가하여 수행될 수 있다. 선형 프로세싱은 단일 방법으로 전체 이미지를 처리한다. 예를 들면, 본 발명의 맥락에서는, 글로벌 선형 프로세싱은 전체 이미지에 일정 불변하게 적용되는 하나 이상의 선형 수학적 함수의 응용을 의미하는 것으로 이해될 수 있다. 선형 수학적 연산은 가산 특성(additivity property)(즉, f(x + y)=f(x) + f(y)) 및 동질성 특성(homogeneity property)(즉, f(αx)=αf(x), 모든 α에 대해)을 만족하는 연산으로 정의될 수 있다. 예를 들면, 일정치만큼 모든 픽셀에 곱하는 것 및/또는 필터 핵(filter kernel)에 의해 픽셀을 컨볼루션(convolution)하는 것은 선형 연산이다. 비선형 연산은 가산 특성 및 동질성 특성 중 적어도 하나를 만족하지 않는 연산이다.
여러 이미지들의 특성에 있어서 큰 변화(variation) 때문에, 글로벌 선형 프로세싱은 이미지의 모든 분야에서 받아들일만한 결과를 산출하는 것은 아닐 수 있 다. 예를 들면, 선형 글로벌 연산은 중간 정도의 공간 주파수 정보를 가지는 이미지 구역상에서 연산할 수 있지만, 낮은 공간 주파수 정보 혹은 높은 공간 주파수 정보를 가지는 영역을 "오버프로세스(overprocess)" 할 수 있다. "오버 프로세싱(overprocessing)"은, 예를 들면 관찰자의 인식에 따라서, 전체 이미지에 적용되는 선형 프로세스가 이미지의 손상에 대해 공간 주파수 정보를 더하거나 제거할 때에 일어난다. 오버프로세싱은, 예를 들면, 선형 프로세스(예: 필터 핵(filter kernel))의 공간 주파수 응답이 처리되는 구역의 이미지 특성과 일치하지 않을 경우 발생할 수 있다. 공간적으로 변하는 프로세스는 전체 픽셀 세트에 일률적으로 적용되지 않는 프로세스이다. 선형, 비선형 프로세스는 둘 다 공간적으로 변하는 프로세스로서 또는 공간적으로 변하는 프로세스의 세트로서 적용될 수 있다. 비선형 및/또는 공간적으로 변하는 이미지 프로세싱의 응용은 이미지 처리의 단순화를 이끌 수 있다. 왜냐하면, "스마트(smart)"국지화된, 아마 비선형인 함수는 더 좋은 인간 인식용 품질의 이미지를 산출하기 위하여 또는 태스크 기반 응용에서 객관적으로 향상된 태스크 특정 결과를 산출하기 위하여 글로벌 선형 함수를 대신하여 사용될 수 있기 때문이다.
도 3은 이미징 시스템(100)의 대표 구성 요소 및 연결관계를 보여준다. 이미징 시스템(100)은, 그(이미지 획득 서브시스템) 위에 형성된 광학 이미지에 응답하여 전자 데이터(135)를 생성하는, 광학계(125) 및 검출기(130)(예: CCD 또는 CMOS 검출기 어레이)를 가지는 이미지 획득 서브시스템(subsystem)(120)을 포함한다. 광학계(125)는 렌즈 및/또는 위상 변경 요소와 같은 하나 이상의 광학 소자(element) 를 포함할 수 있다. 여기에서는 보통 "파면 코딩 요소(wavefront coding,(WFC) element)"라고 표시된다. 위상 변경 요소에 대한 정보와 그것에 관한 처리는 미국 특허 5,748,371;6,525,302, 6,842,292, 6,873,733, 6,911,638, 6,940,949, 7,115,849과 7,180,673, 및 미국 공개 특허 출원 2005/0197809A1에서 찾을 수 있다. 이들 각각은 여기에서는 인용문헌으로써 반영될 것이다. 위상 변경 요소는 신호 공간(signal space), 널 공간(null space), 간섭 부분 공간(interference subspace), 공간 주파수 내용(spatial frequency content), 해상도(resolution), 색상 정보(color information), 콘트라스트 변경(contrast modification), 광학적 흐림(optical blur)과 같은 이미지 특성을 삽입하기 위하여 파면 위상을 변경한다. 달리 표현하면, 위상 변경 요소는 광학계(125)에 의해 형성되는 광학 이미지에 미리 결정적으로 영향을 주는 파면 위상을 변경할 수 있다. 처리기(140)는 소프트웨어(145)로서 저장되는 명령의 제어하에 실행된다. 이미징 시스템(100)은 소프트웨어 저장소(155)를 포함할 수 있는 메모리(150)를 포함한다. 소프트웨어 저장소(155)에 저장되는 소프트웨어는 시스템의 스타트업(startup) 시에 소프트웨어(145)로서 처리기가 이용할 수 있다.
소프트웨어(145)는 일반적으로, 시스템(100)에 의해 수행된 이미지 획득 또는 처리를 이미지 획득 서브시스템(120)의 물리적 특성이나 성능에 맞추기 위해 이용될 수 있는, 예를 들면 렌즈나 위상 함수 규칙, 상수, 테이블 또는 필터와 같은 이미지 획득 시스템(120)에 관한 정보를 포함한다. 또한, 그것은 여기에서 설명되는 바와 같이, 이미지 품질을 높이는 알고리즘을 포함할 수 있다. 처리기(140)는 전자 데이터(135)의 획득을 제어(control)하기 위하여 이미지 획득 서브시스템(120)과 연결한다. 획득할 때, 전자 데이터(135)는 처리기(140)나 메모리(150)로 옮겨질 수 있다. 처리기(140) 및 메모리(150)는 그 후 협력하여, 여기에서 상술되는 바와 같이, 가공 전자 데이터(137)를 형성하는, 다양한 방법으로 전자 데이터(135)를 처리한다.
처리기(140) 및 메모리(150)는 다양한 물리적 형태를 가질 수 있다. 도 3에 도시된 배치는 예시적인 것이고, 구성요소(component)의 필요한 물리적 구성을 나타내는 것은 아니며, 모든 그러한 구성요소들이 공통의 물리적 위치에 있거나 공통의 하우징(housing) 안에 들어있어야 하는 것도 아니고, 보여지는 연결들이 와이어(wire)나 광학섬유(optical fiber)와 같은 물리적 연결이어야 할 필요가 있는 것도 아니다. 예를 들면, 처리기(140) 및 메모리(150)는 단일(single) 주문형 집적회로(ASIC)의 부분이거나, 분리된 컴퓨터 칩, 또는 다중 칩일 수 있다. 그것들은 도 3에 도시된 일정한 연결을 형성하는 물리적 혹은 무선 링크(link)를 가지고, 이미지 획득 서브시스템(120)을 포함하는 장치 안에, 또는 분리된 장치 안에 물리적으로 위치할 수 있다. 유사하게, 이하에 상술되는 바와 같이, 시스템(100)의 구성요소들에 의해 수행되는 동작(action)은 시간에 따라 분리되거나 분리되지 않을 수 있다. 예를 들면, 이미지는 일시점에서 획득되고, 처리는 실질적으로 그 후에 일어날 수 있다. 이와는 달리 처리가 실질적으로 실시간으로 일어날 수 있다. 예를 들면, 사용자(user)가 처리된 이미지의 결과를 즉시 검토(review)할 수 있도록, 사용자가 이미지 획득(acquisition) 및/또는 처리 이미지에 의존하는 프로세싱 파라미 터를 변경할 수 있게 한다.
비가공 또는 가공 전자 데이터는 시스템(100)의 사용자(user)에게 즉석의 디스플레이를 위하여 선택적 디스플레이 장치(optional display device)(160)로 전송될 수 있다. 부가적으로 혹은 선택적으로, 비가공(raw) 전자 데이터(135) 또는 가공 전자 데이터(137)는 메모리(150)에 보유될 수 있다. 이미징 시스템(100)은 또한 이미징 시스템(100)의 나머지 다른 구성요소에 필요에 따라 연결된 파워소스(power source)를 포함할 수 있다.(예시의 명확성을 위하여 이러한 연결은 도 3에는 도시되어 있지 않다.)
이미징 시스템(100)은 통상 도 3에 도시된 적어도 몇몇 구성요소를 포함하지만, 그것들 모두를 포함할 필요는 없다. 예를 들면, 이미징 시스템(100)은 디스플레이 장치(160)를 포함하지 않을 수 있다. 이와는 달리, 이미징 시스템(100)은, 여기에서 상술하는 바와 같이, 특수한 작업(specialized task)을 최적화하는 다중 이미지 획득 서브시스템(multiple image capturing subsystems)(120)같은 도 3에 도시된 다수의 구성요소들을 포함할 수 있다. 더욱이 이미징 시스템(100)은 여기에서 보여지는 것보다 다른, 예를 들면, 외부 파워 연결(external power connections) 및 구성요소나 다른 시스템과의 유선 혹은 무선 통신 기능과 같은 특성을 포함할 수 있다.
도 4는 도 3의 시스템(100)에 의해 수행될 수 있는 프로세스(400)를 보여주는 흐름도이다. 단계 410은 시스템 파라미터(system parameters)(405)를 이용하여 광학 이미지를 전자 데이터로 변환한다. 단계 410은, 예를 들면, 검출기(130) 상에 광학 이미지를 형성하는 광학계(125)에 의해 수행될 수 있다. 그리고 교대로 광학 이미지에 응답하여 전자 데이터(135)를 생성한다. 시스템 파라미터(405)는 노출 시간(exposure time), 조리개 설정(aperture setting), 줌 설정(zoom settings) 및 디지털 이미지 획득과 관련된 다른 수량들을 포함할 수 있다. 단계 430은 후술하는 바와 같이, 선형 프로세싱(linear processing)을 위하여 전자 데이터의 데이터 세트를 결정한다. 단계 430은, 예를 들면, 소프트웨어(145)의 제어하에 있는 처리기(140)에 의해 수행될 수 있다. 단계 430은 전자 데이터(135)나 가공 전자 데이터(137)를 이용할 수 있다(즉, 단계 430 및 여기의 다른 처리 단계는 검출기에 의해 획득된 원본 전자 데이터 또는 몇몇 방법으로 이미 처리된 데이터를 처리할 수 있다). 단계 440 또는 단계 445는 단계 430에서 결정된 전자 데이터 또는 전자 데이터들의 하나 이상의 데이터 세트들의 선형 프로세싱 혹은 전처리(pre-processing)를 각각 수행한다. 단계 440 또는 단계 445는, 예를 들면, 후술하는 바와 같이, 전자 데이터(135) 또는 전자 데이터(135)들의 데이터 세트를 각각 이용하여, 소프트웨어(145)의 제어하에 있는 처리기(140)에 의해 수행될 수 있다. 단계 450은 후술하는 바와 같이, 비선형 프로세싱(nonlinear processing)용 전자 데이터의 데이터 세트를 결정한다. 단계 450은, 예를 들면, 소프트웨어(145)의 제어하에 있는 처리기(140)에 의해, 그리고 전자 데이터(135) 또는 가공 전자 데이터(137)를 이용하여, 수행될 수 있다. 단계 460 또는 단계 465는 단계 450에 의해 결정된 전자 데이터(135), 가공 전자 데이터(137) 또는 가공 전자 데이터(137)의 하나 이상의 데이터 세트의 비선형 프로세싱을 각각 수행한다. 단계 460 또는 단계 465는, 예를 들면, 후술하는 바와 같이, 전자 데이터(135) 또는 전자 데이터(135)들의 데이터 세트를 각각 이용하여, 소프트웨어(145)의 제어하에 있는 처리기(140)에 의해 수행될 수 있다. 단계 430, 440 및 445는 선형 프로세싱 섹션(470)으로서 고려될 수 있고, 단계 450, 460 및 465는 비선형 프로세싱 섹션(480)으로서 고려될 수 있다. 처리 섹션 470 및 480은 프로세스(400)에서 어떤 순서 및/또는 여러 차례 수행될 수 있다. 더욱이, 처리 섹션 470 및 480의 연속적인 실행(execution)은 섹션 470 및 480의 첫 실행과 동일한 데이터 세트를 결정하는 것을 필요로 하지 않는다. 예를 들면, 하나의 장면(scene)은 먼저 색상 정보(color information)에 근거하여 데이터 세트로 분할되고, 그에 상응하여 선형적으로 처리될 수 있다. 그리고나서, 농도(intensity) 정보에 근거하여 다른 데이터 세트로 분할되고, 그에 상응하여 선형적으로 처리될 수 있다. 그리고, 콘트라스트(contrast) 정보에 근거하여 다른 데이터 세트로 분할되고, 그에 상응하여 비선형적으로 처리될 수 있다. 더 이상의 처리가 필요하지 않으면, 프로세스(400)는 종료된다.
도 5a 내지 도 5e는 (a) 물체로부터의 입력 전자기 에너지 (b) 광학계 (c) 전자 데이터 및 (d) 처리 표시(representation) 와 같은 각 예들의 양상을 도시하는 아이콘(icon) 세트를 통해, 도 4의, 프로세스(400)에 따른 비선형 및/또는 공간적으로 변하는 이미지 프로세싱의 예들을 예시한다. 도 5f는 다른 종류의 위상 변경 광학계(phase-modifying optics)에 의해 제공되는 라인스캔(linescan)에서의 특정 변화를 예시한다(라인스캔에 대한 설명은 도 11을 참조). 상세하게는, 도 5a는 파면 코딩(wavefront coding, "WFC") 광학계에 의한 비선형 프로세싱을 예시한다. 도 5a에 도시된 처리를 이용하는 시스템 용 광학계(예: 도 3의 광학계(125))는 예를 들면, 광학 이미지로부터 형성된 전자 데이터(예: 도 3의 전자 데이터(135))가 특정한 타입의 비선형 및/또는 공간적으로 변하는 프로세싱에 적합하도록 설계된다. 일 예로, 광학계 및 처리는 광학계 설계(design) 및 신호 처리 설계 모두에 근거한 장점을 형성하는 처리에 함께 최적화된다. 도 5a에서, 아이콘(icon) 502는 구형파(square wave)로서 물체로부터 발산되는 전자기 에너지의 공간적 농도 라인스캔(spatial intensity linescan)을 나타낸다. 즉, 흰 배경의 검정 물체 또는 그 반대의 경우와 같은 단일의 완벽한 계단 함수(step function)를 형성하는 물체를 말한다. 아이콘 504는 특별히 설계된 WFC 광학계를 나타낸다. 아이콘 506은 아이콘 502에 의해 표현된 물체의 광학 이미지로부터 형성된 전자 데이터의 라인스캔을 나타낸다. 광학계와 검출기의 한계 때문에, 전자 데이터의 라인스캔은 아이콘 502에 도시된 바와 같은 수직 측면이나 날카로운 코너를 가지지 않는다. 오히려, 그 측면들은 수직이 아니며, 코너들은 완만하다. 그러나, 전자 데이터의 라인스캔은 "부드럽다" 그리고, 예를 들면 트랜지션(transition)시에 진동(oscillation) 또는 변곡점(inflection point)과 같은, WFC 광학계에 의해 생성되는 전자 데이터에서 가끔 발견될 수 있는 부가적인 "구조(structure)"를 포함하지 않는다. 이러한 맥락에서, "부드러운"은 급격한 전이시(도 5f 참조)에 진동(oscillation)과 같은 "구조"가 더해진 라인스캔이라기 보다는, 이미지화된 물체 안의 가장자리(edge)에 응답하여 실질적으로 단조롭게 변하는 라인스캔을 의미하는 것으로 이해된다. 아이콘 508은 전자 데이터의 비선형 프로세싱을 나타낸다. 아이콘 510은 비선형 프로세싱에 의해 형성되는 전자 데이터의 라인스캔을 나타낸다. 그리고 아이콘 502에 나타난 수직 측면(vertical sides)과 날카로운 코너(sharp corner)의 복원(restoration)을 보여준다.
도 5b는 비선형 프로세싱(nonlinear processing), 선형 전처리(linear pre-processing) 및 WFC 광학계를 예시한다. 도 5b에서, 선형 전처리는 비선형 프로세싱 단계에 적합한, 부분적으로 가공 전자 데이터를 생성한다. 도 5b에서, 아이콘 512는 구형파(square wave)로서 물체로부터 발산되는 전자기에너지의 공간적 농도(세기) 라인스캔(spatial intensity linescan)을 나타낸다. 아이콘 514는 WFC 광학계를 나타낸다. 아이콘 516은 아이콘 512에 의해 표현된 물체의 광학 이미지로부터 형성된 전자 데이터의 라인스캔을 나타낸다. 아이콘 516에 의해 표현된 전자 데이터는 변곡점(inflection point) 516A과 같은, 아이콘 506과 비교하여 부가적인 구조를 가진다. 그것은 WFC 광학계의 효과 때문일 것이다. 아이콘 518은 선형 프로세싱 단계를 나타낸다(예: 필터 핵(filter kernel)를 가지고, 아이콘 516에 의해 표현된 전자 데이터의 선형 컨볼루션). 아이콘 518에 의해 표현된 처리는 여기에서 가끔은 "전처리(pre-processing)" 또는 "프리필터(prefilter)"로 언급될 수도 있다. 아이콘 520은 아이콘 518에 의해 표현된 선형 프로세싱에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 아이콘 520에 의해 표현된 전자 데이터는 아이콘 516에 기록된 부가적인 구조를 가지지 않는다. 아이콘 522는 아이콘 520에 표현된 전자 데이터의 비선형 프로세싱을 나타낸다. 아이콘 524는 비선형 프로세싱에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 그리고 아이콘 512에 나타난 수직 측 면과 날카로운 코너의 복원을 보여준다.
도 5c는 비선형 프로세싱, 선형 전처리, 특수 WFC 광학계를 예시한다. 도 5c에서, 광학계(예: 도 3의 광학계(125))는 획득된 데이터(예: 도 3의 전자 데이터(135))의 선형 전처리가 비선형 프로세싱 단계에 적합한 부분적으로 가공된 전자 데이터를 생성하도록 맞춤형(customizable) 방법으로 이미지를 형성하는, 전자기 에너지의 파면(wavefront)을 부호화(code)하도록 설계된다. 맞춤형 파면 코딩 및 선형 전처리를 이용하는 것은 전자 데이터를 산출하기 위하여 시스템(100)이 필요로 하는 처리 리소스(processing resources)(예: 처리를 위하여 필요한 디지털 신호 처리기의 복잡도 및/또는 시간 및/또는 파워)를 줄일 수 있다. 도 5c에서, 아이콘 530은 구형파로서 물체로부터 발산되는 전자기 에너지의 공간적 농도(세기) 라인스캔을 나타낸다. 아이콘 532는 맞춤형 방법으로 전자기 에너지의 파면을 부호화하는 WFC 광학계를 나타낸다. 아이콘 534는 아이콘 530에 의해 표현된 물체의 광학 이미지로부터 형성된 전자 데이터의 라인스캔을 나타낸다. 아이콘 534에 의해 표현된 전자 데이터는 매끄럽고, 최소한의 부가적 구조를 가진다. 아이콘 536은 선형 프로세싱 단계를 나타낸다(예: 필터 핵을 가지고 아이콘 534에 의해 표현된 전자 데이터의 선형 컨볼루션). 아이콘 536에 의해 표현된 선형 프로세싱은 예를 들면, 가장자리를 더 가파르게 하는 경향이 있지만 가장자리에 오버슈트(overshoot) 나 언더슈트(undershoot)를 더하도록 그렇게 적극적(aggressive)이지는 않은, 적절히 활성적인 필터(aggressive filter)일 수 있다. 아이콘 536에 의해 표현된 처리는 또한 여기에서 가끔은 "전처리" 나 "프리필터링(prefiltering)"으로 언급될 수 있 다. 아이콘 538은 아이콘 534에 기록된 전자 데이터보다 향상된 아이콘 536에 의해 표현된, 선형 프로세싱에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 그러나, 아이콘 530에 의해 표현된 물체와 관련된 수직 측면(vertical side) 과 날카로운 코너(sharp corner)를 가지지 않는다. 아이콘 540은 아이콘 538 표현된 데이터의 비선형 프로세싱을 나타낸다. 아이콘 542는 비선형 프로세싱에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 그리고 아이콘 530에 나타난 수직 측면과 날카로운 코너의 복원을 보여준다.
도 5d는 비선형 프로세싱, 선형 전처리 및 특수 WFC 광학계의 또 다른 예를 예시한다. 도 5c와 같이, 도 5d에서 광학계(예: 도 3의 광학계(125))는 획득된 데이터(예: 도 3의 전자 데이터(135))의 선형 전처리가 비선형 프로세싱 단계에 적합한 부분적으로 가공 전자 데이터를 생성할 수 있도록 맞춤형 방법으로 이미지를 형성하는 전자기 에너지의 파면을 부호화한다. 맞춤형 파면 코딩 및 선형 전처리는 전자 데이터를 산출하기 위하여 시스템(100)이 필요로 하는 처리 리소스를 다시 줄인다. 도 5d에서, 아이콘 550은 구형파로서 물체로부터 발산하는 전자기 에너지의 공간적 농도 라인스캔을 나타낸다. 아이콘 552는 맞춤형 방법으로 전자기 에너지의 파면을 부호화하는 WFC 광학계를 나타낸다. 아이콘 554는 아이콘 550에 의해 표현된 물체의 광학 이미지로부터 형성된 전자 데이터의 라인스캔을 나타낸다. 아이콘 554에 의해 표현된 전자 데이터는 부드럽고, 최소한의 부가적 구조를 가진다. 아이콘 556은 가장자리를 가파르게 하고 오버 슈트(overshoot)와 언더 슈트(undershoot) - 즉, 각각 로컬 최대값 및 최소값 초과 및 미만의 픽셀값- 를 가 장자리에 더하는 활성적인 필터(aggressive filter)를 이용하는 선형 프로세싱 단계를 나타낸다. 아이콘 556에 의해 표현된 처리는 또한 여기에서 가끔은 "전처리" 또는 "프리필터링"으로 언급될 수 있다. 아이콘 558은 아이콘 556에 의해 표현된 선형 프로세싱로부터 형성된 전자 데이터의 라인스캔을 나타낸다. 그것은 가파른 측면과, 가장자리에서 오버슈트 558A 및 언더슈트 558B를 가진다. 아이콘 560은 후술하는 바와 같이, 오버슈트 및 언더슈트를 제거하기 위한, 아이콘 558에 표현된 데이터의 비선형 프로세싱을 나타낸다. 아이콘 562는 비선형 프로세싱에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 그리고 아이콘 558의 오버슈트 및 언더슈트가 없는, 아이콘 530에 나타난 수직 측면과 날카로운 코너의 복원을 보여준다.
도 5e는 공간적으로 변하는 프로세싱 및 WFC 광학계를 예시한다. 도 5e에서, 공간적으로 변하는 프로세싱은 획득된 이미지의 다른 영역에서 발생할 때 다른 우세한 공간 주파수 내용을 강조하는 가공 전자 데이터를 생성한다. 도 5e에서, 아이콘 570은 구형파로서 물체로부터 발산되는 전자기 에너지의 공간적 농도 라인스캔을 나타낸다. 물체의 공간 영역 570a은 더 낮은 공간 주파수에서 우세한 내용을 가진다. 반면에 다른 공간 영역 570b는 더 높은 공간 주파수에서 우세한 내용을 가진다. 아이콘 572는 WFC 광학계를 나타낸다. 아이콘 574는 아이콘 570에 의해 표현된 물체의 광학 이미지로부터 형성된 전자 데이터의 라인스캔을 나타낸다. 아이콘 574에 의해 표현된 전자 데이터는 WFC 광학계의 영향 때문일 수 있는 둥근 코너(rounded corner)를 가진다. 아이콘 576은 후술하는 바와 같이, 이미지의 공간 주파수 내용을 식별하고 이미지를 그 내용에 의존하는 데이터 세트로 쪼개는 처리 를 나타낸다. 아이콘 578 및 584는 각각 더 낮은 공간 주파수 내용과 더 높은 공간 주파수 내용을 갖는 영역들에 대응하는 전자 데이터의 데이터 세트의 라인 스캔을 나타낸다. 아이콘 580 및 586은 선형 프로세싱 단계를 나타낸다(예: 각각의 필터 핵을 가지고, 아이콘 578 및 584에 의해 표현된 전자데이터의 선형 컨볼루션). 아이콘 582 및 588은 아이콘 580 및 586과 관련된 선형 프로세싱에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 각각의 데이터 세트에 대한 전자 데이터는 특정 공간 주파수 내용에 맞는 필터에 의해 날카로워진다. 아이콘 590은 아이콘 582 및 588에 의해 표현된 데이터의 병합을 나타낸다. 아이콘 592는 병합 연산에 의해 형성된 전자 데이터의 라인스캔을 나타낸다. 그 데이터가 수직 측면과 완벽하게 가파른 코너를 가지지 않아도, 부가적(비선형) 프로세싱은 이미지의 품질을 더 향상시키기 위하여 아이콘 590에 의해 표현된 병합 단계 전이나 후에 일어날 수 있다.
도 5f는 가상적인 이미징 시스템의 라인스캔의 플롯(594)을 보여준다. 도 5a 내지 도 5d에서와 같이, 플롯(594)에 나타난 라인스캔을 산출하는 물체(미도시)는 계단 함수 크기 변경(step function amplitude variation)에 의해 특징 지워진다.즉, 그것은 수직 측면을 갖는다. 라인스캔 595는 파면 코딩을 사용하지 않는 이미징 시스템의 데이터를 나타낸다. 라인스캔 596은 코사인 함수(cosine function)에 근거한 파면 코딩을 사용하는 이미징 시스템의 데이터를 나타낸다. 그리고 라인스캔 597은 3차함수(cubic function)에 근거한 파면 코딩을 사용하는 이미징 시스템의 데이터를 나타낸다. 라인스캔 595는 파면 코딩을 사용하지 않은 시스템의 광학계로 인한 물체 모양의 "스무딩(smoothing)"을 보여준다. 라인스캔 596은 코사인 파면 코딩 함수로 인해 훨씬 더한 "스무딩(smoothing)"을 보여준다. 라인스캔 597은 3차 파면 코딩 함수로 인해 라인스캔 595나 라인스캔 596에 비해 위치 598에서 비틀림과 계단 모양으로 나타난 구조를 더 많이 보여준다(예시의 명확성을 위하여, 위치 598에서의 구조의 명백한 예만 도 5f에 붙였다). 더해진 구조는 처리를 더 복잡하게 할 수 있다. 그리고/또는 의도하지 않은 결과를 이끌어낼 수 있다(예: 구조는 광학계에 의해 삽입되는 아티팩트(artifact)와 대조적으로, 처리기에 의해 이미지의 부분으로 "오해" 될 수 있다). 따라서, 전자 데이터의 처리는 파면 코딩을 이용하는 광학계를 통해 이미징 함으로써 생성되는 구조를 제거하거나 변경하는 변형으로부터 혜택을 볼 수 있다.
[공간적으로 변하는 프로세싱Ⅰ- 영역 식별(SPATIALLY VARYING PROCESSING Ⅰ- REGION IDENTIFICATION)]
장면(예: 장면(200))의 처리는 그 장면의 디지털 이미지의 영역에 존재하는 특성과, 장면의 디지털 이미지가 존재하는 물체의 경계와, 한정된 세트의 픽셀에 따르는 장면과 관련된 비가공(raw) 혹은 가공 전자 데이터로 분할될 수 있다. 즉, 공간적으로 변하거나, 내용이 최적화된 프로세싱은 채용될 프로세싱에 관한 결정을 처리되는 광학 이미지의 전자 데이터에 존재하는 정보에 근거한다. 이하의 설명은 전자 데이터 안에 있는 정보가, 어떤 프로세싱이 사용될지를 결정하는데 이용되는 방법과 관련된다.
도 6은 A, B, C, D 및 E로 각각 이름 붙여진 영역을 포함하는 물체의 이미지(600)를 보여준다. 각 영역은 다른 특성을 가진다. 이미지(600)는 시스템(100) 안의 전자 데이터의 형태로 존재한다(예를 들면, 도 3의 검출기(130)가 물체로부터의 전자기 에너지를 전자 데이터(135)로 변환한 후에). 후술하는 바와 같이, 부분 집합 610(a) 및 610(b) 로 나타나는 등화(等化) 부분 집합(identification subsets)(610)은 이미지를 평가하고 그 안에 있는 처리의 하나의 특유한 형태나 정도에 이점이 있는 다른 특성을 가지는 영역을 결정하기 위하여 이용될 수 있다. 등화 부분 집합(610)은 이미지(600) 위를 넘어서 화살표(620) 방향으로 "움직이는" 선택된 이미지 픽셀 세트이다. 즉, 등화 부분 집합(610)은 먼저 부분 집합 610(a) 내에 들어있는 픽셀을 선택하고, 제한되지는 않지만, 공간 주파수에 의한 파워 내용(power content), 가장자리의 존재, 색상의 존재 등과 같은 이미지 내용(image content)를 평가하기 위하여 이 픽셀들을 처리할 수 있다. 부분 집합 610(a)에서 발견되는 특성들과 관련된 정보는 이미지(600) 내부의 부분 집합 610(a)의 위치와 관련될 수 있고, 좀 더 사용하기 위하여 선택적으로 저장될 수 있다. 그리고나서 또 다른 위치가 새로운 등화 부분 집합(610)으로서 선택된다. 화살표(620)로 도시된 바와 같이, 이러한 각 위치는 공간 주파수에 의한 파워 내용, 가장자리의 존재, 색상의 존재 등과 같은 특성을 평가하기 위하여 처리될 수 있다. 등화 부분 집합(600)이 선택되는 상대적 위치는 이미지(600)의 특성 식별을 위하여 요구되는 레벨의 해상도에 따라서 선택될 수 있다. 예를 들면, 등화 부분 집합(610)은 도 6에 도시된 바와 같이 X축 및 Y축과 각각 겹쳐질 수 있고, 또는 부분 집합(610)은 서로 인접할 수 있으며, 또는 부분 집합(610)은 서로 일정한 간격을 두고 떨어져 있을 수 있다(예: 이미지(600) 구역이 전체적으로 분석되기보다는 샘플링만 될 수 있을 정도로).
예를 들면 이미지(600)에 부분 집합 610(b)로 나타난 바와 같이, 일단 최종 등화 부분 집합(610)이 처리되면, 샘플링된 부분 집합(610)의 특성은 유사한 특성을 가지는 이미지(600)의 영역을 식별하기 위하여 이용된다. 그러면 유사한 특성을 가지는 영역들은 분리되고, 그 유사한 특성에 근거한 특정 처리용 데이터 세트로 정의된다. 예를 들면, 후술하는 바와 같이, 등화 부분 집합(610)의 처리가 물체의 일정 영역 내에 있는 현저한 공간 주파수를 검출하면, 그 이상의 처리가 그 공간 주파수 만에 의한 블러링(blurring)을 제거하는 필터를 생성할 수 있다. 이미지(600)가 전술한 바와 같이 처리되면, 영역 A의 표본이 되는 등화 부분 집합은 섹션 A에서 보이는 수직 선과 관계된 수평 공간 주파수에서의 파워를 검출할 수 있다. 영역 B의 표본이 되는 등화 부분 집합은 또한 동일한 공간 주파수에서의 파워를 검출할 수 있다. 하지만 식별 알고리즘의 파라미터에 의존하는 것은 처리용 공간 주파수를 선택하지 않을 수 있다. 왜냐하면 우세한 공간 주파수에서의 파워는 영역 B에 존재하는 노이즈에 맞먹기 때문이다. 영역 C의 표본이 되는 등화 부분 집합은 두 개의 수평, 한 개의 수직 공간 주파수에서의 파워를 검출할 수 있다. 영역 D의 표본이 되는 등화 부분 집합은 적어도 영역 A에서 확인된 것과 동일한 수평 공간 주파수와 관련이 있는 파워를 검출할 수 있다. 하지만 영역 D의 높은 노이즈 내용 때문에 두 번째 수평 공간 주파수 및 수직 공간 주파수를 검출하지 못할 수 있다. 영역 E의 표본이 되는 등화 부분 집합은 영역 A 및 C에서 확인된 것과 동일한 수평 공간 주파수에서의 파워를 검출할 수 있다. 하지만 두 번째의 수평 및 수직 공간 주파수를 검출하지 못할 수 있고, 영역 E의 높은 노이즈 내용 때문에 심지어 메인(main) 수평 공간 주파수를 검출하지 못할 수도 있다.
이미지를 통해(공통 특성을 가지는 데이터 세트를 분리 및 식별하기 위하여 X-Y 격자(grid)를 따라서) 정방형 식별(square identification)을 래스터링(rastering)하는 이 프로세스는 다른 방법들로 성취될 수 있다. 예를 들면, 등화 부분 집합은 정방형일 필요는 없고, 다른 모양일 수도 있다. 그리고 설명되는 래스터 스캔(raster scan) 보다는 이미지의 샘플링을 제공하는 어떤 경로를 따라서 이미지를 통과시킬 수도 있다. 등화 부분 집합은 전자 데이터의 인접하는 선택물일 필요는 없다. 등화 부분 집합은 전자 데이터의 단일 요소이거나 전자 데이터의 하나 이상의 부분 집합일 수 있다. 그것은 드문드문 존재할 수 있고, 전자 데이터의 독립적, 개인적 요소의 맵핑(mapping)이거나 인덱싱(indexing)일 수 있다. 더욱이, 샘플링은 관심 특징에 세부사항(detail)을 추가하는데 더 많은 처리 리소스를 쓰기 위하여, 잠재적인 관심(potential interest)의 특징을 빨리 발견하도록 최적화될 수 있다. 예를 들면, 산재하는 이미지 샘플은 먼저, 최초 등화 부분 집합으로서 처리될 수 있다. 그리고 다른 등화 부분 집합은 최초 등화 부분 집합의 특성이 관심 있는 이미지 내용을 암시하는 구역 안에서만 처리될 수 있다(예: 최초 등화 부분 집합이 특징 없는 파란색만 드러내는 동일 이미지의 윗부분과는 대조적으로, 처리 리소스는 그로 인해 특징을 갖는 풍경 이미지의 아래부분에 집중될 수 있다).
전자 데이터는 전체 이미지(여기에서는 풀 프레임(full frame)이라고 불리는)로서 검출기에 의해 생성될 수 있고, 전체 이미지보다는 더 적은 블록들로 생성 될 수 있다. 전자 데이터는 버퍼링되고, 일시적으로 저장될 수 있다. 전자 데이터의 처리는 그 전자 데이터의 판독, 버퍼링 및/또는 저장과 연속하여 또는 동시에 일어날 수 있다. 따라서, 모든 전자 데이터가 처리 이전에 판독되어야 하는 것은 아니다. 모든 전자 데이터가 처리 이전에 데이터 세트로 "식별"되어야 하는 것도 아니다. 푸리에(fourier) 및 웨이브릿(wavelet) 처리 기술은 전자 데이터를 풀 프레임으로 읽고, 전체 이미지를 한번에 처리하는데 편리할 수 있다. 데이터의 부분 집합을 이용하는 처리 기술에 대해서는 풀 프레임보다 적은 블록들로 읽고, 그 후에 데이터 세트를 병렬로 혹은 직렬로 처리하는 것이 편리할 수 있다.
도 7(a), 7(b) 및 7(c)는 한정된 픽셀 세트에 근거한 이미지의 분할에 대한 세 가지 접근 방법을 더 예시한다. 도 7(a)에서, 평면 700은 평면 700위에 고정된 위치에 있는 3 픽셀의 불규칙한 블록 710을 보여준다. 블록 710은, 예를 들면 포화 영역(예를 들면 도 8(a) 및 도 8(b))의 분할의 결과일 수 있다. 이와는 달리, 사용자는 처리용 관심 영역으로서 블록 710과 같은 고정된 픽셀 세트를 정의할 수 있다. 예를 들면 장방형이나 정방형으로 된 이미지의 코너에 있는 전자 데이터는 이미지의 중심과 비교하여 코너에 있는 원하는 성능이나 이미지 품질이 변경되기 때문에 중앙 영역에 있는 전자 데이터와는 다르게 처리될 수 있다. 장방형이나 임의 형태의 이미지의 영역에 있는 전자 데이터는 광학 이미지 내용에 있어서 미리 결정되는 변경 때문에 이미지의 다른 영역에 있는 전자 데이터와 다르게 처리될 수 있다. 이미지 내용에 있어서 변경은 사전에 결정되는 위상 변경, 조명 상태(illumination condition), 동일하거나 동일하지 않은 샘플링 구조 또는 이미지 에 따라 달라지는 샘플링 특성에 의해 명령되거나 제어된다.
도 7(b)는 평면 720에 포함된 전체 픽셀 세트에 걸쳐서 래스터 같은 형태(raster-like fashion)로 스캔될 수 있는 2×2 픽셀 블록 730이 있는 평면 720을 보여준다(예: 픽셀 블록 730은 도 6의 등화 부분 집합(610)의 예로 고려될 수 있다). 픽셀 블록을 스캐닝하는 것은 특정 처리에 이득이 되는 세그먼트를 식별하는데 이용될 수 있다. 즉, 그 처리는 후술하는 바와 같이, 이미지 내용에 따라 공간적으로 변한다. 도 7(c)에서, 평면 740은 균등하게 위치한 선택된 픽셀 750을 보여준다. 픽셀 750은 빗금친 구역으로 나타내어진다(명확성을 위하여, 모든 선택된 픽셀들이 이름 붙여진 것은 아니다). 인접하지 않는 픽셀 750은 예를 들면, 도시된 바와 같이 50% 샘플링을 이용하여, 샘플링함으로써 선택될 수 있다. 또는 푸리에나 웨이브릿 분석을 이용하여 선택될 수 있다. 이런 샘플링들은 예를 들면, 전체 이미지에 대해 혹은 전체 이미지의 부분들에 대해 일정한 공간 주파수에서의 정보를 제공할 수 있다. 세그먼트들은 선택적으로, N×N 픽셀 블록으로부터 또는 불규칙한, 산재하는, 인접하는 혹은 불연속적인 픽셀 블록으로부터, 또는 전자 데이터의 각 샘플들로부터 형성될 수 있다. 예를 들면, 이미지의 전자 데이터에 있어서 최소 또는 최대값을 찾는 것은 등화 부분 집합으로서 1×1 블록이나 개개의 샘플들을 사용하는 예이다.
특정 수의 픽셀로 도시되었지만, 픽셀 또는 픽셀 블록 710, 730 및 750은 하나부터 이미지 또는 이미지 세트의 전체 크기까지의 다른 수의 픽셀들을 포함할 수 있다(예: 각 이미지 프레임의 크기×이미지 세트 안의 다수의 프레임들의 수 까지 ). 세그먼트는 정방형(square)이나 장방형(rectangular) 등의 볼록 다각형(convex polygons)(예: 픽셀 블록 730)일 필요는 없지만, 오목 다각형(concave polygons)(예: 픽셀 블록 710)이나 성긴 샘플링(sparse sampling)일 수 있다. 더욱이, 단일 픽셀 이상을 가지는 세그먼트는, 후술하는 도 9(a) 내지 도 9(c)와 관련된, 세그먼트 내에 있는 픽셀들의 가중(weighting)이나 서브샘플링( subsampling)에 의해 더 변경될 수 있다.
분할(segmentation)은 장면의 디지털 이미지에 존재하는 물체의 경계(boundary)들에 근거할 수 있다. 예를 들면, the Sobel, Prewitt, Roberts, Laplacian of Gaussian, zero cross, Canny 방식(method) 등이 물체의 가장자리(edges)를 식별하는데 이용될 수 있다. 템플릿 매칭(Template matching), 텍스쳐(textures), 컨투어(contours), 바운더리 스네이크(boundary snakes), 및 데이터 흐름 모델(data flow models) 또한 분할용으로 사용될 수 있다.
분할은 또한 농도(intensity)나 색상(color)과 같은 특성에 근거하여 수행될 수 있다. 도 8(a)는 한 세트의 픽셀(800) 상에 중첩된(superimposed) 물체(도 2의 장면(200)에 있는 태양(260))를 보여준다. 이 예에서, 문턱(한계) 연산(thresholding operation)이 데이터 세트를 형성하기 위하여 각 픽셀(800)의 값에 적용된다. 3 레벨 문턱(한계) 연산은 예를 들면, 픽셀(800)을 3개의 다른 농도 레벨을 가지는 데이터 세트로 나눔으로써 데이터 세트를 형성하는데 이용된다. 도 8(b)는 도 8(a)에 도시된 바와 같은 태양(260)의 문턱(한계)값(thresholding)에 따라 데이터 세트로 분할된 픽셀(800)을 보여준다. 짙게 빗금 쳐진 픽셀(810)로 보이 는 첫 번째 데이터 세트는 총수 200이 넘는 값을 가지는 모든 픽셀들을 포함할 수 있다. 옅게 빗금 쳐진 픽셀(820)로 보이는 두 번째 데이터 세트는 총수 100 과 200 사이의 값을 가지는 모든 픽셀들을 포함할 수 있다. 흰색 픽셀(830)로 보이는 세 번째 세트는 총수 100 이하의 모든 픽셀을 포함할 수 있다. 이와는 달리, 전술한 가장자리 검출 알고리즘 중의 하나 또는 다른 가장자리 검출 알고리즘을 더 적용함으로써 태양(260)의 경계를 결정할 수 있다.
분할 및/또는 가중은 또한 검출기, 광학계, 파면 코딩 요소 및/또는 이미지의 특성에 따라 수행될 수 있다. 이미지에 관하여, 분할은 이미지화된 물체의 경계, 또는 물체의 색상, 텍스쳐, 또는 노이즈 특성에 근거할 수 있다. 검출기에 관하여, 분할은 검출기의 FPN 주기, 또는 앨리어싱 아티팩트(aliasing artifacts)에 관한 것들에 근거할 수 있다. 파면 코딩 요소 및 광학계에 관하여, 분할은 광 경로에서 벗어난 광 문제(stray light issues), 가상(假像)(ghosting) 및/또는 이미징 시스템의 점 퍼짐 함수(point spread function, "PSF")의 실제 범위(practical extent) 등에 근거할 수 있다. 예를 들면, 광학계가 알려진 탈선 광( stray light)이나 가상 패턴(ghosting pattern)을 제공하는 경우, 그러한 패턴들에 대한 지식은 분할이나 가중시에 근거로 이용될 수 있다.
도 9(a), 9(b) 및 9(c)는 가중되거나 분할된 픽셀 블록을 예시한다. 도 9(a)에서, 픽셀 블록(900)은 8×8 픽셀 배열을 포함한다. 픽셀 910의 중심의 2×2 블록(짙게 빗금친 픽셀)은 1.0에 해당하는 값으로 가중되고, 모든 다른 픽셀 920(옅게 빗금친 픽셀)은 0.5에 해당하는 값으로 가중된다. 픽셀 블록(900)은, 예를 들 면, 도 7(b)의 블록 730에 상응할 수 있다. 이 가중(weighting)은 영역 분할용 윈도우 형상(window shape)을 선택하는 것과 같은 말이다. 이용될 수 있는 다른 윈도우 형상들은 장방형(rectangular), 가우시안(Gaussian), 해밍(Hamming), 삼각형(triangular) 등을 포함한다. 윈도우는 폐곡선으로 제한되지 않아도 좋다. 도 9(a)에 도시된 바와 같은 픽셀의 가중은 픽셀 블록의 중앙 픽셀에 대한 인접성에 근거하여 픽셀을 가중하는데 유용할 수 있다. 다른 방편으로, 픽셀 가중치는 중앙 픽셀에서는 1.0의 정규화된 값을 가지고 픽셀 블록의 경계에서는 0으로 감소하는, 가우시안 같은 형태(Gaussian-like form)로 변할 수 있다. 이러한 가중은 "블로킹(blocking)" 아티팩트(artifacts)를 감소시킬 수 있다. 여기에서 등화 부분 집합은 날카로운 경계(sharp boundary)를 따라 처리가 되는, 날카로운 경계를 정의한다. 도 9(b)에서, 픽셀 블록(940)은 윤곽선(contour line)(960)에 의해 나타내어진 광학 시스템의 PSF의 집적된 강도(integrated intensity)의 95% 이상을 포함하는 14×14 블록의 픽셀(950)이다. PSF가 개개의 장소에서 정확히 0과 같지 않을 수 있기 때문에, 윤곽선(960)은 PSF에 있는 임의 레벨의 크기를 지시하고, 픽셀(950)의 분할이나 가중은 그런 레벨에 근거할 수 있다. 도 9(c)에서, 픽셀 블록(970)은 복수의 극 또는 방사형의 세그먼트(990)(더 두꺼운 선으로 둘러싸인 V자형)로 분할되는 픽셀(980)(더 얇은 선으로 둘러싸인 정방형 구역)을 보여준다. 극 분할(polar segmentation)은 홍채 이미지와 같은 방사형으로 조직된 특징들을 가지는 이미지를 가지고 작업할 때 유용할 수 있다. 분할은 또한 이미지 또는 이미지 세트의 "방향성"에 근거할 수 있다. 방향성은 시간, 공간, 콘트라스트, 색상 등에 있어서 "움직 임의 방향(direction of motion)"을 포함할 수 있다. 예를 들면, 관련된 일련의 이미지들에서, 분할은 일련의 이미지로 기록된 공간 및/또는 시간에 있는 물체의 움직임에 근거할 수 있다. 색상의 움직임의 방향에 근거한 이미지의 분할은 이미지 내에서 공간적으로 변하는 색상에 근거한 이미지의 분할을 포함할 수 있다(예: 하늘의 이미지는 수평선 근처의 붉그스름한 색으로부터 천정 근처의 푸르스름한 색까지 변할 수 있고 이미지는 이러한 변화에 관하여 분할될 수 있다).
[공간적으로 변하는 프로세싱 - 프로세싱 결정(SPATIALLY VARYING PROCESSING - PROCESSING DETERMINATION)]
공간적으로 변하는 프로세싱에 사용되는 것과 같은, 입력 이미지의 영역에서의 프로세싱을 결정하는 예가 이제 설명된다. 도 10(a)는 각각 어두운 수직선을 포함하는 두 개의 물체 1010과 1020을 보여준다. 물체 1020은 또한 밝은 회색의 사선(diagonal line)을 포함한다. 도 10(b)는 A 내지 E의 5개의 이미지 섹션을 가지는 이미지 "키(key)"(1030)를 보여준다. 이미지 영역 A와 B는 키(1030)의 윗부분에 포함되고, 이미지 섹션 C, D, E는 키(1030)의 아래부분에 포함된다.
WFC 광학계 및 복수의 검출기를 포함하는 광학 시스템은 물체 1010 및 1020을 이미지화한다. WFC 광학계는 전자 데이터의 피사계 심도(depth of field)를 확장하지만 전자 데이터로부터 처리될 수 있는 효과(영향)를 가공 이미지를 제공하는 정도(degree)를 변경하는 데에 도입한다; 특히, 그 효과(영향)가 변경되는 정도는 그것과 함께 획득된 이미지(들)에 존재하는 특성에 근거될 수 있다. 이 예에서, 시스템은 획득된 이미지에 영향을 미치는 복수의 검출기를 포함한다(후술하는 바와 유사한 효과가, 예를 들면 물체 1010 및 1020의 조명을 변화시킴으로써 산출될 수 있다고 생각되지만). 물체 1010을 이미지화하는 검출기는 키(1030)에 도시된 이미지 섹션 A에서 상대적으로 적은 노이즈를 삽입한다. 또 다른 검출기는 이미지 섹션 B에서 극심한 노이즈를 삽입한다. 물체 1020을 이미지화하는 검출기는 이미지 섹션 C에서 적은 노이즈를, 이미지 섹션 D에서 중간 노이즈를, 이미지 섹션 E에서 극심한 노이즈를 삽입한다. 처리가 없는, 물체 1010 및 1020의 검출된 전자 데이터의 결과는 도 6의 이미지(600)로 예시되어 있다.
빛의 세기(optical intensity) 및/또는 전자 데이터 크기(electronic data intensity)을 설명하는 라인 플롯(line plot)은 이미지(600)의 처리를 이해하는데 유용하다. 도 11은 어떻게 라인 플롯(때로는 여기서, "라인스캔" 이라고 명명된다.)이 공간 위치의 함수로서 빛의 세기 및/또는 전자 데이터 크기를 나타내는데 이용될 수 있는지를 예시한다. 이미지 1110에 도시된, 첫 번째 공간 주파수 "SF1"에서의 굵은 바(bar)는 이미지 1110에서 점선을 따라서, 대응하는 빛의 세기의 라인 플롯 1120에 있는 넓은 피크(peak)와 밸리(valley)를 산출한다. 이미지 1130에 도시된, 두 번째 공간 주파수 "SF2"에서의 더 좁은 바(bar)는 대응하는 라인 플롯 1120에서 상대적으로 좁은 피크와 밸리를 산출한다. 이미지 1150에 도시된 랜덤 노이즈 "N"은 이상한 라인 플롯 1140을 산출한다. 라인 플롯이 광학 이미지와 관련되어 사용될 때는 수직 축은 특정 공간 위치에서 존재하는 전자기 에너지의 크기에 대응한다고 생각된다. 유사하게, 라인 플롯이 전자 데이터와 관련되어 이용될 때는 수직 축은, 예를 들면 검출기에 의해 생성되는 것과 같은, 전자 데이터 내에 존재 하는 농도(intensity)나 색상 정보의 디지털 값에 대응한다.
물체의 전자 데이터는 예를 들면, 도 11에 도시된 공간 주파수 SF1, SF2 및 노이즈 N 과 같이, 공간 주파수 정보와 노이즈의 적당한 합으로서 수학적으로 표현될 수 있다. 검출된 전자 데이터는 또한 WFC 광학계의 점 퍼짐 함수("PSF")와 물체 데이터의 컨볼루션으로 표현될 수 있다. 그리고 섹션이, 적은 노이즈, 중간 노이즈, 극심한 노이즈를 더하는 검출기를 통해 이미지화되느냐에 따라서 가중된 N 데이터와 합산될 수 있다. 이와는 달리, 검출기 노이즈가 일정하게 남아있는 반면에, 신호의 크기(amplitude)는 감소할 수 있다(예: 감소된 조명 때문에). 가공 전자 데이터는 후술하는 바와 같이, WFC 광학계의 PSF와 같이 효과를 반대로 하는 필터 및/또는 검출된 전자 데이터를 특징짓는 공간 주파수를 확실하게 하는 필터와 검출된 전자 데이터의 컨볼루션으로 표현될 수 있다. 따라서 이미지(600)의 섹션 A 내지 E에 존재하는 전자 데이터에 대한 전술한 설명, 물체, 검출된 전자 데이터 및 가공 전자 데이터를 설명하는 공식은 이하의 표 1에 요약되어 있다.
| 이미지 영역 |
물체의 전자 데이터 |
검출된 전자 데이터 |
가공 전자 데이터 |
| A | 1*SF1+0*SF2 |
((1*SF1+0*SF2)**PSF) +0.5*N |
(((1*SF1+0*SF2)**PSF)+0.5*N) **필터(a) |
| B | 1*SF1+0*SF2 |
((1*SF1+0*SF2)**PSF) +10*N |
(((1*SF1+0*SF2)**PSF)+10*N) **필터(b) |
| C | 1*SF1+1*SF2 |
((1*SF1+1*SF2)**PSF) +0.5*N |
(((1*SF1+1*SF2)**PSF)+0.5*N) **필터(c) |
| D | 1*SF1+1*SF2 |
((1*SF1+1*SF2)**PSF) +1*N |
(((1*SF1+1*SF2)**PSF)+1*N) **필터(d) |
| E | 1*SF1+1*SF2 |
((1*SF1+1*SF2)**PSF) +10*N |
(((1*SF1+1*SF2)**PSF)+10*N) **필터(e) |
표 1. 예의 신호 주파수 정보 및 노이즈에 대한 수학적 표현
* 는 곱셈을, **는 컨볼루션을 뜻한다.
비선형 및/또는 공간적으로 변하는 프로세싱은 프로세싱이 노이즈로부터 신호를 분리하지 않도록, 노이즈가 신호를 압도하는 지점까지는 원본(original) 이미지를 닮은 가공 이미지를 제공할 수 있다. 상기 예에서, 신호 처리는, 예를 들면 도 6과 관련되어 설명된 등화 부분 집합을 이용함으로써, 물체 내에 있는 현저한 공간 주파수를 검출한다. 다음으로, 프로세싱은 각 데이터 세트에서 식별되는 공간 주파수용 데이터만 처리하는 필터를 생성한다. 각 데이터 세트의 처리는 데이터 세트를 통해 한번에 하나씩 진행된다. 하나의 데이터가 처리된 후에, 다음 부분 집합이 교대로 처리된다. 다른 방편으로, 프로세싱은 도 6과 관련되어 또한 설명된 바와 같이, 래스터 형태(raster fashion)나 다른 적합한 순서(sequence)로 일어날 수도 있다.
도 12(a)는 도 6의 영역 A에 포함되는 전자 데이터의 처리에 적합한 프로세스를 예시한다. 박스 1210에 나타내어진 데이터를 형성하는 도 10(a)의 물체 1010은 영역 A로부터 이미지화된다. 영역 A를 이미징하는 검출기는 노이즈를 더하고, 박스 1220에 나타내어진 전자 데이터를 산출한다. 영역 A 내에서 처리된 각 등화 부분 집합에 대해서, 추정되는 파워 스펙트럼(power spectrum)은 검출된 전자 데이터의 푸리에 변환을 수행함으로써 형성된다. 수평 공간 주파수는 수평 축을 따라 증가하고 수직 공간 주파수는 수직 축(본문이 일반적으로 읽히는 정도로 고려될 때, 도 12에서, 대응하는 방향을 지칭하는 수평 및 수직)을 따라 증가하는 상태에서, 박스 1230은 영역 A의 푸리에 변환된 데이터에서 발견되는 피크(peak)를 예시 한다. 수평 선(horizontal line)을 형성하는 세 점(dot)을 이 박스에서 볼 수 있다. 중앙의 점은 DC 구성요소에 해당한다. 즉, 수평 및 수직 공간 주파수가 0일 때의 파워를 말한다. 이 구성요소는 항상 존재하고, 추가 처리에서 무시될 수 있다. 중앙에 있는 점의 왼쪽과 오른쪽에 있는 점들은 물체 내의 수직선의 간격(spacing)에 준하는 양(positive), 음(negative)의 공간 주파수 값에 해당한다. 즉, 왼쪽과 오른쪽 점들은 공간 주파수 ±SF1에 해당한다. 다음으로, 우세한(dominant) 공간 주파수는 파워 스펙트럼 추정치를 분석함으로써, 그리고 우세한 공간 주파수만 문턱(한계)값(threshold)을 초과하도록 문턱(한계)값을 설정함으로써 결정된다. 박스 1240에 나타난 바와 같이, 문턱(한계)값 미만의 파워 스펙트럼 정보는 우세한 공간 주파수에서의 피크만 남도록 폐기된다. 다음으로, 프로세스는 우세한 공간 주파수를 확실하게 하는 적당한 필터(1260)를 넣는다(필터(1260)는 박스 1250에서와 같이 공간적인 용어(term)로 보여질 수 있지만, 주파수 공간에 있는 것으로 도시된다). 따라서, 필터(1260)는 우세한 공간 주파수 용 전자 데이터를 처리한다. 필터(1260)는 파워 스펙트럼 추정치에서 우세한 공간 주파수에 해당하는 식별가능한 특징들을 가진다. 마지막으로, 필터(1260)는 검출된 이미지에 적용되고, 그 결과 검출된 이미지는 박스 127에 있는 라인스캔으로 나타내어지는 가공 이미지가 된다. 필터(1260)는 주파수 도메인(domain) 내에서 직접 적용될 수 있다. 이와는 달리, 박스 1250은 주파수 도메인(domain) 내에서 적용될 수 있다.
도 13은 도 6의 영역 C에 포함되는 전자 데이터를 처리하는데 적당한 프로세스를 예시한다. 영역 C를 처리하는데 이용되는 단계는 전술한 영역 A에서와 동일하 다. 하지만, 이미지화되는 물체의 공간 주파수 정보가 다르기 때문에 다른 결과가 산출된다. 도 10(a)의 박스 1310에 나타내어진 데이터를 형성하는 물체 1020은 영역 C로부터 이미지화된다. 영역 C를 이미징하는 검출기는 영역 A를 이미징하는 검출기와 동일한 양의 노이즈를 삽입하고 박스 1320에 나타내어진 것과 같은 데이터를 형성한다. 그러나, 물체 1020의 사선의 존재로 인해 영역 C가 수직 공간 주파수와 수평 공간 주파수 모두에서 충분한 파워를 가진다. 따라서 이미지 영역 A에서 얻어지는 결과와 비교하여, 영역 C에서의 동일한 프로세스는 박스 1330에 도시된 파워 스펙트럼 추정치 내의 부가적인 피크를 형성한다. 이 피크들은 박스 1340에 도시된 바와 같이, 문턱(한계)값(threshold)이 설정되면 유지될 수 있다. 특히, 피크 1344는, 수평 방향으로는 ±SF1 값을 가지고, 수직 방향으로는 0을 가지는 공간 주파수에 해당한다. 그리고 피크 1342는 수직 방향과 수평 방향 각각 ±SF2의 값을 가지는 공간 주파수에 해당한다. 따라서, 이런 정보로부터 형성된 필터(1360)는 해당하는 공간 주파수에서의 특징(1365)을 보여준다. 필터(1360)는 또한 박스 1350에 공간적 텀(term)으로 보여진다. 영역 C에서 형성되는 가공 전자 데이터의 라인스캔 표시는 가공 전자 데이터가 최초의 물체의 데이터에 근접하는 것을 보여준다. 즉, 검출 단계로부터 더해지는 노이즈의 많은 부분이 성공적으로 제거되었다는 것이다.
도 14는 도 6의 영역 D에 포함되는 전자 데이터의 처리에 적합한 프로세스를 예시한다. 영역 D에서의 처리에 이용되는 단계는 전술한 영역 A 및 영역 C에서와 유사하다. 하지만, 이미지화되는 물체에 대응하는 신호와 비교하여, 검출기에 의해 삽입된 더 높은 노이즈가 다른 결과를 산출한다. 도 10(a)의 박스 1410에 나타내어 진 데이터를 형성하는 물체 1020은 영역 D에서 이미지화된다. 영역 D를 이미지화하는 검출기는 영역 C에서와 동일한 공간 주파수 내용을 가진다. 하지만, 영역 A와 영역 C를 이미징하는 검출기보다 더 높은 노이즈 내용을 가지고, 박스 1420에 나타내어지는 데이터를 형성한다. 사실, 영역 D는 너무 많은 노이즈를 가지기 때문에, 사선에 해당하는 피크가 파워 스펙트럼 추정치로부터 형성된다고 해도, 이 피크들은 이 이미지 영역의 노이즈들과 비교할 만하다. 박스 1430은 파워 스펙트럼 추정치로부터의 랜덤 노이즈를 보여준다. 더 높은 노이즈는 문턱(한계)값을 더 높은 값으로 올리는 것을 필요로 하고, 공간 주파수 ±SF1에서의 피크 1444를 남기지만, 사선에 해당하는 피크를 남기지는 않는다. 따라서 영역 D 용으로 형성된 필터(1460)는 영역 A용으로 형성된 필터(1260)와 공통점이 있다. 왜냐하면, 그것은 수직선에 해당하는 공간 주파수-노이즈에 비해 두드러질 정도로 충분히 우세한 유일한 공간 주파수에만 근거하기 때문이다. 필터(1460)는 또한 박스 1450에서 공간적인 용어(term)로 보여진다. 영역 D용 가공 전자 데이터의 라인 스캔 표시(1470)는 수직선을 보여준다. 수직선의 크기는 도 12에 도시된 영역 A용 가공 전자 데이터와 비교하여 줄어든 것이다. 그리고 사선은 식별할 수 없다.
도 15는 도 6의 영역 B와 영역 E에 포함되는 전자 데이터를 처리하는데 적합한 프로세스를 예시한다. 박스 1510에 나타내어진 데이터를 형성하는 도 10(a)의 물체 1020은 영역 B와 영역E에서 이미지화된다. 영역 B와 영역 E를 이미징하는 검출기는 영역 D를 이미징하는 검출기보다도 더 많은 노이즈를 삽입하고, 박스 1520에 나타내어진 것과 같은 데이터를 형성한다. 영역 B와 E에서, 검출기-유도 노이즈 는 어떤 공간 주파수를 식별하기 위한 처리의 성능을 압도한다. 파워 스펙트럼 추정치(1530)는 DC 포인트(point)와 노이즈에 의해 야기되는 많은 피크만을 포함한다. 박스 1540에 도시된 것처럼 문턱(한계)값(thresholding) 설정은 어떤 피크에도 없고, 해당하는 필터(1560)는 일정한 값을 가진다. 이러한 경우에, 출력 데이터는 박스 1570에 도시된 바와 같이 일정한 값으로 바뀌거나, 검출되었지만 처리되지 않은 원본 전자 데이터(박스 1520에 있는)는 대체될 수 있다.
비선형 및/또는 공간적으로 변하는 프로세싱은 또한 높은 콘트라스트의 이미지 영역과 낮은 콘트라스트의 이미지 영역을 가지는 가공 이미지를 최적화할 수 있다. 즉, 물체의 일정한 이미지 영역은 농도(intensity)의 선명한 경계(sharp demarcation)를 가지는 큰 농도 변화(예: 높은 콘트라스트)를 줄 수 있다. 반면에 다른 이미지 영역은 낮은 농도 변화(낮은 콘트라스트)를 줄 뿐만 아니라 농도의 선명한 경계를 가진다. 농도 변화와 선명한 경계는 전체의 밝음과 어두움 또는 개개의 색상(color) 채널과 관계가 있을 수 있다. 인간의 이미지 인식은 시각적 단서의 넓은 영역에 대한 민감성을 포함한다. 해상도와 콘트라스트는 두 가지 중요한 시각적 단서이다. 높은 해상도는 농도나 색상의 급격한 변이(transition)를 수반한다.(하지만 큰 변화는 아닐 수 있다) 반면에 높은 콘트라스트는 농도나 색상의 큰 변화(change)를 수반한다. 이러한 변화는 물체 내부나 물체와 배경 사이에서 일어날 수 있다. 인간의 인식뿐만 아니라, 머신 비전 및 태스크 기반 처리와 같은 응용도, 높은 해상도 및/또는 높은 콘트라스트 이미지를 제공하기 위한 처리에 이점이 있다.
WFC 광학계는 그것들이 피사계 심도(depth of field)를 확장할 때 가장자리를 흐리게 하거나 콘트라스트를 감소시킬 수 있다. WFC 광학계를 통해 얻어진 획득 데이터는 농도 레벨(혹은 색상) 사이를 더 급격하고 가파르게(예: 콘트라스트 증가) 변화시키기 위하여 높은 공간 주파수에서 높은 이득(gain)을 보이는 필터로 처리될 수 있다. 그러나, 이러한 필터링은 또한 이미지 노이즈를 증폭시킬 수 있다. 농도(혹은 색상)의 변화(variation)가 이미지화된 장면에서의 변이(transition)와 대략 동일한 크기가 되는 지점까지 노이즈를 증폭시키는 것은 변이(transition)를 "감추는(mask)" 것이다. 즉, 증가된 노이즈는 그 노이즈로부터 실제 변이를 구별할 수 없게 만든다. 인간 시각 시스템은 또한 적외선 컬러사진(촬영)(false coloring)에 대한 인식을 가지는 노이즈-프리(noise free) 구역에 응답할 수 있고 이미지 품질을 나쁜 것으로 식별할 수 있다. 그러므로 노이즈를 0까지 감소시키는 것이 항상 좋은 품질의 이미지를 산출하는 것은 아니다. 따라서, WFC 광학계가 사용될 때, 이미지 내용에 근거한 처리를 결정하는 다음의 예에 도시된 바와 같이, 농도나 색상의 선명한 경계와 각 영역의 농도나 색상 변화, 요구되는 노이즈 특성을 유지시키기 위하여 일정한 이미지 영역을 서로 다르게 처리하는 것이 바람직하다.
도 16 내지 도 24는 필터를 이미지 영역의 콘트라스트에 적응시키는 것이 어떻게 이미지를 향상시키는지를 예시한다. 더 상세하게 설명하면, 도 16 내지 19는 검출기에 대해 이미지화되고 노이즈 이득(noise gain)을 증폭시키는 "활성적인(aggressive)" 필터로 처리되는 높은 콘트라스트 이미지 영역의 예를 보여준다. 이 처리는 증폭된 노이즈를 가지고 변이를 "감추는 것"없이 높은 콘트라스트 이미 지의 가장자리 변이를 더욱 심하게 하는 것을 보여준다. 도 20 내지 24에서 낮은 콘트라스트 이미지 영역은 검출기에서 이미지화된다. 결과로서 생기는 전자 데이터는 먼저 증폭된 노이즈가 어떻게 변이(transition)를 감추는지를 보여주는 도 16 내지 19의 예에서와 동일한 필터로 처리된다. 그리고 나서 전자 데이터는, 증폭된 노이즈가 변이를 감추지 않도록, 가장자리 변이를 다소 심하게 하기는 하지만 "활성적인(aggressive)" 필터에 의할 때만큼 노이즈를 증폭시키지는 않는, 덜 "활성적인(aggressive)" 필터로 처리된다.
도 16은, 예를 들면 도 2의 장면(200) 중 울타리(fence)(250)와 같은, 장면의 높은 콘트라스트 이미지 영역의 물체 정보의 라인스캔(1600)을 보여준다. 4개의 물체에 대응하는 물체 정보(object information) 1610, 1620, 1630, 1640은 라인스캔(1600)에 나타난다. 물체 정보 1610-1640에 의해 나타내어지는 각 물체들은 연속적으로 더 작아지고 더 상세해진다(즉, 더 높은 해상도의 이미징은 존재하는 공간적 디테일을 보여주는데 충분하다). 라인스캔(1600)의 수직 축에 따른 값에 대응하는, 사용되는 그레이 스케일(gray scale)은 0 부터 240 레벨까지의 범위이다. 물체 정보 1610- 1640의 농도는 픽셀 위치의 함수로서 급격한 변이를 가지고, 200 그레이 레벨에 대해 0부터 50까지 변한다(즉, 물체 정보 1610-1640에 의해 나타내어지는 물체들은 일 지점에서 다른 지점까지 농도의 선명한 경계부분을 가진다). "그레이 스케일(gray scale)" 과 "그레이 레벨(gray levels)"이라는 용어가 이 예에서 사용되었지만, 하나 이상의 색상 채널에서의 농도의 변화에 대해서도 유사하게 처리될 수 있고, 이것은 본 발명의 범위 내에 있다.
WFC 광학계를 포함하는 광학계들은 확장된 피사계 심도를 가지는 변경된 광학 이미지를 생성한다. 도 17은 광학 정보 1710, 1720, 1730, 1740으로서 라인스캔 1600에 나타내어진 물체들의 라인 스캔 1700을 보여준다. 광학 정보 1710, 1720, 1730, 1740을 산출하는데 이용되는 광학계는 동공 면(pupil plane) 위상 함수(phase function) 위상(r,θ) 다음과 같이 충족시킨다.
여기에서, n=7, 0≤r≤1, a1= 5.4167, a2= 0.3203, a3= 3.0470, a4= 4.0983, a5= 3.4105, a6= 2.0060, a7= -1.8414, w= 3, 0≤θ≤2π 라디안, 및
광학계의 형태를 따르는 광학계는 여기에서 때로는 "코사인 광학계(cosine optics)"로 언급되는 카테고리로 분류된다. 일반적으로 각도 θ와 비구면적으로 (aspherically) 반지름 r에 관하여 코사인파 형상으로 변화하는 위상 변화를 주는 광학 요소를 나타낸다.
광학 정보 1710, 1720, 1730 및 1740의 둥근 변이와 기울어진 가장자리에서 볼 수 있는 바와 같이, 파면 코딩은 인접한 지점들 간의 농도의 선명한 경계를 낮 출 수 있다.
전자 데이터를 생성하는 전자 이미지 검출기에 의해 획득된 광학 이미지는 노이즈를 삽입시킬 수 있다. 예를 들면, 검출기는 신호 의존성 노이즈, 및 신호 독립성, 추가 노이즈의 두 구성요소를 가지는 노이즈를 삽입시킬 수 있다. 신호 의존성 노이즈(signal dependent noise)는 주어진 픽셀 위치에서의 신호 세기의 함수이다. 신호 독립성 노이즈(signal independent noise)는 사실상 추가되는 것이며, 픽셀 위치에서의 세기에 의존하지 않는다. 산탄 노이즈(Shot noise)가 신호 의존성 노이즈의 예이다. 전자 판독 노이즈(electronic read noise)가 신호 독립성 노이즈의 예이다.
도 18은 전자 데이터 1810, 1820, 1830 및 1840으로서 라인스캔 1600에 나타내어진 물체들의 라인스캔 1800을 보여준다. 전자 데이터 1810, 1820, 1830 및 1840은 광학 정보 1710, 1720, 1730 및 1740에 나타난 둥근 변이와 기울어진 가장자리를 포함한다는 것과 높은 농도의 구역은 농도에 대략 비례하는 노이즈를 포함한다는 것을 유의해야 한다.
전자 데이터 1810, 1820, 1830, 1840은 낮은 공간 주파수에 관하여 높은 공간 주파수를 강화하는 필터로 처리될 수 있다. 따라서 심한 변이를 생성할 수 있다. 이러한 필터의 예로는 다음 식에 의해 공간 주파수 변수 u와 v에 대해 주파수 도메인에서 설명되는 파라미터형 위너 필터(parametric Wiener filter)가 있다.
여기서 W(u,v)는 파라미터형 위너 필터이고, H(u,v)는 광학 전달 함수이며, H*(u,v)는 그 광학 전달 함수의 컨쥬게이트(conjugate)이고, SN(u,v)는 노이즈 스펙트럼이며, SO(u,v)는 물체의 스펙트럼이고 γ는 가중 파라미터(weighting parameter)이다. 노이즈 스펙트럼 SN(u,v)는 SN(u,v)=(1/Nw)에 의해 주어지고, Nw는 상수(constant)이다. 물체의 스펙트럼 SO(u,v)는 통상
로 주어지며 μ는 스칼라 상수(scalar constant)이다.
W(u,v)의 푸리에 역변환(inverse Fourier transform)은 위너 필터의 공간 도메인 버전(spatial domain version)을 준다. 이미지 처리의 일례(또한 여기에서 가끔은 "재구성(reconstruction)"이라고 불러워진다)는 그 이미지를 위너 필터의 공간 도메인 버전으로 감아 넣음(예: 앞서 도시된 전자 데이터 1810, 1820, 1830의 라인 스캔 1800에 의해 나타내어지는 것과 같이)으로써 수행된다. 이러한 재구성은 선명한 가장자리를 생성하고 또한 노이즈 파워를 증가시킨다.
도 19는 가공 전자 데이터 1910, 1920, 1930 및 1940, 즉, 위에서 정의된 W(u,v)로 처리된 후의 전자 데이터 1810, 1820, 1830 및 1840처럼, 라인스캔 1600에서 나타내어진 물체의 라인스캔 1900을 보여준다. 재구성된 전자 데이터에 나타난 바와 같이, 신호 및 노이즈 파워는 약 3배만큼 증가한다. 그러나 해상도에 대한 인간의 인식을 위하여, 그리고 농도에 따라 달라지는 인접한 구역들간에 선명한 경계(예: 가파른 기울기)가 바람직한 다른 일정한 어플리케이션을 위하여 (머신 비전, 또는 태스크 기반 처리와 같은), 증가된 노이즈는 감수할 만하다. 예를 들면, 라인스캔 1900은 전술한바와 같이 Nw=250, μ=0.25, 그리고 γ=1인 파라미터형 위너 필터로 처리된다. 라인스캔 1900은 라인스캔 1700보다 농도가 다른 구역간에 더 가파른 기울기를 가진다. 그리고 높은 농도와 낮은 농도에서의 노이즈가 증폭된다. 하지만 농도가 다른 구역들 사이에 변이를 감추지는 않는다. 예를 들면, 높은 농도 레벨과 낮은 농도 레벨의 노이즈 있는 데이터는 문턱(한계)값 1950으로 이름붙여진 120번째 그레이 레벨보다 각각 훨씬 높아진 상태와 낮아진 상태로 남는다. 따라서 위에서 표시된 상수들을 가지는 W(u,v)는 높은 콘트라스트 이미지 영역에서 밝고-어둡고-밝은 변이에 대한 인간의 인식을 향상시킬 수 있다.
전술한 처리 단계 이외에도, 예를 들면 비지니스 카드(business cards)의 이미징, 바코드나 다른 필수적인 이진 물체 정보와 같은 일정한 높은 콘트라스트 이미징 어플리케이션용, 필터링 단계는 문턱(한계)(thresholding)값 설정 단계 다음에 이어질 수 있고, 그로 인해 이진 값의 이미지를 결과로서 얻게 된다.
이미지화되는 물체의 어떤 이미지 영역은, 도 16 내지 19와 관련하여 설명된 이미지 영역처럼, 감소된 농도 변화를 가질 수 있지만 또한 농도의 선명한 경계를 가질 수도 있다. 도 20은 예를 들면, 도 16 내지 도 19에 예시된 동일한 장면의 제 2 부분일 수 있는 장면의 낮은 콘트라스트 이미지 영역에 대한 라인스캔 2000을 보여준다. 4개의 물체에 대응하는 전자 데이터 2010, 2020, 2030, 2040이 라인스캔 2000에 나타나 있다. 전자 데이터 2010-2040으로 나타내어지는 각 물체는 연속적으로 점점 더 작아지고 더 상세해진다. 그러나 전자 데이터 2010, 2020, 2030, 2040에 있어서 농도의 가장 큰 차이는, 도 16의 전자 데이터 1610, 1620, 1630, 1640에 있어서의 0부터 200까지의 그레이 레벨의 차이와 대조적으로, 0과 30간의 그레이 레벨만을 가진다는 것이다. 도 17과 연관하여 설명된 동일한 광학계는 확장된 피사계 심도를 가지는 광학 이미지를 생성하기 위하여 위에 예시된 그 이미지 영역을 변경한다. 그리고 도 21 및 도 22에 예시된 바와 같이 노이즈를 첨가하는 검출기에 의해 획득된다.
도 21은 광학 정보 1710, 1720, 1730, 1740에 나타난 것과 유사한, 둥근 변이와 기울어진 가장자리를 가지는 광학 정보 2110, 2120, 2130 및 2140으로서 라인스캔 2000에 나타내어진 물체들의 라인스캔 1700을 보여준다. 도 22는 전자 데이터 2210, 2220, 2230 및 2240으로 라인스캔 2000에 나타내어진 물체들의 라인스캔 2200을 보여준다. 전자 데이터 2210, 2220, 2230 및 2240은 광학 정보 2110, 2120, 2130 및 2140에 나타난 것과 같은 둥근 변이와 기울어진 가장자리를 포함하고, 더 높은 농도를 가지는 구역들은 그 농도가 도 16 내지 도 19에 보여지는 피크의 농도보다 더 낮다고 하더라도 대략 그 농도에 비례하는 노이즈를 포함한다는 것을 유의해야 한다.
도 23은 가공 전자 데이터 2310, 2320, 2330, 2340, 즉, 다시 Nw=250, μ=0.25, 및 γ=1 를 가지고 위의 식 1 및 식 2에 설명된 바와 같은 "활성적인(aggressive)" 파라미터형 위너 필터와 컨볼루션 한 후의 전자 데이터 2210, 2220, 2230 및 2240으로서 라인스캔 2000에 나타내어진 물체의 라인스캔 2300을 보여준다. 도 23에서, 노이즈가 변이를 "감추는(mask)" 지점에서 그 노이즈가 증폭된다는 것은 분명하다. 즉, 어떤 그레이 레벨 문턱(한계)값도 라인스캔 2000에 나타내어진 원본 물체들의 "밝은" 또는 "어두운" 영역들만 그 문턱(한계)값보다 더 밝거나 더 어둡게 하도록 선택될 수 없다.
"덜 활성적인(less aggressive)" 필터를 이용하면 노이즈 증폭이 생길 수 있는 "감추는 것(masking)"을 경감할 수 있다. 도 24는 가공 전자 데이터 2410, 2420, 2430 및 2440, 즉, 다시 전자 데이터 2210, 2220, 2230, 2240로 시작하지만 이번에는 "덜 활성적인" 상수 Nw=500, μ=1, 및 γ=1 를 가지고 위의 식 1 및 식 2에 설명된 바와 같은 위너 필터를 이용하는 가공 전자 데이터 2410, 2420, 2430 및 2440으로 라인스캔 2000에 나타내어진 물체의 라인스캔 2400을 보여준다. 그 "덜 활성적인" 필터 상수는 가공 전자 데이터 2410, 2420, 2430 및 2440에 가장자리의 선명함을 저장하지만, 약 1배의 노이즈만 증가시킨다. 그로 인해 라인스캔 2000에 나타내어진 근접한 높은 농도 레벨과 낮은 농도 레벨의 물체들 간에 변이를 "감추지" 않는다. 높은 농도 레벨과 낮은 농도 레벨에서의 노이즈 있는 데이터는 각각 문턱(한계)값 2450으로 이름 붙여진 20번째 그레이 레벨보다 높아지거나 낮아진 상태가 된다는 것을 유의해야 한다.
프로세싱이 어떻게 이미지를 나타내는 전자 데이터의 다른 데이터 세트들을 결정할 수 있는지에 대해 보여져 왔다. 다른 형태의 프로세싱은 전술한 방법들과 다른 방법으로 식별되는 데이터 처리를 이용할 수도 있다. 예를 들면, 도 16 내지 도 24에 예시된 예들과 비교하여 위너 필터와 다른 필터링 방법들은 WFC 광학계에 의해 삽입되는 효과들이 바뀌는 정도를 변경하는데 이용될 수 있다. 또한, 데이터 세트가 농도 정보 대신에 색상 정보를 근거로 하여 식별될 때에는, 농도 차이를 증대시키는 필터 대신에 색상을 변경하는 필터가 이용될 수 있다.
[공간적으로 변하는 프로세싱- 실행(SPATIALLY VARYING PROCESSING - IMPLEMENTATION)]
도 25는 비선형 및/또는 공간적으로 변하는 프로세싱을 이용하는 광학 이미징 시스템을 예시한다. 시스템(2500)은 광학계(2501)와 데이터 스트림(data stream)(2525)을 형성하기 위하여 검출기(2520)와 협력하는 파면 코딩(WFC) 요소(2510)를 포함한다. 데이터 스트림(2525)은 전술한 바와 같이, 풀 프레임 전자 데이터나 그것의 어떤 부분 집합을 포함할 수 있다. WFC 요소(2510)는 검출기(2520)에서 형성되는 이미지가 확장된 피사계 심도(depth of field)를 가지도록 시스템(2500)에 의해 이미지화된 전자기 에너지의 파면을 부호화하고, 가공 이미지를 형성하기 위하여 후처리(post processing)에 의해 변경될 수 있는 WFC 광학계로 인한 효과를 포함한다. 상세하게는, 검출기(2520)로부터의 데이터 스트림(2525)은 가공 이미지(2570)를 산출하기 위하여 일련의 처리 블록들(2522, 2524, 2530, 2540, 2552, 2554 및 2560)에 의해 처리된다. 처리 블록(2522, 2524, 2530, 2540, 2552, 2554 및 2560)은 예를 들면, 여기에서 설명되는 기능을 수행하는 전자 논리 장치(electronic logic device)에 의해 실행될 수 있는 이미지 처리 기능성을 나타낸다. 이러한 블록들은 예를 들면, 소프트웨어 명령을 실행하는 하나 이상의 디지털 신호 처리기에 의해 수행될 수 있다. 이와는 달리, 이러한 블록들은 이산 논리 회로(discrete logic circuits), ASICs(application specific integrated circuits), 게이트 어레이(gate array), FPGAs(field programmable gate arrays), 컴퓨터 메모리, 및 그것들의 부분이나 결합을 포함할 수 있다. 예를 들면, 처리 블록(2522, 2524, 2530, 2540, 2552, 2554 및 2560)은 소프트웨어(145)를 실행하는 처리기(140)에 의해 수행될 수 있다(도 3 참조). 그리고 처리기(140)는 ASICs나 FPGAs에 의한 일정한 처리의 양상을 대등하게 한다.
처리 블록 2522와 2524는 노이즈 축소용 데이터 스트림(2525)을 전처리하는 작동을 한다. 상세하게는, FPN(fixed pattern noise) 블록(2522)은 검출기(2520)의 고정 패턴 노이즈를 보정한다(예: 픽셀 이득(gain)과 바이어스(bias), 및 비선형응답). 프리필터(prefilter)(2524)는 데이터 스트림(2525)에서 추가 노이즈를 감소시키기 위하여, 또는 다음 처리 블록용 데이터 스트림(2525)을 준비하기 위하여 WFC 요소(2510)의 선험적 지식(priori knowledge)을 이용한다. 프리필터(2524)는 예를 들면, 도 5b, 도 5c 및 도 5d에 각각 도시된 아이콘 518, 536, 또는 556에 의해 나타내어진다. 색상 변환 블록(color conversion block)(2530)은 색상 구성요소(데이터 스트림(2525)으로부터의)를 새로운 색상 공간(colorspace)으로 변환한다. 색상 구성요소의 그러한 변환은 예를 들면, YUV(luminance-chrominance) 색상 공간의 대 응하는 채널에 대해 RGB(red-green-blue) 색상 공간의 각 R(red), G(green), B(blue) 채널이 될 수 있다. 선택적으로, CMY(cyan-magenta-yellow)와 같은 다른 색상 공간 또한 이용될 수 있다. 흐림(blur) 및 필터링 블록(2540)은 하나 이상의 새로운 색상 공간 채널을 필터링함으로써 그 새로운 색상 공간의 이미지들에서 흐림(blur)을 제거한다. 블록 2522와 2524는 예를 들면, 다시금 노이즈를 감소시키기 위하여 블록 2540의 데이터를 후처리하는 작동을 한다. 상세하게는, SC(signal channel) 블록(2552)은 블록 2540 내부의 디지털 필터링에 대한 지식을 사용하여 전자 데이터의 각 싱글 채널 내부의 노이즈를 필터링한다. MC(multiple channel) 블록(2554)은 흐림 및 필터링 블록(2540) 내부의 광학계(2501)와 그 디지털 필터링에 대한 지식을 사용하여 다중 채널 데이터의 노이즈를 필터링한다. 가공 전자 데이터(2570) 이전에, 또 다른 색상 변환 블록(2560)은 예를 들면 색상 공간 이미지 구성요소를 RGB 색상 구성요소로 변환할 수 있다.
도 26은 비선형 및/또는 공간적으로 변하는 색상 프로세싱을 하는 이미징 시스템(2600)을 도식적으로 설명한다. 이미징 시스템(2600)은 검출기(2605)에서 형성된 획득된 전자 데이터(2625)로부터 가공 3색 이미지(2660)를 산출한다. 검출기(2605)는 색상 필터 어레이(2602)를 포함한다. 시스템(2600)은 검출기(2605)에서 획득된 전자 데이터(2625)를 산출하기 위하여 광학계(2601)를 통해 전자기 에너지의 파면을 부호화하는 광학계(2601)(하나 이상의 WFC 요소나 표면을 포함하는)를 사용한다. 획득된 전자 데이터(2625)로 나타내어지는 이미지는 광학계(2601)에 영향을 받는 위상 변화(phase alteration)에 의해 고의로 흐려진다. 검출기(2605)는 NRP(noise reduction processing)와 색상 공간 변환 블록(2620)에 의해 처리되는 획득된 전자 데이터(2625)를 생성한다. NRP는 예를 들면, 검출기의 비선형성과 추가적인 노이즈를 제거하는 기능을 한다. 반면에 색상 공간 변환은 흐림 제거 처리(후에 블록 2642 및 2644에서 수행되는)를 위하여 필요한 로직(logic)의 양 및/또는 메모리 리소스(memory)를 줄이기 위하여 구성 이미지들 간의 공간상관성(spatial correlation)을 제거하는 기능을 한다. NRP & 색상 공간 변환 블록(2620)으로부터의 출력(output)은 1)공간 채널(spatial channel)(2632)과 2)하나 이상의 색상 채널(color channel)(2634)의 두 채널로 나뉘어지는 데이터 스트림의 형태이다. 채널 2632와 2634는 여기에서 때로 데이터 스트림의 "데이터 세트"로 불린다. 공간 주파수(2632)는 색상 채널(2634)보다 더 큰 공간적 디테일(spatial detail)을 가진다. 따라서, 공간 채널(2632)은 흐림 제거 블록(2642) 내부의 흐림 제거의 대부분을 필요로 할 수 있다. 색상 채널(2634)은 실질적으로 흐림 제거 블록(2644) 내부의 더 적은 흐림 제거 처리를 필요로 할 수 있다. 흐림 제거 블록 2642와 2644에 의한 처리 이후에, 채널 2632와 2634는 다시금 NRP & 색상 공간 변환 블록(2650) 내에서의 처리를 위하여 결합된다. NRP & 색상 공간 변환 블록(2650)은 흐림 제거에 의해 강해진 이미지 노이즈를 추가로 제거하고, 가공 3색 이미지(2660)를 형성하기 위하여 결합된 이미지 블록을 RGB 포맷으로 변환한다. 상기와 같이, 처리 블록 2620, 2632, 2634, 2642, 2644 및 2650은 소프트웨어 명령들을 실행하는 하나 이상의 디지털 신호 처리기, 및/또는 이산 논리 회로, ASICs, 게이트 어레이, FPGAs, 컴퓨터 메모리 및 그것들의 부분이나 결합을 포함할 수 있다.
도 27은 비선형 및/또는 공간적으로 변하는 프로세싱을 이용하는 또 다른 이미징 시스템(2700)을 보여준다. 도 25와 도 26에 예시된 시스템들이 알려진 기술의 이점을 제공하는 반면에, 시스템 2700은 시스템 2500 및 2600과 비교하여, 고품질의 이미지를 생성할 수 있다. 그리고/또는 계산 리소스(하드웨어나 계산 시간과 같은)면에서 더 효율적인 수행을 할 수 있다. 시스템(2700)은 검출기(2705)에서 획득된 전자 데이터(2725)를 산출하기 위하여 광학계(2701)를 통해 전자기 에너지의 파면을 부호화하는 광학계(2701)(하나 이상의 WFC 요소나 표면을 포함하는)를 사용한다. 획득 전자 데이터(2725)로 나타내어지는 이미지는 광학계(2701)에 영향을 받는 위상 변화(phase alteration)에 의해 고의로 흐려진다. 검출기(2705)는 NRP(noise reduction processing) 및 색상 공간 변환 블록(2720)에 의해 처리되는 획득된 전자 데이터(2725)를 생성한다. 공간 파라미터 추정기 블록(spatial parameter estimator block)(2730)은 공간 이미지의 어떤 이미지 영역이 어떤 종류 및/또는 정도의 흐림 제거를 필요로 하는지 식별하기 위하여 NRP 및 색상정보 변환 블록(2720)에 의해 생성되는 그 공간 이미지의 정보를 조사한다. 공간 파라미터 추정기 블록(2730)은 또한 특정 흐림 제거 프로세싱 파라미터의 획득된 전자 데이터(2725)의 각 데이터 세트와의 결합(association)을 가능하게 하기 위하여 획득된 데이터(2725)를 데이터 세트(예를 들면, 도 27에 도시된 공간 채널 2732 및 하나 이상의 색상 채널 2734) 및/또는 특정 데이터 세트(예: 도 6 - 도 9(c)에 도시된 이미지 영역에 대응하는 데이터 세트)로 나눌 수 있다. 공간 파라미터 추정기 블록(2730)에 의해 생성되는 정보는 공간 채널(2732)을 제어하는 흐림 제거 블 록(2742)에 각각의 이미지 영역(예: 전자 데이터(2725)의 데이터 세트)에 대한 프로세싱 파라미터(2736)를 제공한다. 분리된 색상 파라미터 추정기 블록(2731)은 색상 채널(2734)의 어떤 데이터 세트(예: 이미지 영역에 대응하는)가 어떤 종류의 흐림 제거를 필요로 하는지를 식별하기 위하여 NRP와 색상 공간 변환 블록(2720)에 의해 출력되는 색상 채널(2734)의 정보를 조사한다. 공간 채널(2732) 뿐만 아니라 획득된 전자 데이터(2725)의 색상 채널(2734)과 같은 데이터 세트들은 그 안에 있는 정보를 필터링하기 위하여 공간적으로 변하는 방식으로 처리될 수 있다. 일정 색상 채널(2734) 상에서 수행되는 처리는 동일하게 획득된 전자 데이터(2725)의 공간 채널(2732)이나 다른 색상 채널(2734) 상에서 수행되는 처리로부터 달라질 수 있다. 색상 파라미터 추정기 블록(2731)에 의해 생성되는 정보는 색상 이미지들을 제어하는 흐림 제거 블록(2744)에 획득된 전자 데이터(2725)의 각각의 데이터 세트에 대한 프로세싱 파라미터(2738)를 제공한다. 프로세싱 파라미터는 전체 이미지에 해당하는 획득된 데이터에서, 또는 획득된 전자 데이터의 데이터 세트(예: 공간 영역에 해당하는)에서, 또는 픽셀 기저(pixel basis)에 의해 픽셀 상에서 유래될 수 있다. 흐림 제거 블록 2742와 2744에 의해 처리된 후에, 다시금 NRP & 색상 공간 변환 블록(2750) 내에서의 처리를 위하여 결합된다. NRP & 색상 공간 변환 블록(2750)은 흐림 제거에 의해 강해진 이미지 노이즈를 추가로 제거하고, 가공 3색 이미지(2760)를 형성하기 위하여 결합된 이미지 블록을 RGB 포맷으로 변환한다. 상기와 같이, 처리 블록 2720, 2732, 2734, 2742, 2744 및 2750은 소프트웨어 명령들을 실행하는 하나 이상의 디지털 신호 처리기, 및/또는 이산 논리 회로, ASICs, 게 이트 어레이, FPGAs, 컴퓨터 메모리 및 그것들의 부분이나 결합을 포함할 수 있다.
표 2는 도 2의 장면 200과 같은 장면 내에서, 흐림 제거 블록(예: 흐림 제거 및/또는 흐림 및 필터링 블록들, 도 25의 2540, 도 26의 2642, 2644 또는 도 27의 2742, 2744 중의 어떤 것)에 의해 다른 데이터 세트(예: 공간 영역에 대응하는)에 적용될 수 있는 무제한(non-limiting) 타입의 처리를 보여준다. 표 2는 장면(200)의 주어진 공간 영역에 대한 흐림 제거 처리 결과와 대응하는 프로세싱 파라미터에 대해 요약한다.
| 공간 영역 (Spatial Region) |
프로세싱 파라미터 (Processing Parameters) |
대표적 결과 (Exemplary Results) |
| 하늘(210) |
물체가 매우 적은 공간적 디테일을 가진다. |
흐림을 제거하기 위한 어떤 신호 처리도 수행되지 않는다. |
| 구름(220) |
물체가 적은 양의 공간적 디테일을 가진다. |
낮은 공간 주파수에서 흐림이 제거되도록 신호 처리가 조정된다. |
| 잔디(230) |
물체가 높은 공간적 디테일하지만 낮은 콘트라스트를 가진다. |
초과적인 급격해짐이 없는 모든 공간 주파수에서 흐림을 제거하도록 신호 처리가 조정된다. 증폭된 노이즈가 신호를 압도할 수 있기 때문이다. |
| 그림자(240) |
물체가 매우 낮은 농도(세기)를 가진다. |
흐림을 제거하기 위한 어떤 신호 처리도 수행되지 않는다. |
| 울타리(250) |
물체가 중간 공간적 디테일과 높은 콘트라스트를 가진다. |
낮은 공간 주파수와 중간 공간 주파수에서 흐림이 제거되도록 신호 처리가 조정된다. |
| 태양(260) |
농도는 센서를 포화시킨다. |
흐림을 제거하기 위한 어떤 신호 처리도 수행되지 않는다. |
| 바스켓(270) |
물체가 높은 공간적 디테일과 높은 콘트라스트를 가진다. |
높은 공간 주파수와 낮은 공간 주파수에서 흐림을 제거하도록 신호 처리가 조정된다. |
| 풍선(280) |
물체가 색상 변화의 형태로 중간 공간적 디테일을 가진다. |
적당한 색상 채널에서, 흐림이 낮은 공간 주파수와 중간 공간 주파수에서 제거되도록 신호처리가 조정된다. |
표 2. 대표적인 흐림 제거 어플리케이션과 대응하는 프로세싱 파라미터들.
흐림 제거 블록(예: 흐림 제거 및/또는 흐림 및 필터링 블록들, 도 25의 2540, 도 26의 2642, 2644 또는 도 27의 2742, 2744 중의 어떤 것)은 또한 도 28에 요약된 바와 같이, 다른 공간 주파수에서 작동하는 분리 처리들의 가중 버전(weighted versions)을 생성하고 더할 수 있다.
도 28은 흐림 제거 블록(2800)이 어떻게 다양한 공간 필터 주파수의 가중 요인(weighted factors)들에 따라 전자 데이터를 처리할 수 있는지를 설명한다. 입력 전자 데이터(예: 획득 데이터)는 데이터(2810)로서 공급된다. 입력 전자 데이터(예: 도 27의 공간 파라미터 추정기 블록(2730)이나 색상 파라미터 추정기 블록(2731)에 의해)의 공간 주파수 내용 분석은 프로세싱 파라미터(2820)를 결정한다. 필터 2830, 2835, 2840, 및 2845는 가공 데이터(2880)를 형성하기 위하여 가산기(2870)에서 가산되기 이전에, 가중치(weight) 2850, 2855, 2860, 2865로 가중되는 출력을 형성하는 비(非)-, 저대역(low)-, 중대역(mid)-, 고대역(high) 공간 주파수 필터들이다. 예를 들면, 비(非)-, 저대역(low)- 공간 주파수 필터링 용 필터 2830과 2835는 균일한 이미지 영역(예: 도 2의 파란 하늘 영역(210). 거기에는 이미지 디테일이 없거나 매우 적다.)의 처리를 위하여 각각 높은 가중치 2850과 2855를 가진다. 그리고 고대역 공간 주파수(예: 좋은 디테일(fine detail)을 가지는 도 2의 장면(200)의 잔디(230), 울타리(250), 또는 바스켓(270) 영역)를 가지는 영역을 처리하기 위한 낮은 가중치 2850과 2855를 가진다.
흐림 제거 블록(2800)은 따라서, 출력 또는 추가 이미지 처리용으로서 가공 전자 데이터(2880)를 내보내기 전에, 도시된 바와 같이, (a)가중치 2850, 2855, 2860, 및 2865를 선택하기 위하여 프로세싱 파라미터(2820)를 이용하고, (b)필터 2830, 2835, 2840, 및 2845의 가중 버전(weighted version)을 생성하고, (c)그 가중된 버전들을 더한다. "낮은(low)", "중간(mid)", "높은(high)" 공간 주파수에 대응하는 3개의 공간 주파수 필터들 대신에, 공간 주파수 스펙트럼은 둘이나 셋 이상의 공간 주파수 영역으로만 분할될 수 있다. 예시된 작동 순서(sequence)는 반대로 될 수 있다. 즉, 각 채널은 가중치가 적용된 후에 주파수 필터링을 수행할 수 있다.
흐림 제거는 또한 디지털 이미지의 다른 색상 구성요소에 대응하는 채널들과 같은, 복수의 채널들 상에서도 수행될 수 있다. 도 29는 M개의 다중 채널에 걸쳐 N개의 처리를 위한 가중된 흐림 제거의 일반화(generalization)를 보여준다. 1 내지 M 채널들은, 예를 들면, 3 채널 RGB 이미지의 각각의 색일 수 있고, M=3이다(적당한 수의 흐림 제거 블록을 표시하는 생략부호는 채널들의 어떤 번호 M을 뒷받침하도록 이용될 수 있다). 흐림 제거 블록 2900과 2902는 M 채널 시스템 용 흐림 제거 블록들을 나타낸다. H1 내지 HN은, 예를 들면, 공간 주파수 의존 필터들을 나타낸다(예: 각각의 흐림 제거 블록 2900과 2902에 대해 반복되고 공간 주파수 필터들의 어떤 번호 N에 대해 반복됨으로써 생략부호로 표시된 도 28의 공간 주파수 필터 2830, 2835, 2840 및 2845). 가중치1 내지 가중치N의 각각의 흐림 제거 블록 2800, 2802 용 가중치는 각각 프로세싱 파라미터 2920, 2922에 따라 조정된다. 각각의 흐림 제거 블록 2900, 2902의 출력은 각각 가공 데이터 2980과 2982이다.
[비선형 프로세싱- 기술(NONLINEAR PROCESSING - TECHNIQUES)]
도 30(a) 내지 도 30(d)는 비선형 프로세스가 추가 처리된 이미지를 형성하기 위하여 남아있는 흐림(blur)을 제거하는 동안에 프리필터(prefilter)가 일정한 비율의 흐림 제거를 수행하는 시스템의 작동을 설명한다. 도 30(a)는 이미지화되는 물체를 보여주고, 도 30(b)는 위에서 상기 식 1에 의해 정의된 위상(r,θ)로 파면 코딩을 실행하는 코사인 광학계를 이용하여 형성된 중간 이미지(intermediate image)를 나타낸다. 여기에서, n=7, 0≤r≤1, a1= 5.4167, a2= 0.3203, a3= 3.0470, a4= 4.0983, a5= 3.4105, a6= 2.0060, a7= -1.8414, w= 3, 0≤θ≤2π 라디안, 및
도 30(c)는 단일 합(unity sum)과 0.8729의 RMS 값을 가지는 프리필터 핵(prefilter kernel)로 전자 데이터의 선형 컨볼루션을 수행함으로써의 프리필터링 이후의 도 30(b)로부터의 전자 데이터를 나타낸다. 그 프리필터 핵의 그 단일 합은 프리필터링된 이미지(도 30(c))의 평균 농도가 중간 이미지(도 30(b))의 평균 농도와 같다는 것을 의미할 수 있다. 하지만, 이러한 문맥에서, "단일 합"은 하나(one)와는 대조적으로, 적어도 프리필터링 후의 하나하나의 농도의 합이 스칼라(scalar)와 같을 수 있다는 것을 의미한다. 왜냐하면 프리필터링은 부동 소수점 계산 대신에 정수 배와 합산을 실행하는 하드웨어에 의해 실행될 수 있기 때문이 다. 1.0 미만의 RMS 값은 프리필터링된 이미지 내의 노이즈가 중간 이미지의 노이즈와 비교하여 감소된 것을 의미한다.
필터 핵(filter kernel)은 복소수 자기상관(complex autocorrelation) 
을 다음의 (식 3)으로 정의되는 가우시안 형상 타겟(Gaussian shaped target) q(r,θ)으로 나눔으로써 유도될 수 있다. 
....(식 3)
여기에서, -1≤x≤1, -1≤y≤1, 반지름 0≤r≤1, 0≤θ≤2π라디안, b=2.5 이다. 가우시안 이외의 타겟 형상도 또한 이용될 수 있다. 나눈 후에, 그 나누기 결과는 푸리에 역변환되고, 실수 부분은 필터 핵을 얻기 위하여 취해진다. 상기 도면에서 볼 수 있는 바와 같이, 도 30(c)는 프리필터링 작동 후에 계속해서 흐려진다.
도 30(d)는 "Diffusion PDES on Vector-Valued Images"(IEEE Signal Processing Magazine, pp.16-25, vol.19,no.5, September 2002)에 기술된 것과 같은 쇼크-필터(shock-filter) 루틴(routine)을 실행함으로써 도 30(c)로부터 얻어진다. 도 30(d)는 도 30(a)로 나타내어진 최초의 물체를 많이 닮은 것으로 보일 수 있다.
도 31(a) 내지 도 31(d)는, 도 31(a) 내지 도 31(d)에서 프리필 터(prefilter)가 형성되어 그것이 1.34의 RMS 값을 갖는 것을 제외하고, 도 30(a)-도 30(d)에서 설명된 것과 유사한 시스템의 기능을 설명한다. 1.0보다 더 큰 프리필터 RMS 값은 가공 이미지에서의 것보다 더 큰 노이즈 증폭으로 유도한다.
도 31(a)는 이미지화될 물체를 나타내고, 도 31(b)는 위의 방정식 1에 의해 기술된 동일 위상(r,θ) 함수를 실행하는 코사인(cosine) 광학계를 이용하여 도 31(a)로부터 형성된 중간 이미지를 나타낸다. 도 31(c)는 1.34의 프리필터 RMS 값으로 유도하는, 방정식 2에서의 b의 값이 2.1로 형성된 핵(kernel)으로 프리필터링한 후, 도 31(b)에 대응하는 데이터를 나타낸다. 도 31(d)는 도 30(a)～도 30(d)와 관련하여 위에서 설명된 쇼크-필터 루틴을 실행함으로써 도 31(c)로부터 얻어진다. 도 31(d)는 도 30(d)와 비교하여, 사용된 필터 때문에 인공물(artifact)을 포함한다는 것을 제외하고, 항목 A로 도시된 최초의 물체를 아주 닮은 것으로 보일 수 있다.
비선형의 그리고 공간적으로 변하는 프로세싱은, 예를 들면, 온도에 의해 유발된 광학계에서의 변화를 보상하기 위하여 또한 이용될 수 있다. 이미징 시스템의 광학계 내에 또는 근접하여 있는 온도 검출기는 광학계의 온도를 보상하기 위한 처리를 조정하는 필터 핵을 결정할 수 있는 프로세서에 입력을 제공할 수 있다. 예를 들면, 시스템은 광학계의 온도에 의존하여 선택된 파라미터를 이용하여 각 이미지의 처리를 위한 필터 핵을 룩업 테이블(lookup table)로부터 얻을 수 있다. 다른 방편으로, 일련의 필터 핵들이 저장될 수 있고, 룩업 테이블은 상기 광학계의 온도에 의존하는, 적절한 필터 핵을 적재하기 위하여 이용될 수 있다.
도 32(a)～도 32(d)는 온도에 의해 유발된 광학계에 있어서의 변화에 대한 보상을 예시한다. 모의실험된 광학 시스템에 있어서, 제2 온도 temp2에서의 작동은 공칭 온도 temp1에서의 시스템의 성능과 비교하여 2차원 1/2파 초점 흐려짐 수차를 야기한다. 이러한 결과는 위상(r,θ)temp2 = 위상(r,θ)temp1 + 0.5r2 (여기서, 0≤r≤1)로 표현될 수 있다. 따라서, 광학계가 온도 temp2에 있을 때 획득된 데이터 스트림(stream)으로 이용될 수 있는 프리필터 핵은 자기상관(autocorrelation)인
을 위의 방정식 3에서 기술된 가우시안(Gaussian) 타겟으로 나눔으로써 얻어질 수 있다. 이것은 좌측 하부에 도시된 필터로부터 우측 하부에 도시된 필터까지의 주파수 공간, 즉 공간 좌표로 나타내보인 양 표현에 있어서의 필터의 표현을 변형시킨다.
도 32(a)～도 32(d)는 온도 의존의 광학계를 이용하는 시스템을 제외하고, 도 30(a)～도 30(d) 및 도 31(a)～도 31(d)에 도시된 동일한 물체의 이미지를 보여준다. 도 32(a)는 이미지화된 물체를 나타낸다. 도 32(b)는 온도 temp1에서 위의 방정식 1에 의해 기술된 동일한 위상(r,θ) 함수를 실행하는 코사인 광학계들을 이용하여 형성된 중간 이미지를 나타내지만, 도 32(b)에서의 이미지는 오류초점 수차의 1/2파를 부가하여, 온도 temp2에서 얻어진다. 도 32(c)는 위에서 설명된 1/2파 오류초점 수차 보정을 포함하는 프리필터로 프리필터링한 후의 도 32(b)의 전자 데이터를 나타낸다. 도 32(d)는 도 30(a)～도 30(d)와 관련하여 위에서 설명된 쇼크- 필터 루틴을 실행함으로써 도 32(c)로부터 얻어진다. 도 32(d)는 도 32(a)로 나타내보인 최초의 물체를 닮은 것으로 보일 수 있다.
도 33은 이미지화될 물체(3300)를 보여주며, 공간적으로 변하는 프로세싱을 결정하기 위하여 색상 농도 정보가 어떻게 이용될 수 있는지를 설명한다. 물체 (3300)에 포함된 다이아몬드(3320)는 색상 정보를 갖지만, 농도 정보를 갖지는 않는다. 즉, 다이아몬드(3320)와 배경(3310)은 동일한 전체 농도를 갖는 상태로, 다이아몬드(3320)는 오렌지색(제1 사선 채움으로 표시된)인 반면에 배경(3310)은 회색(제2 사선 채움으로 표시된)이다. 물체(3300) 내에 있는 크로스바(3330)는 색상 및 농도 정보를 갖는다. 즉, 그들은 핑크색(교차된 수평선 및 수직선 채움으로 표시된)이고 배경(3310)보다 더 밝다. 물체(3300)의 다른 부분들의 정보 내용에 있어서의 차이는 도 34(a)～도 34(c) 및 도 35(a)～도 35(c)에 도시된 바와 같이, 물체(3300)의 적-녹-청(RGB) 및 휘도-색차(YUV) 이미지들의 방식으로 아래에서 설명된다. 숫자들 3310, 3320 및 3330은 비록 그러한 특징들의 외관이 도 33에서의 외관과 다르다할지라도 도 33에 도시된 동일한 배경, 다이아몬드 및 크로스바 특징들을 표시하도록 다음의 그림들에서 이용된다는 것을 유념해야 한다.
도 34(a)～도 34(c)는 이미징 물체(3300)로부터 얻어진 RGB 이미지들을 보여준다. 이미지 3400은 R(red) 채널의 데이터를 보여주고, 이미지 3410은 G(green) 채널의 데이터를 보여주며, 이미지 3420은 B(blue) 채널의 데이터를 보여준다. 도 34(a)～도 34(c)에서 볼 수 있는 바와 같이, 다이아몬드(3320) 및 크로스바(3330)는 각 이미지들 3400, 3410 및 3420에서의 배경(3310)과 대조하여 선명하게 보인 다.
하지만, 물체(3300)가 휘도(Y) 및 색차(U 및 V) 채널들로 변환되면, 다이아몬드(3320)는 Y 채널에 존재하지 않는다. 도 35(a)～도 35(c)는 이미징 물체(3300)로부터 얻어진 YUV 이미지들을 보여준다. 이미지 3500은 Y(농도) 채널의 데이터를 보여주고, 이미지 3510은 U(제1 색차) 채널의 데이터를 보여주며, 이미지 3520은 V(제2 색차) 채널의 데이터를 보여준다. U 및 V 채널 이미지들(3510)(3520)은 다이아몬드(3320)와 크로스바(3330) 양쪽 모두를 보여주지만, Y 채널 이미지(3500)는 단지 크로스바(3330)만을 보여주고, 다이아몬드(3320)를 보여주지 못한다.
따라서, 물체(3300)에 있어서의 다이아몬드(3320)와 크로스바(3330) 양쪽 모두는, RGB 포맷(도 34(a)～도 34(c) 참조)으로 처리될 때, 3개의 색상(RGB) 채널의 각각에 있어서의 정보를 나타내지만, 다이아몬드(3320)는 YUV 포맷으로 처리될 때 Y 채널(도 35(a))에 있어서의 정보를 나타내지 못한다. 비록 YUV 포맷이 어떤 장치들에서는 선호된다 할지라도, Y 정보의 결핍은 이미지의 효과적인 재구성을 방해할 수 있다.
농도(세기) 정보의 부재를 검출하고 그에 따른 처리를 수정하는 프로세싱(때때로 "적응적 재구성(adaptive reconstruction)"으로 지칭되는)은 농도(세기) 정보의 부재에 따라 처리를 변경하지 않는(때때로 "부적응적 재구성(non-adaptive reconstruction)"으로 지칭되는) 시스템과 비교하여 우수한 처리 이미지를 산출할 수 있다. 다시 말해서, 적응적 처리는 정보가 하나의 채널로부터 완전히 빠져 있는 경우 가공 이미지를 개선할 수 있다.
도 36(a)～도 36(c)는 전술된 바와 같은 코사인 광학계를 이용하여, 이미지를 YUV 포맷으로 변환하는 이미징 시스템을 통해 얻어진, 물체(3300)에 관한 전자 데이터 3600, 3610 및 3620을 각각 보여준다. 다이아몬드(3320)는 U 및 V 전자 데이터 3610 및 3620의 각각에 있어서 각각 인식될 수 있지만, Y 전자 데이터 3600에 있어서는 인식될 수 없다.
도 37(a)～도 37(c)는 도 36(a)～도 36(c)에 도시된 YUV 전자 데이터가 처리되어 다시 RGB포맷으로 변환된 때 얻어진 결과를 나타낸다. 도 37(a)～도 37(c)는 R 전자 데이터(3700), G 전자 데이터(3710) 및 B 전자 데이터(3720)를 각각 보여준다. 각 채널에 있어서의 전자 데이터, 특히 G 전자 데이터(3710)는 도 34(a)～도 34(c)에 도시된 최초의 RGB 데이터와 다르다는 것을 주의해야 한다. RGB 전자 데이터(3700)(3710) (3720)에 있어서, 코사인 광학계로 생성된 다이아몬드(3320)는 3개의 R,G,B 채널 모두에서 보여진다.
도 38(a)～도 38(c)는 이미지의 RGB 재구성이 YUV 이미지의 Y 채널만을 사용하는 경우에 얻어진 결과를 나타낸다. 도 38(a)～도 38(c)는 R 전자 데이터(3800), G 전자 데이터(3810) 및 B 전자 데이터(3820)를 각각 보여준다. Y 채널 정보만의 사용은 모든 채널에 있어서 저하된 이미지 품질을 갖는 RGB 이미지들의 결과로 되는 것으로 보인다.
도 39(a)～도 39(c)는 전자 데이터(3900)에 있어서의 농도(세기) 정보의 결핍(예를 들면, 다이아몬드(3320)의 결핍)에 따라 프로세싱이 변경된 상태에서, YUV 전자 데이터(3900, 3910 및 3920)가 처리되어 다시 RGB포맷으로 변환된 때 얻어진 결과를 나타낸다. 도 39(a)～도 39(c)는 R 전자 데이터(3900), G 전자 데이터(3910) 및 B 전자 데이터(3920)를 각각 보여준다. 전자 데이터 3900, 3910 및 3920은 전자 데이터 3800, 3810 및 3820(도 38)에서 보다 다이아몬드(3320)가 더욱 꽉 죄어져 있는 - 즉, 물체(3300)에 있어서의 곧게 뻗은 선들이 더욱 곧게 뻗어 있는 - 것을 보여준다는 것을 주목해야 한다. 또한, 전자 데이터 3910(green channel)은 전자 데이터 3810보다 더 물체(3300)처럼 보인다. 따라서, Y, U, V 채널 모두를 이용한 재구성은 오직 Y채널만을 사용하는 재구성보다 모든 채널에서 개선된 품질을 갖는 RGB 이미지의 결과로 된다.
[비선형 프로세싱-실행(NONLINEAR PROCESSING - IMPLEMENTATION)]
다양한 비선형 연산들(operations)은 여기에서는 "연산자(operators)"로 분류될 수 있고, 흐림 제거 블록(예를 들면, 흐림 제거 및/또는 흐림 및 필터링 블록들, 도 25의 2540, 도 26의 2642, 2644 또는 도 27의 2742, 2744 중의 어떤 것)으로 이용될 수 있다. 문턱(한계) 연산자는, 예를 들면, 어떤 문턱(한계)치(예를 들면, 화소 또는 색상 농도값)를 초과하는 또는 미만의 전자 데이터를 버리거나 수정할 수 있다. 문턱(한계) 연산자는 그레이스케일(grayscale) 이미지로부터 이진 이미지를 생성할 수 있고, 바이어스(bias)를 잘라내거나 색의 포화도를 생성할 수 있으며, 모든 이미지 데이터에 대하여 동일한 방식으로 작용할 수 있거나 전자 데이터에 의존하여 변경될 수 있다. 가장자리 개선 연산자는 예를 들면, 가장자리들을 식별하여 그 가장자리들의 근처에 있는 전자 데이터를 수정할 수 있다. 가장자리 개선 연산자는 가장자리를 식별하기 위하여 미분기 또는 웨이블릿(wavelet) 변환과 같은 직접적으로 민감한 변환을 이용할 수 있고, 하나의 이미지에 있어서의 모든 가장자리들의 동일한 개선을 수행할 수 있거나, 그 이미지의 여러 부분들에 대하여 가장자리 개선을 변경할 수 있다. 굴곡 강조 연산자는 예를 들면, 굴곡들을 식별하여 굴곡들 근처에 있는 전자 데이터를 수정할 수 있다. 굴곡 강조 연산자는 쇼크 필터들 및 "Diffusion PDEs on Vector-Valued Images"(IEEE Signal Processing Magazine, pp.16-25, vol.19, no.5, Sept.2002)에 기술되어 있는 것과 같은 확산 연산자들을 포함할 수 있다. 굴곡 강조 연산자는 하나의 이미지에 있어서의 모든 굴곡들에 관하여 동일한 수정을 수행할 수 있거나, 그 이미지의 여러 부분들에 대한 수정을 변경할 수 있다. 기울기 연산자는 전자 데이터에 있어서의 기울기들을 식별할 수 있고, 하나의 이미지에 있어서의 모든 기울기들에서 그 전자 데이터를 동일하게 수정할 수 있거나, 그 이미지의 여러 부분들에 대한 수정을 변경할 수 있다. 기울기 연산자는 인접하는 화소값들 사이의 차이(예를 들면, 국부적인(local) 기울기)에 근거하여 이미지들을 처리하기 위하여 사용될 수 있다. 확산 연산자는 균질한 또는 비균질한 영역들을 식별할 수 있고, 그 균질한 또는 비균질한 영역들에서 연산을 수행할 수 있거나, 추가적인 처리를 위한 영역들을 식별할 수 있다.
도 40은 흐림 제거 블록(4000)(예를 들면, 흐림 제거 및/또는 흐림 및 필터링 블록들, 도 25의 2540, 도 26의 2642, 2644, 또는 도 27의 2742, 2744 중의 어떤 것)이 어떻게 비선형 연산자들의 가중 합계를 생성할 수 있는지를 예시한다. 도 40은 전자 데이터 출력(4080,4082)을 출력으로서 또는 그 이상의 이미지 처리를 위해 통과시키기 전에, 비선형 연산자들을 처리하여 그들의 출력을 합산하는 흐림 제 거 블록들(4000,4002)(또는 생략부호에 의해 표시된 바와 같이, 흐림 제거 블록들의 어떤 번호 M)을 보여준다. 전자 데이터의 분석(예를 들면, 도 27의 공간 파라미터 추정기 블록(2730) 또는 색상 파라미터 추정기 블록(2731)에 의한)은 선택적 처리 파라미터(4020,4022)를 결정할 수 있고, 다른 방편으로, 각 흐림 제거 블록 (4000,4002)은 고정 가중치를 사용할 수 있다. 예시된 작동 순서는 반대로 될 수 있다. 즉, 각 채널은 가중치를 적용하여 출력값들을 합산하기 전에 비선형 연산자들을 적용할 수 있다.
도 41은 흐림 제거 블록(4100)(예를 들면, 흐림 제거 및/또는 흐림 및 필터링 블록들, 도 25의 2540, 도 26의 2642, 2644, 또는 도 27의 2742, 2744 중의 어떤 것)이 어떻게 하나의 이미지의 서로 다른 데이터 세트상에서 다른 방식으로 작용하는 비선형 연산자들을 포함할 수 있는지, 또는 서로 다른 이미지 채널들 상에서 작용할 수 있는지를 예시한다. 입력 전자 데이터 채널들(4110,4112)(그리고, 생략부호로 표시된 바와 같이, M 전자 데이터 채널까지)은 이미지 입력 파라미터들(4120,4122)(그리고 입력 파라미터들에 대응하는 M에 이르기까지)에 의존하는 서로 다른 연산자들에 의해 작동될 수 있다. 도 41에 도시된 비선형 연산자들은 문턱(한계) 연산자(4140), 가장자리 개선 연산자(4142), 굴곡 강조 연산자(4144), 기울기 연산자(4146) 및 확산 연산자(4148)를 포함하지만, 다른 비선형 연산자들도 또한 이용될 수 있다. 출력 데이터(4180,4182,4184,4186,4188)는 출력으로서 또는 그 이상의 이미지 처리를 위해 통과될 수 있다.
도 42는 흐림 제거 블록(4200)(예를 들면, 흐림 제거 및/또는 흐림 및 필터 링 블록들, 도 25의 2540, 도 26의 2642, 2644, 또는 도 27의 2742, 2744 중의 어떤 것)이 어떻게 하나의 이미지의 서로 다른 데이터 세트로부터, 또는 서로 다른 채널들로부터, 직렬 또는 병렬 형태로, 또는 반복적으로 전자 데이터를 처리할 수 있는지를 예시한다. 입력 전자 데이터 채널들(4210,4212)(그리고, 생략부호로 표시된 바와 같이, M 전자 데이터 채널까지)은 이미지 입력 파라미터들(4220)(그리고 N개의 입력 채널들에 대응하는, 도시되지 않은, M개의 상응하는 입력 파라미터들에 이르기까지)에 의존하는 서로 다른 연산자들에 의해 작동될 수 있다. 도 42에 도시된 비선형 연산자들은 문턱(한계) 연산자(4240), 가장자리 개선 연산자(4242), 굴곡 강조 연산자(4244), 기울기 연산자(4246) 및 확산 연산자(4248)를 포함하지만, 다른 비선형 연산자들도 또한 이용될 수 있다. 출력 데이터(4288)는 출력으로서 또는 그 이상의 이미지 처리를 위해 통과될 수 있다. 따라서 하나의 비선형 연산자(예를 들면, 부분적으로 가공 전자 데이터)로부터의 결과는, 도시된 바와 같이 이미지 처리과정의 다음 부분으로 보내지기 전에 또 하나의 비선형 연산자에 의해 더 처리될 수 있다. 반복적인 처리과정이 사용될 수 있다. 즉, 주어진 데이터 스트림이 도시된 비선형 연산자들 중의 어느 하나를 통해 반복적으로 처리될 수 있다. 반복적인 처리과정이 사용되는 경우, 처리과정은 고정된 시퀀스 또는 다수의 반복으로 반복될 수 있거나, 최종 이미지에 대한 가치있는 형상이 만나질 때까지 진행할 수 있다.
비선형 및/또는 공간적으로 변하는 프로세싱을 사용하는 시스템은 그 이상의 처리를 위한 데이터를 준비하기 위하여 프리필터(prefilter)를 유리하게 이용할 수 있다. 프리필터는 하나 이상의 이미지 영역들에 대하여 입력 전자 데이터 및 프로세싱 파라미터들로 받아들일 수 있다. 특정 프리필터는 프로세싱 파라미터를 이용하여 출력을 산출할 수 있다. 예를 들면, 프리필터는 전통과(all-pass) 필터, 저역 통과(low-pass) 필터, 고역통과(high-pass) 필터 또는 대역통과(band-pass) 필터일 수 있다. 필터 형태 간의 관계, 프로세싱 파라미터 및 프리필터의 출력은 아래의 표 3에 나타내어진다.
| 프리필터 형태 | 프로세싱 파라미터 | 출 력 |
| 전통과 |
가공 응답은 RMS값의 증가 또는 감소를 갖지 않는다. | 비대칭형 응답으로 시작하여, 흐림 제거를 수행하는 비선형 신호 처리에 더 적합한 대칭형 응답을 형성한다. |
| 저역통과 |
가공 응답은 RMS값에 있어서 작은 감소(0.5≤△RMS≤1.0)를 갖는다. | 적극적인 흐림 제거를 수행하는 비선형 신호처리에 더 적합한 더 부드러운 이미지를 제공한다. |
| 대역통과 또는 고역통과 | 가공 응답은 RMS값에 있어서 작은 증가(1.0≤△RMS≤1.5)를 갖는다. | 비적극적인 흐림 제거를 수행하는 비선형 신호처리에 더 적합한 더 선명한 이미지를 제공한다. |
표 3. 프리필터 형태, 프로세싱 파라미터 및 출력
추가적으로, 전통과 또는 저역통과 필터는 대역통과 또는 고역통과 필터가 노이즈 증폭 때문에 저질의 처리 이미지에 공헌할 수 있는 낮은 신호대 잡음(signal-to-noise) 장치들에 바람직할 수 있다.
[사용자-최적화 프로세싱을 위한 사용자 선호요소의 획득(CAPTURE OF USER PREFERENCES FOR USER-OPTIMIZED PROCESSING)]
도 43은 이미지 특성 개선을 위한 프로세스 파라미터를 선택하기 위한 방법 (4300)의 플로우차트를 보여준다.
방법(4300)은 본래의 특성과 관련된 프로세싱 파라미터들 및 특정 사용자가 이미지 품질과 연합하는 요인들을 정량화하기 위해 마련된다. 방법(4300)은 선택적인 준비 단계(4305)로 시작하며, 여기에서 어떤 필수적인 구성 작업들이 수행된다. 예를 들면, 노출 시간, 조리개 및 디지털 이미지 형성이 단계 4305에서 결정되거나 구성될 수 있다. 단계 4305 이후, 방법(4300)은 사용자가 평가하기 위한 이미지를 제공하는 단계 4310으로 진행한다. 단계 4310은 단계 4305에서 결정된 세팅값들을 이용하고 있는 하나 이상의 이미지들을 제공할 수 있거나, 저장된 이미지들의 라이브러리(library)로부터 하나 이상의 이미지들을 제공할 수 있다. 다음에, 단계 4315에서 하나의 특성이 선택되고, 그러한 특성은 예를 들면, 선명도, 휘도, 콘트라스트, 색상의 풍부함(colorfulness) 및/또는 색채의 화려함(noisiness)을 포함할 수 있다. 단계 4320에서, 단계 4310에 의해 제공된 이미지가 선택된 특성과 관련된 알고리즘에 의해 가공된다. 예를 들면, 만일 선명도가 선택된 특성이면, 윤곽을 선명하게 하는 또는 윤곽을 흐리게 하는 알고리즘이 선명해진 또는 흐려진 일련의 이미지들을 산출하는 변화도로 이미지에 적용된다. 다음에, 단계 4325에서, 일련의 가공 이미지들이 디스플레이 장치를 통해 검토를 위해 사용자에게 주어진다. 일련의 이미지들은 예를 들면, 선명성 파라미터들의 내정값 세트를 적용함으로써 개별적으로 흐려진, 약간 선명해진, 그리고 매우 선명해진 3개의 이미지로 구성된 하나의 세트(3개의 이미지로 구성된 하나의 세트는 대표적인 것이다; 2개, 4개 또는 그 이상의 이미지들이 또한 주어질 수 있다)를 포함할 수 있다. 단계 4330에서, 사용자는 이미지들 중의 어느 것이 개선된 이미지로서 수용될 수 있는지를 판별한다. 만일 주어진 이미지들 중의 아무 것도 수용될 수 없으면, 방법 4300은 단계 4335로 진행하고, 그곳에서 프로세싱 변경이 요청될 수 있으며(예를 들면, 더욱 또는 덜 선명함), 단계 4320으로 되돌아간다. 만일 주어진 이미지들 중의 하나 이상이 수용될 수 있으면, 사용자에게 최고로 수용될 수 있는 이미지가 단계 4340 동안에 선택된다. 일단 하나의 이미지가 단계 4340 동안에 선택되면, 단계 4345에서, 선택된 특성의 처리와 관련된 세팅값 및 파라미터들이 후일의 (정보)검색을 위해 저장된다. 다음에, 단계 4350에서, 사용자는 상기 이미지의 그 이상의 특성을 선택하고 수정할 선택권을 부여받는다. 만일 결정이 또 다른 특성을 수정하는 것으로 되면, 방법 4300은 환상(環狀)의 통로(755)를 통해 단계 4315로 되돌아가고, 또 다른 특성이 선택될 수 있다. 만일 결정이 다른 특성을 수정하지 않는 것으로 되면, 방법 4300은 단계 4360으로 진행하고, 여기에서 가공 이미지가 주어진다. 설명의 뒤를 이어, 방법 4300은 종료 단계 4365로 끝나며, 여기에서 메모리 클리어링과 같은 마무리 작업 또는 디스플레이 장치가 실행될 수 있다.
위에서 설명된 변경들, 그리고 다른 것들은, 이것의 범위로부터 벗어남없이 여기에 설명된 비선형 및/또는 공간적으로 변하는 프로세싱으로 이루어질 수 있다. 따라서 위의 설명에 포함된 또는 첨부된 도면에 도시된 사항들은 예시적인 것으로 해석되어야 하고 한정하는 의미로 해석되어서는 아니된다는 점에 유의해야 한다. 다음의 청구범위는, 언어적 관점에서 그 사이에 포함되는 것으로 말해질 수 있는, 본 방법과 시스템의 범위의 모든 진술내용 뿐만 아니라, 여기에 설명된 모든 일반적인 그리고 특정한 특징들을 망라하는 것으로 의도된다.
Claims (82)
- 하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면(wavefront) 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고,적어도 (a)상기 광학 이미지의 공간 영역과 관련된 전자 데이터의 특성과, (b)하나 이상의 이미지 특성들과, (c) 상기 전자 데이터 내의 복수의 등화(等化) 부분 집합의 각각에 대한 파워 스펙트럼 추정치에 근거하여 상기 하나 이상의 데이터 세트를 분류하고,하나 이상의 파워 스펙트럼 추정치에 있어서 우세한 공간 주파수(dominant spatial frequency)들을 식별하고,가공 전자 데이터(processed electronic data)를 형성하기 위해, 상기 우세한 공간 주파수(dominant spatial frequency)들을 근거로 하여 상기 데이터 세트 각각에 대한 필터를 생성함으로써, 상기 분류의 결과에 근거하여 상기 하나 이상의 데이터 세트를 독립적으로 처리하는 디지털 신호 처리기;를 포함하여 이루어지는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 이미징 시스템은 상기 하나 이상의 위상 변경 요소를 갖지 않는 시스템과 비교하여 확장된 피사계 심도(depth of field)를 갖는 것을 특징으로 하는 이미징 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,상기 디지털 신호 처리기는 Sobel, Prewitt, Roberts, Laplacian of Gaussian, zero cross 및 Canny 방식 중의 하나를 이용함으로써 상기 공간 영역들 중의 하나에 있어서의 적어도 하나의 가장자리를 식별하도록 구성된 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 전자 데이터는 하나 이상의 색상 채널을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제8항에 있어서,상기 디지털 신호 처리기는 상기 하나 이상의 색상 채널의 색상 정보 내용에 근거하여 상기 하나 이상의 데이터 세트를 분류하도록 구성된 것을 특징으로 하는 이미징 시스템.
- 제8항에 있어서,상기 디지털 신호 처리기는 상기 하나 이상의 색상 채널 내에 있는 공간 주파수 정보에 근거하여 상기 하나 이상의 데이터 세트를 분류하도록 더 구성된것을 특징으로 하는 이미징 시스템.
- 제8항에 있어서,상기 디지털 신호 처리기는 상기 하나 이상의 색상 채널 내에서의 농도 정보 에 근거하여 상기 하나 이상의 데이터 세트를 분류하도록 더 구성된 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 전자 데이터는 하나 이상의 농도 채널을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제12항에 있어서,상기 디지털 신호 처리기는 상기 하나 이상의 농도 채널의 농도 내용에 근거하여 상기 하나 이상의 데이터 세트를 분류하도록 구성된 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 전자 데이터는 복수의 채널을 포함하고, 각 채널은 적어도 색상 내용 및 농도 내용을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제14항에 있어서,상기 디지털 신호 처리기는 상기 복수의 채널의 상기 색상 내용 및 농도 내용에 근거하여 상기 하나 이상의 데이터 세트를 분류하도록 구성된 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 위상 변경 요소는 파면 코딩(coding)을 실행하는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 하나 이상의 이미지 특성은 상기 디지털 신호 처리기에 의해 제거될 수 있는 흐림(blur)을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 광학계는 오류초점에 관하여 변하지 않는 형상을 갖는 PSF(Point Spread Function)에 의해 특징지워지는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 광학계, 상기 검출기 및 상기 디지털 신호 처리기는 공통의 시스템 하우징 내에 위치되는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 광학계 및 상기 검출기는 첫번째 위치에 있고 상기 디지털 신호 처리기 는 두번째 위치에 있는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 디지털 신호 처리기는 상기 광학 이미지를 상기 전자 데이터로 변환하는 상기 검출기와 동시에 상기 전자 데이터로 작동하도록 더 구성된 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 디지털 신호 처리기는 상기 검출기가 모든 광학 이미지를 상기 전자 데이터로 변환한 후, 상기 전자 데이터로 작동하도록 구성된 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 디지털 신호 처리기는 미리 설정된 명령에 따라 상기 하나 이상의 데이터 세트를 분류하도록 더 구성된 것을 특징으로 하는 이미징 시스템.
- 제23항에 있어서,상기 미리 설정된 명령은 상기 이미징 시스템의 사용자의 선호요소(preferences)에 근거하는 것을 특징으로 하는 이미징 시스템.
- 제23항에 있어서,상기 미리 설정된 명령은 상기 하나 이상의 이미지 특성에 근거하는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 디지털 신호 처리기는 상기 전자 데이터를 하나 이상의 데이터 세트로 반복적으로 세분하고,상기 하나 이상의 데이터 세트를 적어도 상기 이미지 특성에 근거하여 분류하며,상기 가공 전자 데이터를 형성하기 위하여 분류 결과를 바탕으로 상기 하나 이상의 데이터 세트를 독립적으로 처리하도록 더 구성된 것을 특징으로 하는 이미징 시스템.
- 하나의 광학 이미지를 형성하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 광학 이미지를 상기 위상 변경 요소와 검출기 중의 적어도 하나의 특성에 의존하는 하나 이상의 이미지 특성을 갖는 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 상기 하나 이상의 이미지 특성에 적어도 부분적으로 근거하여 상기 하나 이상의 데이터 세트를 분류하며, 분류의 결과를 바탕으로 상기 하나 이상의 데이터 세트의 각각을 독립적으로 처리하여, 가공 전자 데이터를 형성하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 제27항에 있어서,상기 하나 이상의 이미지 특성은 상기 하나 이상의 위상 변경 요소에 의해 유발된 흐림을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제27항에 있어서,상기 하나 이상의 이미지 특성은 상기 검출기를 특징짓는 하나 이상의 산탄 노이즈(shot noise) 및 고정형 노이즈를 포함하는 것을 특징으로 하는 이미징 시스템.
- 제27항에 있어서,상기 전자 데이터는 복수의 부분 공간을 더 포함하는 것을 특징으로 하는 이미징 시스템.
- 제30항에 있어서,상기 복수의 부분 공간은 하나 이상의 신호 부분 공간과 노이즈 부분 공간을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제27항에 있어서,상기 디지털 신호 처리기는 상기 데이터 세트의 상기 하나 이상의 이미지 특성에 근거하여, 상기 데이터 세트의 각각에 대하여 독립적으로 조정될 수 있는 정도로 상기 이미지 특성 중의 하나 이상을 변경하는 것을 특징으로 하는 이미징 시스템.
- 제27항에 있어서,상기 디지털 신호 처리기는 미리 설정된 명령에 근거하여, 상기 데이터 세트의 각각에 대하여 독립적으로 조정될 수 있는 정도로 상기 이미지 특성 중의 하나 이상을 변경하는 것을 특징으로 하는 이미징 시스템.
- 제33항에 있어서,상기 미리 설정된 명령은 상기 이미징 시스템의 사용자의 선호요소에 근거하는 것을 특징으로 하는 이미징 시스템.
- 이미징 시스템으로서,하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 적어도 상기 이미지 특성에 근거하여 상기 하나 이상의 데이터 세트를 분류하며, 분류의 결과를 바탕으로 상기 하나 이상의 데이터 세트를 독립적으로 처리하여, 가공 전자 데이터를 형성하도록 구성된 디지털 신호 처리기를 포함하며,상기 디지털 신호 처리기는 미리 설정된 명령에 근거하여, 상기 하나 이상의 데이터 세트의 각각에 대하여 독립적으로 조정될 수 있는 정도로 상기 이미지 특성 중의 하나 이상을 변경하도록 더 구성되는 것을 특징으로 하는 이미징 시스템.
- 제35항에 있어서,상기 미리 설정된 명령은 상기 이미징 시스템의 사용자의 선호요소들 중의 하나 및 상기 하나 이상의 위상 변경 요소의 특성에 근거하는 것을 특징으로 하는 이미징 시스템.
- 광학 이미지에 미리 결정론적으로 영향을 미치는 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 상기 위상 변경 요소가 상기 파면 위상을 어떻게 변경하는가에 대한 선험적 지식에 적어도 부분적으로 근거하여, 상기 데이터 세트를 분류하며, 분류의 결과를 바탕으로 상기 데이터 세트의 각각을 독립적으로 처리하여, 가공 전자 데이터를 형성하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 광학 이미지에 미리 결정론적으로 영향을 미치는 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 상기 위상 변경 요소가 상기 파면 위상을 어떻게 변경하는가에 대한 선험적 지식 및 분류 결과에 근거하여, 상기 데이터 세트의 각각을 독립적으로 처리하여, 가공 전자 데이터를 형성하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 하나 이상의 위상 변경 요소를 포함하며, 파면 위상을 변경하여 적어도 하나의 알려진 이미지 특성을 갖는 광학 이미지를 산출하는 광학계;상기 광학 이미지를, 상기 이미지 특성을 유지하면서 복수의 데이터로 분할될 수 있는 전자 데이터로 변환하는 검출기; 및상기 데이터 세트의 각각에 대해 독립적으로 조정될 수 있는 정도와 방식으로 상기 이미지 특성을 변경하도록 상기 데이터 세트를 처리하여, 가공 전자 데이터를 생성하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터의 하나 이상의 특성을 결정하고, 상기 이미지 특성을 변경하여 가공 전자 데이터를 형성하기 위하여 상기 전자 데이터의 비선형 프로세싱을 제공하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 이미징 시스템은 상기 하나 이상의 위상 변경 요소를 갖지 않는 시스템과 비교하여 확장된 피사계 심도를 갖는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 디지털 신호 처리기는 상기 비선형 프로세싱을 위해 쇼크-필터 루틴을 이용하는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 디지털 신호 처리기는 상기 비선형 프로세싱을 위해 문턱(한계) 연산자, 가장자리 개선 연산자, 굴곡 강조 연산자, 기울기 연산자 및 확산 연산자 중의 하나 이상을 실행하는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 디지털 신호 처리기는, (a)각 처리 연산자가 문턱(한계) 연산자, 가장자리 개선 연산자, 굴곡 강조 연산자, 기울기 연산자 및 확산 연산자 중의 하나인 2개 이상의 처리 연산자를 실행하고, (b)각 처리 연산자에 가중치를 할당하며, (c)각 처리 연산자의 상기 가중치에 따라 상기 처리 연산자들을 합산하는 것을 특징으로 하는 이미징 시스템.
- 제44항에 있어서,상기 각 처리 연산자에 할당된 가중치는 공간 노이즈 감소와 색상 노이즈 감소 중의 하나에 대하여 최적화되어 있는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 하나 이상의 위상 변경 요소는 파면 코딩(coding)을 실행하는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 하나 이상의 이미지 특성은 상기 전자 데이터의 처리에 의해 제거될 수 있는 흐림을 삽입하는 것을 포함하는 것을 특징으로 하는 이미징 시스템.
- 제40항에 있어서,상기 하나 이상의 이미지 특성은 광학계와 관련된 PSF(Point Spread Function)가 오류초점에 관하여 변하지 않는 형상을 갖도록 하는 것을 포함하는 것을 특징으로 하는 이미징 시스템.
- 하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 적어도 상기 이미지 특성에 근거하여 상기 하나 이상의 데이터 세트를 분류하며, 상기 하나 이상의 데이터 세트를 독립적으로 그리고 비선형적으로 처리하여, 가공 전자 데이터를 형성하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 하나 이상의 이미지 특성을 이미징 시스템에 의해 형성된 광학 이미지에 삽입하기 위하여 물체로부터의 파면의 위상을 변경(modifying)하는 단계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환(converting)하는 단계;상기 전자 데이터를 하나 이상의 데이터 세트로 세분(subdividing)하는 단계;적어도 (a) 하나 이상의 이미지 특성들,(b) 상기 광학 이미지의 공간 영역과 관련된 전자 데이터의 특성들,(c) 상기 전자 데이터 내의 복수의 등화(等化) 부분 집합의 각각에 대한 파워 스펙트럼 추정치에 근거하여 상기 하나 이상의 데이터 세트를 분류(classifying)하는 단계;여기에서, 상기 분류(classifying)단계는 하나 이상의 파워 스펙트럼 추정치에 있어서 우세한 공간 주파수(dominant spatial frequency)들을 식별하는 단계를 포함하며,가공 전자 데이터(processed electronic data)를 형성하기 위해 상기 하나 이상의 데이터 세트를 독립적으로 처리(independently processing)하는 단계를 포함하여 이루어지되,여기에서, 상기 독립적 처리(independently processing) 단계는, 각 데이터 세트의 상기 우세한 공간 주파수(dominant spatial frequency)들을 근거로 하여 상기 데이터 세트 각각에 대한 필터를 생성하는 단계와, 상기 가공 전자 데이터(processed electronic data)를 형성하기 위해 각 데이터 세트들을 그에 상응하는 필터로 필터링하는 단계를 포함하는,가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 위상을 변경하는 단계는 상기 이미징 시스템의 피사계 심도를 확장하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 제50항에 있어서,상기 분류하는 단계는 Sobel, Prewitt, Roberts, Laplacian of Gaussian, zero cross 및 Canny 방식 중의 하나를 이용함으로써 상기 공간 영역들 중의 하나에 있어서의 적어도 한 개의 가장자리를 식별하는 것을 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 광학 이미지를 전자 데이터로 변환하는 단계는 하나 이상의 색상 채널을 생성하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제57항에 있어서,상기 분류하는 단계는 상기 하나 이상의 색상 채널의 색상 정보 내용에 근거하여 분류하는 것을 더 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제57항에 있어서,상기 분류하는 것은 상기 하나 이상의 색상 채널 내에 있는 공간 주파수 정보에 근거하여 상기 하나 이상의 데이터 세트를 분류하는 것을 더 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제57항에 있어서,상기 분류하는 단계는 상기 하나 이상의 색상 채널 내에 있는 농도 정보에 근거하여 상기 하나 이상의 데이터 세트를 분류하는 것을 더 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 위상을 변경하는 단계는 파면 코딩을 이용하는 것을 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 위상을 변경하는 단계는 상기 하나 이상의 이미지 특성들 중의 하나로서 디지털 신호 처리에 의해 제거될 수 있는 흐림을 삽입하는 것을 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 위상을 변경하는 단계는 상기 이미징 시스템의 PSF가 오류초점에 관하여 변하지 않는 형상을 갖도록 하는 것을 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 세분하는 단계, 분류하는 단계 그리고 독립적으로 처리하는 것은 상기 변경하는 단계 및 변환하는 단계와 동시에 일어나는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 변경하는 단계 및 변환하는 단계는 먼저 일어나고, 상기 세분하는 단계, 분류하는 단계 그리고 독립적으로 처리하는 것은 나중에 일어나는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 분류하는 단계는 미리 설정된 명령에 따라 수행되는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제66항에 있어서,상기 이미징 시스템의 사용자의 선호요소에 따라 상기 미리 설정된 명령을 생성하는 것을 더 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제50항에 있어서,상기 세분하고, 분류하고, 독립적으로 처리하는 단계는 반복적으로 수행되는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 컴퓨터로 읽을 수 있는 미디어에 저장된 명령을 포함하는 기록 매체로서,상기 명령은, 컴퓨터에 의해 실행될 때, (a)하나 이상의 이미지 특성을 이미징 시스템에 의해 형성된 광학 이미지에 삽입하기 위하여 물체로부터의 파면의 위상을 변경하고, (b)상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환함으로써 생성된 전자 데이터를 처리하는 단계를 수행하고, 상기 명령은,상기 전자 데이터를 하나 이상의 데이터 세트로 세분하기 위한 명령;상기 하나 이상의 데이터 세트를 적어도 상기 하나 이상의 이미지 특성들에 근거하여 분류하기 위한 명령; 및가공 전자 데이터를 형성하기 위하여 상기 하나 이상의 데이터 세트를 독립적으로 처리하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제69항에 있어서,상기 분류하기 위한 명령은 (a)상기 광학 이미지의 공간 영역과 관련된 상기 전자 데이터의 특성들 및 (b)상기 하나 이상의 이미지 특성들 중의 하나를 평가하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제69항에 있어서,상기 분류하기 위한 명령은 상기 전자 데이터 내에 있는 복수의 등화(等化) 부분 집합의 각각에 대하여 파워 스펙트럼 추정치를 생성하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제71항에 있어서,상기 분류하기 위한 명령은 상기 하나 이상의 데이터 세트를 형성하기 위하여 상기 등화 부분 집합을 유사 파워 스펙트럼 추정치와 결합하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제71항에 있어서,상기 분류하기 위한 명령은 상기 파워 스펙트럼 추정치들 중의 하나 이상에 있어서의 우세한 공간 주파수를 식별하기 위한 명령을 포함하고,상기 독립적으로 처리하기 위한 명령은, 각 데이터 세트의 상기 우세한 공간 주파수에 근거하여 상기 데이터 세트의 각각에 대하여 대응하는 필터를 생성하기 위한 명령과, 가공 전자 데이터를 형성하기 위하여 상기 데이터 세트의 각각을 그 대응하는 필터로 필터링하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제69항에 있어서,상기 분류하기 위한 명령은 Sobel, Prewitt, Roberts, Laplacian of Gaussian, zero cross 및 Canny 방식 중의 하나를 이용함으로써 공간 영역들 중의 하나에 있어서의 적어도 한 개의 가장자리를 식별하기 위한 명령을 포함하는것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제69항에 있어서,상기 분류하기 위한 명령은 (a)색상 정보 내용, (b)공간 주파수 정보 및 (c)상기 전자 데이터의 하나 이상의 색상 채널의 농도 정보 중의 하나를 이용하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제69항에 있어서,상기 세분하기 위한, 분류하기 위한, 그리고 독립적으로 처리하기 위한 명령은 각각 사용자의 선호요소에 따라 세분하기 위한, 분류하기 위한, 그리고 독립적으로 처리하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 제69항에 있어서,상기 전자 데이터를 하나 이상의 데이터 세트로 반복적으로 세분하고, 상기 하나 이상의 데이터를 세트를 적어도 하나 이상의 이미지 특성에 근거하여 분류하며, 가공 전자 데이터를 형성하기 위하여 상기 하나 이상의 데이터 세트를 처리하기 위한 명령을 더 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
- 하나 이상의 이미지 특성을 광학 이미지에 삽입하기 위하여 파면 위상을 변경하는 하나 이상의 위상 변경 요소를 갖는 광학계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환하는 검출기; 및상기 전자 데이터를 하나 이상의 데이터 세트로 세분하고, 상기 하나 이상의 데이터 세트를 하나 이상의 부분 공간에서 독립적으로 처리하여, 가공 전자 데이터를 형성하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 이미징 시스템.
- 제78항에 있어서,상기 디지털 신호 처리기는 상기 하나 이상의 데이터 세트를 분류하도록 더 구성되고, 상기 독립적으로 처리하는 것은 상기 분류의 결과를 바탕으로 상기 하나 이상의 부분 공간을 독립적으로 처리하는 것을 포함하는 것을 특징으로 하는 이미징 시스템.
- 하나 이상의 이미지 특성을 이미징 시스템에 의해 형성된 광학 이미지에 삽입하기 위하여 물체로부터의 파면의 위상을 변경하는 단계;상기 이미지 특성을 유지하면서 상기 광학 이미지를 전자 데이터로 변환하는 단계;상기 전자 데이터를 하나 이상의 전자 데이터로 세분하는 단계; 및상기 하나 이상의 데이터 세트를 하나 이상의 부분 공간에서 독립적으로 처리하여 가공 전자 데이터를 형성하는 단계를 포함하는 것을 특징으로 하는 가공 전자 데이터의 생성방법.
- 제1항에 있어서,상기 이미지 특성은 신호 공간, 널(null) 공간, 간섭 부분 공간, 공간 주파수 내용, 해상도, 색상 정보, 콘트라스트 변경, 및 광학적 흐림 중의 적어도 하나를 포함하는 것을 특징으로 하는 이미징 시스템.
- 제1항에 있어서,상기 전자 데이터의 특성은 고정형 노이즈, 랜덤(random) 노이즈, 결함 픽셀, 변곡점 및 가장자리의 선명도, 에일리어싱(aliasing), 아티팩트(artifacts), 가상(ghosting), 피사계 심도(depth of field), 범위, 택스쳐(texture), 공간적 디테일(spatial detail) 중의 적어도 하나를 포함하는 것을 특징으로 하는 이미징 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US78880106P | 2006-04-03 | 2006-04-03 | |
| US60/788,801 | 2006-04-03 | ||
| PCT/US2007/065887 WO2007118097A1 (en) | 2006-04-03 | 2007-04-03 | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090012316A KR20090012316A (ko) | 2009-02-03 |
| KR101161471B1 true KR101161471B1 (ko) | 2012-07-03 |
Family
ID=38267690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087026314A KR101161471B1 (ko) | 2006-04-03 | 2007-04-03 | 비선형 및/또는 공간적으로 변하는 이미지 프로세싱을 이용한 광학 이미징 시스템 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US7911501B2 (ko) |
| EP (1) | EP2008242B1 (ko) |
| KR (1) | KR101161471B1 (ko) |
| CN (1) | CN101460975B (ko) |
| AT (1) | ATE512422T1 (ko) |
| IL (1) | IL194374A0 (ko) |
| WO (1) | WO2007118097A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11076087B2 (en) | 2018-08-08 | 2021-07-27 | Samsung Electronics Co., Ltd. | Method for processing image based on scene recognition of image and electronic device therefor |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8717456B2 (en) * | 2002-02-27 | 2014-05-06 | Omnivision Technologies, Inc. | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
| KR101160832B1 (ko) * | 2005-07-14 | 2012-06-28 | 삼성전자주식회사 | 표시 장치 및 영상 신호 보정 방법 |
| KR101301448B1 (ko) | 2006-03-06 | 2013-08-28 | 옴니비젼 씨디엠 옵틱스 인코퍼레이티드 | 줌렌즈 시스템 및 사용방식 |
| JP4775230B2 (ja) * | 2006-11-06 | 2011-09-21 | 株式会社ニコン | 画像処理装置、撮像装置、及び画像処理プログラム |
| US20080159644A1 (en) * | 2006-12-28 | 2008-07-03 | Kelly Sean C | Condition dependent sharpening in an imaging device |
| TW200842733A (en) * | 2007-04-17 | 2008-11-01 | Univ Nat Chiao Tung | Object image detection method |
| US8547444B2 (en) * | 2007-06-05 | 2013-10-01 | DigitalOptics Corporation International | Non-linear transformations for enhancement of images |
| IL189020A (en) * | 2008-01-24 | 2015-08-31 | Rafael Advanced Defense Sys | A method and device for multi-spectral imaging |
| CN101500082B (zh) * | 2008-01-29 | 2011-08-24 | 鸿富锦精密工业（深圳）有限公司 | 相机及其个人化方法 |
| US20100046624A1 (en) * | 2008-08-20 | 2010-02-25 | Texas Instruments Incorporated | Method and apparatus for translation motion stabilization |
| JP4743553B2 (ja) * | 2008-09-29 | 2011-08-10 | 京セラ株式会社 | レンズユニット、撮像装置、および電子機器 |
| JP4945806B2 (ja) * | 2008-09-30 | 2012-06-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム |
| US8928763B2 (en) | 2008-12-09 | 2015-01-06 | Abbyy Development Llc | Detecting and correcting blur and defocusing |
| US8098303B2 (en) * | 2008-12-09 | 2012-01-17 | Abbyy Software Ltd. | Method and system for restoring a motion-blurred image |
| RU2653461C2 (ru) | 2014-01-21 | 2018-05-08 | Общество с ограниченной ответственностью "Аби Девелопмент" | Обнаружение блика в кадре данных изображения |
| US8379119B2 (en) * | 2008-12-09 | 2013-02-19 | Abbyy Software Ltd. | Device and system for restoring a motion-blurred image |
| JP5264553B2 (ja) * | 2009-02-23 | 2013-08-14 | キヤノン株式会社 | 画像処理装置、及びその制御方法，プログラム |
| JP5374217B2 (ja) * | 2009-04-22 | 2013-12-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US8526754B2 (en) * | 2009-05-28 | 2013-09-03 | Aptina Imaging Corporation | System for enhancing depth of field with digital image processing |
| KR101641543B1 (ko) * | 2010-02-05 | 2016-07-21 | 삼성전자주식회사 | 영상잡음 제거장치 및 그 방법 |
| US8923546B2 (en) | 2010-07-02 | 2014-12-30 | Digimarc Corporation | Assessment of camera phone distortion for digital watermarking |
| US8754988B2 (en) * | 2010-12-22 | 2014-06-17 | Tektronix, Inc. | Blur detection with local sharpness map |
| IL210461A (en) | 2011-01-05 | 2015-07-30 | Rafael Advanced Defense Sys | A method and device for multi-spectral imaging |
| FR2977962B1 (fr) | 2011-07-13 | 2013-07-26 | Thales Sa | Systeme optique a codage de pupille asservi |
| DE102011118697B4 (de) * | 2011-11-16 | 2016-09-08 | Carl Zeiss Optronics Gmbh | Bilderfassungssystem |
| US9326008B2 (en) * | 2012-04-10 | 2016-04-26 | Google Inc. | Noise reduction for image sequences |
| JP5396626B1 (ja) * | 2012-08-09 | 2014-01-22 | 清一 合志 | 画像強調装置、画像強調方法 |
| AU350085S (en) * | 2013-01-04 | 2013-08-06 | Samsung Electronics Co Ltd | Display screen for an electronic device |
| US9374478B1 (en) * | 2013-12-03 | 2016-06-21 | Marvell International Ltd. | Adaptive image sharpening |
| US9667842B2 (en) | 2014-08-30 | 2017-05-30 | Apple Inc. | Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata |
| US9626745B2 (en) | 2015-09-04 | 2017-04-18 | Apple Inc. | Temporal multi-band noise reduction |
| KR20170048972A (ko) * | 2015-10-27 | 2017-05-10 | 삼성전자주식회사 | 영상을 생성하는 방법 및 장치 |
| US9792522B2 (en) * | 2015-12-01 | 2017-10-17 | Bloomsky, Inc. | Weather information extraction using sequential images |
| KR102683756B1 (ko) * | 2016-12-26 | 2024-07-10 | 삼성전자주식회사 | 멀티미디어 신호의 프로세싱 방법, 장치 및 시스템 |
| JP6909379B2 (ja) * | 2017-01-30 | 2021-07-28 | パーデュー・リサーチ・ファウンデーションPurdue Research Foundation | イメージングノイズ低減システムおよび方法 |
| WO2018227514A1 (zh) * | 2017-06-16 | 2018-12-20 | 深圳市汇顶科技股份有限公司 | 指纹图像处理方法、光学指纹辨识系统及电子装置 |
| US10748290B2 (en) * | 2018-10-31 | 2020-08-18 | Fei Company | Smart metrology on microscope images |
| CN109410152A (zh) * | 2018-11-26 | 2019-03-01 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
| US20200380454A1 (en) * | 2019-06-03 | 2020-12-03 | Zebra Technologies Corporation | Method, System and Apparatus for Detecting Product Facings |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030169944A1 (en) * | 2002-02-27 | 2003-09-11 | Dowski Edward Raymond | Optimized image processing for wavefront coded imaging systems |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5814803A (en) * | 1994-12-23 | 1998-09-29 | Spectra-Physics Scanning Systems, Inc. | Image reader with multi-focus lens |
| WO1996024085A1 (en) | 1995-02-03 | 1996-08-08 | The Regents Of The University Of Colorado | Extended depth of field optical systems |
| US6911638B2 (en) | 1995-02-03 | 2005-06-28 | The Regents Of The University Of Colorado, A Body Corporate | Wavefront coding zoom lens imaging systems |
| US20030057353A1 (en) * | 2001-07-20 | 2003-03-27 | Dowski Edward Raymond | Wavefront coding zoom lens imaging systems |
| US20020118457A1 (en) | 2000-12-22 | 2002-08-29 | Dowski Edward Raymond | Wavefront coded imaging systems |
| US20020195548A1 (en) | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
| US6547139B1 (en) * | 1998-07-10 | 2003-04-15 | Welch Allyn Data Collection, Inc. | Method and apparatus for extending operating range of bar code scanner |
| WO2001068326A2 (en) | 2000-03-10 | 2001-09-20 | Meta Controls, Inc. | Smart camera for controlling an actuator |
| US6873733B2 (en) | 2001-01-19 | 2005-03-29 | The Regents Of The University Of Colorado | Combined wavefront coding and amplitude contrast imaging systems |
| US6525302B2 (en) | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
| US6842297B2 (en) | 2001-08-31 | 2005-01-11 | Cdm Optics, Inc. | Wavefront coding optics |
| US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
| US7092579B2 (en) * | 2002-05-20 | 2006-08-15 | Eastman Kodak Company | Calculating noise estimates of a digital image using gradient analysis |
| US7202894B2 (en) * | 2002-06-04 | 2007-04-10 | Micron Technology, Inc. | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays |
| US7180673B2 (en) | 2003-03-28 | 2007-02-20 | Cdm Optics, Inc. | Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems |
| WO2005054927A2 (en) | 2003-12-01 | 2005-06-16 | Cdm Optics, Inc. | System and method for optimizing optical and digital system designs |
| US7671321B2 (en) * | 2005-01-18 | 2010-03-02 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
-
2007
- 2007-04-03 CN CN2007800205194A patent/CN101460975B/zh active Active
- 2007-04-03 US US11/696,121 patent/US7911501B2/en active Active
- 2007-04-03 AT AT07760048T patent/ATE512422T1/de not_active IP Right Cessation
- 2007-04-03 US US12/294,664 patent/US8068163B2/en active Active
- 2007-04-03 EP EP07760048A patent/EP2008242B1/en active Active
- 2007-04-03 WO PCT/US2007/065887 patent/WO2007118097A1/en active Application Filing
- 2007-04-03 KR KR1020087026314A patent/KR101161471B1/ko active IP Right Grant
-
2008
- 2008-09-25 IL IL194374A patent/IL194374A0/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030169944A1 (en) * | 2002-02-27 | 2003-09-11 | Dowski Edward Raymond | Optimized image processing for wavefront coded imaging systems |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11076087B2 (en) | 2018-08-08 | 2021-07-27 | Samsung Electronics Co., Ltd. | Method for processing image based on scene recognition of image and electronic device therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090012316A (ko) | 2009-02-03 |
| US20100165136A1 (en) | 2010-07-01 |
| US7911501B2 (en) | 2011-03-22 |
| US20090096882A9 (en) | 2009-04-16 |
| ATE512422T1 (de) | 2011-06-15 |
| IL194374A0 (en) | 2009-08-03 |
| WO2007118097A1 (en) | 2007-10-18 |
| US20080012955A1 (en) | 2008-01-17 |
| US8068163B2 (en) | 2011-11-29 |
| EP2008242A1 (en) | 2008-12-31 |
| CN101460975B (zh) | 2012-10-10 |
| CN101460975A (zh) | 2009-06-17 |
| EP2008242B1 (en) | 2011-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101161471B1 (ko) | 비선형 및/또는 공간적으로 변하는 이미지 프로세싱을 이용한 광학 이미징 시스템 및 방법 | |
| US8514303B2 (en) | Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing | |
| US8717456B2 (en) | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing | |
| Liang et al. | Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing | |
| Lin et al. | Intensity and edge based adaptive unsharp masking filter for color image enhancement | |
| US6807300B1 (en) | Noise reduction method utilizing color information, apparatus, and program for digital image processing | |
| JP4535125B2 (ja) | 画像処理方法 | |
| JP4460839B2 (ja) | デジタル画像鮮鋭化装置 | |
| JP4456819B2 (ja) | デジタル画像鮮鋭化装置 | |
| Coady et al. | An overview of popular digital image processing filtering operations | |
| Güraksin et al. | Underwater image enhancement based on contrast adjustment via differential evolution algorithm | |
| Rahman et al. | Image enhancement, image quality, and noise | |
| Kwok et al. | Design of unsharp masking filter kernel and gain using particle swarm optimization | |
| Sonawane et al. | Adaptive rule-based colour component weight assignment strategy for underwater video enhancement | |
| Mohamed et al. | A hybrid flower pollination optimization based modified multi-scale retinex for blood cell microscopic image enhancement | |
| Goel | The implementation of image enhancement techniques using Matlab | |
| Gautam et al. | An advanced visibility restoration technique for underwater images | |
| Xu et al. | Multiscale luminance adjustment-guided fusion for the dehazing of underwater images | |
| Pardhi et al. | Contrast Enhancement Using Adaptive Threshold Based Dynamic Range Adjustment In Luv Colour Space | |
| Gayathri et al. | A Robust Methodology for Reducing Noise and Artifacts in Digital Images using Image Denoising with Filtering Strategy | |
| Sharma et al. | Advance underwater image reconstruction using un-sharp masking and AFSMF: a review | |
| Singla | A comparative study of noising and denoising technique in image processing | |
| Krishna et al. | A Method for Image De-Hazing for Vision Based Applications | |
| Math et al. | Underwater image enhancement using edge detection filter and histogram equalization | |
| JP2023042026A (ja) | 映像の安定化及びかすみ除去を処理する方法とその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160330 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170330 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180329 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190327 Year of fee payment: 8 |