KR20070092357A - Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법 - Google Patents
Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법 Download PDFInfo
- Publication number
- KR20070092357A KR20070092357A KR1020060022391A KR20060022391A KR20070092357A KR 20070092357 A KR20070092357 A KR 20070092357A KR 1020060022391 A KR1020060022391 A KR 1020060022391A KR 20060022391 A KR20060022391 A KR 20060022391A KR 20070092357 A KR20070092357 A KR 20070092357A
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- image
- test image
- test
- extracting
- Prior art date
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 261
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 특정 초점 위치(실시예에서, 20cm 초점 위치)에서 거리별로 설정된 복수의 점확산함수(PSF)를 적용하여 복원 품질이 가장 우수한 시험 영상에 해당되는 PSF를 선택하는 PSF 선택 모듈, 디지털 자동 초점 조절 장치 및 PSF 선택 방법에 관한 것으로,
본 발명의 PSF 선택 모듈은, 입력영상에서 시험 영상을 추출하는 시험 영상 추출부; 상기 시험 영상 추출부로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출부; 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출하는 시험 영상 복원부; 및 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택부를 구비한다. 이러한 PSF 선택 모듈을 포함하는 디지털 자동 초점 조절 장치를 제안하고, 또한, 디지털 자동 초점 조절 카메라에 적용되는 PSF 선택 방법을 제안한다.
PSF 선택모듈, 디지털 자동 초점 조절 장치, 점확산함수(PSF), PSF 선택방법
Description
도 1은 종래 디지털 자동 초점 조절 장치의 구성도.
도 2는 종래 PSF 추정 과정을 보이는 플로우챠트.
도 3은 본 발명에 따른 디지털 자동 초점 조절 장치의 구성도.
도 4는 본 발명에 따른 PSF 선택 모듈의 구성도.
도 5의 (a),(b)는 본 발명의 시험영상 추출부의 입력영상 및 시험영상 예시도.
도 6의 (a),(b) 및 (c)는 본 발명의 대표에지 추출부에 의한 에지 필터링 영상, 라인 필터링 영상 및 대표에지 필터링 영상 예시도.
도 7의 (a),(b)는 본 발명의 라인필터에 의한 에지 추출 예시도.
도 8의 (a),(b)는 본 발명의 계단응답추출부에 의한 계단응답에 따른 에지 프로파일 및 정규화된 에지 프로파일 그래프.
도 9는 본 발명의 품질정보 연산부에 의한 기준 에지 프로파일과 계산된 에지 프로파일과의 차분값 그래프.
도 10은 본 발명에 의한 최적 에지 프로파일 그래프.
도 11은 본 발명에 따른 PSF 선택 방법을 보이는 플로우챠트.
* 도면의 주요부분에 대한 부호의 설명 *
100 : 이미지센서 200 : 데이터 베이스
300 : PSF 선택 모듈 310 : 시험 영상 추출부
320 : 대표에지 추출부 330 : 시험 영상 복원부
340 : PSF 선택부 321 : 캐니필터
322 : 라인필터 323 : 대표에지 필터
331 : CLS 복원부 332 : 계단응답추출부
333 : 품질정보 연산부 400 : 영상복원 CLS 필터부
본 발명은 카메라 모듈에 적용되는 디지털 자동 초점 조절 장치에 관한 것으로, 특히 사전에 특정 초점 위치(실시예에서, 20cm 초점 위치)에서 거리별로 설정된 복수의 점확산함수(Point Spread Function,이하 'PSF'라 칭함)를 적용하여 복수의 시험 영상을 만들고, 이 복수의 시험 영상중 복원 품질이 가장 우수한 시험 영상에 해당되는 PSF를 선택하도록 구현함으로써, 실시간 영상 복원이 가능하고, 영상 복원의 신뢰도를 향상시킬 수 있는 PSF 선택 모듈, 디지털 자동 초점 조절 장치 및 PSF 선택 방법에 관한 것이다.
일반적으로, 카메라 모듈에서 사용되는 초점 매칭(Focus Matching) 알고리즘은 렌즈의 심도와 유기적으로 연결되고, 이러한 심도에 따라 기계식 AF(Auto Focus,또는 out-of-focus) 방식과 팬 포커스(Pan focus) 방식으로 구분될 수 있다.
상기 기계식 AF 방식은 심도가 얕은 광학계의 경우에 사용되고, 렌즈 모듈과 센서간의 거리를 조정하여 피사체와 촬상면의 초점거리를 조정하는 형태를 취한다. 이에 반해, 상기 팬 포커스 방식은 심도가 깊은 광학계의 경우에 사용되고, 고정된 초점거리를 가지고 일정 범위 이상의 거리만 유지되면 촬상면에 초점이 맞는 형태를 취한다.
좀더 구체적으로, 전자(기계식 AF 방식)의 경우에는, 이미지를 표현함에 있어 촬영자의 의도를 반영할 수 있다는 장점을 지니고 있으나, 여러 장의 렌즈와 모터를 사용함으로써 생기는 시간적 손실과 소음이 단점이 된다. 또한, 후자(팬 포커스 방식)의 경우에는, 초점 조절 모듈의 구조는 간결하게 되나 촬영자의 의도를 반영할 수 없으며, 일정 범위(최소 초점거리) 안의 피사체에 대해서는 초점을 정확하게 맞출 수 없다는 단점을 가지게 된다.
이러한 장점 및 단점에 의해서, 기계식 AF 방식은 상대적으로 크기가 큰 일반적인 디지털 카메라에 사용되고, 팬 포커스 방식은 작은 크기를 요구하는 휴대폰 카메라 모듈 등에 탑재되어 왔다.
한편, 기계식 AF 방식의 발전 방향은, 모터의 크기와 소음을 줄이고 속도를 높이는데 있고, 이를 위해 USM(초음파 모터) 등이 개발되어 왔으며, SLR(single-lens reflex,일안리플렉서,렌즈교환) 형식의 경우, 카메라 본체에만 모터를 내장하던 방식에서 탈피하여 렌즈 자체에도 모터를 넣게 된다. 이때, 모터의 형태와 사용 매체를 변경하여 소음을 없애고 속도를 높이는 노력이 기울여진 것이다.
이와는 달리, 팬 포커스 방식의 발전 방향은 모듈의 크기를 최소화하는 방향에 맞춰져 있었으며, 또한 촬상 소자의 집적도가 향상됨에 따라 이에 따른 렌즈의 최소화 및 초점거리의 단축이 가능해졌다.
이하, 전술한 팬 포커스 방식을 채용하는 종래 카메라 장치에서의 디지털 자동 초점 조절 장치에 대해서는 도 1 및 도 2를 참조하여 설명한다.
도 1은 종래 디지털 자동 초점 조절 장치의 구성도이다.
도 1에 도시된 종래 디지털 자동 초점 조절 장치는, 다중 객체(multiple object)를 포함하는 열화된 영상을 센싱하는 이미지 센서부(10)와, 상기 이미지 센서부(10)로부터의 입력영상에 기초해서 영상 복원에 필요한 PSF(Point Spread Function,점확산함수)를 추정하는 PSF 추정부(20)와, 상기 PSF 추정부(20)에서 추정된 PSF를 이용하여 제약적 최소제곱(Constrained Least Squares, 이하 'CLS'라 칭함) 영상 복원 필터를 구성하여, 이 CLS 영상 복원 필터를 이용하여 상기 열화된 입력영상을 복원하는 영상복원 CLS 필터부(30)를 포함한다.
여기서, 상기 PSF를 추정하는 과정에 대해서는 도 2를 참조하여 설명한다.
도 2는 종래 PSF 추정 과정을 보이는 플로우챠트이다.
도 2를 참조하면, 열화된 입력영상을 제공받고(S10), 캐니필터(Canny filter) 및 라인 필터(Line filter)를 이용하여 에지를 검출하고, 이 검출된 에지의 화소값이 임계치 이상인 대표에지를 검출하며(S20), 이렇게 검출된 대표에지에 대한 계단응답(Unit-Step Response)을 추출하여(S30), 이 계단응답에 따라 PSF를 추정한다.
이와 같은 종래 디지털 초점 조절 방법에서는, 입력영상을 다수의 블록으로 나눈 후, 그 블록에서 계단응답 함수를 추출하여 PSF를 추정하는 방식이다. 즉, 입력영상에 대해 소정 크기의 부 영상들로 분할하여 각각의 에지 방향을 추정한 후, 각 에지 방향에 대한 계단 응답 함수를 구한다. 이렇게 구해진 계단응답 함수들을 평균하여 PSF들을 구하게 된다.
그러나, 종래 고정 초점계인 팬 포커스 방식의 카메라 장치에 적용되는 디지털 자동 초점 조절 장치에서, 종래의 PSF를 추정하는 알고리즘은, 일정한 신뢰수준을 만족할 때까지 복잡한 계산을 반복적으로 수행하는 알고리즘으로, 이러한 PSF 추정 알고리즘에 의한 PSF 추정은 너무 많은 시간이 소요되므로, 초점거리가 서로 다른 다수의 객체를 포함하는 열화된 입력영상을 실시간으로 복원할 수 없는 문제점을 갖는다.
본 발명은 상기한 문제점을 해결하기 위해 제안된 것으로, 그 목적은, 사전에 특정 초점 위치(실시예에서, 20cm 초점 위치)에서 거리별로 설정된 복수의 PSF를 적용하여 복수의 시험 영상을 만들고, 이 복수의 시험 영상중 복원 품질이 가장 우수한 시험 영상에 해당되는 PSF를 선택하도록 구현함으로써, 실시간 영상 복원이 가능하고, 영상 복원의 신뢰도를 향상시킬 수 있는 PSF 선택 모듈, 디지털 자동 초점 조절 장치 및 PSF 선택 방법을 제공하는데 있다.
상기한 본 발명의 목적을 달성하기 위해서, 본 발명의 PSF 선택 모듈은, 입력영상에서 시험 영상을 추출하는 시험 영상 추출부; 상기 시험 영상 추출부로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출부; 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출하는 시험 영상 복원부; 및 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택부를 구비함을 특징으로 한다.
본 발명의 PSF 선택 모듈에 있어서, 상기 시험 영상 추출부의 시험 영상은, 상기 입력영상 전체를 포함하도록 추출될 수 있고, 상기 입력영상보다 낮은 해상도 를 갖는 관심영역을 포함하는 영상이 될 수 있으며, 상기 시험 영상 추출부의 시험 영상은 상기 입력영상보다 낮은 해상도를 갖는 중앙영역인 것이 바람직하고, 상기 시험 영상 추출부의 시험 영상은 256픽셀×256픽셀의 해상도를 갖는 중앙영역인 것이 더욱 바람직하다.
상기 대표에지 추출부는, 상기 시험 영상 추출부로부터의 시험 영상에서 에지 화면을 추출하는 캐니필터; 상기 캐니필터로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인필터; 및 상기 라인필터로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 필터를 포함하는 것을 특징으로 한다.
상기 시험 영상 복원부는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원부; 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출부; 및 상기 계단응답추출부에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 디지털 자동 초점 조절 장치는, 피사체를 포함하는 이미지를 센싱하여 입력영상을 제공하는 이미지센서; 특정 초점 위치에서 거리별로 기설정된 복수의 PSF를 저장하는 데이터 베이스; 상기 데이터 베이스로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이들 필터 각각을 통해 상기 시험영상을 각각의 복원 시험 영상으로 복원하고, 상기 복수의 복원 시험영상 각각에 대한 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택 모듈; 및 상기 PSF 선택모듈에 의해 선택된 PSF를 이용하여 CLS 영상복원 필터를 구성하고, 이 CLS 영상복원 필터를 통해 상기 입력영상을 복원하는 영상복원 CLS 필터부를 구비함을 특징으로 한다.
상기 PSF 선택 모듈은, 상기 이미지센서로부터의 입력영상에서 시험 영상을 추출하는 시험 영상 추출부; 상기 시험 영상 추출부로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출부; 상기 데이터 베이스로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출하는 시험 영상 복원부; 및 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택부를 포함하는 것을 특징으로 한다.
본 발명의 디지털 자동 초점 조절 장치에 있어서, 상기 시험 영상 추출부의 시험 영상은, 상기 입력영상 전체를 포함하도록 추출될 수 있고, 상기 입력영상보다 낮은 해상도를 갖는 관심영역을 포함하는 영상이 될 수 있으며, 상기 시험 영상 추출부의 시험 영상은 상기 입력영상보다 낮은 해상도를 갖는 중앙영역인 것이 바람직하고, 상기 시험 영상 추출부의 시험 영상은 256픽셀×256픽셀의 해상도를 갖 는 중앙영역인 것이 더욱 바람직하다.
상기 대표에지 추출부는, 상기 시험 영상 추출부로부터의 시험 영상에서 에지 화면을 추출하는 캐니필터; 상기 캐니필터로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인필터; 및 상기 라인필터로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 필터를 포함하는 것을 특징으로 한다.
상기 시험 영상 복원부는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원부; 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출부; 및 상기 계단응답추출부에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 PSF 선택 방법은, 입력영상에서 시험 영상을 추출하는 시험 영상 추출 단계; 상기 시험 영상 추출 단계로부터의 시험 영상에 대해 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출 단계; 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하고, 상 기 대표에지 추출단계에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상 각각에 대한 품질정보를 산출하는 시험 영상 복원 단계; 및 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택 단계를 구비함을 특징으로 한다.
본 발명의 PSF 선택 방법에서, 상기 시험 영상 복원 단계의 복수의 PSF는 사전에 특정 초점 위치에서 거리별로 서로 다른 값으로 설정된다.
상기 시험 영상 추출부의 시험 영상은, 상기 입력영상 전체를 포함하도록 추출될 수 있고, 상기 입력영상보다 낮은 해상도를 갖는 관심영역을 포함하는 영상이 될 수 있으며, 상기 시험 영상 추출부의 시험 영상은 상기 입력영상보다 낮은 해상도를 갖는 중앙영역인 것이 바람직하고, 상기 시험 영상 추출부의 시험 영상은 256픽셀×256픽셀의 해상도를 갖는 중앙영역인 것이 더욱 바람직하다.
상기 대표에지 추출 단계는, 상기 시험 영상 추출 단계로부터의 시험 영상에서 에지 화면을 추출하는 에지 추출단계; 상기 에지 추출단계로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인에지 추출단계; 및 상기 라인에지 추출단계로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 추출 단계를 포함하는 것을 특징으로 한다.
상기 시험 영상 복원 단계는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시 험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원 단계; 상기 대표에지 추출 단계에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출 단계; 및 상기 계단응답추출 단계에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산 단계를 포함하는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 본 발명에 참조된 도면에서 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.
도 3은 본 발명에 따른 디지털 자동 초점 조절 장치의 구성도이다.
도 3을 참조하면, 본 발명의 디지털 자동 초점 조절 장치는, 이미지센서(100), 데이터 베이스(200), PSF 선택 모듈(300) 및 영상복원 CLS 필터부(400)를 포함한다.
상기 이미지센서(100)는, 피사체를 포함하는 이미지를 센싱하여 입력영상을 상기 PSF 선택 모듈(300)에 제공한다. 여기서, 상기 이미지센서(100)는 CCD타입이나 CMOS타입으로 이루어질 수 있다.
상기 데이터 베이스(200)는, 특정 초점 위치에서 거리별로 기설정된 복수의 PSF를 저장한다. 이때, 상기 복수의 PSF는 광학계 설계 단계에서 사전에 계산된 PSF가 될 수 있고, 실제 실험을 통해서 추정한 PSF가 될 수 있으며, 또한 가우스 (Gauss) 함수 형태로 추정한 PSF가 될 수도 있는 영상복원의 신뢰성이 확인된 값이다.
상기 PSF 선택 모듈(300)은, 상기 데이터 베이스(200)로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이들 필터 각각을 통해 상기 시험영상을 각각의 복원 시험 영상으로 복원하고, 상기 복수의 복원 시험영상 각각에 대한 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택한다.
상기 영상복원 CLS 필터부(400)는, 상기 PSF 선택모듈(300)에 의해 선택된 PSF를 이용하여 CLS 영상복원 필터를 구성하고, 이 CLS 영상복원 필터를 통해 상기 입력영상을 복원한다.
도 4는 본 발명에 따른 PSF 선택 모듈의 구성도이다.
도 4를 참조하면, 상기 PSF 선택 모듈(300)은, 시험 영상 추출부(310), 대표에지 추출부(320), 시험 영상 복원부(330) 및 PSF 선택부(340)를 포함한다.
상기 시험 영상 추출부(310)는, 상기 이미지센서(100)로부터의 입력영상에서 시험 영상을 추출한다. 여기서, 상기 시험 영상은 상기 입력영상을 그대로 추출한 영상이 될 수 있고, 처리할 데이터 량을 줄여 처리 속도를 높이기 위해서는 상기 입력영상보다 낮은 해상도를 갖는 관심영역을 포함하는 영상이 되는 것이 바람직하다. 특히, 상기 시험 영상 추출부(310)의 시험 영상은, 실시간 처리를 위해서, 상기 입력영상보다 낮은 해상도를 갖는 영상중, 256픽셀×256픽셀의 해상도를 갖는 중앙영역을 포함하는 영상이 되는 것이 가장 바람직하다.
상기 대표에지 추출부(320)는, 상기 시험 영상 추출부(310)로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출한다.
상기 시험 영상 복원부(330)는, 상기 데이터 베이스(200)로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부(320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출한다.
상기 PSF 선택부(340)는, 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택한다.
상기 대표에지 추출부(320)는, 상기 시험 영상 추출부(310)로부터의 시험 영상에서 에지 화면을 추출하는 캐니필터(321)와, 상기 캐니필터(321)로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인필터(322)와, 상기 라인필터(322)로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 필터(323)를 포함한다.
상기 시험 영상 복원부(330)는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원부(331)와, 상기 대표에지 추출부(320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출부(332)와, 상기 계단응답추출부(332)에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산부(333)를 포함한다.
도 5의 (a),(b)는 본 발명의 시험영상 추출부의 입력영상 및 시험영상 예시도이다.
도 5의 (a)는 본 발명의 시험영상 추출부(310)로 입력되는 입력영상의 예시도이고, 도 5의 (b)는 도 5의 (a)에 도시된 입력영상에서 중앙영역에 해당되는 'A'부분을 256픽셀×256픽셀 크기로 추출한 시험 영상 예시도이다.
도 6의 (a),(b) 및 (c)는 본 발명의 대표에지 추출부에 의한 에지 필터링 영상, 라인 필터링 영상 및 대표에지 필터링 영상 예시도이다. 도 6의 (a)는 본 발명의 대표에지 추출부(320)의 캐니필터(321)에 의해 필터링된 에지 필터링 영상 예시도이고, 도 6의 (b)는 본 발명의 대표에지 추출부(320)의 라인 필터(322)에 의해 필터링된 라인 필터링 영상 예시도이다. 그리고, 도 6의 (c)는 본 발명의 대표에지 추출부(320)의 대표에지 필터(323)에 의해 필터링된 대표에지 추출 영상 예시도이다.
도 7의 (a),(b)는 본 발명의 라인필터에 의한 에지 추출 예시도이다.
도 7의 (a)는 본 발명의 라인필터(322)의 수평 에지 필터에 의한 수평 에지 추출 예시도이고, 도 7의 (b)는 본 발명의 라인필터(322)의 수직 에지 필터에 의한 수직 에지 추출 예시도이다.
도 8의 (a),(b)는 본 발명의 계단응답추출부에 의한 계단응답에 따른 에지 프로파일 및 정규화된 에지 프로파일 그래프이다.
도 8의 (a)에서의 에지 프로파일 그래프는 입력영상에 대한 계단응답에 해당되는 그래프로서, 입력영상의 각 화소에 대한 계단응답은 전 계단응답들의 평균값을 취하게 된다.
도 8의 (b)에서의 프로파일 그래프는 상기 도 8의 (a)에 도시된 에지 프로파일을 정규화하고 기울기(slope)이외의 부분을 평탄하게 만드는 작업을 거친 프로파일이다.
도 9는 본 발명의 품질정보 연산부에 의한 기준 에지 프로파일과 계산된 에지 프로파일과의 차분값 그래프로서, 도 9에서, D1 및 D2는 기준 에지 프로파일(Eref)과 계산된 에지 프로파일(Eest)과의 차분값이다.
도 10은 본 발명에 의한 최적 에지 프로파일 그래프이다.
도 10에 도시된 최적 에지 프로파일은, 도 9에서의 차분값이 가장 작은 에지 프로파일에 해당된다.
도 11은 본 발명에 따른 PSF 선택 방법을 보이는 플로우챠트이다.
도 11에서, S310은 입력영상에서 시험 영상을 추출하는 시험 영상 추출 단계이다. S320은 상기 시험 영상 추출 단계(S310)로부터의 시험 영상에 대해 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출 단계이다. S330은 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출단계(320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상 각각에 대한 품질정보를 산출하는 시험 영상 복원 단계이다. 그리고, S340은 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택 단계이다.
이하, 본 발명의 작용 및 효과를 첨부한 도면에 의거하여 상세히 설명한다.
도 3 내지 도 11을 참조하여, 본 발명에 따른 디지털 자동 초점 조절 장치, PSF 선택 모듈 및 PSF 선택 방법을 설명한다.
먼저, 도 3을 참조하면, 본 발명의 디지털 자동 초점 조절 장치에서, 이미지센서(100)는 피사체를 포함하는 이미지를 센싱하여 PSF 선택 모듈(300)에 입력영상 을 제공한다. 여기서, 전술한 바와 같이 상기 이미지센서(100)는 카메라 장치용 CCD타입이나 CMOS타입으로 이루어질 수 있다.
상기 데이터 베이스(200)는, 특정 초점 위치에서 거리별로 기설정된 복수의 PSF를 저장한다. 이때, 전술한 바와 같이 상기 복수의 PSF는 서로 다른 초점거리에서 많은 실험을 통해서 영상복원의 신뢰성이 확인된 값이다.
이때, 상기 PSF 선택 모듈(300)은, 상기 데이터 베이스로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이들 필터 각각을 통해 상기 시험영상을 각각의 복원 시험 영상으로 복원하고, 상기 복수의 복원 시험영상 각각에 대한 품질정보를 구한 후, 이들 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하여 영상복원 CLS 필터부(400)에 출력한다.
상기 영상복원 CLS 필터부(400)는, 상기 PSF 선택부(340)에 의해 선택된 PSF를 이용하여 CLS 영상복원 필터를 구성하고, 이 CLS 영상복원 필터를 통해 상기 입력영상을 복원한다.
이러한 과정을 통해 서로 다른 초점 거리에 위치하는 다수의 객체를 포함하여, 열화된 입력영상이 열화없는 보다 선명한 영상으로 복원될 수 있다. 이러한 영상복원에 필요한 PSF 선택에 대해서 도 4를 참조하여 설명한다.
도 4를 참조하여 상기 PSF 선택 모듈(300)에 대해 설명한다.
도 4를 참조하면, 상기 PSF 선택 모듈(300)의 시험 영상 추출부(310)는, 상 기 이미지센서(100)로부터의 입력영상에서 시험 영상을 추출하여 대표에지 추출부(320)에 출력한다. 이때, 상기 시험 영상은, 전술한 바와 같이 실시간 처리를 위해서, 상기 입력영상보다 낮은 해상도를 갖는 영상중, 256픽셀×256픽셀의 해상도를 갖는 중앙영역을 포함하는 영상이 되는 것이 가장 바람직하다. 예를 들어, 256픽셀×256픽셀 해상도보다 큰 경우에는 처리 속도가 느려지고, 256픽셀×256픽셀의 해상도보다 작은 경우에는 에지 검출의 정확성이 떨어진다.
상기 대표에지 추출부(320)는, 상기 시험 영상 추출부(310)로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출하여 시험 영상 복원부(330)로 출력한다. 여기서, 대표에지를 추출하는 과정은 이후 계단응답을 신속하게 추출하기 위한 것으로서, 이러한 과정을 통해 에지 영역 정보를 제공하면 실시간 신호처리에 도움이 된다.
상기 시험 영상 복원부(330)는, 상기 데이터 베이스(200)로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부(320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출하여 PSF 선택부(340)에 출력한다. 이러한 과정을 통해서, 영상복원에 필요한 PSF를 실시간으로 선택하므로 본 발명에서 추구하는 실시간 영상 복원이 가능해진다.
상기 PSF 선택부(340)는, 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택한다.
또한, 도 4를 참조하여 상기 대표에지 추출부(320)에 대해 자세히 설명한다.
상기 대표에지 추출부(320)의 캐니필터(321)는, 상기 시험 영상 추출부(310)로부터의 시험 영상에서 에지 화면을 추출하여 라인필터(322)에 제공한다. 상기 라인필터(322)는, 상기 캐니필터(321)로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 대표에지 필터(323)에 출력한다. 상기 대표에지 필터(323)는, 상기 라인필터(322)로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출한다.
이와 같은 과정을 통해서, 시험영상에서 보다 선명하고 일정길이 이상의 대표에지를 추출할 수 있으며, 이러한 대표에지에 대한 영역 정보는 전술한 바와 같이 계단응답추출에 필요하게 된다.
이어서, 도 4를 참조하여 상기 시험 영상 복원부(330)에 대해 자세히 설명한다.
상기 시험 영상 복원부(330)의 CLS 복원부(331)는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하여 계단응답추출부(332)에 출력한다. 상기 계단응답추출부(332)는, 상기 대표에지 추출부(320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하여 품질정보 연산부(333)에 출력한다. 상기 품질정보 연산부(333)는, 상 기 계단응답추출부(332)에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산한다.
이와 같은 과정을 통해서, 최고품질로 시험영상이 복원되는 품질정보를 계산할 수 있고, 이러한 최고 품질정보에 해당되는 PSF를 선택한다.
이하, 도 11을 참조하여 본 발명의 PSF 선택 방법에 대해 설명한다.
본 발명의 PSF 선택 방법은 디지털 카메라 등의 디지털 자동 초점 조절 장치에 적용되어, 다중 객체를 포함하여 열화된 입력영상을 실시간으로 복원할 수 있도록 하며, 도 3 내지 도 10을 참조하여 설명한 기술적 내용은 본 발명의 방법에도 적용될 수 있다.
먼저, 시험 영상 추출 단계에서는 에지 영역 정보를 추출하기 위해서 입력영상에서 시험 영상을 추출한다(S310). 이때, 상기 시험 영상은, 전술한 바와 같이, 상기 입력영상을 그대로 추출하여 사용할 수 있다. 이 경우, 상기 시험 영상은, 상기 입력영상의 해상도와 동일하므로 신호처리에 많은 시간이 소요될 것으로 예상된다. 따라서, 이러한 신호처리에 걸리는 시간을 줄여 실시간 처리를 위해서는, 상기 시험 영상은 상기 입력영상보다 낮은 해상도를 갖는 작은 영상을 상기 입력영상에서 추출하여야 한다. 이때, 상기 시험 영상은 상기 입력영상중에서 에지가 뚜렷한 피사체를 포함하는 관심 영역에 해당된다. 특히, 상기 시험 영상은 상기 입력영상 보다 낮은 해상도, 예를 들어 256픽셀×256픽셀의 해상도를 갖는 중앙영역에 해당될 수 있다. 전술한 바와 같이, 256픽셀×256픽셀 해상도보다 큰 경우에는 처리 속도가 느려지고, 256픽셀×256픽셀의 해상도보다 작은 경우에는 에지 검출의 정확성이 떨어질 수 있다.
다음, 대표에지 추출 단계에서는, 상기 시험 영상 추출 단계(S310)로부터의 시험 영상에 대해 에지 영역 정보를 포함하는 대표에지를 추출한다(S320).
그 다음, 시험 영상 복원 단계에서는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출단계(320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상 각각에 대한 품질정보를 산출한다(S330).
여기서, 상기 시험 영상 복원 단계(S330)의 복수의 PSF는, 사전에 특정 초점 위치에서 거리별로 서로 다른 값으로 설정된다.
그 다음, PSF 선택 단계에서는 상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택한다(S340).
또한, 도 11을 참조하여 상기 대표에지 추출 단계(S320)에 대해서 자세히 설명한다.
먼저, 에지 추출단계에서는, 상기 시험 영상 추출 단계(S310)로부터의 시험 영상에서 에지 화면을 추출한다(S321).
다음, 라인에지 추출단계에서는, 상기 에지 추출단계(S321)로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력한다(S322).
그 다음, 대표에지 추출 단계에서는, 상기 라인에지 추출단계(S322)로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출한다(S323).
이어서, 도 11을 참조하여 상기 시험 영상 복원 단계(S330)에 대해서 자세히 설명한다.
먼저, CLS 복원 단계에서는, 기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원한다(S331).
다음, 계단응답추출 단계에서는, 상기 대표에지 추출 단계(S320)에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출한다(S332).
그 다음, 품질정보 연산 단계에서는, 상기 계단응답추출 단계(S332)에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산한다(S333).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 특허청구범위에 의해 한정되며, 본 발명의 장치는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백하다.
상술한 바와 같은 본 발명에 따르면, 사전에 특정 초점 위치에서 거리별로 설정된 복수의 PSF를 적용하여 복수의 시험 영상을 만들고, 이 복수의 시험 영상중 복원 품질이 가장 우수한 시험 영상에 해당되는 PSF를 선택하도록 구현함으로써, 실시간 영상 복원이 가능하고, 영상 복원의 신뢰도를 향상시킬 수 있는 효과가 있다.
Claims (23)
- 입력영상에서 시험 영상을 추출하는 시험 영상 추출부;상기 시험 영상 추출부로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출부;기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출하는 시험 영상 복원부; 및상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택부을 구비함을 특징으로 하는 PSF 선택 모듈.
- 제1항에 있어서, 상기 시험 영상 추출부의 시험 영상은상기 입력영상 전체가 추출된 것을 특징으로 하는 PSF 선택 모듈.
- 제1항에 있어서, 상기 시험 영상 추출부의 시험 영상은상기 입력영상보다 낮은 해상도를 갖는 관심영역인 것을 특징으로 하는 PSF 선택 모듈.
- 제1항에 있어서, 상기 시험 영상 추출부의 시험 영상은상기 입력영상보다 낮은 해상도를 갖는 중앙영역인 것을 특징으로 하는 PSF 선택 모듈.
- 제1항에 있어서, 상기 시험 영상 추출부의 시험 영상은256픽셀×256픽셀의 해상도를 갖는 중앙영역인 것을 특징으로 하는 PSF 선택 모듈.
- 제1항에 있어서, 상기 대표에지 추출부는상기 시험 영상 추출부로부터의 시험 영상에서 에지 화면을 추출하는 캐니필터;상기 캐니필터로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인필터; 및상기 라인필터로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 필터를 포함하는 것을 특징으로 하는 PSF 선택 모듈.
- 제1항 또는 제6항에 있어서, 상기 시험 영상 복원부는기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하 고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원부;상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출부; 및상기 계단응답추출부에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산부를 포함하는 것을 특징으로 하는 PSF 선택 모듈.
- 피사체를 포함하는 이미지를 센싱하여 입력영상을 제공하는 이미지센서;특정 초점 위치에서 거리별로 기설정된 복수의 PSF를 저장하는 데이터 베이스;상기 데이터 베이스로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이들 필터 각각을 통해 상기 시험영상을 각각의 복원 시험 영상으로 복원하고, 상기 복수의 복원 시험영상 각각에 대한 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택 모듈; 및상기 PSF 선택모듈에 의해 선택된 PSF를 이용하여 CLS 영상복원 필터를 구성하고, 이 CLS 영상복원 필터를 통해 상기 입력영상을 복원하는 영상복원 CLS 필터부를 구비함을 특징으로 하는 디지털 자동 초점 조절 장치.
- 제8항에 있어서, 상기 PSF 선택 모듈은,상기 이미지센서로부터의 입력영상에서 시험 영상을 추출하는 시험 영상 추출부;상기 시험 영상 추출부로부터의 시험 영상에 대한 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출부;상기 데이터 베이스로부터의 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험영상 각각에 대한 품질정보를 산출하는 시험 영상 복원부; 및상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택부를 포함하는 것을 특징으로 하는 디지털 자동 초점 조절 장치.
- 제9항에 있어서, 상기 시험 영상 추출부의 시험 영상은상기 입력영상 전체가 추출된 것을 특징으로 하는 디지털 자동 초점 조절 장치.
- 제9항에 있어서, 상기 시험 영상 추출부의 시험 영상은상기 입력영상보다 낮은 해상도를 갖는 관심영역인 것을 특징으로 하는 디지 털 자동 초점 조절 장치.
- 제9항에 있어서, 상기 시험 영상 추출부의 시험 영상은상기 입력영상보다 낮은 해상도를 갖는 중앙영역인 것을 특징으로 하는 디지털 자동 초점 조절 장치.
- 제9항에 있어서, 상기 시험 영상 추출부의 시험 영상은256픽셀×256픽셀의 해상도를 갖는 중앙영역인 것을 특징으로 하는 디지털 자동 초점 조절 장치.
- 제9항에 있어서, 상기 대표에지 추출부는상기 시험 영상 추출부로부터의 시험 영상에서 에지 화면을 추출하는 캐니필터;상기 캐니필터로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인필터; 및상기 라인필터로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 필터를 포함하는 것을 특징으로 하는 디지털 자동 초점 조절 장치.
- 제9항 또는 제14항에 있어서, 상기 시험 영상 복원부는기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원부;상기 대표에지 추출부에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출부; 및상기 계단응답추출부에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산부를 구비함을 특징으로 하는 디지털 자동 초점 조절 장치.
- 입력영상에서 시험 영상을 추출하는 시험 영상 추출 단계;상기 시험 영상 추출 단계로부터의 시험 영상에 대해 에지 영역 정보를 포함하는 대표에지를 추출하는 대표에지 추출 단계;기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하고, 상기 대표에지 추출단계에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상 각각에 대한 품질정보를 산출하는 시험 영상 복원 단계; 및상기 복수의 복원 시험 영상별 각 품질정보에 기초해서 최고 품질의 시험 영상에 해당되는 PSF를 선택하는 PSF 선택 단계을 구비함을 특징으로 하는 PSF 선택 방법.
- 제16항에 있어서, 상기 시험 영상 복원 단계의 복수의 PSF는사전에 특정 초점 위치에서 거리별로 서로 다른 값으로 설정된 것을 특징으로 하는 PSF 선택 방법.
- 제16항에 있어서, 상기 시험 영상 추출 단계의 시험 영상은상기 입력영상 전체가 추출된 것을 특징으로 하는 PSF 선택 방법.
- 제16항에 있어서, 상기 시험 영상 추출 단계의 시험 영상은상기 입력영상보다 낮은 해상도를 갖는 관심영역인 것을 특징으로 하는 PSF 선택 방법.
- 제16항에 있어서, 상기 시험 영상 추출 단계의 시험 영상은상기 입력영상보다 낮은 해상도를 갖는 중앙영역인 것을 특징으로 하는 PSF 선택 방법.
- 제16항에 있어서, 상기 시험 영상 추출 단계의 시험 영상은256픽셀×256픽셀의 해상도를 갖는 중앙영역인 것을 특징으로 하는 PSF 선택 방법.
- 제16항에 있어서, 상기 대표에지 추출 단계는상기 시험 영상 추출 단계로부터의 시험 영상에서 에지 화면을 추출하는 에지 추출단계;상기 에지 추출단계로부터의 에지 화면에서 수직 에지와 수평 에지를 추출하고, 이 수직 에지와 수평 에지를 합성하여 라인에지 화면을 출력하는 라인에지 추출단계; 및상기 라인에지 추출단계로부터의 라인에지 화면에서 에지 화소값 및 에지 라인 길이가 기설정된 임계값 이상인 에지를 포함하는 대표에지 화면을 추출하는 대표에지 추출 단계를 포함하는 것을 특징으로 하는 PSF 선택 방법.
- 제16항 또는 제22항에 있어서, 상기 시험 영상 복원 단계는기설정된 복수의 PSF 각각을 이용하여 복수의 CLS 영상복원 필터를 구성하고, 이 복수의 CLS 영상복원 필터 각각을 통해 상기 시험 영상을 복수의 복원 시험 영상으로 각각 복원하는 CLS 복원 단계;상기 대표에지 추출 단계에 의한 에지 영역 정보를 이용하여 상기 복수의 복원 시험 영상의 계단응답을 추출하는 계단응답추출 단계; 및상기 계단응답추출 단계에 의한 계단응답과 기설정된 기준 계단응답 간의 찻값을 품질정보로 계산하는 품질정보 연산 단계를 포함하는 것을 특징으로 하는 PSF 선택 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060022391A KR100764414B1 (ko) | 2006-03-09 | 2006-03-09 | Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060022391A KR100764414B1 (ko) | 2006-03-09 | 2006-03-09 | Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070092357A true KR20070092357A (ko) | 2007-09-13 |
| KR100764414B1 KR100764414B1 (ko) | 2007-10-05 |
Family
ID=38689714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060022391A KR100764414B1 (ko) | 2006-03-09 | 2006-03-09 | Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100764414B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110056098A (ko) * | 2009-11-20 | 2011-05-26 | 삼성전자주식회사 | Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법 |
| KR20140016153A (ko) * | 2012-07-27 | 2014-02-07 | 삼성전자주식회사 | 영상 처리 모듈, 상기 영상 처리 모듈을 이용한 초음파 영상 장치 및 상기 초음파 영상 장치를 이용한 초음파 영상 생성 방법 |
| US10660605B2 (en) | 2012-07-27 | 2020-05-26 | Samsung Electronics Co., Ltd. | Image processing module, ultrasonic imaging apparatus using the image processing module, and ultrasonic image generation method using the ultrasonic imaging apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150010860A (ko) | 2013-07-19 | 2015-01-29 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5805340A (en) | 1996-11-22 | 1998-09-08 | Shawn L. Kelly | Optical modulator and system having tunable image enhancement |
| JP2003172873A (ja) | 2001-09-28 | 2003-06-20 | Olympus Optical Co Ltd | 補正データ作成方法及び撮像装置 |
| KR100594777B1 (ko) * | 2004-01-07 | 2006-06-30 | 학교법인 중앙대학교 | 디지털 초점 조절 방법 및 그 시스템 |
-
2006
- 2006-03-09 KR KR1020060022391A patent/KR100764414B1/ko not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110056098A (ko) * | 2009-11-20 | 2011-05-26 | 삼성전자주식회사 | Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법 |
| KR20140016153A (ko) * | 2012-07-27 | 2014-02-07 | 삼성전자주식회사 | 영상 처리 모듈, 상기 영상 처리 모듈을 이용한 초음파 영상 장치 및 상기 초음파 영상 장치를 이용한 초음파 영상 생성 방법 |
| US10660605B2 (en) | 2012-07-27 | 2020-05-26 | Samsung Electronics Co., Ltd. | Image processing module, ultrasonic imaging apparatus using the image processing module, and ultrasonic image generation method using the ultrasonic imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100764414B1 (ko) | 2007-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101341096B1 (ko) | 영상 복원 장치 및 방법 | |
| JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
| JP5824364B2 (ja) | 距離推定装置、距離推定方法、集積回路、コンピュータプログラム | |
| KR101364421B1 (ko) | 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법 | |
| JP5870264B2 (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
| CN102388402B (zh) | 图像处理装置及图像处理方法 | |
| JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
| JP5468404B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| JP5831033B2 (ja) | 撮像装置および距離情報取得方法 | |
| EP1856907A2 (fr) | Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs | |
| US20120307009A1 (en) | Method and apparatus for generating image with shallow depth of field | |
| WO2013032769A1 (en) | Producing focused videos from single captured video | |
| US9538074B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2014138290A (ja) | 撮像装置及び撮像方法 | |
| Ehmann et al. | Real-time video denoising on mobile phones | |
| KR100764414B1 (ko) | Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법 | |
| CN105227826A (zh) | 图像处理装置、图像处理方法、以及图像处理程序 | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| WO2013052241A1 (en) | Motion blur estimation and restoration using light trails | |
| CN101726829A (zh) | 一种变焦镜头的自动对焦方法 | |
| KR20150024733A (ko) | 왜곡제거장치 및 방법 | |
| JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
| JP6976754B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
| Karaali et al. | Svbr-net: A non-blind spatially varying defocus blur removal network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20060309 |
|
| PA0201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20060713 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20070622 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20070913 |
|
| PG1501 | Laying open of application | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20070928 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20070928 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| PG1701 | Publication of correction | ||
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20110810 |