KR101140414B1 - 디블러링 지원 디지털 촬영 장치 및 그 방법 - Google Patents

Abstract

본 발명은 원 이미지를 알고 있는 소정 피사체의 촬영 이미지를 입력받아, 상기 촬영 이미지와 원 이미지로부터 모션 블러 커널을 획득하고, 미지의 피사체의 촬영 이미지 입력에 따라, 상기 획득된 모션 블러 커널을 이용하여 원 이미지를 복원하는 디블러링 지원 디지털 촬영 장치 및 방법에 관한 것이다.

Description

디블러링 지원 디지털 촬영 장치 및 그 방법{Digital Camera Apparatus for Supporting Deblurring and Method thereof}

본 발명은 디지털 촬영 장치 및 방법에 관한 것으로, 특히 이미지 복원을 지원하는 디지털 촬영 장치 및 방법에 관한 것이다.

디지털 촬영 장치는 필름 촬영 장치와는 다르게 간편한 조작으로도 전문가 못지 않은 사진을 찍을 수 있고, 현상과 인화를 통하지 않고서도 현장에서 찍은 사진을 즉시 확인할 수 있으며, 깨끗한 화질의 사진을 변형없이 반영구적으로 사용 가능하다는 단점이 있다.

그런데, 이러한 디지털 촬영 장치로 촬영함에 있어, 특히 야간 촬영을 플래쉬의 도움없이 하는 경우에 사용자가 셔터를 누름과 동시에 발생하는 촬영 장치의 움직임으로 인해 촬영된 이미지에 모션 블러링이 발생하는 경우가 많다.

이러한 모션 블러링은 촬영 이미지에 자연스러움을 더하기 위한 컴퓨터 그래픽 등에 이용되기도 하나, 촬영 이미지의 퀄리티를 저하시키는 부정적인 결과를 낳는다.

일반적으로 이러한 모션 블러링을 제거하기 위해 상기 블러링된 이미지 파일을 컴퓨터에서 블라인드 디블러링 기법 등을 통해 원 이미지로 복원하는 방법이 사용되고 있다.

그러나, 이는 전문가가 아닌 사용자가 이용하기에는 용이하지 않을 뿐만 아니라, 실시간으로 고해상도의 원이미지를 복원해낼 수 없다는 단점이 있다.

따라서, 본 발명은 상술한 바와 같은 문제점을 극복하기 위해 촬영된 이미지의 블러링을 제거하는 디블러링 지원 디지털 촬영 장치 및 방법을 제공함에 목적이 있다.

또한, 촬영된 이미지를 실시간으로 디블러링하여 원 이미지를 제공하는 디지털 촬영 장치 및 방법을 제공함에 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 일 실시 예는 디지털 촬영 장치에서의 디블러링 방법으로, 원 이미지를 알고 있는 소정 피사체의 촬영 이미지를 입력받아, 상기 촬영 이미지와 원 이미지로부터 모션 블러 커널을 획득하는 단계와, 미지의 피사체의 촬영 이미지 입력에 따라, 상기 획득된 모션 블러 커널을 이용하여 원 이미지를 복원하는 단계를 포함한다.

본 발명의 다른 실시 예는 디블러링 지원 디지털 촬영 장치로 사용자의 지시 정보를 입력받아 출력하는 조작부와, 상기 조작부로부터 출력되는 사용자 지시에 따라, 피사체를 촬영하여 촬영 이미지를 출력하는 촬영부와, 상기 촬영부로부터 원 이미지를 알고 있는 소정 피사체의 촬영 이미지를 입력받아, 상기 촬영 이미지와 원 이미지로부터 모션 블러 커널을 획득하고, 미지의 피사체의 촬영 이미지 입력에 따라, 상기 획득된 모션 블러 커널을 이용하여 원 이미지를 복원하는 제어부를 포함한다.

본 발명은 디지털 촬영 장치에서 실시간으로 촬영된 이미지를 복원하여, 사용자가 편리하게 이용할 수 있다는 장점이 있다.

또한, 본 발명은 사용자의 촬영 습관 및 촬영 환경에 따른 일정 패턴의 블러링을 제거할 수 있다는 장점이 있다.

도 1은 본 발명의 바람직한 실시 예에 따른 디블러링 지원 디지털 촬영 장치의 내부 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 디지털 촬영 장치에서의 디블러링 방법에서 모션 블러 커널을 획득하는 과정을 설명하기 위한 순서도이다.
도 3은 본 발명의 바람직한 실시 예에 따른 디지털 촬영 장치에서의 디블러링 방법에서 디블러링하는 과정을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 발명을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들은 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 촬영된 이미지에 발생되는 블러링을 해소하고자 하는 것으로, 촬영하는 사용자의 습관적인 손 흔들림 특성 및 촬영 환경 특성 등에 따라 촬영 이미지에 발생되는 블러링들이 반복적으로 유사한 형태를 띤다는 점에 착안된 것이다. 즉, 예를 들어, 셔터 버튼을 누를 때 손이 수직방향으로 흔들리는 습관을 가진 사용자가 촬영한 이미지들에는 수직 방향의 모션 블러링들이 발생할 확률이 높을 수 있고, 바람부는 날에 촬영된 이미지들에는 수평 방향의 모션 블러링들이 발생할 확률이 높을 수 있다는 점을 이용한 것이다.

한편, 블러링된 이미지와 원 이미지의 수학적 관계는 다음의 <수학식 1>에 의해 정의될 수 있다.

<수학식 1>에서 B는 블러링된 이미지(Blurred Image)를 나타내고, L은 잠재된 선명한 이미지(Latent sharp image)로 원 이미지를 나타내고, K는 모션 블러 커널(Motion blur kernel) 또는 점 확산 함수(Point Spread function : PSF)를 나타내고, N은 잡음(Noise)을 나타낸다. 후술될 설명에서는 설명의 편의를 위해 K를 모션 블러 커널로 통칭하기로 하고, 잡음(N)은 이미 알려진 값으로 가정하기로 한다.

<수학식 1>에 따르면 블러링된 이미지(B)는 원 이미지(L)와 모션 블러 커널(K)의 컨벌루션에 의해 모델링된 변형된 이미지임을 의미하는데, 원 이미지(L)를 복원하기 위해서는 상기 모션 블러 커널(K)을 찾아내어 이를 블러링된 이미지(B)에 디컨벌루션하게 된다.

그런데, 전술한 바와 같이 사용자의 촬영 습관이나 촬영 환경 등에 의해 일정 패턴을 갖는 모션 블러링이 반복적으로 발생하게 되므로, 모션 블러 커널(K)도 상기 사용자의 촬영 습관과 촬영 환경 등에 따라 유사한 값을 갖게 된다.

따라서, 본 발명에서는 사용자의 촬영 습관 또는 촬영 환경 등에 따라 패턴화된 모션 블러 커널(K)을 미리 획득하고, 추후에 특정 사용자가 촬영한 임의의 이미지나, 특정 촬영 환경에서 촬영된 임의의 이미지를 상기 획득된 모션 블러 커널을 이용하여 원 이미지로 복원한다.

후술될 상세한 설명에서 이미지는 정지 영상 뿐만 아니라, 동영상도 포함될 수 있다.

또한, 본 발명이 디지털 촬영 장치에 적용된 실시 예를 설명하나, 본 발명은 디지털 촬영 장치에 한정되지 않는다. 즉, 디지털 촬영 장치는 카메라가 부착된 휴대전화, PDA, PC, IC 레코더, 또는 디지털 비디오 카메라 등이 될 수 있다. 즉, 디지털 촬영 장치는 피사체를 촬영할 수 있는 모든 장치로 해석될 수 있다.

또한, 후술될 본 발명의 디블러링 방법은 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현할 수 있음은 물론이다. 상기 기록 매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

도 1은 전술한 바와 같은 본 발명의 바람직한 실시 예에 따른 디블러링 지원 디지털 촬영 장치의 내부 구성도이다.

도 1에 도시된 바에 따르면, 디지털 촬영 장치는 촬영부(110), 조작부(120), 메모리(130), 표시부(140), 제어부(150)를 포함한다.

촬영부(110)는 상세하게는 광학부(111), 광학 구동부(113), 촬상 소자(115), 촬상 소자 제어부(117)로 구성될 수 있다.

광학부(111)는 피사체로부터 광학 신호가 입력되어 촬상 소자(120)로 제공한다. 광학부(111)는 초점 거리에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 또한, 광학부(111)는 광량을 조절하는 조리개를 더 포함할 수 있다.

광학 구동부(113)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다.

광학부(111)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 광전 변환 소자로써, 예를 들면 CCD 또는 CSI 등을 사용할 수 있다. 이와 같은 촬상 소자(115)는 촬상 소자 제어부(117)에 의해 감도 등이 조절될 수 있다.

조작부(120)는 사용자 등의 외부로부터의 제어 신호를 입력받아 출력한다. 조작부(120)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터 신호를 입력하는 셔터 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택 신호등을 입력받을 수 있는 다양한 기능 버튼들을 포함한다.

조작부(120)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있으나, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치 스크린, 리모트 컨트롤러 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

특히, 본 발명의 실시 예에 따라 조작부(120)는 모션 블러 커널 획득 모드 선택 및 디블러링 요청 모드 선택 신호를 입력받을 수 있다.

또한, 본 발명에 따라 입력되는 사용자 정보 또는 촬영 환경 정보 등은 상기 조작부(120)을 통해 입력될 수 있고, 도면에는 도시되어 있지 않지만 디지털 촬영 장치에 별도의 센서가 부착되어 있어 촬영 환경 상태를 감지하여 제어부에 입력할 수도 있다. 예를 들어, 상기 센서는 풍속, 습도, 온도 및 사용자의 이동 속도 등을 감지할 수 있다.

또한, 본 발명에 따라 조작부(120)에 포함되는 셔터 버튼으로부터 셔터 속도 등이 제어부(150)에 입력될 수 있다.

메모리(130)는 디지털 촬영 장치를 구동하는 운영 시스템, 응용 시스템 등의 프로그램과, 연산 수행에 필요한 데이터 또는 결과 데이터, 이미지 파일 등의 데이터를 저장한다. 특히, 본 발명의 실시 예에 따라 메모리(130)는 사용자 정보, 촬영 환경, 셔터 속도 중 하나 이상에 매핑된 모션 블러링 커널 정보와, 미리 알고 있는 원 이미지 정보 등을 저장한다.

아울러, 디지털 촬영 장치는 동작 상태, 촬영된 이미지 정보 또는 사용자 모드 설정을 위한 메시지를 표시하는 표시부(140)로 구성된다.

그리고, 디지털 촬영 장치는 입력되는 촬영 이미지 신호를 처리하고, 외부 입력 신호에 따라 각 구성부를 제어하는 제어부(150)를 포함한다.

특히, 본 발명의 실시 예에 따른 제어부(150)는 모션 블러 커널 획득 모듈(151)과, 디블러링 모듈(152)을 포함한다.

모션 블러 커널 획득 모듈(151)은 조작부(120)를 통해 사용자로부터 입력되는 모션 블러 커널 획득 요청 모드 선택 신호에 의해 구동되어, 원이미지를 알고 있는 피사체의 촬영 이미지가 입력되면, <수학식 1>을 사용하여 모션 블러 커널을 획득하여 메모리(130)에 저장한다. 이때, 모션 블러 커널 획득 모듈(151)은 상기 획득된 모션 블러 커널에 대응되는 사용자 정보, 촬영 환경 또는 셔터 속도 등의 설정 정보를 매핑시켜 함께 저장한다.

디블러링 모듈(152)은 조작부(120)를 통해 사용자로부터 입력되는 디블러링 요청 모드 선택 신호 입력에 따라, 미지의 피사체 촬영 이미지가 입력될 경우, 메모리(130)에 저장되어 있는 모션 블러 커널을 검출하여, <수학식 1>을 통해 원 이미지를 복원해낸다.

모션 블러 커널 획득 모듈(151) 및 디블러링 모듈(152)의 상세 동작은 후술될 디지털 촬영 장치에서의 디블러링 방법에서 도 2 내지 도 3을 통해 좀 더 상세히 설명하기로 한다.

본 발명의 실시 예에 따른 디지털 촬영 장치에서의 디블러링 방법은 원 이미지를 알고 있는 소정 피사체의 촬영 이미지를 입력받아, 상기 촬영 이미지와 원 이미지로부터 모션 블러 커널을 획득하는 단계와, 미지의 피사체 촬영 이미지 입력에 따라, 상기 획득된 모션 블러 커널을 이용하여 원 이미지를 복원하는 단계로 구성된다.

도 2는 본 발명에 따른 모션 블러 커널을 획득하는 단계의 상세 실시 예를 설명하기 위한 순서도로, 디지털 촬영 장치의 모션 블러 커널 획득 모듈(151)에 의해 동작된다.

도 2를 참조하면, 모션 블러 커널 획득 모듈(151)은 210 단계에 모션 블러 커널 획득 모드 선택 신호 입력에 의해 구동된다. 그러면, 모션 블러 커널 획득 모듈(151)은 220 단계에서 모션 블러 커널 검출 메뉴 설정 동작을 수행하는데, 후술될 330 단계에서 획득하고자 하는 모션 블러 커널이 어떠한 사용자의 촬영 이미지로부터 획득되는 것인지 또는 어떠한 환경에서 촬영된 이미지로부터 획득되는 것인지의 설정 정보를 사용자로부터 입력받는 것이다.

또한, 상기 모션 블러 커널 검출 메뉴에는 셔터 속도를 단계별로 변경하여 촬영 이미지를 입력할 것인지 여부 결정 항목도 포함될 수 있고, 모션 블러 커널을 검출하기 위한 원이미지를 선택할 수 있는 선택 정보를 입력받는 항목이 포함될 수도 있다. 상기 원 이미지는 일 예로 검은 종이에 흰색 점이 4 개 정도 분포하는 형태일 수 있다.

한편, 상기 획득될 모션 블러 커널이 일회용일 경우, 상기 사용자 정보 또는 촬영 환경 정보 등의 설정 정보 입력은 생략될 수도 있다.

다음으로 모션 블러 커널 획득 모듈(151)은 230 단계에서 미리 알고 있는 원 이미지를 촬영한 피사체를 촬영한 이미지를 입력받는다. 상기 원이미지는 상기 220 단계에서 설정된 원이미지이고, 상기 촬영 이미지는 둘 이상 입력될 수도 있다.

그리고, 모션 블러 커널 획득 모듈(151)은 240 단계에서 셔터 속도 변경 여부를 판단한다. 즉, 상기 220 단계에서 셔터 속도 변경이 설정되었는지를 판단하는 것이다. 상기 240 단계의 판단 결과, 셔터 속도 변경이 설정되었을 경우, 모션 블러 커널 모듈(151)은 250 단계에서 변경된 셔터 속도로 촬영된 이미지를 입력받은 후, 240 단계로 진행한다. 여기서, 240 단계는 셔터 속도 변경 설정시, 설정된 셔터 속도 단계들에 해당하는 촬영 이미지를 모두 획득할 때까지 반복될 수 있다.

반면, 상기 240 단계의 판단 결과, 셔터 속도 변경 설정되지 않았거나, 원하는 셔터 속도 단계별 촬영 이미지들이 모두 획득되었을 경우, 모션 블러 커널 모듈(151)은 260 단계에서 <수학식 1>을 이용하여 이미 알고 있는 원이미지와 촬영 이미지로부터 모션 블러 커널을 산출해낸다.

그리고, 모션 블러 커널 획득 모듈(151)은 270 단계에서 상기 산출된 모션 블러 커널을 상기 220 단계에서 설정된 정보와 매핑시켜 저장한다.

도 3은 전술한 모션 블러 커널이 획득된 후, 촬영 이미지 입력에 따라 원 이미지 복원하는 단계의 상세 실시 예를 설명하기 위한 순서도로, 디지털 촬영 장치의 디블러링 모듈(151)에 의해 동작된다.

도 3을 참조하면, 디블러링 모듈(310)은 310 단계에서 미지의 피사체의 촬영 이미지가 입력되면, 320 단계에서 디블러링 여부를 판단한다. 상기 320 단계는 사용자의 디블러링 요청 키입력 신호 입력 여부 또는 상기 입력된 촬영 이미지의 블러링 정도가 소정 임계치 이상인지에 따라 판단되는 것일 수도 있다. 또는 디지털 촬영의 기본 설정으로 디블러링 동작에 설정되어 있는지의 여부에 따른 판단일 수도 있다.

상기 320 단계의 판단 결과 디블러링하는 것으로 결정되면, 디블러링 모듈(152)은 330 단계에서 저장되어 있는 모션 블러 커널들 중 입력된 촬영 이미지를 복원하기에 적절한 모션 블러 커널을 선택하기 위한 검출 선택 정보를 획득한다. 예를 들어, 상기 입력된 촬영 이미지가 특정 사용자 A에 의해 바람부는 날씨에 촬영된 이미지라면, 상기 검출 선택 정보는 사용자 A 및 바람부는 날씨가 될 수 있다.

그리고, 상기 330 단계에서 검출 선택 정보는 현재 단계에서 사용자로부터 키입력에 의해 획득된 정보일 수도 있고, 이전에 블러링 기본 설정 정보로 저장된 정보를 이용할 수도 있다.

다음으로 디블러링 모듈(152)은 340 단계에서 상기 획득된 검출 선택 정보에 매핑되어 있는 모션 블러 커널을 메모리에서 검출해낸다. 즉, 상기 270 단계에서 저장된 모션 블러 커널에 매핑되어 있는 설정 정보와 상기 검출 선택 정보를 비교하여 일치하는 하나 이상의 모션 블러 커널을 찾아내는 것이다.

그러면, 디블러링 모듈(152)은 350 단계에서 상기 <수학식 1>을 이용하여 상기 촬영 이미지와 상기 검출된 모션 블러 커널로부터 상기 촬영 이미지의 원 이미지를 복원해낸다. 이때, 모션 블러 커널이 둘 이상일 수 있으므로, 복원되는 원 이미지도 둘 이상일 수 있는데, 디블러링 모듈(152)은 이 중 가장 선명한 원이미지를 선택하여 저장할 수도 있고, 복원된 둘 이상의 원이미지들을 저장할 수도 있다.

Claims (10)

1. 원 이미지를 알고 있는 소정 피사체의 촬영 이미지를 입력받아, 상기 촬영 이미지와 원 이미지로부터 모션 블러 커널을 획득하는 단계와,
   상기 획득된 모션 블러 커널을 촬영시의 셔터 속도, 촬영한 사용자 정보, 촬영 환경 중 적어도 하나 이상의 설정 정보와 매핑시켜 저장하는 단계와,
   미지의 피사체의 촬영 이미지 입력에 따라, 상기 미지의 피사체 촬영시의 셔터 속도, 촬영한 사용자 정보, 촬영 정보 중 적어도 하나 이상을 포함하는 검출 선택 정보를 획득하는 단계와,
   상기 획득된 검출 선택 정보에 상응하는 모션 블러 커널을 이용하여 상기 미지의 피사체의 원 이미지를 복원하는 단계를 포함하여 구성됨을 특징으로 하는 디지털 촬영 장치에서의 디블러링 방법.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서, 상기 원 이미지를 복원하는 단계는
   입력되는 원 이미지에 발생된 블러링이 소정 임계치 이상인지에 따라, 선택적으로 원 이미지를 복원함을 특징으로 하는 디지털 촬영 장치에서의 디블러링 방법.
   
5. 사용자의 지시 정보를 입력받아 출력하는 조작부와,
   상기 조작부로부터 출력되는 사용자 지시에 따라, 피사체를 촬영하여 촬영 이미지를 출력하는 촬영부와,
   메모리와,
   상기 촬영부로부터 원 이미지를 알고 있는 소정 피사체의 촬영 이미지를 입력받아, 상기 촬영 이미지와 원 이미지로부터 모션 블러 커널을 획득하고, 상기 촬영시의 셔터 속도, 촬영한 사용자 정보, 촬영 환경 중 적어도 하나 이상의 설정 정보를 상기 조작부로부터 입력받아, 상기 획득된 모션 블러 커널과 매핑시켜 상기 메모리에 저장하고, 미지의 피사체의 촬영 이미지 입력에 따라, 상기 미지의 피사체 촬영시의 셔터 속도, 촬영한 사용자 정보, 촬영 정보 중 적어도 하나 이상을 포함하는 검출 선택 정보를 획득하고, 상기 획득된 검출 선택 정보에 상응하는 모션 블러 커널을 이용하여 상기 미지의 피사체의 원 이미지를 복원하는 제어부를 포함하여 구성됨을 특징으로 하는 디블러링 지원 디지털 촬영 장치.
   
6. 삭제
7. 삭제
8. 삭제
9. 제 5항에 있어서, 상기 제어부는
   입력되는 촬영 이미지에 발생된 블러링이 소정 임계치 이상인지에 따라, 선택적으로 원이미지 복원 여부를 검정함을 특징으로 하는 디블러링 지원 디지털 촬영 장치.
   
10. 제 5항에 있어서,
    촬영 환경 정보를 감지하여 상기 제어부로 출력하는 센서를 더 포함함을 특징으로 하는 디블러링 지원 디지털 촬영 장치.

Images