KR101172629B1 - 영상 처리 방법 및 이를 위한 장치 - Google Patents

Abstract

렌즈 왜곡 보정을 이용한 영상 처리 방법 및 이를 위한 장치가 개시된다. 수신된 영상의 엣지 부분에서 픽셀정보들을 하나의 그룹으로 만들어 선분을 검출하고, 상기 검출된 선분을 이용하여 복수개의 곡선을 생성하는 검출부, 상기 생성된 복수개의 곡선에 따른 비용함수에서 영상 중심에서의 거리에 따라 가중치를 적용하여 임계값 보다 작은 길이를 가진 곡선을 아웃라이어로 정의하고 임계값 보다 긴 길이를 가진 곳선을 인라이어로 정의하여 아웃라이어를 상기 아웃라이어를 제거하여 왜곡 정도 파라미터를 추정하는 최적화부 및 상기 왜곡 정도 파라미터를 이용하여 픽셀의 위치를 보정값으로 보정하는 보정부를 포함하여 구성될 수 있다. 따라서, 직접 촬영한 영상이 아닌 경우에도 렌즈 왜곡에 대한 보정이 가능하고 특정한 카메라 및 촬상 장치가 아닌 모든 렌즈를 이용한 기기를 통하여 생성된 영상에 대해서 보정할 수 있다.

Description

영상 처리 방법 및 이를 위한 장치{METHOD OF PROCESSING IMAGE AND APPARATUS FOR THE SAME}

본 발명은 영상 처리 방법 및 이를 위한 장치에 관한 것으로, 더욱 상세하게는 렌즈 왜곡 보정을 이용한 영상 처리 방법 및 이를 위한 장치에 관한 것이다.

컴퓨터를 이용한 영상 처리 기술은 대용량의 메모리칩 개발과 함께 컴퓨터 처리 속도가 급격히 향상됨에 따라서 산업 전반에 걸쳐 두루 이용되고 있는 추세이다. 특히 공장 자동화 라인에서의 검사 측정 부분이나 실시간 웹기반 모니터링 시스템 증에 있어서는 필수적인 요소 기술이 되고 있다. 어안 렌즈와 같은 광각 렌즈를 이용하면 동일한 FOV(Field of View)내에서 보다 넓은 영역의 이미지를 획득할 수 있는 장점이 있는 반면, 영상의 중심으로부터 멀어질수록 왜곡의 정도가 심하여 이를 위하여 기하학적 보정을 필요로 한다.

입력 영상의 보정과 관련하여 기존의 많은 연구자들이 카메라나 VCR 등의 왜곡 영상 보정 기술을 발표한 바 있다. Rahul은 광각렌즈에 의한 왜곡보정을 위하여 Radial Distortion과 Decentering Distortion을 종합한 카메라 보정방법에 관하여 연구한 바 있으며 Weng은 카메라를 통하여 입력된 영상을 보정하는 알고리즘에 대하여 연구하였다. Tsai는 1차 FFT(Fast Fourier Transform)을 이용한 보정식을 발표하였으며, 영상 중심점을 보정하기 위하여 Rigid Body 변환과 Pin Hole 카메라에 대한 원근 방정식과 2차항으로 표현되는 Radial Distortion 식을 사용하여 보정하였다.

대부분의 연구자들은 광각이 크지 않은 카메라 등에 있어서 대각선 방향 등에 나타나는 왜곡에 대한 보정 모델의 일반적인 식을 사용하고, Minimizing Method를 사용하여 각각의 계수들을 구하여 보정하였으며, 보정 모델에 대한 일반식의 복잡성 때문에 고차항들을 무시하고 특정 비전 환경과 왜곡 유형에 한정하여 적용하였다.

광학계의 성능을 좌우하는 중요한 인자로서 수차(Aberration)을 들 수 있다. 이는 일정한 곡률과 굴절률을 갖는 렌즈의 속성에 의하여 발생하는 현상으로, 결상할 때 상이 제대로 맺히지 않아서 흐리게 보이거나 일그러지는 현상을 말한다.

렌즈 수차는 일반적으로 구면(Spherical) 수차, 코마(Coma) 수차, 비점(Astigmatism) 수차, 상면 만곡(Field Curvation) 수차 및 왜곡(Distortion) 수차 등 5가지 유형으로 분류되며, 이를 통칭하여 자이델 수차(Seidel Aberration)이라고 한다.

구면 수차는 결상할 때 렌즈의 중심을 지나는 수직축, 즉, 광축(On Axis)의 가까운 위치로부터 입사된 광선보다 광축으로부터 먼 위치에서 입사한 광선이 보다 많이 굴절되고, 결상 위치 또한 렌즈에 가까운 위치로 결상하는 현상을 나타낸다.

비점 수차는 렌즈 연마 불량, 렌즈 재료 불량 및 온도차 등에 의하여 발생한다.

상면 만곡 수차 현상은 광축에서 멀리 떨어진 곳으로부터 입사되는 빛일수록 렌즈에서 가까운 위치에서 결상되고, 따라서, 초점은 편면상이 아닌 구면 위에 형성되어 만곡된 상을 만들게 되는 것이다.

왜곡 수차는 피사체의 직선 부분이 휘어져서 결상되는 현상을 말한다.

색수차는 빛이 렌즈를 통과할 때 파장에 따라 굴절의 차이가 생기므로 굴절 결과 파장이 짧은 빛이 더 심하게 굴절되어 각각 다르게 결상되어 그 결과 물체가 색깔별로 번지는 것처럼 보인다.

방사형의 왜곡은 저렴한 렌즈를 구비한 카메라에서 잘 나타나며 특수 기능을 위한 어안렌즈나 틸트 렌즈에서 특히 두드러진다. 이러한 렌즈 왜곡 현상은 렌즈를 이용한 모든 영상 장치에서 발생하는 문제이며 이러한 렌즈 왜곡의 중심점이 파악되지 않는 경우에는 렌즈 왜곡 보정이 불가능하거나 보정을 한다고 해도 보정 후에 새로운 왜곡이 발생하게 된다. 영상 왜곡의 문제는 디지털 이미징 시스템 제조자 및 핵심 구성 요소 공급자에게 매우 중요하다.

렌즈 왜곡 현상을 경감하기 위해 렌즈에 특수한 소재를 사용하거나 여러 개의 렌즈를 덧붙여 제작하는 방법을 사용할 수 있다. 하지만 이러한 방법은 렌즈의 가격을 높이게 되기 때문에 렌즈의 교체가 불가능한 소형 카메라에서는 적용이 불가능하다는 문제점이 있다. 또한, 여러 개의 렌즈를 사용하는 경우 왜곡 중심이 틀어지는 문제가 발생하게 된다.

이러한 문제점 때문에 영상처리를 통해 이러한 왜곡을 보정하는 법들이 많이 개발되고 있다. 현재까지의 왜곡 보정 기술은 촬영시의 카메라 셋팅이나 특정 테스트 패턴을 촬영한 영상을 이용하는 방법을 주로 사용한다. 부수적인 정보가 없이 영상 정보만을 이용해서 렌즈 왜곡을 보정하는 자동 보정 방법의 연구로 점차 이어져 가고 있다.

기존의 많은 기법들은 대부분 분석과 보정이 용이한 방사형 렌즈 왜곡 보정 기법에 초점을 맞추고 있다. 특히 소형 카메라에서의 렌즈 왜곡 보정을 위해 영상처리 기법을 통한 렌즈 왜곡 보정 기법들의 연구가 진행되었다. 주로 방사형 렌즈 왜곡에 초점을 맞추어 왜곡의 중심점을 기준으로 왜곡의 정도를 파악하여 렌즈 왜곡을 보정하는 기법들이 연구되었다. 곡선의 세트 및 직선의 세트와 곡선의 세트 간의 수차를 설명하는 등식 세트 전체가 풀어지게 최적화함으로써 왜곡된 이미지에서 보정된 이미지로의 전체적인 왜곡 정도를 계산하게 된다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은, 렌즈 왜곡 보정을 이용한 영상 처리 장치를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은, 렌즈 왜곡 보정을 이용한 영상 처리 방법을 제공하는데 있다.

상기한 본 발명의 제 1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는, 수신된 영상의 엣지 부분에서 픽셀정보들을 하나의 그룹으로 만들어 선분을 검출하고, 상기 검출된 선분을 이용하여 복수개의 곡선을 생성하는 검출부, 상기 생성된 복수개의 곡선에 따른 비용함수에 영상 중심에서의 거리에 따라 가중치를 적용하여 임계값 보다 작은 길이를 가진 곡선을 아웃라이어로 임계값 보다 긴 길이를 가진 곡선을 인라이어로 정의하여 아웃라이어를 제거하여 상기 인라이어만을 이용하여 비용함수가 최소화 되는 왜곡 정도 파라미터를 추정하는 최적화부 및 상기 왜곡 정도 파라미터를 이용하여 픽셀의 위치를 보정값으로 보정하는 보정부를 포함하여 구성될 수 있다.

본 발명의 제 2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은, 수신된 영상의 엣지 부분에서 픽셀정보들을 하나의 그룹으로 만들어 선분을 검출하고, 상기 검출된 선분을 이용하여 복수개의 곡선을 생성하는 단계, 상기 생성된 복수개의 곡선에 따른 비용함수에 영상 중심에서의 거리에 따라 가중치를 적용하여 임계값 보다 작은 길이를 가진 곡선을 아웃라이어로 임계값 보다 긴 길이를 가진 곡선을 인라이어로 정의하는 단계, 상기 아웃라이어를 제거하여 상기 인라이어만을 이용하여 비용함수가 최소화 되는 왜곡 정도 파라미터를 추정하는 단계 및 상기 왜곡 정도 파라미터를 이용하여 픽셀의 위치를 보정값으로 보정하는 단계를 포함하여 구성될 수 있다.

상기와 같은 본 발명에 따른 렌즈 왜곡 보정을 이용한 영상 처리 방법 및 이를 위한 장치를 이용할 경우에는 직접 촬영한 영상이 아닌 경우에도 렌즈 왜곡에 대한 보정이 가능하고 특정한 카메라 및 촬영 장치가 아닌 모든 렌즈를 이용한 기기를 통하여 생성된 영상에 대해서 보정이 가능하며, 렌즈 왜곡의 보정 성능을 향상시키는 영상 내용과 열화시키는 영상 내용을 구분지음으로써 보정 성능이 다른 기법들에 비해 뛰어나다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링의 구조를 도시한 도면이다.
도 3 는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 렌즈 왜곡이 발생하지 않은 영상의 예시도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 렌즈 왜곡 발생 영상의 예시도이다.
도 6을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치의 검출부(102)가 곡선을 검출하는 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 따른 가중치를 적용하지 않은 비용함수에 따른 렌즈 왜곡 보정 파라미터에 따른 오차 픽셀의 비율을 도시한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 따른 가중치를 적용하는 비용함수에 따른 렌즈 왜곡 보정 파라미터에 따른 오차 픽셀의 비율을 도시한 그래프이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 같이 렌즈 왜곡의 중심에서 곡선과의 거리를 이용하여 비용함수에 가중치를 적용하여 곡선을 아웃라이어 및 인라이어로 구분하는 경우를 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 과정을 설명하기 위한 흐름도이다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 영상 처리 장치를 이용하여 렌즈 왜곡 보정 수행 전/후를 설명하기 위한 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 내부 구조를 개략적으로 도시한 도면이다.

도 1을 참조하면, 영상 처리 장치는 수신부(101), 검출부(102), 최적화부(103) 및 보정부(104)를 포함하여 구성될 수 있다.

검출부(102)는 수신부(101)로부터 수신된 렌즈 왜곡 발생 영상의 엣지 부분에서 픽셀정보들을 하나의 그룹으로 만들어 선분을 검출한다. 또한, 검출부(102)는 검출된 선들 중 임계값보다 짧은 선분들은 연결시켜 곡선을 생성하고, 선분간 거리와 각도가 어긋난 선들을 연결시켜 곡선을 생성한다.

최적화부(103)는 검출부(102)에 의해 생성된 곡선에 따른 비용함수를 영상 중심에서의 거리에 따라 가중치를 적용하여 임계값 보다 작은 길이를 가진 곡선을 아웃라이어로 임계값 보다 긴 길이를 가진 곡선을 인라이어로 정의하여 아웃라이어 및 인라이어 중 아웃라이어를 제거하여 비용함수가 최소화되는 왜곡 정도 파라미터를 추정한다. 본 발명의 일 실시예에 따르면, 최적화부(103)는 Ransac 기법을 기초로하여 M개의 선분 중 랜덤으로 하나의 선분을 선택하고, 선택된 선분의 왜곡 정도에 가장 주된 영향을 미치는 왜곡 정도 파라미터 κ₃ 에 따른 비용함수가 최소가 되는 왜곡 파라미터를 Levenberg-marquardt 방법을 이용하여 추정하고, 추정된 왜곡 파라미터를 이용하여 M개의 모든 선분에 대해 후술될 <수학식 1>을 이용하여 직선화 시킨 후 검출된 곡선들을 구성하는 모든 픽셀에 대한 오차를 구하고, 이 오차의 절대값이 특정 임계값을 넘는 픽셀의 개수를 세어 이 개수가 곡선에서 차지 하는 픽셀 개수에 따라 특정 비율 이상인 경우 이 곡선을 아웃라이어로 추정하여 이를 제거한다.

최적화부(103)는 Ransac 기법을 이용하는 데 있어서 비용 함수는 직선화된 곡선과 원본 곡선간 픽셀 사이의 거리로 나타내며 비용함수가 최소화되는 파라미터를 찾기 위해 후술될 <수학식 3>과 같은 2차항을 사용하였으나, 본 발명의 범위가 <수학식 3>과 같은 비용함수에만 한정되는 것은 아니며, 최소화 시킬 수 있는 모든 모델에 적용될 수 있음이 이해되어야 할 것이다.

보정부(104)는 최적화부(103)에 의해 추정된 왜곡 정도 파라미터를 이용하여 픽셀의 위치를 보정한다. 이때, 보정값은 픽셀 좌표값 주변 영역으로 보정된 픽셀값 사이에서 보간을 이용해 설정된 값이다. 그러면 이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링의 구조를 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링의 구조를 도시한 도면이다.

도 2를 참조하면, P_u=(x_u, y_u)는 렌즈 왜곡이 발생하지 않은 영상의 좌표이고, P_d=(x_d, y_d)는 렌즈 왜곡 발생 영상의 좌표이다. 방사형 렌즈 왜곡은 렌즈 왜곡 발생 영상의 좌표에 해당하는 픽셀에서 영상 중심 0(201)까지의 거리의 함수로 모델링된다. 렌즈 왜곡 모델링은 <수학식 1>과 같이 기술된다.

<수학식 1>을 참조하면, rd는 렌즈 왜곡 발생 영상내에 왜곡된 픽셀에서 이미지 중심까지의 거리를 나타내고,

와 같이 표현된다. x_u 는 렌즈 왜곡이 발생하지 않은 영상의 X 좌표를 나타내고, y_u 는 렌즈 왜곡이 발생하지 않은 영상의 Y 좌표를 나타내고, x_d 는 렌즈 왜곡 발생 영상의 X 좌표를 나타내고, y_d 는 렌즈 왜곡 발생 영상의 Y 좌표를 나타낸다. C_x는 영상 중심의 X 좌표를 나타내고, C_y는 영상 중심의 Y 좌표를 나타낸다. κ는 렌즈 왜곡의 정도를 나타내는 파라미터이다. 렌즈 왜곡의 정도를 나타내는 파라미터 κ는 렌즈 왜곡이 발생하지 않은 영상의 좌표 P_u=(x_u, y_u)(202)에서 렌즈 왜곡 발생 영상의 좌표 P_d=(x_d, y_d)(203)로 이동하게 된다. 렌즈 왜곡의 정도를 나타내는 파라미터 κ의 이동은 특정한 좌표에만 국한된 것이 아닌, 영상 전체에서 고정된 κ값으로 거리에 따른 왜곡이 생기게 된다.

일반적으로 저가의 렌즈를 이용한 영상 촬영기기의 경우 제품 제조사는 통상적으로 공장 수차 파라미터를 제공하지 않는다. 그러므로 디지털 영상 촬영기기의 제조사는 종종 공장 수차 보정에 대해서 아무 조치도 취하지 않기 때문에 렌즈 왜곡이 일어나게 된다. 그러면 이하에서는 도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 렌즈 왜곡이 발생하지 않은 영상 및 렌즈 왜곡 발생 영상을 설명하기로 한다.

도 3 는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 렌즈 왜곡이 발생하지 않은 영상의 예시도이고, 도 4 및 도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 렌즈 왜곡 발생 영상의 예시도이다.

도 3 내지 도 5를 참조하면, 도 3은 렌즈 왜곡이 발생하지 않은 일반적인 영상을 나타내고, 도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 배럴 왜곡이 발생한 렌즈 왜곡 발생 영상을 나타내고, 도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에 적용되는 렌즈 왜곡 모델링에 의해 핀쿠션 왜곡이 발생한 렌즈 왜곡 발생 영상을 나타낸다. 그러면 이하에서는, <수학식 2>를 참조하여 도 4 및 도 5와 같이 배럴 왜곡 및 핀쿠션 왜곡이 발생하였다고 판단하는 간편화된 모델을 설명하기로 한다.

<수학식 2>를 참조하면, rd는 렌즈 왜곡 발생 영상내에 왜곡된 픽셀에서 이미지 중심까지의 거리를 나타내고,

와 같이 표현된다. x_u 는 렌즈 왜곡이 발생하지 않은 영상의 X 좌표를 나타내고, y_u 는 렌즈 왜곡이 발생하지 않은 영상의 Y 좌표를 나타내고, x_d 는 렌즈 왜곡 발생 영상의 X 좌표를 나타내고, y_d 는 렌즈 왜곡 발생 영상의 Y 좌표를 나타낸다. κ는 렌즈 왜곡의 정도를 나타내는 파라미터이다. κ_i 중 κ₃ 값이 왜곡 정도에 가장 주된 영향을 미치는 것으로 분석된 경우, κ₃만을 고려하여 왜곡 정도를 추정한다. κ₃ 0보다 크면 도 4와 같이 배럴 왜곡이 발생한 경우라고 판단된다. 반면, κ₃이 0보다 작으면 도 5와 같이 핀쿠션 왜곡이 발생한 경우라고 판단된다. 이와 같이 왜곡의 정도를 나타내는 파라미터 κ를 자동으로 유도하기 때문에, 사용자가 업그레이드된 캘리브레이션을 할 수 있고, 디지털 영상 촬영기기의 제조자는 고품질 영상 촬영기기에서 저렴한 렌즈를 사용할 수 있다. 그러면 이하에서는, 도 6을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치의 검출부(102)가 곡선을 검출하는 과정을 보다 구체적으로 설명하기로 한다.

도6은 본 발명의 일 실시예에 따른 영상 처리 장치의 검출부(102)가 곡선을 검출하는 과정을 설명하기 위한 예시도이다.

도 6을 참조하면, 검출부(102)는 수신부(101)로부터 수신된 영상의 엣지 부분에서 픽셀정보들을 하나의 그룹으로 만들어 선분을 검출한다. 이때, 검출부(102)가 영상내의 선분들을 검출하면 곡선을 이루는 복수개의 짧은 선분들(601, 602, 603, 604)이 검출된다. 따라서, 검출부(102)는 하나의 곡선을 이루고 있는 다양한 선분들을 하나의 그룹으로 만들기 위해서는 선분들 사이의 관계를 살펴보고 어떤 그룹에 속할지를 결정한다. 이를 위하여 검출부(102)는 선분들을 같은 그룹, 즉 같은 곡선에 속하게 하기 위해서 각각의 선분에 대해서 선분 사이의 거리 p(600a), 선분 사이의 각도 a(600b)및 선분의 수직거리 d(600c)를 측정하면서 선분을 연결한다. 먼저, 검출부(102)는 선분 사이의 거리(600a), 선분 사이의 각도(600b) 및 선분의 수직거리(600c)가 모두 임계값보다 작은 경우에 한 그룹으로 지정해주어 line 1(601)과 연결된 선은 line 2(602)로 한정하게 된다. 이러한 선분들이 연결된 곡선을 나타내는 그룹을 표현해 낼 수 있으며 각각의 그룹은 한 곡선을 이루는 픽셀 값들을 저장하게 된다.

최적화부(103)는 이와 같은 검출된 곡선들을 이용하여 곡선들이 직선화되는 렌즈 왜곡 파라미터를 추정하는데, 검출부(102)에 의해 검출된 곡선이 매우 짧을 경우 렌즈 왜곡 파라미터를 추정하기 어려울 뿐만 아니라 추정 오차가 크게 발생한다. 또한, 영상에 나타나는 곡선들 중에는 렌즈 왜곡에 의해서 직선이 곡선으로 휘어진 선들도 존재하지만 실제 촬영한 피사체가 곡선을 포함하고 있는 경우도 존재한다. 특히, 렌즈 왜곡이 영상의 중심 근처에서 일어난 경우 중심과의 거리가 가까워 렌즈 왜곡이 매우 적게 일어나게 된다. 이와 같은 이유로 최적화부(103)가 렌즈 왜곡 정도 파라미터 추정 시 중심과의 거리가 가까워 왜곡이 적게 일어난 선들을 포함하여 왜곡 파라미터를 추정하면 정확도가 떨어져 보정부(104)가 보정을 정확히 할 수 없다.

이와 같은 이유로 최적화부(103)는 검출부(102)에 의해 생성된 곡선에 따른 비용함수를 영상 중심에서의 거리에 따라 가중치를 적용하여 곡선을 아웃라이어 및 인라이어로 구분하고, 아웃라이어를 제거한 후, 인라이어를 이용하여 왜곡 파라미터를 추정한다. 본 발명의 일 실시예에 따르면, 최적화부(103)는 Ransac 기법을 기초로하여 검출부(102)에 의해 생성된 M개의 곡선들 중 랜덤으로 하나의 곡선을 선택하고, 선택된 곡선이 왜곡 정도에 가장 주된 영향을 미치는 왜곡 정도 파라미터 κ₃ 에 따른 비용함수가 최소가 되는 왜곡 파라미터를 Levenberg-marquardt 방법을 이용하여 추정한다. 최적화부(103)는 추정된 왜곡 파라미터를 이용하여 M개의 모든 곡선에 대해 후술될 <수학식 1>을 이용하여 직선화 시킨 후 검출된 곡선들을 구성하는 모든 픽셀에 대한 오차를 구하고, 이 오차의 절대값이 특정 임계값을 넘는 픽셀의 개수를 세어 이 개수가 곡선에서 차지 하는 픽셀 개수에 따라 특정 비율 이상인 경우 이 곡선을 아웃라이어로 정의한다.

본 발명의 일 실시예에 따르면, 최적화부(103)는 Ransac 기법을 이용하는 데 있어서 비용 함수는 직선화된 곡선과 원본 곡선간 픽셀 사이의 거리로 나타내며 비용함수가 최소화되는 파라미터를 찾기 위해 후술될 <수학식 3>과 같은 2차항을 사용하였으나, 본 발명의 범위가 <수학식 3>과 같은 비용함수에만 한정되는 것은 아니며, 최소화 시킬 수 있는 모든 모델에 적용될 수 있음이 이해되어야 할 것이다.

그리고, 최적화부(103)는 인라이어만을 이용하여 비용함수가 최소화 되는 왜곡 정도 파라미터를 추정한다.

도 7은 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 따른 가중치를 적용하지 않은 비용함수에 따른 렌즈 왜곡 보정 파라미터에 따른 오차 픽셀의 비율을 도시한 그래프이고, 도 8은 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 따른 가중치를 적용하는 비용함수에 따른 렌즈 왜곡 보정 파라미터에 따른 오차 픽셀의 비율을 도시한 그래프이다.

도 7 및 도 8을 참조하면, 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 따른 <수학식 3>의 비용함수를 사용하면 도 7과 같은 렌즈 왜곡 보정 파라미터에 따른 아웃라이어 구분 성능이 나타난다. 이는 렌즈 왜곡 영상의 중심에 가까운 선들이 파라미터의 변화에 따른 민감도가 적게 나타나 20%의 임계값을 사용한 경우 매우 넓은 κ₃의 변화 영역에 대해서 아웃라이어가 되지 않는 문제를 유발한다. 이와 같은 이유로, 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 렌즈 왜곡의 중심에서 곡선과의 거리를 이용하여 비용함수에 가중치를 주면 도 8과 같이 주어 렌즈 왜곡 보정 파라미터에 따른 아웃라이어가 유발되어 아웃라이어 제거 방법의 성능을 향상시켜 렌즈 왜곡 보정 기능을 향상할 수 있다. 그러면 이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 같이 렌즈 왜곡의 중심에서 곡선과의 거리를 이용하여 비용함수에 가중치를 적용하여 곡선을 아웃라이어 및 인라이어로 구분하는 경우를 설명하기로 한다.

도 9는 본 발명의 일 실시예에 따른 영상 처리 장치의 최적화부(103)가 검출부(102)에 의해 생성된 곡선에 같이 렌즈 왜곡의 중심에서 곡선과의 거리를 이용하여 비용함수에 가중치를 적용하여 곡선을 아웃라이어 및 인라이어로 구분하는 경우를 설명하기 위한 예시도이다.

도 9를 참조하면, 최적화부(103)는 검출부(102)에 의해 생성된 곡선에 따른 비용함수에 곡선과 렌즈 왜곡 중심 사이의 거리에 따라 가중치를 적용하여 곡선을 아웃라이어 및 인라이어로 구분한다. 그리고, 최적화부(103)가 비용함수가 최소화되는 파라미터를 찾기 위해 <수학식 4>와 같은 대각선 길이를 이용한다. 본 발명의 범위가 수학식 4와 같은 가중치에만 한정되는 것은 아니며, 곡선과 렌즈 왜곡의 중심 간의 거리를 이용한 모든 모델에 적용될 수 있음이 이해되어야 할 것이다.

최적화부(103)는 검출부(102)에 의해 생성된 곡선에 따른 비용함수에 곡선과 렌즈 왜곡 중심 사이의 거리에 따라 <수학식 4>와 같은 가중치를 적용하면, 앞서 설명된 도 8의 점선과 같이 렌즈 왜곡 보정 파라미터에 따른 아웃 라이어 구분 성능이 나타나게 되며 이는 점선으로 나타나듯이 line3에 대해 임계값을 넘는 픽셀의 비율이 변화하여 아웃라이어 검출 성능이 변화한다.

최적화부(103)는 아웃라이어 및 인라이어 중 <수학식 4>와 같은 가중치를 가지는 비용함수를 가지는 Ransac 기법을 이용하여 아웃라이어들을 제거한다. 그 후, 최적화부(103)는인라이어들만 남은 곡선의 그룹을 이용하여 인라이어들의 왜곡 정도에 가장 주된 영향을 미치는 왜곡 정도 파라미터 κ₃ 에 따른 비용함수를 구하여 전체 인라이어에 대한 비용함수가 최소가 되는 왜곡 정도에 가장 주된 영향을 미치는 왜곡 정도 파라미터 κ₃ 값을 추정하여 최종적인 렌즈 왜곡 정도 파라미터 κ₃ 를 찾는다.

보정부(104)는 최적화부(103)의 추정에 의해 왜곡 정도에 가장 주된 영향을 미치는 왜곡 정도 파라미터 κ₃의 추정이 완료되면 <수학식 2>를 이용하여 영상 전체의 픽셀에 대하여 새로운 좌표값을 생성해 내게 되고, 생성된 좌표값들을 선형 보간법을 이용하여 최종적으로 렌즈 왜곡 보정이 이루어진 영상을 만들게 된다. 그러면 이하에서는 도 10을 참조하여 본 발명의 일 실시예에 따른 영상 처리 과정을 보다 구체적으로 설명하기로 한다.

도 10은 본 발명의 일 실시예에 따른 영상 처리 과정을 설명하기 위한 흐름도이다.

도 10을 참조하면, 영상 처리 장치는 수신된 영상의 엣지 부분에서 픽셀정보들을 하나의 그룹으로 만들어 선분을 검출한다(S1001). 이때, 영상 처리 장치는 영상내의 선분들을 검출하면 곡선을 이루는 복수개의 짧은 선분들이 검출된다.

영상 처리 장치는 검출된 선분을 이용하여 복수개의 곡선을 생성 한다(S1002). 영상 처리 장치는 하나의 곡선을 이루고 있는 다양한 선분들을 하나의 그룹으로 만들기 위해서는 선분들 사이의 관계를 살펴보고 어떤 그룹에 속할지를 결정한다. 이를 위하여 영상 처리 장치는 선분들을 같은 그룹, 즉 같은 곡선에 속하게 하기 위해서 각각의 선분에 대해서 선분 사이의 거리 p, 선분 사이의 각도 a 및 선분의 수직거리 d를 측정하면서 선분을 연결한다. 먼저, 검출부(102)는 선분 사이의 거리, 선분 사이의 각도 및 선분의 수직거리가 모두 임계값보다 작은 경우에 한 그룹으로 지정해주어 곡선을 생성한다. 이러한 선분들이 연결된 곡선을 나타내는 그룹을 표현해 낼 수 있으며 각각의 그룹은 한 곡선을 이루는 픽셀 값들을 저장하게 된다.

영상 처리 장치는 생성된 복수개의 곡선에 따른 비용함수에 영상 중심에서의 거리에 따라 가중치를 적용하여 임계값 보다 작은 길이를 가진 곡선을 아웃라이어로 임계값 보다 긴 길이를 가진 곳선을 인라이어로 정의한다(S1003).

영상 처리 장치는 아웃라이어를 제거하고(S1004), 인라이어만을 이용하여 비용함수가 최소화 되는 왜곡 정도 파라미터를 추정한다(S1005). 본 발명의 일 실시예에 따르면, 영상 처리 장치는 Ransac 기법을 기초로하여 M개의 곡선들 중 랜덤으로 하나의 곡선을 선택하고, 선택된 곡선이 왜곡 정도에 가장 주된 영향을 미치는 왜곡 정도 파라미터 κ₃ 에 따른 비용함수가 최소가 되는 왜곡 파라미터를 Levenberg-marquardt 방법을 이용하여 추정한다. 영상 처리 장치는 추정된 왜곡 파라미터를 이용하여 M개의 모든 곡선에 대해 <수학식 1>을 이용하여 직선화 시킨 후 검출된 곡선들을 구성하는 모든 픽셀에 대한 오차를 구하고, 이 오차의 절대값이 특정 임계값을 넘는 픽셀의 개수를 세어 이 개수가 곡선에서 차지 하는 픽셀 개수에 따라 특정 비율 이상인 경우 이 곡선을 아웃라이어로 정의하여 제거한다. 본 발명의 일 실시예에 따르면, 영상 처리 장치는 Ransac 기법을 이용하는 데 있어서 비용 함수는 직선화된 곡선과 원본 곡선간 픽셀 사이의 거리로 나타내며 비용함수가 최소화되는 파라미터를 찾기 위해 <수학식 3>과 같은 2차항을 사용하였으나, 본 발명의 범위가 <수학식 3>과 같은 비용함수에만 한정되는 것은 아니며, 최소화 시킬 수 있는 모든 모델에 적용될 수 있음이 이해되어야 할 것이다.

영상 처리 장치는 왜곡 정도 파라미터를 이용하여 픽셀의 위치를 보정값으로 보정한다(S1005). 이때, 보정값은 픽셀 좌표값 주변 영역으로 보정된 픽셀값 사이에서 보간을 이용해 설정된 값이다. 그러면 이하에서는, 도 11 및 도 12를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치를 이용하여 렌즈 왜곡 보정 수행 전/후를 설명하기로 한다.

도 11 및 도 12는 본 발명의 일 실시예에 따른 영상 처리 장치를 이용하여 렌즈 왜곡 보정 수행 전/후를 설명하기 위한 예시도이다.

도 11 및 도 12를 참조하면, 좌측 영상(1101, 1201)은 렌즈 왜곡 발생 영상을 나타내고, 우측 영상(1102, 1202)의 적색으로 표시한 부분은 아웃라이어 제거 과정을 거쳐 아웃라이어로 정의된 부분이며 녹색으로 표시된 부분이 인라이어로 정의되어 렌즈 왜곡 보정 파라미터 추정에 사용된 부분이다. 도 11 및 도 12의 보정 전 렌즈 왜곡 발생 영상(1101, 1201)과 보정 후 영상(1102, 1202)을 비교해 보면, 보정 전의 영상(1101, 1201)에서 건물이 휘어져 보이는 현상이 보정 후 영상(1102, 1202)에는 똑바르게 보이거나 더 직선화 되었음을 알 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

101: 수신부 102: 검출부
103: 최적화부 104: 보정부

Claims (12)

1. 영상에서 추출한 엣지 영역의 픽셀을 이용하여 복수의 선분을 검출하고, 상기 검출한 복수의 선분 중 제 1 선분과 제 2 선분 사이의 거리, 상기 제 1 선분과 상기 제 2 선분 사이의 각도 및 수직거리 중 적어도 하나의 값에 따라 상기 제 1 선분과 상기 제 2 선분을 연결하여 복수의 곡선을 생성하는 검출부;
   상기 복수의 곡선 중 제 1 곡선의 픽셀부터 상기 제 1 곡선을 직선화한 제 2 선분의 픽셀까지의 거리를 나타내는 비용함수를 정의하고, 상기 복수의 곡선 중 소정 곡선부터 상기 영상 중심까지의 거리를 산출하고, 상기 산출한 거리에 따라 상기 정의한 비용함수에 가중치를 적용하여 상기 소정 곡선을 아웃라이어 및 인라이어 중 어느 하나로 정의하고, 상기 아웃라이어로 정의된 곡선을 제거하고, 상기 인라이어로 정의된 곡선을 이용하여 왜곡 정도 파라미터를 추정하는 최적화부; 및
   상기 왜곡 정도 파라미터를 이용하여 보정 대상 픽셀을 보정하는 보정부를 포함하되,
   상기 최적화부는,
   상기 생성한 복수의 곡선 중 소정 곡선을 직선화하여 직선화 선분을 생성하고, 상기 소정 곡선의 픽셀과 생성한 상기 직선화 선분의 픽셀 사이의 오차를 계산하고, 상기 오차의 절대값이 임계값 이상일 경우, 상기 소정 곡선의 픽셀의 개수를 계산하고, 상기 계산한 픽셀의 개수가 미리 결정된 개수 이상일 경우 상기 소정 곡선을 아웃라이어로 정의하는 것을 특징으로 하는 영상 처리 장치.
2. 삭제
3. 삭제
4. 제 1 항에 있어서, 상기 최적화부는,
   상기 생성한 복수의 곡선 중 소정 곡선을 선택하고, 상기 선택한 소정 곡선을 이용하여 상기 비용함수가 최소가 되는 왜곡 정도 파라미터를 추정하는 것을 특징으로 하는 영상 처리 장치.
5. 제 1 항에 있어서, 상기 검출부는,
   상기 제 1 선분과 상기 제 2 선분 사이의 거리, 상기 제 1 선분과 상기 제 2 선분 사이의 각도 및 수직거리 중 적어도 하나의 값이 임계값 이하일 경우, 상기 제 1 선분과 상기 제 2 선분을 연결하여 복수의 곡선을 생성하는 것을 특징으로 하는 영상 처리 장치.
6. 제 1 항에 있어서, 상기 보정부는,
   상기 보정 대상 픽셀의 위치를 기준으로 미리 결정된 거리만큼 이격된 위치에 보정된 픽셀이 존재한다고 판단하는 경우 상기 보정 대상 픽셀을 상기 보정된 픽셀을 이용하여 보정하는 것을 특징으로 하는 영상 처리 장치.
7. 영상에서 추출한 엣지 영역의 픽셀을 이용하여 복수의 선분을 검출하고, 상기 검출한 복수의 선분 중 제 1 선분과 제 2 선분 사이의 거리, 상기 제 1 선분과 상기 제 2 선분 사이의 각도 및 수직거리 중 적어도 하나의 값에 따라 상기 제 1 선분과 상기 제 2 선분을 연결하여 복수의 곡선을 생성하는 단계;
   상기 복수의 곡선 중 제 1 곡선의 픽셀부터 상기 제 1 곡선을 직선화한 제 2 선분의 픽셀까지의 거리를 나타내는 비용함수를 정의하고, 상기 복수의 곡선 중 소정 곡선부터 상기 영상 중심까지의 거리를 산출하고, 상기 산출한 거리에 따라 상기 정의한 비용함수에 가중치를 적용하여 상기 소정 곡선을 아웃라이어 및 인라이어 중 어느 하나로 정의하는 단계;
   상기 아웃라이어로 정의된 곡선을 제거하고, 상기 인라이어로 정의된 곡선을 이용하여 왜곡 정도 파라미터를 추정하는 단계; 및
   상기 왜곡 정도 파라미터를 이용하여 보정 대상 픽셀을 보정하는 단계를 포함하되,
   상기 소정 곡선을 아웃라이어 및 인라이어 중 어느 하나의 라이어로 정의하는 단계는,
   상기 생성한 복수의 곡선 중 소정 곡선을 직선화하여 직선화 선분을 생성하고, 상기 소정 곡선의 픽셀과 상기 생성한 직선화 선분의 픽셀 사이의 오차를 계산하고, 상기 오차의 절대값이 임계값 이상일 경우, 상기 소정 곡선의 픽셀의 개수를 계산하고, 상기 계산한 픽셀의 개수가 미리 결정된 개수 이상일 경우 상기 소정 곡선을 아웃라이어로 정의하는 것을 특징으로 하는 영상 처리 방법.
8. 삭제
9. 삭제
10. 제 7 항에 있어서, 상기 왜곡 정도 파라미터를 추정하는 단계는,
    상기 복수의 곡선 중 소정 곡선을 선택하고, 상기 선택한 소정 곡선을 이용하여 상기 비용함수가 최소가 되는 왜곡 정도 파라미터를 추정하는 것을 특징으로 하는 영상 처리 방법.
11. 제 7 항에 있어서, 상기 복수의 곡선을 생성하는 단계는,
    상기 제 1 선분과 상기 제 2 선분 사이의 거리, 상기 제 1 선분과 상기 제 2 선분 사이의 각도 및 수직거리 중 적어도 하나의 값이 임계값 이하일 경우, 상기 제 1 선분 및 상기 제 2 선분을 연결하여 복수의 곡선을 생성하는 것을 특징으로 하는 영상 처리 방법.
12. 제 7 항에 있어서, 상기 보정 대상 픽셀을 보정하는 단계는,
    상기 보정 대상 픽셀의 위치를 기준으로 미리 결정된 거리만큼 이격된 위치에 보정된 픽셀이 존재한다고 판단하는 경우 상기 보정 대상 픽셀을 상기 보정된 픽셀을 이용하여 보정하는 것을 특징으로 하는 영상 처리 방법.

Images