KR101605314B1

KR101605314B1 - 영상처리장치 및 영상처리방법

Info

Publication number: KR101605314B1
Application number: KR1020090061194A
Authority: KR
Inventors: 김진
Original assignee: 삼성전자 주식회사
Priority date: 2009-07-06
Filing date: 2009-07-06
Publication date: 2016-03-22
Also published as: JP2011015388A; US8712187B2; KR20110003758A; US20110002557A1; EP2276265A3; EP2276265A2

Abstract

영상처리장치 및 영상처리방법이 개시되어 있다. 이 영상처리방법은, 2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하는 단계와; 오프셋에 의해 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 영상 프레임과 상이한 타 영상 프레임으로부터 왜곡 영역에 대응하는 영상 정보를 취득하고, 취득한 영상 정보로 왜곡 영역을 보정하여 3차원 영상 프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

영상처리장치 및 영상처리방법 {IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은 3차원 영상을 표시 가능하게 처리하는 영상처리장치 및 영상처리방법에 관한 것으로서, 상세하게는 3차원 영상의 아티팩트를 보정하는 영상처리장치 및 영상처리방법에 관한 것이다.

영상처리장치는 외부로부터 입력되는 영상을 다양한 프로세스로 처리하며, 처리된 영상을 자체적으로 구비된 디스플레이 패널 상에 표시하거나 또는 타 영상처리장치에 출력한다. 근래의 영상처리장치는 좌안 및 우안용 영상의 구별이 없는 2차원 영상과, 좌안 및 우안용 영상이 구별되는 3차원 영상을 입력받아 선택적으로 처리한다.

영상처리장치는 3차원 영상을 처리하는 경우 좌안용 영상 및 우안용 영상이 번갈아 표시되도록 처리함으로써, 사용자가 좌안 및 우안의 시각차를 이용하여 3차원적인 효과를 인지하도록 한다.

이러한 3차원 영상은, 최초 영상처리장치에 입력되는 시점에서 좌안 및 우안용 영상이 별개의 영상으로 입력되는 경우와, 또는 영상처리장치에 2차원 영상이 입력되고 이 2차원 영상에 기초하여 좌안 및 우안용 영상이 생성되는 경우가 있다. 전자의 경우는 구현이 쉽고 별도의 화질 보정이 불필요하지만, 처리 대상이 되는 데이터 양이 상대적으로 크다. 후자의 경우는 처리 대상의 데이터 양이 상대적으로 작고 2차원 영상에 대해서 적용할 수 있으나, 3차원 영상의 생성 시에 영상 정보가 손실되는 아티팩트(artifact)가 발생하게 된다.

따라서, 영상처리장치가 2차원 영상에 기초하여 좌안 및 우안용 영상을 생성함에 있어서, 이러한 아티팩트를 보정하는 것은 최종적으로 표시되는 영상의 화질을 보장하는 측면에서 중요하다.

본 발명의 실시예에 따른 영상처리방법은, 2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하는 단계와; 상기 오프셋에 의해 상기 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 상기 영상 프레임과 상이한 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하고, 상기 취득한 영상 정보로 상기 왜곡 영역을 보정하여 3차원 영상 프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 3차원 영상 프레임 생성 단계는, 상기 오프셋된 영상 프레임 및 상기 타 영상 프레임 간에 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계와; 상기 유사도가 상기 기 설정값 이상인 경우에 상기 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하는 단계를 포함할 수 있다.

여기서, 상기 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계는, 상기 오브젝트가 상기 각각의 영상 프레임에 존재하는지 여부를 판단하는 단계와; 상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하는 단계를 포함할 수 있다.

여기서, 상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하는 단계는, 각각의 상기 영상 프레임에서 상기 오브젝트를 제외한 픽셀 영역을 각각 검출하는 단계와; 상기 각각 검출한 픽셀 영역 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 상기 기 설정값 이상인지 여부를 판단하는 단계를 포함할 수 있다.

또한, 상기 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계는, 상기 오브젝트가 상기 각각의 영상 프레임에 존재하는지 여부를 판단하는 단계와; 어느 하나의 상기 영상 프레임에 상기 오브젝트가 존재하지 않는 경우, 상기 각각의 영상 프레임 간 유사도는 상기 기 설정값 미만인 것으로 판단하는 단계를 포함할 수 있다.

또한, 상기 3차원 영상 프레임 생성 단계는, 상기 오프셋된 영상 프레임에 각각 인접한 선행 영상 프레임 또는 후행 영상 프레임으로부터 상기 영상 정보를 선택적으로 취득하는 단계를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 영상처리장치는, 영상이 수신되는 영상수신부와; 2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하고, 상기 오프셋에 의해 상기 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 상기 영상 프레임과 상이한 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하고, 상기 취득한 영상 정보로 상기 왜곡 영역을 보정하여 3차원 영상 프레임을 생성하는 영상처리부를 포함하는 것을 특징으로 한다.

여기서, 상기 영상처리부는, 상기 오프셋된 영상 프레임 및 상기 타 영상 프레임 간에 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하고, 상기 유사도가 상기 기 설정값 이상인 경우에 상기 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득할 수 있다.

여기서, 상기 영상처리부는, 상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단할 수 있다.

여기서, 상기 영상처리부는, 각각의 상기 영상 프레임에서 상기 오브젝트를 제외한 픽셀 영역을 각각 검출하고, 상기 각각 검출한 픽셀 영역 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 상기 기 설정값 이상인지 여부를 판단할 수 있다.

또한, 상기 영상처리부는, 어느 하나의 상기 영상 프레임에 상기 오브젝트가 존재하지 않는 경우, 상기 각각의 영상 프레임 간 유사도는 상기 기 설정값 미만인 것으로 판단할 수 있다.

또한, 상기 영상처리부는, 상기 오프셋된 영상 프레임에 각각 인접한 선행 영상 프레임 또는 후행 영상 프레임으로부터 상기 영상 정보를 선택적으로 취득할 수 있다.

또한, 본 발명의 실시예에 따른 영상처리방법은, 2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하여 3차원 영상 프레임을 생성하는 단계와; 상기 오프셋에 의해 상기 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 상기 영상 프레임과 상이한 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하고, 상기 취득한 영상 정보로 상기 왜곡 영역을 보정하는 단계를 포함하는 것을 특징으로 한다.

이하에서는 첨부도면을 참조하여 본 발명의 실시예에 관해 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 영상처리장치(1)의 구성을 개략적으로 나타낸 블록도이다.

본 실시예에 따른 영상처리장치(1)의 실제 구현 예는 한정되지 않으며, 외부로부터 수신되거나 또는 자체적으로 저장된 영상을 다양한 방법으로 처리할 수 있는 장치는 모두 적용될 수 있다. 예를 들면, 영상처리장치(1)는 자체적으로 영상을 표시할 수 있도록 액정 또는 플라즈마 패널과 같은 디스플레이 패널을 구비한 TV, 모니터 등으로 구현될 수 있다. 또는, 영상처리장치(1)는 디스플레이 패널을 구비하지 않고, 영상을 처리하여 외부의 TV 또는 모니터에 전달하는 셋탑박스, DVD/블루레이 디스크 플레이어 등으로 구현될 수도 있다.

도 1에 도시된 바와 같이, 본 실시예에 따른 영상처리장치(1)는 2차원 영상 및 3차원 영상을 처리 가능하며, 자세하게는 입력되는 2차원 영상으로부터 좌안용 영상 및 우안용 영상을 포함하는 3차원 영상을 생성 및 처리할 수 있다. 물론 영상처리장치(1)의 기능은 이에 한정할 수 없으며, 영상처리장치(1)는 2차원 영상을 3 차원 영상으로 변환하지 않고 2차원 영상이 그대로 표시되게 처리하거나, 좌안용 영상 및 우안용 영상이 구분된 3차원 영상이 입력되는 경우에 이를 표시되게 처리할 수도 있다.

본 실시예에서는 입력 영상이 2차원 영상일 때에 이를 기초로 3차원 영상을 생성하는 경우에 대해 설명하나, 앞서 설명한 바와 같이 영상처리장치(1)의 기능이 이에 한정하지 않음을 밝힌다.

영상처리장치(1)는 입력 영상을 수신하는 영상수신부(100)와, 수신된 영상을 표시 가능하게 처리하는 영상처리부(200)를 포함한다. 또한, 영상처리장치(1)는 영상처리부(200)에서 처리되는 영상을 표시하는 디스플레이부(300)를 더 포함할 수 있다.

여기서, 2차원 영상에 기초하여 3차원 영상을 생성할 때에, 소정의 영상 프레임 상에는 아티팩트(artifact), 즉 영상 정보의 왜곡 영역이 발생한다. 본 실시예에 따른 영상처리부(200)는 상기한 영상 프레임과 상이한 타 영상 프레임으로부터 이 왜곡 영역에 대응하는 영상 정보를 취득하고, 이 취득한 영상 정보로 왜곡 영역을 보정하여 3차원 영상 프레임을 생성한다.

이에 의하여, 3차원 영상 프레임의 왜곡 영역을 신뢰성 높은 영상 정보로 보정함으로써, 표시 영상의 화질을 보장할 수 있다.

이하, 영상처리장치(1)의 각 구성요소에 관해 설명한다.

영상수신부(100)는 한정되지 않는 영상공급원(미도시)으로부터 제공되는 영상신호를 수신한다. 영상수신부(100)가 수신하는 영상신호는 2차원 영상에 대응하 는 영상신호 또는 3차원 영상에 대응하는 영상신호가 모두 가능하다.

영상수신부(100)는 다음과 같이 다양한 규격을 가질 수 있다. 예를 들면 영상처리장치(1)가 TV로 구현되는 경우, 영상수신부(100)는 방송국(미도시)으로부터 송출되는 RF(radio frequency) 신호를 무선으로 수신하거나, 또는 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 수신할 수 있다. 또는, 영상수신부(100)는 영상처리장치(1)가 컴퓨터 모니터인 경우에 VGA방식에 따른 RGB신호를 전달 가능한 D-SUB나, DVI(digital video interactive), HDMI 규격 등의 영상신호를 수신하도록 구현될 수 있다.

영상처리부(200)는 영상수신부(100)로부터 전달되는 영상신호에 대해, 기 설정된 다양한 영상처리 프로세스를 수행한다. 영상처리부(200)가 수행하는 영상처리 프로세스의 종류는 한정되지 않는 바, 예를 들면 다양한 영상 포맷에 대응하는 디코딩(decoding) 및 인코딩(encoding), 디인터레이싱(de-interlacing), 프레임 리프레시 레이트(frame refresh rate) 변환, 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등을 포함할 수 있다.

영상처리부(200)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성으로 구현되거나, 또는 여러 기능을 통합시킨 일체형 구성으로 구현될 수 있다.

본 실시예에 따른 영상처리부(200)는 영상수신부(100)에 수신되는 영상신호 가 2차원 영상에 대응하면, 이 2차원 영상에 기초하여 3차원 영상을 생성하고, 생성된 3차원 영상을 표시 가능하게 처리한다. 영상처리부(200)는 영상이 디스플레이부(300)에 표시되는 프레임(frame) 단위로 영상신호를 처리할 수 있으며, 본 실시예에서는 영상처리부(200)가 이러한 영상 프레임 단위로 영상을 처리하는 것으로 설명한다. 다만, 이는 하나의 예시에 불과한 것이며, 이러한 실시예가 본 발명의 사상을 한정하지 않음을 밝힌다.

이하, 영상처리부(200)가 2차원 영상 프레임으로부터 3차원 영상 프레임을 생성하는 방법에 관해 도 2를 참조하여 설명한다. 도 2는 2차원 영상 프레임으로부터 좌안 및 우안용 영상 프레임을 각각 생성하는 예시도이다.

도 2에 도시된 바와 같이, 영상처리부(200)는 연속하는 2차원 영상 프레임에 기초하여 각각 3차원 영상 프레임을 생성한다. 도 5의 A, B, C는 시간적으로 연속하는 2차원 영상 프레임이며, 각 2차원 영상 프레임은 오브젝트(OB) 및 배경(BG)을 포함한다.

오브젝트(OB)는 영상 프레임 내에서 사용자의 좌우 시야각 차이를 적용하는 대상이 되는 픽셀 영역이며, 배경(BG)은 영상 프레임 내에서 오브젝트(OB)를 제외한 픽셀 영역이다. 하나의 영상 프레임 내에서 오브젝트(OB) 및 배경(BG)의 설정은 다양하게 지정될 수 있으며, 예를 들면 비행기가 하늘을 날고 있는 영상인 경우에 비행기가 오브젝트(OB), 하늘이 배경(BG)으로 지정될 수 있다.

2차원 영상 프레임 B에 기초하여 3차원 영상 프레임을 생성하는 방법은 다음과 같다.

영상처리부(200)는 2차원 영상 프레임 B에서 오브젝트(OB)를 추출한다. 사용자의 좌측 시야 및 우측 시야 사이에는 시각차가 있으며, 이에 의하여 소정 대상의 사물을 입체로 인지한다. 영상처리부(200)는 이와 같이 사용자의 좌측 시야 및 우측 시야 각각에 대응하도록 기 설정된 제1오프셋 및 제2오프셋 값을 저장하고 있다. 여기서, 제1오프셋 및 제2오프셋 값은 한정할 수 없는 값으로서, 영상처리장치(1)의 환경에 따라서 상이한 수치가 적용될 수 있다.

영상처리부(200)는 추출한 오브젝트(OB)에 대해 이러한 제1오프셋 값과 제2오프셋 값을 개별 적용함으로써, 좌측 및 우측 시야에 각각 대응하는 좌안 및 우안 영상 프레임 B-1, B-2를 생성할 수 있다.

즉, 영상처리부(200)는 추출한 오브젝트(OB)에 대해 제1오프셋함으로써 좌안 영상 프레임 B-1을 생성하고, 동일 오브젝트(OB)에 대해 제2오프셋함으로써 우안 영상 프레임 B-2를 생성한다. 여기서, 배경(BG)에 대해서 오프셋 적용되지 않으므로, 3차원 영상 프레임 B-1 및 B-2 각각의 오브젝트(OB)는 상대적 위치가 서로 상이하게 나타난다.

이는 제1오프셋 및 제2오프셋 값이 각각 사용자의 좌측 및 우측 시야각을 고려하여 설정된 값이기 때문이므로, 어떠한 오프셋 값을 적용하는가에 따라서, 생성된 3차원 영상 프레임 내에서 오브젝트(OB)의 픽셀 위치가 상이하게 된다.

그런데, 이러한 오브젝트(OB)의 위치 변화로 인해, 3차원 영상 프레임 B-1 및 B-2 각각에는 영상 정보의 왜곡 영역(H1, H2), 즉 아티팩트가 발생한다. 이 왜곡 영역(H1, H2)은 좌안 영상 프레임(B-1)인 경우에 오브젝트(OB)의 우측에, 우안 영상 프레임(B-2)인 경우에 오브젝트(OB)의 좌측에 각각 발생한다.

왜곡 영역(H1, H2)은 배경(BG)이 아닌 오브젝트(OB)에만 오프셋이 적용됨으로서 발생하는 것이며, 배경(BG) 중에서 오브젝트(OB)의 좌측 또는 우측 경계의 일부 픽셀 영역에 형성된다. 왜곡 영역(H1, H2)은 2차원 영상 프레임(B)에서 오브젝트(OB)가 위치하는 영역이므로, 3차원 영상 프레임(B-1, B-2)에서는 해당 영상 정보가 없거나 또는 왜곡되어 있다. 따라서, 왜곡 영역(H1, H2)을 보정하지 않는 경우, 표시 영상 품질의 저하를 초래한다.

따라서, 영상처리부(200)는 2차원 영상 프레임(B)으로부터 3차원 영상 프레임(B-1, B-2)을 생성할 때 발생하는 이러한 왜곡 영역(H1, H2)에 대해, 2차원 영상 프레임(B)과 상이한 타 영상 프레임(A, C)으로부터 영상 정보를 취득하여 보정을 수행한다.

보다 바람직하게는, 영상처리부(200)는 2차원 영상 프레임(B)과 시간적으로 인접한 선행 또는 후행 영상 프레임(A, C)으로부터 왜곡 영역(H1, H2)에 대응하는 영상 정보를 선택적으로 취득한다. 이는, 시간적으로 인접한 영상 프레임일수록 상호 유사한 영상 정보를 포함할 확률이 높기 때문이다.

여기서, 영상처리부(200)는 오프셋된 영상 프레임(B-1, B-2) 및 타 영상 프레임(A, C) 사이에 영상 정보의 유사도를 검출하며, 이 유사도가 기 설정값 이상으로 검출되어 유사한 영상 정보를 가진다고 판단되는 영상 프레임(A, C)으로부터 영상 정보를 취득할 수 있다.

이하, 영상 프레임 사이의 영상 정보의 유사도를 검출하는 방법에 관해 자세 히 설명한다. 다만, 이는 실시예에 불과한 것으로, 유사도를 검출하는 방법은 다양한 구성이 적용될 수 있다.

영상처리부(200)는 영상 프레임 B-1 및 영상 프레임 A 사이의 유사도를 검출하고자 하는 경우, 우선 양 영상 프레임(B-1, A) 사이에 동일 오브젝트(OB)가 존재하는지 여부를 판단한다. 만일, 동일 오브젝트(OB)가 존재하지 않으면, 영상처리부(200)는 양 영상 프레임(B-1, A)이 유사하지 않은 것으로 판단한다.

동일 오브젝트(OB)가 존재하면, 영상처리부(200)는 유사도를 판단하기 위한 픽셀 영역의 범위를 결정한다. 이러한 판단 대상이 되는 픽셀 영역은 영상 프레임 전체로 결정될 수 있으며, 또는 각 영상 프레임(B-1, A)에서 오브젝트(OB)를 포함하는 소정 범위의 픽셀 영역으로 결정될 수 있다. 본 실시예에서는 영상 프레임 전체에 걸쳐 유사도를 검출하는 것으로 표현하나, 이는 본 발명을 구현함에 있어서 다양하게 지정될 수 있는 방법이므로 본 발명의 사상을 한정하지 않는다.

다만, 이러한 픽셀 영역을 하나의 영상 프레임 전체로 결정하는 경우에는 처리해야 할 데이터량이 증가하고, 상기한 픽셀 영역이 작아질수록 유사도 검출에 관한 신뢰도가 저하되므로, 적절한 처리 부하 및 신뢰도를 고려하여 결정될 수 있다.

영상처리부(200)는 각 영상 프레임(B-1, A)에서 동일 오브젝트(OB)를 제외한 픽셀 영역, 즉 배경(BG)을 각각 검출한다. 그리고, 영상처리부(200)는 각 배경(BG) 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 기 설정값 이상인지 여부를 판단한다. 상기한 기 설정값은 영상처리장치(1)의 특성에 따라서 다양하게 변경 지정될 수 있다.

여기서, 실질적으로 동일한 영상 정보라 함은, 각 영상 프레임(B-1, A)의 픽셀 별로 영상 정보가 상호 동일한 경우는 물론이고, 오프셋 대상인 오브젝트(OB) 이외에 배경(BG)이 포함하는 기타 오브젝트의 모션량이 기 설정값 이하인 경우도 포함될 수 있다. 예를 들면, 자동차가 가로수 사이를 지나가는 영상에 대해서, 오프셋 대상인 오브젝트(OB)가 자동차이고 그 이외의 요소가 배경(BG)인 경우, 가로수가 바람에 의해 흔들리는 모션량이 기 설정값 이하인 경우에는 해당 영상 정보가 실질적으로 동일하다고 볼 수도 있다. 그러나 이는 본 발명의 사상을 구현함에 있어서 그 범위가 다양하게 결정될 수 있는 것임을 밝힌다.

영상처리부(200)는 영상 프레임 B-1의 배경(BG)과 영상 프레임 A의 배경(BG) 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 기 설정값 이상인 것으로 검출되면, 두 영상 프레임 B-1 및 A는 유사도가 기 설정값 이상, 즉 상호 유사한 것으로 판단할 수 있다.

이와 같이 영상 프레임이 유사하다고 판단된 경우에, 영상 프레임 B-1 및 B-2에 나타난 왜곡 영역을 보정하는 방법에 관해 도 3 및 도 4를 참조하여 설명한다.

도 3은 좌안용 영상 프레임 B-1의 왜곡 영역(HR)을 보정하는 예시도이다.

도 3에 도시된 바와 같이, 영상처리부(200)는 2차원 영상 프레임 B를 제1오프셋하여 좌안용 영상 프레임 B-1을 생성하고, 좌안용 영상 프레임 B-1에 발생한 왜곡 영역(HR)을 보정하기 위해 2차원 영상 프레임 B의 전후에 인접한 영상 프레임 A 및 C를 독취한다.

영상처리부(200)는 영상 프레임 B-1의 왜곡 영역(HR)을 보정하기 위해, 영상 프레임 A 및 C 중 어느 하나로부터 보정용 영상 정보, 즉 왜곡 영역(HR)에 대응하는 영상 정보를 선택적으로 취득한다. 도 3에서는 왜곡 영역(HR)에 대응하는 픽셀 위치(C1)의 영상 정보를 취득하는 것으로 나타나 있으나, 이는 예시에 불과한 것으로 본 발명의 사상을 한정하지 않는다. 다만, 유사도가 높은 상호 인접한 영상 프레임인 경우, 동일 위치의 픽셀은 동일한 영상 정보를 가지고 있을 확률이 높다.

영상처리부(200)는 취득한 영상 정보를 가지고 왜곡 영역(HR)을 보정한다. 이에 의하여, 왜곡 영역(HR)에 의해 영상 프레임 B-1의 영상 결손이 발생하는 것을 최소화시킴으로써, 자연스러운 영상 표시를 구현할 수 있다.

이와 같이, 영상처리부(200)는 보정용 영상 정보를 영상 프레임 A 및 C 중 어느 하나로부터 선택적으로 취득할 수 있으나, 영상 프레임의 진행에 따른 오브젝트(OB1, OB2, OB3)의 진행 방향과, 오브젝트(OB2)에 대한 왜곡 영역(HR)의 위치에 대응하여 영상 프레임 A 및 C 중 어느 하나를 자동으로 선택할 수도 있다.

도 3에서 오브젝트(OB1, OB2, OB3)는 좌측에서 우측으로 이동함을 알 수 있다. 또한, B-1은 좌안용 영상 프레임이므로 왜곡 영역(HR)은 오브젝트(OB2)의 우측에 형성된다.

영상 프레임의 순서가 A, B-1, C이고 오브젝트(OB1, OB2, OB3)가 좌측에서 우측으로 이동하는 경우, 영상 프레임 B-1에서의 오브젝트(OB2)는 왜곡 영역(HR)이 위치한 우측 방향으로 이동한다. 따라서, 영상 프레임 C에서 왜곡 영역(HR)에 대응하는 픽셀 위치는 배경(BG3)이 아닌 오브젝트(OB3)일 확률이 높다. 반대로, 영상 프레임 A에서 왜곡 영역(HR)에 대응하는 픽셀 위치(C1)는 오브젝트(OB1)가 아닌 배 경(BG1)이 된다.

따라서, 오브젝트(OB1, OB2, OB3)의 이동 방향이 좌측에서 우측이고, 왜곡 영역(HR)이 오브젝트(OB2)의 우측에 형성된 경우, 보정용 영상 정보는 선행 영상 프레임 A에서 취득하는 것이 바람직하다.

한편, 도 4는 우안용 영상 프레임 B-2의 왜곡 영역(HL)을 보정하는 예시도이다.

도 4에 도시된 바와 같이, 영상처리부(200)는 2차원 영상 프레임 B를 제2오프셋하여 우안용 영상 프레임 B-2를 생성하고, 우안용 영상 프레임 B-2에 발생한 왜곡 영역(HL)을 보정하기 위해 2차원 영상 프레임 B의 전후에 인접한 영상 프레임 A 및 C를 독취한다.

영상처리부(200)는 영상 프레임 B-2의 왜곡 영역(HL)을 보정하기 위해, 영상 프레임 A 및 C 중 어느 하나로부터 보정용 영상 정보, 즉 왜곡 영역(HL)에 대응하는 영상 정보를 선택적으로 취득한다. 영상처리부(200)는 취득한 영상 정보를 적용하여 왜곡 영역(HL)을 보정한다.

한편, 도 4에서 오브젝트(OB1, OB2, OB3)가 좌측에서 우측으로 이동한다는 점은 도 3과 동일하나, B-2는 우안용 영상 프레임이므로 왜곡 영역(HL)이 오브젝트(OB2)의 좌측에 형성된다.

영상 프레임의 순서가 A, B-1, C이고 오브젝트(OB1, OB2, OB3)가 좌측에서 우측으로 이동하는 경우, 오브젝트(OB1, OB2, OB3)는 왜곡 영역(HL)이 형성된 방향의 반대방향으로 이동하게 된다. 이 경우, 선행 영상 프레임 A에서 왜곡 영역(HL) 에 대응하는 픽셀 영역은 배경(BG1)이 아닌 오브젝트(OB1)일 확률이 높은 바, 영상처리부(200)는 오브젝트(OB3)가 아닌 배경(BG3)일 확률이 높은 후행 영상 프레임 C의 픽셀 영역(C3)으로부터 영상 정보를 취득한다.

오브젝트(OB1, OB2, OB3)가 우측에서 좌측으로 이동하는 경우는 도 3 및 도 4의 경우를 준용할 수 있으므로 그 설명을 생략한다. 이로부터, 오브젝트(OB1, OB2, OB3)의 이동 방향과 오브젝트(OB2)에 대한 왜곡 영역(HR, HL)의 형성 방향이 동일한 경우에는 선행 영상 프레임으로부터, 오브젝트(OB1, OB2, OB3)의 이동 방향과 오브젝트(OB2)에 대한 왜곡 영역(HR, HL)의 형성 방향이 상이한 경우에는 후행 영상 프레임으로부터 각각 왜곡 영역(HR, HL)의 보정용 영상 정보를 취득하는 것이 바람직함을 알 수 있다.

이와 같이 본 실시예에 따르면, 2차원 영상 프레임을 오프셋하여 3차원 영상 프레임을 생성할 때에, 오프셋된 영상 프레임에 발생하는 왜곡 영역을 보정하기 위하여, 해당 영상 프레임에 인접한 타 영상 프레임으로부터 왜곡 영역의 보정용 영상 정보를 취득하여 해당 왜곡 영역을 보정한다.

만일, 왜곡 영역을 보정하기 위한 영상 정보를 동일 영상 프레임의 다른 픽셀 영역으로부터 취득한다면, 보정된 왜곡 영역의 화질이 상대적으로 저하되어 나타나며, 이 현상은 왜곡 영역이 클수록 두드러진다. 이에 비해, 본 실시예는 오프셋된 영상 프레임과 유사한 영상 정보를 가지는 타 영상 프레임으로부터 보정용 영상 정보를 취득함으로써, 보정된 왜곡 영역의 화질을 보다 향상시킬 수 있다.

이하, 본 실시예에 따른 영상처리방법에 관해 도 5를 참조하여 설명한다. 도 5는 이러한 과정을 나타낸 제어 흐름도이다.

도 5에 도시된 바와 같이, 최초 영상수신부(100)에 영상신호가 수신되면, 영상처리부(200)는 이로부터 2차원 영상 프레임을 수신한다(S100).

영상처리부(200)는 수신된 2차원 영상 프레임으로부터 오프셋 대상이 되는 오브젝트를 추출하고(S110), 추출한 오브젝트를 오프셋한다(S120). 영상처리부(200)는 이 오프셋 과정에서 상이한 오프셋 값을 적용함으로써 좌안용 영상 프레임과 우안용 영상 프레임을 각각 생성한다.

영상처리부(200)는 오프셋된 영상 프레임으로부터 영상 정보의 왜곡 영역을 검출한다(S130). 영상처리부(200)는 오프셋된 영상 프레임이 아닌 타 영상 프레임으로부터 왜곡 영역에 대응하는 영상 정보를 취득하고(S140), 취득한 영상 정보를 적용하여 왜곡 영역을 보정한다(S150).

영상처리부(200)는 왜곡 영역의 보정을 완료하여 3차원 영상 프레임을 생성한다(S160). 영상처리부(200)는 이러한 프로세스를 연속하는 2차원 영상 프레임에 적용함으로써, 개별 영상 프레임 각각으로부터 3차원 영상 프레임을 생성할 수 있다.

이하, 도 5의 S140 단계, 왜곡 영역을 보정하기 위한 영상 정보를 취득하는 과정에 관해 도 6을 참조하여 보다 자세히 설명한다. 도 6은 이러한 과정을 나타낸 제어 흐름도이다.

도 6에 도시된 바와 같이, 영상처리부(200)는 오프셋된 영상 프레임으로부터 영상 정보의 왜곡 영역을 검출하고(S200), 오프셋된 영상 프레임에 인접한 선행 또 는 후행 영상 프레임을 독출한다(S210).

영상처리부(200)는 동일한 오브젝트가 상호 인접한 각 영상 프레임에 존재하는지, 즉 오프셋 대상이 되는 오브젝트가 각 영상 프레임에 동일하게 존재하는지 판단한다(S220).

동일 오브젝트가 존재하는 것으로 판단하면, 영상처리부(200)는 각 영상 프레임에서 오브젝트를 제외한 픽셀 영역을 검출한다(S230). 그리고, 영상처리부(200)는 영상 프레임 별로 검출된 각 픽셀 영역 사이에, 유사한 영상 정보를 가지는 픽셀 영역의 비율을 도출한다(S240).

이 도출된 비율이 기 설정값 이상인 경우(S250), 영상처리부(200)는 독출한 선행 또는 후행 영상 프레임으로부터 왜곡 영역에 대응하는 영상 정보를 취득한다(S260). 영상처리부(200)는 취득한 영상 정보로 왜곡 영역을 보정한다.

한편, 상기와 같은 과정 중 S220 단계 및 S250 단계에서, 동일 오브젝트가 각 영상 프레임에 존재하지 않거나, 도출된 비율이 기 설정값 미만인 경우, 영상처리부(200)는 각 영상 프레임이 유사하지 않은 것으로 판단한다. 이 경우, 영상처리부(200)는 본 발명의 실시예와 상이한 여러 방법을 적용하여 왜곡 영역을 보정할 수 있다.

상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 본 발명의 실시예에 따른 영상처리장치를 나타낸 구성 블록도,

도 2는 도 1의 영상처리장치에서 영상처리부가 2차원 영상 프레임으로부터 3차원 영상 프레임을 생성하는 방법을 나타낸 예시도,

도 3은 도 2의 3차원 영상 프레임 중에서 좌안용 영상 프레임의 왜곡 영역을 보정하는 방법을 나타낸 예시도,

도 4는 도 2의 3차원 영상 프레임 중에서 우안용 영상 프레임의 왜곡 영역을 보정하는 방법을 나타낸 예시도,

도 5는 본 발명의 실시예에 따른 영상처리방법을 나타낸 제어 흐름도,

도 6은 도 5의 과정 중에서 왜곡 영역의 보정용 영상 정보를 취득하는 과정을 보다 자세히 나타낸 제어 흐름도이다.

* 도면의 주요 부분에 대한 부호의 설명 *

1 : 영상처리장치

100 : 영상수신부

200 : 영상처리부

300 : 디스플레이부

Claims

(청구항 1)

영상처리방법에 있어서,

2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하는 단계와;

상기 오프셋에 의해 상기 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 상기 영상 프레임과 상이한 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하고, 상기 취득한 영상 정보로 상기 왜곡 영역을 보정하여 3차원 영상 프레임을 생성하는 단계를 포함하며,

상기 3차원 영상 프레임 생성 단계는,

상기 오프셋된 영상 프레임 및 상기 타 영상 프레임 간에 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계와; 상기 유사도가 상기 기 설정값 이상인 경우에 상기 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하는 단계를 포함하며,

상기 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계는,

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는지 여부를 판단하는 단계와;

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하는 단계를 포함하며,

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하는 단계는,

각각의 상기 영상 프레임에서 상기 오브젝트를 제외한 픽셀 영역을 각각 검출하는 단계와;

상기 각각 검출한 픽셀 영역 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 상기 기 설정값 이상인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
삭제
삭제
삭제
제1항에 있어서,

상기 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계는,

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는지 여부를 판단하는 단계와;

어느 하나의 상기 영상 프레임에 상기 오브젝트가 존재하지 않는 경우, 상기 각각의 영상 프레임 간 유사도는 상기 기 설정값 미만인 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제1항에 있어서,

상기 3차원 영상 프레임 생성 단계는, 상기 오프셋된 영상 프레임에 각각 인접한 선행 영상 프레임 또는 후행 영상 프레임으로부터 상기 영상 정보를 선택적으로 취득하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
영상처리장치에 있어서,

영상이 수신되는 영상수신부와;

2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하고, 상기 오프셋에 의해 상기 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 상기 영상 프레임과 상이한 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하고, 상기 취득한 영상 정보로 상기 왜곡 영역을 보정하여 3차원 영상 프레임을 생성하는 영상처리부를 포함하며,

상기 영상처리부는,

상기 오프셋된 영상 프레임 및 상기 타 영상 프레임 간에 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하고, 상기 유사도가 상기 기 설정값 이상인 경우에 상기 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하며, 상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하고, 각각의 상기 영상 프레임에서 상기 오브젝트를 제외한 픽셀 영역을 각각 검출하고, 상기 각각 검출한 픽셀 영역 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 상기 기 설정값 이상인지 여부를 판단하는 것을 특징으로 하는 영상처리장치.
삭제
삭제
삭제
제7항에 있어서,

상기 영상처리부는,

어느 하나의 상기 영상 프레임에 상기 오브젝트가 존재하지 않는 경우, 상기 각각의 영상 프레임 간 유사도는 상기 기 설정값 미만인 것으로 판단하는 것을 특징으로 하는 영상처리장치.
제7항에 있어서,

상기 영상처리부는,

상기 오프셋된 영상 프레임에 각각 인접한 선행 영상 프레임 또는 후행 영상 프레임으로부터 상기 영상 정보를 선택적으로 취득하는 것을 특징으로 하는 영상처리장치.
영상처리방법에 있어서,

2차원 영상 프레임으로부터 추출한 오브젝트를 오프셋하여 3차원 영상 프레임을 생성하는 단계와;

상기 오프셋에 의해 상기 영상 프레임 상에 형성되는 영상 정보의 왜곡 영역에 대하여, 상기 영상 프레임과 상이한 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하고, 상기 취득한 영상 정보로 상기 왜곡 영역을 보정하는 단계를 포함하며,

상기 왜곡 영역을 보정하는 단계는,

상기 오프셋된 영상 프레임 및 상기 타 영상 프레임 간에 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계와; 상기 유사도가 상기 기 설정값 이상인 경우에 상기 타 영상 프레임으로부터 상기 왜곡 영역에 대응하는 영상 정보를 취득하는 단계를 포함하며,

상기 영상 정보의 유사도가 기 설정값 이상인지 여부를 판단하는 단계는,

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는지 여부를 판단하는 단계와;

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하는 단계를 포함하며,

상기 오브젝트가 상기 각각의 영상 프레임에 존재하는 경우에 상기 유사도가 상기 기 설정값 이상인지 여부를 판단하는 단계는,

각각의 상기 영상 프레임에서 상기 오브젝트를 제외한 픽셀 영역을 각각 검출하는 단계와;

상기 각각 검출한 픽셀 영역 사이에 실질적으로 동일한 영상 정보를 가지는 픽셀 영역의 비율이 상기 기 설정값 이상인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.