KR100372177B1 - 2차원 영상을 3차원 영상으로 변환하는 방법 - Google Patents

Abstract

본 발명은 2차원 영상을 3차원 영상으로 변환하는 방법에 관한 것이다. 여기서 2차원 영상과 3차원 영상은 비디오 신호 규격에 따른 초당 30 프레임(NTSC 인 경우, PAL은 25 프레임) 단위로 디스플레이 되는 영상을 의미한다.

본 발명의 2차원 영상을 3차원 영상으로 변환하는 방법은 실시간 2차원 한 프레임의 영상에서 배경 영상과 움직이는 오브젝트를 추출하는 제1 단계, 추출된 배경 영상을 한 개의 필드(field)씩 각각 좌안(左眼) 배경 영상, 우안(右眼) 배경 영상으로 추출하는 제2 단계, 좌안 배경 영상과 우안 배경 영상을 합성하여 3차원 배경 영상을 추출하는 제3 단계, 상기한 오브젝트와 3차원 배경 영상을 합성하여 우안 합성 영상과 좌안 합성 영상을 추출하는 제4 단계를 포함함을 그 특징으로 한다.

Description

2차원 영상을 3차원 영상으로 변환하는 방법{Method for converting 2 dimension image contents into 3 dimension image contents}

본 발명은 2차원 영상을 3차원 영상으로 변환하는 방법에 관한 것이다. 여기서 2차원 영상과 3차원 영상은 비디오 신호 규격에 따른 초당 30 프레임(NTSC 인 경우, PAL은 25 프레임) 단위로 디스플레이 되는 영상을 의미한다.

최근들어 영상 디스플레이 기술에 있어서 사용자에게 실감나는 영상을 제공하기 위한 여러 신기술들이 쏟아지고 있으며 3차원 디스플레이는 그 일환으로서 이는 인간의 양안에 실제 감지되는 것은 3차원인데 현재 대다수의 디스플레이 기기는 2차원 방식이며 2차원상에서 피사체의 입체감을 표현하는 방식은 한계가 있기 때문에 3차원의 실세계를 그대로 3차원적으로 표현해주는 3차원 디스플레이에 관한 여러 연구가 이루어지고 있다.

3차원 디스플레이의 기본원리는 하나의 물체에 좌우의 눈이 다른 방향에서 피사체를 봄으로써 생기는 좌우망막상의 공간적인 차이(양안시차)의 효과를 이용하여 구현되며 그 상세한 구현원리는 3차원 영상 처리에 관한 많은 서적들에 제시되어 있으므로 여기서는 그 구체적 설명을 약한다.

3차원 영상을 표현하기 위한 방식은 현재 여러 가지가 알려져 있으며 그 중 가장 흔한 방법은 우리가 통상 보는 2차원 영상에 어떠한 조작을 행하여 3차원 영상을 만들어 내는 것이 현재 통용되는 방법이다.

이러한 실시간 2차원 영상을 실시간 3차원 영상으로 만들어 내는 기존의 방법에 대해서는 현재 다수의 특허가 출원되어 출원 공개되거나 특허 등록을 받은 상태이며 미국이나 일본 등 주요 선진국에서는 이를 상용화한 3 Dimension 컨버터가 현재 다량은 아니지만 출시 중이다.

그러나 이미 공지된 실시간 2차원 영상을 실시간 3차원 영상으로 만들어 내는 방법은 다음과 같은 비효율점이 있다.

이 비효율점은 특히 움직이는 오브젝트(object)를 추출하는데 있어서 아주 뚜렷한데 종래에는 움직이는 오브젝트를 추출시 하나의 프레임 영상과 이 프레임의 2~3 프레임 이전의 프레임 영상을 각각 여러 블럭으로 분할한 후 블럭 단위의 상호 비교에 의해 움직임을 추출한다는 발상은 본 발명과 유사하나, 복수개의 프레임간에 비교가 실시됨으로 인해 또한 움직이는 오브젝트를 추출하는데 적용되는 복잡한 수학 관계식이 동원되는 관계로 그 계산량이 많아질 수밖에 없어 실시간 구현 및 하드웨어의 구현에 장애 상황이 발생할 수 있다.

따라서 본 발명은 이와 같은 비효율점을 개선하기 위해 안출된 것으로 본 발명의 목적은 2차원 단일 영상 프레임을 2개의 영상 필드로 분리한 후 각 영상 필드를 소정 개수의 블럭으로 분할하여 블록 단위로 소정의 연산을 거쳐 움직이는 오브젝트(object)와 배경 영상을 분리한 후 각각에 대해 소정의 처리 작업을 거쳐 이들을 합성하여 실시간 3차원 영상을 만들어 내는 실시간 2차원 영상을 실시간 3차원 영상으로 변환하는 방법을 제공함에 있다.

도 1은 본 발명의 흐름도.

도 2는 본 발명에 적용되는 좌안 배경 영상과 우안 배경 영상의 형태도.

도 3은 3차원 배경 영상의 형태도 및 3차원 배경 영상의 구체적 합성 방식을 나타내는 예시도.

상기와 같은 목적을 달성하기 위하여 본 발명의 2차원 영상을 3차원 영상으로 변환하는 방법은 2차원 한 프레임의 영상에서 배경 영상과 움직이는 오브젝트를 분리, 추출하는 제1 단계, 추출된 배경 영상을 한 개의 필드(field)씩 각각 좌안(左眼) 배경 영상, 우안(右眼) 배경 영상으로 추출하는 제2 단계, 좌안 배경 영상과 우안 배경 영상을 합성하여 3차원 배경 영상을 추출하는 제3 단계, 상기한 오브젝트와 3차원 배경 영상을 합성하여 우안 합성 영상과 좌안 합성 영상을 추출하는 제4 단계를 포함함을 그 특징으로 한다.

이하 본 발명의 실시 양태를 첨부 도면에 의거 상세히 설명한다.

통상적으로 한 프레임의 2차원 영상에 있어서는 대부분 영상의 중하위 부분이 거리상으로 중상위보다 가까운 거리에 있게 마련이다. 그런데 인간의 시각 특성상 영상의 원거리 영역(중상위 영역)은 초점을 기준으로 왼쪽 눈에는 초점보다 좌측으로 오른쪽 눈에는 초점보다 우측으로 이동한 것처럼 나타나며, 근거리 영역(중하위 영역)은 초점을 기준으로 왼쪽 눈에는 초점보다 우측으로 오른쪽 눈에는 초점보다 좌측으로 이동한 것처럼 나타난다. 이러한 현상은 한쪽 눈을 감고 다른 한쪽 눈만으로 사물을 투시했을 때 감지할 수 있는 현상이며 여기서 말하는 초점이란 인간이 두 눈을 뜨고 사물을 투시했을 때 인간의 시각이 집중되는 점이다.

이와 같은 사실에 착안하여 본 발명의 실시 양태를 예를 들어 설명한다.

실시간 2차원 영상의 한 프레임의 크기를 640*480 이라 하자. 이는 가로 한 라인당 640 픽셀, 세로로는 480 라인을 가진 비월 주사된 영상을 의미한다.

도 1은 본 발명의 흐름도를 나타낸 것이다.

우선 실시간 2차원 한 프레임의 영상에서 배경 영상과 움직이는 오브젝트를 추출하는데(S1) 그 구체적 방식은 한 프레임의 2차원 영상을 2개의 필드(홀수 필드와 짝수 필드)로 구분시킨다. 그러면 640*240 필드영상 2개가 생성된다. 각 필드 영상을 16*16 으로 분할하면 각각 600 개의 영상 블럭이 생성된다. 두 필드의 영상 블럭끼리 배타적(exclusive-OR) 연산을 실시하여 그 결과가 '1'이 나오면 블럭 데이터의 변화가 있다는(움직임이 있다는) 것을 의미하므로 그 블럭은 움직이는 오브젝트로 추출하고 '0'이 나오면 변화가 없으므로 배경 영상으로 추출한다(통상 배경 영상은 움직임이 없는 것으로 간주한다). 추출된 오브젝트 영상 블럭은 별도의 프레임 메모리(미도시)에 저장된다.

추출된 배경 영상을 한 개의 필드(field)씩 각각 좌안(左眼) 배경 영상, 우안(右眼) 배경 영상으로 추출하는 단계(S2)에서는 각 필드를 평행사변형꼴로 변형하여 별도의 프레임 메모리(미도시)에 저장한다. 여기서 평행사변형꼴로 각 필드를 변형시키는 이유는 위에서 언급한 양안시차의 효과를 최대한 반영시키기 위해서인데 좌안에 투시되는 영상은 양안시차의 원리에 입각하면 양안에 투시된 배경 영상(이 경우는 직사각형 모양의 영상이 될 것이다)에 비해 좌측으로 경도된 도 2에 제시된 평행사변형꼴 모양의 왼쪽 영상 형태가 되어야 할 것이며 우안에 투시되는 영상은 양안에 투시된 영상에 비해 우측으로 경도된 도 2에 제시된 평행사변형꼴 모양의 오른쪽 영상 형태가 되어야 할 것이다. 이 때 평행사변형꼴로 변형시키는 방식을 좌안 배경 영상에 대해 언급하면 원거리 영상은 초점보다 좌측, 근거리 영상은 초점보다 우측으로 이동한 것처럼 나타나 보이기 때문에 필드 영상을 세로 방향으로 스캐닝하면서 정상 위치에서 오른쪽으로 픽셀을 쉬프트(shift) 시켜야 할 것이며 그러면 도 2에 제시된 왼쪽 영상 형태가 나올 것이다. 픽셀의 쉬프트는 10 라인당 한 픽셀씩 실시할 수도 있으며 5라인당 한 픽셀씩 실시할 수도 있는 등 설계자의 소관 사항이다. 우안 영상에 대해서도 마찬가지 방식으로 쉬프트를 실시하면 도 2에 제시된 오른쪽 영상 형태가 도출될 것이다.

좌안 배경 영상과 우안 배경 영상을 합성하여 3차원 배경 영상을 추출하는 단계(S3)에서는 S2 단계에서 프레임 메모리에 저장된 좌안 배경 영상과 우안 배경 영상을 비월 주사(interaced scan) 방식으로 합성한다. 그 합성된 결과의 3차원 배경 영상의 결과(10)와 상기한 3차원 배경 영상의 내부 비월 주사 구성(20)은 도 3에 제시되어 있다.

다음으로 추출된 오브젝트와 3차원 배경 영상을 합성하여 좌안 합성 영상과 우안 합성 영상을 추출(S4)하는데 S2에서 얻어진 오브젝트는 배경보다 항상 근거리 영역에 있으므로 좌안 배경 영상에는 오브젝트를 원래의 위치보다 우측으로, 우안 배경 영상에는 좌측으로 합성하면 좌안 합성 영상과 우안 합성 영상이 각각 생성되며 오브젝트는 배경 영상보다 앞으로 나온 형태로 된다.

실시간 3차원 합성 영상의 감상은 3차원 영상 컨텐츠 감상용 LCD 안경을 이용하여 감상할 수 있는데 안경의 좌측 LCD에는 좌안 합성 영상, 우측 LCD에는 우안 합성 영상이 NTSC 방식 기준으로 각각 30 필드/sec 단위로 디스플레이 되며 양안시차의 원리에 의해 자연스러운 3차원 영상을 감상할 수 있다.

본 발명을 이용하면 다음과 같은 효과가 있다.

1. 움직이는 오브젝트의 추출 작업이 하나의 프레임만으로 가능하여 종래의 복수개의 프레임이 필요했던 것에 비해 추출 처리에 필요한 프레임 메모리 용량의 감소를 기할 수 있으며,

2. 종래의 움직이는 오브젝트 추출 작업시에 적용되었던 복잡한 수학 관계식 대신 '배타적 논리' 연산의 적용만으로 움직이는 오브젝트를 추출할 수 있어 전체적 처리 시간의 현격한 감소를 가져와 3차원 영상의 실시간 구현에 매우 용이하다.

Claims (8)

1. 2차원 영상을 3차원 영상으로 변환하는 방법에 있어서:

   2차원 한 프레임의 영상을 2개의 필드(홀수 필드와 짝수 필드)로 구분시킨 후 상기 각 필드 영상을 소정의 크기를 갖는 영상 블럭으로 분할하여 상기 두 필드의 각 영상 블럭간에 배타적 OR(exclusive-OR) 연산을 실시하여 그 결과가 '1'이 나오면 해당 블럭은 움직이는 오브젝트로 추출하고 '0'이 나오면 배경 영상으로 추출함으로써 배경 영상과 움직이는 오브젝트를 분리, 추출하는 제1 단계;

   상기 추출된 배경 영상을 한 개의 필드(field)씩 각각 좌안(左眼) 배경 영상, 우안(右眼) 배경 영상으로 추출하는 제2 단계;

   상기 좌안 배경 영상과 상기 우안 배경 영상을 합성하여 3차원 배경 영상을 추출하는 제3 단계;

   상기 오브젝트와 상기 3차원 배경 영상을 합성하여 우안 합성 영상과 좌안 합성 영상을 추출하는 제4 단계를 포함함을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
2. 제 1항에 있어서, 상기 2차원 영상과 3차원 영상은 일반 비디오 신호 규격에 따라 초당 소정 수치의 프레임으로 디스플레이 되는 실시간 영상임을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
3. 제 2항에 있어서, 상기 소정 수치는 상기 비디오 신호의 규격이 NTSC규격인경우에는 30이며 PAL규격인 경우에는 25임을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
4. 삭제
5. 제 1항에 있어서, 상기 제 2단계는 상기 각 필드를 평행사변형꼴로 변형하여 상기 좌안 배경 영상과 상기 우안 배경 영상을 추출함을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
6. 제 5항에 있어서, 상기 평행사변형꼴로 변형하는 방식은 상기 좌안 배경 영상에 대해서는 양안(兩眼)으로 투시되는 직사각형 모양의 배경 영상을 소정의 라인 단위로 오른쪽으로 한 픽셀씩 쉬프트(shift) 시키며 상기 우안 배경 영상에 대해서는 상기 직사각형 모양의 영상을 상기 소정의 라인 단위로 왼쪽으로 한 픽셀씩 쉬프트 시킴을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
7. 제 1항에 있어서, 상기 제 3단계는 상기 좌안 배경 영상과 상기 우안 배경 영상을 비월 주사(interaced scan) 방식으로 합성함으로써 이루어짐을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.
8. 제 1항에 있어서, 상기 제 4단계는 상기 좌안 배경 영상에는 상기 오브젝트를 원래의 위치보다 우측으로, 상기 우안 배경 영상에는 좌측으로 합성하여 좌안 합성 영상과 우안 합성 영상을 각각 추출함을 특징으로 하는 2차원 영상을 3차원 영상으로 변환하는 방법.