KR101451236B1 - 3차원 영상 변환 방법 및 그 장치 - Google Patents

Abstract

본 발명은 3차원 영상 변환 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 3차원 영상 변환 장치를 이용한 3차원 영상 변환 방법에 있어서, 객체를 포함하는 2차원 영상으로부터 상기 객체를 분리하는 단계, 상기 객체가 분리되어 생성된 마스크 영상에 대하여 상기 객체 부분을 배경 처리하여 클린 플레이트를 생성하는 단계, 사용자로부터 가상 카메라 설정 정보를 입력받아, 상기 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성하는 단계, 상기 가상 카메라로부터 촬상된 복수의 영상을 생성하는 단계, 그리고 상기 복수의 영상을 이용하여 3차원 영상을 생성하여 출력하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 마스크 영상으로부터 클린 플레이트를 생성하여 다시점 가상 카메라 영상을 획득한다는 점에서, 더욱 선명한 렌더링 영상을 획득할 수 있으며, 2차원 영상으로부터 신속하고 편리하게 무안경 3차원 영상을 생성할 수 있다. 또한 사용자가 직접 가상 카메라의 개수 및 간격 등을 설정한다는 점에서, 다양한 무안경 입체 디스플레이를 지원할 수 있으며, 3차원 영상의 입체감을 사용자가 직접 조절할 수 있다.

Description

3차원 영상 변환 방법 및 그 장치{METHOD FOR CONVERTING THREE DIMENSIONAL IMAGE AND APPARATUS THEREOF}

본 발명은 3차원 영상 변환 방법 및 그 장치에 관한 것으로, 보다 상세하게는 2차원 영상으로부터 무안경 3차원 영상을 편리하고 선명하게 획득할 수 있는 3차원 영상 변환 방법 및 그 장치에 관한 것이다.

최근 전체 TV 시장에서 3D TV가 차지하는 비중이 점차적으로 증가할 것으로 예상되는 가운데, 이 3D TV에서 이용되는 3D 컨텐츠는 3D 게임, 3D 광고, 3D 영화 등으로 다양화되고 있다. 현재까지 출시된 3D TV 등의 디스플레이 장치는 셔터글라스 방식, 편광 방식 등으로 나뉜 전용 안경이 반드시 필요하다.

이에 대한 대안으로 전용 안경을 착용하지 않고도 입체영상을 볼 수 있는 무안경 방식에 대한 연구가 진행되고 있다. 이러한 무안경 방식의 입체영상 표시 장치의 예로는 3D 대형평판디스플레이(Large Format Display: LFD) 장치가 있다. 이러한 3D LFD를 이용한다면 건물 로비 등 실내 공간은 물론 길거리에서 많은 사용자들이 안경없이 동시에 3D 영상을 마음껏 즐길 수 있을 것이다.

이러한 무안경 방식의 3D LFD 상에 입체영상을 출력하기 위해서 깊이 영상 기반 표현방식(Depth Image-Based Representation: 이하 DIBR)이 이용된다. DIBR 방식은 3D 영상을 일반적인 컬러 영상(RGB video)과 각각의 RGB 영상 픽셀의 깊이 정보를 포함하고 있는 깊이 영상(Depth Video)으로 표현하는 방식을 말한다.

한편, 종래 기술에 의하면 2차원 영상으로부터 객체를 분리하고, 분리된 객체를 일정 픽셀씩 이동시켜 가면서 렌더링된 새로운 영상을 얻고, 렌더링된 영상들을 이용하여 3차원 영상을 획득하였다. 그러나, 종래 기술에 의하면 렌더링된 영상을 얻을 때마다 클린 업 과정을 통하여 아티팩트(artifacts)를 제거해야 한다는 점에서 처리 과정이 매우 불편할 뿐 아니라 3차원 영상의 입체감도 저하되는 문제점이 있었다.

본 발명의 배경이 되는 기술은 국내공개특허 제10-2013-0081569호(2013.07.17 공개)에 개시되어 있다.

따라서 본 발명이 이루고자 하는 기술적 과제는 2차원 영상으로부터 무안경 3차원 영상을 편리하고 선명하게 획득할 수 있는 3차원 영상 변환 방법 및 그 장치를 제공하는 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따르면, 3차원 영상 변환 장치를 이용한 3차원 영상 변환 방법에 있어서, 객체를 포함하는 2차원 영상으로부터 상기 객체를 분리하는 단계, 상기 객체가 분리되어 생성된 마스크 영상에 대하여 상기 객체 부분을 배경 처리하여 클린 플레이트를 생성하는 단계, 사용자로부터 가상 카메라 설정 정보를 입력받아, 상기 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성하는 단계, 상기 복수의 가상 카메라로부터 촬상된 복수의 영상을 생성하는 단계, 그리고 상기 복수의 영상을 이용하여 3차원 영상을 생성하여 출력하는 단계를 포함한다.

상기 가상 카메라 설정 정보는, 가상 카메라의 개수 및 객체의 이동 픽셀 값 중에서 적어도 하나를 포함하며, 상기 복수의 가상 카메라를 생성하는 단계는, 상기 복수의 가상 카메라들의 위치, 상기 가상 카메라들 간의 간격을 조절하여 상기 복수의 가상 카메라를 배치시킬 수 있다.

상기 가상 카메라 설정 정보는, 상기 가상 카메라들 간의 간격 또는 영시차(Zero parallax)를 더 포함할 수 있다.

상기 복수의 가상 카메라는, 상기 객체와 정면에 위치한 기준 가상 카메라, 그리고 상기 기준 가상 카메라를 기준으로 좌우에 위치한 복수의 좌측 카메라 및 복수의 우측 카메라를 포함할 수 있다.

상기 복수의 가상 카메라를 생성하는 단계는, 상기 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리는 다음의 수학식과 같이 연산하여 설정할 수 있다.

x = d·m / D

여기서, x는 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리이고, D는 클린 플레이트와 객체 사이의 거리이며, d는 객체와 기준 가상 카메라 사이의 거리이고, m은 깊이 지도(Depth Map)를 적용하기 위한 객체의 이동 픽셀 값을 나타낸다.

상기 복수의 가상 카메라를 생성하는 단계는, 상기 복수의 가상 카메라를 동일한 간격으로 배열시킬 수 있다.

상기 클린 플레이트를 생성하는 단계는, 상기 마스크 영상에서 상기 객체가 분리된 부분을 주변 배경 또는 이전 프레임의 영상을 이용하여 복원시킬 수 있다.

본 발명의 다른 실시예에 따른 3차원 영상 변환 장치는, 객체를 포함하는 2차원 영상을 입력받는 입력부, 상기 2차원 영상으로부터 상기 객체를 분리하는 객체 분리부, 상기 객체가 분리되어 생성된 마스크 영상에 대하여 상기 객체 부분을 배경 처리하여 클린 플레이트를 생성하는 클린 플레이트 생성부, 사용자로부터 가상 카메라 설정 정보를 입력받아, 상기 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성하는 가상 카메라 생성부, 상기 복수의 가상 카메라로부터 촬상된 복수의 영상을 생성하는 영상 획득부, 그리고 상기 복수의 영상을 이용하여 3차원 영상을 생성하여 출력하는 3차원 영상 생성부를 포함한다.

이와 같이 본 발명에 따르면, 마스크 영상으로부터 클린 플레이트를 생성하여 다시점 가상 카메라 영상을 획득한다는 점에서, 더욱 선명한 렌더링 영상을 획득할 수 있으며, 2차원 영상으로부터 신속하고 편리하게 무안경 3차원 영상을 생성할 수 있다. 또한 사용자가 직접 가상 카메라의 개수 및 간격 등을 설정한다는 점에서, 다양한 무안경 입체 디스플레이를 지원할 수 있으며, 3차원 영상의 입체감을 사용자가 직접 조절할 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 영상 변환 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 3차원 영상 변환 방법을 설명하기 위한 순서도이다.
도 3a 내지 도 3f는 도 2에 나타낸 각 단계를 설명하기 위한 예시도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 3차원 영상 변환 방법을 설명하기 위한 예시도이다.
도 5a 내지 도 5f는 6대의 가상 카메라가 서로 다른 시점에서 촬상한 영상을 나타낸 예시도이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 3차원 영상 변환 장치의 구성을 나타낸 도면이다.

본 발명의 실시예에 따른 3차원 영상 변환 장치(100)는 3차원 영상을 렌더링하는 3D 엔진을 포함하며, 사용자의 입력을 위한 저작툴을 포함할 수 있다. 3차원 생성 생성 장치(100)를 통해 렌더링된 3차원 입체(3D stereoscopic) 영상은 3D TV와 같은 3차원 영상 출력 장치(200)로 출력된다.

도 1에서는 3차원 입체 영상이 3차원 영상 출력 장치(200)로 출력되는 경우를 예시하고 있지만, 3D 화면을 가지는 3D TV 및 모니터, 무안경 3D TV 및 모니터, 태블릿 PC, 스마트폰 이외에 다른 3D 스테레오스코픽 디스플레이 장치이면 모두 가능함은 물론이다. 또한, 본 발명의 실시예에 따른 3차원 영상 변환 장치(100)는 3D 영상 출력 장치(200) 내에 포함되도록 구현될 수도 있다.

먼저, 3차원 영상 변환 장치(100)는 3차원 영상 출력 장치(200)에 3D 영상을 표기하도록 렌더링하는 역할을 하며, 이를 위해 OpenGL 방식을 지원한다. 3차원 영상 변환 장치(100)에 입력되는 영상의 예로는, 3D MAX 데이터 등이 해당된다. 이러한 영상은 카메라, 인터넷 등을 통해 입력될 수 있다.

이러한 3차원 영상 변환 장치(100)는 3차원 입체 영상의 생성을 위해 컬러 영상과 깊이 정보를 바탕으로 각각 OpenGL 영역의 x, y, 및 z 위치에 3D 객체를 할당하고 OpenGL API 사용하여 좌우 가상 카메라로부터 입체 영상을 생성하도록 할 수 있다.

본 발명의 실시예에 따른 3차원 영상 변환 장치(100)는 실시간으로 입력되는 2차원 영상을 이용하여 3차원 영상을 생성하기 위한 장치로서, 사용자가 3D 안경을 사용하지 않더라도 3차원 영상을 즐길 수 있도록 한다.

본 발명의 실시예에 따른 3차원 영상 변환 장치(100)는 입력부(110), 객체 분리부(120), 클린 플레이트 생성부(130), 가상 카메라 생성부(140), 영상 획득부(150) 및 3차원 영상 생성부(160)를 포함한다.

먼저 입력부(110)는 객체를 포함하는 2차원 영상을 입력받는다.

객체 분리부(120)는 입력된 2차원 영상으로부터 Depth Map을 적용하기 위한 객체를 분리한다.

그리고, 클린 플레이트 생성부(130)는 객체가 분리되어 생성된 마스크 영상에 대하여 분리된 객체 부분을 배경 처리하여 클린 플레이트를 생성한다.

다음으로, 가상 카메라 생성부(140)는 사용자로부터 가상 카메라 설정 정보를 입력받아, 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성한다.

영상 획득부(150)는 가상 카메라로부터 촬상된 복수의 좌영상 및 우영상을 생성한다. 그리고 3차원 영상 생성부(160)는 복수의 좌영상 및 우영상을 이용하여 3차원 영상을 생성하고, 생성된 3차원 영상을 3차원 영상 출력 장치(200)로 출력한다.

이와 같이 3차원 영상을 렌더링하는 도중에도 3차원 입체 영상은 3차원 영상 출력 장치(200) 상에 표시될 수 있으며, 사용자는 가상 카메라의 위치나 설치개수, 간격등을 직접 조절하여 원하는 3차원 영상을 출력할 수 있도록 할 수 있다.

이하에서는 도 2 내지 도 3f를 이용하여 본 발명의 실시예에 따른 입체 영상 표시 장치의 동작에 대하여 설명한다.

도 2는 본 발명의 실시예에 따른 3차원 영상 변환 방법을 설명하기 위한 순서도이고, 도 3a 내지 도 3f는 도 2에 나타낸 각 단계를 설명하기 위한 예시도이다.

도 2를 참조하면, 입력부(110)는 Depth Map을 적용하고자 하는 객체를 포함하는 2차원 영상을 입력받는다(S210).

도 3a는 입력된 2차원 영상의 원본을 나타낸 예시도이다. 도 3a와 같이 2차원 영상은 객체와 배경으로 나뉠 수 있으며, Depth Map을 적용하고자 하는 피사체 또는 대상이 객체가 된다. 즉 객체는 입체감을 3차원으로 표현하기 위한 대상으로서, 사람을 포함하는 이동체일 수 있다.

도 3a 내지 도 3f에서 객체는 사람 캐릭터가 되며, 배경은 나무를 포함하는 주변으로 예시하였다.

객체에 대하여 Depth Map을 적용하기 위해서, 객체 분리부(110)는 입력된 2차원 영상으로부터 객체 부분을 분리한다(S220).

도 3b의 (a)는 도 3a에 나타낸 2차원 영상에서 객체 부분이 분리된 마스크 영상을 나타낸 예시도이고, 도 3b의 (b)는 도 3a에 나타낸 2차원 영상으로부터 분리된 객체 영상을 나타낸 예시도이다.

객체 분리부(120)는 입력된 2차원 영상으로부터 객체 부분을 분리하여 도 3b의 (a)와 같은 마스크 영상과 도 3b의 (b)와 같은 객체 영상을 생성하는데, 객체의 이동 방향이나 카메라 각도를 고려하여 입력된 2차원 영상 중에서 객체의 일부분만 삭제된 마스크 영상을 생성할 수도 있다.

다음으로 클린 플레이트 생성부(130)는 객체가 분리되어 생성된 도 3b 의 (a)와 같은 마스크 영상에 대하여 객체 부분을 배경 처리하여 클린 플레이트를 생성한다(S230).

도 3c는 도 3b 의 (a)에 나타낸 마스크 영상으로부터 클린 플레이트를 생성하는 과정을 설명하기 위한 도면이고, 도 3d는 도 3c에 따른 과정을 거쳐서 생성된 클린 플레이트를 나타낸 도면이다.

클린 플레이트 생성부(130)는 도 3b 의 (a)에 나타낸 마스크 영상의 객체가 분리된 부분에 대하여 주변 배경 부분을 이용하거나 이전 영상을 이용하여 도 3c와 같이 복원한다. 그 결과 도 3d와 같이 분리된 객체 부분이 배경으로 채워진 클린 플레이트(Clean Plate)가 생성된다.

즉, 사람에 의해 가리어진 나무 및 주변 영상은 이전 프레임 영상이나 주변 픽셀들을 이용하여 복원하도록 한다.

그리고, 가상 카메라 생성부(140)는 사용자로부터 가상 카메라 설정 정보를 입력받아, 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성한다(S240).

여기서, 가상 카메라 설정 정보는 가상 카메라의 개수 및 객체의 이동 픽셀 값 중에서 적어도 하나를 포함하며, 입력된 가상 카메라 설정 정보에 따라 가상 카메라 생성부(130)는 복수의 가상 카메라들의 위치, 가상 카메라들 간의 간격을 조절하여 복수의 가상 카메라를 배치시킨다.

특히, 객체의 이동 픽셀 값은 객체의 깊이 지도(Depth Map)를 적용하기 위한 값으로서, 이동 픽셀 값에 따라 객체의 입체감이 결정된다.

여기서, 가상 카메라 설정 정보는 가상 카메라들 간의 간격 또는 영시차(Zero parallax)를 더 포함할 수 있다. 여기서, 영시차(Zero parallax)는 입체 영상에서 초점이 맺히는 부분으로서, 튀어나오지도 들어가지도 않은 스크린의 영점 부분을 나타낸다.

도 3e는 가상 카메라 생성부가 가상 카메라를 배열하는 과정을 설명하기 위한 도면이다.

도 3e와 같이 가상 카메라 생성부(140)는 도 3d에서 생성한 클린 플레이트에 대하여 일정 거리(D)가 이격된 위치에 Depth Map을 적용하기 위한 객체를 위치시킨다. 그리고, 객체를 기준으로 일정 거리(d)가 떨어진 지점에 기준 가상 카메라(301)를 위치시키고, 기준 가상 카메라를 기준으로 좌우로 복수의 가상 카메라(302, 303, 304)를 위치시킨다. 도 3e에서는 설명의 편의상 사용자가 4대의 가상 카메라를 선택한 것으로 가정하며, 기준 가상 카메라(301)를 기준으로 좌측에 제1 가상 카메라(302), 제2 가상 카메라(303) 및 제3 가상 카메라(304)가 위치하는 것으로 예를 들었다.

이때 사용자가 객체의 이동 픽셀을 m 픽셀로 선택한 경우, 가상 카메라 생성부(140)는 기준 가상 카메라(301)와 가장 멀리 떨어진 제3 가상 카메라(304) 사이의 거리(x)를 다음의 수학식 1 및 수학식 2를 통하여 연산한다.

수학식 1을 정리하면 다음의 수학식 2를 얻을 수 있다.

여기서, x는 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리이고, D는 클린 플레이트와 객체 사이의 거리이며, d는 객체와 기준 가상 카메라 사이의 거리이고, m은 Depth Map을 적용하기 위한 객체의 이동 픽셀 값을 나타낸다.

이와 같이 기준 가상 카메라(301)와 가장 멀리 떨어진 제3 가상 카메라(304) 사이의 위치가 결정되면, 가상 카메라 생성부(140)는 기준 가상 카메라(301)와 제3 가상 카메라(304)의 위치를 고려하여 나머지 제1 가상 카메라(302)와 제2 가상 카메라(303)의 위치를 결정하게 된다.

가상 카메라 생성부(140)는 복수의 가상 카메라(301, 302, 303, 304)가 모두 동일한 간격으로 배열되도록 제1 가상 카메라(302)와 제2 가상 카메라(303)의 위치를 설정할 수 있다.

그러면 영상 획득부(150)는 가상 카메라 생성부(140)에서 생성된 각 파라미터를 입력된 영상에 적용함으로써 각각의 가상 카메라로부터 촬상 영상을 획득한다(S250).

즉, 도 3f에 도시한 것처럼, 4개의 가상 카메라(301, 302, 303, 304)로부터 촬상된 영상이 각각 생성된다. 특히 도 3f의 (a)와 같이 기준 가상 카메라(301)의 경우에는 객체의 정면에서 촬상을 한 것이기 때문에 도 3a에 나타낸 원본 영상과 동일한 영상이 생성된다. 그리고, 나머지 3개의 가상 카메라(302, 303, 304)로부터 각각 촬상된 영상(도 3f의 (b), (c), (d))을 통해 알 수 있듯이, 가상 카메라의 위치에 따라 객체와 이루는 각도가 달라지기 때문에 객체가 미세하게 이동된 형태로 영상이 생성된다. 그리고, 기준 가상 카메라(301)와 가장 멀리 떨어진 제3 가상 카메라(304)의 경우에는 기준 가상 카메라(301)가 촬상한 원본 영상을 기준으로 설정된 m 픽셀만큼 객체가 이동한 형태의 영상을 획득하게 된다.

그리고, 3차원 영상 생성부(160)는 복수의 촬상 영상을 전달받아 복수의 촬상 영상을 기반으로 한 3차원 입체 영상을 생성한다(S260). 서로 다른 각도에 위치한 가상 카메라로부터 촬상된 복수의 영상으로부터 3차원 입체 영상을 생성하는 과정은 본 발명의 당업자라면 용이하게 실시할 수 있는 기술이므로 상세한 설명은 생략한다.

3차원 영상 생성부(160)는 이와 같이 생성된 3차원 입체 영상을 3차원 영상 출력 장치(200)를 통해 출력한다(S270). 그러면 사용자는 별도의 3D 안경을 사용하지 않고도 3차원 입체 영상을 화면을 통해 직접 시청할 수 있게 된다.

한편, 도 3f에서는 4대의 가상 카메라를 생성하는 것으로 예시하였으나, 무안경 3차원 입체 영상을 합성하기 위해서는 일반적으로 프레임 당 최소 6장 이상의 촬상 영상이 필요한 디스플레이를 사용하므로, 최소 6대 이상의 가상 카메라를 생성하는 것이 바람직하다.

이하에서는 도 4a 내지 도 5f를 통해 본 발명의 실시예에 따른 3차원 영상 변환 방법에 대하여 예시적으로 설명한다.

먼저 도 4a 내지 도 4d는 본 발명의 실시예에 따른 3차원 영상 변환 방법을 설명하기 위한 예시도이다.

앞에서 설명한 것처럼, 입력부(110)는 도 4a와 같은 2차원 영상을 입력받으면, 객체 분리부(110)는 입력된 2차원 영상으로부터 객체 부분을 분리한다. 따라서, 도 4a와 같은 2차원 영상은 도 4b와 같은 마스크 영상과 도 4c와 같은 객체 영상으로 분리된다.

다음으로, 클린 플레이트 생성부(130)는 도 4b와 같은 마스크 영상에 대하여 분리된 객체 부분을 배경 처리하여 도 4d와 같이 클린 플레이트를 생성한다.

도 4d와 같이 클린 플레이트를 사용함으로써, 더욱 깨끗한 배경이 생성되므로, 여러 대의 가상 카메라를 설치해도 선명하게 렌더링 영상을 획득할 수 있다.

그리고 가상 카메라 생성부(140)는 사용자로부터 가상 카메라 설정 정보를 입력받아, 객체로부터 일정 거리만큼 이격된 가상 카메라를 생성하고 촬상하면 복수의 촬상 영상이 획득된다. 즉, 6view 이상의 다시점으로 가상 카메라가 객체를 촬상하도록 한다.

도 5a 내지 도 5f는 6대의 가상 카메라가 서로 다른 시점에서 촬상한 영상을 나타낸 예시도이다. 도 5a 내지 도 5f에 따르면 객체가 배경의 중심을 기준으로 미세하게 객체가 왼쪽으로 이동된 시점으로 촬상이 된 것을 알 수 있다.

그러면, 3차원 영상 생성부(160)는 도 5a 내지 도 5f와 같은 복수의 촬상 영상을 전달받아 복수의 촬상 영상을 기반으로 한 3차원 입체 영상을 생성한다.

이와 같이 본 발명의 실시예에 따르면, 마스크 영상으로부터 클린 플레이트를 생성하여 다시점 가상 카메라 영상을 획득한다는 점에서, 더욱 선명한 렌더링 영상을 획득할 수 있으며, 2차원 영상으로부터 신속하고 편리하게 무안경 3차원 영상을 생성할 수 있다. 또한 사용자가 직접 가상 카메라의 개수 및 간격 등을 설정한다는 점에서, 다양한 무안경 입체 디스플레이를 지원할 수 있으며, 3차원 영상의 입체감을 사용자가 직접 조절할 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 3차원 영상 변환 장치, 110: 입력부,
120: 객체 분리부, 130: 클린 플레이트 생성부,
140: 가상 카메라 생성부, 150: 영상 획득부,
160: 3차원 영상 생성부, 200: 3차원 영상 출력 장치,
301: 기준 가상 카메라, 302: 제1 가상 카메라,
303: 제2 가상 카메라, 304: 제3 가상 카메라

Claims (14)

1. 3차원 영상 변환 장치를 이용한 3차원 영상 변환 방법에 있어서,
   객체를 포함하는 2차원 영상으로부터 상기 객체를 분리하는 단계,
   상기 객체가 분리되어 생성된 마스크 영상에 대하여 상기 객체 부분을 배경 처리하여 클린 플레이트를 생성하는 단계,
   사용자로부터 가상 카메라 설정 정보를 입력받아, 상기 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성하는 단계,
   상기 복수의 가상 카메라로부터 촬상된 복수의 영상을 생성하는 단계, 그리고
   상기 복수의 영상을 이용하여 3차원 영상을 생성하여 출력하는 단계를 포함하며,
   상기 복수의 가상 카메라는,
   상기 객체와 정면에 위치한 기준 가상 카메라, 그리고
   상기 기준 가상 카메라를 기준으로 좌우에 위치한 복수의 좌측 카메라 및 복수의 우측 카메라를 포함하고,
   상기 복수의 가상 카메라를 생성하는 단계는,
   상기 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리는 다음의 수학식과 같이 연산하여 설정하는 3차원 영상 변환 방법:
   x = d·m / D
   여기서, x는 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리이고, D는 클린 플레이트와 객체 사이의 거리이며, d는 객체와 기준 가상 카메라 사이의 거리이고, m은 깊이 지도(Depth Map)를 적용하기 위한 객체의 이동 픽셀 값을 나타낸다.
2. 제1항에 있어서,
   상기 가상 카메라 설정 정보는,
   가상 카메라의 개수 및 객체의 이동 픽셀 값 중에서 적어도 하나를 포함하며,
   상기 복수의 가상 카메라를 생성하는 단계는,
   상기 복수의 가상 카메라들의 위치, 상기 가상 카메라들 간의 간격을 조절하여 상기 복수의 가상 카메라를 배치시키는 3차원 영상 변환 방법.
3. 제2항에 있어서,
   상기 가상 카메라 설정 정보는,
   상기 가상 카메라들 간의 간격 또는 영시차(Zero parallax)를 더 포함하는 3차원 영상 변환 방법.
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 복수의 가상 카메라를 생성하는 단계는,
   상기 복수의 가상 카메라를 동일한 간격으로 배열시키는 3차원 영상 변환 방법.
7. 제1항에 있어서,
   상기 클린 플레이트를 생성하는 단계는,
   상기 마스크 영상에서 상기 객체가 분리된 부분을 주변 배경 또는 이전 프레임의 영상을 이용하여 복원시키는 3차원 영상 변환 방법.
8. 객체를 포함하는 2차원 영상을 입력받는 입력부,
   상기 2차원 영상으로부터 상기 객체를 분리하는 객체 분리부,
   상기 객체가 분리되어 생성된 마스크 영상에 대하여 상기 객체 부분을 배경 처리하여 클린 플레이트를 생성하는 클린 플레이트 생성부,
   사용자로부터 가상 카메라 설정 정보를 입력받아, 상기 객체로부터 일정 거리만큼 이격된 복수의 가상 카메라를 생성하는 가상 카메라 생성부,
   상기 복수의 가상 카메라로부터 촬상된 복수의 영상을 생성하는 영상 획득부, 그리고
   상기 복수의 영상을 이용하여 3차원 영상을 생성하여 출력하는 3차원 영상 생성부를 포함하며,
   상기 복수의 가상 카메라는,
   상기 객체와 정면에 위치한 기준 가상 카메라, 그리고
   상기 기준 가상 카메라를 기준으로 좌우에 위치한 복수의 좌측 카메라 및 복수의 우측 카메라를 포함하고,
   상기 가상 카메라 생성부는,
   상기 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리를 다음의 수학식과 같이 연산하여 설정하는 3차원 영상 변환 장치:
   x = d·m / D
   여기서, x는 기준 가상 카메라와 가장 멀리 떨어진 가상 카메라 사이의 거리이고, D는 클린 플레이트와 객체 사이의 거리이며, d는 객체와 기준 가상 카메라 사이의 거리이고, m은 깊이 지도(Depth Map)를 적용하기 위한 객체의 이동 픽셀 값을 나타낸다.
9. 제8항에 있어서,
   상기 가상 카메라 설정 정보는,
   상기 가상 카메라의 개수 및 객체의 이동 픽셀 값 중에서 적어도 하나를 포함하며,
   상기 가상 카메라 생성부는,
   상기 복수의 가상 카메라들의 위치, 상기 가상 카메라들 간의 간격을 조절하여 상기 복수의 가상 카메라를 배치시키는 3차원 영상 변환 장치.
10. 제9항에 있어서,
    상기 가상 카메라 설정 정보는,
    상기 가상 카메라들 간의 간격 또는 영시차(Zero parallax)를 더 포함하는 3차원 영상 변환 장치.
11. 삭제
12. 삭제
13. 제8항에 있어서,
    상기 가상 카메라 생성부는,
    상기 복수의 가상 카메라를 동일한 간격으로 배열시키는 3차원 영상 변환 장치.
14. 제9항에 있어서,
    상기 클린 플레이트 생성부는,
    상기 마스크 영상에서 상기 객체가 분리된 부분을 주변 배경 또는 이전 프레임의 영상을 이용하여 복원시키는 3차원 영상 변환 장치.
    

Images