[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101713875B1 - 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 - Google Patents

프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 Download PDF

Info

Publication number
KR101713875B1
KR101713875B1 KR1020150106750A KR20150106750A KR101713875B1 KR 101713875 B1 KR101713875 B1 KR 101713875B1 KR 1020150106750 A KR1020150106750 A KR 1020150106750A KR 20150106750 A KR20150106750 A KR 20150106750A KR 101713875 B1 KR101713875 B1 KR 101713875B1
Authority
KR
South Korea
Prior art keywords
screen
user
projector
pixel
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150106750A
Other languages
English (en)
Other versions
KR20170013704A (ko
Inventor
위대현
김영휘
차승훈
이정진
권재환
강수련
Original Assignee
주식회사 카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카이 filed Critical 주식회사 카이
Priority to KR1020150106750A priority Critical patent/KR101713875B1/ko
Publication of KR20170013704A publication Critical patent/KR20170013704A/ko
Application granted granted Critical
Publication of KR101713875B1 publication Critical patent/KR101713875B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N13/0459—
    • H04N13/0203—
    • H04N13/0468—

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Projection Apparatus (AREA)

Abstract

본 발명은 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템에 관한 것으로,
상기 방법은 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법은, 깊이 카메라를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 단계; 상기 깊이 카메라를 통해 사용자 시점을 실시간 추적하는 단계; 사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성하는 단계; 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하는 단계; 및 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 단계;를 포함할 수 있다.

Description

프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템{Method and system for generation user's vies specific VR space in a Projection Environment}
본 발명은 프로젝터를 통해 스크린에 영상을 투사하는 환경에서도 사용자 시점을 고려한 가상공간을 생성 및 제공할 수 있도록 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템에 관한 것이다.
최근에 들어 HMD(Head Mounted Display, Head Mount Display) 등과 같은 가상현실 기기가 보급됨에 따라 사람들이 영상 콘텐츠를 즐기는 양상이 변화하고 있다. 이러한 가상현실 기기는 사용자 시점에 따라 시점 변환 가능한 컨텐츠를 제공하는 것을 주요 기능으로 하며, 이에 따라 사용자는 마치 본인이 가상공간상에 있는 듯한 느낌을 받을 수 있도록 하는 한다. 이에 가상현실 기기를 이용하여 보다 몰입감있는 파노라마 영상 재생을 지원하거나 비디오 게임 서비스를 제공할 수 있는 어플리케이션 또한 많이 등장하고 있다.
다만, 이러한 종래의 가상현실기기는 고글과 같은 형태의 웨어러블 장치로 한정되어 구현된다는 제약 상황으로 인해, 그 적용 분야 또한 한정된다는 단점을 가진다.
한편, 영상 콘텐츠를 향유하기 위한 가장 대중적이고 오래된 방법은 프로젝터를 통해 큰 화면에 투사하는 것이다. 이전의 프로젝터를 이용한 방법은 한 개의 스크린을 대상으로 했지만, 최근에는 여러 대의 프로젝터를 이용하여 여러 면에 영상을 투사하는 기법이 도입되기 시작되었다. 이러한 연구들을 통해 프로젝터를 이용한 방식이 단순히 영상을 재생하는데 그치는 것이 아니라 사용자의 몰입감을 끌어올릴 수 있음이 알려졌다.
그럼에도 불구하고, 프로젝터 기반의 영상 재생 시스템은 사용자 시점을 고려하여 영상 제공 시점을 변경할 수가 없어, 가상현실기기에서와 같은 몰입감을 사용자에게 제공하지는 못하는 한계를 가지게 된다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 프로젝터를 통해 스크린에 영상을 투사하는 환경에서도 사용자 시점을 고려한 가상공간을 생성 및 제공할 수 있도록 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템을 제공하고자 한다.
또한, 스크린이 곡면 스크린으로 구현되는 경우에도 사용자 시점을 고려한 가상공간을 생성 및 제공할 수 있도록 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 스크린을 마주보도록 설치된 적어도 하나의 프로젝터와 깊이 카메라와 연동되는 프로세서의 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법은, 상기 프로세서가 깊이 카메라를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 단계; 상기 깊이 카메라를 통해 사용자 시점을 실시간 추적하는 단계; 사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성하는 단계; 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하는 단계; 및 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 단계;를 포함할 수 있다.
상기 스크린 곡면정보를 획득하는 단계는 상기 프로젝터를 통해 상기 스크린에 테스트 영상을 투사시키고, 상기 깊이 카메라를 통해 상기 투사된 테스트 영상을 획득한 후, 상기 테스트 영상과 상기 투사된 테스트 영상을 비교 분석하여 상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치를 파악하는 단계; 상기 깊이 카메라를 통해 상기 스크린을 스캐닝하여 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치와 상기 스크린의 3차원 형상정보를 획득하는 단계; 상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치와 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치를 이용하여 상기 프로젝터와 스크린간 상대적 위치를 계산하는 단계; 및 상기 프로젝터와 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 기반으로 상기 프로젝터를 캘리브레이션하여, 스크린 곡면정보를 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 픽셀별 시점 벡터를 획득하는 단계는 오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 머리 위치에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 한다.
상기 가상공간 영상을 생성하는 단계는 오픈 지엘(Open GL)의 프로그먼트 쉐이더(fragment shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 시점에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 한다.
상기 스크린은 기 설정된 곡률로 구부러진 형태를 가지는 스크린인 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 스크린에 영상을 투사하는 적어도 하나의 프로젝터와, 상기 스크린에 투사된 영상을 촬영하거나, 상기 스크린의 3차원 위치 및 형상정보를 획득하거나, 상기 스크린의 전방에 위치하는 사용자의 신체부위별 위치를 실시간 추적하는 깊이 카메라와 연동되는 프로세서는, 상기 깊이 카메라를 이용하여 상기 프로젝터와 상기 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 스크린 곡면 정보 획득부; 상기 깊이 카메라를 통해 실시간 획득된 사용자의 신체부위별 위치를 기반으로 사용자 시점을 실시간 추적하는 사용자 시점 추적부; 사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성한 후, 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하고, 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 가상 공간 생성부; 및 상기 가상공간 영상을 상기 프로젝터를 통해 상기 스크린상에 투사시키는 영상 제공부를 포함할 수 있다.
본 발명에 따르면, 깊이 카메라를 활용하여 프로젝터와 스크린간 위치 관계 등과 같은 프로젝터 투사 환경 조건을 파악하고, 이를 통해 프로젝터를 캘리브레이션하도록 함으로써, 스크린의 위치 및 형상과 상관없이 항상 안정적인 영상 투사 동작이 수행될 수 있도록 한다.
뿐 만 아니라, 깊이 카메라를 통해 사용자 시점을 파악하고, 이를 기반으로 가상 공간 제공 시점을 수시로 변경할 수 있도록 함으로써, 사용자의 몰입감이 극대화될 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 시스템을 도시한 도면이다.
도2은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 스크린 곡면 정보 획득 단계를 보다 상세히 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 가상공간 영상 생성 및 투사 단계를 보다 상세히 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 픽셀별 시점 벡터를 설명하기 위한 도면이다.
도6는 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법의 픽셀별 텍스쳐 계산 과정을 설명하기 위한 도면이다.
도7은 본 발명의 사용자 시점 기반의 가상공간 구현 방법의 동작 일례를 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 시스템을 도시한 도면이다.
도1을 참고하면, 본 발명의 시스템(100)은 스크린(S)을 마주보도록 설치된 적어도 하나의 프로젝터(110)와 깊이 카메라(120), 그리고 프로젝터(110) 및 깊이 카메라(120)과 유선 또는 무선 방식으로 데이터 통신하는 프로세서(130) 등을 포함할 수 있다.
본 발명에 적용되는 스크린(S)는 평면 형태의 일반 스크린 뿐 만 아니라 기 설정된 곡률로 구부러진 형태를 가지는 곡면 스크린일 수도 있을 것이다. 즉, 본 발명에서는 스크린(S)이 곡면 스크린으로 구현되는 경우, 스크린의 3차원 형상을 함께 고려하여, 곡면 스크린으로 투사되는 영상의 왜곡이 최소화되도록 한다. 또한, 사용자 시점을 실시간 추적한 후, 이에 따라 스크린에 투사되는 영상의 시점을 실시간 변경해줌으로써, 사용자가 실제 가상공간에 존재하는 듯한 느낌을 받을 수 있는 시스템을 구현할 수 있도록 한다.
프로젝터(110)는 스크린(S)과 소정 거리 이격되도록 스크린(S)의 정면 방향에 배치되어, 프로세서(130)로부터 제공되는 영상을 스크린(S)에 실시간 투사하도록 한다.
깊이 카메라(120)는 키넥트(kinect) 등으로 구현될 수 있으며, 이는 스크린(S)의 3차원 위치 및 형상정보를 획득하거나, 스크린(S)의 전방에 위치하는 사용자의 3차원 위치를 실시간 추적하도록 한다.
프로세서(130)는 스크린 곡면 정보 획득부(131), 사용자 시점 추적부(132), 가상 공간 생성부(133), 영상 제공부(134), 및 메모리(135) 등을 포함할 수 있다.
스크린 곡면 정보 획득부(131)는 가상공간 구현 시스템이 최초로 구축되거나 스크린(S), 프로젝터(110), 및 깊이 카메라(120) 중 적어도 하나가 위치 가변되거나 교체되면, 프로젝터 캘리브레이션 동작을 수행하도록 한다. 즉, 깊이 카메라(120)를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득하고, 이들을 기반으로 프로젝터(110) 각각을 캘리브레이션하여 스크린(S)의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하도록 한다.
그리고 사용자 시점 추적부(132)는 프로젝터 캘리브레이션이 완료된 상태에서 사용자에 의해 특정 콘텐츠가 선택 및 재생 요청되면, 깊이 카메라(120)을 통해 사용자 머리 위치(즉, 사용자 시점)을 실시간 추적하도록 한다.
가상 공간 생성부(133)는 스크린 곡면정보와 사용자 시점 정보를 이용하여, 사용자 시점에 대응되는 가상공간 영상을 실시간 생성한 후, 영상 제공부(134)를 통해 프로젝터(110)에 제공함으로써, 프로젝터(110)가 사용자가 가상공간내에 실제 위치하는 듯한 느낌을 제공받을 수 있도록 하는 영상을 스크린(S)에 투사하도록 한다.
본 발명의 가상공간 영상은 프로세서(130)가 해당 콘텐츠의 3차원 장면 데이터를 이용하여 큐브맵을 생성한 후, 프로젝터 캘리브레이션 동작을 통해 획득된 스크린 곡면정보와 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하고, 이를 이용하여 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 생성될 수 있다.
더하여, 메모리(135)는 콘텐츠, 테스트 영상 등 프로세서 구동에 필요한 정보를 저장 및 관리하도록 한다.
도2은 본 발명의 일 실시예에 따른 사용자 시점 기반의 가상공간 구현 방법을 설명하기 위한 도면이다.
도2을 참고하면, 본 발명의 가상공간 구현 방법은 크게 스크린 곡면정보 획득 단계(S10), 콘텐츠 재생 요청 여부 확인 단계(S20), 사용자 시점 추적 단계(S30), 스크린 곡면정보와 사용자 시점에 기반한 가상공간 영상 생성 및 투사 단계(S40), 및 콘텐츠 재생 종료 여부 확인 단계(S50)를 포함하여 구성된다.
이하, 도3 및 도4를 참고하여, 본 발명의 방법을 보다 상세히 설명하면 다음과 같다.
프로젝터 캘리브레이션 동작이 요청되면, 프로세서(130)는 기 설정된 화면 크기와 패턴을 가지는 테스트 영상을 해당 프로젝터(110)를 통해 스크린(S)상에 투사시킨다(S11). 본 발명의 테스트 영상의 일예로는 흰색의 사각형과 검은색의 사각형이 교차 배치된 체스판 영상이 있을 수 있다.
그리고 프로세서(130)는 깊이 카메라(120)를 통해 스크린(S)에 투사된 테스트 영상을 촬영하도록 한다(S12). 이러한 경우, 스크린(S)에 투사된 테스트 영상에는 프로젝터(130)와 깊이 카메라(120)의 상대적 위치값에 상응하는 왜곡이 발생하게 된다.
이에 프로세서(130)는 깊이 카메라(120)의 테스트 영상 촬영 결과와 테스트 영상 원본을 비교하여 영상 차이값을 획득하고, 영상 차이값을 기반으로 프로젝터(130)와 깊이 카메라(120)간 상대적 위치를 파악하도록 한다(S13).
그리고 프로세서(130)는 깊이 카메라(120)를 통해 스크린(S)을 스캐닝하여 깊이 카메라(120)에 대한 스크린(S)의 상대적 위치와, 스크린의 3차원 형상(예를 들어, 크기, 곡률 등)을 파악하도록 한다(S14).
그리고 프로세서(130)는 깊이 카메라(120)에 대한 프로젝터의 상대적 위치와 깊이 카메라(120)에 대한 스크린의 상대적 위치를 이용하여 프로젝터(110)에 대한 스크린의 상대적 위치를 유추하도록 한다. 즉, 깊이 카메라(120)를 매개로하여 프로젝터(110)와 스크린(S)간 상대적 위치를 유추하도록 한다. 그러고 나서 프로젝터(110)에 대한 스크린의 상대적 위치와 스크린(S)의 3차원 형상을 함께 고려하여, 스크린(S)의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득한 후, 프로젝터 캘리브레이션 동작을 종료하도록 한다(S15). 본 발명의 스크린 곡면 정보는 다수의 픽셀별 위치 정보로 구성되며, 이에 따라 프로젝터가 투사하는 각 픽셀의 곡면정보가 결정된다.
다만, 상기의 단계 S11 내지 S15을 통해 하나의 프로젝터에 대한 캘리브레이션 동작에 관련된 것으로, 만약, 본 발명의 시스템에 구비된 프로젝터가 다수개이면, 상기의 단계 S11 내지 S15을 다수개의 프로젝터 각각에 대해 반복 수행함으로써, 다수개의 프로젝터 각각에 대한 스크린 곡면정보 모두를 파악해야 할 것이다.
프로젝터 캘리브레이션 동작이 완료되면, 사용자에 의해 특정 콘텐츠가 선택 및 재생 요청되는 지를 수시로 확인하도록 한다(S20).
단계 S20을 통해 특정 콘텐츠가 선택 및 재생 요청되면, 프로세서(130)는 깊이 카메라(120)을 통해 스크린(S)의 정면에 위치하는 사용자의 신체 부위별 위치값을 실시간 획득하고, 신체 부위별 위치 중 사용자 머리 위치를 기준으로 사용자 시점을 실시간 추적하기 시작한다(S30).
단계 S30을 통해 사용자 시점이 파악되면, 프로세서(130)는 사용자 시점과 스크린 곡면정보에 기반한 가상공간 영상 생성을 획득 및 제공하는 동작을 수행하기 시작한다(S40).
이를 위해, 프로세서(130)는 먼저 오픈 지엘(Open GL)을 이용하여 재생 요청된 콘텐츠의 3차원 장면 데이터를 로드하여, 해당 콘텐츠에 대응되는 큐브맵을 자동 생성하도록 한다(S41). 이때, 오픈 지엘(Open GL)은 2D와 3D를 정의한 컴퓨터 산업 표준 응용 프로그램 인터페이스(API)이다. 이는 큐브맵의 각 성분에 해당하는 텍스쳐 버퍼를 제공하며, 6개의 카메라를 큐브의 각 면을 보도록 같은 위치에 배치하고, 차례대로 적용시켜가면서 프레임버퍼 렌더링을 텍스쳐 버퍼에 실행하면 큐브맵을 생성한다. 단, 투영행렬의 시야각을 90도로 설정해야 카메라 사이에 겹치거나 빈 영역이 생기지 않게 큐브맵을 생성할 수 있다.
그리고 스크린 곡면정보를 기반으로 스크린 각 점 위치정보를 파악한 후 오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)에 제공하도록 한다(S42).
오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)는 도5에서와 같이 사용자 머리 위치(P)와 스크린 각 점 위치(P1'~Pn')와 3차원 공간상에서 비교함으로써, 픽셀 각각에 대응되는 3차원의 시점 벡터들(v1~vn)을 획득한 후, 오픈 지엘(Open GL)의 프래그먼트 쉐이더(fragment shader)에 제공하도록 한다(S43).
그리고 오픈 지엘(Open GL)의 프래그먼트 쉐이더(fragment shader)는 도6에서와 같이 픽셀별 시점 벡터(v1~vn) 각각을 이용하여 큐브맵 텍스쳐로부터 스크린내 픽셀 위치들 각각에 대응되는 픽셀별 텍스쳐를 계산하여 화면 출력하도록 한다. 즉, 사용자 시점에 상응하는 시점을 가지는 가상공간 영상을 생성한 후 이를 프로젝터(110)를 통해 스크린상에 투사하도록 한다(S44).
이상에서 설명된 바와 같이, 본 발명은 가상공간 구현 시스템이 최초로 구축되거나 스크린(S), 프로젝터(110), 및 깊이 카메라(120) 중 적어도 하나가 위치 가변되거나 교체될 때에만 프로젝터 캘리브레이션 동작을 수행하고, 이에 따라 프로젝터 각각에 대응된 스크린 곡면 정보를 획득하도록 한다.
이러한 스크린 곡면정보는 처음에 계산되고 나면 시스템 구동중에 변하지 않으므로, 콘텐츠 재생 중에는 사용자의 머리 위치, 즉 사용자 시점만을 추가 고려하면 되도록 한다.
즉, 본 발명은 가상공간 생성을 통해 실시간 획득되어야 하는 정보의 개수를 최소화함으로써, 보다 신속한 영상 정보 제공 동작이 수행될 수 있도록 한다.
도7은 본 발명의 사용자 시점 기반의 가상공간 구현 방법의 동작 일례를 도시한 도면이다.
도7에 도시된 바와 같이, 본 발명에 따르면 사용자의 시점이 변함에 따라서 스크린 상에 투사되는 영상의 시점 또한 실시간으로 변화되는 것을 확인할 수 있다.
시점을 고려하지 않은 일반적인 투사 환경에서는 3D장면 자체에 변화를 가하지 않는 이상 처음에 정해진 부분 이외의 부분을 볼 수 없었는데, 본 발명에서는 사용자의 시점이 움직이는 데로 사용자에 제공되는 영상 또한 변화되도록 한다.
이에 사용자가 프로젝션 환경하에서도 가상현실 기기와 같은 현장감을 체험할 수 있게 된다. 즉, 사용자가 프로젝션 환경하에서도 실제로 가상의 공간에 있는 것 같은 느낌을 받을 수 있는 효과를 제공할 수 있음을 확인할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 본 발명에 따른 가상공간 구현 방법 및 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (7)

  1. 스크린을 마주보도록 설치된 적어도 하나의 프로젝터와 깊이 카메라와 연동되는 프로세서의 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법에 있어서,
    상기 프로세서가
    깊이 카메라를 이용하여 프로젝터와 스크린간 상대적 위치와 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 단계;
    상기 깊이 카메라를 통해 사용자 시점을 실시간 추적하는 단계;
    사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성하는 단계;
    상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하는 단계; 및
    상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 단계;를 포함하며,
    상기 스크린 곡면정보를 획득하는 단계는
    상기 프로젝터를 통해 상기 스크린에 테스트 영상을 투사시키고, 상기 깊이 카메라를 통해 상기 투사된 테스트 영상을 획득한 후, 상기 테스트 영상과 상기 투사된 테스트 영상을 비교 분석하여 상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치를 파악하는 단계;
    상기 깊이 카메라를 통해 상기 스크린을 스캐닝하여 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치와 상기 스크린의 3차원 형상정보를 획득하는 단계;
    상기 깊이 카메라에 대한 상기 프로젝터의 상대적 위치와 상기 깊이 카메라에 대한 상기 스크린의 상대적 위치를 이용하여 상기 프로젝터와 스크린간 상대적 위치를 계산하는 단계; 및
    상기 프로젝터와 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 기반으로 상기 프로젝터를 캘리브레이션하여, 스크린 곡면정보를 획득하는 단계를 포함하는 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 픽셀별 시점 벡터를 획득하는 단계는
    오픈 지엘(Open GL)의 버텍스 쉐이더(vertex shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 머리 위치에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.
  4. 제1항에 있어서, 상기 가상공간 영상을 생성하는 단계는
    오픈 지엘(Open GL)의 프로그먼트 쉐이더(fragment shader)를 이용하여 상기 스크린 곡면정보와 상기 사용자 시점에 기반한 픽셀별 시점 벡터를 획득하는 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.
  5. 제1항에 있어서, 상기 스크린은
    기 설정된 곡률로 구부러진 형태를 가지는 스크린인 것을 특징으로 하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법.
  6. 제1항, 제 3항 내지 제5항 중 어느 한 항에 기재된 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  7. 스크린에 영상을 투사하는 적어도 하나의 프로젝터와, 상기 스크린에 투사된 영상을 촬영하거나, 상기 스크린의 3차원 위치 및 형상정보를 획득하거나, 상기 스크린의 전방에 위치하는 사용자의 신체부위별 위치를 실시간 추적하는 깊이 카메라와 연동되는 프로세서에 있어서,
    상기 깊이 카메라를 이용하여 상기 프로젝터와 상기 스크린간 상대적 위치와 상기 스크린의 3차원 형상정보를 획득한 후 상기 프로젝터를 캘리브레이션하여, 상기 스크린의 영상 투사 영역에 대한 위치정보를 프로젝터 입력영상의 픽셀 단위로 정의하는 스크린 곡면정보를 획득하는 스크린 곡면 정보 획득부;
    상기 깊이 카메라를 통해 실시간 획득된 사용자의 신체부위별 위치를 기반으로 사용자 시점을 실시간 추적하는 사용자 시점 추적부;
    사용자에 의해 재생 요청된 콘텐츠에 대응되는 3차원 장면 데이터를 이용하여 큐브맵을 생성한 후, 상기 스크린 곡면정보와 상기 사용자 시점을 픽셀 단위로 비교 분석하여 픽셀별 시점 벡터를 획득하고, 상기 픽셀별 시점 벡터를 이용하여 상기 큐브맵의 텍스쳐로부터 픽셀별 텍스쳐를 획득 및 수집함으로써, 사용자 시점에 대응되는 가상공간 영상을 생성하는 가상 공간 생성부; 및
    상기 가상공간 영상을 상기 프로젝터를 통해 상기 스크린상에 투사시키는 영상 제공부를 포함하는 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 시스템.
KR1020150106750A 2015-07-28 2015-07-28 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 Active KR101713875B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150106750A KR101713875B1 (ko) 2015-07-28 2015-07-28 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150106750A KR101713875B1 (ko) 2015-07-28 2015-07-28 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170013704A KR20170013704A (ko) 2017-02-07
KR101713875B1 true KR101713875B1 (ko) 2017-03-09

Family

ID=58108090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150106750A Active KR101713875B1 (ko) 2015-07-28 2015-07-28 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101713875B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3606060A1 (en) * 2018-07-31 2020-02-05 Coretronic Corporation Projection device, projection system and image correction method
KR20240065863A (ko) 2022-11-07 2024-05-14 그리다텍 주식회사 시점변환이 가능한 가상현실시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021363B1 (ko) * 2017-06-30 2019-11-04 (주)피엑스디 곡면 디스플레이 장치 및 그 동작 방법
KR102668245B1 (ko) * 2018-10-29 2024-05-23 삼성전자주식회사 3차원 깊이 측정 장치 및 방법
KR102230116B1 (ko) * 2019-08-22 2021-03-19 주식회사 지엔아이씨티 영상 투사 시스템
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
KR102616646B1 (ko) * 2022-12-15 2023-12-21 주식회사 글림시스템즈 스크린 기반 무안경 vr을 위한 실시간 영상정합 시스템 및 그 영상정합 검증방법
KR102613415B1 (ko) * 2022-12-22 2023-12-13 주식회사 하스퍼 시야 동기화 장치 및 방법
KR20250082957A (ko) * 2023-11-30 2025-06-09 삼성전자주식회사 영상 투영 장치 및 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (ko) * 2013-05-31 2014-06-17 (주)린소프트 비평면 스크린을 이용한 프로젝션 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (ko) * 2013-05-31 2014-06-17 (주)린소프트 비평면 스크린을 이용한 프로젝션 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jens Garstka et al., "View-dependent 3D Projection using Depth-Image-based Head Tracking", 8th IEEE International Workshop on Projector-Camera Systems, June 24, 2011.*
Robert Kooima et al., "Real-time Digital Dome Rendering", 2008 meeting of the International Planetarium Society, 2008. <인터넷: http://csc.lsu.edu/~kooima/ articles/realtimedome/index.html>*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3606060A1 (en) * 2018-07-31 2020-02-05 Coretronic Corporation Projection device, projection system and image correction method
US11323674B2 (en) 2018-07-31 2022-05-03 Coretronic Corporation Projection device, projection system and image correction method
KR20240065863A (ko) 2022-11-07 2024-05-14 그리다텍 주식회사 시점변환이 가능한 가상현실시스템

Also Published As

Publication number Publication date
KR20170013704A (ko) 2017-02-07

Similar Documents

Publication Publication Date Title
KR101713875B1 (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
US10540818B2 (en) Stereo image generation and interactive playback
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
IL275447B1 (en) Methods and system for creating and displaying 3D video in a virtual, augmented or mixed reality environment
US20170280133A1 (en) Stereo image recording and playback
US20100033479A1 (en) Apparatus, method, and computer program product for displaying stereoscopic images
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
US11562717B2 (en) Image processing apparatus, image processing method, and storage medium
CN104104936B (zh) 用于形成光场图像的设备和方法
JP7459870B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US10444931B2 (en) Vantage generation and interactive playback
JP6845490B2 (ja) 自由動作ｆｖｖアプリケーションのためのマルチレイヤｕｖマップに基づくテクスチャレンダリング
Meerits et al. Real-time diminished reality for dynamic scenes
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2014067372A (ja) 運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016087702A1 (en) Digital video rendering
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
WO2022244131A1 (ja) 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造
EP3616402A1 (en) Methods, systems, and media for generating and rendering immersive video content
Lee Wand: 360∘ video projection mapping using a 360∘ camera
KR101163020B1 (ko) ３차원 모델을 스케일링하는 방법 및 스케일링 유닛
JP4857601B2 (ja) シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体
CN114845148B (zh) 虚拟演播室中主持人对虚拟物体的交互控制方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150728

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160518

Patent event code: PE09021S01D

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161228

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170224

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170302

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170302

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20200103

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210303

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220207

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230214

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240313

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20250304

Start annual number: 9

End annual number: 9