KR20120064557A - 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법 - Google Patents

Abstract

본 발명에서는 동종(homogeneous) 및 이기종(heterogeneous)의 다양한 3차원 영상 디스플레이 장치가 3차원 영상을 표현하기 위한 물리 공간을 분할 및 공유하도록 하고, 사용자 정보와 분할된 공간의 정보를 바탕으로 실시간 콘텐츠 정보를 생성하여, 다양한 3차원 영상 디스플레이 장치를 이용하여 함께 디스플레이함으로써 제한적인 3차원 공간감을 표현하는 한계를 극복하여 더욱 깊고 넓고 높은 공간에 자연스럽게 표현되는 3차원 영상을 제시할 수 있다. 즉, 본 발명에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼은, 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치를 서로 연관시켜 제어하는 입출력 제어부와, 디스플레이 장치의 공간 설정을 수집하여 3차원 입체 영상을 표현하기 위한 물리 공간을 상기 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3차원 표현 공간을 설정하는 사전 정보 관리부와, 사용자 정보와 가상 공간에 대한 3차원 콘텐츠를 이용하여 실시간 콘텐츠 정보를 생성하는 실시간 정보 제어부를 포함하며, 입출력 제어부는 디스플레이 장치별로 설정된 3차원 표현 공간 정보와 사용자 정보를 바탕으로 실시간 콘텐츠 정보를 각각의 디스플레이 장치로 분배한다.

Description

증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법{Mixed Reality Display Platform for Presenting Augmented 3D Stereo Image and Operation Method thereof}

본 발명은 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법에 관한 것으로서, 더 구체적으로는 다수의 3차원 영상 디스플레이 장치를 이용하여 사용자 주변의 3차원 공간에 자연스러운 입체 영상을 제시할 수 있는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법에 관한 것이다.

본 발명은 지식경제부 산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 10035223, 과제명: 다자간 협업을 위한 실감형 가상 공정검증 기술 개발].

현재 영화 및 TV 분야에서 대중화가 진행되고 있는 3차원 영상 제시 기술은 일반적으로 인간이 3차원 입체감을 느끼는 다양한 원인(factor)들 중에서 양안 시차(인간 외부 환경의 3차원 물체가 양쪽 눈의 망막에 맺히는 상의 차이) 효과를 사용하고 있다. 그러나 이 기술은 LCD 스크린과 같이 고정된 거리에 있는 영상 출력면에 양안 시차 정보를 출력함으로써 영상 출력면의 앞-뒤 공간에 가상의 깊이감을 가진 영상을 사용자에게 제시하는 기술로서, 인간의 시각 운동 구조에 상당한 피로감을 유발시키는 근본적인 단점이 있다.

그리고, 흔히 영화와 같은 콘텐츠에서 제시되는 3차원 영상 제시 기술인 인터랙티브 홀로그램 디스플레이 기술은 인간의 입체 시각 인지 특성을 완전히 수용하는 이상적인 디스플레이 기술이지만, 현재 기술 수준으로는 실현이 요원한 상태이므로, 일반 소비자들에게 3차원 영상 기술에 대한 오해와 현재 기술에 대한 실망감을 높이는 부작용이 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 고안된 것으로서, 사용자의 3차원 영상 시청에 따른 시각적 피로도를 감소시키고, 자연스러운 3차원 공간감을 제시할 수 있는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법을 제공하는 것을 그 과제로 한다.

본 발명의 다른 과제는 동종(homogeneous) 및 이기종(heterogeneous)의 3차원 디스플레이 장치를 하나의 3차원 공간에 융합시키는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법을 제공하고자 하는 것이다.

본 발명의 또다른 과제는 다수의 사용자가 자연스러운 3차원 영상을 공유할 수 있는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법을 제공하고자 하는 것이다.

이와 같은 과제를 해결하기 위하여 본 발명에서는 동종(homogeneous) 및 이기종(heterogeneous)의 다양한 3차원 영상 디스플레이 장치가 3차원 영상을 표현하기 위한 물리 공간을 분할 및 공유하도록 하고, 사용자 정보와 분할된 공간의 정보를 바탕으로 실시간 콘텐츠 정보를 생성하여, 다양한 3차원 영상 디스플레이 장치를 이용하여 함께 디스플레이한다.

본 발명의 일 면에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼은, 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치를 서로 연관시켜 제어하는 입출력 제어부와, 상기 디스플레이 장치의 공간 설정을 수집하여 3차원 입체 영상을 표현하기 위한 물리 공간을 상기 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3차원 표현 공간을 설정하는 사전 정보 관리부와, 사용자의 양안 6 자유도 정보와 시선 방향 및 초점 정보를 포함하는 사용자 정보와 가상 공간에 대한 3차원 콘텐츠를 이용하여 실시간 콘텐츠 정보를 생성하는 실시간 정보 제어부를 포함하며, 상기 입출력 제어부는 상기 디스플레이 장치별로 설정된 3차원 표현 공간 정보와 상기 사용자 정보를 바탕으로 상기 실시간 콘텐츠 정보를 각각의 상기 디스플레이 장치로 분배한다.

본 발명의 다른 면에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼은, 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치를 서로 연관시켜 제어하는 입출력 제어부와, 상기 디스플레이 장치가 표현할 수 있는 최적의 입체 공간에 대한 정보를 수집하는 공간 설정 수집 유닛과, 가상 공간에 대한 3차원 콘텐츠를 저장하는 가상 공간 3차원 콘텐츠 데이터베이스와, 상기 공간 설정 수집 유닛에 의해 수집된 물리 공간의 정보와 상기 가상 공간의 정보를 3차원 공간에서의 상호 배치 관계로 저작하는 저작 유닛과, 상기 저작의 결과를 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보로 저장하는 최적 공간 설정 정보 데이터베이스를 포함하는 사전 정보 관리부와, 사용자 정보를 추출하는 사용자 정보 추출 유닛과, 상기 사용자가 다수인 경우 상기 다수의 사용자의 상호관계를 관리하는 다중 사용자 참여 지원 유닛과, 상기 사용자 정보, 상기 다수의 사용자의 상호관계 및 상기 가상 공간에 대한 3차원 콘텐츠를 바탕으로 실시간 콘텐츠 정보를 생성하는 실시간 콘텐츠 정보 생성 유닛과, 상기 사용자 정보를 관리하며 사전 수집된 상기 사용자의 개인 정보를 바탕으로 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보를 수정하는 사용자 적응형 장치 및 영상 파라미터 제어 유닛을 포함하는 실시간 정보 제어부를 포함하여 이루어진다.

본 발명의 또다른 면에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 운영 방법은, 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치로부터 표현할 수 있는 최적의 입체 공간에 대한 정보를 수집하는 단계와, 수집된 상기 최적의 입체 공간에 대한 정보를 바탕으로 3차원 입체 영상을 표현하기 위한 물리 공간을 상기 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3차원 표현 공간을 설정하는 단계와, 사용자의 양안 6 자유도 정보와 시선 방향 및 초점 정보를 포함하는 사용자 정보를 수집하는 단계와, 가상 공간에 대한 3차원 콘텐츠와 상기 사용자 정보를 이용하여 실시간 콘텐츠 정보를 생성하는 단계와, 상기 사용자 정보와 상기 디스플레이 장치별로 설정된 3차원 표현 공간 정보를 바탕으로 상기 실시간 콘텐츠 정보를 각각의 상기 디스플레이 장치로 분배하는 단계를 포함한다.

본 발명에 따르면, 하나의 3차원 디스플레이 장치를 이용하여 제한적인 3차원 공간감을 표현하는 한계를 극복하여 더욱 깊고 넓고 높은 공간에 자연스럽게 표현되는 3차원 영상을 제시할 수 있다. 이와 같은 3차원 영상 기술을 이용하면 공간감 표현의 한계를 극복한 다양한 3차원 입체 콘텐츠 서비스를 가능하게 할 수 있으므로, 3차원 디스플레이 플랫폼 기반의 가전, 교육, 훈련, 의료 및 군사 분야 등 다양한 분야의 가상현실 및 혼합현실 시스템을 구현하는 데 활용될 수 있다.

도 1은 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 전체 구성을 나타내는 블록도이다.
도 2는 양안 시각 영상에 의한 3차원 객체 인식의 개념을 보여주는 도면이다.
도 3과 4는 각각 공용 화면(public screen)과 착용형 3차원 디스플레이 장치에서 3차원 영상을 표현하기 위한 양안 시차와 허상의 위치를 보여주는 도면이다.
도 5와 도 6은 3차원 디스플레이를 통해 표현 가능한 가상 영상의 가시화 범위의 오류를 보여주는 예이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서 3차원 영상 표현 공간의 분할 및 공유를 나타내는 도면이다.
도 8a 내지 도 8c는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 다중 사용자에 대한 응용예를 나타내는 도면이다.
도 9a 내지 도 11d는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 다양한 응용예를 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 전체 구성을 나타내는 블록도이다.

도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼은 크게 사전 정보 관리부(100), 실시간 정보 제어부(200) 및 입출력 플랫폼(300)의 세 그룹으로 구성된다.

사전 정보 관리부(100)는 최종적으로 완성되는 통합된 하나의 가상 입체 공간을 구성하기 위해서, 하드웨어적인 구성 요소 및 소프트웨어적인 구성 요소들 사이의 관계를 사전에 설정하고 데이터베이스 구조로 저장 및 관리하는 부분이다. 이를 위하여 사전 정보 관리부(100)는 입출력 장치 공간 설정 수집 유닛(110), 장치별 최적 3D 표현 공간 설정 정보 데이터베이스(120), 3D 영상 표현 공간 분할/공유 설정 저작 유닛(130), 가상 공간 3D 콘텐츠 데이터베이스(140)를 포함한다.

가상 공간 3D 콘텐츠 데이터베이스(140)는 가상현실 및 혼합현실 소프트웨어 콘텐츠를 저장하는 데이터베이스를 의미하며, 3D 공간에 대한 모델 데이터 즉, 지형, 지물, 환경 및 상호작용 대상이 되는 객체(object)를 포함한다.

이와 같은 가상 공간 3D 콘텐츠 데이터베이스(140)에 저장된 데이터를 이용하여, 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서는 사용자에게 가상 객체만으로 구성된 가상현실 공간을 제시하거나, 가상 공간의 디지털 콘텐츠 객체와 현실의 사용자 및 물체가 상호작용을 하면서 서비스 시나리오를 진행시키는 혼합현실 시스템을 구현할 수 있다.

입출력 장치 공간 설정 수집 유닛(110)는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 내에 포함될 수 있는 특정 디스플레이 장치가 표현할 수 있는 최적의 입체 공간에 대한 정보를 각각의 디스플레이 장치(320, 330, 340)로부터 획득한다. 이 때 디스플레이 장치는 공용 디스플레이 장치, 휴대형(모바일) 디스플레이 장치, 개인용 착용형 디스플레이 장치를 포함하며, 각 디스플레이 장치가 표현할 수 있는 입체 공간은 VPS(Volume of Public Screen), VMS(Volume of Mobile Screen), VpVS(Volume of personal Virtual Screen)를 포함한다.

또한, 입출력 장치 공간 설정 수집 유닛(110)는 물리적인 공간에 설치되어 있는 입력 센서 장치(예; 카메라 등 영상 입력 장치, 위치 및 가속도 등 센서 기반 입력 장치 등)와 3차원 디스플레이 장치 외의 정보 출력 장치(사운드 효과 출력 장치, 모노 디스플레이 장치 등)의 설치 현황 정보를 사용자 주변 환경에 대한 정보로 수집한다. 입력 센서 장치와 정보 출력 장치의 설치 현황 정보는 6 자유도(예; 위치 3가지-x, y, z; 자세 3가지-pitch, yaw, roll) 정보 및 제어와 관련된 시간 정보 등을 포함할 수 있다.

입출력 장치 공간 설정 수집 유닛(110)은 이와 같이 수집한 정보를 3D 영상 표현 공간 분할/공유 설정 저작 유닛(130)으로 제공한다.

3D 영상 표현 공간 분할/공유 설정 저작 유닛(130)은 3D 콘텐츠 모델링 툴로서, GUI를 기반으로 입출력 장치 공간 설정 수집 유닛(110)에 의해 제공된 물리적인 공간 정보와 가상 공간 3D 콘텐츠 데이터베이스(140)에 저장되어 있는 가상적인 공간 정보를 3차원 공간에서의 상호 배치 관계로 저작(authoring)하는 기능을 제공한다. 이는 3D 공간 모델에서 각각의 3차원 디스플레이 장치가 담당하는 구역을 배치하는 작업으로, 담당 구역은 사용자가 직접 수작업으로 조정하거나, 해당 3차원 디스플레이 장치로부터 최소-적정-위험-최대 영역 정보(예를 들면, positive 및 negative parallax의 깊이 등)를 수신하여 각 디스플레이 장치가 3차원 공간을 지정된 수치로 적절히 공유 및 분할하도록 자동으로 배치하도록 할 수 있다.

이와 같이 각각의 디스플레이 장치가 표현할 수 있는 적절한 가상 정보의 공간 관계가 정의되면, 정의된 공간 관계에 대한 초기 설정 정보는 장치별 최적 3D 표현 공간 설정 정보 데이터베이스(120)에 저장된다.

실시간 정보 제어부(200)는 전체 시스템의 운영 순간마다 참여하는 단수 또는 복수의 사용자의 정보를 추출하여, 자연스러운 입체 공간 제시를 위해서 초기값으로 설정된 파라미터를 변경하는 부분이다. 사용자의 정보로는 사용자의 양안 각각의 시각에 관련된 6 자유도 정보, 시선 방향(view vector) 및 초점(focusing) 정보를 포함할 수 있으며, 사용자가 현재 어떤 종류의 입출력 장치 및 센서와 상호작용할 수 있는 지에 대한 정보 또한 포함할 수 있다. 실시간 정보 제어부(200)는 사용자 적응형 장치 및 영상 파라미터 제어 유닛(210), 사용자 정보 추출 유닛(220), 다중 사용자 참여 지원 제어 유닛(230) 및 실시간 콘텐츠 정보 생성 유닛(240)을 포함한다.

사용자 정보 추출 유닛(220)은 사용자의 양안 각각의 시각에 관련된 6 자유도(위치, 자세) 정보와 시선 방향 및 초점 정보를 바탕으로 현재 사용자가 정확하게 어느 공간을 관찰하고 있는지를 추적하여, 다수의 디스플레이 장치 중 해당하는 공간의 3D 입체감을 가장 잘 표현할 수 있는 디스플레이 장치가 해당 사용자의 정보를 처리할 수 있도록 사용자 적응형 장치 및 영상 파라미터 제어 유닛(210)에 관련 정보를 전달한다.

또한, 사용자가 현재 어떤 종류의 입출력 장치 및 센서와 상호작용할 수 있는 지에 대한 정보를 수집하여 사용자 적응형 장치 및 영상 파라미터 제어 유닛(210)에 전달함으로써, 시스템이 다양한 멀티모달 입출력 정보를 개개인의 사용자에게 분할 및 동시에 제시하는 작업을 처리할 수 있도록 한다.

다중 사용자 참여 지원 제어 유닛(230)은 하나의 물리적인 공간에 다수의 사용자가 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼을 이용하는 상황을 처리하는 부분으로서, 이 경우 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 자체가 여러 세트 존재하는 상황이 된다. 따라서, 다중 사용자 참여 지원 제어 유닛(230)은 다수 사용자의 현재 상호작용 상태(가상 공간을 관찰하거나 상호작용하는 행위에 대한 상황 정보)를 수집하여, 가상 객체 정보를 공유하거나 각각의 사용자가 체험할 수 있도록 정보를 분산 처리하도록 한다.

사용자 적응형 장치 및 영상 파라미터 제어 유닛(210)은 사전 정보 관리부(100)에 의하여 초기값으로 설정되어 있는 각 디스플레이 장치의 정보 분할 및 공유 처리 조건 값을 사용자 개인의 신체적, 인지적 특성 및 개인 선호 의지에 따라서 일부 값의 범위를 조정하는 역할을 담당한다. 즉, 개인의 신체적 및 인지적 특성에 의해서 입체감을 자연스럽게 느끼는 영역에 약간의 변동이 있을 수 있으므로, 개인화된 사전 정보에 의해서 입체 공간(예; VPS, VpVS, VMS 등)사이에서의 정보의 전이 경계 영역을 조정하도록 한다.

실시간 콘텐츠 정보 생성 유닛(240)은 가상 공간 3D 콘텐츠 데이터베이스(140)의 정보와 사용자 정보 추출 유닛(220) 및 다중 사용자 참여 지원 제어 유닛(230)으로부터 얻은 사용자 입력을 기준으로 서비스 콘텐츠의 진행과 관련된 상호작용 이벤트를 처리해서 최종 출력 결과인 실시간 콘텐츠 정보를 생성하고 이를 입출력 플랫폼(300)의 다중 3D 입체 공간 사이의 가상 객체 정보 입출력 제어부(310)로 전달한다.

입출력 플랫폼 그룹(300)은 다양한 디스플레이 장치(320, 330, 340)와 이들 디스플레이 장치를 제어하기 위한 제어부(310)를 포함한다.

다중 3D 입체 공간 사이의 객체 정보 입출력 제어부(310)는 실시간 콘텐츠 정보 생성부(240)의 출력 결과를 다중 사용자 조건과 개인에게 최적화된 조건을 기준으로 분할 및 공유 정보를 분리해서 각각의 입출력 장치들(320, 330, 340)로 전송한다.

설명의 편의를 위하여 도 1에서는 공용 디스플레이 장치(320), 휴대형 디스플레이 장치(330), 개인용 착용형 디스플레이 장치(340)를 하나씩 도시하였지만, 반드시 이 세 가지 디스플레이 장치가 구비되어야 하는 것은 아니며, 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼은 적어도 하나의 3차원 영상 디스플레이 장치를 포함하여 두 개 이상의 디스플레이 장치를 갖는 디스플레이 시스템에 적용 가능하다. 또한, 각 디스플레이 장치는 두 개 이상 구비될 수 있음은 물론이다.

또한, 도 1에서는 다중 3D 입체 공간 사이의 객체 정보 입출력 제어부(310)가 각 디스플레이 장치(320, 330, 340)를 직접 제어하는 것으로 도시하였지만, 다중 3D 입체 공간 사이의 객체 정보 입출력 제어부(310)와 각 디스플레이 장치(320, 330, 340) 사이에 각 디스플레이 장치를 제어하기 위한 개별 제어 유닛을 둘 수도 있다. 예를 들면, 벽면형 디스플레이 장치 및 3D TV 등 주변 환경에 위치한 디스플레이 장치를 제어하는 다중 공용 디스플레이 장치 제어 유닛, 사용자가 휴대하면서 이동시킬 수 있는 입출력 장치들을 제어하는 다중 휴대형 디스플레이 장치 제어 유닛, HMD(Head Mounted Display)나 EGD(Eye-Glasses (type) Display) 등의 착용형 컴퓨팅 장치(wearable computing device)와 같이 신체에 밀착하여 사용할 수 있는 입출력 장치를 제어하는 다중 개인용 착용형 디스플레이 장치 제어 유닛 등을 둘 수 있다.

뿐만 아니라, 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서는, 각 디스플레이 장치(320, 330, 340)가 다중 3D 입체 공간 사이의 객체 정보 입출력 제어부(310)로부터 각 디스플레이 장치(320, 330, 340)에 해당하는 사용자 정보, 다수 사용자의 현재 상호작용 상태, 실시간 컨텐츠 정보 등을 제공받아 이를 이용하여 적합한 3차원 영상을 제시하도록 할 수도 있다. 이 경우 각 디스플레이 장치는 대한민국 공개특허공보 제10-2006-0068508호에 개시된 바와 같은 다중 입체 영상 혼합 제시용 시각 인터페이스 장치를 구비한 것 또는 대한민국 공개특허공보 제10-2008-0010502호에 개시된 바와 같은 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 등을 포함할 수 있다.

본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서 디스플레이 장치(320, 330, 340)를 제외한 나머지 부분은 예를 들면 컴퓨터와 같은 하나의 장치(10)를 통하여 구현될 수 있으며, 필요에 따라서는 두 개 이상의 장치로 구현되거나 일부 유닛이 디스플레이 장치에 포함되는 형태로도 구현될 수 있다. 예를 들면 특정 공용 디스플레이 장치가 메인 디스플레이 장치로 동작하는 경우, 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 각 구성부분이 메인 디스플레이 장치 내에 구현될 수도 있다.

도 2 내지 도 4는 3D 입체 영상 표현을 위한 양안 시차와 허상의 위치를 설명하는 도면이다.

일반적으로 좌우 두 눈에는 3차원 공간의 정보가 시차(visual disparity, d)를 가지는 독립되어 2차원으로 망막에 투영된 영상으로 감지되며, 두뇌에서는 이를 통하여 3차원 입체 공간과 3차원 객체를 인지한다(도 2 참조).

이러한 원리를 이용한 3차원 디스플레이 기술은 하나의 물리광학적인 스크린에 2개의 좌-우 영상을 제시하고 각각의 영상을 좌-우 눈에 독립적으로 전달되도록 분리시키는 기술(예; 편광 필터)를 사용한다.

도 3은 일반적인 3D TV 또는 입체 영화관에서 외부의 대형 스크린을 관찰할 때 스크린 상에서 출력되는 영상의 시차에 의한 negative(화면에서 튀어나온 영역에 있는 느낌)-zero(화면과 같은 거리에 물체가 있는 느낌)-positive(화면 뒤의 먼 공간에 물체가 있는 느낌)의 상황을 설명한 그림이다.

여기에서, VOp는 positive parallax 영역의 가상 물체, VOz는 zero parallax 영역의 가상 물체, VOn은 negative parallax 영역의 가상 물체를 나타내고, Dp와 Dn은 각각 positive parallax와 negative parallax의 깊이를 나타낸다. RP는 real point, VP는 virtual point, d는 화면상의 거리(zero parallax)를 나타낸다.

도 4는 EGD와 같이 사용자의 눈에 착용한 디스플레이 장치의 광학부에 의해서 가상의 스크린(pVS)이 일정한 거리 앞에 형성이 되고, 이를 기준으로 입체 영상이 표현되는 원리를 설명한 그림이다.

도 4에서 pES는 personal Eye Screen, Op는 Optics, lpVS는 left eye's personal Virtual Screen, rpVS는 right eye's personal Virtual Screen, pVS는 personal Virtual Screen(중첩영역), VOpE는 EGD의 positive parallax 영역의 가상 물체, VOzE는 EGD의 zero parallax 영역의 가상 물체, VOnE는 EGD의 negative parallax 영역의 가상 물체, PE는 Parallel Eye vector이고, VOE=VOpE+VOzE+VOnE가 된다.

도 5와 도 6은 입체 디스플레이를 통해 표현 가능한 가상 영상의 가시화 범위와 그 오류의 예를 보여주는 도면이다.

도 5는 입체 디스플레이와 표현 가능한 가상 영상의 가시화 범위를 설명하는 도면이다. 도 5의 스크린(PS: Public Screen) 부분은 3D TV CF의 한 장면인데, 축구의 슛 장면에서 공이 화면에서 튀어나오는 입체감을 나타내고 있으나, 이는 negative parallax 기법으로는 실제 표현할 수 없는 비정상적인 상황을 묘사하고 있다.

즉, 일반적인 시청자의 좌-우 양안 시야를 90도라고 가정했을 때, 가상 객체(공, VO)는 시야 범위(EFOV)에는 들어가 있지만 시청자의 시선과 물리적 화면(PS)을 기준으로 정의되는 영상 표현 가능 공간(VV)을 벗어나 있어 실제로는 시청자에게 보이지 않는 영역에 있는 것이다.

즉, 이론적으로 홀로그램 공간 디스플레이 장치가 아니면 표현이 불가능한 공간에 영상 이미지가 존재하는 상황이 연출되고 있다.

도 6 역시 유사한 상황을 나타내고 있는데, 시청자가 3D TV화면을 그림과 같이 사선 방향으로 바라보고 있는 경우에는 시청자의 시선과 물리적 화면을 기준으로 정의되는 영상 표현 가능 공간 내에 위치하는 일부 가상 객체(VO_3, VO_4)만이 화면에서 튀어나온 공간에 위치한 것으로 인지할 수 있고, 그 밖의 공간에 위치하는 가상 객체(VO_2 내지 VO_0)는 실제로 시청자가 인지할 수 없게 된다.

이와 같이 영상 출력면(예; LCD screen)의 존재를 기반으로 하는 양안 시각(binocular vision)형 정보 디스플레이를 이용한 모든 입체 영상 시스템은 사용자가 느끼게 되는 자연스러운 깊이감(comfortable depth feeling) 구간이 물리광학적인 영상면을 기준으로 유한한 공간에 형성된다. 그러므로, 가상의 콘텐츠(예; 3D 영상물)가 표현하고자 하는 보다 깊고, 넓고, 높은 공간에 대한 출력은 기존 기술로는 한계가 있을 수밖에 없다. 예를 들면, 사용자의 시점과 영상 표현 면으로부터 정의되는 FOV(Field Of View)를 벗어난 부분으로 물리광학적으로 표현이 불가능한 공간은 사용자가 인식할 수 없는 영역이거나, 과도한 image disparity 설정으로 사용자에게 높은 시각적 피로도를 유발시키게 된다.

이에 비해 본원 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서는 다중 및 다수의 입체 디스플레이 장치를 활용하여 가상의 입체 표현 공간을 분할 및 공유함으로써 3차원 공간감 표현의 한계를 극복할 수 있다.

이제 다양한 응용예를 바탕으로 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에 의해 구현되는 3차원 영상 표현 방법을 설명한다.

도 7a 내지 도 7c는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서 3D 영상 표현 공간의 분할 및 공유를 나타내는 도면이다.

도 7a 내지 도 7c의 실시예는 벽면형 3차원 영상 디스플레이 장치와 착용형 3차원 EGD 및/또는 휴대형 디스플레이 장치를 동시에 사용하는 경우의 영상 표현 스크린의 상대적인 활용 위치 및 각각의 3차원 공간 표현 영역을 나타낸다. 도 7a 내지 도 7c에서 PS는 Public Screen, MS는 Mobile Screen, VPS는 natural 3D expression Volume of PS, VpVS는 natural 3D expression Volume of pVS, VMS는 natural 3D expression Volume of MS, VOs는 Virtual Object on start position, VOe는 Virtual Object on end position, VOm는 Virtual Object on mobile screen이다.

도 7a에 나타난 바와 같이, 하나의 3차원 영상 스크린의 경계와 시청자의 시선의 위치 및 방향을 기준으로 시각 투영 공간(view frustum)을 정의할 수 있다. 그리고, 하나의 스크린에서 출력되는 양안 시차 영상은 과도한 값의 범위 이내에서 시청자가 피로감을 느끼지 않은 정도의 경계값으로 정의되는 자연스러운 3차원 영상 표현 공간(VPS, VpVS, MVS)를 정의할 수 있다.

일반적으로 positive parallax를 이용한 멀리 떨어진 느낌의 입체 효과는 거리가 멀어질수록 시청자의 좌-우 양안 시각의 거리(예; IPD-Inter Pupil Distance, 두 눈 사이의 거리)값에 가까워지며, 사람의 입체 공간 인지 특성으로 보면 거리가 멀어질수록 양안 시차 효과보다는 가림(overlap)과 같은 다른 요인으로 깊이를 인지하게 된다. 그러나, 물체가 시청자의 눈 앞에 가까워지는 negative parallax를 이용하는 경우에는 양안 시차(d)의 절대값이 무한대로 커지게 되어 극도의 시각 피로감을 유발시키게 된다. 그러므로 하나의 스크린에는 자연스러운 입체 영상 표현 공간이 positive영역의 거리값(Dp)이 negative 영역의 거리값(Dn)보다 큰 유한한 공간이 정의될 수 있다. 여기에서 아주 멀리 있는 객체의 표현은 완전 평행 시각이 되므로 positive parallax area는 이론적으로는 무한대가 되지만, 시각 피로도를 감안하여 일정한 영역으로 한정한다.

본원 발명의 실시예에 따르면, 다수의 3차원 디스플레이 장치를 이용하여 다수의 가상 스크린을 통해 입체 영상을 표시함으로써 상술한 바와 같은 3차원 공간감 표현의 한계를 극복할 수 있다.

도 7a에 나타난 바와 같이, 시청자가 벽면형 3차원 디스플레이가 위치한 방향을 주시할 때 시청자와 스크린(PS)사이의 거리가 먼 경우(Dn1보다 큰 경우)에는 EGD를 이용한 별도의 스크린(pVS)을 통해서 시청자에게 가까운 공간에 입체 영상을 제시할 수 있다.

도 7b는 시청자가 좌측으로 시선을 이동하는 경우를 나타내는 것으로서, 시청자의 시점이 벽면형 3차원 디스플레이의 3차원 표현 공간, 즉 외부 스크린(PS)의 영역을 벗어나는 경우에도 사용자 시점에 따라서 이동하는 다른 표현 공간(VpVS)(착용형 3차원 EGD의 3차원 표현 공간)을 이용하여 입체 정보를 제시할 수 있다.

도 7c는 추가로 이동형 3차원 디스플레이를 사용하는 경우를 나타낸다. 시청자는 추가의 스크린(MS)을 표시할 수 있는 장치를 휴대함으로써 입체 영상 표현 공간을 세분화시키고, 더욱 자연스럽고 다양한 공간에 표현되는 입체 영상 정보를 체험할 수 있다. 특히, 도 7c에서와 같이 이동형 3차원 디스플레이 장치를 사용하면, 일반적인 EGD 장치가 가지고 있는 좁은 시야각(FOV) 문제를 해결할 수 있게 된다.

도 8a 내지 도 8c는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서 다중 사용자에 대하여 증강형 혼합현실 3차원 영상을 디스플레이하는 응용예를 나타내는 도면이다.

도 8a는 사용자 A가 가상 객체의 이동 경로(화면 밖으로 튀어나옴)에 따라서 자연스럽게 3차원 공간감을 표현할 수 있는 장치들(EGD, 휴대형 3차원 디스플레이 장치 등)을 활용하여 입체 콘텐츠를 체험하는 상황이다.

도 8b는 공용 디스플레이(PS)로부터 돌출되는 동일한 입체 영상 콘텐츠를 서로 다른 사용자(사용자 B, 사용자 C)가 각각 자신의 관점에서 정확한 3차원 영상을 체험하는 상황이다. 사용자 B와 사용자 C는 각각 자신의 EGD, 휴대형 3차원 디스플레이 장치 등)을 활용하여 동일한 가상 객체에 대해 정확한 3차원 영상을 체험할 수 있다.

도 8c는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에 다수의 사용자가 참여하는 복합 입체 영상 체험관의 사례를 설명하고 있다. 도 8c는 가상의 숲 속 길의 인테리어를 가진 체험 공간에서 가상의 숲 및 가상 및 실물형태의 생명체에 대한 상호작용을 다수의 사용자(사용자 D 내지 사용자 K)가 다양한 입출력 장치 플랫폼을 통해서 경험하는 상황을 나타낸다. 도 8c에 나타난 바와 같이, 사용자는 벽(wall) 속의 가상 및 실물을 이용한 전시 공간과 입체 영상 및 입출력 상호작용 인터페이스(예; 사용자 위치 추적 및 제스쳐 인터페이스, 음성 인터페이스 등 시각-청각-촉각-후각-미각 장치)를 통해서 가상과 현실 공간이 융합된 혼합현실형 서비스를 체험할 수 있다.

도 9a 내지 도 11d는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 다양한 응용예를 나타내는 도면이다.

도 9a에서 나타난 바와 같이, 공이 골대를 벗어나서 시청자 방향으로(3D TV 외부로) 날아오는 상황에서, 도 9b에 나타난 바와 같이, 3D TV의 VPS에서 VOn로 표현할 수 있는 최대 영역까지 공이 돌출 표현되어, 입체 표현 공간 전이(경계) 영역에 가까우면 시청자의 EGD의 VpVS가 활성화된다. 이어, 도 9c에 나타난 바와 같이, 사용자 시점의 이동에 연동되어 움직이는 VpVS에서 공(VOE1)의 이동이 표현된다(이 때, VOE1은 시청자와 3D TV 사이에 정의되는 VV 영역을 벗어나고 있음). 이와 같이 두 개의 3차원 디스플레이 장치(3D TV 및 EGD)를 이용하여 가상 객체(VOE1)의 넓은 이동 범위를 표현할 수 있다.

또한, 도 9d에서는 VpVS에서 표현되는 다른 가상 객체 VOE2(예; 가상 응원단)가 VOE1(공)과 상호작용(날아오는 공을 잡음)하는 상황이 표현되는 것을 나타내고 있다. 이와 같이 본 발명의 실시예에 따르면 종래에는 구현하지 못했던 영역의 입체 영상 체험 효과를 쉽게 얻을 수 있다.

도 10a 내지 도 10d는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼을 이용한 다른 응용예를 나타내는 도면이다.

도 10a 내지 도 10d에서 제시하는 응용예는 본 발명의 실시예에 따른 3차원 영상 디스플레이 시스템을 IPTV 기술 및 UCC 기술과 융합한 서비스의 사례로서, 시청자는 시청자가 소유하고 제어할 수 있는 시청자 주변의 3차원 가상 공간의 콘텐츠를 다수의 사용자가 공유하는 TV 프로그램 내부로 업로드하여 함께 공유할 수 있는 서비스를 구현할 수 있다.

도 10a에 나타난 바와 같이, 시청자가 생성한 디지털 콘텐츠(UCC 응원 광고)를 VpVS 영역에 로딩한 다음, 도 10b에 나타난 바와 같이, 시청자가 제스쳐 인터랙션으로 UCC를 TV로 표현되는 VPS로 전송시키는 명령을 입력한다. 그러면, 도 10c에 나타난 바와 같이, TV가 수신한 UCC 정보는 중앙서버로 전송(upload)되고, 도 10d에 나타난 바와 같이, 방송에서 UCC(예; 광고)의 노출을 제어하는 중앙서버는 시청자가 전송한 메시지를 노출 제어 영역(가상 광고판)에 출력한다.

도 11a 내지 도 11d는 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼을 이용한 다른 응용예를 나타내는 도면이다.

도 11a 내지 도 11d에서 제시하는 응용예는 본 발명의 실시예에 따른 3차원 영상 디스플레이 시스템과 IPTV 기술을 활용한 사용자 맞춤형 광고 기술을 융합한 서비스의 사례이다. 즉, TV 프로그램의 내용 전개에 실시간으로 반응하는 인터랙티브 광고(예; 한국이 우승하는 경우, 가전 제품 할인 이벤트 광고 노출)를 제시하고, 해당 광고 대상물이 사용자 생활 환경(lifestyle)에 적합한지를 체험할 수 있도록 본 발명의 실시예에 따른 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼에서 내장된 입출력 센서(예; 사용자 거실 공간의 3차원 정보를 추출하는 입체 정보 추출 센서) 및 지식 데이터베이스를 활용하여, 가상 사용 시뮬레이션 상황을 시연함으로써 사용자가 광고 내용을 사실감 높게 체험하도록 할 수 있다.

즉, 도 11a에 나타난 바와 같이, 중앙서버는 콘텐츠에서 발생되는 특정 이벤트(예; 축구의 골인 순간)에 반응하여 특정 광고를 노출시킨다. 다음, 도 11b에 나타난 바와 같이, 사용자의 광고 거부 행위가 없는 경우 중앙서버는 광고 콘텐츠에 내장된 가상 객체에 대한 추가 정보(로봇 청소기의 가상 시뮬레이션 프로그램)를 TV로 전송하고, TV는 광고 콘텐츠에 포함된 가상 객체(로봇 청소기)와의 상호작용을 위해서 활용 공간의 3D정보가 필요한 것을 인식하면, TV에 내장된 3차원 공간 정보 수집 장치(3D cam)를 이용하여 TV 주변(거실)의 3차원 공간 구조 정보를 스캔한다.

도 11c에 나타난 바와 같이, 사용자가 광고 콘텐츠(로봇 청소기)의 내용 체험을 선택하면, 가상의 로봇 청소기가 TV에서 출력되어 거실 공간으로 이동한다. 이 때, 가상 로봇 청소기가 TV의 VPS 영역을 이탈하는 경우, 시청자의 VpVS 영역에서 가시화된다.

도 11d에 나타난 바와 같이, 가상 로봇 청소기는 수집된 거실의 3차원 공간 정보를 기준으로 충돌 검사를 수행하면서, 가상의 제품 동작 시연을 시뮬레이션하고, 시청자는 해당 제품을 실제로 구매한 경우의 상황을 가상으로 체험한 후, 제품의 구매 여부를 결정할 수 있다.

이와 유사한 구현 가능 시나리오로, 사용자는 착용형 의복, 악세사리 및 집안 인테리어용 제품들의 가상 착용 및 가상 배치를 체험해보고, 광고물의 구입에 대한 의사 결정에 도움을 받을 수 있다.

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

Claims (20)

1. 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치를 서로 연관시켜 제어하는 입출력 제어부와,
   상기 디스플레이 장치의 공간 설정을 수집하여 3차원 입체 영상을 표현하기 위한 물리 공간을 상기 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3차원 표현 공간을 설정하는 사전 정보 관리부와,
   사용자의 시선 정보를 포함하는 사용자 정보와 가상 공간에 대한 3차원 콘텐츠를 이용하여 실시간 콘텐츠 정보를 생성하는 실시간 정보 제어부를 포함하며,
   상기 입출력 제어부는 상기 디스플레이 장치별로 설정된 3차원 표현 공간 정보와 상기 사용자 정보를 바탕으로 상기 실시간 콘텐츠 정보를 각각의 상기 디스플레이 장치로 분배하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
2. 제1항에 있어서,
   상기 사용자가 다수인 경우,
   상기 실시간 정보 제어부는 상기 다수의 사용자의 상호관계를 더 이용하여 상기 실시간 콘텐츠 정보를 생성하며,
   상기 입출력 제어부는 상기 3차원 표현 공간 정보, 상기 사용자 정보 및 상기 다수의 사용자의 상호관계를 바탕으로 상기 실시간 콘텐츠 정보를 상기 디스플레이 장치로 분배하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
3. 제1항에 있어서, 상기 사용자 정보는,
   상기 사용자의 양안 6 자유도 정보와 초점 정보를 더 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
4. 제1항에 있어서,
   상기 사용자 주위의 물리 공간에 설치되어 있는 입력 센서 장치와 상기 디스플레이 장치가 아닌 다른 정보 출력 장치를 더 포함하며,
   상기 사전 정보 관리부는 상기 입력 센서 장치와 상기 정보 출력 장치의 설치 현황 정보를 더 수집하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
5. 제4항에 있어서, 상기 사용자 정보는,
   상기 사용자가 상호작용할 수 있는 상기 디스플레이 장치, 상기 입력 센서 장치, 상기 정보 출력 장치에 대한 정보를 더 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
6. 제1항에 있어서, 상기 사전 정보 관리부는,
   상기 3차원 표현 공간 정보와 상기 가상 공간에 대한 3차원 콘텐츠를 이용하여, 설정된 물리 공간의 정보와 상기 가상 공간의 정보를 3차원 공간에서의 상호 배치 관계로 저작(authoring)하고, 상기 저작의 결과를 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보로 저장하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
7. 제6항에 있어서, 상기 저작은,
   상기 사용자에 의해 수행되거나 상기 사전 정보 관리부에 의하여 수집된 상기 디스플레이 장치의 공간 설정으로부터 자동으로 수행되는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
8. 제1항에 있어서, 상기 실시간 정보 제어부는,
   사전 수집된 상기 사용자의 개인 정보를 바탕으로 상기 3차원 표현 공간 정보를 수정하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
9. 제1항에 있어서, 상기 디스플레이 장치는,
   공용 디스플레이 장치, 휴대형 디스플레이 장치 및 착용형 디스플레이 장치를 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
10. 제1항에 있어서, 상기 디스플레이 장치별 상기 3차원 표현 공간 정보는 서로 중복되는 영역을 갖도록 설정되는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
11. 제1항에 있어서,
    상기 사전 정보 관리부는,
    상기 디스플레이 장치의 공간 설정을 수집하는 공간 설정 수집 유닛과,
    상기 가상 공간에 대한 3차원 콘텐츠를 저장하는 가상 공간 3차원 콘텐츠 데이터베이스와,
    설정된 상기 물리 공간의 정보와 상기 가상 공간의 정보를 3차원 공간에서의 상호 배치 관계로 저작하는 저작 유닛과,
    상기 저작의 결과를 저장하는 최적 공간 설정 정보 데이터베이스를 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
12. 제11항에 있어서, 상기 실시간 정보 제어부는,
    상기 사용자 정보를 추출하는 사용자 정보 추출 유닛과,
    상기 사용자가 다수인 경우 상기 다수의 사용자의 상호관계를 관리하는 다중 사용자 참여 지원 유닛과,
    상기 사용자 정보, 상기 다수의 사용자의 상호관계 및 상기 가상 공간에 대한 3차원 콘텐츠를 바탕으로 상기 실시간 콘텐츠 정보를 생성하는 실시간 콘텐츠 정보 생성 유닛과,
    상기 사용자 정보를 관리하며, 사전 수집된 상기 사용자의 개인 정보를 바탕으로 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보를 수정하는 사용자 적응형 장치 및 영상 파라미터 제어 유닛을 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
13. 제12항에 있어서, 상기 입출력 제어부는,
    사용자 적응형 장치 및 영상 파라미터 제어 유닛에 의해 수정된 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보, 상기 사용자 정보, 상기 다수의 사용자의 상호관계를 바탕으로 상기 실시간 콘텐츠 정보를 상기 디스플레이 장치로 분배하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
14. 제13항에 있어서,
    상기 디스플레이 장치는 공용 디스플레이 장치, 휴대형 디스플레이 장치 및 착용형 디스플레이 장치를 포함하고,
    상기 입출력 제어부는 상기 공용 디스플레이 장치, 상기 휴대형 디스플레이 장치 및 상기 착용형 디스플레이 장치를 각각 제어하는 공용 디스플레이 장치 제어 유닛, 휴대형 디스플레이 장치 제어 유닛 및 착용형 디스플레이 장치 제어 유닛을 더 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
15. 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치를 서로 연관시켜 제어하는 입출력 제어부와,
    상기 디스플레이 장치가 표현할 수 있는 최적의 입체 공간에 대한 정보를 수집하는 공간 설정 수집 유닛과, 가상 공간에 대한 3차원 콘텐츠를 저장하는 가상 공간 3차원 콘텐츠 데이터베이스와, 상기 공간 설정 수집 유닛에 의해 수집된 물리 공간의 정보와 상기 가상 공간의 정보를 3차원 공간에서의 상호 배치 관계로 저작하는 저작 유닛과, 상기 저작의 결과를 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보로 저장하는 최적 공간 설정 정보 데이터베이스를 포함하는 사전 정보 관리부와,
    사용자 정보를 추출하는 사용자 정보 추출 유닛과, 상기 사용자가 다수인 경우 상기 다수의 사용자의 상호관계를 관리하는 다중 사용자 참여 지원 유닛과, 상기 사용자 정보, 상기 다수의 사용자의 상호관계 및 상기 가상 공간에 대한 3차원 콘텐츠를 바탕으로 실시간 콘텐츠 정보를 생성하는 실시간 콘텐츠 정보 생성 유닛과, 상기 사용자 정보를 관리하며 사전 수집된 상기 사용자의 개인 정보를 바탕으로 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보를 수정하는 사용자 적응형 장치 및 영상 파라미터 제어 유닛을 포함하는 실시간 정보 제어부
    를 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
16. 제15항에 있어서, 상기 사용자 정보는,
    사용자의 양안 6 자유도 정보, 시선 방향, 초점 정보 및 상기 사용자가 상호작용할 수 있는 상기 디스플레이 장치를 포함하는 입출력 장치에 대한 정보를 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
17. 제15항에 있어서, 상기 입출력 제어부는,
    상기 사용자 적응형 장치 및 영상 파라미터 제어 유닛에 의해 수정된 상기 디스플레이 장치별 최적 3차원 표현 공간 설정 정보, 상기 사용자 정보, 상기 다수의 사용자의 상호관계를 바탕으로 상기 실시간 콘텐츠 정보를 상기 디스플레이 장치로 분배하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼.
18. 적어도 하나의 3차원 디스플레이 장치를 포함하는 다수의 디스플레이 장치로부터 표현할 수 있는 최적의 입체 공간에 대한 정보를 수집하는 단계와,
    수집된 상기 최적의 입체 공간에 대한 정보를 바탕으로 3차원 입체 영상을 표현하기 위한 물리 공간을 상기 디스플레이 장치 별로 분할 또는 공유하도록 디스플레이 장치별 3차원 표현 공간을 설정하는 단계와,
    사용자의 양안 6 자유도 정보와 시선 방향 및 초점 정보를 포함하는 사용자 정보를 수집하는 단계와,
    가상 공간에 대한 3차원 콘텐츠와 상기 사용자 정보를 이용하여 실시간 콘텐츠 정보를 생성하는 단계와,
    상기 사용자 정보와 상기 디스플레이 장치별로 설정된 3차원 표현 공간 정보를 바탕으로 상기 실시간 콘텐츠 정보를 각각의 상기 디스플레이 장치로 분배하는 단계를 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 운영 방법.
19. 제18항에 있어서,
    상기 사용자 정보를 수집하는 단계는 다수의 사용자에 대하여 각각 수행되며,
    상기 사용자 정보를 수집하는 단계 이후에,
    수집된 상기 사용자 정보로부터 다수의 상기 사용자의 상호작용 상태를 추출하는 단계를 더 포함하고,
    상기 분배하는 단계에서는,
    상기 사용자 정보와 상기 디스플레이 장치별로 설정된 3차원 표현 공간 정보 및 상기 사용자의 상호작용 상태를 바탕으로 상기 실시간 콘텐츠 정보를 각각의 상기 디스플레이 장치로 분배하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 운영 방법.
20. 제18항에 있어서, 상기 디스플레이 장치는,
    공용 디스플레이 장치, 휴대형 디스플레이 장치 및 착용형 디스플레이 장치를 포함하는 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼의 운영 방법.
    
    

Images