KR20230023626A

KR20230023626A - 정보 처리 장치 및 방법

Info

Publication number: KR20230023626A
Application number: KR1020227041427A
Authority: KR
Inventors: 유카 기야마; 미츠히로 히라바야시; 료헤이 다카하시
Original assignee: 소니그룹주식회사
Priority date: 2020-06-11
Filing date: 2021-05-28
Publication date: 2023-02-17
Also published as: WO2021251185A1; CN115462062A; US20230222726A1; JPWO2021251185A1; EP4167565A1; EP4167565A4

Abstract

본 개시는, 재생 처리의 부하의 증대를 억제할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 그 메타데이터에 연결짓는 timede metadata 액세스 정보를 그 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성한다. 또한, 그 씬 기술 파일에 저장된 timed metadata 식별 정보와 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하고, 그 취득한 timed metadata에 기초하여, 3D 오브젝트 콘텐츠의 표시 화상을 생성한다. 본 개시는, 예를 들어 정보 처리 장치 또는 정보 처리 방법 등에 적용할 수 있다.

Description

정보 처리 장치 및 방법

본 개시는, 정보 처리 장치 및 방법에 관한 것으로, 특히 재생 처리의 부하의 증대를 억제할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.

종래, 3D(3차원) 오브젝트를 3차원 공간 내에 배치하기 위한 포맷인 glTF(The GL Transmission Format)(등록상표) 2.0이 있었다(예를 들어 비특허문헌 1 참조). 근년, MPEG(Moving Picture Experts Group)-I Scene Description에 있어서, glTF2.0을 확장하고, 시간 방향으로 변화하는 콘텐츠를 적용하는 것이 검토되고 있다(예를 들어 비특허문헌 2 참조). 예를 들어, 텍스처(Texture) 데이터로서, 부호화되어 ISOBMFF(International Organization for Standardization Base Media File Format) 등에 저장된 타임드 텍스처 미디어(timed texture media)를 취급하는 방법이 제안되었다(예를 들어 비특허문헌 3 참조). 또한, 콘텐츠뿐만 아니라, 그것에 연결지어지는 metadata에 있어서도, 시간 변화하는 것을 다루는 방법의 검토가 진행되고 있다(예를 들어, 비특허문헌 4 참조).

Saurabh Bhatia, Patrick Cozzi, Alexey Knyazev, Tony Parisi, "Khronos glTF2.0", https://github.com/KhronosGroup/glTF/tree/master/specification/2.0, June 9, 2017 Lukasz Kondrad, Imed Bouazizi, "Technologies under Considerations on Scene Description for MPEG Media", ISO/IEC JTC1/SC29/WG11 MPEG2020/N19290, April 2020 "Information technology. Coding of audio-visual objects. Part 12", ISO/IEC 14496-12, 2015-02-20 Shuichi Aoki and Yuma Wakahara, "(36.1)Proposed extensions of glTF2 for supporting MPEG media", ISO/IEC JTC1/SC29/WG11 MPEG2020/M53397r1, April 2020

그러나, 종래의 방법에서는, 씬 디스크립션에 있어서 시간 변화하는 metadata가 취급되는 경우, 그 시간 변환하는 metadata는 모두 씬 디스크립션에 기술되어 있었다. 3D 오브젝트 콘텐츠의 재생 시에, 그 시간 변환하는 metadata와 다른 timed media는, 동기의 구조가 다르기 때문에, 그들 사이에서 동기를 취할 필요가 있었다. 그 때문에, 번잡한 작업이 필요해져, 3D 오브젝트 콘텐츠의 재생 처리의 부하가 증대할 우려가 있었다.

본 개시는, 이러한 상황을 감안하여 이루어진 것으로, 재생 처리의 부하의 증대를 억제할 수 있도록 하는 것이다.

본 기술의 일 측면의 정보 처리 장치는, 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 상기 메타데이터에 연결짓는 timede metadata 액세스 정보를 상기 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는 파일 생성부를 구비하는 정보 처리 장치이다.

본 기술의 일 측면의 정보 처리 방법은, 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 상기 메타데이터에 연결짓는 timede metadata 액세스 정보를 상기 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는 정보 처리 방법이다.

본 기술의 다른 측면의 정보 처리 장치는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 상기 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 timed metadata에 기초하여, 상기 3D 오브젝트 콘텐츠의 표시 화상을 생성하는 생성부를 구비하는 정보 처리 장치이다.

본 기술의 다른 측면의 정보 처리 방법은, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 상기 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하고, 취득된 상기 timed metadata에 기초하여, 상기 3D 오브젝트 콘텐츠의 표시 화상을 생성하는 정보 처리 방법이다.

본 기술의 일 측면의 정보 처리 장치 및 방법에 있어서는, 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 그 메타데이터에 연결짓는 timede metadata 액세스 정보를 그 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일이 생성된다.

본 기술의 다른 측면의 정보 처리 장치 및 방법에 있어서는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 그 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata가 취득되고, 그 취득된 timed metadata에 기초하여, 3D 오브젝트 콘텐츠의 표시 화상이 생성된다.

도 1은 glTF2.0의 주요 구성예를 도시하는 도면이다.
도 2는 glTF 오브젝트와 참조 관계의 예를 도시하는 도면이다.
도 3은 JSON 포맷 파일의 기술예를 도시하는 도면이다.
도 4는 바이너리 데이터에의 액세스 방법에 대해서 설명하는 도면이다.
도 5는 JSON 포맷 파일의 기술예를 도시하는 도면이다.
도 6은 buffer object, buffer view object, accessor object의 관계를 설명하는 도면이다.
도 7은 buffer object, buffer view object, accessor object의 기술예를 도시하는 도면이다.
도 8은 glTF2.0의 확장 방법에 대해서 설명하는 도면이다.
도 9는 Timed media를 취급하기 위한 확장에 대해서 설명하는 도면이다.
도 10은 Timed media를 취급하기 위한 확장에 대해서 설명하는 도면이다.
도 11은 Timed media를 취급하기 위한 확장에 대해서 설명하는 도면이다.
도 12는 Timed media를 취급하기 위한 확장에 대해서 설명하는 도면이다.
도 13은 카메라 오브젝트에 대해서 설명하는 도면이다.
도 14는 시간 변환하는 카메라 오브젝트의 예를 도시하는 도면이다.
도 15는 시간 변환하는 카메라 오브젝트의 예를 도시하는 도면이다.
도 16은 timed metadata의 전송 방법에 대해서 설명하는 도면이다.
도 17은 시간 변환하는 카메라 오브젝트의 연결지음에 대해서 설명하는 도면이다.
도 18은 씬 디스크립션의 MPEG_media object의 기술예를 도시하는 도면이다.
도 19는 씬 디스크립션의 camera extensions의 기술예를 도시하는 도면이다.
도 20은 camera extensions에 있어서 적용되는 파라미터의 시맨틱스의 예를 도시하는 도면이다.
도 21은 accessor object를 통한 timed metadata에의 액세스 방법의 예를 설명하는 도면이다.
도 22는 timed metadata의 예를 도시하는 도면이다.
도 23은 씬 디스크립션의 camera extensions의 기술예를 도시하는 도면이다.
도 24는 씬 디스크립션의 camera extensions의 기술예를 도시하는 도면이다.
도 25는 복수의 camera object의 예를 도시하는 도면이다.
도 26은 복수의 timed metadata를 씬 디스크립션에 연결짓는 예를 도시하는 도면이다.
도 27은 복수의 timed metadata를 씬 디스크립션에 연결짓는 예를 도시하는 도면이다.
도 28은 파일 생성 장치의 주요 구성예를 도시하는 블록도이다.
도 29는 파일 생성 처리의 흐름의 예를 도시하는 흐름도이다.
도 30은 클라이언트 장치의 주요 구성예를 도시하는 블록도이다.
도 31은 클라이언트 처리의 흐름의 예를 도시하는 흐름도이다.
도 32는 클라이언트 처리의 흐름의 예를 도시하는 흐름도이다.
도 33은 클라이언트 처리의 흐름의 예를 도시하는 흐름도이다.
도 34는 컴퓨터의 주요 구성예를 도시하는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하 실시 형태로 한다)에 대해서 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. MPEG-I Scene Description

2. timed metadata 등의 전송

3. 제1 실시 형태(파일 생성 장치)

4. 제2 실시 형태(클라이언트 장치)

5. 부기

<1. MPEG-I Scene Description>

<기술 내용·기술 용어를 서포트하는 문헌 등>

본 기술에서 개시되는 범위는, 실시 형태에 기재되어 있는 내용뿐만 아니라, 출원 당시에 있어서 공지되어 있는 이하의 비특허문헌 등에 기재되어 있는 내용이나 이하의 비특허문헌에 있어서 참조되어 있는 다른 문헌의 내용 등도 포함된다.

비특허문헌 1: (상술)

비특허문헌 2: (상술)

비특허문헌 3: (상술)

비특허문헌 4: (상술)

즉, 상술한 비특허문헌에 기재되어 있는 내용이나, 상술한 비특허문헌에 있어서 참조되어 있는 다른 문헌의 내용 등도, 서포트 요건을 판단할 때의 근거가 된다.

<gltf2.0>

종래, 예를 들어 비특허문헌 1에 기재된 바와 같이, 3D(3차원) 오브젝트를 3차원 공간 내에 배치하기 위한 포맷인 glTF(The GL Transmission Format)(등록상표) 2.0이 있었다. glTF2.0에서는, 예를 들어 도 1에 도시되는 바와 같이, JSON 포맷 파일(.glTF)과, 바이너리 파일(.bin)과, 이미지 파일(.png나 .jpg 등)에 의해 구성된다. 바이너리 파일은, 지오메트리나 애니메이션 등의 바이너리 데이터를 저장한다. 이미지 파일은 텍스처 등의 데이터를 저장한다.

JSON 포맷 파일은, JSON(JavaScript(등록상표) Object Notation)에 기술된 씬 디스크립션 파일(scene description file)이다. 씬 디스크립션이란, 3D 콘텐츠의 씬(의 설명)을 기술하는 메타데이터이다. 이 씬 디스크립션의 기술에 의해, 어떤 씬인지가 정의된다. 씬 디스크립션 파일은, 그러한 씬 디스크립션을 저장하는 파일이다. 본 개시에 있어서는, 씬 디스크립션 파일을 씬 기술 파일이라고도 칭한다.

JSON 포맷 파일의 기술은, 키(KEY)와 밸류(VALUE)의 페어의 나열에 의해 구성된다. 이하에 그 서식의 예를 나타낸다.

키는 문자열에 의해 구성된다. 밸류는 수치, 문자열, 진위값, 배열, 오브젝트, 또는 null 등에 의해 구성된다.

또한, 복수의 키와 밸류의 페어("KEY":"VALUE")를, {}(중괄호)를 사용해서 통합할 수 있다. 이 중괄호로 통합한 것을 JSON 오브젝트라고도 칭한다. 이하에 그 서식의 예를 나타낸다.

이 예의 경우, 키(user)에 대응하는 밸류로서, "id":1의 페어와 "name":"tanaka"의 페어를 통합한 JSON 오브젝트가 정의되어 있다.

또한, 0개 이상의 밸류를, [](대괄호)를 사용해서 배열화할 수도 있다. 이 배열을 JSON 배열이라고도 칭한다. 이 JSON 배열의 요소로서, 예를 들어 JSON 오브젝트를 적용할 수도 있다. 이하에 그 서식의 예를 나타낸다.

JSON 포맷 파일의 최상위에 기재할 수 있는 glTF 오브젝트(glTF object)와, 그들이 가질 수 있는 참조 관계를 도 2에 도시한다. 도 2에 도시되는 트리 구조의 타원이 오브젝트를 나타내고, 그 오브젝트간의 화살표가 참조 관계를 나타내고 있다. 도 2에 도시되는 바와 같이, "scene", "node", "mesh", "camera", "skin", "material", "texture" 등의 오브젝트가 JSON 포맷 파일의 최상위에 기술된다.

이러한 JSON 포맷 파일(씬 디스크립션)의 기술예를 도 3에 도시한다. 도 3의 JSON 포맷 파일(20)은, 최상위의 일부의 기술예를 나타내고 있다. 이 JSON 포맷 파일(20)에 있어서, 사용되는 톱 레벨 오브젝트(top-level object)(21)는, 모두 최상위에 기술된다. 이 톱 레벨 오브젝트(21)는, 도 2에 도시되는 glTF 오브젝트이다. 또한, JSON 포맷 파일(20)에 있어서는, 화살표(22)로서 나타나는 바와 같이, 오브젝트(object)간의 참조 관계가 나타난다. 보다 구체적으로는, 상위 오브젝트의 프로퍼티(property)에서, 참조할 오브젝트의 배열의 요소의 인덱스(index)를 지정함으로써 그 참조 관계가 나타난다.

도 4는 바이너리 데이터에의 액세스 방법에 대해서 설명하는 도면이다. 도 4에 도시되는 바와 같이, 바이너리 데이터는 버퍼 오브젝트(buffer object)에 저장된다. 즉, 버퍼 오브젝트에 있어서 바이너리 데이터에 액세스하기 위한 정보(예를 들어 URI(Uniform Resource Identifier) 등)가 나타난다. JSON 포맷 파일에 있어서는, 도 4에 도시되는 바와 같이, 예를 들어 메쉬(mesh), 카메라(camera), 스킨(skin) 등의 오브젝트로부터, 그 버퍼 오브젝트에 대하여, 액세서 오브젝트(accessor object)와 버퍼뷰 오브젝트(bufferView object)를 통해 액세스할 수 있다.

즉, 메쉬(mesh), 카메라(camera), 스킨(skin) 등의 오브젝트에 있어서는, 참조할 액세서 오브젝트가 지정된다. JSON 포맷 파일에 있어서의 메쉬 오브젝트(mesh)의 기술예를 도 5에 도시한다. 예를 들어, 도 5와 같이, 메쉬 오브젝트에 있어서는, NORMAL, POSITION, TANGENT, TEXCORD_0 등의 정점의 속성(애트리뷰트(attribute))이 키로서 정의되고, 그 속성마다, 참조할 액세서 오브젝트가 밸류로서 지정되어 있다.

버퍼 오브젝트, 버퍼뷰 오브젝트, 액세서 오브젝트의 관계를 도 6에 도시한다. 또한, JSON 포맷 파일에 있어서의 그들의 오브젝트의 기술예를 도 7에 도시한다.

도 6에 있어서, 버퍼 오브젝트(41)는, 실 데이터인 바이너리 데이터에 액세스하기 위한 정보(URI 등)와, 그 바이너리 데이터의 데이터 길이(예를 들어 바이트 길이)를 나타내는 정보를 저장하는 오브젝트이다. 도 7의 A는, 그 버퍼 오브젝트(41)의 기술예를 나타내고 있다. 도 7의 A에 도시되는 「"bytelength":102040」은, 도 6에 도시되는 바와 같이, 버퍼 오브젝트(41)의 바이트 길이가 102040바이트 (bytes)인 것을 나타내고 있다. 또한, 도 7의 A에 나타나는 「"uri":"duck.bin"」은, 도 6에 도시되는 바와 같이, 버퍼 오브젝트(41)의 URI가 "duck.bin"인 것을 나타내고 있다.

도 6에 있어서, 버퍼뷰 오브젝트(42)는, 버퍼 오브젝트(41)에 있어서 지정된 바이너리 데이터의 서브셋(subset) 영역에 관한 정보(즉 버퍼 오브젝트(41)의 일부의 영역에 관한 정보)를 저장하는 오브젝트이다. 도 7의 B는, 그 버퍼뷰 오브젝트(42)의 기술예를 나타내고 있다. 도 6이나 도 7의 B에 나타나는 바와 같이, 버퍼뷰 오브젝트(42)는, 예를 들어 그 버퍼뷰 오브젝트(42)가 속하는 버퍼 오브젝트(41)의 식별 정보, 그 버퍼 오브젝트(41) 내에 있어서의 그 버퍼뷰 오브젝트(42)의 위치를 나타내는 오프셋(예를 들어 바이트 오프셋), 그 버퍼뷰 오브젝트(42)의 데이터 길이(예를 들어 바이트 길이)를 나타내는 렝스(예를 들어 바이트 렝스) 등의 정보를 저장한다.

도 7의 B에 나타나는 바와 같이, 버퍼뷰 오브젝트가 복수 존재하는 경우, 그 버퍼뷰 오브젝트마다(즉 서브셋 영역마다)에 정보가 기술된다. 예를 들어, 도 7의 B에 있어서 상측에 도시되는, 「"buffer":0」, 「"bytelength":25272」, 「"byteOffset":0」 등의 정보는, 도 6에 있어서 버퍼 오브젝트(41) 내에 도시되는 첫번째의 버퍼뷰 오브젝트(42)(bufferView[0])의 정보이다. 또한, 도 7의 B에 있어서 하측에 도시되는, 「"buffer":0」, 「"bytelength":76768」, 「"byteOffset":25272」 등의 정보는, 도 6에 있어서 버퍼 오브젝트(41) 내에 도시되는 두번째의 버퍼뷰 오브젝트(42)(bufferView[1])의 정보이다.

도 7의 B에 나타나는 첫번째의 버퍼뷰 오브젝트(42)(bufferView[0])의 「"buffer":0」은, 도 6에 도시되는 바와 같이, 그 버퍼뷰 오브젝트(42)(bufferView[0])가 속하는 버퍼 오브젝트(41)의 식별 정보가 「0」(Buffer[0])인 것을 나타내고 있다. 또한, 「"bytelength":25272」는, 그 버퍼뷰 오브젝트(42)(bufferView[0])의 바이트 길이가 25272바이트인 것을 나타내고 있다. 또한, 「"byteOffset":0」은, 그 버퍼뷰 오브젝트(42)(bufferView[0])의 바이트 오프셋이 0바이트인 것을 나타내고 있다.

도 7의 B에 나타나는 두번째의 버퍼뷰 오브젝트(42)(bufferView[1])의 「"buffer":0」은, 도 6에 도시되는 바와 같이, 그 버퍼뷰 오브젝트(42)(bufferView[0])가 속하는 버퍼 오브젝트(41)의 식별 정보가 「0」(Buffer[0])인 것을 나타내고 있다. 또한, 「"bytelength":76768」은, 그 버퍼뷰 오브젝트(42)(bufferView[0])의 바이트 길이가 76768바이트인 것을 나타내고 있다. 또한, 「"byteOffset":25272」는, 그 버퍼뷰 오브젝트(42)(bufferView[0])의 바이트 오프셋이 25272바이트인 것을 나타내고 있다.

도 6에 있어서, 액세서 오브젝트(43)는, 버퍼뷰 오브젝트(42)의 데이터의 해석 방법에 관한 정보를 저장하는 오브젝트이다. 도 7의 C는, 그 액세서 오브젝트(43)의 기술예를 나타내고 있다. 도 6이나 도 7의 C에 도시되는 바와 같이, 액세서 오브젝트(43)는, 예를 들어 그 액세서 오브젝트(43)가 속하는 버퍼뷰 오브젝트(42)의 식별 정보, 그 버퍼뷰 오브젝트(42)의, 버퍼 오브젝트(41) 내에 있어서의 위치를 나타내는 오프셋(예를 들어 바이트 오프셋), 그 버퍼뷰 오브젝트(42)의 컴포넌트 타입, 그 버퍼뷰 오브젝트(42)에 저장되는 데이터수, 그 버퍼뷰 오브젝트(42)에 저장되는 데이터의 타입 등의 정보를 저장한다. 이들 정보는, 버퍼뷰 오브젝트마다 기술된다.

도 7의 C의 예에서는, 「"bufferView":0」, 「"byteOffset":0」, 「"componentType":5126」, 「"count":2106」, 「"type":"VEC3"」 등의 정보가 나타나 있다. 「"bufferView":0」은, 도 6에 도시되는 바와 같이, 그 액세서 오브젝트(43)가 속하는 버퍼뷰 오브젝트(42)의 식별 정보가 「0」(bufferView[0])인 것을 나타내고 있다. 또한, 「"byteOffset":0」은, 그 버퍼뷰 오브젝트(42)(bufferView[0])의 바이트 오프셋이 0바이트인 것을 나타내고 있다. 또한, 「"componentType":5126」은, 컴포넌트 타입이, FLOAT형(OpenGL 매크로 상수)인 것을 나타내고 있다. 또한, 「"count":2106」은, 그 버퍼뷰 오브젝트(42)(bufferView[0])에 저장되는 데이터가 2106개인 것을 나타내고 있다. 또한, 「"type":"VEC3"」은, 그 버퍼뷰 오브젝트(42)(bufferView[0])에 저장되는 데이터 (의 타입)가 3차원 벡터인 것을 나타내고 있다.

이미지(image) 이외의 데이터에의 액세스는, 모두 이 액세서 오브젝트(43)에 대한 참조에 의해(액세서의 인덱스를 지정함으로써) 정의된다.

glTF2.0에서는, 오브젝트를 확장하고, 확장 오브젝트(extension object) 내에 새롭게 정의된 오브젝트를 저장할 수 있다. 도 8은 glTF2.0의 확장 방법에 대해서 설명하는 도면이다. 도 8에 도시되는 기술예는, 씬 오브젝트(scene object)의 확장 오브젝트에 새롭게 정의된 오브젝트(CompareDataExtension)를 저장하는 경우의 기술예를 나타낸다. 도 8에 도시되는 예에 있어서는, 씬 오브젝트("scenes")의 확장 오브젝트(extensions)에, 새로운 오브젝트(CompareDataExtension)가 저장되어 있다. 이와 같이 오브젝트를 확장하는 경우, "extensionUsed"와 "extensionRequired"에 새로운 오브젝트의 명칭이 정의된다. 이에 의해, 그 새로운 오브젝트가, 로드(load)에 필요한 오브젝트인 것이 나타난다.

근년, 예를 들어 비특허문헌 2에 개시된 바와 같이, MPEG(Moving Picture Experts Group)-I Scene Description에 있어서, glTF2.0을 확장하고, 3D 오브젝트 콘텐츠로서 타임드 미디어(Timed media)를 적용하는 것이 검토되고 있다. 타임드 미디어란, 2차원 화상에 있어서의 동화상과 같이, 시간축 방향으로 변화하는 미디어 데이터이다.

glTF는, 미디어 데이터(3D 오브젝트 콘텐츠)로서, 정지 화상 데이터만 적용 가능했다. 즉, glTF는 동화상의 미디어 데이터에는 대응하지 않았다. 3D 오브젝트를 움직이게 하는 경우에는, 애니메이션(시간축을 따라 정지 화상을 전환하는 방법)이 적용되고 있었다.

MPEG-I Scene Description에서는, 그 glTF2.0을 적용하고, 씬 디스크립션으로서 JSON 포맷 파일을 적용하고, 또한 미디어 데이터로서, 타임드 미디어(예를 들어 비디오 데이터)를 취급할 수 있도록 glTF를 확장하는 것이 검토되고 있다. 타임드 미디어를 취급하기 위해서, 예를 들어 이하와 같은 확장이 행해진다.

도 9는 타임드 미디어를 취급하기 위한 확장에 대해서 설명하는 도면이다. 도 9에 도시되는 바와 같이, glTF 오브젝트의 확장 오브젝트(extensions)로서, 비디오 데이터 등의 실 데이터를 관리하는 MPEG 미디어 오브젝트(MPEG_media)가 마련된다. 즉, 그 MPEG 미디어 오브젝트에는, 비디오 데이터 등의 실 데이터에 관한 정보가 저장된다.

또한, 도 9에 도시되는 바와 같이, 텍스처 오브젝트(texture)의 확장 오브젝트(extensions)로서, MPEG 비디오 텍스처 오브젝트(MPEG_video_texture)가 마련된다. 그 MPEG 비디오 텍스처 오브젝트에는, 액세스하는 버퍼 오브젝트에 대응하는 액세서의 정보가 저장된다. 즉, MPEG 미디어 오브젝트(MPEG_media)에서 지정된 텍스처 미디어(texture media)가 복호되어 저장되는 버퍼 오브젝트에 대응하는 액세서의 정보가, MPEG 비디오 텍스처 오브젝트에 저장된다.

도 10은 타임드 미디어를 취급하기 위한 확장에 대해서 설명하기 위한, 씬 디스크립션에 있어서의 MPEG 미디어 오브젝트(MPEG_media) 및 MPEG 비디오 텍스처 오브젝트(MPEG_video_texture)의 기술예를 도시하는 도면이다. 도 10의 예의 경우, 위에서부터 2행째에 있어서 하기와 같이, 텍스처 오브젝트(texture)의 확장 오브젝트(extensions)로서, MPEG 비디오 텍스처 오브젝트(MPEG_video_texture)가 설정되어 있다. 그리고, 그 MPEG 비디오 텍스처 오브젝트의 밸류로서, 액세서의 인덱스(이 예에서는 「2」)가 지정되어 있다.

또한, 도 10의 예의 경우, 위에서부터 7행째 내지 16행째에 있어서 하기와 같이, glTF의 확장 오브젝트(extensions)로서, MPEG 미디어 오브젝트(MPEG_media)가 설정되어 있다. 그리고, 그 MPEG 미디어 오브젝트의 밸류로서, 예를 들어 그 MPEG 미디어 오브젝트의 부호화나 URI 등과 같은, MPEG 미디어 오브젝트에 관한 여러가지 정보가 저장되어 있다.

또한, 도 9에 도시되는 바와 같이, 버퍼 오브젝트(buffer)의 확장 오브젝트(extensions)로서, MPEG 서큘러 버퍼 오브젝트(MPEG_circular_buffer)가 마련된다. 그 MPEG 서큘러 버퍼 오브젝트에는, 버퍼 오브젝트 내에 데이터를 동적으로 저장하기 위한 정보가 저장된다. 예를 들어, 버퍼 헤더(bufferHeader)의 데이터 길이를 나타내는 정보나, 프레임 수를 나타내는 정보 등과 같은 정보가 이 MPEG 서큘러 버퍼 오브젝트에 저장된다. 또한, 버퍼 헤더는, 예를 들어 인덱스(index), 저장되는 프레임 데이터의 타임 스탬프나 데이터 길이 등과 같은 정보를 저장한다.

또한, 도 9에 도시되는 바와 같이, 액세서 오브젝트(accessor)의 확장 오브젝트(extensions)로서, MPEG 타임드 액세서 오브젝트(MPEG_timed_accessor)가 마련된다. 이 경우, 미디어 데이터는 동화상이므로 시간 방향으로 참조하는 버퍼뷰 오브젝트(bufferView)가 변화할 수 있다(위치가 변동할 수 있다). 그래서, 그 참조할 버퍼뷰 오브젝트를 나타내는 정보가, 이 MPEG 타임드 액세서 오브젝트에 저장된다. 예를 들어, MPEG 타임드 액세서 오브젝트에는, 타임드 액세서 인포메이션 헤더(timedAccessor information header)가 기술되는 버퍼뷰 오브젝트(bufferView)에 대한 참조를 나타내는 정보가 저장된다. 또한, 타임드 액세서 인포메이션 헤더는, 예를 들어 동적으로 변화하는 액세서 오브젝트와 버퍼뷰 오브젝트 내의 정보를 저장하는 헤더 정보이다.

도 11은 타임드 미디어를 취급하기 위한 확장에 대해서 설명하기 위한, 씬 디스크립션에 있어서의 MPEG 서큘러 버퍼 오브젝트(MPEG_circular_buffer) 및 MPEG 타임드 액세서 오브젝트(MPEG_timed_accessor)의 기술예를 도시하는 도면이다. 도 11의 예의 경우, 위에서부터 5행째에 있어서 하기와 같이, 액세서 오브젝트(accessors)의 확장 오브젝트(extensions)로서, MPEG 타임드 액세서 오브젝트(MPEG_timed_accessor)가 설정되어 있다. 그리고, 그 MPEG 타임드 액세서 오브젝트의 밸류로서, 버퍼뷰 오브젝트의 인덱스(이 예에서는 「1」), 업데이트 레이트(updataRate), 불변의 정보(immutable) 등의 파라미터와 그 값이 지정되어 있다.

또한, 도 11의 예의 경우, 위에서부터 13행째에 있어서 하기와 같이, 버퍼 오브젝트(buffer)의 확장 오브젝트(extensions)로서, MPEG 서큘러 버퍼 오브젝트(MPEG_circular_buffer)가 설정되어 있다. 그리고, 그 MPEG 서큘러 버퍼 오브젝트의 밸류로서, 버퍼 프레임 카운트(count), 헤더 길이(headerLength), 업데이트 레이트(updataRate) 등의 파라미터와 그 값이 지정되어 있다.

도 12는 타임드 미디어를 취급하기 위한 확장에 대해서 설명하기 위한 도면이다. 도 12에 있어서, MPEG 타임드 액세서 오브젝트나 MPEG 서큘러 버퍼 오브젝트와, 액세서 오브젝트, 버퍼뷰 오브젝트, 및 버퍼 오브젝트의 관계의 예를 나타낸다.

버퍼 오브젝트의 MPEG 서큘러 버퍼 오브젝트에는, 상술한 바와 같이, 버퍼 프레임 카운트(count), 헤더 길이(headerLength), 업데이트 레이트(updataRate) 등과 같은, 버퍼 오브젝트에 의해 나타나는 버퍼 영역에 시간 변화하는 data를 저장하는 데에 필요한 정보가 저장된다. 또한, 그 버퍼 영역의 헤더인 버퍼 헤더(bufferHeader)에는, 인덱스(idex), 타임 스탬프(timestamp), 데이터 길이(length) 등의 파라미터가 저장된다.

액세서 오브젝트의 MPEG 타임드 액세서 오브젝트에는, 상술한 바와 같이, 버퍼뷰 오브젝트의 인덱스(bufferView), 업데이트 레이트(updataRate), 불변의 정보(immutable) 등과 같은, 참조할 버퍼뷰 오브젝트에 관한 정보가 저장된다. 또한, 이 MPEG 타임드 액세서 오브젝트에는, 참조할 타임드 액세서 인포메이션 헤더가 저장되는 버퍼뷰 오브젝트에 관한 정보가 저장된다. 타임드 액세서 인포메이션 헤더에는, 타임 스탬프 델타(timestamp_delta), 액세서 오브젝트의 갱신 데이터, 버퍼뷰 오브젝트의 갱신 데이터 등이 저장될 수 있다.

<카메라 오브젝트>

·glTF2.0에서는, 오브젝트로서, 카메라 오브젝트(Camera object)가 있다. 카메라 오브젝트는, 3차원 공간 내의 일부를 잘라내서 2차원 화상으로 표시하기 위한 오브젝트이며, 화각이나 원근 정보 등을 저장한다. 도 13의 A에 나타나는 바와 같이, 카메라 오브젝트(81)는, 노드 오브젝트(node)에 연결지어진다. 그 때문에, 공간 내의 위치나 방향은, 그 노드 오브젝트의 프로퍼티(property)에 저장되는 정보가 적용된다. 노드 오브젝트의 프로퍼티의 예를 도 13의 B에 나타낸다.

<시간 변화하는 카메라 오브젝트의 시그널>

비특허문헌 4에서는, 카메라 오브젝트를 시간과 함께 위치, 방향, 화각 정보 등을 변화시키는 것이 제안되었다. 이와 같이 함으로써, 콘텐츠의 제작자가 시간 변화하는 3차원 공간의 표시 방법을 지정할 수 있다. 이러한 것을 실현하는 방법으로서, 예를 들어 도 14의 A에 나타나는 바와 같이, 카메라 오브젝트(81)에 extension(82)을 규정하고, 그 중에서 시간과 함께 변화하는 파라미터를 기술하는 방법이 생각되었다.

그 경우의 씬 디스크립션에 있어서의 카메라 오브젝트(81)의 기술예를, 도 14의 B에 나타낸다. 도 14의 B에 나타나는 바와 같이, 그 경우, 카메라 오브젝트(81)의 extension(82)에는, 시간 방향으로 변화하는 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera)가 설정되고, 그 MPEG 타임드 카메라 오브젝트에 있어서, 카메라에 관한 각종 파라미터의 시간 방향의 변화가 표현된다.

이 MPEG 타임드 카메라 오브젝트에 있어서는, 예를 들어 도 15에 나타낸 바와 같은 파라미터(예를 들어, frame_rate, frame_number, camera_position, camera_orientation, aspectRatio, yfov, zfar, znear 등)의 값이 기술된다. frame_rate는, 카메라의 프레임 레이트를 나타내는 파라미터이다. frame_number는, 카메라의 프레임 번호를 나타내는 파라미터이다. camera_position은 카메라의 위치를 나타내는 파라미터이다. camera_orientation은 카메라의 방향을 나타내는 파라미터이다. aspectRatio는 카메라의 애스펙트비를 나타내는 파라미터이다. yfov는 수직 방향의 시야각(라디안)을 나타내는 파라미터이다. zfar는 카메라로부터 먼 쪽의 클리핑 플레인까지의 거리를 나타내는 파라미터이다. znear는 카메라로부터 가까운 쪽의 클리핑 플레인까지의 거리를 나타내는 파라미터이다.

<처리의 번잡화>

시간 방향으로 파라미터의 값이 변화하는 카메라 오브젝트(camera object)의 정보 등과 같은, 시간 방향으로 변화하는 메타데이터(metadata)를 씬 디스크립션에 있어서 취급하는 경우에, 상술한 바와 같이 그 메타데이터를 모두 씬 디스크립션에 기입하는 방법은, 처리의 번잡화를 초래할 우려가 있었다.

예를 들어, 이러한 씬 디스크립션에 기술되는, 시간 방향으로 변환하는 메타 데이터와, 씬 디스크립션의 외부 파일에 저장되고, 시간 방향으로 변화하는 다른 타임드 미디어(timed media)에서는, 동기의 구조가 다르다. 그 때문에, 3D 오브젝트 콘텐츠의 재생 시에는, 그들 사이에서 동기를 취할 필요가 있었다. 즉, 재생 처리가 번잡화되어, 재생 처리의 부하가 증대할 우려가 있었다.

또한, 씬 디스크립션에 기술되는, 시간 방향으로 변화하는 메타데이터(예를 들어, 상술한 MPEG 타임드 카메라 오브젝트)를 편집하는 경우, 일부를 편집하는 경우에도 전체를 읽어들여, 전체의 편집으로서 처리를 행할 필요가 있었다. 즉, 편집 처리가 번잡화되어, 편집 처리의 부하가 증대할 우려가 있었다.

<2. timed metadata 등의 전송>

그래서, 도 16의 표의 최상단에 도시되는 바와 같이, 시간 변화하는 메타데이터를, 씬 디스크립션과는 다른 데이터의 타임드 메타데이터(timed metadata)에 저장하도록 한다. 본 개시에 있어서는, 카메라에 관한 타임드 메타데이터를 타임드 카메라 메타데이터(timed camera metadata)라고도 칭한다.

이와 같이 함으로써, 타임드 메타데이터가 다른 타임드 미디어와 마찬가지의 구성이 되고, 타임드 메타데이터의 동기의 구조도 다른 타임드 미디어와 마찬가지가 된다. 따라서, 타임드 메타데이터의 정보와, 대응하는 다른 타임드 미디어의 정보를 서로 동일한 타이밍에 취득하는 것만으로, 타임드 메타데이터와 다른 타임드 미디어 사이의 동기를 용이하게 취할 수 있다. 따라서, 재생 처리의 번잡화를 억제하여, 재생 처리의 부하의 증대를 억제할 수 있다.

또한, 타임드 메타데이터가 씬 디스크립션의 외부 파일로서 구성되므로, 용이하게, 타임드 메타데이터의 일부만을 편집할 수 있다. 즉, 편집 처리의 번잡화를 억제하여, 편집 처리의 부하의 증대를 억제할 수 있다.

<방법 1>

이러한 씬 기술 파일의 외부 파일로서 구성되는 타임드 메타데이터를 그 씬 기술 파일에 연결짓기 위해, 도 16의 표 위에서부터 2단째에 나타나는 바와 같이, 타임드 메타데이터인(시간 방향으로 변화하는 메타데이터인) 것을 나타내는 식별 정보인 타임드 메타데이터 식별 정보(timed metadata 식별 정보)를 MPEG 미디어 오브젝트(MPEG_media object)에 저장해도 된다(방법 1). 또한, 그 타임드 메타데이터에 액세스하기 위한 정보인 타임드 메타데이터 액세스 정보(timed metadata 액세스 정보)를, 카메라 오브젝트의 extension에 저장해도 된다(방법 1).

예를 들어, 정보 처리 방법에 있어서, 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 타임드 메타데이터 식별 정보(timed metadata 식별 정보)를 MPEG 미디어 오브젝트(MPEG_media extension)에 저장하고, 카메라 오브젝트(camera object)를 그 메타데이터에 연결짓는 타임드 메타데이터 액세스 정보(timede metadata 액세스 정보)를 그 카메라 오브젝트(camera object)에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하도록 한다.

예를 들어, 정보 처리 장치에 있어서, 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 타임드 메타데이터 식별 정보(timed metadata 식별 정보)를 MPEG 미디어 오브젝트(MPEG_media extension)에 저장하고, 카메라 오브젝트(camera object)를 그 메타데이터에 연결짓는 타임드 메타데이터 액세스 정보(timede metadata 액세스 정보)를 그 카메라 오브젝트(camera object)에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는 파일 생성부를 구비하도록 한다.

예를 들어, 정보 처리 방법에 있어서, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)에 저장된 타임드 미디어 식별 정보(timed metadata 식별 정보)와, 씬 기술 파일의 카메라 오브젝트(camera object)에 저장된 타임드 미디어 액세스 정보(timed metadata 액세스 정보)에 기초하여, 시간 방향으로 변화하는 타임드 메타데이터를 취득하고, 그 취득된 타임드 메타데이터(timed metadata)에 기초하여, 3D 오브젝트 콘텐츠의 표시 화상을 생성하도록 한다.

예를 들어, 정보 처리 장치에 있어서, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)에 저장된 타임드 미디어 식별 정보(timed metadata 식별 정보)와, 씬 기술 파일의 카메라 오브젝트(camera object)에 저장된 타임드 미디어 액세스 정보(timed metadata 액세스 정보)에 기초하여, 시간 방향으로 변화하는 타임드 메타데이터를 취득하는 취득부와, 그 취득부에 의해 취득된 타임드 메타데이터(timed metadata)에 기초하여, 3D 오브젝트 콘텐츠의 표시 화상을 생성하는 생성부를 구비하도록 한다.

이와 같이 함으로써, 타임드 메타데이터를 씬 디스크립션에 연결지을 수 있다. 따라서, 3D 오브젝트 콘텐츠를 재생하는 장치는, 그 타임드 메타데이터 식별 정보나 타임드 메타데이터 액세스 정보에 기초하여, 그 타임드 메타데이터에 용이하게 액세스할 수 있다. 따라서, 3D 오브젝트 콘텐츠를 재생하는 장치는, 상술한 바와 같이, 재생 처리나 편집 처리의 번잡화를 억제하여, 그들 처리의 부하의 증대를 억제할 수 있다.

도 17은 시간 변환하는 카메라 오브젝트의 연결지음에 대해서 설명하는 도면이다. 도 17에 도시되는 바와 같이, 씬 기술 파일(101)은, 그 점선 테두리 안에 나타낸 바와 같은 구성을 갖는다. 텍스처 오브젝트는, 도 9 등을 참조하여 상술한 바와 같이, 실천 테두리(102) 안에 나타내는 바와 같이, 액세서 오브젝트, 버퍼뷰 오브젝트, 버퍼 오브젝트를 통해, MPEG 미디어 오브젝트(즉, 씬 기술 파일의 외부의 타임드 텍스처 데이터)에 액세스할 수 있다.

이와 마찬가지로, 카메라 오브젝트(81)는, 실천 테두리(103) 안에 나타내는 바와 같이, 액세서 오브젝트(111), 버퍼뷰 오브젝트(112), 버퍼 오브젝트(113)를 통해, MPEG 미디어 오브젝트(121)(즉, 씬 기술 파일의 외부의 타임드 메타데이터)에 액세스할 수 있다.

그때, 씬 기술 파일과 외부 파일의 연결지음을 위해서 MPEG 미디어 오브젝트(MPEG_media object)에는 외부 파일의 정보가 저장된다. 이 MPEG 미디어 오브젝트(MPEG_media) 내에, 타임드 미디어 식별 정보(timed media 식별 정보)를 저장한다. 이 타임드 미디어 식별 정보는, 외부 파일(또는 그 파일 내의 트랙)의 정보가, 카메라 오브젝트(camera)의 타임드 메타데이터(timed metadata)인 것을 나타내는 식별 정보이다.

예를 들어, 이 타임드 미디어 식별 정보는, 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)의 얼터너티브 배열(alternatives 배열)의 mimeType에 저장되어도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)의 얼터너티브 배열(alternatives 배열)의 mimeType에 저장된 타임드 미디어 식별 정보에 기초하여, 타임드 메타데이터가 취득되도록 해도 된다.

도 18은 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)의 기술예를 도시하는 도면이다. 도 18의 위에서부터 8행째에 나타나는 바와 같이, 얼터너티브 배열의 mimeType에 있어서, codecs로 타임드 메타데이터 트랙(timed metadata track)의 샘플 엔트리(sampleEntry)(예를 들어 'camp')가 설정되어 있다. 또한, 타임드 메타데이터를 나타내는 타입은 임의이고, 상술한 예(camp)로 한정되지 않는다. 카메라 오브젝트의 타임드 메타데이터로서, MPEG-I part10으로 규정되는 레코멘디드 뷰 포인트(recommended view port)(메타데이터를 저장하는 것)가 사용되므로, 그 recommended view port를 나타내는 샘플 엔트리의 type이 저장되고, 그에 의해서 어떻게 데이터를 해석하면 되는지가 나타난다.

또한, 도 17에 도시되는 바와 같이, 카메라 오브젝트(81)를 간접적으로(액세서 오브젝트(accessor)(111)→버퍼뷰 오브젝트(bufferView)(112)→버퍼 오브젝트(buffer)(113)→MPEG 미디어 오브젝트(MPEG_media)(121)와 같은 흐름으로) 타임드 메타데이터(timed metadata)와 연결짓기 위해, 카메라 오브젝트(81)에 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera)(122)를 정의하고, 그 중에서 타임드 메타데이터가 저장되는 버퍼 오브젝트(113)에의 액세서 오브젝트(111)의 인덱스(index)를 참조한다.

즉, 타임드 메타데이터 액세스 정보가, 씬 기술 파일의 카메라 오브젝트의 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera extension)에 저장되어도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 씬 기술 파일의 카메라 오브젝트의 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera extension)에 저장된 타임드 메타데이터 액세스 정보(timed metadata 액세스 정보)에 기초하여, 타임드 메타데이터가 취득되도록 해도 된다.

도 19는 씬 기술 파일의 카메라 오브젝트(cameras)의 기술예를 도시하는 도면이다. 도 19의 위에서부터 11행째 내지 16행째에 나타나는 바와 같이, MPEG 타임드 카메라 오브젝트(122)가 정의되어 있다.

도 19에 도시되는 바와 같이, 이 타임드 메타데이터 액세스 정보에 있어서는, 복수의 파라미터가 설정되고, 그들 파라미터의 각각에 대해서, 참조할 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트가, 액세서의 인덱스를 사용해서 지정되어도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 그러한 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터가 취득되도록 해도 된다.

예를 들어 도 19에 도시되는 바와 같이, 이 타임드 메타데이터 액세스 정보에 있어서는, POSISION 및 ORIENTATION 등의 파라미터가 정의되어도 된다. 이들 파라미터의 시맨틱스를 도 20에 나타낸다. 도 20에 도시되는 바와 같이, POSITION은 카메라의 위치를 나타내는 파라미터이다. 보다 구체적으로는, 카메라 위치의 시간 데이터(각 시각의 카메라의 위치를 나타내는 데이터)가 이용 가능해지는 액세서에 대한 참조가 이 POSITION의 밸류로서 제공된다. ORIENTATION은 카메라의 방향을 나타내는 파라미터이다. 보다 구체적으로는, 카메라의 방향의 시간 데이터(각 시각의 카메라의 방향을 나타내는 데이터)가 이용 가능해지는 액세서에 대한 참조가 이 ORIENTATION의 밸류로서 제공된다.

즉, timed metadata 액세스 정보로서 정의되는 복수의 파라미터에, 이 카메라의 위치를 나타내는 POSITION과, 카메라의 방향을 나타내는 ORIENTATION이 포함되어도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 그러한 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터가 취득되도록 해도 된다.

또한, 이 타임드 메타데이터 액세스 정보에 있어서는, 도 19에 도시되는 바와 같이, 또한 PERSPECTIVE가 정의되어도 된다. 도 20에 도시되는 바와 같이, PERSPECTIVE는 카메라의 화각, 원근 정보를 나타내는 파라미터이다. 보다 구체적으로는, 카메라의 화각, 원근 정보의 시간 데이터(각 시각의 카메라의 화각, 원근 정보를 나타내는 데이터)가 이용 가능해지는 액세서에 대한 참조가 이 PERSPECTIVE의 밸류로서 제공된다.

또한, 타임드 메타데이터 액세스 정보에 있어서 정의되는 파라미터는 임의이고, 상술한 예 이외의 파라미터가 정의되어도 된다.

예를 들어, 도 19에 있어서는, POSITION의 밸류가 「0」으로 설정되어 있다. 이에 의해, 액세서 오브젝트(accessor) 중의 배열의 0번째의 요소가 지정된다. 도 21의 A는, 씬 기술 파일의 액세서 오브젝트의 기술예를 도시하는 도면이다. 도 21의 A의 예의 경우, 액세서 오브젝트는, 요소(141), 요소(142), 및 요소(143)를 포함하는 배열로서 구성된다. 도 19의 예의 경우, POSITION은 도 21의 A의 요소(141)에 연결지어진다. 이 요소(141)는 도 21의 B에 나타나는 버퍼 오브젝트(1151)의 버퍼뷰 오브젝트(152)의 영역(153)에 대한 정보를 저장한다. 즉, POSITION은 이 영역(153)에 연결지어진다.

마찬가지로, 도 19에 있어서는, ORIENTATION의 밸류가 「1」로 설정되어 있다. 이에 의해, 액세서 오브젝트(accessor) 중의 배열의 1번째의 요소가 지정된다. 즉, ORIENTATION은 도 21의 A의 요소(142), 즉, 도 21의 B에 나타나는 버퍼 오브젝트(1151)의 버퍼뷰 오브젝트(152)의 영역(154)에 연결지어진다.

마찬가지로, 도 19에 있어서는, PERSPECTIVE의 밸류가 「2」로 설정되어 있다. 이에 의해, 액세서 오브젝트(accessor) 중의 배열의 2번째의 요소가 지정된다. 즉, PERSPECTIVE는 도 21의 A의 요소(143), 즉, 도 21의 B에 나타나는 버퍼 오브젝트(1151)의 버퍼뷰 오브젝트(152)의 영역(155)에 연결지어진다.

도 22의 A에 나타나는 바와 같이, 타임드 메타데이터로서 배신되는 MP4 데이터는 각 샘플(161)이 시간 방향으로 정렬된다. 이 샘플의 신택스의 예를, 도 22의 B에 나타낸다. 도 22의 B에 나타나는 바와 같이, 각 샘플에 있어서, position, orientation, perspective 등의 파라미터의 값이 설정된다. 즉, 이들 파라미터의 값은, 시간 방향으로 (샘플마다) 변화할 수 있다.

<방법 1-1>

또한, 도 16의 표의 위에서부터 3단째에 나타나는 바와 같이, 단수의 타임드 카메라 메타데이터를 씬 디스크립션에 연결짓도록 해도 된다(방법 1-1). 예를 들어, 도 19의 경우, 카메라 오브젝트에 있어서, 하나의 MPEG 타임드 카메라 오브젝트가 정의되어 있다. 이와 같이 함으로써, 단수의 타임드 카메라 메타데이터를 씬 디스크립션에 연결지을 수 있다.

<방법 1-1-1>

또한, 도 16의 표의 위에서부터 4단째에 나타나는 바와 같이, 상술한 복수의 파라미터의 밸류를 하나의 벡터에 통합해서 지정하도록 해도 된다(방법 1-1-1). 예를 들어, 상술한 POSITION, ORIENTATION, PERSPECTIVE의 3개의 파라미터의 밸류를 통합하여, 11차원 벡터로서 지정해도 된다.

예를 들어, 타임드 메타데이터 액세스 정보가, 복수의 파라미터가 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 하나의 벡터에 의해 지정해도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 그러한 타임드 메타데이터 액세스 정보에 기초하여(즉, 상술한 하나의 벡터를 사용해서), 타임드 메타데이터가 취득되도록 해도 된다.

도 23의 A는, 씬 기술 파일의 카메라 오브젝트와 액세서 오브젝트의 기술예를 도시하는 도면이다. 도 23의 A에 나타나는 예의 경우, POSITION, ORIENTATION, PERSPECTIVE 대신에, SAMPLEDATA가 정의된다. 이 SAMPLEDATA는, 상술한 POSITION, ORIENTATION, PERSPECTIVE의 각각의 값을 통합해서 지정하는 파라미터이다. 도 23의 B에 그 SAMPLEDATA의 시맨틱스를 나타낸다. 예를 들어, POSITION의 밸류가 3차원 벡터로 나타나고, ORIENTATION의 밸류가 4차원 벡터로 나타나고, PERSPECTIVE의 밸류가 4차원 벡터로 나타난다고 하면, SAMPLEDATA의 밸류는, 그들을 합친 11차원 벡터로 나타난다. 즉, SAMPLEDATA의 밸류는, POSITION, ORIENTATION, PERSPECTIVE의 각각의 밸류를 포함하고, 이 SAMPLEDATA의 밸류로부터, POSITION, ORIENTATION, PERSPECTIVE의 각각의 밸류를 도출할 수 있도록 이루어져 있다. 또한, 11차원 벡터는 타입으로서 규정되어 있지 않으므로, 도 23의 A에 나타나는 바와 같이 액세서 오브젝트에 있어서 규정해도 된다.

<방법 1-1-2>

또한, 도 16의 표의 위에서부터 5단째에 나타나는 바와 같이, 상술한 복수의 파라미터의 밸류를 배열로서 통합해서 지정하도록 해도 된다(방법 1-1-2). 예를 들어, 상술한 POSITION, ORIENTATION, PERSPECTIVE의 3개의 파라미터의 밸류를 요소로 하는 배열을 사용해서 지정해도 된다.

예를 들어, 타임드 메타데이터 액세스 정보가, 복수의 파라미터가 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 각 파라미터에 대응하는 액세서 인덱스(accessor index)를 요소로 하는 배열에 의해 지정해도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 그러한 타임드 메타데이터 액세스 정보에 기초하여(즉, 상술한 배열을 사용해서), 타임드 메타데이터가 취득되도록 해도 된다.

도 24의 A는, 씬 기술 파일의 카메라 오브젝트와 액세서 오브젝트의 기술예를 도시하는 도면이다. 도 24의 A에 나타나는 예의 경우, POSITION, ORIENTATION, PERSPECTIVE 대신에, SAMPLEDATA가 정의된다. 이 SAMPLEDATA는, 상술한 POSITION, ORIENTATION, PERSPECTIVE의 각각의 밸류를 요소로 하는 배열을 밸류로 하는 파라미터이다. 도 24의 B에 그 SAMPLEDATA의 시맨틱스를 나타낸다. 즉, POSITION, ORIENTATION, PERSPECTIVE의 각각의 밸류는, 이 SAMPLEDATA 배열의 요소로서 제공된다. 즉, 이 경우도 SAMPLEDATA의 밸류는, POSITION, ORIENTATION, PERSPECTIVE의 각각의 밸류를 포함하고, 이 SAMPLEDATA의 밸류로부터, POSITION, ORIENTATION, PERSPECTIVE의 각각의 밸류를 도출할 수 있도록 이루어져 있다. 또한, 벡터의 배열은 타입으로서 규정되어 있지 않으므로, 도 24의 A에 나타나는 바와 같이 액세서 오브젝트에 있어서 규정해도 된다.

<방법 1-2>

또한, 도 16의 표의 위에서부터 6단째에 나타나는 바와 같이, 복수의 타임드 카메라 메타데이터를 씬 디스크립션에 연결짓도록 해도 된다(방법 1-2). 예를 들어, 도 25에 도시되는 바와 같이, 3차원 공간(200)에 복수의 카메라(카메라(201) 및 카메라(204))를 설정하고, 각 카메라의 타임드 카메라 메타데이터를 씬 디스크립션에 연결짓도록 해도 된다. 도 25의 예의 경우, 카메라(201)는 점선 화살표(202)와 같이 이동하면서, 3D 오브젝트(203)를 촬영한다. 카메라(204)는 점선 화살표(205)와 같이 이동하면서, 3D 오브젝트(206)를 촬영한다.

이러한 경우에, 타임드 메타데이터를 씬 디스크립션에 기술하는 방법을 적용하면, 유저가 선택하지 않는 카메라의 타임드 메타데이터도 씬 디스크립션과 함께 전송(취득)된다.

이와 같이 복수의 카메라의 타임드 카메라 메타데이터를 씬 디스크립션에 연결지음으로써, 표시 화상을 생성할 때에, 그 표시 화상의 시점을, 복수의 후보 중에서 선택할 수 있다. 즉, 필요한 데이터(유저에 의해 선택된 카메라의 타임드 메타데이터)만을 전송(취득)할 수 있다.

또한, 카메라(타임드 카메라 메타데이터)의 선택 방법은 임의이다. 예를 들어, 유저 등에게 선택시켜도 되고, 재생 처리를 행하는 디바이스의 하드웨어 성능에 기초하여 선택되어도 된다.

<방법 1-2-1>

이와 같이, 복수의 카메라의 타임드 카메라 메타데이터를 씬 디스크립션에 연결짓는 경우에, 예를 들어 도 16의 표의 위에서부터 7단째에 나타나는 바와 같이, 타임드 메타데이터 액세스 정보로 복수의 MPEG 미디어 오브젝트를 지정할 수 있도록 해도 된다.

예를 들어, 타임드 메타데이터 액세스 정보가, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를 복수 지정할 수 있도록 해도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 그러한 타임드 메타데이터 액세스 정보에 기초하여(즉, 지정된 복수의 액세서 오브젝트 중 어느 것을 사용해서), 타임드 메타데이터가 취득되도록 해도 된다.

도 26의 A는, 그 경우의 카메라 오브젝트(MPEG 타임드 카메라 오브젝트)의 기술예를 도시하는 도면이다. 도 26의 B는, 그 경우의 MPEG 미디어 오브젝트의 기술예를 도시하는 도면이다. 도 26의 B에 나타나는 바와 같이, MPEG 미디어 오브젝트에 있어서는, MPEG 미디어 오브젝트(221)와 MPEG 미디어 오브젝트(222)가 설정되어 있다. MPEG 미디어 오브젝트(221)와 MPEG 미디어 오브젝트(222)는, 서로 다른 타임드 카메라 메타데이터를 지정한다. 즉, 이 경우, 복수의 MPEG 미디어 오브젝트가 준비되어 있다.

이에 반해, 도 26의 A에 나타나는 바와 같이, 카메라 오브젝트의 extension에는, MPEG 타임드 카메라 오브젝트가 2개 설정되어 있다. 첫번째의 MPEG 타임드 카메라 오브젝트는 MPEG 미디어 오브젝트(221)를 지정하고, 두번째의 MPEG 타임드 카메라 오브젝트는 MPEG 미디어 오브젝트(222)를 지정하고 있다. 즉, 카메라 오브젝트에는, 복수의 MPEG 미디어 오브젝트가 (간접적으로)연결지어져 있다.

즉, MPEG 타임드 카메라 오브젝트를 배열로서 취급할 수 있도록 규정하여, MPEG 미디어 오브젝트를 복수 지정할 수 있도록 한다. 이에 의해, 각각의 미디어가 버퍼에 할당되고, 각각에의 액세서가, MPEG 타임드 카메라 오브젝트(MPEG_timed_camera object)로부터 참조된다. 각 미디어 오브젝트로서는, 서로 다른 타임드 메타데이터 파일을 지정하는 것 외에, 동일한 타임드 메타데이터 파일의 다른 트랙(track)을 지정해도 된다.

이와 같이 함으로써, 복수의 카메라의 타임드 카메라 메타데이터를 씬 디스크립션에 연결지을 수 있다.

<방법 1-2-2>

또한, 복수의 카메라의 타임드 카메라 메타데이터를 씬 디스크립션에 연결짓는 경우에, 예를 들어 도 16의 표의 최하단에 도시되는 바와 같이, MPEG 미디어 오브젝트가 복수의 카메라 메타데이터를 저장할 수 있도록 해도 된다.

예를 들어, MPEG 미디어 오브젝트(MPEG_media extension)가, 복수의, 시간 방향으로 변화하는 타임드 메타데이터에 관한 정보를, 얼터너티브 배열의 서로 다른 요소로서 저장해도 된다. 그리고, 3D 오브젝트 콘텐츠를 재생할 때는, 그러한 타임드 메타데이터 액세스 정보에 기초하여 타임드 메타데이터가 취득되도록 해도 된다.

도 27의 A는, 그 경우의 카메라 오브젝트(MPEG 타임드 카메라 오브젝트)의 기술예를 도시하는 도면이다. 도 27의 B는, 그 경우의 MPEG 미디어 오브젝트의 기술예를 도시하는 도면이다. 도 27의 B에 나타나는 바와 같이, MPEG 미디어 오브젝트에 있어서는, 얼터너티브 배열을 사용하여, 타임드 카메라 메타데이터(231)와 타임드 카메라 메타데이터(232)가 설정되어 있다.

이에 반해, 도 27의 A에 나타나는 바와 같이, 카메라 오브젝트의 extension에는, MPEG 타임드 카메라 오브젝트가 하나 설정되어 있다.

즉, MPEG 타임드 카메라 오브젝트(MPEG_timed_camera object)는, 하나만 저장되도록 한다. 또한, MPEG 미디어 오브젝트(MPEG_media)의 미디어 오브젝트(media object)는 하나이며, 그 중의 얼터너티브 오브젝트(alternatives object)를 복수 지정하도록 해도 된다. 얼터너티브 배열(alternatives)의 내용을 식별하기 위해서 얼터너티브 오브젝트에 네임 프로퍼티(name property)를 추가하여, 식별용 라벨(label)로 해도 된다. 이 얼터너티브 배열에는, 서로 다른 타임드 메타데이터 파일을 지정하는 것 외에, 동일한 타임드 메타데이터 파일의 다른 트랙을 지정해도 된다.

<3. 제1 실시 형태>

<파일 생성 장치>

이상에 설명한 본 기술의 각 방법은, 임의의 장치에 있어서 적용할 수 있다. 도 28은 본 기술을 적용한 정보 처리 장치의 일 양태인 파일 생성 장치의 구성의 일례를 도시하는 블록도이다. 도 28에 도시되는 파일 생성 장치(300)는, 3D 오브젝트 콘텐츠의 배신용의 정보를 생성하는 장치이다. 예를 들어, 파일 생성 장치(300)는, 배신하는 3D 오브젝트 콘텐츠 파일을 생성하거나, 그 3D 오브젝트 콘텐츠의 씬 기술 파일(씬 디스크립션)을 생성한다.

또한, 도 28에 있어서는, 처리부나 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 28에 도시되는 것이 전부라고는 할 수 없다. 즉, 파일 생성 장치(300)에 있어서, 도 28에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 28에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재해도 된다.

도 28에 도시되는 바와 같이 파일 생성 장치(300)는, 제어부(301) 및 파일 생성 처리부(302)를 갖는다. 제어부(301)는 파일 생성 처리부(302)를 제어한다. 파일 생성 처리부(302)는 제어부(301)에 의해 제어되고, 파일의 생성에 관한 처리를 행한다. 예를 들어, 파일 생성 처리부(302)는 배신하는 3D 오브젝트 콘텐츠 파일을 생성한다. 또한, 파일 생성 처리부(302)는 그 3D 오브젝트 콘텐츠 파일에 대응하는 씬 기술 파일을 생성한다. 파일 생성 처리부(302)는 생성한 파일을 파일 생성 장치(300)의 외부에 출력한다.

파일 생성 처리부(302)는 입력부(311), 전처리부(312), 부호화부(313), 파일 생성부(314), 기록부(315), 및 출력부(316)를 갖는다.

입력부(311)는, 3D 오브젝트 콘텐츠를 취득하고, 그것을 전처리부(312)에 공급한다. 전처리부(312)는, 그 3D 오브젝트 콘텐츠로부터 파일 생성에 필요한 정보를 추출한다. 전처리부(312)는, 추출한 정보를 파일 생성부(314)에 공급한다. 또한, 전처리부(312)는, 3D 오브젝트 콘텐츠를 부호화부(313)에 공급한다.

부호화부(313)는 전처리부(312)로부터 공급되는 3D 오브젝트 콘텐츠를 부호화하고, 부호화 데이터(비트 스트림)를 생성한다. 부호화부(313)는 생성한 3D 오브젝트 콘텐츠의 부호화 데이터를 파일 생성부(314)에 공급한다.

파일 생성부(314)는 부호화부(313)로부터 공급된 3D 오브젝트 콘텐츠의 부호화 데이터를 취득한다. 또한, 파일 생성부(314)는 전처리부(312)로부터 공급된 정보를 취득한다.

파일 생성부(314)는 취득한 3D 오브젝트 콘텐츠의 부호화 데이터를 저장하는 3D 오브젝트 콘텐츠 파일을 생성한다. 파일 생성부(314)는 전처리부(312)로부터 공급된 정보를 적절히 이용하여, 파일을 생성한다. 예를 들어, 파일 생성부(314)는 전처리부(312)로부터 공급된 정보를, 3D 오브젝트 콘텐츠 파일에 저장한다.

또한, 파일 생성부(314)는 생성한 3D 오브젝트 콘텐츠 파일에 대응하는 씬 기술 파일을 생성한다. 그때, 파일 생성부(314)는 <2. timed metadata 등의 전송>에 있어서 상술한 본 기술을 적용해서 씬 기술 파일을 생성한다. 파일 생성부(314)는 <2. timed metadata 등의 전송>에 있어서 상술한 본 기술의 방법 중, 임의의 하나 이상의 방법을 적용할 수 있다.

예를 들어, 파일 생성부(314)는, 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 타임드 메타데이터 식별 정보를 MPEG 미디어 오브젝트(MPEG_media extension)에 저장하고, 카메라 오브젝트를 그 메타데이터에 연결짓는 타임드 메타데이터 액세스 정보를 카메라 오브젝트에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성한다.

그때, 파일 생성부(314)는, 타임드 메타데이터 식별 정보를, 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)의 얼터너티브 배열의 mimeType에 저장해도 된다.

또한, 파일 생성부(314)는, 타임드 메타데이터 액세스 정보를, 씬 기술 파일의 카메라 오브젝트의 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera extension)에 저장해도 된다.

또한, 파일 생성부(314)는, 타임드 메타데이터 액세스 정보에 있어서, 복수의 파라미터의 각각에 대해서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 액세서 인덱스(accessor index)를 사용해서 지정해도 된다.

또한, 파일 생성부(314)는, 복수의 파라미터로서, 카메라 오브젝트의 위치를 나타내는 POSITION과, 카메라 오브젝트의 방향을 나타내는 ORIENTATION과, 카메라 오브젝트의 화각, 원근 정보를 나타내는 PERSPECTIVE의 각각에 대해서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 액세서 인덱스(accessor index)를 사용해서 지정해도 된다.

또한, 파일 생성부(314)는, 타임드 메타데이터 액세스 정보에 있어서, 복수의 파라미터가 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 하나의 벡터에 의해 지정해도 된다.

또한, 파일 생성부(314)는, 타임드 메타데이터 액세스 정보에 있어서, 복수의 파라미터가 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 각 파라미터에 대응하는 액세서 인덱스를 요소로 하는 배열에 의해 지정해도 된다.

또한, 파일 생성부(314)는, 타임드 메타데이터 액세스 정보에 있어서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를 복수 지정해도 된다.

또한, 파일 생성부(314)는, MPEG 미디어 오브젝트(MPEG_media extension)에 있어서, 복수의, 시간 방향으로 변화하는 타임드 메타데이터에 관한 정보를, 얼터너티브 배열의 서로 다른 요소로서 저장해도 된다.

파일 생성부(314)는, 생성한 파일을 기록부(315)에 공급한다. 기록부(315)는, 예를 들어 하드 디스크나 반도체 메모리 등, 임의의 기록 매체를 갖고, 파일 생성부(314)로부터 공급되는 파일을 그 기록 매체에 기록한다. 또한, 기록부(315)는, 제어부(301) 혹은 출력부(316)의 요구에 따라서, 또는 소정의 타이밍에 있어서, 기록 매체에 기록되어 있는 파일을 읽어내고, 출력부(316)에 공급한다.

출력부(316)는, 기록부(315)로부터 공급되는 파일을 취득하고, 그 파일을 파일 생성 장치(300)의 외부(예를 들어 배신 서버나 재생 장치 등)에 출력한다.

이와 같은 구성을 가짐으로써, 파일 생성 장치(300)는, 타임드 메타데이터를 씬 디스크립션에 연결지을 수 있다. 따라서, 3D 오브젝트 콘텐츠를 재생하는 장치는, 그 타임드 메타데이터 식별 정보나 타임드 메타데이터 액세스 정보에 기초하여, 그 타임드 메타데이터에 용이하게 액세스할 수 있다. 따라서, 3D 오브젝트 콘텐츠를 재생하는 장치는, 상술한 바와 같이, 재생 처리나 편집 처리의 번잡화를 억제하여, 그들 처리의 부하의 증대를 억제할 수 있다.

<파일 생성 처리의 흐름>

도 28의 파일 생성 장치(300)에 의해 실행되는 파일 생성 처리의 흐름의 예를, 도 29의 흐름도를 참조하여 설명한다.

파일 생성 처리가 개시되면, 파일 생성 장치(300)의 입력부(311)는, 스텝 S301에 있어서, 3D 오브젝트의 데이터인 3D 오브젝트 콘텐츠를 취득한다.

스텝 S302에 있어서, 전처리부(312)는, 스텝 S301에 있어서 취득된 3D 오브젝트 콘텐츠로부터, 파일에 저장할 정보를 추출한다.

스텝 S303에 있어서, 전처리부(312)는, 3D 오브젝트 콘텐츠에 기초하여, 타임드 카메라 메타데이터를 생성한다.

스텝 S304에 있어서, 전처리부(312)는, 3D 오브젝트 콘텐츠에 기초하여, 타임드 메타데이터 식별 정보와, 타임드 메타데이터 액세스 정보를 생성한다.

스텝 S305에 있어서, 부호화부(313)는, 3D 오브젝트 콘텐츠와 타임드 카메라 메타데이터를 부호화한다.

스텝 S306에 있어서, 파일 생성부(314)는, 타임드 메타데이터 식별 정보와, 타임드 메타데이터 액세스 정보를 포함하는 씬 기술 파일을 생성한다. 또한, 파일 생성부(314)는, 3D 오브젝트 콘텐츠의 부호화 데이터를 저장하는 파일을 생성한다. 또한, 파일 생성부(314)는, 타임드 카메라 메타데이터의 부호화 데이터를 저장하는 파일을 생성한다. 그때, 파일 생성부(314)는, <2. timed metadata 등의 전송>에 있어서 상술한 본 기술을 적용해서 씬 기술 파일을 생성한다. 파일 생성부(314)는, <2. timed metadata 등의 전송>에 있어서 상술한 본 기술의 방법 중, 임의의 하나 이상의 방법을 적용할 수 있다.

스텝 S307에 있어서, 기록부(315)는, 스텝 S306에 있어서 생성된 파일을 기록 매체에 기록한다.

스텝 S308에 있어서, 출력부(316)는, 스텝 S307에 있어서 기록된 파일을 기록 매체로부터 읽어내고, 소정의 타이밍에 있어서, 그 읽어낸 파일을 파일 생성 장치(300)의 외부에 출력한다.

스텝 S308의 처리가 종료되면, 파일 생성 처리가 종료된다.

이상과 같이, 각 처리를 실행함으로써, 파일 생성 장치(300)는, 타임드 메타데이터를 씬 디스크립션에 연결지을 수 있다. 따라서, 3D 오브젝트 콘텐츠를 재생하는 장치는, 그 타임드 메타데이터 식별 정보나 타임드 메타데이터 액세스 정보에 기초하여, 그 타임드 메타데이터에 용이하게 액세스할 수 있다. 따라서, 3D 오브젝트 콘텐츠를 재생하는 장치는, 상술한 바와 같이, 재생 처리나 편집 처리의 번잡화를 억제하여, 그들 처리의 부하의 증대를 억제할 수 있다.

<4. 제2 실시 형태>

<클라이언트 장치>

도 30은 본 기술을 적용한 정보 처리 장치의 일 양태인 클라이언트 장치의 구성의 일례를 도시하는 블록도이다. 도 30에 도시되는 클라이언트 장치(400)는, 씬 기술 파일(씬 디스크립션)에 기초하여, 3D 오브젝트 콘텐츠의 재생 처리를 행하는 재생 장치이다. 예를 들어, 클라이언트 장치(400)는, 파일 생성 장치(300)에 의해 생성된, 3D 오브젝트 콘텐츠 파일에 저장되는 3D 오브젝트 콘텐츠를 재생한다. 예를 들어, 클라이언트 장치(400)는, 씬 기술 파일에 기초하여, 그 3D 오브젝트 콘텐츠 파일에 저장되는 3D 오브젝트 콘텐츠의 부호화 데이터를 복호하고, 생성된 3D 오브젝트 콘텐츠의 렌더링을 행하고, 표시 화상을 생성해서 표시한다.

또한, 도 30에 있어서는, 처리부나 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 30에 도시되는 것이 전부라고는 할 수 없다. 즉, 클라이언트 장치(400)에 있어서, 도 30에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 30에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재해도 된다.

도 30에 도시되는 바와 같이 클라이언트 장치(400)는, 제어부(401) 및 재생 처리부(402)를 갖는다. 제어부(401)는 재생 처리부(402)의 제어에 관한 처리를 행한다. 재생 처리부(402)는, 3D 오브젝트 콘텐츠 파일에 저장되는 3D 오브젝트 콘텐츠의 재생에 관한 처리를 행한다. 예를 들어, 재생 처리부(402)는, 제어부(401)에 의해 제어되어, 배신 서버(도시하지 않음) 등으로부터 씬 기술 파일을 취득한다. 재생 처리부(402)는, 그 씬 기술 파일에 기초하여, 재생하는 3D 오브젝트 콘텐츠를 저장하는 3D 오브젝트 콘텐츠 파일을 취득한다. 그리고, 재생 처리부(402)는, 취득한 3D 오브젝트 콘텐츠 파일에 저장되는 3D 오브젝트 콘텐츠의 재생 처리를 행한다.

재생 처리부(402)는 파일 취득부(411), 파일 처리부(412), 복호부(413), 표시 정보 생성부(414), 표시부(415), 및 표시 제어부(416)를 갖는다.

파일 취득부(411)는, 예를 들어 배신 서버나 파일 생성 장치(300) 등, 클라이언트 장치(400)의 외부로부터 공급되는 씬 기술 파일을 취득한다. 파일 취득부(411)는 취득한 씬 기술 파일을 파일 처리부(412)에 공급한다.

또한, 파일 취득부(411)는, 그 씬 기술 파일을 사용한 파일 처리부(412)의 제어에 따라서, 재생하는 3D 오브젝트 콘텐츠를 저장하는 3D 오브젝트 콘텐츠 파일등을 취득한다. 파일 취득부(411)는 취득한 3D 오브젝트 콘텐츠 파일을 파일 처리부(412)에 공급한다.

파일 처리부(412)는, 파일 취득부(411)로부터 공급되는 씬 기술 파일을 취득한다. 파일 처리부(412)는, 취득한 씬 기술 파일에 기초하여, 재생하는 3D 오브젝트 콘텐츠를 선택한다. 그리고, 파일 처리부(412)는, 파일 취득부(411)를 제어하고, 그 선택한 3D 오브젝트 콘텐츠를 저장하는 3D 오브젝트 콘텐츠 파일을 취득한다.

이러한 처리에 있어서, 파일 처리부(412)는, <2. timed metadata 등의 전송>에 있어서 상술한 본 기술을 적용한다. 파일 처리부(412)는, <2. timed metadata 등의 전송>에 있어서 상술한 본 기술의 방법 중, 임의의 하나 이상의 방법을 적용할 수 있다.

예를 들어, 파일 처리부(412)는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)에 저장된 타임드 메타데이터 식별 정보와, 그 씬 기술 파일의 카메라 오브젝트에 저장된 타임드 메타데이터 액세스 정보에 기초하여, 시간 방향으로 변화하는 타임드 메타데이터를 취득하고, 그 취득된 타임드 메타데이터에 기초하여, 3D 오브젝트 콘텐츠의 표시 화상을 생성한다.

그때, 파일 처리부(412)는, 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)의 얼터너티브 배열의 mimeType에 저장되는 타임드 메타데이터 식별 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 씬 기술 파일의 카메라 오브젝트의 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera extension)에 저장되는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 복수의 파라미터의 각각에 대해서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 액세서 인덱스(accessor index)를 사용해서 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 복수의 파라미터로서, 카메라 오브젝트의 위치를 나타내는 POSITION과, 카메라 오브젝트의 방향을 나타내는 ORIENTATION과, 카메라 오브젝트의 화각, 원근 정보를 나타내는 PERSPECTIVE의 각각에 대해서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 액세서 인덱스(accessor index)를 사용해서 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 복수의 파라미터가 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 하나의 벡터에 의해 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 복수의 파라미터가 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 각 파라미터에 대응하는 액세서 인덱스를 요소로 하는 배열에 의해 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를 복수 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 복수의, 시간 방향으로 변화하는 타임드 메타데이터에 관한 정보를, 얼터너티브 배열의 서로 다른 요소로서 저장하는 MPEG 미디어 오브젝트(MPEG_media extension)를 사용하여, 타임드 메타데이터를 취득해도 된다.

파일 처리부(412)는, 이상과 같이 해서 취득한 3D 오브젝트 콘텐츠 파일을 복호부(413)나 표시 제어부(416)에 공급한다.

복호부(413)는, 파일 처리부(412)로부터 공급된 3D 오브젝트 콘텐츠 파일에 저장되는 3D 오브젝트 콘텐츠의 부호화 데이터를 복호한다. 즉, 복호부(413)는, 파일 처리부(412)에 의해 선택된 3D 오브젝트 콘텐츠의 부호화 데이터를 복호한다. 복호부(413)는, 그 복호에 의해 얻어진 3D 오브젝트 콘텐츠를 표시 정보 생성부(414)에 공급한다.

표시 정보 생성부(414)는, 복호부(413)로부터 공급되는 3D 오브젝트 콘텐츠를 취득한다. 또한, 표시 정보 생성부(414)는, 표시 제어부(416)로부터 공급되는 제어 정보를 취득한다. 그리고, 표시 정보 생성부(414)는, 그 제어 정보에 따라 취득한 3D 오브젝트 콘텐츠로부터, 그 표시 화상 등을 생성한다. 표시 정보 생성부(414)는, 생성한 표시 화상 등을 표시부(415)에 공급한다.

표시부(415)는, 표시 디바이스를 갖고, 표시 정보 생성부(414)로부터 공급된 표시 화상을 그 표시 디바이스를 사용해서 표시한다.

표시 제어부(416)는, 파일 처리부(412)로부터 공급되는 정보를 취득한다. 표시 제어부(416)는 그 정보에 기초하여 표시 정보 생성부(414)를 제어한다. 표시 제어부(416)는, 표시 정보 생성부(414)에 대하여 제어 정보를 공급함으로써, 표시 화상의 표시를 제어한다.

이와 같은 구성을 가짐으로써, 클라이언트 장치(400)는, 타임드 메타데이터 식별 정보나 타임드 메타데이터 액세스 정보에 기초하여, 그 타임드 메타데이터에 용이하게 액세스할 수 있다. 따라서, 클라이언트 장치(400)는, 상술한 바와 같이, 재생 처리나 편집 처리의 번잡화를 억제하여, 그들 처리의 부하의 증대를 억제할 수 있다.

<클라이언트 처리의 흐름 1>

도 30의 클라이언트 장치(400)에 의해 실행되는 클라이언트 처리의 흐름의 예를, 도 31의 흐름도를 참조하여 설명한다. 도 31에 도시되는 흐름도는, 방법 1-1(방법 1-1-1 및 방법 1-1-2를 포함한다)의 경우의 클라이언트 처리의 흐름의 예를 나타낸다.

클라이언트 처리가 개시되면, 클라이언트 장치(400)의 파일 취득부(411)는, 스텝 S401에 있어서, 씬 기술 파일을 취득한다.

스텝 S402에 있어서, 파일 처리부(412)는, 스텝 S401에 있어서 취득한 씬 기술 파일을 해석하고, 타임드 메타데이터 식별 정보 및 타임드 메타데이터 액세스 정보에 기초하여, MPEG 타임드 카메라에 연결짓는 타임드 카메라 메타데이터를 취득하고, 그 데이터를 버퍼에 개념적으로 저장한다.

또한, 파일 처리부(412)는 씬 기술 파일의 카메라 오브젝트의 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera extension)에 저장되는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는 복수의 파라미터의 각각에 대해서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 액세서 인덱스(accessor index)를 사용해서 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

또한, 파일 처리부(412)는, 복수의, 시간 방향으로 변화하는 타임드 메타데이터에 관한 정보를 얼터너티브 배열의 서로 다른 요소로서 저장하는 MPEG 미디어 오브젝트(MPEG_media extension)를 사용하여, 타임드 메타데이터를 취득해도 된다.

스텝 S403에 있어서, 파일 취득부(411)는 다른 미디어를 취득한다.

스텝 S404에 있어서, 파일 처리부(412)는, MPEG 타임드 카메라 내의 액세서에서 버퍼에 개념적으로 저장된 데이터를 다른 미디어와 동기를 취해서 읽어낸다. 복호부(413)는, 읽어낸 3D 오브젝트 콘텐츠 등의 부호화 데이터를 복호한다.

스텝 S405에 있어서, 표시 정보 생성부(414)는, 다른 미디어를 씬 내에 배치하고, 타임드 카메라의 정보에 기초하여 표시 화상을 생성한다.

스텝 S406에 있어서, 표시부(415)는, 표시 화상을 표시한다.

스텝 S406의 처리가 종료되면, 클라이언트 처리가 종료된다.

이상과 같이, 각 처리를 실행함으로써, 클라이언트 장치(400)는, 타임드 메타데이터 식별 정보나 타임드 메타데이터 액세스 정보에 기초하여, 그 타임드 메타데이터에 용이하게 액세스할 수 있다. 따라서, 클라이언트 장치(400)는 상술한 바와 같이, 재생 처리나 편집 처리의 번잡화를 억제하여, 그들 처리의 부하의 증대를 억제할 수 있다.

<클라이언트 처리의 흐름 2>

도 30의 클라이언트 장치(400)에 의해 실행되는 클라이언트 처리의 흐름의 예를, 도 32의 흐름도를 참조하여 설명한다. 도 32에 도시되는 흐름도는, 방법 1-2-1의 경우의 클라이언트 처리의 흐름의 예를 나타낸다.

클라이언트 처리가 개시되면, 클라이언트 장치(400)의 파일 취득부(411)는, 스텝 S441에 있어서, 씬 기술 파일을 취득한다.

스텝 S442에 있어서, 파일 처리부(412)는, 스텝 S441에 있어서 취득한 씬 기술 파일의 타임드 메타데이터 식별 정보 및 타임드 메타데이터 액세스 정보를 해석한다.

그리고, 파일 처리부(412)는, 그 타임드 메타데이터 식별 정보 및 타임드 메타데이터 액세스 정보에 기초하여 타임드 메타데이터를 취득한다. 또한, 타임드 메타데이터 식별 정보는, 씬 기술 파일의 MPEG 미디어 오브젝트(MPEG_media extension)의 얼터너티브 배열의 mimeType에 저장되어 있어도 된다. 또한, 타임드 메타데이터 액세스 정보는, 씬 기술 파일의 카메라 오브젝트의 MPEG 타임드 카메라 오브젝트(MPEG_timed_camera extension)에 저장되어 있어도 된다.

이 경우, 파일 처리부(412)는, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를 복수 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득할 수 있다. 즉, 이하와 같이 처리가 실행된다.

스텝 S443에 있어서, 파일 처리부(412)는, 스텝 S442의 해석 결과에 기초하여, MPEG 타임드 카메라 오브젝트가 복수 있는지 여부를 판정한다. 즉, 파일 처리부(412)는, 타임드 메타데이터 액세스 정보가 복수의 액세서 오브젝트를 지정하고 있는지 여부를 판정한다. 도 26의 A의 예와 같이 MPEG 타임드 카메라 오브젝트가 복수 존재(즉, 타임드 메타데이터 액세스 정보가 복수의 액세서 오브젝트를 지정)한다고 판정된 경우, 처리는 스텝 S444로 진행된다.

스텝 S444에 있어서, 파일 처리부(412)는, 유저에게 MPEG 타임드 카메라의 name을 제시해서 선택시킨다. 스텝 S444의 처리가 종료되면, 처리는 스텝 S445로 진행된다. 또한, 스텝 S443에 있어서, MPEG 타임드 카메라가 단수라고 판정된 경우, 처리는 스텝 S445로 진행된다.

스텝 S445에 있어서, 파일 취득부(411)는, 스텝 S444에 있어서 유저가 선택한 MPEG 타임드 카메라에 연결짓는 타임드 메타데이터, 또는 단수의 MPEG 타임드 카메라에 연결짓는 타임드 메타데이터를 취득하고, 그 데이터를 버퍼에 개념적으로 저장한다.

그때, 파일 처리부(412)는, 복수의 파라미터의 각각에 대해서, 참조하는 버퍼 오브젝트의 영역에 대응하는 액세서 오브젝트를, 액세서 인덱스(accessor index)를 사용해서 지정하는 타임드 메타데이터 액세스 정보에 기초하여, 타임드 메타데이터를 취득해도 된다.

스텝 S446 내지 스텝 S449의 각 처리는, 도 31의 스텝 S403 내지 스텝 S406의 각 처리와 마찬가지로 실행된다. 스텝 S449의 처리가 종료되면, 클라이언트 처리가 종료된다.

이상과 같이, 각 처리를 실행함으로써, 클라이언트 장치(400)는, 타임드 메타데이터 식별 정보나 타임드 메타데이터 액세스 정보에 기초하여, 그 타임드 메타데이터에 용이하게 액세스할 수 있다. 따라서, 클라이언트 장치(400)는, 상술한 바와 같이, 재생 처리나 편집 처리의 번잡화를 억제하여, 그들 처리의 부하의 증대를 억제할 수 있다.

<클라이언트 처리의 흐름 3>

도 30의 클라이언트 장치(400)에 의해 실행되는 클라이언트 처리의 흐름의 예를, 도 33의 흐름도를 참조하여 설명한다. 도 33에 도시되는 흐름도는, 방법 1-2-2의 경우의 클라이언트 처리의 흐름의 예를 나타낸다.

클라이언트 처리가 개시되면, 클라이언트 장치(400)의 파일 취득부(411)는, 스텝 S481에 있어서, 씬 기술 파일을 취득한다.

스텝 S482에 있어서, 파일 처리부(412)는, 스텝 S481에 있어서 취득한 씬 기술 파일의 타임드 메타데이터 식별 정보 및 타임드 메타데이터 액세스 정보를 해석한다.

이 경우, 파일 처리부(412)는, 복수의, 시간 방향으로 변화하는 타임드 메타데이터에 관한 정보를 얼터너티브 배열의 서로 다른 요소로서 저장하는 MPEG 미디어 오브젝트(MPEG_media extension)를 사용하여, 타임드 메타데이터를 취득할 수 있다. 즉, 이하와 같이 처리가 실행된다.

스텝 S483에 있어서, 파일 처리부(412)는, 스텝 S482의 해석 결과에 기초하여, 타임드 카메라의 미디어 얼터너티브 오브젝트가 복수 있는지 여부를 판정한다. 즉, 파일 처리부(412)는 MPEG 미디어 오브젝트가 복수의 타임드 메타데이터에 관한 정보를 얼터너티브 배열의 서로 다른 요소로서 저장하는지 여부를 판정한다. 도 27의 B의 예와 같이, MPEG 미디어 오브젝트에 있어서 지정되는 타임드 카메라 메타데이터가 복수 존재한다고 판정된 경우, 처리는 스텝 S484로 진행된다.

스텝 S484에 있어서, 파일 처리부(412)는 유저에게 얼터너티브 배열의 각 요소의 name을 제시해서 선택시킨다. 즉, 파일 처리부(412)는, 타임드 메타데이터(타임드 카메라 메타데이터)를 유저에게 선택시킨다. 스텝 S484의 처리가 종료되면, 처리는 스텝 S485로 진행된다. 또한, 스텝 S483에 있어서, 타임드 카메라의 미디어 얼터너티브 오브젝트가 단수라고 판정된 경우, 처리는 스텝 S485로 진행된다.

스텝 S485에 있어서, 파일 취득부(411)는, 스텝 S484에 있어서 유저가 선택한 타임드 메타데이터, 또는 단수의 타임드 메타데이터를 취득하고, 그 데이터를 버퍼에 개념적으로 저장한다.

스텝 S486 내지 스텝 S489의 각 처리는, 도 31의 스텝 S403 내지 스텝 S406의 각 처리와 마찬가지로 실행된다. 스텝 S489의 처리가 종료되면, 클라이언트 처리가 종료된다.

<5. 부기>

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 34는 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.

도 34에 도시되는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)를 통해 서로 접속되어 있다.

버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914), 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성이 메모리 등으로 이루어진다. 통신부(914)는, 예를 들어 네트워크 인터페이스로 이루어진다. 드라이브(915)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통해, RAM(903)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

컴퓨터가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록해서 적용할 수 있다. 그 경우, 프로그램은 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통해, 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)로 수신하고, 기억부(913)에 인스톨할 수 있다.

기타, 이 프로그램은, ROM(902)이나 기억부(913)에, 미리 인스톨해 둘 수도 있다.

<본 기술이 적용 가능한 대상>

본 기술은 임의의 화상 부호화·복호 방식에 적용할 수 있다.

또한, 본 기술은 임의의 구성에 적용할 수 있다. 예를 들어, 본 기술은, 여러가지 전자 기기에 응용될 수 있다.

또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 사용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 사용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 또한 기타 기능을 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부 구성으로서 실시할 수도 있다.

또한, 예를 들어 본 기술은, 복수의 장치에 의해 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어, 본 기술을, 네트워크를 통해서 복수의 장치로 분담, 공동해서 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 안에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해서 접속되어 있는 복수의 장치, 및 하나의 하우징 안에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

<본 기술을 적용 가능한 분야·용도>

본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

예를 들어, 본 기술은 관상용 콘텐츠 등의 제공용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 교통 상황의 감리나 자동 운전 제어 등, 교통용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 시큐리티용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 기계 등의 자동 제어용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 농업이나 축산업용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 본 기술은, 예를 들어 화산, 삼림, 해양 등의 자연의 상태나 야생 생물 등을 감시하는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 스포츠용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다.

<기타>

또한, 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이며, 진(1) 또는 위(0)의 두 상태를 식별할 때에 사용하는 정보뿐만 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서, 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2치여도 되고, 3치 이상이어도 된다. 즉, 이 「플래그」를 구성하는 bit수는 임의이고, 1bit이거나 복수 bit여도 된다. 또한, 식별 정보(플래그도 포함한다)는, 그 식별 정보를 비트 스트림에 포함하는 형태뿐만 아니라, 어느 기준이 되는 정보에 대한 식별 정보의 차분 정보를 비트 스트림에 포함하는 형태도 상정되기 때문에, 본 명세서에 있어서는, 「플래그」나 「식별 정보」는, 그 정보뿐만 아니라, 기준이 되는 정보에 대한 차분 정보도 포함한다.

또한, 부호화 데이터(비트 스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련지어져 있으면, 어떠한 형태로 전송 또는 기록되도록 해도 된다. 여기서, 「관련짓는다」라는 용어는, 예를 들어 한쪽 데이터를 처리할 때에 다른 쪽 데이터를 이용할 수 있도록(링크시킬 수 있도록) 하는 것을 의미한다. 즉, 서로 관련지어진 데이터는, 하나의 데이터로서 통합되어도 되고, 각각 개별의 데이터로 해도 된다. 예를 들어, 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한, 이 「관련지음」은, 데이터 전체가 아니라, 데이터의 일부여도 된다. 예를 들어, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1 프레임 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어지도록 해도 된다.

또한, 본 명세서에 있어서, 「합성하다」, 「다중화하다」, 「부가하다」, 「일체화하다」, 「포함하다」, 「저장하다」, 「넣다」, 「끼워 넣다」, 「삽입하다」 등의 용어는, 예를 들어 부호화 데이터와 메타데이터를 하나의 데이터로 통합한다고 하는, 복수의 것을 하나로 통합하는 것을 의미하며, 상술한 「관련짓는다」의 하나의 방법을 의미한다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 좋다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어느 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다.

또한, 예를 들어 상술한 프로그램은, 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 된다.

또한, 예를 들어 하나의 흐름도의 각 스텝을, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담해서 실행하도록 해도 된다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담해서 실행하도록 해도 된다. 환언하면, 하나의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합해서 실행할 수도 있다.

또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서를 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 발생하지 않는 한, 각 스텝의 처리가 상술한 순서와 상이한 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합해서 실행되도록 해도 된다.

또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 발생하지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용해서 실시할 수도 있다. 예를 들어, 어느 것 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합해서 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용해서 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 상기 메타데이터에 연결짓는 timede metadata 액세스 정보를 상기 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는 파일 생성부

를 구비하는 정보 처리 장치.

(2) 상기 씬 기술 파일은, 상기 timed metadata 식별 정보를, 상기 MPEG_media extension의 alternatives 배열의 mimeType에 저장하는

(1)에 기재된 정보 처리 장치.

(3) 상기 씬 기술 파일은, 상기 timed metadata 액세스 정보를, 상기 camera object의 MPEG_timed_camera extension에 저장하는

(1) 또는 (2)에 기재된 정보 처리 장치.

(4) 상기 timed metadata 액세스 정보는, 복수의 파라미터의 각각에 대해서, 참조하는 buffer object의 영역에 대응하는 accessor object를, accessor index를 사용해서 지정하는

(3)에 기재된 정보 처리 장치.

(5) 상기 복수의 파라미터는, 상기 camera object의 위치를 나타내는 POSITION과, 상기 camera object의 방향을 나타내는 ORIENTATION과, 상기 camera object의 화각, 원근 정보를 나타내는 PERSPECTIVE를 포함하는

(4)에 기재된 정보 처리 장치.

(6) 상기 timed metadata 액세스 정보는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 하나의 벡터에 의해 지정하는

(4) 또는 (5)에 기재된 정보 처리 장치.

(7) 상기 timed metadata 액세스 정보는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 각 파라미터에 대응하는 상기 accessor index를 요소로 하는 배열에 의해 지정하는

(4) 또는 (5)에 기재된 정보 처리 장치.

(8) 상기 timed metadata 액세스 정보는, 참조하는 buffer object의 영역에 대응하는 accessor object를 복수 지정하는

(3) 내지 (7) 중 어느 것에 기재된 정보 처리 장치.

(9) 상기 MPEG_media extension은, 복수의, 시간 방향으로 변화하는 timed metadata에 관한 정보를, alternative 배열의 서로 다른 요소로서 저장하는

(1) 내지 (7) 중 어느 것에 기재된 정보 처리 장치.

(10) 연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 상기 메타데이터에 연결짓는 timede metadata 액세스 정보를 상기 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는

정보 처리 방법.

(11) 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 상기 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하는 취득부와,

상기 취득부에 의해 취득된 상기 timed metadata에 기초하여, 상기 3D 오브젝트 콘텐츠의 표시 화상을 생성하는 생성부

를 구비하는 정보 처리 장치.

(12) 상기 취득부는, 상기 씬 기술 파일의 상기 MPEG_media extension의 alternatives 배열의 mimeType에 저장된 상기 timed metadata 식별 정보에 기초하여, 상기 timed metadata를 취득하는

(11)에 기재된 정보 처리 장치.

(13) 상기 취득부는, 상기 씬 기술 파일의 상기 camera object의 MPEG_timed_camera extension에 저장된 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는

(11) 또는 (12)에 기재된 정보 처리 장치.

(14) 상기 취득부는, 복수의 파라미터의 각각에 대해서, 참조하는 buffer object의 영역에 대응하는 accessor object를, accessor index를 사용해서 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는

(13)에 기재된 정보 처리 장치.

(15) 상기 취득부는, 상기 camera object의 위치를 나타내는 POSITION과, 상기 camera object의 방향을 나타내는 ORIENTATION과, 상기 camera object의 화각, 원근 정보를 나타내는 PERSPECTIVE의 각각에 대해서, 참조하는 buffer object의 영역에 대응하는 accessor object를, accessor index를 사용해서 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는

(14)에 기재된 정보 처리 장치.

(16) 상기 취득부는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 하나의 벡터에 의해 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는

(14) 또는 (15)에 기재된 정보 처리 장치.

(17) 상기 취득부는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 각 파라미터에 대응하는 상기 accessor index를 요소로 하는 배열에 의해 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는

(14) 또는 (15)에 기재된 정보 처리 장치.

(18) 상기 취득부는, 참조하는 buffer object의 영역에 대응하는 accessor object를 복수 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는

(13) 내지 (17) 중 어느 것에 기재된 정보 처리 장치.

(19) 상기 취득부는, 상기 MPEG_media extension에 alternative 배열의 서로 다른 요소로서 저장되는, 복수의, 시간 방향으로 변화하는 timed metadata에 관한 정보 중 어느 것을 취득하는

(11) 내지 (17) 중 어느 것에 기재된 정보 처리 장치.

(20) 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 상기 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하고,

취득된 상기 timed metadata에 기초하여, 상기 3D 오브젝트 콘텐츠의 표시 화상을 생성하는

정보 처리 방법.

300: 파일 생성 장치, 301: 제어부, 302: 파일 생성 처리부, 311: 입력부, 312: 전처리부, 313: 부호화부, 314: 파일 생성부, 315: 기록부, 316: 출력부, 400: 클라이언트 장치, 401: 제어부, 402: 클라이언트 처리부, 411: 파일 취득부, 412: 파일 처리부, 413: 복호부, 414: 표시 정보 생성부, 415: 표시부, 416: 표시 제어부

Claims

연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 상기 메타데이터에 연결짓는 timede metadata 액세스 정보를 상기 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는 파일 생성부
를 구비하는 정보 처리 장치.
제1항에 있어서,
상기 씬 기술 파일은, 상기 timed metadata 식별 정보를, 상기 MPEG_media extension의 alternatives 배열의 mimeType에 저장하는
정보 처리 장치.
제1항에 있어서,
상기 씬 기술 파일은, 상기 timed metadata 액세스 정보를, 상기 camera object의 MPEG_timed_camera extension에 저장하는
정보 처리 장치.
제3항에 있어서,
상기 timed metadata 액세스 정보는, 복수의 파라미터의 각각에 대해서, 참조하는 buffer object의 영역에 대응하는 accessor object를, accessor index를 사용해서 지정하는
정보 처리 장치.
제4항에 있어서,
상기 복수의 파라미터는, 상기 camera object의 위치를 나타내는 POSITION과, 상기 camera object의 방향을 나타내는 ORIENTATION과, 상기 camera object의 화각, 원근 정보를 나타내는 PERSPECTIVE를 포함하는
정보 처리 장치.
제4항에 있어서,
상기 timed metadata 액세스 정보는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 하나의 벡터에 의해 지정하는
정보 처리 장치.
제4항에 있어서,
상기 timed metadata 액세스 정보는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 각 파라미터에 대응하는 상기 accessor index를 요소로 하는 배열에 의해 지정하는
정보 처리 장치.
제3항에 있어서,
상기 timed metadata 액세스 정보는, 참조하는 buffer object의 영역에 대응하는 accessor object를 복수 지정하는
정보 처리 장치.
제1항에 있어서,
상기 MPEG_media extension은, 복수의, 시간 방향으로 변화하는 timed metadata에 관한 정보를, alternative 배열의 서로 다른 요소로서 저장하는
정보 처리 장치.
연결지어진 외부 파일의 메타데이터가 시간 방향으로 변화하는 것을 나타내는 timed metadata 식별 정보를 MPEG_media extension에 저장하고, camera object를 상기 메타데이터에 연결짓는 timede metadata 액세스 정보를 상기 camera object에 저장하는, 3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일을 생성하는
정보 처리 방법.
3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 상기 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하는 취득부와,
상기 취득부에 의해 취득된 상기 timed metadata에 기초하여, 상기 3D 오브젝트 콘텐츠의 표시 화상을 생성하는 생성부
를 구비하는 정보 처리 장치.
제11항에 있어서,
상기 취득부는, 상기 씬 기술 파일의 상기 MPEG_media extension의 alternatives 배열의 mimeType에 저장된 상기 timed metadata 식별 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제11항에 있어서,
상기 취득부는, 상기 씬 기술 파일의 상기 camera object의 MPEG_timed_camera extension에 저장된 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제13항에 있어서,
상기 취득부는, 복수의 파라미터의 각각에 대해서, 참조하는 buffer object의 영역에 대응하는 accessor object를, accessor index를 사용해서 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제14항에 있어서,
상기 취득부는, 상기 camera object의 위치를 나타내는 POSITION과, 상기 camera object의 방향을 나타내는 ORIENTATION과, 상기 camera object의 화각, 원근 정보를 나타내는 PERSPECTIVE의 각각에 대해서, 참조하는 buffer object의 영역에 대응하는 accessor object를, accessor index를 사용해서 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제14항에 있어서,
상기 취득부는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 하나의 벡터에 의해 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제14항에 있어서,
상기 취득부는, 복수의 파라미터가 참조하는 buffer object의 영역에 대응하는 accessor object를, 각 파라미터에 대응하는 상기 accessor index를 요소로 하는 배열에 의해 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제13항에 있어서,
상기 취득부는, 참조하는 buffer object의 영역에 대응하는 accessor object를 복수 지정하는 상기 timed metadata 액세스 정보에 기초하여, 상기 timed metadata를 취득하는
정보 처리 장치.
제11항에 있어서,
상기 취득부는, 상기 MPEG_media extension에 alternative 배열의 서로 다른 요소로서 저장되는, 복수의, 시간 방향으로 변화하는 timed metadata에 관한 정보 중 어느 것을 취득하는
정보 처리 장치.
3D 오브젝트 콘텐츠의 씬을 기술하는 씬 기술 파일의 MPEG_media extension에 저장된 timed metadata 식별 정보와, 상기 씬 기술 파일의 camera object에 저장된 timed metadata 액세스 정보에 기초하여, 시간 방향으로 변화하는 timed metadata를 취득하고,
취득된 상기 timed metadata에 기초하여, 상기 3D 오브젝트 콘텐츠의 표시 화상을 생성하는
정보 처리 방법.