KR102318816B1

KR102318816B1 - 고급 비디오 데이터 스트림 추출 및 다중 해상도 비디오 송신

Info

Publication number: KR102318816B1
Application number: KR1020197030424A
Authority: KR
Inventors: 로베르트 스쿠핀; 코넬리우스 헬지; 벤자민 브로스; 토마스 슈에를; 데 라 푸엔테 야고 산체스; 카르스텐 슈링; 토마스 위건드
Original assignee: 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Priority date: 2017-03-20
Filing date: 2018-03-19
Publication date: 2021-10-28
Also published as: US11721103B2; KR20230106741A; TWI684352B; FI3603074T3; WO2018172234A2; TW201840188A; RS66229B1; CN110651480B; US20200012863A1; LT3603074T; PT3603074T; JP6957638B2; US20220309790A1; JP7437577B2; JP2020511865A; KR102553762B1; CN115955560A; US20230316752A1; CN116074502A; KR20220095246A

Abstract

더욱 효율적인, 즉, 예를 들면, 상이한 타입의 비디오가, 예를 들면, 뷰 포트 대 픽쳐 평면 투영, 등등에서 차이가 나는, 수신측에게 알려지지 않은 타입의 비디오 콘텐츠를 더욱 효율적으로 다루는, 또는 추출 프로세스 복잡도를 경감시키는 비디오 데이터 스트림 추출을 위한 개념이 제시된다. 또한, 상이한 버전 - 버전은 장면 해상도에서 차이가 남 - 의 비디오 장면의 병치가 수신측에게 더욱 효율적으로 제공될 수도 있다는 것을 사용하여 개념이 설명된다.

Description

고급 비디오 데이터 스트림 추출 및 다중 해상도 비디오 송신

본 출원은, 비디오 데이터 스트림 추출, 즉, 원래의 비디오 데이터 스트림 안으로 코딩되는 비디오의 공간 섹션에 대응하는 공간적으로 더 작은 비디오를, 감소된 비디오 데이터 스트림이 그 안으로 인코딩하도록, 적절하게 준비된 비디오 데이터 스트림으로부터 감소된 비디오 데이터 스트림을 추출하는 개념에 관한 것이며, 또한, 하나의 장면의 상이한 비디오 버전의 송신에 관한 것인데, 버전은 장면 해상도 또는 충실도에서 상이하다.

HEVC 표준 [1]은, 픽쳐의 직사각형 타일 서브어레이의 정의를 허용하는 하이브리드 비디오 코덱을 정의하는데, 비디오 코덱은, 전체 비디오 데이터 스트림에서 더 작은 또는 감소된 비디오 데이터 스트림의 용이한 추출, 즉, 재양자화가 없고 어떠한 모션 보상도 다시 행할 필요가 없는 추출을 허용하기 위해, 그 정의와 관련하여 몇몇 코딩 제약을 준수한다. [2]에 개설되는 바와 같이, 비디오 데이터 스트림의 수신측(recipient)에 대한 추출 프로세스를 안내하는 것을 허용하는 신택스를 HEVC 표준에 추가하는 것이 구상된다.

그러나, 추출 프로세스를 더욱 효율적으로 렌더링할 필요성이 여전히 존재한다.

비디오 데이터 추출이 적용될 수도 있는 적용 분야는, 장면 해상도에서 상호 상이한, 하나의 비디오 장면의 여러 버전의 송신, 또는 제공과 관련된다. 상호 상이한 해상도 버전의 그러한 송신 또는 제공을 설치하는 효율적인 방식이 유리할 것이다.

따라서, 더욱 효율적인, 즉, 예를 들면, 상이한 타입의 비디오가 뷰 포트 대 픽쳐 평면 투영(view-port-to-picture-plane projection), 등등에서 차이가 나는, 수신측에게 알려지지 않은 타입의 비디오 콘텐츠를, 예를 들면, 더욱 효율적으로 다룰 수 있는, 또는 추출 프로세스 복잡도를 경감시시키는, 비디오 데이터 스트림 추출에 대한 개념을 제공하는 것이 본 발명의 제1 목적이다. 이 목적은 제1 양태에 따른 본 출원의 독립 청구항의 주제에 의해 달성된다.

특히, 본 출원의 제1 양태에 따르면, 감소된(추출된) 픽쳐 영역 내에서 각각의 슬라이스가 위치되는 위치를, 감소된 비디오 데이터 스트림 내에서, 나타내도록 추출 가능한 공간 섹션 내의 각각의 슬라이스의 슬라이스 부분의 슬라이스 어드레스를 수정하는 방법에 관한 복수의 옵션 중 하나를 시그널링하는, 또는 그 방법을 명시적으로 시그널링하는 정보를 비디오 데이터 스트림 내의 추출 정보에 제공하는 것에 의해, 비디오 데이터 스트림 추출은 더욱 효율적으로 만들어진다. 다시 말하면, 제2 정보는, 원래의 비디오의 공간 섹션에 기초하여 감소된(추출된) 비디오 데이터 스트림의 공간적으로 더 작은 비디오의 픽쳐의 합성과 관련하여 추출 프로세스를 안내하는 정보를 비디오 데이터 스트림 추출 사이트에 제공하고, 따라서, 추출 프로세스를 완화하거나 또는 추출 프로세스를, 비디오 데이터 스트림 내에서 전달되는 장면 타입의 더 큰 가변성에 적응 가능하게 만든다. 후자의 이슈와 관련하여, 예를 들면, 제2 정보는, 공간적으로 더 작은 비디오의 픽쳐가, 원래의 비디오 내의 공간 섹션의 이들 부분의 상대적 배열, 또는 코딩 순서의 관점에서의 상대적 순서의 유지 하에서, 공간 섹션의 잠재적으로 분리된 부분을 단지 함께 푸시하는 것의 결과가 아니어야 하는 것이 유리한 다양한 경우를 다룰 수도 있다. 예를 들면, 파노라마 장면 대 픽쳐 평면 투영(panoramic scene-to-picture-plane projection)의 이음매 인터페이스(seam interface)에서 장면을 나타내는 원래의 픽쳐의 둘레를 따라 상이한 부분과 접하는 구역으로 구성되는 공간 섹션에서, 추출된 스트림의 더 작은 픽쳐에서의 공간 섹션의 구역의 배열은, 픽쳐 타입이 비파노라마 타입인 경우에서의 것과는 상이해야 하지만, 그러나, 수신측은 타입에 관해 심지어 모를 수도 있을 것이다. 추가적으로 또는 별개로, 추출된 슬라이스 부분의 슬라이스 어드레스를 수정하는 것은 번거로운 태스크인데, 이것은, 예를 들면, 대체 슬라이스 어드레스(substitute slice addresses)의 형태로 수정하는 방법에 대한 정보를 명시적으로 전송하는 것에 의해 완화될 수도 있을 것이다.

본 발명의 다른 목적은, 비디오 장면의 상이한 버전의 병치(juxtaposition)를 수신측에게 더욱 효율적으로 제공하는 개념을 제공하는 것인데, 버전은 장면 해상도에서 상이하다.

이 목적은 본 출원의 제2 양태의 계류 중인 독립 청구항의 주제에 의해 달성된다.

특히, 본 출원의 제2 양태에 따르면, 장면 해상도에서 다른, 비디오 장면의 여러 버전의 병치를 제공하는 것은, 이들 버전을, 하나의 비디오 데이터 스트림 안으로 인코딩되는 하나의 비디오에서 요약하는 것 및 비디오의 픽쳐가 상이한 해상도에서 픽쳐의 상이한 공간적 부분에 있는 공통 장면 콘텐츠를 나타낸다는 것을 나타내는 신호 전달(signalization)을 이 비디오 데이터 스트림에 제공하는 것에 의해 더욱 효율적으로 만들어진다. 따라서, 비디오 데이터 스트림의 수신측은, 신호 전달에 기초하여, 비디오 데이터 스트림에 의해 전달되는 비디오 콘텐츠가 상이한 장면 해상도에서의 장면 콘텐츠의 여러 가지 버전의 공간적인 나란한 수집(spatial side-by-side collection)에 속하는지 또는 그렇지 않은지의 여부를 인식할 수 있다. 수신 사이트에서의 성능에 따라, 비디오 데이터 스트림을 디코딩하기 위한 임의의 시도는 억제될 수도 있거나, 또는 비디오 데이터 스트림의 프로세싱은 신호 전달의 분석에 적응될 수도 있다.

상기에서 설명되는 양태의 실시형태의 유리한 구현은 종속항의 주제이다. 본 출원의 바람직한 실시형태는 도면과 관련하여 하기에서 설명되는데, 도면 중에서:
도 1은 조정된 슬라이스 어드레스를 갖는 MCTS 추출을 예시하는 개략도를 도시한다;
도 2는 본 출원의 제1 양태의 실시형태에 따른 비디오 데이터 스트림 추출 핸들링의 개념뿐만 아니라 참여 프로세스 및 디바이스를 예시하는 혼합된 개략적인 블록도를 도시한다;
도 3은, 슬라이스 어드레스를 수정하는 방법을 제2 정보가 명시적으로 나타내는 예에 따른 추출 정보의 제2 정보에 대한 예를 상속하는 신택스 예를 도시한다;
도 4는 소망되는 픽쳐 서브섹션을 형성하는 비인접 MCTS에 대한 예를 예시하는 개략도를 도시한다;
도 5는, 제2 정보가 여러 가지 가능한 옵션 중 추출 프로세스에서 슬라이스 어드레스를 수정하기 위한 소정의 옵션을 나타내는 한 실시형태에 따른 제2 정보를 포함하는 특정한 신택스 예에 대한 예를 도시한다;
도 6은, 다중 해상도 360° 프레임 패키징 예를 예시하는 개략도를 도시한다;
도 7은 혼합 해상도 표현을 포함하는 예시적인 MCTS의 추출을 예시하는 개략도를 도시한다; 그리고
도 8은, 본 출원의 제2 양태의 한 실시형태에 따른, 유저뿐만 아니라 참여 디바이스 및 비디오 스트림 및 프로세스에 대한 다중 해상도 장면 제공의 효율적인 방식을 예시하는 혼합된 개략적인 블록도를 도시한다.

다음의 설명은, 본 출원의 제1 양태의 설명으로 시작하고, 그 다음, 본 출원의 제2 양태의 설명으로 계속된다. 더욱 정확하게, 본 출원의 제1 양태에 관해서, 이하에서 설명되는 제1 양태의 실시형태의 이점 및 기저의 개념의 이유를 설명하기 위해 기저의 기술적 문제점의 간략한 개요로 설명이 시작된다. 제2 양태와 관련하여, 설명 순서는 동일한 방식으로 선택된다.

파노라마 또는 360 비디오 애플리케이션에서, 픽쳐 평면의 서브섹션만이 유저에게 제시될 필요가 있다는 것이 통상적이다. 모션 제약 타일 세트(Motion Constrained Tile Sets; MCTS)와 같은 소정의 코덱 도구는, 압축 도메인에서 소망되는 픽쳐 서브섹션에 대응하는 코딩된 데이터를 추출하는 것 및 완전한 픽쳐 비트스트림에서 MCTS 디코딩을 지원하지 않는 레거시 디코더 디바이스에 의해 디코딩될 수 있는 그리고 완전한 픽쳐 디코딩에 필요한 디코더에 비교하여 더 낮은 계층인 것으로 특성 묘사될 수 있는 적합한 비트스트림을 형성하는 것을 허용한다.

예로서 그리고 참조를 위해, HEVC 코덱에서의 수반되는 시그널링은 다음의 것에서 발견될 수 있다

레퍼런스 [1], 이것은 자신의 좌상(top left) 및 우하(bottom right) 타일 인덱스에 의해 각각 정의되는 직사각형의 주어진 목록이 MCTS에 속한다는 것을 인코더가 시그널링하는 것을 허용하는, 섹션 D.2.29 및 E.2.29의 시간적 MCTS SEI 메시지를 명시함.

레퍼런스 [2], 이것은 적합한 HEVC 비트스트림으로서 MCTS를 추출하기 위한 노력을 용이하게 하는 중첩된(nested) SEI 메시지 및 파라미터 세트와 같은 추가적인 정보를 제공하며 [1]의 다음 버전에 추가될 것임.

[1] 및 [2]에서 알 수 있는 바와 같이, 추출을 위한 프로시져는, 추출기 디바이스에서 수행되는, 수반되는 슬라이스의 슬라이스 헤더에서 시그널링되는 슬라이스 어드레스에 대한 조정을 포함한다.

도 1은 MCTS 추출에 대한 예를 도시한다. 도 1은 비디오 데이터 스트림, 즉 HEVC 비디오 데이터 스트림으로 코딩된 픽쳐를 도시한다. 픽쳐(100)는, 픽쳐(100)가 인코딩된 단위인 CTB, 즉, 코딩 트리 블록(coding tree block)으로 세분화된다. 도 1의 예에서, 픽쳐(100)는, 16×6 CTB로 세분화되지만 그러나 CTB 행의 수 및 CTB 열의 수는, 당연히, 중요하지 않다. 참조 부호 102는 그러한 CTB를 대표적으로 나타낸다. 이들 CTB(102)의 단위에서, 픽쳐(100)는 타일로 더 세분화된다, 즉 m = 8 및 n = 4의 예시적인 경우를 나타내는 도 1의 m×n 타일의 어레이로 더 세분화된다. 각각의 타일에서, 참조 부호 104는 하나의 그러한 타일을 대표적으로 나타내기 위해 사용되었다. 따라서, 각각의 타일은 CTB(102)의 직사각형 클러스터 또는 서브어레이이다. 예시만을 위해서, 도 1은, 타일(104)이 상이한 사이즈를 가질 수도 있다는 것, 또는, 대안적으로 말하면, 각각, 타일의 행이 상호 상이한 높이를 가질 수도 있고 타일의 열이 상호 상이한 폭을 가질 수도 있다는 것을 나타낸다.

본 기술 분야에 알려진 바와 같이, 타일 세분화, 즉, 픽쳐(100)를 타일(104)로 세분하는 것은, 픽쳐(100)의 코딩 순서(106) - 이 코딩 순서(106)를 따라 픽쳐 콘텐츠는 비디오 데이터 스트림 안으로 인코딩됨 - 에 영향을 미친다. 특히, 타일(104)은 타일 순서를 따라, 즉 타일 행 단위의 래스터 스캔 순서로 차례로 통과된다(traversed). 다시 말하면, 하나의 타일(104) 내의 모든 CTB(102)는, 코딩 순서가 다음 타일(104)로 진행하기 이전에, 먼저, 코딩 순서(106)에 의해 코딩되거나 또는 통과된다. 각각의 타일(102) 내에서, CTB는 또한 래스터 스캔 순서를 사용하여, 즉 행 단위의 래스터 스캔 순서를 사용하여 코딩된다. 코딩 순서(106)를 따라, 비디오 데이터 스트림으로의 픽쳐(100)의 코딩은 소위 슬라이스 부분으로 귀결되도록 세분화된다. 다시 말하면, 코딩 순서(106)의 연속적인 부분에 의해 통과되는 픽쳐의 슬라이스(100)는, 단위로서 슬라이스 부분을 형성하기 위해 비디오 데이터 스트림으로 코딩된다. 도 1에서, 각각의 타일은, 단일의 슬라이스, 또는 HEVC의 전문용어에서는, 슬라이스 세그먼트 내에 존재한다는 것이 가정되지만, 그러나, 이것은 예에 불과하고 상이한 방식으로 만들어질 수 있을 것이다. 대표적으로, 하나의 슬라이스(108), 또는 HEVC의 관점에서, 하나의 슬라이스 세그먼트가 대표적으로 참조 부호 108을 가지고 도 1에서 나타내어지며, 그것은 대응하는 타일(104)에 일치하거나, 또는 대응하는 타일(104)에 적합되어야 한다.

비디오 데이터 스트림으로의 픽쳐(100)의 코딩에 관련되는 한, 이 코딩은, 공간 예측, 시간 예측, 엔트로피 코딩을 위한 컨텍스트 유도, 시간 예측을 위한 모션 보상 및 예측 잔차 변환 및/또는 예측 잔차 양자화를 활용한다는 것을 유의해야 한다. 코딩 순서(106)는, 슬라이싱에 영향을 줄 뿐만 아니라, 또한, 공간 예측 및/또는 컨텍스트 유도를 위해 레퍼런스 기반의 이용 가능성을 정의한다: 단지, 코딩 순서(106)에서 선행하는 그들 이웃하는 부분이 이용 가능하다. 타일화는 코딩 순서(106)에 영향을 미칠 뿐만 아니라, 또한, 픽쳐(100) 내의 코딩간 의존성(coding-inter-dependency)을 제한한다: 예를 들면, 공간 예측 및/또는 컨텍스트 유도는 현재 타일(104) 내의 부분만을 참조하도록 제한된다. 현재 타일 외부의 부분은 공간 예측 및/또는 컨텍스트 유도에서 참조되지 않는다.

이제, 도 1은 픽쳐(100)의 또 다른 특정한 영역, 즉, 소위 MCTS, 즉, 픽쳐(100)가 그 일부인 비디오가 관련하여 추출 가능한 픽쳐(100)의 픽쳐 영역 내의 공간 섹션(110)을 도시한다. 섹션(110)의 확대된 표현이 도 10의 우측에서 도시되어 있다. 도 1의 MCTS(110)는 타일(104)의 세트로 구성된다. 섹션(110) 내에 존재하는 타일 각각은 이름, 즉 a, b, c 및 d를 구비한다. 공간 섹션(110)이 추출 가능하다는 사실은, 비디오를 비디오 데이터 스트림으로 코딩하는 것과 관련하여 추가적인 제한을 수반한다. 특히, 픽쳐(100)에 대해 도 1에서 도시되는 바와 같은 비디오의 픽쳐의 구획화(partitioning)는 비디오의 다른 픽쳐에 의해 채택되고, 이 픽쳐 시퀀스에 대해, 타일 a, b, c 및 d 내의 픽쳐 콘텐츠는, 심지어 하나의 픽쳐로부터 다른 것으로 참조할 때에도 공간 섹션(110) 내에 코딩 상호 의존성이 남아 있도록 하는 방식으로 코딩된다. 다시 말하면, 예를 들면, 시간 예측 및 시간 컨텍스트 유도는 공간 섹션(110)의 영역 내에서 유지하기 위한 방식으로 제한된다.

픽쳐(100)가 그 일부인 비디오를 비디오 데이터 스트림으로 코딩함에 있어서의 흥미로운 점은, 슬라이스(108)가 코딩된 픽쳐 영역 내에서 자신의 코딩 시작을 나타내는 슬라이스 어드레스, 즉, 그 위치를 제공받는다는 사실이다. 슬라이스 어드레스는 코딩 순서(106)를 따라 할당된다. 예를 들면, 슬라이스 어드레스는, 각각의 슬라이스의 코딩이 시작되는 코딩 순서(106)를 따르는 CTB 순위(rank)를 나타낸다. 예를 들면, 비디오 및 픽쳐(100)를 각각 코딩하는 데이터 스트림 내에서, 타일 a와 일치하는 슬라이스를 운반하는 슬라이스 부분은, 타일 a 내에서 코딩 순서(106)의 제1 CTB를 나타내는 코딩 순서(106)의 제7 CTB로서 슬라이스 어드레스 7을 가질 것이다. 유사한 방식으로, 타일 b, c 및 d에 관련이 있는 슬라이스를 운반하는 슬라이스 부분 내의 슬라이스 어드레스는 각각 9, 29 및 33일 것이다.

도 1의 우측은, 감소된 또는 추출된 비디오 데이터 스트림의 수신측이 타일 a, b, c 및 d에 대응하는 두 개의 슬라이스를 할당하는 슬라이스 어드레스를 나타낸다. 다시 말하면, 도 1은 우측에서 숫자 0, 2, 4 및 8을 사용하여, 공간 섹션(110)과 관련한 추출에 의해, 즉, MCTS 추출에 의해 전체 픽쳐(100)를 포함하는 비디오를 나타내는 원래의 비디오 데이터 스트림으로부터 획득된 감소된 또는 추출된 비디오 데이터 스트림의 수신측에 의해 할당되는 슬라이스 어드레스를 예시한다. 감소된 또는 추출된 비디오 데이터 스트림에서, 타일 a, b, c 및 d의 슬라이스(100)를 그 안으로 인코딩한 슬라이스 부분은, 추출 프로세스 동안 그들이 취해진 원래의 비디오 데이터 스트림에 마치 그들이 있었던 것처럼 코딩 순서(106)로 배열된다. 특히, 이 수신측은, 전체 픽쳐(100)와 관련한 코딩 순서(106)와 동일한 방식으로, 즉, 래스터 스캔 순서로 공간 섹션(110)을 타일 단위로 통과하는 것에 의해, 그리고, 다음 타일로 진행하기 이전에 또한 래스트 스캔 순서를 따라 각각의 타일 내의 CTB를 통과하는 것에 의해, 공간 섹션(110)을 통과하는 코딩 순서(112)를 따라, 감소된 또는 추출된 비디오 데이터 스트림 내의 일련의 슬라이스 부분, 즉 타일 a, b, c 및 d에 관한 슬라이스로부터 구성되는 CTB의 형태로 픽쳐 콘텐츠를 배치한다. 타일 a, b, c 및 d의 상대적 위치는 유지된다. 즉, 도 1의 우측에서 도시되는 바와 같은 공간 섹션(110)은, 타일 a, b, c 및 d가 픽쳐(100)에서 발생된 그대로 그들 사이의 상대적 위치를 유지한다. 코딩 순서(112)를 사용하여 슬라이스 어드레스를 결정하는 것으로부터 유래하는 타일 a, b, c 및 d에 대응하는 슬라이스의 슬라이스 어드레스는 각각 0, 2, 4 및 8이다. 따라서, 수신측은, 우측에서 도시되는 바와 같은 공간 섹션(110)을 도시하는 감소된 또는 추출된 비디오 데이터 스트림에 기초하여 더 작은 비디오를 독립형 픽쳐(self-contained picture)로서 재구성할 수 있다.

지금까지 도 1의 설명을 요약하면, 도 1은 각각의 슬라이스(108)의 좌상 코너에서 숫자를 사용하는 것에 의해 추출 이후 슬라이스 어드레스 및 CTB의 단위의 조정을 도시하거나 또는 예시한다. 추출을 수행하기 위해, 추출 사이트 또는 추출기 디바이스는 CTB의 사이즈, 즉 최대 CTB 사이즈인 114뿐만 아니라, 픽쳐(100) 내의 타일 행 및 타일 열의 숫자 및 사이즈를 나타내는 파라미터와 관련하여 원래의 비디오 데이터 스트림을 분석할 필요가 있다. 또한, 중첩된 MCTS 고유의 시퀀스 및 픽쳐 파라미터 세트는, 그들로부터 타일의 출력 배열로부터 유도하기 위해 검사된다. 도 1에서, 공간 섹션(110) 내의 타일 a, b, c 및 d는 그들의 상대적 배열을 유지한다. 전체적으로, 상기에서 설명되는 그리고 HEVC 데이터 스트림의 MCTS 명령어에 따라 추출기 디바이스에 의해 수행될 분석 및 검사는, 상기 열거된 파라미터로부터 재구성된 슬라이스(108)의 슬라이스 어드레스를 유도하기 위한 전용의 정교한 로직을 필요로 하였다. 이 전용의 정교한 로직은, 결국에는, 추가적인 구현 비용뿐만 아니라 런타임 단점을 초래한다.

따라서, 하기에 설명되는 실시형태는, 비디오 데이터 스트림에서의 추가적인 시그널링 및 추출의 특정한 목적을 위해 즉시 이용 가능한 정보를 제공하는 것에 의해 추출기 디바이스의 방금 설명된 유도에 대한 전체적인 프로세싱 부담을 경감시키는 것을 가능하게 하는 추출 정보 생성 측뿐만 아니라 추출 측에서의 대응하는 프로세싱 단계를 사용한다. 추가적으로 또는 대안적으로, 하기에서 설명되는 몇몇 실시형태는, 상이한 타입의 비디오 콘텐츠의 더욱 효과적인 핸들링이 달성되는 방식으로 추출 프로세스를 안내하기 위해 추가적인 시그널링을 사용한다.

도 2에 기초하여, 일반적인 개념이 먼저 설명된다. 나중에, 도 2에서 도시되는 전체 프로세스에 참여하는 개개의 엔티티의 동작 모드의 이러한 일반적인 설명은, 더 하기의 상이한 실시형태에 따라 상이한 방식으로 추가적으로 명시된다. 비록 이해의 용이성을 위해 하나의 도면에서 함께 설명되지만, 그 안에서 도시되는 엔티티 및 블록은, 전체적으로 도 2에서 개설되는 이점을 제공하는 피쳐를, 개별적으로 각각 상속하는 독립형 디바이스에 관련된다는 것을 유의해야 한다. 보다 정확하게는, 도 2는, 비디오 데이터 스트림에 추출 정보를 제공하고, 추출 프로세스 그 자체 다음에는 추출된 또는 감소된 비디오 데이터 스트림뿐만 아니라 참여 디바이스의 디코딩이 후속되는, 그러한 비디오 데이터 스트림을 생성하는 생성 프로세스를 도시하는데, 이들 디바이스의 동작 모드 또는 개개의 태스크 및 단계의 성능은 이제 설명되는 실시형태에 따른다. 도 2와 관련하여 먼저 설명되는 특정한 구현예에 따르면, 그리고 하기에서 추가로 개설되는 바와 같이, 추출기 디바이스의 추출 태스크와 관련되는 프로세싱 오버헤드가 감소된다. 또 다른 실시형태에 따르면, 원래의 비디오 내의 여러 가지 상이한 타입의 비디오 콘텐츠의 핸들링은 추가적으로 또는 대안적으로 완화된다.

도 2의 상단에는, 원래의 비디오가 참조 부호 120에 의해 나타내어진다. 이 비디오(120)는 일련의 픽쳐로 구성되는데, 그 중 하나는 도 1의 픽쳐(100)와 동일한 역할을 수행하기 때문에, 즉, 그 외부에서는, 비디오 데이터 스트림 추출에 의해 공간 섹션(110)이 나중에 컷아웃되어야 하는 픽쳐 영역을 도시하는 픽쳐이기 때문에, 참조 부호 100을 사용하여 나타내어진다. 그러나, 도 1과 관련하여 상기에서 설명되는 타일 세분화는, 도 2에서 도시되는 프로세스를 기저에 두는 비디오 인코딩에 의해 사용될 필요가 없다는 것, 및, 오히려, 타일 및 CTB는, 도 2의 실시형태가 해당되는 한, 단지 옵션 사항에 불과한 비디오 인코딩에서의 의미론적 엔티티(semantic entity)를 나타낸다는 것이 이해되어야 한다.

도 2는, 비디오 인코딩 코어(122)에서 비디오(102)를 인코딩하는 것을 도시한다. 비디오 인코딩 코어(122)에 의해 수행되는 비디오 인코딩은, 예를 들면, 하이브리드 비디오 코딩을 사용하여 비디오(120)를 비디오 데이터 스트림(124)으로 변환한다. 즉, 비디오 인코딩 코어(122)는, 예를 들면, 예측 잔차의 여러 가지 지원되는 예측 모드 인코딩 중 하나를 사용하여 비디오(120)의 픽쳐의 개개의 픽쳐 블록을 코딩하는 블록 기반의 예측 코딩을 사용한다. 예측 모드는, 예를 들면, 공간 및 시간 예측을 포함할 수도 있다. 시간 예측은 모션 보상, 즉 시간적으로 예측된 블록에 대한 모션 벡터 내에서 그 자신을 나타내는 모션 필드의 결정 및 데이터 스트림(124)과 함께 그것의 송신을 수반할 수도 있다. 예측 잔차는 변환 코딩될 수도 있다. 즉, 몇몇 스펙트럼 분해가 예측 잔차에 적용될 수도 있고, 결과적으로 나타나는 스펙트럼 계수는 양자화될 수도 있고, 예를 들면, 엔트로피 코딩을 사용하여 데이터 스트림(124)으로 무손실 코딩될 수도 있다. 엔트로피 코딩은, 이어서, 컨텍스트 적응성을 사용할 수도 있는데, 즉, 컨텍스트가 결정될 수도 있는데, 이 경우, 이 컨텍스트 유도는 공간적 이웃 및/또는 시간적 이웃에 의존할 수도 있다. 상기에서 나타내어지는 바와 같이, 인코딩은 코딩 순서(106)에 의해 이미 통과한 비디오의 부분만이 비디오(120)의 현재 부분을 코딩하기 위한 기초 또는 기준으로서 사용될 수도 있는 정도까지 코딩 의존성을 제한하는 코딩 순서(106)에 기초할 수도 있다. 코딩 순서(106)는 비디오(120)를 픽쳐 단위로 통과하지만, 그러나, 반드시 픽쳐의 표시 시간 순서는 아니다. 픽쳐(100)와 같은 픽쳐 내에서, 비디오 인코딩 코어(120)는 비디오 인코딩에 의해 획득되는 코딩된 데이터를 세분하고, 그에 의해, 픽쳐(100)를 슬라이스(108)로 세분화하는데, 슬라이스(108)의 각각은 비디오 데이터 스트림(124)의 대응하는 슬라이스 부분(126)에 대응한다. 데이터 스트림(124) 내에서, 슬라이스 부분(126)은, 대응하는 슬라이스(108)가 픽쳐(100)에서 코딩 순서(106)에 의해 통과되는 순서로 서로에 후속하는 슬라이스 부분의 시퀀스를 형성한다.

도 2에서 또한 나타내어지는 바와 같이, 비디오 인코딩 코어(122)는 각각의 슬라이스 부분(126)에 슬라이스 어드레스를 제공하거나, 또는 각각의 슬라이스 부분(126)을 슬라이스 어드레스로 코딩한다. 슬라이스 어드레스는, 예시 목적을 위해, 도 2에서 대문자를 통해 나타내어진다. 도 1과 관련하여 설명되는 바와 같이, 슬라이스 어드레스는 몇몇 적절한 단위로 예컨대 코딩 순서(106)에 따라 1차원적으로 CTB의 단위로 결정될 수도 있지만, 그러나, 그들은, 대안적으로, 예를 들면, 픽쳐(100)의 좌상 코너와 같은 비디오(120)의 픽쳐에 의해 소비되는 픽쳐 영역 내의 몇몇 미리 결정된 포인트에 대해 상이하게 결정될 수도 있다.

따라서, 비디오 인코딩 코어(122)는 비디오(120)를 수신하고 비디오 데이터 스트림(124)을 출력한다.

상기에서 이미 개설되는 바와 같이, 도 2에 따라 생성되는 비디오 데이터 스트림은, 공간 섹션(110)이 관련되는 한 추출 가능할 것이고, 따라서, 비디오 인코딩 코어(120)는 비디오 인코딩 프로세스를 적절히 적응시킨다. 이 목적을 위해, 비디오 인코딩 코어(122)는, 예를 들면, 공간 예측, 시간 예측 또는 컨텍스트 유도를 통해 섹션(110) 외부의 부분에 의존하지 않기 위한 방식으로 공간 섹션(110) 내의 부분이 비디오 데이터 스트림(124)으로 인코딩되도록, 코딩간 의존성을 제한한다. 슬라이스(108)는 섹션(110)의 경계를 가로지르지 않는다. 따라서, 각각의 슬라이스(108)는, 완전히 섹션(110) 내에 또는 완전히 그 외부에 있다. 비디오 인코딩 코어(122)는 하나의 공간 섹션(110)뿐만 아니라 여러 공간 섹션을 따를 수도 있다는 것을 유의해야 한다. 이들 공간 섹션은 서로 교차할 수도 있다, 즉, 이들 공간 섹션은 부분적으로 중첩할 수도 있거나 또는 하나의 공간 섹션이, 완전히, 다른 공간 섹션 내에 있을 수도 있다. 이들 측정으로 인해, 이후 더 상세히 설명될 바와 같이, 비디오 데이터 스트림(124)으로부터 비디오(120)의 픽쳐보다 더 작은 픽쳐의 감소된 또는 추출된 비디오 데이터 스트림을 추출하는 것이 가능하다, 즉, 재인코딩, 즉, 모션 보상, 양자화 및/또는 엔트로피 코딩과 같은 복잡한 태스크 없이 공간 섹션(110) 내의 콘텐츠를 단순히 나타내는 픽쳐는 다시 수행될 필요가 없다.

비디오 데이터 스트림(124)은 비디오 데이터 스트림 생성기(128)에 의해 수신된다. 특히, 도 2에서 도시되는 실시형태에 따르면, 비디오 데이터 스트림 생성기(128)는, 비디오 인코딩 코어(122)로부터 준비된 비디오 데이터 스트림(124)을 수신하는 수신 인터페이스(130)를 포함한다. 대안예에 따르면, 비디오 인코딩 코어(122)는 비디오 데이터 스트림 생성기(128)에 포함되고, 그에 의해, 인터페이스(130)를 대체할 수 있다는 것을 유의해야 한다.

비디오 데이터 스트림 생성기(128)는 비디오 데이터 스트림(124)에 추출 정보(132)를 제공한다. 도 2에서, 비디오 데이터 스트림 생성기(128)에 의해 출력되는 결과적으로 나타나는 비디오 데이터 스트림은 참조 부호 124'을 사용하여 나타내어진다. 추출 정보(132)는, 참조 부호 134를 가지고 도 2에서 도시되는 추출기 디바이스에 대한, 공간 섹션(110)에 대응하는 공간적으로 더 작은 비디오(138)를 그 안으로 인코딩한 감소된 또는 추출된 비디오 데이터 스트림(136)을 비디오 데이터 스트림(124')으로부터 추출하는 방법에 관해 나타낸다. 추출 정보(132)는, 픽쳐(100)에 의해 전송되는 픽쳐 영역 내에서 공간 섹션(110)을 정의하는 제1 정보(140) 및, 비디오(138)의 픽쳐(144)의 감소된 픽쳐 영역에서 각각의 슬라이스가 위치되는 위치를 감소된 비디오 데이터 스트림(136) 내에서 나타내기 위해 공간 섹션(110)에 속하는 각각의 슬라이스(108)의 슬라이스 부분(126)의 슬라이스 어드레스를 수정하는 방법에 관한 복수의 옵션 중 하나를 시그널링하는 제2 정보(142)를 포함한다.

다시 말하면, 비디오 데이터 스트림 생성기(128)는, 비디오 데이터 스트림(124'), 즉, 추출 정보(132)를 초래하기 위해, 비디오 데이터 스트림(124)에 무언가를 단순히 수반시킨다, 즉 추가한다. 이 추출 정보(132)는, 이 비디오 데이터 스트림(124')으로부터 특히 섹션(110)과 관련하여 감소된 또는 추출된 비디오 데이터 스트림(136)을 추출함에 있어서, 비디오 데이터 스트림(124')을 수신해야 하는 추출기 디바이스(134)를 안내하도록 의도된다. 제1 정보(140)는 공간 섹션(110), 즉, 비디오(120)의 픽쳐 영역 및 픽쳐(100) 내에서의 각각의 자신의 위치, 및 어쩌면 픽쳐(144)의 픽쳐 영역의 사이즈 및 형상을 정의한다. 도 2에서 예시되는 바와 같이, 이 섹션(110)은 반드시 직사각형이거나, 볼록할 필요가 없거나, 또는 반드시 연결된 영역일 필요는 없다. 도 2의 예에서, 예를 들면, 섹션(110)은 두 개의 분리된 부분 영역(110a 및 110b)으로 구성된다. 추가적으로, 제1 정보(140)는, 추출을 통해 픽쳐(100)로부터 픽쳐(144)를 향하는 픽쳐 영역에서의 변화를 반영하도록 적응될 픽쳐 사이즈 파라미터와 같은, 데이터 스트림(124 또는 124')의 코딩 파라미터 또는 부분 중 일부를, 각각, 추출기 디바이스(134)가 수정 또는 대체해야 하는 방법에 관한 힌트를 포함할 수도 있다. 특히, 제1 정보(140)는, 비디오 데이터 스트림(124')에 포함되는 그리고 감소된 또는 추출된 비디오 데이터 스트림(136)으로 인계되는 대응하는 파라미터 세트를 상응하게 수정 또는 대체하기 위해 추출 프로세스에서 추출기 디바이스(134)에 의해 적용되는 비디오 데이터 스트림(124')의 파라미터 세트와 관련한 대체 또는 수정 명령어를 포함할 수도 있다.

다시 말하면, 추출기 디바이스(134)는 비디오 데이터 스트림(124')을 수신하고, 비디오 데이터 스트림(124')으로부터 추출 정보(132)를 판독하고, 추출 정보로부터 공간 섹션(110), 즉 비디오(120)의 픽쳐 영역 내에서의 자신의 포지션 및 위치를, 즉, 제1 정보(140)에 기초하여 유도한다. 따라서, 제1 정보(140)에 기초하여, 추출기 디바이스(130)는, 섹션(110)에 속하는 슬라이스를 그 안으로 인코딩한, 따라서, 감소된 또는 추출된 비디오 데이터 스트림(136)으로 인계될 그들 슬라이스 부분(126)을 식별하고, 한편, 섹션(110) 외부의 슬라이스에 속하는 슬라이스 부분(126)은 추출기 디바이스(134)에 의해 드롭된다. 추가적으로, 추출기 디바이스(134)는, 즉, 수정 또는 대체에 의해, 감소된 또는 추출된 비디오 데이터 스트림(136)에서 하나 이상의 파라미터 세트를 채택하기 이전에, 또는 채택함에 있어서, 방금 개설되는 바와 같이, 데이터 스트림(124') 내에서 하나 이상의 파라미터 세트를 정확하게 설정하기 위해 정보(140)를 사용할 수도 있다. 따라서, 하나 이상의 파라미터 세트는, 도 2에서 예시적으로 묘사되는 바와 같이 섹션(110)이 연결된 영역이 아닌 경우, 정보(140)에 따라 섹션(110)의 영역의 사이즈의 합, 즉 섹션(110)의 모든 부분(110a 및 110b)의 영역의 합에 대응하는 사이즈로 설정될 수도 있는 픽쳐 사이즈 파라미터에 관련될 수도 있다. 파라미터 세트 적응과 함께 슬라이스 부분의 섹션(110) 감지 드롭핑은 비디오 데이터 스트림(124')을 섹션(110)으로 한정한다. 추가적으로, 추출기 디바이스(134)는 감소된 또는 추출된 비디오 데이터 스트림(136) 내에서 슬라이스 부분(126)의 슬라이스 어드레스를 수정한다. 이들 슬라이스는 도 2에서 헤징을 사용하여 예시된다. 즉, 빗금친 슬라이스 부분(126)은, 슬라이스 중, 섹션(110)에 속하는, 따라서, 각각, 추출되는 또는 인계되는 슬라이스이다.

정보(142)는, 자신에 의해 포함되는 슬라이스 부분의 시퀀스가 공간 섹션 내의 슬라이스를 그 안으로 인코딩한 슬라이스 부분뿐만 아니라, 공간 섹션 외부의 슬라이스를 그 안으로 인코딩한 슬라이스 부분을 포함하는 완전한 비디오 데이터 스트림(124')에 정보(142)가 추가되는 상황에서만 상상 가능 가능한 것은 아니다는 것을 유의해야 한다. 오히려, 정보(142)를 포함하는 데이터 스트림은, 비디오 데이터 스트림에 의해 포함되는 슬라이스 부분의 시퀀스가 공간 섹션 내의 슬라이스를 그 안으로 인코딩한 슬라이스 부분을 포함하지만, 그러나, 공간 섹션 외부의 슬라이스를 그 안으로 인코딩한 슬라이스 부분이 없도록 이미 제거되었을 수 있다.

이하에서는, 제2 정보(142)를 데이터 스트림(124')에 임베딩하기 위한 상이한 예 및 그 프로세싱이 제시된다. 일반적으로, 제2 정보(142)는, 슬라이스 어드레스 수정을 어떻게 수행하는지에 관한 힌트를, 명시적으로 또는 몇몇 여러 가지 옵션 중 하나의 선택의 형태로서 시그널링하는 신호 전달로서 데이터 스트림(124') 내에서 전달된다. 다시 말하면, 제2 정보(142)는 하나 이상의 신택스 엘리먼트의 형태로 전달되는데, 그 가능한 값은, 예를 들면, 명시적으로 슬라이스 어드레스 대체물(slice address substitute)을 시그널링할 수도 있거나 또는, 다수의 가능성의 신호 전달을 구별하는 것이, 비디오 데이터 스트림(136) 내의 슬라이스 부분(126)마다의 슬라이스 어드레스를, 하나를 선택하는 데이터 스트림 내의 하나 이상의 신택스 엘리먼트의 설정과 관련시키는 것을 함께 허용할 수도 있다. 그러나, 제2 정보(142)를 구현하는 방금 언급된 하나 이상의 신택스 엘리먼트의 의미 있는 또는 허용되는 설정의 수는, 비디오(120)가 비디오 데이터 스트림(124)으로 인코딩된 방식 및 섹션(110)의 선택에 각각 의존한다는 것을 유의해야 한다. 예를 들면, 섹션(110)이 픽쳐(100) 내의 직사각형으로 연결된 영역이었다는 것 및 섹션(110)의 내부가 관련되는 한 비디오 인코딩 코어(120)가 인코딩을 추가로 제한하지 않으면서 이 섹션과 관련하여 인코딩을 수행할 것이다는 것을 가정한다. 두 개 이상의 영역(110a 및 110b)에 의한 섹션(110)의 합성은 적용되지 않을 것이다. 즉, 단지 섹션(110)의 외부에 대한 의존성이 억제될 것이다. 이 경우에, 섹션(110)은 수정되지 않은, 즉, 섹션(110)의 임의의 서브영역의 위치를 스크램블링하지 않고 비디오(138)의 픽쳐(144)의 픽쳐 영역 상으로 매핑되어야 할 것이고, 섹션(110)을 구성하는 슬라이스를 반송하는 슬라이스 부분에 대한 어드레스 α 및 β의 할당은 섹션(110)의 내부를 그대로 픽쳐(144)의 픽쳐 영역 안으로 배치하는 것에 의해 고유하게 결정될 것이다. 이 경우, 비디오 데이터 스트림 생성기(128)에 의해 생성되는 정보(142)의 설정은 고유할 것이다, 즉 비디오 데이터 스트림 생성기(128)는, 비록 정보(142)가 이용 가능한 코딩 관점에서 다른 신호 전달 옵션을 가질지라도, 이러한 방식으로 정보(142)를 설정하는 것 외에는 다른 선택권이 없을 것이다. 그러나, 이 대안이 없는 경우에도, 예를 들면, 고유한 슬라이스 어드레스 수정을 명시적으로 나타내는 신호 전달(142)은, 추출기 디바이스(134)가 스트림(124')으로부터 채택되는 슬라이스 부분(126)에 대한 슬라이스 어드레스 α 및 β를 결정하는 전술한 성가신 태스크를 그 자체로 수행할 필요가 없다는 점에서 유익하다. 오히려, 그것은 정보(142)로부터 슬라이스 부분(126)의 슬라이스 어드레스를 수정하는 방법을 단순히 유도한다.

하기에서 추가로 개설되는 정보(142)의 본질에 대한 상이한 실시형태에 따라, 추출기 디바이스(134)는, 슬라이스 부분(126)이 스트림(124')으로부터 감소된 또는 추출된 스트림(136)으로 인계되는 순서를 보존 또는 유지하거나 또는 정보(142)에 의해 정의되는 방식으로 순서를 수정한다. 어느 경우든, 추출기 디바이스(134)에 의해 출력되는 감소된 또는 추출된 데이터 스트림(136)은 일반 디코더(146)에 의해 디코딩될 수도 있다. 디코더(146)는 추출기 비디오 데이터 스트림(136)을 수신하고 그로부터 비디오(138)를 디코딩하는데, 비디오(138)의 픽쳐(134)는 픽쳐(100)와 같은 비디오(120)의 픽쳐보다 더 작고, 그 픽쳐 영역은, 슬라이스 부분(126)으로부터 디코딩되는 슬라이스(108)를, 비디오 데이터 스트림(136) 내의 슬라이스 부분(126) 내에서 전달되는 슬라이스 어드레스 α 및 β에 의해 정의되는 방식으로 비디오 데이터 스트림(136) 내에 배치하는 것에 의해 충전된다.

즉, 지금까지, 도 2는, 그 설명이 하기에서 더 상세히 설명되는 제2 정보(142)의 정확한 본질에 대한 다양한 실시형태에 적합하도록 하는 방식으로 설명되었다.

설명되는 실시형태는 이제, 스트림(142)으로부터 스트림(136)으로 인계되는 슬라이스 부분(126)의 슬라이스 어드레스를 수정함에 있어서 추출기 디바이스(134)에 의해 사용되어야 하는 슬라이스 어드레스의 명시적 신호 전달을 사용한다. 이하에서 설명되는 실시형태는, 슬라이스 어드레스를 수정하는 방법의 여러 가지 허용된 옵션 중 하나를 추출기 디바이스(134)에 시그널링하는 것을 허용하는 신호 전달(142)을 사용한다. 예를 들면, 섹션(110)의 공간 경계를 넘어가지 않도록 섹션(110)의 내부에서 코딩간 의존성을 제한하는 방식으로 섹션(110)이 인코딩되는 것의 결과로서의 옵션의 허용, 섹션(110)의 공간 경계는, 결과적으로, 섹션(110)을 도 1에서 예시되는 바와 같은 타일 a, b, c, d 또는 110a 및 110c과 같은 두 개 이상의 영역으로 분할한다. 후자의 실시형태는 추출기 디바이스(134)가 그 자체로 어드레스를 계산하는 번거로운 태스크를 수행하는 것을 여전히 수반할 수도 있지만, 그러나, 대응하는 추출된 또는 감소된 비디오 데이터 스트림(136)에 기초하여 수신 측 상에서 의미 있는 비디오(138)로 귀결되도록 원래의 비디오(120) 내의 상이한 타입의 픽쳐 콘텐츠의 효율적인 핸들링을 허용한다.

즉, 도 1과 관련하여 상기에서 개설되는 바와 같이, 추출기 디바이스(134)에서의 슬라이스 어드레스 결정의 번거로운 태스크는, 제2 정보(142)를 통한 추출 프로세스에서 어드레스가 어떻게 수정되어야 하는지의 명시적인 송신에 의해, 본 출원의 한 실시형태에 따라 완화된다. 이 목적을 위해 사용될 수 있는 신택스에 대한 구체적인 예는 하기에서 설명된다.

특히, 정보(142)는, 슬라이스 부분(126)이 비트 스트림(124')에서 반송되는 순서와 동일한 순서로 스트림(124')에 포함되는 슬라이스 어드레스 대체물의 목록을 포함하는 것에 의해, 추출된 MCTS의 슬라이스 헤더에서 사용될 새로운 슬라이스 어드레스를 명시적으로 시그널링하기 위해 사용될 수 있다. 예를 들면, 도 1의 예를 참조한다. 여기서, 정보(142)는 비트 스트림에서의 슬라이스 어드레스(124')의 순서에 따르는 슬라이스 어드레스의 명시적 시그널링일 것이다. 다시 한번, 슬라이스(108) 및 대응하는 슬라이스 부분(126)은, 추출된 비디오 데이터 스트림(136)에서의 순서가, 이들 슬라이스 부분(126)이 비디오 데이터 스트림(124')에 포함된 순서에 대응하도록 추출 프로세스에서 인계될 수도 있을 것이다. 후속하는 신택스 예에 따르면, 정보(142)는 제2 슬라이스 또는 슬라이스 부분(126)으로부터 전방으로 시작하는 방식으로 슬라이스 어드레스를 명시적으로 시그널링한다. 도 1의 경우에, 이 명시적인 시그널링은 목록 {2, 4, 8}을 나타내거나 또는 시그널링하는 제2 정보(142)에 대응할 것이다. 이 실시형태에 대한 예시적인 신택스는, [2]로부터 알려진 MCTS 추출 정보 SEI에 추가하여 명시적 시그널링(142)의 대응하는 추가를, 강조를 통해 도시하는 도 3의 신택스 예에서 제시되어 있다.

의미론은 하기에서 설명된다.

num_associated_slices_minus2[i] 더하기 2는, 목록 mcts_identifier[i][j]의 임의의 값과 동일한 mcts 식별자를 갖는 MCTS를 포함하는 슬라이스 수를 나타낸다. num_extraction_info_sets_minus1[i]의 값은 0 이상 2³²- 2 이하의 범위 내에 있을 것이다.

output_slice_address[i][j]는, 목록 mcts_identifier[i][j] 내의 임의의 값과 동일한 mcts 식별자를 갖는 MCTS에 속하는 비트스트림 순서에서 j 번째 슬라이스의 슬라이스 어드레스를 식별한다. output_slice_address[i][j]의 값은 0 이상 2³²- 2 이하의 범위 내에 있을 것이다.

MCTS 추출 정보 SEI 내에서의 또는 MTCS 관련 정보(140)에 추가한 정보(142)의 존재는, 데이터 스트림 내의 플래그에 의해 제어될 수 있다는 것을 유의해야 한다. 이 플래그는 slice_reordering_enabled_flag 또는 등등으로 명명될 수 있을 것이다. 설정되면, 정보(140) 외에, num_associated_slices_minus2 및 output_slice_address와 같은 정보(142)가 존재하고, 그렇지 않으며, 정보(142)는 존재하지 않고 슬라이스의 상호 위치 배열은 추출 프로세스에서 고수되거나 또는 달리 핸들링된다.

또한, H.265/HEVC의 명명법을 사용하여, 도 3에 사용되는 신택스 엘리먼트 명칭에서 부분 "_segment_"은 대안적으로 "_segment_address_"에 의해 대체될 수 있지만, 그러나, 기술 내용은 동일하게 유지된다는 것을 유의해야 한다.

더욱이, 비록 정보(142)가 섹션(110) 내의 슬라이스의 수를, 2에 대한 차이의 형태로 이 수를 나타내는 정수의 형태로 나타낸다는 것을 num_associated_slices_minus2가 나타내지만, 섹션(110) 내의 슬라이스의 수는, 대안적으로, 데이터 스트림에서 직접적으로 또는 1에 대한 차이로서 시그널링될 수 있다는 것을 유의해야 한다. 후자의 대안예에서, num_associated_slices_minus1은, 예를 들면, 신택스 엘리먼트 이름으로서 대신 사용될 것이다. 임의의 섹션(110) 내의 슬라이스의 수는 또한, 예를 들면, 하나가 되도록 허용될 수 있다는 것을 유의한다.

[2]에서 지금까지 예상된 MCTS 추출 프로세스에 추가하여, 추가 프로세싱 단계는 도 3에서 구현되는 바와 같이 정보(142)를 통해 명시적인 신호 전달과 관련된다. 이들 추가적인 프로세싱 단계는, 추출기 디바이스(134)에 의해 수행될 추출 프로세스 내에서 슬라이스 어드레스 유도를 용이하게 하고, 이 추출 프로세스의 다음의 개요는, 용이화가 발생하는 곳에 관해 하선(underlining)에 의해 도시한다:

비트스트림 inBitstream, 타겟 MCTS 식별자 mctsIdTarget, 타겟 MCTS 추출 정보 세트 식별자 mctsEISIdTarget 및 타겟 최고 TemporalId 값 mctsTIdTarget를 서브 비트스트림 MCTS 추출 프로세스에 대한 입력인 것으로 한다. 서브 비트스트림 MCTS 추출 프로세스의 출력은 서브 비트스트림 outBitstream이다. 비트스트림과 함께 이 조항(clause)에서 명시되는 프로세스의 출력인 임의의 출력 서브 비트스트림이 적합한 비트스트림이어야 한다는 것이 출력 비트스트림에 대한 비트스트림 적합성의 요건이다.

출력 서브 비트스트림은 다음과 같이 유도된다:

- 비트스트림 outBitstream은 비트스트림 inBitstream과 동일하게 설정된다.

- mctsTIdTarget보다 더 큰 TemporalId를 갖는 모든 NAL 단위를 outBitstream으로부터 제거한다.

- outBitstream에 있는 각각의 액세스 유닛 단위의 각각의 나머지 VCL NAL에 대해, 다음과 같이 슬라이스 세그먼트 헤더를 조정한다:

- 제1 VCL NAL 단위에 대해, first_slice_segment_in_pic_flag의 값을 1과 동일하게 설정하고, 그 외에는 0으로 설정한다.

- 목록 output_slice_address[i][j]에 따라 비트스트림 순서에서 두 번째로 시작하는 제1이 아닌(non-first) NAL 단위(즉, 슬라이스)의 slice_segment_address 값을 설정한다.

도 1 내지 도 3과 관련하여 방금 설명한 실시형태 변형예는, 슬라이스 어드레스의 명시적 신호 전달로서 정보(142)를 사용하는 것에 의해 추출기 디바이스(134)에 의해 수행될 추출 프로세스 및 슬라이스 어드레스 결정의 번거로운 태스크를 완화하였다. 도 3의 특정한 예에 따르면, 정보는, 섹션(110) 내의 슬라이스(108)에 속하는 슬라이스 부분(126)을 데이터 스트림(124')으로부터 데이터 스트림(136)으로 인계함에 있어서 슬라이스 순서를 유지한 상태에서, 슬라이스 부분 순서에서 단지 모든 제2 및 후속하는 슬라이스 부분(126)에 대한 대체 슬라이스 어드레스(143)를 포함하였다. 슬라이스 어드레스 대체물은, 각각, 순서(112)를 사용한 비디오(138) 내의 픽쳐(144)의 픽쳐 영역에서의 1차원 슬라이스 어드레스 할당에 관련되며, 인계되는 슬라이스 부분의 시퀀스로부터 획득되는 슬라이스(108)의 시퀀스를 사용하여 순서(112)에 따라 픽쳐(144)의 픽쳐 영역을 단순히 포장하는 것과 충돌하지 않는다. 명시적 신호 전달은 또한 제1 슬라이스 어드레스에, 즉, 제1 슬라이스 부분(126)의 슬라이스 어드레스에 적용될 수도 있다는 것이 주목되어야 하고, 또한 아래에서 추가로 언급될 것이다. 후자에 대해서도, 대체물(143)은 포메이션(142)에 포함될 수도 있을 것이다. 정보(142)에 대한 그러한 신호 전달은 또한, 도 1에서 묘사되는 바와 같이, 좌상 픽쳐 코너일 수도 있는 코딩 순서(112)의 시작 위치 이외의 그 밖의 다른 곳에서, 섹션(110) 내의 슬라이스(108)를 반송하는 슬라이스 부분(126) 중, 스트림(124') 내의 순서에서 제1 슬라이스 부분(126)에 대응하는 슬라이스(108)의 배치를 가능하게 할 수 있을 것이다. 그러한 가능성이 존재하거나 또는 허용되는 경우, 슬라이스 어드레스의 명시적인 시그널링은, 섹션 영역(110a 및 110b)을 재배열함에 있어서 더 큰 자유도를 허용하기 위해 또한 사용될 수도 있는 한. 예를 들면, 정보(142)가 또한 데이터 스트림(136) 내의 제1 슬라이스 부분(126)에 대한 슬라이스 어드레스 대체물(143), 즉, 도 2의 경우에 α 및 β를 명시적으로 시그널링한다는 점에서 도 3에서 묘사되는 예를 수정함에 있어서, 그 다음, 신호 전달(142)은, 비디오(138)의 출력 픽쳐 내의 섹션 영역(110a 및 110b)의 두 개의 허용된 또는 이용 가능한 배치, 즉, 섹션 영역(110a)이 픽쳐의 좌측 상에 배치되고, 그에 의해 코딩 순서(112)의 시작 위치에서 데이터 스트림(136) 내의 먼저 송신된 슬라이스 부분(126)에 대응하는 슬라이스(108)를 남겨두고 비디오 데이터 스트림(124)이 관련되는 한 비디오(120)의 픽쳐(100) 내에서의 슬라이스 순서에 비교하여 슬라이스(108) 중에서의 순서를 유지하는 하나, 및 섹션 영역(120a)이 픽쳐(144)의 우측 상에 배치되고, 그에 의해, 코딩 순서(112)에 의해 통과되는 픽쳐(144) 내의 슬라이스(108)의 순서를, 코딩 순서(106)에 의해 비디오 데이터 스트림(124) 내의 원래의 비디오에서 그 슬라이스가 통과되는 순서에 비교하여, 변경하는 하나를 구별하는 것을 가능하게 할 것이다. 신호 전달(142)은, 추출기 디바이스(134)에 의한 수정을 위해 사용될 슬라이스 어드레스를, 비디오 데이터 스트림(124') 내의 슬라이스 부분(126)에 정렬되는 또는 할당되는 슬라이스 어드레스(143)의 목록으로서 명시적으로 시그널링한다. 즉, 정보(142)는 이들 슬라이스(108)가 코딩 순서(106)에 의해 통과될 순서로 섹션(110) 내의 각각의 슬라이스에 대한 슬라이스 어드레스를 순차적으로 나타낼 것이고, 이러한 명시적인 신호 전달은, 그 다음, 섹션(110)의 섹션 영역(110a 및 110b)이, 순서(112)에 의해 그들이 통과되는 순서를, 원래의 코딩 순서(106)에 의해 그들이 통과되는 순서에 비교하여, 변경하는 그러한 방식의 순열(permutation)로 이어질 수도 있다. 스트림(124')으로부터 스트림(136)으로 인계되는 슬라이스 부분(126)은, 추출기 디바이스(134)에 의해 상응하게, 즉, 추출된 슬라이스 부분(126)의 슬라이스(108)가 순서(112)에 의해 순차적으로 통과되는 순서를 따르도록, 재정렬될 것이다. 비디오 데이터 스트림(124')으로부터 인계되는 슬라이스 부분(126)이 코딩 순서(112)에 따라, 즉, 추출 프로세스에서 추출기 디바이스(134)에 의해 요구될 때 슬라이스 어드레스 α 및 β를 단조 증가시키면서, 서로를 엄격히 따라야 하는 감소된 또는 추출된 비디오 데이터 스트림(136)의 표준 적합성이 따라서 유지될 것이다. 따라서, 추출기 디바이스(134)는, 코딩 순서(112)를 따라 그 안으로 인코딩되는 슬라이스(108)의 순서에 따라 인계되는 슬라이스 부분(126)을 정렬하도록 인계 슬라이스 부분(126) 사이의 순서를 수정할 것이다.

후자의 양태, 즉, 인계되는 슬라이스 부분(126)의 슬라이스(108)를 재배열하는 가능성은, 도 2의 설명의 추가 변형예에 따라 활용된다. 여기서, 제2 정보(142)는, 섹션(110) 내의 임의의 슬라이스(108)를 그 안으로 인코딩한 슬라이스 부분(126) 중에서의 순서의 재배열을 시그널링한다. 슬라이스 부분의 재배열을 초래하는 방식으로 슬라이스 어드레스 대체물(143)을 명시적으로 시그널링하는 것은, 현재 설명되는 실시형태에 대한 하나의 가능성이다. 그러나, 추출된 또는 감소된 비디오 데이터 스트림(136) 내에서 슬라이스 부분(126)의 재배열은, 정보(142)에 의해 상이한 방식으로 시그널링될 수도 있다. 본 실시형태는, 디코더(146)가 슬라이스 부분(126)으로부터 재구성되는 재구성된 슬라이스를 코딩 순서(112)를 따라 엄격하게 배치하는 것에서 종료되는데, 이것은, 예를 들면, 타일 래스터 스캔 순서를 사용하고, 그에 의해, 픽쳐(144)의 픽쳐 영역을 채우는 것을 의미한다. 신호 전달(142)에 의해 시그널링되는 재배열은, 디코더(146)에 의한 배치가, 어쩌면, 영역(110a 및 110b)과 같은 섹션 영역이 슬라이스 부분을 재배열하지 않는 것과 비교하여 그들의 순서를 변경하는 것으로 나타날 수도 있도록, 추출된 또는 인계된 슬라이스 부분(126) 사이의 순서를 재배열 또는 변경하기 위한 방식으로 선택되었다. 정보(142)에 의해 시그널링되는 재배열이 그것이 데이터 스트림(124')에서 원래 있었던 순서를 벗어나면, 섹션 영역(110a 및 110b)은, 픽쳐(110)의 원래 픽쳐 영역에서 그들이 있었던 상대적 위치를 유지할 수도 있다.

현재의 변형예를 설명하기 위해, 도 4에 대한 참조가 이루어진다. 도 4는 원래의 비디오의 픽쳐(110) 및 추출된 비디오의 픽쳐(144)의 픽쳐 영역을 도시한다. 또한, 도 4는 타일(104)로의 예시적인 타일 구획화 및 두 개의 분리된 섹션 영역 또는 구역(110a 및 110b), 즉, 여기서는, 변(side)(150_r 및 150_l)의 추출 방향이 관련되는 한, 즉, 수직 방향을 따르는 한, 그들의 위치에서 일치하는 픽쳐(110)의 대향하는 변(150_r 및 150_l)에 인접하는 섹션 영역(110a 및 110b)으로 구성되는 예시적인 추출 섹션(110)을 도시한다. 특히, 도 4는 픽쳐(110)의 픽쳐 콘텐츠, 따라서 픽쳐(110)가 자신의 일부인 비디오가 소정의 타입, 즉 3D 장면을 픽쳐(110)의 픽쳐 영역 상으로 투영함에 있어서 변(150_r 및 150_l)이 장면을 형성하도록 파노라마식 비디오를 갖는다는 것을 예시한다. 픽쳐(110) 아래에서, 도 4는 추출된 비디오의 픽쳐(144)의 출력 픽쳐 영역 내에 섹션(110a 및 110b)을 배치하는 방법의 두 가지 옵션을 도시한다. 다시, 타일 이름은 두 개의 옵션을 예시하기 위해 도 4에서 사용된다. 두 개의 옵션은, 두 개의 영역(110a 및 110b)의 각각과 관련한 외부와 독립적으로 코딩이 발생하도록 하는 방식으로 비디오(210)가 스트림(124)으로 코딩되는 것으로부터 유래한다. 도 4에서 도시되는 두 개의 허용된 옵션에 더하여, 구역(110a 및 110b)의 각각이 두 개의 타일로 세분화되고, 이어서, 그 각각 내에서, 비디오가 외부와는 독립적으로 스트림(124)으로 인코딩되면, 즉, 도 4의 각각의 타일이, 그 자체로, (공간적 및 시간적 상호 의존성과 관련하여) 독립적으로 코딩된 또는 추출 가능한 부분이면, 두 개의 추가적인 옵션이 존재할 수도 있을 것이다는 것을 유의해야 한다. 그 다음, 두 개의 옵션은 섹션(110)에서 타일 a, b, c 및 d를 상이하게 스크램블링하는 것에 대응한다.

다시, 도 4와 관련하여 이제 설명되는 실시형태는, 슬라이스(108)를 반송하는, 데이터 스트림(124')의 NAL 단위 또는 슬라이스(108)가, 추출 디바이스(134)에 의한 추출 프로세스 동안, 데이터 스트림(124')으로부터 추출된 또는 감소된 비디오 데이터 스트림(136)을 향해 전달되는 또는 채택되는 또는 기록되는 순서를 변경하는 제2 정보(142)를 갖는 것을 목표로 한다. 도 4는, 소망되는 픽쳐 서브섹션(110)이 픽쳐(110)에 의해 걸쳐지는 픽쳐 평면 내의 비 인접 타일 또는 섹션 영역(110a 및 110b)으로 구성되는 경우를 예시한다. 픽쳐(110)의 이 완전한 코딩된 픽쳐 평면은, 도 4의 상부에서, 타일 a, b, c 및 d를 포함하는 두 개의 직사각형(110a 및 110b)으로 구성되는 소망되는 MCTS(110)와의 자신의 타일 경계를 가지면서 도시되어 있다. 장면 콘텐츠가 관련되는 한, 또는 도 4에서 도시되는 비디오 콘텐츠가 파노라마식 비디오 콘텐츠이다는 사실로 인해, 픽쳐(110)가, 여기서 예시적으로 예시되는 등장방형 투영에 의해, 카메라 주변을 360°에 걸쳐 커버할 때, 소망되는 MCTS(110)는 좌측 및 우측 경계(150_r 및 150_l) 주위를 둘러싼다. 다시 말하면, 픽쳐 콘텐츠가 파노라마식 콘텐츠인 도 4의 예시된 사례로 인해, 출력 픽쳐(144)의 픽쳐 영역 내에서의 섹션 영역(110a 및 110b)의 배치의 옵션 1 및 2 중에서, 제2 옵션은 실제로 더 의미가 있을 것이다. 그러나, 픽쳐 콘텐츠가 비파노라마식과 같은 다른 타입을 갖는 경우, 사정은 상이할 수 있다.

다시 말하면, 완전한 픽쳐 비트 스트림(124')에서의 타일 A, B, C 및 D의 순서는 {a, b, c, d}이다. 이 순서가 추출된 또는 감소된 비디오 데이터 스트림(136)에서의 또는 출력 픽쳐(144)에서의 대응하는 타일의 배치에서의 코딩 순서 상으로 단순히 전송된다면, 추출 프로세스는, 도 4의 좌하(bottom left) 상에서 도시되는 바와 같이, 그 자체로, 상기의 예시적인 사례의 출력된 비트 스트림(136) 내에서 바람직한 데이터 배열로 나타나지 않을 것이다. 도 4의 우하에서 도시되는 바와 같이, 바람직한 배열 {b, a, d, c}가 도시되는데, 이것은, 디코더(146)와 같은 레거시 디바이스에 대한 픽쳐(144)의 픽쳐 평면에 걸쳐 연속적인 픽쳐 콘텐츠를 산출하는 비디오 비트 스트림(136)으로 나타난다. 그러한 레거시 디바이스(146)는, 디코딩, 즉, 렌더링 이후 픽셀 도메인에서 프로세싱 이후 단계로서 출력 픽쳐(144)의 서브 픽쳐 영역을 재배열하는 능력을 가지지 않을 수도 있고, 심지어 정교한 디바이스조차도 프로세싱 이후 노력을 방지하는 것을 선호할 수도 있다.

따라서, 도 4와 관련하여 상기에서 유도되는 예에 따르면, 제2 정보(142)는, 예를 들면, 하나 이상의 타일의 세트로 구성되는 섹션 영역(110a, 110b) 각각이, 비디오 데이터 스트림(124') 내에서, 추출된 또는 감소된 비디오 데이터 스트림(136) 또는 그것의 픽쳐(144)에 의해 걸쳐지는 그것의 픽쳐 영역에서 배열되어야 하는 바람직한 순서를, 비디오 데이터 스트림 생성기(128)의 인코딩 측이, 각각, 여러 가지 선택권 또는 옵션 중에서, 시그널링하기 위한 수단을 제공한다. 도 5에 제시되는 특정한 신택스 예에 따르면, 제2 정보(142)는 데이터 스트림(124')으로 코딩되는 목록을 포함하고, 추출된 비트스트림 내의 섹션(110)에 속하는 각각의 슬라이스(108)의 위치를 원래의 또는 입력 비트 스트림 순서로, 즉 비트 스트림(124')에서의 그들의 발생의 순서로 나타낸다. 예를 들면, 도 4의 예에서, 바람직한 옵션 2는 {1, 0, 3, 2}를 판독하는 목록으로 끝날 것이다. 도 5는, MCTS 추출 정보 세트 SEI 메시지 내에 제2 정보(142)를 포함하는 신택스에 대한 구체적인 예를 예시한다.

의미론은 다음과 같을 것이다.

num_associated_slices_minus1[i] 더하기 1은, 목록 mcts_identifier[i][j]의 임의의 값과 동일한 mcts 식별자를 갖는 MCTS를 포함하는 슬라이스의 수를 나타낸다. num_extraction_info_sets_minus1[i]의 값은 0 이상 2³²- 2 이하의 범위 내에 있을 것이다.

output_slice_order[i][j]는, 출력 비트 스트림의 목록 mcts_identifier[i][j] 내의 임의의 값과 동일한 mcts 식별자를 갖는 MCTS에 속하는 비트 스트림 순서에서 j 번째 슬라이스의 절대 위치를 식별한다. output_slice_order[i][j]의 값은 0 이상 2²³- 2 이하의 범위 내에 있을 것이다.

[2]에 정의된 추출 프로세스의 추가적인 프로세싱 단계가 다음에 설명되고 도 5의 시그널링 실시형태의 이해를 용이하게 하는데, 여기서 [2]에 대한 추가 사항은 하선에 의해 강조된다:

비트스트림 inBitstream, 타겟 MCTS 식별자 mctsIdTarget, 타겟 MCTS 추출 정보 세트 식별자 mctsEISIdTarget 및 타겟 최고 TemporalId 값 mctsTIdTarget를 서브 비트 스트림 MCTS 추출 프로세스에 대한 입력인 것으로 한다.

서브 비트스트림 MCTS 추출 프로세스의 출력은 서브 비트스트림 outBitstream이다.

비트 스트림과 함께 이 조항에서 명시되는 프로세스의 출력인 임의의 출력 서브 비트 스트림이 적합한 비트 스트림이어야 한다는 것이 입력 비트스트림에 대한 비트스트림 적합성의 요건이다.

OutputSliceOrder[j]는 i 번째 추출 정보 세트에 대한 목록 output_slice_order[i][j]로부터 유도된다.

출력 서브 비트스트림은 다음과 같이 유도된다:

[...]

- 목록 OutputSliceOrder[j]에 따라 각각의 액세스 유닛의 NAL 단위을 정렬한다.

- outBitstream의 각각의 나머지 VCL NAL 단위에 대해, 다음과 같이 슬라이스 세그먼트 헤더를 조정한다:

- 각각의 액세스 유닛 내의 제1 VCL NAL 단위의 경우, first_slice_segment_in_pic_flag의 값을 1로 설정하고, 그 외에는 0으로 설정한다.

- slice_pic_parameter_set_id와 동일한 pps_pic_parameter_set_id를 갖는 PPS에서 정의되는 타일 셋업에 따라 slice_segment_address의 값을 설정한다.

따라서, 도 5에 따른 도 2의 실시형태의 상기의 변형예를 요약하면, 이 변형예는, 제2 정보(142)가 슬라이스 어드레스가 어떻게 수정될 것인지에 관해 명시적으로 신호하지 않는다는 점에서, 도 3과 관련하여 상기에서 논의되는 것과는 상이하다. 즉, 제2 정보(142)는, 방금 개설된 변형예에 따라, 데이터 스트림(124)으로부터 추출되는 슬라이스 부분의 슬라이스 어드레스에 대한 대체물(substitute)을 데이터 스트림(136)으로 명시적으로 시그널링하지 않는다. 오히려, 도 5의 실시형태는, 제1 정보(140)가 픽쳐(100)의 픽쳐 영역 내의 공간 섹션(110)을, 적어도, 제1 섹션 영역(100a) 외부와는 독립적인 비디오 데이터 스트림(124')으로 비디오가 인코딩되는 제1 섹션 영역, 및 제2 섹션 영역(110b) 외부와는 독립적인 비디오 데이터 스트림(124')으로 비디오(120)가 코딩되는 제2 섹션 영역(110b)으로 구성되는 것으로 정의하되, 복수의 슬라이스(108) 중 어느 것도 제1 및 제2 섹션 영역(110a 및 110b) 중 임의의 것의 경계를 가로지르지 않는 경우에 관련되고; 적어도 이들 영역(110a 및 110b)의 단위에서, 추출된 비디오 데이터 스트림(136)의 출력 비디오(138)의 픽쳐(144)는, 상이하게 구성될 수도 있고, 따라서, 두 개의 옵션을 산출하고, 도 5와 관련하여 상기에서 논의되는 변형예에 따라, 제2 정보(142)는, 슬라이스 부분의 순서 및 비디오 데이터 스트림(124')과 관련하여 비디오 데이터 스트림(124')으로부터 감소된 비디오 데이터 스트림(136)을 추출함에 있어서 섹션(110)에 위치되는 슬라이스(108)의 슬라이스 부분(126)을 재정렬하는 방법에 관한 재정렬 정보를 시그널링한다. 재정렬 정보(142)는, 예를 들면, 하나 이상의 신택스 엘리먼트의 세트를 포함할 수도 있다. 정보(142)를 형성하는 하나 이상의 신택스 엘리먼트에 의해 시그널링될 수도 있는 가능한 상태 중에서, 하나의 상태가 존재할 수도 있고 그 하나의 상태에 따라 재정렬은 원래의 순서를 유지한다. 예를 들면, 정보(142)는, 섹션(110)에 속하는 픽쳐(100)의 슬라이스(108) 중 하나를 코딩하는 각각의 슬라이스 부분(126)에 대한 순위(도 5의 141과 비교)를 시그널링하고, 추출기 디바이스(134)는 이들 순위에 따라 추출된 또는 감소된 비디오 데이터 스트림(136) 내의 슬라이스 부분(126)을 재배열한다. 그 다음, 추출기 디바이스(134)는 다음과 같은 방식으로 감소된 또는 추출된 비디오 데이터 스트림(136) 내의 이렇게 재배열된 슬라이스 부분(126)의 슬라이스 어드레스를 수정한다: 추출기 디바이스(134)는, 데이터 스트림(124')으로부터 데이터 스트림(136)으로 추출된, 비디오 데이터 스트림(124') 내의 슬라이스 부분(126)에 대해 알고 있다. 따라서, 추출기 디바이스(134)는 픽쳐(100)의 픽쳐 영역 내의 이들 인계된 슬라이스 부분(126)에 대응하는 슬라이스(108)에 대해 알고 있다. 정보(142)에 의해 제공되는 재배열 정보에 기초하여, 추출기 디바이스(134)는, 비디오(138)의 픽쳐(144)에 대응하는 직사각형 픽쳐 영역으로 나타나기 위한 병진 방식으로 섹션 영역(110a 및 110b)이 어떻게 상호 시프트되었는지에 관해 결정할 수 있다. 예를 들면, 도 4의 예시적인 경우, 옵션 2에서, 추출기 디바이스(134)는, 슬라이스 어드레스 0이 제2 정보(142)에서 제공되는 바와 같이 순위의 목록에서 제2 위치에서 발생하기 때문에, 슬라이스 어드레스 0을 타일 b에 대응하는 슬라이스에 할당한다. 따라서, 추출기 디바이스(134)는 타일 b에 속하는 하나 이상의 슬라이스를 배치할 수 있고, 그 다음, 코딩 순서(112)에 따라, 픽쳐 영역에서 타일 b를 바로 뒤따르는 위치를 가리키는 슬라이스 어드레스와, 재분류 정보에 따라, 관련되는 다음 슬라이스로 후속시킬 수 있다. 도 4의 예에서, 이것은 타일 a에 관한 슬라이스인데, 다음 순위 지정된 위치가 픽쳐(100)의 섹션(110)에서의 제1 슬라이스 a에 대해 나타내어지기 때문이다. 다시 말하면, 재정렬은 섹션 영역(110a 및 110b)의 가능한 재배열 중 임의의 것으로 이어지도록 제한된다. 각각의 섹션 영역에 대해, 개별적으로, 코딩 순서(106 및 112)가 동일한 경로에서 각각의 섹션 영역을 통과한다는 것은 유효하다. 그러나, 타일화에 기인하여, 픽쳐(144)의 픽쳐 영역 내의 섹션 영역(110a 및 110b)에 대응하는 영역, 즉 한편으로는 타일 b 및 d의 조합 및 다른 한편으로는 타일 A 및 C의 조합의 영역은, 옵션 2의 경우, 코딩 순서(112)에 의해 인터리브식 방식(interleaved manner)으로 통과될지도 모르고 그리고, 따라서, 대응하는 타일 내에 놓이는 슬라이스를 인코딩하는 관련된 슬라이스 부분(126)이 추출된 또는 감소된 비디오 스트림(136) 내에서 인터리브될지도 모른다.

또 다른 실시형태는, 현존하는 신택스를 사용하여 시그널링되는 추가 순서가 바람직한 출력 슬라이스 순서를 반영한다는 보장을 시그널링하는 것이다. 더 구체적으로, 이 실시형태는, MCTS 추출 SEI 메시지 [2]의 발생을, [1]에서의 섹션 D.2.29 및 E.2.29로부터 MCTS SEI 메시지에서 MCTS를 형성하는 직사각형의 순서가 타일/NAL 단위의 바람직한 출력 순서를 나타낸다는 보장으로서 해석하는 것에 의해, 구현될 수 있을 것이다. 도 5의 구체적인 예에서, 그것은 순서 {b, a, d, c}의 각각의 포함된 타일에 대해 직사각형을 사용하는 것으로 나타날 것이다. 이 실시형태에 대한 예는, OutputSliceOrder[j]의 유도를 제외하면, 상기의 것과 동일할 것이다, 예를 들면, OutputSliceOrder[j]는 MCTS SEI 메시지에서 시그널링되는 직사각형의 순서로부터 유도된다.

상기의 예를 요약하면, 제2 정보(142)는, 비디오 데이터 스트림(124')의 슬라이스 부분의 시퀀스에서 슬라이스 부분(126)이 어떻게 정렬되는지와 관련하여, 비디오 데이터 스트림으로부터 감소된 비디오 데이터 스트림(136)을 추출함에 있어서 공간 섹션(110)에 속하는 슬라이스의 슬라이스 부분(126)을 재정렬하는 방법을 추출기(134)로 시그널링할 수 있고, 비디오 데이터 스트림(124')의 슬라이스 부분의 시퀀스의 각각의 슬라이스 부분(126)의 슬라이스 어드레스는, 픽쳐 영역을 통과하는 그리고 픽쳐(100)가 비디오 데이터 스트림의 슬라이스 부분의 시퀀스로 코딩될 때 따랐던 제1 코딩 스캔 순서(106)를 따라 각각의 슬라이스 부분(126)으로 인코딩되는 슬라이스(108)의 코딩 시작의 위치를 일차원적으로 인덱싱한다. 그에 의해, 비디오 데이터 스트림(124') 내의 슬라이스 부분의 시퀀스의 슬라이스 부분의 슬라이스 어드레스는 단조 증가하고, 비디오 데이터 스트림(124')으로부터 감소된 비디오 데이터 스트림(136)의 추출에서 슬라이스 어드레스를 수정하는 것은, 감소된 비디오 데이터 스트림(136)이 한정되는 그리고 감소된 픽쳐 영역을 통과하는 제2 코딩 스캔 순서(112)를 따라, 제2 정보(142)에 의해 시그널링될 때 재정렬되는 슬라이스 부분 안으로 인코딩되는 슬라이스를 순차적으로 배치하는 것 및 제2 코딩 스캔 순서(112)를 따라 측정되는 슬라이스의 코딩 시작의 위치를 인덱싱하도록 슬라이스 부분(126)의 슬라이스 어드레스를 설정하는 것에 의해 정의된다. 제1 코딩 스캔 순서(106)는, 각각의 공간 영역이 제2 코딩 스캔 순서(112)에 의해 어떻게 통과되는지와 일치하는 방식으로 적어도 두 개의 섹션 영역의 세트의 각각 내의 픽쳐 영역을 통과한다. 적어도 두 개의 섹션 영역의 세트의 각각은, 제1 정보(140)에 의해, 픽쳐(100)가 세분화되는 행과 열로의 직사각형 타일의 서브어레이로서 나타내어지는데, 제1 및 제2 코딩 스캔 순서는, 다음 타일로 진행하기 이전에 현재의 타일을 완전히 통과하는 행 단위의 타일 래스터 스캔을 사용한다.

상기에서 이미 설명된 바와 같이, 출력 슬라이스 순서는, 상기에서 설명되는 바와 같이, output_slice_address[i][j]와 같은 다른 신택스 엘리먼트로부터 유도될 수도 있다. 이 경우 output_slice_address[i][j]에 관한 상기의 예시적인 신택스에 대한 중요한 추가 사항은, 정렬을 가능하게 하는 제1을 포함하는 모든 관련된 슬라이스에 대해 슬라이스 어드레스가 시그널링된다는 것이다, 즉, num_associated_slices_minus2[i]가 num_associated_slices_minus1[i]가 된다는 것이다. 이 실시형태의 예는, OutputSliceOrder[j]의 유도를 제외하면 상기의 것과 동일할 것이다, 예를 들면, OutputSliceOrder[j]는 i 번째 추출 정보 세트에 대한 목록 output_slice_address[i][j]로부터 유도된다.

더욱 또 다른 실시형태는, 비디오 콘텐츠가 픽쳐 경계, 예를 들면, 수직 픽쳐 경계의 세트에서 주위를 둘러싸는 것을 나타내는 정보(142)에 대한 단일의 플래그로 구성될 것이다. 따라서, 앞서 개설되는 바와 같은 픽쳐 경계 둘 모두 상의 타일을 포함하는 픽쳐 서브섹션을 수용하는 출력 순서는 추출기(134)에서 유도된다. 다시 말하면, 정보(142)는 두 개의 옵션 중 하나를 시그널링할 수 있다: 복수의 옵션 중 제1 옵션은, 비디오가, 픽쳐의 상이한 에지 부분이 장면에서 서로 접하는 방식으로 장면을 나타내는 파노라마 비디오이다는 것을 나타내고, 복수의 옵션 중 제2 옵션은, 상이한 에지 부분이 장면에서 서로 접하지 않는다는 것을 나타낸다. 섹션(110)을 구성하는 적어도 두 개의 섹션 영역(a, b, c, d)은, 상이한 에지 부분, 즉, 좌측 및 우측 에지(150r 및 150l) 중 상이한 것에 이웃하는 제1 및 제2 구역(110a, 110b)으로 구성되고, 그 결과, 제2 정보(142)가 제1 옵션을 시그널링하는 경우, 감소된 픽쳐 영역은, 제1 및 제2 구역이 상이한 에지 부분을 따라 접하도록 적어도 두 개의 섹션 영역의 세트를 합치는(put together) 것에 의해 구성되고, 제2 정보(142)가 제2 옵션을 시그널링하는 경우, 감소된 픽쳐 영역은, 제1 및 제2 구역이 서로로부터 멀어지게 향하는 상이한 에지 부분을 갖는 상태로 적어도 두 개의 섹션 영역의 세트를 합치는 것에 의해 구성된다.

완전성만을 위해, 픽쳐(144)의 픽쳐 영역의 형상은, 도 1의 (a, c, b, d)와 같은 임의의 연결된 클러스터의 상대적 배열을 유지하는 방식으로 섹션(110)의 타일 a, b, c 및 d와 같은 다양한 영역을 함께 스티칭하는 것, 또는 도 2의 수평 스티칭 구역 (a,c) 및 (b,d)와 같은 가장 짧은 가능한 상호 연결 방향을 따라 임의의 그러한 클러스터를 스티칭하는 것으로 따르도록 제한되지는 않는다는 것을 유의해야 한다. 오히려, 예를 들면, 도 1에서, 추출된 데이터 스트림의 픽쳐의 픽쳐 영역은 네 개의 영역 모두의 열일 수 있을 것이고, 도 2에서 그것은 네 개의 영역 모두의 행의 열일 수 있을 것이다. 일반적으로, 비디오(138)의 픽쳐(144)의 픽쳐 영역의 사이즈 및 형상은 상이한 부분에서 데이터 스트림(124')에 존재할 수 있을 것이다: 예를 들면, 스트림(124')으로부터 섹션 고유의 서브스트림(136)을 추출할 때 파라미터 세트의 적응과 관련하여 추출기(134)에서의 추출 프로세스를 안내하는 것을 목표로 하기 위해, 이 정보는 정보(140) 내의 하나 이상의 파라미터의 형태로 주어질 수 있을 것이다. 스트림(124')에서 파라미터 세트를 대체하기 위한 중첩된 파라미터 세트는, 예를 들면, 정보(140)에 포함될 수 있는데, 이 파라미터 세트는, 예를 들면, 픽쳐(144)의 사이즈 및 형상을, 예를 들면, 픽셀 단위로 나타내는 픽쳐 사이즈에 관련이 있는 파라미터를 포함하고, 그 결과, 추출기(134)에서의 추출 동안 스트림(124')의 파라미터 세트의 대체는, 픽쳐(100)의 사이즈를 나타내는 파라미터 세트에서의 예전(old) 파라미터를 덮어쓰기한다. 그러나, 추가적으로 또는 대안적으로, 픽쳐(144)의 픽쳐 사이즈는 정보(142)의 일부로서 나타내어질지도 모른다. 정보(142)와 같은 쉽게 판독 가능한 하이 레벨 신택스 엘리먼트(High Level Syntax element)에서 픽쳐(144)의 형상을 명시적으로 시그널링하는 것은, 슬라이스 어드레스가 정보(142)에서 명시적으로 제공되지 않는 경우에 특히 유리할 수도 있을 것이다. 그 다음, 중첩된 파라미터 세트를 신택스 파싱하여 어드레스를 유도하는 것이 필요로 될 것이다.

또한, 더욱이 정교한 시스템 셋업에서, 입체 투영(cubic projection)이 사용될 수도 있다는 것을 또한 유의해야 한다. 이 투영은, 크게 변하는 샘플링 밀도와 같은 등장방형 투영(equirectangular projection)의 알려진 약점을 방지한다. 그러나, 입체 투영을 사용할 때 콘텐츠(또는 그 서브섹션)로부터 연속적인 뷰포트를 재생성하기 위해서는, 렌더링 스테이지가 필요하다. 그러한 렌더링 스테이지는, 다양한 복잡성/성능 절충에 도달할 수도 있다, 즉, 몇몇 실행 가능하고 기성품의 렌더링 모듈이 콘텐츠(또는 그 서브섹션)의 주어진 배열을 예상할 수도 있다. 그러한 시나리오에서, 다음의 발명을 통해 가능하게 되는 바와 같은 배열을 조종할 가능성이 중요하다.

이하에서, 본 출원의 제2 양태에 관련이 있는 실시형태가 설명된다. 본 출원의 제2 양태의 실시형태의 설명은, 이들 실시형태에 의해 구상되고 해결되는 일반적인 이슈 또는 문제점에 대한 간략한 소개로 다시 시작된다.

360° 비디오의 그러나 이것으로 제한되지는 않는 맥락에서 MCTS 추출에 대한 흥미로운 사용 사례는, 도 6에서 예시되는 바와 같은 픽쳐 평면 상에서 서로의 옆에 다수의 해상도 변형의 콘텐츠를 포함하는 복합 비디오이다. 도 6의 하단 부분은, 다수의 해상도를 갖는 합성 비디오(composition video)(300)를 묘사하고, 라인(302)은, 고해상도 비디오(306) 및 저해상도 비디오(308)의 합성이 대응하는 데이터 스트림으로의 인코딩을 위해 세분화된 타일(304)의 타일 경계를 예시한다.

더 정확하게 말하면, 도 6은 306에서 고해상도 비디오 중의 픽쳐를 그리고 308에서 저해상도 비디오의 동시 시간의 픽쳐와 같은 픽쳐를 도시한다. 예를 들면, 비디오(306 및 308) 둘 모두는 정확히 동일한 장면을 도시한다, 즉, 동일한 모습 또는 시야, 그러나 상이한 해상도를 갖는다. 그러나, 시야는, 대안적으로, 단지 부분적으로 서로 중첩될 수도 있고, 중첩 구역에서 공간 해상도는 비디오(308)와 비교하여 비디오(306)의 픽쳐의 상이한 수의 픽쳐 샘플에서 그 자체를 나타낸다. 사실상, 비디오(306 및 308)는 충실도, 즉 동일한 장면 섹션에 대한 샘플 또는 픽셀의 수가 상이하다. 비디오(306 및 308)의 같은 곳에 위치되는(co-located) 픽쳐는, 나란히 더 큰 픽쳐로 구성되어 합성 비디오(300)의 픽쳐로 나타나게 된다. 예를 들면, 도 6은, 비디오의 308 개의 픽쳐가 수평으로 반분되고(halved), 두 개의 절반부(halve)는 하나가 다른 것의 상부에 있고, 대응하는 비디오(300)에서 나타나도록 비디오(306)의 동시 시간 픽쳐의 우측에 부착된다. 타일화는, 한편으로는 고해상도 픽쳐의 비디오(306)와 다른 한편으로는 저해상도 비디오(308)로부터 유래하는 픽쳐 콘텐츠 사이의 접합부를 어떠한 타일(304)도 교차하지 않는 방식으로 수행된다. 도 6의 예에서, 픽쳐(300)의 타일화는, 비디오(300)의 픽쳐의 고해상도 픽쳐 콘텐츠가 구획화되는 8×4 타일, 및 저해상도 비디오(308)로부터 유래하는 절반부의 각각이 구획화되는 2×2 타일로 이어진다. 전체적으로, 비디오(300)의 픽쳐는 10×4 폭이다.

그러한 다중 해상도 합성 비디오(300)가 적절한 방식으로 MCTS를 사용하여 인코딩될 때, MCTS 추출은 콘텐츠의 변형(312)을 산출할 수 있다. 그러한 변형(312)은, 예를 들면, 복합 픽쳐 비트 스트림 내의 MCTS(310)가 세 개의 양태 또는 별개의 영역(310a, 310b, 310c)에 비교되는 도 7에서 묘사되는 바와 같이 미리 정의된 서버 픽쳐(310a)를 고해상도로 그리고 장면의 나머지 또는 다른 서브섹션을 저해상도로 묘사하도록 설계될 수 있다.

즉, 추출된 비디오의 픽쳐, 즉 픽쳐(312)는 세 개의 필드(314a, 314b 및 314c)를 가지는데, 각각은 MCTS 영역(310a, 310b, 310c) 중 하나에 대응하고, 영역(310a)은 픽쳐(300)의 고해상도 픽쳐 영역의 서브영역이고, 다른 두 개의 영역(310b, 310c)은 픽쳐(308)의 저해상도 비디오 콘텐츠의 서브영역이다.

이것을 말하였기 때문에, 도 8과 관련하여, 본 출원의 제2 양태에 관한 본 출원의 실시형태가 설명된다. 다시 말하면, 도 8은 다중 해상도 콘텐츠를 수신측 사이트, 특히, 수신 사이트에 이르기까지 상이한 해상도의 다수의 버전의 생성에 참여하는 개개의 사이트에 제시하는 시나리오를 도시한다. 도 8에서 묘사되는 프로세스 경로를 따라 다양한 사이트에 배열되는 개개의 디바이스 및 프로세스는 개개의 디바이스 및 방법을 나타내며, 따라서, 도 8은, 시스템 또는 전체 방법만을 예시하는 것으로 해석되어서는 안된다는 것을 유의해야 한다. 개개의 디바이스 및 방법을 마찬가지로 도시하는 도 2와 관련하여 유사한 진술이 적용된다. 이들 사이트 모두를 하나의 도면에서 함께 도시하는 이유는, 단지, 이들 도면과 관련하여 설명되는 실시형태로부터 유래하는 상호 관계 및 이점의 이해를 용이하게 하기 위한 것이다.

도 8은 픽쳐(334)의 비디오(332)를 그 안으로 인코딩한 비디오 데이터 스트림(330)을 도시한다. 다른 한편, 픽쳐(334)는, 고해상도 비디오(338)의 동시 시간 픽쳐(336) 및 저해상도 비디오(342)의 픽쳐(340)를 함께 스티칭하는 것의 결과이다. 더욱 정확하게는, 비디오(338 및 342)의 픽쳐(336 및 340)는, 정확히 동일한 뷰 포트(344)에 대응하거나 또는 중첩 영역에서 동일한 장면을 나타내기 위해 적어도 부분적으로 중첩되는데, 그러나, 대응하는 저해상도 픽쳐(340)와 동일한 장면 콘텐츠를 샘플링하는 고해상도 비디오 픽쳐(336)의 샘플의 수는 더 높고, 따라서, 픽쳐(336)의 장면 해상도의 충실도는 픽쳐(340)의 것들보다 더 높다. 비디오(338 및 342)에 기초한 합성 비디오(332)의 픽쳐(334)의 합성은 합성기(composer)(346)에 의해 수행된다. 합성기(346)는 픽쳐(336 및 340)를 함께 스티칭한다. 그렇게 함에 있어서, 합성기(346)는, 합성 비디오(332)의 픽쳐(334)의 픽쳐 영역의 유리한 채움(filling) 및 패칭(patching)으로 귀결되기 위해, 고해상도 비디오(338)의 픽쳐 또는 저해상도 비디오의 픽쳐(340) 또는 둘 모두를 세분화할 수도 있다. 그 다음, 비디오 인코더(348)는 합성 비디오(332)를 비디오 데이터 스트림(330)으로 인코딩한다. 비디오 데이터 스트림(330)으로 코딩될 때, 픽쳐(334), 또는 각각의 픽쳐 또는 비디오(332), 또는 비디오(332) 내의 픽쳐의 소정의 시퀀스 내의 각각의 픽쳐 또는 비디오(332)가 공통 장면 콘텐츠를 한 번보다 더 많이, 즉, 상이한 공간 부분에서 상호 상이한 해상도에서 나타낸다는 것을 나타내는 신호 전달(352)을 비디오 데이터 스트림(330)에 제공하기 위해, 비디오 데이터 스트림 생성 장치(350)는 비디오 인코더(348)에 포함될 수도 있거나 또는 비디오 인코더(348)의 출력에 연결될 수도 있다. 이들 부분은 합성기(346)에 의해 행해지는 합성에 의해 그들의 원천(origin)을 나타내기 위해 H 및 L을 사용하여 도 8에서 예시되며 참조 부호 354 및 356을 사용하여 나타내어진다. 픽쳐(332)의 콘텐츠를 형성하기 위해 두 개보다 더 많은 상이한 해상도 버전이 합쳐졌을 수도 있고, 도 8 및 도 6 및 도 7에서 각각 묘사되는 바와 같은 두 개의 버전의 사용은 단지 예시의 목적을 위한 것이다는 것을 유의해야 한다.

도 8은 예시 목적을 위해 비디오 데이터 스트림(330)을 수신하는 비디오 데이터 스트림 프로세서(358)를 도시한다. 비디오 데이터 스트림 프로세서(358)는, 예를 들면, 비디오 디코더일 수 있을 것이다. 어느 경우든, 비디오 데이터 스트림 프로세서(358)가, 예를 들면, 비디오 데이터 스트림 프로세서(358)의 소정의 성능 또는 그 하류에 연결되는 디바이스에 추가로 의존하여 비디오 데이터 스트림(330)을 디코딩하는 것과 같은 프로세싱을 시작해야 하는지 또는 그렇지 않아야 하는지의 여부를 신호 전달에 기초하여 결정하기 위해, 비디오 데이터 스트림 프로세서(358)는 이 신호 전달(352)을 검사할 수 있다. 예를 들면, 비디오 데이터 스트림 프로세서(358)는, 단지, 비디오 데이터 스트림(330)으로 코딩되는 픽쳐(332)를 완전히 제시할 수 있고, 그 다음, 비디오 데이터 스트림 프로세서(358)는 비디오 데이터 스트림(330)의 프로세싱을 거부할 수도 있는데, 비디오 데이터 스트림(330)의 신호 전달(352)은, 비디오 데이터 스트림(330)의 개개의 픽쳐가 이들 개개의 픽쳐의 상이한 공간 부분에서 공통 장면 콘텐츠를 상이한 공간 해상도에서 도시한다는 것을 나타낸다, 즉, 신호 전달(352)은, 비디오 데이터 스트림(330)이 다중 해상도 비디오 데이터 스트림이다는 것을 나타낸다.

신호 전달(352)은, 예를 들면, 데이터 스트림(330) 내에서 전달되는 플래그를 포함할 수도 있는데, 플래그는 제1 상태와 제2 상태 사이에서 전환 가능하다. 제1 상태는, 예를 들면, 방금 설명한 사실, 즉 비디오(332)의 개개의 픽쳐가 상이한 해상도에서 동일한 장면 콘텐츠의 다수의 버전을 나타낸다는 것을 나타낼 수 있을 것이다. 제2 상태는, 그러한 상황이 존재하지 않는다는 것을 나타낸다, 즉, 픽쳐는 하나의 장면 콘텐츠를 단지 하나의 해상도에서만 나타낸다. 따라서, 비디오 데이터 스트림 프로세서(358)는, 소정의 프로세싱 태스크의 수행을 거부하기 위해 플래그(352)가 제1 상태에 있는 것에 응답할 것이다.

전술한 플래그와 같은 신호 전달(352)은 데이터 스트림(330) 내에서 데이터 스트림(330)의 시퀀스 파라미터 세트 또는 비디오 파라미터 세트 내에서 전달될 수 있다. HEVC에서의 미래의 사용을 위해 예약되는 가능한 신택스 엘리먼트는, 다음의 설명에서 가능한 후보로서 식별된다.

도 6 및 도 7과 관련하여 상기에서 나타내어지는 바와 같이, 구성된 비디오(332)는, 코딩이, 타일 또는 타일 서브어레이와 같은 상호 중첩하지 않는 공간 영역(360)의 세트의 각각과 관련하여, 각각의 공간 영역(360) 외부와는 독립적으로 되도록 하는 방식으로 비디오 데이터 스트림(330)으로 코딩되었다. 코딩 비의존성은, 도 2와 관련하여 상기에서 설명되는 바와 같이, 공간 영역(360) 사이의 경계를 넘지 않도록 공간 및 시간 예측 및/또는 컨텍스트 유도를 제한한다. 따라서, 예를 들면, 코딩 의존성은, 비디오(332)의 소정의 픽쳐(334)의 소정의 공간 영역(360)의 코딩을, 그 픽쳐만이 픽쳐(334)와 동일한 방식으로 공간 영역(360)으로 세분화되는 비디오(332)의 다른 픽쳐(334) 내에서 같은 곳에 위치되는 공간 영역을 참조하도록 제한할 수도 있다. 비디오 인코더(348)는, 정보(140) 또는 정보(140 및 142)의 조합과 같은 추출 정보를 비디오 데이터 스트림(330)에 제공할 수도 있거나 또는 장치(128)와 같은 각각의 장치가 그것의 출력에 연결될 수도 있다. 추출 정보는, 도 7의 추출 섹션(310)과 같은 추출 섹션으로서 공간 영역(360)의 소정의 또는 모든 가능한 조합에 관련될 수도 있다. 신호 전달(352)은, 결과적으로, 상이한 장면 해상도의 섹션(354 및 356)으로의 비디오(332)의 픽쳐(334)의 공간 세분화에 대한, 즉, 픽쳐(332)의 픽쳐 영역 내의 각각의 공간 섹션(354 및 356)의 사이즈 및 위치에 대한 정보를 포함할 수도 있다. 신호 전달(352) 내에서의 그러한 정보에 기초하여, 예를 들면, 비디오 데이터 스트림 프로세서(358)는, 예를 들면, 섹션(354 및 356) 중 상이한 섹션에 속하는 공간 영역(360)을 혼합하는 추출 섹션과 같은 비디오 스트림(330)의 어쩌면 추출 가능한 섹션의 목록으로부터 소정의 추출 섹션을 배제할 수 있을 것이고, 그에 의해, 상이한 해상도를 혼합하는 추출 섹션과 관련하여 비디오 추출의 수행을 방지할 수 있을 것이다. 이 경우에, 비디오 스트림 프로세서(358)는, 예를 들면, 도 2의 추출기 디바이스와 같은 추출기 디바이스를 포함할 수 있을 것이다.

추가적으로 또는 대안적으로, 신호 전달(330)은 비디오(332)의 픽쳐(334)가 상호 공통인 장면 콘텐츠를 나타내는 상이한 해상도에 대한 정보를 포함할 수 있을 것이다. 또한, 시그널링(352)이, 단지, 비디오(332)의 픽쳐(334)가 상이한 픽쳐 위치에서 공통 장면 콘텐츠를 다수 회 나타내는 상이한 해상도의 카운트를 나타내는 것도 또한 가능하다.

이미 언급된 바와 같이, 비디오 데이터 스트림(330)은, 어떤 비디오 데이터 스트림(330)이 추출 가능한지와 관련하여 가능한 추출 영역의 목록에 대한 추출 정보를 포함할 수 있을 것이다. 그 다음, 신호 전달(352)은, 이들 추출 영역 중 적어도 하나 이상의 각각에 대해, 각각의 추출 영역 내에서 공통 장면 콘텐츠가 최고 해상도에서 나타내어지는 각각의 추출 영역의 섹션 영역의 뷰포트 방위, 및/또는 각각의 추출 영역의 전체 영역 중, 각각의 추출 영역 내에서 공통 장면 콘텐츠가 최고 해상도에서 나타내어지는 각각의 추출 영역의 섹션 영역의 영역 점유율 및/또는 각각의 추출 영역의 전체 영역 중, 상호 상이한 해상도에서 공통 장면 콘텐츠가 각각 나타내어지는 섹션 영역으로의 각각의 추출 영역의 공간 세분화를 나타내는 또 다른 신호 전달을 포함할 수 있을 것이다.

따라서, 그러한 시그널링(352)은, 그것이 스트리밍 시스템 안으로 쉽게 푸시될 수 있도록 비트스트림 내의 높은 레벨에서 노출될 수도 있다.

하나의 옵션은, 프로파일 계층 레벨 신택스에서 일반 예약된 제로 Xbits 플래그 중 하나를 사용하는 것이다. 플래그는 일반적인 비 다중 해상도 플래그(general non-multi-resolution flag)로서 명명될 수 있을 것이다:

1과 동일한 일반적인 비 다중 해상도 플래그는, 디코딩된 출력 픽쳐가 다양한 해상도에서 동일한 콘텐츠의 다수의 버전을 포함하지 않는다는 것을 명시한다(즉, 영역 패킹(regional packing)과 같은 각각의 신택스가 제약된다). 0과 동일한 일반적인 비 다중 해상도 플래그는, 비트스트림이 그러한 콘텐츠를 포함할 수도 있을 것이다는 것을 명시한다(즉, 제약 없음).

또한, 본 발명은, 따라서, 완전한 비트스트림 콘텐츠 특성의 본질, 즉 합성에서의 변형물의 수 및 해상도에 관해 통지하는 시그널링으로 구성된다. 더구나, 각각의 MCTS의 다음의 특성에 관해 코딩된 비트스트림에서 쉽게 액세스 가능한 형태로 정보를 제공하는 추가적인 시그널링:

메인 뷰포인트 방위:

예를 들면, 미리 정의된 초기 뷰포트 중심으로부터의 델타 요, 델타 피치 및/또는 델타 롤의 관점에서, MCTS 고해상도 뷰포트 중심의 방위는 무엇인지.

전체 커버리지

전체 콘텐츠의 몇 퍼센트가 MCTS에서 표현되는지.

High-to-Low_Res-Ratio

MCTS에서 고해상도 영역과 저해상도 영역 사이의 비율이 무엇인가, 즉, 전체 커버된 풀 콘텐츠 중 얼마나 많은 것이 고해상도/충실도에서 표현되는지.

전체 전방향성 비디오의 전체 커버리지 또는 뷰포트 방위에 대한 제안된 시그널링 정보가 이미 존재한다. 잠재적으로 추출될 수도 있는 서브영역에 대해 유사한 시그널링을 추가하는 것이 필요하다. 정보는 SEI [2]의 형태이며, 따라서, 모션 제약 타일 세트 추출 정보 중첩 SEI에 포함될 수 있을 것이다. 그러나, 그러한 정보는, 추출될 MCTS를 선택하는 데 필요하다. 모션 제약 타일 세트 추출 정보 중첩 SEI에 정보를 포함시키는 것은, 추가적인 간접적 표현을 추가하고 주어진 MCTS를 선택하기 위해서는 더 깊은 파싱을 필요로 한다(모션 제약 타일 세트 추출 정보 중첩 SEI는, 추출된 세트를 선택하는 데 필요하지 않은 추가적인 정보를 유지한다). 설계 관점에서, 추출된 세트를 선택하기 위한 중요한 정보만을 포함하는 중심 지점에서 이 정보 또는 그것의 서브세트를 시그널링하는 것은 더 깔끔한 접근법이다. 또한, 언급된 시그널링은 전체 비트스트림에 대한 정보를 포함하며, 제안된 경우에서, 어떤 것이 고해상도의 커버리지이고 어떤 것이 저해상도의 커버리지인지를, 또는, 더 많은 해상도가 혼합되는 경우, 어떤 것이 각각의 해상도의 커버리지이고 뿐만 아니라 혼합된 해상도 추출 비디오의 뷰포트 방위인지를 시그널링하는 것이 바람직할 것이다.

한 실시형태는 해상도의 각각의 커버리지를 추가하고 [2]로부터 360 ERP SEI에 그것을 추가하는 것일 것이다. 그 다음, 이 SEI는 모션 제약 타일 세트 추출 정보 중첩 SEI에 잠재적으로 포함될 것이며 상기에서 설명되는 성가신 태스크는 수행될 필요가 있을 것이다.

다른 실시형태에서, MCTS 추출 정보 세트 SEI만이 추출될 세트를 선택하는 데 필요로 되도록 MCTS 추출 정보 세트 SEI, 예를 들면, 논의된 시그널링의 존재를 나타내는 전방향성 정보에 플래그가 추가된다.

비록 몇몇 양태가 장치의 맥락에서 설명되었지만, 이들 양태는 또한, 대응하는 방법의 설명을 나타내는 것이 명백한데, 이 경우, 블록 또는 디바이스는 방법 단계 또는 방법 단계의 피쳐에 대응한다. 유사하게, 방법 단계의 맥락에서 설명되는 양태는 또한, 대응하는 장치의 대응하는 블록 또는 아이템 또는 피쳐의 설명을 나타낸다. 방법 단계 중 일부 또는 전부는, 예를 들면, 마이크로프로세서, 프로그래머블 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수도 있다. 몇몇 실시형태에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 실행될 수도 있다.

본 발명의 데이터 스트림은 디지털 저장 매체에 저장될 수 있거나 또는 무선 송신 매체 또는 인터넷과 같은 유선 송신 매체와 같은 송신 매체 상에서 송신될 수 있다.

소정의 구현 요건에 따라, 본 발명의 실시형태는 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현예는, 디지털 저장 매체, 예를 들면, 각각의 방법이 수행되도록 프로그래머블 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독 가능한 제어 신호를 저장한, 플로피 디스크, DVD, 블루레이(Blu-Ray), CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수도 있다.

본 발명에 따른 몇몇 실시형태는, 본원에서 설명되는 방법 중 하나가 수행되도록 프로그래머블 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시형태는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있는데, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법 중 하나를 수행하도록 동작한다. 프로그램 코드는, 예를 들면, 머신 판독 가능 캐리어 상에 저장될 수도 있다.

다른 실시형태는, 머신 판독 가능 캐리어 상에 저장되는, 본원에서 설명되는 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

다시 말하면, 본 발명의 방법의 한 실시형태는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 본원에서 설명되는 방법 중 하나를 수행하기 위한 프로그램 코드를 구비하는 컴퓨터 프로그램이다.

따라서, 본 발명의 방법의 또 다른 실시형태는, 본원에서 설명되는 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을, 그 상에 기록하여 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 통상적으로 유형이고(tangible) 및/또는 비일시적이다.

따라서, 본 발명의 방법의 또 다른 실시형태는, 본원에서 설명되는 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 예를 들면, 데이터 스트림 또는 신호의 시퀀스는, 데이터 통신 연결을 통해, 예를 들면, 인터넷을 통해 전송되도록 구성될 수도 있다.

또 다른 실시형태는, 본원에서 설명되는 방법 중 하나를 수행하도록 구성되는 또는 적응되는, 프로세싱 수단, 예를 들면, 컴퓨터, 또는 프로그래머블 로직 디바이스를 포함한다.

또 다른 실시형태는, 본원에서 설명되는 방법 중 하나를 수행하기 위해 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.

본 발명에 따른 또 다른 실시형태는, 본원에서 설명되는 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 (예를 들면, 전자적으로 또는 광학적으로) 전송하도록 구성되는 장치 또는 시스템을 포함한다. 수신기는, 예를 들면, 컴퓨터, 모바일 디바이스, 메모리 디바이스 또는 등등일 수도 있다. 장치 또는 시스템은, 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수도 있다.

몇몇 실시형태에서, 프로그래머블 로직 디바이스(예를 들면, 필드 프로그래머블 게이트 어레이)는 본원에서 설명되는 방법의 기능성(functionality) 중 일부 또는 전부를 수행하기 위해 사용될 수도 있다. 몇몇 실시형태에서, 필드 프로그래머블 게이트 어레이는 본원에서 설명되는 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수도 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.

본원에서 설명되는 장치는, 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수도 있다.

본원에서 설명되는 장치, 또는 본원에서 설명되는 장치의 임의의 컴포넌트는, 적어도 부분적으로 하드웨어로 및/또는 소프트웨어로 구현될 수도 있다.

본원에서 설명되는 방법은 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수도 있다.

본원에서 설명되는 방법, 또는 본원에서 설명되는 장치의 임의의 컴포넌트는, 적어도 부분적으로 하드웨어에 의해 및/또는 소프트웨어에 의해 수행될 수도 있다.

상기 설명된 실시형태는, 단지, 본 발명의 원리를 예시하는 것에 불과하다. 본원에서 설명되는 배열 및 세부 사항의 수정 및 변형이 기술 분야의 다른 숙련된 자에게 명백할 것이다는 것이 이해된다. 따라서, 본원의 실시형태의 기술(description) 및 설명에 의해 제시되는 특정한 세부 사항에 의해서가 아니라, 바로 뒤이은 특허 청구범위의 범위에 의해서만 제한되도록 의도된다.

Claims

비디오 데이터 스트림을 저장하는 컴퓨터 판독가능 저장 매체로서,
슬라이스 부분(126)의 시퀀스 - 각각의 슬라이스 부분(126)은 비디오(120)의 픽쳐(100)의 복수의 슬라이스 중의 각각의 슬라이스(108)를 그 안으로 인코딩하였고, 각각의 슬라이스 부분은, 상기 비디오의 픽쳐 영역에서, 상기 각각의 슬라이스 부분이 그 안으로 인코딩한 상기 슬라이스가 위치되는 위치를 나타내는 슬라이스 어드레스를 포함함 - ;
상기 비디오 데이터 스트림을, 공간 섹션(110) 내의 임의의 슬라이스를 그 안으로 인코딩한 슬라이스 부분으로 한정하는 것 및 공간적으로 더 작은 비디오(138)의 감소된 픽쳐 영역에 관련되도록 상기 슬라이스 어드레스를 수정하는 것에 의해, 상기 비디오의 상기 공간 섹션(110)에 대응하는 상기 공간적으로 더 작은 비디오(138)를 그 안으로 인코딩한 감소된 비디오 데이터 스트림(136)을 상기 비디오 데이터 스트림으로부터 추출하는 방법을 나타내는 추출 정보(132)를 포함하되,
상기 추출 정보(132)는
상기 픽쳐 영역 내에서 상기 공간 섹션(110)을 정의하는 제1 정보(140) - 상기 복수의 슬라이스 중 어느 것도 상기 공간 섹션(110)의 경계를 가로지르지 않음 - ; 및
상기 감소된 픽쳐 영역에서, 상기 각각의 슬라이스가 위치되는 상기 위치를 상기 감소된 비디오 데이터 스트림(136) 내에 나타내기 위해 상기 공간 섹션(110) 내의 각각의 슬라이스의 상기 슬라이스 부분의 상기 슬라이스 어드레스를 수정하는 방법을 명시적으로 시그널링하는 제2 정보(142)를 포함하는
컴퓨터 판독가능 저장 매체.
제1항에 있어서,
상기 제1 정보(140)는 상기 픽쳐 영역 내의 상기 공간 섹션(110)을, 적어도 두 개의 섹션 영역(110a, 110b; a, b, c, d)의 세트로 구성되는 것으로 정의하되, 상기 적어도 두 개의 섹션 영역(110a, 110b; a, b, c, d)의 각각 내에서, 상기 비디오는 상기 각각의 섹션 영역 외부와는 독립적으로 상기 비디오 데이터 스트림으로 인코딩되고, 상기 복수의 슬라이스(108) 중 어느 것도 상기 적어도 두 개의 섹션 영역 중 임의의 것의 경계를 가로지르지 않는
컴퓨터 판독가능 저장 매체.
비디오 데이터 스트림을 저장하는 컴퓨터 판독가능 저장 매체로서,
슬라이스 부분(126)의 시퀀스 - 각각의 슬라이스 부분(126)은 비디오(120)의 픽쳐(100)의 복수의 슬라이스 중의 각각의 슬라이스(108)를 그 안으로 인코딩하였고, 각각의 슬라이스 부분은, 상기 비디오의 픽쳐 영역에서, 상기 각각의 슬라이스 부분이 그 안으로 인코딩한 상기 슬라이스가 위치되는 위치를 나타내는 슬라이스 어드레스를 포함함 - ;
상기 비디오 데이터 스트림을, 공간 섹션(110) 내의 임의의 슬라이스를 그 안으로 인코딩한 슬라이스 부분으로 한정하는 것 및 공간적으로 더 작은 비디오(138)의 감소된 픽쳐 영역에 관련되도록 상기 슬라이스 어드레스를 수정하는 것에 의해, 상기 비디오의 상기 공간 섹션(110)에 대응하는 상기 공간적으로 더 작은 비디오(138)를 그 안으로 인코딩한 감소된 비디오 데이터 스트림(136)을 상기 비디오 데이터 스트림으로부터 추출하는 방법을 나타내는 추출 정보(132)를 포함하되,
상기 추출 정보(132)는
상기 픽쳐 영역 내에서 상기 공간 섹션(110)을 정의하는 제1 정보(140) - 상기 복수의 슬라이스 중 어느 것도 상기 공간 섹션(110)의 경계를 가로지르지 않음 - ; 및
상기 감소된 픽쳐 영역에서, 상기 각각의 슬라이스가 위치되는 상기 위치를 상기 감소된 비디오 데이터 스트림(136) 내에 나타내기 위해 상기 공간 섹션(110) 내의 각각의 슬라이스의 상기 슬라이스 부분의 상기 슬라이스 어드레스를 수정하는 방법에 관한 복수의 옵션 중 하나를 시그널링하는 제2 정보(142)를 포함하되,
상기 복수의 옵션 중 제1 옵션은, 상기 비디오가, 상기 픽쳐의 상이한 에지 부분이 장면에서 서로 접하는 방식으로 장면을 나타내는 파노라마 비디오라는 것을 나타내고,
상기 복수의 옵션 중 제2 옵션은, 상기 상이한 에지 부분이 장면에서 서로 접하지 않는다는 것을 나타내되,
상기 적어도 두 개의 섹션 영역은,
상기 제2 정보(142)가 상기 제1 옵션을 시그널링하는 경우, 상기 감소된 픽쳐 영역은, 상기 제1 및 제2 구역이 상기 상이한 에지 부분을 따라 접하도록, 상기 적어도 두 개의 섹션 영역의 세트를 합치는(putting together) 것에 의해 구성되고,
상기 제2 정보(142)가 상기 제2 옵션을 시그널링하는 경우, 상기 감소된 픽쳐 영역은, 상기 제1 및 제2 구역이 서로로부터 멀어지게 향하는 상기 상이한 에지 부분을 갖는 상태로 상기 적어도 두 개의 섹션 영역의 세트를 합치는 것에 의해 구성되도록
상기 상이한 에지 부분의 상이한 영역에 이웃하는 제1 및 제2 구역(110a, 110b)을 형성하는
컴퓨터 판독가능 저장 매체.
제2항에 있어서,
상기 제2 정보(142)는, 상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스에서 상기 슬라이스 부분(126)이 어떻게 정렬되는지와 관련하여 상기 비디오 데이터 스트림으로부터 상기 감소된 비디오 데이터 스트림(136)을 추출함에 있어서 상기 공간 섹션(110) 내에서 슬라이스의 상기 슬라이스 부분(126)을 재정렬하는 방법을 시그널링하고,
상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스의 각각의 슬라이스 부분의 상기 슬라이스 어드레스는, 상기 픽쳐 영역을 통과하는 그리고 상기 픽쳐(100)가 상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스로 코딩될 때 따랐던 제1 코딩 스캔 순서(106)를 따라, 상기 각각의 슬라이스 부분으로 인코딩되는 상기 슬라이스의 코딩 시작의 위치를 일차원적으로 인덱싱하는 것에 의해
상기 비디오 데이터 스트림 내의 상기 슬라이스 부분의 시퀀스의 상기 슬라이스 부분의 상기 슬라이스 어드레스는 단조 증가하고,
상기 비디오 데이터 스트림으로부터 상기 감소된 비디오 데이터 스트림(136)의 상기 추출에서 상기 슬라이스 어드레스를 수정하는 것은, 상기 감소된 비디오 데이터 스트림(136)이 한정되는 그리고 상기 감소된 픽쳐 영역을 통과하는 제2 코딩 스캔 순서(112)를 따라, 상기 제2 정보(142)에 의해 시그널링될 때 재정렬되는 상기 슬라이스 부분으로 인코딩되는 상기 슬라이스를 순차적으로 배치하는 것 및 상기 제2 코딩 스캔 순서(112)를 따라 측정되는 상기 슬라이스의 상기 코딩 시작의 상기 위치를 인덱싱하도록 상기 슬라이스 부분(126)의 상기 슬라이스 어드레스를 설정하는 것에 의해 정의되는
컴퓨터 판독가능 저장 매체.
제4항에 있어서,
상기 제1 코딩 스캔 순서(106)는, 상기 각각의 공간 영역이 상기 제2 코딩 스캔 순서(112)에 의해 어떻게 통과되는지와 일치하는 방식으로 상기 적어도 두 개의 섹션 영역의 세트의 각각 내의 상기 픽쳐 영역을 통과하는
컴퓨터 판독가능 저장 매체.
제4항에 있어서,
상기 적어도 두 개의 섹션 영역의 세트의 각각은, 상기 제1 정보(140)에 의해, 상기 픽쳐(100)가 세분화되는 행과 열로의 직사각형 타일의 서브어레이로서 나타내어지되, 상기 제1 및 제2 코딩 스캔 순서는, 다음 타일로 진행하기 이전에 현재의 타일을 완전히 통과하는 행 단위의 타일 래스터 스캔을 사용하는
컴퓨터 판독가능 저장 매체.
제1항에 있어서,
상기 제2 정보(142)는, 상기 공간 섹션 내의 상기 슬라이스 중 임의의 것을 그 안으로 인코딩한 상기 슬라이스 부분의 적어도 서브세트의 각각에 대해, 상기 슬라이스 어드레스에 대한 대체물(substitute)을 시그널링하는
컴퓨터 판독가능 저장 매체.
제7항에 있어서,
상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스의 각각의 슬라이스 부분의 상기 슬라이스 어드레스는 상기 비디오의 픽쳐 영역과 관련되고, 상기 슬라이스 어드레스에 대한 상기 대체물은 상기 감소된 픽쳐 영역과 관련되는
컴퓨터 판독가능 저장 매체.
제6항에 있어서,
상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스의 각각의 슬라이스 부분의 상기 슬라이스 어드레스는, 상기 픽쳐 영역을 통과하는 그리고 상기 픽쳐가 상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스로 코딩될 때 따랐던 제1 코딩 스캔 순서를 따라 상기 각각의 슬라이스 부분으로 인코딩되는 상기 슬라이스의 코딩 시작의 위치를 일차원적으로 인덱싱하고, 상기 슬라이스 어드레스에 대한 상기 대체물은 상기 감소된 픽쳐 영역을 통과하는 제2 코딩 스캔 순서를 따라 상기 코딩 시작의 상기 위치를 일차원적으로 인덱싱하는
컴퓨터 판독가능 저장 매체.
제7항에 있어서,
상기 슬라이스 부분의 상기 서브세트는, 상기 공간 섹션(110) 내의 상기 슬라이스 중 임의의 것을 그 안으로 인코딩한 상기 슬라이스 부분의 시퀀스의 상기 슬라이스 부분 중 제1 슬라이스 부분을 배제하고,
상기 제2 정보(142)는, 상기 슬라이스 부분이 상기 비디오 데이터 스트림에서 발생하는 순서에 따라 상기 슬라이스 부분의 상기 서브세트의 각각에 대한 대체물을 순차적으로 제공하는
컴퓨터 판독가능 저장 매체.
제7항에 있어서,
상기 제1 정보(140)는 상기 픽쳐 영역 내의 상기 공간 섹션(110)을, 적어도 두 개의 섹션 영역(110a, 110b)의 세트로 구성되는 것으로 정의하되, 상기 적어도 두 개의 섹션 영역(110a, 110b)의 각각 내에서, 상기 비디오는 상기 각각의 섹션 영역 외부와는 독립적으로 상기 비디오 데이터 스트림으로 인코딩되고, 상기 복수의 슬라이스 중 어느 것도 상기 제1 및 제2 섹션 영역 중 임의의 것의 경계를 가로지르지 않는
컴퓨터 판독가능 저장 매체.
제11항에 있어서,
상기 슬라이스 부분의 상기 서브세트는, 상기 공간 섹션 내의 상기 슬라이스 중 임의의 것을 그 안으로 인코딩한 상기 슬라이스 부분의 시퀀스의 모든 슬라이스 부분을 포함하고, 상기 제2 정보는, 상기 슬라이스 부분이 상기 비디오 데이터 스트림에서 발생하는 순서에 따라 상기 슬라이스 부분의 각각에 대한 대체물을 순차적으로 제공하는
컴퓨터 판독가능 저장 매체.
제12항에 있어서,
상기 제2 정보(142)는 또한, 상기 비디오 데이터 스트림의 상기 슬라이스 부분의 시퀀스에서 상기 슬라이스 부분이 어떻게 정렬되는지와 관련하여 상기 비디오 데이터 스트림으로부터 상기 감소된 비디오 데이터 스트림을 추출함에 있어서 상기 공간 섹션 내에서 상기 슬라이스의 슬라이스 부분을 재정렬하는 방법을 시그널링하고,
상기 제2 정보(142)는, 재정렬될 때 상기 슬라이스 부분이 상기 감소된 비디오 데이터 스트림에서 발생하는 순서에 따라 상기 슬라이스 부분의 상기 서브세트의 각각에 대한 대체물을 순차적으로 제공하는
컴퓨터 판독가능 저장 매체.
제1항에 있어서,
상기 비디오 데이터 스트림에 의해 포함되는 상기 슬라이스 부분의 시퀀스는, 상기 공간 섹션 내의 슬라이스를 그 안으로 인코딩한 슬라이스 부분 및 상기 공간 섹션 외부의 슬라이스를 그 안으로 인코딩한 슬라이스 부분을 포함하거나, 또는
상기 비디오 데이터 스트림에 의해 포함되는 상기 슬라이스 부분의 시퀀스는, 상기 공간 섹션 내의 슬라이스를 그 안으로 인코딩한 슬라이스 부분을 포함하지만, 상기 공간 섹션 외부의 슬라이스를 그 안으로 인코딩한 슬라이스 부분이 없는
컴퓨터 판독가능 저장 매체.
제1항에 있어서,
상기 제2 정보(142)는 상기 감소된 픽쳐 영역의 형상 및 사이즈를 정의하는
컴퓨터 판독가능 저장 매체.
제1항에 있어서,
상기 제1 정보(140)는, 상기 비디오 데이터 스트림으로부터 상기 감소된 비디오 데이터 스트림(136)을 추출함에 있어서 상기 비디오 데이터 스트림에서의 대응하는 파라미터 세트를 대체하는 데 사용되어야 하는 파라미터 세트 대체물에서의 사이즈 파라미터를 통해 상기 감소된 픽쳐 영역의 형상 및 사이즈를 정의하는
컴퓨터 판독가능 저장 매체.
비디오 데이터 스트림을 생성하기 위한 장치로서,
상기 비디오 데이터 스트림에 슬라이스 부분의 시퀀스를 제공 - 각각의 슬라이스 부분은 비디오의 픽쳐의 복수의 슬라이스 중의 각각의 슬라이스를 그 안으로 인코딩하였고, 각각의 슬라이스 부분은, 상기 비디오의 픽쳐 영역에서, 상기 각각의 슬라이스 부분이 그 안으로 인코딩한 상기 슬라이스가 위치되는 위치를 나타내는 슬라이스 어드레스를 포함함 - 하고,
상기 비디오 데이터 스트림을, 공간 섹션 내의 임의의 슬라이스를 그 안으로 인코딩한 슬라이스 부분으로 한정하는 것 및 공간적으로 더 작은 비디오의 감소된 픽쳐 영역에 관련되도록 상기 슬라이스 어드레스를 수정하는 것에 의해, 상기 비디오의 상기 공간 섹션에 대응하는 상기 공간적으로 더 작은 비디오를 그 안으로 인코딩한 감소된 비디오 데이터 스트림을 상기 비디오 데이터 스트림으로부터 추출하는 방법을 나타내는 추출 정보를 상기 비디오 데이터 스트림에 제공하도록 구성되되,
상기 추출 정보는,
상기 픽쳐 영역 내에서 상기 공간 섹션을 정의하는 제1 정보 - 상기 픽쳐 영역 내에서, 상기 비디오는 상기 공간 섹션 외부와는 독립적으로 상기 비디오 데이터 스트림으로 인코딩되고, 상기 복수의 슬라이스 중 어느 것도 상기 공간 섹션의 경계를 가로지르지 않음 - ; 및
상기 감소된 픽쳐 영역에서, 상기 각각의 슬라이스가 위치되는 상기 위치를 상기 감소된 비디오 데이터 스트림 내에 나타내기 위해 상기 공간 섹션 내의 각각의 슬라이스의 상기 슬라이스 부분의 상기 슬라이스 어드레스를 수정하는 방법을 명시적으로 시그널링하는 제2 정보를 포함하는
장치.
비디오를 그 안으로 인코딩한 비디오 데이터 스트림으로부터 공간적으로 더 작은 비디오를 그 안으로 인코딩한 감소된 비디오 데이터 스트림을 추출하기 위한 장치로서,
상기 비디오 데이터 스트림은 슬라이스 부분의 시퀀스를 포함하고, 각각의 슬라이스 부분은 비디오의 픽쳐의 복수의 슬라이스 중의 각각의 슬라이스를 그 안으로 인코딩하였고, 각각의 슬라이스 부분은, 상기 비디오의 픽쳐 영역에서, 상기 각각의 슬라이스 부분이 그 안으로 인코딩한 상기 슬라이스가 위치되는 위치를 나타내는 슬라이스 어드레스를 포함하고,
상기 장치는
상기 비디오 데이터 스트림으로부터 추출 정보를 판독하고,
상기 추출 정보로부터, 상기 픽쳐 영역 내에서 공간 섹션을 유도 - 상기 복수의 슬라이스 중 어느 것도 상기 공간 섹션의 경계를 가로지르지 않으며, 상기 감소된 비디오 데이터 스트림은 상기 공간 섹션 내의 임의의 슬라이스를 그 안으로 인코딩한 슬라이스 부분으로 한정됨 - 하고,
상기 공간적으로 더 작은 비디오의 감소된 픽쳐 영역에서, 상기 각각의 슬라이스가 위치되는 위치를 상기 감소된 비디오 데이터 스트림 내에 나타내는 상기 추출 정보의 명시적 시그널링을 사용하여, 상기 공간 섹션 내의 각각의 슬라이스의 상기 슬라이스 부분의 상기 슬라이스 어드레스를 수정하도록 구성되는
장치.
제17항 또는 제18항에 있어서,
상기 비디오 데이터 스트림은 제2항에 따른
장치.
비디오(332)를 그 안으로 인코딩한 비디오 데이터 스트림을 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 비디오 데이터 스트림은, 상기 비디오의 픽쳐(334)가 공통 장면 콘텐츠(304)를 상기 픽쳐의 상이한 공간 부분(354, 356)에서 상이한 해상도로 나타낸다는 것을 표시하는 신호 전달(signalization)(352)을 포함하되,
상기 비디오 데이터 스트림은 추출 영역의 세트를 나타내는 추출 정보를 포함하되, 상기 비디오 데이터 스트림은, 상기 추출 정보와 관련하여, 상기 비디오 데이터 스트림으로부터 독립형(self-contained) 비디오 데이터 스트림의 추출을 허용하고, 상기 독립형 비디오 데이터 스트림은, 재인코딩 없이, 각각의 추출 영역 내의 상기 비디오의 픽쳐 콘텐츠로 한정되는 비디오를 나타내고,
상기 비디오 데이터 스트림은, 상기 추출 영역 중 적어도 하나 이상의 각각에 대해, 상기 비디오의 상기 픽쳐가 상기 각각의 추출 영역 내에서 공통 장면 콘텐츠를 상이한 해상도로 나타내는지의 여부를 나타내는 또 다른 신호 전달을 포함하는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 신호 전달(352)은 플래그를 포함하되, 상기 플래그는 제1 상태와 제2 상태 사이에서 전환 가능하고, 상기 제1 상태는, 상기 픽쳐가 공통 장면 콘텐츠를 상이한 해상도로 나타내는 상이한 공간 부분을 상기 비디오의 상기 픽쳐(334)가 포함한다는 것을 나타내고, 상기 제2 상태는, 상기 비디오의 상기 픽쳐가 상기 장면의 각각의 부분을 단지 하나의 해상도로만 나타낸다는 것을 표시하고, 상기 플래그는 상기 제1 상태로 설정되는
컴퓨터 판독가능 저장 매체.
제21항에 있어서,
상기 플래그는, 상기 비디오 데이터 스트림의 시퀀스 파라미터 세트 또는 비디오 파라미터 세트에 포함되는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 비디오 데이터 스트림은, 상호 중첩되지 않는 공간 영역(360)의 세트의 각각과 관련하여, 상기 각각의 공간 영역(360) 외부와는 독립적인 방식으로 코딩되는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 신호 전달(352)은, 상기 비디오의 상기 픽쳐가 상기 상이한 공간 부분에서 상기 공통 장면 콘텐츠를 나타내는 상기 상이한 해상도의 카운트에 대한 정보를 포함하는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 신호 전달(352)은, 섹션(354, 356)으로의 상기 비디오의 상기 픽쳐의 공간 세분화에 대한 정보를 포함하되, 상기 섹션(354, 356)의 각각은 상기 공통 장면 콘텐츠를 상이한 해상도로 나타내는 상기 섹션 중 적어도 두 개를 사용하여 상기 공통 장면 콘텐츠를 나타내는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 신호 전달(352)은, 상기 비디오의 상기 픽쳐가 상기 상이한 공간 부분(354, 356)에서 상기 공통 장면 콘텐츠를 나타내는 해상도에서의 차이에 대한 정보를 포함하는
컴퓨터 판독가능 저장 매체.
삭제
제20항에 있어서,
상기 비디오 데이터 스트림은 상호 중첩되지 않는 공간 영역(360)의 세트의 각각과 관련하여, 상기 각각의 공간 영역(360)의 외부와는 독립적인 방식으로 코딩되고, 상기 추출 정보는 상기 공간 영역(360) 중 하나 이상의 세트로서 상기 추출 영역의 세트의 각각을 나타내는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 비디오의 상기 픽쳐는 타일의 어레이로 공간적으로 세분화되고 상기 데이터 스트림으로 순차적으로 코딩되며, 상기 공간 영역(360)은 하나 이상의 타일의 클러스터인
컴퓨터 판독가능 저장 매체.
삭제
제20항에 있어서,
상기 또 다른 신호 전달은 또한, 상기 추출 영역 중 상기 적어도 하나 이상의 각각에 대해,
상기 공통 장면 콘텐츠가 상기 각각의 추출 영역 내에서 가장 높은 해상도로 나타내어지는 상기 각각의 추출 영역의 섹션 영역의 뷰포트 방위, 및/또는
상기 각각의 추출 영역의 전체 영역 중에서, 상기 공통 장면 콘텐츠가 상기 각각의 추출 영역 내에서 가장 높은 해상도로 나타내어지는 상기 각각의 추출 영역의 상기 섹션 영역의 영역 점유율, 및/또는
상기 각각의 추출 영역의 전체 영역 중, 상기 공통 장면 콘텐츠가 서로 상이한 해상도로 각각 나타내어지는 섹션 영역으로의 상기 각각의 추출 영역의 공간 세분화를 나타내는
컴퓨터 판독가능 저장 매체.
제20항에 있어서,
상기 또 다른 신호 전달은 상기 추출 정보를 포함하는 하나 이상의 SEI 메시지와는 별개의 SEI 메시지에 포함되는
컴퓨터 판독가능 저장 매체.
제20항에 기재된 비디오 데이터 스트림을 프로세싱하기 위한 장치로서,
상기 장치는 미리 결정된 프로세싱 태스크를 지원하고, 상기 비디오 데이터 스트림에 대해 상기 미리 결정된 프로세싱 태스크를 수행할 것을 또는 수행하지 않을 것을 결정하기 위해 상기 신호 전달을 검사하도록 구성되는
비디오 데이터 스트림을 프로세싱하기 위한 장치.
제33항에 있어서,
상기 프로세싱 태스크는,
상기 비디오 데이터 스트림을 디코딩하는 것 및/또는
상기 비디오 데이터 스트림을 재인코딩하지 않으면서, 상기 비디오 데이터 스트림으로부터 감소된 비디오 데이터 스트림을 추출하는 것을 포함하는
비디오 데이터 스트림을 프로세싱하기 위한 장치.
제20항에 기재된 비디오 데이터 스트림을 생성하기 위한 장치.
비디오 데이터 스트림을 생성하기 위한 방법으로서,
상기 비디오 데이터 스트림에 슬라이스 부분의 시퀀스를 제공하는 단계 - 각각의 슬라이스 부분은 비디오의 픽쳐의 복수의 슬라이스 중의 각각의 슬라이스를 그 안으로 인코딩하였고, 각각의 슬라이스 부분은, 상기 비디오의 픽쳐 영역에서, 상기 각각의 슬라이스 부분이 그 안으로 인코딩한 상기 슬라이스가 위치되는 위치를 나타내는 슬라이스 어드레스를 포함함 - ;
상기 비디오 데이터 스트림을, 공간 섹션 내의 임의의 슬라이스를 그 안으로 인코딩한 슬라이스 부분으로 한정하는 것 및 공간적으로 더 작은 비디오의 감소된 픽쳐 영역에 관련되도록 상기 슬라이스 어드레스를 수정하는 것에 의해, 상기 비디오의 상기 공간 섹션에 대응하는 상기 공간적으로 더 작은 비디오를 그 안으로 인코딩한 감소된 비디오 데이터 스트림을 상기 비디오 데이터 스트림으로부터 추출하는 방법을 나타내는 추출 정보를 상기 비디오 데이터 스트림에 제공하는 단계를 포함하되,
상기 추출 정보는,
상기 픽쳐 영역 내에서 상기 공간 섹션을 정의하는 제1 정보 - 상기 픽쳐 영역 내에서, 상기 비디오는 상기 공간 섹션 외부와는 독립적으로 상기 비디오 데이터 스트림으로 인코딩되고, 상기 복수의 슬라이스 중 어느 것도 상기 공간 섹션의 경계를 가로지르지 않음 - ; 및
상기 감소된 픽쳐 영역에서, 상기 각각의 슬라이스가 위치되는 상기 위치를 상기 감소된 비디오 데이터 스트림 내에 나타내기 위해 상기 공간 섹션 내의 각각의 슬라이스의 상기 슬라이스 부분의 상기 슬라이스 어드레스를 수정하는 방법을 명시적으로 시그널링하는 제2 정보를 포함하는
비디오 데이터 스트림을 생성하기 위한 방법.
비디오를 그 안으로 인코딩한 비디오 데이터 스트림으로부터 공간적으로 더 작은 비디오를 그 안으로 인코딩한 감소된 비디오 데이터 스트림을 추출하기 위한 방법으로서,
상기 비디오 데이터 스트림은 슬라이스 부분의 시퀀스를 포함하고, 각각의 슬라이스 부분은 비디오의 픽쳐의 복수의 슬라이스 중의 각각의 슬라이스를 그 안으로 인코딩하였고, 각각의 슬라이스 부분은, 상기 비디오의 픽쳐 영역에서, 상기 각각의 슬라이스 부분이 그 안으로 인코딩한 상기 슬라이스가 위치되는 위치를 나타내는 슬라이스 어드레스를 포함하고,
상기 방법은
상기 비디오 데이터 스트림으로부터 추출 정보를 판독하는 단계;
상기 추출 정보로부터, 상기 픽쳐 영역 내에서 공간 섹션을 유도하는 단계 - 상기 복수의 슬라이스 중 어느 것도 상기 공간 섹션의 경계를 가로지르지 않으며, 상기 감소된 비디오 데이터 스트림은 상기 공간 섹션 내의 임의의 슬라이스를 그 안으로 인코딩한 슬라이스 부분으로 한정됨 - ;
상기 공간적으로 더 작은 비디오의 감소된 픽쳐 영역에서, 상기 각각의 슬라이스가 위치되는 위치를 상기 감소된 비디오 데이터 스트림 내에 나타내는 상기 추출 정보의 명시적 시그널링을 사용하여 상기 공간 섹션 내의 각각의 슬라이스의 상기 슬라이스 부분의 상기 슬라이스 어드레스를 수정하는 단계를 포함하는
감소된 비디오 데이터 스트림을 추출하기 위한 방법.
제20항에 기재된 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
상기 프로세싱은 미리 결정된 프로세싱 태스크를 포함하고, 상기 방법은 상기 비디오 데이터 스트림에 대해 상기 미리 결정된 프로세싱 태스크를 수행할 것을 또는 수행하지 않을 것을 결정하기 위해 상기 신호 전달을 검사하는 단계를 포함하는
비디오 데이터 스트림을 프로세싱하기 위한 방법.
제20항에 기재된 비디오 데이터 스트림을 생성하기 위한 방법.
컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 제36항 내지 제39항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 판독가능 저장 매체에 저장된 상기 컴퓨터 프로그램.