KR102596507B1 - 화상 처리 장치 및 방법 - Google Patents

Abstract

본 개시는, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있도록 하는 화상 처리 장치 및 방법에 관한 것이다. 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영한다. 또한, 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영한다. 본 개시는, 예를 들어 정보 처리 장치, 화상 처리 장치, 전자 기기, 정보 처리 방법 또는 프로그램 등에 적용할 수 있다.

Description

화상 처리 장치 및 방법

본 개시는, 화상 처리 장치 및 방법에 관한 것으로, 특히 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.

종래, 예를 들어 포인트 클라우드(Point cloud)와 같은 3차원 구조를 나타내는 3D 데이터의 부호화 방법으로서, 포인트 클라우드의 위치와 색 정보 각각을, 소영역별로 2차원 평면에 투영하고, 2차원 화상용의 부호화 방법으로 부호화하는 어프로치(이하, 비디오 베이스드 어프로치(Video-based approach)라고도 칭함)가 제안되어 있다(예를 들어, 비특허문헌 1 내지 비특허문헌 3 참조).

Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression", IEEE, 2015 K.Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG m41649, Oct. 2017 "PCC Test Model Category 2 v0", N17248 MPEG output document, October 2017

그러나, 부호화 대상으로 되는 포인트 클라우드는, 노이즈나 촬상 시스템의 특성에 따라, 오브젝트 표면 이외에도 Point가 존재한다. 그 때문에, 2차원 평면에의 투영이 곤란한 경우가 있으며, 이 2차원 평면에의 투영을 수반하는 부호화에 의해, 품질이 저감될 우려가 있었다.

본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있도록 하는 것이다.

본 기술의 일 측면의 화상 처리 장치는, 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영하는 2차원 투영부를 구비하는 화상 처리 장치이다.

본 기술의 일 측면의 화상 처리 방법은, 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영하는 화상 처리 방법이다.

본 기술의 다른 측면의 화상 처리 장치는, 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영하는 3차원 투영부를 구비하는 화상 처리 장치이다.

본 기술의 다른 측면의 화상 처리 방법은, 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영하는 화상 처리 방법이다.

본 기술의 일 측면의 화상 처리 장치 및 방법에 있어서는, 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터가, 복수 레이어의 2차원 평면에 투영된다.

본 기술의 다른 측면의 화상 처리 장치 및 방법에 있어서는, 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터가, 3차원 공간에 투영된다.

본 개시에 따르면, 정보를 처리할 수 있다. 특히, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

도 1은, 포인트 클라우드의 예를 설명하는 도면이다.
도 2는, 비디오 베이스드 어프로치의 개요의 예를 설명하는 도면이다.
도 3은, 각 실시 형태에 있어서 설명하는 본 기술을 통합한 도면이다.
도 4는, 부호화 장치의 주된 구성예를 도시하는 블록도이다.
도 5는, 패치 분해부의 주된 구성예를 설명하는 도면이다.
도 6은, 복호 장치의 주된 구성예를 도시하는 블록도이다.
도 7은, 3D 재구축부의 주된 구성예를 도시하는 블록도이다.
도 8은, 종래의 2차원 투영의 모습의 예를 도시하는 도면이다.
도 9는, 본 기술을 적용한 2차원 투영의 모습의 예를 도시하는 도면이다.
도 10은, 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 11은, 패치 분해 처리의 흐름의 예를 설명하는 흐름도이다.
도 12는, 2차원 투영 처리의 흐름의 예를 설명하는 흐름도이다.
도 13은, 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 14는, 포인트 클라우드 재구축 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는, 3차원 투영 처리의 흐름의 예를 설명하는 흐름도이다.
도 16은, 종래의 2차원 투영의 모습의 예를 도시하는 도면이다.
도 17은, 본 기술을 적용한 2차원 투영의 모습의 예를 도시하는 도면이다.
도 18은, 2차원 투영 처리의 흐름의 예를 설명하는 흐름도이다.
도 19는, 3차원 투영 처리의 흐름의 예를 설명하는 흐름도이다.
도 20은, 종래의 2차원 투영의 모습의 예를 도시하는 도면이다.
도 21은, 본 기술을 적용한 2차원 투영의 모습의 예를 도시하는 도면이다.
도 22는, 2차원 투영 처리의 흐름의 예를 설명하는 흐름도이다.
도 23은, 3차원 투영 처리의 흐름의 예를 설명하는 흐름도이다.
도 24는, 컴퓨터의 주된 구성예를 도시하는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 비디오 베이스드 어프로치

2. 제1 실시 형태(가변 레이어수)

3. 제2 실시 형태(없는 포인트의 정의)

4. 제3 실시 형태(가변 깊이 파라미터)

5. 부기

<1. 비디오 베이스드 어프로치>

<기술 내용ㆍ기술 용어를 서포트하는 문헌 등>

본 기술에서 개시되는 범위는, 실시예에 기재되어 있는 내용뿐만 아니라, 출원 당시에 있어서 공지로 되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.

비특허문헌 1: (상술)

비특허문헌 2: (상술)

비특허문헌 3: (상술)

비특허문헌 4: TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017

비특허문헌 5: TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016

비특허문헌 6: Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

즉, 상술한 비특허문헌에 기재되어 있는 내용도 서포트 요건을 판단할 때의 근거로 된다. 예를 들어, 비특허문헌 5에 기재되어 있는 Quad-Tree Block Structure, 비특허문헌 6에 기재되어 있는 QTBT(Quad Tree Plus Binary Tree) Block Structure가 실시예에 있어서 직접적인 기재가 없는 경우라도, 본 기술의 개시 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 한다. 또한, 예를 들어 파싱(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 실시예에 있어서 직접적인 기재가 없는 경우라도, 본 기술의 개시 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 한다.

<포인트 클라우드>

종래, 점군의 위치 정보나 속성 정보 등에 의해 3차원 구조를 나타내는 포인트 클라우드나, 정점, 에지, 면으로 구성되고, 다각형 표현을 사용하여 3차원 형상을 정의하는 메쉬 등의 데이터가 존재하였다.

예를 들어 포인트 클라우드의 경우, 도 1의 A에 도시되는 바와 같은 입체 구조물을, 도 1의 B에 도시되는 바와 같은 다수의 점의 집합(점군)으로서 표현한다. 즉, 포인트 클라우드의 데이터는, 이 점군의 각 점의 위치 정보나 속성 정보(예를 들어 색 등)에 의해 구성된다. 따라서 데이터 구조가 비교적 단순함과 함께, 충분히 많은 점을 사용함으로써 임의의 입체 구조를 충분한 정밀도로 표현할 수 있다.

<비디오 베이스드 어프로치의 개요>

이러한 포인트 클라우드의 위치와 색 정보 각각을, 소영역별로 2차원 평면에 투영하고, 2차원 화상용의 부호화 방법으로 부호화하는 비디오 베이스드 어프로치(Video-based approach)가 제안되어 있다.

이 비디오 베이스드 어프로치에서는, 예를 들어 도 2에 도시되는 바와 같이, 입력된 포인트 클라우드(Point cloud)가 복수의 세그멘테이션(영역 또는 패치라고도 칭함)으로 분할되고, 영역별로 2차원 평면에 투영된다. 또한, 포인트 클라우드의 위치별 데이터(즉, 각 포인트의 데이터)는, 상술한 바와 같이 위치 정보(Geometry(Depth라고도 칭함))와 속성 정보(Texture)에 의해 구성되며, 각각 영역별로 2차원 평면에 투영된다.

그리고, 2차원 평면에 투영된 3D 데이터(포인트 클라우드)는, 예를 들어 AVC(Advanced Video Coding)나 HEVC(High Efficiency Video Coding) 등과 같은, 2차원 평면 화상용의 부호화 방식에 의해 부호화된다.

<비디오 베이스드 어프로치에 관한 본 기술>

이상에 설명한 바와 같은 비디오 베이스드 어프로치에 관한 본 기술에 대하여 설명한다. 도 3은, 각 실시 형태에 있어서 설명하는 본 기술의 일람이다.

이 표의 위에서 1단째(항목명의 단은 제외함)에는, 종래(TMC2)에 있어서의 비디오 베이스드 어프로치에 대하여 기재되어 있다. 즉, 종래의 비디오 베이스드 어프로치에 있어서는, 3D 데이터의 2차원 투영은, 2레이어(2층)의 2차원 평면에 대하여 행해지고 있었다. 이 사양은 화면 전체에 있어서 공통이었다(어느 세그먼트에 대해서도 마찬가지의 투영이 행해지고 있었음). 따라서, 이러한 투영의 제어에 사용되는 투영 제어 정보는, 프레임 단위의 정보로서, 부호화측으로부터 복호측으로 시그널되고 있었다.

그러나, 부호화 대상으로 되는 포인트 클라우드는, 노이즈나 촬상 시스템의 특성에 따라, 오브젝트 표면 이외에도 Point가 존재한다. 그 때문에, 상술한 바와 같은 종래의 방법과 같은, 2레이어의 2차원 평면에의 투영은 곤란할 우려가 있었다. 따라서, 2차원 평면에 투영할 수 없는 포인트가 발생하여, 2차원 평면에의 투영을 수반하는 부호화에 의해, 데이터의 품질이 저감될 우려가 있었다.

또한, 예를 들어 압축 대상이 Sparse(성기고 드문드문함)한 성질을 갖는 경우, 미소 영역(Point) 단위의 투영이 필요하게 되어, 많은 소영역을 부호화하기 위해, 처리량, 부호화 효율 모두 나빠질 우려가 있었다.

도 3의 표의 위에서 2단째(항목명의 단은 제외함)에는, 제1 실시 형태(실시예 1)에 있어서 설명하는 본 기술에 대하여 기재되어 있다. 이 방법은, 3D 데이터를 투영하는 2차원 평면의 레이어(Layer)수를 가변으로 하고, 깊이 방향으로 겹치는 모든 포인트의 데이터(위치별 데이터)를, 전부 투영할 수 있도록 레이어수를 설정하는 방법이다.

이 경우, 예를 들어 레이어수를 나타내는 정보가, 영역별로, 부호화측으로부터 복호측으로 시그널되도록 해도 된다.

이와 같이 함으로써, 오브젝트 표면에 두툼한 포인트 클라우드를 보다 정확하게 재현할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

도 3의 표의 위에서 3단째(항목명의 단은 제외함)에는, 제2 실시 형태(실시예 2)에 있어서 설명하는 본 기술에 대하여 기재되어 있다. 이 방법은, 3D 데이터를 2차원 평면에 투영할 때 「없는 포인트」의 정의를 추가하는 방법이다.

이 경우, 예를 들어 복호측에 있어서 삭제할 포인트의 화소값의 정의가, 부호화측으로부터 복호측으로 시그널되도록 해도 된다.

이와 같이 함으로써, Sparse한 포인트 클라우드를 보다 정확하게 재현할 수 있다. 즉, 미소 영역(Point) 단위의 투영이 불필요하게 되어, 처리량의 증대나 부호화 효율의 저감을 억제할 수 있다.

도 3의 표의 위에서 4단째(항목명의 단은 제외함)에는, 제3 실시 형태(실시예 3)에 있어서 설명하는 본 기술에 대하여 기재되어 있다. 이 방법은, 2차원 평면에 투영하는 3D 데이터의 깊이의 범위를 제어하는 깊이 파라미터를 영역별로 설정할 수 있도록 하는 방법이다.

이 경우, 예를 들어 그 깊이 파라미터가, 부호화측으로부터 복호측으로 시그널되도록 해도 된다.

이와 같이 함으로써, 영역별 화질 제어가 가능하게 되고, 위치 정보(Geometry)의 효율의 저감을 억제할 수 있다.

<부호화 장치>

다음에, 이상과 같은 각 방법을 실현하는 구성에 대하여 설명한다. 도 4는, 본 기술을 적용한 화상 처리 장치의 일 양태인 부호화 장치의 구성의 일례를 도시하는 블록도이다. 도 4에 도시되는 부호화 장치(100)는, 포인트 클라우드와 같은 3D 데이터를 2차원 평면에 투영하여 2차원 화상용의 부호화 방법에 의해 부호화를 행하는 장치이다.

예를 들어, 부호화 장치(100)는, 비특허문헌 1 내지 비특허문헌 6에 기재되어 있는 기술을 실장하고, 그들 문헌 중 어느 것에 기재된 규격에 준거한 방법으로 3D 데이터의 부호화를 행한다.

또한, 도 4에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 도시하고 있으며, 도 4에 도시되는 것이 전부라고는 할 수 없다. 즉, 부호화 장치(100)에 있어서, 도 4에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 4에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다. 이것은, 부호화 장치(100) 내의 처리부 등을 설명하는 다른 도면에 있어서도 마찬가지이다.

도 4에 도시되는 바와 같이 부호화 장치(100)는, 패치 분해부(111), 패킹부(112), 보조 패치 정보 압축부(113), 비디오 부호화부(114), 비디오 부호화부(115), OMap 부호화부(116) 및 멀티플렉서(117)를 갖는다.

패치 분해부(111)는, 3D 데이터의 분해에 관한 처리를 행한다. 예를 들어, 패치 분해부(111)는, 부호화 장치(100)에 입력되는, 3차원 구조를 나타내는 3D 데이터(예를 들어 포인트 클라우드)를 취득한다(화살표(121)). 또한, 패치 분해부(111)는, 취득한 그 3D 데이터를 복수의 패치로 분해하고, 그 패치별로 3D 데이터를 2차원 평면에 투영한다.

패치 분해부(111)는, 패치별로 2차원 평면에 투영된 3D 데이터를 패킹부(112)에 공급한다(화살표(122)). 또한, 패치 분해부(111)는, 그 분해에 관한 정보인 보조 패치 정보를, 보조 패치 정보 압축부(113)에 공급한다(화살표(123)).

패킹부(112)는, 데이터의 패킹에 관한 처리를 행한다. 예를 들어, 패킹부(112)는, 패치 분해부(111)로부터 공급되는 패치별로 3D 데이터가 투영된 2차원 평면의 데이터를 취득한다(화살표(122)). 또한, 패킹부(112)는, 취득한 그 2차원 평면의 각 레이어를 서로 다른 비디오 프레임으로서 패킹한다. 예를 들어, 패킹부(112)는, 포인트의 위치를 나타내는 위치 정보(Gepmetry), 그 위치 정보에 부가되는 색 정보 등의 속성 정보(Texture), 및 포인트의 존재의 유무를 나타내는 오큐펀시 맵(Occupancy Map)을 각각, 비디오 프레임으로서 패킹한다.

패킹부(112)는, 생성된 비디오 프레임을 후단의 처리부에 공급한다(화살표(124)). 예를 들어, 패킹부(112)는, 생성된 위치 정보(Geometry)의 비디오 프레임을 비디오 부호화부(114)에 공급한다. 또한, 예를 들어 패킹부(112)는, 생성된 속성 정보(Texture)의 비디오 프레임을 비디오 부호화부(115)에 공급한다. 또한, 예를 들어 패킹부(112)는, 생성된 오큐펀시 맵의 비디오 프레임을 OMap 부호화부(116)에 공급한다.

또한, 패킹부(112)는, 그 패킹에 관한 제어 정보를 멀티플렉서(117)에 공급한다(화살표(125)).

보조 패치 정보 압축부(113)는, 보조 패치 정보의 압축에 관한 처리를 행한다. 예를 들어, 보조 패치 정보 압축부(113)는, 패치 분해부(111)로부터 공급되는 데이터를 취득한다(화살표(123)). 보조 패치 정보 압축부(113)는, 취득한 데이터에 포함되는 보조 패치 정보를 부호화(압축)한다. 보조 패치 정보 압축부(113)는, 얻어진 보조 패치 정보의 부호화 데이터를 멀티플렉서(117)에 공급한다(화살표(126)).

비디오 부호화부(114)는, 위치 정보(Geometry)의 비디오 프레임의 부호화에 관한 처리를 행한다. 예를 들어, 비디오 부호화부(114)는, 패킹부(112)로부터 공급되는 위치 정보(Geometry)의 비디오 프레임을 취득한다(화살표(124)). 또한, 비디오 부호화부(114)는, 그 취득한 위치 정보(Geometry)의 비디오 프레임을, 예를 들어 AVC나 HEVC 등의 임의의 2차원 화상용의 부호화 방법에 의해 부호화한다. 비디오 부호화부(114)는, 그 부호화에 의해 얻어진 부호화 데이터(위치 정보(Geometry)의 비디오 프레임의 부호화 데이터)를 멀티플렉서(117)에 공급한다(화살표(127)).

비디오 부호화부(115)는, 속성 정보(Texture)의 비디오 프레임의 부호화에 관한 처리를 행한다. 예를 들어, 비디오 부호화부(115)는, 패킹부(112)로부터 공급되는 속성 정보(Texture)의 비디오 프레임을 취득한다(화살표(124)). 또한, 비디오 부호화부(115)는, 그 취득한 속성 정보(Texture)의 비디오 프레임을, 예를 들어 AVC나 HEVC 등의 임의의 2차원 화상용의 부호화 방법에 의해 부호화한다. 비디오 부호화부(115)는, 그 부호화에 의해 얻어진 부호화 데이터(속성 정보(Texture)의 비디오 프레임의 부호화 데이터)를 멀티플렉서(117)에 공급한다(화살표(128)).

OMap 부호화부(116)는, 오큐펀시 맵의 비디오 프레임의 부호화에 관한 처리를 행한다. 예를 들어, OMap 부호화부(116)는, 패킹부(112)로부터 공급되는 오큐펀시 맵의 비디오 프레임을 취득한다(화살표(124)). 또한, OMap 부호화부(116)는, 그 취득한 오큐펀시 맵의 비디오 프레임을, 예를 들어 AVC나 HEVC 등의 임의의 2차원 화상용의 부호화 방법에 의해 부호화한다. OMap 부호화부(116)는, 그 부호화에 의해 얻어진 부호화 데이터(오큐펀시 맵의 비디오 프레임의 부호화 데이터)를 멀티플렉서(117)에 공급한다(화살표(129)).

멀티플렉서(117)는, 다중화에 관한 처리를 행한다. 예를 들어, 멀티플렉서(117)는, 보조 패치 정보 압축부(113)로부터 공급되는 보조 패치 정보의 부호화 데이터를 취득한다(화살표(126)). 또한, 예를 들어 멀티플렉서(117)는, 패킹부(112)로부터 공급되는 패킹에 관한 제어 정보를 취득한다(화살표(125)). 또한, 예를 들어 멀티플렉서(117)는, 비디오 부호화부(114)로부터 공급되는 위치 정보(Geometry)의 비디오 프레임의 부호화 데이터를 취득한다(화살표(127)). 또한, 예를 들어 멀티플렉서(117)는, 비디오 부호화부(115)로부터 공급되는 속성 정보(Texture)의 비디오 프레임의 부호화 데이터를 취득한다(화살표(128)). 또한, 예를 들어 멀티플렉서(117)는, OMap 부호화부(116)로부터 공급되는 오큐펀시 맵의 비디오 프레임의 부호화 데이터를 취득한다(화살표(129)).

멀티플렉서(117)는, 취득한 그들 정보를 다중화하여, 비트 스트림을 생성한다. 멀티플렉서(117)는, 그 생성된 비트 스트림을 부호화 장치(100)의 외부에 출력한다(화살표(130)).

<패치 분해부>

도 5는, 패치 분해부(111)의 주된 구성예를 도시하는 블록도이다. 도 5에 도시되는 바와 같이, 이 경우의 패치 분해부(111)는, 법선 방향 추정부(151), 세그멘테이션 초기 설정부(152), 세그멘테이션 갱신부(153), 2차원 투영부(154) 및 화소 분포 해석부(155)를 갖는다.

법선 방향 추정부(151)는, 3D 데이터의 표면의 법선 방향의 추정에 관한 처리를 행한다. 예를 들어, 법선 방향 추정부(151)는, 입력되는 3D 데이터를 취득한다. 또한, 법선 방향 추정부(151)는, 그 취득한 3D 데이터가 나타내는 오브젝트의 표면의 법선 방향을 추정한다. 예를 들어, 법선 방향 추정부(151)는, kd-tree를 구축하고, 근방을 탐색하고, 최적 근사 접평면을 산출하거나 하여 법선 방향을 추정한다. 법선 방향 추정부(151)는, 그 법선 방향의 추정 결과를 그 밖의 데이터와 함께, 세그멘테이션 초기 설정부(152)에 공급한다.

세그멘테이션 초기 설정부(152)는, 세그멘테이션의 초기 설정에 관한 처리를 행한다. 예를 들어, 세그멘테이션 초기 설정부(152)는, 법선 방향 추정부(151)로부터 공급되는 데이터를 취득한다. 또한, 예를 들어 세그멘테이션 초기 설정부(152)는, 법선 방향 추정부(151)에 의해 추정된 법선 방향의, 6축의 각 방향의 성분에 기초하여, 3D 데이터의, 그 법선 방향에 대응하는 면을 분류한다. 세그멘테이션 초기 설정부(152)는, 그 분류 결과를, 다른 데이터와 함께 세그멘테이션 갱신부(153)에 공급한다.

세그멘테이션 갱신부(153)는, 세그멘테이션의 갱신에 관한 처리를 행한다. 예를 들어, 세그멘테이션 갱신부(153)는, 세그멘테이션 초기 설정부(152)로부터 공급되는 데이터를 취득한다. 그리고, 세그멘테이션 갱신부(153)는, 세그멘테이션 초기 설정부(152)에 의해 설정된 초기 설정의 세그멘테이션에 있어서의 지나치게 작은 영역을 통합하여, 충분히 큰 영역으로 되도록 한다. 세그멘테이션 갱신부(153)는, 갱신한 세그멘테이션에 관한 정보를, 그 밖의 정보와 함께, 2차원 투영부(154)에 공급한다.

2차원 투영부(154)는, 3D 데이터의 2차원 투영에 관한 처리를 행한다. 예를 들어, 2차원 투영부(154)는, 세그멘테이션 갱신부(153)로부터 공급되는 데이터를 취득한다. 또한, 2차원 투영부(154)는, 화소 분포 해석부(155)를 이용하여, 취득한 데이터에 포함되는 3D 데이터의 오큐펀시 맵을 생성하거나, 그 3D 데이터나 오큐펀시 데이터를 영역별로 2차원 평면에 투영하거나 한다. 2차원 투영부(154)는, 2차원 평면에 투영한 3D 데이터를, 그 밖의 데이터와 함께, 패킹부(112)에 공급한다.

화소 분포 해석부(155)는, 2차원 투영부(154)가 처리 대상으로 하는 3D 데이터의 화소 분포의 해석에 관한 처리를 행한다.

<복호 장치>

도 6은, 본 기술을 적용한 화상 처리 장치의 일 양태인 복호 장치의 구성의 일례를 도시하는 블록도이다. 도 6에 도시되는 복호 장치(200)는, 포인트 클라우드와 같은 3D 데이터가 2차원 평면에 투영되어 부호화된 부호화 데이터를, 2차원 화상용의 복호 방법에 의해 복호하고, 3차원 공간에 투영하는 장치이다.

예를 들어, 복호 장치(200)는, 비특허문헌 1 내지 비특허문헌 6에 기재되어 있는 기술을 실장하고, 그들 문헌 중 어느 것에 기재된 규격에 준거한 방법으로 3D 데이터의 부호화 데이터의 복호를 행한다.

또한, 도 6에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 도시하고 있으며, 도 6에 도시되는 것이 전부라고는 할 수 없다. 즉, 복호 장치(200)에 있어서, 도 6에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 6에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다. 이것은, 복호 장치(200) 내의 처리부 등을 설명하는 다른 도면에 있어서도 마찬가지이다.

도 6에 도시되는 바와 같이 복호 장치(200)는, 디멀티플렉서(211), 보조 패치 정보 복호부(212), 비디오 복호부(213), 비디오 복호부(214), OMap 복호부(215), 언패킹부(216) 및 3D 재구축부(217)를 갖는다.

디멀티플렉서(211)는, 데이터의 역다중화에 관한 처리를 행한다. 예를 들어, 디멀티플렉서(211)는, 복호 장치(200)에 입력되는 비트 스트림을 취득한다. 이 비트 스트림은, 예를 들어 부호화 장치(100)로부터 공급된다. 디멀티플렉서(211)는, 이 비트 스트림을 역다중화하고, 보조 패치 정보의 부호화 데이터를 추출하고, 그것을 보조 패치 정보 복호부(212)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트 스트림으로부터, 위치 정보(Geometory)의 비디오 프레임의 부호화 데이터를 추출하고, 그것을 비디오 복호부(213)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트 스트림으로부터, 속성 정보(Texture)의 비디오 프레임의 부호화 데이터를 추출하고, 그것을 비디오 복호부(214)에 공급한다. 또한, 디멀티플렉서(211)는, 역다중화에 의해, 비트 스트림으로부터, 오큐펀시 맵의 비디오 프레임의 부호화 데이터를 추출하고, 그것을 OMap 복호부(215)에 공급한다.

보조 패치 정보 복호부(212)는, 보조 패치 정보의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 보조 패치 정보 복호부(212)는, 디멀티플렉서(211)로부터 공급되는 보조 패치 정보의 부호화 데이터를 취득한다. 또한, 보조 패치 정보 복호부(212)는, 그 취득한 데이터에 포함되는 보조 패치 정보의 부호화 데이터를 복호한다. 보조 패치 정보 복호부(212)는, 그 복호에 의해 얻어진 보조 패치 정보를 3D 재구축부(217)에 공급한다.

비디오 복호부(213)는, 위치 정보(Geometory)의 비디오 프레임의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 비디오 복호부(213)는, 디멀티플렉서(211)로부터 공급되는 위치 정보(Geometory)의 비디오 프레임의 부호화 데이터를 취득한다. 또한, 예를 들어 비디오 복호부(213)는, 그 취득한 부호화 데이터를 복호하고, 위치 정보(Geometory)의 비디오 프레임을 얻는다. 비디오 복호부(213)는, 그 위치 정보(Geometory)의 비디오 프레임을, 언패킹부(216)에 공급한다.

비디오 복호부(214)는, 속성 정보(Texture)의 비디오 프레임의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 비디오 복호부(214)는, 디멀티플렉서(211)로부터 공급되는 속성 정보(Texture)의 비디오 프레임의 부호화 데이터를 취득한다. 또한, 예를 들어 비디오 복호부(214)는, 그 취득한 부호화 데이터를 복호하고, 속성 정보(Texture)의 비디오 프레임을 얻는다. 비디오 복호부(214)는, 그 속성 정보(Texture)의 비디오 프레임을, 언패킹부(216)에 공급한다.

OMap 복호부(215)는, 오큐펀시 맵의 비디오 프레임의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, OMap 복호부(215)는, 디멀티플렉서(211)로부터 공급되는 오큐펀시 맵의 비디오 프레임의 부호화 데이터를 취득한다. 또한, 예를 들어 OMap 복호부(215)는, 그 취득한 부호화 데이터를 복호하고, 오큐펀시 맵의 비디오 프레임을 얻는다. OMap 복호부(215)는, 그 오큐펀시 맵의 비디오 프레임을, 언패킹부(216)에 공급한다.

언패킹부(216)는, 언패킹에 관한 처리를 행한다. 예를 들어, 언패킹부(216)는, 비디오 복호부(213)로부터 위치 정보(Geometory)의 비디오 프레임을 취득하고, 비디오 복호부(214)로부터 속성 정보(Texture)의 비디오 프레임을 취득하고, OMap 복호부(215)로부터 오큐펀시 맵의 비디오 프레임을 취득한다. 언패킹부(216)는, 이들 비디오 프레임을 언패킹한다. 언패킹부(216)는, 언패킹하여 얻어진, 위치 정보(Geometory)의 데이터, 속성 정보(Texture)의 데이터 및 오큐펀시 맵의 데이터를, 3D 재구축부(217)에 공급한다.

3D 재구축부(217)는, 3D 데이터의 재구축에 관한 처리를 행한다. 예를 들어, 3D 재구축부(217)는, 보조 패치 정보 복호부(212)로부터 공급되는 보조 패치 정보나, 언패킹부(216)로부터 공급되는 위치 정보(Geometory)의 데이터, 속성 정보(Texture)의 데이터 및 오큐펀시 맵의 데이터 등에 기초하여, 3D 데이터를 재구축한다. 3D 재구축부(217)는, 이러한 처리에 의해 얻어진 3D 데이터를 복호 장치(200)의 외부에 출력한다.

이 3D 데이터는, 예를 들어 표시부에 공급되어 그 화상이 표시되거나, 기록 매체에 기록되거나, 통신을 통하여 다른 장치에 공급되거나 한다.

<3D 재구축부>

도 7은, 도 6의 3D 재구축부(217)의 주된 구성예를 도시하는 블록도이다. 도 7에 도시되는 바와 같이, 3D 재구축부(217)는, 3차원 투영부(251), 화소 분포 해석부(252), 역 세그멘테이션 갱신부(253), 역 세그멘테이션 초기 설정부(254) 및 역 법선 방향 추정부(255)를 갖는다.

3차원 투영부(251)는, 영역별로 2차원 평면에 투영된 3D 데이터의 3차원 공간에의 투영을 행한다. 화소 분포 해석부(252)는, 3차원 투영부(251)에 의한 3차원 공간에의 투영 시에, 화소 분포의 해석 등의 처리를 행한다.

역 세그멘테이션 갱신부(253)는, 세그멘테이션 갱신부(153)의 역처리를 행한다. 역 세그멘테이션 초기 설정부(254)는, 세그멘테이션 초기 설정부(152)의 역처리를 행한다. 역 법선 방향 추정부(255)는, 법선 방향 추정부(151)의 역처리를 행한다.

<2. 제1 실시 형태>

<3D 데이터를 투영하는 2차원 평면의 레이어수 가변>

종래의 방법에서는, 3D 데이터는, 도 8에 도시되는 예와 같이, 2개의 레이어(레이어0 및 레이어1)의 2차원 평면에 투영되어 있었다.

레이어0(Layer0)에는, 3D 데이터의 투영면으로부터 보아 표면의 포인트의 데이터가 투영된다. 레이어1(Layer1)에는, 레이어0으로부터 소정의 역치(Default Th=4Voxel) 이내에서 가장 이격되어 있는 포인트의 데이터가 투영된다. 이 소정의 역치 Th 이상 이격되어 있는 것은 드롭(Drop)된다. 또한, 레이어1에 있어서는, 레이어0으로부터의 거리의 차분값이 화소값으로 된다.

이와 같이 2매의 고정 레이어만으로, 오브젝트 표면을 표현하는 알고리즘으로 인해, 그 밖의 포인트의 정보는 상실된다(재현할 수 없음). 따라서, 2차원 평면에 투영할 수 없는 포인트가 발생하고, 2차원 평면에의 투영을 수반하는 부호화에 의해, 데이터의 품질이 저감될 우려가 있었다.

그래서, 3D 데이터를 투영하는 2차원 평면의 레이어수를 가변으로 해도 된다. 예를 들어, 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영하는 2차원 투영부를 구비하도록 한다.

예를 들어 도 9의 경우, 레이어0(Layer0) 내지 레이어3(Layer3)의 2차원 평면(2레이어보다 많은 레이어의 2차원 평면)이 설정되고, 그들 레이어에 3D 데이터가 투영되어 있다. 이와 같이 함으로써, 오브젝트 표면에 두툼한 포인트 클라우드를 보다 정확하게 재현할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

예를 들어, 2차원 투영부(154)가, 3D 데이터의, 투영면으로부터 보아 위치가 깊이 방향으로 겹치는 위치별 데이터를, 복수의 레이어의 2차원 평면의, 서로 다른 레이어에 투영되도록 해도 된다.

도 9의 예의 경우, 깊이 방향으로 겹치는 데이터는, 레이어0 내지 레이어3 중 서로 다른 레이어에 투영되어 있다. 이와 같이 함으로써, 3D 데이터의, 투영면으로부터 보아 위치가 깊이 방향으로 겹치는 위치별 데이터를 전부 2차원 평면에 투영할 수 있다. 즉, 정보의 손실을 억제할 수 있다. 따라서, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

또한, 예를 들어 2차원 투영부(154)가, 이 2차원 평면에 대하여, 3D 데이터의 투영면으로부터 보아 위치가 깊이 방향으로 겹치는 위치별 데이터의 최대수와 동일 수의 레이어를 생성하도록 해도 된다.

도 9의 예의 경우, 당해 영역(Local Bounding Box)의 3D 데이터에 있어서, 깊이 방향으로 겹치는 데이터의 최대수는 4이다. 따라서, 이 3D 데이터는, 4레이어(레이어0 내지 레이어3)의 2차원 평면에 투영된다.

이와 같이 함으로써, 3D 데이터의 모든 위치별 데이터를, 2차원 평면에 투영할 수 있다. 따라서, 정보의 손실을 억제할 수 있으므로, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

또한, 이 경우, 2차원 투영부(154)에 의해 3D 데이터가 투영된 2차원 평면의 레이어수를 나타내는 정보를, 비트 스트림에 시그널하도록 해도 된다. 즉, 비트 스트림 생성부로서 기능하는 멀티플렉서(117)가, 2차원 투영부(154)에 의해 3D 데이터가 투영된 2차원 평면의 레이어수를 나타내는 정보와, 비디오 부호화부(114) 등에 의해 2차원 평면이 부호화되어 얻어진 부호화 데이터를 포함하는 비트 스트림을 생성한다.

이와 같이 함으로써, 복호측에 있어서, 이 2차원 평면의 레이어수를 나타내는 정보를 참조함으로써, 용이하게, 2차원 평면의 모든 레이어에 투영된 3D 데이터를 3차원 공간에 투영할 수 있다.

<부호화 처리의 흐름>

부호화 장치(100)에 의해 실행되는 부호화 처리의 흐름의 예를, 도 10의 흐름도를 참조하여 설명한다.

부호화 처리가 개시되면, 부호화 장치(100)의 패치 분해부(111)는, 스텝 S101에 있어서, 3D 데이터를 패치로 분해하고, 각 패치의 데이터를 2차원 평면에 투영한다. 스텝 S102에 있어서, 보조 패치 정보 압축부(113)는, 스텝 S101의 처리에 의해 얻어진 보조 패치 정보를 압축한다.

스텝 S103에 있어서, 패킹부(112)는, 패치 분해부(111)에 의해 패치별로 2차원 평면에 투영된 3D 데이터를, 비디오 프레임으로서 패킹한다. 스텝 S104에 있어서, 비디오 부호화부(114)는, 스텝 S103의 처리에 의해 얻어진 위치 정보의 비디오 프레임인 지오메트리 비디오 프레임을, 2차원 화상용의 부호화 방법에 의해 부호화한다.

스텝 S105에 있어서, 비디오 부호화부(114)는, 스텝 S103의 처리에 의해 얻어진 속성 정보의 비디오 프레임인 컬러 비디오 프레임을, 2차원 화상용의 부호화 방법에 의해 부호화한다. 스텝 S106에 있어서, 비디오 부호화부(114)는, 스텝 S103의 처리에 의해 얻어진 오큐펀시 맵을, 2차원 화상용의 부호화 방법에 의해 부호화한다.

스텝 S107에 있어서, 멀티플렉서(117)는, 이상과 같이 생성된 각종 정보를 다중화하고, 이들 정보를 포함하는 비트 스트림을 생성한다.

스텝 S108에 있어서, 멀티플렉서(117)는, 스텝 S107의 처리에 의해 생성된 비트 스트림을 부호화 장치(100)의 외부에 출력한다.

스텝 S108의 처리가 종료되면, 부호화 처리가 종료된다.

<패치 분해 처리의 흐름>

다음에, 도 11의 흐름도를 참조하여, 도 10의 스텝 S101에 있어서 실행되는 패치 분해 처리의 흐름의 예를 설명한다.

패치 분해 처리가 개시되면, 법선 방향 추정부(151)는, 스텝 S121에 있어서, 법선 방향을 추정한다. 스텝 S122에 있어서, 세그멘테이션 초기 설정부(152)는, 세그멘테이션의 초기 설정을 행한다. 스텝 S123에 있어서, 세그멘테이션 갱신부(153)는, 스텝 S122에 있어서 설정된 초기 상태의 세그멘테이션을, 필요에 따라 갱신한다. 스텝 S124에 있어서, 2차원 투영부(154)는, 3D 데이터를 2차원 평면에 투영한다.

스텝 S124의 처리가 종료되면, 패치 분해 처리가 종료되고, 처리는 도 10으로 되돌아간다.

<2차원 투영 처리의 흐름>

다음에, 도 12의 흐름도를 참조하여, 도 11의 스텝 S124에 있어서 실행되는 2차원 투영 처리의 흐름의 예를 설명한다.

2차원 투영 처리가 개시되면, 2차원 투영부(154)는, 스텝 S141에 있어서, 세그멘테이션에 의한 영역 추출을 행한다. 스텝 S142에 있어서, 2차원 투영부(154)는, 레이어(Layer) 번호 i=0으로 초기화한다.

스텝 S143에 있어서, 화소 분포 해석부(155)는, 미투영 화소(2차원 평면에 투영되어 있지 않은 3D 데이터의 위치별 데이터)가 존재하는지 여부를 판정한다. 미투영 화소가 존재한다고 판정된 경우, 처리는 스텝 S144로 진행한다.

스텝 S144에 있어서, 2차원 투영부(154)는, 영역을 처리 대상의 레이어i(Layeri)에 투영한다. 스텝 S145에 있어서, 2차원 투영부(154)는, 변수 i를 인크리먼트한다(i++). 스텝 S145의 처리가 종료되면 처리는 스텝 S143으로 되돌아가고, 그 이후의 처리가 반복된다.

스텝 S143에 있어서, 미투영 화소가 존재하지 않는다(영역 내의 모든 화소가 투영되었다)고 판정된 경우, 처리는 스텝 S146으로 진행한다.

스텝 S146에 있어서, 2차원 투영부(154)는, 레이어 매수 i를 나타내는 정보를 공급하고, 부호화시킨다. 또한, 스텝 S147에 있어서, 2차원 투영부(154)는, 대응하는 i 프레임분의 지오메트리 화상을 부호화시킨다. 즉, 2차원 투영부(154)는, 3D 데이터를 투영한 2차원 평면을 패킹부(112)에 공급하고, 그 각 레이어를 서로 다른 프레임으로서 패킹시킨다.

스텝 S147의 처리가 종료되면, 2차원 투영 처리가 종료되고, 처리는 도 11로 되돌아간다.

이상과 같이 각 처리를 실행함으로써, 오브젝트 표면에 두툼한 포인트 클라우드를 보다 정확하게 재현할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

<레이어수 가변의 2차원 평면에 투영된 3D 데이터의 재구축>

복호측에 있어서는, 부호화측으로부터 제공되는 2차원 평면의 레이어수를 나타내는 정보를 사용함으로써, 상술한 바와 같이 레이어수가 가변인 2차원 평면에 투영된 3D 데이터의 재구축을 실현할 수 있다.

즉, 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영하는 3차원 투영부를 구비하도록 한다.

이와 같이 함으로써, 레이어수가 가변인 2차원 평면에 투영된 3D 데이터의 재구축을 실현할 수 있다. 즉, 오브젝트 표면에 두툼한 포인트 클라우드를 보다 정확하게 재현할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

<복호 처리의 흐름>

복호 장치(200)에 의해 실행되는 복호 처리의 흐름의 예를, 도 13의 흐름도를 참조하여 설명한다.

복호 처리가 개시되면, 복호 장치(200)의 디멀티플렉서(211)는, 스텝 S201에 있어서, 비트 스트림을 역다중화한다.

스텝 S202에 있어서, 보조 패치 정보 복호부(212)는, 스텝 S201의 처리에 의해 비트 스트림으로부터 추출된 보조 패치 정보를 복호한다. 스텝 S203에 있어서, 비디오 복호부(213)는, 스텝 S201의 처리에 의해 비트 스트림으로부터 추출된 지오메트리 비디오 프레임(위치 정보의 비디오 프레임)의 부호화 데이터를 복호한다.

스텝 S204에 있어서, 비디오 복호부(214)는, 스텝 S201의 처리에 의해 비트 스트림으로부터 추출된 컬러 비디오 프레임(속성 정보의 비디오 프레임)의 부호화 데이터를 복호한다. 스텝 S205에 있어서, OMap 복호부(215)는, 스텝 S201의 처리에 의해 비트 스트림으로부터 추출된 오큐펀시 맵의 부호화 데이터를 복호한다.

스텝 S206에 있어서, 언패킹부(216)는, 스텝 S203 내지 스텝 S205에 있어서 복호된, 지오메트리 비디오 프레임, 컬러 비디오 프레임 및 오큐펀시 맵을 각각 언패킹한다.

스텝 S207에 있어서, 3D 재구축부(217)는, 스텝 S202에 있어서 얻어진 보조패치 정보와, 스텝 S206에 있어서 얻어진 각종 정보에 기초하여, 예를 들어 포인트 클라우드 등의 3D 데이터를 재구축한다.

스텝 S207의 처리가 종료되면 복호 처리가 종료된다.

<포인트 클라우드 재구축 처리의 흐름>

다음에, 도 14의 흐름도를 참조하여, 도 13의 스텝 S207에 있어서 실행되는 포인트 클라우드 재구축 처리의 흐름의 예를 설명한다.

포인트 클라우드 재구축 처리가 개시되면, 3차원 투영부(251)는, 스텝 S221에 있어서, 2차원 화상을 3차원 공간에 투영한다.

스텝 S222에 있어서, 역 세그멘테이션 갱신부(253)는, 세그멘테이션을 역방향으로 갱신하고, 통합한 세그멘테이션을 나눈다.

스텝 S223에 있어서, 역 세그멘테이션 초기 설정부(254)는, 세그멘테이션의 초기 설정의 역처리를 행하고, 분류된 포인트를 통합한다.

스텝 S224에 있어서, 역 법선 방향 추정부(255)는, 법선 방향 추정의 역처리를 행하고, 포인트 클라우드를 재구축한다.

스텝 S224의 처리가 종료되면, 포인트 클라우드 재구축 처리가 종료되고, 처리는 도 13으로 되돌아간다.

<3차원 투영 처리의 흐름>

다음에, 도 15의 흐름도를 참조하여, 도 14의 스텝 S221에 있어서 실행되는 3차원 투영 처리의 흐름의 예를 설명한다.

3차원 투영 처리가 개시되면, 3차원 투영부(251)는, 스텝 S241에 있어서, 레이어 매수 i를 나타내는 정보를 복호시킨다.

스텝 S242에 있어서, 3차원 투영부(251)는, 대응하는 i 프레임분의 지오메트리 화상을 복호시킨다.

스텝 S243에 있어서, 화소 분포 해석부(252)는, 변수 k=0으로 초기화한다.

스텝 S244에 있어서, 화소 분포 해석부(252)는, 변수 k<i인지 여부를 판정한다. k<i라고 판정된 경우, 처리는 스텝 S245로 진행한다.

스텝 S245에 있어서, 3차원 투영부(251)는, 레이어k(Layerk)의 3D 데이터를, 3차원 공간에 투영한다.

스텝 S246에 있어서, 화소 분포 해석부(252)는, 변수 k를 인크리먼트한다(k++).

스텝 S246의 처리가 종료되면, 처리는, 스텝 S244로 되돌아간다.

또한, 스텝 S244에 있어서 변수 k<i가 아니라고 판정된 경우, 3차원 투영 처리가 종료되고, 처리는 도 14로 되돌아간다.

이상과 같이 각 처리를 실행함으로써, 레이어수가 가변인 2차원 평면에 투영된 3D 데이터의 재구축을 실현할 수 있다. 즉, 오브젝트 표면에 두툼한 포인트 클라우드를 보다 정확하게 재현할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

<3. 제2 실시 형태>

<「없는 화소」를 나타내는 값의 시그널>

소(疎)(Sparse)한 3D 데이터를 2차원 평면에 투영하면, 그 2차원 평면 상에 있어서 3D 데이터가 투영되지 않는 화소, 즉 화소값이 설정되지 않는 화소(없는 화소라고도 칭함)가 생기는 경우가 있다.

종래의 방법에서는, 3D 데이터가 소(Sparse)한 경우, 도 16에 도시되는 바와 같이, 그러한 「없는 화소」에 대하여 화소값이 보완되었다. 예를 들어 도 16의 경우, 레이어0(Layer0)의 「없는 화소」에 대하여, 그 왼쪽 옆의 화소로부터 화소값이 카피된다(화소 보완이 행해짐). 이러한 보완 처리를 행하는 것은, 2차원 화상용의 부호화 방법(예를 들어 AVC나 HEVC 등)은, 데이터가 존재하지 않는다(공백)고 하는 개념이 존재하지 않기 때문이다.

그러나, 이러한 보완 처리를 행하면, 3D 데이터에 원래 존재하지 않는 포인트를 부가하게 된다. 그 때문에, 3D 데이터가 열화될 우려가 있었다. 즉, 3D 데이터의 2차원 투영에 의한 품질이 저감될 우려가 있었다.

또한, 이러한 보완 처리를 행하지 않는 경우, 3D 데이터가 투영되는 2차원 평면 상에 있어서 「없는 화소」가 생기지 않도록, 영역을 설정할 필요가 있다. 그 때문에, 미소 영역(Point) 단위의 투영이 필요하게 되어, 처리량이 증대되거나, 부호화 효율이 저감되거나 할 우려가 있었다.

그래서, 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 2차원 평면에 투영하고, 그 2차원 평면의 위치별 데이터가 존재하지 않는 위치에, 그 위치별 데이터가 존재하지 않음을 나타내는 소정의 값을 세트하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 2차원 평면에 투영하고, 그 2차원 평면의 위치별 데이터가 존재하지 않는 위치에, 그 위치별 데이터가 존재하지 않음을 나타내는 소정의 값을 세트하는 2차원 투영부를 구비하도록 한다.

예를 들어 도 17에 도시되는 바와 같이, 3D 데이터가 투영된 2차원 평면 상에 있어서의 「없는 화소」를 나타내는 화소값으로서, 규정의 값 X를 사용한다. 이 X의 값은, 예를 들어 미리 정해진 소정의 고정값으로 해도 된다. 예를 들어, X=255(8bit의 상한)로 해도 된다.

이 경우, 비트 스트림 중에, X의 값을 시그널할 필요가 있다(복호측에 통지할 필요가 있음).

또한, 예를 들어 X의 값은, X>D로 되는 임의의 값을 이용할 수 있도록 해도 된다. 여기서 D는, 당해 바운딩 박스의 깊이의 최댓값을 나타낸다. 2차원 평면의 화소값에, 그 바운딩 박스의 깊이의 최댓값 이상의 값이 세트되는 일은 있을 수 없다. 따라서, 그 미사용의 값을 X로서 사용하도록 해도 된다.

이 경우, 복호측에 있어서, 바운딩 박스의 사이즈에 관한 정보로부터, 2차원 평면에 세트된 화소값이 미사용된 값인지 여부를 판별할 수 있다. 따라서, 이 X의 값을 비트 스트림에 시그널할(즉, 이 X의 값을 복호측에 통지할) 필요는 없다. 단, X의 값을 복호측에 통지하도록 해도, 물론 된다.

이와 같이 함으로써, 부호화 장치(100)는, 데이터의 보완을 필요로 하지 않고, 「없는 화소」를 표현할 수 있으므로, 3D 데이터의 열화를 억제할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

또한, 이와 같이 함으로써, 부호화 장치(100)는, 2차원 평면에 있어서의 「부호화할 수 없는 화소」의 수를 저감시킬 수 있으므로, 단순히 보완 처리를 행하지 않는 경우와 비교하여 영역을 크게 설정할 수 있다. 따라서, 미소 영역(Point) 단위의 투영이 불필요하게 되어, 처리량의 증대나, 부호화 효율의 저감을 억제할 수 있다.

<2차원 투영 처리의 흐름>

이 경우에도, 부호화 처리 및 패치 분해 처리는, 제1 실시 형태에 있어서 설명한 경우와 마찬가지로 행해진다. 따라서 그들의 설명은 생략한다.

도 11의 스텝 S124에 있어서 실행되는, 이 경우의 2차원 투영 처리의 흐름의 예를, 도 18의 흐름도를 참조하여 설명한다.

2차원 투영 처리가 개시되면, 2차원 투영부(154)는, 스텝 S301에 있어서, 세그멘테이션에 의한 영역 추출을 행한다. 스텝 S302에 있어서, 화소 분포 해석부(155)는, 소한 포인트 클라우드를 포함하는 영역인지 여부를 판정한다. 소한 포인트 클라우드를 포함하는 영역이라고 판정된 경우, 처리는 스텝 S303으로 진행한다.

스텝 S303에 있어서, 2차원 투영부(154)는, 당해 영역에 대하여 「없는 화소」를 정의하는 정보를 시그널한다. 즉, 상술한 X를 설정하고, 그 X를 이용하여, 2차원 평면에 투영된 「존재하지 않는 포인트」를 표현한다. 스텝 S303의 처리가 종료되면, 처리는 스텝 S305로 진행한다.

또한, 스텝 S302에 있어서, 소한 포인트 클라우드를 포함하지 않는 영역이라고 판정된 경우, 처리는 스텝 S304로 진행한다.

스텝 S304에 있어서, 2차원 투영부(154)는, 당해 영역을 2차원 평면의 각 레이어에 투영한다. 스텝 S304의 처리가 종료되면 처리는 스텝 S305로 진행한다.

스텝 S305에 있어서, 2차원 투영부(154)는, 당해 영역의 지오메트리 화상을 부호화시킨다.

스텝 S305의 처리가 종료되면, 2차원 투영 처리가 종료되고, 처리는 도 11로 되돌아간다.

이상과 같이, 2차원 투영 처리를 행함으로써, 부호화 장치(100)는, 데이터의 보완을 필요로 하지 않고, 「없는 화소」를 표현할 수 있다. 따라서, 3D 데이터의 열화를 억제할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

또한, 이와 같이 함으로써, 부호화 장치(100)는, 2차원 평면에 있어서의 「부호화할 수 없는 화소」의 수를 저감시킬 수 있으므로, 단순히 보완 처리를 행하지 않는 경우와 비교하여 영역을 크게 설정할 수 있다. 따라서, 미소 영역(Point) 단위의 투영이 불필요하게 되어, 처리량의 증대나, 부호화 효율의 저감을 억제할 수 있다.

<시그널된 「없는 화소」를 나타내는 값의 이용>

복호측에 있어서는, 2차원 평면에 투영된 3D 데이터를 3차원 공간에 투영할 때, 이상과 같이 하여 시그널된 2차원 평면 상의 「없는 화소」를 나타내는 화소값(상술한 X)을 검출하고, 삭제한다(투영하지 않도록 함).

즉, 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터 중, 그 위치별 데이터가 존재하지 않음을 나타내는 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터 중, 그 위치별 데이터가 존재하지 않음을 나타내는 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하는 3차원 투영부를 구비하도록 한다.

이와 같이 함으로써, 데이터의 보완을 필요로 하지 않고, 「없는 화소」를 표현할 수 있으므로, 3D 데이터의 열화를 억제할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

또한, 이와 같이 함으로써, 2차원 평면에 있어서의 「부호화할 수 없는 화소」의 수를 저감시킬 수 있으므로, 단순히 보완 처리를 행하지 않는 경우와 비교하여 영역을 크게 설정할 수 있다. 따라서, 미소 영역(Point) 단위의 투영이 불필요하게 되어, 처리량의 증대나, 부호화 효율의 저감을 억제할 수 있다.

<3차원 투영 처리의 흐름>

이 경우에도, 복호 처리 및 포인트 클라우드 재구축 처리는, 제1 실시 형태에 있어서 설명한 경우와 마찬가지로 행해진다. 따라서 그들의 설명은 생략한다.

도 14의 스텝 S221에 있어서 실행되는, 이 경우의 3차원 투영 처리의 흐름의 예를, 도 19의 흐름도를 참조하여 설명한다.

3차원 투영 처리가 개시되면, 3차원 투영부(251)는, 스텝 S321에 있어서, 처리 대상의 영역의 지오메트리 화상을 복호시킨다.

스텝 S322에 있어서, 화소 분포 해석부(252)는, 그 지오메트리 화상에, 「없는 화소」를 정의하는 정보(「없는 화소」를 나타내는 화소값)가 존재하는지 여부를 판정한다. 존재한다고 판정된 경우, 처리는 스텝 S323으로 진행한다.

스텝 S323에 있어서, 3차원 투영부(251)는, 그 검출된 「없는 화소」를 나타내는 화소값의 화소를 삭제한다(3차원 공간에 투영되지 않도록 설정함). 스텝 S323의 처리가 종료되면, 처리는 스텝 S324로 진행한다.

또한, 스텝 S322에 있어서, 「없는 화소」를 나타내는 화소값이 존재하지 않는다고 판정된 경우, 스텝 S323의 처리가 생략되고, 처리는 스텝 S324로 진행한다.

즉, 처리 대상의 영역의 지오메트리 화상에 대하여, 「없는 화소」를 나타내는 화소값의 검출이 행해지고, 검출된 경우, 그 화소가 삭제된다.

스텝 S324에 있어서, 3차원 투영부(251)는, 처리 대상의 영역의 지오메트리 화상을 3차원 공간에 투영한다.

스텝 S324의 처리가 종료되면, 3차원 투영 처리가 종료되고, 처리는 도 14로 되돌아간다.

이상과 같이 3차원 투영 처리를 실행함으로써, 복호 장치(200)는, 데이터의 보완을 필요로 하지 않고, 「없는 화소」를 표현할 수 있으므로, 3D 데이터의 열화를 억제할 수 있다. 즉, 3D 데이터의 2차원 투영에 의한 품질의 저감을 억제할 수 있다.

또한, 이와 같이 함으로써, 복호 장치(200)는, 2차원 평면에 있어서의 「부호화할 수 없는 화소」의 수를 저감시킬 수 있으므로, 단순히 보완 처리를 행하지 않는 경우와 비교하여 영역을 크게 설정할 수 있다. 따라서, 미소 영역(Point) 단위의 투영이 불필요하게 되어, 처리량의 증대나, 부호화 효율의 저감을 억제할 수 있다.

<4. 제3 실시 형태>

<깊이 파라미터의 제어>

3D 데이터를 2차원 평면에 투영할 때, 그 2차원 평면에 투영하는 3D 데이터의 깊이 방향의 범위를 제어하는 깊이 파라미터 th가 이용된다. 이 깊이 파라미터 th에 의해 지정되는 범위 내의 포인트가 2차원 평면에의 투영 대상으로 되기 때문에, 이 깊이 파라미터 th의 값은, 영역(Local bounding box)의 깊이 방향의 길이와 관련된다. 예를 들어, 영역의 깊이 방향의 길이보다 깊이 파라미터 th의 값이 크면, 다른 영역의 포인트도 투영 대상으로 될 수 있다. 즉, 영역의 깊이 방향의 길이는, 깊이 파라미터 th보다 길게 할 필요가 있다.

종래의 방법에서는, 도 20에 도시되는 바와 같이, 이 깊이 파라미터 th는, 프레임 단위로 제어된다. 따라서, 프레임 내의 모든 깊이 파라미터 th는, 공통의 값을 갖는다.

그러나, 예를 들어 얼굴과 발, 중심부와 주변부와 같이, 프레임 내에 있어서 포인트 클라우드의 표면 밀도가 일정하지 않은 경우도 있을 수 있다. 그 때문에, 깊이 파라미터 th의 값이 항상 최적으로 되지 않아, 부호화 효율이 저감될 우려가 있었다. 예를 들어, 깊이 방향으로 영역을 분할하는 편이 부호화 효율이 좋지만, 깊이 파라미터 th의 값이 커서, 분할할 수 없는 케이스가 일어날 수 있다.

그래서, 3차원 구조를 나타내는 3D 데이터의 위치별 데이터를 3차원 공간의 소정의 영역별로 2차원 평면에 투영할 때, 그 영역별로 설정된 1레이어에 투영 가능한 3차원 구조를 나타내는 3D 데이터의 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 깊이 방향의 범위 내의 위치별 데이터를, 그 2차원 평면에 투영하도록 한다. 예를 들어, 화상 처리 장치에 있어서, 3차원 구조를 나타내는 3D 데이터의 위치별 데이터를 3차원 공간의 소정의 영역별로 2차원 평면에 투영할 때, 그 영역별로 설정된 1레이어에 투영 가능한 3차원 구조를 나타내는 3D 데이터의 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 깊이 방향의 범위 내의 위치별 데이터를, 그 2차원 평면에 투영하는 2차원 투영부를 구비하도록 한다.

예를 들어, 도 21에 도시되는 바와 같이, 깊이 파라미터를 패치별로 전송할 수 있도록 확장하고, 영역별로, 레이어(Layer)에 투영할 화소의 위치(TH)를 전송하도록 한다. 이와 같이 함으로써, 예를 들어 영역 1에 대해서는, 깊이 파라미터 th를 설정하고, 영역 2에 대해서는, 깊이 파라미터 th'를 설정할 수 있게 된다. 따라서, 레이어1(Layer1)의 효율(Geometry 부호화 효율)이 개선된다.

<2차원 투영 처리의 흐름>

이 경우에도, 부호화 처리 및 패치 분해 처리는, 제1 실시 형태에 있어서 설명한 경우와 마찬가지로 행해진다. 따라서 그들의 설명은 생략한다.

도 11의 스텝 S124에 있어서 실행되는, 이 경우의 2차원 투영 처리의 흐름의 예를, 도 22의 흐름도를 참조하여 설명한다.

2차원 투영 처리가 개시되면, 화소 분포 해석부(155)는, 스텝 S401에 있어서, 영역 번호 i=0으로 초기화한다.

스텝 S402에 있어서, 화소 분포 해석부(155)는, 미처리 화소가 존재하는지 여부를 판정한다. 미처리 화소가 존재한다고 판정된 경우, 처리는 스텝 S403으로 진행한다.

스텝 S403에 있어서, 2차원 투영부(154)는, 세그멘테이션에 의한 영역 i의 추출을 행한다.

스텝 S404에 있어서, 2차원 투영부(154)는, 깊이 파라미터의 조정과 부호화(RD 판정)를 행한다. 즉, 최적의 깊이 파라미터 th와 영역의 범위의 설정이 RD 판정에 의해 행해진다.

스텝 S405에 있어서, 2차원 투영부(154)는, 스텝 S404에 있어서 행해진 설정에 기초하여, 처리 대상 영역 i의 지오메트리 화상을 2차원 표면에 투영한다.

스텝 S406에 있어서, 2차원 투영부(154)는, 그 2차원 평면에 투영된 지오메트리 화상을 부호화시킨다.

스텝 S407에 있어서, 화소 분포 해석부(155)는, 변수 i를 인크리먼트한다(i++). 스텝 S407의 처리가 종료되면, 처리는 스텝 S402로 되돌아가고, 그 이후의 처리를 반복한다.

또한, 스텝 S402에 있어서, 미처리 화소가 존재하지 않는다고 판정된 경우, 처리는 스텝 S408로 진행한다.

스텝 S408에 있어서, 2차원 투영부(154)는, 오클루전 맵(Occulusion Map)을 부호화시킨다. 스텝 S408의 처리가 종료되면 2차원 투영 처리가 종료되고, 처리는 도 11로 되돌아간다.

이상과 같이 2차원 투영 처리를 행함으로써, 부호화 장치(100)는, 각 영역에 의해 적합한 깊이 파라미터 th를 얻을 수 있고, 부호화 효율의 저감을 억제할 수 있다.

<제어된 깊이 파라미터의 이용>

복호측에 있어서는, 2차원 평면에 투영된 3D 데이터를 3차원 공간에 투영할 때, 이상과 같이 제어된 깊이 파라미터 th로 나타나는 범위에 3D 데이터를 투영하도록 한다.

즉, 3차원 공간의 소정의 영역별로, 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 그 3차원 공간에 투영할 때, 그 위치별 데이터를, 그 3차원 공간의, 그 영역별로 설정된 1레이어에 투영 가능한 3D 데이터의 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 그 깊이 방향의 범위 내에 투영되도록 한다. 예를 들어, 화상 처리 장치에 있어서, 3차원 공간의 소정의 영역별로, 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 그 3차원 공간에 투영할 때, 그 위치별 데이터를, 그 3차원 공간의, 그 영역별로 설정된 1레이어에 투영 가능한 3D 데이터의 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 그 깊이 방향의 범위 내에 투영하는 3차원 투영부를 구비하도록 한다.

이와 같이 함으로써, 영역별로 설정된 깊이 파라미터 th를 이용하여 3D 데이터의 3차원 공간에의 투영을 행할 수 있으므로, 부호화 효율의 저감을 억제할 수 있다.

<3차원 투영 처리의 흐름>

이 경우에도, 복호 처리 및 포인트 클라우드 재구축 처리는, 제1 실시 형태에 있어서 설명한 경우와 마찬가지로 행해진다. 따라서 그들의 설명은 생략한다.

도 14의 스텝 S221에 있어서 실행되는, 이 경우의 3차원 투영 처리의 흐름의 예를, 도 23의 흐름도를 참조하여 설명한다.

3차원 투영 처리가 개시되면, 3차원 투영부(251)는, 스텝 S421에 있어서, Occlusion 맵을 복호시킨다.

스텝 S422에 있어서, 화소 분포 해석부(252)는, 영역 번호 k=0으로 초기화한다.

스텝 S423에 있어서, 화소 분포 해석부(252)는, 변수 k<i인지 여부를 판정한다. k<i라고 판정된 경우, 처리는 스텝 S424로 진행한다.

스텝 S424에 있어서, 3차원 투영부(251)는, 깊이 파라미터 th를 복호시킨다. 스텝 S425에 있어서, 3차원 투영부(251)는 지오메트리 화상을 복호시킨다. 스텝 S426에 있어서, 3차원 투영부(251)는, 당해 영역의 화상을 3차원 공간에 투영한다.

스텝 S427에 있어서, 화소 분포 해석부(252)는, 변수 k를 인크리먼트한다(k++). 스텝 S427의 처리가 종료되면, 처리는 스텝 S423으로 되돌아가고, 그 이후의 처리를 반복한다.

또한, 스텝 S423에 있어서, k<i가 아니라고 판정된 경우, 3차원 투영 처리가 종료되고, 처리는 도 14로 되돌아간다.

이상과 같이 3차원 투영 처리를 실행함으로써, 복호 장치(200)는, 영역별로 설정된 깊이 파라미터 th를 이용하여 3D 데이터의 3차원 공간에의 투영을 행할 수 있으므로, 부호화 효율의 저감을 억제할 수 있다.

<5. 부기>

<제어 정보>

이상의 각 실시 형태에 있어서 설명한 본 기술에 관한 제어 정보를 부호화측으로부터 복호측으로 전송하도록 해도 된다. 예를 들어, 상술한 본 기술을 적용하는 것을 허가(또는 금지)할지 여부를 제어하는 제어 정보(예를 들어 enabled_flag)를 전송하도록 해도 된다. 또한, 예를 들어 상술한 본 기술을 적용하는 것을 허가(또는 금지)하는 범위(예를 들어 블록 사이즈의 상한 혹은 하한, 또는 그 양쪽, 슬라이스, 픽처, 시퀀스, 컴포넌트, 뷰, 레이어 등)를 지정하는 제어 정보를 전송하도록 해도 된다.

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 24는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

도 24에 도시되는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)를 통하여 서로 접속되어 있다.

버스(904)에는, 추가로 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914) 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성 메모리 등으로 이루어진다. 통신부(914)는, 예를 들어 네트워크 인터페이스로 이루어진다. 드라이브(915)는, 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통하여, RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 측면에 있어서 필요한 데이터 등도 적절하게 기억된다.

컴퓨터(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통하여, 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)에서 수신하고, 기억부(913)에 인스톨할 수 있다.

그 밖에, 이 프로그램은 ROM(902)이나 기억부(913)에 미리 인스톨해 둘 수도 있다.

<본 기술의 적용 대상>

이상에 있어서는, 포인트 클라우드 데이터의 Voxel화에 본 기술을 적용하는 경우에 대하여 설명하였지만, 본 기술은 이들 예에 한하지 않고, 임의의 규격의 3D 데이터의 Voxel화에 대하여 적용할 수 있다. 즉, 상술한 본 기술과 모순되지 않는 한, 부호화ㆍ복호 방식 등의 각종 처리, 그리고 3D 데이터나 메타데이터 등의 각종 데이터의 사양은 임의이다. 또한, 본 기술과 모순되지 않는 한, 상술한 일부의 처리나 사양을 생략해도 된다.

또한, 이상에 있어서는, 본 기술의 적용예로서 부호화 장치(100) 및 복호 장치(200)에 대하여 설명하였지만, 본 기술은, 임의의 구성에 적용할 수 있다.

예를 들어, 본 기술은 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신, 및 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나, 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드 디스크 레코더나 카메라) 등의, 여러 가지 전자 기기에 적용될 수 있다.

또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 사용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 사용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 추가로 그 밖의 기능을 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부의 구성으로서 실시할 수도 있다.

또한, 예를 들어 본 기술은, 복수의 장치에 의해 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어, 본 기술을, 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

<본 기술을 적용 가능한 분야ㆍ용도>

본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

예를 들어, 본 기술은, 관상용 콘텐츠 등의 제공용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 교통 상황의 감리나 자동 운전 제어 등, 교통용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 시큐리티용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 기계 등의 자동 제어용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 농업이나 축산업용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 본 기술은, 예를 들어 화산, 삼림, 해양 등의 자연 상태나 야생 생물 등을 감시하는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은 스포츠용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다.

<기타>

또한, 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이며, 참(1) 또는 거짓(0)의 2상태를 식별할 때 사용하는 정보뿐만 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서, 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2치여도 되고, 3치 이상이어도 된다. 즉, 이 「플래그」를 구성하는 bit수는 임의이며, 1bit여도 복수 bit여도 된다. 또한, 식별 정보(플래그도 포함함)는, 그 식별 정보를 비트 스트림에 포함시키는 형태뿐만 아니라, 어떤 기준으로 되는 정보에 대한 식별 정보의 차분 정보를 비트 스트림에 포함시키는 형태도 상정되기 때문에, 본 명세서에 있어서는 「플래그」나 「식별 정보」는, 그 정보뿐만 아니라, 기준으로 되는 정보에 대한 차분 정보도 포함한다.

또한, 부호화 데이터(비트 스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련지어져 있으면, 어떠한 형태로 전송 또는 기록되도록 해도 된다. 여기서, 「관련짓는다」라고 하는 용어는, 예를 들어 한쪽 데이터를 처리할 때 다른 쪽 데이터를 이용할 수 있도록(링크시킬 수 있도록) 함을 의미한다. 즉, 서로 관련지어진 데이터는, 하나의 데이터로서 통합되어도 되고, 각각 개별의 데이터로 해도 된다. 예를 들어, 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한, 이 「관련짓기」는 데이터 전체가 아니라, 데이터의 일부여도 된다. 예를 들어, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어지도록 해도 된다.

또한, 본 명세서에 있어서, 「합성한다」, 「다중화한다」, 「부가한다」, 「일체화한다」, 「포함시킨다」, 「저장한다」, 「집어넣는다」, 「끼워넣는다」, 「삽입한다」 등의 용어는, 예를 들어 부호화 데이터와 메타데이터를 하나의 데이터로 통합한다고 하는, 복수의 것을 하나로 통합함을 의미하며, 상술한 「관련짓기」의 하나의 방법을 의미한다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하다면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.

또한, 예를 들어 상술한 프로그램은, 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 된다.

또한, 예를 들어 하나의 흐름도의 각 스텝을, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 환언하건대, 하나의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합하여 실행할 수도 있다.

또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별적으로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.

또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들어, 어느 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영하는 2차원 투영부

를 구비하는 화상 처리 장치.

(2) 상기 2차원 투영부는, 상기 3D 데이터의, 투영면으로부터 보아 위치가 깊이 방향으로 겹치는 상기 위치별 데이터를, 상기 복수의 레이어의 상기 2차원 평면의, 서로 다른 레이어에 투영하는

(1)에 기재된 화상 처리 장치.

(3) 상기 2차원 투영부는, 상기 2차원 평면에 대하여, 상기 3D 데이터의 투영면으로부터 보아 위치가 깊이 방향으로 겹치는 상기 위치별 데이터의 최대수와 동일 수의 레이어를 생성하는

(2)에 기재된 화상 처리 장치.

(4) 상기 2차원 투영부에 의해 상기 2차원 평면에 투영된 상기 3D 데이터를, 부호화하는 부호화부를 더 구비하는

(1) 내지 (3) 중 어느 것에 기재된 화상 처리 장치.

(5) 상기 부호화부는, 상기 2차원 평면의 각 레이어에 투영된 상기 3D 데이터의, 위치 정보, 속성 정보 및 오큐펀시 맵을 각각 부호화하는

(4)에 기재된 화상 처리 장치.

(6) 상기 2차원 투영부에 의해 상기 3D 데이터가 투영된 상기 2차원 평면의 레이어수를 나타내는 정보와, 상기 부호화부에 의해 상기 2차원 평면이 부호화되어 얻어진 부호화 데이터를 포함하는 비트 스트림을 생성하는 비트 스트림 생성부를 더 구비하는

(4) 또는 (5)에 기재된 화상 처리 장치.

(7) 상기 2차원 투영부에 의해 상기 3D 데이터가 투영된 상기 2차원 평면을, 비디오 프레임으로서 패킹하는 패킹부를 더 구비하고,

상기 부호화부는, 상기 패킹부에 의해 상기 2차원 평면이 패킹된 상기 비디오 프레임을 부호화하도록 구성되는

(4) 내지 (6) 중 어느 것에 기재된 화상 처리 장치.

(8) 상기 2차원 투영부는, 상기 3D 데이터를, 소정의 영역별로 상기 2차원 평면에 투영하는

(1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.

(9) 상기 3D 데이터는 포인트 클라우드인

(1) 내지 (8) 중 어느 것에 기재된 화상 처리 장치.

(10) 3차원 구조를 나타내는 3D 데이터에 포함되는 모든 위치별 데이터를, 복수 레이어의 2차원 평면에 투영하는

화상 처리 방법.

(11) 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영하는 3차원 투영부

를 구비하는 화상 처리 장치.

(12) 비트 스트림에 포함되는 상기 레이어수 정보를 추출하는 추출부를 더 구비하고,

상기 3차원 투영부는, 상기 추출부에 의해 추출된 상기 레이어수 정보가 나타내는 레이어수의 상기 2차원 평면에 투영된 상기 3D 데이터의 모든 상기 위치별 데이터를, 상기 3차원 공간에 투영하도록 구성되는

(11)에 기재된 화상 처리 장치.

(13) 상기 비트 스트림에 포함되는 상기 2차원 평면에 투영된 상기 3D 데이터의 부호화 데이터를 복호하는 복호부를 더 구비하고,

상기 3차원 투영부는, 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터의 모든 상기 위치별 데이터를, 상기 3차원 공간에 투영하도록 구성되는

(12)에 기재된 화상 처리 장치.

(14) 상기 복호부는, 상기 2차원 평면의 각 레이어에 투영된 상기 3D 데이터의, 위치 정보, 속성 정보 및 오큐펀시 맵의 각각의 부호화 데이터를 복호하는

(13)에 기재된 화상 처리 장치.

(15) 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터가 패킹된 비디오 프레임을 언패킹하는 언패킹부를 더 구비하고,

상기 3차원 투영부는, 상기 언패킹부에 의해 비디오 프레임이 언패킹되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터의 모든 상기 위치별 데이터를, 상기 3차원 공간에 투영하도록 구성되는

(13) 또는 (14)에 기재된 화상 처리 장치.

(16) 상기 3차원 투영부는, 소정의 영역별로 상기 2차원 평면에 투영된 상기 3D 데이터를, 상기 3차원 공간에 투영하는

(11) 내지 (15) 중 어느 것에 기재된 화상 처리 장치.

(17) 상기 3D 데이터는 포인트 클라우드인

(11) 내지 (16) 중 어느 것에 기재된 화상 처리 장치.

(18) 레이어수 정보가 나타내는 레이어수의 2차원 평면에 투영된 3D 데이터의 모든 위치별 데이터를, 3차원 공간에 투영하는

화상 처리 방법.

(21) 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 2차원 평면에 투영하고, 상기 2차원 평면의 상기 위치별 데이터가 존재하지 않는 위치에, 상기 위치별 데이터가 존재하지 않음을 나타내는 소정의 값을 세트하는 2차원 투영부

를 구비하는 화상 처리 장치.

(22) 상기 소정의 값은, 미리 정해진 고정값인

(21)에 기재된 화상 처리 장치.

(23) 상기 소정의 값은, 상기 3D 데이터의 깊이의 최댓값보다 큰 값인

(21)에 기재된 화상 처리 장치.

(24) 상기 2차원 투영부에 의해 상기 2차원 평면에 투영된 상기 3D 데이터를, 부호화하는 부호화부를 더 구비하는

(21) 내지 (23) 중 어느 것에 기재된 화상 처리 장치.

(25) 상기 부호화부는, 상기 2차원 평면에 투영된 상기 3D 데이터의, 위치 정보, 속성 정보 및 오큐펀시 맵을 각각 부호화하는

(24)에 기재된 화상 처리 장치.

(26) 상기 소정의 값을 나타내는 정보와, 상기 부호화부에 의해 상기 2차원 평면이 부호화되어 얻어진 부호화 데이터를 포함하는 비트 스트림을 생성하는 비트 스트림 생성부를 더 구비하는

(24) 또는 (25)에 기재된 화상 처리 장치.

(27) 상기 2차원 투영부에 의해 상기 3D 데이터가 투영된 상기 2차원 평면을, 비디오 프레임으로서 패킹하는 패킹부를 더 구비하고,

상기 부호화부는, 상기 패킹부에 의해 상기 2차원 평면이 패킹된 상기 비디오 프레임을 부호화하도록 구성되는

(24) 내지 (26) 중 어느 것에 기재된 화상 처리 장치.

(28) 상기 2차원 투영부는, 상기 3D 데이터를, 소정의 영역별로 상기 2차원 평면에 투영하는

(21) 내지 (27) 중 어느 것에 기재된 화상 처리 장치.

(29) 상기 3D 데이터는 포인트 클라우드인

(21) 내지 (28) 중 어느 것에 기재된 화상 처리 장치.

(30) 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 2차원 평면에 투영하고, 상기 2차원 평면의 상기 위치별 데이터가 존재하지 않는 위치에, 상기 위치별 데이터가 존재하지 않음을 나타내는 소정의 값을 세트하는

화상 처리 방법.

(31) 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터 중, 상기 위치별 데이터가 존재하지 않음을 나타내는 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하는 3차원 투영부

를 구비하는 화상 처리 장치.

(32) 상기 소정의 값은, 미리 정해진 고정값인

(31)에 기재된 화상 처리 장치.

(33) 상기 소정의 값은, 상기 3D 데이터의 깊이의 최댓값보다 큰 값인

(31)에 기재된 화상 처리 장치.

(34) 비트 스트림에 포함되는 상기 소정의 값을 나타내는 정보를 추출하는 추출부를 더 구비하고,

상기 3차원 투영부는, 상기 3D 데이터에 포함되는 상기 위치별 데이터 중, 상기 추출부에 의해 추출된 상기 정보에 나타나는 상기 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하도록 구성되는

(31) 내지 (33) 중 어느 것에 기재된 화상 처리 장치.

(35) 상기 비트 스트림에 포함되는 상기 2차원 평면에 투영된 상기 3D 데이터의 부호화 데이터를 복호하는 복호부를 더 구비하고,

상기 3차원 투영부는, 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터에 포함되는 상기 위치별 데이터 중, 상기 추출부에 의해 추출된 상기 정보에 나타나는 상기 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하도록 구성되는

(34)에 기재된 화상 처리 장치.

(36) 상기 복호부는, 상기 2차원 평면의 각 레이어에 투영된 상기 3D 데이터의, 위치 정보, 속성 정보 및 오큐펀시 맵의 각각의 부호화 데이터를 복호하는

(35)에 기재된 화상 처리 장치.

(37) 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터가 패킹된 비디오 프레임을 언패킹하는 언패킹부를 더 구비하고,

상기 3차원 투영부는, 상기 언패킹부에 의해 비디오 프레임이 언패킹되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터에 포함되는 상기 위치별 데이터 중, 상기 추출부에 의해 추출된 상기 정보에 나타나는 상기 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하도록 구성되는

(35) 또는 (36)에 기재된 화상 처리 장치.

(38) 상기 3차원 투영부는, 소정의 영역별로 상기 2차원 평면에 투영된 상기 3D 데이터를, 상기 3차원 공간에 투영하는

(31) 내지 (37) 중 어느 것에 기재된 화상 처리 장치.

(39) 상기 3D 데이터는 포인트 클라우드인

(31) 내지 (38) 중 어느 것에 기재된 화상 처리 장치.

(40) 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터 중, 상기 위치별 데이터가 존재하지 않음을 나타내는 소정의 값의 데이터 이외의 데이터를, 3차원 공간에 투영하는

화상 처리 방법.

(41) 3차원 구조를 나타내는 3D 데이터의 위치별 데이터를 3차원 공간의 소정의 영역별로 2차원 평면에 투영할 때, 상기 영역별로 설정된 1레이어에 투영 가능한 3차원 구조를 나타내는 3D 데이터의 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내의 상기 위치별 데이터를, 상기 2차원 평면에 투영하는 2차원 투영부

를 구비하는 화상 처리 장치.

(42) 상기 2차원 투영부에 의해 상기 2차원 평면에 투영된 상기 3D 데이터를, 부호화하는 부호화부를 더 구비하는

(41)에 기재된 화상 처리 장치.

(43) 상기 부호화부는, 상기 2차원 평면에 투영된 상기 3D 데이터의, 위치 정보, 속성 정보 및 오큐펀시 맵을 각각 부호화하는

(42)에 기재된 화상 처리 장치.

(44) 상기 영역별로 설정된 상기 깊이 파라미터와, 상기 부호화부에 의해 상기 2차원 평면이 부호화되어 얻어진 부호화 데이터를 포함하는 비트 스트림을 생성하는 비트 스트림 생성부를 더 구비하는

(42) 또는 (43)에 기재된 화상 처리 장치.

(45) 상기 2차원 투영부에 의해 상기 3D 데이터가 투영된 상기 2차원 평면을, 비디오 프레임으로서 패킹하는 패킹부를 더 구비하고,

상기 부호화부는, 상기 패킹부에 의해 상기 2차원 평면이 패킹된 상기 비디오 프레임을 부호화하도록 구성되는

(42) 내지 (44) 중 어느 것에 기재된 화상 처리 장치.

(46) 상기 3D 데이터는 포인트 클라우드인

(41) 내지 (45) 중 어느 것에 기재된 화상 처리 장치.

(47) 3차원 구조를 나타내는 3D 데이터의 위치별 데이터를 3차원 공간의 소정의 영역별로 2차원 평면에 투영할 때, 상기 영역별로 설정된 1레이어에 투영 가능한 3차원 구조를 나타내는 3D 데이터의 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내의 상기 위치별 데이터를, 상기 2차원 평면에 투영하는

화상 처리 방법.

(51) 3차원 공간의 소정의 영역별로, 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 상기 3차원 공간에 투영할 때, 상기 위치별 데이터를, 상기 3차원 공간의, 상기 영역별로 설정된 1레이어에 투영 가능한 상기 3D 데이터의 상기 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내에 투영하는 3차원 투영부

를 구비하는 화상 처리 장치.

(52) 비트 스트림에 포함되는 상기 깊이 파라미터를 추출하는 추출부를 더 구비하고,

상기 3차원 투영부는, 상기 3D 데이터에 포함되는 상기 위치별 데이터를, 상기 추출부에 의해 추출된 상기 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내에 투영하도록 구성되는

(51)에 기재된 화상 처리 장치.

(53) 상기 비트 스트림에 포함되는 상기 2차원 평면에 투영된 상기 3D 데이터의 부호화 데이터를 복호하는 복호부를 더 구비하고,

상기 3차원 투영부는, 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터의 상기 위치별 데이터를, 상기 추출부에 의해 추출된 상기 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내에 투영하도록 구성되는

(52)에 기재된 화상 처리 장치.

(54) 상기 복호부는, 상기 2차원 평면의 각 레이어에 투영된 상기 3D 데이터의, 위치 정보, 속성 정보 및 오큐펀시 맵의 각각의 부호화 데이터를 복호하는

(53)에 기재된 화상 처리 장치.

(55) 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터가 패킹된 비디오 프레임을 언패킹하는 언패킹부를 더 구비하고,

상기 3차원 투영부는, 상기 언패킹부에 의해 비디오 프레임이 언패킹되어 얻어진, 상기 2차원 평면에 투영된 상기 3D 데이터의 상기 위치별 데이터를, 상기 추출부에 의해 추출된 상기 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내에 투영하도록 구성되는

(53) 또는 (54)에 기재된 화상 처리 장치.

(56) 상기 3D 데이터는 포인트 클라우드인

(51) 내지 (55) 중 어느 것에 기재된 화상 처리 장치.

(57) 3차원 공간의 소정의 영역별로, 2차원 평면에 투영된 3차원 구조를 나타내는 3D 데이터에 포함되는 위치별 데이터를 상기 3차원 공간에 투영할 때, 상기 위치별 데이터를, 상기 3차원 공간의, 상기 영역별로 설정된 1레이어에 투영 가능한 상기 3D 데이터의 상기 위치별 데이터의 깊이 방향의 범위를 제한하는 깊이 파라미터가 나타내는 상기 깊이 방향의 범위 내에 투영하는

화상 처리 방법.

100: 부호화 장치
111: 패치 분해부
112: 패킹부
113: 보조 패치 정보 압축부
114: 비디오 부호화부
115: 비디오 부호화부
116: OMap 부호화부
117: 멀티플렉서
151: 법선 방향 추정부
152: 세그멘테이션 초기 설정부
153: 세그멘테이션 갱신부
154: 2차원 투영부
155: 화소 분포 해석부
200: 복호 장치
211: 디멀티플렉서
212: 보조 패치 정보 복호부
213: 비디오 복호부
214: 비디오 복호부
215: OMap 복호부
216: 언패킹부
217: 3D 재구축부
251: 3차원 투영부
252: 화소 분포 해석부
253: 역 세그멘테이션 갱신부
254: 역 세그멘테이션 초기 설정부
255: 역 법선 방향 추정부

Claims (20)

1. 바운딩 박스의 깊이 방향의 적어도 3개의 2차원 레이어로 투영하는 2차원 투영부 - 포인트 클라우드의 포인트의 위치 데이터는 상기 바운딩 박스에 포함된 객체의 3차원 구조를 나타내고, 상기 투영된 포인트는 상기 깊이 방향으로 서로 겹침 -; 및
   상기 2차원 레이어의 수를 나타내는 시그널 정보를 생성하는 비트 스트림 생성부를 구비하고,
   상기 적어도 3개의 2차원 레이어는 2차원 평면의 레이어인, 화상 처리 장치.
2. 삭제
3. 제1항에 있어서,
   상기 2차원 투영부는, 상기 위치 데이터에 포함된 투영면으로부터 보아 위치가 깊이 방향으로 겹치는 위치별 데이터의 최대수와 동일한 수의 상기 2차원 레이어를 생성하는,
   화상 처리 장치.
4. 제1항에 있어서,
   상기 2차원 투영부는, 상기 2차원 평면의 위치별 데이터가 존재하지 않는 위치에, 상기 위치별 데이터가 존재하지 않음을 나타내는 소정의 값을 세트하는,
   화상 처리 장치.
5. 제4항에 있어서,
   상기 소정의 값은, 미리 정해진 고정값인,
   화상 처리 장치.
6. 제4항에 있어서,
   상기 소정의 값은, 상기 바운딩 박스의 깊이의 최댓값보다 큰 값을 포함하는,
   화상 처리 장치.
7. 제1항에 있어서,
   상기 2차원 투영부는, 상기 포인트 클라우드의 상기 포인트의 상기 위치 데이터가 3차원 공간의 소정의 영역별로 상기 2차원 레이어에 투영될 때, 깊이 방향의 범위를 제한하는 깊이 파라미터에 의해 나타나는 상기 깊이 방향의 상기 범위 내의 상기 포인트 클라우드의 상기 포인트의 상기 위치 데이터를 투영하는,
   화상 처리 장치.
8. 제1항에 있어서,
   상기 2차원 투영부에 의해 상기 2차원 평면에 투영된 상기 포인트 클라우드를, 부호화하도록 구성되는 부호화부를 더 구비하는,
   화상 처리 장치.
9. 삭제
10. 삭제
11. 바운딩 박스의 깊이 방향의 적어도 3개의 2차원 레이어로 투영하는 단계 - 포인트 클라우드의 포인트의 위치 데이터는 상기 바운딩 박스에 포함된 객체의 3차원 구조를 나타내고, 상기 투영된 포인트는 상기 깊이 방향으로 서로 겹침 -; 및
    상기 2차원 레이어의 수를 나타내는 시그널 정보를 생성하는 단계를 포함하고,
    상기 적어도 3개의 2차원 레이어는 2차원 평면의 레이어인,
    화상 처리 방법.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images