[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101002474A - 用于二十面体全景图像的编码和解码的方法和设备 - Google Patents

用于二十面体全景图像的编码和解码的方法和设备 Download PDF

Info

Publication number
CN101002474A
CN101002474A CNA2005800274439A CN200580027443A CN101002474A CN 101002474 A CN101002474 A CN 101002474A CN A2005800274439 A CNA2005800274439 A CN A2005800274439A CN 200580027443 A CN200580027443 A CN 200580027443A CN 101002474 A CN101002474 A CN 101002474A
Authority
CN
China
Prior art keywords
unit
icosahedron
pieces
piecing
pieced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800274439A
Other languages
English (en)
Other versions
CN101002474B (zh
Inventor
朴光勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Samsung Electronics Co Ltd
Publication of CN101002474A publication Critical patent/CN101002474A/zh
Application granted granted Critical
Publication of CN101002474B publication Critical patent/CN101002474B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

提出了一种通过重建二十面体全景图像来进行有效编码和解码的方法和设备。所述方法包括:在二十面体全景图像的展开图中,从形成所述展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;在二维平面上重建已划分的拼贴元,以便将具有较高相关性的拼贴元设置为彼此相邻;以及对已重建的拼贴元进行编码。

Description

用于二十面体全景图像的编码和解码的方法和设备
技术领域
本发明涉及一种运动图像的编码和解码。具体地,本发明涉及一种通过重建二十面体全景运动图像的拼贴元(patch)来有效地执行编码和解码的方法和设备。
背景技术
全方向视频摄像机系统是一种能够根据固定视角拍摄360度全方向图像的摄像机系统。全方向摄像机系统通过安装和使用诸如双曲面反射镜之类的特定形状的反射镜、诸如鱼眼透镜之类的特定透镜、或者通过使用多个摄像机来拍摄全方向图像。
提出了一种三维逼真广播系统作为供这种系统使用的全方向视频编码应用的示例。在三维逼真广播系统中,例如,将关于在棒球比赛等中来自不同视点视图的图像信息提供给观看者终端。即,将多种图像信息项提供给观看者,包括来自投手的视图、来自接球手的视图、来自击球手的视图、以及来自坐在一垒附近的观众的视图。观看者可以选择所希望的视点,并且从所述视点来观看图像。
由全方向摄像机系统拍摄到的图像具有与三维球形环境相对应的特征。因此,将由全方向摄像机系统拍摄的三维图像转换为二维平面图像。此时,二维平面图像变为包括全方向图像的全景图像。针对二维全景图像执行全方向视频编码。
大体上,此全景图像具有比传统二维图像更大的尺寸,并且为了传输优质图像,要求过于宽的带宽。因此,有效地对图像进行编码是非常重要的。
目前已经进行了关于用于处理全方向图像的多种方法的研究。具体地,当对二十面体图像应用视频编码时,使用20个等边三角形形状的拼贴元形成展开(developed)图或结果图,如图1所示,并且所述展开图或结果图与球形相对精确地匹配。因此,全景图像处理已经变为流行的研究领域。
图2示出了一种对二十面体全景图像进行编码的传统方法。首先,对于二十面体设置诸如用虚线标记的矩形之类的边界线,将宏块排列为包括所有的边界线。然后,以块为单位对二十面体全景图像进行编码。
黑色块是没有图像信息的二十面体外部的块。当执行编码和解码时,对于黑色块执行跳过操作。
白色块是使用传统帧单元编码方法进行编码的二十面体内部的块。然而,灰色块位于各个拼贴元的边界上,并且如果使用传统的帧单元编码技术,则在边界部分处出现许多高频分量,使得编码效率迅速地退化。
例如,为了处理图2的二十面体全景图像,应该处理包括宽度方向24个块、以及长度方向12个块的总共288个宏块,并且在这些块中,应该处理边界部分上的109个宏块,这意味着在38%的宏块中执行低效率的编码。例如,为了处理顶部部分的拼贴元1、5、9、13和17,总共96个宏块中的47个宏块位于边界部分上,这意味着顶部部分上约48%的宏块中执行低效率的编码。
因此,需要一种有效地处理二十面体全景图像的设备和方法。具体地,需要有效地处理二十面体全景图像的宏块。
发明内容
技术方案
本发明实质上解决了以上和其他问题,并且提出了一种设备和方法,通过重建拼贴元使得可以减小具有编码效率退化的较高可能性的边界宏块的数目,能够实现较高运动图像编码效率。
有益效果
根据本发明实施例,在对二十面体全景图像进行编码时,可以减小具有较低编码效率的边界宏块的数目,同时可以将在三维空间中相邻拼贴元的相关性用于运动估计或补偿。因此,可以实现比传统技术高的编码效率。
附图说明
图1是二十面体全景图像的传统展开图;
图2示出了对二十面体全景图像进行编码的传统方法;
图3示出了二十面体全景图像的等边拼贴元的空间相关性;
图4A和图4B是示出了根据本发明典型实施例的编码过程的流程图;
图5A至图5D是根据本发明典型实施例的二十面体全景图像的顶部部分和底部部分的分解图;
图6A和图6B是示出了作为根据本发明典型实施例的重建拼贴元的结果、在二十面体全景图像的顶部部分和底部部分中编码效率改进的图;
图7A和图7B是示出了作为根据本发明另一个典型实施例的重建拼贴元的结果、在二十面体全景图像的顶部部分和底部部分中编码效率改进的图;
图8是示出了作为根据本发明典型实施例的重建拼贴元的结果、在二十面体全景图像的中间部分中编码效率改进的图;
图9是作为根据本发明另一个典型实施例的重建拼贴元的结果、在二十面体全景图像的中间部分中编码效率改进的图;以及
图10是根据本发明典型实施例的编码器和解码器的方框图。
具体实施方式
最佳实施模式
根据本发明的一个典型方面,提出了一种对由20个等边三角形拼贴元形成的二十面体全景图像进行编码的方法。所述方法包括:从形成二十面体全景图像的展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;在二维平面上重建已划分的拼贴元,使得将具有较高相关性的拼贴元设置为彼此相邻;以及对已重建的拼贴元进行编码。
在重建所述拼贴元时,可以在二维平面上重建形成顶部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,所述方法还包括:拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与三维空间中的二十面体相同的方式共享5个侧边。以相同的方式将该方法应用于底部部分。
同时,在中间部分的展开图中,可以拷贝和插入位于最右端拼贴元的右边部分,使得所述右边部分与最左端拼贴元共享一个侧边,以及可以拷贝和插入位于最左端拼贴元的左边部分,使得所述左边部分与最右端的拼贴元共享一个侧边。
根据本发明另一个典型方面,提出了一种用于对由20个等边三角形拼贴元形成的二十面体全景图像进行编码的设备。所述设备包括:图像划分单元,用于从形成二十面体全景图像的展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;图像重建单元,用于在二维平面上重建由图像划分单元划分的拼贴元,使得将具有较高相关性的拼贴元设置为彼此相邻;以及图像编码单元,用于对已重建的拼贴元进行编码。
图像重建单元可以在二维平面上重建形成顶部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,图像重建单元可以拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与三维空间的二十面体相同的方式共享5个边界表面。以相同的方式将该方法应用于底部部分。
同时,在中间部分的展开图中,图像重建单元可以拷贝和插入位于最右端拼贴元的右边部分,使得所述右边部分与最左端拼贴元共享一个侧边,以及拷贝和插入位于最左端拼贴元的左边部分,使得所述左边部分与最右端的拼贴元共享一个侧边。
根据本发明另一个典型方面,提出了一种对由20个等边三角形拼贴元形成的二十面体全景图像进行解码的方法。所述方法包括:接收和解码流,通过对重建拼贴元进行编码使得将具有较高相关性的拼贴元设置为彼此相邻而获得所述流;将作为解码结果产生的拼贴元恢复为重建前的形状;对已恢复重建的拼贴元进行组合;以及产生二十面体的展开图。
根据本发明另一个典型方面,提出了一种对由20个等边三角形拼贴元形成的二十面体全景图像进行解码的设备。所述设备包括:图像解码单元,用于接收和解码流,通过对重建拼贴元进行编码使得将具有较高相关性的拼贴元设置为彼此相邻而获得所述流;图像恢复单元,用于将作为解码结果产生的拼贴元恢复为重建前的形状;以及图像组合单元,用于通过对已恢复重建的拼贴元进行组合,产生二十面体的展开图。
根据本发明另外的典型方面,提出了一种计算机可读记录介质,在其上具有具体实现的指令,用于执行一种对由20个等边三角形拼贴元形成的二十面体全景图像进行编码的方法。所述计算机可读记录介质包括:第一指令集合,用于从形成二十面体全景图像的展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;第二指令集合,用于在二维平面上重建已划分的拼贴元,使得将具有较高相关性的拼贴元设置为彼此相邻;以及第三指令集合,用于对已重建的拼贴元进行编码。
根据本发明附加典型方面,提出了一种计算机可读记录介质,在其上具有具体实现的指令,用于执行一种对由20个等边三角形拼贴元形成的二十面体全景图像进行解码的方法。所述计算机可读记录介质包括:第一指令集合,用于接收和解码流,通过对重建拼贴元进行编码以便将具有较高相关性的拼贴元设置为彼此相邻而获得所述流;第二指令集合,用于将作为解码结果产生的拼贴元恢复为重建前的形状;第三指令集合,用于对已恢复重建的拼贴元进行组合,以产生二十面体的展开图。
实现本发明的方式
现在将参考附图更加全面地描述本发明的典型实施例。
如图3的二十面体全景图像中所示,当形成二十面体时,顶部部分上的拼贴元1、5、9、13和17、底部部分上的拼贴元4、8、12、16和20、以及中间部分上的拼贴元2和19彼此相连。因此,在所述部分中存在较高的空间相关性。然而,如果使用传统技术,则按照如1所示的、没有任何重新排列的二十面体的展开图的形式对所示拼贴元进行编码。因此,没有应用相关性,并且编码效率退化。
图4A是示出了根据本发明典型实施例的编码过程的流程图。
如果在操作410,将二十面体全景图像输入到根据本发明典型实施例的解码器中,在操作420,从形成中间部分的拼贴元组中划分形成顶部部分和底部部分的拼贴元组。然后,在操作430中,重建拼贴元,使得将彼此具有较大空间相关性的拼贴元设置为彼此相连,并且在操作440中对已重建的拼贴元进行编码。存在用于构建具有较高空间相关性的拼贴元的多种典型方法,这将随后描述。
图4B是示出了根据本发明典型实施例的解码过程的流程图。在解码器中,按照与编码过程相反的顺序执行解码过程。即,如果在操作450中接收到来自编码器比特流,在操作460中对接收到的比特流进行解码以产生形成二十面体全景图像的拼贴元。因为所述产生的拼贴元是在如上所述的编码器中重建的那些拼贴元,则在操作470中将这些拼贴元恢复为初始形式。最后在操作480中,通过对恢复的顶部部分、中间部分和底部部分进行组合,将二十面体全景图像的展开图构建为其初始形式。
图5A和5B分别是二十面体的顶部部分的平面图和透视图。
如果从上观看二十面体的顶部部分,所述顶部由如图5A所示的5个等边三角形形成。如前所述,因为这些三角形均相连、并且具有较高的空间相关性,如果当执行编码时使用这些相关性,减小了宏块的数目、并且可以提高编码效率。然而,为了执行编码,应该在二维平面上展开图像拼贴元,并且如果连接顶部部分的所有拼贴元,其变为如图5B所示的三维空间中的立方体形状。图5C和图5D分别是二十面体全景图像顶部部分和底部部分的展开图。如上所述,连接顶部部分和底部部分的所有拼贴元是理想的,因为这样可以减小边界部分上的宏块的数目。然而,因为不能在二维平面上展开这些形状,不能对它们进行编码。
因此,如果将它们在二维平面上展开,顶部部分具有如图5C所示的形状,而底部部分具有如图5D所示的形状。
图6A和图6B是示出了作为根据本发明典型实施例的重建拼贴元的结果、在二十面体全景图像的顶部部分和底部部分中编码效率改进的图。
如图6A所示,如果根据本发明典型实施例仅展开顶部部分的拼贴元并且分别地进行编码,应当注意,边界宏块数目相对少于图2中的情况。在图2的情况下,在顶部部分中的拼贴元中将要进行编码的边界宏块的数目是47,但是根据如图6A所示的拼贴元的构造,将要进行编码的边界宏块的数目仅为32,可以实现编码效率的改善。在如图6B所示的底部部分中出现相同的结果。
根据本发明典型实施例,尽管与图2相比已经提高了编码效率,没有应用在顶部部分情况下拼贴元1和17之间的相关性以及在底部部分情况下拼贴元4和20之间的相关性。现在将讨论另一个典型实施例以利用这些相关性。
图7A和图7B是示出了作为根据本发明另一个典型实施例的重建拼贴元的结果、在二十面体全景图像的顶部部分和底部部分中编码效率改进的图。
根据本发明该典型实施例,通过使用其他拼贴元,产生虚拼贴元(dummy patch),然后在插入所示虚拼贴元之后,执行编码和解码。当显示图像时,通过使用形状掩模(shape mask),除去与所述虚拼贴元相对应的部分。
即,在如图7所示的顶部部分的情况下,在面对拼贴元1的一半区域中,对作为17b的拼贴元17的右半部分进行拷贝和填充,以及在面对拼贴元17的一半区域中,对作为1a的拼贴元1的左半部分进行拷贝和填充。然后,如图7A所示,如果执行编码和解码,与图6A相比减小了边界宏块的数据,使得可以提高编码效率。当与图6A相比时,可以看出将边界宏块的数目从47减小到23,即一半以上。按照相同的方式将此应用于如图7B所示的底部部分中。即,在底部部分中,在面对拼贴元4的一半区域中,对作为20b的拼贴元20的右半部分进行拷贝和填充,以及在面对拼贴元20的一半区域中,对作为4a的拼贴元4的左半部分进行拷贝以产生虚拼贴元。
图8是示出了作为根据本发明典型实施例的重建拼贴元的结果、在中间部分中编码效率改进的图。
根据本发明该典型实施例对二十面体全景图像的中间部分进行编码的方法如下。
由于在形成中间部分的等边三角形中存在紧密的相关性,在如图8所示的长平行四边形的形状中,在最左侧和最右侧出现一些边界宏块,并且可以通过二维运动图像编码方法来处理这些边界块。然而,存在缺点:没有利用在拼贴元2和19之间存在的较高空间相关性。
图9是示出了作为根据本发明另一个典型实施例的重建拼贴元的结果、在中间部分中编码效率改进的图。
在本发明该典型实施例中,为了解决以下缺点:没有利用在拼贴元2和19之间存在的较高的空间相关性,引入了虚拼贴元。即,在拼贴元2左边的区域中,对拼贴元19的右边一半进行拷贝和填充,以及在拼贴元19右边的区域中,对拼贴元2的左边一半进行拷贝和填充。然后通过使用针对矩形形状的帧单元编码方法来完成编码。当显示图像时,可以使用通过形状掩模除去与虚拼贴元相对应的部分。根据该典型实施例,可以利用拼贴元2和19之间的相关性,并且可以除去边界宏块,使得与图8的方法相比可以提高编码效率。
图10是根据本发明典型实施例的编码器700和解码器790的方框图。
如图10所示,编码器700由图像划分单元710、图像重建单元720、第一图像编码单元730和第二图像编码单元740。
图像划分单元710从形成二十面体全景图像的展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元,并且通过使用上述方法,图像重建单元720在二维平面上重建由图像划分单元710划分的等边三角形拼贴元,使得将具有较高相关性的拼贴元设置为彼此相邻。第一图像编码单元730和第二图像编码单元740对通过图像重建单元720重建的拼贴元进行编码。因为使用与用于顶部部分和底部部分不同的典型方法对全景图像的中间部分进行编码,需要两个编码单元。如果对顶部和底部部分单独地进行编码,那么将要求总共3个编码单元。在该典型实施例中,要求中间部分的拼贴元通过图像重建单元720。同样,如果对从顶部和底部部分划分的中间部分的拼贴元直接地进行编码而没有插入虚拼贴元,可以将中间部分拼贴元从图像划分单元710直接输入到编码单元。同时,解码器790包括图像组合单元760、图像恢复单元750、第一图像解码单元735和第二图像解码单元745。解码器790从编码器700接收通过对二十面体全景图像进行编码而获得的比特流。第一图像解码单元735和第二图像解码单元745对所述比特流进行解码,并且产生在编码器700的图像重建单元720中重建的二十面体全景图像的顶部部分、底部部分和中间部分的拼贴元。图像恢复单元750将二十面体全景图像的顶部部分、底部部分和中间部分的拼贴元恢复到在编码器的图像重建单元720中的重建之前的初始形状。图像组合单元760对由图像恢复单元750灰度的顶部部分、底部部分和中间部分的拼贴元组组合为在由编码器700的图像划分单元710划分之前的二十面体的展开图的形状。
可以将本发明的典型实施例写作计算机程序,并且可以在使用计算机可读记录介质执行所述程序的通用数字计算机中执行。所述计算机可读记录介质的示例包括:诸如只读存储器ROM、软盘、硬盘等之类的磁性存储介质、诸如光盘(CD)-ROM或数字视频盘(DVD)之类的光学存储介质、以及诸如载波(例如,通过因特网的传输)之类的存储介质。
尽管已经参考本发明的典型实施例,具体示出和描述了本发明,但本领域普通技术人员应当理解,在不脱离所附权利要求所限定的本发明的精神和范围的情况下,可以对这些实施例进行形式和细节上的多种改变。该典型实施例仅认为是描述性,并且不是为了限制的目的。因此,本发明的范围不是由本发明的详细描述限定,而是由所附权利要求限定,在所述范围之内的全部差别均将解释为包括在本发明中。

Claims (31)

1.一种对由多边形拼贴元形成的多面体全景图像进行编码的方法,所述方法包括:
在二维平面上,重建多面体全景图像的展开图的边界上的拼贴元,使得将具有较高空间相关性的拼贴元设置为彼此相邻;以及
对已重建的拼贴元进行编码。
2.如权利要求1所述的方法,拼贴元的重建包括:
从形成多面体全景图像的展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;以及
在二维平面上重建已划分的拼贴元,使得将具有较高空间相关性的拼贴元设置为彼此相邻。
3.如权利要求2所述的方法,其中,所述多面体是由20个等边三角形拼贴元形成的二十面体。
4.如权利要求3所述的方法,其中,在重建所述已划分拼贴元时,在二维平面上重建形成顶部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
5.如权利要求4所述的方法,还包括:
在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及
在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间中的二十面体相同的方式共享5个侧边。
6.如权利要求3所述的方法,其中,在重建所述已划分拼贴元时,在二维平面上重建形成底部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
7.如权利要求6所述的方法,还包括:
在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及
在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间的二十面体相同的方式来共享5个侧边。
8.如权利要求3所述的方法,其中,在重建已划分拼贴元时,在中间部分的展开图中,拷贝和插入位于最右端拼贴元的右边部分,使得所述右边部分与最左端拼贴元共享一个侧边,以及拷贝和插入位于最左端拼贴元的左边部分,使得所述左边部分与最右端的拼贴元共享一个侧边。
9.一种用于对由多边形拼贴元形成的二十面体全景图像进行编码的设备,所述设备包括:
图像划分单元,用于从形成二十面体全景图像的展开图的中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;
图像重建单元,用于在二维平面上重建由图像划分单元划分的拼贴元,使得将具有较高空间相关性的拼贴元设置为彼此相邻;以及
图像编码单元,用于对已重建的拼贴元进行编码。
10.如权利要求9所述的设备,其中,所述多面体是由20个等边三角形拼贴元形成的二十面体。
11.如权利要求9所述的设备,其中,图像重建单元在二维平面上重建形成顶部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
12.如权利要求11所述的设备,其中,在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,图像重建单元拷贝两个拼贴元中每一个的一部分,从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间的二十面体中相同的方式共享5个侧边。
13.如权利要求10所述的设备,其中,图像重建单元在二维平面上重建形成底部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
14.如权利要求13所述的设备,其中,在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,图像重建单元拷贝两个拼贴元的每一个的一部分,从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间的二十面体中相同的方式共享5个侧边。
15.如权利要求10所述的设备,其中,在中间部分的展开图中,图像重建单元拷贝和插入位于最右端拼贴元的右边部分,使得所述右边部分与最左端拼贴元共享一个侧边,以及拷贝和插入位于最左端拼贴元的左边部分,使得所述左边部分与最右端的拼贴元共享一个侧边。
16.一种对由多边形拼贴元形成的二十面体全景图像进行解码的方法,所述方法包括:
接收和解码流,通过对重建拼贴元进行编码以便将具有较高空间相关性的拼贴元设置为彼此相邻来获得所述流;
将作为解码结果产生的拼贴元恢复为重建前的形状;以及
对已恢复的重建拼贴元进行组合以产生二十面体的展开图。
17.如权利要求16所述的方法,其中,所述多面体是由20个等边三角形拼贴元形成的二十面体。
18.如权利要求17所述的方法,其中,在重建时,重建形成二十面体的顶部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
19.如权利要求18所述的方法,其中,所述重建包括:
在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及
在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间中的二十面体的顶部部分中相同的方式共享5个侧边。
20.如权利要求17所述的方法,其中,在重建时,在二维平面中重建形成底部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
21.如权利要求20所述的方法,其中,所述重建包括:
在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形拼贴元,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及
在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间中的二十面体的底部部分中相同的方式共享5个侧边。
22.如权利要求17所述的方法,其中,在重建时,在二十面体全景图像的中间部分的展开图中,拷贝和插入位于最右端拼贴元的右边部分,使得所述右边部分与最左端拼贴元共享一个侧边,以及拷贝和插入位于最左端拼贴元的左边部分,使得所述左边部分与最右端的拼贴元共享一个侧边。
23.一种对由多边形拼贴元形成的二十面体全景图像进行解码的设备,所述设备包括:
图像解码单元,用于接收和解码流,通过对重建的拼贴元进行编码使得将具有较高空间相关性的拼贴元设置为彼此相邻而获得所述流;
图像恢复单元,用于将作为解码结果产生的拼贴元恢复为重建前的形状;以及
图像组合单元,用于通过对已恢复重建的拼贴元进行组合,产生二十面体的展开图。
24.如权利要求23所述的设备,其中,所述多面体是由20个等边三角形拼贴元形成的二十面体。
25.如权利要求24所述的设备,其中,在重建时,在二维平面上重建形成二十面体的顶部部分的5个拼贴元,使得在三维空间中的二十面体中共享的5个侧边中,共享4个侧边。
26.如权利要求25所述的设备,其中,在重建时,在作为重建结果的每一个仅与另一个拼贴元共享一个侧边的两个拼贴元中,拷贝两个拼贴元中每一个的一部分,并且从拷贝部分中产生一个等边三角形,使得包括在三维空间的二十面体中共享、而在重建结果中不共享的侧边;以及在二维平面上重建的拼贴元之间插入所产生的拼贴元,使得按照与在三维空间的二十面体的底部部分中相同的方式共享5个侧边。
27.如权利要求24所述的设备,其中在重建时,在二十面体全景图像的中间部分的展开图中,拷贝和插入位于最右端拼贴元的右边部分,使得所述右边部分与最左端拼贴元共享一个侧边,以及拷贝和插入位于最左端拼贴元的左边部分,使得所述左边部分与最右端的拼贴元共享一个侧边。
28.一种计算机可读记录介质,在其上具有具体实现的指令集合,用于执行一种对由多边形拼贴元形成的二十面体全景图像进行编码的方法,所述计算机可读记录介质包括:
第一指令集合,用于从形成二十面体全景图像的展开图中间部分的拼贴元中,分别划分形成所述展开图的顶部部分和底部部分的拼贴元;
第二指令集合,用于在二维平面上重建已划分的拼贴元,使得将具有较高空间相关性的拼贴元设置为彼此相邻;以及
第三指令集合,用于对已重建的拼贴元进行编码。
29.如权利要求28所述的计算机可读记录介质,其中,所述多面体是由20个等边三角形拼贴元形成的二十面体。
30.一种计算机可读记录介质,在其上具有具体实现的指令集合,用于执行一种对由多边形拼贴元形成的二十面体全景图像进行解码的方法,所述计算机可读记录介质包括:
第一指令集合,用于接收和解码流,通过对重建拼贴元进行编码使得将具有较高空间相关性的拼贴元设置为彼此相邻而获得所述流;
第二指令集合,用于将作为解码结果产生的拼贴元恢复为重建前的形状;以及
第三指令集合,用于对已恢复重建的拼贴元进行组合,以产生二十面体的展开图。
31.如权利要求30所述的计算机可读记录介质,其中,所述多面体是由20个等边三角形拼贴元形成的二十面体。
CN2005800274439A 2004-08-13 2005-08-13 用于二十面体全景图像的编码和解码的方法和设备 Expired - Fee Related CN101002474B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20040063885 2004-08-13
KR1020040063885 2004-08-13
KR10-2004-0063885 2004-08-13
KR10-2005-0072966 2005-08-09
KR1020050072966 2005-08-09
KR20050072966A KR100732958B1 (ko) 2004-08-13 2005-08-09 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
PCT/KR2005/002636 WO2006016781A1 (en) 2004-08-13 2005-08-13 Method and apparatus for encoding and decoding an icosahedron panorama image

Publications (2)

Publication Number Publication Date
CN101002474A true CN101002474A (zh) 2007-07-18
CN101002474B CN101002474B (zh) 2010-04-07

Family

ID=35800022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800274439A Expired - Fee Related CN101002474B (zh) 2004-08-13 2005-08-13 用于二十面体全景图像的编码和解码的方法和设备

Country Status (8)

Country Link
US (1) US7483588B2 (zh)
EP (1) EP1779660B1 (zh)
JP (1) JP4625082B2 (zh)
KR (1) KR100732958B1 (zh)
CN (1) CN101002474B (zh)
AU (1) AU2005272280B2 (zh)
CA (1) CA2576686C (zh)
WO (1) WO2006016781A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123722B (zh) * 2007-09-25 2010-12-01 北京智安邦科技有限公司 全景视频智能监控方法和系统
CN102768691A (zh) * 2011-05-06 2012-11-07 讯凯国际股份有限公司 装置组件模型接取装置及其方法
CN106231311A (zh) * 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
WO2018001208A1 (zh) * 2016-06-27 2018-01-04 华为技术有限公司 编解码的方法及设备
WO2018041005A1 (zh) * 2016-08-30 2018-03-08 华为技术有限公司 运动补偿预测方法和设备
CN107801039A (zh) * 2016-08-30 2018-03-13 华为技术有限公司 运动补偿预测方法和设备
CN107959855A (zh) * 2016-10-16 2018-04-24 华为技术有限公司 运动补偿预测方法和设备
CN109155858A (zh) * 2016-05-16 2019-01-04 三星电子株式会社 视频编码方法和设备、视频解码方法和设备
WO2019062714A1 (en) * 2017-09-27 2019-04-04 Mediatek Inc. PROJECTION-BASED FRAME PROCESSING METHOD COMPRISING AT LEAST ONE CONDITIONED PROJECTION FACE IN A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT
WO2019127484A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN114584791A (zh) * 2017-07-19 2022-06-03 联发科技股份有限公司 处理360度虚拟现实图像的方法和装置
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788529B2 (en) * 2007-02-26 2014-07-22 Microsoft Corp. Information sharing between images
CN101521823B (zh) * 2009-03-27 2010-12-01 北京航空航天大学 空间相关的全景数据压缩方法
US9129438B2 (en) * 2011-01-18 2015-09-08 NedSense Loft B.V. 3D modeling and rendering from 2D images
JP2014041455A (ja) * 2012-08-22 2014-03-06 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP6517609B2 (ja) * 2015-07-13 2019-05-22 日本電信電話株式会社 符号化方法及び符号化プログラム
KR20170096975A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 전방향성 영상의 메타데이터를 송수신하는 기법
WO2017175888A1 (ko) * 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US20180075576A1 (en) * 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
KR102352933B1 (ko) * 2016-09-09 2022-01-20 삼성전자주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치
US10313686B2 (en) * 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
WO2018117587A1 (en) * 2016-12-19 2018-06-28 Samsung Electronics Co., Ltd. Method and system for producing 360 degree content on rectangular projection in electronic device
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
CN108648257B (zh) * 2018-04-09 2020-12-29 腾讯科技(深圳)有限公司 全景画面的获取方法、装置、存储介质及电子装置
WO2020042185A1 (zh) * 2018-08-31 2020-03-05 深圳市大疆创新科技有限公司 视频处理方法及相关装置
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
US20230140759A1 (en) * 2020-03-25 2023-05-04 Alcacruz Inc. Generating a representation of a spherical image
CN113689561B (zh) * 2021-08-30 2023-05-23 中国矿业大学(北京) 基于z曲线编码的正二十面体不同格网互操作方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0449478A3 (en) * 1990-03-29 1992-11-25 Microtime Inc. 3d video special effects system
EP0592136B1 (en) * 1992-10-09 1999-12-08 Sony Corporation Producing and recording images
JP3480971B2 (ja) * 1993-10-17 2003-12-22 ヒューレット・パッカード・カンパニー 画像データの生成方法及び復元方法
CN1062701C (zh) * 1995-09-12 2001-02-28 大宇电子株式会社 用于编码目标轮廓的装置
US6144773A (en) * 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
KR19980018092A (ko) * 1996-08-05 1998-06-05 제프리 엘. 포먼 삼각형 데이터 구조를 사용하는 다면형 환경 맵
KR100239307B1 (ko) * 1997-01-10 2000-01-15 전주범 윤곽선 영상 부호화기
US6556198B1 (en) * 1997-06-16 2003-04-29 Canon Kabushiki Kaisha Polyhedron generating method and apparatus thereof, and storage medium for storing the method
US6923444B2 (en) * 1998-06-05 2005-08-02 Jose R. Matos Encoded image puzzle/decoder
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
US6961064B2 (en) * 2001-06-28 2005-11-01 Hewlett-Packard Development Company, L.P. System and method for combining graphics formats in a digital video pipeline
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR100540172B1 (ko) * 2003-09-04 2006-01-10 한국전자통신연구원 객체기반 다시점 비디오 서비스 시스템 및 그 방법
KR100580876B1 (ko) * 2003-12-08 2006-05-16 한국전자통신연구원 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및 방법과, 그 기록매체
KR100613752B1 (ko) * 2004-03-11 2006-08-22 경북대학교 산학협력단 파노라마 영상의 스트리밍 방법

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123722B (zh) * 2007-09-25 2010-12-01 北京智安邦科技有限公司 全景视频智能监控方法和系统
CN102768691A (zh) * 2011-05-06 2012-11-07 讯凯国际股份有限公司 装置组件模型接取装置及其方法
CN109155858A (zh) * 2016-05-16 2019-01-04 三星电子株式会社 视频编码方法和设备、视频解码方法和设备
WO2018001208A1 (zh) * 2016-06-27 2018-01-04 华为技术有限公司 编解码的方法及设备
CN107547907A (zh) * 2016-06-27 2018-01-05 华为技术有限公司 编解码的方法及设备
US10805606B2 (en) 2016-06-27 2020-10-13 Huawei Technologies Co., Ltd. Encoding method and device and decoding method and device
CN107547907B (zh) * 2016-06-27 2020-02-21 华为技术有限公司 编解码的方法及设备
CN106231311A (zh) * 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
WO2018041005A1 (zh) * 2016-08-30 2018-03-08 华为技术有限公司 运动补偿预测方法和设备
CN107801039B (zh) * 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
US11128874B2 (en) 2016-08-30 2021-09-21 Huawei Technologies Co., Ltd. Motion compensating prediction method and device
CN107801039A (zh) * 2016-08-30 2018-03-13 华为技术有限公司 运动补偿预测方法和设备
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
CN107959855A (zh) * 2016-10-16 2018-04-24 华为技术有限公司 运动补偿预测方法和设备
US10911767B2 (en) 2016-10-16 2021-02-02 Huawei Technologies Co., Ltd. Motion compensating prediction method and apparatus
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN114584791A (zh) * 2017-07-19 2022-06-03 联发科技股份有限公司 处理360度虚拟现实图像的方法和装置
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame
WO2019062714A1 (en) * 2017-09-27 2019-04-04 Mediatek Inc. PROJECTION-BASED FRAME PROCESSING METHOD COMPRISING AT LEAST ONE CONDITIONED PROJECTION FACE IN A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT
WO2019127484A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置

Also Published As

Publication number Publication date
AU2005272280B2 (en) 2009-03-26
AU2005272280A1 (en) 2006-02-16
KR20060050348A (ko) 2006-05-19
EP1779660A4 (en) 2012-02-22
CA2576686C (en) 2012-10-09
JP4625082B2 (ja) 2011-02-02
US7483588B2 (en) 2009-01-27
CA2576686A1 (en) 2006-02-16
WO2006016781A1 (en) 2006-02-16
JP2008509626A (ja) 2008-03-27
CN101002474B (zh) 2010-04-07
EP1779660B1 (en) 2013-10-09
KR100732958B1 (ko) 2007-06-27
US20060034523A1 (en) 2006-02-16
EP1779660A1 (en) 2007-05-02

Similar Documents

Publication Publication Date Title
CN101002474B (zh) 用于二十面体全景图像的编码和解码的方法和设备
US10339701B2 (en) Method, system and apparatus for generation and playback of virtual reality multimedia
TWI655857B (zh) 一種濾波360度視訊邊界的方法及裝置
CN105530504B (zh) 立体视频序列编码系统和方法
TWI749483B (zh) 用信號通知點雲多媒體資料軌道的空間關係的方法和裝置
CN108648257B (zh) 全景画面的获取方法、装置、存储介质及电子装置
CN103329543B (zh) 用于组合与三维内容有关的图像的方法
US11153550B2 (en) Depth codec for real-time, high-quality light field reconstruction
CN114531588A (zh) 图像数据编码/解码方法、介质和发送比特流的方法
CN1981522A (zh) 立体电视信号处理方法、传输系统与观众增强
CN107426491B (zh) 一种360度全景视频的实现方法
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
JP4403421B2 (ja) 画像処理装置及び画像処理方法
JP3532823B2 (ja) 画像合成方法および画像合成プログラムを記録した媒体
JP2022549431A (ja) 容積ビデオを符号化、送信、及び復号化するための方法及び装置
CN101969565B (zh) 一种符合多视点视频标准的视频解码方法
KR102658474B1 (ko) 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
Li et al. Convolutional neural network based inter-frame enhancement for 360-degree video streaming
Zhang et al. End-to-end Trainable Dual Fisheye Image Compression
Costa IMPROVED PATCH PACKING SOLUTIONS FOR THE MPEG V-PCC STANDARD
Yang Design and analysis of a two-dimensional camera array
Verlani Proxy Based Compression of Depth Movies
Okano Three-dimensional Display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100407

CF01 Termination of patent right due to non-payment of annual fee