WO2008125066A1

WO2008125066A1 - An encoding and decoding method and means of multiple viewpoint

Info

Publication number: WO2008125066A1
Application number: PCT/CN2008/070744
Authority: WO
Inventors: Sixin Lin; Shan Gao; Yingjia Liu; Jiantong Zhou; Changqi Hu; Lianhuan Xiong
Original assignee: Huawei Technologies Co., Ltd.
Priority date: 2007-04-17
Filing date: 2008-04-17
Publication date: 2008-10-23
Also published as: EP2136559A4; JP2010525637A; JP5149375B2; CN101291434A; US20100034293A1; EP2136559A1

Description

说明书多视点编解码方法及装置

[I] 技术领域

[2] 本发明涉及编解码技术，尤其涉及一种多视点编解码技术。

[3] 发明背景

[4] 随着多媒体通信技术的快速发展，人们不再满足于传统的固定视点视觉以及 2D

(二维）平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对于多视角视频，自由视点视频和 3D (三维）视频的需求。

[5] 为满足相应需求，可以釆用多个摄像机在不同的空间位置以不同的角度同吋获取同一场景的一组视频信号，该一组视频信号称为多视点视频，之后，便可以对所获得的一组视频信号进行压缩编码和传输，对该组视频信号进行压缩编码的过程则被称为多视点视频编码。

[6] 在实现本发明的过程中，发明人发现：在多视点视频编码并发送给解码端的过程中，由于信道拥塞、带宽变化等原因可能导致某些数据发生丢失或损坏等错误，这就使得解码端在收到编码数据后无法恢复出发生错误的数据，无法正确解码。

[7] 发明内容

[8] 本发明的实施例提供了一种多视点编解码方法及装置，在多视点编解码过程中有效提高编解码性能。

[9] 本发明实施例提供了一种多视点编码方法，用于对多个视的视频图像进行编码处理，在对多个视的视频图像信息进行编码并写入码流的过程中，将辅助参考信息以及应用该辅助参考信息的图像的帧号和视点标识信息写入码流中发送给解码端。

[10] 本发明实施例提供了一种多视编码装置，包括多视点

图像编码单元，用于对多个视的视频图像进行编码处理，还包括：

[I I] 辅助参考信息编码单元，用于将辅助参考信息和应用该辅助参考信息的图像的帧号及视点标识信息写入码流； [12] 发送单元，用于将所述多视点

图像编码单元和所述辅助参考信息编码单元编码获得的码流发送给解码端。

[13] 本发明实施例提供了一种多视点解码方法，用于对多个视点的视频图像进行解码处理，在对多个视点的视频图像信息进行解码的过程中，还包括：

[14] 从接收到的多视点的视频编码码流中，解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息。

[15] 本发明实施例提供了一种多视点解码方法，用于对多个视点的视频图像进行解码处理，在对多个视点的视频图像信息进行解码的过程中，还包括：

[16] 从接收到的多视点的视频编码码流中，解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息；

[17] 根据获得的所述帧号及视点标识信息，将所述辅助参考信息应用到帧号及视点标识指定的图像；

[18] 根据所述的辅助参考信息对发生错误的指定图像进行恢复处理。

[19] 本发明实施例提供了一种多视点解码装置，包括多视点图像解码单元，用于对多个视点的视频图像进行解码处理，还包括：

[20] 码流接收单元，用于接收包含辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息的码流；

[21] 辅助参考信息解码单元，用于从所述码流接收单元接收到的码流中解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息。

[22] 本发明实施例提供了一种多视点解码装置，包括多视点图像解码单元，用于对多个视点的视频图像进行解码处理，且还包括：

[23] 码流接收单元，用于接收包含辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息的码流；

[24] 辅助参考信息解码单元，用于从所述码流接收单元接收到的码流中解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息；

[25] 辅助参考信息确定单元，用于根据所述辅助参考信息解码单元获得的应用该辅助参考信息的图像的帧号及视点标识信息，确定指定图像釆用的辅助参考信息 [26] 错误恢复单元，用于根据所述辅助参考信息确定单元确定的辅助参考信息对该辅助参考信息被应用的图像进行错误恢复处理。

[27] 由上述本发明的实施例提供的技术方案可以看出，在多视点视频编解码过程中

，解码端可以获知各个图像的视点标识信息，即可以确认各图像所来自的视点

，从而使得可以根据所述视点标识信息确定在误码恢复过程中可以有效利用的帧间信息，以提高多视点视频编解码的性能。

[28] 附图简要说明

[29] 图 1为本发明实施例中的多视解码过程示意图一；

[30] 图 2为本发明实施例中的多视解码过程示意图二；

[31] 图 3为本发明实施例提供的装置的结构示意图。

[32] 实施本发明的方式

[33] 本发明实施例中，在对多个视点的视频图像进行编码处理过程中，将辅助参考信息及应用该辅助参考信息的图像的帧号及视点标识信息作为辅助增强信息写入码流中发送给解码端。以使得在对多个视点的视频图像信息进行解码的过程中，可以从接收到的多视点的视频编码码流中，解码获得辅助参考信息和应用该辅助参考信息的图像的帧号及视点标识信息。在解码端解码获得所述的辅助参考信息和应用该辅助参考信息的图像的帧号及视点标识信息后，便可以根据应用该辅助参考信息的图像的帧号及视点标识信息，确定当前釆用的辅助参考信息；进一步地，则可以根据所述的辅助参考信息对指定图像（即所述帧号和视点标识信息指定的图像）进行错误恢复处理。

本发明实施例中，所述的辅助参考信息是指能够帮助解码和显示的信息，例如可以包括：重复参考帧标记或参考帧或其它有助于错误恢复的信息，即：在针对多视点的视频编码技术的解码端可以有效利用帧间信息进行误码的恢复，从而改善解码端的解码效果，提高编解码的性能；例如，可以根据确定的重复参考帧标记对发生错误的指定图像进行恢复处理；或根据指定的已经完成解码的参考图像对发生错误的指定图像进行恢复处理；或者，也可以同吋釆用上述两种恢复处理该案；或者，也可以釆用其它恢复处理方案对指定图像进行错误恢复处理。为便于对本发明实施例的理解，下面将结合附图对本发明实施例的具体实现过程进行说明。

本发明实施例中，需要在编码过程中设置相应的重复参考帧标记的视点标识和帧号等信息，具体实现方式如下表所示:

[37]

[38] 通过上表中的视点标识信息 view_id和帧号 temporaUd可以指定辅助参考信息 sei —messageO的应用范围，即指定应用该辅助参考信息的图像。在该具体实施例中，若相应的辅助参考信息可以被应用到视点标识信息 view_id和帧号 temporaUd 指定的图像中，则可以实现相应的误码修复操作。

[39] 下面将分别以重复参考帧标记和参考帧作为辅助参考信息为例，对本发明实施例做进一步解释说明。

[41] 在多视频编解码处理过程中，釆用参考帧标记的作用是标记图像为长期参考帧、短期参考帧、非参考帧，以使得解码端可以根据该参考帧标记有效利用参考帧提高编解码效率。所述的参考帧标记信息是通过码流传输到解码端的，在码流传输过程中，为了避免因参考帧标记的丢失影响视频的正确解码，则可以釆用重复参考帧标记的方式，即将某一帧的参考帧标记信息在随后的码流中多次重复传送，以提高解码端的抗误码能力，增强多视点的视频传输性能。

[42] 在基于多视点编码对应的解码端（即解码器）中，为了能正确利用重复参考帧标记，则需要获知重复参考帧标记来自于哪一幅图像，则既需要获知其吋间方向上的信息（即帧号），以及对应的视点标识（来自于哪一个视）；因此，需要在编码过程中设置相应的重复参考帧标记的视点标识和帧号等信息，具体实现方式如表 1和表 2所示：

[43] 表 1

[44]

[45] 表 2 dec_ref _pic_marking_repetition( C Descriptor payloadSize ) { original_idr_flag 5 u(l)

if(svc_mvc_flag && view—level > 0)

{

original_view_id (视点标识) 5 ue(v)

}

if(！ original_idr_flag )

{

original_frame_num (帧号) 5 ue(v)

}

if(！ frame_mbs_only_flag ) {

original_field_pic_flag 5 u(l)

if( original_field_pic_flag ) original_bottom_field_flag 5 u(l)

}

dec_ref _pic_marking( ) 5

}

[47] 通过上述表 1和表 2中可以看出，若釆用多视点编码，则需要在码流中编码重复考帧标记所在的视点标识 original_view_id。

[48] 在表 1和表 2中的主要参数的含义如下：

[49] originial_idr_flag，用于表示参考帧标记被重复的图像是否为 IDR帧；

[50] original_view_id, 为参考帧标记的视点标识，用于表示被参考帧标记信息来自哪个视点的信息；

[51] original_frame_num, 用于表示参考帧标记被重复图像的帧号； [52] original_field_pic_flag、 original_bottom_field_flag , 分别用来表示被重复图像的场信息；

[53] dec_ref_pic_marking(

)，用于表示被重复的参考帧标记语法结构，包含了具体的标记信息。

[54] 因此，在编码端（即编码器）可以将表 3中的信息传送给解码端：

[55] 表 3

[56]

[58] 这样，在解码端收到上述表 3中的信息后，便可以根据其中的帧号和视点标识等信息来决定重复使用的参考帧标记信息，从而可以利用所述的参考帧标记信息进行误码的恢复操作，以提高多视点的视频编解码的性能。

[59] 上述基于重复参考帧标记的误码恢复应用实施例中，若某一帧发生数据丢失，由其对应的参考帧标记信息可以利用后续重复传输的其它帧的参考帧标记确定相应的参考帧，从而实现针对丢失或损坏等原因导致的误码进行有效地恢复处理。参照图 1所示，当被重复的参考帧标记的原始图像视点 1的帧 2发生错误吋，则还可以用相邻视点对应的帧 2的标记信息进行恢复操作。

[61] 在该实施例中，若当前解码图像（即目标图像）不能正确解码，则利用一个或多个已解码参考图像（即参考帧）对当前解码帧进行误码修复，以掩盖错误，提高解码的性能。例如，当前解码图像可以利用在参考帧中相同位置的条带组来修复其帧内相同位置不能正确解码的条带组，以实现相应的误码修复操作。

[62] 在多视点视频编码过程中，为了使得解码器能够获知备用图像（即参考帧）来自于哪一幅图像，则需要将参考帧的吋间方向上的信息（即帧号），以及参考帧来自于哪个视点（即视点标识）发送给解码端。因此，相应的具体解决方法如表 4所示：

[63] 表 4 [64]

spare_pic( payloadSize ) { C Descriptor target_frame_num (帧号) 5 ue(v) if(svc_mvc_flag && view—level > 0) {

target—view—id (视点标识 ) 5 ue(v)

}

spare—field—flag 5

if( spare—field—flag )

target_bottom_field_flag 5

num_spare_pics_minus 1 5 ue(v) for( i = 0; i < num_spare_pics_minus 1 +

l; i++ ) {

if(svc_mvc_flag && view—level > 0) {

delta_spare_view_id[i] 5 ue(v)

}

delta_spare_frame_num[ i ] 5 ue(v) if( spare—field—flag )

spare_bottom_field_flag[ i ] 5

spare_area_idc[ i ] 5 ue(v) if( spare_area_idc[ i ] = = 1 )

for( j = 0; j < PicSizelnMapUnits； j++ )

spare_unit_flag[ i ][ j ] 5

else if( spare_area_idc[ I ] = = 2 ) {

mapUnitCnt = 0

for( j=0; mapUnitCnt < PicSizelnMapUnits; j++ ) { zero_run_length [ i ] [ j ] 5 ue(v) mapUnitCnt += zero_run_length [ i ][ j ] +

}

[65] 通过表 4可以看出，如果釆用多视点编码，则需要在码流中编码目标图像所在的视点以及备用图像视点和目标图像视点的差值，以便解码器能正确利用视点间的参考帧恢复受损的目标图像；

[66] 在表 4中的主要参数含义如下：

[67] target_frame_num, 为目标图像解码帧号；

[68] target_view_id, 用于表示目标图像的 view_id，即视点标识；

[69] delta_spare_view_id[i] , 用于确定参考帧中包含的第 i

个备用条带组单元的 _view_i_d (视点标识），其中，参考帧的 view_id值应在 0到 10

23之间（包括 0和 1023) 。

[70] 假设， i的值为由 0到 num_spare_pics_minusl

(包括 0和 num_spare_pics_minusl) , 贝 II第 i个参考巾贞的 view—id, 即 spareViewId[i

]是第 i个参考帧的视点标识，其推导方式如下：

[71] 对于 (num_spare_pics_minusl+l)个参考帧，每一个参考帧的视点标识都可以根据目标图像的视点标识值 target_view_id和参考图像的视点标识差值 delta_spare_vi ew_id[i]得到：

[72] spare Viewld[ i ] = target—view—id -delta_spare_view_id[i] °

[73] spare.field.flag, 用于表示目标图像（当前解码帧）和参考帧的解码模式为解码场或解码帧；

[74] target_bottom_field_flag，用于表示目标图像是属于底场或顶场； [75] num_spare_pics_minusl，用于表示目标图像可用的参考帧的数目；

[76] delta_spare_frame_num[ i ]，用于确定参考帧中包含的第 i

个备用条带组单元，其中，

[77] 假设 i值从 0到 num_spare_pics_minus 1

(包含 0和 num_spare_pics_minusl) ，贝' J确定第 [ i

]个参考帧的解码帧号 spareFrameNum[ i ]的过程为：

[78] 首先，根据目标图像的帧号和解码模式标记确定候选备用图像帧号；

[79] 然后，由候选备用图像帧号 candidateSpareFrameNum和备用图像帧号与目标图像帧号的差值 delta_spare_frame_num[ i ]确定：

[80] spareFrameNum[ i ] = candidateSpareFrameNum - delta_spare_frame_num[ i ]； [81] 相应的参考帧的帧号 spareFrameNum[ i ]的推导过程的伪码如下：

[82] candidateSpareFrameNum = target_frame_num -！ spare—field—flag

[83] for ( i = 0; i <= num_spare_pics_minus 1； i++ ) {

[84] if( candidateSpareFrameNum < 0 )

[85] candidateSpareFrameNum = MaxFrameNum - 1

[86] spareFrameNum[ i ] = candidateSpareFrameNum - delta_spare_frame_num[ i ] [87] if( spareFrameNum[ i ] < 0 )

[88] spareFrameNum[ i ] = MaxFrameNum + spareFrameNum[ i ]

[89] candidateSpareFrameNum = spareFrameNum[ i ] - ! spare—field—flag

[90] }；

[91] spare_bottom_field_flag[ i ] ' 用于表示第 [ i

]个参考帧是属于底场还是属于顶场；

[92] spare_area_idc[ i

]，用于表示确定在第 [i]个参考帧中的备用条带组单元的方式；例如，指出全部在第 [i]个图像中的条带组是参考单元（即参考帧用于在恢复误码吋的参考信息)

，或者，指出用语法元素 spare_unit_flag[ i ][ j

]的值来确定参考帧条带组单元，或者，指出用语法元素 _Zer₀_ru_n_l_ength[ i ][ j ]确定 spareUnitFlagInBoxOutOrder[ i ][ j ]的值； [93] zero_run_length [ i ][ j ] , 根据 spare_area_idc[ i

]的值的指示，用于推导 spareUnitFlagInBoxOutOrder[ i ][ j

]的值， spareUnitFlagInBoxOutOrder[ i ][ j

]用于指出在第 i个参考帧中以逆吋针 Box-out (以箱子形状由中心向外）扫描顺序的第 j个条带组是否为参考单元；

[94] spare_unit_flag[ i ][ j

]，用于表示在第 i个参考帧中以光栅扫描顺序的第 j个条带组是否为参考单元。

[95] 因此，在编码端可以将下述表 5中的各信息传输到解码端：

[96] 表 5

[97]

[98] 这样，在解码端便可以正确标识出参考帧来自于哪个视点及相应的帧号信息，以便于在解码端利用相应的参考帧进行误码恢复操作。

[99] 在该实施例中，可以在多视点视频解码过程中有效利用参考帧进行误码恢复处理，以提高多视点视频解码的性能。如图 2所示，当解码图像视点 1的帧 2中某个位置上的条带组不能正确解码的吋候，还可以利用相邻视点对应的已解码帧 2中相同位置上的条带组进行恢复。

[100] 本发明实施例还提供了一种多视点编码装置，其具体实现结构如图 3所示，具体包括以下处理单元：

[101] 多视图像编码单元，用于对多个视点的视频图像进行编码处理；

[102] 辅助参考信息编码单元，用于将需要发送给解码端的辅助参考信息以及运用该辅助参考信息的图像的帧号及视点标识信息写入码流中；相应的辅助参考信息可以是各种有助于解码和显示的信息，例如，可以为重复参考帧标记或参考帧等信息；

[103] 发送单元，用于将所述多视点图像编码单元和所述辅助参考信息编码单元编码获得的码流发送给解码端。 [104] 与所述的多视点编码装置对应，本发明实施例还提供了一种多视点解码装置，其具体实现结构仍如图 3所示，包括以下处理单元：

[105] 码流接收单元，用于接收包含辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息的码流；

[106] 多视点图像解码单元，用于对接收到的码流中的多个视点的视频图像进行解码处理，以获得各个视点的视频图像信息；

[107] 辅助参考信息解码单元，用于从所述码流接收单元接收到的码流中解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息。

[108] 在解码过程中还可以利用辅助参考信息解码单元获得的辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息对出现错误的图像进行恢复的处理，以改善解码效果，因此，所述的装置还可以包括以下处理单元：

[109] 辅助参考信息确定单元，用于根据所述辅助参考信息解码单元获得的运用该辅助参考信息的图像的帧号及视点标识，确定指定帧釆用的辅助参考信息；

[110] 错误恢复单元，用于根据所述辅助参考信息确定单元确定的辅助参考信息对由所述帧号和视点标识信息指定的帧进行错误恢复处理；

[111] 可选地，根据釆用的错误恢复方式的不同（即辅助参考信息的不同，如重复参考帧标记或参考帧等信息），所述的错误恢复单元具体可以包括以下任一单元或同吋包含以下两单元：

[112] 基于重复参考帧标记的恢复处理单元，用于根据所述辅助参考信息确定单元确定的重复参考帧标记对发生错误的指定帧进行恢复处理；

[113] 基于参考帧的恢复处理单元，用于根据所述辅助参考信息确定单元确定的已经完成解码的参考帧对发生错误的由帧号和视点标识指定帧进行恢复处理。

[114] 通过上述编解码装置，使得在多视点视频编解码过程中，解码端可以获知各个帧的视点标识信息，即可以确认各帧所来自的视点，从而使得可以根据所述视点标识信息确定在误码恢复过程中可以有效利用的帧间信息，以提高多视点视频编解码的性能。

[115] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

权利要求书

[1] 1、一种多视点编码方法，用于对多个视点的视频图像进行编码处理，其特征在于，在对多个视点的视频图像信息进行编码并写入码流的过程中，还包括：将辅助参考信息和应用该辅助参考信息的图像的帧号及视点标识信息写入码流中发送给解码端。

[2] 2、根据权利要求 1所述的方法，其特征在于，所述的辅助参考信息是指辅助解码和显示的信息。

[3] 3、根据权利要求 1所述的方法，其特征在于，所述的辅助参考信息包括：重复参考帧标记或参考帧中的至少一项信息。

[4] 4、一种多视点编码装置，包括多视点图像编码单元，用于对多个视点的视频图像进行编码处理，其特征在于，还包括：

辅助参考信息编码单元，用于将辅助参考信息及应用该辅助参考信息的图像的帧号及视点标识信息写入码流；

发送单元，用于将所述多视点图像编码单元和所述参考帧信息编码单元编码获得的码流发送给解码端。

[5] 5、一种多视点解码方法，用于对多个视点的视频图像进行解码处理，其特征在于，在对多个视点的视频图像信息进行解码的过程中，还包括：从接收到的多视点的视频编码码流中，解码获得辅助参考信息和应用该辅助参考信息的图像的帧号及视点标识信息。

[6] 6、根据权利要求 5所述的方法，其特征在于，所述的辅助参考信息是指辅助解码和显示的信息。

[7] 7、根据权利要求 5所述的方法，其特征在于，所述的辅助参考信息包括：重复参考帧标记或参考帧。

[8] 8、一种多视点解码方法，用于对多个视点的视频图像进行解码处理，其特征在于，在对多个视点的视频图像信息进行解码的过程中，还包括：从接收到的多视点的视频编码码流中，解码获得应用该辅助参考信息的图像的帧号及视点标识信息；

根据获得的所述应用该辅助参考信息的图像的帧号及视点标识信息，确定当前釆用的辅助参考信息；

根据所述的辅助参考信息对发生错误的指定图像进行恢复处理。

[9] 9、根据权利要求 6所述的方法，其特征在于，根据所述的辅助参考信息对发生错误的指定图像进行恢复处理的步骤包括以下至少一种恢复处理方式根据确定的重复参考帧标记对发生错误的指定图像进行恢复处理；根据确定已经完成解码的参考帧对发生错误的指定图像进行恢复处理。

[10] 10、一种多视点解码装置，包括多视点图像解码单元，用于对多个视点的视频图像进行解码处理，其特征在于，还包括：

码流接收单元，用于接收包含辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息的码流；

辅助参考信息解码单元，用于从所述码流接收单元接收到的码流中解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息。

[11] 11、一种多视点解码装置，包括多视点图像解码单元，用于对多个视点的视频图像进行解码处理，其特征在于，还包括：

辅助参考信息解码单元，用于从所述码流接收单元接收到的码流中解码获得辅助参考信息以及应用该辅助参考信息的图像的帧号及视点标识信息；辅助参考信息确定单元，用于根据所述辅助参考信息解码单元获得的应用该辅助参考信息的图像的帧号及视点标识信息，确定指定图像釆用的辅助参考信息；

错误恢复单元，用于根据所述辅助参考信息确定单元确定的辅助参考信息对发生错误的指定图像进行恢复处理。

[12] 12、根据权利要求 11所述的装置，其特征在于，所述的错误恢复单元具体包括以下至少一个处理单元：

基于重复参考帧标记的恢复处理单元，用于根据所述辅助参考信息确定单元确定的重复参考帧标记对发生错误的当前帧进行恢复处理；基于参考帧的恢复处理单元，用于根据所述辅助参考信息确定单元确定的已经解码的参考帧对发生错误的当前帧进行恢复处理。