CN108063946A - 图像编码方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种图像编码方法和装置、存储介质及电子装置。其中，该方法包括：从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；确定图像画面中所包含的第一区域及第二区域，其中，第一区域为图像画面中的感兴趣区域，第二区域为图像画面中除感兴趣区域之外的区域；获取第一区域中所包含的第一宏块的编码权重，及第二区域中所包含的第二宏块的编码权重，其中，第一宏块的编码权重大于第二宏块的编码权重；根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码。本发明解决了相关技术中对视频图像帧进行编码时所存在的编码效率较低的技术问题。

Description

图像编码方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种图像编码方法和装置、存储介质及电子装置。

背景技术

目前，在虚拟实境(Virtual Reality，简称VR)视频直播过程中，采用了360度球形全景图像来构成视频中的每一帧视频图像帧。其中，上述360度球形全景图像可以根据视角(Field of View，简称FOV)划分为不同的图像画面，从而实现当检测到播放者的视角发生改变时，调整在设备的显示界面中所显示的图像画面，来达到使播放者深刻体验到身临其境的感觉的目的。

其中，在上述VR视频直播过程中，向各个播放客户端传输视频流数据中的视频图像帧之前，通常需要对视频图像帧所对应的全景图像中的全部画面内容进行编码，这种编码方式将占用大量编码时间，从而导致编码效率较低的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种图像编码方法和装置、存储介质及电子装置，以至少解决相关技术中对视频图像帧进行编码时所存在的编码效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种图像编码方法，包括：从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；确定上述图像画面中所包含的第一区域及第二区域，其中，上述第一区域为上述图像画面中的感兴趣区域，上述第二区域为上述图像画面中除上述感兴趣区域之外的区域；获取上述第一区域中所包含的第一宏块的编码权重，及上述第二区域中所包含的第二宏块的编码权重，其中，上述第一宏块的编码权重大于上述第二宏块的编码权重；根据上述第一宏块的编码权重对上述第一区域进行编码，根据上述第二宏块的编码权重对上述第二区域进行编码。

根据本发明实施例的另一方面，还提供了一种图像编码装置，包括：第一获取单元，用于从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；确定单元，用于确定上述图像画面中所包含的第一区域及第二区域，其中，上述第一区域为上述图像画面中的感兴趣区域，上述第二区域为上述图像画面中除上述感兴趣区域之外的区域；第二获取单元，用于获取上述第一区域中所包含的第一宏块的编码权重，及上述第二区域中所包含的第二宏块的编码权重，其中，上述第一宏块的编码权重大于上述第二宏块的编码权重；编码单元，用于根据上述第一宏块的编码权重对上述第一区域进行编码，根据上述第二宏块的编码权重对上述第二区域进行编码。

根据本发明实施例的又一方面，还提供了一种一种存储介质，上述存储介质包括存储的程序，其中，上述程序运行时执行上述的方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器通过上述计算机程序执行上述的方法。

在本发明实施例中，从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面，并确定图像画面中所包含的第一区域及第二区域，其中，第一区域为图像画面中的感兴趣区域，第二区域为除感兴趣区域之外的区域；然后获取第一区域中所包含的第一宏块的编码权重，及第二区域中所包含的第二宏块的编码权重，以实现根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码。其中，第一宏块的编码权重大于第二宏块的编码权重。也就是说，针对待播放的视频流数据中的全景视频图像帧，通过对与当前播放视角相匹配的图像画面中感兴趣区域中的宏块使用较高的编码权重进行编码，对非感兴趣区域中的宏块使用较低的编码权重进行编码，从而实现对与当前播放视角对应的图像画面中的不同区域采用不同编码权重进行编码，以提高编码灵活性，克服相关技术中对全部画面内容采用相同编码方式进行编码所导致的占用大量编码时间，编码效率较低的问题，进而实现提高图像编码效率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像编码方法的应用环境示意图；

图2是根据本发明实施例的一种可选的图像编码方法的流程图；

图3是根据本发明实施例的一种可选的图像编码方法的示意图；

图4是根据本发明实施例的另一种可选的图像编码方法的示意图；

图5是根据本发明实施例的又一种可选的图像编码方法的示意图；

图6是根据本发明实施例的又一种可选的图像编码方法的示意图；

图7是根据本发明实施例的又一种可选的图像编码方法的示意图；

图8是根据本发明实施例的一种可选的图像编码装置的示意图；

图9是根据本发明实施例的另一种可选的图像编码装置的示意图；

图10是根据本发明实施例的一种可选的电子装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一方面，提供了一种上述图像编码方法的实施例。作为一种可选的实施方式，该图像编码方法可以但不限于应用于如图1所示的应用环境中，终端102在现场录制所要直播的视频流数据中的全景视频内容，通过网络104将上述视频流数据中的全景视频图像帧传输给播放设备106(如VR眼镜)，其中，上述播放设备106将通过编码器108编码获取到的全景视频图像帧。从上述全景视频图像帧中获取与当前播放视角相匹配的图像画面，并确定图像画面中所包含的第一区域及第二区域，其中，第一区域为图像画面中的感兴趣区域，第二区域为除感兴趣区域之外的区域；然后获取第一区域中所包含的第一宏块的编码权重，及第二区域中所包含的第二宏块的编码权重，以实现根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码。其中，第一宏块的编码权重大于第二宏块的编码权重。

在本实施例中，针对待播放的视频流数据中的全景视频图像帧，通过对与当前播放视角相匹配的图像画面中感兴趣区域中的宏块使用较高的编码权重进行编码，对非感兴趣区域中的宏块使用较低的编码权重进行编码，从而实现对与当前播放视角对应的图像画面中的不同区域采用不同编码权重进行编码，以提高编码灵活性，克服相关技术中对全部画面内容采用相同编码方式进行编码所导致的占用大量编码时间，编码效率较低的问题，进而实现提高图像编码效率的效果，进而保证视频直播的实时性。

可选地，在本实施例中，上述播放设备可以包括但不限于以下至少之一：手机、平板电脑、笔记本电脑、台式PC机、数字电视、VR眼镜及其他用于显示直播视频流数据中的全景视频图像的硬件设备。上述网络可以包括但不限于以下至少之一：广域网、城域网、局域网。上述只是一种示例，本实施例对此不做任何限定。

在本发明实施例中，提供了一种图像编码方法，如图2所示，该方法包括：

S202，从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；

S204，确定图像画面中所包含的第一区域及第二区域，其中，第一区域为图像画面中的感兴趣区域，第二区域为图像画面中除感兴趣区域之外的区域；

S206，获取第一区域中所包含的第一宏块的编码权重，及第二区域中所包含的第二宏块的编码权重，其中，第一宏块的编码权重大于第二宏块的编码权重；

S208，根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码。

可选地，在本实施例中，上述图像编码方法可以但不限于应用于播放全景视频图像的场景中，如虚拟实境(Virtual Reality，简称VR)视频播放过程中、全景视频播放过程中，上述播放可以包括但不限于：视频点播、视频直播。其中，上述视频可以但不限于应用于：视频播放应用、游戏应用、购物应用等等终端应用中。上述仅是一种示例，本实施例中对此不做任何限定。

需要说明的是，针对待播放的视频流数据中的全景视频图像帧，通过对与当前播放视角相匹配的图像画面中感兴趣区域中的宏块使用较高的编码权重进行编码，对非感兴趣区域中的宏块使用较低的编码权重进行编码，从而实现对与当前播放视角对应的图像画面中的不同区域采用ROI区域编码方式，针对不同区域使用不同编码权重进行编码，以提高编码灵活性，克服相关技术中对全部画面内容采用相同编码方式进行编码所导致的占用大量编码时间，编码效率较低的问题，进而实现提高图像编码效率的效果，进而保证视频直播的实时性。

可选地，在本实施例中，全景视频图像帧可以但不限于为360度球形全景图像，其中，该360度球形全景图像可以但不限于划分为多个视角(Field of View，简称FOV)，每个视角对应的图像画面将生成一路视角视频流数据供播放设备进行播放。在本实施例中，上述图像画面可以但不限于对每个视角使用金字塔模型映射投影得到。

例如，如图3所示，播放设备以VR眼镜为例进行说明，图3左侧示出使用VR眼镜可以观看视频中的360度球形全景图像，图3右侧示出在360度球形全景图像中，内置金字塔模型(各个顶点均位于球面)进行映射投影。进一步，每个视角将得到对应的图像画面(包含金字塔模型在各个面上的投影)，如图4所示，图4左侧示出金字塔模型在各个面上的投影展开后的视角图像，经过拉伸等图像处理，将得到图4右侧所示与该视角相匹配的图像画面，其中，阴影部分表示模型底部对应画面。

需要说明的是，在本实施中，对全景视频图像帧进行映射投影处理的模型不仅限于金字塔模型，还可以包括梯形模型等其他模型，本实施例中对此不做任何限定。

可选地，在本实施例中，上述图像编码方法可以但不限于应用于图5所示编码系统中，获取一个全景视频图像帧，根据配置将其划分为n个视角，视角1至视角n，分别获取n个视角对应的金字塔模型映射投影，进而得到不同视角对应的图像画面。进一步，将上述图像画面输入编码器进行编码，以得到供播放的视频流数据，其中视频流数据中包括与多个视角分别对应的视角视频流数据。

可选地，在本实施例中，上述第一区域为上述图像画面中的感兴趣区域(Regionof Interest，简称ROI)，例如，如图3右侧所示，第一区域可以为当前播放视角所对应的金字塔模型的底部区域，而金字塔模型的其他区域(如侧面区域)则对应为第二区域。上述仅是一种可选的区域确定方式，本实施例中根据不同模型可以但不限于采用不同方式确定第一区域及第二区域，本实施例中对此不做任何限定。

需要说明的是，在本实施例中，在对图像画面中的不同区域进行编码时，区域中包含有用于编码的单位区域，如宏块。其中，第一区域中第一宏块与第二区域中的第二宏块可以但不限于为相同大小的宏块，如16×16像素为单位的宏块，也可以但不限于为不同大小的宏块；此外，第一区域中各个第一宏块的大小也可以为相同大小或不同大小，第二区域中各个第二宏块的大小也可以为相同大小或不同大小。本实施例中对此不做任何限定。

可选地，在本实施例中，在确定出第一区域及第二区域之后，可以但不限于获取第一区域中第一宏块的编码权重及第二区域中第二宏块的编码权重，其中，第一区域中第一宏块的编码权重大于第二区域中第二宏块的编码权重。

此外，在本实施例中，上述第一区域中可以包括但不限于多个第一宏块，多个第一宏块的编码权重相同；第二区域中可以包括但不限于多个第二宏块，多个第二宏块的编码权重，可以但不限于根据第二宏块到第一区域之间的目标距离确定。可选地，在本实施例中权重越小，第二宏块的编码权重越小。

可选地，在本实施例中，上述编码权重可以但不限于用于确定编码长度，也就是说，上述宏块的编码权重越大，对应的编码长度越长，从而保证该宏块的编码失真度越小。在本实施例中，针对全景视频图像帧，结合ROI区域编码方式，对不同区域的不同宏块采用不同编码权重来实现编码，以达到提高编码的灵活性，而无需对全部画面内容采用相同的编码方式编码，实现了节省编码时长及带宽，进而达到提高编码效率的效果。

通过本申请提供的实施例，针对待播放的视频流数据中的全景视频图像帧，通过对与当前播放视角相匹配的图像画面中感兴趣区域中的宏块使用较高的编码权重进行编码，对非感兴趣区域中的宏块使用较低的编码权重进行编码，从而实现对与当前播放视角对应的图像画面中的不同区域采用不同编码权重进行编码，以提高编码灵活性，克服相关技术中对全部画面内容采用相同编码方式进行编码所导致的占用大量编码时间，编码效率较低的问题，进而实现提高图像编码效率的效果，进而保证视频直播的实时性。

作为一种可选的方案，根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码包括：

S1，根据第一宏块的编码权重为第一区域中的第一宏块配置第一编码长度；使用第一编码长度编码第一区域中的第一宏块；

S2，根据第二宏块的编码权重为第二区域中的第二宏块配置第二编码长度；使用第二编码长度编码第二区域中的第二宏块；

其中，第一编码长度大于第二编码长度。

具体结合图6所示进行说明，假设图6所示正方形为图像画面，图像画面中阴影区域为第一区域，图像画面中阴影区域之外的留白区域为第二区域。第一区域中第一宏块包括宏块C及宏块D，第二区域中第二宏块包括宏块A及宏块B。此外，第一区域中宏块C及宏块D的编码权重可以配置相同取值，也可以配置为不同取值，第二区域中宏块A及宏块B的编码权重可以配置相同取值，也可以配置为不同取值。对应的，在本实施例中，不同的编码权重将对应不同的编码长度。

例如，将第一区域中宏块C与宏块D的编码权重均配置为a，第二区域中宏块A与宏块B的编码权重均配置为b，其中，a>b。对应的，宏块C与宏块D的编码长度将大于宏块A与宏块B的编码长度，如编码权重a对应编码长度为16位，编码权重b对应编码长度为8位。

又例如，将第一区域中宏块C与宏块D的编码权重均配置为a，第二区域中宏块A与宏块B的编码权重可以但不限于根据宏块到第一区域之间的目标距离分别配置为b和c，其中，如图6所示，宏块B距离第一区域的目标距离更近，则上述编码权重的对应关系为：a>c>b。对应的，宏块C与宏块D的编码长度将大于宏块B的编码长度，宏块B的编码长度将大于宏块A的编码长度，如编码权重a对应编码长度为16位，编码权重c对应编码长度为8位，编码权重b对应编码长度为4位。

需要说明的是，编码长度越短，编码后的宏块所携带的图像信息越少，失真度越高。因而，在本实施例中，通过为第一区域(即感兴趣区域)配置较高的编码权重，利用更长的编码字节编码图像画面中的第一区域，以保证第一区域在编码时可以保留原图像信息，降低压缩编码导致的失真度；而对于第二区域(即非感兴趣区域)配置较低的编码权重，以减少编码字节，达到对非关注区域降低编码成本，缩短编码时间，减少带宽占用，从而实现提高编码效率的效果。

通过本申请提供的实施例，通过为不同区域配置不同编码权重，以使不同区域使用与不同编码权重对应的编码长度进行编码，以提高编码的灵活性，并提高了有限的编码字节的编码利用率，保证了编码效率。

作为一种可选的方案，获取第二区域中所包含的第二宏块的编码权重包括：

S1，获取第二宏块到第一区域的目标距离；

S2，根据目标距离确定第二宏块的编码权重，其中，目标距离越大，第二宏块的编码权重越小。

可选地，在本实施例中，获取第二宏块到第一区域的目标距离包括：

S21，获取第二宏块的坐标位置；

S22，根据第二宏块的坐标位置，计算第二宏块到第一区域中各条边界的距离；

S23，将距离中的最小值作为目标距离。

可选地，在本实施例中，第一区域中包括多个第一宏块，多个第一宏块的编码权重相同；第二区域中包括多个第二宏块，目标距离越小，第二宏块的第二编码长度越小。

可选地，在本实施例中，上述目标距离可以但不限于为点到直线的距离。也就是说，在获取第二区域中任意一个第二宏块的坐标位置后，可获取该第二宏块到第一区域中各个边界的距离，目标距离d的计算公式可以如下：

其中，(x，y)为第二宏块的坐标位置，Ax+By+C为任意一条边界所在直线的表达式，A、B、C为该直线的系数。

具体结合图6-7所示进行说明，如图6所示正方形为图像画面，图像画面中阴影区域为第一区域，图像画面中阴影区域之外的留白区域为第二区域。第一区域中第一宏块包括宏块C及宏块D，第二区域中第二宏块包括宏块A及宏块B。

例如，如图7所示，以宏块A(0，y)为例进行说明，利用上述公式(1)计算宏块A到第一区域各条边界的距离如下：

宏块A与第一条边界相交在交点X1，对应的距离为d1；

宏块A与第二条边界相交在交点X2，对应的距离为d2；

宏块A与第三条边界相交在交点X3，对应的距离为d3；

宏块A与第四条边界相交在交点X4，对应的距离为d4；

由图7可见，宏块A到第一条边界的距离d1为上述距离中的最小值，则将距离d1作为宏块A到第一区域的目标距离。

通过本申请提供的实施例，通过获取第二区域中第二宏块到第一区域的边界的目标距离，以实现根据目标距离所指示的距离第一区域的远近，来确定第二宏块的编码权重，从而达到为接近感兴趣区域的宏块配置较高的编码权重，保留更多图像信息，而为原理感兴趣区域的宏块配置较低的编码权重，压缩编码后，以节省编码成本，降低带宽，进而实现提高编码效率的效果。

作为一种可选的方案，确定图像画面中所包含的第一区域及第二区域包括：

S1，确定图像画面各条边界的中点；

S2，将连接各条边界的中点得到的闭合区域确定为第一区域，将图像画面中除第一区域之外的区域确定为第二区域。

具体结合图4所示进行说明，在获取到当前播放视角在金字塔模型的各个面上的投影后，可以对上述投影展开后的视角图像(如图4左侧所示，阴影为底部区域，也是双眼关注区域)进行拉伸等图像处理，如将四个顶角拉伸为直角，得到图4右侧所示与当前播放视角对应的图像画面，然后连接该图像画面各条边界的中点得到闭合区域，作为经图像画面中的第一区域(感兴趣区域)，并将留白区域作为第二区域。

通过本申请提供的实施例，通过利用金字塔模型进行映射投影，获取到与当前播放视角匹配的图像画面，并准确确定出图像画面中的第一区域及第二区域，从而简化了感兴趣区域的确定步骤，进而缩短了编码时长，提高了编码效率。

作为一种可选的方案，从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面包括:

S1，获取全景视频图像帧；

S2，通过金字塔模型确定与当前播放视角匹配的视角图像；

S3，对视角图像进行拉伸处理，得到与当前播放视角匹配的图像画面。

具体结合图3-4所示进行说明，在获取到全景视频图像帧之后，通过图3右侧所示，利用在球中内置的金字塔模型实现映射投影，其中，该金字塔模型各个顶点在球面上，且底部区域为双眼关注区域，将投影展开后将准确确定出与当前播放视角相匹配的视角图像，如图4左侧所示，然后进行拉伸处理，以得到与当前播放视角匹配的图像画面，如图4右侧所示，其中，图4右侧所示阴影区域为第一区域。

通过本申请提供的实施例，利用金字塔模型进行映射投影，获取到与当前播放视角匹配的视角图像，再通过图像处理得到待编码的图像画面，以便于快速准确地定位出图像中的第一区域，实现高效率的编码。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

根据本发明实施例的另一方面，还提供了一种用于实施上述图像编码方法的图像编码装置，如图8所示，该装置包括：

1)第一获取单元802，用于从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；

2)确定单元804，用于确定图像画面中所包含的第一区域及第二区域，其中，第一区域为图像画面中的感兴趣区域，第二区域为图像画面中除感兴趣区域之外的区域；

3)第二获取单元806，用于获取第一区域中所包含的第一宏块的编码权重，及第二区域中所包含的第二宏块的编码权重，其中，第一宏块的编码权重大于第二宏块的编码权重；

4)编码单元808，用于根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码。

可选地，在本实施例中，上述图像编码装置可以但不限于应用于播放全景视频图像的场景中，如虚拟实境(Virtual Reality，简称VR)视频播放过程中、全景视频播放过程中，上述播放可以包括但不限于：视频点播、视频直播。其中，上述视频可以但不限于应用于：视频播放应用、游戏应用、购物应用等等终端应用中。上述仅是一种示例，本实施例中对此不做任何限定。

需要说明的是，针对待播放的视频流数据中的全景视频图像帧，通过对与当前播放视角相匹配的图像画面中感兴趣区域中的宏块使用较高的编码权重进行编码，对非感兴趣区域中的宏块使用较低的编码权重进行编码，从而实现对与当前播放视角对应的图像画面中的不同区域采用ROI区域编码方式，针对不同区域使用不同编码权重进行编码，以提高编码灵活性，克服相关技术中对全部画面内容采用相同编码方式进行编码所导致的占用大量编码时间，编码效率较低的问题，进而实现提高图像编码效率的效果，进而保证视频直播的实时性。

可选地，在本实施例中，全景视频图像帧可以但不限于为360度球形全景图像，其中，该360度球形全景图像可以但不限于划分为多个视角(Field of View，简称FOV)，每个视角对应的图像画面将生成一路视角视频流数据供播放设备进行播放。在本实施例中，上述图像画面可以但不限于对每个视角使用金字塔模型映射投影得到。

例如，如图3所示，播放设备以VR眼镜为例进行说明，图3左侧示出使用VR眼镜可以观看视频中的360度球形全景图像，图3右侧示出在360度球形全景图像中，内置金字塔模型(各个顶点均位于球面)进行映射投影。进一步，每个视角将得到对应的图像画面(包含金字塔模型在各个面上的投影)，如图4所示，图4左侧示出金字塔模型在各个面上的投影展开后的视角图像，经过拉伸等图像处理，将得到图4右侧所示与该视角相匹配的图像画面，其中，阴影部分表示模型底部对应画面。

需要说明的是，在本实施中，对全景视频图像帧进行映射投影处理的模型不仅限于金字塔模型，还可以包括梯形模型等其他模型，本实施例中对此不做任何限定。

可选地，在本实施例中，上述图像编码装置可以但不限于应用于图5所示编码系统中，获取一个全景视频图像帧，根据配置将其划分为n个视角，视角1至视角n，分别获取n个视角对应的金字塔模型映射投影，进而得到不同视角对应的图像画面。进一步，将上述图像画面输入编码器进行编码，以得到供播放的视频流数据，其中视频流数据中包括与多个视角分别对应的视角视频流数据。

可选地，在本实施例中，上述第一区域为上述图像画面中的感兴趣区域(Regionof Interest，简称ROI)，例如，如图3右侧所示，第一区域可以为当前播放视角所对应的金字塔模型的底部区域，而金字塔模型的其他区域(如侧面区域)则对应为第二区域。上述仅是一种可选的区域确定方式，本实施例中根据不同模型可以但不限于采用不同方式确定第一区域及第二区域，本实施例中对此不做任何限定。

需要说明的是，在本实施例中，在对图像画面中的不同区域进行编码时，区域中包含有用于编码的单位区域，如宏块。其中，第一区域中第一宏块与第二区域中的第二宏块可以但不限于为相同大小的宏块，如16×16像素为单位的宏块，也可以但不限于为不同大小的宏块；此外，第一区域中各个第一宏块的大小也可以为相同大小或不同大小，第二区域中各个第二宏块的大小也可以为相同大小或不同大小。本实施例中对此不做任何限定。

可选地，在本实施例中，在确定出第一区域及第二区域之后，可以但不限于获取第一区域中第一宏块的编码权重及第二区域中第二宏块的编码权重，其中，第一区域中第一宏块的编码权重大于第二区域中第二宏块的编码权重。

此外，在本实施例中，上述第一区域中可以包括但不限于多个第一宏块，多个第一宏块的编码权重相同；第二区域中可以包括但不限于多个第二宏块，多个第二宏块的编码权重，可以但不限于根据第二宏块到第一区域之间的目标距离确定。可选地，在本实施例中权重越小，第二宏块的编码权重越小。

可选地，在本实施例中，上述编码权重可以但不限于用于确定编码长度，也就是说，上述宏块的编码权重越大，对应的编码长度越长，从而保证该宏块的编码失真度越小。在本实施例中，针对全景视频图像帧，结合ROI区域编码方式，对不同区域的不同宏块采用不同编码权重来实现编码，以达到提高编码的灵活性，而无需对全部画面内容采用相同的编码方式编码，实现了节省编码时长及带宽，进而达到提高编码效率的效果。

通过本申请提供的实施例，针对待播放的视频流数据中的全景视频图像帧，通过对与当前播放视角相匹配的图像画面中感兴趣区域中的宏块使用较高的编码权重进行编码，对非感兴趣区域中的宏块使用较低的编码权重进行编码，从而实现对与当前播放视角对应的图像画面中的不同区域采用不同编码权重进行编码，以提高编码灵活性，克服相关技术中对全部画面内容采用相同编码方式进行编码所导致的占用大量编码时间，编码效率较低的问题，进而实现提高图像编码效率的效果，进而保证视频直播的实时性。

作为一种可选的方案，如图9所示，编码单元808包括：

1)第一配置模块902，用于根据第一宏块的编码权重为第一区域中的第一宏块配置第一编码长度；

2)第一编码模块904，用于使用第一编码长度编码第一区域中的第一宏块；

3)第二配置模块906，用于根据第二宏块的编码权重为第二区域中的第二宏块配置第二编码长度；

4)第二编码模块908，用于使用第二编码长度编码第二区域中的第二宏块；

其中，第一编码长度大于第二编码长度。

具体结合图6所示进行说明，假设图6所示正方形为图像画面，图像画面中阴影区域为第一区域，图像画面中阴影区域之外的留白区域为第二区域。第一区域中第一宏块包括宏块C及宏块D，第二区域中第二宏块包括宏块A及宏块B。此外，第一区域中宏块C及宏块D的编码权重可以配置相同取值，也可以配置为不同取值，第二区域中宏块A及宏块B的编码权重可以配置相同取值，也可以配置为不同取值。对应的，在本实施例中，不同的编码权重将对应不同的编码长度。

例如，将第一区域中宏块C与宏块D的编码权重均配置为a，第二区域中宏块A与宏块B的编码权重均配置为b，其中，a>b。对应的，宏块C与宏块D的编码长度将大于宏块A与宏块B的编码长度，如编码权重a对应编码长度为16位，编码权重b对应编码长度为8位。

又例如，将第一区域中宏块C与宏块D的编码权重均配置为a，第二区域中宏块A与宏块B的编码权重可以但不限于根据宏块到第一区域之间的目标距离分别配置为b和c，其中，如图6所示，宏块B距离第一区域的目标距离更近，则上述编码权重的对应关系为：a>c>b。对应的，宏块C与宏块D的编码长度将大于宏块B的编码长度，宏块B的编码长度将大于宏块A的编码长度，如编码权重a对应编码长度为16位，编码权重c对应编码长度为8位，编码权重b对应编码长度为4位。

需要说明的是，编码长度越短，编码后的宏块所携带的图像信息越少，失真度越高。因而，在本实施例中，通过为第一区域(即感兴趣区域)配置较高的编码权重，利用更长的编码字节编码图像画面中的第一区域，以保证第一区域在编码时可以保留原图像信息，降低压缩编码导致的失真度；而对于第二区域(即非感兴趣区域)配置较低的编码权重，以减少编码字节，达到对非关注区域降低编码成本，缩短编码时间，减少带宽占用，从而实现提高编码效率的效果。

通过本申请提供的实施例，通过为不同区域配置不同编码权重，以使不同区域使用与不同编码权重对应的编码长度进行编码，以提高编码的灵活性，并提高了有限的编码字节的编码利用率，保证了编码效率。

作为一种可选的方案，第二获取单元806包括：

1)第一获取模块，用于获取第二宏块到第一区域的目标距离；

2)第一确定模块，用于根据目标距离确定第二宏块的编码权重，其中，目标距离越大，第二宏块的编码权重越小。

可选地，在本实施例中，第一获取模块包括：

(1)获取子模块，用于获取第二宏块的坐标位置；

(2)计算子模块，用于根据第二宏块的坐标位置，计算第二宏块到第一区域中各条边界的距离；

(3)确定子模块，用于将距离中的最小值作为目标距离。

可选地，在本实施例中，，第一区域中包括多个第一宏块，多个第一宏块的编码权重相同；第二区域中包括多个第二宏块，目标距离越小，第二宏块的第二编码长度越小。

可选地，在本实施例中，上述目标距离可以但不限于为点到直线的距离。也就是说，在获取第二区域中任意一个第二宏块的坐标位置后，可获取该第二宏块到第一区域中各个边界的距离，目标距离d的计算公式可以如下：

其中，(x，y)为第二宏块的坐标位置，Ax+By+C为任意一条边界所在直线的表达式，A、B、C为该直线的系数。

具体结合图6-7所示进行说明，如图6所示正方形为图像画面，图像画面中阴影区域为第一区域，图像画面中阴影区域之外的留白区域为第二区域。第一区域中第一宏块包括宏块C及宏块D，第二区域中第二宏块包括宏块A及宏块B。

例如，如图7所示，以宏块A(0，y)为例进行说明，利用上述公式(2)计算宏块A到第一区域各条边界的距离如下：

宏块A与第一条边界相交在交点X1，对应的距离为d1；

宏块A与第二条边界相交在交点X2，对应的距离为d2；

宏块A与第三条边界相交在交点X3，对应的距离为d3；

宏块A与第四条边界相交在交点X4，对应的距离为d4；

由图7可见，宏块A到第一条边界的距离d1为上述距离中的最小值，则将距离d1作为宏块A到第一区域的目标距离。

通过本申请提供的实施例，通过获取第二区域中第二宏块到第一区域的边界的目标距离，以实现根据目标距离所指示的距离第一区域的远近，来确定第二宏块的编码权重，从而达到为接近感兴趣区域的宏块配置较高的编码权重，保留更多图像信息，而为原理感兴趣区域的宏块配置较低的编码权重，压缩编码后，以节省编码成本，降低带宽，进而实现提高编码效率的效果。

具体结合图4所示进行说明，在获取到当前播放视角在金字塔模型的各个面上的投影后，可以对上述投影展开后的视角图像(如图4左侧所示，阴影为底部区域，也是双眼关注区域)进行拉伸等图像处理，如将四个顶角拉伸为直角，得到图4右侧所示与当前播放视角对应的图像画面，然后连接该图像画面各条边界的中点得到闭合区域，作为经图像画面中的第一区域(感兴趣区域)，并将留白区域作为第二区域。

通过本申请提供的实施例，通过利用金字塔模型进行映射投影，获取到与当前播放视角匹配的图像画面，并准确确定出图像画面中的第一区域及第二区域，从而简化了感兴趣区域的确定步骤，进而缩短了编码时长，提高了编码效率。

作为一种可选的方案，确定单元包括：

1)第二确定模块，用于确定图像画面各条边界的中点；

2)第三确定模块，用于将连接各条边界的中点得到的闭合区域确定为第一区域，将图像画面中除第一区域之外的区域确定为第二区域。

具体结合图4所示进行说明，在获取到当前播放视角在金字塔模型的各个面上的投影后，可以对上述投影展开后的视角图像(如图4左侧所示，阴影为底部区域，也是双眼关注区域)进行拉伸等图像处理，如将四个顶角拉伸为直角，得到图4右侧所示与当前播放视角对应的图像画面，然后连接该图像画面各条边界的中点得到闭合区域，作为经图像画面中的第一区域(感兴趣区域)，并将留白区域作为第二区域。

通过本申请提供的实施例，通过利用金字塔模型进行映射投影，获取到与当前播放视角匹配的图像画面，并准确确定出图像画面中的第一区域及第二区域，从而简化了感兴趣区域的确定步骤，进而缩短了编码时长，提高了编码效率。

作为一种可选的方案，第一获取单元包括:

1)第二获取模块，用于获取全景视频图像帧；

2)第四确定模块，用于通过金字塔模型确定与当前播放视角匹配的视角图像；

3)处理模块，用于对视角图像进行拉伸处理，得到与当前播放视角匹配的图像画面。

具体结合图3-4所示进行说明，在获取到全景视频图像帧之后，通过图3右侧所示，利用在球中内置的金字塔模型实现映射投影，其中，该金字塔模型各个顶点在球面上，且底部区域为双眼关注区域，将投影展开后将准确确定出与当前播放视角相匹配的视角图像，如图4左侧所示，然后进行拉伸处理，以得到与当前播放视角匹配的图像画面，如图4右侧所示，其中，图4右侧所示阴影区域为第一区域。

通过本申请提供的实施例，利用金字塔模型进行映射投影，获取到与当前播放视角匹配的视角图像，再通过图像处理得到待编码的图像画面，以便于快速准确地定位出图像中的第一区域，实现高效率的编码。

根据本发明实施例的又一个方面，还提供了一种用于实施上述图像编码方法的电子装置，如图10所示，该电子装置可以包括：一个或多个(图中仅示出一个)处理器1002、存储器1004、传感器1006、显示器1008、编码器1010以及传输装置1012。

其中，存储器1004可用于存储软件程序以及模块，如本发明实施例中的图像编码方法及装置

对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即图像编码方法。存储器1004可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置1012用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1012包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1012为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

其中，具体地，存储器1004用于存储预设动作条件和预设权限用户的信息、以及应用程序。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图10所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

本发明的实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以位于网络中的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

S1，从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；

S2，确定图像画面中所包含的第一区域及第二区域，其中，第一区域为图像画面中的感兴趣区域，第二区域为图像画面中除感兴趣区域之外的区域；

S3，获取第一区域中所包含的第一宏块的编码权重，及第二区域中所包含的第二宏块的编码权重，其中，第一宏块的编码权重大于第二宏块的编码权重；

S4，根据第一宏块的编码权重对第一区域进行编码，根据第二宏块的编码权重对第二区域进行编码。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

S1，根据第一宏块的编码权重为第一区域中的第一宏块配置第一编码长度；使用第一编码长度编码第一区域中的第一宏块；

S2，根据第二宏块的编码权重为第二区域中的第二宏块配置第二编码长度；使用第二编码长度编码第二区域中的第二宏块；

其中，第一编码长度大于第二编码长度。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图像编码方法，其特征在于，包括：

从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；

确定所述图像画面中所包含的第一区域及第二区域，其中，所述第一区域为所述图像画面中的感兴趣区域，所述第二区域为所述图像画面中除所述感兴趣区域之外的区域；

获取所述第一区域中所包含的第一宏块的编码权重，及所述第二区域中所包含的第二宏块的编码权重，其中，所述第一宏块的编码权重大于所述第二宏块的编码权重；

根据所述第一宏块的编码权重对所述第一区域进行编码，根据所述第二宏块的编码权重对所述第二区域进行编码。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一宏块的编码权重对所述第一区域进行编码，根据所述第二宏块的编码权重对所述第二区域进行编码包括：

根据所述第一宏块的编码权重为所述第一区域中的所述第一宏块配置第一编码长度；使用所述第一编码长度编码所述第一区域中的所述第一宏块；

根据所述第二宏块的编码权重为所述第二区域中的所述第二宏块配置第二编码长度；使用所述第二编码长度编码所述第二区域中的所述第二宏块；

其中，所述第一编码长度大于所述第二编码长度。

3.根据权利要求1所述的方法，其特征在于，所述获取所述第二区域中所包含的所述第二宏块的编码权重包括：

获取所述第二宏块到所述第一区域的目标距离；

根据所述目标距离确定所述第二宏块的编码权重，其中，所述目标距离越大，所述第二宏块的编码权重越小。

4.根据权利要求3所述的方法，其特征在于，所述获取所述第二宏块到所述第一区域的目标距离包括：

获取所述第二宏块的坐标位置；

根据所述第二宏块的坐标位置，计算所述第二宏块到所述第一区域中各条边界的距离；

将所述距离中的最小值作为所述目标距离。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一区域中包括多个所述第一宏块，多个所述第一宏块的编码权重相同；所述第二区域中包括多个所述第二宏块，所述目标距离越小，所述第二宏块的所述第二编码长度越小。

6.根据权利要求1所述的方法，其特征在于，所述确定所述图像画面中所包含的第一区域及第二区域包括：

确定所述图像画面各条边界的中点；

将连接各条边界的所述中点得到的闭合区域确定为所述第一区域，将所述图像画面中除所述第一区域之外的区域确定为所述第二区域。

7.根据权利要求1所述的方法，其特征在于，所述从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面包括:

获取所述全景视频图像帧；

通过金字塔模型确定与所述当前播放视角匹配的视角图像；

对所述视角图像进行拉伸处理，得到与所述当前播放视角匹配的所述图像画面。

8.一种图像编码装置，其特征在于，包括：

第一获取单元，用于从待播放的视频流数据中的全景视频图像帧中获取与当前播放视角相匹配的图像画面；

确定单元，用于确定所述图像画面中所包含的第一区域及第二区域，其中，所述第一区域为所述图像画面中的感兴趣区域，所述第二区域为所述图像画面中除所述感兴趣区域之外的区域；

第二获取单元，用于获取所述第一区域中所包含的第一宏块的编码权重，及所述第二区域中所包含的第二宏块的编码权重，其中，所述第一宏块的编码权重大于所述第二宏块的编码权重；

编码单元，用于根据所述第一宏块的编码权重对所述第一区域进行编码，根据所述第二宏块的编码权重对所述第二区域进行编码。

9.根据权利要求8所述的装置，其特征在于，所述编码单元包括：

第一配置模块，用于根据所述第一宏块的编码权重为所述第一区域中的所述第一宏块配置第一编码长度；第一编码模块，用于使用所述第一编码长度编码所述第一区域中的所述第一宏块；

第二配置模块，用于根据所述第二宏块的编码权重为所述第二区域中的所述第二宏块配置第二编码长度；第二编码模块，用于使用所述第二编码长度编码所述第二区域中的所述第二宏块；

其中，所述第一编码长度大于所述第二编码长度。

10.根据权利要求8所述的装置，其特征在于，所述第二获取单元包括：

第一获取模块，用于获取所述第二宏块到所述第一区域的目标距离；

第一确定模块，用于根据所述目标距离确定所述第二宏块的编码权重，其中，所述目标距离越大，所述第二宏块的编码权重越小。

11.根据权利要求10所述的装置，其特征在于，所述第一获取模块包括：

获取子模块，用于获取所述第二宏块的坐标位置；

计算子模块，用于根据所述第二宏块的坐标位置，计算所述第二宏块到所述第一区域中各条边界的距离；

确定子模块，用于将所述距离中的最小值作为所述目标距离。

12.根据权利要求8至11中任一项所述的装置，其特征在于，所述第一区域中包括多个所述第一宏块，多个所述第一宏块的编码权重相同；所述第二区域中包括多个所述第二宏块，所述目标距离越小，所述第二宏块的所述第二编码长度越小。

13.根据权利要求8所述的装置，其特征在于，其中，

所述确定单元包括：

第二确定模块，用于确定所述图像画面各条边界的中点；

第三确定模块，用于将连接各条边界的所述中点得到的闭合区域确定为所述第一区域，将所述图像画面中除所述第一区域之外的区域确定为所述第二区域；

所述第一获取单元包括:

第二获取模块，用于获取所述全景视频图像帧；

第四确定模块，用于通过金字塔模型确定与所述当前播放视角匹配的视角图像；

处理模块，用于对所述视角图像进行拉伸处理，得到与所述当前播放视角匹配的所述图像画面。

14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。

15.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。