CN115190302A - 在视频解码装置中进行图像处理的方法、装置及系统 - Google Patents

Abstract

本申请公开了一种在视频解码装置中进行图像处理的方法、装置、存储介质、电子设备及系统。该方法包括：获取视频码流；从视频码流中确定一个或多个参考位置；确定一个或多个参考位置的参考次数；根据预设功耗阈值以及一个或多个参考位置的参考次数，从一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在预设存储器中，向预设存储器中存储参考位置以及从预设存储器中读取参考位置所产生的功耗小于或等于预设功耗阈值；根据参考位置对待解码对象进行解码。本申请可以降低视频解码装置的功耗。

Description

在视频解码装置中进行图像处理的方法、装置及系统

技术领域

本申请属于电子设备技术领域，尤其涉及一种在视频解码装置中进行图像处理的方法、装置、存储介质、电子设备及系统。

背景技术

随着技术的不断发展，视频解码装置的功能越来越强大。视频解码装置可以对视频图像进行解码。在对一帧视频图像进行解码时，通常会参考多帧已解码视频图像的数据。然而，相关技术中，在对需要参考的已解码视频图像的数据进行读取时，视频解码装置的功耗较大。

发明内容

本申请实施例提供一种在视频解码装置中进行图像处理的方法、装置、存储介质及电子设备，可以降低视频解码装置的功耗。

第一方面，本申请实施例提供一种在视频解码装置中进行图像处理的方法，所述方法包括：

获取视频码流；

从所述视频码流中确定一个或多个参考位置；

确定所述一个或多个参考位置的参考次数；

根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考位置，对待解码对象进行解码。

第二方面，本申请实施例提供一种在视频解码装置中进行图像处理的方法，所述方法包括：

获取视频码流；

根据所述视频码流获取一个或多个参考运动矢量(Motion Vector，MV)；

根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

确定所述一个或多个参考块的参考次数；

根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考块对待解码块或所述待解码块的子块进行解码。

第三方面，本申请实施例提供一种在视频解码装置中进行图像图像处理的装置，所述装置包括：

获取模块，用于获取视频码流；

第一确定模块，用于从所述视频码流中确定一个或多个参考位置；

第二确定模块，用于确定所述一个或多个参考位置的参考次数；

第三确定模块，用于根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

解码模块，用于根据所述参考位置对待解码对象进行解码。

第四方面，本申请实施例提供一种图像处理装置，所述装置包括：

第一获取模块，用于获取视频码流；

第二获取模块，用于根据所述视频码流获取一个或多个参考运动矢量；

第三获取模块，用于根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

第一确定模块，用于确定所述一个或多个参考块的参考次数；

第三确定模块，用于根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

解码模块，用于根据所述参考块对待解码块或所述待解码块的子块进行解码。

第五方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的在视频解码装置中进行图像处理的方法。

第六方面，本申请实施例还提供一种电子设备，包括存储器，处理器以及视频解码装置，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的在视频解码装置中进行图像处理的方法。

第七方面，本申请实施例还提供一种图像处理系统，包括视频解码装置、第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗，所述第一存储器中存储参考次数为一次的参考位置，或者存储参考次数为一次和多次的参考位置，所述第二存储器中存储参考次数为多次的参考位置，所述视频解码装置在解码时，从所述第一存储器中读取参考次数为一次的参考位置，以及从所述第二存储器读取参考次数为多次的参考位置，根据所述参考位置对待解码对象进行解码。

在本申请实施例中，视频解码装置可以获取视频码流，从视频码流中确定出一个或多个参考位置。然后，确定出一个或多个参考位置的参考次数，根据预设功耗阈值以及一个或多个参考位置的参考次数，从一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在预设存储器中，向预设存储器中存储参考位置以及从预设存储器中读取参考位置所产生的功耗小于或等于预设功耗阈值。之后，根据参考位置对待解码对象进行解码。即，本申请实施例中，通过将确定的需要存储在预设存储器中的参考位置的图像数据存放在功耗较小的预设存储器中，以达到降低视频解码装置功耗的目的。因此，本申请实施例可以降低视频解码装置的功耗。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的在视频解码装置中进行图像处理的方法的第一种流程示意图。

图2是相关技术中视频解码系统的结构示意图。

图3是相关技术中视频解码装置中数据存储的示意图。

图4是相关技术中增加动态随机存取内存(Dynamic Random Access Memory,DRAM)的通道(channel)数量进行数据存取的示意图。

图5是相关技术中在进行视频解码时从多通道DRAM读写数据时的功耗曲线示意图。

图6是本申请实施例提供的当前视频码流中一个图像群组中各图像帧之间参考关系的场景示意图。

图7是本申请实施例提供的在视频解码装置中进行图像处理的方法的第二种流程示意图。

图8是本申请实施例提供的静态随机存取存储器(Static Random-AccessMemory，SRAM)与动态随机存取内存在读取数据时所消耗的能量的对比示意图。

图9是本申请实施例提供的将多次被参考的图像数据存储在系统高速缓存(system cache,Sys$)或系统缓冲存储器(System Buffer，SysBuf)的场景示意图。

图10是本申请实施例提供的粗略分析视频码流中多个图像帧的参考关系的场景示意图。

图11是本申请实施例提供的使用系统高速缓存的视频解码系统的一种架构示意图。

图12是本申请实施例提供的使用系统高速缓存的视频解码系统的另一种架构示意图。

图13是本申请实施例提供的使用系统缓冲存储器的视频解码系统的架构示意图。

图14是本申请实施例提供的从Sys$或SysBuf读写数据时的功耗曲线示意图。

图15是本申请实施例提供的在视频解码装置中进行图像处理的方法的第三种流程示意图。

图16是本申请实施例提供的视频码流中一个图像群组中各图像帧中块之间参考关系的场景示意图。

图17是本申请实施例提供的在视频解码装置中进行图像处理的方法的第四种流程示意图。

图18是本申请实施例提供的精细分析视频码流中多个图像帧中块的参考关系的场景示意图。

图19是本申请实施例提供的视频解码装置解码的场景示意图。

图20是本申请实施例提供的图像处理装置的结构示意图。

图21是本申请实施例提供的图像处理装置的另一结构示意图。

图22是本申请实施例提供的电子设备的结构示意图。

图23是本申请实施例提供的电子设备的另一结构示意图。

图24是本申请实施例提供的图像处理系统的结构示意图。

图25是本申请实施例提供的图像处理系统的另一结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

请参阅图1，图1是本申请实施例提供的在视频解码装置中进行图像处理的方法的第一种流程示意图。该在视频解码装置中进行图像处理的方法可以应用于视频解码装置中。该在视频解码装置中进行图像处理的方法的流程可以包括：

101、获取视频码流。

随着技术的不断发展，视频解码装置的功能越来越强大。视频解码装置可以对视频图像进行解码。在对一帧视频图像进行解码时，通常会参考多帧已解码视频图像的数据。然而，相关技术中，在对需要参考的已解码视频图像的数据进行读取时，视频解码装置的功耗较大。

请参阅图2，图2为相关技术中视频解码系统的结构示意图。该视频解码系统中，中央处理器(Central Processing Unit/Processor,CPU)、视频解码装置和显示处理器(Display Processing Unit,DISP)通过总线和动态随机存取内存控制器(Dynamic RandomAccess Memory Controller,DRAMC)从DRAM读写数据，中央处理器、视频解码装置和显示处理器分时共用带宽，中央处理器和显示像处理器的优先级高于视频编码器的优先级。需要说明的是，可以根据具体需求，在视频解码系统中可以设置显示处理器，也可以不用设置显示处理器。视频解码装置在进行解码时需要进行运动补偿(Motion Compensation，MC)，会占用较大的带宽。

视频解码装置非常重视成本的高低，在帧缓冲时，为了达到最低成本与最高生产良率，通常都是以DRAM作为主要的存放空间。请参阅图3，图3是相关技术中视频解码装置中数据存储的示意图。其中，比特流(Bitstreams)、需要缓冲的图像帧(Image frame)以及临时数据(Temporary data)都存储在视频解码装置中的DRAM中。然而，DRAM提供的带宽较小。其中，临时数据可以是时域运动矢量(Temporal Motion Vector,TMV)以及其它数据。

虽然视频解码装置针对各种视频比特流(video bitstream)可以采用视频解码装置的内部高速缓存(internal cache)策略，比如视频比特流可以是动态影像专家小组组织的第1个影片和音讯有损压缩标准(Moving Picture Experts Group Phase 1,MPEG-1)、动态影像专家小组组织的第2个影片和音讯有损压缩标准(Moving Picture Experts Group2,MPEG-2)、动态影像专家小组组织的第4个影片和音讯有损压缩标准(Moving PictureExperts Group 4,MPEG-4)、必要影像编码(Essential Video Coding,MPEG-5/EVC)、国际电信联盟电信标准化部门(ITU Telecommunication Standardization Sector,ITU-T)制定的视频会议用的低码率视频编码标准H.263、进阶视讯编码(Advanced Video Coding,H.264/AVC)、高效率视讯编码(High Efficiency Video Coding,H.265/HEVC)、多功能影像编码(Versatile Video Coding,H.266/VVC)、影像预测8代标准(Video Predictor 8,VP8)、影像预测9代标准(Video Predictor 9,VP9)、开放媒体联盟影像编码1代标准(Alliance for Open Media Video 1,AV1)等标准的视频比特流。

但随着新型视频标准的出现，如H.265/HEVC、H.266/VVC、AV1、MPEG-5等标准等，其针对越来越大的画面尺寸且越来越高帧率。基于此，通常使用增加DRAM的带宽或提高DRAM频率的方式以达到加速吞吐数据量。

请参阅图4，图4是相关技术中通过增加DRAM的通道数量进行数据存取的示意图。通过增加DRAM的通道数量，可以增大带宽，提高频率，以增加DRAM吞吐数据的速度，但会造成较大的功耗。

如，为了满足视频解码装置达到预期的解码速度的需求，系统DRAM的带宽消耗较大的能量。但不论视频解码装置是执行即时操作还是非即时操作，维持最高效率是非常重要的。相关技术中的方法，当视频解码装置在预期时间完成解码的情况下，会造成DRAM极大的功耗。

请参阅图5，图5是相关技术中在进行视频解码时从多通道DRAM读写数据时的功耗曲线示意图。图5中，横坐标是参考图像帧的位置，比如，参考图像帧的顶端位置、中间位置、底端位置等，纵坐标是视频解码时读写数据的功耗。在进行视频解码时，有数据需要进出DRAM，在视频解码装置过度依赖DRAM或其它便宜但耗电的存储以及高带宽的情况下，因视频解码系统提供的功耗上限是有限的，会使视频解码装置无法满足解码速度要求，或者会使视频解码系统过热。如果考虑功耗上限，则从DRAM读写数据的速度受限，不能达到未考虑功耗上限时的读写速度。

本申请实施例中，获取视频码流，视频码流中可以包括一个或多个图像群组(Group of pictures,GOP)，一个图像群组中包括多个图像帧。本申请实施例中以视频码流中包括一个图像群组作为示例进行说明。所获取的视频码流是编码后的视频码流，该视频码流中的图像帧有可能还未解码，还有可能一部分图像帧已经解码，另外一部分图像帧等待解码等。需要说明的是，已经解码的图像帧可以作为后续其他图像帧解码时的参考图像帧。

102、从视频码流中确定一个或多个参考位置。

比如，本申请实施例中，在对待解码图像帧进行解码时，通常需要与参考位置进行比对，在一种实施方式中，该参考位置可以包括图像帧、参考条带(slice)或参考区域。如，将待解码图像帧与参考图像帧、参考条带或参考区域进行比对，即待解码图像帧需要参考已经解码的图像帧、条带或区域。其中，待解码图像帧为需要解码的图像帧。需要说明的是，一个条带包含一个图像帧的部分数据或全部数据，换言之，一个图像帧可以编码为一个或多个条带。一个条带最少包含一个块，最多包含整个图像帧的数据。

在不同的编码实现中，同一个图像帧中的图像所构成的条带数目不一定相同。比如，在H.264中设计条带的目的主要在于防止误码的扩散。因为不同的条带之间，其解码操作是独立的。某一个条带的解码过程所参考的数据不能越过该条带的边界。

本申请实施例中，可以通过视频解码装置的软件或硬件对视频码流进行分析，可以从视频码流中粗略确定一个或多个参考位置，如从视频码流中确定一个或多个参考图像帧、参考条带或参考区域，即从视频码流中确定一个或多个参考图像帧，或者，从视频码流中确定一个或多个参考条带，或者，从视频码流中确定一个或多个参考区域，确定出的一个或多个参考图像帧、参考条带或参考区域形成参考队列，以便于对待解码图像帧解码时参考这些参考图像帧、参考条带或参考区域。

比如，在一个实施方式中，参考区域可以是图像帧中的区域，该区域需要被待解码图像参考。再比如，在另一个实施方式中，参考区域可以是条带中的区域，该区域需要被待解码图像参考，等等。

103、确定一个或多个参考位置的参考次数。

比如，当确定出一个或多个参考位置后，可以确定出该一个或多个参考位置的参考次数。

比如，以参考图像帧为例，请参阅图6，图6是本申请实施例提供的视频码流中一个图像群组中各图像帧之间参考关系的场景示意图。图6是以一个图像群组中包括9个图像帧为例进行说明的。在其他实施方式中，图像群组中所包括的图像帧的数量是可以根据具体需求进行调整的。在一个图像群组中，图像帧的显示顺序可能与解码顺序相同，也可能不同。如图6中显示的图像群组中的图像帧的显示顺序与解码顺序是不同的。

从图6中的箭头方向，可以看出每个图像帧被图像群组中其他图像帧参考的次数，即可以根据箭头方向确定每个图像帧被箭头所指向的图像帧参考的次数，当某个图像帧被图像群组中其它图像帧参考一次或多次时，则该图像帧可以作为参考图像帧。比如，图6中的I帧的参考次数为四次，显示顺序为1的B帧的参考次数为两次，显示顺序为3的B帧的参考次数为一次，显示顺序为4的P帧的参考次数为五次，显示顺序为6的B帧的参考次数为两次，等等。图6中仅仅是通过视频解码装置的相关硬件或软件粗略的帧级分析，通过该粗略的分析方式不能分析出参考帧图像中具体每个块的参考关系。

104、根据预设功耗阈值以及一个或多个参考位置的参考次数，从一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在预设存储器中，向预设存储器中存储参考位置以及从预设存储器中读取参考位置所产生的功耗小于或等于预设功耗阈值。

比如，从图6中可以得知显示顺序为0的I帧、显示顺序为2的B帧、显示顺序为4的P帧、显示顺序为6的B帧、显示顺序为8的B帧被图像群组中其它图像帧参考的次数均为多次。

然而，在进行视频解码时，需要参考的部分将会进出DRAM多次，即需要参考的部分将会从DRAM读取多次，如果一份数据预期被读取多次，消耗的能量在重复被读取时达到百倍之多。现今的视频标准为了提高压缩率，常见的使用多参考图像帧的方法进行编码，这种行为代表有部分数据通常因为在时域上关联性很高而不停的重复被使用。另外随着高帧率的视频码流越来越多，时域上的重复性提高，可以重复使用同一个参考图像帧的编码效果，而且大部分视频编码器都会产生这样的视频码流。如果将解码时重复读取的部分存储在低功耗的存储媒介中，将会大大降低视频播放时的能量消耗。

比如，本申请实施例中，可以从一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，如将参考次数为多次的参考图像帧、参考条带或参考区域存储在预设存储器中，便于待解码对象(如待解码图像帧、待解码条带或待解码区域)后续解码时读取参考图像帧、参考条带或参考区域的图像数据。另外，向预设存储器中存储参考位置以及从预设存储器中读取参考位置所产生的功耗小于或等于预设功耗阈值，通过采用功耗小的预设存储器读写数据，可以降低视频解码装置的功耗。

105、根据参考位置对待解码对象进行解码。

比如，存储在预设存储器中的参考图像帧、参考条带或参考区域被待解码对象参考的次数可以为多次，因此在进行解码时，存储在预设存储器中的参考图像帧、参考条带或参考区域将会被读取多次。当从预设存储器中读取参考图像帧、参考条带或参考区域的图像数据后，待解码对象就可以参考参考图像帧、参考条带或参考区域的图像数据，即可以根据读取的参考图像帧、参考条带或参考区域的图像数据，对待解码对象进行解码。

比如，在一种实施方式中，待解码对象可以包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块。则可以根据读取的参考图像帧的图像数据对待解码图像帧中的待解码块进行解码，可以根据读取的参考条带的图像数据对待解码条带中的待解码块解码，或者，可以根据读取的参考区域的图像数据对待解码区域中的待解码块进行解码。

可以理解的是，在本申请实施例中，视频解码装置可以获取视频码流，从视频码流中确定一个或多个参考位置。然后，确定一个或多个参考位置的参考次数，根据预设功耗阈值以及一个或多个参考位置的参考次数，从一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在预设存储器中，向预设存储器中存储参考位置以及从预设存储器中读取参考位置所产生的功耗小于或等于预设功耗阈值。之后，根据参考位置对待解码对象进行解码。即，本申请实施例中，通过将确定出的需要存储在预设存储器中的参考位置的图像数据存放在功耗较小的预设存储器中，以达到降低视频解码装置功耗的目的。因此，本申请实施例可以降低视频解码装置的功耗。

请参阅图7，图7为本申请实施例提供的在视频解码装置中进行图像处理的方法的第二种流程示意图。该在视频解码装置中进行图像处理的方法可以应用于视频解码装置中。该在视频解码装置中进行图像处理的方法的流程可以包括：

201、获取视频码流。

步骤201的具体实施可参见步骤101的实施例，在此不再赘述。

202、根据视频码流中图像帧的帧头信息或图像帧中一个或多个条带的条带头(Slice header)信息，从视频码流中确定一个或多个参考图像帧、参考条带或参考区域。

比如，可以根据视频码流中各图像帧的帧头信息或图像帧中条带的条带头信息，确定出各图像帧的参考关系。其中，每个图像帧的数据可以看成是一个网络抽象层(Network Abstraction Layer，NAL)单元，帧头信息用于分辨一个图像帧的开始，帧头信息也可以认为是NAL单元头信息，通过帧头信息可以确定出是哪一个图像帧，即可以确定出参考图像帧。条带头用于保存条带的总体信息，如当前条带的类型等，通过条带头信息可以确定出是哪一个条带，因此可以确定出参考条带。参考区域可以是图像帧中的区域，也可以是条带中的区域。

203、通过预设参数确定一个或多个参考图像帧、参考条带或参考区域的参考次数，预设参数包括以下中的任一项或多项：网络抽象层解析参数、条带头解析参数、参考图像列表修正参数和参考图像帧标记参数。

比如，在一种实施方式中，参考位置可以包括参考图像帧、参考条带或参考区域，在从视频码流中确定一个或多个参考图像帧、参考条带或参考区域后，需要进一步确定出每个参考图像帧、参考条带或参考区域被待解码对象参考的次数，以便于获取每个参考帧、参考条带或参考区域的读取次数。

需要说明的是，在确定每个参考图像帧、参考条带或参考区域的参考次数时，可以通过预设参数确定出一个或多个参考图像帧、参考条带或参考区域的参考次数，该预设参数可以包括以下中的任一项或多项：网络抽象层解析参数、条带头解析参数、参考图像列表修正参数和参考图像帧标记参数等。例如，网络抽象层解析参数可以是nal_unit()函数，条带头解析参数可以是slice_header()函数，参考图像列表修正参数可以是ref_pic_list_modification()函数，参考图像帧标记参数可以是ref_pic_list_modification()函数。

例如，以H.264为例，在进行粗略的帧级分析时，在解析完多个图像帧包含到的NAL单元头信息或条带头信息时，就可以分辨出哪几张参考图像帧会被多次参考到，如可以利用nal_unit()函数中的nal_ref_idc变量，slice_header()函数中的num_ref_idx_active_override_flag变量，ref_pic_list_modification()函数，dec_ref_pic_marking()函数等信息事先判断出。

比如，nal_unit()函数是从H.264的图像帧中分析出以00 00 00 01和00 00 01开头的NAL单元，然后直接填充出该NAL单元的长度。nal_ref_idc变量代表的是参考级别，代表被其它图像帧的参考情况，参考级别越高，表示该参考图像帧的越重要。

num_ref_idx_active_override_flag变量代表的是当前图像帧的实际可用参考图像帧的数量是否需要重载。在图像参数集中已经出现的句法元素num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1指定当前参考图像帧队列中实际可用的参考帧的数目。在条带头可以重载这对句法元素，以给某特定图像帧更大的灵活度。通过num_ref_idx_active_override_flag变量，可以知道条带的位置。

ref_pic_list_modification()函数为参考图像列表修正函数，可以保存在条带头的结构中，ref_pic_list_modification()函数的定义如下：ref_pic_list_modification_flag_l0为1时，对参考图像列表RefPicList0进行修改，ref_pic_list_modification_flag_l1为1时，对参考图像列表RefPicList1进行修改。dec_ref_pic_marking()函数为解码的参考图像帧标识，而标记(marking)操作用于将参考图像帧移入或移出参考图像帧队列、指定参考图像的符号。

204、若参考次数为多次，则根据预设功耗阈值将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在系统高速缓存中，并将其存储在动态随机存取内存中。

比如，预设存储器可以包括第一存储器和第二存储器，第一存储器的功耗大于第二存储器的功耗，需要说明的是，第一存储器可以包括设置在视频解码装置外部的动态随机存取内存，第二存储器可以包括设置在视频解码装置外部的系统高速缓存，当确定一个或多个参考图像帧、参考条带或参考区域被待解码对象参考的次数后，若参考次数为多次，则可以将该参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在系统高速缓存中，并且存储在动态随机存取内存中，以等待视频解码装置解码时进行读取。

需要说明的是，根据预设功耗阈值的大小，可以调整存储在系统高速缓存中的参考次数为多次的一个或多个参考图像帧、参考条带或参考区域的数据量的大小。

可以理解的是，在将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在系统高速缓存中，并且存储在动态随机存取内存中时，可以先将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在系统高速缓存中，然后再将其存储在动态随机存取内存中，或者，可以将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域同时存储在动态随机存取内存和系统高速缓存中，或者，可以先将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在动态随机存取内存中，然后再将其存储在系统高速缓存中。

需要说明的是，参考图像帧、参考条带或参考区域的参考次数可以是被同一个待解码图像帧、待解码条带或待解码区域参考的次数，也可以是被一个图像群组中其它几个待解码图像帧、待解码条带或待解码区域参考的次数。在将参考次数为多次的参考图像帧、参考条带或参考区域存储在系统高速缓存，并且存储在第一存储器中时，可以是以帧为单位、以条带为单位或以区域为单位进行存储。

需要说明的是，本申请实施例中，动态随机存取内存的功耗大于系统高速缓存的功耗，且向动态随机存取内存和系统高速缓存存储以及从动态随机存取内存和系统高速缓存中读取参考图像帧、参考条带或参考区域时所产生的功耗小于预设功耗阈值，这样可以降低读写数据时的功耗。其中，预设功耗阈值可以认为是参考图像帧、参考条带或参考区域全部由动态随机存取内存进行存储和读取时所产生的功耗。

205、若参考次数为多次，则根据预设功耗阈值将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在系统缓冲存储器中。

比如，第一存储器可以包括设置在视频解码装置外部的动态随机存取内存，第二存储器可以包括设置在视频解码装置外部的系统缓冲存储器，当确定一个或多个参考图像帧、参考条带或参考区域被待解码对象参考的次数后，若参考次数为多次，则可以将该参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在系统缓冲存储器中，以等待视频解码装置解码时进行读取。

需要说明的是，根据预设功耗阈值的大小，可以调整存储在系统缓冲存储器中的参考次数为多次的一个或多个参考图像帧、参考条带或参考区域的数据量的大小。

需要说明的是，参考图像帧、参考条带或参考区域的参考次数可以是被同一个待解码图像帧、待解码条带或待解码区域参考的次数，也可以是被一个图像群组中其它几个待解码图像帧、待解码条带或待解码区域参考的次数。在将参考次数为多次的参考图像帧、参考条带或参考区域存储在系统缓冲存储器时，可以是以帧为单位、以条带为单位或以区域为单位进行存储。

需要说明的是，本申请实施例中，动态随机存取内存的功耗大于系统缓冲存储器的功耗，且向动态随机存取内存和系统缓冲存储器存储以及从动态随机存取内存和系统缓冲存储器中读取参考图像帧、参考条带或参考区域时所产生的功耗小于预设功耗阈值，这样可以降低读写数据时的功耗。其中，预设功耗阈值可以认为是参考图像帧、参考条带或参考区域全部由动态随机存取内存进行存储和读取时所产生的功耗。

206、若参考次数为一次，则根据预设功耗阈值将参考次数为一次的一个或多个参考图像帧、参考条带或参考区域存储在动态随机存取内存中。

比如，第一存储器可以包括设置在视频解码装置外部的动态随机存取内存，当确定一个或多个参考图像帧、参考条带或参考区域被待解码对象参考的次数后，若参考次数为一次，则可以将该参考次数为一次的一个或多个参考图像帧、参考条带或参考区域存储在动态随机存取内存中，以等待视频解码装置解码时进行读取。

需要说明的是，参考图像帧、参考条带或参考区域的参考次数可以是被同一个待解码图像帧、待解码条带或待解码区域参考的次数，也可以是被一个图像群组中其它几个待解码图像帧、待解码条带或待解码区域参考的次数。在将参考次数为一次的参考图像帧、参考条带或参考区域存储在动态随机存取内存中时，可以是以帧为单位、以条带为单位或以区域为单位进行存储。

需要说明的是，本申请实施例中，参考次数为一次的一个或多个参考图像帧、参考条带或参考区域在被待解码对象参考时会被读取一次(例如，参考次数为一次的一个或多个参考图像帧在被待解码图像帧参考时会被读取一次，再如，参考次数为一次的一个或多个参考条带在被待解码条带参考时会被读取一次，又如，参考次数为一次的一个或多个参考区域在被待解码区域参考时会被读取一次)。

本申请实施例中，向动态随机存取内存存储以及从动态随机存取内存读取参考图像帧、参考条带或参考区域时所产生的功耗小于预设功耗阈值，这样可以降低读写数据时的功耗。其中，该预设功耗阈值可以认为是参考图像帧、参考条带或参考区域全部由动态随机存取内存进行存储和读取时所产生的功耗。

比如，在一种实施方式中，第一存储器可以包括设置在视频编码器外部的动态随机存取内存，即第一存储器可以包括设置在视频解码装置外部的DRAM，第二存储器可以包括设置在视频解码装置外部的系统高速缓存或系统缓冲存储器，即第二存储器可以包括设置在视频解码装置外部的Sys$或SysBuf。当然，第二存储器还可以是其它低功耗存储器等。

本申请实施例中，Sys$或SysBuf由多个SRAM组成，第一存储器可以为DRAM，DRAM的功耗大于视频解码装置外部的Sys$或SysBuf的功耗，且向Sys$和DRAM存储以及从Sys$和DRAM读取参考图像帧、参考条带或参考区域的功耗小于预设功耗阈值，或者，向SysBuf和DRAM存储以及从SysBuf和DRAM读取参考图像帧、参考条带或参考区域的功耗小于预设功耗阈值。这样可以降低读写数据时的功耗，该预设功耗阈值可以认为是将参考图像帧、参考条带或参考区域全部由DRAM进行存储和读取时所产生的功耗。

请参阅图8，图8是本申请实施例提供的静态随机存取存储器与动态随机存取内存在读取数据时所消耗的能量的对比示意图。读取SRAM中的数据与读取DRAM中的数据的所消耗的能量相差约为100倍，即读取SRAM中数据的功耗远远小于读取DRAM中数据的功耗。通过将参考次数为多次的参考图像帧、参考条带或参考区域存储在Sys$和DRAM，或者仅存储在SysBuf，当读取Sys$或SysBuf中的参考图像帧、参考条带或参考区域的图像数据时，可以降低读取数据时的功耗。由上可知，通过将被待解码对象参考多次的参考图像帧、参考条带或参考区域存储在Sys$和DRAM中，或者仅存储在SysBuf中，可以大大降低整体视频播放所需要的能量消耗。

在进行解码时，视频码流解析进出高能耗存储(如DRAM)的数据量有限，因此该解析步骤不成为能耗瓶颈，不论是NAL单元解析与条带头解析，或是熵解码(Entropydecoding)，由视频码流解译出运动矢量或其他符号。在解码过程中，最需要高数据进出量的部分是运动补偿步骤需要的数据，视频解码装置的运动补偿步骤会需要DRAM提供较大的带宽。但由于经过视频码流事先分析，多次被参考的参考图像帧或参考图像帧中多次被使用到的部分能预先存在低能耗存储中(如由SRAM组成的Sys$或SysBuf)，进而保证视频解码时读取数据的功耗控制在预期的数值附近，且能让视频解码装置的硬件或软件尽快完成解码工作。

比如，请参阅图9，图9是本申请实施例提供的将多次被参考的图像数据存储在系统高速缓存或系统缓冲存储器的场景示意图。图9中，将多次被待解码对象参考的图像数据存储在Sys$及DRAM中，或者将多次被待解码对象参考的图像数据仅存储在SysBuf中，可以大大降低整体视频播放所需要的能量消耗。

再比如，如图6所示，视频解码装置的相关硬件或软件进行粗略的帧级分析或预估后，可以确定出某些参考图像帧将会被使用多次，即可以确定出某些参考图像帧被待解码图像帧参考多次。可以将参考次数为多次的参考图像帧存于省电的Sys$，并存储在DRAM中，或者，将参考次数为多次的参考图像帧仅存于省电的SysBuf中，使视频解码装置尽量维持预期的低功耗状态，提升视频解码系统的使用时间且防止系统过热。

比如，在一种实施方式中，通过将视频码流中整张参考图像帧或是参考图像帧中被待解码对象参考多次的图像数据存储在低功耗存储空间，例如，存储在Sys$和DRAM中，或者仅存储在SysBuf等，这样可以有效维持视频解码装置运算时整个视频解码系统的功耗情况，进而改进使用者体验。其预测可由视频解码装置的硬件或软件真实分析视频码流，也可以是因为应用场景或图像群组结构(Group of pictures structure)等已知因素推算哪些图像数据适合写进类似Sys$或SysBuf等低功耗存储器中。

比如，假设只做到粗略判断参考图像帧的情况下，则通常会将这些参考图像帧的参考次数作为优先级，参考次数越多，则存储在Sys$或SysBuf的优先级越高。例如，将参考次数最多的参考图像帧最先存储在Sys$或SysBuf中，以此类推，按照参考次数从高到低的顺序将参考次数为多次的参考图像帧依次存储在Sys$或SysBuf中，让解码过程中可以最大程度的降低功耗与能耗到预期目标。但由于此判断方法相当粗略，无法100％做到靠近或低于预期的功耗节省目标。

请参阅图10，图10是本申请实施例提供的粗略分析视频码流中多个图像帧的参考关系的场景示意图。图10中以H.264视频码流作为示例，对H.264视频码流进行粗略分析，通过对NAL单元的头信息或条带头信息的分析，可以分析出某些图像帧被其它图像帧参考的次数多于其它图像帧被参考的次数。比如，对于图10中的7个图像帧对应的码流，粗略分析这7个图像帧对应的码流，就可以知道参考图像列表，可以计算出省去多少DRAM的数据进出量。然后，选择最大概率能满足的某几个图像帧存储在Sys$或SysBuf中。

比如，通过将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在Sys$中，并且存储在DRAM中，以便于视频解码装置在解码时，可以分别从DRAM和Sys$中进行读取。

需要说明的是，若参考次数为一次，则可以将参考次数为一次的一个或多个参考图像帧、参考条带或参考区域存储在DRAM中，以便视频解码装置解码时进行读取。

比如，图10中，图像帧0的参考次数为一次，图像帧1的参考次数为三次，图像帧2的参考次数为三次，图像帧3的参考次数为一次，参考列表中包含图像帧0、图像帧1、图像帧2和图像帧3，由于图像帧1和图像帧2的参考次数为三次，因此将图像帧1和图像帧2存储在Sys$中，并且也会存储在DRAM中，或者仅将图像帧1和图像帧2存储在SysBuf中。将图像帧0和图像帧3存储在DRAM中。

比如，在一种实施方式中，DRAM、系统总线、Sys$和SysBuf的存取功耗模型经过一些简单的量测或实验就能取得，在此不再赘述。假设已经有了数据流动进出DRAM、系统总线、Sys$和SysBuf相关的功耗模型，则可以推算出降低多少功耗或能耗对应降低多少DRAM的数据存取量。根据图像帧或条带的码流头部信息可以判断出将哪一些图像帧或条带需要写入Sys$或SysBuf，可以达到解码时的预期功耗降低值。该粗略分析的方法可以达到预期功耗降低量，而达不到最佳的功耗降低量。

比如，若把参考次数为多次的参考图像帧、参考条带或参考区域事先存放在视频解码装置外部的Sys$和DRAM中，或者事先存放在视频解码装置外部的SysBuf中，请一并参阅图11至图13，图11是本申请实施例提供的使用系统高速缓存的视频解码系统的一种架构示意图。图12是本申请实施例提供的使用系统高速缓存的视频解码系统的另一种架构示意图。图13是本申请实施例提供的使用系统缓冲存储器的视频解码系统的架构示意图。在Sys$或SysBuf中存储的是参考次数为多次的参考图像帧、参考条带或参考区域。

以图11为例，Sys$可以通过DramC从DRAM中读取数据，且Sys$通过DramC从DRAM读取的数据可以被中央处理器和视频解码装置读取。图11仅仅是使用系统高速缓存时的视频解码系统的一种架构而已，在使用系统高速缓存时，视频解码系统还可以采用其它架构，比如，视频解码系统中还包括显示处理器等。当视频解码装置需要进行解码时，可以直接读取Sys$中存储的参考次数为多次的参考图像帧、参考条带或参考区域的图像数据，另外，Sys$还通过DramC从DRAM中读取参考次数为一次的参考图像帧、参考条带或参考区域的图像数据，之后被视频解码装置读取。

由于在视频解码时可预测图像数据的存取行为，实现按照需求相应降低功耗量，智能选择测图像数据的存储方式，进而降低视频解码装置的功耗。可以根据解码时帧参考关系改变图像数据存储的位置，使得存入诸如Sys$等低功耗存储器的参考图像帧的重复读取次数适当增高，以适当降低功耗，保证视频解码装置中进出数据带来的功耗能一直维持预期状态。若诸如Sys$等低功耗存储器同时具有高速带宽，则可以更进一步降低DRAM的带宽。

需要说明的是，图12和图13中的视频解码系统也仅仅是其中一种架构，在具体应用中，可以根据实际需求进行相应变形，如增加显示处理器等等。

207、从预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的参考图像帧的图像数据对待解码图像帧中的待解码块进行解码，若读取的是参考条带的图像数据，则根据读取的参考条带的图像数据对待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的参考区域的图像数据对待解码区域中的待解码块进行解码。

比如，可以将图像帧、条带或区域可以划分为多个不互相重叠的块，这些块构成矩形阵列，其中每个块是N×N像素的块，比如，可以是4×4像素的块，32×32像素的块，128×128像素的块等等。

对待解码图像帧、待解码条带或待解码区域中的待解码块进行解码时，需要从预设存储器中读取所需要参考的参考图像帧、参考条带或参考区域的图像数据。例如，若待解码块在解码时需要参考多个参考图像帧、参考条带或参考区域的图像数据，则在读取该多个参考图像帧、参考条带或参考区域的图像数据时，可以从第一存储器(如DRAM)读取一次，从第二存储器(如Sys$)读取多次。

由于SRAM成本较高，DRAM成本较低，在考虑成本的情况下，SRAM一般不会做的太大，而DRAM可以做的比较大，因此，本申请实施例为了降低读取数据时的功耗，可以将原来从DRAM读取的次数，拆分成几次从SRAM读取，另外几次从DRAM读取，从整体上可以降低读取数据的功耗。需要说明的是，从SRAM读取的次数与从DRAM读取的次数是可以调整的，以适应对不同功耗的需求。

比如，在一种实施方式中，在读取所需要的参考次数为多次的参考图像帧、参考条带或参考区域的图像数据时，可以先从Sys$读取，当读取的次数大于或等于预设次数阈值时，则切换到从DRAM中读取未被读取的图像数据。当读取同样的图像数据时，DRAM消耗的能量大于SRAM消耗的能量的100倍。因此，通过将所需要的参考次数为多次的参考图像帧、参考条带或参考区域的图像数据的一部分从Sys$中读取，另一部分数据从DRAM中读取，可以降低读取数据的功耗。

比如，在一种实施方式中，在读取所需要的参考次数为多次的参考图像帧、参考条带或参考区域的图像数据时，直接从SysBuf读取。当读取同样的图像数据时，DRAM消耗的能量大于SRAM消耗的能量的100倍。因此，通过将所需要的参考次数为多次的参考图像帧、参考条带或参考区域的图像数据从SysBuf中读取，可以降低读取数据的功耗。

需要说明的是，若读取的是参考图像帧的图像数据，则根据读取的参考图像帧的图像数据对待解码图像帧中的待解码块进行解码，若读取的是参考条带的图像数据，则根据读取的参考条带的图像数据对待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的参考区域的图像数据对待解码区域中的待解码块进行解码。

请参阅图14，图14是本申请实施例提供的从Sys$或SysBuf读写数据时的功耗曲线示意图。视频解码装置将大量的DRAM功耗改由Sys$或SysBuf的功耗来取代，可以大大降低功耗。

208、若待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将待解码块解码后的块存储在系统高速缓存中，并且存储在动态随机存取内存中。

比如，对待解码图像帧、待解码条带或待解码区域中的待解码块进行解码后，若待解码块解码后的块后续会被其它需要解码的待解码块(例如，其它待解码图像帧、待解码条带或待解码区域中的待解码块)参考多次，则将该待解码块解码后的块存储在系统高速缓存中，并且存储在动态随机存取内存中。

209、若待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将待解码块解码后的块存储在系统缓冲存储器中。

比如，对待解码图像帧、待解码条带或待解码区域中的待解码块进行解码后，若待解码块解码后的块后续会被其它需要解码的待解码块(例如，其它待解码图像帧、待解码条带或待解码区域中的待解码块)参考多次，则将该待解码块解码后的块存储在系统缓冲存储器中。

210、若待解码图像帧、待解码条带或待解码区域的参考次数为一次，则将待解码块解码后的块存储在动态随机存取内存中。

比如，对待解码图像帧、待解码条带或待解码区域中的待解码块进行解码后，若待解码块解码后的块后续会被其它需要解码的待解码块(例如，其它待解码图像帧、待解码条带或待解码区域中的待解码块)参考一次，则将该待解码块解码后的块存储在动态随机存取内存中。

若该待解码图像帧、待解码条带或待解码中还有其它待解码块需要解码，则对其它待解码块进行解码。若对待解码图像帧、待解码条带或待解码区域中的所有待解码块都已解码完毕，则对其它图像帧、条带或区域进行解码，直至完成对所有需要解码的图像帧、条带或区域的解码。

可以理解的是，本申请实施例基于视频解码时可预测数据存取行为(即重复读取的行为)，从而实现智能选择数据存储方式，以降低视频解码装置的功耗。可以根据解码时帧参考关系改变图像数据存储的位置，使得存入诸如Sys$等低功耗存储器的参考图像帧的重复读取次数适当增高，以适当降低功耗，保证视频解码装置中进出数据带来的功耗能一直维持预期状态。若诸如Sys$等低功耗存储器同时具有高速带宽，则可以更进一步降低DRAM的带宽。

本申请实施例可以保证视频解码装置的功耗可控，且能让视频解码装置的硬件或软件尽快完成解码工作，充分利用视频解码装置会有多次重复读取参考图像帧或参考条带的可预期行为来改变所读取数据的存储特性，因为存取数据省电，而使数据进出不会带来功耗瓶颈，而使视频解码装置可以维持其运行速度，同时又降低功耗。读取数据的速度不会受功耗的限制，因此视频解码装置不会过热。另外，Sys$或SysBuf中的SRAM在读写时本身的时延就低，这样可以提高处理帧率，降低反应时延。由于可以大幅降低功耗，则可以提高视频解码装置中电池的使用时间，提升用户体验。

请参阅图15，图15是本申请实施例提供的在视频解码装置中进行图像处理的方法的第三种流程示意图。该在视频解码装置中进行图像处理的方法可以应用于视频解码装置中。该在视频解码装置中进行图像处理的方法的流程可以包括：

301、获取视频码流。

步骤301的具体实施可参见步骤101的实施例，在此不再赘述。

302、根据视频码流获取一个或多个参考运动矢量。

比如，对视频码流进行解析，从该视频码流中可以获取一个或多个参考运动矢量，每个参考运动矢量均会对应一个参考块，在对待解码块进行解码时，需要对参考块进行参考。可以将参考块与待编码块的相对位移作为参考运动矢量。通过参考运动矢量获取对应的参考块，可以做到精细化分析。每个参考块被一个群像群组中其它待解码块参考的次数可能是一次，也可能是多次。比如当参考块只被一个待解码块参考时，该参考块的参考次数为一次，当参考块被多个待解码块参考时，该参考块的参考次数为多次。

303、根据一个或多个参考运动矢量从当前视频码流的一个或多个图像帧中获取对应的一个或多个参考块。

比如，当根据视频码流获取一个或多个参考运动矢量后，由于每个参考运动矢量均会对应一个参考块，因此可以根据该一个或多个参考运动矢量可以从视频码流的一个或多个图像帧中获取对应的一个或多个参考块。

304、确定一个或多个参考块的参考次数。

比如，在根据一个或多个参考运动矢量从视频码流的一个或多个图像帧中获取对应的一个或多个参考块后，可以确定该一个或多个参考块的参考次数，即，确定该一个或多个参考块被待解码块或待解码块的子块参考的次数。

比如，请参阅图16，图16是本申请实施例提供的视频码流中一个图像群组中各图像帧中块之间参考关系的场景示意图。图16是以一个图像群组中包括9个图像帧为例进行说明的。在其他实施方式中，图像群组中所包括的图像帧的数量是可以根据具体需求进行调整的。在一个图像群组中，图像帧的显示顺序可能与解码顺序相同，也可能不同。如图16中显示的图像群组中的图像帧的显示顺序与解码顺序是不同的。

从图16中的箭头方向，可以看出每个块被群像群组中其它块参考的次数，即可以根据箭头方向确定每个块被箭头指向的其它块参考的次数，当某个块被其它块参考一次或多次时，则该块可以作为参考块。比如，图16中的I帧中参考块的参考次数为四次，显示顺序为2的B帧中参考块的参考次数为两次，显示顺序为3的B帧中的参考块的参考次数为一次，显示顺序为4的P帧中参考块的参考次数为五次，显示顺序为6的B帧中参考块的参考次数为两次，等等。

305、根据预设功耗阈值以及一个或多个参考块的参考次数，从一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在预设存储器中，向预设存储器中存储参考块以及从预设存储器中读取参考块所产生的功耗小于或等于预设功耗阈值。

比如，本申请实施例中，可以从一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，例如，确定出的需要存储在预设存储器中的参考块可以是参考次数为多次的参考块，即将被待解码块或待解码块的子块参考多次的参考块确定为存储在预设存储器中，便于后续待解码块或待解码块的子块解码时读取参考块的图像数据。需要说明的是，向该预设存储器中存储参考块以及从预设存储器中读取参考块所产生的功耗小于或等于预设功耗阈值，通过采用功耗小的预设存储器读写数据，可以降低视频解码装置的功耗。

306、根据参考块对待解码块或待解码块的子块进行解码。

比如，存储在预设存储器中的参考块被待解码块或待解码块的子块参考的次数可以为多次，因此在进行解码时，存储在预设存储器中的参考块将会被读取多次。当从预设存储器中读取参考块的图像数据后，待解码块或待解码块的子块就可以参考参考块的图像数据，即可以根据读取的参考块的图像数据，对待解码块或待解码块的子块进行解码。

可以理解的是，在本申请实施例中，视频解码装置可以获取视频码流，根据视频码流获取一个或多个参考运动矢量。然后，根据一个或多个参考运动矢量从视频码流的一个或多个图像帧中获取对应的一个或多个参考块；确定一个或多个参考块的参考次数；根据预设功耗阈值以及一个或多个参考块的参考次数，从一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在预设存储器中，向预设存储器中存储参考块以及从预设存储器中读取参考块所的功耗小于或等于预设功耗阈值。之后，根据参考块对待解码块或待解码块的子块进行解码。即，本申请实施例中，通过将确定出的需要存储在预设存储器中的参考图像帧或参考条带的图像数据存放在功耗较小的预设存储器中，以达到降低视频解码装置功耗的目的。因此，本申请实施例可以降低视频解码装置的功耗。

请参阅图17，图17是本申请实施例提供的在视频解码装置中进行图像处理的方法的第四种流程示意图。该在视频解码装置中进行图像处理的方法可以应用于视频解码装置中。该在视频解码装置中进行图像处理的方法的流程可以包括：

401、获取视频码流。

步骤401的具体实施可参见步骤101的实施例，在此不再赘述。

402、对视频码流进行熵解码，得到一个或多个运动矢量差值(Motion VectorDifference，MVD)。

比如，在获取到视频码流后，可以对视频码流进行熵解码，比如对图像帧的帧头信息、NAL单元的头部信息或条带头进行解码，经过熵解码后，可以得到一个或多个运动矢量差值，同时还可以得到量化后的残差。其中，残差指的是待编码块与编码代价最小的一个或多个块的差值。

比如，在一种实施方式中，402中的对所述视频码流进行熵解码，得到一个或多个运动矢量差值，可以包括：

对所述视频码流进行熵解码，得到一个或多个运动矢量差值以及量化后的第一残差。

比如，通过对视频码流进行熵解码，可以得到一个或多个运动矢量差值，同时还会得到量化后的第一残差。该量化后的第一残差指的是在进行编码时对残差进行正向变换和量化后得到的第一残差，其中，残差可以是待编码块的二维像素减去搜索出的块对应位置的二维像素后得到的差值。

403、根据一个或多个运动矢量差值和对应的运动矢量预测值，获取一个或多个参考运动矢量。

比如，在对视频码流进行熵解码，得到一个或多个运动矢量差值后，可以根据该一个或多个运动矢量差值以及对应的运动矢量预测值，获取到一个或多个参考运动矢量，如将运动矢量差值与运动矢量预测值相加后的和作为参考运动矢量。

404、根据一个或多个参考运动矢量从视频码流的一个或多个图像帧中获取对应的一个或多个参考块。

比如，每个参考运动矢量会对应一个参考块，因此根据一个或多个参考运动矢量可以从视频码流的一个或多个图像帧中确定出对应的一个或多个参考块，从而可以获取到对应的参考块，其中，该参考块为已经解码后的块。

405、确定一个或多个参考块的参考次数。

比如，在获取到图像帧中的参考块后，可以确定一个或多个参考块的参考次数，该参考次数是指参考块被待解码块或待解码块中的子块参考的次数。

比如，图16中通过视频解码装置的相关硬件或软件进行精细块级的分析或预估后，可以判定某些图像帧的某些区域将会被其它图像帧的某些区域在解码时参考多次，或者某些图像帧的某些块将会被其它图像帧的某些块在解码时参考多次，适合存储在省电的诸如Sys$等低功耗存储器以及DRAM中，或者直接存储在诸如SysBuf等低功耗存储器中，使视频解码时数据吞吐尽量维持在预期的低功耗值，提升视频解码系统使用时间且防止视频解码系统过热。

比如，若视频码流解析的更深入，先将解码过程中的熵解码得到的运动矢量差值取出来，还原出参考运动矢量，做到精细的参考运动矢量分析，能更深入地分析邻近几个图像帧中使用了哪些参考图像帧的哪些区域，也就能更精确的分辨出某些图像帧的区域被当成参考区域的次数，当成需要放到低能耗存储器中优先级排序的依据。例如，请参阅图18，图18是本申请实施例提供的精细分析视频码流中多个图像帧中块的参考关系的场景示意图。图18中以H.264视频码流作为示例，对H.264视频码流进行精细分析，通过对条带主体的分析，可以分析出某些块被其它块参考的次数多于其它块被参考的次数。比如，对于图18中的5个图像帧对应的码流，精细分析这5个图像帧对应的视频码流，每个图像帧的每个部分(如每个宏块，也可以称为块)都能通过参考运动矢量分析确定会被其它块参考多少次。

如图18中，图像帧0中的块0、块2、块C的参考次数均为一次，图像帧0中的块8的参考次数为两次，图像帧1中的块6的参考次数为两次，图像帧1中的块4的参考次数为三次，图像帧1中的块9的参考次数为四次，图像帧1中的块5、块A、块D的参考次数均为一次，图像帧2中的块7、块3、块B的参考次数均为一次。

406、若参考次数为多次，则根据预设功耗阈值将参考次数为多次的一个或多个参考块存储在系统高速缓存中，并且存储在动态随机存取内存中。

比如，预设存储器可以包括第一存储器和第二存储器，第一存储器的功耗大于第二存储器的功耗。第一存储器可以包括设置在视频解码装置外部的动态随机存取内存，第二存储器可以包括设置在视频解码装置外部的系统高速缓存。当确定出一个或多个参考块的参考次数后，即确定出一个或多个参考块被待解码块或待解码块中的子块参考的次数后，若参考次数为多次，则可以将参考次数为多次的一个或多个参考块存储在系统高速缓存中，并且存储在动态随机存取内存中。

比如，当预期知道降低多少功耗就能使视频解码系统运作时，就能推算出应该要降低多少动态随机存取内存的带宽。需要降低的动态随机存取内存的带宽在每个图像帧都能经过计算预先得到。通过预先计算出图像帧中的哪些区域(参考块)需要存储在Sys$，才能在后续做运动补偿时尽量满足或低于动态随机存取内存的数据进出量限制，该限制源自于需要降低多少功耗或能耗。

需要说明的是，本申请实施例中，动态随机存取内存的功耗大于系统高速缓存的功耗。在获取到参考次数为多次的一个或多个参考块后，即获取到被待解码块或待解码块中的子块参考多次的一个或多个参考块后，可以将其存储在系统高速缓存中，并且存储在动态随机存取内存中。

如图18所示，由于图像帧0中的块8的参考次数为两次，图像帧1中的块6的参考次数为两次，图像帧1中的块4的参考次数为三次，图像帧1中的块9的参考次数为四次，则将图像帧0中的块8、图像帧1中的块6、图像帧1中的块4和图像帧1中的块9存储在系统高速缓存中，并且存储在动态随机存取内存中。需要说明的是，向动态随机存取内存和系统高速缓存存储以及从动态随机存取内存和系统高速缓存读取参考次数为多次的一个或多个参考块所产生的功耗小于或等于预设功耗阈值，这样可以降低读取数据时的功耗。

407、若参考次数为多次，则根据预设功耗阈值将参考次数为多次的一个或多个参考块存储在系统缓冲存储器中。

比如，预设存储器可以包括第二存储器，第二存储器包括设置在视频解码装置外部的系统缓冲存储器。当确定出一个或多个参考块的参考次数后，即确定出一个或多个参考块被待解码块或待解码块中的子块参考的次数后，若参考次数为多次，则根据预设功耗阈值将参考次数为多次的一个或多个参考块存储在系统缓冲存储器中。

比如，当预期知道降低多少功耗就能使视频解码系统运作时，就能推算出应该要降低多少动态随机存取内存的带宽。需要降低的动态随机存取内存的带宽在每个图像帧都能经过计算预先得到。通过预先计算出图像帧中的哪些区域(参考块)需要存储在SysBuf，才能在后续做运动补偿时尽量满足或低于第一存储器的数据进出量限制，该限制源自于需要降低多少功耗或能耗。

408、若参考次数为一次，则根据预设功耗阈值将参考次数为一次的一个或多个参考块存储在动态随机存取内存中。

比如，预设存储器可以包括第一存储器，第一存储器可以包括设置在视频解码装置外部的动态随机存取内存。当确定出一个或多个参考块的参考次数后，即确定出一个或多个参考块被待解码块或待解码块中的子块参考的次数后，若参考次数为一次，则根据预设功耗阈值将参考次数为一次的一个或多个参考块存储在动态随机存取内存中，以便于视频解码装置解码时进行读取。通过将参考次数为多次的参考块存储在低功耗存储器中，并将参考次数为一次的参考块存储在动态随机存取内存中，可以从整体上降低读取数据时产生的功耗。

比如，第一存储器可以包括设置在视频解码装置外部的DRAM，第二存储器可以包括设置在视频解码装置外部的系统高速缓存或系统缓冲存储器，即第二存储器可以包括设置在视频解码装置外部的Sys$或SysBuf。当然，第二存储器还可以是其它低功耗存储器等。DRAM的能耗大于Sys$或SysBuf的能耗。假设已经有了数据流动进出DRAM、系统总线、Sys$和SysBuf相关的功耗模型，则可以推算出降低多少功耗或能耗对应降低多少DRAM的数据存取量。根据图像帧或条带的码流头部信息可以判断出哪一些块需要写入Sys$或SysBuf，可以达到解码时的预期功耗降低值。

通过码流细部信息解译出的参考运动矢量的信息来判断哪一些块适合被写入Sys$或SysBuf。通常是参考块被待解码块或待解码块中的子块参考的次数越多，则越适合写入到Sys$或SysBuf，可以用较小的Sys$或SysBuf占用量达到较多的解码功耗降低值。该精细分析的方法只求到达预期功耗/能耗降低量，不追求最佳的功耗/能耗降低量。只要计算出重建面积/区域存储到Sys$或SysBuf会有多少的数据进出减少量，就可以推算出节省多少功耗/能耗。

请参阅图8，读取SRAM与读取DRAM的能量差异约相差100倍，即读取SRAM的能量远远小于读取DRAM的能量。通过将参考次数为多次的参考块存储在Sys$及DRAM，或者将参考次数为多次的参考块存储在SysBuf(Sys$或SysBuf由多个SRAM构成)，当从Sys$以及DRAM，或者从SysBuf读取参考块的图像数据时，整体上可以降低读取数据时的功耗。

409、从预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对待解码块或待解码块中的子块进行解码。

比如，当对待解码块或待解码块中的子块进行解码时，需要参考参考块的图像数据，此时就要读取参考块的图像数据。其中，一个块中可以包括多个子块，多个子块排列成矩形阵列。例如，在读取参考块的图像数据时，若待解码块或待解码块中的子块需要参考的参考块的参考次数为一次时，则直接从第一存储器中读取参考块的图像数据，若待解码块或待解码块中的子块需要参考的参考块的参考次数为多次时，则可以从第一存储器中读取一次，其余几次从Sys$中读取，或者，若待解码块或待解码块中的子块需要参考的参考块的参考次数为多次时，则可以从SysBuf读取。

可以理解的是，比如，当第二存储器为Sys$时，从Sys$中读取的次数可以大于从DRAM中读取的次数，从Sys$中读取的次数可以小于从DRAM中读取的次数，或者从Sys$中读取的次数可以等于从DRAM中读取的次数，具体从DRAM和Sys$中分别读取几次，要根据具体场景进行相应设置，本申请实施例对此不做具体限制。因此，通过将参考块的图像数据的一部分从Sys$中读取，另一部分数据从DRAM中读取，可以降低读取数据的功耗。从图14中可以看出，视频解码装置将大量的DRAM功耗改由Sys$或SysBuf的功耗取代，大大降低功耗。

比如，在一种实施方式中，409中的根据读取的参考块的图像数据对待解码块或待解码块中的子块进行解码，可以包括：

对所述第一残差进行反量化与反变换，得到第二残差；

根据所述参考运动矢量和参考块，得到所述待解码块或所述待解码块中的子块的预测值；

根据所述第二残差以及所述待解码块或所述待解码块中的子块的预测值，获取所述待解码块解码后的块或所述待解码块中的子块解码后的子块。

比如，在一种实施方式中，409中的根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码，还可以包括：

根据所述待解码块解码后的块或所述待解码块中的子块解码后的子块获取视频流解码数据。

比如，请参阅图19，图19是本申请实施例提供的视频解码装置解码的场景示意图。该视频码流以H.264的视频码流为例进行说明，当对视频码流进行熵解码后，得到一个或多个运动矢量差值以及量化后的第一残差。根据根据运动矢量差值和对应的运动矢量预测值，可以获取参考运动矢量，这样就能更精细的知道被拿来做运动补偿的参考块。其中，熵解码可以采用一个独立的硬件设计来实现，也可以通过软件的方式来实现。对当前视频码流的解析以及图像缓冲可以通过驱动程序或开放多媒体加速层框架(Open MediaAcceleration，OpenMAX)以软件的方式来实现。对第一残差进行反量化与反变换后，可以得到第二残差。根据述参考运动矢量(参考块与待解码块或待解码块中的子块的相对位移)和参考块，可以得到待解码块或所述待解码块中的子块的预测值。需要说明的是，待解码块或待解码块中的子块的预测值可以通过帧内预测方式或运动补偿方式获取到。关于解码过程中的反量化与反变换、帧内/帧间模式选择、帧内预测、运动补偿和去块效应滤波等可以通过专用集成电路(Application Specific Integrated Circuit，ASIC)来实现。

在得到待解码块或待解码块中的子块的预测值后，将第二残差与待解码块或待解码块中的子块的预测值相加得到待解码块解码后的块或待解码块中的子块解码后的子块(实际值)，根据待解码块解码后的块或待解码块中的子块解码后的子块进行区块效应滤波器滤波后，可以得到平滑的视频流解码数据。

410、若待解码块或待解码块中的子块的参考次数为多次，则将待解码块解码后的块或待解码块中的子块解码后的子块存储在系统高速缓存中，并且存储在动态随机存取内存中。

比如，当待解码块或待解码块中的子块解码后，若待解码块解码后的块后续会被其它待解码块参考多次，或者，待解码块中的子块解码后的子块后续会被其它待解码块中的子块参考多次，则将待解码块解码后的块或待解码块中的子块解码后的子块存储在系统高速缓存中，并且存储在动态随机存取内存中，以作为其它待解码块或待解码块中的子块解码时的参考块。

411、若待解码块或待解码块中的子块的参考次数为多次，则将待解码块解码后的块或待解码块中的子块解码后的子块存储在系统缓冲存储器中。

比如，当待解码块或待解码块中的子块解码后，若待解码块解码后的块后续会被其它待解码块参考多次，或者，待解码块中的子块解码后的子块后续会被其它待解码块中的子块参考多次，则将待解码块解码后的块或待解码块中的子块解码后的子块存储在系统缓冲存储器中，以作为其它待解码块或待解码块中的子块解码时的参考块。

412、若待解码块或待解码块中的子块的参考次数为一次，则将待解码块解码后的块或待解码块中的子块解码后的子块存储在动态随机存取内存中。

比如，当待解码块或待解码块中的子块解码后，若待解码块解码后的块后续会被其它待解码块参考一次，或者，待解码块中的子块解码后的子块后续会被其它待解码块中的子块参考一次，则将待解码块解码后的块或待解码块中的子块解码后的子块存储在动态随机存取内存中，以作为其它待解码块或待解码块中的子块解码时的参考块。

若该待解码图像帧、待解码条带或待解码区域中还有其它待解码块或其它待解码块的子块需要解码，则对其它待解码块或其它待解码块的子块进行解码。若对待解码图像帧、待解码条带或待解码区域中的所有待解码块或待解码块的子块都已解码完毕，则对其它图像帧、条带或区域进行解码，直至完成对所有需要解码的图像帧、条带或区域的解码。

需要说明的是，图7中在视频解码装置中进行图像处理的方法的流程与图17中在视频解码装置中进行图像处理的方法的流程可以合并在一个系统中，彼此之间并不会相互干扰，也就是说在解码一个视频码流时可能中间切换为另一个流程。比较合理的切换点是在一个新的图像帧或条带开始解码时。

可以理解的是，本申请实施例基于视频解码时可预测数据存取行为(即重复读取的行为)，从而实现智能选择数据存储方式，以降低视频解码装置的功耗。可以根据解码时帧参考关系改变图像数据存储的位置，使得存入诸如Sys$或SysBuf等低功耗存储器的参考图像帧的重复读取次数适当增高，以适当降低功耗，保证视频解码装置中进出数据带来的功耗能一直维持预期状态。若诸如Sys$等低功耗存储器同时具有高速带宽，则可以更进一步降低DRAM的带宽。

本申请实施例可以保证视频解码装置的功耗可控，且能让视频解码装置的硬件或软件尽快完成解码工作，充分利用视频解码装置会有多次重复读取参考块的可预期行为来改变所读取数据的存储特性，因为存取数据省电，而使数据进出不会带来功耗瓶颈，而使视频解码装置可以维持其运行速度，同时又降低功耗。读取数据的速度不会受功耗的限制，因此视频解码装置不会过热。另外，Sys$或SysBuf中SRAM在读写时本身的时延就低，这样可以提高处理帧率，降低反应时延。由于可以大幅降低功耗，则可以提高视频解码装置中电池的使用时间，提升用户体验。

可以理解的是，本申请实施例可以根据播放装置长时间播放需求和可预测行为造成的较大功耗，可以选择数据读取的目标位置或属性。比如，将需要重复读取的数据从Sys$和DRAM进行读取，或者从SysBuf读取，而不是全部都是从DRAM读取，由于读取相同的数据，SRAM的功耗远远小于DRAM的功耗，因此本申请实施例可以大大降低读取数据时的功耗。

本申请实施例以视频解码为示例详细说明了如何降低读取数据的功耗。在其它实施方式中，还可以适用于所有需要高带宽但存取数据行为可预测的模块与应用，如视频编码装置，帧频提升(frame rate up conversion)装置等。这些模块与应用的行为通常是可以预测的，如重复读取的次数，通过这些可以预测的行为，可以预先分配相应的存储特性，即将重复读取的数据存放在低功耗的存储器中，例如根据全部帧或部分帧的图像数据的存取次数需求，来对应不同等级存储器的能量消耗，即根据全部图像帧或部分图像帧的图像数据的存取次数需求，来选择对应不同等级的能量消耗，当能量消耗不同时，可以合理分配从Sys$和DRAM读取数据的次数，或者合理分配从SysBuf读取数据的次数。

如，视频编码装置事先解析视频码流也可以确定存取数据的行为，帧频提升装置可以通过简单分析得知哪些区域在处理时会被用到多次，等等。还可以适用于固定的人工智能(Artificial Intelligence，AI)网络行为，AI网络行为重复读取的部分是特征图(feature map)部分，该AI网络行是可预期的。

请参阅图20，图20为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置500可以包括：获取模块501，第一确定模块502，第二确定模块503，第三确定模块504，解码模块505。

获取模块501，用于获取视频码流；

第一确定模块502，用于从所述视频码流中确定出一个或多个参考位置；

第二确定模块503，用于确定出所述一个或多个参考位置的参考次数；

第三确定模块504，用于根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

解码模块505，用于根据所述参考位置对待解码对象进行解码。

在一种实施方式中，所述参考位置包括参考图像帧、参考条带或参考区域，所述第一确定模块502可以用于：

根据所述视频码流中图像帧的帧头信息或所述图像帧中一个或多个条带的条带头信息，从所述视频码流中确定一个或多个参考图像帧、参考条带或参考区域。

在一种实施方式中，所述参考位置包括参考图像帧、参考条带或参考区域，所述第二确定模块503可以用于：

通过预设参数确定所述一个或多个参考图像帧、参考条带或参考区域的参考次数，所述预设参数包括以下中的任一项或多项：网络抽象层解析参数、条带头解析参数、参考图像列表修正参数和参考图像帧标记参数。

在一种实施方式中，所述预设存储器包括第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二存储器包括设置在视频解码装置外部的系统高速缓存，所述参考位置包括参考图像帧、参考条带或参考区域，所述第三确定模块504可以用于：

若参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述第二存储器包括设置在视频解码装置外部的系统缓冲存储器，所述参考位置包括参考图像帧、参考条带或参考区域，所述第三确定模块504可以用于：

若参考次数为多次，则根据所述预设功耗阈值将所述参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在所述系统缓冲存储器中。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述参考位置包括参考图像帧、参考条带或参考区域，所述第三确定模块504可以用于：

若参考次数为一次，则根据所述预设功耗阈值将所述参考次数为一次的一个或多个参考图像帧、参考条带或参考区域存储在所述动态随机存取内存中。

在一种实施方式中，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述解码模块505可以用于：

从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是所述参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；

若所述待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将所述待解码块解码后的块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述解码模块505可以用于：

从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；

若所述待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将所述待解码块解码后的块存储在所述系统缓冲存储器中。

在一种实施方式中，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述解码模块505可以用于：

从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；

若所述待解码图像帧、待解码条带或待解码区域的参考次数为一次，则将所述待解码块解码后的块存储在所述动态随机存取内存中。

请参阅图21，图21为本申请实施例提供的图像处理装置的另一结构示意图。该图像处理装置600可以包括：第一获取模块601，第二获取模块602，第三获取模块603，第一确定模块604，第二确定模块605，解码模块606。

第一获取模块601，用于获取视频码流；

第二获取模块602，用于根据所述视频码流获取一个或多个参考运动矢量；

第三获取模块603，用于根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

第一确定模块604，用于确定所述一个或多个参考块的参考次数；

第二确定模块605，用于根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

解码模块606，用于根据所述参考块对待解码块或所述待解码块的子块进行解码。

在一种实施方式中，所述第二获取模块602可以用于：

对所述视频码流进行熵解码，得到一个或多个运动矢量差值；

根据所述一个或多个运动矢量差值和对应的运动矢量预测值，获取所述一个或多个参考运动矢量。

在一种实施方式中，所述预设存储器包括第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二存储器包括设置在视频解码装置外部的系统高速缓存，所述第二确定模块605可以用于：

若所述参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述第二存储器包括设置在视频解码装置外部的系统缓冲存储器，所述第二确定模块605可以用于：

若所述参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考块存储在所述系统缓冲存储器中。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二确定模块605可以用于：

若所述参考次数为一次，则根据所述预设功耗阈值将参考次数为一次的一个或多个参考块存储在所述动态随机存取内存中。

在一种实施方式中，所述解码模块606可以用于：

从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；

若所述待解码块或所述待解码块中的子块的参考次数为多次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述解码模块606可以用于：

从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；

若所述待解码块或所述待解码块中的子块的参考次数为多次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述系统缓冲存储器中。

在一种实施方式中，所述解码模块606可以用于：

从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；

若所述待解码块或所述待解码块中的子块的参考次数为一次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述动态随机存取内存中。

在一种实施方式中，所述第二获取模块602可以用于：

对所述当前视频码流进行熵解码，得到一个或多个运动矢量差值以及量化后的第一残差；

所述解码模块606可以用于：

对所述第一残差进行反量化与反变换，得到第二残差；

根据所述参考运动矢量和参考块，得到所述待解码块或所述待解码块中的子块的预测值；

根据所述第二残差以及所述待解码块或所述待解码块中的子块的预测值，获取所述待解码块解码后的块或所述待解码块中的子块解码后的子块。

在一种实施方式中，所述解码模块606可以用于：

根据所述待解码块解码后的块或所述待解码块中的子块解码后的子块获取视频流解码数据。

在一种实施方式中，所述待解码块或所述待解码块中的子块的预测值通过帧内预测方式或运动补偿方式获取到。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的在视频解码装置中进行图像处理的方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器以及视频解码装置，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的在视频解码装置中进行图像处理的方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图22，图22为本申请实施例提供的电子设备的结构示意图。

该电子设备700可以包括视频解码装置701、存储器702、处理器703等部件。本领域技术人员可以理解，图22中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

视频解码装置701可以用于对编码的视频图像进行解码，以还原出原始的视频图像。

存储器702可用于存储应用程序和数据。存储器702存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器703通过运行存储在存储器702的应用程序，从而执行各种功能应用以及数据处理。

处理器703是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器703会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器702中，并由处理器703来运行存储在存储器702中的应用程序，从而执行：

获取视频码流；

从所述视频码流中确定出一个或多个参考位置；

确定所述一个或多个参考位置的参考次数；

根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考位置对待解码对象进行解码；或者执行：

获取视频码流；

根据所述视频码流获取一个或多个参考运动矢量；

根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

确定所述一个或多个参考块的参考次数；

根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考块对待解码块或所述待解码块的子块进行解码。

请参阅图23，电子设备700可以包括视频解码装置701、存储器702、处理器703、电池704、输入单元705、输出单元706等部件。

视频解码装置701可以用于对编码的视频图像进行解码，以还原出原始的视频图像。

存储器702可用于存储应用程序和数据。存储器702存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器703通过运行存储在存储器702的应用程序，从而执行各种功能应用以及数据处理。

处理器703是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

电池704可用于为电子设备的各个部件提供电力支持，从而保障各个部件的正常运行。

输入单元705可用于接收视频图像的已编码的输入视频流，例如可以用于接收需要进行视频解码的视频流。

输出单元706可以用于输出已解码的视频流。

在本实施例中，电子设备中的处理器703会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器702中，并由处理器703来运行存储在存储器702中的应用程序，从而执行：

获取视频码流；

从所述视频码流中确定出一个或多个参考位置；

确定所述一个或多个参考位置的参考次数；

根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考位置对待解码对象进行解码；或者执行：

获取视频码流；

根据所述视频码流获取一个或多个参考运动矢量；

根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

确定所述一个或多个参考块的参考次数；

根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考块对待解码块或所述待解码块的子块进行解码。

在一种实施方式中，所述参考位置包括参考图像帧、参考条带或参考区域，所述处理器703执行所述从所述视频码流中确定出一个或多个参考位置时，还可以执行：根据所述视频码流中图像帧的帧头信息或所述图像帧中一个或多个条带的条带头信息，从所述视频码流中确定出所述一个或多个参考图像帧、参考条带或参考区域。

在一种实施方式中，所述参考位置包括参考图像帧、参考条带或参考区域，所述处理器703执行所述确定所述一个或多个参考位置的参考次数时，还可以执行：通过预设参数确定出所述一个或多个参考图像帧、参考条带或参考区域的参考次数，所述预设参数包括以下中的任一项或多项：网络抽象层解析参数、条带头解析参数、参考图像列表修正参数和参考图像帧标记参数。

在一种实施方式中，所述预设存储器包括第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二存储器包括设置在视频解码装置外部的系统高速缓存，所述参考位置包括参考图像帧、参考条带或参考区域，所述处理器703执行所述根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中时，还可以执行：若参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的所述一个或多个参考图像帧、参考条带或参考区域存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述第二存储器包括设置在视频解码装置外部的系统缓冲存储器，所述参考位置包括参考图像帧、参考条带或参考区域；所述处理器703执行所述根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中时，还可以执行：若参考次数为多次，则根据所述预设功耗阈值将所述参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在所述系统缓冲存储器中。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述参考位置包括参考图像帧、参考条带或参考区域；所述处理器703执行所述根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中时，还可以执行：若参考次数为一次，则根据所述预设功耗阈值将所述参考次数为一次的一个或多个参考图像帧、参考条带或参考区域存储在所述动态随机存取内存中。

在一种实施方式中，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述处理器703执行所述根据所述参考位置对待解码对象进行解码时，还可以执行：从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是所述参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，在根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；若所述待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将所述待解码块解码后的块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述处理器703执行所述根据所述参考位置对待解码对象进行解码时，还可以执行：从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是所述参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，在根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；若所述待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将所述待解码块解码后的块存储在所述系统缓冲存储器中。

在一种实施方式中，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述处理器703执行所述根据所述参考位置对待解码对象进行解码时，还可以执行：从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是所述参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，在根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；若所述待解码图像帧、待解码条带或待解码区域的参考次数为一次，则将所述待解码块解码后的块存储在所述动态随机存取内存中。

在一种实施方式中，所述处理器703执行所述根据所述视频码流获取一个或多个参考运动矢量时，还可以执行：对所述视频码流进行熵解码，得到一个或多个运动矢量差值；根据所述一个或多个运动矢量差值和对应的运动矢量预测值，获取所述一个或多个参考运动矢量。

在一种实施方式中，所述预设存储器包括第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二存储器包括设置在视频解码装置外部的系统高速缓存，所述处理器703执行所述根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块时，还可以执行：若所述参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述第二存储器包括设置在视频解码装置外部的系统缓冲存储器，所述处理器703执行所述根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块时，还可以执行：若所述参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考块存储在所述系统缓冲存储器中。

在一种实施方式中，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述处理器703执行所述根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块时，还可以执行：若所述参考次数为一次，则根据所述预设功耗阈值将参考次数为一次的一个或多个参考块存储在所述动态随机存取内存中。

在一种实施方式中，所述处理器703执行所述根据所述参考块对待解码块或所述待解码块的子块进行解码时，还可以执行：从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；若所述待解码块或所述待解码块中的子块的参考次数为多次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

在一种实施方式中，所述处理器703执行所述根据所述参考块对待解码块或所述待解码块中的子块进行解码时，还可以执行：从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；若所述待解码块或所述待解码块中的子块的参考次数为多次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述系统缓冲存储器中。

在一种实施方式中，所述处理器703执行所述根据所述参考块对待解码块或所述待解码块中的子块进行解码时，还可以执行：从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；若所述待解码块或所述待解码块中的子块的参考次数为一次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述动态随机存取内存中。

在一种实施方式中，所述处理器703执行所述对所述视频码流进行熵解码，得到一个或多个运动矢量差值时，还可以执行：对所述视频码流进行熵解码，得到一个或多个运动矢量差值以及量化后的第一残差。

所述处理器703执行所述根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码时，还可以执行：对所述第一残差进行反量化与反变换，得到第二残差；根据所述参考运动矢量和参考块，得到所述待解码块或所述待解码块中的子块的预测值；根据所述第二残差以及所述待解码块或所述待解码块中的子块的预测值，获取所述待解码块解码后的块或所述待解码块中的子块解码后的子块。

在一种实施方式中，所述处理器703执行所述根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码时，还可以执行：根据所述待解码块解码后的块或所述待解码块中的子块解码后的子块获取视频流解码数据。

在一种实施方式中，所述待解码块或所述待解码块中的子块的预测值通过帧内预测方式或运动补偿方式获取到。

本申请实施例还提供一种图像处理系统，请参阅图24和图25，图24是本申请实施例提供的图像处理系统的结构示意图。图25是本申请实施例提供的图像处理系统的另一结构示意图。该图像处理系统800包括视频解码装置801、第一存储器802和第二存储器803，其中，第一存储器802的功耗大于第二存储器803的功耗，如第一存储器可以是DRAM，第二存储器803可以是Sys$或SysBuf，第一存储器802中存储参考次数为一次的参考位置，或者存储参考次数为一次和多次的参考位置，第二存储器803中存储参考次数为多次的参考位置。需要说明的是，参考次数为参考位置被待解码对象参考的次数。

在一种实施方式中，参考位置可以包括参考图像帧、参考条带、参考区域或参考块。比如，第一存储器802中可以存储参考次数为一次的参考图像帧、参考条带或参考块，或者存储参考次数为一次和多次的参考图像帧、参考条带、参考区域或参考块，即第一存储器802中可以存储参考次数为一次或多次的参考图像帧、参考条带或参考块，第二存储器803中存储参考次数为多次的参考图像帧、参考条带或参考块。

当视频解码装置801在解码时，视频解码装置801在解码时，从第一存储器802中读取参考次数为一次的参考位置，以及从第二存储器803读取参考次数为多次的参考位置，根据参考位置对待解码对象进行解码。该待解码对象可以包括待解码图像帧中的待解码块、待解码条带中的待解码块、待解码区域中的待解码块或者所述待解码块的子块。

比如，当视频解码装置801在解码时，可以从第一存储器802中读取参考次数为一次的参考图像帧、参考条带或参考块，以及从第二存储器803读取参考次数为多次的参考图像帧、参考条带或参考块，根据参考图像帧对待解码图像帧中的待解码块进行解码，根据参考条带对待解码条带中的待解码块进行解码，根据参考区域对待解码区域中的待解码块进行解码，或者，根据参考块对待解码块或待解码块的子块进行解码。

比如，第二存储器803可以是Sys$，在解码时，需要参考的参考图像帧、参考条带、参考区域或参考块的参考次数为一次时，则直接从第一存储器802中读取参考图像帧、参考条带、参考区域或参考块的图像数据，若需要参考的参考图像帧、参考条带、参考区域或参考块的参考次数为多次时，则对参考图像帧、参考条带、参考区域或参考块进行读取时，可以从第一存储器802中读取一次，其余几次从Sys$中读取。

可以理解的是，从Sys$中读取的次数可以大于从第一存储器802中读取的次数，从Sys$中读取的次数可以小于从第一存储器802中读取的次数，或者从Sys$中读取的次数可以等于从第一存储器802中读取的次数，具体从第一存储器802和Sys$中分别读取几次，要根据具体场景进行相应设置，本申请实施例对此不做具体限制。

再比如，第二存储器803可以是SysBuf，在解码时，需要参考的参考图像帧、参考条带、参考区域或参考块的参考次数为一次时，则直接从第一存储器802中读取参考图像帧、参考条带、参考区域或参考块的图像数据，若需要参考的参考图像帧、参考条带、参考区域或参考块的参考次数为多次时，则对参考图像帧、参考条带、参考区域或参考块进行读取时，可以从SysBuf中读取。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对在视频解码装置中进行图像处理的方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的在视频解码装置中进行图像处理的方法属于同一构思，在所述图像处理装置上可以运行所述在视频解码装置中进行图像处理的方法实施例中提供的任一方法，其具体实现过程详见所述在视频解码装置中进行图像处理的方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述在视频解码装置中进行图像处理的方法而言，本领域普通技术人员可以理解实现本申请实施例所述在视频解码装置中进行图像处理的方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述在视频解码装置中进行图像处理的方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种在视频解码装置中进行图像处理的方法、装置、存储介质、电子设备及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (28)

1.一种在视频解码装置中进行图像处理的方法，其特征在于，所述方法包括：

获取视频码流；

从所述视频码流中确定一个或多个参考位置；

确定所述一个或多个参考位置的参考次数；

根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考位置对待解码对象进行解码。

2.根据权利要求1所述的在视频解码装置中进行图像处理的方法，其特征在于，所述参考位置包括参考图像帧、参考条带或参考区域，所述从所述视频码流中确定一个或多个参考位置，包括：

根据所述视频码流中图像帧的帧头信息或所述图像帧中一个或多个条带的条带头信息，从所述视频码流中确定一个或多个参考图像帧、参考条带或参考区域。

3.根据权利要求1所述的在视频解码装置中进行图像处理的方法，其特征在于，所述参考位置包括参考图像帧、参考条带或参考区域，所述确定所述一个或多个参考位置的参考次数，包括：

通过预设参数确定所述一个或多个参考图像帧、参考条带或参考区域的参考次数，所述预设参数包括以下中的任一项或多项：网络抽象层解析参数、条带头解析参数、参考图像列表修正参数和参考图像帧标记参数。

4.根据权利要求1所述的在视频解码装置中进行图像处理的方法，其特征在于，所述预设存储器包括第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗。

5.根据权利要求4所述的在视频解码装置中进行图像处理的方法，其特征在于，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二存储器包括设置在视频解码装置外部的系统高速缓存，所述参考位置包括参考图像帧、参考条带或参考区域；

所述根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，包括：

若参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在所述系统高速缓存中，并将其存储在所述动态随机存取内存中。

6.根据权利要求4所述的在视频解码装置中进行图像处理的方法，其特征在于，所述第二存储器包括设置在视频解码装置外部的系统缓冲存储器，所述参考位置包括参考图像帧、参考条带或参考区域；

所述根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，包括：

若参考次数为多次，则根据所述预设功耗阈值将所述参考次数为多次的一个或多个参考图像帧、参考条带或参考区域存储在所述系统缓冲存储器中。

7.根据权利要求4所述的在视频解码装置中进行图像处理的方法，其特征在于，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述参考位置包括参考图像帧、参考条带或参考区域；

所述根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，包括：

若参考次数为一次，则根据所述预设功耗阈值将所述参考次数为一次的一个或多个参考图像帧、参考条带或参考区域存储在所述动态随机存取内存中。

8.根据权利要求5所述的在视频解码装置中进行图像处理的方法，其特征在于，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述根据所述参考位置对待解码对象进行解码，包括：

从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是所述参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；

若所述待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将所述待解码块解码后的块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

9.根据权利要求6所述的在视频解码装置中进行图像处理的方法，其特征在于，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述根据所述参考位置对待解码对象进行解码，包括：

从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；

若所述待解码图像帧、待解码条带或待解码区域的参考次数为多次，则将所述待解码块解码后的块存储在所述系统缓冲存储器中。

10.根据权利要求7所述的在视频解码装置中进行图像处理的方法，其特征在于，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块或待解码区域中的待解码块，所述根据所述参考位置对待解码对象进行解码，包括：

从所述预设存储器中读取所需要的参考图像帧、参考条带或参考区域的图像数据，若读取的是参考图像帧的图像数据，则根据读取的所述参考图像帧的图像数据对所述待解码图像帧中的待解码块进行解码，若读取的是参考条带的图像数据，则根据读取的所述参考条带的图像数据对所述待解码条带中的待解码块进行解码，若读取的是参考区域的图像数据，则根据读取的所述参考区域的图像数据对所述待解码区域中的待解码块进行解码；

若所述待解码图像帧、待解码条带或待解码区域的参考次数为一次，则将所述待解码块解码后的块存储在所述动态随机存取内存中。

11.一种在视频解码装置中进行图像处理的方法，其特征在于，所述方法包括：

获取视频码流；

根据所述视频码流获取一个或多个参考运动矢量；

根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

确定所述一个或多个参考块的参考次数；

根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

根据所述参考块对待解码块或所述待解码块中的子块进行解码。

12.根据权利要求11所述的在视频解码装置中进行图像处理的方法，其特征在于，所述根据所述视频码流获取一个或多个参考运动矢量，包括：

对所述视频码流进行熵解码，得到一个或多个运动矢量差值；

根据所述一个或多个运动矢量差值和对应的运动矢量预测值，获取所述一个或多个参考运动矢量。

13.根据权利要求12所述的在视频解码装置中进行图像处理的方法，其特征在于，所述预设存储器包括第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗。

14.根据权利要求13所述的在视频解码装置中进行图像处理的方法，其特征在于，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述第二存储器包括设置在视频解码装置外部的系统高速缓存，所述根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，包括：

若所述参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

15.根据权利要求13所述的在视频解码装置中进行图像处理的方法，其特征在于，所述第二存储器包括设置在视频解码装置外部的系统缓冲存储器，所述根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，包括：

若所述参考次数为多次，则根据所述预设功耗阈值将参考次数为多次的一个或多个参考块存储在所述系统缓冲存储器中。

16.根据权利要求13所述的在视频解码装置中进行图像处理的方法，其特征在于，所述第一存储器包括设置在视频解码装置外部的动态随机存取内存，所述根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，包括：

若所述参考次数为一次，则根据所述预设功耗阈值将参考次数为一次的一个或多个参考块存储在所述动态随机存取内存中。

17.根据权利要求14所述的在视频解码装置中进行图像处理的方法，其特征在于，所述根据所述参考块对待解码块或所述待解码块中的子块进行解码，包括：

从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；

若所述待解码块或所述待解码块中的子块的参考次数为多次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述系统高速缓存中，并且存储在所述动态随机存取内存中。

18.根据权利要求15所述的在视频解码装置中进行图像处理的方法，其特征在于，所述根据所述参考块对待解码块或所述待解码块中的子块进行解码，包括：

从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；

若所述待解码块或所述待解码块中的子块的参考次数为多次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述系统缓冲存储器中。

19.根据权利要求16所述的在视频解码装置中进行图像处理的方法，其特征在于，所述根据所述参考块对待解码块或所述待解码块中的子块进行解码，包括：

从所述预设存储器中读取所需要的参考块的图像数据，并根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码；

若所述待解码块或所述待解码块中的子块的参考次数为一次，则将所述待解码块解码后的块或所述待解码块中的子块解码后的子块存储在所述动态随机存取内存中。

20.根据权利要求17至19任一项所述的在视频解码装置中进行图像处理的方法，其特征在于，所述对所述视频码流进行熵解码，得到一个或多个运动矢量差值，包括：

对所述视频码流进行熵解码，得到一个或多个运动矢量差值以及量化后的第一残差；

所述根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码，包括：

对所述第一残差进行反量化与反变换，得到第二残差；

根据所述参考运动矢量和参考块，得到所述待解码块或所述待解码块中的子块的预测值；

根据所述第二残差以及所述待解码块或所述待解码块中的子块的预测值，获取所述待解码块解码后的块或所述待解码块中的子块解码后的子块。

21.根据权利要求20所述的在视频解码装置中进行图像处理的方法，其特征在于，所述根据读取的参考块的图像数据对所述待解码块或所述待解码块中的子块进行解码，还包括：

根据所述待解码块解码后的块或所述待解码块中的子块解码后的子块获取视频流解码数据。

22.根据权利要求20所述的在视频解码装置中进行图像处理的方法，其特征在于，所述待解码块或所述待解码块中的子块的预测值通过帧内预测方式或运动补偿方式获取到。

23.一种在视频解码装置中进行图像处理的装置，其特征在于，所述装置包括：

获取模块，用于获取视频码流；

第一确定模块，用于从所述视频码流中确定一个或多个参考位置；

第二确定模块，用于确定所述一个或多个参考位置的参考次数；

第三确定模块，用于根据预设功耗阈值以及所述一个或多个参考位置的参考次数，从所述一个或多个参考位置中确定出需要存储在预设存储器中的参考位置，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考位置以及从所述预设存储器中读取所述参考位置所产生的功耗小于或等于所述预设功耗阈值；以及

解码模块，用于根据所述参考位置对待解码对象进行解码。

24.一种在视频解码装置中进行图像处理的装置，其特征在于，所述装置包括：

第一获取模块，用于获取视频码流；

第二获取模块，用于根据所述视频码流获取一个或多个参考运动矢量；

第三获取模块，用于根据所述一个或多个参考运动矢量从所述视频码流的一个或多个图像帧中获取对应的一个或多个参考块；

第一确定模块，用于确定所述一个或多个参考块的参考次数；

第二确定模块，用于根据预设功耗阈值以及所述一个或多个参考块的参考次数，从所述一个或多个参考块中确定出需要存储在预设存储器中的一个或多个参考块，并将其存储在所述预设存储器中，向所述预设存储器中存储所述参考块以及从所述预设存储器中读取所述参考块所产生的功耗小于或等于所述预设功耗阈值；以及

解码模块，用于根据所述参考块对待解码块或所述待解码块的子块进行解码。

25.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至10或者11至22中任一项所述的方法。

26.一种电子设备，包括存储器，处理器以及视频解码装置，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，以执行如权利要求1至10或者11至22中任一项所述的方法。

27.一种图像处理系统，其特征在于，包括视频解码装置、第一存储器和第二存储器，所述第一存储器的功耗大于所述第二存储器的功耗，所述第一存储器中存储参考次数为一次的参考位置，或者存储参数次数为一次和多次的参考位置，所述第二存储器中存储参考次数为多次的参考位置，所述视频解码装置在解码时，从所述第一存储器中读取参考次数为一次的参考位置，以及从所述第二存储器读取参考次数为多次的参考位置，根据所述参考位置对待解码对象进行解码。

28.根据权利要求27所述的图像处理系统，其特征在于，所述参考位置包括参考图像帧、参考条带、参考区域或参考块，所述待解码对象包括待解码图像帧中的待解码块、待解码条带中的待解码块、待解码区域中的待解码块或者所述待解码块的子块。

Images