[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107071496A - 一种h.265/hevc帧间编码单元深度快速选择方法 - Google Patents

一种h.265/hevc帧间编码单元深度快速选择方法 Download PDF

Info

Publication number
CN107071496A
CN107071496A CN201710336856.XA CN201710336856A CN107071496A CN 107071496 A CN107071496 A CN 107071496A CN 201710336856 A CN201710336856 A CN 201710336856A CN 107071496 A CN107071496 A CN 107071496A
Authority
CN
China
Prior art keywords
depth
unit
coding unit
coding
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710336856.XA
Other languages
English (en)
Other versions
CN107071496B (zh
Inventor
刘鹏宇
吴玥颖
丰泽琪
贾克斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201710336856.XA priority Critical patent/CN107071496B/zh
Publication of CN107071496A publication Critical patent/CN107071496A/zh
Application granted granted Critical
Publication of CN107071496B publication Critical patent/CN107071496B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种H.265/HEVC帧间编码单元深度快速选择方法，首先，通过探究编码单元纹理复杂度、编码器量化参数与编码单元深度选择之间的关联关系，将顶端跳过思想应用于方法优化中，设计基于纹理复杂度和量化参数的编码单元初始划分深度预测策略，跳过非必要的大尺寸编码单元划分；其次，利用编码单元深度选择与编码码率、编码失真之间的关联性，将提前终止思想应用于方法优化中，设计基于码率和失真的编码单元终止划分深度选择策略，通过离线训练的分类器解决编码单元划分与不划分的决策问题。采用本发明的技术方案，在保证编码单元划分精度的同时，可平均节约34.56％的编码时间。

Description

一种H.265/HEVC帧间编码单元深度快速选择方法
技术领域
本发明属于视频压缩编码领域，涉及一种基于机器学习的H.265/HEVC帧间编码单元深度快速选择方法。
背景技术
在信息全球化日益深入的今天，视频因其能够携带丰富的视觉信息，而成为人类在信息时代中的主要资讯来源。由此，视频信息的普及引发了视频数据的爆炸式增长，同时也推动了以高效为标志的视频编码技术的长足进步。面对视频应用向着更高清晰度、更高帧率的发展趋势，专注于视频编码技术优化工作的研究者们并没有停止探寻的步伐，着眼于“更低码率”和“更高质量”的下一代视频编码标准——H.265/HEVC(High EfficiencyVideo Coding,H.265/HEVC)应运而生，为高清以及超高清视频的普及与高效编码提供了助力。作为H.264/AVC视频编码标准的继承与发展，H.265/HEVC可在编码质量相同的情况下节省近一半码率。众多先进编码工具的使用是使H.265/HEVC获得卓越编码性能提升的关键所在，其中，H.265/HEVC取代之前编码标准中16×16固定大小的“宏块”划分方式，采用“四叉树”式的编码单元(Coding Unit,CU)深度遍历方案，使编码单元深度(Depth)能够在0(64×64)到3(8×8)之间进行自适应选择，如图1所示，是H.265/HEVC区别于其他视频编码标准，而更加适用于高分辨率视频编码的基础所在。但上述优化方案在提升H.265/HEVC编码性能的同时，也极大地增加了编码器的复杂度，其复杂度可达H.264/AVC的2～10倍，而由灵活的编码单元深度选择所衍生出的帧间预测模式选择的复杂度更是占据了整个编码器复杂的90％，如图2所示，严重阻碍了H.265/HEVC在实际应用环境中的推广使用。因此，如何快速地进行编码单元深度选择对于降低H.265/HEVC编码器的复杂度至关重要。
目前，伴随H.265/HEVC视频编码标准的日益成熟与完善，以及提升其编码速度的迫切需求，研究者们设计了基于机器学习的帧间编码单元深度快速选择方案。机器学习是一门多领域的交叉学科，涉及概率论、统计学等多种专业理论，其目的在于使计算机能够模拟人脑的思考过程来帮助决策事件，以寻找问题的优化解决方案。在H.265/HEVC中，基于机器学习的帧间编码单元深度快速选择方案的核心思想是：将编码单元的划分问题建模为划分或不划分的二元决策问题后，应用K-近邻(K-Nearest Neighbor,KNN)策略、贝叶斯(Bayers)准则、支持向量机(Support Vector Machine,SVM)等机器学习领域的经典分类算法，帮助编码器在尽可能不进行率失真代价计算的前提下，实现准确地编码单元的深度决策，以获得编码时间的降低。
不可否认，基于机器学习思想的快速编码算法能够在保证视频重建质量的同时，较原始H.265/HEVC编码器比较，平均节省近25％的编码时间。但此类算法均是采用提前终止的设计思路，即从具有最大尺寸、最小深度的编码单元开始向下进行递归划分。然而，为了得到最优的编码结果，仍有50％以上的编码单元需要遍历所有深度。因此，如果能够将顶端跳过的思想同时引入到上述基于机器学习的编码单元深度快速决策算法中，即提前对当前编码单元的初始划分深度进行判别，是进一步加速编码过程的创新思路。
本发明基于H.265/HEVC编码标准，以机器学习为优化手段，提出一种融合顶端跳过与提前终止思想的帧间编码单元深度快速选择方法，在保证编码质量与深度选择准确性的前提下，通过避免非必要深度编码单元的率失真代价计算过程，有效地降低H.265/HEVC编码器复杂度。
发明内容
本发明所要解决的技术问题是，针对帧间编码单元深度遍历引起的高复杂度问题，提供一种融合顶端跳过与提前终止思想的帧间编码单元深度快速选择方法，在保证编码质量的同时，加速H.265/HEVC编码过程。
为实现上述目的，本发明采用如下的技术方案：
1、一种H.265/HEVC帧间编码单元深度快速选择方法，其特征在于，包括以下步骤：
第一步：利用典型序列BQTerrac、BasketballDrill、BQSquare、FourPeople在不同量化参数、不同纹理复杂度情况下经由HM-15.0编码后得到的编码单元所属类别分布情况，离线构建初始划分深度预测字典；
第二步，利用典型序列BQTerrac、BasketballDrill、BQSquare、FourPeople经由HM-15.0编码后不同深度编码单元的码率、失真以及划分结果，离线训练NN分类器；
第三步：根据编码器的配置文件读入视频序列，利用配置文件中的参数信息配置HM-15.0编码器；
第四步：从待编码视频中按顺序提取出需要编码的编码单元；
第五步，根据当前编码器的量化参数以及当前待编码单元的纹理复杂度，通过查找初始划分深度预测字典，判断当前待编码单元的所属类别；
第六步，若当前编码单元属于简单编码单元，则将初始划分深度设置为0；若当前编码单元属于复杂编码单元，则将初始划分深度设置为2；
第七步，计算当前待编码单元的码率与失真，得到分类特征F；
第八步，根据当前编码单元的深度，加载对应的NN分类器，并进行特征分类，输出当前编码单元的划分情况分类结果；
第九步，若输出结果为“SPLIT”，则当前编码单元需要继续划分，并将其划分为四个子编码单元，回到步骤七，重复执行上述过程，直至达到最大划分深度；若输出结果为“NON-SPLIT”，则当前编码单元不需要继续划分，将划分结果作为当前编码单元的最佳划分结果，结束当前编码单元的深度遍历过程。
作为优选，第一步和第二步中，编码单元初始划分深度预测字典的构建过程，以及NN分类器的训练过程，均是离线过程，不列入编码时间的计算范围内。
作为优选，第一步中，构建初始划分深度预测字典具体为：
1)定义编码单元类型
对于简单编码单元：初始划分深度为0，且编码单元中包含深度Depth＝0、Depth＝0,1、Depth＝1,2、Depth＝1,2,3或Depth＝1,3的编码结构；对于复杂编码单元：初始划分深度为2，且编码单元中只包含深度Depth＝2、Depth＝2,3或Depth＝3的编码结构；
2)构建编码单元初始划分深度预测字典
利用当前编码单元四个子编码单元熵值{H(1),H(2),H(3),H(4)}中的最小值表示当前编码单元的纹理复杂度，熵值的计算公式如下：
其中，pi表示像素值i出现的概率。若当前区域中没有纹理，则熵值趋近于0；若区域中细纹理较多，则熵值较大；若区域中细纹理较少，则熵值较小；
统计不同量化参数QP与不同纹理复杂度情况下H.265/HEVC标准测试序列中所提供的四个具有不同时空特性和分辨率的典型序列，即BQTerrac、BasketballDrill、BQSquare、FourPeople，经由H.265/HEVC测试平台HM-15.0编码后，编码单元所属类别的分布情况，并以量化参数为X轴，熵值为Y轴，构建初始划分深度预测字典。
作为优选，第六步中具体为：查找编码单元初始划分深度字典后，若当前编码单元属于简单编码单元，则由初始划分深度0开始执行四叉树遍历过程；若当前编码单元属于复杂编码单元，则由初始划分深度2开始执行四叉树遍历过程。
作为优选，第八步中，依据当前编码器的量化参数QP及当前编码单元的深度，加载对应的NN分类器，并将特征值F作为NN分类器的输入特征，得到当前编码单元的划分情况分类结果。
与现有技术相比，本发明的优点在于：首先，本方法基于顶端跳过思想，通过利用编码单元深度选择情况与编码单元纹理复杂度、编码器量化参数之间的相关关系，设计了基于纹理复杂度与量化参数的编码单元初始划分深度联合预测方案。该方案能够帮助复杂编码单元跳过深度为0与深度为1的编码单元的率失真代价计算过程，从而节约编码时间。其次，本方法基于提前终止思想，通过利用编码单元深度选择情况与编码码率、编码失真之间的相关关系，以码率和失真为分类特征，将编码单元的划分问题建模为分与不分的二分类问题，设计了基于码率和失真的编码单元终止深度选择策略。该策略可以避免简单编码单元进行深度为2或3的编码单元的率失真代价计算过程，在保证视频重建质量的同时，实现编码器复杂度的降低。
附图说明
图1为H.265/HEVC的四叉树编码结构示意图；
图2为H.265/HEVC帧间编码单元四叉树遍历过程示意图；
图3为本发明方法的基本流程图；
图4为本发明中简单编码单元与复杂编码单元示意图；
图5为本发明构建得到的编码单元初始划分深度预测字典。
具体实施方式
以下结合附图和具体实施方式对本发明作进一步详细阐述。
如图3所示，本发明实施例提供一种H.265/HEVC帧间编码单元深度快速选择方法，分为以下两个方面：
第一、基于纹理复杂度和量化参数的编码单元初始划分深度预测
当前编码单元的初始划分深度与其纹理复杂度(Texture Complexity,TC)以及编码器的量化参数(Quantization Parameter,QP)密切相关。因此，为进一步提升H.265/HEVC的编码速度，本方法将“顶端跳过”思想引入基于机器学习的帧间编码单元深度快速选择算法中，通过构建基于纹理复杂度和量化参数的编码单元初始划分深度预测字典，在不进行率失真代价的情况下，实现编码单元初始划分深度的预先判别。
1)编码单元类型定义
由H.265/HEVC的编码结果可知，当前编码单元深度可选范围具有以下四种情况，分别为[0,1]，[1,2]，[1,3]和[2,3]，分别对应初始划分深度0，1，2和3。对于初始划分深度为2或3的编码单元，仍然需要经过深度为0和1的编码单元率失真代价计算过程。因此，编码单元深度遍历的高复杂度问题成为阻碍H.265/HEVC的编码时间降低、阻碍H.265/HEVC在实际环境中应用的主要瓶颈，如果能够提前判断当前编码单元的初始划分深度，可以进一步降低H.265/HEVC的编码复杂度。因此，本方法按照初始划分深度，将编码单元类型定义为简单编码单元与复杂编码单元，如图4所示。对于简单编码单元：初始划分深度为0，且编码单元中包含深度Depth＝0、Depth＝0,1、Depth＝1,2、Depth＝1,2,3或Depth＝1,3的编码结构；对于复杂编码单元：初始划分深度为2，且编码单元中只包含深度Depth＝2、Depth＝2,3或Depth＝3的编码结构。
2)编码单元初始划分深度预测字典构建
利用当前编码单元四个子编码单元熵值{H(1),H(2),H(3),H(4)}中的最小值表示当前编码单元的纹理复杂度，熵值的计算公式如下：
pi表示像素值i出现的概率。若当前区域中没有纹理，则熵值趋近于0；若区域中细纹理较多，则熵值较大；若区域中细纹理较少，则熵值较小。
统计不同量化参数(QP＝0～51)与不同纹理复杂度情况下H.265/HEVC标准测试序列中所提供的四个具有不同时空特性和分辨率的典型序列(BQTerrac、BasketballDrill、BQSquare、FourPeople)经由H.265/HEVC测试平台HM-15.0编码后，编码单元所属类别的分布情况，并以量化参数为X轴(QP取值范围为0～51)，熵值为Y轴(测试序列中熵值最小值的取值范围为0.5～7.5，将其以0.1为单位进行量化)，构建初始划分深度预测字典，如图5所示。其中圆圈(○)表示当前量化参数与纹理复杂度条件下，测试结果中复杂编码单元数量多于简单编码单元，规定具有此类量化参数与纹理复杂度的编码单元为复杂编码单元；叉子(×)表示当前量化参数与熵值条件下，测试结果中简单编码单元数量多于复杂编码单元，规定具有此类量化参数与纹理复杂度的编码单元为复杂编码单元。
3)编码单元所属类别判断
计算当前待编码单元的四个子编码单元的熵值并保留最小值进行量化，依据量化后的熵值结果对当前编码单元的纹理复杂度TC进行表示，联合当前编码器的量化参数QP，通过查找字典的方式，判断当前编码单元的所属类别(简单/复杂)。
4)编码初始划分深度预测
查找编码单元初始划分深度字典后，若当前编码单元属于简单编码单元，则由初始划分深度0开始执行四叉树遍历过程；若当前编码单元属于复杂编码单元，则由初始划分深度2开始执行四叉树遍历过程。
第二、基于码率和失真的编码单元终止划分深度选择
选取合适的分类特征，并将其应用于基于机器学习的编码单元深度快速选择算法中，对于保证预测准确度，同时降低编码时间具有重要意义。因此，本方法通过挖掘编码码率(Rate)、失真(Distortion)与编码单元划分之间的关联关系后，将码率与失真作为分类器的分类特征，并利用离线训练的最近邻(Nearest Neighbor,NN)分类器，对当前编码单元是否继续划分进行提前预判，进而加速H.265/HEVC帧间编码过程。
1)NN分类器离线训练
最近邻算法是机器学习领域中最简单、最成熟且使用广泛的分类器之一，其核心思想是：“近者胜出”，即当前样本的分类结果取决于与它最邻近的样本的类别属性。如果当前样本在其特征空间中的最相邻样本属于某一个类别，则当前样本也属于这个类别，并具有这个类别中样本的基本特性。
统计H.265/HEVC标准测试序列中典型序列(BQTerrac、BasketballDrill、BQSquare、FourPeople)在QP＝0～51范围下，经由HM-15.0编码后不同深度(Depth＝0，1或2)编码单元的编码码率、编码失真以及划分情况，以码率、失真为分类特征，以划分情况(划分(SPLIT)或不划分(NON-SPLIT))为分类结果，离线训练NN分类器。
2)编码单元分类特征获取
利用HM-15.0编码当前编码单元，得到其码率Rate与失真Distortion，组成分类器的输入特征F＝[Rate,Distortion]。
3)编码单元划分情况分类
依据当前编码器的量化参数QP及当前编码单元的深度，加载对应的NN分类器，并将特征值F作为NN分类器的输入特征，得到当前编码单元的划分情况分类结果。
4)CU终止划分深度选择
根据NN分类器的输出结果“SPLIT”或“NON-SPLIT”判定当前编码单元是否继续划分。若输出结果为“SPLIT”，则当前编码单元需要继续划分，将其划分为四个子编码单元，并回到步骤2)编码单元分类特征获取，重复执行上述过程，直至达到最大深度(Depth＝3)；若输出结果为“NON-SPLIT”，则当前编码单元不需要继续划分，并将划分结果作为当前编码单元的最佳划分结果，结束当前CU的深度遍历过程。
本发明的针对H.265/HEVC的帧间编码过程，设计帧间编码单元深度快速选择方法。在实际的使用中，HM-15.0编码器将调用本发明中的方法来完成具体的编码工作。本发明方法的具体步骤如下：
第一步：利用典型序列BQTerrac、BasketballDrill、BQSquare、FourPeople在不同量化参数、不同纹理复杂度情况下经由HM-15.0编码后得到的编码单元所属类别分布情况，离线构建初始划分深度预测字典。
第二步，利用典型序列BQTerrac、BasketballDrill、BQSquare、FourPeople经由HM-15.0编码后不同深度编码单元的码率、失真以及划分结果，离线训练NN分类器。
第三步：根据编码器的配置文件读入视频序列，利用配置文件中的参数信息配置HM-15.0编码器；
第四步：从待编码视频中按顺序提取出需要编码的编码单元。
第五步，根据当前编码器的量化参数以及当前待编码单元的纹理复杂度，通过查找初始划分深度预测字典，判断当前待编码单元的所属类别(简单/复杂)。
第六步，若当前编码单元属于简单编码单元，则将初始划分深度设置为0；若当前编码单元属于复杂编码单元，则将初始划分深度设置为2。
第七步，计算当前待编码单元的码率与失真，得到分类特征F。
第八步，根据当前编码单元的深度，加载对应的NN分类器，并进行特征分类，输出当前编码单元的划分情况分类结果。
第九步，若输出结果为“SPLIT”，则当前编码单元需要继续划分，并将其划分为四个子编码单元，回到步骤七，重复执行上述过程，直至达到最大划分深度；若输出结果为“NON-SPLIT”，则当前编码单元不需要继续划分，将划分结果作为当前编码单元的最佳划分结果，结束当前编码单元的深度遍历过程。
为了检验本发明所提出的方法的性能，将本发明的方法与H.265/HEVC原始编码器进行比较。测试序列为通用测试条件中的B、C、D、E类视频序列，如表1所示。同时，采用H.265/HEVC测试平台HM-15.0进行实验，编码器为低延时(LD)模式，具体配置信息如表2所示。
表1 H.265/HEVC测试序列
表2 H.265/HEVC编码器配置
采用BDBR(Delta Bit-rate)和BDPSNR(Delta Peak Signal-to-Noise Rate)评估本发明方法整体的编码性能增益；采用公式(2)对于本发明方法的时间复杂度进行度量。
其中，EncodingTimeHM15.0为原始编码器的编码时间，EncodingTimeProposed为本发明方法的编码时间。正值BDBR或者负值BDPSNR表示编码码率上升或编码质量损失，负值ΔT表示编码时间减少。
表3为本发明方法与H.265/HEVC原始编码器的编码性能比较结果。从表3中可以看出，本发明方法与原始H.265/HEVC编码器相比，可平均降低34.56％的编码时间，而码率增加控制在1.21％～2.29％范围内，图像重建质量损失控制在0.08dB～0.26dB范围内，编码码率增加与编码质量损失可以忽略不计。
表3本发明算法与H.265/HEVC原始编码器的编码性能比较结果
实验结果表明，本发明的方法相比于H.265/HEVC原始编码器，能够在码流只有少许增加，编码质量基本不降低的情况下，平均节省34.56％的编码时间。此外，值得提出的是，编码单元初始划分深度预测字典的构建过程，以及NN分类器的训练过程，均是离线过程，不列入编码时间的计算范围内。

Claims (4)

1.一种H.265/HEVC帧间编码单元深度快速选择方法，其特征在于，包括以下步骤：
第一步：利用典型序列BQTerrac、BasketballDrill、BQSquare、FourPeople在不同量化参数、不同纹理复杂度情况下经由HM-15.0编码后得到的编码单元所属类别分布情况，离线构建初始划分深度预测字典；
第二步，利用典型序列BQTerrac、BasketballDrill、BQSquare、FourPeople经由HM-15.0编码后不同深度编码单元的码率、失真以及划分结果，离线训练NN分类器；
第三步：根据编码器的配置文件读入视频序列，利用配置文件中的参数信息配置HM-15.0编码器；
第四步：从待编码视频中按顺序提取出需要编码的编码单元；
第五步，根据当前编码器的量化参数以及当前待编码单元的纹理复杂度，通过查找初始划分深度预测字典，判断当前待编码单元的所属类别；
第六步，若当前编码单元属于简单编码单元，则将初始划分深度设置为0；若当前编码单元属于复杂编码单元，则将初始划分深度设置为2；
第七步，计算当前待编码单元的码率与失真，得到分类特征F；
第八步，根据当前编码单元的深度，加载对应的NN分类器，并进行特征分类，输出当前编码单元的划分情况分类结果；
第九步，若输出结果为“SPLIT”，则当前编码单元需要继续划分，并将其划分为四个子编码单元，回到步骤七，重复执行上述过程，直至达到最大划分深度；若输出结果为“NON-SPLIT”，则当前编码单元不需要继续划分，将划分结果作为当前编码单元的最佳划分结果，结束当前编码单元的深度遍历过程。
2.如权利要求1所述的一种H.265/HEVC帧间编码单元深度快速选择方法，其特征在于，第一步中，构建初始划分深度预测字典具体为：
1)定义编码单元类型
对于简单编码单元：初始划分深度为0，且编码单元中包含深度Depth＝0、Depth＝0,1、Depth＝1,2、Depth＝1,2,3或Depth＝1,3的编码结构；对于复杂编码单元：初始划分深度为2，且编码单元中只包含深度Depth＝2、Depth＝2,3或Depth＝3的编码结构；
2)构建编码单元初始划分深度预测字典
利用当前编码单元四个子编码单元熵值{H(1),H(2),H(3),H(4)}中的最小值表示当前编码单元的纹理复杂度，熵值的计算公式如下：
<mrow> <mi>H</mi> <mo>=</mo> <mo>-</mo> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>255</mn> </msubsup> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，pi表示像素值i出现的概率。若当前区域中没有纹理，则熵值趋近于0；若区域中细纹理较多，则熵值较大；若区域中细纹理较少，则熵值较小；
统计不同量化参数QP与不同纹理复杂度情况下H.265/HEVC标准测试序列中所提供的四个具有不同时空特性和分辨率的典型序列，即BQTerrac、BasketballDrill、BQSquare、FourPeople，经由H.265/HEVC测试平台HM-15.0编码后，编码单元所属类别的分布情况，并以量化参数为X轴，熵值为Y轴，构建初始划分深度预测字典。
3.如权利要求1所述的一种H.265/HEVC帧间编码单元深度快速选择方法，其特征在于，第六步中具体为：查找编码单元初始划分深度字典后，若当前编码单元属于简单编码单元，则由初始划分深度0开始执行四叉树遍历过程；若当前编码单元属于复杂编码单元，则由初始划分深度2开始执行四叉树遍历过程。
4.如权利要求1所述的一种H.265/HEVC帧间编码单元深度快速选择方法，其特征在于，第八步中，依据当前编码器的量化参数QP及当前编码单元的深度，加载对应的NN分类器，并将特征值F作为NN分类器的输入特征，得到当前编码单元的划分情况分类结果。
CN201710336856.XA 2017-05-14 2017-05-14 一种h.265/hevc帧间编码单元深度快速选择方法 Expired - Fee Related CN107071496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710336856.XA CN107071496B (zh) 2017-05-14 2017-05-14 一种h.265/hevc帧间编码单元深度快速选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710336856.XA CN107071496B (zh) 2017-05-14 2017-05-14 一种h.265/hevc帧间编码单元深度快速选择方法

Publications (2)

Publication Number Publication Date
CN107071496A true CN107071496A (zh) 2017-08-18
CN107071496B CN107071496B (zh) 2020-01-17

Family

ID=59597482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710336856.XA Expired - Fee Related CN107071496B (zh) 2017-05-14 2017-05-14 一种h.265/hevc帧间编码单元深度快速选择方法

Country Status (1)

Country Link
CN (1) CN107071496B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788296A (zh) * 2018-12-25 2019-05-21 中山大学 用于hevc的帧间编码单元划分方法、装置和存储介质
CN109889842A (zh) * 2019-02-21 2019-06-14 北方工业大学 基于knn分类器的虚拟现实视频cu划分算法
CN110087087A (zh) * 2019-04-09 2019-08-02 同济大学 Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN110213584A (zh) * 2019-07-03 2019-09-06 北京电子工程总体研究所 基于纹理复杂度的编码单元分类方法和编码单元分类设备
CN110933410A (zh) * 2019-11-06 2020-03-27 北京佳讯飞鸿电气股份有限公司 Hevc视频帧间预测方法和装置
CN111385576A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 视频编码方法、装置、移动终端及存储介质
CN116208756A (zh) * 2023-03-22 2023-06-02 南通大学 一种基于多层级特征融合的深度图快速编码方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266059A1 (en) * 2012-04-09 2013-10-10 Qualcomm Incorporated Lcu-based adaptive loop filtering for video coding
CN103517069A (zh) * 2013-09-25 2014-01-15 北京航空航天大学 一种基于纹理分析的hevc帧内预测快速模式选择方法
CN103533349A (zh) * 2013-09-26 2014-01-22 广东电网公司电力科学研究院 基于支持向量机的b帧快速帧间预测宏块模式选择方法
US20140146884A1 (en) * 2012-11-26 2014-05-29 Electronics And Telecommunications Research Institute Fast prediction mode determination method in video encoder based on probability distribution of rate-distortion
CN103873861A (zh) * 2014-02-24 2014-06-18 西南交通大学 一种用于hevc的编码模式选择方法
CN104539966A (zh) * 2014-09-30 2015-04-22 华为技术有限公司 图像预测方法及相关装置
CN104796693A (zh) * 2015-04-01 2015-07-22 南京邮电大学 一种hevc快速cu深度划分编码方法
CN104837019A (zh) * 2015-04-30 2015-08-12 上海交通大学 基于支持向量机的avs到hevc优化视频转码方法
CN105430391A (zh) * 2015-12-04 2016-03-23 上海交通大学 基于逻辑回规分类器的帧内编码单元快速选择方法
CN106303530A (zh) * 2016-10-20 2017-01-04 北京工业大学 一种融合视觉感知特性的码率控制方法
US20170237999A1 (en) * 2016-02-17 2017-08-17 Qualcomm Incorporated Handling of end of bitstream nal units in l-hevc file format and improvements to hevc and l-hevc tile tracks

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266059A1 (en) * 2012-04-09 2013-10-10 Qualcomm Incorporated Lcu-based adaptive loop filtering for video coding
US20140146884A1 (en) * 2012-11-26 2014-05-29 Electronics And Telecommunications Research Institute Fast prediction mode determination method in video encoder based on probability distribution of rate-distortion
CN103517069A (zh) * 2013-09-25 2014-01-15 北京航空航天大学 一种基于纹理分析的hevc帧内预测快速模式选择方法
CN103533349A (zh) * 2013-09-26 2014-01-22 广东电网公司电力科学研究院 基于支持向量机的b帧快速帧间预测宏块模式选择方法
CN103873861A (zh) * 2014-02-24 2014-06-18 西南交通大学 一种用于hevc的编码模式选择方法
CN104539966A (zh) * 2014-09-30 2015-04-22 华为技术有限公司 图像预测方法及相关装置
CN104796693A (zh) * 2015-04-01 2015-07-22 南京邮电大学 一种hevc快速cu深度划分编码方法
CN104837019A (zh) * 2015-04-30 2015-08-12 上海交通大学 基于支持向量机的avs到hevc优化视频转码方法
CN105430391A (zh) * 2015-12-04 2016-03-23 上海交通大学 基于逻辑回规分类器的帧内编码单元快速选择方法
US20170237999A1 (en) * 2016-02-17 2017-08-17 Qualcomm Incorporated Handling of end of bitstream nal units in l-hevc file format and improvements to hevc and l-hevc tile tracks
CN106303530A (zh) * 2016-10-20 2017-01-04 北京工业大学 一种融合视觉感知特性的码率控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUAN GUO等: "Quadtree Degeneration for HEVC", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
樊春晓 等: "一种HEVC帧内预测编码CU结构快速选择算法", 《光电子.激光》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788296A (zh) * 2018-12-25 2019-05-21 中山大学 用于hevc的帧间编码单元划分方法、装置和存储介质
CN111385576A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 视频编码方法、装置、移动终端及存储介质
CN109889842A (zh) * 2019-02-21 2019-06-14 北方工业大学 基于knn分类器的虚拟现实视频cu划分算法
CN109889842B (zh) * 2019-02-21 2022-02-08 北方工业大学 基于knn分类器的虚拟现实视频cu划分算法
CN110087087A (zh) * 2019-04-09 2019-08-02 同济大学 Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN110087087B (zh) * 2019-04-09 2023-05-12 同济大学 Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN110213584A (zh) * 2019-07-03 2019-09-06 北京电子工程总体研究所 基于纹理复杂度的编码单元分类方法和编码单元分类设备
CN110933410A (zh) * 2019-11-06 2020-03-27 北京佳讯飞鸿电气股份有限公司 Hevc视频帧间预测方法和装置
CN110933410B (zh) * 2019-11-06 2022-03-25 北京佳讯飞鸿电气股份有限公司 Hevc视频帧间预测方法和装置
CN116208756A (zh) * 2023-03-22 2023-06-02 南通大学 一种基于多层级特征融合的深度图快速编码方法

Also Published As

Publication number Publication date
CN107071496B (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN107071496A (zh) 一种h.265/hevc帧间编码单元深度快速选择方法
Li et al. OICSR: Out-in-channel sparsity regularization for compact deep neural networks
Jin et al. CNN oriented fast QTBT partition algorithm for JVET intra coding
CN111026548B (zh) 一种逆向深度强化学习的电力通信设备测试资源调度方法
CN105306947B (zh) 基于机器学习的视频转码方法
KR20120095869A (ko) 메시 모델을 인코딩하는 방법 및 장치, 인코딩된 메시 모델, 그리고 메시 모델을 디코딩하는 방법 및 장치
CN103402042B (zh) 基于分块式误差扩散的半色调图像生成方法
CN104333756B (zh) 基于时域相关性的hevc预测模式快速选择方法
Feng et al. Partition map prediction for fast block partitioning in vvc intra-frame coding
CN106162167A (zh) 基于学习的高效视频编码方法
CN108495135A (zh) 一种屏幕内容视频编码的快速编码方法
CN112508104A (zh) 一种基于快速网络架构搜索的跨任务图像分类方法
CN111796917A (zh) 算子运算调度方法和装置
Zhang et al. Fast CU decision-making algorithm based on DenseNet network for VVC
CN107371022A (zh) 应用于hevc医学影像无损编码的帧间编码单元快速划分方法
CN111931906A (zh) 一种基于结构搜索的深度神经网络混合精度量化方法
Qi et al. Learning low resource consumption cnn through pruning and quantization
CN110532291B (zh) 基于最小执行代价的深度学习框架间模型转换方法及系统
Yang et al. Searching for burgerformer with micro-meso-macro space design
CN116805218A (zh) 基于大数据分析的数字乡村规划信息管理方法及系统
CN110072114A (zh) 用于静态霍夫曼表生成的全并行频数生成电路结构与方法
CN116071352A (zh) 一种电力安全工器具表面缺陷图像的生成方法
CN110351561A (zh) 一种用于视频编码优化的高效强化学习训练方法
CN112308298A (zh) 一种面向半导体生产线的多场景性能指标预测方法及系统
CN110263917A (zh) 一种神经网络压缩方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200117