CN105163116B - 图像预测的方法及设备 - Google Patents
图像预测的方法及设备 Download PDFInfo
- Publication number
- CN105163116B CN105163116B CN201510543542.8A CN201510543542A CN105163116B CN 105163116 B CN105163116 B CN 105163116B CN 201510543542 A CN201510543542 A CN 201510543542A CN 105163116 B CN105163116 B CN 105163116B
- Authority
- CN
- China
- Prior art keywords
- unit
- basic exercise
- motion vector
- compensating unit
- exercise compensating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 239000013598 vector Substances 0.000 claims abstract description 228
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 147
- 238000007689 inspection Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 241000208340 Araliaceae Species 0.000 description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 description 5
- 235000008434 ginseng Nutrition 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种图像预测的方法及设备。该方法包括:获取图像单元的第一参考单元,所述图像单元和所述第一参考单元使用相同的仿射模型获取各自的预测图像;获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息,由此,复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
Description
技术领域
本发明涉及视频图像处理领域,尤其涉及图像预测的方法及设备。
背景技术
随着互联网科技的迅猛发展以及人们物质精神文化的日益丰富,在互联网中针对视频的应用需求尤其是针对高清视频的应用需求越来越多,而高清视频的数据量非常大,要想高清视频能在带宽有限的互联网中传输,必须首先解决的问题就是高清视频压缩编码问题。目前,国际上有两个国际组织专门进行视频编码标准的制定工作,即国际标准化组织(International Organization for Standardization,简称为“ISO”)/国际电工委员会(International Electrotechnical Commission,简称为“IEC”)下的运动图像专家组(Motion Picture Experts Group,简称为“MPEG”)和国际电信联盟电信标准化组(International Telecommunication Union-Telecommunication standardizationsector,简称为“ITU-T”)的视频编码专家组(Video Coding Experts Group,简称为“VCEG”)。成立于1986年的MPEG专门负责制定多媒体领域内的相关标准,主要应用于存储、广播电视、因特网或无线网上的流媒体等。ITU-T则主要制定面向实时视频通信领域的视频编码标准,如视频电话、视频会议等应用。
在过去的几十年里,国际上已经成功制定了面向各种应用的视频编码标准,主要包括:用于影音光碟(Video Compact Disc,简称为“VCD”)的MPEG-1标准,用于竖直多功能光盘(Digital Video Disc,简称为“DVD”)和数字视频广播(Digital VideoBroadcasting,简称为“DVB”)的MPEG-2标准,用于视频会议的H.261标准以及H.263标准、H.264标准,允许对任意形状的对象编码的MPEG-4标准,以及最新的高性能视频编码(HighEfficiency Video Coding,简称为“HEVC”)标准。
相比于最新的视频编码标准HEVC,对于包含旋转、缩放运动的序列,基于线性变化的运动矢量场的运动补偿预测技术可以显著提高编码性能,在现有的基于仿射变换的运动补偿预测技术中,在获得图像块的仿射变换参数后,要计算图像块内每个点的运动矢量,根据每个点的运动矢量做运动补偿预测,从而获取每个点的运动补偿预测信号。
基于仿射变换的运动模型是一种针对旋转、缩放运动进行有效编码的方法,待处理块中每个像素的运动矢量可以通过该块四个顶点的运动矢量推导出来。对于只存在旋转和缩放的运动,只需要获得待处理块的任意两个控制点的运动矢量即可获得仿射变换模型。所谓控制点利用其运动矢量计算仿射变换模型参数,进而计算获得当前块中每个像素点的运动矢量。将仿射运动预测模式的率失真代价与视频编码标准中的帧间预测模式的率失真代价进行比较,若仿射运动预测模式的率失真代价较小,则待处理块使用仿射运动预测模式进行编码,这样的块称为仿射运动预测块,对应的预测单元称为仿射运动预测单元。同时以4×4为基本单元存储仿射运动预测块四个顶点的运动信息和中心位置的运动信息,中心位置的运动矢量值为两个控制点运动矢量值得平均值,运动信息包括运动矢量,参考帧索引、预测方向等。
为提高编码效率,待处理块控制点的运动信息可以直接复用其相邻块的运动信息,而不需要进一步地使用相邻块的运动矢量作为搜索起始点进行运动搜索,也就无需编码运动矢量差值,节省了编码运动矢量差值所消耗的比特。这样的方法就需要当前块所复用的其相邻块的运动矢量信息的准确程度要求较高,而现有技术无法保证相邻块运动矢量信息的准确程度,从而无法提高编码效率。
发明内容
本发明提供了一种可以提高编码效率的图像预测的方法及设备。
第一方面,提供了一种图像预测的方法,包括:
获取图像单元的第一参考单元,该图像单元和该第一参考单元使用相同的仿射模型获取各自的预测图像;
获取该第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;
根据该运动信息,获取该图像单元的基本运动补偿单元的运动信息。
结合第一方面,在第一方面的第一种可能的实现方式中,获取图像单元的第一参考单元,包括:
按照预置的顺序,检查该图像单元的相邻预测单元是否使用该仿射模型获取预测图像;
若是,则停止该检查并将该预测单元作为该第一参考单元。
结合第一方面,在第一方面的第二种可能的实现方式中,预置位置是该第一参考单元中的单元角点位置。
结合第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式中的任一可能的实现方式,在第一方面的第三种可能的实现方式中,获取该第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息,包括:
获取该第一参考单元的三个预置位置的基本运动补偿单元的运动信息;
对应,根据该运动信息,获取该图像单元的基本运动补偿单元的运动信息,包括:
根据该第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取该图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,根据该第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取该图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量,包括:
赋予该图像单元的基本运动补偿单元和该第一参考单元的三个预置位置的基本运动补偿单元相同的预测方向;
赋予该图像单元的基本运动补偿单元和该第一参考单元的三个预置位置的基本运动补偿单元相同的参考帧索引;
根据该第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,根据该第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:vx=ax-by-e
vy=cx-dy-f
e=ax1-by1-vx1
f=cx1-dy1-vy1
其中,x和y分别为该图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为该第一参考单元的三个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量。
结合第一方面,第一方面的第一种可能的实现方式,第一方面的第二种可能的实现方式中的任一可能的实现方式,在第一方面的第六种可能的实现方式中,获取该第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息,包括:
获取该第一参考单元的两个预置位置的基本运动补偿单元的运动信息;
对应,根据该运动信息,获取该图像单元的基本运动补偿单元的运动信息,包括:根据该第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取该图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,根据该第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取该图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量,包括:
赋予该图像单元的基本运动补偿单元和该第一参考单元的两个预置位置的基本运动补偿单元相同的预测方向;
赋予该图像单元的基本运动补偿单元和该第一参考单元的两个预置位置的基本运动补偿单元相同的参考帧索引;
根据该第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量。
结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,根据该第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=a2x-a3y-a0
vy=a2y+a3x-a1
a0=a2x2-a3y2-vx2
a1=a2y2+a3x2-vy2
其中,x和y分别为该图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为该第一参考单元的两个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
第二方面,提供了一种图像预测的设备,包括:
第一获取模块,用于获取图像单元的第一参考单元,该图像单元和该第一参考单元使用相同的仿射模型获取各自的预测图像;
第二获取模块,用于获取该第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;
第三获取模块,用于根据该位置信息和运动信息,获取该图像单元的基本运动补偿单元的运动信息。
结合第二方面,在第二方面的第一种可能的实现方式中,第一获取模块用于:
按照预置的顺序,检查该图像单元的相邻预测单元是否使用该仿射模型获取预测图像;
若是,则停止该检查并将该预测单元作为该第一参考单元。
结合第二方面,在第二方面的第二种可能的实现方式中,预置位置是该第一参考单元中的单元角点位置。
结合第二方面,第二方面的第一种可能的实现方式,第二方面的第二种可能的实现方式中的任一可能的实现方式,在第二方面的第三种可能的实现方式中,第三获取模块用于:
获取该第一参考单元的三个预置位置的基本运动补偿单元的运动信息;
对应,根据该运动信息,获取该图像单元的基本运动补偿单元的运动信息,包括:
根据该第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取该图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,第三获取模块还用于:
赋予该图像单元的基本运动补偿单元和该第一参考单元的三个预置位置的基本运动补偿单元相同的预测方向;
赋予该图像单元的基本运动补偿单元和该第一参考单元的三个预置位置的基本运动补偿单元相同的参考帧索引;
根据该第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量。
结合第二方面的第四种可能的实现方式,在第二方面的第五种可能的实现方式中,根据该第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=ax-by-e
vy=cx-dy-f
e=ax1-by1-vx1
f=cx1-dy1-vy1
其中,x和y分别为该图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为该第一参考单元的三个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量。
结合第二方面,第二方面的第一种可能的实现方式,第二方面的第二种可能的实现方式中的任一可能的实现方式,在第二方面的第六种可能的实现方式中,第三获取模块用于:
获取该第一参考单元的两个预置位置的基本运动补偿单元的运动信息;
对应,根据该运动信息,获取该图像单元的基本运动补偿单元的运动信息,包括:
根据该第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取该图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
结合第二方面的第六种可能的实现方式,在第二方面的第七种可能的实现方式中,第三获取模块还用于:
赋予该图像单元的基本运动补偿单元和该第一参考单元的两个预置位置的基本运动补偿单元相同的预测方向;
赋予该图像单元的基本运动补偿单元和该第一参考单元的两个预置位置的基本运动补偿单元相同的参考帧索引;
根据该第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量。
结合第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,根据该第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取该图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:vx=a2x-a3y-a0
vy=a2y+a3x-a1
a0=a2x2-a3y2-vx2
a1=a2y2+a3x2-vy2
其中,x和y分别为该图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为该第一参考单元的两个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
基于上述技术方案,本发明实施例的图像预测的方法及设备,通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的图像预测的方法的示意性流程图;
图2是根据本发明实施例的候选预测单元的示意图;
图3是根据本发明实施例的仿射图像块及控制点的示意图;
图4是根据本发明实施例的图像预测的方法的另一示意性流程图;
图5是根据本发明实施例的图像预测的设备的示意性框图;
图6是根据本发明实施例的图像预测的设备的另一示意性框图;
图7是根据本发明实施例的图像预测的设备的另一示意性框图;
图8是根据本发明实施例的图像预测的设备的另一示意性框图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应理解,在本发明实施例中,采用两个预测单元控制点(4参数)的旋转缩放仿射模型,还可以采用三个预测单元控制点(6参数)的旋转缩放仿射模型,或者四个预测单元控制点(8参数)的透视仿射模型等,不作限定。
应理解,基本运动补偿单元是进行运动补偿的最小单元,在单元内具有统一的运动信息,在本发明实施例中,采用像素点作为基本运动补偿单元,也可以使用像素矩阵作为基本运动补偿单元等,不作限定。
应理解,在4参数仿射模型中,任意两个基本运动补偿单元的运动信息都可以插值出其所在的仿射预测单元内的所有运动补偿单元的运动信息。优选地,选择仿射预测单元的任意两个单元角点处的基本运动补偿单元能够获得更准确的插值运动信息。其中,单元角点的位置指的是仿射预测单元,也即第一参考单元,相邻的两边交汇的点,例如,若仿射预测单元为三角形时,单元角点指三角形的三个顶点,四边形时指四边形的四个顶点,以此类推。在本实施例中,为了描述简单,把插值出所在的仿射预测单元内的所有运动补偿单元的运动信息的基本运动补偿单元称为控制点。
本发明实施例提供一种图像预测方法,其通过解码器来实现,该方法具体包括:
获取图像单元的第一参考单元,其中,图像单元和所述第一参考单元使用相同的仿射模型获取各自的预测图像;
获取第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;根据运动信息,获取图像单元的基本运动补偿单元的运动信息。
本发明实施例的图像预测的方法及设备,通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
优选地,所述预置位置是第一参考单元中的单元角点位置,所谓角点位置是第一参考单元相邻的两边交汇的点。
优选地,获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息,示例性地,包括:
获取第一参考单元的三个预置位置的基本运动补偿单元的运动信息;对应,根据运动信息,获取图像单元的基本运动补偿单元的运动信息,包括:根据第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
其中,根据第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量,可以是:
赋予图像单元的基本运动补偿单元和第一参考单元的两个预置位置的基本运动补偿单元相同的预测方向;赋予图像单元的基本运动补偿单元和第一参考单元的两个预置位置的基本运动补偿单元相同的参考帧索引;根据第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取图像单元的基本运动补偿单元的运动矢量。
其中,根据第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=a2x-a3y-a0
vy=a2y+a3x-a1
a0=a2x2-a3y2-vx2
a1=a2y2+a3x2-vy2
其中,x和y分别为图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为第一参考单元的两个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量;
上述插值获取图像单元的基本运动补偿单元的运动矢量的公式是任意选择预置位置的第一参考单元的基本运动补偿单元的运动信息来完成插值的普遍的公式,在具体实施例中,根据不同的应用场景,该公式可以根据预置位置选择的特殊性进行简化,比如在本发明具体实施例中,预置位置选择为单元左上、左下和右上单元角点,则公式简化为:
其中,x和y分别为待处理块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为仿射预测单元的三个控制点的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量。
示例性地,还包括:
获取第一参考单元的两个预置位置的基本运动补偿单元的运动信息;对应,根据运动信息,获取图像单元的基本运动补偿单元的运动信息,包括:根据第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量;
根据第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=a2x-a3y-a0
vy=a2y+a3x-a1
a0=a2x2-a3y2-vx2
a1=a2y2+a3x2-vy2
其中,x和y分别为图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为第一参考单元的两个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
上述插值获取图像单元的基本运动补偿单元的运动矢量的公式是任意选择预置位置的第一参考单元的基本运动补偿单元的运动信息来完成插值的普遍的公式,在具体实施例中,根据不同的应用场景,该公式可以根据预置位置选择的特殊性进行简化,比如在本发明具体实施例中,预置位置选择为单元左上和右上单元角点,则公式简化为:
其中,x和y分别为待处理图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
此外,本发明还提供一种应用编码过程中的图像预测方法,该应用与编码过程中的图像预测方法与本发明提供的上述应用于解码过程中的图像预测方法相同,因此,可以获得相同的提升编码性能的效果。
以下通过具体的例子来说明本发明的具体实现方式。
图1示出了根据本发明实施例的图像预测方法的示意性流程图。图1所示的方法可以由解码设备执行,例如解码器。
具体地,如图1所示,方法1000包括:
S1100,读取码流,解析语法元素,该语法元素用来判断当前待处理块是否复用相邻块的仿射模型运动信息,当确定当前待处理块复用相邻块仿射模型运动信息时,继续步骤S1200。
S1200,确定作为当前待处理块参考的仿射运动预测单元。
该步骤的第一种具体实施方法1210,包括:
S1211,确定当前待处理块的候选预测单元集合。
如图2所示,本发明实施例中选择当前待处理块空间相邻A,B,C,D,E五个位置的4x4块分别所在的预测单元组成集合,应理解,也可以选择A,B,C,D,E中的其中几个位置,也可以选择其他时域相邻块所在的预测单元组成集合,不作限定。
S1212,按照预置的顺序,检查集合中的预测单元是否是仿射运动预测单元。
其中,预置的顺序为编、解码端通过协议预先确定并编、解码端保持一致的顺序,本发明实施例中预置的顺序为A,B,C,D,E,应理解,也可以为B,D,A,E,C等其它顺序,不作限定。
S1213,若检查到的预测单元是仿射运动预测单元,则停止检查,并将这个预测单元作为当前待处理块参考的仿射运动预测单元。
该步骤的第二种具体实施方法1220,包括:
S1221,确定当前待处理块的候选预测单元集合。
除了和S1211相同的集合确定方式之外,还可以包括,将上述集合中非仿射预测单元块移出集合,例如S1211的确定方式所确定的集合为A,B,C,D,E所在的预测单元,其中C,D所在的预测单元不是仿射预测单元,则将C,D从集合中移出,确定的候选预测单元集合为A,B,E所在的预测单元。
还可以包括,限制集合的容量,将检查顺序排在容许数量之外的候选预测单元移出集合,例如限定集合中最多有2个候选预测单元,S1211的确定方式和S1212的检查顺序所确定的集合及检查顺序为A,D,C,E,B,则将C,E,B从集合中移出,确定的候选预测单元集合为A,D所在的预测单元。应理解,也可以限定集合的容量为3,4,在大于0且小于等于S1211的确定方式所确定的最大数量的范围内不作限定。
上述两种集合的确定方式,还可以叠加使用。
S1222,读取码流,解析语法元素,该语法元素用来表示作为当前待处理块参考的仿射运动预测单元在候选预测单元集合中的索引信息。
S1223,根据索引信息,确定作为当前待处理块参考的仿射运动预测单元。
示例性的,如果候选预测单元集合中,包含两个候选预测单元A和B,则A的索引为0,B的索引为1。读取码流,解析索引信息,如果索引信息为0,则A所在的预测单元为当前待处理块参考的仿射运动预测单元,反之,则B所在的预测单元为当前待处理块参考的仿射运动预测单元。
S1300,获取仿射预测单元的控制点的位置信息和运动信息。
该步骤的第一种具体实施方法1310,包括:从仿射预测单元的四个控制点中任选三个控制点,获得它们的位置信息,运动矢量信息,预测方向和参考帧索引,其中由于同一仿射预测单元的所有像素点具有相同的预测方向和参考帧索引,所以所有控制点的预测方向和参考帧索引也相同。
该步骤的第二种具体实施方法1320,包括:从仿射预测单元的四个控制点中任选两个控制点,不妨称为第一和第二控制点,获得它们的位置信息,运动矢量信息,预测方向和参考帧索引,再从余下的两个控制点中,再任选一个控制点,不妨称为第三控制点,获得它的位置信息。可以根据第一和第二控制点推导第三控制点的运动矢量信息,通过如下方式获得:
其中,x和y分别为第三控制点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为第一和第二控制点的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
由于同一仿射预测单元的所有像素点具有相同的预测方向和参考帧索引,所以所有控制点的预测方向和参考帧索引也相同。第三控制点具有和第一、第二控制点相同的预测方向和参考帧索引。
根据上述两种具体的实施方式中的任意一种,在S1300步骤之后,获得了至少三个控制点的运动信息和位置信息。
如图3所示,本发明实施例选择了待处理块的相邻块A所在的仿射预测单元的左上(x2,y2)、右上(x3,y3)、左下(x4,y4)三个顶点所代表的控制点,在该实施例中,x2和x4相等,y2和y3相等。
应理解,控制点的选择是任意的,不作限定。
S1400,根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息。
该步骤的第一种具体实施方法1410,包括:
S1411,由于所有控制点的预测方向和参考帧索引相同,将任一控制点的预测方向和参考帧索引赋予待处理图像块的像素点。还可以通过解析码流,获得待处理块的参考帧信息,参考帧信息包括预测方向和参考帧索引。
S1412,根据S1300中获取的任意三个控制点的位置信息和运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为待处理块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为仿射预测单元的任意三个控制点的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量。
该步骤的第二种具体实施方法1420,包括:
S1421,由于所有控制点的预测方向和参考帧索引相同,将任一控制点的预测方向和参考帧索引赋予待处理图像块的像素点。还可以通过解析码流,获得待处理块的参考帧信息,参考帧信息包括预测方向和参考帧索引。
S1422,如图3所示,根据S1300中获取的任意三个控制点的位置信息和运动矢量,获取待处理块的任意两个控制点的运动矢量,通过如下方式实现:
其中,x0、x1和y0、y1分别为待处理图像块的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量,x2、x3、x4和y2、y3、y4分别为仿射预测单元的三个控制点的水平、竖直坐标,vx2、vx3、vx4和vy2、vy3、vy4为对应的水平、竖直运动矢量。
S1423,根据S1422中获取的两个控制点的运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为所述图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为所述仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
该步骤的第三种具体实施方法1430,包括:
S1431,由于所有控制点的预测方向和参考帧索引相同,将任一控制点的预测方向和参考帧索引赋予待处理图像块的像素点。还可以通过解析码流,获得待处理块的参考帧信息,参考帧信息包括预测方向和参考帧索引。
S1432,如图3所示,根据S1400中获取的任意三个控制点的位置信息和运动矢量,获取待处理图像块的任意两个控制点的运动矢量,通过如下方式实现:
其中,x0、x1和y0、y1分别为待处理图像块的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量,x2、x3、x4和y2、y3、y4分别为仿射预测单元的三个控制点的水平、竖直坐标,vx2、vx3、vx4和vy2、vy3、vy4为对应的水平、竖直运动矢量。
S1433,解析码流,获得待处理图像块的两个控制点的运动矢量的残差,将残差和根据S1432获得的两个控制点的运动矢量相加,得到更新后的待处理图像块的两个控制点的运动矢量。由于加入了残差,使更新后的运动矢量更准确。
S1434,根据S1433中获取的两个控制点的运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为待处理图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
S1500,根据获得的预测方向,参考帧索引和运动矢量,进行运动补偿,找到待处理图像块像素点的预测值,所有像素点的预测值组成待处理图像的预测图像。
应理解,在本发明实施例中,第一、第二、第三和第四只是为了区分像素点,而不应该对本发明的保护范围构成任何限定,例如,第一控制点也可以称为第二控制点,第二控制点可以成为第一控制点等。
还应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
还应理解,在采用6参数仿射变换模型或8参数仿射变换模型时,获得预测图像的方法和采用4参数仿射变换模型时的获得方法本质上是相同的,为了简便,在此不再赘述。
具体而言,解码端通过复用采用相同的仿射预模型的仿射预测单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
为了更好地证明本发明的有益效果,本发明实施例与现有技术中基于两个控制点的仿射变换模型的预测方法,在随机接入(Random Access),低时延(Low delay)的编码配置下进行性能对比,负值表示编码性能提升的百分比,正值表示编码性能下降的百分比。
表1仿射序列
可见,在随机接入低码率、随机接入高码率、低时延低码率和低时延高码率的测试条件下,本发明在复杂度基本保持不变的情况下,分别节省了2.7%,2.1%,5.7%和4.3%的码率,提高了编码效率。
以上结合图1至图3详细描述了根据本发明实施例的图像预测的方法在解码端的实现,下面将结合图2至图4详细描述根据本发明实施例的图像预测的方法在编码端的实现。应注意,编码端的有关操作本质上与解码端的一致,为了避免重复,在此不再赘述。
图4示出了根据本发明实施例的图像预测的方法的另一示意性流程图。图4所示的方法可以由编码设备执行,例如编码器。
具体地,如图4所示,方法2000包括:
S2100,确定作为当前待处理块参考的仿射运动预测单元。
该步骤的第一种具体实施方法2110,包括:
S2111,确定当前待处理块的候选预测单元集合。
如图2所示,本发明实施例中选择当前待处理块空间相邻A,B,C,D,E五个位置的4x4块分别所在的预测单元组成集合,应理解,也可以选择A,B,C,D,E中的其中几个位置,也可以选择其他时域相邻块所在的预测单元组成集合,不作限定。
S2112,按照预置的顺序,检查集合中的预测单元是否是仿射运动预测单元。
其中,预置的顺序为编、解码端通过协议预先确定并编、解码端保持一致的顺序,本发明实施例中预置的顺序为A,B,C,D,E,应理解,也可以为B,D,A,E,C等其它顺序,不作限定。
S2113,若检查到的预测单元是仿射运动预测单元,则停止检查,并将这个预测单元作为当前待处理块参考的仿射运动预测单元。
S2114,如果所有候选预测单元都不是仿射预测单元,编码语法元素,该语法元素用来表示当前待处理块不复用相邻块仿射预测信息,并停止执行后续步骤,否则继续执行后续步骤。
该步骤的第二种具体实施方法2120,包括:
S2121,确定当前待处理块的候选预测单元集合。
除了和S2111相同的集合确定方式之外,还可以包括,将上述集合中非仿射预测单元块移出集合,例如S1211的确定方式所确定的集合为A,B,C,D,E所在的预测单元,其中C,D所在的预测单元不是仿射预测单元,则将C,D从集合中移出,确定的候选预测单元集合为A,B,E所在的预测单元。
还可以包括,限制集合的容量,将检查顺序排在容许数量之外的候选预测单元移出集合,例如限定集合中最多有2个候选预测单元,S2111的确定方式和S2112的检查顺序所确定的集合及检查顺序为A,D,C,E,B,则将C,E,B从集合中移出,确定的候选预测单元集合为A,D所在的预测单元。应理解,也可以限定集合的容量为3,4,在大于0且小于等于S2111的确定方式所确定的最大数量的范围内不作限定。
上述两种集合的确定方式,还可以叠加使用。
S2122,如果所有候选预测单元都不是仿射预测单元,编码语法元素,该语法元素用来表示当前待处理块不复用相邻块仿射预测信息,并停止执行后续步骤,否则继续执行后续步骤。
S2123,为候选预测单元集合中的每一个候选预测单元赋予一个索引值,编、解码端通过协议预先确定每一个索引值所代表的候选预测单元,并编、解码端保持一致。
S2124,遍历候选预测单元集合中的每一个候选预测单元,按照后续步骤S2200至S2400处理,获得待处理块的预测图像,并且完成待处理块的编码。比较选择每一个候选预测矢量所带来的编码增益,选择编码增益最大的候选预测单元,作为待处理图像块参考的仿射运动预测单元。
示例性的,如果候选预测单元集合中,包含两个候选预测单元A和B,则A的索引为0,B的索引为1。如果以A为当前待处理块参考的仿射运动预测单元,完成后续处理步骤,得待处理块的预测图像,并且完成待处理块的编码,获得的增益最大,则以A为当前待处理块参考的仿射运动预测单元,反之,则B为当前待处理块参考的仿射运动预测单元。
应理解,为了提高编码速度,S2124步骤还可以用快速算法来替换,比如,可以选取候选预测单元集合中的部分候选预测单元,而不是全部候选预测单元进行遍历;还可以,不完成待处理块的完整编码过程,当得到预测图像以后,仅按照预测图像的准确度,选择能得到最准确预测图像的预测单元作为待处理块的参考的仿射运动预测单元。
S2200,获取仿射预测单元的控制点的位置信息和运动信息,该步骤与S1300一致,不再重复。
S2300,根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,该步骤与S1400一致,不再重复。
S2400,根据获得的预测方向,参考帧索引和运动矢量,进行运动补偿,找到待处理图像块像素点的预测值,所有像素点的预测值组成待处理图像的预测图像,该步骤与S1500一致,不再重复。
S2500,比较采用步骤S2100至S2400获得的预测图像完成编码的编码性能和采用其他方法获得预测图像完成编码的编码性能,选择编码增益最大的方法,作为编码预测图像的方法。
应理解,为了提高编码速度,S2500也可以采用S2124中描述的快速算法,不再重复。
S2600,如果采用步骤S2100至S2400获得的预测图像的方法在S2500中被采用,编码语法元素,该语法元素用来表示当前待处理块采用步骤S2100至S2400获得的预测图像的方法获得预测图像,并且编码另一个语法元素,该语法元素用来表示S2124中选择的预测单元的索引信息。
应理解,本发明实施例中的图像预测方法作为一种预测技术,同样可以和现有技术中的其他预测技术进行技术融合,比如使用多个参考帧进行预测的技术,不作限定。
具体而言,编码端通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
下面将结合图5详细描述本发明实施例的解码设备。如图5所示,该解码设备10包括:
第一获取模块11,用于获取图像单元的仿射运动预测单元;
第二获取模块12,用于获取该仿射运动预测单元的位置信息和运动信息;
第三获取模块13,用于根据该位置信息和运动信息,获取该图像单元的运动信息。
具体而言,编码端通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
在本发明实施例中,可选地,读取码流,解析语法元素,该语法元素用来判断当前待处理块是否复用相邻块的仿射模型运动信息,当确定当前待处理块复用相邻块仿射模型运动信息时,继续执行。
在本发明实施例中,可选地,第一获取模块11具体用于:确定作为当前待处理块参考的仿射运动预测单元,包括:确定当前待处理块的候选预测单元集合,按照预置的顺序,检查集合中的预测单元是否是仿射运动预测单元,若检查到的预测单元是仿射运动预测单元,则停止检查,并将这个预测单元作为当前待处理块参考的仿射运动预测单元;或者,确定当前待处理块的候选预测单元集合,读取码流,解析语法元素,该语法元素用来表示作为当前待处理块参考的仿射运动预测单元在候选预测单元集合中的索引信息,根据索引信息,确定作为当前待处理块参考的仿射运动预测单元。
在本发明实施例中,可选地,第二获取模块12具体用于:获取仿射预测单元的控制点的位置信息和运动信息,包括:从仿射预测单元的四个控制点中任选三个控制点,获得它们的位置信息,运动矢量信息,预测方向和参考帧索引;或者,从仿射预测单元的四个控制点中任选两个控制点,不妨称为第一和第二控制点,获得它们的位置信息,运动矢量信息,预测方向和参考帧索引,再从余下的两个控制点中,再任选一个控制点,不妨称为第三控制点,获得它的位置信息,可以根据第一和第二控制点推导第三控制点的运动矢量信息,通过如下方式获得:
其中,x和y分别为第三控制点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为第一和第二控制点的水平、竖直坐标,其中y1和y2相等,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
由于同一仿射预测单元的所有像素点具有相同的预测方向和参考帧索引,所以所有控制点的预测方向和参考帧索引也相同。第三控制点具有和第一、第二控制点相同的预测方向和参考帧索引。
在本发明实施例中,可选地,第三获取模块13具体用于:根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,包括:将任一控制点的预测方向和参考帧索引赋予待处理图像块的像素点,还可以通过解析码流,获得待处理块的参考帧信息,参考帧信息包括预测方向和参考帧索引。
在本发明实施例中,可选地,第三获取模块13具体用于:根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,包括:根据获取的任意三个控制点的位置信息和运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为待处理块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为仿射预测单元的任意三个控制点的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量;
或者,根据获取的任意三个控制点的位置信息和运动矢量,获取待处理块的任意两个控制点的运动矢量,通过如下方式实现:
其中,x0、x1和y0、y1分别为待处理图像块的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量,x0和y0分别为待处理图像块的一个控制点的水平、竖直坐标,x2、x3、x4和y2、y3、y4分别为仿射预测单元的三个控制点的水平、竖直坐标,vx2、vx3、vx4和vy2、vy3、vy4为对应的水平、竖直运动矢量。
根据获取的两个控制点的运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为所述图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为所述仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
或者,根据获取的任意三个控制点的位置信息和运动矢量,获取待处理图像块的任意两个控制点的运动矢量,通过如下方式实现:
其中,x0、x1和y0、y1分别为待处理图像块的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量,x2、x3、x4和y2、y3、y4分别为仿射预测单元的三个控制点的水平、竖直坐标,vx2、vx3、vx4和vy2、vy3、vy4为对应的水平、竖直运动矢量。
解析码流,获得待处理图像块的两个控制点的运动矢量的残差,将残差和获得的两个控制点的运动矢量相加,得到更新后的待处理图像块的两个控制点的运动矢量。
根据获取的两个控制点的运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为待处理图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
在本发明实施例中,可选地,第三获取模块13具体用于:根据获得的预测方向,参考帧索引和运动矢量,进行运动补偿,找到待处理图像块像素点的预测值,所有像素点的预测值组成待处理图像的预测图像。
应理解,根据本发明实施例的编码设备10可对应于执行本发明实施例中的图像预测的方法1000,并且编码设备10中的各个模块的上述和其它操作和/或功能分别为了实现图1中的各个方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的解码设备通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
下面将结合图6详细描述本发明实施例的编码设备。如图6所示,该编码设备20包括:
第一获取模块11,用于获取图像单元的仿射运动预测单元;
第二获取模块12,用于获取该仿射运动预测单元的位置信息和运动信息;
第三获取模块13,用于根据该位置信息和运动信息,获取该图像单元的运动信息。
具体而言,编码端通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
在本发明实施例中,可选地,该第一获取模块21具体用于:确定作为当前待处理块参考的仿射运动预测单元,包括:确定当前待处理块的候选预测单元集合,按照预置的顺序,检查集合中的预测单元是否是仿射运动预测单元,若检查到的预测单元是仿射运动预测单元,则停止检查,并将这个预测单元作为当前待处理块参考的仿射运动预测单元,如果所有候选预测单元都不是仿射预测单元,编码语法元素,该语法元素用来表示当前待处理块不复用相邻块仿射预测信息,并停止执行,否则继续执行;或者,确定当前待处理块的候选预测单元集合,如果所有候选预测单元都不是仿射预测单元,编码语法元素,该语法元素用来表示当前待处理块不复用相邻块仿射预测信息,并停止执行,否则继续执行,为候选预测单元集合中的每一个候选预测单元赋予一个索引值,编、解码端通过协议预先确定每一个索引值所代表的候选预测单元,并编、解码端保持一致,遍历候选预测单元集合中的每一个候选预测单元,获得待处理块的预测图像,并且完成待处理块的编码。比较选择每一个候选预测矢量所带来的编码增益,选择编码增益最大的候选预测单元,作为待处理图像块参考的仿射运动预测单元。
在本发明实施例中,可选地,该第二获取模块22具体用于:获取仿射预测单元的控制点的位置信息和运动信息,该模块与第二获取模块12作用相同,不再重复。
在本发明实施例中,可选地,该第三获取模块23具体用于:根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,该模块与第三获取模块13作用相同,不再重复。
在本发明实施例中,可选地,该第三获取模块23具体用于:根据获得的预测方向,参考帧索引和运动矢量,进行运动补偿,找到待处理图像块像素点的预测值,所有像素点的预测值组成待处理图像的预测图像,该模块与第三获取模块13作用相同,不再重复。
在本发明实施例中,可选地,比较采用本设备获得的预测图像完成编码的编码性能和采用其他设备获得预测图像完成编码的编码性能,选择编码增益最大的设备,作为编码预测图像的设备。
在本发明实施例中,可选地,如果采用本设备获得的预测图像被采用,编码语法元素,该语法元素用来表示本设备获得的预测图像的方法被采用,并且编码另一个语法元素,该语法元素用来表示被选择的预测单元的索引信息。
应理解,根据本发明实施例的编码设备20可对应于执行本发明实施例中的图像预测的方法2000,并且编码设备20中的各个模块的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的编码设备通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
如图7所示,本发明实施例还提供了一种解码设备30,包括处理器31、存储器32和总线系统33。其中,处理器31和存储器32通过总线系统33相连,该存储器32用于存储指令,该处理器31用于执行该存储器32存储的指令。解码设备30的存储器32存储程序代码,且处理器31可以调用存储器32中存储的程序代码执行以下操作:获取图像单元的第一参考单元,所述图像单元和所述第一参考单元使用相同的仿射模型获取各自的预测图像;获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息。
因此,本发明实施例的解码设备通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
应理解,在本发明实施例中,该处理器31可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器31还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器32可以包括只读存储器和随机存取存储器,并向处理器31提供指令和数据。存储器32的一部分还可以包括非易失性随机存取存储器。例如,存储器32还可以存储设备类型的信息。
该总线系统33除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统33。
在实现过程中,上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器32,处理器31读取存储器32中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
可选地,作为一个实施例,该处理器31具体用于:读取码流,解析语法元素,该语法元素用来判断当前待处理块是否复用相邻块的仿射模型运动信息,当确定当前待处理块复用相邻块仿射模型运动信息时,继续执行。
可选地,作为一个实施例,该处理器31具体用于:确定作为当前待处理块参考的仿射运动预测单元,包括:确定当前待处理块的候选预测单元集合,按照预置的顺序,检查集合中的预测单元是否是仿射运动预测单元,若检查到的预测单元是仿射运动预测单元,则停止检查,并将这个预测单元作为当前待处理块参考的仿射运动预测单元;或者,确定当前待处理块的候选预测单元集合,读取码流,解析语法元素,该语法元素用来表示作为当前待处理块参考的仿射运动预测单元在候选预测单元集合中的索引信息,根据索引信息,确定作为当前待处理块参考的仿射运动预测单元。
可选地,作为一个实施例,该处理器31具体用于:获取仿射预测单元的控制点的位置信息和运动信息,包括:从仿射预测单元的四个控制点中任选三个控制点,获得它们的位置信息,运动矢量信息,预测方向和参考帧索引;或者,从仿射预测单元的四个控制点中任选两个控制点,不妨称为第一和第二控制点,获得它们的位置信息,运动矢量信息,预测方向和参考帧索引,再从余下的两个控制点中,再任选一个控制点,不妨称为第三控制点,获得它的位置信息,可以根据第一和第二控制点推导第三控制点的运动矢量信息,通过如下方式获得:
其中,x和y分别为第三控制点的水平、竖直坐标,其中y1和y2相等vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为第一和第二控制点的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
由于同一仿射预测单元的所有像素点具有相同的预测方向和参考帧索引,所以所有控制点的预测方向和参考帧索引也相同。第三控制点具有和第一、第二控制点相同的预测方向和参考帧索引。
可选地,作为一个实施例,该处理器31具体用于:根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,包括:将任一控制点的预测方向和参考帧索引赋予待处理图像块的像素点,还可以通过解析码流,获得待处理块的参考帧信息,参考帧信息包括预测方向和参考帧索引。
可选地,作为一个实施例,该处理器31具体用于:根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,包括:根据获取的任意三个控制点的位置信息和运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为待处理块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0和y0分别为待处理图像块的一个控制点的水平、竖直坐标,x1、x2、x3和y1、y2、y3分别为仿射预测单元的任意三个控制点的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量;
或者,根据获取的任意三个控制点的位置信息和运动矢量,获取待处理块的任意两个控制点的运动矢量,通过如下方式实现:
其中,x0、x1和y0、y1分别为待处理图像块的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量,x2、x3、x4和y2、y3、y4分别为仿射预测单元的三个控制点的水平、竖直坐标,vx2、vx3、vx4和vy2、vy3、vy4为对应的水平、竖直运动矢量。
根据获取的两个控制点的运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为所述图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为所述仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
或者,根据获取的任意三个控制点的位置信息和运动矢量,获取待处理图像块的任意两个控制点的运动矢量,通过如下方式实现:
其中,x0、x1和y0、y1分别为待处理图像块的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量,x2、x3、x4和y2、y3、y4分别为仿射预测单元的三个控制点的水平、竖直坐标,vx2、vx3、vx4和vy2、vy3、vy4为对应的水平、竖直运动矢量。
解析码流,获得待处理图像块的两个控制点的运动矢量的残差,将残差和获得的两个控制点的运动矢量相加,得到更新后的待处理图像块的两个控制点的运动矢量。
根据获取的两个控制点的运动矢量,获取待处理图像块的像素点的运动矢量,通过如下方式实现:
其中,x和y分别为待处理图像块的像素点的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x0、x1和y0、y1分别为仿射预测单元的两个控制点的水平、竖直坐标,其中y0和y1相等,vx0、vx1和vy0、vy1为对应的水平、竖直运动矢量。
可选地,作为一个实施例,该处理器31具体用于:根据获得的预测方向,参考帧索引和运动矢量,进行运动补偿,找到待处理图像块像素点的预测值,所有像素点的预测值组成待处理图像的预测图像。
应理解,根据本发明实施例的解码设备30可对应于本发明实施例中的解码设备10,并可以对应于执行根据本发明实施例的方法1000中的相应主体,并且解码设备30中的各个模块的上述和其它操作和/或功能分别为了实现图1中的各个方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的解码设备通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
如图8所示,本发明实施例还提供了一种编码设备40,包括处理器41、存储器42和总线系统43。其中,处理器41和存储器42通过总线系统43相连,该存储器42用于存储指令,该处理器41用于执行该存储器42存储的指令。编码设备40的存储器42存储程序代码,且处理器41可以调用存储器42中存储的程序代码执行以下操作:获取图像单元的第一参考单元,所述图像单元和所述第一参考单元使用相同的仿射模型获取各自的预测图像;获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息。
因此,本发明实施例的编码设备通过通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
应理解,在本发明实施例中,该处理器41可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器41还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器42可以包括只读存储器和随机存取存储器,并向处理器41提供指令和数据。存储器42的一部分还可以包括非易失性随机存取存储器。例如,存储器42还可以存储设备类型的信息。
该总线系统43除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统43。
在实现过程中,上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器42,处理器41读取存储器42中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
可选地,作为一个实施例,该处理器41具体用于:确定作为当前待处理块参考的仿射运动预测单元,包括:确定当前待处理块的候选预测单元集合,按照预置的顺序,检查集合中的预测单元是否是仿射运动预测单元,若检查到的预测单元是仿射运动预测单元,则停止检查,并将这个预测单元作为当前待处理块参考的仿射运动预测单元,如果所有候选预测单元都不是仿射预测单元,编码语法元素,该语法元素用来表示当前待处理块不复用相邻块仿射预测信息,并停止执行,否则继续执行;或者,确定当前待处理块的候选预测单元集合,如果所有候选预测单元都不是仿射预测单元,编码语法元素,该语法元素用来表示当前待处理块不复用相邻块仿射预测信息,并停止执行,否则继续执行,为候选预测单元集合中的每一个候选预测单元赋予一个索引值,编、解码端通过协议预先确定每一个索引值所代表的候选预测单元,并编、解码端保持一致,遍历候选预测单元集合中的每一个候选预测单元,获得待处理块的预测图像,并且完成待处理块的编码。比较选择每一个候选预测矢量所带来的编码增益,选择编码增益最大的候选预测单元,作为待处理图像块参考的仿射运动预测单元。
可选地,作为一个实施例,该处理器41具体用于:获取仿射预测单元的控制点的位置信息和运动信息,该模块与处理器31作用相同,不再重复。
可选地,作为一个实施例,该处理器41具体用于:根据上述选择的三个控制点的位置信息和运动信息,获取所述图像块的像素点的运动信息,该模块与处理器31作用相同,不再重复。
可选地,作为一个实施例,该处理器41具体用于:根据获得的预测方向,参考帧索引和运动矢量,进行运动补偿,找到待处理图像块像素点的预测值,所有像素点的预测值组成待处理图像的预测图像,该模块与处理器31作用相同,不再重复。
可选地,作为一个实施例,该处理器41具体用于:比较采用本设备获得的预测图像完成编码的编码性能和采用其他设备获得预测图像完成编码的编码性能,选择编码增益最大的设备,作为编码预测图像的设备。
可选地,作为一个实施例,该处理器41具体用于:如果采用本设备获得的预测图像被采用,编码语法元素,该语法元素用来表示本设备获得的预测图像的方法被采用,并且编码另一个语法元素,该语法元素用来表示被选择的预测单元的索引信息。
应理解,根据本发明实施例的编码设备40可对应于本发明实施例中的编码设备20,并可以对应于执行根据本发明实施例的方法2000中的相应主体,并且编码设备40中的各个模块的上述和其它操作和/或功能分别为了实现图4中的各个方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的编码设备通过复用采用相同的仿射预模型的第一参考单元的运动信息,更为准确的获得当前图像单元的运动矢量,不需要编解码运动矢量差异,不需要额外的高精度运动矢量搜索,由此,提高了预测准确度的同时,维持了编解码的复杂度,提升编解码性能。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常可互换使用。应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称为“ROM”)、随机存取存储器(Random Access Memory,简称为“RAM”)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种图像预测的方法,其特征在于,包括:
获取图像单元的第一参考单元,所述图像单元和所述第一参考单元使用相同的仿射模型获取各自的预测图像;
获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;
根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息。
2.根据权利要求1所述的方法,其特征在于,所述获取图像单元的第一参考单元,包括:
按照预置的顺序,检查所述图像单元的相邻预测单元是否使用所述仿射模型获取预测图像;
若是,则停止所述检查并将所述预测单元作为所述第一参考单元。
3.根据权利要求1所述的方法,其特征在于,所述预置位置是所述第一参考单元中的单元角点位置。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息,包括:
获取所述第一参考单元的三个预置位置的基本运动补偿单元的运动信息;
对应,所述根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息,包括:
根据所述第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取所述图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取所述图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量,包括:
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的三个预置位置的基本运动补偿单元相同的预测方向;
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的三个预置位置的基本运动补偿单元相同的参考帧索引;
根据所述第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=ax-by-e
vy=cx-dy-f
e=ax1-by1-vx1
f=cx1-dy1-vy1
其中,x和y分别为所述图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为所述第一参考单元的三个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量。
7.根据权利要求1至3任一项所述的方法,其特征在于,所述获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息,包括:
获取所述第一参考单元的两个预置位置的基本运动补偿单元的运动信息;
对应,所述根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息,包括:
根据所述第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取所述图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取所述图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量,包括:
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的两个预置位置的基本运动补偿单元相同的预测方向;
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的两个预置位置的基本运动补偿单元相同的参考帧索引;
根据所述第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=a2x-a3y-a0
vy=a2y+a3x-a1
a0=a2x2-a3y2-vx2
a1=a2y2+a3x2-vy2
其中,x和y分别为所述图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为所述第一参考单元的两个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
10.一种图像预测的设备,其特征在于,包括:
第一获取模块,用于获取图像单元的第一参考单元,所述图像单元和所述第一参考单元使用相同的仿射模型获取各自的预测图像;
第二获取模块,用于获取所述第一参考单元的至少两个预置位置的基本运动补偿单元的运动信息;
第三获取模块,用于根据所述位置信息和运动信息,获取所述图像单元的基本运动补偿单元的运动信息。
11.根据权利要求10所述的设备,其特征在于,所述第一获取模块用于:
按照预置的顺序,检查所述图像单元的相邻预测单元是否使用所述仿射模型获取预测图像;
若是,则停止所述检查并将所述预测单元作为所述第一参考单元。
12.根据权利要求10所述的设备,其特征在于,所述预置位置是所述第一参考单元中的单元角点位置。
13.根据权利要求10至12任一项所述的设备,其特征在于,所述第三获取模块用于:
获取所述第一参考单元的三个预置位置的基本运动补偿单元的运动信息;
对应,所述根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息,包括:
根据所述第一参考单元的三个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取所述图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
14.根据权利要求13所述的设备,其特征在于,所述第三获取模块还用于:
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的三个预置位置的基本运动补偿单元相同的预测方向;
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的三个预置位置的基本运动补偿单元相同的参考帧索引;
根据所述第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量。
15.根据权利要求14所述的设备,其特征在于,所述根据所述第一参考单元的三个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=ax-by-e
vy=cx-dy-f
e=ax1-by1-vx1
f=cx1-dy1-vy1
其中,x和y分别为所述图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2、x3和y1、y2、y3分别为所述第一参考单元的三个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2、vx3和vy1、vy2、vy3为对应的水平、竖直运动矢量。
16.根据权利要求10至12任一项所述的设备,其特征在于,所述第三获取模块用于:
获取所述第一参考单元的两个预置位置的基本运动补偿单元的运动信息;
对应,所述根据所述运动信息,获取所述图像单元的基本运动补偿单元的运动信息,包括:
根据所述第一参考单元的两个预置位置的基本运动补偿单元的预测方向、参考帧索引和运动矢量,获取所述图像单元的基本运动补偿单元的预测方向、参考帧索引和运动矢量。
17.根据权利要求16所述的设备,其特征在于,所述第三获取模块还用于:
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的两个预置位置的基本运动补偿单元相同的预测方向;
赋予所述图像单元的基本运动补偿单元和所述第一参考单元的两个预置位置的基本运动补偿单元相同的参考帧索引;
根据所述第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量。
18.根据权利要求17所述的设备,其特征在于,所述根据所述第一参考单元的两个预置位置的基本运动补偿单元的运动矢量,插值获取所述图像单元的基本运动补偿单元的运动矢量,通过如下方式实现:
vx=a2x-a3y-a0
vy=a2y+a3x-a1
a0=a2x2-a3y2-vx2
a1=a2y2+a3x2-vy2
其中,x和y分别为所述图像单元的基本运动补偿单元的水平、竖直坐标,vx和vy为对应的水平、竖直运动矢量,x1、x2和y1、y2分别为所述第一参考单元的两个预置位置的基本运动补偿单元的水平、竖直坐标,vx1、vx2和vy1、vy2为对应的水平、竖直运动矢量。
Priority Applications (45)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810596891.XA CN108600749B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
CN201510543542.8A CN105163116B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
CN201810596855.3A CN108965869B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
HUE15902849A HUE063094T2 (hu) | 2015-08-29 | 2015-12-31 | Kép predikciós módszer és eszköz |
RU2018110829A RU2693904C1 (ru) | 2015-08-29 | 2015-12-31 | Способ и устройство предсказания изображения |
KR1020217022988A KR102408277B1 (ko) | 2015-08-29 | 2015-12-31 | 이미지 예측 방법 및 장치 |
BR122020023963-8A BR122020023963B1 (pt) | 2015-08-29 | 2015-12-31 | Método para inter-predição de um bloco de imagem atual, codificador e decodificador |
PL15902849.7T PL3331242T3 (pl) | 2015-08-29 | 2015-12-31 | Sposób i urządzenie do predykcji obrazu |
KR1020207021446A KR102281830B1 (ko) | 2015-08-29 | 2015-12-31 | 이미지 예측 방법 및 장치 |
ES15902849T ES2946901T3 (es) | 2015-08-29 | 2015-12-31 | Método y dispositivo de predicción de imágenes |
EP23172262.0A EP4274226A1 (en) | 2015-08-29 | 2015-12-31 | Image prediction method and device |
HRP20230509TT HRP20230509T1 (hr) | 2015-08-29 | 2015-12-31 | Postupak i uređaj za predviđanje slike |
RU2019117128A RU2714362C2 (ru) | 2015-08-29 | 2015-12-31 | Способ и устройство предсказания изображения |
AU2015407876A AU2015407876B2 (en) | 2015-08-29 | 2015-12-31 | Image prediction method and device |
SG10202106076VA SG10202106076VA (en) | 2015-08-29 | 2015-12-31 | Image prediction method and device |
MX2018002414A MX2018002414A (es) | 2015-08-29 | 2015-12-31 | Metodo y dispositivo de prediccion de imagen. |
FIEP15902849.7T FI3331242T3 (fi) | 2015-08-29 | 2015-12-31 | Kuvan ennustusmenetelmä ja laite |
MX2021003044A MX2021003044A (es) | 2015-08-29 | 2015-12-31 | Método y dispositivo de predicción de imagen. |
SG10202106074TA SG10202106074TA (en) | 2015-08-29 | 2015-12-31 | Image prediction method and device |
BR122020023970-0A BR122020023970B1 (pt) | 2015-08-29 | 2015-12-31 | Método para inter-predição de um bloco de imagem atual e decodificador |
KR1020187006066A KR102138931B1 (ko) | 2015-08-29 | 2015-12-31 | 이미지 예측 방법 및 장치 |
MX2021003042A MX2021003042A (es) | 2015-08-29 | 2015-12-31 | Método y dispositivo de predicción de imagen. |
PCT/CN2015/100091 WO2017036045A1 (zh) | 2015-08-29 | 2015-12-31 | 图像预测的方法及设备 |
EP15902849.7A EP3331242B1 (en) | 2015-08-29 | 2015-12-31 | Image prediction method and device |
SG11201800920QA SG11201800920QA (en) | 2015-08-29 | 2015-12-31 | Image prediction method and device |
PT159028497T PT3331242T (pt) | 2015-08-29 | 2015-12-31 | Método e dispositivo para predição de imagem |
SI201531945T SI3331242T1 (sl) | 2015-08-29 | 2015-12-31 | Postopek in naprava za napovedovanje slik |
KR1020217022989A KR102408278B1 (ko) | 2015-08-29 | 2015-12-31 | 이미지 예측 방법 및 장치 |
JP2018505411A JP6669855B2 (ja) | 2015-08-29 | 2015-12-31 | イメージ予測方法および装置 |
LTEPPCT/CN2015/100091T LT3331242T (lt) | 2015-08-29 | 2015-12-31 | Vaizdo prognozavimo būdas ir prietaisas |
BR112018003653-6A BR112018003653B1 (pt) | 2015-08-29 | 2015-12-31 | Método de predição de imagem e dispositivo de predição de imagem |
DK15902849.7T DK3331242T3 (da) | 2015-08-29 | 2015-12-31 | Fremgangsmåde og enhed til billedforudsigelse |
US15/906,418 US10880543B2 (en) | 2015-08-29 | 2018-02-27 | Image prediction method and device |
AU2019229381A AU2019229381B2 (en) | 2015-08-29 | 2019-09-12 | Image prediction method and device |
RU2020102708A RU2020102708A (ru) | 2015-08-29 | 2020-01-23 | Способ и устройство предсказания изображения |
JP2020031922A JP7237874B2 (ja) | 2015-08-29 | 2020-02-27 | イメージ予測方法および装置 |
US17/114,329 US11368678B2 (en) | 2015-08-29 | 2020-12-07 | Image prediction method and device |
AU2021203875A AU2021203875A1 (en) | 2015-08-29 | 2021-06-10 | Image prediction method and device |
AU2021212103A AU2021212103B2 (en) | 2015-08-29 | 2021-08-06 | Image prediction method and device |
AU2021212122A AU2021212122B2 (en) | 2015-08-29 | 2021-08-06 | Image prediction method and device |
ZA2021/09389A ZA202109389B (en) | 2015-08-29 | 2021-11-23 | Image prediction method and device |
ZA2021/09388A ZA202109388B (en) | 2015-08-29 | 2021-11-23 | Image prediction method and device |
US17/827,398 US11979559B2 (en) | 2015-08-29 | 2022-05-27 | Image prediction method and device |
ZA2022/10346A ZA202210346B (en) | 2015-08-29 | 2022-09-19 | Image prediction method and device |
US18/624,948 US20240333913A1 (en) | 2015-08-29 | 2024-04-02 | Image prediction method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510543542.8A CN105163116B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810596855.3A Division CN108965869B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
CN201810596891.XA Division CN108600749B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105163116A CN105163116A (zh) | 2015-12-16 |
CN105163116B true CN105163116B (zh) | 2018-07-31 |
Family
ID=54803857
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810596855.3A Active CN108965869B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
CN201810596891.XA Active CN108600749B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
CN201510543542.8A Active CN105163116B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810596855.3A Active CN108965869B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
CN201810596891.XA Active CN108600749B (zh) | 2015-08-29 | 2015-08-29 | 图像预测的方法及设备 |
Country Status (21)
Country | Link |
---|---|
US (4) | US10880543B2 (zh) |
EP (2) | EP3331242B1 (zh) |
JP (2) | JP6669855B2 (zh) |
KR (4) | KR102408277B1 (zh) |
CN (3) | CN108965869B (zh) |
AU (5) | AU2015407876B2 (zh) |
BR (3) | BR122020023963B1 (zh) |
DK (1) | DK3331242T3 (zh) |
ES (1) | ES2946901T3 (zh) |
FI (1) | FI3331242T3 (zh) |
HR (1) | HRP20230509T1 (zh) |
HU (1) | HUE063094T2 (zh) |
LT (1) | LT3331242T (zh) |
MX (3) | MX2021003042A (zh) |
PL (1) | PL3331242T3 (zh) |
PT (1) | PT3331242T (zh) |
RU (3) | RU2714362C2 (zh) |
SG (3) | SG10202106076VA (zh) |
SI (1) | SI3331242T1 (zh) |
WO (1) | WO2017036045A1 (zh) |
ZA (3) | ZA202109388B (zh) |
Families Citing this family (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965869B (zh) * | 2015-08-29 | 2023-09-12 | 华为技术有限公司 | 图像预测的方法及设备 |
CN106559669B (zh) | 2015-09-29 | 2018-10-09 | 华为技术有限公司 | 预测图像编解码方法及装置 |
CN108886619A (zh) * | 2016-01-07 | 2018-11-23 | 联发科技股份有限公司 | 用于视频编解码系统的仿射合并模式预测的方法及装置 |
CN107046645B9 (zh) * | 2016-02-06 | 2020-08-14 | 华为技术有限公司 | 图像编解码方法及装置 |
CN108702509B (zh) * | 2016-02-25 | 2023-10-31 | 株式会社Kt | 用于处理视频信号的方法和设备 |
WO2017147765A1 (en) * | 2016-03-01 | 2017-09-08 | Mediatek Inc. | Methods for affine motion compensation |
WO2017156705A1 (en) * | 2016-03-15 | 2017-09-21 | Mediatek Inc. | Affine prediction for video coding |
CN108781284B (zh) * | 2016-03-15 | 2021-09-07 | 联发科技股份有限公司 | 具有仿射运动补偿的视频编解码的方法及装置 |
WO2017164441A1 (ko) | 2016-03-24 | 2017-09-28 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인터 예측 방법 및 장치 |
CN109417625B (zh) * | 2016-05-05 | 2023-02-28 | 交互数字麦迪逊专利控股公司 | 编码或解码视频的装置及方法 |
CN109076234A (zh) * | 2016-05-24 | 2018-12-21 | 华为技术有限公司 | 图像预测方法和相关设备 |
US11089323B2 (en) * | 2016-05-28 | 2021-08-10 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding |
US10778999B2 (en) * | 2016-09-30 | 2020-09-15 | Qualcomm Incorporated | Frame rate up-conversion coding mode with affine motion model |
CN108271023B (zh) * | 2017-01-04 | 2021-11-19 | 华为技术有限公司 | 图像预测方法和相关设备 |
US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
WO2019004283A1 (ja) * | 2017-06-28 | 2019-01-03 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
US11082721B2 (en) | 2017-09-07 | 2021-08-03 | Lg Electronics Inc. | Method and apparatus for entropy-encoding and entropy-decoding video signal |
CN109510991B (zh) * | 2017-09-15 | 2021-02-19 | 浙江大学 | 一种运动矢量导出方法及装置 |
EP3468195A1 (en) * | 2017-10-05 | 2019-04-10 | Thomson Licensing | Improved predictor candidates for motion compensation |
JP6910461B2 (ja) * | 2017-10-27 | 2021-07-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 符号化装置、復号装置、符号化方法及び復号方法 |
CN109729352B (zh) | 2017-10-27 | 2020-07-21 | 华为技术有限公司 | 确定仿射编码块的运动矢量的方法和装置 |
US11889100B2 (en) | 2017-11-14 | 2024-01-30 | Qualcomm Incorporated | Affine motion vector prediction in video coding |
US20190208211A1 (en) * | 2018-01-04 | 2019-07-04 | Qualcomm Incorporated | Generated affine motion vectors |
CN108449599B (zh) * | 2018-03-23 | 2021-05-18 | 安徽大学 | 一种基于面透射变换的视频编码与解码方法 |
EP4440113A2 (en) | 2018-04-01 | 2024-10-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image coding method based on affine motion prediction, and device for same |
EP4351146A3 (en) * | 2018-04-13 | 2024-06-12 | LG Electronics Inc. | Method and apparatus for inter prediction in video processing system |
WO2019199106A1 (ko) * | 2018-04-14 | 2019-10-17 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치 |
WO2019199152A1 (ko) * | 2018-04-14 | 2019-10-17 | 엘지전자 주식회사 | 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
CN112567749B (zh) * | 2018-06-18 | 2024-03-26 | Lg电子株式会社 | 使用仿射运动预测来处理视频信号的方法和装置 |
WO2019244051A1 (en) | 2018-06-19 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Selected mvd precision without mvp truncation |
MX2021000171A (es) * | 2018-07-02 | 2022-11-01 | Huawei Tech Co Ltd | Método de predicción de vector de movimiento y aparato relacionado. |
KR20230165377A (ko) * | 2018-07-02 | 2023-12-05 | 엘지전자 주식회사 | 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치 |
KR102639425B1 (ko) * | 2018-07-11 | 2024-02-21 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 |
US11051025B2 (en) | 2018-07-13 | 2021-06-29 | Tencent America LLC | Method and apparatus for video coding |
WO2020038232A1 (zh) * | 2018-08-21 | 2020-02-27 | 华为技术有限公司 | 一种图像块的运动信息的预测方法及装置 |
CN110868587B (zh) | 2018-08-27 | 2023-10-20 | 华为技术有限公司 | 一种视频图像预测方法及装置 |
CN116668719A (zh) * | 2018-09-06 | 2023-08-29 | Lg电子株式会社 | 图像解码方法、图像编码方法、存储介质和发送方法 |
CN110891176B (zh) | 2018-09-10 | 2023-01-13 | 华为技术有限公司 | 基于仿射运动模型的运动矢量预测方法及设备 |
JP7212150B2 (ja) | 2018-09-19 | 2023-01-24 | 北京字節跳動網絡技術有限公司 | 適応動きベクトル解像度によるアフィンモードへの構文の使用 |
TWI832904B (zh) * | 2018-09-23 | 2024-02-21 | 大陸商北京字節跳動網絡技術有限公司 | 仿射模式的複雜度降低 |
TWI822862B (zh) | 2018-09-23 | 2023-11-21 | 大陸商北京字節跳動網絡技術有限公司 | 8參數仿射模型 |
WO2020058957A1 (en) * | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | General applications related to affine motion |
CN110971899B (zh) * | 2018-10-01 | 2021-06-01 | 华为技术有限公司 | 一种确定运动信息的方法、帧间预测方法及装置 |
WO2020084474A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Gradient computation in bi-directional optical flow |
WO2020085953A1 (en) * | 2018-10-25 | 2020-04-30 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods for inter prediction |
JP7352625B2 (ja) * | 2018-10-29 | 2023-09-28 | 華為技術有限公司 | ビデオピクチャ予測方法及び装置 |
JP7334246B2 (ja) | 2018-11-12 | 2023-08-28 | 北京字節跳動網絡技術有限公司 | インター-イントラ複合予測の簡単化 |
CN113170105B (zh) | 2018-11-16 | 2024-11-05 | 北京字节跳动网络技术有限公司 | 基于历史的仿射参数继承 |
WO2020103852A1 (en) | 2018-11-20 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Difference calculation based on patial position |
WO2020114515A1 (en) * | 2018-12-08 | 2020-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Reducing the in-ctu storage required by affine inheritance |
WO2020119783A1 (en) * | 2018-12-14 | 2020-06-18 | Beijing Bytedance Network Technology Co., Ltd. | High accuracy of mv position |
CN111355961B (zh) * | 2018-12-24 | 2023-11-03 | 华为技术有限公司 | 一种帧间预测的方法和装置 |
WO2020133115A1 (zh) * | 2018-12-27 | 2020-07-02 | Oppo广东移动通信有限公司 | 编码预测方法、装置及计算机存储介质 |
CN113412623A (zh) | 2019-01-31 | 2021-09-17 | 北京字节跳动网络技术有限公司 | 记录仿射模式自适应运动矢量分辨率的上下文 |
WO2020156517A1 (en) | 2019-01-31 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Fast algorithms for symmetric motion vector difference coding mode |
CN113439444A (zh) * | 2019-02-02 | 2021-09-24 | 北京字节跳动网络技术有限公司 | 用于仿射的多hmvp |
CN113491125A (zh) | 2019-02-22 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 基于历史的仿射模式子表 |
EP3935849A1 (en) * | 2019-03-05 | 2022-01-12 | Vid Scale, Inc. | Affine motion model derivation method |
JP2022521554A (ja) | 2019-03-06 | 2022-04-08 | 北京字節跳動網絡技術有限公司 | 変換された片予測候補の利用 |
CN113992916B (zh) * | 2019-03-25 | 2023-06-27 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
WO2020219965A1 (en) * | 2019-04-25 | 2020-10-29 | Op Solutions, Llc | Efficient coding of global motion vectors |
CN113596463A (zh) * | 2019-09-23 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 编解码方法方法、装置及设备 |
CN114830665B (zh) | 2019-09-30 | 2023-08-04 | 华为技术有限公司 | 仿射运动模型限制 |
CN114503558B (zh) * | 2019-09-30 | 2023-10-20 | 华为技术有限公司 | 插值滤波器在仿射运动补偿中的适应性使用 |
KR20220123707A (ko) | 2020-01-07 | 2022-09-08 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 강화된 보간 필터에 대한 움직임 벡터 범위 도출 |
CN113068041B (zh) * | 2021-03-12 | 2022-02-08 | 天津大学 | 一种智能仿射运动补偿编码方法 |
CN114584792A (zh) * | 2021-10-13 | 2022-06-03 | 同济大学 | 点预测中定期更新点矢量的值的数据编码解码方法及装置 |
WO2024207456A1 (zh) * | 2023-04-07 | 2024-10-10 | Oppo广东移动通信有限公司 | 编解码方法、编码器、解码器、码流以及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104363451A (zh) * | 2014-10-27 | 2015-02-18 | 华为技术有限公司 | 图像预测方法及相关装置 |
CN104539966A (zh) * | 2014-09-30 | 2015-04-22 | 华为技术有限公司 | 图像预测方法及相关装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9920256D0 (en) * | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
AU2002228884A1 (en) * | 2000-11-03 | 2002-05-15 | Compression Science | Video data compression system |
US7616782B2 (en) * | 2004-05-07 | 2009-11-10 | Intelliview Technologies Inc. | Mesh based frame processing and applications |
WO2006034308A2 (en) * | 2004-09-21 | 2006-03-30 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
US8693540B2 (en) * | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
CN100486336C (zh) * | 2006-09-21 | 2009-05-06 | 上海大学 | 基于h.264压缩域运动对象实时分割方法 |
KR101366242B1 (ko) * | 2007-03-29 | 2014-02-20 | 삼성전자주식회사 | 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 |
WO2009096721A2 (en) * | 2008-01-29 | 2009-08-06 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
US8665958B2 (en) * | 2008-01-29 | 2014-03-04 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
CN101605256A (zh) * | 2008-06-12 | 2009-12-16 | 华为技术有限公司 | 一种视频编解码的方法及装置 |
RU2421814C2 (ru) * | 2009-02-20 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ формирования составного изображения |
WO2011013253A1 (ja) * | 2009-07-31 | 2011-02-03 | 株式会社 東芝 | 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置 |
US8411750B2 (en) * | 2009-10-30 | 2013-04-02 | Qualcomm Incorporated | Global motion parameter estimation using block-based motion vectors |
CN101771878B (zh) * | 2010-01-14 | 2011-05-25 | 广西大学 | 面向全景视频编码的自适应选择全局运动估计方法 |
JP5686018B2 (ja) * | 2010-05-21 | 2015-03-18 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法および画像符号化プログラム |
US9241160B2 (en) | 2010-07-21 | 2016-01-19 | Dolby Laboratories Licensing Corporation | Reference processing using advanced motion models for video coding |
US9503720B2 (en) | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
EP2842334B1 (en) | 2012-07-05 | 2019-02-20 | MediaTek Inc. | Method and apparatus of unified disparity vector derivation for 3d video coding |
EP2920962A4 (en) | 2012-11-13 | 2016-07-20 | Intel Corp | ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO |
WO2016008157A1 (en) * | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
CN109005407B (zh) * | 2015-05-15 | 2023-09-01 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
WO2017022973A1 (ko) * | 2015-08-04 | 2017-02-09 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인터 예측 방법 및 장치 |
CN114866768A (zh) * | 2015-08-07 | 2022-08-05 | Lg 电子株式会社 | 视频编译系统中的帧间预测方法和装置 |
CN108965869B (zh) * | 2015-08-29 | 2023-09-12 | 华为技术有限公司 | 图像预测的方法及设备 |
-
2015
- 2015-08-29 CN CN201810596855.3A patent/CN108965869B/zh active Active
- 2015-08-29 CN CN201810596891.XA patent/CN108600749B/zh active Active
- 2015-08-29 CN CN201510543542.8A patent/CN105163116B/zh active Active
- 2015-12-31 SI SI201531945T patent/SI3331242T1/sl unknown
- 2015-12-31 ES ES15902849T patent/ES2946901T3/es active Active
- 2015-12-31 MX MX2021003042A patent/MX2021003042A/es unknown
- 2015-12-31 PT PT159028497T patent/PT3331242T/pt unknown
- 2015-12-31 DK DK15902849.7T patent/DK3331242T3/da active
- 2015-12-31 WO PCT/CN2015/100091 patent/WO2017036045A1/zh active Application Filing
- 2015-12-31 SG SG10202106076VA patent/SG10202106076VA/en unknown
- 2015-12-31 BR BR122020023963-8A patent/BR122020023963B1/pt active IP Right Grant
- 2015-12-31 KR KR1020217022988A patent/KR102408277B1/ko active IP Right Grant
- 2015-12-31 HU HUE15902849A patent/HUE063094T2/hu unknown
- 2015-12-31 JP JP2018505411A patent/JP6669855B2/ja active Active
- 2015-12-31 SG SG11201800920QA patent/SG11201800920QA/en unknown
- 2015-12-31 FI FIEP15902849.7T patent/FI3331242T3/fi active
- 2015-12-31 HR HRP20230509TT patent/HRP20230509T1/hr unknown
- 2015-12-31 LT LTEPPCT/CN2015/100091T patent/LT3331242T/lt unknown
- 2015-12-31 AU AU2015407876A patent/AU2015407876B2/en active Active
- 2015-12-31 EP EP15902849.7A patent/EP3331242B1/en active Active
- 2015-12-31 KR KR1020187006066A patent/KR102138931B1/ko active IP Right Grant
- 2015-12-31 KR KR1020217022989A patent/KR102408278B1/ko active IP Right Grant
- 2015-12-31 RU RU2019117128A patent/RU2714362C2/ru active
- 2015-12-31 RU RU2018110829A patent/RU2693904C1/ru active
- 2015-12-31 MX MX2021003044A patent/MX2021003044A/es unknown
- 2015-12-31 BR BR112018003653-6A patent/BR112018003653B1/pt active IP Right Grant
- 2015-12-31 KR KR1020207021446A patent/KR102281830B1/ko active IP Right Grant
- 2015-12-31 MX MX2018002414A patent/MX2018002414A/es unknown
- 2015-12-31 PL PL15902849.7T patent/PL3331242T3/pl unknown
- 2015-12-31 EP EP23172262.0A patent/EP4274226A1/en active Pending
- 2015-12-31 BR BR122020023970-0A patent/BR122020023970B1/pt active IP Right Grant
- 2015-12-31 SG SG10202106074TA patent/SG10202106074TA/en unknown
-
2018
- 2018-02-27 US US15/906,418 patent/US10880543B2/en active Active
-
2019
- 2019-09-12 AU AU2019229381A patent/AU2019229381B2/en active Active
-
2020
- 2020-01-23 RU RU2020102708A patent/RU2020102708A/ru unknown
- 2020-02-27 JP JP2020031922A patent/JP7237874B2/ja active Active
- 2020-12-07 US US17/114,329 patent/US11368678B2/en active Active
-
2021
- 2021-06-10 AU AU2021203875A patent/AU2021203875A1/en not_active Abandoned
- 2021-08-06 AU AU2021212103A patent/AU2021212103B2/en active Active
- 2021-08-06 AU AU2021212122A patent/AU2021212122B2/en active Active
- 2021-11-23 ZA ZA2021/09388A patent/ZA202109388B/en unknown
- 2021-11-23 ZA ZA2021/09389A patent/ZA202109389B/en unknown
-
2022
- 2022-05-27 US US17/827,398 patent/US11979559B2/en active Active
- 2022-09-19 ZA ZA2022/10346A patent/ZA202210346B/en unknown
-
2024
- 2024-04-02 US US18/624,948 patent/US20240333913A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539966A (zh) * | 2014-09-30 | 2015-04-22 | 华为技术有限公司 | 图像预测方法及相关装置 |
CN104363451A (zh) * | 2014-10-27 | 2015-02-18 | 华为技术有限公司 | 图像预测方法及相关装置 |
Non-Patent Citations (2)
Title |
---|
An Affine Motion Compensation Framework for High Efficiency Video Coding;Li Li et al.;《ISCAS 2015》;20150527;全文 * |
HEVC帧间_帧内预测及优化技术研究;黄晗;《中国博士学位论文全文数据库信息科技辑》;20140615(第6期);第62-63页,图4.12 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105163116B (zh) | 图像预测的方法及设备 | |
CN106303543B (zh) | 视频图像编码和解码的方法、编码设备和解码设备 | |
CN107113414B (zh) | 使用区域自适应平滑的360度视频的编码 | |
US9955184B2 (en) | Video coding and decoding methods and apparatuses | |
CN108271023B (zh) | 图像预测方法和相关设备 | |
KR102587638B1 (ko) | 비디오 코딩을 위해 이웃 블록 패턴을 이용하는 모션 추정 방법 및 시스템 | |
CN102857764A (zh) | 帧内预测模式处理的方法和装置 | |
CN103686165A (zh) | 深度图像帧内编解码方法及视频编解码器 | |
CN104718758A (zh) | 变换域帧内预测 | |
CN106331700B (zh) | 参考图像编码和解码的方法、编码设备和解码设备 | |
CN102857746A (zh) | 环路滤波编解码方法及装置 | |
CN105812797B (zh) | 一种编码单元选择方法及装置 | |
CN113170109A (zh) | 视频编码/解码中通用预测的统一化的处理和语法 | |
CN110324668A (zh) | 图像块编码中的变换方法、解码中的反变换方法及装置 | |
CN113596429B (zh) | 像素点对选择方法、设备及计算机可读存储介质 | |
KR20220035108A (ko) | 행렬 기반 인트라 예측을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치 | |
CN101287124B (zh) | 一种视频解码装置和方法 | |
CN103260019B (zh) | 帧内图像预测编解码方法及视频编解码器 | |
RU2808688C2 (ru) | Способ и устройство предсказания изображения | |
RU2809673C2 (ru) | Способ и устройство предсказания изображения | |
CN103379323A (zh) | 一种先进运动矢量预测amvp的并行实现方法、装置及系统 | |
Stabernack et al. | An MPEG-4 video codec SOC for mobile multimedia applications | |
KR20170033475A (ko) | 적응적 참조 구조 결정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |