CN106688235B - 非因果预测的信号编码方法、解码方法 - Google Patents
非因果预测的信号编码方法、解码方法 Download PDFInfo
- Publication number
- CN106688235B CN106688235B CN201580038387.2A CN201580038387A CN106688235B CN 106688235 B CN106688235 B CN 106688235B CN 201580038387 A CN201580038387 A CN 201580038387A CN 106688235 B CN106688235 B CN 106688235B
- Authority
- CN
- China
- Prior art keywords
- causal
- coding
- dimensional
- prediction
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001364 causal effect Effects 0.000 title claims abstract description 275
- 238000000034 method Methods 0.000 title claims abstract description 240
- 239000011159 matrix material Substances 0.000 claims description 84
- 230000006835 compression Effects 0.000 claims description 37
- 238000007906 compression Methods 0.000 claims description 37
- 238000013139 quantization Methods 0.000 claims description 27
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 230000006837 decompression Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000002146 bilateral effect Effects 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000012804 iterative process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- MLYYVTUWGNIJIB-BXKDBHETSA-N cefazolin Chemical compound S1C(C)=NN=C1SCC1=C(C(O)=O)N2C(=O)[C@@H](NC(=O)CN3N=NN=C3)[C@H]2SC1 MLYYVTUWGNIJIB-BXKDBHETSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供一种完全的非因果预测的信号编码方法、解码方法，涉及图像、视频和其他信号的编码领域。现有的非因果图像编、解码方法的计算量太高,本发明提供的非因果图像编、解码方法大大降低了计算量。本发明提供的信号编码方法包括步骤：(1)将原始信号分成多个非因果编码单元；(2)利用扩展方法延伸各个非因果编码单元；(3)对每个扩展的非因果编码单元，利用单元内非因果预测器和单元内非因果预测编码方法，分别编码。
Description
本申请引用2014年7月24日向美国专利局递交的临时专利申请62，028，727。
技术领域
本发明涉及图像、视频和其他信号的编码，尤其是涉及一种非因果预测的信号编码方法、解码方法。
背景技术
图像、视频和其他信号中存在着大量的冗余。图像或静止图像是一个二维空间信号。在数字图像中，相邻像素具有高度的空间相关性。一般地，空间相关性存在于图像中的各个方向。例如在水平方向上，当前像素和左一像素及右一像素具有相关性；在垂直方向上，与上一像素和下一像素具有相关性。这种相关性被称为双向或双侧相关性。因此，图像信号具有双向或双侧相关性。
视频信号一个时间上离散的图像序列，序列中的每个图像叫做一个视频帧，或简称为帧。视频信号是一个三维信号，包括每个视频帧内的两维空间和帧间的一维时间。在数字视频信号中，在每帧内的空间上相邻的像素之间存在高度的空间相关性。在视频编码中，其被称为帧内相关性。同静止图像一样，帧内相关是双向或双侧的。此外，当前帧的像素和时间上相邻的过去帧及未来帧的像素之间也存在相关性，这称为帧间相关性。因此，帧间相关性也是双向或双侧的。由此，视频信号同时具有双向或双侧的空间相关性和时间相关性。
在图像或视频传输或存储系统中，为了提高图像或视频质量或减少所需要的传输带宽或存储容量，需要消除其冗余，也就是消除其相关性。预测编码是一种去除信号相关的常用方法。在图像和视频预测编码中，用相关像素生成当前像素的预测值。用于生成预测值的相关像素称为参考像素。将产生的预测值从当前像素的原始值中减去，就产生残余像素。取决于预测的准确性，残余像素之间可以不相关或基本上不相关。由此，原始图像或视频信号被转换成一个残余图像或视频信号。该残余信号也称为误差信号。这个过程称为预测编码，在编码器端进行。通常，在进一步数字压缩之后，残余图像或视频信号被发送传输或者存储。在解码器端，接收到或读取回来残余图像或视频信号，重新产生预测，重建原始像素。这个过程被称为预测解码。
像素处理通常采用光栅扫描顺序，也就是在图像中，由顶行向底行处理，每行上从左到右处理。在按光栅扫描顺序做预测编码时，如果预测编码仅根据上行中的像素和同一行左侧的像素预测当前像素，这种预测编码称为空间因果预测编码。这种预测称为空间因果预测。反之，如果预测编码仅根据下行的像素以及同一行右侧像素预测为当前像素，这种预测编码称为空间反因果预测编码。这种预测称为空间反因果预测。然而，如果预测编码同时使用当前像素的上行和下行像素以及同一行的左侧和右侧像素预测当前像素，这种预测编码称为空间非因果预测编码。这种预测称为空间非因果预测。一些图像预测器的例子示于图1。标记为×的当前像素位于(x，y)，其中的x是列数，是一个正整数，从1开始。第1列是最左边的列。y为行数，也是一个正整数，从1开始。第1行是最上面一行。当前像素具有左上右下四个最近相邻像素，命名为A，C，E和G，分别位于((x-1,y),(x,y-1),(x+1,y)和(x,y+1)。还有四个第二最近相邻像素，命名为B，D，F和H，分别位于(x-1,y-1),(x+1,y-1),(x+1,y+1)和(x-1,y+1)。使用像素ABCD中的任何一个或多个像素的预测就是因果预测。这里像素ABCD表示图1中的像素A、像素B、像素C和像素D。反之，使用像素EFGH中的任何一个或多个像素的预测就是反因果预测。然而，使用像素AE、CG或ACEG预测当前像素，就是非因果预测。
同样，在视频预测编码中，使用帧内空间上相邻的像素生成的预测，称为帧内预测。使用过去和/或未来帧的像素生成当前帧的像素的预测，称为帧间预测。因果、反因果和非因果帧内预测的定义与图像预测编码中相同。而只使用过去帧、或未来帧、或同时使用过去帧和未来帧产生当前帧的像素的预测，分别定义为因果、反因果和非因果帧间预测。
应注意的是，在因果和反因果预测中没有互依赖性，而非因果预测则有互依赖性。例如在图1中，当前像素×的因果预测依赖于参考像素ABCD，而参考像素ABCD的预测则不依赖于当前像素，这成为因果预测没有互依赖性。同样地，反因果预测中，为当前像素×依赖于参考像素EFGH，而参考像素EFGH的预测则不依赖于当前像素。这使得因果预测的编码和解码过程可使用单次简单的前向迭代过程，即从第一像素到最后一个像素顺序进行。类似地，这使得反因果预测的编码和解码过程可使用单次简单的后向迭代过程。当然，还需要一些附加的存储器和处理延迟。然而，非因果预测则存在互依赖性。例如，在一个简单的ACEG非因果图像预测器中，当前像素×的像素预测取决于相邻像素ACEG，而ACEF的预测也反过来取决于当前像素×。其编码和解码过程既不能使用前向迭代，也不能使用后向迭代过程。非因果预测包含的互依赖性形成一个复杂的计算问题。
由于其直接性和低计算量，二维空间因果预测编码被广泛用于静止图像压缩编码和视频帧内压缩编码之中。DPCM(差分脉冲编码调制)最初的发明是一维一阶因果预测编码[1]。后扩展到二维，用于图像编码标准JPEG(JPEG-LS)中，无损压缩静止图像，其预测器的参照像素是ABC，如图1所示。
在视频编码标准H.264，只采用帧内预测编码的帧称为I帧。H.264采用因果的、类似DPCM的块间预测来压缩I帧。其中，已经编码的图像块，包括在左侧，左上，上方和右上的块，被用于预测当前待编码的图像块。仍参照图1，在这种情况下，当前块被示为×，而其相邻块的ABCD则是其参考块。
由于图像和视频信号具有双侧相关性，双侧非因果预测编码能生成精度更高的预测，比单侧因果编码性能更高，压缩得更好。人们已尝试使用非因果预测。图2所示的一个例子是H.264帧间预测编码方案。在H.264中，只使用前向帧间预测的帧称为P帧，而同时使用前向和反向帧间预测的帧(非因果预测)称为B帧。虽然每个B帧，如帧202，采用非因果帧间预测，从而达到最高的压缩比，但其参考帧，帧201和204，则必须是I帧或P帧，不能使用非因果帧间预测。此外，每个P帧，如帧204，是由已编码的过去的I帧或P帧采用因果预测编码的。因此，通常I帧具有最低的压缩比，而P帧的压缩比居中。帧间预测的上述限制是仔细选取的，就是要避免非因果帧间预测的互依赖性。因此，H.264只是一个部分的非因果帧间预测的方法，也只得到非因果帧间预测的一部分收益。
前发明[2]中公开了一种分层视频预测编码方案。基本层采用常规的因果预测，增强层采用非因果预测，参考基本层的已编码像素，产生预测。前发明[2]的编码解码也没有互依赖性。基本层不能采用非因果预测，这也是一个部分的非因果预测的方法。另外，由于基本层通常具有较低的分辨率或较低的信噪比，从在基本层中的像素产生的非因果预测的精度也受到限制。
前发明[3]中公开了一个完全的非因果预测编码的方法，用于压缩静止图像。从理论上讲，[3]的方法既不产生也不发送真正的双侧非因果预测具有的残余图像信号。相反，[3]的编码器通过势矩阵LU分解和逆矩阵，将双侧非因果残余图像信号转换成的等效的单侧代表信号。实际上，无论[3]的编码器和解码器都有极其巨大的计算量，不能实际使用。[3]的势矩阵是巨大的。例如，采用图1所示的最简单的ACEG非因果预测器时，处理1920×1080尺寸的图像时，势矩阵是在2Mx2M。其中，2Mx2M表示200万行，200万列。前发明[3]将其转换分解成一个逐行迭代过程。在每一行迭代中，仍然需要对图像宽度大小的矩阵分解和求逆。例如，处理1920×1080的尺寸的图像时，矩阵是1920x1920，比原始图像还大。由于这些矩阵的计算结果不能传送到解码器端，[3]的解码器中也需要矩阵分解和求逆，再次将单侧代表信号转换回原始图像。[3]的大型矩阵分解和求逆涉及高昂的计算量，有理论意义，但没有实用价值。
以上所述，需要发明一种完全的非因果预测编码和解码重建的方法。该方法要求计算量低，可以实用于图像和视频编码。
发明内容
本发明提供了完整的非因果预测编码、解码方法，大大降低了计算量，可实用于图像和视频编码等。本发明的非因果预测编码的方法产生真正的双侧非因果预测残余信号，如双侧非因果预测残余图像信号或视频信号，并解决了非因果预测的互依赖性问题，从接收到的或读取回来的双侧非因果残余图像或视频信号中重建原始图像或视频信号。
在本发明的一个图像编码的实施方案中，一个非因果预测图像编码的方法在编码器端包括：把图像分成多个图像块；块延伸；用所选择的块内非因果预测器编码每个延伸块。此外，该方法在解码器端还包括：每个非因果预测块的块内非因果预测解码。块内非因果预测编码的方法包括但不限于：直接二维空间编码；二维矩阵矢量形式编码；二维DFT(离散傅立叶变换)卷积编码；二维对称卷积编码。该方法的块内非因果预测解码方法包括但不限于：直接的二维空间解码；二维矩阵矢量形式解码；二维DFT反卷积解码；二维对称反卷积解码。
在本发明的另一个实施方案中，一个非因果预测图像编码和数字压缩相结合的方法在编码器端包括：二维DCT(离散余弦变换)；结合性的非因果预测编码；量化；熵编码。在解码器端包括：熵解码；结合性的非因果预测解码；反量化；2维IDCT(反离散余弦变换)。
在本发明的一个视频编码的实施方案中，一个采用非因果预测的视频编码的方法包括：在编码端，对于I帧的所有块，用上述非因果预测图像编码的方法取代现有的常规帧内视频编码方案，如H.264中的帧内编码，来编码I帧；以及P帧和B帧的I块(帧内预测编码块)，用上述非因果预测图像编码方法中的块内非因果预测编码的方法取代P帧和B帧的I块的现有编码。所有其它的块，即P块(前向帧间编码块)和B块(双向编码块)仍采用现有的常规帧间预测编码。此外，该方法在解码端还包括用上述非因果预测图像解码的方法，解码I帧以及P帧和B帧的I块。这个实施例可用于改进现有的视频编码标准，如H.264，提高其压缩效率。
在本发明的另一个视频编码的实施方案中，一个非因果预测视频编码的方法在编码端包括：对每一帧采用非因果预测图像编码的方法进行帧内预测编码，不采用任何帧间预测编码。此外，该方法在解码器端还包括：采用上述的非因果预测图像编码方法的解码步骤，对各帧分别进行帧内预测解码。该实施方案的一个特征是每个视频帧被单独仅用帧内预测编码。该实施例的方法，称为帧内非因果预测视频编码。
在本发明的又一个视频编码的实施方案中，一个非因果预测视频编码的方法在编码端包括：将视频的帧序列分成视频段；在视频段内寻找最大像素相关路径；延伸每个路径；用所选择的路径非因果预测器，对每个路径分别进行非因果预测编码。该方法在解码器端还包括：用所选择的路径非因果预测解码方法，对每个路径进行非因果预测解码。该方法的路径非因果预测编码方法包括但不限于：直接一维时间编码；一维矩阵矢量形式编码；一维DFT卷积编码；一维对称卷积编码。该方法的路径非因果预测解码方法包括但不限于：直接一维时间解码；一维矩阵矢量形式解码；一维DFT反卷积解码；一维对称反卷积解码。该实施方案的一个特征是每个视频段分别仅由帧间非因果预测编码，无任何帧内预测编码。该实施例的方法，称为帧间非因果预测编码。
在本发明的又一个视频编码的实施方案中，帧内非因果预测视频编码和帧间非因果预测视频编码的方法被自适应地结合在一起，称为一个帧间/帧内自适应非因果预测视频编码的方法。该方法在编码器端主要包括：把视频帧序列分成视频段；对视频段内的每帧的每个像素，采用非因果预测图像编码的方法生成残余像素信号；设置约束，对视频段的每帧的每个像素，在视频段内寻找满足约束的最大像素相关路径；对每个像素，选择帧间或帧内预测编码模式；对每个像素，根据其帧间或帧内预测编码模式，生成最终的残余像素信号。该方法在解码器端主要包括：对所有帧间预测编码的路径解码，重建所有帧间预测编码的像素；在每个块中，将帧间预测编码的像素的帧内预测值置零，建立非线性选择性块内非因果预测器；对每个块采用块内非因果预测解码，重建所有帧内编码像素。
本发明的非因果预测图像编码的方法亦用于通用的二维信号非因果预测编码，二维分块，适用于具有双侧相关性的其他二维信号。
本发明的非因果预测图像编码的方法可扩展到三维信号的非因果预测编码，适用于具有双侧相关的三维信号，三维分块，包括但不限于某些三维图像，其像素分布在三维空间内，或者视频。
本发明的非因果预测图像编码的方法可以缩小到一维D，一维分段，适用于具有双侧相关性的一维信号，如音频信号等。
附图说明
图1示出因果、反因果和非因果图像预测器的一些示例。
图2示出H.264的帧间预测编码方案的一个示例。
图3示出非因果预测图像编码的方法的一个实施例。
图4示出帧间非因果预测视频编码的方法的一个实施例。
图5示出一个视频段中的一个最大像素相关路径的示例。
图6示出帧间/帧内自适应非因果预测视频编码的方法在编码器端的一个实施例。
图7示出在一个视频段的一帧的一个块内，选取帧间/帧内预测编码模式的一个示例。
图8示出帧间/帧内自适应非因果预测视频编码的方法在解码器端的一个实施例。
图9示出一个非因果预测图像编码和数字压缩相结合的一个实施例。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
现在，本发明的原理和实施例将参考附图详细说明。附图提供实施示例，以便使本领域的技术人员能够实施本发明。值得注意的是，附图和以下实施例并不意味着将本发明的范围限制到单个实施例中。交换部分或全部所描述的或示出的部分，可以产生其它实施例。如方便可及，在附图中相同的附图标记指代相同或相似的部分。其中，这些实施例的某些部分可以利用公知的组件，本说明书将描述如何使用公知的组件，以便于理解本发明，但是公知部件内部则不详细描述，或完全省略，以免混淆本发明。另外，除非明确说明，本说明书中示出单数组件实施例不应该被认为是限定为单数；相反，本发明旨在涵盖包括多个相同组件的其他实施例，反之亦然。此外，除非明确阐述，申请人不为说明书或权利要求书中的任何术语赋予一种罕见的或特殊的含义。另外，本发明说明书中图示的步骤或部件还包含目前和未来知道的等效物。
为简洁起见，本说明书将详细说明上面提到的本发明的一些方法，而不再说明所有派生的方法。
在本发明提供一种图像编码的实施例，其非因果预测图像编码的方法示于图3，在编码器302中，将原始图像信号301转换成双侧残余图像信号303，包括以下步骤：
步骤1，把原始图像301分成多个图像块。每个图像块，简称为块。该步骤在图中示为310。每个块形成一个二维块NCU(NCU:非因果编码单元)。每个NCU是分别编码、分别解码的。图像块大小是HxV，其中H是图像块宽度方向的像素数，V是图像块高度方向的像素数。在一个实施例中，块NCU是正方形状的，包括但不限于4×4，8×8，16×16等。在另一个实施方案中，块NCU是矩形的，包括但不限于4×8，8×16等。在一特定的实施方案中，整个图像是1个块NCU。各个块NCU可以有相同或不同的大小。
步骤2，选取一个扩展方法，延伸各个块NCU。扩展方法包括但不限于常数扩展，边扩展，循环扩展和对称扩展。该步骤在图中示为320。块NCU的大小是有限的，但是经延伸后，理论上每个块扩展到无穷大。出于简洁的目的，除非明确提到其他的块大小，以下将采用4×4的块大小为例，说明本发明的方法。4×4的块NCU的原始图像由4x4矩阵表示如下
其中，Ix，y是块在第x列和第y行的像素，x和y是从1至4的整数。
在一个实施方案中，每块NCU由常数扩展，即块NCU外的所有的无穷像素被赋予一个常数值。该常数可以是0或任何有效像素值。
在另一个实施方案中，每个块NCU由边缘像素值扩展延长(边扩展)。例如块NCU的第一行向上重复延伸，第4行向下重复延伸，第一列向左重复延伸，和第4列向右重复延伸。四角的像素被复制延伸到4个角部区域。
在另一个实施方案中，每个块NCU被循环扩展延伸(循环扩展)。其中块NCU被水平和垂直方向上不断地重复。块NCU扩展后是一个周期性的图像，水平周期是H，垂直周期是V。
在又一实施例中，每个块NCU由对称扩展[4]延长(对称扩展)。有4种类型的对称扩展[4]。在一个实施方案中，每块NCU由HS(半抽样对称扩展)[4]在水平和垂直方向扩展。块扩展后图像的中心部分示于下面的矩阵
其中，表示扩展后的图像在x和y在从-3到8的范围内的取值。对称扩展后的图像也是周期性图像，水平周期是2H，垂直周期是2V，即2倍大小。这个扩展是II型2维DCT变换所需要的。II型2维DCT变换普遍用于变换域图像和视频编码标准，如JPEG，MPEG和H.264。
步骤3，对每个扩展的块NCU，选块内非因果预测器和块内非因果预测编码方法，分别编码。该步骤在图中示为330。如果选择的块内非因果预测器对块内每一像素的预测是其参考像素的线性加权和，且同一位移处的参考像素具有相同的权重，则该预测器是线性的。否则，则是非线性的。在图像中，不同的块NCU可以选择相同或不同的块内非因果预测器。在一个实施方案中，每块NCU都采用线性块内非因果预测器，但是为适应图像的局部统计特征的变化，不同的块NCU具有不同的、自适应的线性块内非因果预测器。由于图像的局部统计特征可以从图像的一个部分到另一部分发生巨大的改变，这种块内线性、但块间自适应的预测方法，既能取得线性预测的简单和低计算量，又能取得非线性图像预测的高性能。
在一个实施方案中，块内非因果预测编码的方法包括但不限于以下几种方法：
3a：直接的二维空间编码。由于本发明的方法产生双侧残余信号，本发明的方法允许直接在空间域中，不经任何转换，逐像素预测，生成残余像素。每当预测器需要参考块NCU之外的像素时，参考像素由步骤2中的扩展延伸的像素提供。这适用于块内非线性预测以及线性预测。在一个实施例中，选择对称形式的ACEG非因果预测器，每个像素的编码方程如下
px，y＝αx，y(Ix-1，y+Ix+1，y)+βx，y(Ix，y-1+Ix，y+1) Eq.3
rx，y＝Ix，y-px，y Eq.4
其中px，y是像素(x，y)的预测值，Ix，y是它的原始像素值，rx，y是所生成的残余像素信号。x和y是整数，从1至4，限制在块NCU之内。如果权重因子ax，y和βx，yβ在当前块NCU内部对各个像素是常数，预测器是线性的。如果不是，则是非线性的。方程3和4可以结合成一个如下方程
rx，y＝Ix，y-αx，y(Ix-1，y+Ix+1，y)-βx，y(Ix，y-1+Ix，y+1) Eq.5
当方程3中的预测器是线性，方程5实际上是以下线性二维空间卷积，
rx，y＝Ix，y-α(Ix-1，y+Ix+1，y)-β(Ix，y-1+Ix，y+1) Eq.6
3b：二维矩阵矢量形式编码。该方法与直接二维空间编码是相同的。除开前者是逐像素计算块NCU的每个像素，后者是一步计算块中的所有像素。对于公式1给出的II型二维DCT对称扩展的4×4块NCU，矩阵向量形式编码是
也被简记为
其中是16×16的矩阵，是原始图像块NCU的16×1矢量形式，是块NCU的残余图像的16×1矢量形式。同直接二维空间编码一样，Eq.7或8的矩阵矢量式的编码既适用于非线性预测器，又适用于线性预测器。
3c：二维DFT卷积编码。该方法适用于采用循环扩展和线性预测器的块内非因果预测编码。线性预测编码Eq.6中的二维冲激函数或点扩展函数由下式给出
其中，中心抽头为等于1.将Eq1中的图像块矩阵的二维正向DFT变换所产生的矩阵与Eq.9中的预测器点扩散函数的二维正向DFT变换所产生的矩阵的相同位置的元素相乘(称为矩阵点乘)，所得的矩阵作二维反向DFT变换，得到的矩阵就是块NCU的残余图像块，由下式给出
其中，表示的二维正向DFT变换，,表示二维反向DFT变换，.*表示两个4×4矩阵的对应元素的点乘。
3d：二维对称卷积编码。该方法适用于采用对称扩展和线性对称预测器的块内非因果预测编码[4]。在采用式(2)给出的II型的二维DCT对称延伸和在Eq.9给出的线性对称预测器的实施例中，将Eq.1中的图像块矩阵的II型二维正向DCT变换所产生的矩阵与Eq.9中的预测器点扩散函数的I型二维正向DCT变换所产生的矩阵的相同位置的元素相乘，即矩阵点乘，所得的矩阵作II型二维反向DCT变换，得到的矩阵就是块NCU的残余图像块，由下式给出
其中，表示II型二维正向DCT变换，表示I型二维正向DCT变换，表示II型2维反向DCT变换(IDCT)。.*表示两个4×4矩阵的逐元素点乘[4]。
在另一个实施方案中，二维对称卷积编码进一步与后续数字压缩结合。值得注意的是，数字图像和视频压缩普遍采用II型二维正向DCT变换和随后的量化，由下式给出
其中，表示残余像素的DCT系数矩阵的量化后的值，表示残余像素的DCT系数矩阵的未量化的值，Q表示所施加的量化步长矩阵，也简称为量化矩阵。量化矩阵的所有元素(量化步长)为1时，表示无量化的编码。该示例中，所有变换都在4×4的矩阵上运算。操作./表示矩阵逐元素相除，称为矩阵点除。与数字压缩结合在一起后，对称卷积编码不再需要其自己的II型二维DCT变换和反变换，直接在DCT频域以点除方式进行，并可合并到量化矩阵之中，由下式给出
其中，合并的量化矩阵由下式给出
在一个实施方案中，所有块NCU使用固定的预测器或从多个固定预测器中选择一个。其I型正向DCT变换可以预先计算得到，每个块不再需要其自己的I型DCT变换运算。预先计算得到的预测器变换矩阵进一步被预先合并到量化矩阵之中，预先计算获得的合并后的量化矩阵由下式给出
其中，是预先计算得到的、式9给出的预测编码点扩散函数的I型2维DCT变换得到的系数矩阵。
图9示出一个将非因果预测图像编码和数字压缩相合并的方法的实施例。在图9中，方法3d中的对称卷积编码合并到量化920之中。在编码器端，数字压缩需要的DCT变换910和熵编码器930保留在其之前和之后。该实施例的一个特征是，在编码器端，非因果预测图像编码的运算量几乎降低到零。同样，在解码器端，非因果预测图像解码的运算量也几乎降低到零，如后所述。
作为对称卷积编码一个变形实施例的方法，可以采用二维DFT卷积的方法，进行块编码。对称扩展生成的周期图像信号的周期是两倍大的，例如4×4的块NCU的周期是8×8的，8×8的DFT卷积编码方法都是适用的。
在预测编码器302为块NCU生成残余图像信号303后，残余图像信号303可以进一步进行数字压缩。数字压缩304通常是通过图像变换、量化、熵编码等步骤,将残余图像信号303转换成进数字压缩信号305。信号305连同图像块分解、块内预测等的辅助信息一起发送到传输信道或存储媒介。
在从信道接收到或从存储媒介读取回来之后，数字解压缩306从数字压缩信号305重建双侧非因果预测残余图像信号307。如果数字压缩是无损的，传输或存取是无误的，信号307与303是相同的；如果是有损压缩，则两者是不同的。
本发明还提供一种相应于前述编码方法的解码方法，图3所示的该非因果预测图像编码的方法在解码器308中从重建的双侧残余图像信号307恢复重建图像309，进一步包括以下解码步骤：
步骤4，采用选取的块内非因果预测解码的方法，对各块NCU进行解码。该步骤在图中示为340。
在一个实施方案中，块内非因果预测解码的方法包括但不限于以下方法：
4a：直接二维空间解码。该方法需要两次解码。第一次是一个后向逐像素迭代过程，对块NCU的每个像素，将非因果预测编码转换到等效的因果预测编码。第二次是一个前向逐像素迭代过程，进行因果预测解码，重建原始像素。这与后述的二维矩阵矢量形式解码方法是相同的。
在一个直接二维空间解码方法的实施例中，编码端块NCU采用循环扩张延伸和线性预测，解码则也是一个2维空间反卷积，即残余图像块和预测解码重建滤波器之间的卷积。这与后述的二维DFT反卷积解码方法是相同的。
假定线性预测滤波器的情况下，预测解码重建滤波器包括但不限于逆滤波器、维纳滤波器等。为了简单起见，本实施例选用逆滤波器作预测解码重建滤波器以说明本发明的方法。当预测器满足一定的约束，逆滤波器是可实现的和稳定的，例如，当Eq.9的加权因子满足下式时，
作为一个示范性实施例，在下面的描述中都假定Eq.16约束是满足的。
4b：二维矩阵矢量形式解码。在一个实施例中，参间Eq.7，该方法首先进行一个后向逐行迭代过程，将矩阵变化为下三角矩阵。这相当于将非因果预测编码转换为等效的因果预测编码。然后，该方法进行一个前向逐行迭代过程，将下三角矩阵转换成单位矩阵，这重建了块NCU内的所有原始像素。这等同于一个正向逐像素迭代的因果预测解码过程。
在二维矩阵矢量形式解码方法的另一个实施方案中，参见式8，解码是通过逆矩阵进行的，由下式给出
在4×4的块NCU的示例中，逆矩阵仅是16×16大小。此外，在一个实施例中，所有块NCU的预测器是固定的，或是从多个固定预测器中选择的。逆矩阵可以预先计算，将Eq.17的运算量降到很低。
4c：二维DFT反卷积解码。参见Eq.10，该方法对残余图像块NCU的矩阵作二维正向DFT变换，对Eq.9的预测器的点扩展函数作二维正向DFT变换，以前者得到的矩阵点除后者得到的矩阵，将点除得到矩阵作二维反向DFT变换，就获得重建的图像块NCU的矩阵，如下式给出
4d：二维对称反卷积解码。参见Eq.11，根据上述限制，该方法对残余图像块NCU的矩阵作II型二维正向DCT变换，对Eq.9的预测器的点扩展函数作I型二维正向DCT变换，以前者得到的矩阵点除后者得到的矩阵，将点除得到的矩阵作II型二维反向DCT变换，就获得重建的图像块NCU的矩阵，如下式给出
类似地，在另一个实施方案中，二维对称反卷积解码可以进一步与基于反向DCT变换的数字解压缩结合在一起。其在II型2维反向DCT变换之前进行，不需要其自己的反向DCT和DCT变换。二维对称反卷积解码被合并到反量化之中。重建块的DCT系数矩阵由下式给出
其中，是反量化的输入矩阵，这是残余块信号的DCT系数矩阵的量化值。合并后的量化矩阵由下式给出
在一个实施例中，所有块NCU的预测器是固定的，或是从多个固定预测器中选择的。预测器的I型2维DCT变换可以预先计算，不需要逐个块计算其I型2维DCT变换。预先计算的可进一步合并到预先计算的量化矩阵之中，由下式给出
参见图9。在解码器端，对称反卷积解码合并到反量化步骤950之中，而数字解压缩所需要的熵解码器940和反向DCT变换960则保留在其之前和之后。该实施例的一个特征是，在解码器端，非因果预测图像解码的运算量也几乎降低到零。
步骤5，从恢复的各个块NCU组装重建图像309。该步骤在图中示为350。
如果图像是灰度图像，上述的非因果预测图像编码的方法直接适用于灰度图像。如果图像是彩色图像，其具有多个亮色或彩色分量，如RGB，YUV，YMCK等，上述方法适用于每个分量图像。
从理论上讲，上述的非因果预测图像编码的方法本身是无损的。当其用于数字压缩系统的预测编码器302和预测解码器308时，如果数字压缩304是无损的，则重建的图像309与原始图像301是相同的，即也是无损的。如果压缩是有损的，则重建的图像309与原始图像301是不相同的。重建图像包含了压缩误差图像信号经过逆滤波器滤波后的一个误差图像信号。进一步分析误差图像信号超出了本发明的范围。
本发明还提供一种帧间视频编码的方法的实施例，帧间非因果预测视频编码的方法如图4所示。其中，编码器402从原始视频401生成双侧残余视频信号403，包括以下步骤：
步骤1，将视频帧序列分为视频段。该步骤在图中示为410。每个视频段包括多个时间上连续的视频帧。每个段可以有相同数量或不同数量的视频帧。为简洁起见，在下文中使用每个视频段包括4个视频帧的示例来说明本发明的方法。每个视频段是独立编码的。
步骤2，对视频段内的每个帧中的每个像素，寻找其最大像素相关路径。该步骤在图中示为420。在图5所示的示例性实施例中，视频段包括4个帧，分别标为501，502，503和504。对于帧501中的像素510，在帧502的一定范围内的像素中搜索(称为运动搜索)，在一定的约束条件下，在帧502中找到与像素510最大相关的像素520。以同样的方式，在帧503中，找到像素520最大相关的像素530。依此类推，视频段的最后一帧504，找到像素540。这些找到的像素，510，520，530和540，形成一个最大像素相关路径(MPCP)。这个路径用一个矢量表示如下
其中，Ix，y，t表示视频段内，第t帧内，在第x列、第y行的像素，t是1，2，3或4，[]T标记转置操作。同一路径上两个相邻像素之间的空间偏移，称为运动矢量。
从概念上讲，MPCP是由运动物体在其运动路径上，被视频帧连续抽样记录(摄像头拍摄)而产生的。同一个MPCP上的所有像素形成一个一维路径NCU。每个路径NCU分别编码和解码。
在一个简单的实施例中，运动搜索约束是：每一个视频段的每个帧中的每个像素都属于且只属于一个MPCP；每MPCP从第一帧开始，到最后一帧结束。因此，视频段内MPCP的总数等于一帧内的像素数。在另一个实施方案中，约束放宽到：每一个视频段的每个帧中的每个像素都属于且只属于一个MPCP；但是一个MPCP可结束于或开始于一个中间帧，不限于第一帧和最后一帧。在一个实施方案中，如果在现有的MPCP与其在下一帧内的最佳匹配像素之间的相关性低于某个设定的阈值，现有的MPCP就结束了，新的MPCP从下一帧启动。在另一个实施方案中，现有的MPCP需要满足一定最小长度，才可以结束。虽然穿越每帧的MPCP的总数等于帧内像素的数目，然而一个视频段内MPCP的总数将大于或等于一帧的像素数目。
运动搜索的方法有很多种。在一个实施例中，以一个图像块为单位进行运动搜索，这代替逐个像素的运动搜索。这设置了一个约束，使同一块内的像素具有相同的运动矢量，从而减少描述MPCP所需的辅助信息数据。
步骤3，选取扩展方法，延伸每条路径NCU。扩展方法包括但不限于常数扩展，边扩展，循环扩展和对称扩展。该步骤在图中示为430。此扩展步骤是前述的非因果预测图像编码的方法的步骤2的1-D派生版本，其细节不再重述。
步骤4，选取路径非因果预测器和路径非因果预测编码方法，对每个路径NCU分别编码。该步骤在图中示为440。每个路径的NCU的路径非因果预测器，可以是线性，或者非线性的。视频段中不同的路径NCU，可以选择相同或不同的路径非因果预测器。
路径非因果预测编码方法包括但不限于直接一维时间编码，一维的矩阵矢量形式编码，一维DFT卷积编码和一维对称卷积编码。这些编码方法是前述的非因果预测图像编码方法的步骤3的块内非因果预测编码方法的一维派生版，其细节不再重述。但应注意的是，假定数字压缩使用一维II型DCT、仍量化路径残余信号的每个像素，则前述的非因果预测编码与数字压缩相结合的实施方式仍然适用。
在预测编码器402对每个路径NCU生成双侧非因果残余视频信号403后，该信号可进一步被数字压缩。数字压缩404通常通过变换、量化、熵编码等，从双侧非因果残余视频信号403生成数字压缩信号405。其后，信号405连同路径定义信息、路径预测器的选取信息等辅助信息一起，被发送到传输信道或存储媒介中。
从信道接收到或从存储媒介读取回来之后，数字解压缩406从数字压缩信号405重建双侧非因果预测残余视频信号407。如果数字压缩是无损的，传输或存取是无误的，信号407与403是相同的；如果是有损压缩，则两者是不同的。
相应地，本发明还提供一种针对前述帧间视频编码方法的解码方法，图4所示的帧间非因果预测视频编码的方法在解码器408中，从重建的双侧非因果预测残余视频信号407恢复重建视频409，进一步包括以下步骤：
步骤5，选取非因果路径预测解码的方法，对每个路径NCU解码。该步骤在图中示为450。路径非因果预测解码的方法包括但不限于：直接一维时间解码；一维矩阵矢量形式解码；一维DFT反卷积解码；一维对称反卷积解码。这些解码方法是非因果预测图像编码的步骤4的块内非因果预测解码方法的所派生的一维版，其细节不再重复。同样地，假定数字解压缩需熵解码和逆量化，并应用II型一维反向DCT以重建像素，那么在每个路径NCU上，将非因果预测解码和数字解压缩合并的实施例仍然适用。
步骤6，从每个视频段的所有重建的路径NCU组装每个重建视频段，生成重建视频409。该步骤在图中示为460。
在上述实施例中，每个视频段是仅由帧间非因果预测分别编码的，没有使用任何帧内预测编码。
本发明还提供另一个帧间/帧内自适应的视频编码方法的实施例，一个帧间/帧内自适应非因果预测视频编码的方法如图6和8所示，其中在编码器602端，从原始视频601生成双侧残余视频信号603，包括以下步骤：
步骤1，应用帧间非因果预测视频编码方法的步骤1，将原始视频的帧序列分成视频段。该步骤在图中示为610。
步骤2到4，在每个视频段内，对每个帧分别施加非因果预测图像编码方法的步骤1至3，对每个块NCU中的每个像素生成只使用帧内非因果预测的残余像素信号。这些步骤在图中示为620。
步骤5，应用帧间非因果预测视频编码方法的步骤2，寻找每个MPCP。该步骤在图中示为650。在本步骤的一个实施例中，设定一个阈值。在运动搜索中，如果现有的MPCP最后一个像素与下一帧的最佳匹配像素之间的相关性低于阈值，现有的MPCP就结束了，一个新的MPCP从下一帧开始。对MPCP最短长度没有要求。MPCP可以短至1个像素。
步骤6，对于视频段的每个像素，选择帧间或帧内预测编码模式。该步骤在图中示为660。在一个实施方案中，所有长度短于设定的阈值的MPCP上的所有像素都选择帧内预测编码，而其它的都选择帧间预测编码。每个像素设1位帧间/帧内标志，记录选择的编码模式。
图7示出在一个视频段的一帧中的一个4×4块NCU 700中，帧间/帧内编码选择的一个例子。块NCU标记×的2个像素，即701和702，选择帧内预测编码模式，而所有其他像素选择帧间预测编码模式。
在一个实施方案中，为减少包括每个视频段的帧间/帧内标志在内的辅助信息数据，多个像素组成一个选择单元，帧间/帧内选择以选择单元进行，即同一个选择单元中的像素全部选取帧内预测编码模式或帧间预测编码模式，而不是逐像素选取。比如一个图像块可以是一个选择单元。这样，一个块内只需要1位帧间/帧内标志。
步骤7和8，分别应用帧间非因果预测视频编码方法的步骤3和4，对每个MPCP，产生帧间非因果预测视频编码的残余像素信号。这些步骤在图中示为670。
步骤9，对于选择帧间预测编码模式中的所有像素，用本方法步骤8生成的帧间编码后的残余像素值取代由本方法第4步生成的帧内编码后的残余像素值。该步骤在图中示为690。参考图7中所示的例子。帧内编码的像素701和702保留了其步骤4中产生的帧内编码的残余像素值。然而，所有其他帧间编码像素在步骤4中产生的帧内预测编码的残余像素值被置换成步骤8生成的帧间预测编码的残余像素值。
最终残余视频信号603和辅助信息数据包括帧间/帧内标志，MPCP信息，块信息等被送到数字压缩604，作进一步数字压缩。数字压缩604通常通过图像变换、量化、熵编码等，从双侧非因果残余视频信号603生成数字压缩信号605。信号605中也包含所有辅助信息数据，一起被发送到传输信道或存储媒介。
从信道接收到或从存储媒介读取回来之后，数字解压缩806从数字压缩信号805重建双侧非因果预测残留视频信号807，如图8所示。如果数字压缩是无损的，传输或存取是无误的，信号807与603是相同的；如果是有损压缩，则两者是不同的。
相应地，本发明还提供一种针对前述该帧间/帧内自适应非因果预测视频编码方法的解码方法，在解码器808中，从重建的双侧残余视频信号807恢复重建视频809，如图8所示，进一步包括以下步骤：
步骤10，应用帧间非因果预测视频编码方法的步骤5，解码每个路径NCU，重建选择帧间编码模式的所有像素的值。该步骤在图中示为810。
步骤11，对于每个块NCU，将Eq.7中的每个帧间编码像素的块内预测置零，获得选择性块内预测器。该步骤在图中示为811。请参见图7中的例子。帧内编码像素701和702具有由块NCU内的参考像素产生的正常块内非因果预测。但是，其它所有帧间编码像素的块内预测被置零。等效而言，帧间编码像素被视为排除在块内非因果预测编码之外。因此，所获得的选择性块内预测器是非线性的，且其块内编码Eq.7是由下列的选择性块内编码方程替代
其中，r1，1和r1，2是像素701和702由帧内编码生成的残余像素值。而从r1，3到r4，4是其他帧间编码的像素在步骤10中重建的值，其像素重建值已知，其块内预测被置零。反映在Eq.24中，矩阵的第3行到第16行被对角化，因为它们所描述的是图7中的帧间编码像素I1，3到I4，4。
步骤12，对于每个视频段内的每个帧的块NCU，根据步骤11得到的非线性选择性块内预测器，应用非因果预测图像编码方法的步骤4，重建每个块NCU内的帧内编码的像素，而帧间编码的像素则保持不变。该步骤在图中示为812。
由于选择性块内预测器是非线性，直接空间解码方法和矩阵向量形式解码方法都是适用的。在任一种解码方法中，在图7所示的块NCU 700的例子中，自适应编码的块NCU解码可简化为求解帧内编码像素701和702，其值由I1，1和I1，2表示。而其它所有像素则是不变的或已知的。选择性块内编码方程从Eq.24简化成
求解Eq.25就获得帧内编码的像素701和702的重建值I1，1和I1，2.
步骤13，从每个视频段内所有重建的帧间和帧内编码的像素组装原始的每个视频段，组装重建视频809。该步骤在图中示为813.
本发明是根据附图和实施例来说明的。但是应当理解，本发明并不局限于这些实施例。在本发明的方法的变型中，一些步骤的顺序是可以改变的，一些步骤可以组合在一起，有些可以分成多步，有些可以修改。本领域技术人员可以在不脱离所附权利要求限定的本发明的原理和范围内进行修改和变化。
参考文献
[1]US Patent 2,605,361,DIFFERENTIAL QUANTIZATION of COMMUNICATIONSIGNALS
【1】美国专利，2,605,361，通信信号的差分量化
[2]US Patent 2013/0272411 A1,SCALABLE VIDEO CODING PREDICTIONWITHNON-CAUSAL INFORMATION
【2】美国专利，2013/0272411 A1，可伸缩的视频编码预测非因果信息
[3]US patent 5,689,591,APPARATUS AND METHOD FOR NONCAUSAL,PREDICTIVE,DIGITAL INIAGE COMPRESSION
【3】美国专利，5,689,591，非因果预测数字图像压缩的装置和方法
[4]IEEE TRANSACTIONS ON SIGNAL PROCESSING,Symmetric Convolution andthe Discrete Sine and Cosine Transforms,Vol.42,NO.5
【4】IEEE信号处理刊物，对称卷积和离散正弦和余弦变换，第42卷，第5期。
Claims (30)
1.一种非因果预测的信号编码方法，其特征在于，该方法包括步骤：
(1)将原始信号分成多个非因果编码单元；
(2)利用扩展方法延伸每个非因果编码单元；
(3)对每个扩展的非因果编码单元，利用单元内非因果预测器和单元内非因果预测编码方法，分别编码；
其中，原始信号包括2维信号、3维信号；2维信号包括但不限于图像信号，3维信号包括立体图像信号和视频信号；
其中，非因果编码单元包括1维单元、2维单元、3维单元；1维单元包括最大像素相关路径；2维单元包括图像块；3维单元包括立体图像块、3维视频块；
所述扩展方法包括常数扩展、边扩展、循环扩展或对称扩展；
所述单元内非因果预测器采用非线性预测或线性预测；
所述单元内非因果预测编码方法包括：直接一维时间编码、一维矩阵矢量形式编码、一维DFT卷积编码、一维对称卷积编码、直接二维空间编码、二维矩阵矢量形式编码、二维DFT卷积编码或二维对称卷积编码。
2.根据权利要求1所述的一种非因果预测的信号编码方法，其特征包括：
原始信号被分成大小全部相同、全部不同或部分相同的非因果编码单元；
对于每个扩展的非因果编码单元，所采用的单元内非因果预测器全部相同、全部不同或部分相同。
3.根据权利要求2所述的一种非因果预测的信号编码方法，其特征在于，当信号是2维的图像，非因果编码单元是2维的图像块，扩展方法是2维的，单元内非因果预测器是2维的块内非因果预测器，单元内非因果预测编码方法是2维的块内非因果预测编码方法。
4.根据权利要求3所述的一种非因果预测的信号编码方法，其特征在于，所述块内非因果预测编码方法为直接的二维空间编码或二维矩阵矢量形式编码。
5.根据权利要求3所述的一种非因果预测的信号编码方法，其特征在于，当扩展方法采用循环扩展，且块内非因果预测器采用线性预测器时，所述块内非因果预测编码方法采用二维DFT卷积编码。
6.根据权利要求3所述的一种非因果预测的信号编码方法，其特征在于，当扩展方法采用对称扩展，且块内非因果预测器采用线性对称预测器时，所述块内非因果预测编码方法采用二维对称卷积编码。
7.根据权利要求6所述的一种非因果预测的信号编码方法，其特征在于，该方法还包括步骤：
(4)对编码后的图像块进行数字压缩。
8.根据权利要求7所述的一种非因果预测的信号编码方法，其特征在于，将二维对称卷积编码与数字压缩相结合，结合后的编码公式为：公式中，表示预测编码产生的残余图像块的DCT系数矩阵的量化后的值，C2e(r)表示预测编码产生的残余图像块的DCT系数矩阵的未量化的值，Q'表示合并后的量化矩阵；合并后的量化矩阵的公式为Q'＝Q./C1e(p)，公式中Q表示合并前的量化矩阵，C1e(p)表示线性对称预测器点扩散函数的I型正向DCT变换。
9.根据权利要求8所述的一种非因果预测的信号编码方法，其特征在于，对于每个扩展的图像块，所采用的块内非因果预测器全部相同或从预定义的多个块内非因果预测器选取，则合并后的量化矩阵是预定义由公式Q'＝Q./p预定义，公式中p为预测编码点扩散函数的I型2维DCT变换得到的系数矩阵。
10.根据权利要求2所述的一种非因果预测的信号编码方法，其特征在于，当信号是3维的视频，非因果编码单元是1维的最大像素相关路径，扩展方法是1维的，单元内非因果预测器是1维的路径非因果预测器，单元内非因果预测编码方法是1维的路径非因果预测编码方法，该方法的步骤(1)将原始信号分成多个非因果编码单元，进一步包括步骤：
(a)将原始视频的帧序列分成多个视频段，每个视频段包括多个时间上连续的视频帧；
(b)对视频段内的每个帧中的每个像素，寻找其最大像素相关路径。
11.根据权利要求10所述的一种非因果预测的信号编码方法，其特征在于，每个视频段包含的视频帧的数量相同或不同。
12.根据权利要求10所述的一种非因果预测的信号编码方法，其特征在于，所述最大像素相关路径的定义为包括N个像素的1维序列：从视频段内某首帧中的一个像素1开始，在其后第二帧的一定范围内的像素中搜索，在一定约束条件下，找到与像素1最大相关的像素2；然后以同样的方式，在其后第三帧中找到与像素2最大相关的像素3，并以此类推，在其后某末帧中找到与前一帧的像素N-1最大相关的像素N，其中首帧是视频段内第1帧或其后的某一帧，末帧是视频段内最后1帧或其前的某一帧，N是小于或等于视频段内的视频帧数的正整数。
13.根据权利要求10所述的一种非因果预测的信号编码方法，其特征在于，所述路径非因果预测编码方法为直接的一维时间编码或一维矩阵矢量形式编码。
14.根据权利要求10所述的一种非因果预测的信号编码方法，其特征在于，当扩展方法采用循环扩展，且路径非因果预测器采用线性预测器时，所述路径非因果预测编码方法采用一维DFT卷积编码。
15.根据权利要求10所述的一种非因果预测的信号编码方法，其特征在于，当扩展方法采用对称扩展，且路径非因果预测器采用线性对称预测器时，所述路径非因果预测编码方法采用一维对称卷积编码。
16.根据权利要求15所述的一种非因果预测的信号编码方法，其特征在于，该方法还包括步骤：
(4)对编码后的视频段进行数字压缩。
17.根据权利要求16所述的一种非因果预测的信号编码方法，其特征在于，将一维对称卷积编码与数字压缩相结合。
18.根据权利要求2所述的一种非因果预测的信号编码方法，其特征在于，当信号是3维的视频，非因果编码单元包括2维的图像块和1维的最大像素相关路径；对于是2维的图像块的非因果编码单元，扩展方法是2维的，单元内非因果预测器是2维的块内非因果预测器，单元内非因果预测编码方法是2维的块内非因果预测编码方法；对于是1维的最大像素相关路径的非因果编码单元，扩展方法是1维的，单元内非因果预测器是1维的路径非因果预测器，单元内非因果预测编码方法是1维的路径非因果预测编码方法；该方法的步骤(1)将原始信号分成多个非因果编码单元，进一步包括步骤：
(a)将原始视频的帧序列分成多个视频段，每个视频段包括多个时间上连续的视频帧；
(b)对每个视频段内的每一帧图像，都将其分成多个图像块；
(c)对视频段内的每个帧中的每个像素，寻找其最大像素相关路径；
该方法还包括步骤：
(d)对视频段内的每个帧中的每个像素，根据设定的准则，选择帧间编码模式或帧内编码模式；
该方法的步骤(2)利用扩展方法延伸每个非因果编码单元，进一步包括步骤：
(e)利用1维扩展方法延伸每个最大像素相关路径，利用2维扩展方法延伸每个图像块；
该方法步骤的(3)对每个扩展的非因果编码单元，利用单元内非因果预测器和单元内非因果预测编码方法，分别编码，进一步包括步骤：
(f)对每个扩展的图像块，利用块内非因果预测器和块内非因果预测编码方法，分别编码，对每个图像块中的每个像素生成只使用帧内非因果预测的残余像素信号；
(g)对延伸后的每个由选择帧间编码模式的像素组成的最大像素相关路径，利用路径非因果预测器和路径非因果预测编码方法，分别编码，产生只使用帧间非因果预测的残余像素信号；
(h)对于选择帧内编码模式的所有像素，保留步骤(f)产生的残余像素信号；对于选择帧间编码模式的所有像素，用步骤(g)产生的残余像素信号替换步骤(f)中生成的相应像素的残余像素信号。
19.根据权利要求18所述的一种非因果预测的信号编码方法，其特征在于，所述块内非因果预测编码方法为直接的二维空间编码或二维矩阵矢量形式编码；所述路径非因果预测编码方法为直接的一维时间编码或一维矩阵矢量形式编码。
20.根据权利要求18所述的一种非因果预测的信号编码方法，其特征在于，当扩展方法采用循环扩展，且单元内非因果预测器采用线性预测器时，所述块内非因果预测编码方法采用二维DFT卷积编码；所述路径非因果预测编码方法采用一维DFT卷积编码。
21.根据权利要求18所述的一种非因果预测的信号编码方法，其特征在于，当扩展方法采用对称扩展，且单元内非因果预测器采用线性对称预测器时，所述块内非因果预测编码方法采用二维对称卷积编码；所述路径非因果预测编码方法采用一维对称卷积编码。
22.根据权利要求18所述的一种非因果预测的信号编码方法，其特征在于，所述最大像素相关路径的定义为包括N个像素的1维序列：从视频段内某首帧中的一个像素1开始，在其后第二帧的一定范围内的像素中搜索，在一定约束条件下，找到与像素1最大相关的像素2；然后以同样的方式，在其后第三帧中找到与像素2最大相关的像素3，并以此类推，在某末帧中找到与前一帧的像素N-1最大相关的像素N，其中首帧是视频段内第1帧或其后的某一帧，末帧是视频段内最后1帧或其前的某一帧，N是小于或等于视频段内的视频帧数的正整数。
23.一种用于权利要求1所述编码方法的解码方法，其特征在于，该方法包括步骤：
(1)对于每个非因果编码单元，利用单元内非因果预测解码方法，分别解码；
(2)从解码的各个非因果编码单元组装重建信号。
24.根据权利要求23所述的一种解码方法，其特征在于，当信号是2维的图像，非因果编码单元是2维的图像块，单元内非因果预测解码方法是2维的块内非因果预测解码方法。
25.根据权利要求24所述的解码方法，其特征在于，所述块内非因果预测解码方法包括直接二维空间解码、二维矩阵矢量形式解码、二维DFT反卷积解码或二维对称反卷积解码。
26.根据权利要求24所述的解码方法，其特征在于，在应用解码方法之前需先进行数字解压缩。
27.根据权利要求23所述的一种解码方法，其特征在于，当信号是3维的视频，非因果编码单元是1维的最大像素相关路径，单元内非因果预测解码方法是1维的路径非因果预测解码方法，该方法的步骤(2)从解码的各个非因果编码单元组装重建信号，进一步包括步骤：
(a)从解码的最大像素相关路径组装每个重建视频段；
(b)从重建的视频段组装重建视频。
28.根据权利要求27所述的解码方法，其特征在于，所述路径非因果预测解码方法包括直接一维时间解码、一维矩阵矢量形式解码、一维DFT反卷积解码或一维对称反卷积解码。
29.根据权利要求27所述的解码方法，其特征在于，解码之前需先进行数字解压。
30.根据权利要求23所述的一种解码方法，其特征在于，当信号是3维视频，非因果编码单元包括1维的由路径非因果预测编码方法编码的最大像素相关路径和2维的图像块；对于是1维的由路径非因果预测编码方法编码的最大像素相关路径的非因果编码单元，单元内非因果预测解码方法是1维的路径非因果预测解码方法；对于是2维的图像块的非因果编码单元，单元内非因果预测解码方法是2维的由非线性选择性块内预测器编码的块内非因果预测解码方法；该方法的步骤(1)对于每个非因果编码单元，利用单元非因果预测解码方法，分别进行解码，进一步包括步骤：
(a)对于每个由路径非因果预测编码方法编码的最大像素相关路径，利用路径非因果预测解码方法，分别解码；
(b)对每个图像块，将任何块内像素对每个由步骤(a)已经解码的块内像素的预测置零，获得其非线性选择性块内预测器；
(c)对每个图像块，采用由非线性选择性块内预测器编码的块内非因果预测解码方法，分别解码；
该方法的步骤(2)从解码的各个非因果编码单元组装重建信号，进一步包括步骤：
(d)利用步骤(a)和步骤(c)解码的像素组装每个重建视频段；
(e)从重建的视频段组装重建视频。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462028727P | 2014-07-24 | 2014-07-24 | |
| US62/028,727 | 2014-07-24 | ||
| PCT/CN2015/084897 WO2016011961A1 (zh) | 2014-07-24 | 2015-07-23 | 非因果预测的信号编码方法、解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106688235A CN106688235A (zh) | 2017-05-17 |
| CN106688235B true CN106688235B (zh) | 2019-08-16 |
Family
ID=55162525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580038387.2A Active CN106688235B (zh) | 2014-07-24 | 2015-07-23 | 非因果预测的信号编码方法、解码方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10225577B2 (zh) |
| CN (1) | CN106688235B (zh) |
| WO (1) | WO2016011961A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018066980A1 (ko) * | 2016-10-04 | 2018-04-12 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
| US11044466B2 (en) * | 2018-01-26 | 2021-06-22 | Samsung Electronics Co., Ltd. | Image processing device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101395661A (zh) * | 2006-03-07 | 2009-03-25 | 艾利森电话股份有限公司 | 音频编码和解码的方法和设备 |
| CN102113326A (zh) * | 2008-08-04 | 2011-06-29 | 杜比实验室特许公司 | 重叠块差异估计和补偿体系结构 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2605361A (en) * | 1950-06-29 | 1952-07-29 | Bell Telephone Labor Inc | Differential quantization of communication signals |
| US5689591A (en) * | 1992-03-20 | 1997-11-18 | Carnegie Mellon University | Apparatus and method for noncausal, predictive, digital image compression |
| US20100008419A1 (en) * | 2008-07-10 | 2010-01-14 | Apple Inc. | Hierarchical Bi-Directional P Frames |
| US9491458B2 (en) * | 2012-04-12 | 2016-11-08 | Qualcomm Incorporated | Scalable video coding prediction with non-causal information |
-
2015
- 2015-07-23 CN CN201580038387.2A patent/CN106688235B/zh active Active
- 2015-07-23 US US14/807,154 patent/US10225577B2/en active Active
- 2015-07-23 WO PCT/CN2015/084897 patent/WO2016011961A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101395661A (zh) * | 2006-03-07 | 2009-03-25 | 艾利森电话股份有限公司 | 音频编码和解码的方法和设备 |
| CN102113326A (zh) * | 2008-08-04 | 2011-06-29 | 杜比实验室特许公司 | 重叠块差异估计和补偿体系结构 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10225577B2 (en) | 2019-03-05 |
| WO2016011961A1 (zh) | 2016-01-28 |
| CN106688235A (zh) | 2017-05-17 |
| US20160029043A1 (en) | 2016-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102447472B1 (ko) | 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법 | |
| RU2689129C1 (ru) | Способ для интерполяции изображений с использованием асимметричного интерполяционного фильтра и устройство для этого | |
| CN107786871B (zh) | 视频解码方法 | |
| TWI816439B (zh) | 以區塊為基礎之預測技術 | |
| JP2023179682A (ja) | 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測 | |
| US10034024B2 (en) | Method and apparatus for encoding/decoding images considering low frequency components | |
| CA2797569C (en) | Method and device for video predictive encoding | |
| US8594189B1 (en) | Apparatus and method for coding video using consistent regions and resolution scaling | |
| WO2017023152A1 (ko) | 싱글톤 계수 업데이트를 이용하여 변환을 수행하는 방법 및 장치 | |
| KR20070012279A (ko) | 센서영상 부호화 및 복호화장치와 그 방법 | |
| US20120263225A1 (en) | Apparatus and method for encoding moving picture | |
| CN114270826A (zh) | 用于视频数据的帧内预测编码的方法和装置 | |
| KR20060119736A (ko) | 영상 신호의 인코딩 방법 | |
| TW202423121A (zh) | 使用內預測之寫碼技術 | |
| JP5092558B2 (ja) | 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置 | |
| JP2017537491A (ja) | 改善された転置バッファを有するスケーラブルな変換ハードウェアアーキテクチャ | |
| JP2024511636A (ja) | インター予測にディープラーニングベースのインループフィルタを用いるビデオコーディング方法及び装置 | |
| KR20220136163A (ko) | 인터 예측에 딥러닝 기반 인루프 필터를 이용하는 비디오 코딩방법 및 장치 | |
| EP1841235A1 (en) | Video compression by adaptive 2D transformation in spatial and temporal direction | |
| CN106688235B (zh) | 非因果预测的信号编码方法、解码方法 | |
| KR101512643B1 (ko) | 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체 | |
| JP7476402B2 (ja) | 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング | |
| US20230239462A1 (en) | Inter prediction method based on variable coefficient deep learning | |
| KR20110126075A (ko) | 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치 | |
| JP2012238997A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200428 Address after: 401220 No. 6 Xinmin Road, Xinshi Street, Changshou District, Chongqing Patentee after: Chongqing saizhenda Intelligent Technology Co., Ltd Address before: 621000 No.2, floor 1, unit 1, block a, No.8, Dongjin Road, Mianyang City, Sichuan Province Patentee before: Chen Shidong |