CN1960495B - 图像编码装置、图像编码方法和集成电路装置 - Google Patents
图像编码装置、图像编码方法和集成电路装置 Download PDFInfo
- Publication number
- CN1960495B CN1960495B CN2006101376328A CN200610137632A CN1960495B CN 1960495 B CN1960495 B CN 1960495B CN 2006101376328 A CN2006101376328 A CN 2006101376328A CN 200610137632 A CN200610137632 A CN 200610137632A CN 1960495 B CN1960495 B CN 1960495B
- Authority
- CN
- China
- Prior art keywords
- image
- input picture
- expansion
- expands
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000011156 evaluation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000004075 alteration Effects 0.000 description 6
- 230000033228 biological regulation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种图像编码装置，在采用H.264标准进行图像数据的编码时，减少编码量。该装置包括：图像扩充单元，用于通过使用参考值扩充输入图像，生成扩充图像，该参考值是是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值；编码单元，用于通过对由所述图像扩充部分生成的所述扩充图像，按照H.264标准，采用帧内预测进行编码，生成将所述扩充部分的预测误差表示为0的符号。
Description
技术领域
本发明涉及按照H.264标准对高清晰度电视广播进行编码的图像编码装置以及方法。
背景技术
近年来，模拟电视广播(SDTV：Standard Definition TeleVision)向着数字化方向发展，而且，对运动图像进行压缩编码，并记录到硬盘(Harddisc)、DVD-RAM(Digital Versatile Disk-Random Access Memory)等光盘上的数字视频记录器逐渐普及，进一步，能够记录卫星、地面波数字高清晰度电视广播(HDTV：High Definition TeleVision)的数字视频记录器开始商品化。
在HDTV广播中，发送以MPEG2(Moving Picture Experts Group 2)标准编码的流，在记录该流时，仍以MPEG2流的格式记录。或者，通常的方法是，将解码图像转换为DVD标准规定的图像尺寸，然后以MPEG2标准再压缩并记录。另外还有一种方法是，使用比MPEG2编码效率高的H.264标准，降低比特率(bit rate)，然后以HDTV图像尺寸且抑制图像质量恶化的方式记录。
HDTV图像尺寸中，水平像素数是1920或者1440像素，有效行(line)数是1080行。由于H.264标准的编码适用于像素数和行数均为16的倍数的图像，所以对HDTV图像尺寸的原图像进行编码时，需要考虑将行数扩充为1088行的扩充图像。
同样的图像扩充，还利用于以下情况：例如为了使编码图像中显示的块噪音(Block noise)不明显，故意打乱编码单位块的排列时的情况。
日本专利申请公开号为特开平1-168165号公报的专利文献1中，公开了带有图像扩充的图像数据编码技术的一个例子。其概要为：当未满单位块大小的部分在图像边缘时，补充推测的像素生成单位块，并对该单位块进行编码。根据专利文献1，具体可以对所述推测的像素，使用最边缘的像素值。
但是，例如，如果将现有技术中的图像扩充，单纯地应用于使用H.264标准的图像数据的编码，则会产生扩充部分无法获得良好的编码效率的问题。该问题的起因在于，针对H.264标准规定的帧内预测编码以及帧间预测编码，现有技术的图像扩充不一定对减少上述编码的预测误差起作用。
发明内容
有鉴于此，本发明的目的在于提供一种图像编码装置，在带有图像数据的图像扩充的编码中，抑制生成的编码量的增大。
为了解决上述问题，本发明的图像编码装置包括：编码单元，用于通过预测，生成表示扩充图像的符号，所述扩充图像是将输入图像扩充为编码块的自然数倍大小的图像；控制单元，包括图像扩充参数输出单元和图像扩充单元。所述图像扩充参数输出单元，用于输出表示扩充部分位于所述输入图像的上方还是下方的图像扩充参数，所述扩充部分是为成为所述扩充图像的一部分而在所述输入图像扩充的部分。所述图像扩充单元，当表示所述位置为上方时，无论所述输入图像包含的像素值的大小，使用参考值，对所述输入图像在上侧扩充，该参考值是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值，当表示所述位置为下方时，使用所述输入图像的最下方行的像素值，对所述输入图像在下侧扩充。
另外，所述输入图像的行数为1080；所述图像扩充单元可以通过使用像素值128，对所述输入图像在上侧扩充8行，生成行数为1088的扩充图像。
另外，所述图像扩充参数输出单元，进一步用于输出表示所述输入图像为构成运动图像的帧还是半帧的图像扩充参数；所述图像扩充单元，当表示所述输入图像为帧时，可以与表示所述输入图像为半帧的情况下的扩充行数相比，对所述输入图像扩充2倍的行数。
另外，本发明的另一种图像编码装置包括控制单元和编码单元。所述控制单元包括图像扩充参数输出单元，用于为了将输入图像扩充为编码单位块的自然数倍大小，输出表示扩充部分位于所述输入图像的上方还是下方的图像扩充参数；所述编码单元包括0值生成单元，用于在对包含所述扩充部分的块进行编码时，将所述扩充部分的预测误差设为0后确定帧内预测和帧间预测的模式，在按照确定的所述模式进行编码时，将所述扩充部分的预测误差设为0。
再有，本发明不仅可以通过上述图像编码装置实现，还能通过将上述图像编码装置所包含的特征性单元执行的处理作为步骤的图像编码方法实现，另外，还可以通过图像编码处理的集成电路装置实现。
本发明的图像编码装置，使用参考值扩充输入图像，并对扩充得到的扩充图像进行编码，该参考值是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值，或者通过插入作为扩充部分的预测误差的0值，生成将所述扩充图像的扩充部分相关的预测误差表示为0的符号，从而生成的编码量得到抑制，其结果，可以获得比现有技术更好的编码效率。
附图说明
图1是实施方式1中图像编码装置的一个例子的框图。
图2是直观地示出向输入图像的上侧进行图像扩充的一个例子的图。
图3是直观地示出向输入图像的下侧进行图像扩充的一个例子的图。
图4是实施方式1中编码单元的一个例子的框图。
图5是说明帧内预测模式的图。
图6是说明运动补偿的单位尺寸的图。
图7是确定扩充行数的处理过程的一个例子的流程图。
图8是对输入图像进行的扩充处理的一个例子的流程图。
图9是对输入图像进行的扩充处理的其他例子的流程图。
图10是实施方式2中图像编码装置的一个例子的框图。
图11是实施方式2中编码单元的一个例子的框图。
图12是直观地示出对向上侧扩充的扩充图像进行编码的一个例子的图。
图13是直观地示出对向下侧扩充的扩充图像进行编码的一个例子的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
(实施方式1)
图1是本发明实施方式1中，图像编码装置10的功能性结构的一个例子的框图。
图像编码装置10，用于使用参考值扩充输入图像，并对扩充得到的扩充图像进行编码，生成将所述扩充图像的扩充部分的预测误差表示为0的符号，其中，该参考值是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值；该装置由控制单元11及编码单元12构成。控制单元11由图像扩充参数输出单元111、编码参数输出单元112及图像扩充单元113构成。
作为具体的一个例子，控制单元11及编码单元12，可以是通过计算机执行程序而实现的软件功能，也可以是构成集成电路装置的电路块。另外，输入图像可以是以1080i解像度表示的HDTV图像。
控制单元11中，图像扩充参数输出单元111输出图像扩充参数，该图像扩充参数包含至少表示以下内容中的一个内容的信息：(A)所述扩充部分位于所述输入图像的上方还是下方；(B)所述输入图像是构成运动图像的帧还是半帧(field)；以及(C)在所述扩充图像的编码中，编码单元12采用帧内预测还是帧间预测。
该图像扩充参数另外还可以包含以下信息，即，表示输入图像以具有相同数目的亮度像素和色差像素的YUV422方式，还是以具有亮度像素和像素数目为亮度像素一半的色差像素的YUV420方式显示的信息。
该图像扩充参数的内容，例如，根据无图示的用户发来的指示信息确定。
图像扩充单元113根据图像扩充参数，扩充输入图像，生成扩充图像。对该扩充处理的详细内容，在后面叙述。
编码参数输出单元112输出编码参数，该编码参数包含表示编码单元12在所述扩充图像的编码中，采用帧内预测还是帧间预测的信息。编码参数另外还可以包含以下信息，即，规定编码率的压缩率信息、与帧内预测的预测方向相关的模式信息。
编码单元12根据编码参数，对扩充图像进行编码，生成流，该流包含表示图像的符号，同时向图像扩充单元113输出参考像素值。在帧内预测中，该参考像素值是与其他编码块的像素进行比较的像素值，而在帧间预测(表示帧间或者半帧间的预测)中，该参考像素值是与其他帧或者半帧的像素进行比较的像素值。
下面，对图像扩充单元113进行的图像扩充处理进行说明。
图2及图3是直观地示出该图像扩充处理内容的一个例子的图。
图像扩充单元113从图像扩充参数输出单元111接收图像扩充参数，并根据该图像扩充参数的内容，按照规定方向，使用规定行数、规定像素值扩充输入图像。
图2示出的是，对输入图像在上侧扩充8行，获得扩充图像的例子，该例子具体适用于，将1080行的输入图像扩充为1088行的扩充图像时的情况。
当输入图像分别为构成帧的540行的前半帧(Top field)或者后半帧(Bottom field)时，如图2左侧所示，图像扩充单元113在每半帧，对输入图像扩充4行，相当于在每帧扩充8行。当输入图像为1080行的帧时，如图2右侧所示，图像扩充单元113对输入图像扩充8行。
换言之，输入图像为帧时扩充的行数是，输入图像为半帧时扩充的行数的2倍。
另外，当编码单元12在所述扩充图像的编码中采用帧内预测时，图像扩充单元113将参考值128作为图像扩充部分的像素值，该参考值128是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值。在所述扩充图像的编码中，当编码单元12在所述扩充图像的编码中采用帧间预测时，图像扩充单元113将编码单元12提供的参考像素值作为图像扩充部分的像素值。
图3示出了对输入图像在下侧扩充8行，获得扩充图像的例子。根据输入图像是半帧还是帧的不同，扩充的行数与前述相同。
另外，当编码单元12在所述扩充图像的编码中采用帧内预测时，图像扩充单元113将输入图像的最下方行的像素的像素值作为图像扩充部分的像素值。当编码单元12在所述扩充图像的编码中采用帧间预测时，图像扩充单元113将编码单元12提供的参考像素值作为图像扩充部分的像素值。
到此为止的说明，未对表示亮度信息的亮度像素及表示色差信息的色差像素加以区别。作为一个例子，上述说明均适用于以YUV422方式表示的输入图像的亮度像素和色差像素双方。另外，上述说明适用于以YUV420方式表示的输入图像的亮度像素的同时，上述说明中用一半行数进行的扩充适用于该输入图像的色差像素。
下面，对编码单元12的详细内容进行说明。
图4是编码单元12的功能性结构的一个例子的框图。众所周知，该结构是遵循H.264标准的编码器的一般模型，所以在此非常简单地说明。
编码单元12对图像扩充单元113输出的扩充图像，以每个编码块的宏块为单位进行编码，并编码成为流。编码单元12在帧内预测及帧间预测之中，采用与编码参数输出单元112提供的编码参数对应的预测方式，进行所述编码。
加法单元121计算出扩充图像的像素值与用于预测的参考像素值之间的误差；正交变换单元122将该误差转换为例如离散余弦(cosine)系数；量化单元123对该离散余弦系数进行量化。
逆量化单元124及逆正交变换单元125通过解码所述量化结果，局部求与播放器中计算出的误差同等的误差。加法单元126通过相加该误差和参考像素值，得到局部解码结果的像素值。
加法单元126得到的像素值，输出到帧内预测单元127，与此同时，经过环路滤波器(loop filter)存储到帧存储器129，更进一步，还输出到图像扩充单元113。
当编码中采用帧内预测时，帧内预测单元127根据加法单元126提供的所述像素值，生成规定的参考像素值。根据H.264标准，该参考像素值是为了用于与相邻宏块之间的对比而规定的值。
然后，开关(switch)132选择帧内预测单元127输出的参考像素值；加法单元121计算扩充图像包含的相邻宏块的像素值与所选择的参考像素值之间的误差，由此执行后续的编码。
当编码中采用帧间预测时，运动检测单元130根据对先行的帧或者半帧(即参考图像)计算并存储于帧存储器129的参考像素值，计算出表示后续的帧或者半帧的扩充图像中的宏块的运动矢量。运动补偿单元131将参考图像中以计算出的运动矢量表示的范围的像素值，作为参考像素值输出。
然后，开关132选择运动补偿单元131输出的参考像素值；加法单元121计算后续的帧或者半帧中的宏块的像素值与所选择的参考像素值之间的误差，由此执行后续的编码。
图5是在H.264标准中，为了取得与帧内预测对象的单位块内的各像素之间的差分，而规定使用的参考像素的示意图。如图所示，H.264标准规定，在9种预测模式中，分别取得箭头记号的起点所在的参考像素与该箭头记号方向所在的各像素之间的差分。
此图中，给出了以4×4像素表示该单位块的大小的例子。图中，白色圆表示该单位块内的各像素，斜线填充的圆表示位于该单位块的左方及上方的几个参考像素。
预测模式0中，取得位于单位块的上侧的若干个参考像素与单位块内位于各参考图像的正下方的像素之间的差分。
预测模式1中，取得位于单位块的左侧的若干个参考像素与单位块内位于各参考图像的右侧的像素之间的差分。
预测模式3～8中，取得若干个参考图像与从各参考像素出发的位于箭头记号方向上的单位块内的各像素之间的差分。
位于图像的最上方的单位块，由于上侧的参考像素不存在，所以采用预测模式1、2及8中的任意模式。特别是，位于图像的最左上方的单位块，由于所有的参考像素都不存在，所以假定参考像素的平均值为128并采用预测模式2。该值128是为了用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的参考值的一个例子。
还有，帧内预测也能以8×8像素及16×16像素大小的单位块为对象进行。
图6是H.264标准中的运动补偿的单位的示意图。现有的MPEG标准中，运动补偿的单位固定为16×16像素大小的宏块，与此相对，H.264标准中，如图6(A)所示，能够利用16×16像素、16×8像素、8×16像素、8×8像素这4种大小的宏块，作为运动补偿的单位，而且，如图6(B)所示，能够利用通过分割8×8像素的宏块得到的8×4像素、4×8像素、4×4像素这3种子宏块。
下面，参照流程图，对图像扩充单元113的处理的主要部分进行说明。
图7是确定扩充行数的处理过程的一个例子的流程图。
当图像扩充参数输出单元111提供的图像扩充参数表示输入图像为帧时(S11中为帧)，图像扩充单元113将Ny(用于亮度的扩充行数)确定为8(S12)；当图像扩充参数表示输入图像为半帧时(S11中为半帧)，图像扩充单元113将Ny确定为4(S13)。
然后，当所述图像扩充参数表示输入图像以YUV420方式显示时(S14中4:2:0)，图像扩充单元113将Nc(用于色差的扩充行数)确定为Ny/2(S15)；当所述图像扩充参数表示输入图像以YUV422方式显示时(S14中4:2:2)，图像扩充单元113将Nc确定为Ny(S16)。
图8是图像扩充处理的一个例子的流程图。
当所述图像扩充参数表示扩充部分的位置在输入图像的上方时(S31中为上)，图像扩充单元113对所述输入图像，使用像素值128在所述输入图像的上侧，扩充按照图7所示的流程图确定的行数，生成扩充图像(S32及图2)。另一方面，当所述图像扩充参数表示扩充部分的位置在输入图像的下方时(S31中为下)，图像扩充单元113对所述输入图像，使用所述输入图像的最下方行的像素值，在所述输入图像的下侧扩充所确定的行数，生成扩充图像(S33及图3)。
图9是考虑预测中采用帧内预测还是帧间预测的情况下，将图8所示的处理扩展后的流程图。
该扩展的处理中，当图像扩充参数输出单元111提供的图像扩充参数表示预测中采用帧内预测时(S41中为帧内预测)，图像扩充单元113执行图8所示的处理。而当图像扩充参数表示预测中采用帧间预测时(S41中为帧间预测)，图像扩充单元113使用编码单元12提供的参考像素值，对所述输入图像进行扩充(S42)。此时扩充的方向及行数根据所述图像扩充参数及所述确定的行数得到。
在到此为止说明的结构中，如果使用像素值128，对输入图像在上侧扩充得到扩充图像，并采用帧内预测对该扩充图像进行编码，则对于图像的左上方的宏块，由于使用像素值128进行帧内预测，所以预测误差全部为0。而且，对其他上方的宏块，也由于使用左相邻的像素值进行帧内预测，所以预测误差全部为0。
另外，如果对输入图像，使用所述输入图像的最下方行的像素值，在下侧扩充得到扩充图像，并采用帧内预测对所述扩充图像进行编码，则对于图像下方的宏块，由于使用上相邻的像素值进行预测，所以可以将预测误差变为0。
另一方面，如果使用编码单元12输出的参考像素值(即参考图像的像素值)，扩充得到扩充图像，并采用将运动矢量设为0的帧间预测，对所述扩充图像进行编码，也可以将预测误差变为0。在这种情况下，特别希望通过选择例如16×8像素的宏块、8×4像素的子宏块等作为运动补偿的单位，对扩充图像中的扩充部分与其他部分，分别作为各个不同的编码块进行编码。这样，对于扩充部分仅产生与编码条件相关的编码量，可以为抑制生成的编码量作出很大的贡献。
(实施方式2)
图10是本发明实施方式2中，图像编码装置20的功能性结构的一个例子的框图。
图像编码装置20生成作为扩充部分的预测误差的0值，所述扩充部分是为成为扩充图像的一部分而在输入图像扩充的部分，并对所述生成的0值和所述输入图像相关的预测误差，按照H.264标准进行编码，生成将所述扩充部分的预测误差表示为0的符号。图像编码装置20与图像编码装置10相比，图像编码装置20具有省略了图像扩充单元113的控制单元21，同时编码单元22的内容由编码单元12变更得到。
与实施方式1相同，控制单元21及编码单元22，例如可以是通过计算机执行程序而实现的软件功能，也可以是构成集成电路装置的电路块。另外，输入图像可以是以1080i解像度表示的HDTV图像。
以下，对与实施方式1说明的图像编码装置10中的结构要素相同的结构要素，标记相同的符号，并省略说明。
控制单元21向编码单元22输出与实施方式1相同的图像扩充参数及编码参数。
在实施方式2中，该图像扩充参数与实施方式1中不同，仅用于确定所述扩充部分相对于所述输入图像的位置及行数。该图像扩充参数不用于为了向编码单元22输入而对确定的扩充部分生成具体的像素值。
图11是编码单元22的功能性结构的一个例子的框图。与图4所示的编码单元12的结构相比，编码单元22具有0值生成单元221，用于生成作为所述扩充部分的预测误差的0值；编码单元22对所述生成的0值和所述输入图像的预测误差，按照H.264标准进行编码。
图12和图13是直观地示出该编码处理内容的一个例子的图。
图12是扩充部分为输入图像的上侧8行时的例子。
如图所示，图上方的宏块中，上面的8行为扩充的区域。对于将宏块的扩充部分设为虚拟数据(dummy data)(不在意(don’t care)的值)的扩充宏块，进行如下所述的编码。
帧内预测单元127按照H.264标准，分别对图5所示的9种模式生成各个评价值，选择生成的评价值最佳的模式，并以选择的模式进行帧内预测。例如，将用参考图像与宏块之间的对应像素的差分绝对值和表示的预测误差作为评价值，选择该值最小的模式。
特别是，当对扩充宏块进行帧内预测时，将扩充部分A1及A2的预测误差强制地设为0后评价，并确定模式。在帧内预测中，位于图像左上方的块中，只能使用像素值128的平均值预测(预测模式2)，位于除此以外的图像上方的块中，只能使用预测模式1、2、8，而对与相邻块中选择的最小编号的预测模式相同的预测模式，可以用1比特表示，若考虑以上因素，则在抑制编码量的方面上，较佳地，例如对所有的扩充宏块选择预测模式2。
运动检测单元130及运动补偿单元131按照H.264标准，在图6所示的每个运动补偿的单位尺寸中生成评价值，选择评价值最佳的运动单位尺寸，并以选择的单位尺寸进行运动补偿。例如，将用参考图像与宏块之间的对应像素的差分绝对值和表现的预测误差设为评价值，选择该值最小的单位尺寸。
特别是，当对扩充宏块进行帧间预测时，将扩充部分B 1及B2的预测误差强制地设为0后评价，选择运动补偿的单位尺寸。
作为一个例子，当选择16×16像素作为单位尺寸时，将上侧块B 1及B2的预测误差设为0后求评价值。该评价值中，仅包括扩充宏块的下侧块B3、B4的预测误差。
作为其他例子，当选择16×8像素作为单位尺寸时，将位于扩充部分的块的预测误差设为0的同时，确定用最少的编码量表示运动矢量。若考虑用运动矢量与由周围运动矢量生成的预测矢量之间的差分表示，则在抑制编码量的方面上，较佳地，可以认为运动矢量与预测矢量相等，并将差分矢量设为0。
然后，加法单元121按照如上所述确定的帧内预测模式、运动补偿的单位尺寸及运动矢量，对输入图像的各块计算出的预测误差，以及0值生成单元221对扩充部分的块A1、A2、B1和B2生成的0值，通过正交变换单元122、量化单元123以及熵编码单元133，编码成为流。
图13是扩充部分为输入图像的下侧8行时的例子。
如图所示，图下方的宏块中，下面的8行为扩充的区域。考虑将宏块的扩充部分设为任意(不在意)的像素值的扩充宏块，进行编码。编码的基本思想，与图12所示的扩充部分在上侧时的情况相同。
帧内预测单元127在对扩充宏块进行帧内预测时，将扩充部分C3及C4的预测误差强制地设为0后评价的同时，选择预测模式。对块C3，从块C1的预测模式以及预测模式2之中，选择编号小的预测模式。这是因为块C3的左侧不存在块，所以采用上述选择方法。对块C4，从块C2的预测模式以及块C3的预测模式之中，选择编号小的预测模式。
另外，运动检测单元130及运动补偿单元131与上侧扩充的情况相对称地，将下侧的块D3及D4的预测误差强制地设为0后进行帧间预测，并选择运动补偿的单位尺寸，同时求运动矢量。
然后，加法单元121按照如上所述确定的帧内预测模式、运动补偿的单位尺寸及运动矢量，对输入图像的各块计算出的预测误差，以及0值生成单元221对扩充部分的块C3、C4、D3和D4生成的0值，通过正交变换单元122、量化单元123以及熵编码单元133，编码成为流。
本发明的图像编码装置及其方法，可以利用于采用帧内预测及帧间预测对图像进行编码的装置，特别有用于按照H.264标准对以1080i解像度表示的HDTV图像进行编码。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种图像编码装置，其特征在于，该装置包括：
编码单元，用于通过预测扩充图像，生成表示所述扩充图像的符号，所述扩充图像是将输入图像扩充为编码块的自然数倍大小的图像；
控制单元，包括图像扩充参数输出单元和图像扩充单元，
所述图像扩充参数输出单元，用于输出表示扩充部分位于所述输入图像的上方还是下方的图像扩充参数，所述扩充部分是为成为所述扩充图像的一部分而在所述输入图像扩充的部分，
所述图像扩充单元，当表示所述位置为上方时，无论所述输入图像包含的像素值的大小，使用参考值，对所述输入图像在上侧扩充，该参考值是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值，当表示所述位置为下方时，使用所述输入图像的最下方行的像素值，对所述输入图像在下侧扩充。
2.根据权利要求1所述的图像编码装置，其特征在于，
所述输入图像的行数为1080；
所述图像扩充单元通过使用像素值128，对所述输入图像在上侧扩充8行，生成行数为1088的扩充图像。
3.根据权利要求1所述的图像编码装置，其特征在于，
所述图像扩充参数输出单元，进一步用于输出表示所述输入图像为构成运动图像的帧还是半帧的图像扩充参数；
所述图像扩充单元，当表示所述输入图像为帧时，与表示所述输入图像为半帧的情况下的扩充行数相比，对所述输入图像扩充2倍的行数。
4.一种图像编码装置，其特征在于，
该装置包括控制单元和编码单元；
所述控制单元包括图像扩充参数输出单元，用于为了将输入图像扩充为编码单位块的自然数倍大小，输出表示扩充部分位于所述输入图像的上方还是下方的图像扩充参数；
所述编码单元包括0值生成单元，用于在对包含所述扩充部分的块进行编码时，将所述扩充部分的预测误差设为0后确定帧内预测和帧间预测的模式，在按照确定的所述模式进行编码时，将所述扩充部分的预测误差设为0。
5.一种集成电路装置，其特征在于，该装置包括：
编码电路，用于生成表示扩充图像的符号，所述扩充图像是将输入图像扩充为编码块的自然数倍大小的图像；
控制电路，包括图像扩充参数输出单元和图像扩充单元，
所述图像扩充参数输出单元，用于输出表示扩充部分位于所述输入图像的上方还是下方的图像扩充参数，所述扩充部分是为成为所述扩充图像的一部分而在所述输入图像扩充的部分，
所述图像扩充单元，当表示所述位置为上方时，无论所述输入图像包含的像素值的大小，使用参考值，对所述输入图像在上侧扩充，该参考值是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值，当表示所述位置为下方时，使用所述输入图像的最下方行的像素值，对所述输入图像在下侧扩充。
6.一种图像编码方法，用于对图像进行编码，其特征在于，该方法包括：
编码步骤，用于通过预测扩充图像，生成表示所述扩充图像的符号，所述扩充图像是将输入图像扩充为编码块的自然数倍大小的图像；
控制步骤，包括图像扩充参数输出子步骤和图像扩充子步骤，
所述图像扩充参数输出子步骤，用于输出表示扩充部分位于所述输入图像的上方还是下方的图像扩充参数，所述扩充部分是为成为所述扩充图像的一部分而在所述输入图像扩充的部分，
所述图像扩充子步骤，当表示所述位置为上方时，无论所述输入图像包含的像素值的大小，使用参考值，对所述输入图像在上侧扩充，该参考值是为用于按照H.264标准进行帧内预测时周围像素不存在的情况而规定的值，当表示所述位置为下方时，使用所述输入图像的最下方行的像素值，对所述输入图像在下侧扩充。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005-317366 | 2005-10-31 | ||
| JP2005317366 | 2005-10-31 | ||
| JP2005317366A JP4114885B2 (ja) | 2005-10-31 | 2005-10-31 | 画像符号化装置、方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1960495A CN1960495A (zh) | 2007-05-09 |
| CN1960495B true CN1960495B (zh) | 2011-01-19 |
Family
ID=37996254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006101376328A Expired - Fee Related CN1960495B (zh) | 2005-10-31 | 2006-10-31 | 图像编码装置、图像编码方法和集成电路装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20070098071A1 (zh) |
| JP (1) | JP4114885B2 (zh) |
| CN (1) | CN1960495B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NO326724B1 (no) * | 2007-09-03 | 2009-02-02 | Tandberg Telecom As | Metode for entropikoding av transformasjonskoeffisienter i videokomprimeringssystemer |
| JP5238523B2 (ja) * | 2009-01-13 | 2013-07-17 | 株式会社日立国際電気 | 動画像符号化装置、動画像復号化装置、および、動画像復号化方法 |
| JP2010193401A (ja) * | 2009-02-20 | 2010-09-02 | Canon Inc | 画像符号化方法及び画像符号化装置 |
| KR101452713B1 (ko) * | 2009-10-30 | 2014-10-21 | 삼성전자주식회사 | 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치 |
| SG185371A1 (en) * | 2010-04-23 | 2012-12-28 | Soo-Mi Oh | Image encoding device and method |
| KR101530284B1 (ko) | 2010-07-16 | 2015-06-19 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
| KR101373814B1 (ko) | 2010-07-31 | 2014-03-18 | 엠앤케이홀딩스 주식회사 | 예측 블록 생성 장치 |
| CN101969562B (zh) * | 2010-10-27 | 2015-07-01 | 北京中星微电子有限公司 | 一种帧宽高为非16整数倍的视频编码方法及编码器 |
| US9609354B2 (en) | 2010-12-14 | 2017-03-28 | M&K Holdings Inc. | Apparatus for decoding a moving picture |
| US8917763B2 (en) * | 2011-03-07 | 2014-12-23 | Panasonic Corporation | Motion compensation apparatus, video coding apparatus, video decoding apparatus, motion compensation method, program, and integrated circuit |
| JP5741092B2 (ja) * | 2011-03-15 | 2015-07-01 | 富士通株式会社 | 画像符号化方法及び画像符号化装置 |
| SG11201402920TA (en) * | 2011-12-19 | 2014-11-27 | Sony Corp | Image processing device and method |
| KR101434208B1 (ko) | 2013-04-02 | 2014-08-27 | 삼성전자주식회사 | 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치 |
| EP3026906B1 (en) * | 2013-07-22 | 2020-03-25 | Renesas Electronics Corporation | Moving image encoding apparatus and operation method thereof |
| JP6308838B2 (ja) * | 2014-03-31 | 2018-04-11 | 株式会社メガチップス | 動画像符号化装置、プログラムおよび集積回路 |
| WO2017158850A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社ソシオネクスト | 画像処理装置、および画像処理方法 |
| CA3144797A1 (en) * | 2019-06-24 | 2020-12-30 | Huawei Technologies Co., Ltd. | Method for computing position of integer grid reference sample for block level boundary sample gradient computation in bi-predictive optical flow computation and bi-predictive correction |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6804457B1 (en) * | 1999-04-08 | 2004-10-12 | Matsushita Electric Industrial Co., Ltd. | Digital video signal recorder/reproducer and transmitter |
| CN1578468A (zh) * | 2003-07-28 | 2005-02-09 | 松下电器产业株式会社 | 视频解码设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3356004B2 (ja) * | 1997-05-30 | 2002-12-09 | 日本ビクター株式会社 | 可変レート符号化装置及び方法 |
| EP1006482A3 (en) * | 1998-12-01 | 2005-08-10 | Canon Kabushiki Kaisha | Encoding separately image object and its boundary |
| US7822123B2 (en) * | 2004-10-06 | 2010-10-26 | Microsoft Corporation | Efficient repeat padding for hybrid video sequence with arbitrary video resolution |
| US7911536B2 (en) * | 2004-09-23 | 2011-03-22 | Intel Corporation | Screen filled display of digital video content |
| WO2006038679A1 (ja) * | 2004-10-07 | 2006-04-13 | Nec Corporation | 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム |
-
2005
- 2005-10-31 JP JP2005317366A patent/JP4114885B2/ja not_active Expired - Fee Related
-
2006
- 2006-10-27 US US11/588,327 patent/US20070098071A1/en not_active Abandoned
- 2006-10-31 CN CN2006101376328A patent/CN1960495B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6804457B1 (en) * | 1999-04-08 | 2004-10-12 | Matsushita Electric Industrial Co., Ltd. | Digital video signal recorder/reproducer and transmitter |
| CN1578468A (zh) * | 2003-07-28 | 2005-02-09 | 松下电器产业株式会社 | 视频解码设备 |
Non-Patent Citations (7)
| Title |
|---|
| JP特开2003-125417A 2003.04.25 |
| JP特开2003-219417A 2003.07.31 |
| JP特开2005-244503A 2005.09.08 |
| JP特开2005-86249A 2005.03.31 |
| JP特开平7-322256A 1995.12.08 |
| 唐金山等.正交小波变换中边界的零延拓及其无失真恢复.电子学报27 1.1999,27(1),89-91. |
| 唐金山等.正交小波变换中边界的零延拓及其无失真恢复.电子学报27 1.1999,27(1),89-91. * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4114885B2 (ja) | 2008-07-09 |
| US20070098071A1 (en) | 2007-05-03 |
| CN1960495A (zh) | 2007-05-09 |
| JP2007124564A (ja) | 2007-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1960495B (zh) | 图像编码装置、图像编码方法和集成电路装置 | |
| JP5470405B2 (ja) | 画像符号化装置および方法 | |
| JP6335365B2 (ja) | 復号装置 | |
| RU2719453C1 (ru) | Способ кодирования изображения и устройство обработки информации | |
| US7925108B2 (en) | Encoding device and dynamic image recording system having the encoding device | |
| JP2010514246A (ja) | 画像圧縮及び伸張 | |
| CN101352046A (zh) | 图像编码/解码方法与装置 | |
| CN102986211A (zh) | 视频编码中的速率控制 | |
| CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
| CN102271257A (zh) | 图像处理设备和方法及程序和计算机可读介质 | |
| US6389073B1 (en) | Coding control method, coding control apparatus and storage medium containing coding control program | |
| JP2004518338A (ja) | 符号化されたビデオの鮮鋭度を向上する方法及びシステム | |
| JP4257789B2 (ja) | 動画像符号化装置 | |
| JP4898415B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4776505B2 (ja) | 画像符号化装置、画像復号装置及び画像処理プログラム | |
| US20070147511A1 (en) | Image processing apparatus and image processing method | |
| JP2007013298A (ja) | 画像符号化装置 | |
| US7068721B2 (en) | Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture | |
| WO2022077490A1 (zh) | 一种帧内预测方法、编码器、解码器及存储介质 | |
| JP3560958B2 (ja) | 動画符号化制御方法および装置 | |
| JP2007180767A (ja) | 情報処理装置 | |
| US12028521B2 (en) | Encoder, method, and non-transitory computer-readable storage medium | |
| TWI860228B (zh) | 影像編碼裝置、影像解碼裝置、影像編碼方法、影像解碼方法、及程式 | |
| JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 | |
| JP2009021786A (ja) | 画像符号化装置及び画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: INTELLECTUAL PROPERTY BRIDGE NO. 1 CO., LTD. Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD. Effective date: 20140129 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20140129 Address after: Tokyo, Japan Patentee after: GODO KAISHA IP BRIDGE 1 Address before: Osaka Patentee before: Matsushita Electric Industrial Co., Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110119 Termination date: 20141031 |
|
| EXPY | Termination of patent right or utility model |