CN102132568A - 运动检测装置 - Google Patents

Abstract

抑制成本增加等的同时进行尺寸较大的图像的记录等。一种运动检测装置，利用参考图，按照每个构成输入图的块来检测运动，具有：内部参考存储器，存储从该运动检测装置的外部传输的所述参考图；运动检测部，其利用所述内部参考存储器中所存储的所述参考图的像素数据，检测所述输入图的块中成为运动检测的对象的对象块的运动信息；运动补偿部，其利用由所述运动检测部所检测出的运动信息，对所述对象块进行运动补偿；和参考存储器管理部，其控制所述内部参考存储器。所述参考存储器管理部能够使所述内部参考存储器存储亮度分量的参考图以及色差分量的参考图，作为所述参考图。

Description

运动检测装置

技术领域

本发明涉及进行构成图(picture)的块(block)的运动检测的运动检测装置。

背景技术

为了运动检测，采用了存储多个参考图的多帧存储器(multiframe memory)。多帧存储器分为连接于运动检测装置的外部的外部存储器和处于运动检测装置的内部并且在块匹配时访问的内部存储器来进行装配(例如参照专利文献1)。

但是，由MPEG(Moving Picture Experts Group)、ITU(International Telecommunications Union)等国际标准化团体标准化的大多图像编码方式，有效地利用人类的视觉特性，将构成图像的各个像素分为亮度分量和色差分量来进行编码。尤其在进行运动检测时，为了抑制存储参考图的存储器的容量、以及运动检测处理所需的运算量，一般仅采用亮度分量(例如，参照专利文献2)。

在这样的仅采用亮度分量来进行运动检测的运动检测装置中，首先，从外部存储器经由外部连接总线向内部存储器传输参考图内成为搜索对象的区域的亮度分量的像素，并进行存储。在运动检测时，读出并利用该内部存储器中所存储的参考图。

之后，进行运动补偿。此时，对于亮度分量，利用内部存储器中存储的数据。但是，对于色差分量，需要从外部存储器经由外部连接总线读出。因此，外部连接总线的数据传输量变大。

即使是这样的结构，在要编码的图像的尺寸如SD(standard definition)图像那样较小时也没有问题。即使是在要编码的图像的尺寸如HD(high definition)图像那样较大时，若每单位时间的图像数量、即图速率比较低，则所需要的数据传输速率不超过外部连接总线中所容许的每单位时间的最大传输量，也没有问题。

专利文献1：日本特开平5-260461号公报

专利文献2：国际公开第98/042135号

非专利文献1：″Advanced video coding for generic audiovisual services″(§8.4 Inter prediction process)，ITU-T Recommendation H.264，2007年11月，pp.143-169

但是，近年来，能够记录HD图像的民用摄像机得到普及，还可以预测在不久的将来，所记录的图像的尺寸变得更大、图速率变得更高。

为了应对这种情况，有这样一种方法：通过将外部存储器置换为更高性能的外部存储器、或增加外置存储器的数量，从而使外部连接总线中所容许的每单位时间的传输量增大。但是，在将外部存储器置换为更高性能的外部存储器时，除了作为外部存储器而需要高价存储器之外，因为总线的动作速度提高，所以包括运动检测装置的产品整体的耗电也增大。在增加外置存储器的数量时，成本以及耗电增大。

此外，虽然还有或减少参考图的数量、或缩小能够搜索运动的范围的方法，但是若简单地进行这样的方法，则所记录的图像的质量大幅劣化。

发明内容

本发明的目的是在抑制成本增大、画质劣化的同时，实现尺寸较大的图像的编码、以及在较高的图速率(picture rate)下的图像编码。

本发明的实施方式的运动检测装置是一种利用参考图来按照每个构成输入图的块检测运动的运动检测装置，具有：内部参考存储器，存储从该运动检测装置的外部传输的所述参考图；运动检测部，其利用所述内部参考存储器中所存储的所述参考图的像素数据，检测所述输入图的块中成为运动检测的对象的对象块的运动信息；运动补偿部，其利用由所述运动检测部所检测出的运动信息，对所述对象块进行运动补偿；和参考存储器管理部，其控制所述内部参考存储器。所述参考存储器管理部能够使所述内部参考存储器存储亮度分量的参考图以及色差分量的参考图，作为所述参考图。

由此，能够减少来自外部的数据传输频度，能够减少从外部传输的每单位时间的数据量。因此，能够以较高的图速率进行编码等。

(发明效果)

根据本发明，能够减少运动补偿所利用的色差分量的参考图从外部存储器的传输，所以能够例如在抑制外部存储器以及内部存储器的成本、装置的耗电增加以及画质劣化的同时，进行在较高的图速率下的图像编码、以及尺寸较大的图像的编码。

附图说明

图1是表示本发明实施方式的图像编码装置的结构的框图。

图2是表示图1的运动检测装置的构成例的框图。

图3(a)是表示对于图2的总线开关选择来自外部存储器的直接路径时，高速缓冲存储器中的映射例的示意图。图3(b)是表示对于图2的总线开关选择来自高速缓冲存储器的路径时，高速缓冲存储器中的映射例的示意图。

图4是在画面上表示高速缓冲存储器中所存储的参考图对应的区域的例子的说明图。

图5是表示具有图1的图像编码装置的AV处理装置的构成例的框图。

图6是表示图1的图像编码装置的变形例的结构的框图。

图7是表示图6的图像编码装置中的处理流程的流程图。

图8(a)是表示图3(a)的第1变形例的示意图。图8(b)是表示图3(b)的第1变形例的示意图。

图9(a)是在画面上表示图8(a)的情况下高速缓冲存储器中所存储的参考图对应的区域的例子的说明图。图9(b)是在画面上表示图8(b)的情况下高速缓冲存储器中所存储的参考图对应的区域的例子的说明图。

图10(a)是表示图3(a)的第2变形例的示意图。图10(b)是表示图3(b)的第2变形例的示意图。

图11(a)是在画面上表示图10(a)的情况下高速缓冲存储器中所存储的参考图对应的区域的例子的说明图。图11(b)是在画面上表示图10(b)的情况下高速缓冲存储器中所存储的参考图对应的区域的例子的说明图。

图12(a)是表示图3(a)的第3变形例的示意图。图12(b)是表示图3(b)的第3变形例的示意图。

符号说明

10、210运动检测装置

12、212参考存储器管理部

14内部参考存储器

16、216运动检测部

18、218运动补偿部

38外部存储器

具体实施方式

以下，对于本发明的实施方式，参照附图进行说明。

图1是表示本发明实施方式的图像编码装置的结构的框图。图1的图像编码装置100是进行画面间预测编码的图像编码装置，具有运动检测装置10、运动矢量存储器24、运动矢量预测部26、减法器28、34、编码部32和加法器36。运动检测装置10具有参考存储器管理部12、内部参考存储器14、运动检测部16和运动补偿部18。这里作为示例，运动检测装置10被单片化，构成一个LSI(large-scaleintegration)。

在运动检测装置10中，经由外部连接总线连接外部存储器38。外部存储器38是SDRAM(synchronous dynamic random-access memory)等的大容量存储器，用作存储画面间预测所需的多个运动检测用参考图的多帧存储器。参考存储器管理部12控制从外部存储器38向内部参考存储器14的数据传输。参考存储器管理部12使运动补偿预测中使用的区域的像素数据从外部存储器38向内部参考存储器14传输。

在运动检测部16中，输入成为编码对象的输入图，作为图像信号VIN。运动检测部16经由内部参考存储器14接收从外部存储器38读出的运动检测用参考图，按照每个构成输入图的块，求出运动矢量MV和参考帧编号RFN之后进行输出。参考帧编号RFN是用于从多个参考图中确定进行输入图编码时所参考的参考图的编号。运动矢量MV被临时存储在运动矢量存储器24中之后，作为附近运动矢量PVM而输出。运动矢量预测部26参考附近运动矢量PVM，对预测运动矢量PDM进行预测。

减法器28从运动矢量MV减去预测运动矢量PDM，将所得到的差作为运动矢量预测差分DMV输出。另一方面，内部参考存储器14将由参考帧编号RFN以及运动矢量MV表示的像素作为运动补偿参考像素MCP输出。运动补偿部18根据运动矢量MV以及运动补偿参考像素MCP，生成小数像素精度的参考像素，并作为参考画面像素MCP2输出。减法器34从输入图减去参考画面像素MCP2，将所得到的差作为画面预测误差DP输出。

编码部32对画面预测误差DP进行离散余弦变换(DCT)以及量化，对量化后的DCT系数、运动矢量预测差分DMV以及参考帧编号RFN进行可变长编码，将所得到的编码后的图像数据作为图像流STR输出。此外，编码部32对编码后的画面预测误差进行解码，并将其结果作为解码画面预测误差RDP输出。解码画面预测误差RDP是在画面预测误差DP中重叠了编码误差的误差，与对图像流STR进行解码而得到的画面间预测误差一致。

加法器36使参考画面像素MCP2加上解码画面预测误差RDP，并将该结果作为解码画面RP存储在外部多帧存储器38中。但是，为了有效地利用外部存储器38以及内部参考存储器14的容量，在不需要这些存储器中所存储的画面时，释放曾存储该画面的区域，在这些存储器中不需要存储的画面的解码画面RP不被存储。

图2是表示图1的运动检测装置10的构成例的框图。内部参考存储器14具有高速缓冲存储器42、总线开关44和参考用本地存储器46、48。运动补偿部18具有色差用运动补偿部52和亮度用运动补偿部54。

高速缓冲存储器42存储从外部存储器38传输来的像素，并输出给参考用本地存储器48以及总线开关44。参考用本地存储器48在运动检测部16实际进行像素搜索时被参考。如此以分层的方式构成，是为了削减从外部存储器38传输的像素的传输量。即，通过一次向高速缓冲存储器42存储大量的参考图，从而将对外部存储器38的访问频度抑制得较低，在对参考图的访问频度变高的运动检测执行时，使参考图数据从高速缓冲存储器42向参考用本地存储器48随时传输。

总线开关44切换向存储色差分量的参考图的参考用本地存储器46的输入路径。也就是说，总线开关44根据参考存储器管理部12的指示，直接将外部存储器38中所存储的色差分量的参考图数据传输给参考用本地存储器46，或者先使高速缓冲存储器42存储之后再传输给参考用本地存储器46。

在总线开关44选择来自外部存储器38的直接路径时，进行如下动作。首先，参考存储器管理部12使运动检测部16进行搜索所需要的亮度分量的参考图从外部存储器38向高速缓冲存储器42传输并进行存储，并且将高速缓冲存储器42中所存储的参考图中的、运动检测部16进行搜索所需要的参考图数据传输给参考用本地存储器48，运动检测部16参考该数据进行搜索。在该情况下，参考存储器管理部12不使高速缓冲存储器42存储色差分量的参考图。接着，参考存储器管理部12直接从外部存储器38向参考用本地存储器46传输运动检测部16进行搜索所得到的运动信息(运动矢量)表示的位置的色差分量的参考图数据，运动补偿部52参考该数据进行色差分量的运动补偿。

另一方面，在总线开关44选择来自高速缓冲存储器42的路径时，进行如下动作。首先，参考存储器管理部12使运动检测部16进行搜索所需要的亮度分量的参考图从外部存储器38向高速缓冲存储器42传输并进行存储。此时，参考存储器管理部12还向高速缓冲存储器42传输与亮度分量对应相同位置的色差分量的参考图，并加以存储，向参考用本地存储器48传输高速缓冲存储器42中所存储的参考图中的、运动检测部16进行搜索所需要的亮度分量的参考图数据，运动检测部16参考该数据进行搜索。接着，参考存储器管理部12从高速缓冲存储器42向参考用本地存储器46传输运动检测部16进行搜索所求出的运动信息表示的位置的色差分量的参考图数据，运动补偿部52参考该数据进行色差分量的运动补偿。

图3(a)是对于图2的总线开关44选择来自外部存储器38的直接路径的情况下，表示高速缓冲存储器42中的映射例的示意图。图3(b)是对于图2的总线开关44选择来自高速缓冲存储器42的路径的情况下，表示高速缓冲存储器42中的映射例的示意图。图4是在画面上表示高速缓冲存储器42中所存储的参考图对应的区域的例子的说明图。

这里为了简化说明，对逻辑映射进行说明。实际上，大多进行如下钻研：如图4所示，将组合了矩形区域的参考区域映射到高速缓冲存储器42上，从而使高速缓冲存储器42上的物理映射变得容易。在这样的情况下，该逻辑映射被变换为物理映射来利用。

高速缓冲存储器42中的参考图中的、相当于图4的参考对象区域RFA的参考图数据被传输到亮度分量的参考用本地存储器48，以由运动检测部16参考。由运动检测部16使用的参考图中的、不作为下一编码对象块的参考图来使用的区域，被用作图4中的下次释放区域REL。

该区域在以后的运动检测中也不需要，所以为了有效地用作在高速缓冲存储器42中用作下一编码对象块的参考图的区域，被预留为下次取得区域NXT。此外，这些区域以外的区域，虽然在进行运动检测时不用作编码对象块的参考图，但是被映射为在进行以后的运动检测时用作编码对象块的参考图的预备存储区域SUB。

即，高速缓冲存储器42上的参考图被以FIFO(first in，first out：先进先出)的方式进行映射，在紧接释放了下次释放区域REL之后，被预留为下次取得区域NXT，参考对象区域RFA被传输给参考用本地存储器48，从而运动检测部16参考该区域。通过反复该动作，能够进行图整体的运动检测。此外，这种高速缓冲存储器42的管理全部由参考存储器管理部12进行。

在图2的总线开关44选择来自外部存储器38的直接路径时，如图3(a)所示，高速缓冲存储器42确保用于存储全部亮度分量的参考图数据的区域ALR。在该区域中，映射参考对象区域RFA、下次释放区域REL、下次取得区域NXT以及预备存储区域SUB。

另一方面，在图2的总线开关44选择来自高速缓冲存储器42的路径时，如图3(b)所示，高速缓冲存储器42除了确保用于存储亮度分量的参考图数据的区域ALR之外，还确保用于存储色差分量的参考图数据的区域ACR。在各个区域中，映射参考对象区域RFA、下次释放区域REL、下次取得区域NXT以及预备存储区域SUB。在该情况下，高速缓冲存储器42通过减少例如亮度分量的参考图的张数，从而使区域ALR比图3(a)的情况小，将空出的区域用作区域ACR，用于色差分量。高速缓冲存储器42中，在未存储亮度分量的参考图的地址空间(区域ACR)存储能够存储的色差分量的参考图。

这里，图2的参考存储器管理部12根据编码后的输入图的格式，切换总线开关44。参考存储器管理部12例如具有寄存器，根据输入图的格式来求出传输标记(flag)，之后存储在该寄存器中，并根据该传输标记来切换总线开关44。

例如，参考存储器管理部12根据图构造求出传输标记，切换总线开关44。即，在输入图是线条(line)依次沿垂直方向排列的帧构造时，总线开关44选择来自高速缓冲存储器42的路径。在输入图是交替地显示仅奇数线条依次沿垂直方向排列的第1场(field)、和仅偶数线条依次沿垂直方向排列的第2场的场构造时，总线开关44选择来自外部存储器38的直接路径。

此外，参考存储器管理部12还可以根据输入图的速率(1秒钟显示的图的张数、1秒钟进行编码处理的图的张数)求出传输标记，切换总线开关44。即，在输入图的速率为规定值以上时，总线开关44选择来自高速缓冲存储器42的路径。在输入图的速率小于规定值时，总线开关44选择来自外部存储器38的直接路径。

此外，参考存储器管理部12还可以根据输入图的尺寸(每1线条所显示的像素数×线条数)求出传输标记，切换总线开关44。即，在输入图的尺寸为规定值以上时，总线开关44选择来自高速缓冲存储器42的路径。在输入图的尺寸小于规定值时，总线开关44选择来自外部存储器38的直接路径。

此外，参考存储器管理部12还可以根据输入图的色差信号格式(与图中的亮度分量的像素以及两个色差分量的像素的数量相关的比，4∶2∶0、4∶2∶2、4∶4∶4中的任一个)或者表现1像素的比特(bit)数来求出传输标记，切换总线开关44。例如，在色差信号格式为4∶4∶4时，总线开关44选择来自高速缓冲存储器42的路径，在其他情况下，总线开关44选择来自外部存储器38的直接路径。

此外，参考存储器管理部12还可以根据如此编码后的输入图的格式的组合，求出传输标记，切换总线开关44。

图5是表示具有图1的图像编码装置100的AV(audiovisual)处理装置的构成例的框图。图5的AV处理装置140采用DVD(Digital Versatile Disc)记录器或硬盘记录器等，进行数字压缩后的声音以及图像的再生、以及声音以及图像的数字压缩。AV处理装置140例如按照ITU-T Recommendation H.264进行图像的编码以及解码。

AV处理装置140具有图1的图像编码装置100、图像解码部102、声音编码部104、声音解码部106、图像输入输出部112、图像处理部114、声音输入输出部116、声音处理部118、流输入输出部122、存储器输入输出部124、AV控制部126、系统控制部128和总线132。此外，外部控制部136连接于总线132。

流输入输出部122连接于总线132，输入输出声音和图像的流数据ESTR。图像编码装置100进行图像的编码，图像解码部102进行图像的解码。声音编码部104进行声音的编码，声音解码部106进行声音的解码。存储器输入输出部124是存储器138的数据信号的输入输出接口。这里，存储器138包含图1的外部存储器38，存储流数据、编码数据、解码数据等数据。

图像处理部114对图像信号进行前置处理以及后置处理。图像输入输出部112将由图像处理部114处理过的图像数据信号、或者没有由图像处理部114进行处理而仅是通过的图像数据信号作为图像信号EVS输出到外部。此外，图像输入输出部112接收来自外部的图像信号EVS。

声音处理部118对声音信号进行前置处理以及后置处理。声音输入输出部116将由声音处理部118处理过的声音数据信号、或者没有由声音处理部118进行处理而仅是通过的声音数据信号作为声音信号EAS输出到外部。此外，声音输入输出部116接收来自外部的声音信号EAS。AV控制部126进行AV处理装置140的整体控制。总线132传输流数据、声音/图像的解码数据等数据。

这里，参照图5仅说明编码动作。首先，图像信号EVS输入图像输入输出部112，声音信号EAS输入声音输入输出部116。接着，图像处理部114采用输入图像输入输出部112的图像信号EVS，进行用于滤波处理、编码的特征量提取等，并经由存储器输入输出部124，将该结果作为原图像数据存储到存储器138中。接着，再经由存储器输入输出部124从存储器138向图像编码装置100传输原图像数据和参考图数据。图像编码装置100对原图像数据进行编码，并使存储器138存储所得到的图像流以及局部复原数据。

另一方面，声音处理部118采用输入声音输入输出部116的声音信号EAS，进行用于滤波处理、编码的特征量提取等，并经由存储器输入输出部124，将该结果作为原声音数据存储在存储器138中。接着，再经由存储器输入输出部124从存储器138向声音编码部104传输原声音数据。声音编码部104对原声音数据进行编码，并使存储器138存储所得到的声音流。

最后，流输入输出部122将图像流、声音流以及其他流信息合并为一个流作为流数据ESTR输出。流数据ESTR被写入光盘、硬盘等存储介质。

说明了图2的参考存储器管理部12根据编码后的输入图的格式而切换总线开关44的情况，但是输入图的格式例如可以由图5的图像输入输出部112检测，也可以通过由图5的系统控制部128执行的控制系统的程序而预先决定，还可以由外部控制部136来决定。

此外，图2的参考存储器管理部12还可以根据从流输入输出部122输出的流的编码比特率(1秒钟所输出的流的比特数)来切换总线开关44。流的编码比特率例如可以由图5的流输入输出部122来检测，也可以由系统控制部128执行的控制系统的程序来预先决定，还可以由外部控制部136来决定。

此外，图2的参考存储器管理部12还可以根据存储器输入输出部124控制的存储器138的传输频带(1秒钟内在存储器138和存储器输入输出部124之间传输的数据量)来切换总线开关44。传输带宽例如可以由存储器输入输出部124来检测，也可以通过由系统控制部128执行的控制系统的程序来预先决定，还可以由外部控制部136决定。

此外，参考存储器管理部12还可以根据这些输入图的格式、流的编码比特率以及存储器的传输带宽的组合，来切换总线开关44。

参考存储器管理部12还可以根据从运动检测装置10的外部设定的记录模式来求出传输标记。例如，对参考存储器管理部12的记录模式的设定可以由图像输入输出部112直接执行，也可以通过AV控制部126从图像输入输出部112提取检测信息，并根据所提取的信息来执行。或者，还可以流输入输出部122、存储器输入输出部124设定记录模式。进而，还可以设定为通过由控制AV处理装置140整体的系统控制部128执行的控制系统的程序而预先决定的记录模式，也可以系统控制部128提取图像输入输出部112、流输入输出部122或者存储器输入输出部124检测出的信息，并根据所提取的信息来设定记录模式。此外，还可以从外部控制部136设定记录模式。

此外，还可以代替记录模式而直接向参考存储器管理部12设定传输标记。如此，只要是与装配参考存储器管理部12的图像编码装置100连接的模块，则能够直接或者间接地设定传输标记来切换总线开关44。

图6是表示图1的图像编码装置的变形例的结构的框图。图6的图像编码装置200具有运动检测装置210、运动矢量存储器24、运动矢量预测部26、减法器28，34、编码部232和加法器36。运动检测装置210具有参考存储器管理部212、运动检测部216、运动补偿部218来代替参考存储器管理部12、运动检测部16以及运动补偿部18，并且还具有图像编码控制部211，这与图1的运动检测装置10不同。参考存储器管理部212、运动检测部216、运动补偿部218以及编码部232除了受到图像编码控制部211的控制之外，其他与图1的参考存储器管理部12、运动检测部16、运动补偿部18以及编码部32相同。

图像编码控制部211使参考存储器管理部212动作，从外部存储器38向内部参考存储器14传输运动检测部216以及运动补偿部218参考的参考图。内部参考存储器14存储参考图数据后，图像编码控制部211使运动检测部216动作，搜索参考图。运动检测部216搜索到运动后，图像编码控制部211再次使参考存储器管理部212动作，传输运动补偿部218需要的参考图数据，进而使运动补偿部218进行运动补偿。

如果运动补偿部218进行运动补偿，则图像编码控制部211使编码部232动作。编码部232对运动补偿部218生成的预测图像和输入图像的差分进行编码从而作为流STR输出，同时输出差分图像数据。为了将下一画面间预测所需要的参考图存储在外部存储器38，通过差分图像数据和运动补偿部218生成的预测图像，生成重构图像，并传输给外部存储器38。

图7是表示图6的图像编码装置200中的处理流程的流程图。在记录模式设定步骤S12中，设定所输入的图像的结构、输出的流的编码比特率等，作为记录模式。在记录条件变换步骤S14中，图像编码控制部211将在记录模式设定步骤S12所设定的记录模式变换为用于判断在规定的时间内是否能够进行全部处理所需的信息(记录条件)。例如，在记录模式设定步骤S12所设定的信息为图像尺寸、显示速率、图像组成或者编码比特率时，变换后的记录条件是在与外部存储器38之间每单位时间传输的数据量(数据传输带宽)、高速缓冲存储器42的容量、或者进行画面间预测编码处理的频率。

在传输判断步骤S16中，图像编码控制部211判断变换后的记录条件是否超过通过以往的处理顺序图像编码装置200发挥的最大性能。在判断为所需要的性能没有超过最大性能时，图像编码控制部211在传输标记设定步骤S18将传输标记设定为0。另一方面，在判断为所需要的性能超过最大性能时，图像编码控制部211在传输标记设定步骤S20将传输标记设定为1。如此，根据所设定的记录模式来设定传输标记。参考存储器管理部212例如在其寄存器中存储传输标记。

根据在步骤S18、S20设定的传输标记的信息，通过传输模式判断步骤S22来切换参考图的传输顺序。即，在传输标记为0时，进入参考图传输步骤S24，在传输标记为1时，进入参考图传输步骤S26，由此参考存储器管理部212切换使高速缓冲存储器42存储的内容。

在参考图传输步骤S24中，参考存储器管理部212在使高速缓冲存储器42进行如图3(a)所示的映射的基础上，从外部存储器38向高速缓冲存储器42传输亮度分量的参考图数据。另一方面，在参考图传输步骤S26中，参考存储器管理部212在使高速缓冲存储器42进行除了亮度分量的参考图数据之外还能够存储色差分量的参考图数据的如图3(b)所示的映射的基础上，从外部存储器38向高速缓冲存储器42传输亮度分量的参考图数据以及色差分量的参考图数据。

在参考图传输步骤S28中，图像编码控制部211将运动检测部16进行搜索所需要的参考图数据从高速缓冲存储器42向参考用本地存储器48传输。利用参考图传输步骤S28，使参考用本地存储器48存储运动检测部16进行搜索所需要的参考图数据后，在运动检测步骤S30中，图像编码控制部211使运动检测部16进行搜索。

如果进行运动检测部16的搜索，则再次根据在步骤S18、S20设定的传输标记的信息，通过传输模式判断步骤S32切换参考图的传输顺序。即，在传输标记为0时进入参考图传输步骤S34，在传输标记为1时进入参考图传输步骤S36。

在参考图传输步骤S34中，参考存储器管理部212切换总线开关44，使得根据由运动检测步骤S30检测出的运动信息所求出的运动补偿所需要的参考图数据中的色差分量的参考图数据从外部存储器38向参考用本地存储器46传输。另一方面，在参考图传输步骤S36中，参考存储器管理部212切换总线开关44，使得运动补偿所需要的参考图数据中的、色差分量的参考图数据从高速缓冲存储器42向参考用本地存储器46传输。

在运动补偿步骤S38中，运动补偿部218利用在运动检测步骤S30检测出的运动信息、和参考用本地存储器48中所存储的亮度分量的参考图数据，进行运动补偿。这里，对在参考图传输步骤S34、S36之后进行运动补偿步骤S38的情况进行了说明，但是还可以在运动补偿步骤S38之后进行参考图传输步骤S34、S36，也可以与参考图传输步骤S34、S36同时进行运动补偿步骤S38。如果由参考图传输步骤S34在参考用本地存储器46中存储运动补偿所需要的参考图，则在运动补偿步骤S40中，运动补偿部218利用在运动检测步骤S30检测出的运动信息、和参考用本地存储器46中所存储的色差分量的参考图数据，进行运动补偿。

由运动补偿步骤S38、S40运动补偿部218生成预测图像后，在编码/流输出步骤S42中，编码部232对输入图像和预测图像的差分进行编码从而输出流STR，同时对编码数据进行解码，从而生成用于生成重构图像的差分图像。加法器36利用由运动补偿步骤S38、S40生成的预测图像生成重构图像，并将其作为在下一画面间预测中使用的参考图传输给外部存储器38。

这些一系列处理，直到由记录结束判断步骤S44判断为记录结束为止，再次返回到紧接记录模式设定步骤S12之后，反复进行。在由记录结束判断步骤S44没有判断为记录结束的情况下，在记录状况监视步骤S46监视是否没有超过图像编码装置200的最大处理性能的基础上，再次返回到紧接记录模式设定步骤S12之后。在记录条件变换步骤S14中，包括由步骤S46得到的监视信息一起变换为记录条件。如果由记录结束判断步骤S44判断为记录结束，则结束图像编码处理。

另外，控制这里说明的一系列处理的图像编码控制部211，可以说通过执行程序来动作的处理器，也可以是由组合电路和顺序电路构成的定序器(sequencer)。此外，图像编码控制部211作为装配在图像编码装置200中的专用控制部进行了说明，但是也可以由图5中的系统控制部128、外部控制部136担当图像编码控制部211的功能。

以下对图1的图像编码装置100进行说明，但是在图6的图像编码装置200中也同样。图8(a)是表示图3(a)的第1变形例的示意图。图8(b)是表示图3(b)的第1变形例的示意图。图9(a)是在画面上表示在图8(a)的情况下高速缓冲存储器42中所存储的参考图对应的区域的例子的说明图。图9(b)是在画面上表示在图8(b)的情况下在高速缓冲存储器42中所存储的参考图对应的区域的例子的说明图。在该例中，根据在运动检测部16中使用的参考图的数量，分割高速缓冲存储器42的区域。

这里，在成为编码对象的单位块的画面间预测时，为了运动检测部16参考多个参考图，如图8(a)、(b)那样向高速缓冲存储器42进行映射，使得能够存储参考图的数量的图9(a)、(b)所示那样的参考对象区域RFA、下次释放区域REL、下次取得区域NXT以及预备存储区域SUB，对全部参考图执行与图4相同的动作。

在图2的总线开关44选择来自外部存储器38的直接路径时，如图8(a)所示，高速缓冲存储器42全部被确保为存储亮度分量的参考图数据的区域ALR。在该区域中，映射运动检测部16参考的图数n的参考对象区域RFA、下次释放区域REL、下次取得区域NXT以及预备存储区域SUB。

另一方面，在图2的总线开关44选择来自高速缓冲存储器42的路径时，如图8(b)所示，高速缓冲存储器42被确保为存储亮度分量的参考图数据的区域ALR、和存储色差分量的参考图数据的区域ACR。在区域ALR中映射用于m张的亮度分量的参考图的区域，在区域ACR中映射用于m张的色差分量的参考图的区域，并对各参考图的区域映射参考对象区域RFA、下次释放区域REL、下次取得区域NXT、以及预备存储区域SUB。在该情况下，高速缓冲存储器42例如通过减少亮度分量的参考图的张数，从而使区域ALR比图8(a)的情况小，将空出的区域用作用于色差分量的区域ACR。

此时，在图8(a)中映射于区域ALR的地址区域Ref(1)～Ref(n)的总容量当然没有超过高速缓冲存储器42的容量，映射于图8(b)中的区域ALR和区域ACR的Ref(1)～Ref(m)的地址区域的总容量也没有超过高速缓冲存储器42的容量。在运动检测部16搜索的参考图的区域不依赖于总线开关44的切换而总是一定的情况下，因为在高速缓冲存储器42中需要存储全部参考图，所以参考图的数量m一定比参考图的数量n小。

即，在根据记录模式静态地控制总线开关44时，使运动检测部16能够参考的图数如图9(a)、(b)所示那样变化。在通过总线开关44将色差分量的参考图数据从外部存储器38直接传输到参考用本地存储器46时，如图9(a)所示，运动检测部16将n张图作为参考图来参考、搜索。另一方面，在通过总线开关44将亮度分量的参考图数据和色差分量的参考图数据从外部存储器38传输到高速缓冲存储器42之后，在将高速缓冲存储器42中所存储的参考图中的尤其是色差分量的参考图数据传输到参考用本地存储器46时，如图9(b)所示，运动检测部16将比n张少的m张图作为参考图来参考、搜索。

另外，在输入图的色差信号格式为4∶2∶0的情况下映射为区域ALR与区域ACR之比为2比1、在输入图的色差信号格式为4∶2∶2的情况下映射为区域ALR与区域ACR之比为1比1、在输入图的色差信号格式为4∶4∶4的情况下映射为区域ALR与区域ACR之比为1比2时，例如，在控制总线开关44使得通过参考存储器管理部12总是从高速缓冲存储器42向参考用本地存储器46传输色差分量的参考图数据时，能够最有效地利用高速缓冲存储器42。

图10(a)是表示图3(a)的第2变形例的示意图。图10(b)是表示图3(b)的第2变形例的示意图。图11(a)是在画面上表示图10(a)的情况下高速缓冲存储器42中所存储的参考图对应的区域的例子的说明图。图11(b)是在画面上表示图10(b)的情况下在高速缓冲存储器42中所存储的参考图对应的区域的例子的说明图。在该例中，根据在运动检测部16中使用的参考图的数量，分割高速缓冲存储器42的区域。

在图8(b)的情况下，使参考图的张数为m(n＜m)，而在图10(b)的情况下，使参考图的张数为n。因此，图10(b)所示的参考图的参考对象区域RFA必定比图10(a)所示的参考图的参考对象区域RFA小。

在通过总线开关44将色差分量的参考图数据直接从外部存储器38传输到参考用本地存储器46时，如图11(a)所示，运动检测部16在n张参考图中搜索例如高度h的参考区域。另一方面，通过总线开关44将色差分量的参考图数据与亮度分量的参考图数据一起从外部存储器38传输到高速缓冲存储器42之后，将高速缓冲存储器42中所存储的参考图中的尤其是色差分量的参考图数据传输给参考用本地存储器46时，如图11(b)所示，运动检测部16同样地在n张参考图中搜索高度i(i＜h)的参考区域。

另外，在根据图构造，即，根据输入图是帧构造还是场构造，切换总线开关44时，若在帧构造时使参考区域变窄、在场构造时使参考区域变宽，则能够有效地利用高速缓冲存储器42。此外，在根据处理图的速率切换总线开关44时，若在图的处理速率低时使参考区域变窄、在图的处理速率高时使参考区域变宽，则能够有效地利用高速缓冲存储器42。

图12(a)是表示图3(a)的第3变形例的示意图。图12(b)是表示图3(b)的第3变形例的示意图。因为亮度分量的参考图被运动检测部16参考，所以较大地限制参考图的数量、搜索区域，成为使画质劣化的原因。为了尽量抑制这种影响，在图12(b)中，在区域ALR中映射用于m张亮度分量的参考图的区域，在区域ACR中映射用于k张色差分量的参考图的区域(m＞k)，对各参考图的区域映射参考对象区域RFA、下次释放区域REL、下次取得区域NXT以及预备存储区域SUB。

此时，在图12(a)中映射于区域ALR(Ref(1)～Ref(n))的参考图的总容量当然没有超过高速缓冲存储器42的容量，映射于图12(b)中的区域ALR(Ref(1)～Ref(m))和区域ACR(Ref(1)～Ref(k))的参考图的总容量也没有超过高速缓冲存储器42的容量。

因为高速缓冲存储器42中存储的色差分量的参考图的张数比亮度分量的参考图的张数少，所以需要根据高速缓冲存储器42中是否存储有需要传输到参考用本地存储器46的参考图数据，来运动地控制总线开关44。这样的控制全部由参考存储器管理部12进行。

参考存储器管理部12首先将色差分量的参考图数据与亮度分量的参考图数据一起从外部存储器38传输给高速缓冲存储器42。之后，在运动检测部16将与传输到高速缓冲存储器42的色差分量的参考图对应的亮度分量的参考图用作最适合编码的参考图的情况下，参考存储器管理部12切换总线开关44，使得从高速缓冲存储器42向参考用本地存储器46传输色差分量的参考图数据。

另一方面，在参考存储器管理部12传输参考图数据后，运动检测部16将与未传输到高速缓冲存储器42的色差分量的参考图对应的亮度分量的参考图用作最适合编码的参考图时，参考存储器管理部12切换总线开关44，使得将色差分量的参考图数据直接从外部存储器38传输给参考用本地存储器46。

另外，在高速缓冲存储器仅存储图12(a)那样的亮度分量的参考图数据的情况下，可以存储运动检测部16参考的全部图的参考图数据，此外也可以在高速缓冲存储器42中存在空区域时，在该空区域存储色差分量的参考图数据。通过进行如上所述的控制，能够没有浪费地有效利用高速缓冲存储器42。

以上的图1、图2、图5、图6等的框图中的各功能模块，代表性地作为LSI来实现。这些可以单独单片化，也可以按照包含一部分或全部的方式进行单片化。例如，可以将外部存储器38、存储器138以外的功能模块单片化。

因为图1的外部存储器38、图5的存储器138需要保持大量的数据，所以一般装配在LSI外置的大容量的DRAM等，但也可以包含这些存储器来单一封装化或单片化。

这里，虽然称为LSI，但根据集成度的不同，有时称为IC、系统LSI、super LSI、ultra LSI。此外，集成电路化的方法也不限于LSI，还可以利用专用电路或通用处理器来实现。还可以利用在LSI制造后能够进行编程的FPGA(Field Programmable Gate Array)、能够重构LSI内部的电路单元的连接、设定的可重构(reconfigurable)处理器。进而，若通过半导体技术的进步或衍生的其他技术而出现了能够置换LSI的集成电路化技术，则当然也可以利用该技术来进行功能模块的集成化。生物技术的应用等也具有可能性。

由所记载的说明可以清楚本发明的大多特征以及优越性，因此，通过本申请的权利要求书的范围，来试图覆盖本发明的那样的特征以及优越性。而且，本领域技术人员能够容易地进行许多变更以及改变，所以本发明不应该限定于与所图示、所记载的内容完全相同的结构以及动作。因此，全部适当的改变物以及等价物都包含在本发明的范围内。

产业上的可利用性

如以上所说明的那样，根据本发明的实施方式，能够减少来自外部存储器的数据传输，所以本发明对于运动检测装置等是有用的。

Claims (17)

1.一种运动检测装置，利用参考图，按每个构成输入图的块来检测运动，其中，

包括：

内部参考存储器，其存储从该运动检测装置的外部传输来的所述参考图；

运动检测部，其利用所述内部参考存储器中所存储的所述参考图的像素数据，检测所述输入图的块中成为运动检测的对象的对象块的运动信息；

运动补偿部，其利用由所述运动检测部所检测出的运动信息，对所述对象块进行运动补偿；和

参考存储器管理部，其控制所述内部参考存储器，

所述参考存储器管理部，能够使所述内部参考存储器存储亮度分量的参考图以及色差分量的参考图，作为所述参考图，。

2.根据权利要求1所述的运动检测装置，其特征在于，

所述参考存储器管理部进行第1动作或第2动作中的任一个，

所述第1动作，使所述内部参考存储器存储规定张数以及规定大小的区域的亮度分量的参考图，而不存储色差分量的参考图；所述第2动作，使所述内部参考存储器存储容量比所述第1动作时少的亮度分量的参考图、和与容量比所述第1动作时少的亮度分量的参考图对应的色差分量的参考图。

3.根据权利要求2所述的运动检测装置，其特征在于，

所述内部参考存储器，在所述参考存储器管理部进行所述第2动作时，存储比所述规定大小的区域小的区域的亮度分量的参考图。

4.根据权利要求2所述的运动检测装置，其特征在于，

所述内部参考存储器，在所述参考存储器管理部进行所述第2动作时，存储比所述规定张数少的张数的亮度分量的参考图。

5.根据权利要求2所述的运动检测装置，其特征在于，

所述运动补偿部，从该运动检测装置的外部读出虽然运动补偿需要但是所述内部参考存储器中没有存储的色差分量的参考图。

6.根据权利要求2所述的运动检测装置，其特征在于，

所述运动补偿部，在所述参考存储器管理部进行所述第1动作时，从所述内部参考存储器读出与所述运动检测部检测出的运动信息对应的位置的亮度分量的参考图，并利用所读出的亮度分量的参考图进行对亮度分量的运动补偿，并且从该运动检测装置的外部接收所述位置的色差分量的参考图，并利用所接收到的色差分量的参考图来进行对色差分量的运动补偿。

7.根据权利要求6所述的运动检测装置，其特征在于，

所述内部参考存储器，在所述参考存储器管理部进行所述第1动作时，被映射为仅存储亮度分量的参考图。

8.根据权利要求2所述的运动检测装置，其特征在于，

所述运动补偿部，在所述参考存储器管理部进行所述第2动作时，从所述内部参考存储器读出与所述运动检测部检测出的运动信息对应的位置的亮度分量的参考图以及色差分量的参考图，并分别利用所读出的亮度分量的参考图以及色差分量的参考图进行对亮度分量以及色差分量的运动补偿。

9.根据权利要求8所述的运动检测装置，其特征在于，

所述内部参考存储器，在所述参考存储器管理部进行所述第2动作时，被映射为存储亮度分量的参考图以及色差分量的参考图。

10.根据权利要求2所述的运动检测装置，其特征在于，

所述参考存储器管理部根据所述输入图的格式，来进行所述第1动作或者所述第2动作的任一个。

11.根据权利要求10所述的运动检测装置，其特征在于，

所述输入图的格式表示所述输入图是帧图或者场图的哪一个。

12.根据权利要求10所述的运动检测装置，其特征在于，

所述输入图的格式是所述输入图的显示速率。

13.根据权利要求10所述的运动检测装置，其特征在于，

所述输入图的格式是所述输入图的尺寸。

14.根据权利要求10所述的运动检测装置，其特征在于，

所述输入图的格式是所述输入图的色差信号格式。

15.根据权利要求2所述的运动检测装置，其特征在于，

所述参考存储器管理部根据标记，来进行所述第1动作或者所述第2动作的任一个。

16.根据权利要求15所述的运动检测装置，其特征在于，

从该运动检测装置的外部设定所述标记。

17.根据权利要求15所述的运动检测装置，其特征在于，

所述参考存储器管理部根据所述输入图来求出所述标记。

Images