CN1585490A - 信号处理装置及使用它的电子设备 - Google Patents

Abstract

信号处理装置包括指令并行处理器(100)、第1数据并行处理器(101)、第2数据并行处理器(102)、及专用硬件——运动检测单元(103)、去块效应滤波处理单元(104)以及可变长度编码/解码处理单元(105)。通过该结构，能够提供一种信号处理装置、及使用它的电子设备，在处理量多的图像压缩解压算法的信号处理中用软件和硬件来分散负担，实现很高的处理能力和灵活性。

Description

信号处理装置及使用它的电子设备

技术领域

本发明涉及用并行处理器和专用硬件来高速进行音频及图像压缩解压处理的信号处理装置及使用它的电子设备。

背景技术

呼应近年的处理运动图像的图像处理装置及图像显示装置的高性能化、小型化的趋势，ISO(International Standard Organization，国际标准化组织)和ITU-T(International Telecommunication Union-TelecommunicationStandardization Sector，国际电联电信标准化部)正在共同制定MPEG-4AVC(Advanced Video Coding，高级视频编码)的标准作为下一代压缩解压技术。MPEG-4AVC通过导入4×4像素的整数变换、最大9个方向的帧内预测、7种子宏块类型、每个宏块最大16个运动矢量、多帧参考、环内去块效应滤波(deblock filter)、算术码等新技术，来实现图像的高压缩率，目标是将代码量压缩到已经实用化了的MPEG-2方式的50％。

但是，新导入的编码工具采用了重视编码效率的算法，所以其处理量大，难以安装到系统中。

进行以往的编码方式的压缩解压的信号处理装置采用处理器并行处理和专用硬件的结构。

作为使用处理器并行处理手法的加速信号处理的例子，有文献1((日本)特愿平3-508269号公报)。该文献1所示的例子是控制流为1个、处理的数据流为多个的SIMD(Single Instruction stream Multiple Data stream，单指令流多数据流)型并行数据处理装置，和控制流与数据流都为多个的MIMD(MultipleInstruction stream Multiple Data stream，多指令流多数据流)型并行数据处理装置组合而成的并行处理装置。

图16是从文献1的图1引用的、现有的SIMD型并行数据处理装置902和MIMD型并行数据处理装置903组合而成的信号处理装置的方框图。

该信号处理装置包括控制整个装置的系统控制部901、SIMD型并行数据处理装置902、MIMD型并行数据处理装置903、共享存储器904、及共享存储器905。

系统控制部901控制应用程序的执行。

SIMD型并行数据处理装置902具有整体控制部910、和运算器911～914及其局部存储器915～918。一个运算器和一个局部存储器构成一个处理器。整体控制部910执行程序，向所有运算器911～914发出同一指令。运算器911～914在发出的同一指令下，处理各个局部存储器915～918中保存的数据。

MIMD型并行数据处理装置903具有整体控制部920、控制部921～924、运算器925～928、以及局部存储器929～932。一个控制部、一个运算器以及一个局部存储器构成一个处理器。控制部921～924分别执行不同的程序，向运算器925～928分别发出不同的指令，处理局部存储器929～932中分别保存的数据。整体控制部920进行用于整个MIMD型并行数据处理装置903的同步和监视的控制。

在以上并行数据处理装置中，用SIMD型并行数据处理装置902来处理对象处理简单、而且数据处理量大者，用MIMD型并行数据处理装置903来处理对象处理复杂、而且数据处理量少者。

另一方面，也采用了通过用专用硬件构成最适合对象处理的运算器来改善运算性能的加速手法。作为其例子，文献2((日本)特愿2000-118434号公报)公开了通过将图像处理的可变长度编码/解码处理专用硬件化来实现处理加速的技术。

图17是从文献2的图1引用的、现有的SIMD型并行数据处理装置和专用硬件组合而成的图像处理装置1001的方框图。

该图像处理装置1001经外部的视频数据总线1008连接在外部的视频输入装置1009、视频输出装置1010、以及外部存储器1011上。图像处理装置1001包括指令存储器1002、处理器1003、SIMD型运算部件1004、VLC(可变长度编码)处理部件1005、外部数据接口1006、及内部数据总线1007。VLC处理部件1005由专用硬件构成。

处理器1003进行标量运算和比特操作运算、比较分支指令，并且对指令存储器1002中保持的指令进行译码，控制SIMD型运算部件1004、VLC处理部件1005、外部数据接口1006、视频输入装置1009、以及视频输出装置1010。

视频输入装置1009输入来自外部的视频信号，视频输出装置1010向外部输出视频数据。

从视频输入装置1009输入的图像数据被传送到外部存储器1011中，在下一步骤中，按照SIMD型运算部件1004要进行的处理，传送到外部数据接口1006。SIMD型运算部件1004进行运动补偿、DCT、量化等处理，得到变换系数数据。在下一步骤中，VLC处理部件1005对变换系数数据进行可变长度编码，生成比特流数据。

SIMD型运算部件1004由8路并行的流水线运算器构成，所以能够高效率地进行DCT等定型处理。

以上述文献1为代表的、SIMD型并行数据处理装置和MIMD型并行数据处理装置组合而成的信号处理装置具有应对各种编码算法的灵活性。因此，通过增加并行度，能够充分支持图像处理。这是因为，现有的运动检测处理针对最大16×16像素、最小8×8像素的宏块尺寸。

但是，在MPEG-4AVC中，最小的子宏块尺寸为4×4像素，所以在现有的信号处理装置中，即使准备大于或等于16路并行的运算器，运算器的处理效率也不会提高。

此外，在MPEG-4AVC的算术编码、解码处理中，根据周边的宏块的上下文变更发生概率来进行处理，所以必须逐个比特进行编码，不能进行并行处理。即，在现有的信号处理装置中，即使增加MIMD型并行数据处理装置的并行度，MPEG-4AVC的处理性能也不会改善。

在MPEG-4AVC的去块效应滤波器中，也以4×4像素的子宏块为单位来计算滤波参数，根据其结果来进行滤波处理。如果使用SIMD型运算装置，则能够并行进行滤波处理，但是在判定处理时不能有效利用运算器。

此外，在以上述文献2为代表的、SIMD型并行数据处理装置和专用硬件组合而成的信号处理装置中，通过对要求高处理性能的算术编码/解码处理采用专用硬件而改善了处理性能，但是用SIMD型并行数据处理装置来处理处理量最多的运动检测有以下问题。

在MPEG-4AVC中，导入了1/4像素精度的运动补偿，生成半像素必须进行6抽头滤波处理。再者，导入了4×4像素的子宏块尺寸，所以每1个宏块能够设定最大16个运动矢量。用小的子宏块尺寸来进行1/4像素精度的搜索，每个宏块计算最大16个运动矢量的运动检测处理的处理量飞跃性地增加。

如果想用SIMD型并行数据处理装置来进行这种运动检测处理，则必须提高运算器的并行度，将工作频率设定得很高。具有这种能力的SIMD型并行数据处理装置在解码处理中其能力过剩，不能高效率地利用整个装置。

再者，即使想提高SIMD型并行数据处理装置的并行度来改善处理性能，也由于块尺寸是4×4像素，所以不能采用大于或等于16路并行。

发明内容

因此，本发明的目的在于提供一种能对MPEG-4AVC的编码/解码处理这样要求大量的数据处理量的图像处理进行高性能、高效率的图像处理的信号处理装置及使用它的电子设备。

第1发明的信号处理装置包括指令并行处理器、数据并行处理器、以及多个专用硬件；指令并行处理器进行音频压缩解压处理、及图像压缩解压处理中的非定型而且比较轻的处理；数据并行处理器进行图像压缩解压处理中的定型而且比较重的处理；多个专用硬件进行图像压缩解压处理中的比较重的处理。

根据该结构，能够用由指令并行处理器、数据并行处理器以及专用硬件组成的结构来形成信号处理装置，用指令并行处理器进行音频压缩解压处理和图像处理中的非定型处理，用数据并行处理器进行图像处理中的定型处理，用专用硬件进行运动检测、可变长度编码、去块效应滤波处理等处理。因此，能够实现一种信号处理装置，对处理量多的图像压缩解压算法的信号处理，用软件和硬件来分散负担，具有很高的处理能力和灵活性。

第2发明的信号处理装置是在第1发明的信号处理装置中还包括第1指令总线、第1数据总线、第1共享存储器、以及输入输出接口；指令并行处理器、数据并行处理器、多个专用硬件、以及输入输出接口具有各自的局部存储器；在第1指令总线上，连接着指令并行处理器、数据并行处理器、以及多个专用硬件；经第1指令总线，指令并行处理器传送用于控制数据并行处理器、及多个专用硬件的指令；在第1数据总线上，连接着指令并行处理器的局部存储器、数据并行处理器的各自的局部存储器、多个专用硬件的各自的局部存储器、第1共享存储器、以及输入输出接口的局部存储器，进行这些存储器之间的数据传送。

根据该结构，除了第1发明的信号处理装置具有的特征以外，还能够通过分离指令总线和数据总线来分散总线的通信量，提高处理性能。

第3发明的信号处理装置是在第1及第2发明的信号处理装置中还包括第2数据总线、第2共享存储器、以及连接第1数据总线和第2数据总线的桥单元；在第1数据总线上，连接着数据并行处理器的各自的局部存储器、多个专用硬件的各自的局部存储器、第1共享存储器、以及输入输出接口的局部存储器，进行这些存储器之间的数据传送；在第2数据总线上，连接着指令并行处理器的局部存储器、和第2共享存储器，进行这些存储器之间的数据传送；经桥单元来进行第1数据总线上连接的各存储器、和第2数据总线上连接的各存储器之间的数据传送。

根据该结构，用第1数据总线来连接数据并行处理器的局部存储器、专用硬件的局部存储器、以及共享存储器，用第2数据总线来连接指令并行处理器的局部存储器和共享存储器。由此，处理大容量的数据的图像处理的数据传送以第1数据总线为中心来进行，能够与连接着进行音频处理的指令并行处理器的第2数据总线来分散负担。

第4发明的信号处理装置是在第1至第3发明的信号处理装置中还包括控制处理器；指令并行处理器经由控制处理器来控制数据并行处理器和多个专用硬件。

根据该结构，指令并行处理器能够经由控制处理器来控制数据并行处理器及专用硬件，所以指令并行处理器和控制处理器的负担被分散，能够实现更高的处理性能。

第5发明的信号处理装置是在第1至第4发明的信号处理装置中还包括第2指令总线；在第1指令总线上，连接着指令并行处理器、控制处理器、以及多个专用硬件中的一部分硬件；在第2指令总线上，连接着控制处理器、数据并行处理器、以及多个专用硬件中的未连接在第1指令总线上的其他专用硬件；指令并行处理器控制多个专用硬件中的连接在第1指令总线上的一部分硬件，并且经由控制处理器来控制数据并行处理器、和多个专用硬件中的未连接在第1指令总线上的其他专用硬件。

根据该结构，指令并行处理器经第1指令总线只控制控制处理器和一部分专用硬件即可，进行定型处理的数据并行处理器和专用硬件由控制处理器经第2指令总线来控制，所以能够避免指令在指令总线上拥塞，能够高效率地进行信号处理。

在第6发明的信号处理装置中，数据并行处理器的并行度由要压缩解压处理的图像尺寸来决定。

根据该结构，根据待压缩解压的图像的尺寸来变更数据并行处理器的并行度，所以能够用同一处理器架构来提供可支持多种图像尺寸的信号处理装置。

在第7发明的信号处理装置中，数据并行处理器的并行度由向信号处理装置供给的电源电压和工作频率来决定。

根据该结构，能够根据LSI共享的电源电压和工作频率来变更数据并行处理器的并行度。通过增大数据并行处理器的并行度，能够降低工作频率，降低信号处理装置的功耗，所以应用于移动终端等电子设备特别有效。

在第8发明的信号处理装置中，专用硬件进行的处理包含可变长度编码处理、可变长度解码处理、视频输入输出处理、运动检测处理、运动补偿处理、DCT(离散余弦变换)处理、逆DCT处理、量化处理、逆量化处理、及去块效应滤波处理中的至少一个。

根据该结构，通过用专用硬件来处理压缩解压处理中的运动检测、可变长度编码/解码、去块效应滤波等处理量多的模块，能够抑制指令并行处理器及数据并行处理器的工作频率的增大。

在第9发明的信号处理装置中，多个专用硬件中的连接在第1指令总线上的一部分硬件进行的处理是可变长度编码处理及/或可变长度解码处理。

根据该结构，能够用指令并行处理器来直接而且频繁地控制进行可变长度编码处理、及/或可变长度解码处理的专用硬件。因此，能够细致而且多样地控制可变长度编码处理及/或可变长度解码处理。

第10发明的电子设备使用第1至9发明的信号处理装置，其中，信号处理装置进行音频压缩处理、音频解压处理、图像压缩处理、及图像解压处理中的至少一个处理。

根据该结构，能够提供发挥了第1至9发明的信号处理装置具有的特征的电子设备。

第11发明的电子设备包括第1至9发明的信号处理装置、具有重放机构的重放装置、解调/纠错部、存储器、以及多个D/A变换器；重放装置从记录媒体重放调制过的编码信号；解调/纠错部对重放装置重放出的调制过的编码信号进行解调、纠错，作为编码数据来输出；信号处理装置对解调/纠错部输出的编码数据进行解码，作为视频数据及音频数据来输出；存储器保存解码处理前、处理中、及/或处理后的数据；多个D/A变换器对信号处理装置输出的视频数据及音频数据进行D/A变换，输出模拟视频输出及模拟音频输出。

根据该结构，能够实现可对编码数据高速、高效率地进行解码、功耗小的重放电子设备。

第12发明的电子设备包括第1至9发明的信号处理装置、多个A/D变换器、存储器、纠错/调制部、以及具有记录机构的记录装置；多个A/D变换器对输入的模拟视频输入及模拟音频输入进行A/D变换，输出视频数据及音频数据；信号处理装置对多个A/D变换器输出的视频数据及音频数据进行编码，输出编码数据；存储器保存编码处理前、处理中、及/或处理后的数据；纠错/调制部向信号处理装置编码过的编码数据附加纠错码并进行调制，作为编码信号来输出；记录装置将纠错/调制部输出的编码信号记录到记录媒体上。

根据该结构，能够实现可对AV信号高速、高效率地进行编码、功耗小的记录电子设备。

第13发明的电子设备一体构成第11发明的电子设备和第12发明的电子设备。

根据该结构，能够实现可对AV信号高速、高效率地进行编码/解码、功耗小的、将记录功能和重放功能一体化了的电子设备。

附图说明

图1是本发明第1实施方式的信号处理装置的方框图。

图2是本发明第2实施方式的信号处理装置的方框图。

图3是本发明第3实施方式的视频编码器的方框图。

图4是CABAC算术编码处理单元的方框图。

图5是待编码块和相邻块的布置图。

图6是1/4像素精度的运动补偿的说明图。

图7是本发明第3实施方式的去块效应滤波器的方框图。

图8是去块效应滤波的处理顺序的说明图。

图9是本发明第3实施方式和其他方式的编码处理量的比较图。

图10是本发明第4实施方式的视频解码器的方框图。

图11是本发明第5实施方式的音频编码器的方框图。

图12是本发明第5实施方式的音频解码器的方框图。

图13是本发明第6实施方式的AV重放系统的方框图。

图14是本发明第7实施方式的AV记录系统的方框图。

图15是本发明第8实施方式的AV记录/重放系统的方框图。

图16是现有的SIMD型并行数据处理装置和MIMD型并行数据处理装置组合而成的信号处理装置的方框图。

图17是现有的SIMD型并行数据处理装置和专用硬件组合而成的图像处理装置的方框图。

具体实施方式

接着，参考附图来说明本发明的实施方式。

(第1实施方式)

图1是本发明第1实施方式的信号处理装置的方框图。本方式的信号处理装置包括具有局部存储器110的指令并行处理器100、具有局部存储器111的第1数据并行处理器101、具有局部存储器112的第2数据并行处理器102、具有局部存储器113的运动检测单元103、具有局部存储器114的去块效应滤波处理单元104、具有局部存储器115的可变长度编码/解码处理单元105、具有局部存储器116的输入输出接口106、第1共享存储器121、第1指令总线130、及第1数据总线132；在第1指令总线130上，连接着各处理器100～102和各单元112～116；在第1数据总线132上，连接着局部存储器110～116、第1共享存储器121、以及输入输出接口106。可变长度编码/解码处理单元105对外部装置还具有比特流输入输出135，输入输出接口106对外部装置具有音频输入输出136和视频输入输出137。

在第1数据并行处理器101和第2数据并行处理器102采用的SIMD型处理器中，包含8个处理单元，能够用1条指令来并行处理8个数据流。

运动检测单元103、去块效应滤波处理单元104、可变长度编码/解码处理单元105、以及输入输出接口106分别是专用硬件。

接着，以图像的编码处理为例来概略说明本方式的工作。

从外部输入的视频信号被A/D变换后，从输入输出接口106经由第1数据总线132被保存到第1共享存储器121中。

运动检测单元103根据第1共享存储器121中保存的前一帧的图像数据、和当前帧的图像数据，来计算运动矢量。

第1数据并行处理器101根据第1共享存储器121中保存的前一帧的图像数据、和运动检测单元103算出的运动矢量，来进行运动补偿处理，计算预测图像数据。此外，计算当前帧的图像数据与该预测图像数据的差分图像数据。

第2数据并行处理器102对差分图像数据进行DCT变换处理，进而对得到的DCT系数进行量化处理。此外，第2数据并行处理器102对量化DCT系数进行逆量化，进而进行逆DCT变换处理，来计算差分图像数据，根据第1数据并行处理器101处理过的预测图像数据，来计算重构图像数据。

在本方式的信号处理装置中，在第1数据并行处理器101进行运动补偿处理的像素值计算的期间内，第2数据并行处理器102进行DCT变换处理。这样，能够维持2个数据并行处理器的运转率，来分别进行不同的处理，改善了运算性能。

去块效应滤波处理单元104对重构图像数据进行去块效应滤波处理，来除去块状噪声，保存到第1共享存储器121中。

可变长度编码/解码处理单元105用算术码对量化DCT系数和运动矢量进行可变长度编码处理，作为比特流来输出。

指令并行处理器100经第1指令总线130来进行上述各种处理的整体控制。此外，指令并行处理器100判定编码模式，即用帧内预测编码，还是用帧间预测编码来生成预测图像。

各处理器和各单元之间的数据传送经第1数据总线132来进行。

这样，指令并行处理器100进行图像压缩/解压处理中的逐次处理，第1数据并行处理器101和第2数据并行处理器102进行图像压缩/解压处理中的定型处理，再者，用专用硬件来进行运动检测处理、去块效应滤波处理、及可变长度编码处理等繁重的处理，从而能够实现高效率的图像处理。

本方式的第1数据并行处理器101和第2数据并行处理器102对处理对象的分担划分只是一例，也可以是其他划分。或者，也可以根据处理器的性能，用一个数据并行处理器来进行第1数据并行处理器101和第2数据并行处理器102的处理。

再者，第1数据并行处理器101进行的运动补偿处理也可以由运动检测单元103来进行。

(第2实施方式)

图2是本发明第2实施方式的信号处理装置的方框图。在图2中，通过对与图1同样的构件附以同一标号，来省略其说明。

本方式的信号处理装置与第1实施方式的信号处理装置相比，还包括控制处理器107、第2共享存储器122、第2指令总线131、第2数据总线133、及连接第1数据总线132和第2数据总线133的桥单元120。

在第1指令总线130上，连接着指令并行处理器100、控制处理器107、以及可变长度编码/解码处理单元105。在第2指令总线上，连接着第1数据并行处理器101、第2数据并行处理器102、运动检测单元103、及去块效应滤波处理单元104。

在第1数据总线上，连接着局部存储器111～115、第1共享存储器121、输入输出接口106、及桥单元120。在第2数据总线上，连接着局部存储器110、第2共享存储器122以及桥单元120。

本方式的信号处理装置与第1实施方式相比，进一步强化了数据的并行处理。即，本方式导入的控制处理器107接受来自指令并行处理器100的指令，经第2指令总线131来控制第1数据并行处理器101、第2数据并行处理器102、运动检测单元103、及去块效应滤波处理单元104。其结果是，本方式的信号处理装置能更加迅速地进行各数据并行处理器及专用硬件的并行处理。

再者，本方式的第2共享存储器122保存与指令并行处理器100有关的数据、第1数据总线132上连接的各构件处理的数据中的、存取频度比较低的数据。通过该结构，减轻了第1共享存储器121的负担，改善了整个信号处理装置的处理效率。

本方式的工作将在以下所述的第3实施方式中详述。

(第3实施方式)

图3是本发明第3实施方式的视频编码器的方框图。

本方式的视频编码器是能够支持MPEG-4AVC的编码器，在各构件上附有明确表现支持MPEG-4AVC的视频编码器的各功能的名称。

图3所示的本方式的视频编码器由第2实施方式的信号处理装置构成。因此，首先示出图3的构件和图2的构件之间的对应关系。

编码控制部301和模式切换部303的处理由图2的指令并行处理器100来进行。

运动补偿部312和差分检测部302的处理由图2的第1数据并行处理器101来进行。

4×4DCT变换部304、量化部305、逆量化部306、逆4×4DCT变换部307、及重构部309的处理由图2的第2数据并行处理器102来进行。

可变长度编码部308相当于图2的可变长度编码/解码处理单元105，去块效应滤波器310相当于图2的去块效应滤波处理单元104，帧存储器311相当于图2的第1共享存储器121，运动检测部313相当于图2的运动检测单元103。

接着，参考本方式的各部的工作来说明MPEG-4AVC的主要信号处理。

首先，参考图3来说明编码处理。在帧内编码的情况下，视频输入314由4×4DCT变换部304进行离散余弦变换(正交变换)来求DCT系数。接着，量化部305对DCT系数进行量化。

在MPEG-2或H.263等现有的编码标准中，对8×8块尺寸采用了实数精度的DCT，如果不规定DCT精度，则发生失配。但是，在MPEG-4AVC中，对4×4块尺寸采用了整数精度的DCT变换，其结果是，不会发生DCT精度造成的失配。

量化过的DCT系数由可变长度编码部308用算术编码器进行熵编码。其细节将在后面进行描述。

接着，说明可变长度编码/解码处理。

文献3“MPEG-4AVC|H.264的概要和标准化动向”((日本)铃木辉明；信息处理学会，音像复合信息处理38-13、69～73页，2002年11月)中说明了MPEG-4AVC的概要。以下，根据文献3来进行说明。

在宏块的个数、运动矢量的差分、变换系数等句法元素的可变长度编码中，区分使用CAVLC(Context Adaptive Variable Length Coding；上下文自适应可变长度编码)、和CABAC(Context Adaptive Binary Arithmetic Coding；上下文自适应二进制算术编码)这2种熵编码方式。

这里，说明基本配置(メインプロフ アイル)所用的CABAC这一算术编码方式。算术码根据要进行编码的符号的出现概率来分割长度为“1”的线段，该分割出的线段和要进行编码的符号一一对应，从而对该线段进行编码。代表该线段的二进制数成为代码，所以线段的区间越宽、即要进行编码的符号的出现概率越高，则该符号能够用越短的二进制数来表现，其结果是压缩率提高。因此，在进行对象块的编码的情况下，按照周边块的上下文来操纵出现概率，将压缩率控制得很高。

图4是CABAC算术编码处理单元的方框图。这是从文献3的图7引用的。图4所示的CABAC算术编码处理单元包括上下文建模部401、二进制化部402、以及自适应二进制算术编码处理部405，自适应二进制算术编码处理部405具有出现概率预测部403及编码部404。

上下文建模是对各符号进行编码时的概率模型。对各句法元素定义了上下文，按照该上下文切换概率表并进行算术编码。

图5是待编码块和相邻块的布置图。在图5中，在对待编码块C408进行编码时，按照相邻块A406和相邻块B407的状态，来决定待编码块C408的上下文。

在以上算术码处理中，可变长度编码过的代码的解码处理是解码器解释出现概率信息、根据该信息来进行重构的逐次处理。此外，出现概率的操作用表来进行，所以如果用支持VLIW(超长指令字)的指令并行处理器(在上述第2实施方式中，相当于图2所示的指令并行处理器100)、或SIMD型的数据并行处理器(在上述第2实施方式中，相当于图2所示的第1数据并行处理器101、或第2数据并行处理器102)来进行这些编码处理和解码处理，则处理性能不会改善。相反，通过用专用硬件(在上述第2实施方式中，相当于图2所示的可变长度编码/解码处理单元105)来进行这些处理，则能够分散指令并行处理器和数据并行处理器的负担，其结果是，能够降低工作频率，改善处理装置的频率平衡。这是在本实施方式中用图2所示的专用硬件—可变长度编码/解码处理单元105来处理图3所示的可变长度编码部308的理由。

在图3中，量化部305量化过的DCT系数由逆量化部306逆量化后，由逆4×4DCT变换部307进行逆DCT变换，由重构部309重构图像。重构出的图像由去块效应滤波器310实施去块效应滤波处理，在4×4像素边界上改写像素值。去块效应滤波处理将在后面描述。

接着，参考图6来说明图3的运动补偿部312中进行的1/4像素精度的运动补偿处理。图6是1/4像素精度的运动补偿的说明图。

所谓运动补偿，是在根据参考图像来构成预测图像的情况下，用运动矢量的信息，来构成更接近想编码的图像的预测图像。预测误差越少，则编码量越小，所以在MPEG-4 AVC中采用1/4像素精度的运动补偿。运动矢量由表示以块为单位的平行移动的2个参数(水平方向的移动距离和垂直方向的移动距离)构成。

运动矢量指示的参考图像的预测图像用下述方法来求。

在图6中，像素A、B、C、D、E、F、G、H、I、J、K、L、M、N、P、Q、R、S、T、U分别是整数位置的像素，像素aa、bb、cc、dd、ee、ff、gg、hh、及像素b、h、j、m、s分别是1/2精度的像素，像素a、c、d、e、f、g、i、k、n、p、q、r分别是1/4精度的像素。

下面说明求这些像素的像素值的过程。首先，1/2精度的像素b如下来求。以像素b的水平方向的近旁的像素E、F、G、H、I、J为变量，用(式1)定义的6抽头滤波器来生成中间数据b1。

【式1】

b1＝(E-5×F+20×G+20×H-5×I+J)

接着，用(式2)对该中间数据b1进行舍入处理和归一化后，限幅处理为0～255，求出像素b。

【式2】

b＝Clip((b1+16)/32)

这里，Clip(X)是将括号内的变量X限幅到0至255的范围内的函数。即，如果变量X小于0，则使b＝0；如果变量X在0至255的范围内，则使b＝X；如果变量X在256以上，则使b＝255。

同样，1/2精度的像素h如下来求。以像素h的垂直方向的近旁的像素A、C、G、M、R、T为变量，用(式3)定义的6抽头滤波器来生成中间数据h1。

【式3】

h1＝(A-5×C+20×G+20×M-5×R+T)

用(式4)对该中间数据h1进行舍入处理和归一化后，限幅处理为0～255，求出像素h。

【式4】

h＝Clip((h1+16)/32)

1/4精度的像素a、c、d、f、i、k、n、q如(式5)所示，用各自近旁的2个像素通过带舍入的平均来求。

【式5】

a＝(G+b+1)/2

c＝(H+b+1)/2

d＝(G+h+1)/2

f＝(b+j+1)/2

i＝(h+j+1)/2

k＝(j+m+1)/2

n＝(M+h+1)/2

q＝(j+s+1)/2

1/4精度的像素e、g、p、r同样如(式6)所示，用各自近旁的2个像素通过带舍入的平均来求。

【式6】

e＝(b+h+1)/2

g＝(b+m+1)/2

p＝(h+s+1)/2

r＝(m+s+1)/2

在以上预测图像的生成中，可以对每个子宏块设定运动矢量。在最小的子宏块—4×4的情况下，必须根据整数位置的像素用6抽头滤波器来内插实数位置的16处的像素。在像素的内插中，像素间没有数据的依赖关系，所以可以并行处理。因此，如果如本实施方式所示使用SIMD型数据并行处理器，则能够高效率地进行滤波处理。

接着，说明去块效应滤波处理。

在MPEG-4AVC中，以4×4像素为单位来进行DCT处理，所以在块的边界上发生块失真。去块效应滤波处理用于对决的边界进行滤波来平滑失真。对图像的4×4边界实施的滤波处理是按照Boundary Strength(BS)这一边界强度的值将滤波器的强度调整为最适合每个块边界的值的自适应滤波处理。即，边界强度BS被用于判定是否对该边界施加滤波、和定义施加滤波时的像素值变动的最大值。

图7是本发明第3实施方式的去块效应滤波器310的方框图。本方式的去块效应滤波器310包括BS条件判定处理部602、存储器603、控制部604、及滤波处理部605，滤波处理部605具有存储器606和滤波器607～609。

在图7所示的去块效应滤波器310中，BS条件判定处理部602计算边界强度BS，判定其结果，将控制参数613交给滤波处理部605。滤波处理部605按照控制参数613来进行滤波处理。

参考图8来说明去块效应滤波器310的处理。

图8示出本发明第3实施方式的去块效应滤波器310的处理顺序。滤波处理如图8所示，对边界[1]～[4]进行水平滤波处理，接着，对边界[5]～[8]进行垂直滤波处理。

下面说明边界强度BS＝4时的滤波处理。在4×4的子宏块的边界[1]的第一次滤波处理中，输入夹着边界[1]的像素p3、p2、p1、p0、q0、q1、q2、q3这8个像素，将像素p2、p1、p0、q0、q1、q2这6个像素改写为像素P2、P1、P0、Q0、Q1、Q2。

像素P2、P1、P0根据(式7)的条件式来切换滤波处理的式子，用(式8)和(式9)来求。

【式7】

ap＜β而且|p0-q0|＜4α+2

    ap＝|p2-p0|

    α：根据量化参数求出的系数1

    β：根据量化参数求出的系数2

在满足(式7)的条件的情况下，根据(式8)来求像素P0、P1、P2。

【式8】

P0＝(p2+2×p1+2×p0+2×q0+q1+4)/8

P1＝(p2+p1+p0+q0+2)/4

P2＝(2×p3+3×p2+p1+p0+q0+4)/8

在不满足(式7)的条件的情况下，根据(式9)来求像素P0、P1、P2。

【式9】

P0＝(2×p1+p0+q1+2)/4

P1＝p1

P2＝p2

此外，像素Q0、Q1、Q2根据(式10)的条件式来切换滤波处理的式子，用(式11)和(式12)来求。

【式10】

ap＜β而且|p0-q0|＜4α+2

aq＝|q2-q0|

α：根据量化参数求出的系数1

β：根据量化参数求出的系数2

在满足(式10)的条件的情况下，根据(式11)来求像素Q0、Q1、Q2。

【式11】

Q0＝(p1+2×p0+2×q0+2×q1+q2+4)/8

Q1＝(p0+q0+q1+q2+2)/4

Q2＝(2×q3+3×q2+q1+q0+p0+4)/8

在不满足(式10)的条件的情况下，根据(式12)来求像素Q0、Q1、Q2。

【式12】

Q0＝(2×q1+q0+p1+2)/4

Q1＝q1

Q2＝q2

如上所述，在用量化参数和像素值来自适应地切换滤波处理的情况下，在SIMD型数据并行处理器构成的数据处理装置中，不能并行处理BS条件判定，所以不能有效利用并行布置的运算器。取代它，如图7所示，如果用由BS条件判定处理部602和滤波处理部605组成的专用硬件来执行去块效应滤波处理，则能够分别进行BS计算处理和滤波处理的运算，能够加速BS条件判定处理，并行进行滤波处理。其结果是，能够高效率地进行去块效应滤波处理。再者，数据不依赖于亮度Y和色差UV，所以滤波处理部能够并行工作，如果导入运算器，则能够进一步削减处理周期数。这是在本实施方式中用图2所示的专用硬件—去块效应滤波处理单元104来处理图3所示的去块效应滤波器310的理由。

在图3所示的本方式的视频编码器中，去块效应滤波器310去块效应滤波处理过的图像不仅被用作输出图像，而且作为该帧以后的参考图像被参考，所以保存在帧存储器311中。

接着，比较用本方式的信号处理装置来实现图3所示的视频编码器的情况下所需的处理量、和用其他方式来构成的情况下所需的处理量。

图9是本发明第3实施方式和其他方式的编码处理量的比较图。

在图9中，方式1是用能够每1个时钟周期发行1条指令的处理器来构成图3所示的视频编码器、全部进行软件处理的情况。方式2是组合MIMD型并行数据处理装置和SIMD型并行数据处理装置来构成图3所示的视频编码器、全部进行软件处理的情况。方式3是用SIMD型并行数据处理装置和VLC的专用硬件来构成图3所示的视频编码器的情况。方式4是用VLIW型并行数据处理装置、SIMD型并行数据处理装置以及专用硬件来构成图3所示的视频编码器的情况，相当于本实施方式。即，方式4的VLIW型并行数据处理装置相当于本方式的图2所示的指令并行处理器100，SIMD型并行数据处理装置相当于本方式的图2所示的第1数据并行处理器101和第2数据并行处理器102，专用硬件相当于本方式的图2所示的运动检测单元103、去块效应滤波处理单元104、以及可变长度编码/解码处理单元105。

在编码处理中，处理量多的是运动检测、运动补偿、可变长度编码以及去块效应滤波。对各方式比较这些处理量的具体数值则如下所述。

在方式1中，运动检测处理是“3048”兆周，可变长度编码处理是“1000”兆周，去块效应滤波处理是“321”兆周，运动补偿处理是“314”兆周，其他处理是“217”兆周。总处理量是“4900”兆周。

在方式2中，运动检测处理是“381”兆周，可变长度编码处理是“333”兆周，去块效应滤波处理是“107”兆周，运动补偿处理是“39”兆周，其他处理是“52”兆周。总处理量是“900”兆周。

在方式3中，运动检测处理是“381”兆周，可变长度编码处理是“67”兆周，去块效应滤波处理是“80”兆周，运动补偿处理是“39”兆周，其他处理是“30”兆周。总处理量是“607”兆周。

在方式4中，运动检测处理是“203”兆周，可变长度编码处理是“67”兆周，去块效应滤波处理是“21”兆周，运动补偿处理是“21”兆周，其他处理是“29”兆周。总处理量是“352”兆周。

运动检测处理是选择对象宏块和参考宏块的像素值的差分绝对值之和最少的位置(运动矢量)的处理。在MPEG-4AVC的情况下，能够以4×4的子宏块为单位来设定运动矢量。因此，能够并行处理16个像素的差分绝对值之和的计算。在方式2及方式3中，用8路并行的SIMD型并行数据处理装置来处理该运动检测处理，与方式1相比，实现了大幅度的加速。方式4用能够以16路并行来计算差分绝对值之和的专用硬件来处理运动检测，所以实现了比SIMD型并行数据处理装置更高速的处理。

运动补偿处理是以1/4像素精度来求运动矢量指示的参考图像的处理。在该处理中，也以4×4子宏块为单位来进行处理，所以能够进行并行处理。与运动检测处理同样，方式2和方式3用8路并行的SIMD型并行数据处理装置，方式4用专用硬件来进行运动补偿处理，实现了大幅度的加速。

可变长度编码处理是用被称为CABAC的算术码处理按照周边块的上下文改变对象块的发生概率来进行解码的逐次处理。在方式2中，假定用能够发行4条指令的MIMD型并行数据处理装置来进行可变长度编码处理，与方式1的发行1个命令的处理器相比，最大也只有1/3的处理量。方式3和方式4用专用硬件来进行VLC处理，所以能高速进行判定处理或表搜索，所以与方式1相比，能够加速到1/15。

去块效应滤波处理在方式2中是用MIMD型并行数据处理装置进行的并行处理，在方式3中是用SIMD型并行数据处理装置进行的并行处理。在MIMD型中，不能改善滤波处理的性能，而在SIMD型中，不能改善BS判定处理的性能，所以只能得到1/3～1/4的加速。而方式4用专用硬件来执行去块效应滤波处理，所以通过分割BS判定处理和滤波处理，进行流水线工作，与方式1相比，能够实现1/15的加速。

从以上可知，通过像本方式这样用专用硬件来构成运动检测处理、运动补偿处理、可变长度编码处理以及去块效应滤波处理，能够实现大幅度的加速。

(第4实施方式)

图10是本发明第4实施方式的视频编码器的方框图。

本方式的视频解码器是能够支持MPEG-4AVC的解码器，对各构件附以明确表现支持MPEG-4AVC的视频解码器的各功能的名称。

图10所示的本方式的视频解码器由第2实施方式的信号处理装置构成。因此，首先示出图10的构件和图2的构件的对应关系。

解码控制部331的处理由图2的指令并行处理器100来进行。

运动矢量解码部336和运动补偿部337的处理由图2的第1数据并行处理器101来进行。

逆量化部333、逆4×4DCT变换部334、及重构部335的处理由图2的第2数据并行处理器102来进行。

可变长度解码部332相当于图2的可变长度编码/解码处理单元105，去块效应滤波器338相当于图2的去块效应滤波处理单元104，帧存储器339相当于图2的第1共享存储器121。

下面说明本方式的视频解码器的工作的概略。

向可变长度解码部332中输入用算术码编码过的编码视频输入341进行解码，来求量化DCT和运动矢量的差分。得到的量化DCT系数由逆量化部333进行逆量化，进而由逆4×4DCT变换部334进行逆DCT变换，得到差分图像数据。

另一方面，运动矢量解码部336根据可变长度解码部332得到的运动矢量的差分来求运动矢量，运动补偿部337根据帧存储器339中保存的参考图像和运动矢量来求预测图像。

重构部335根据前述差分图像数据和预测图像来重构新图像，作为视频输出342来输出。输出的视频输出342同时由去块效应滤波器338进行去块效应滤波处理后，保存到帧存储器339中。

逆量化部333和逆4×4DCT变换部334的控制由解码控制部331来进行。

去块效应滤波处理、以及逆量化处理、逆DCT变换处理与上述第3实施方式的情况同样，这里省略其说明。

在本方式中，也能够通过用专用硬件进行可变长度解码处理和去块效应滤波处理，来实现大幅度的加速。

此外，上述说明选取了用图2所示的本发明第2实施方式的信号处理装置来实现本方式的视频解码器的例子，但是本方式的视频解码器也可以用本发明第1实施方式的信号处理装置来实现。此外，各处理器分担的处理对象也可以适当变更。

(第5实施方式)

图11是本发明第5实施方式的音频编码器的方框图，图12同样是本发明第5实施方式的音频解码器的方框图。

在图11所示的音频编码器中，音频输入353由压缩部351进行包含采样及量化的压缩处理，由编码部352进行编码，作为编码音频输出354来输出。

在图12所示的音频解码器中，编码音频输入363由解码部361进行解码，由解压部362进行逆量化、解压处理。

音频编码及解码比MPEG-4AVC的视频编码及解码所需的处理量少，所以用哪一个处理器都能够进行处理。

在用第1实施方式的信号处理装置来实现本方式的音频编码器和音频解码器的情况下，图11所示的压缩部351和编码部352的处理、以及图12所示的解码部361和解压部362的处理由图1所示的指令并行处理器100来进行。这些处理能够以足够的裕量来执行。

(第6实施方式)

图13是本发明第6实施方式的AV重放系统的方框图。

本方式的AV重放系统包括重放装置801、解调/纠错部802、AV解码部803、存储器804、D/A变换器805、807，AV解码部803具有视频解码器803A和音频解码器803B。

视频解码器803A是图10所示的本发明第4实施方式的视频解码器，能够用本发明第1实施方式的信号处理装置、或第2实施方式的信号处理装置来实现。

音频解码器803B是图12所示的本发明第5实施方式的音频解码器。如第5实施方式中所述，第5实施方式的音频解码器的处理与图像数据的处理相比，所需的处理量少，所以视频解码器803A所应用的第1实施方式的信号处理装置、或第2实施方式的信号处理装置的指令并行处理器100(图1或图2)能够并行进行处理，无需准备别的处理器。因此，AV解码部803能够由第1实施方式的一个信号处理装置、或第2实施方式的一个信号处理装置来构成。

重放装置801重放记录着编码AV信号的媒体，输出重放信号。该重放装置801只要能够重放记录着MPEG-4AVC标准的编码AV信号，可以是DVD视频重放机、HD(硬盘)视频重放机等任何重放机。

解调/纠错部802对重放装置801重放出的信号进行解调、纠错，输出到AV解码部803。

AV解码部803的视频解码器803A对编码视频信号进行解码并输出，由D/A变换器805变换为模拟信号，作为视频输出806来输出。

AV解码部803的视频解码器803B对编码音频信号进行解码并输出，由D/A变换器807变换为模拟信号，作为音频输出808来输出。

存储器804保存解码前、解码中、及/或解码后的AV信号和其他数据。

在本方式的AV重放系统中，也可以使重放装置801具有解调/纠错部802的功能中的一部分或全部。

本方式的AV重放系统也能够用于接收从CATV、因特网、或卫星通信等送来的MPEG-4AVC标准的AV信号，进行解调、解码。在此情况下，能够将接收到的信号输入到解调/纠错部802中，用上述过程来进行解码。如果进而将视频输出显示在显示器上，则也能够用作数字电视。

(第7实施方式)

图14是本发明第7实施方式的AV记录系统的方框图。

本方式的AV记录系统包括AV编码部825、纠错码附加部/调制部827、记录装置828、存储器826、及A/D变换器822、824，AV编码部825具有视频编码器825A和音频编码器825B。

视频编码器825A是图3所示的本发明第3实施方式的视频编码器，能够用本发明第1实施方式的信号处理装置、或第2实施方式的信号处理装置来实现。

音频编码器825B是图11所示的本发明第5实施方式的音频编码器。如第5实施方式中所述，第5实施方式的音频编码器的处理与图像数据的处理相比，所需的处理量少，所以能够用视频编码器825A所应用的第1实施方式的信号处理装置、或第2实施方式的信号处理装置的指令并行处理器100(图1或图2)来并行进行处理，无需准备别的处理器。因此，AV编码器825能够由第1实施方式的一个信号处理装置、或第2实施方式的一个信号处理装置来构成。

下面说明本方式的AV记录系统的工作的概略。

视频输入821由A/D变换器822进行A/D变换，视频输入823由A/D变换器824进行A/D变换，分别输出到AV编码部825。

AV编码部825的视频编码器825A根据MPEG-4AVC标准对输入的视频信号进行编码，作为编码视频比特流来输出。同样，音频编码器825B根据MPEG-4AVC标准对输入的音频信号进行编码，作为编码音频比特流来输出。

纠错/调制部827向AV编码部825输出的编码视频比特流和编码音频比特流附加纠错码后，进行调制并输出到记录装置。

记录装置828将调制过的AV信号记录到记录媒体上。记录媒体是DVD等光盘、HD(硬盘)等磁记录媒体、半导体存储器等。

存储器826保存AV编码部825中的编码前、编码中、及/或编码后的AV信号和其他数据。

在本方式的AV记录系统中，也可以将纠错/调制部827的功能中的一部分或全部包含到记录装置828中。

本方式的AV记录系统也可以用作在输入端上连接摄像机、按MPEG-4AVC标准对其信号进行编码并记录的摄像机系统。

(第8实施方式)

图15是本发明第8实施方式的AV记录/重放系统的方框图。本方式的AV记录/重放系统包括控制部840、记录/重放装置841、调制解调/差错处理部842、AV编码/解码部843、AV接口845、及存储器844，AV编码/解码部843具有视频编码/解码器843A和音频编码/解码器843B，AV接口845进行视频的输入输出和音频的输入输出。

AV编码/解码部843在功能上具有与本发明第3实施方式的视频编码器、第4实施方式的视频解码器、第5实施方式的音频编码器和音频解码器的各自功能同等的功能，由第1实施方式的一个信号处理装置、或第2实施方式的一个信号处理装置来构筑。各自的工作已经描述过了，所以这里省略其说明。

记录重放装置841用于记录/重放调制过的MPEG-4AVC标准的AV信号，记录媒体是DVD等光盘、HD(硬盘)等磁记录媒体、半导体存储器等。具有因使用的记录媒体而异的记录/重放机构。

调制解调/差错处理部842在记录时向AV编码/解码部843编码过的视频比特流和音频比特流附加纠错码并进行调制，送出到记录/重放装置841。调制解调/差错处理部842在重放时对记录/重放装置841重放出的AV信号进行解调，实施纠错后，将视频比特流和音频比特流送出到AV编码/解码部843。

AV接口845在重放时对AV编码/解码部843解码过的视频信号和音频信号分别进行D/A变换，输出视频输出846和音频输出848。AV接口845在记录时对视频输入847和音频输入849分别进行A/D变换，送出到AV编码/解码器843。

存储器844保存AV编码/解码部843中的编码前、编码中、及/或编码后、以及解码前、解码中、及/或解码后的AV信号、和其他数据。

控制部840控制记录/重放装置841、调制解调/差错处理部842、AV编码/解码部843、及AV接口845，切换各自的记录时、和重放时的功能，控制数据传送。

其中，在本方式的AV记录/重放系统中，也可以将调制解调/差错处理部842的功能中的一部分或全部包含到记录/重放装置841中。

如以上详细描述的那样，本发明的信号处理装置及使用它的电子设备今后可望应用于适用MPEG-4AVC的编码标准的各种电子设备。向这种电子设备中的应用涵盖目前用MPEG-2进行的DVD系统、或摄像机系统、手机中的可视电话系统等从家庭内的固定终端到电池驱动的移动终端的广阔范围。

在这些系统中，对实现MPEG-4AVC标准的LSI要求的性能因系统的应用方法而异。在固定系统中，为了处理大的图像尺寸，处理性能很重要。而在便携终端中，为了延长电池寿命，低功耗很重要。本发明的信号处理装置及使用它的电子设备能够应用于其中任一种。即，通过组合指令并行处理器、数据并行处理器以及专用硬件，能够提高处理性能和降低功耗。

本发明的信号处理装置由多个SIMD型处理器(在图1的例子中，是第1数据并行处理器101和第2数据并行处理器102)构成。在1个SIMD型处理器中包含8个处理单元，用一条指令能够并行处理8种数据流。通过按照信号处理装置的使用目的来变更这些SIMD型处理器的搭载数，不变更LSI的架构就能够支持各种要求性能。

例如，在要求低功耗的面向便携终端的信号处理装置中，通过搭载2个SIMD型处理器，能够使并行度为16，能够进行低电压工作及降低工作频率。

此外，也可以不以16路并行来使用，而使用2组由8个处理单元组成的SIMD型处理器来进行分别的处理。

例如在第一SIMD型处理器进行运动补偿的像素值计算的期间内，第二SIMD型处理器进行DCT处理，通过这样分担整个处理，进行并行处理，能够在维持处理单元的运转率的同时，进行多个处理。其结果是，能够大幅度改善运算性能。

在上述实施方式中，描述了符合MPEG-4AVC标准的应用，但是本发明并不只限于该应用。本发明的主旨在于通过组合指令并行处理器、数据并行处理器以及专用硬件来实现处理性能的提高和功耗的降低，只要不脱离本发明的主旨，则能够进行各种应用。

根据本发明，能够提供一种信号处理装置及使用它的电子设备，能对MPEG-4AVC的编码/解码处理这样的要求大量的数据处理量的图像处理进行高性能、高效率的图像处理。

Claims (16)

1、一种信号处理装置，

包括指令并行处理器、数据并行处理器、以及多个专用硬件；其中：

上述指令并行处理器进行音频压缩解压处理、及图像压缩解压处理中的非定型而且比较轻的处理；

上述数据并行处理器进行图像压缩解压处理中的定型而且比较重的处理；

上述多个专用硬件进行图像压缩解压处理中的比较重的处理。

2、如权利要求1所述的信号处理装置，还包括：

第1指令总线；

第1数据总线；

第1共享存储器；以及

输入输出接口；

其中，上述指令并行处理器、上述数据并行处理器、上述多个专用硬件、以及上述输入输出接口具有各自的局部存储器；

在上述第1指令总线上，连接着上述指令并行处理器、上述数据并行处理器、以及上述多个专用硬件；

经上述第1指令总线，上述指令并行处理器传送用于控制上述数据并行处理器、及上述多个专用硬件的指令；

在上述第1数据总线上，连接着上述指令并行处理器的局部存储器、上述数据并行处理器的各自的局部存储器、上述多个专用硬件的各自的局部存储器、上述第1共享存储器、以及上述输入输出接口的局部存储器，进行这些存储器之间的数据传送。

3、如权利要求2所述的信号处理装置，还包括：

第2数据总线；

第2共享存储器；以及

连接上述第1数据总线和上述第2数据总线的桥单元；

其中，在上述第1数据总线上，连接着上述数据并行处理器的各自的局部存储器、上述多个专用硬件的各自的局部存储器、上述第1共享存储器、以及上述输入输出接口的局部存储器，进行这些存储器之间的数据传送；

在上述第2数据总线上，连接着上述指令并行处理器的局部存储器、和上述第2共享存储器，进行这些存储器之间的数据传送；

经上述桥单元来进行上述第1数据总线上连接的各存储器、和上述第2数据总线上连接的各存储器之间的数据传送。

4、如权利要求3所述的信号处理装置，

还包括控制处理器；

上述指令并行处理器经由上述控制处理器来控制上述数据并行处理器和上述多个专用硬件。

5、如权利要求1所述的信号处理装置，

还包括第2指令总线；

在上述第1指令总线上，连接着上述指令并行处理器、上述控制处理器、以及上述多个专用硬件中的一部分硬件；

在上述第2指令总线上，连接着上述控制处理器、上述数据并行处理器、以及上述多个专用硬件中的未连接在上述第1指令总线上的其他专用硬件；

上述指令并行处理器控制上述多个专用硬件中的连接在上述第1指令总线上的一部分硬件，并且经由上述控制处理器来控制上述数据并行处理器、和上述多个专用硬件中的未连接在上述第1指令总线上的其他专用硬件。

6、如权利要求1所述的信号处理装置，其中，上述数据并行处理器的并行度由要压缩解压处理的图像尺寸来决定。

7、如权利要求1所述的信号处理装置，其中，上述数据并行处理器的并行度由向信号处理装置供给的电源电压和工作频率来决定。

8、如权利要求1所述的信号处理装置，上述专用硬件进行的处理包含可变长度编码处理、可变长度解码处理、视频输入输出处理、运动检测处理、运动补偿处理、DCT处理、逆DCT处理、量化处理、逆量化处理、及去块效应滤波处理中的至少一个。

9、如权利要求5所述的信号处理装置，其中，上述多个专用硬件中的连接在上述第1指令总线上的一部分硬件进行的处理是可变长度编码处理及/或可变长度解码处理。

10、一种电子设备，使用权利要求1所述的信号处理装置，其中，

上述信号处理装置进行音频压缩处理、音频解压处理、图像压缩处理、及图像解压处理中的至少一个处理。

11、一种电子设备，

包括权利要求1所述的信号处理装置、具有重放机构的重放装置、解调/纠错部、存储器、以及多个D/A变换器；

上述重放装置从记录媒体重放调制过的编码信号；

上述解调/纠错部对上述重放装置重放出的调制过的编码信号进行解调、纠错，作为编码数据来输出；

上述信号处理装置对上述解调/纠错部输出的编码数据进行解码，作为视频数据及音频数据来输出；

上述存储器保存解码处理前、处理中、及/或处理后的数据；

上述多个D/A变换器对上述信号处理装置输出的视频数据及音频数据进行D/A变换，输出模拟视频输出及模拟音频输出。

12、一种电子设备，

包括权利要求1所述的信号处理装置、多个A/D变换器、存储器、纠错/调制部、以及具有记录机构的记录装置；

上述多个A/D变换器对输入的模拟视频输入及模拟音频输入进行A/D变换，输出视频数据及音频数据；

上述信号处理装置对上述多个A/D变换器输出的视频数据及音频数据进行编码，输出编码数据；

上述存储器保存编码处理前、处理中、及/或处理后的数据；

上述纠错/调制部向上述信号处理装置编码过的编码数据附加纠错码并进行调制，作为编码信号来输出；

上述记录装置将上述纠错/调制部输出的编码信号记录到记录媒体上。

13、一种电子设备，一体构成权利要求11所述的电子设备和权利要求12所述的电子设备。

14、如权利要求11所述的电子设备，其中，上述重放装置、及/或上述记录装置处理的记录媒体是光盘。

15、如权利要求11所述的电子设备，其中，上述记录媒体是磁盘。

16、如权利要求11所述的电子设备，其中，上述记录媒体是半导体存储器。

Images