CN1270273C - 自适应存储器分配 - Google Patents
自适应存储器分配 Download PDFInfo
- Publication number
- CN1270273C CN1270273C CN 02808484 CN02808484A CN1270273C CN 1270273 C CN1270273 C CN 1270273C CN 02808484 CN02808484 CN 02808484 CN 02808484 A CN02808484 A CN 02808484A CN 1270273 C CN1270273 C CN 1270273C
- Authority
- CN
- China
- Prior art keywords
- data
- internal memory
- processed
- processor
- external memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种用于在具有处理器的设备中处理数据的方法,该处理器具有一个内存、一个包含将要处理的数据的外部存储器以及将此处理器和外部存储器互连的总线。首先,确定实际上可用的空闲存储器的容量,并将此容量与要处理的数据量进行比较。如果要处理的数据量没有超过空闲的处理器存储器的容量,则将所有数据传送到此处理器存储器。如果将要处理的数据量超过空闲处理器存储器的容量,则将多个均未超过空闲内存的数据部分一次一个地传送到内部处理器存储器,以便进行处理。在处理之后,返回已处理的数据,并将新的数据部分传送到内部处理器存储器,以便进行处理。
Description
技术领域
本发明涉及有效使用具有有限内存容量的设备的处理器中的可用内存。
背景技术
数字图像已经广为流传,并且通过例如互联网频繁地交换和发送数字图像。随着例如数字用户照相机的出现,用户可以记录他或她自己的图像。高分辨率的数字图像要求大的存储容量,并且因此经常压缩数字图像,由此可以要求较少的存储器。取决于压缩算法,数字图像所要求的存储可通过一个典型地在5和50或更大之间的因子来减少。通常,具有高压缩因子的压缩和解压缩算法比具有低压缩因子的算法要求更多由处理器所执行的计算。
在数字设备中处理器通常具有一个有限容量的内存和处理器可通过总线访问的较大的外部存储器。例如图像数据的压缩和解压缩的图像处理是要求处理很多数据并从而给处理器及其内存加载的操作。在很多数字设备中,为了特殊的任务而优化处理器及其内存,例如在移动电话中为管理在移动电话和基站之间的语音和其他数据的业务而优化处理器。图像文件常常以要求较少存储空间的压缩格式进行存储。
新的静止图像压缩标准JPEG2000是基于离散子波变换(DWT)和逆离散子波变换(IDWT)的。众所周知,在JPEG中使用的离散子波变换比其它例如在JPEG中使用的离散余弦变换的变换消耗或占用更多的存储器。因此,特别在如DSP和移动终端的存储关键(memory critical)的环境中,希望优化存储器的使用。当前,市场上没有为DSP设计的JPEG2000编码器/解码器。
在例如移动电话的移动终端中,输入至DWT/IDWT例行程序的数据被存储在例如闪存的外部存储器中。在DSP中执行DWT/IDWT。当压缩的数字图像不得不被处理并被显示在移动电话的显示器上时,必须处理整个压缩的文件。对于处理器的快速内存来说,数字图像文件可能太大,并因此必须将文件的一些部分从外部存储器传送到内存进行处理并将这些部分返回到外部存储器,随后文件的另一部分被传送到处理器进行处理。这要求为每次传送操作设置总线,这与若干传送一起是费时间的。可使用若干方法来管理图像数据的传送及其处理。
一个可能的方法是传送所有的数据到处理器的内存。这给出了最快的变换,但这取决于图像的大小而要求在处理器中有大的内存。
另一个可能的方法是仅把例如相应于图像的一行(line)的图像数据的一小部分传送到处理器的内存,并且随后进行变换操作以及把变换后的数据传送回外部存储器。此方法仅要求较少的内部处理器存储器,但在内存储器和外部存储器之间的数据传送将非常耗时。
内部处理器存储器可具有为这些目的预留的某个存储空间,但当没有利用预留的存储器进行图像变换时,预留的存储空间可以有利地用于其它应用。由于在DSP中有限的存储容量以及空闲存储容量取决于例如语音编码器和MP3播放器的可能是活动有效的其他应用的事实,图像变换仅能以小的、预定的存储容量进行操作。在其他时间,可能没有完全利用内部处理器存储器。
这样,在例如DSP和移动终端的存储关键的环境中,DWT/IDWT和其他算法存在问题。如果所有输入的数据同时传送到处理器的内存,以使用存储器为代价实现了最快的变换。另一方面,如果少量的数据被传送到内存,由此存储器可以同时执行其他任务,处理将花费长时间。因此,现有的方法都不允许优化使用内部处理器存储器。
现有技术
WO 97/06512公开了一种用于实施显示图像的方法。公开了用于实施来自共享存储系统的指令的平铺显示器(tiler)。描述了平铺显示器如何在缓存器中存储像素数据,并且根据可用的存储容量动态调整存储的数据量以避免存储器溢出。请参见第15页20-22行、第65页第32行到第66页第7行、第73页第20行到第76页第29行、图4A和4B。此文档的后面的段节特别涉及避免存储器溢出的问题。
EP 825 777公开了用于在记录代码图像之前计算压缩编码的数据的数据量的方法和装置。它讨论了一个在能够指定存储容量时被有效设置为具有小于存储容量的大小的交织(interleave)单元。请参见第19页第48行到第20页以及图70-74,这或多或少等同于上面引用的WO 97/06512中描述的方法。
WO 00/02319描述了根据DWT方法对例如图像的数据进行自适应编码和解码的方法。
WO 98/07278描述了用于编码图像信号的方法。允许超高速缓存容量根据图像的不同特性而变化。请参见第28-29页。
US 5 267 334描述了用于根据DCT方法编码和解码图像的方法。请参见摘要。
从两份文件WO 97/06512和EP 825 777中,我们知道在编码/解码并显示图像的处理中,依据可用存储器来调整图像数据量。在WO 97/06512中的问题是如何避免存储器溢出,该问题及其解决方案好像都是很琐碎的。在EP825 777中的问题及其解决方案涉及把多媒体信息变换成光可读代码模式图像数据。
发明内容
本发明提出了这两种方法之间的混合,从而图像变换例行程序是基于处理器中实际的空闲存储器和将被处理的数据量,例如,图像文件的大小。因此,不仅优化使用了处理器及其内存,而且还优化使用数据总线,并且总是尽可能快地进行图像变换而不会干扰其它例行程序。本发明不限于图像数据的变换或DWT/IDWT例行程序。
具体地,本发明提供一种在设备中处理数据的方法,所述设备具有:
-具有内存的处理器,
-包含要处理的数据的外部存储器,以及
-用于在所述外部存储器和所述内存之间传送数据的传输路径,
所述方法包括:
-确定要处理的数据的大小,
-确定实际上空闲的内存的容量,以及
如果要处理的数据的大小小于或等于所述处理器中实际上空闲的内存的容量,
-将要处理的数据从所述外部存储器传送到所述处理器的内存,以及
-处理所述要处理的数据,
-将已处理的数据传送到所述外部存储器,
或者,如果要处理的数据的大小大于所述处理器中实际上空闲的内存的容量,
-预留所述内存的一部分,所述内存的一部分与实际上空闲的内存相对应并且不超过实际上空闲的内存,
-将所述要处理的数据的一部分从外部存储器传送到所述内存的预留部分,所传送的数据的大小不超过所述内存的预留部分,
-处理已传送到所述内存的数据,
-传送已处理的数据到外部存储器,并且
-如果未处理的数据仍保留在所述外部存储器中,则重复传送数据的一部分、处理已传送的数据和传送已处理的数据的步骤。
本发明还提供一种设备,具有:
-具有内存的处理器,
-用于包含要处理的数据的外部存储器,以及
-用于在所述外部存储器和所述内存之间传送数据的传输路径,
其特征在于,使用一种方法来处理数据,所述方法包括:
-确定要处理的数据的大小,
-确定实际上空闲的内存的容量,以及
如果要处理的数据的大小小于或等于所述处理器中实际上空闲的内存的容量,
-将要处理的数据从所述外部存储器传送到所述处理器的内存,以及
-处理所述要处理的数据,
-将已处理的数据传送到所述外部存储器,
或者,如果要处理的数据的大小大于所述处理器中实际上空闲的内存的容量,
-预留所述内存的一部分,所述内存的一部分与实际上空闲的内存相对应并且不超过实际上空闲的内存,
-将所述要处理的数据的一部分从外部存储器传送到所述内存的预留部分,所传送的数据的大小不超过所述内存的预留部分,
-处理已传送到所述内存的数据,
-传送已处理的数据到外部存储器,并且
-如果未处理的数据仍保留在所述外部存储器中,则重复传送数据的一部分、处理已传送的数据和传送已处理的数据的步骤。
附图说明
图1显示了使用本发明的移动通信设备的示意示意图;和
图2是说明本发明方法的流程图。
具体实施方式
图1显示了一个移动通信设备,其优选地是例如移动电话的移动通信设备。移动通信设备具有例如数字信号处理器DSP的传统处理器,并且此处理器具有例如DARAM或SARAM的常规内存。通过数字总线,处理器与例如FLASH ROM的外部存储器以及与显示器和键盘通信。显示器是能够显示数字图像或图片和字母数字字符的传统类型。电话操作所需的其他组件也被表示为连接到总线。这些组件包括射频接收器和发射器、麦克风和接收器变换器等。外部存储器将典型地包括与通信设备操作有关的数据和用户相关的数据,例如个人的电话本。例如图像数据的其他数据也可存储在外部存储器中。通常所存储的图像数据使用诸如JPEG2000标准进行压缩。无论是否被压缩,图像数据都可占用相当一部分的存储器。
图2说明了本发明的方法。将要在处理器中解压缩的压缩图像文件必须首先被传送到处理器中的内存以便进行处理。图像文件经常大于处理器中可用的空闲存储器,并在压缩的图像数据被传送到处理器之前,确定在处理器中实际上有多少空闲存储器可用。
如果处理器几乎处于空闲模式中,即未被繁重的任务占用,相应地将有相对大的空闲内存可用,并且具有相应于相对大空闲存储容量的将要被处理的图像数据的一部分被从外部存储器传送到内存进行处理。在处理之后,处理过的数据被返回到外部存储器或返回到任何其他设备,例如显示器,以便进行显示,并且图像数据的新的相对大的部分被从外部存储器传送到内存,以便进行处理。在此情况下,仅使用较少耗时的数据传送来相对快地处理整个图像。
另一方面,如果处理器被其他任务繁重地占用,其内存将相应地被占用,并且相对少的空闲存储器可用,而且具有相应于相对小的空闲存储容量的要被处理的图像数据的一部分被将从外部存储器传送到内存进行处理。在处理之后,返回处理过的数据,并且图像数据的新的相对小的部分被从外部存储器传送到内存进行处理。在此情况下,由于使用许多耗时的数据传送,所以相对慢地处理整个图像。
将要被处理的数据不一定是图像数据,并且所描述的方法能够用于将要在处理器中进行处理的任何数据上,其中此处理器具有内存,但所述内存具有的空闲存储容量对于将要被处理的数据量是不足的。
例如,可以将诸如JPEG 2000格式的图像或MP3格式的音乐文件的将要被处理的文件从电话网络下载到通信设备。
图1也显示了使用标准化的蓝牙通信协议的蓝牙近距离通信设备。数字用户照相机以例如JPEG2000格式的压缩格式来存储图像。使用蓝牙通信设备,压缩的图像可从数字照相机下载到移动通信设备。这样的存储的压缩图像能够使用本发明的方法来解压缩并显示在移动电话的显示器上。
在连续处理和显示一系列图像作为一系列运动图像的情况下,用于每个图像的处理时间尽可能短是重要的,以使得图像可以尽可能快速地连续起来。本发明的方法确保利用由处理器中可用的空闲内存所确定的速度来快速处理例如图像数据。
参考文献
可在下列互联网地址上的Official Bluetooth Website(官方蓝牙网站)上找到蓝牙规范:
http://www.bluetooth.com/developer/specification/core.asp
可在下列互联网地址上找到关于JPEG 2000标准的信息:
http://www.jpeg.org/jpeg2000.htm。
Claims (9)
1.一种在设备中处理数据的方法,所述设备具有:
-具有内存的处理器,
-包含要处理的数据的外部存储器,以及
-用于在所述外部存储器和所述内存之间传送数据的传输路径,
所述方法包括:
-确定要处理的数据的大小,
-确定实际上空闲的内存的容量,以及
如果要处理的数据的大小小于或等于所述处理器中实际上空闲的内存的容量,
-将要处理的数据从所述外部存储器传送到所述处理器的内存,以及
-处理所述要处理的数据,
-将已处理的数据传送到所述外部存储器,
或者,如果要处理的数据的大小大于所述处理器中实际上空闲的内存的容量,
-预留所述内存的一部分,所述内存的一部分与实际上空闲的内存相对应并且不超过实际上空闲的内存,
-将所述要处理的数据的一部分从外部存储器传送到所述内存的预留部分,所传送的数据的大小不超过所述内存的预留部分,
-处理已传送到所述内存的数据,
-传送已处理的数据到外部存储器,并且
-如果未处理的数据仍保留在所述外部存储器中,则重复传送数据的一部分、处理已传送的数据和传送已处理的数据的步骤。
2.根据权利要求1的方法,其特征在于,所述要处理的数据表示图像。
3.根据权利要求2的方法,其特征在于,所述图像以JPEG 2000格式来表示。
4.根据权利要求3的方法,其特征在于,利用离散子波变换来处理数据。
5.根据权利要求3的方法,其特征在于,利用逆离散子波变换来处理数据。
6.一种设备,具有:
-具有内存的处理器,
-用于包含要处理的数据的外部存储器,以及
-用于在所述外部存储器和所述内存之间传送数据的传输路径,
其特征在于,使用一种力法来处理数据,所述方法包括:
-确定要处理的数据的大小,
-确定实际上空闲的内存的容量,以及
如果要处理的数据的大小小于或等于所述处理器中实际上空闲的内存的容量,
-将要处理的数据从所述外部存储器传送到所述处理器的内存,以及
-处理所述要处理的数据,
-将已处理的数据传送到所述外部存储器,
或者,如果要处理的数据的大小大于所述处理器中实际上空闲的内存的容量,
-预留所述内存的一部分,所述内存的一部分与实际上空闲的内存相对应并且不超过实际上空闲的内存,
-将所述要处理的数据的一部分从外部存储器传送到所述内存的预留部分,所传送的数据的大小不超过所述内存的预留部分,
-处理已传送到所述内存的数据,
-传送已处理的数据到外部存储器,并且
-如果未处理的数据仍保留在所述外部存储器中,则重复传送数据的一部分、处理已传送的数据和传送已处理的数据的步骤。
7.根据权利要求6的设备,其特征在于,所述设备具有用于显示图像的显示器。
8.根据权利要求7的设备,其特征在于,所述设备是移动无线通信设备。
9.根据权利要求8的设备,其特征在于,所述设备具有使用蓝牙通信协议的近距离通信设备。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01610043.0 | 2001-04-19 | ||
EP01610043A EP1251460A1 (en) | 2001-04-19 | 2001-04-19 | Adaptive method for allocation of random access memory |
US28704201P | 2001-04-26 | 2001-04-26 | |
US60/287,042 | 2001-04-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1503958A CN1503958A (zh) | 2004-06-09 |
CN1270273C true CN1270273C (zh) | 2006-08-16 |
Family
ID=26077307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 02808484 Expired - Fee Related CN1270273C (zh) | 2001-04-19 | 2002-03-22 | 自适应存储器分配 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN1270273C (zh) |
WO (1) | WO2002086817A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060239194A1 (en) * | 2005-04-20 | 2006-10-26 | Chapell Christopher L | Monitoring a queue for a communication link |
CN103970781A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市同洲电子股份有限公司 | 嵌入式浏览器图片解码装置及方法 |
CN106528278B (zh) * | 2015-09-14 | 2019-06-25 | 纬创资通(上海)有限公司 | 硬件负载调整方法及电子装置 |
US11437032B2 (en) | 2017-09-29 | 2022-09-06 | Shanghai Cambricon Information Technology Co., Ltd | Image processing apparatus and method |
US11630666B2 (en) | 2018-02-13 | 2023-04-18 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
KR102354722B1 (ko) | 2018-02-13 | 2022-01-21 | 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 | 계산 장치 및 방법 |
US11740898B2 (en) | 2018-02-13 | 2023-08-29 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
CN110162162B (zh) | 2018-02-14 | 2023-08-18 | 上海寒武纪信息科技有限公司 | 处理器的控制装置、方法及设备 |
EP3624020A4 (en) | 2018-05-18 | 2021-05-05 | Shanghai Cambricon Information Technology Co., Ltd | CALCULATION PROCEDURES AND RELATED PRODUCTS |
WO2020001438A1 (zh) | 2018-06-27 | 2020-01-02 | 上海寒武纪信息科技有限公司 | 片上代码断点调试方法、片上处理器及芯片断点调试系统 |
KR102519467B1 (ko) | 2018-08-28 | 2023-04-06 | 캠브리콘 테크놀로지스 코퍼레이션 리미티드 | 데이터 전처리 방법, 장치, 컴퓨터 설비 및 저장 매체 |
CN110865950B (zh) * | 2018-08-28 | 2021-01-12 | 中科寒武纪科技股份有限公司 | 数据预处理方法、装置、计算机设备和存储介质 |
CN110865792B (zh) * | 2018-08-28 | 2021-03-19 | 中科寒武纪科技股份有限公司 | 数据预处理方法、装置、计算机设备和存储介质 |
WO2020062392A1 (zh) | 2018-09-28 | 2020-04-02 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
CN111385462A (zh) | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
CN111832738B (zh) | 2019-04-18 | 2024-01-09 | 中科寒武纪科技股份有限公司 | 一种数据处理方法及相关产品 |
US11934940B2 (en) | 2019-04-18 | 2024-03-19 | Cambricon Technologies Corporation Limited | AI processor simulation |
US11676029B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
EP3770823A4 (en) | 2019-06-12 | 2021-01-27 | Shanghai Cambricon Information Technology Co., Ltd | QUANTIFICATION PARAMETER DETERMINATION PROCESS FOR NEURONAL NETWORK, AND RELATED PRODUCT |
EP4020321A4 (en) | 2019-08-23 | 2024-01-17 | Anhui Cambricon Information Technology Co., Ltd. | DATA PROCESSING METHOD, APPARATUS, COMPUTER APPARATUS AND STORAGE MEDIUM |
EP4024280A4 (en) | 2019-08-27 | 2022-11-16 | Anhui Cambricon Information Technology Co., Ltd. | DATA PROCESSING METHOD AND APPARATUS, COMPUTER EQUIPMENT AND STORAGE MEDIA |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5574952A (en) * | 1994-05-11 | 1996-11-12 | International Business Machines Corporation | Data storage system and method for operating a disk controller including allocating disk space for compressed data |
JPH09218808A (ja) * | 1996-02-13 | 1997-08-19 | Matsushita Electric Ind Co Ltd | ファイル記憶装置 |
GB9606927D0 (en) * | 1996-04-02 | 1996-06-05 | Memory Corp Plc | Data storage devices |
-
2002
- 2002-03-22 CN CN 02808484 patent/CN1270273C/zh not_active Expired - Fee Related
- 2002-03-22 WO PCT/EP2002/003714 patent/WO2002086817A1/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
CN1503958A (zh) | 2004-06-09 |
WO2002086817A1 (en) | 2002-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1270273C (zh) | 自适应存储器分配 | |
EP1901544B1 (en) | Encoding device and method, decoding device and method, and transmission system | |
CN100511282C (zh) | 数据压缩 | |
CN1447285A (zh) | 用于渐进地变换并编码数字数据的系统和方法 | |
CN1671103A (zh) | 数据压缩 | |
CN1946213A (zh) | 执行视频通信业务的方法及其移动通信终端 | |
CN101047853A (zh) | 服务器设备和视频传送方法 | |
EP2204965A1 (en) | Device and method for receiving scalable content from multiple sources having different content quality | |
CN1578456A (zh) | 移动通信系统的数字视频信号处理装置及方法 | |
CN1695382A (zh) | 用于图像编码转换的方法和设备 | |
US20040141650A1 (en) | Adaptive memory allocation | |
CN1825964A (zh) | 片上处理视频数据的方法和系统 | |
CN1290339C (zh) | 压缩运动图像的解压装置及利用其的图像显示装置 | |
CN1829316A (zh) | 使用伪流技术来向移动终端传输运动画面数据的方法 | |
CN1822666A (zh) | 处理视频数据的方法和系统 | |
US7356189B2 (en) | Moving image compression device and imaging device using the same | |
CN1791219A (zh) | 用于片上系统的双层总线结构 | |
CN1848946A (zh) | 内容变换装置和译码系统 | |
CN1570904A (zh) | 移动远程计算机访问和控制系统及其方法 | |
CN1178144C (zh) | 一种在客户机上同步显示主机显示内容的方法及其装置 | |
CN1290027C (zh) | 高速缓存方法 | |
CN101056321A (zh) | 一种提高无线应用协议网关性能的方法 | |
CN200953634Y (zh) | 多重数字数据流输出装置 | |
CN1199419C (zh) | 在无线应用通讯协议上实现电子图书下载阅览的方法及装置 | |
CN101052972A (zh) | 多技术熵编码系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060816 Termination date: 20190322 |