[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112394882B - 数据存储方法及装置、存储介质、电子装置 - Google Patents

数据存储方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN112394882B
CN112394882B CN202011288120.8A CN202011288120A CN112394882B CN 112394882 B CN112394882 B CN 112394882B CN 202011288120 A CN202011288120 A CN 202011288120A CN 112394882 B CN112394882 B CN 112394882B
Authority
CN
China
Prior art keywords
data
storage
modules
processed
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011288120.8A
Other languages
English (en)
Other versions
CN112394882A (zh
Inventor
冯国宝
卢成翔
王斌
洪松楼
蔡剑峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011288120.8A priority Critical patent/CN112394882B/zh
Publication of CN112394882A publication Critical patent/CN112394882A/zh
Priority to EP21887859.3A priority patent/EP4038486A4/en
Priority to PCT/CN2021/122992 priority patent/WO2022105473A1/en
Application granted granted Critical
Publication of CN112394882B publication Critical patent/CN112394882B/zh
Priority to US17/662,228 priority patent/US20220261175A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据存储方法及装置、存储介质、电子装置，该方法包括：基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力；基于当前存储能力和当前计算能力调整M个计算模块，以使M个计算模块中的K个计算模块处理待处理数据，得到目标数据；将目标数据存储至N个存储模块中。通过本发明，解决了存储业务和计算业务协同工作的问题，达到提高数据存储性能的效果。

Description

数据存储方法及装置、存储介质、电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种数据存储方法及装置、存储介质、电子装置。
背景技术
现有服务器有以存储业务为核心的存储服务器，也有以计算为核心的计算服务器，伴随着人工智能、大数据迅速发展，现在也有了存储和计算融合一体的一体化服务器。如现在推出的硬盘与智能卡自适应混插技术，能接入硬盘的地方，也能接入智能卡，客户可以根据需求去配置存储能力和计算能力。
现有不论是以存储为核心的存储服务器，还是以计算为核心的计算服务器，还是存储和计算融合一体的一体化服务器，存储和计算两大业务是互相独立的，没有协同工作机制。
针对上述技术问题，相关技术尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据存储方法及装置、存储介质、电子装置，以至少解决相关技术中存储业务和计算业务协同工作的问题。
根据本发明的一个实施例，提供了一种数据存储方法，包括：基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，上述N个存储模块用于存储上述待处理数据，上述M个计算模块用于处理上述待处理数据，上述N和上述M均是大于或等于1的自然数，N个存储模块和所述M个计算模块设置在同一设备中；基于上述当前存储能力和上述当前计算能力调整上述M个计算模块的数量，以使上述M个计算模块中的K路分析路数分析上述待处理数据，得到目标数据，其中，上述K是小于或等于上述M的自然数；将上述目标数据存储至上述N个存储模块中。
根据本发明的另一个实施例，提供了一种数据存储装置，包括：第一确定模块，用于基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，所述N个存储模块用于存储所述待处理数据，所述M个计算模块用于处理所述待处理数据，所述N和所述M均是大于或等于1的自然数，N个存储模块和M个计算模块设置在同一设备中；第一调整模块，用于基于所述当前存储能力和所述当前计算能力调整所述M个计算模块的数量，以使所述M个计算模块中的K路分析路数分析所述待处理数据，得到目标数据，其中，所述K是小于或等于所述M的自然数；将所述目标数据存储至所述N个存储模块中。
在一个示例性实施例中，第一确定模块，包括：第一确定单元，用于确定上述待处理数据需要的存储空间；第二确定单元，用于基于上述存储空间确定上述N个存储模块的当前存储能力；第三确定单元，用于确定上述待处理数据的属性；第四确定单元，用于基于上述属性确定上述M个计算模块的当前计算能力。
在一个示例性实施例中，上述第一调整模块，包括：第五确定单元，用于在上述当前存储能力未满足上述待处理数据需要的存储空间，且上述M个计算模块的计算能力大于上述待处理数据需要的计算能力的情况下，将上述K路分析路数对应的计算模块确定为处理上述待处理数据的设备，以利用上述K路分析路数对应的计算模块处理上述待处理数据，得到上述目标数据。
在一个示例性实施例中，上述第五确定单元，包括：第一确定子单元，用于将上述K个计算模块确定为处理上述待处理数据的设备，以利用上述K个计算模块压缩上述待处理数据，得到上述目标数据。
在一个示例性实施例中，上述存储模块，包括：存储单元，用于按照预设周期将上述目标数据存储至上述N个存储模块中。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，N个存储模块用于存储待处理数据，M个计算模块用于处理待处理数据，N和M均是大于或等于1的自然数，N个存储模块和M个计算模块设置在同一设备中；基于当前存储能力和当前计算能力调整M个计算模块的数量，以使M个计算模块中的K路分析路数分析待处理数据，得到目标数据，其中，K是小于或等于M的自然数；将目标数据存储至N个存储模块中。实现了计算模块与目标设备协同工作的目的。因此，可以解决存储业务和计算业务协同工作的问题，达到提高数据存储性能的效果。
附图说明
图1是本发明实施例的一种数据存储方法的移动终端的硬件结构框图；
图2是根据本发明实施例的数据存储方法的流程图；
图3是根据本发明实施例的硬盘槽位的示意图；
图4是根据本发明实施例的实施结构示意图；
图5是根据本发明实施例的具体实施的示意图；
图6是根据本发明实施例的数据存储装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种数据存储方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据存储方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据存储方法，图2是根据本发明实施例的数据存储方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，N个存储模块用于存储待处理数据，M个计算模块用于处理待处理数据，N和M均是大于或等于1的自然数，N个存储模块和M个计算模块设置在同一设备中；
步骤S204，基于当前存储能力和当前计算能力调整M个计算模块的数量，以使M个计算模块中的K路分析路数分析待处理数据，得到目标数据，其中，K是小于或等于M的自然数；
步骤S206，将目标数据存储至N个存储模块中。
其中，上述步骤的执行主体可以为终端等，但不限于此。
可选地，在本实施例中，计算模块包括但不限于是终端中设置的智能卡。存储模块包括但不限于是终端中设置的存储硬盘。例如，在终端设备中设置5个存储硬盘和10个智能卡。如图3所示，在硬盘槽位中接入存储硬盘或者硬盘盒式智能卡。两者能够混插兼容，硬盘作为存储池存在，智能卡作为智能池存在。
可选地，待处理数据包括但不限于是摄像设备获取的视频数据，例如，在违章监控场景中获取的车辆的图像数据。在该场景中，车辆的图像数据比较多，可以将计算模块中的部分计算模块用来辅助存储模块的存储，例如，利用计算模块将获取的图像数据进行压缩，然后存储至存储模块中。即可以减少存储模块的内存，延长使用周期。
通过上述步骤，由于基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，N个存储模块用于存储待处理数据，M个计算模块用于处理待处理数据，N和M均是大于或等于1的自然数，N个存储模块和M个计算模块设置在同一设备中；基于当前存储能力和当前计算能力调整M个计算模块的数量，以使M个计算模块中的K路分析路数分析待处理数据，得到目标数据，其中，K是小于或等于M的自然数；将目标数据存储至N个存储模块中。实现了计算模块与目标设备协同工作的目的。因此，可以解决存储业务和计算业务协同工作的问题，达到提高数据存储性能的效果。
在一个示例性实施例中，基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，包括：
S1，确定待处理数据需要的存储空间；
S2，基于存储空间确定N个存储模块的当前存储能力；
S3，确定待处理数据的属性；
S4，基于属性确定M个计算模块的当前计算能力。
可选地，如图4所示，本实施例包括如下场景：
场景一：中央处理器(Central Processing Unit，简称为CPU)计算出当前待处理数据所需要的存储能力，如果存储模块的存储能力满足当前待处理数据的需要，则保持存储模块当前的业务配置，所有计算模块全部负责处理视频或者图片的智能分析。
场景二：CPU计算出当前待处理数据所需要的存储能力，如果存储模块不满足当前待处理数据的需要，则配置出一部分计算模块，来做智能压缩，提高存储模块的存储性能。
场景三：CPU计算当前待处理数据所需要的计算能力，如果计算能力过剩，则配置出过剩的计算模块，来做智能压缩，提高存储模块的存储性能。
在一个示例性实施例中，基于当前存储能力和当前计算能力调整M个计算模块，以使M个计算模块中的K路分析路数分析待处理数据，得到目标数据，包括：
S1，在当前存储能力未满足待处理数据需要的存储空间，且M个计算模块的计算能力大于待处理数据需要的计算能力的情况下，将K路分析路数对应的计算模块确定为处理待处理数据的设备，以利用计算模块处理待处理数据，得到目标数据。
可选地，在本实施例中，CPU计算当前待处理数据所需要的计算能力，如果计算能力过剩，则配置出过剩的计算模块，来做智能压缩，提高存储模块的存储性能。
在一个示例性实施例中，通过K路分析路数分析待处理数据，得到目标数据，包括：
S1，将K路分析路数对应的计算模块确定为处理待处理数据的设备，以利用计算模块压缩待处理数据，得到目标数据。
可选地，在本实施例中，K路分析路数对应的计算模块用于辅助存储模块进行数据存储，以提高存储模块的存储性能。
在一个示例性实施例中，将目标数据存储至N个存储模块中，包括：
S1，按照预设周期将目标数据存储至N个存储模块中。
可选地，在本实施例中，存储模块对目标数据的存储可以是在设定的周期内，例如，存储一周的视频数据。
在一个示例性实施例中，如图5所示，在本实施例中，存储模块具备录像功能，录像功能是安防产品中存储模块的核心功能，一般要求存储一定通道数量的录像不能丢失录像。
计算模块具备智能功能，智能功能即是对码流进行不同的智能分析，分析结果一般会带目标抠图和全景图，需要进行存储。
计算模块的视频压缩功能是对接入视频进行转码压缩，在保证清晰度的情况下，减小码流大小。
存储模块的存储能力存储资源固定，存储能力既存储带宽是基本稳定的。
计算模块的智能及压缩能力需要使用硬件的编解码能力，两者有竞争关系。
实际项目中要求在录像不丢失的情况下做尽量多的智能。但因为智能分析有个特点，多数智能分析会在目标流量的高峰期产生更多的事件和图片。此时存储的数据量会超过设备的整体存储能力。
综上所述，本实施例动态调整智能和压缩转码的比例的方法，在保证录像不丢失的情况下提高智能数据的存储量。当出现上一节中提到的场景时，触发动态调节功能，逐渐减少智能分析路数，用于做视频压缩存储，最终达到存储利用率最大为止。如最终调整结果为停止10路智能分析做压缩存储时，录像存储带宽变为70M/S，智能分析结果为30MB/S。相比较于原有方案，可以在保证录像不丢的情况下增加10MB/S的智能结果存储。即通过CPU对存储能力以及智能能力的提前预估，配置出存储与智能最优的组合协同工作模式，让智能卡在处理视频以及图片智能分析的主业务的同时，通过智能压缩技术，提高设备存储能力，继而提高设备整体工作性能。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据存储装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的数据存储装置的结构框图，如图6所示，该装置包括：
第一确定模块62，用于基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，N个存储模块用于存储待处理数据，M个计算模块用于处理待处理数据，N和M均是大于或等于1的自然数N个存储模块和M个计算模块设置在同一设备中；
第一调整模块64，用于基于当前存储能力和当前计算能力调整M个计算模块的数量，以使M个计算模块中的K路分析路数分析待处理数据，得到目标数据，其中，K是小于或等于M的自然数；
存储模块66，用于将目标数据存储至N个存储模块中。
在一个示例性实施例中，第一确定模块，包括：
第一确定单元，用于确定上述待处理数据需要的存储空间；
第二确定单元，用于基于上述存储空间确定上述N个存储模块的当前存储能力；
第三确定单元，用于确定上述待处理数据的属性；
第四确定单元，用于基于上述属性确定上述M个计算模块的当前计算能力。
在一个示例性实施例中，上述第一调整模块，包括：
第五确定单元，用于在上述当前存储能力未满足上述待处理数据需要的存储空间，且上述M个计算模块的计算能力大于上述待处理数据需要的计算能力的情况下，通过上述K路分析路数分析上述待处理数据，得到上述目标数据。
在一个示例性实施例中，上述第五确定单元，包括：
第一确定子单元，用于将上述K路分析路数对应的计算模块确定为处理上述待处理数据的设备，以利用上述K路分析路数对应的计算模块压缩上述待处理数据，得到上述目标数据。
在一个示例性实施例中，上述存储模块，包括：
存储单元，用于按照预设周期将上述目标数据存储至上述N个存储模块中。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据存储方法，其特征在于，包括：
基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，所述N个存储模块用于存储所述待处理数据，所述M个计算模块用于处理所述待处理数据，所述N和所述M均是大于或等于1的自然数，所述N个存储模块和所述M个计算模块设置在同一设备中；
基于所述当前存储能力和所述当前计算能力调整所述M个计算模块的分析路数，以使所述M个计算模块中的K路分析路数分析所述待处理数据，得到目标数据，其中，所述K是小于或等于所述M的自然数；
将所述目标数据存储至所述N个存储模块中。
2.根据权利要求1所述的方法，其特征在于，基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，包括：
确定所述待处理数据需要的存储空间；
基于所述存储空间确定所述N个存储模块的当前存储能力；
确定所述待处理数据的属性；
基于所述属性确定所述M个计算模块的当前计算能力。
3.根据权利要求1所述的方法，其特征在于，基于所述当前存储能力和所述当前计算能力调整所述M个计算模块，以使所述M个计算模块中的K路分析路数分析所述待处理数据，得到目标数据，包括：
在所述当前存储能力未满足所述待处理数据需要的存储空间，且所述M个计算模块的计算能力大于所述待处理数据需要的计算能力的情况下，通过所述K路分析路数分析所述待处理数据，得到所述目标数据。
4.根据权利要求3所述的方法，其特征在于，通过所述K路分析路数分析所述待处理数据，得到所述目标数据，包括：
将所述K路分析路数对应的计算模块确定为处理所述待处理数据的设备，以利用所述K路分析路数对应的计算模块压缩所述待处理数据，得到所述目标数据。
5.根据权利要求1所述的方法，其特征在于，将所述目标数据存储至所述N个存储模块中，包括：
按照预设周期将所述目标数据存储至所述N个存储模块中。
6.一种数据存储装置，其特征在于，包括：
第一确定模块，用于基于确定的待处理数据，确定N个存储模块的当前存储能力和M个计算模块的当前计算能力，其中，所述N个存储模块用于存储所述待处理数据，所述M个计算模块用于处理所述待处理数据，所述N和所述M均是大于或等于1的自然数，所述N个存储模块和所述M个计算模块设置在同一设备中；
第一调整模块，用于基于所述当前存储能力和所述当前计算能力调整所述M个计算模块的数量，以使所述M个计算模块中的K路分析路数分析所述待处理数据，得到目标数据，其中，所述K是小于或等于所述M的自然数；
存储模块，用于将所述目标数据存储至所述N个存储模块中。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202011288120.8A 2020-11-17 2020-11-17 数据存储方法及装置、存储介质、电子装置 Active CN112394882B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011288120.8A CN112394882B (zh) 2020-11-17 2020-11-17 数据存储方法及装置、存储介质、电子装置
EP21887859.3A EP4038486A4 (en) 2020-11-17 2021-10-11 DATA STORAGE AND PROCESSING SYSTEMS AND PROCEDURES
PCT/CN2021/122992 WO2022105473A1 (en) 2020-11-17 2021-10-11 Systems and methods for data storage and computing
US17/662,228 US20220261175A1 (en) 2020-11-17 2022-05-05 Systems and methods for data storage and computing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011288120.8A CN112394882B (zh) 2020-11-17 2020-11-17 数据存储方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN112394882A CN112394882A (zh) 2021-02-23
CN112394882B true CN112394882B (zh) 2022-04-19

Family

ID=74606040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011288120.8A Active CN112394882B (zh) 2020-11-17 2020-11-17 数据存储方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN112394882B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4038486A4 (en) * 2020-11-17 2023-02-22 Zhejiang Dahua Technology Co., Ltd DATA STORAGE AND PROCESSING SYSTEMS AND PROCEDURES

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014003248A1 (ko) * 2012-10-11 2014-01-03 주식회사 리얼타임테크 공간 데이터 압축 장치 및 그 방법과, 압축된 공간 데이터 복원 장치 및 그 방법
CN104461396A (zh) * 2014-12-22 2015-03-25 浪潮电子信息产业股份有限公司 一种基于融合架构的分布式存储扩展架构
CN109683827A (zh) * 2018-12-26 2019-04-26 上海与德通讯技术有限公司 一种数据存储方法、装置、行车记录仪和存储介质
CN110837343A (zh) * 2019-09-27 2020-02-25 华为技术有限公司 处理快照的方法、装置及终端
US10635336B1 (en) * 2016-12-16 2020-04-28 Amazon Technologies, Inc. Cache-based partition allocation
CN111127293A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
CN111831452A (zh) * 2020-07-22 2020-10-27 浙江大华技术股份有限公司 任务执行方法、装置、存储介质及电子装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159610B (zh) * 2015-09-01 2018-03-09 浪潮(北京)电子信息产业有限公司 大规模数据处理系统及方法
CN109787638B (zh) * 2019-01-10 2023-03-31 杭州幻方科技有限公司 一种数据压缩存储处理装置及方法
CN111443870B (zh) * 2020-03-26 2021-08-03 腾讯科技（深圳）有限公司 一种数据处理的方法、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014003248A1 (ko) * 2012-10-11 2014-01-03 주식회사 리얼타임테크 공간 데이터 압축 장치 및 그 방법과, 압축된 공간 데이터 복원 장치 및 그 방법
CN104461396A (zh) * 2014-12-22 2015-03-25 浪潮电子信息产业股份有限公司 一种基于融合架构的分布式存储扩展架构
US10635336B1 (en) * 2016-12-16 2020-04-28 Amazon Technologies, Inc. Cache-based partition allocation
CN111127293A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
CN109683827A (zh) * 2018-12-26 2019-04-26 上海与德通讯技术有限公司 一种数据存储方法、装置、行车记录仪和存储介质
CN110837343A (zh) * 2019-09-27 2020-02-25 华为技术有限公司 处理快照的方法、装置及终端
CN111831452A (zh) * 2020-07-22 2020-10-27 浙江大华技术股份有限公司 任务执行方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN112394882A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN109617829B (zh) 一种业务请求数据的处理方法、装置及系统
US11991091B2 (en) Network resource pre-allocation method, device, and system, and medium
CN111324533B (zh) A/b测试方法、装置及电子设备
CN113891175B (zh) 直播推流方法、装置及系统
CN112394882B (zh) 数据存储方法及装置、存储介质、电子装置
CN111680016A (zh) 分布式服务器集群日志数据处理方法、装置及系统
US12009982B2 (en) Network slice allocation method, terminal and storage medium
CN111585815B (zh) 一种端口数据采集方法及装置
CN111372027A (zh) 视频文件的存储方法及装置、存储介质、电子装置
Powers et al. AXaaS (acceleration as a service): Can the telecom service provider rent a cloudlet?
CN110996137B (zh) 一种视频处理方法及装置
CN115696441A (zh) 话单处理方法、装置、设备及存储介质
CN109670932A (zh) 信贷数据核算方法、装置、系统和计算机存储介质
CN113099270B (zh) 文件存储方法及解码方法、装置、存储介质、电子装置
CN111917511B (zh) 一种数据的接收方法
CN112637800B (zh) 用户识别卡切换方法及装置、系统、智能终端
CN115037968A (zh) 视频的播放方法、装置、存储介质及电子装置
CN111510715B (zh) 视频处理方法、系统、计算机设备及存储介质
CN117014924A (zh) 一种业务容量负荷参数的上报方法及装置
CN116541153B (zh) 边缘计算的任务调度方法、系统、可读存储介质及计算机
CN112307338A (zh) 运价搜索系统的流量控制方法、装置、设备和存储介质
CN112333540B (zh) 视频加密长度的确定方法及装置
Gharsallaoui et al. A novel adaptive streaming approach for cloud-based mobile video games
CN111158707A (zh) 一种边缘计算环境下的卸载方法和装置
CN114281540A (zh) 业务的执行方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant