CN105468642A - 数据的存储方法及装置 - Google Patents

Abstract

本发明公开了一种数据的存储方法及装置，在上述方法中，将预设存储器件划分为第一存储区域和第二存储区域，其中，第一存储区域用于存储数据文件的索引，第二存储区域用于存储数据文件，数据文件是将待存储数据按照文件的形式进行存储；将第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；按照待存储数据生成的先后顺序依次存储至N个存储空间。根据本发明提供的技术方案，实现了对大容量数据的存储方式简便、易行，并且能够有效地提高数据搜索效率。

Description

数据的存储方法及装置

技术领域

本发明涉及数据存储领域，具体而言，涉及一种数据的存储方法及装置。

背景技术

目前，现有实现大容量数据的搜索方式通常是基于数据库或者较为复杂的算法，实现时占用的FLASH以及内存资源大，其并不适用于单片机这种资源受限的使用环境。

相关技术中通常使用的大容量数据的搜索方式主要包括以下四种：

方案一、面向海量数据检索的多级桶哈希索引方法，其主要包括：(1)提供桶映射表，用于减小哈希索引文件在磁盘上的占用空间；(2)哈希索引采用了多级桶，磁盘块的大小是扇区大小的整数倍，每个磁盘块有一个或多个基本桶，可以有块内溢出桶，具有全局溢出桶；(3)提供索引文件的数据缓存结构，提供了数据缓存映射表，数据缓存的管理使用缓存映射表上的双向链表实现。

该方案的缺陷在于：所使用的算法过于复杂，不适合在微控制器单元(MicroControlUnit，简称为MCU，其内部集成CPU、RAM、ROM、定时器等多种外设)上使用。

方案二、提供了一种海量数据的处理方法及处理装置，该方案包括：设置一数据文件及索引文件，数据文件包括至少一个文件数据块，每个文件数据块的长度相等；索引文件与数据文件相对应，包括各数据对象在数据文件中的地址偏移；在存入数据对象时，如果游标当前指向的文件数据块的剩余空间不够存储待存储的数据对象，则在待存储的数据对象将剩余空间填满后，数据文件向系统申请一块或多块新文件数据块，并将待存储数据对象中还未存入的剩余数据存入到新文件数据块中，并在索引文件中记录新存入数据对象的地址偏移；通过将游标指向欲读取的数据对象的地址偏移来读取数据文件中存储的数据对象。

然而，该方案的缺陷在于：数据文件需要动态申请并划分。

方案三、涉及一种实时数据库检索方法及检索系统，该方案包括：建立多级索引，依据检索区间从上一级索引的节点链接至下一级索引的节点，直到链接至私有索引；从最上级索引开始检索，从与目标区间存在交集的节点开始，向下一级的索引进行检索，直到检索到私有索引的数据块。

该方案的缺陷在于：使用了数据库管理，其不适用于嵌入式系统上资源受限的场合使用。

方案四、涉及一种大数量图片的存储与检索方法，包括在硬盘上划分分区，使该分区包含一级索引，二级索引，三级索引和图片数据包；三级索引中存放的内容包括：图片数据包地址和图片在图片数据包中的偏移，图片的长度和图片的拍摄时间，该方法包括以下存储步骤：获取图片；提取图片的信息，将图片的信息匹配至一级索引；若匹配成功，通过一级索引定位到二级索引；再根据二级索引定位到三级索引；以及通过三级索引定位到图片数据包，将图片存储到图片数据包，并将图片在图片数据包中的偏移，图片的长度和图片的拍摄时间记录到三级索引，并更新该图片所属的一级索引和二级索引的最晚图片时间；以及继续获取图片。

该方案的缺陷在于：由于图片数据存在一定特性，故而此方案局限性较大，仅能适用于图片的存储及检索。

综上所述，相关技术中并没有提出简便易行的大容量数据的存储方式，即如何通过将大容量数据细分成多个存储容量较小的文件进而存入存储介质当中。

发明内容

本发明提供了一种数据的存储方法及装置，以至少解决相关技术中缺乏简便易行的大容量数据的存储方式的问题。

根据本发明的一个方面，提供了一种数据的存储方法。

根据本发明实施例的数据的存储方法包括：将预设存储器件划分为第一存储区域和第二存储区域，其中，第一存储区域用于存储数据文件的索引，第二存储区域用于存储数据文件，数据文件是将待存储数据按照文件的形式进行存储；将第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；按照待存储数据生成的先后顺序依次存储至N个存储空间。

优选地，按照待存储数据生成的先后顺序依次存储至N个存储空间包括：按照数据生成的先后顺序确定M由小到大取值，并在第M个存储空间中创建文件，其中，M为正整数且1≤M≤N-1；在确定第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下，对第M个存储空间内的文件进行存储，并在相邻的第M+1个存储空间内新建下一个文件，继续向新建的下一个文件中写入数据，直至将待存储数据全部写入N个存储空间。

优选地，按照待存储数据生成的先后顺序依次存储至N个存储空间还包括：在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息，其中，将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接；对数据类型的数量和位置信息进行记录。

优选地，按照待存储数据生成的先后顺序依次存储至N个存储空间还包括：将每个存储空间内的文件中存储的数据划分为T个数据段，其中，T为正整数；分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。

优选地，在将预设存储器件划分为第一存储区域和第二存储区域之后，还包括：在第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。

根据本发明的另一方面，提供了一种数据的存储装置。

根据本发明实施例的数据的存储装置包括：第一划分模块，用于将预设存储器件划分为第一存储区域和第二存储区域，其中，第一存储区域用于存储数据文件的索引，第二存储区域用于存储数据文件，数据文件是将待存储数据按照文件的形式进行存储；第二划分模块，用于将第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；存储模块，用于按照待存储数据生成的先后顺序依次存储至N个存储空间。

优选地，存储模块包括：创建单元，用于按照数据生成的先后顺序确定M由小到大取值，并在第M个存储空间中创建文件，其中，M为正整数且1≤M≤N-1；存储单元，用于在确定第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下，对第M个存储空间内的文件进行存储，并在相邻的第M+1个存储空间内新建下一个文件，继续向新建的下一个文件中写入数据，直至将待存储数据全部写入N个存储空间。

优选地，存储模块还包括：获取单元，用于在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息，其中，将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接；第一记录单元，用于对数据类型的数量和位置信息进行记录。

优选地，存储模块还包括：划分单元，用于将每个存储空间内的文件中存储的数据划分为T个数据段，其中，T为正整数；第二记录单元，用于分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。

优选地，上述装置还包括：记录模块，用于在第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。

通过本发明实施例，采用将预设存储器件划分为第一存储区域和第二存储区域，其中，第一存储区域用于存储数据文件的索引，第二存储区域用于存储数据文件，数据文件是将待存储数据按照文件的形式进行存储；将第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；按照待存储数据生成的先后顺序依次存储至N个存储空间，解决了相关技术中缺乏简便易行的大容量数据的存储方式的问题，进而实现了对大容量数据的存储方式简便、易行，并且能够有效地提高数据搜索效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据的存储方法的流程图；

图2是根据本发明优选实施例的在整个SD卡中文件分布的示意图；

图3是根据本发明优选实施例的索引文件结构中的段索引记录的示意图；

图4是根据本发明优选实施例的基于图2的索引文件结构的示意图；

图5是根据本发明实施例的数据的存储装置的结构框图；

图6是根据本发明优选实施例的数据的存储装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在以下描述中，除非另外指明，否则将参考由一个或多个计算机执行的动作和操作的符号表示来描述本申请的各实施例。其中，计算机包括个人计算机、服务器、移动终端等各种产品，使用了中央处理器(CPU)、单片机、数字信号处理器(DSP)等具有处理芯片的设备均可以称为计算机。由此，可以理解，有时被称为计算机执行的这类动作和操作包括计算机的处理单元对以结构化形式表示数据的电信号的操纵。这一操纵转换了数据或在计算机的存储器系统中的位置上维护它，这以本领域的技术人员都理解的方式重配置或改变了计算机的操作。维护数据的数据结构是具有数据的格式所定义的特定属性的存储器的物理位置。然而，尽管在上述上下文中描述本发明，但它并不意味着限制性的，如本领域的技术人员所理解的，后文所描述的动作和操作的各方面也可用硬件来实现。

转向附图，其中相同的参考标号指代相同的元素，本申请的原理被示为在一个合适的计算环境中实现。以下描述基于所述的本申请的实施例，并且不应认为是关于此处未明确描述的替换实施例而限制本申请。

以下实施例可以应用到计算机中，例如：应用到个人计算机(PC)中。也可以应用到目前采用了智能操作系统中的移动终端中，并且并不限于此。对于计算机或移动终端的操作系统并没有特殊要求，只要能够检测接触、确定该接触是否与预定规则相符合，以及根据该接触的属性实现相应功能即可。

图1是根据本发明实施例的数据的存储方法的流程图。如图1所示，该方法可以包括以下处理步骤：

步骤S102：将预设存储器件划分为第一存储区域和第二存储区域，其中，第一存储区域用于存储数据文件的索引，第二存储区域用于存储数据文件，数据文件是将待存储数据按照文件的形式进行存储；

步骤S104：将第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；

步骤S106：按照待存储数据生成的先后顺序依次存储至N个存储空间。

相关技术中，缺乏简便易行的大容量数据的存储方式。采用如图1所示的方法，通过在预设存储器件上划分出两个存储区域，其中一个存储区域用于存储数据文件索引，而另一个存储区域则专门用于存储数据文件，另外还可以将第二存储区域划分为N个存储空间，该N的取值可以很大，即实现将第二存储区域细分为数量庞大的多个存储空间，而每个存储空间的容量较小，然后再按照待存储数据生成的先后顺序依次存储至N个存储空间。由此解决了相关技术中缺乏简便易行的大容量数据的存储方式的问题，进而实现了对大容量数据的存储方式简便、易行，并且能够有效地提高数据搜索效率。

在优选实施过程中，上述预设存储器件可以为安全数码卡(SecureDigitalMemoryCard，简称为SD卡)，其为一种基于半导体快闪记忆器的新一代记忆设备，其被广泛地应用于便携式及嵌入式设备。

优选地，在步骤S106中，按照待存储数据生成的先后顺序依次存储至N个存储空间可以包括以下操作：

步骤S1：按照数据生成的先后顺序确定M由小到大取值，并在第M个存储空间中创建文件，其中，M为正整数且1≤M≤N-1；

步骤S2：在确定第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下，对第M个存储空间内的文件进行存储，并在相邻的第M+1个存储空间内新建下一个文件，继续向新建的下一个文件中写入数据，直至将待存储数据全部写入N个存储空间。

在优选实施例中，数据以文件的形式加以存储，文件中的数据以生成的先后顺序写入。当一个文件中存储的数据达到预设阈值时，关闭当前文件并对当前文件进行存储，然后再新建下一个文件继续存储下一个数据包，依次往复执行上述存储过程。由于是针对大小固定的数据文件，数据文件为静态划分，且每个文件大小一致，存储的数据条数也一致。因而，数据存储及检索效率较高。

优选地，在步骤S106中，按照待存储数据生成的先后顺序依次存储至N个存储空间还可以包括以下步骤：

步骤S3：在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息，其中，将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接；

步骤S4：对数据类型的数量和位置信息进行记录。

链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序来实现的。在优选实施例中，每个存储空间存储的是原始数据，在原始数据基础上可以增加4个字节用于记录下一个同类型数据包的存储位置。在优选实施过程中，可以采用链表的形式将一个文件中同种类型的数据包全部链接起来。由此在按照类型进行搜索时便可以大大提高效率。

图2是根据本发明优选实施例的在整个SD卡中文件分布的示意图。如图2所示，索引文件中存储SD卡数据文件的索引，以便于快速地搜索所需要的数据。

(1)索引文件index.bin

(2)数据文件XXX.bin

数据文件可以包括：文件数据类型记录、段索引记录以及数据。每个数据文件的起始位置存放的是文件数据类型记录。

文件数据类型记录负责记录当前文件所包含的数据各种类型的数目以及整个文件中首次存储该类型数据包的位置。假设存储的数据类型最多有MAX_TYPE_NUM种，则文件数据类型记录所占用的空间为：MAX_TYPE_NUM*8。此记录便于按照类型进行搜索。

优选地，在步骤S106中，按照待存储数据生成的先后顺序依次存储至N个存储空间还可以包括以下操作：

步骤S5：将每个存储空间内的文件中存储的数据划分为T个数据段，其中，T为正整数；

步骤S6：分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。

在优选实施例中，图3是根据本发明优选实施例的索引文件结构中的段索引记录的示意图。如图3所示，在文件数据类型记录之后存放的是段索引记录，段索引记录中存储的是该段数据的信息，其中，可以包括：该段数据的起始时间和结束时间以及当前操作数据包信息，其结构为：256(段个数)*SEGMENT_IDX_RECORD。

优选地，在步骤S102，将预设存储器件划分为第一存储区域和第二存储区域之后，还可以包括以下步骤：

步骤S7：在第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。

图4是根据本发明优选实施例的基于图2的索引文件结构的示意图。如图4所示，索引文件结构为：索引头+文件索引(文件个数avfiles)。一个文件可以分成N(例如：256)段。

文件索引头中可以包括但不限于：当前写文件信息以及校验字段。

文件索引记录中可以记录文件数据的起始时间和结束时间以及该文件中当前操作段的信息，以便在数据存储时能够快速地定位到当前数据包的存储位置。

图5是根据本发明实施例的数据的存储装置的结构框图。如图5所示，该数据的存储装置可以包括：第一划分模块10，用于将预设存储器件划分为第一存储区域和第二存储区域，其中，第一存储区域用于存储数据文件的索引，第二存储区域用于存储数据文件，数据文件是将待存储数据按照文件的形式进行存储；第二划分模块20，用于将第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；存储模块30，用于按照待存储数据生成的先后顺序依次存储至N个存储空间。

采用如图5所示的装置，解决了相关技术中缺乏简便易行的大容量数据的存储方式的问题，进而实现了对大容量数据的存储方式简便、易行，并且能够有效地提高数据搜索效率。

优选地，如图6所示，存储模块30可以包括：创建单元300，用于按照数据生成的先后顺序确定M由小到大取值，并在第M个存储空间中创建文件，其中，M为正整数且1≤M≤N-1；存储单元302，用于在确定第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下，对第M个存储空间内的文件进行存储，并在相邻的第M+1个存储空间内新建下一个文件，继续向新建的下一个文件中写入数据，直至将待存储数据全部写入N个存储空间。

优选地，如图6所示，存储模块30还可以包括：获取单元304，用于在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息，其中，将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接；第一记录单元306，用于对数据类型的数量和位置信息进行记录。

优选地，如图6所示，存储模块30还可以包括：划分单元308，用于将每个存储空间内的文件中存储的数据划分为T个数据段，其中，T为正整数；第二记录单元310，用于分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。

优选地，如图6所示，上述装置还可以包括：记录模块40，用于在第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。

从以上的描述中，可以看出，上述实施例实现了如下技术效果(需要说明的是这些效果是某些优选实施例可以达到的效果)：本发明实施例提供了一种大容量数据(亿级)在SD卡上的存储以及检索方法。特别适合于数据长度小、条数多，且处理器使用单片机(资源受限)的场合。数据可以包含时间、类型等关键字信息，在实际使用过程中需要根据关键字对SD卡中的数据进行检索。该方案以存储2亿条数据包大小为64Bytes，数据类型最多为1056种的情况来计算，SD卡读速率保证在4MB/S(读速率与分配的RAM资源有关)。该方案实现SD卡存储及搜索需要消耗的资源情况为：RAM：70K(可根据实际搜索速率要求裁剪)，FLASH：10K，适用于CPU使用单片机的场合。

此外，该方案特别适合使用数据类型较多且需要按照类型进行搜索的场合，其优势在于：提高了在亿级数据存储量的情况下按照类型进行搜索的效率。例如：整个存储空间中只在最后一个存储位置存储某个类型A的数据，而用户又需要检索类型A的数据。普通的算法在此种情况下的搜索效率较低，可能出现较长时间的数据遍历过程，而本发明实施例所提供的技术方案在此种情况下则可以极大地提高搜索效率。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据的存储方法，其特征在于，包括：

将预设存储器件划分为第一存储区域和第二存储区域，其中，所述第一存储区域用于存储数据文件的索引，所述第二存储区域用于存储所述数据文件，所述数据文件是将待存储数据按照文件的形式进行存储；

将所述第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；

按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间。

2.根据权利要求1所述的方法，其特征在于，按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间包括：

按照所述数据生成的先后顺序确定M由小到大取值，并在第M个存储空间中创建文件，其中，M为正整数且1≤M≤N-1；

在确定所述第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下，对所述第M个存储空间内的文件进行存储，并在相邻的第M+1个存储空间内新建下一个文件，继续向新建的下一个文件中写入数据，直至将所述待存储数据全部写入所述N个存储空间。

3.根据权利要求2所述的方法，其特征在于，按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间还包括：

在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息，其中，将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接；

对数据类型的数量和所述位置信息进行记录。

4.根据权利要求3所述的方法，其特征在于，按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间还包括：

将每个存储空间内的文件中存储的数据划分为T个数据段，其中，T为正整数；

分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在将所述预设存储器件划分为所述第一存储区域和所述第二存储区域之后，还包括：

在所述第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。

6.一种数据的存储装置，其特征在于，包括：

第一划分模块，用于将预设存储器件划分为第一存储区域和第二存储区域，其中，所述第一存储区域用于存储数据文件的索引，所述第二存储区域用于存储所述数据文件，所述数据文件是将待存储数据按照文件的形式进行存储；

第二划分模块，用于将所述第二存储区域划分为N个存储空间，其中，N为正整数且每个存储空间的存储容量相同；

存储模块，用于按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间。

7.根据权利要求6所述的装置，其特征在于，所述存储模块包括：

创建单元，用于按照所述数据生成的先后顺序确定M由小到大取值，并在第M个存储空间中创建文件，其中，M为正整数且1≤M≤N-1；

存储单元，用于在确定所述第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下，对所述第M个存储空间内的文件进行存储，并在相邻的第M+1个存储空间内新建下一个文件，继续向新建的下一个文件中写入数据，直至将所述待存储数据全部写入所述N个存储空间。

8.根据权利要求7所述的装置，其特征在于，所述存储模块还包括：

获取单元，用于在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息，其中，将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接；

第一记录单元，用于对数据类型的数量和所述位置信息进行记录。

9.根据权利要求8所述的装置，其特征在于，所述存储模块还包括：

划分单元，用于将每个存储空间内的文件中存储的数据划分为T个数据段，其中，T为正整数；

第二记录单元，用于分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述装置还包括：

记录模块，用于在所述第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。