CN114817146A - 一种处理数据的方法和装置 - Google Patents

Abstract

本发明公开了一种处理数据的方法和装置，涉及信息安全技术领域。该方法的一具体实施方式包括：基于待处理数据的数据位置标识从在预设的索引对象包括的索引数组中查找所述数据位置标识的索引位置，根据从所述索引位置读取所述待处理数据的存储地址，并对所述待处理数据执行所述处理操作。通过索引对象管理待处理的本地数据提高了确定数据位置以及处理数据的效率，降低了计算资源的消耗。

Description

一种处理数据的方法和装置

技术领域

本发明涉及信息安全领域，尤其涉及一种处理数据的方法和装置。

背景技术

在软件开发中，处理本地文件的读写操作是必要的部分；目前的开发工具(例如：JAVA开发工具)通常采用字符流或字节流的方法执行对本地文件的读写操作。

但是，采用字节流或字符流的方法都是利用遍历的方法定位待处理的文件，存在消耗计算资源较大、效率较低的问题。

发明内容

有鉴于此，本发明实施例提供一种处理数据的方法和装置，能够基于待处理数据的数据位置标识从在预设的索引对象包括的索引数组中查找所述数据位置标识的索引位置，根据从所述索引位置读取所述待处理数据的存储地址，并对所述待处理数据执行所述处理操作。通过索引对象管理待处理的本地数据(例如文件)提高了确定数据位置以及处理数据的效率，降低了计算资源的消耗。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理数据的方法，其特征在于，包括：响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理数据的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；从所述索引位置读取所述待处理数据的存储地址；根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

可选地，所述处理数据的方法，每一个所述数组元素具有关联的索引链表；所述索引链表包含多个链表节点，所述链表节点存放有一个存储数据的存储地址。

可选地，所述处理数据的方法，在所述获取所述待处理数据的数据位置标识之后还包括：计算所述数据位置标识的哈希值；所述在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，包括：利用所述索引数组的长度和所述哈希值，确定所述待处理数据在所述索引数组中匹配的目标数组元素。

可选地，所述处理数据的方法，所述在所述目标数组元素下查找所述待处理数据的索引位置，包括：基于所述数据位置标识，确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址。

可选地，所述处理数据的方法，每一个所述数组元素设置有数组下标，多个所述数组下标从设定值开始递增；所述确定所述待处理文件在所述索引数组中匹配的目标数组元素，包括：在所述哈希值和所述索引数组的长度之间进行取余运算；根据所述取余运算的运算结果、所述设定值以及所述数组下标的递增方式，确定所述待处理数据所属数组元素的下标值；查找对应于所述下标值的目标数组元素。

可选地，所述确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址，包括：获取所述目标数组元素关联的索引链表；

循环执行下述步骤N1至N4：

N1：从所述索引链表中，选择当前链表节点以及当前链表节点的数据位置标识；

N2：匹配所述当前链表节点的文件标识与所述待处理数据的数据位置；在匹配的结果指示所述当前链表节点的数据位置标识与所述待处理数据的数据位置标识一致的情况下，执行步骤N3；在匹配的结果指示所述链表节点的数据位置标识与所述待处理数据的数据位置标识不一致的情况下，执行步骤N4；

N3:从读取到的所述当前链表节点中读取存放的存储地址，并结束当前流程；

N4：将所述当前链表节点的未被选择过的相邻链表节点作为当前链表节点N1。

可选地，所述处理数据的方法，从所述存储地址中获取所述待处理数据，包括：在通过多个线程获取所述存储地址中的所述待处理数据的情况下，利用所述线程的读写锁，控制多个所述线程对所述待处理数据的读写权限，以使所述待处理数据同一时间只提供给一个线程。

可选地，所述控制多个所述线程对所述待处理数据的读写权限，包括：所述处理操作指示读取；在所述存储地址不具有读取锁的情况下，判断所述存储地址是否具有写入锁，如果是，确定所述线程不具读取权限；否则，确定所述线程具读取权限，并为所述存储地址设置读取锁。

可选地，所述控制多个所述线程对所述待处理数据的读写权限，包括：所述处理操作指示写入；获取所述存储地址对应的当前版本标识，将所述处理操作包含的版本标识与所述当前版本标识加以比对，在所述版本标识大于所述当前版本标识的情况下，确定线程具有写入权限。

可选地，所述处理数据的方法，所述存储数据归属于一个或多个文件存储对象，所述存储数据对应于一个或多个存储地址，每一个所述存储地址对应有一个文件管理对象，所述文件管理对象用于管理所述文件存储对象与归属于所述文件存储对象的存储数据的存储地址之间的对应关系；所述获取所述待处理数据，包括：所述文件管理对象根据所管理的对应关系，查找所述存储地址对应的文件存储对象，从所述存储地址对应文件存储对象中获取所述待处理数据。

可选地，所述处理数据的方法，进一步包括：在处理操作指示写入新增数据的情况下，为所述新增数据构建对应的新增文件管理对象；根据所述新增数据的需求空间，为所述新增数据确定目标文件存储对象，并将所述新增数据存储到所述目标文件存储对象，并确定所述新增数据的存储地址；通过所述新增文件管理对象管理所述目标文件存储对象与所述新增数据的存储地址之间的对应关系。

可选地，所述处理数据的方法，在所述为所述新增数据构建对应的新增文件管理对象之后，进一步包括：通过所述新增文件管理对象确定所述新增数据的存储空间，其中，所述新增数据的存储空间为设定倍数的所述需求空间，以容纳所述新增数据的更新数据；所述为所述新增数据确定目标文件存储对象，包括：确定剩余存储空间满足所述新增数据的存储空间的目标文件存储对象。

可选地，所述为所述新增数据确定目标文件存储对象，包括：根据所述新增数据的需求空间，从多个所述文件存储对象中查找具有所述需求空间的可用文件存储对象；在查找到的情况下，确定任一所述可用文件存储对象为所述目标文件存储对象；否则，构建新增文件存储对象，并确定所述新增文件存储对象为所述目标文件存储对象。

可选地，所述处理数据的方法，在处理操作指示更新数据的情况下，根据所述更新数据的需求空间，利用所述更新数据归属的文件管理对象判断其管理的文件存储对象的剩余空间是否满足所述更新数据的存储需求，如果是，则将所述更新数据写入所述更新数据对应的存储地址；否则，将所述更新数据作为新增数据，并执行为所述新增数据构建对应的新增文件管理对象的步骤。

为实现上述目的，根据本发明实施例的第二方面，提供了一种处理数据的装置，其特征在于，包括：获取位置模块、确定地址模块和处理数据模块；其中，

所述获取位置模块，用于响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理文件的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；

所述确定地址模块，用于从所述索引位置读取所述待处理数据的存储地址；

所述处理数据模块，用于根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

可选地，所述处理数据的装置，包括：每一个所述数组元素具有关联的索引链表；所述索引链表包含多个链表节点，所述链表节点存放有一个存储数据的存储地址。

可选地，所述处理数据的装置，在所述获取所述待处理数据的数据位置标识之后还用于：计算所述数据位置标识的哈希值；所述在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，包括：利用所述索引数组的长度和所述哈希值，确定所述待处理数据在所述索引数组中匹配的目标数组元素。

可选地，所述处理数据的装置，所述在所述目标数组元素下查找所述待处理数据的索引位置，包括：基于所述数据位置标识，确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址。

可选地，所述处理数据的装置，每一个所述数组元素设置有数组下标，多个所述数组下标从设定值开始递增；所述确定所述待处理文件在所述索引数组中匹配的目标数组元素，包括：在所述哈希值和所述索引数组的长度之间进行取余运算；根据所述取余运算的运算结果、所述设定值以及所述数组下标的递增方式，确定所述待处理数据所属数组元素的下标值；查找对应于所述下标值的目标数组元素。

可选地，所述处理数据的装置，所述确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址，用于获取所述目标数组元素关联的索引链表；

循环执行下述步骤N1至N4：

N1：从所述索引链表中，选择当前链表节点以及当前链表节点的数据位置标识；

N2：匹配所述当前链表节点的文件标识与所述待处理数据的数据位置；在匹配的结果指示所述当前链表节点的数据位置标识与所述待处理数据的数据位置标识一致的情况下，执行步骤N3；在匹配的结果指示所述链表节点的数据位置标识与所述待处理数据的数据位置标识不一致的情况下，执行步骤N4；

N3:从读取到的所述当前链表节点中读取存放的存储地址，并结束当前流程；

N4：将所述当前链表节点的未被选择过的相邻链表节点作为当前链表节点N1。

可选地，所述处理数据的装置，用于从所述存储地址中获取所述待处理数据，包括：在通过多个线程获取所述存储地址中的所述待处理数据的情况下，利用所述线程的读写锁，控制多个所述线程对所述待处理数据的读写权限，以使所述待处理数据同一时间只提供给一个线程。

可选地，所述处理数据的装置，所述控制多个所述线程对所述待处理数据的读写权限，包括：所述处理操作指示读取；在所述存储地址不具有读取锁的情况下，判断所述存储地址是否具有写入锁，如果是，确定所述线程不具读取权限；否则，确定所述线程具读取权限，并为所述存储地址设置读取锁。

可选地，所述处理数据的装置，所述控制多个所述线程对所述待处理数据的读写权限，包括：所述处理操作指示写入；获取所述存储地址对应的当前版本标识，将所述处理操作包含的版本标识与所述当前版本标识加以比对，在所述版本标识大于所述当前版本标识的情况下，确定线程具有写入权限。

可选地，所述处理数据的装置，所述存储数据归属于一个或多个文件存储对象，所述存储数据对应于一个或多个存储地址，每一个所述存储地址对应有一个文件管理对象，所述文件管理对象用于管理所述文件存储对象与归属于所述文件存储对象的存储数据的存储地址之间的对应关系；所述获取所述待处理数据，包括：所述文件管理对象根据所管理的对应关系，查找所述存储地址对应的文件存储对象，从所述存储地址对应文件存储对象中获取所述待处理数据。

可选地，所述处理数据的装置，进一步用于：在处理操作指示写入新增数据的情况下，为所述新增数据构建对应的新增文件管理对象；根据所述新增数据的需求空间，为所述新增数据确定目标文件存储对象，并将所述新增数据存储到所述目标文件存储对象，并确定所述新增数据的存储地址；通过所述新增文件管理对象管理所述目标文件存储对象与所述新增数据的存储地址之间的对应关系。

可选地，所述处理数据的装置，在所述为所述新增数据构建对应的新增文件管理对象之后，进一步用于：通过所述新增文件管理对象确定所述新增数据的存储空间，其中，所述新增数据的存储空间为设定倍数的所述需求空间，以容纳所述新增数据的更新数据；所述为所述新增数据确定目标文件存储对象，包括：确定剩余存储空间满足所述新增数据的存储空间的目标文件存储对象。

可选地，所述处理数据的装置，所述为所述新增数据确定目标文件存储对象，包括：根据所述新增数据的需求空间，从多个所述文件存储对象中查找具有所述需求空间的可用文件存储对象；在查找到的情况下，确定任一所述可用文件存储对象为所述目标文件存储对象；否则，构建新增文件存储对象，并确定所述新增文件存储对象为所述目标文件存储对象。

可选地，所述处理数据的装置，用于在处理操作指示更新数据的情况下，根据所述更新数据的需求空间，利用所述更新数据归属的文件管理对象判断其管理的文件存储对象的剩余空间是否满足所述更新数据的存储需求，如果是，则将所述更新数据写入所述更新数据对应的存储地址；否则，将所述更新数据作为新增数据，并执行为所述新增数据构建对应的新增文件管理对象的步骤。

为实现上述目的，根据本发明实施例的第三方面，提供了一种处理数据的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述处理数据的方法中任一所述的方法。

为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述处理数据的方法中任一所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：能够基于待处理数据的数据位置标识从在预设的索引对象包括的索引数组中查找所述数据位置标识的索引位置，根据从所述索引位置读取所述待处理数据的存储地址并对所述待处理数据执行所述处理操作。通过索引对象管理待处理的本地数据(例如文件)提高了确定数据位置以及处理数据的效率，降低了计算资源的消耗。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明一个实施例提供的一种处理数据的方法的流程示意图；

图2是本发明一个实施例提供的一种索引对象的结构示意图；

图3是本发明另一个实施例提供的一种处理数据的方法示意图；

图4是本发明一个实施例提供的一种处理数据的装置的结构示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，利用JAVA工具处理文件的方法有两种：字符流和字节流；其中，关于字符流，写入文件的方法主要源于字符流Writer和输出字节流OutputStream的子类，可以构建FileWriter对象调用write方法就可以写入相关数据到文件；或者利用具有缓冲区的BufferedWriter写入文件；或者利用PrintWriter执行文件写入操作；但是PrintWriter或者BufferedWriter均依赖于FileWriter类来完成调用。关于字节流，利用字节流写入的方法分为直接写入、或者带有缓冲区进行写入。

另一方面针对文件数据的读取操作，通常利用输入流，例如InputStream利用读取文件内容，利用BufferedInputStream带有缓冲区读取文件，以及随机读取文件RandomAccessFile、通过磁盘映射读取文件MappedByteBuffer等。

由此可见，利用现有的处理文件的方法无法精确的定位到数据，由于需要遍历操作从而造成定位文件效率较低的问题。

鉴于此，如图1所示，本发明实施例提供了一种处理数据的方法，该方法可以包括以下步骤：

步骤S101：响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理数据的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据。

具体地，待处理数据为本地存储的数据，其中，待处理数据可以存在于一个或多个文件中；处理操作可以对待处理数据的读取和写入等操作；进一步地，响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；其中数据位置标识为定位或确定待处理数据的唯一标识，例如：当待处理数据所归属的文件标识；或者利用设定规则为待处理数据确定的唯一标识。

进一步地，在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素；其中预设的索引对象包含索引数组，索引数组包含多个数据元素，以图2的示意图为例，索引数组201包含数据元素0、数据元素1、数组元素2…数组元素N；由于所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；因此基于索引数组的多个数组元素查找匹配于数据位置标识的目标数组元素，并在所述目标数组元素下查找所述待处理数据的索引位置，以通过索引位置读取待处理数据的存储地址。

进一步地，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；其中，存储数据包括各个本地数据的存储地址、数据唯一标识(数据位置标识)、数据版本信息等。

具体地，分类管理存储数据有两种方法：

第一种方法为：利用索引数组的各个数组元素分别管理(即分类管理)对应的存储数据。

第二种方法为：利用数组元素关联的链表进行分类管理，例如利用数组中的不同元素进行分类管理对应的链表；如图2所示，数组元素0关联的链表202；链表202包含链表节点0、链表节点1…链表节点N；每个链表节点用于管理存储数据；即，每一个所述数组元素具有关联的索引链表；所述索引链表包含多个链表节点，所述链表节点存放有一个存储数据的存储地址。

进一步地，索引对象可以为具有MAP数据结构的索引文件，例如meta.db.map；在索引对象对应的索引文件不存在的情况下，通过遍历本地存储的数据(文件)构建索引对象管理的存储数据。在后续的处理数据过程中，可以将索引对象对应的索引文件加载到内存中，由于克服了现有技术中通过遍历文件定位文件导致的效率低的问题，较大程度地提高了定位待处理数据的效率。

进一步地，确定待处理数据的数据位置标识所归属的索引数组中的目标数组元素的方法为：计算所述数据位置标识的哈希值；利用所述索引数组的长度和所述哈希值，确定所述待处理数据在所述索引数组中匹配的目标数组元素；即，在所述获取所述待处理数据的数据位置标识之后还包括：计算所述数据位置标识的哈希值；所述在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，包括：利用所述索引数组的长度和所述哈希值，确定所述待处理数据在所述索引数组中匹配的目标数组元素。

进一步地，利用所述索引数组的长度和所述哈希值，确定所述待处理数据在所述索引数组中匹配的目标数组元素的方法包括：每一个所述数组元素设置有数组下标，多个所述数组下标从设定值开始递增；所述确定所述待处理文件在所述索引数组中匹配的目标数组元素，包括：在所述哈希值和所述索引数组的长度之间进行取余运算；根据所述取余运算的运算结果、所述设定值以及所述数组下标的递增方式，确定所述待处理数据所属数组元素的下标值；查找对应于所述下标值的目标数组元素。其中，仍以图2的示意图为例，数组元素设置有数组下标，例如：数组元素0的数组下标为0、数组元素1的数组下标为1、数组元素2的数组下标为2…数组元素N的数组下标为N，并且，多个所述数组下标从设定值开始递增；在图2的示例种，数组下标从设定值0开始递增；可以理解的是，数组下标的设定值可以为非0的任意整数。

示例性的，待处理数据的数据位置标识为abc；计算“abc”的哈希值得到哈希值1，获取索引数组A的长度(例如为256),索引数组A表示为A[255]，包含A[0]、A[1]、…A[255]；其中，A[0]为数组元素，0表示该数组元素的下标值；进一步地，将哈希值1作为被除数，索引数组的长度作为除数，进行取余运算，即，在所述哈希值和所述索引数组的长度之间进行取余运算；假设取余运算的运算结果为1，在设定值为0的情况下，确定与数据位置标识“abc”关联的数组元素的下标值为1，则查找对应于所述下标值的目标数组元素为A[1]；可以理解的是，若设定值为非0的情况下，可以通过基于设定值对下标值进行偏移计算，以得到待处理数据所属的目标数组元素。

进一步地，在确定出目标数组元素之后，在所述目标数组元素下查找所述待处理数据的索引位置；具体地，基于所述数据位置标识，确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址。具体地，以图2的示意图为例，如果为待处理数据确定的目标数组元素为数据元素0，则进一步从数据元素0关联的索引链表202中的链表节点中确定数据位置标识“abc”匹配的目标链表节点，以从目标链表节点中读取待处理数据的存储地址。

进一步地，所述确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址，包括：

获取所述目标数组元素关联的索引链表；循环执行下述步骤N1至N4：

N1：从所述索引链表中，选择当前链表节点以及当前链表节点的数据位置标识；

N2：匹配所述当前链表节点的文件标识与所述待处理数据的数据位置；在匹配的结果指示所述当前链表节点的数据位置标识与所述待处理数据的数据位置标识一致的情况下，执行步骤N3；在匹配的结果指示所述链表节点的数据位置标识与所述待处理数据的数据位置标识不一致的情况下，执行步骤N4；

N3:从读取到的所述当前链表节点中读取存放的存储地址，并结束当前流程；

N4：将所述当前链表节点的未被选择过的相邻链表节点作为当前链表节点N1。

通过步骤N1-N4的方法可以从目标数组元素关联的索引链表中的初始链表节点(例如：图2所示的链表节点0)开始依次匹配，在匹配的结果指示所述当前链表节点的数据位置标识与所述待处理数据的数据位置标识一致的情况下，结束循环，即为待处理数据查找到了匹配的存储地址。

优选地，在首次构建索引对象的情况下，可以首先确定索引对象包含的一个或多个索引数组，包括确定索引数组的长度、以及各个数组元素的下标值；将各个待管理数据作为新增数据，执行如下操作：为新增数据的数据位置标识计算对应的哈希值；并为新增数据的哈希值对索引数组的长度之间进行取余运算；根据所述取余运算的运算结果、设定值以及所述数组下标的递增方式，确定所述待处理数据所属数组元素的下标值；查找对应于所述下标值的目标数组元素；在确定目标数组元素之后，将新增数据的存储数据(包括存储地址、数据位置标识、版本信息等)存入该目标数组元素关联的索引链表的尾端；在针对各个新增数据完成本操作之后，完成构建索引对象的操作。

步骤S102：从所述索引位置读取所述待处理数据的存储地址。

具体地，关于确定待处理数据索引位置的描述与步骤S101的描述一致，在此不再赘述。存储地址指示了可以定位到待处理数据的位置信息，存储地址可以指示待处理数据的第一个数据(例如字符)的位置，从而定位到待处理数据的存储位置，以进一步执行对待处理文件的读写操作。

步骤S103：根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

具体地，在根据所述存储地址获取所述待处理数据时，可以利用线程读写锁管理获取所述待处理数据的读写权限。即，从所述存储地址中获取所述待处理数据，包括：在通过多个线程获取所述存储地址中的所述待处理数据的情况下，利用所述线程的读写锁，控制多个所述线程对所述待处理数据的读写权限，以使所述待处理数据同一时间只提供给一个线程。

进一步地，所述控制多个所述线程对所述待处理数据的读写权限，包括：所述处理操作指示读取；在所述存储地址不具有读取锁的情况下，判断所述存储地址是否具有写入锁，如果是，确定所述线程不具读取权限；否则，确定所述线程具读取权限，并为所述存储地址设置读取锁。具体地，可以利用JAVA的并发工具包提供的读写锁ReentrantReadWriteLock控制读写权限，在处理操作指示读取的情况下，判断所述存储地址是否具有写入锁，其中，写入锁的操作方可以为除处理读取操作的其他线程，如果存在写入锁，则确定该线程不具读取权限，否则判断该线程是否获得读取锁(即共享锁)，从而进一步确定所述线程具读取权限。

进一步地，所述控制多个所述线程对所述待处理数据的读写权限，包括：所述处理操作指示写入；获取所述存储地址对应的当前版本标识，将所述处理操作包含的版本标识与所述当前版本标识加以比对，在所述版本标识大于所述当前版本标识的情况下，确定线程具有写入权限。具体地，读写锁ReentrantReadWriteLock包括写入锁(即排他锁)，在待处理数据的处理操作指示写入的情况下，判断处理线程是否具有获取写入的权限(即判断是否获得写入锁)，判断的方法为：获取所述存储地址对应的当前版本标识，将所述处理操作包含的版本标识与所述当前版本标识加以比对，在所述版本标识大于所述当前版本标识的情况下，确定线程具有写入权限；其中，在原始待处理数据首次存入存储地址时，版本标识可以设置为0，例如表示为versionnumber：0，在后续对待处理数据进行多种类型的更新时，对版本标识的值进行递增处理；例如：当前处理操作为写入(即更新)所包含的版本标识为1,6；获取到的所述存储地址对应的当前版本标识为15，即，在所述版本标识大于所述当前版本标识的情况下，确定线程具有写入权限。由此可见，通过对线程访问存储地址的操作进行读写锁的控制，提高了数据操作的安全性和准确性，克服了需要针对待处理数据(例如文件)加锁带来的并发性较低、效率较低的问题。

如图3所示，本发明实施例提供了另一种处理数据的方法，该方法可以包括以下步骤：

步骤S301：存储数据归属于一个或多个文件存储对象，所述存储数据对应于一个或多个存储地址，每一个所述存储地址对应有一个文件管理对象，所述文件管理对象用于管理所述文件存储对象与归属于所述文件存储对象的存储数据的存储地址之间的对应关系。

具体地，利用多个管理对象实施本发明的方法，利用文件存储对象(SlaveDataStoreFile)保存存储数据；利用文件管理对象(FileBaseContentStoreSlave)管理存储数据对应于一个或多个存储地址，并管理所述文件管理对象用于管理所述文件存储对象与归属于所述文件存储对象的存储数据的存储地址之间的对应关系；关于确定待处理数据的存储地址的方法与步骤S101的描述一致，在此不再赘述。

步骤S302：所述获取所述待处理数据，包括：所述文件管理对象根据所管理的对应关系，查找所述存储地址对应的文件存储对象，从所述存储地址对应文件存储对象中获取所述待处理数据。

步骤S303：根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

具体地，可以利用将本发明的方法封装为FileStore接口，其中FileStore包含BinaryFileStore列表，BinaryFileStore指示索引文件以及索引文件关联的存储数据，包括：FileBaseContentStoreSlave、SlaveDataStoreFile等对象。利用文件管理对象FileBaseContentStoreSlave确定存储地址关联的文件存储对象SlaveDataStoreFile，并进一步根据处理操作处理对象，其中，索引对象可以具有对应的索引文件例如为meta.db.map，FileBaseContentStoreSlave对应的管理文件，例如为slaves.management；一个SlaveDataStoreFile对应的各个文件例如slave.data。

在处理操作指示写入新增数据的情况下，为所述新增数据构建对应的新增文件管理对象；根据所述新增数据的需求空间，为所述新增数据确定目标文件存储对象，并将所述新增数据存储到所述目标文件存储对象，并确定所述新增数据的存储地址；通过所述新增文件管理对象管理所述目标文件存储对象与所述新增数据的存储地址之间的对应关系。具体地，在新增数据的情况下，为新增对象构建对应的新增文件管理对象，例如FileBaseContentStoreSlave1，进一步确定新增数据的需求空间，例如：10M，从多个SlaveDataStoreFile中确定与新增数据的需求空间匹配的目标文件存储对象SlaveDataStoreFile1，在所述新增数据存储到所述目标文件存储对象后，并确定所述新增数据的存储地址；并把新增数据的存储地址存储到索引对象中对应的索引位置；具体地，确定索引位置的方法可以为：为新增数据的哈希值对索引数组的长度之间进行取余运算；根据所述取余运算的运算结果、设定值以及所述数组下标的递增方式，确定新增数据所属数组元素的下标值；查找对应于所述下标值的目标数组元素；在确定目标数组元素之后，将新增数据的存储数据(包括存储地址、数据位置标识、版本信息等)存入该目标数组元素关联的索引链表的尾端。进一步地通过所述新增文件管理对象管理所述目标文件存储对象(SlaveDataStoreFile1)与所述新增数据的存储地址之间的对应关系。

进一步地，在所述为所述新增数据构建对应的新增文件管理对象之后，进一步包括：通过所述新增文件管理对象确定所述新增数据的存储空间，其中，所述新增数据的存储空间为设定倍数的所述需求空间，以容纳所述新增数据的更新数据；所述为所述新增数据确定目标文件存储对象，包括：确定剩余存储空间满足所述新增数据的存储空间的目标文件存储对象。具体地，可以通过新增文件管理对象(例如FileBaseContentStoreSlave1)为新增数据申请存储空间，例如新增数据的需求空间为10M，新增文件管理对象可以申请20M，即新增数据的存储空间为设定倍数的所述需求空间；在本例中，设定倍数设置为2；以容纳所述新增数据的更新数据；通过为新增数据申请额外的存储空间，使得新增数据在后续更新中增加数据大小的情况下，可以直接更新而无需申请新的存储空间，提高了处理数据的效率，节省了计算资源。

进一步地，具体地，所述为所述新增数据确定目标文件存储对象，包括：根据所述新增数据的需求空间，从多个所述文件存储对象中查找具有所述需求空间的可用文件存储对象，在查找到的情况下，确定任一所述可用文件存储对象为所述目标文件存储对象；否则，构建新增文件存储对象，并确定所述新增文件存储对象为所述目标文件存储对象。例如：从多个SlaveDataStoreFile总查找具有所述需求空间的可用文件存储对象；其中，所述需求空间可以为新增数据的大小、或者新增数据的设定倍数的大小；如果查找到可用文件存储对象例如SlaveDataStoreFile2，则利用SlaveDataStoreFile2存储新增数据，且SlaveDataStoreFile2为目标文件存储对象，否则构建新增文件存储对象例如：SlaveDataStoreFileX，确定所述新增文件存储对象为所述目标文件存储对象，以存储新增数据；特别的，文件存储对象可以具有设定尺寸的存储容量，例如：设定尺寸可以设置为32M、64M、128M等。

优选地，还可以利用FileBaseContentStoreMaster对象通过FileBaseContentStoreSlave具有的编号管理各个FileBaseContentStoreSlave，FileBaseContentStoreMaster可以回收存储空间，在任意FileBaseContentStoreSlave管理的存储数据标记为删除的情况下，利用FileBaseContentStoreMaster将FileBaseContentStoreSlave和其管理的存储数据将加入已删除FileBaseContentStoreSlave列表，该列表按照可存储空间从大到小排序，在存在需要为待处理数据申请新增文件管理对象FileBaseContentStoreSlave的情况下，利用FileBaseContentStoreMaster从该列表获取匹配于存储空间的文件存储对象对应的FileBaseContentStoreSlave。当某个存储数据文件对应的各个FileBaseContentStoreSlave都被删除之后，该数据(例如文件)和对应的FileBaseContentStoreSlave被从系统中删除，从而节省内存和磁盘存储空间。

在处理操作指示更新数据的情况下，根据所述更新数据的需求空间，利用所述更新数据归属的文件管理对象判断其管理的文件存储对象的剩余空间是否满足所述更新数据的存储需求，如果是，则将所述更新数据写入所述更新数据对应的存储地址；否则，将所述更新数据作为新增数据，并执行为所述新增数据构建对应的新增文件管理对象的步骤。具体地，在处理待处理数据的处理操作指示更新数据的情况下，获取更新数据的需求空间，利用所述更新数据归属的文件管理对象(例如FileBaseContentStoreSlave6)判断其管理的文件存储对象(SlaveDataStoreFile5)的剩余空间是否满足所述更新数据的存储需求；如果满足，则将基于更新数据对应的存储地址，直接执行更新数据的操作，否则在文件存储对象(SlaveDataStoreFile5)的剩余空间不满足所述更新数据的存储需求的情况下，将更新数据作为新增数据执行处理新增数据的步骤。同时对已经存在的更新数据、以及对应的存储地址进行删除处理。

如图4所示，本发明实施例提供了一种处理数据的装置400，包括：获取位置模块401、确定地址模块402和处理数据模块403；其中，

所述获取位置模块401，用于响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理文件的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；

所述确定地址模块402，用于从所述索引位置读取所述待处理数据的存储地址；

所述处理数据模块403，用于根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作

本发明实施例还提供了一种处理数据的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。

图5示出了可以应用本发明实施例的处理数据的方法或处理数据的装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用，例如电子商城客户端应用、网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。

终端设备501、502、503可以是具有显示屏并且支持各种客户端应用的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所使用的客户端应用提供支持的后台管理服务器。后台管理服务器可以对接收到处理数据的请求进行处理，执行处理数据的操作，并将处理结果信息反馈给终端设备。

需要说明的是，本发明实施例所提供的处理数据的方法一般由服务器505、或者平板电脑、膝上型便携计算机和台式计算机等执行，相应地，处理数据的装置一般设置于服务器505、或者平板电脑、膝上型便携计算机和台式计算机等中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取位置模块、确定地址模块和处理数据模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，处理数据模块还可以被描述为“根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理数据的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；从所述索引位置读取所述待处理数据的存储地址；根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

本发明的实施例，能够基于待处理数据的数据位置标识从在预设的索引对象包括的索引数组中查找所述数据位置标识的索引位置，根据从所述索引位置读取所述待处理数据的存储地址；对所述待处理数据执行所述处理操作。通过索引对象管理待处理的本地数据(例如文件)提高了确定数据位置以及处理数据的效率，降低了计算资源的消耗。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (17)

1.一种处理数据的方法，其特征在于，包括：

响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；

在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理数据的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；

从所述索引位置读取所述待处理数据的存储地址；

根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

2.根据权利要求1所述的方法，其特征在于，

每一个所述数组元素具有关联的索引链表；

所述索引链表包含多个链表节点，所述链表节点存放有一个存储数据的存储地址。

3.根据权利要求1所述的方法，其特征在于，

在所述获取所述待处理数据的数据位置标识之后还包括：计算所述数据位置标识的哈希值；

所述在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，包括：

利用所述索引数组的长度和所述哈希值，确定所述待处理数据在所述索引数组中匹配的目标数组元素。

4.根据权利要求2所述的方法，其特征在于，

所述在所述目标数组元素下查找所述待处理数据的索引位置，包括：

基于所述数据位置标识，确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址。

5.根据权利要求3所述的方法，其特征在于，

每一个所述数组元素设置有数组下标，多个所述数组下标从设定值开始递增；

所述确定所述待处理文件在所述索引数组中匹配的目标数组元素，包括：

在所述哈希值和所述索引数组的长度之间进行取余运算；

根据所述取余运算的运算结果、所述设定值以及所述数组下标的递增方式，确定所述待处理数据所属数组元素的下标值；

查找对应于所述下标值的目标数组元素。

6.根据权利要求4所述的方法，其特征在于，

所述确定所述目标数组元素关联的索引链表中匹配的目标链表节点，读取所述目标链表节点存放的存储地址，包括：

获取所述目标数组元素关联的索引链表；

循环执行下述步骤N1至N4：

N1：从所述索引链表中，选择当前链表节点以及当前链表节点的数据位置标识；

N2：匹配所述当前链表节点的文件标识与所述待处理数据的数据位置；在匹配的结果指示所述当前链表节点的数据位置标识与所述待处理数据的数据位置标识一致的情况下，执行步骤N3；在匹配的结果指示所述链表节点的数据位置标识与所述待处理数据的数据位置标识不一致的情况下，执行步骤N4；

N3:从读取到的所述当前链表节点中读取存放的存储地址，并结束当前流程；

N4：将所述当前链表节点的未被选择过的相邻链表节点作为当前链表节点N1。

7.根据权利要求1所述的方法，其特征在于，

从所述存储地址中获取所述待处理数据，包括：

在通过多个线程获取所述存储地址中的所述待处理数据的情况下，利用所述线程的读写锁，控制多个所述线程对所述待处理数据的读写权限，以使所述待处理数据同一时间只提供给一个线程。

8.根据权利要求7所述的方法，其特征在于，

所述控制多个所述线程对所述待处理数据的读写权限，包括：

所述处理操作指示读取；

在所述存储地址不具有读取锁的情况下，判断所述存储地址是否具有写入锁，如果是，确定所述线程不具读取权限；否则，确定所述线程具读取权限，并为所述存储地址设置读取锁。

9.根据权利要求7所述的方法，其特征在于，

所述控制多个所述线程对所述待处理数据的读写权限，包括：

所述处理操作指示写入；

获取所述存储地址对应的当前版本标识，将所述处理操作包含的版本标识与所述当前版本标识加以比对，在所述版本标识大于所述当前版本标识的情况下，确定线程具有写入权限。

10.根据权利要求1所述的方法，其特征在于，

所述存储数据归属于一个或多个文件存储对象，所述存储数据对应于一个或多个存储地址，每一个所述存储地址对应有一个文件管理对象，所述文件管理对象用于管理所述文件存储对象与归属于所述文件存储对象的存储数据的存储地址之间的对应关系；

所述获取所述待处理数据，包括：

所述文件管理对象根据所管理的对应关系，查找所述存储地址对应的文件存储对象，从所述存储地址对应文件存储对象中获取所述待处理数据。

11.根据权利要求10所述的方法，其特征在于，进一步包括：

在处理操作指示写入新增数据的情况下，为所述新增数据构建对应的新增文件管理对象；

根据所述新增数据的需求空间，为所述新增数据确定目标文件存储对象，并将所述新增数据存储到所述目标文件存储对象，并确定所述新增数据的存储地址；

通过所述新增文件管理对象管理所述目标文件存储对象与所述新增数据的存储地址之间的对应关系。

12.根据权利要求11所述的方法，其特征在于，在所述为所述新增数据构建对应的新增文件管理对象之后，进一步包括：

通过所述新增文件管理对象确定所述新增数据的存储空间，其中，所述新增数据的存储空间为设定倍数的所述需求空间，以容纳所述新增数据的更新数据；

所述为所述新增数据确定目标文件存储对象，包括：

确定剩余存储空间满足所述新增数据的存储空间的目标文件存储对象。

13.根据权利要求12所述的方法，其特征在于，所述为所述新增数据确定目标文件存储对象，包括：

根据所述新增数据的需求空间，从多个所述文件存储对象中查找具有所述需求空间的可用文件存储对象；

在查找到的情况下，确定任一所述可用文件存储对象为所述目标文件存储对象；

否则，构建新增文件存储对象，并确定所述新增文件存储对象为所述目标文件存储对象。

14.根据权利要求10所述的方法，其特征在于，

在处理操作指示更新数据的情况下，根据所述更新数据的需求空间，利用所述更新数据归属的文件管理对象判断其管理的文件存储对象的剩余空间是否满足所述更新数据的存储需求，如果是，则将所述更新数据写入所述更新数据对应的存储地址；否则，将所述更新数据作为新增数据，并执行为所述新增数据构建对应的新增文件管理对象的步骤。

15.一种处理数据的装置，其特征在于，包括：获取位置模块、确定地址模块和处理数据模块；其中，

所述获取位置模块，用于响应于待处理数据的处理操作，获取所述待处理数据的数据位置标识；在预设的索引对象包括的索引数组中查找所述数据位置标识所属目标数组元素，并在所述目标数组元素下查找所述待处理文件的索引位置，其中，所述索引对象通过所述索引数组的多个数组元素分类管理存储数据；

所述确定地址模块，用于从所述索引位置读取所述待处理数据的存储地址；

所述处理数据模块，用于根据所述存储地址，获取所述待处理数据，对所述待处理数据执行所述处理操作。

16.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14中任一所述的方法。

17.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-14中任一所述的方法。

Images