CN111858586A - 一种数据处理的方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：能够处理包括多个索引键值的数据明细，并基于任意索引键值查找数据明细的内存地址，从而实现了利用不同的索引键值查询同一条数据明细，提高了数据查询的效率，并且利用多个索引键值的哈希表存储数据明细的内存地址而不是存储数据明细本身，减少了内存的占用；在对哈希表执行数据处理操作时，利用子哈希表锁以及对应的待处理队列，克服了需要利用多线程调度而带来的数据处理复杂度高的问题。

Description

一种数据处理的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和装置。

背景技术

随着信息技术的快速发展，应用系统中对数据存储和查询的性能要求越来越高，对基于内存数据的存储或查询也提出了更高的要求，目前内存数据的存储方式通常采用键值对的数据结构，即一个键值对应一个数据的存储结构，同时内存数据往往用于多线程模式的应用系统中。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在实际应用场景中，存在需要利用不同的键值查询一个包含多个键值的内存数据的业务需求，而通过现有的一个键值对应一个数据的结构，无法利用不同键值查询同一个内存数据，并直接获取其他键值对应的数据，同时利用多个键值对的存储方法增加了内存资源的消耗；并且在多线程模式的应用系统中，还需要调度对于存储和查询内存数据相关的线程，增加了数据处理的复杂度。

发明内容

有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够处理包括多个索引键值的数据明细，并基于任意索引键值查找数据明细的内存地址，从而实现了利用不同的索引键值查询同一条数据明细，提高了数据查询的效率，并且利用多个索引键值的哈希表存储数据明细的内存地址而不是存储数据明细本身，减少了内存的占用；在对哈希表执行数据处理操作时，利用子哈希表锁以及对应的待处理队列，克服了需要利用多线程调度而带来的数据处理复杂度高的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，其特征在于，包括：待处理的数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

可选地，所述数据处理的方法，其特征在于，

根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：

根据所述索引取值的哈希值的预定义部分的数值，确定所述元素位置所归属的所述子哈希表；

可选地，所述数据处理的方法，其特征在于，

根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：

根据所述索引取值的哈希值的位数，计算所述哈希值除去所述预定义部分后的剩余部分，以所述第二数量对所述剩余部分取模所得的余数，确定所述索引取值的哈希值对应的所述哈希链的元素位置。

可选地，所述数据处理的方法，其特征在于，

所述子哈希表设置对应的子哈希表锁，以及对应于所述子哈希表锁的数据待处理队列。

可选地，所述数据处理的方法，其特征在于，

当所述数据读写指令为存储时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，将所述数据明细的内存地址存储于所述元素位置，并将所述内存地址所指向的数据明细的引用计数加一；

当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据存储指令保存于所述待处理数据队列中。

可选地，所述数据处理的方法，其特征在于，

当所述数据读写指令为删除时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，基于所述元素位置，删除所述数据明细的内存地址，并将所述内存地址所指向的数据明细的引用计数减一；

当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据删除指令保存于所述待处理数据队列中。

可选地，所述数据处理的方法，其特征在于，

当所述数据读写指令为查询时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，获取所述待处理数据队列中待处理数据的数量，当所述数量为0时，获取所述元素位置存储的所述数据明细的内存地址，根据内存地址获取所述数据明细，将所述内存地址所指向的数据明细的引用计数加一；

当所述数量不小于1时，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作；

当对所述数据明细的数据读写指令完成后，将所述内存地址所指向的数据明细的引用计数减一。

为实现上述目的，根据本发明实施例的第二方面，提供了一种数据处理的装置，其特征在于，包括：获取索引键值以及数据模块、计算索引取值元素位置模块和执行数据读写处理模块；其中，

所述获取索引键值以及数据模块，包括待处理的数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；

所述计算索引取值元素位置模块，用于分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；

所述执行数据读写处理模块，用于接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

可选地，所述数据处理的装置，其特征在于，

根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：

根据所述索引取值的哈希值的预定义部分的数值，确定所述元素位置所归属的所述子哈希表；

可选地，所述数据处理的装置，其特征在于，

根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：

根据所述索引取值的哈希值的位数，计算所述哈希值除去所述预定义部分后的剩余部分，以所述第二数量对所述剩余部分取模所得的余数，确定所述索引取值的哈希值对应的所述哈希链的元素位置。

可选地，所述数据处理的装置，其特征在于，

所述子哈希表设置对应的子哈希表锁，以及对应于所述子哈希表锁的数据待处理队列。

可选地，所述数据处理的装置，其特征在于，

当所述数据读写指令为存储时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，将所述数据明细的内存地址存储于所述元素位置，并将所述内存地址所指向的数据明细的引用计数加一；

当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据存储指令保存于所述待处理数据队列中。

可选地，所述数据处理的装置，其特征在于，

当所述数据读写指令为删除时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，基于所述元素位置，删除所述数据明细的内存地址，并将所述内存地址所指向的数据明细的引用计数减一；

当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据删除指令保存于所述待处理数据队列中。

可选地，所述数据处理的装置，其特征在于，

当所述数据读写指令为查询时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，获取所述待处理数据队列中待处理数据的数量，当所述数量为0时，获取所述元素位置存储的所述数据明细的内存地址，根据内存地址获取所述数据明细，将所述内存地址所指向的数据明细的引用计数加一；

当所述数量不小于1时，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作；

当对所述数据明细的数据读写指令完成后，将所述内存地址所指向的数据明细的引用计数减一。

为实现上述目的，根据本发明实施例的第三方面，提供了一种数据处理的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述数据处理的方法中任一所述的方法。

为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述数据处理的方法中任一所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：能够处理包括多个索引键值的数据明细，并基于任意索引键值查找数据明细的内存地址，实现了利用不同的索引键值查询同一条数据明细，提高了数据查询的效率，并且利用多个索引键值的哈希表存储数据明细的内存地址而不是存储数据明细本身，减少了内存的占用；在对哈希表执行数据访问时，利用子哈希表锁以及对应的待处理队列，克服了需要利用多线程调度而带来的数据处理复杂度高的问题。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明一个实施例提供的一种数据处理的方法的流程示意图；

图2是本发明一个实施例提供的一种数据明细与哈希表对应关系的示例图；

图3是本发明一个实施例提供的一种数据处理的数据写入操作的的流程示意图；

图4是本发明一个实施例提供的一种数据处理的数据查询操作的的流程示意图；

图5是本发明一个实施例提供的一种数据处理的装置结构示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，本发明实施例提供了一种数据处理的方法，该方法可以包括以下步骤：

步骤S101：待处理的数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链。

具体地，获取待处理的数据明细，所述数据明细包含多个key/value结构的数据，例如“key1:value1；key2:value2；key3:value3…keyN:valueN”；其中，key1、key2、key3....keyN用于指示一组具有关联性的数据的索引键值，对应的索引取值分别为value1、value2、value3....valueN；根据业务场景，可以选择至少两个键值作为索引键值，例如，选择key1、key2作为索引键值；则key1、key2对应的value1、value2为key1、key2对应的索引取值；即，数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；可以理解的是，当选择key1、key2作为索引键值时，除了key1、key2以外的键值为包含在数据明细中的非索引键值，在获取该数据明细中，可以同时获取到value1、value2、value3....valueN；例如，如图2所示的示例，示出了一个数据明细，包括：

“IP(Internet Protocol网际互连协议，IP)地址:123.123.1.1；姓名:张三；员工号:A0010；电话号码:188****8888”为对应于“key1:value1；key2:value2；key3:value3；key4:value4”的示例。其中，所述数据明细存储于内存数据库中，具有相对应的内存地址；当查询定位数据明细时，可以根据设置的多个索引键值，通过不同的索引键值查询分别查询；例如：如图2所示的示例中，假设索引键值为“IP地址”以及“姓名”；可以通过“IP地址”查询“123.123.1.1”，当查找到该数据明细，并且得到该IP地址的登录者是“张三”；假设“张三”又使用“IP地址：123.123.1.2”再次登录同一个系统，当需要验证是否一个用户用了不同IP地址登录时，可以通过“姓名”的索引键值来查找“张三”，并查询到包含“IP地址：123.123.1.1；姓名：张三”的数据明细，并进行下一步的数据处理操作，例如为了防止重复登录而删除其中的一个数据明细的内存地址，当内存地址的引用计数为0时，删除数据明细在内存数据库中的数据。

进一步地，索引键值对应的哈希表，用于存储对应于索引键值的多个数据明细的内存地址；一个索引键值对应一个哈希表；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；例如，如图2所示示例中，索引键值“IP地址”关联对应的哈希表为“IP地址哈希表”；索引键值“姓名”关联对应的哈希表为“姓名哈希表”。

再进一步地，每个哈希表里包含第一数量的子哈希表，可以理解的是，划分多个子哈希表减小数据集合的颗粒度，有助于快速定位数据；每一个子哈希表包含第二数量的哈希链；其中哈希链包含了索引取值指示的元素位置，所述元素位置用于存储数据明细的内存地址；其中第一数量可以根据哈希值的位数确定，例如，计算索引取值“李四”的哈希值，并转化为32位二进制的哈希值；假设划分该32位二进制的哈希值为前6位和后26位，则子哈希表的数量为2⁶(为64个)，2⁶即是第一数量；根据索引取值的哈希值(32位二进制)的前6位的数值，例如：前六位是110011，转换成十进制得到的数值为51，则确定该索引取值关联对应于“姓名哈希表”中64个子哈希表中的第51个子哈希表。

可以理解的是，第一数量与哈希值的进制与预定义的位数相关，例如，哈希值为二进制并且预定义部分的位数为8，则第一数量为2⁸(为256个)；其中，预定义部分可以取哈希值的前N位，或者哈希值的中间任何位置的N位，或者后面的N位；即，根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：根据所述索引取值的哈希值的预定义部分的数值，确定所述元素位置所归属的所述子哈希表。

进一步地，第二数量为每一个子哈希表中所包含的哈希链的数量，例如，设置第二数量为1000，又假设取哈希值的预定义部分(前6位)计算第一数量，进一步地，计算索引取值哈希值除去前6位(预定义部分)后剩余的后面26位的数值，即，计算所述哈希值除去所述预定义部分后的剩余部分；例如，计算后面26位所得的数值为2097152；计算2097152被1000取模的余数为152，则该索引取值关联于第51个子哈希表的第152个哈希链，可以理解的是，每个哈希链对应的元素位置形成链表结构，在定位到哈希链之后根据哈希链包含的数据查找对应的链表中的元素位置；即，根据所述索引取值的哈希值的位数，计算所述哈希值除去所述预定义部分后的剩余部分，以所述第二数量对所述剩余部分取模所得的余数，确定所述索引取值的哈希值对应的所述哈希链的元素位置；进一步地，当子哈希表中的数据量超过预定义的哈希链子的装载数量时，根据预定义的子哈希表的扩容策略，对所述子哈希表扩容，并且把已存在于该子哈希表的数据按扩容后的子哈希表重新存储。

本发明对数据明细的具体内容、索引键值的具体内容和具体数量、哈希值的长度和进制、预定义部分的位数和位置、第一数量、第二数量不做限定。

步骤S102：分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；

具体地，关于计算索引取值的哈希值对应的子哈希表以及子哈希表中的哈希链的元素位置的描述与步骤S101一致，在此不再赘述；可以理解的是，不同索引取值对应于不同的索引键值，分别关联于索引键值所对应的哈希表，仍以图2中的示例为例说明，假设经过计算，确定索引取值“123.123.1.1”的哈希值对应的元素位置为：“IP地址哈希表”包含的“子哈希表1”中的“哈希链1”的“元素位置1”；索引取值“张三”的哈希值对应的元素位置为：“姓名哈希表”包含的“子哈希表1”中的“哈希链n”的“元素位置2”；可以理解的是，当“张三”又通过IP地址“123.123.1.2”登录时，可以找到两条含有不同IP地址的数据明细。

所述元素位置用于存储所述数据明细的内存地址；例如，假设如图2所示的示例数据明细“IP地址:123.123.1.1；姓名:张三；员工号:A0010；电话号码:188****8888”的内存地址为0x12345678，其中，数据明细和内存地址为一一对应的关系，通过内存地址可以获取数据明细的内容和数据；将“0x12345678”存储在IP地址哈希表包含的子哈希表1中的哈希链1的存储地址1；以及姓名哈希表包含的子哈希表1中的哈希链n的存储地址2；由此可见，通过存储数据明细的内存地址代替存储数据明细的内容的方式，减少多次存储同一个数据造成的内存消耗，提高了数据处理的性能；即，分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址。

步骤S103：接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

具体地，根据步骤S101-步骤S102的描述，确定该数据明细的内存地址在不同的索引键值哈希表中的元素位置，根据数据的读写指令，执行所述数据明细的内存地址的读写操作。其中，读操作包括查询，写操作包括存储(插入)和删除；进一步地，所述数据读写指令包括待操作的索引键值以及对应的索引取值；例如待操作(待查询)的索引键值为“姓名”，对应的索引取值为“张三”；进一步地，根据所述索引取值确定所述索引取值对应的所述元素位置，例如，通过计算“张三”的哈希值确定包含“张三”的数据明细的内存地址在姓名哈希表中的某一个子哈希表中的某个哈希链的元素位置，并执行对所述数据明细的内存地址的读写操作，可以理解的是，元素位置所存储的是数据明细的内存地址，因此通过对于内存地址所指向的数据明细的引用计数来处理(保护)数据明细的内容的访问，例如，当内存地址所指向的数据明细的引用计数为0时，可以删除数据明细的数据。

进一步地，所述子哈希表设置对应的子哈希表锁，以及对应于所述子哈希表锁的数据待处理队列。具体地，为每一个子哈希表设置锁，相对于为整个哈希表设置锁，减小了数据处理的颗粒度，增加了数据处理的灵活性；设置对应于所述子哈希表锁的数据待处理队列，根据数据处理队列处理数据，减少了系统多线程调度的复杂度，设置子哈希表锁的方法可以采用所使用的编程语言的函数或者方法，本发明对设置子哈希表锁的具体实现方法以及数据待处理队列的具体实现方法、存储方式不做限定。

关于基于元素位置的数据存储和删除的具体描述与步骤S301-步骤S304的描述一致，在此不再赘述；关于基于元素位置的数据查询的具体描述与步骤S401-步骤S405的描述一致，在此不再赘述。

如图3所示，本发明实施例提供了一种数据存储或删除操作的流程示意图的方法，该方法可以包括以下步骤：

步骤S301：计算索引取值的哈希值，确定索引取值的第N个子哈希表，以及第N个子哈希表包含的哈希链对应的元素位置。

具体地，关于通过计算索引取值的哈希值，确定索引取值的第N个子哈希表以及元素位置的方法和描述与步骤S101-步骤S102一致，在此不再赘述。

步骤S302：获取第N个子哈希表的锁。

具体地，每一个子哈希表设置对应的子哈希表锁，对于子哈希表的数据处理操作需要首先获取子哈希表的锁。进一步地，当获取到第N个子哈希表的锁时，执行步骤S303；当未获取到第N个子哈希表的锁时，执行步骤S304。

步骤S303：将数据明细的内存地址存储(删除)哈希链对应的元素位置中，将所述内存地址所指向的数据明细的引用计数加一(减一)。

当所述数据读写指令为存储(或者删除)时，并且获取到所述索引取值对应的子哈希表锁，则，将数据明细的内存地址存储(或者删除)哈希链对应的元素位置中，将所述内存地址所指向的数据明细的引用计数加一(当存储内存地址时)或者减一(当删除内存地址时)。

步骤S304：将元素位置、数据明细的内存地址以及对应的数据存储指令保存于所述待处理数据队列中。

具体地，当未获取到第N个子哈希表的锁时，将元素位置、数据明细的内存地址以及对应的数据存储指令保存于第N个子哈希表对应的所述待处理数据队列中。

步骤S303-步骤S304的描述即为：当所述数据读写指令为存储时，获取所述索引取值对应的子哈希表锁：当获取到所述子哈希表锁时，将所述数据明细的内存地址存储所述元素位置，将所述内存地址所指向的数据明细的引用计数加一；当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据存储指令保存于所述待处理数据队列中。

当所述数据读写指令为删除时，获取所述索引取值对应的子哈希表锁：当获取到所述子哈希表锁时，基于所述元素位置，删除所述数据明细的内存地址，将所述内存地址所指向的数据明细的引用计数减一；当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据删除指令保存于所述待处理数据队列中。

如图4所示，本发明实施例提供了一种数据查询操作的流程示意图的方法，该方法可以包括以下步骤：

步骤S401：计算索引取值的哈希值，确定索引取值的第N个子哈希表，以及第N个子哈希表包含的哈希链对应的元素位置。

具体地，关于通过计算索引取值的哈希值，确定索引取值的第N个子哈希表以及元素位置的方法和描述与步骤S101-步骤S102一致，在此不再赘述。

步骤S402：获取第N个子哈希表的锁。

具体地，每一个子哈希表设置对应的子哈希表锁，对于子哈希表的数据处理操作需要首先获取子哈希表的锁。当获取到第N个子哈希表的锁时，执行步骤S403；当未获取到第N个子哈希表的锁时，等待下次调度，重新执行获取第N个子哈希表的锁的流程。

步骤S403：获取子哈希表对应的待处理队列的数量。

具体地，由步骤S304的描述可知，当未获取到第N个子哈希表的锁时，将元素位置、数据明细的内存地址以及对应的数据存储指令保存于第N个子哈希表对应的所述待处理数据队列中；进一步地，获取所述待处理数据队列中待处理数据的数量，当所述数量为0时，执行步骤S405；不为0时，执行步骤S404。

步骤S404：根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作。

具体地，获取所述待处理数据队列中待处理数据的数量；当数量不小于1(例如：数量为1或者5)时，获取所述待处理数据队列中待处理数据，其中待处理数据包含了所述元素位置、所述数据明细的内存地址以及对应的数据读写(存储或者删除)指令；进一步地，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作，可以理解的是，待处理队列中包含的待处理数据关联于子哈希表，每一个子哈希表对应一个待处理数据队列；关于数据存储和删除的具体描述与步骤S301-步骤S304的描述一致，在此不再赘述。

进一步地，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作完成之后，执行步骤S405。

步骤S405：获取所述存储地址存储的所述数据明细的内存地址，根据内存地址获取所述数据明细。

具体地，根据哈希链对应的存储地址获取所存储的数据明细的内存地址，或者数据明细，以及数据明细包含的内容；并将所述内存地址所指向的数据明细的引用计数加一；

可以理解的是，查询数据时利用引用计数的加一和减一保护内存地址的访问唯一性；具体地，在获取到第N个子哈希表的锁后，首先处理待处理队列，处理完后，再到哈希表中查询对应的数据，查询到后把数据明细的引用计数加一，并将查询结果返回给查询该数据明细的用户，查询用户对该数据处理完成后进行引用计数减一的操作，即，当对所述数据明细的数据处理完成后，将所述内存地址所指向的数据明细的引用计数减一。所述数据处理包括数据的查询、获取，例如，通过IP地址查询到与该IP地址相关联的数据明细，进一步从所述数据明细中获取与IP地址对应的姓名、员工号、电话等信息等，通过引用计数实现了对所述数据明细的保护；例如，如图2示例，通过“姓名哈希表”的“子哈希表1”包含的“哈希链n”的“存储地址2”获取到数据明细的内存地址“0x12345678”进一步地，根据内存地址“0x12345678”，获取数据明细的内容为“IP地址:123.123.1.1；姓名:张三；员工号:A0010；电话号码:188****8888”；假设另外一条后生成的数据明细为“IP地址:123.123.1.2；姓名:张三；员工号:A0010；电话号码:188****8888”；内存地址为0x87654321；可见两个数据明细包含的“IP地址”不同；由于利用“姓名”索引键值可以查询到两个索引取值为“张三”的元素位置，分别存储两个数据明细的内存地址，假设根据具体业务(例如：应用代理服务器的身份验证系统)，只能允许一个用户用一个IP地址登录，则根据预定义的删除策略(例如按照时间先后顺序，删除前面生成的数据明细)，删除“IP地址:123.123.1.1”的数据明细。删除数据明细的步骤S303一致，在此不再赘述。

步骤S402-步骤S405的描述，即，当所述数据读写指令为查询时，获取所述索引取值对应的子哈希表锁：当获取到所述子哈希表锁时，获取所述待处理数据队列中待处理数据的数量，当所述数量为0时，获取所述元素位置存储的所述数据明细的内存地址，根据所述内存地址获取所述数据明细，并将所述内存地址所指向的数据明细的引用计数加一；当所述数量不小于1时，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作；当对所述数据明细的数据处理完成后，将所述内存地址所指向的数据明细的引用计数减一。

如图5所示，本发明实施例提供了一种数据处理的装置500，包括：获取索引键值以及数据模块501、计算索引取值元素位置模块502和执行数据读写处理模块503；其中，

所述获取索引键值以及数据模块501，包括待处理的数据明细，所述数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；

所述计算索引取值元素位置模块502，用于分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；

所述执行数据读写处理模块503，用于接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

可选地，所述计算索引取值元素位置模块502，用于根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：根据所述索引取值的哈希值的预定义部分的数值，确定所述元素位置所归属的所述子哈希表。

可选地，所述计算索引取值元素位置模块502，用于根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：根据所述索引取值的哈希值的位数，计算所述哈希值除去所述预定义部分后的剩余部分，以所述第二数量对所述剩余部分取模所得的余数，确定所述索引取值的哈希值对应的所述哈希链的元素位置。

可选地，所述执行数据读写处理模块503，包括：所述子哈希表设置对应的子哈希表锁，以及对应于所述子哈希表锁的数据待处理队列。

可选地，所述执行数据读写处理模块503，用于当所述数据读写指令为存储时，获取所述索引取值对应的子哈希表锁：当获取到所述子哈希表锁时，将所述数据明细的内存地址存储于所述元素位置，并将所述内存地址所执行的数据明细的引用计数加一；当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据存储指令保存于所述待处理数据队列中。

可选地，所述执行数据读写处理模块503，用于当所述数据读写指令为删除时，获取所述索引取值对应的子哈希表锁：当获取到所述子哈希表锁时，基于所述元素位置，删除所述数据明细的内存地址，并将所述内存地址所执行的数据明细的引用计数减一；当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据删除指令保存于所述待处理数据队列中。

可选地，所述执行数据读写处理模块503，用于当所述数据读写指令为查询时，获取所述索引取值对应的子哈希表锁：当获取到所述子哈希表锁时，获取所述待处理数据队列中待处理数据的数量，当所述数量为0时，获取所述元素位置存储的所述数据明细的内存地址，根据所述内存地址获取所述数据明细，并将所述内存地址所指向的数据明细的引用计数加一；当所述数量不小于1时，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作；当对所述数据明细的数据处理完成后，将所述内存地址所指向的数据明细的引用计数减一。

本发明实施例还提供了一种数据处理的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。

图6示出了可以应用本发明实施例的数据处理方法或数据处理的装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种客户端应用，例如企业应用客户端、信息系统客户端、网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。

终端设备601、602、603可以是具有显示屏并且支持运行各种客户端的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所运行的客户端应用提供支持的后台管理服务器。后台管理服务器可以对接收到的数据处理请求进行处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的数据处理的方法一般由服务器605执行，相应地，数据处理的装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取索引键值以及数据模块、计算索引取值元素位置模块和执行数据读写处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，计算索引取值元素位置模块还可以被描述为“根据索引取值的哈希值，确定所述索引键值关联的数据明细的内存地址存储的元素位置的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：待处理的数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

根据本发明实施例的技术方案，能够处理包括多个索引键值的数据明细，并基于任意索引键值查找数据明细的内存地址，从而实现了利用不同的索引键值查询同一条数据明细，提高了数据查询的效率，并且利用多个索引键值的哈希表存储数据明细的内存地址而不是存储数据明细本身，减少了内存的占用；在对哈希表执行数据处理操作时，利用子哈希表锁以及对应的待处理队列，克服了需要利用多线程调度而带来的数据处理复杂度高的问题。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：

待处理的数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；

分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；

接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

2.根据权利要求1所述的方法，其特征在于，

根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：

根据所述索引取值的哈希值的预定义部分的数值，确定所述元素位置所归属的所述子哈希表。

3.根据权利要求2所述的方法，其特征在于，

根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应的所述哈希表、所述子哈希表、以及所述哈希链的元素位置，包括：

根据所述索引取值的哈希值的位数，计算所述哈希值除去所述预定义部分后的剩余部分，以所述第二数量对所述剩余部分取模所得的余数，确定所述索引取值的哈希值对应的所述哈希链的元素位置。

4.根据权利要求1所述的方法，其特征在于，

所述子哈希表设置对应的子哈希表锁，以及对应于所述子哈希表锁的数据待处理队列。

5.根据权利要求4所述的方法，其特征在于，

当所述数据读写指令为存储时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，将所述数据明细的内存地址存储于所述元素位置，并将所述内存地址所指向的数据明细的引用计数加一；

当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据存储指令保存于所述待处理数据队列中。

6.根据权利要求4所述的方法，其特征在于，

当所述数据读写指令为删除时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，基于所述元素位置，删除所述数据明细的内存地址，并将所述内存地址所指向的数据明细的引用计数减一；

当未获取到所述子哈希表锁时，将所述元素位置、所述数据明细的内存地址以及对应的数据删除指令保存于所述待处理数据队列中。

7.根据权利要求5或者6任一所述的方法，其特征在于，

当所述数据读写指令为查询时，获取所述索引取值对应的子哈希表锁：

当获取到所述子哈希表锁时，获取所述待处理数据队列中待处理数据的数量，当所述数量为0时，获取所述元素位置存储的所述数据明细的内存地址，根据所述内存地址获取所述数据明细，并将所述内存地址所指向的数据明细的引用计数加一；

当所述数量不小于1时，根据所述待处理数据的存储或者删除的读写指令执行对应的数据读写操作；

当对所述数据明细的数据处理完成后，将所述内存地址所指向的数据明细的引用计数减一。

8.一种数据处理的装置，其特征在于，包括：获取索引键值以及数据模块、计算索引取值元素位置模块和执行数据读写处理模块；其中，

所述获取索引键值以及数据模块，包括待处理的数据明细包括至少两个索引键值、以及所述索引键值对应的索引取值；所述索引键值分别关联对应的哈希表，所述哈希表包含第一数量的子哈希表，所述子哈希表包含第二数量的哈希链；

所述计算索引取值元素位置模块，用于分别根据所述索引取值的哈希值、所述第一数量和所述第二数量，计算所述索引取值的哈希值对应于所述哈希表、所述子哈希表、以及所述哈希链的元素位置；所述元素位置用于存储所述数据明细的内存地址；

所述执行数据读写处理模块，用于接收数据读写指令，所述数据读写指令包括待操作的索引键值以及对应的索引取值，根据所述索引取值确定所述索引取值对应的所述元素位置，并执行对所述数据明细的内存地址的读写操作。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images