CN116108023B - 一种用于HBase数据库的数据检索方法和装置 - Google Patents

Abstract

本发明属于大数据管理技术领域，提供一种用于HBase数据库的数据检索方法和装置。该方法包括：扫描目标数据库的原始表，原始表包括位于K位置的键数据、位于V位置且与键数据具有对应关系的至少一个值数据；从原始表中选择值数据并用作新建索引标识，在使用原始索引表进行数据检索时，根据实时更新的匹配索引参数计数信息，自动新建索引标识或自动销毁已有索引标识；建立多类索引表；在接收到数据检索请求时，获取检索请求参数，根据多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索。本发明通过建立多类索引表，并配合原始表进行数据检索，能够快速提升检索HBase数据库中的数据的检索速度进而能够提升检索效率。

Description

一种用于HBase数据库的数据检索方法和装置

技术领域

本发明涉及大数据管理技术领域，尤其涉及一种用于HBase数据库的数据检索方法和装置。

背景技术

基于HBase存储及检索的同类产品，只能使用HBase数据库的Key进行快速检索，而不能使用Value值进行快速检索。现有同类产品只有Key上建立了索引，Value上没有建立索引。如果要检索Value数据的话，需要扫描所有数据，即扫描一遍所有的Value值，来过滤出要检索的数据值。上述这种检索方法的检索效率非常低。而随着数据量的增多，相应的检索时间也非常长。尤其是对于数据量超过一定量的表，在数据查询过程中会出现因检索超时而报错，甚至出不来检索结果或出现其他错误等的问题。此外，在提升HBase数据库的检索速度，改进HBase数据库的检索方法等多方面仍存在很大改进空间。

因此，有必要提供一种改进了的数据检索方法，以解决上述问题。

发明内容

本发明意在提供一种用于HBase数据库的数据检索方法和装置，以解决现有技术中HBase数据库中的数据表因数据量过大或检索时间过长而造成检索报错、无法形成检索结果，现有检索方法的检索速度慢、检索效率低等的技术问题，本发明要解决的技术问题通过以下技术方案来实现。

本发明的第一方面提出一种用于HBase数据库的数据检索方法，包括：扫描目标数据库的原始表，所述原始表包括位于K位置的键数据、位于V位置且与键数据具有对应关系的至少一个值数据；所述原始表包括原始索引表；在分批次扫描所述原始表的过程中，从所述原始表中选择值数据，将所述值数据用作新建索引标识，并在使用所述原始索引表进行数据检索时，根据实时更新的匹配索引参数计数信息，自动新建索引标识或自动销毁已有索引标识；根据所新建的索引标识、所销毁的已有索引标识，自动更新索引标识以及与各索引标识相对应的业务数据，建立多类索引表；在接收到所述目标数据库的数据检索请求时，获取检索请求参数，根据所建立的多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索。

根据可选的实施方式，从所述至少一个值数据中选择一个值数据，将所述一个值数据放置在K位置以用作新建索引标识，并将与所述一个值数据具有对应关系的键数据放置在V位置，形成新的数据对应关系，进一步得到以值数据为索引标识的第一索引表，其中，所述新的数据对应关系包括一对一、一对多；所述键数据包括使用数字和/或英文字母组成的场景标识，所述场景标识用于不同应用场景；所述值数据包括与各场景标识相对应的多个业务数据。

根据可选的实施方式，从所述至少一个值数据中选择多个值数据，以与建立第一索引表相同的方式，将所述多个值数据用作新建索引标识且形成组合索引标识，并与具有对应关系的键数据形成新的数据对应关系，进一步得到第二索引表，其中，所述新的数据对应关系包括多对多、多对一。

根据可选的实施方式，在所述分批次扫描所述原始表的过程中，判断所述原始表中与所建立的索引表中同一索引标识具有对应关系的键数据，不断更新与所述同一索引标识位于同一行的V位置的键数据，直到对所述原始表扫描完成为止；在使用所述原始索引表进行数据检索时，根据实时更新的第一匹配索引参数计数信息，获取满足销毁规则的索引参数，并销毁所述索引参数对应的索引标识，以更新所建立的索引表，其中，所述销毁规则包括单日请求量是否小于指定数量，是否为连续预定时间段内的请求量递减或为零、小于请求量递减的预定比例；所述原始索引表用于表征以键数据作为索引标识建立的索引表；所述第一匹配索引参数计数信息包括已有索引标识、索引参数、请求量；在使用所述原始索引表进行数据检索时，根据实时更新的第二匹配索引参数计数信息，获取满足创建规则的索引参数，并使用满足创建规则的索引参数创建新的索引标识，以更新所建立的索引表，其中，所述创建规则包括单日请求量是否大于指定数量，是否为连续预定时间段内的请求量递增、大于请求量递增的预定比例；所述第二匹配索引参数计数信息包括未出现过的索引参数、请求量。

根据可选的实施方式，所述获取检索请求参数，根据所建立的多类索引表进行参数匹配，包括：将所述检索请求参数与所述多类索引表的索引参数进行匹配，其中，在参数匹配成功的情况下，将第一匹配索引参数计数增加1以实时更新第一匹配索引参数计数信息，并确定有对应索引标识以进行业务数据检索；在参数匹配不成功的情况下，将第二匹配索引参数计数增加1以实时更新第二匹配索引参数计数信息，并确定无对应索引标识以使用原始表进行数据检索。

根据可选的实施方式，在根据所建立的多类索引表进行数据检索之前，识别所述数据检索请求中的请求参数，确定是否包括值数据或与值数据相关的索引参数、键数据或与键数据相关的索引参数，以进行参数匹配；在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，则参数匹配成功，使用所建立的多类索引表查找相匹配的索引标识及与该索引标识相对应的键数据；根据所查到的键数据，进一步从包含所述键数据的原始表中查找与所述键数据相对应的一条或多条业务数据。

根据可选的实施方式，在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，且在根据第一索引表所确定的索引参数对应有两个或两个以上的索引标识时，则参数匹配成功，对所述两个或两个以上的索引标识对应的键数据做交集，得到最终的键数据以用于在原始表中进行数据检索；在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，在根据第二索引表所确定的索引参数对应组合索引标识时，使用所述组合索引标识进行数据检索。

根据可选的实施方式，在确定不包含值数据或与值数据相关的索引参数、且包含键数据或与键数据相关的索引参数时，根据所确定的索引参数确定对应的索引标识，并使用所确定的索引标识进行数据检索。

本发明的第二方面提出一种数据检索装置，包括：扫描模块，用于扫描目标数据库的原始表，所述原始表包括位于K位置的键数据、位于V位置且与键数据具有对应关系的至少一个值数据；所述原始表包括原始索引表；自动处理模块，在分批次扫描所述原始表的过程中，从所述原始表中选择值数据，将所述值数据用作新建索引标识，并在使用所述原始索引表进行检索时，根据实时更新的匹配索引参数信息，自动新建索引标识或者自动销毁已有索引标识；建立模块，根据所新建的索引标识、所销毁的已有索引标识，自动更新索引标识以及与各索引标识相对应的业务数据，建立多类索引表；检索模块，在接收到所述目标数据库的数据检索请求时，获取检索请求参数，根据所建立的多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索。

根据可选的实施方式，所述数据检索装置还包括匹配模块，所述匹配模块将所述检索请求参数与所述多类索引表的标识参数进行匹配，其中，在参数匹配成功的情况下，将第一匹配索引参数计数增加1以实时更新第一匹配索引参数计数信息，并确定要用的索引标识以进行业务数据检索；所述第一匹配索引参数计数信息包括已有索引标识、请求量；在参数匹配不成功的情况下，将第二匹配索引参数计数增加1以实时更新第二匹配索引参数计数信息，并确定无索引标识以使用原始表进行数据检索。

本发明第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面所述的数据检索方法。

本发明第四方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明第一方面所述的数据检索方法。

本发明实施例包括以下优点：

与现有技术相比，本发明的数据检索方法通过分批扫描同一原始表，根据所选的一个或多个值数据（即Value数据）建立多类索引表，并根据实时更新的第一匹配索引参数计数信息和第二匹配索引参数计数信息，自动销毁已有索引标识和自动新建索引标识，能够实现最精确的检索索引表，使用所建立的多类索引表并配合原始表进行数据检索，能够快速提升检索HBase数据库中的数据的检索速度进而能够提升检索效率。

附图说明

图1是本发明的用于HBase数据库的数据检索方法的一示例的步骤流程图；

图2是本发明的用于HBase数据库的数据检索方法中自动销毁已有索引标识的一示例的步骤流程图；

图3是本发明的用于HBase数据库的数据检索方法中自动创建新的索引标识的一示例的步骤流程图；

图4是本发明的用于HBase数据库的数据检索方法中更新匹配索引参数计数信息的一示例的步骤流程图；

图5是本发明的用于HBase数据库的数据检索方法的另一示例的步骤流程图；

图6是图5的数据检索方法的一实施方式的步骤流程图；

图7是根据本发明的数据检索装置的一示例的结构示意图；

图8是根据本发明的电子设备实施例的结构示意图；

图9是根据本发明的计算机可读介质实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

鉴于上述问题，本发明提出一种用于HBase数据库的数据检索方法。

下面参照图1至图6，将对本发明的内容进行详细说明。

图1是本发明的数据检索方法的一示例的步骤流程图。

首先，在步骤S101中，扫描目标数据库的原始表，所述原始表包括位K位置的键数据（即K数据）、位于V位置且与键数据具有对应关系的至少一个值数据（即V数据）；所述原始表包括原始索引表。

具体地，所述目标数据库为HBase数据库，HBase数据库中保存多张原始表，原始表为一张普通的数据表，里边保存着原始数据，数据存储方式是K/V存储（即键值对存储）。

下表1是应用本发明的数据检索方法的原始表的一示例表。

表1

从表1中可知，在该示例中，原始表包括位于K位置的键数据（具体包括K1～K5）、位于V位置且与键数据具有对应关系的多个值数据。其中，K1～K5各自对应一条业务数据（即多个值数据）。例如，与K1具有对应关系的值数据包括V11、V12，V13。与K2具有对应关系的值数据包括V21，V22，V23，V25。与K3具有对应关系的值数据包括V31，V32，V12，V13，V33。与K4具有对应关系的值数据包括V41，V42，V43，V45，V46。与K5具有对应关系的值数据包括V51，V12，V13，V21，V55。

具体地，所述键数据包括使用数字和/或英文字母组成的场景标识，所述场景标识用于不同应用场景；所述值数据包括与各场景标识相对应的多个数据。

所述原始表包括原始索引表，所述原始表包括以键数据或与键数据相关的索引参数作为索引标识。所述原始索引表用于表征以键数据作为索引标识的索引表以用于检索原始表中业务数据，所述原始索引表是指初始化时预建的原始索引表，例如包括几个常用的索引标识，例如使用键数据、与键数据相关的参数或者数字和键数据的组合等来表示所述原始索引表的索引标识，具体如下表2，表2为原始索引表的一示例。

表2

在一具体实施方式中，以上网话单数据为示例，原始表存储例如4G或5G移动网的上网话单数据。其中，K数据为话单的标识（sessionID），V数据（即值数据）为话单记录字段（如使用逗号分割）：电话号码，IP地址，上网时长,使用流量等。

例如，使用原始索引表进行检索以查询例如电话、IP地址等相关业务数据。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

通常，在表1所示的原始表中位于K位置的K数据有索引，例如使用K1～K5检索各自对应的值数据。但是，仅使用K数据的索引或使用原始索引表进行检索，在数据查询过程中会出现因检索超时而报错，甚至出不来检索结果或出现其他错误等的问题。

鉴于上述问题，本发明提出了建立索引表的新方法以用于数据检索，具体将结合下面的步骤进行说明。

在步骤S102中，在分批次扫描所述原始表的过程中，从所述原始表中选择值数据，将所述值数据用作新建索引标识，并在使用所述原始索引表进行数据检索时，根据实时更新的匹配索引参数计数信息，自动新建索引标识或自动销毁已有索引标识。

对于新建索引标识，具体执行以下步骤，直到对所述原始表扫描完成为止：在所述分批次扫描所述原始表的过程中，选择值数据，将所述值数据用作新建索引标识。

在一具体实施方式中，从所述至少一个值数据中选择一个值数据，将所述一个值数据放置在K位置以用作新建索引标识，并将与所述一个值数据具有对应关系的键数据放置在V位置，形成新的数据对应关系，所述新的数据对应关系例如一对一、一对多。具体为一个索引标识（即一个值数据）对应一条业务数据（包括一个键数据），一个索引标识（即一个值数据）对应一条业务数据（包括多个键数据），具体可参见下表3。

在另一具体实施方式中，从所述至少一个值数据中选择多个值数据，以与建立第一索引表相同的方式，将所述多个值数据用作新建索引标识且形成组合索引标识（具体为使多个值数据的组合作为查询同一条业务数据的同一索引标识），并与具有对应关系的键数据形成新的数据对应关系，其中，所述新的数据对应关系包括多对多、多对一。具体为组合索引标识（即两个值数据或两个以上的值数据形成组合索引标识）对应一条业务数据（包括一个键数据或多个键数据），具体参见下表4。

需要说明的是，对于用作新建索引标识的值数据的选择，可通过不同业务数据的检索相关数据，例如通过检索时间或检索时段、检索数量、以及检索请求中关键字段的数量是否超过预定量等用户检索参数，选择一个或多个值数据来用作索引标识。此外，在其他实施方式中还使用与值数据相关的索引参数作为新建索引标识。此外，在又一实施方式中，还可以使用一个或多个值数据形成的索引标识（包括组合索引标识和单一索引标识形成的混合索引标识）作为新建索引标识。上述仅作为可选示例进行说明，不能理解成对本发明的限制。

具体地，所述匹配索引参数计数信息包括第一匹配索引参数计数信息和第二匹配索引参数计数信息。所述第一匹配索引参数计数信息包括已有索引标识、索引参数、请求量（例如单日请求量、预定时间段内的请求量）；所述第二匹配索引参数计数信息包括未出现过的索引参数（或者没有与该索引参数相对应的索引标识）、请求量（例如单日请求量、预定时间段内的请求量）。

在一优选实施方式中，在使用所述原始索引表进行数据检索时，根据实时更新的第一匹配索引参数计数信息，获取满足销毁规则的索引参数，并销毁所述索引参数对应的索引标识，以实现自动销毁满足销毁规则的索引参数所对应的索引标识，即自动删除筛选的索引标识。

具体地，所述销毁规则包括单日请求量是否小于指定数量，是否为连续预定时间段内的请求量递减或为零、小于请求量递减的预定比例。例如，销毁规则z1为单日请求量为零或者小于20，且连续五天内的请求量递减。

例如，如图2所示，在使用所述原始索引表进行数据检索时，获取当前的第一匹配索引参数计数信息（例如为已有索引标识a、已有索引标识a所对应的索引参数a'，单日请求量为0，且连续五天请求量趋势递减），获取销毁规则z1，接着判断当前的第一匹配索引参数计数信息中满足销毁规则的索引参数，例如当索引参数a'对应的索引标识a满足销毁规则z1时，则自动销毁索引标识a。而当所述索引标识a不满足销毁规则z1时，则不销毁索引标识a。

在另一优选实施方式中，在使用所述原始索引表进行数据检索时，根据实时更新的第二匹配索引参数计数信息，获取满足创建规则的索引参数，并使用满足创建规则的索引参数创建新的索引标识。

具体地，所述创建规则包括单日请求量是否大于指定数量，是否为连续预定时间段内的请求量递增、大于请求量递增的预定比例。例如创建规则z2为单日请求量大于10000，且连续五天的请求量趋势递增，以及递增排名第一或者前三名。

例如，如图3所示，在使用所述原始索引表进行数据检索时，获取当前的第二匹配索引参数计数信息，获取创建规则z2，接着判断当前的第二匹配索引参数计数信息中满足创建规则的索引参数，例如为未出现过的索引参数b'，没有与该索引参数b'相对应的索引标识、单日请求量10001，且连续五天的请求量趋势递增，以及递增排名第一或者前三名，则自动创建新的索引标识b。

需要说明的是，在使用所述原始索引表进行数据检索时，检索一次，实时更新一次第一匹配索引参数计数信息和第二匹配索引参数计数信息，并且根据所实时更新的第一匹配索引参数计数信息和第二匹配索引参数计数信息，更新所述原始索引表。上述仅作为可选示例进行说明，不能理解成本发明的限制。

接下来，在步骤S103中，根据所新建的索引标识、所销毁的已有索引标识，自动更新索引标识以及与各索引标识相对应的业务数据，建立多类索引表。

具体地，建立多类索引表包括建立第一索引表和第二索引表。

在一具体实施方式中，根据以一个值数据用作新建索引标识，建立第一索引表（如下表3所示），得到以值数据为索引标识的第一索引表，其中，所述新的数据对应关系包括一对一、一对多。

表3是所建立的第一索引表的一示例表。

表3

从表3中可知，在该示例中，第一索引表中的键数据和值数据之间的对应关系包括一对多、一对一。其中，将所选择的V12、V21、V32、V41、V55放置在K位置，并用作第一索引表的索引标识（即新建索引标识）。V12、V21、V32、V41、V55中的每个索引标识均对应有位于V位置上的V数据。例如，V12对应有K1，K3，K5。V21对应有K2，K5。V32对应有K3。V41对应有K4。V55对应有K5。

通过选择一个值数据，建立以值数据作为索引标识的第一索引表，能够建立更精确的检索索引，能够有效提升检索速度。

在另一具体实施方式中，根据以多个值数据用作新建索引标识，建立第二索引表（如下表4所示），其中以两个或两个以上的值数据作为新建索引，且形成组合索引标识，并与具有对应关系的键数据形成新的数据对应的关系，得到包含组合索引标识的第二索引表。

表4是所建立的第二索引表的一示例表。

表4

从表4中可知，在该示例中，第二索引表中的键数据和值数据之间的数据对应关系包括多对一、多对多。其中，将所选择的V12和V13，V32和V33放置在K位置，并用作第二索引表的索引标识（即组合索引标识）。位于同一行的每个索引标识均对应有位于V位置上的V数据。同一行的同一K位置上可包括多个索引标识（即多个值数据），即组合索引标识。例如，V12、V13均对应有K1，K3，K5。V32、V33均对应有K3。但是不限于此，在其他示例中，还可以使用三个或更多个值数据作为组合索引标识，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

通过选择多个值数据，建立以值数据作为索引标识的第二索引表，能够建立更精确的检索索引，能够有效提升检索速度。

在一优选实施方式中，进行一次检索数据，更新一次第一匹配索引参数计数信息和第二匹配索引参数计数信息（具体包括步骤S102中自动创建新的索引标识、自动删除已有索引标识），并根据更新后的第一匹配索引参数计数信息和第二匹配索引参数计数信息，更新第一索引表、第二索引表以及原始索引表。

需要说明的是，上述仅作为可选示例进行说明，不能理解成本发明的限制。

下面将结合所建立的多类索引表（具体包括第一索引表、第二索引表、原始索引表是指更新后的原始索引表），说明检索过程。

在步骤S104中，在接收到所述目标数据库的数据检索请求时，获取检索请求参数，根据所建立的多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索。

如图4所示，在接收到所述目标数据库的数据检索请求时，获取检索请求中的请求参数，将所获取的检索请求参数与所述多类索引表的索引参数进行参数匹配（对应图4中判断所获取的检索请求参数与所述多类索引表的索引参数是否匹配成功），其中，在参数匹配成功的情况下（对应图4中的“是”），将第一匹配索引参数计数增加1（具体如图4所示的在第一匹配索引参数计数表中相匹配的已有索引标识的计数增加1）以实时更新第一匹配索引参数计数信息，并确定有对应的索引标识以进行业务数据检索。在参数匹配不成功的情况下（对应图4中的“否”），将第二匹配索引参数计数增加1（具体如图4所示的在第二匹配索引参数计数表中增加新的索引标识，并将该新的索引标识的计数增加1）以实时更新第二匹配索引参数计数信息，并确定无对应的索引标识，增加新的索引参数和对应的索引标识。

在根据所建立的多类索引表进行数据检索之前，识别所述数据检索请求中的请求参数，确定是否包括值数据或与值数据相关的索引参数、键数据或与键数据相关的索引参数，以进行参数匹配。

在一具体实施方式中，在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，则参数匹配成功，使用所建立的多类索引表（具体为第一索引表）查找相匹配的索引标识及与该索引标识相对应的键数据。进一步根据所查到的键数据，进一步从包含所述键数据的原始表中查找与所述键数据相对应的一条或多条业务数据。例如所述请求参数为MDN和IP，MDN对应有索引标识m，可使用包含索引标识m的第一索引表进行数据检索，以查询相应的键数据以得到想查询的业务数据。

在另一具体实施方式中，在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，且在根据第一索引表所确定的索引参数对应有两个或两个以上的索引标识时，则参数匹配成功，对所述两个或两个以上的索引标识对应的键数据做交集，得到最终的键数据以用于在原始表中进行数据检索。例如，所述请求参数为MDN和IP，MDN对应有索引标识m，IP对应有索引标识P，则对索引标识m和索引标识P所对应的键数据做交集，得到最终的键数据，以在原始表中进行数据检索。

在又一具体实施方式中，在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，在根据第二索引表所确定的索引参数对应组合索引标识时，使用所述组合索引标识进行数据检索。例如，所述请求参数为MDN和IP，MDN和IP的组合对应有组合索引标识mP，则使用包含组合索引标识的第二索引表进行数据检索，找到对应的键数据，并在原始表中进行数据检索。

在又一具体实施方式中，在确定不包含值数据或与值数据相关的索引参数、且包含键数据或与键数据相关的索引参数时，根据所确定的索引参数确定对应的索引标识，并使用所确定的索引标识进行数据检索。例如使用原始索引表进进行数据查询。

例如，在接收到例如HBase数据库的包含电话号码（例如为V12）的检索请求时，根据所建立的第一索引表进行数据检索。在第一索引表中找到V12，并检索到与V12对应的K1，K3，K5，再根据K1，K3，K5从包含K1，K3，K5的原始表中找到相应的业务数据，具体为V11，V12，V13；V31，V32，V12，V13，V33；V51，V12，V13，V21，V55。

例如，在接收到例如HBase数据库的包含IP地址和imsi（例如为V32和V33）的检索请求时，根据所建立的第二索引表进行数据检索。在第二索引表中找到V32和V33，并检索到与V32和V33对应的K3，再根据K3从包含K3的原始表中找到相应的业务数据，在该示例中，为一条业务数据，具体为V31，V32，V12，V13，V33。

在一优选实施方式中，在使用多类检索索引表进行数据检索时，实时更新第一匹配索引参数计数信息和第二匹配索引参数计数信息，并根据实时更新的第一匹配索引参数计数信息和第二匹配索引参数计数信息更新所建立的多类检索索引表中的索引标识。

图5是本发明的用于HBase数据库的数据检索方法的另一示例的步骤流程图。图6是图5的数据检索方法的一实施方式的步骤流程图。

需要说明的是，图5的数据检索方法中步骤S101、S102、S103、S104与图1的数据检索方法中步骤S101、S102、S103、S104大致相同，下面将主要说明不同部分的内容，省略了相同部分的重复说明。

如图5所示，所述数据检索方法中建立索引表包括以下步骤S501：判断所述原始表中与所建立的多类索引表中同一索引标识具有对应关系的键数据，以更新所建立的多类索引表中索引标识对应的键数据。

具体地，在所述分批次扫描所述原始表的过程中，判断所述原始表中与所建立的多类索引表中同一索引标识具有对应关系的键数据。

具体通过判断所述原始表中与所建立的多类索引表中同一索引标识是否具有对应关系的键数据（即图6中判断是否还有对应关系的键数据的步骤），在判断结果为“是”或“否”（判断所述原始表中与所建立的多类索引表中同一索引标识是否具有对应关系的键数据）。其中，如果判断结果为“是”，则追加索引数据（即索引标识），具体将所述具有对应关系的键数据追加为索引数据（即索引标识），以用于更新所建立的多类索引表（即图6中的更新索引表）。如果判断结果为“否”，则插入索引数据（即索引标识），以用于确定不更新所建立的多类索引表（即图6中的不更新索引表）。由此不断更新与所述同一索引标识位于同一行的V位置的键数据，直到对所述原始表扫描完成为止。

在一实施方式中，如下表5所示，对原始表（例如表1）分两次扫描，在两次扫描过程中，判断与所选出的V12具有对应关系的键数据，其中，第一次扫描过程，判断出与V12具有对应关系的K1。第二次扫描过程，判断出与V12具有对应关系的K3和K5。这样不断更新所建立的第一索引表，直到对原始表（例如表1）扫描完成为止。由此能够在快速扫描的同时，精确建立第一索引表。

表5是示出对原始表进行分批次扫描的一示例表。

表5

需要说明的是，对于扫描的次数，可根据原始表的数据量来确定，还可以是三次，四次或更多次，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

在另一实施方式中，在扫描原始表之前，先判断原始表的数据量是否超过预定量，在原始表的数据量大于等于预定量时，确定进行分批次扫描，并确定扫描次数。而在原始表的数据量小于预定量时，确定不进行分批次扫描。

需要说明的是，在一些实施方式中，还设定更新周期，根据实际的用户检索参数的变化来更新第一索引表和第二索引表中索引标识。此外，在其他实施方式中还使用与值数据相关的索引参数作为新建索引标识，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

与现有技术相比，本发明的数据检索方法通过分批扫描同一原始表，根据所选的一个或多个值数据（即Value数据）建立多类索引表，并根据实时更新的第一匹配索引参数计数信息和第二匹配索引参数计数信息，自动销毁已有索引标识和自动新建索引标识，能够实现最精确的检索索引表，使用所建立的多类索引表并配合原始表进行数据检索，能够快速提升检索HBase数据库中的数据的检索速度进而能够提升检索效率。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图7是根据本发明的装置的一示例的结构示意图。

如图7所示，本公开第二方面提供一种数据检索装置700，所述数据检索装置700包括扫描模块710、自动处理模块720、建立模块730和检索模块740。

具体地，扫描模块710用于扫描目标数据库的原始表，所述原始表包括位于K位置的键数据、位于V位置且与键数据具有对应关系的至少一个值数据；所述原始表包括原始索引表。

自动处理模块720在分批次扫描所述原始表的过程中，从所述原始表中选择值数据，将所述值数据用作新建索引标识，并在使用所述原始索引表进行数据检索时，根据实时更新的匹配索引参数计数信息，自动新建索引标识或自动销毁已有索引标识。

建立模块730根据所新建的索引标识、所销毁的已有索引标识，自动更新索引标识以及与各索引标识相对应的业务数据，建立多类索引表。

检索模块740在接收到所述目标数据库的数据检索请求时，获取检索请求参数，根据所建立的多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索。

在本示例中，所述键数据包括使用数字和/或英文字母组成的场景标识，所述场景标识用于不同应用场景。所述值数据包括与各场景标识相对应的多个数据。

在一实施方式中，所述数据检索装置700还包括匹配模块，所述匹配模块将所述检索请求参数与所述多类索引表的标识参数进行匹配，其中，在参数匹配成功的情况下，将第一匹配索引参数计数增加1以实时更新第一匹配索引参数计数信息，并确定要用的索引标识以进行业务数据检索；所述第一匹配索引参数计数信息包括已有索引标识、请求量。

在参数匹配不成功的情况下，将第二匹配索引参数计数增加1以实时更新第二匹配索引参数计数信息，并确定无索引标识以使用原始表进行数据检索；所述第二匹配索引参数计数信息包括未出现过的索引参数（或者没有与该索引参数相对应的索引标识）、请求量（例如单日请求量、预定时间段内的请求量）。

在一可选的实施方式中，从所述至少一个值数据中选择一个值数据，将所述一个值数据放置在K位置以用作新建索引标识，并将与所述一个值数据具有对应关系的键数据放置在V位置，形成新的数据对应关系，进一步得到以值数据为索引标识的第一索引表，其中，所述新的数据对应关系包括一对一、一对多。

在一可选的实施方式中，从所述至少一个值数据中选择多个值数据，以与建立第一索引表相同的方式，将所述多个值数据用作新建索引标识且形成组合索引标识，并与具有对应关系的键数据形成新的数据对应关系，进一步得到第二索引表，其中，所述新的数据对应关系包括多对多、多对一。

在一可选的实施方式中，在所述分批次扫描所述原始表的过程中，判断所述原始表中与所建立的索引表中同一索引标识具有对应关系的键数据，不断更新与所述同一索引标识位于同一行的V位置的键数据，直到对所述原始表扫描完成为止。

在使用所述原始索引表进行数据检索时，根据实时更新的第一匹配索引参数计数信息，获取满足销毁规则的索引参数，并销毁所述索引参数对应的索引标识，以更新所建立的索引表，其中，所述销毁规则包括单日请求量是否小于指定数量，是否为连续预定时间段内的请求量递减或为零、小于请求量递减的预定比例；所述原始索引表用于表征以键数据作为索引标识建立的索引表；所述第一匹配索引参数计数信息包括已有索引标识、索引参数、请求量。

在使用所述原始索引表进行数据检索时，根据实时更新的第二匹配索引参数计数信息，获取满足创建规则的索引参数，并使用满足创建规则的索引参数创建新的索引标识，以更新所建立的索引表，其中，所述创建规则包括单日请求量是否大于指定数量，是否为连续预定时间段内的请求量递增、大于请求量递增的预定比例；所述第二匹配索引参数计数信息包括未出现过的索引参数、请求量。

在一可选的实施方式中，在根据所建立的多类索引表进行数据检索之前，识别所述数据检索请求中的请求参数，确定是否包括值数据或与值数据相关的索引参数、键数据或与键数据相关的索引参数，以进行参数匹配。

在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，则参数匹配成功，使用所建立的多类索引表查找相匹配的索引标识及与该索引标识相对应的键数据；根据所查到的键数据，进一步从包含所述键数据的原始表中查找与所述键数据相对应的一条或多条业务数据。

在一可选的实施方式中，在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，且在根据第一索引表所确定的索引参数对应有两个或两个以上的索引标识时，则参数匹配成功，对所述两个或两个以上的索引标识对应的键数据做交集，得到最终的键数据以用于在原始表中进行数据检索。在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，在根据第二索引表所确定的索引参数对应组合索引标识时，使用所述组合索引标识进行数据检索。

在一可选的实施方式中，在确定不包含值数据或与值数据相关的索引参数、且包含键数据或与键数据相关的索引参数时，根据所确定的索引参数确定对应的索引标识，并使用所确定的索引标识进行数据检索

与现有技术相比，本发明的数据检索方法通过分批扫描同一原始表，根据所选的一个或多个值数据（即Value数据）建立多类索引表，并根据实时更新的第一匹配索引参数计数信息和第二匹配索引参数计数信息，自动销毁已有索引标识和自动新建索引标识，能够实现最精确的检索索引表，使用所建立的多类索引表并配合原始表进行数据检索，能够快速提升检索HBase数据库中的数据的检索速度进而能够提升检索效率。

图8是根据本发明的电子设备实施例的结构示意图。

如图8所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。

所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。

所述存储器包括易失性存储器，例如随机存取存储单元（RAM）和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元（ROM）。

可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

应当理解，图8所示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按钮、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图9所示，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干命令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本发明实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

上述计算机可读介质承载有一个或者多个程序（例如为计算机可执行程序），当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现本公开的方法。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干命令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本发明实施例的方法。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (8)

1.一种用于HBase数据库的数据检索方法，其特征在于，包括：

扫描目标数据库的原始表，所述原始表包括位于K位置的键数据、位于V位置且与键数据具有对应关系的至少一个值数据，所述键数据包括使用数字和/或英文字母组成的场景标识，所述场景标识用于不同应用场景；所述值数据包括与各场景标识相对应的多个业务数据；所述原始表包括原始索引表，使用键数据、与键数据相关的参数或者数字和键数据的组合来表示所述原始索引表的索引标识；

在分批次扫描所述原始表的过程中，从所述原始表中选择值数据，将所述值数据用作新建索引标识，并在使用所述原始索引表进行数据检索时，根据实时更新的匹配索引参数计数信息，自动新建索引标识或自动销毁已有索引标识，以更新原始索引表；

根据所新建的索引标识、所销毁的已有索引标识，自动更新索引标识以及与各索引标识相对应的业务数据，建立多类索引表，所述多类索引表包括第一索引表、第二索引表和更新后的原始索引表；

在接收到所述目标数据库的数据检索请求时，获取检索请求参数，根据所建立的多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索，具体包括：将所述检索请求参数与所述多类索引表的索引参数进行匹配，其中，

在参数匹配成功的情况下，将第一匹配索引参数计数增加1以实时更新第一匹配索引参数计数信息，并确定有对应索引标识以进行业务数据检索；在参数匹配不成功的情况下，将第二匹配索引参数计数增加1以实时更新第二匹配索引参数计数信息，并确定无对应索引标识以使用原始表进行数据检索。

2.根据权利要求1所述的数据检索方法，其特征在于，

从所述至少一个值数据中选择一个值数据，将所述一个值数据放置在K位置以用作新建索引标识，并将与所述一个值数据具有对应关系的键数据放置在V位置，形成新的数据对应关系，进一步得到以值数据为索引标识的第一索引表，其中，所述新的数据对应关系包括一对一、一对多。

3.根据权利要求2所述的数据检索方法，其特征在于，

从所述至少一个值数据中选择多个值数据，以与建立第一索引表相同的方式，将所述多个值数据用作新建索引标识且形成组合索引标识，并与具有对应关系的键数据形成新的数据对应关系，进一步得到第二索引表，其中，所述新的数据对应关系包括多对多、多对一。

4.根据权利要求1或2所述的数据检索方法，其特征在于，

在所述分批次扫描所述原始表的过程中，判断所述原始表中与所建立的索引表中同一索引标识具有对应关系的键数据，不断更新与所述同一索引标识位于同一行的V位置的键数据，直到对所述原始表扫描完成为止；

在使用所述原始索引表进行数据检索时，根据实时更新的第一匹配索引参数计数信息，获取满足销毁规则的索引参数，并销毁所述索引参数对应的索引标识，以更新所建立的索引表，其中，所述销毁规则包括单日请求量是否小于指定数量，是否为连续预定时间段内的请求量递减或为零、小于请求量递减的预定比例；所述原始索引表用于表征以键数据作为索引标识建立的索引表；所述第一匹配索引参数计数信息包括已有索引标识、索引参数、请求量；

在使用所述原始索引表进行数据检索时，根据实时更新的第二匹配索引参数计数信息，获取满足创建规则的索引参数，并使用满足创建规则的索引参数创建新的索引标识，以更新所建立的索引表，其中，所述创建规则包括单日请求量是否大于指定数量，是否为连续预定时间段内的请求量递增、大于请求量递增的预定比例；所述第二匹配索引参数计数信息包括未出现过的索引参数、请求量。

5.根据权利要求1或2所述的数据检索方法，其特征在于，

在根据所建立的多类索引表进行数据检索之前，识别所述数据检索请求中的请求参数，确定是否包括值数据或与值数据相关的索引参数、键数据或与键数据相关的索引参数，以进行参数匹配；

在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，则参数匹配成功，使用所建立的多类索引表查找相匹配的索引标识及与该索引标识相对应的键数据；

根据所查到的键数据，进一步从包含所述键数据的原始表中查找与所述键数据相对应的一条或多条业务数据。

6.根据权利要求5所述的数据检索方法，其特征在于，

在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，且在根据第一索引表所确定的索引参数对应有两个或两个以上的索引标识时，则参数匹配成功，对所述两个或两个以上的索引标识对应的键数据做交集，得到最终的键数据以用于在原始表中进行数据检索；

在确定包含值数据或与值数据相关的索引参数、不包含键数据和与键数据相关的索引参数时，且在根据第二索引表所确定的索引参数对应组合索引标识时，使用所述组合索引标识进行数据检索。

7.根据权利要求5所述的数据检索方法，其特征在于，

在确定不包含值数据或与值数据相关的索引参数、且包含键数据或与键数据相关的索引参数时，根据所确定的索引参数确定对应的索引标识，并使用所确定的索引标识进行数据检索。

8.一种数据检索装置，其特征在于，包括：

扫描模块，用于扫描目标数据库的原始表，所述原始表包括位于K位置的键数据、位于V位置且与键数据具有对应关系的至少一个值数据，所述键数据包括使用数字和/或英文字母组成的场景标识，所述场景标识用于不同应用场景；所述值数据包括与各场景标识相对应的多个业务数据；所述原始表包括原始索引表，使用键数据、与键数据相关的参数或者数字和键数据的组合来表示所述原始索引表的索引标识；

自动处理模块，在分批次扫描所述原始表的过程中，从所述原始表中选择值数据，将所述值数据用作新建索引标识，并在使用所述原始索引表进行数据检索时，根据实时更新的匹配索引参数计数信息，自动新建索引标识或自动销毁已有索引标识，以更新原始索引表；

建立模块，根据所新建的索引标识、所销毁的已有索引标识，自动更新索引标识以及与各索引标识相对应的业务数据，建立多类索引表，所述多类索引表包括第一索引表、第二索引表和更新后的原始索引表；

检索模块，在接收到所述目标数据库的数据检索请求时，获取检索请求参数，根据所建立的多类索引表进行参数匹配，确定要用的索引标识以进行业务数据检索；

匹配模块，将所述检索请求参数与所述多类索引表的标识参数进行匹配，其中，

在参数匹配成功的情况下，将第一匹配索引参数计数增加1以实时更新第一匹配索引参数计数信息，并确定要用的索引标识以进行业务数据检索；所述第一匹配索引参数计数信息包括已有索引标识、请求量；

在参数匹配不成功的情况下，将第二匹配索引参数计数增加1以实时更新第二匹配索引参数计数信息，并确定无索引标识以使用原始表进行数据检索。

Images