CN104156380A - 一种分布式存储器哈希索引方法及系统 - Google Patents
一种分布式存储器哈希索引方法及系统 Download PDFInfo
- Publication number
- CN104156380A CN104156380A CN201410077069.4A CN201410077069A CN104156380A CN 104156380 A CN104156380 A CN 104156380A CN 201410077069 A CN201410077069 A CN 201410077069A CN 104156380 A CN104156380 A CN 104156380A
- Authority
- CN
- China
- Prior art keywords
- node
- key
- module
- memory
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000012217 deletion Methods 0.000 claims description 13
- 230000037430 deletion Effects 0.000 claims description 13
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据库、分布式信息处理技术领域，尤其涉及一种分布式存储器哈希索引方法及系统。在本发明中，将哈希表的地址范围映射到多个存储器节点中，主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号；然后根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，对存储器节点地址对应存储器节点进行写入、读取、或删除操作，由于通过多个存储器节点扩充了存储器容量，同时通过基于键值（key-value）分布式哈希查找，提高了数据库系统的读写性能。
Description
技术领域
本发明属于数据库、分布式信息处理技术领域，尤其涉及一种分布式存储器哈希索引方法及系统。
背景技术
在科技快速发展的今天，社会各个领域中的需要统计的数据都飞速增长，海量数据的记录、查找为计算机技术带来新的发展方向，提供新的技术课题。传统基于磁盘的哈希表，每一次磁盘I/O都要耗费大量的时间，很难满足现代交易系统（如股票等）对实时回应时间的要求。此外对于海量数据，单机节点由于存储器容量的限制无法将全部索引保存在内存中。
发明内容
本发明的目的在于提供一种基于多存储节点以及key-value的分布式存储器哈希索引方法，旨在解决现有的磁盘哈希表I/O耗时长以及单机节点由于存储器容量的限制无法将全部索引保存在内存中的问题。
本发明是这样实现的，一种分布式存储器哈希索引方法，包括：
将哈希表的地址范围映射到多个存储器节点中；
主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号；
根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中；
对所述存储器节点地址对应存储器节点进行写入、读取、或删除操作。
进一步的，所述的根据计算得到的键值的哈希值获取节点编号，具体为：
将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。
进一步的，所述方法还包括：
磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像，对磁盘节点进行写入或删除操作。
本发明还提供了一种分布式存储器哈希索引系统，包括：映射模块、计算模块、第一获取模块、第一查找模块、写入模块、读取模块、删除模块；
所述映射模块，用于将哈希表的地址范围映射到多个存储器节点中；
所述计算模块，用于主节点计算键key的哈希值；
所述第一获取模块，用于根据计算得到的键key的哈希值获取存储器节点编号；
所述第一查找模块，用于根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中；
所述写入模块，用于对所述存储器节点地址对应存储器节点进行写入操作；
所述读取模块，用于对所述存储器节点地址对应存储器节点进行读取操
作；
所述删除模块，用于对所述存储器节点地址对应存储器节点进行删除操
作。
进一步的，所述第一获取模块还包括：
第一获取子模块，用于将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。
进一步的，所述系统还包括：存储模块，用于磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像；
进一步的，所述写入模块还用于对磁盘节点进行写入操作；所述删除模块还用于对磁盘节点进行删除操作。
在本发明中，将哈希表的地址范围映射到多个存储器节点中，主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号；然后根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，对存储器节点地址对应存储器节点进行写入、读取、或删除操作，由于通过多个存储器节点扩充了存储器容量，同时通过基于键值（key-value）分布式哈希查找，提高了数据库系统的读写性能。
附图说明
图1是本发明实施例提供的分布式存储器哈希索引方法的实现流程图；
图2是本发明实施例提供的对节点地址对应节点进行写入操作具体实现流程图;
图3是本发明实施例提供的对节点地址对应节点进行读取操作具体实现流程图;
图4是本发明实施例提供的对节点地址对应节点进行删除操作具体实现流程图;
图5是本发明实施例提供的分布式存储器哈希索引系统的结构框图；
图6是本发明实施例提供的图5中的写入模块55的结构框图；
图7是本发明实施例提供的图5中的读取模块56的结构框图；
图8是本发明实施例提供的图5中的删除模块57的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例提供的一种分布式存储器哈希索引方法的实现流程，详述如下：
步骤101、将哈希表的地址范围映射到多个存储器节点中。
首先将哈希表的地址范围映射到多个存储器节点中，每个存储器节点存储相应的哈希表也即保存索引表的一部分。所有的存储器节点组成的集群也叫储存器索引点。
步骤102、主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号。
一个key(键)应该映射到哪个存储器节点有主节点决定，主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号。在本发明实施例中，根据计算得到的键值的哈希值获取节点编号，具体为：将计算得到的key的哈希值的前m位作为节点编号，其中m为存储器节点的个数。
步骤103、根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址。
主节点获取存储器节点编号之后，根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址。存储器节点编号与存储器节点IP的映射关系事先存储在路由表中，而路由表存储在主节点中。
步骤104、对上述存储器节点地址对应存储器节点进行写入、读取、或删除操作。
主节点查找到对应存储器节点的地址之后，对存储器节点地址对应存储器节点进行写入（put）、读取（get）、或删除(delete)操作。
本发明实施例，由于通过多个存储器节点扩充了存储器容量，同时通过基于键值（key-value）分布式哈希查找，提高了数据库系统的读写性能。
进一步的，为了对索引保持持久化，上述方法还包括：磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像，对磁盘节点进行写入或删除操作。具体的，读取操作只针对存储器节点进行，并不会查找磁盘节点，而写入与删除操作会同时针对存储器节点与磁盘节点进行操作，但是，针对存储器节点的操作与针对磁盘节点的操作是非同步进行的，存储器节点的操作并不需要等待磁盘节点操作的完成，因此，磁盘节点的操作并不影响系统整体性能。加入磁盘节点的目的是为了对索引进行持久化保存，并不影响系统的处理速度。
进一步的，为了更加详细的描述步骤104中的对节点地址对应节点进行写入操作，本发明实施例结合附图2做以下具体描述：
步骤201、在主节点的bloom filter中查找所述的key是否存在，如果是，则执行步骤202，如果否，则同时执行步骤203与204。
在主节点中存储了bloom filter，bloom filter的作用是可以通过少量的存储器来快速判断给定key是否不存在。然而，如果bloom filter判定给定key存在，此时并不能肯定key确实存在，需要进一步查找存储器节点。
步骤202、查找key是否在当前的存储器节点中，如果是，返回key已经存在，如果否则执行步骤203。
步骤203、根据存储器节点地址，将key及对应的值value写入到存储器节点中，之后结束操作。
如果存储器节点有上述key，则将key及对应的值value写入到内存节点中。
步骤204、将key及对应的value发送到磁盘节点，然后执行步骤205。
步骤205、判断磁盘节点日志缓存区log cache是否已满，若是，则执行步骤206后执行步骤207，若否，则直接执行步骤207。
步骤206、将当前log cache的内容写入到磁盘中，清空log cache。
步骤207、将key及对应的value写入log cache中，之后结束操作。
这样就完成了对存储器节点以及磁盘节点的写入操作。基于key-value模式的查找与写入操作，有效提高了写入效率。
进一步的，为了更加详细的描述步骤104中的对节点地址对应节点进行读取操作，本发明实施例结合附图3做以下具体描述：
步骤301、在主节点的bloom filter中查找所述的key是否存在，如果是，则执行步骤302，如果否，则执行步骤304。
同样，在主节点中存储了bloom filter，bloom filter的作用是可以通过少量的存储器来快速判断给定key是否不存在。然而，如果bloom filter判定给定key存在，此时并不能肯定key确实存在，需要进一步查找存储器节点。
步骤302、根据存储器节点IP查找key是否在当前的存储器节点中，如果是，则执行步骤303，如果否，则执行步骤304。
步骤303、返回key及对应的值value。
当存储器节点查找key在当前的存储器节点中，则返回key及对应的值value。
步骤304、返回key不存在。
这样就完成了对存储器节点的读取操作。同样，基于key-value模式的查找与读取操作，有效提高了读取效率。
进一步的，为了更加详细的描述步骤104中的对节点地址对应节点进行读取操作，本发明实施例结合附图4做以下具体描述：
步骤401、在主节点的bloom filter中查找所述的key是否存在，如果是，则执行步骤402，如果否，则执行步骤405。
同样，在主节点中存储了bloom filter，bloom filter的作用是可以通过少量的存储器来快速判断给定key是否不存在。然而，如果bloom filter判定给定key存在，此时并不能肯定key确实存在，需要进一步查找存储器节点。
步骤402、根据存储器节点IP查找key是否在当前的存储器节点中，如果是，则同时执行步骤403以及步骤404，如果否，则执行步骤405。
步骤403、删除存储器节点中的key及对应的值value。
步骤404、删除磁盘节点中的key及对应的值value。
步骤405、返回key不存在。
本发明实施例，通过主节点的bloom filter以及基于key-value模式的查找与读取操作，有效提高了删除操作效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。
图5为本发明实施例提供了一种分布式存储器哈希索引系统，该系统能实现前述实施例所述的方法。为了便于说明，仅示出了与本实施例相关的部分。如图5所示，所述系统包括：映射模块51、计算模块52、第一获取模块53、第一查找模块54、写入模块55、读取模块56、删除模块57。
映射模块51，用于将哈希表的地址范围映射到多个存储器节点中；
计算模块52，用于主节点计算键key的哈希值；
第一获取模块53，用于根据计算得到的键key的哈希值获取存储器节点编号。进一步的，第一获取模块53还包括：第一获取子模块531，用于将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。
第一查找模块54，用于根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中。
写入模块55，用于对存储器节点地址对应存储器节点进行写入操作。
读取模块56，用于对存储器节点地址对应存储器节点进行读取操作。
删除模块57，用于对存储器节点地址对应存储器节点进行删除操作。
进一步的，上述系统还包括：存储模块58，用于磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像。
进一步的，写入模块55还用于对磁盘节点进行写入操作；删除模块57还用于对磁盘节点进行删除操作。
在本发明实施例中，由于通过多个存储器节点扩充了存储器容量，同时通过基于键值（key-value）分布式哈希查找，提高了数据库系统的读写性能。
图6为本发明实施例中提供的图5中写入模块55的结构框图，写入模块55包括第二查找模块551、第三查找模块552、第一写入子模块553、第一发送模块554、第一判断模块555、第二写入子模块556、第三写入子模块557、第一返回模块558。
第二查找模块551，用于在主节点的bloom filter中查找所述的key是否存在。
第三查找模块552，用于在第二查找模块551查找到key存在时，查找key是否在当前的存储器节点中。
第一写入子模块553，用于在第三查找模块552在当前的存储器节点中没有查找到key时，根据存储器节点IP地址，将key及对应的值value写入到存储器节点中。
第一发送模块554，用于在第三查找模块552在当前的存储器节点没有查找到key时，将key及对应的value发送到磁盘节点。
第一判断模块555，用于判断磁盘节点日志缓存区log cache是否已满。
第二写入子模块556，用于在第一判断模块555判断磁盘节点日志缓存区log cache已满时，将当前log cache的内容写入到磁盘中，并清空log cache。
第三写入子模块557，用于将key及对应的value写入log cache中。
第一返回模块558，用于在第三查找模块552在当前的存储器节点中查找到key时，返回key以及存在。
图7为本发明实施例中提供的图5中读取模块56的结构框图。读取模块56，包括第四查找模块561、第五查找模块562、第二返回模块563。
第四查找模块561，用于在主节点的bloom filter中查找所述的key是否存在。
第五查找模块562，用于在第四查找模块561查找到key存在时，查找key是否在当前的存储器节点中。
第二返回模块563，用于在第五查找模块562查找key在当前的存储器节点中时，返回key及对应的值value。第二返回模块563还用于在第四查找模块561查找到key不存在或者第五查找模块562查找key不在当前的存储器节点中时，返回key不存在。
图8为本发明实施例中提供的图5中删除模块57的结构框图。删除模块57包括：第六查找模块571、第七查找模块572、第一删除子模块573、第二删除子模块574以及第三返回模块575。
第六查找模块571，用于在主节点的bloom filter中查找所述的key是否存在。
第七查找模块572，用于在第六查找模块571查找到主节点的bloom filter的key存在时，根据存储器节点IP查找key是否在当前的存储器节点中。
第一删除子模块573，用于第七查找模块572查找key在当前的存储器节点中时，删除存储器节点中的key及对应的值value。
第二删除子模块574，用于第七查找模块572查找key在当前的存储器节点中时，删除磁盘节点中的key及对应的值value。
第三返回模块575，用于第六查找模块571查找到key不存在或者第七查找模块572查找key不在当前的存储器节点中时，返回key不存在。
本发明实施例，通过主节点的bloom filter以及基于key-value模式的查找与写入、读取、删除操作，有效提高了操作效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式存储器哈希索引方法，其特征在于，包括：
将哈希表的地址范围映射到多个存储器节点中；
主节点计算键key的哈希值，根据计算得到的键key的哈希值获取存储器节点编号；
根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中；
对所述存储器节点地址对应存储器节点进行写入、读取、或删除操作。
2.如权利要求1所述的方法，其特征在于，所述的根据计算得到的键值的哈希值获取节点编号，具体为：
将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像，对磁盘节点进行写入或删除操作。
4.如权利要求3所述的方法，其特征在于，所述对所述存储器节点地址对应存储器节点进行写入操作，具体以下步骤：
步骤A1、在主节点的bloom filter中查找所述的key是否存在，如果是，则执行步骤A2，如果否，则同时执行步骤A3与A4；
步骤A2、查找key是否在当前的存储器节点中，如果是，则执行步骤A5，如果否则执行步骤A3；
步骤A3、根据存储器节点IP，将key及对应的值value写入到存储器节点中，之后结束操作；
步骤A4、将key及对应的value发送到磁盘节点，然后执行步骤A5；
步骤A5、判断磁盘节点日志缓存区log cache是否已满，若是，则执行步 骤A6后执行步骤A7，若否，则直接执行步骤A7；
步骤A6、将当前log cache的内容写入到磁盘中，清空log cache；
步骤A7、将key及对应的value写入log cache中，之后结束操作。
5.如权利要求3所述的方法，其特征在于，所述对所述存储器节点地址对应存储器节点进行读取操作，具体以下步骤：
步骤B1、在主节点的bloom filter中查找所述的key是否存在，如果是，则执行步骤B2，如果否，则执行步骤B4；
步骤B2、根据存储器节点IP查找key是否在当前的存储器节点中，如果是，则执行步骤B3，如果否，则执行步骤B4；
步骤B3、返回key及对应的值value;
步骤B4、返回key不存在。
6.如权利要求3-5之一所述的方法，其特征在于，所述对所述存储器节点地址对应存储器节点进行删除操作，具体以下步骤：
步骤C1、在主节点的bloom filter中查找所述的key是否存在，如果是，则执行步骤C2，如果否，则执行步骤C5；
步骤C2、根据存储器节点IP查找key是否在当前的存储器节点中，如果是，则同时执行步骤C3以及步骤C4，如果否，则执行步骤C5；
步骤C3、删除存储器节点中的key及对应的值value;
步骤C4、删除磁盘节点中的key及对应的值value；
步骤C5、返回key不存在。
7.一种分布式存储器哈希索引系统，其特征在于，包括：映射模块、计算模块、第一获取模块、第一查找模块、写入模块、读取模块、删除模块；
所述映射模块，用于将哈希表的地址范围映射到多个存储器节点中；
所述计算模块，用于主节点计算键key的哈希值；
所述第一获取模块，用于根据计算得到的键key的哈希值获取存储器节点编号；
所述第一查找模块，用于根据存储器节点编号与存储器节点IP的映射关系查找到对应的存储器节点地址，所述存储器节点编号与存储器节点IP的映射关系存储在路由表中，所述路由表存储在主节点中；
所述写入模块，用于对所述存储器节点地址对应存储器节点进行写入操作；
所述读取模块，用于对所述存储器节点地址对应存储器节点进行读取操
作；
所述删除模块，用于对所述存储器节点地址对应存储器节点进行删除操
作。
8.如权利要求7所述的系统，其特征在于，所述第一获取模块还包括：
第一获取子模块，用于将计算得到的key的哈希值的前m位作为节点编号，所述m为存储器节点的个数。
9.如权利要求7或8所述的系统，其特征在于，所述系统还包括：存储模块，用于磁盘节点通过基于磁盘的哈希表保存存储器节点中的哈希表的镜像。
10.如权利要求9所述的系统，其特征在于，所述写入模块还用于对磁盘节点进行写入操作；所述删除模块还用于对磁盘节点进行删除操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410077069.4A CN104156380B (zh) | 2014-03-04 | 2014-03-04 | 一种分布式存储器哈希索引方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410077069.4A CN104156380B (zh) | 2014-03-04 | 2014-03-04 | 一种分布式存储器哈希索引方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104156380A true CN104156380A (zh) | 2014-11-19 |
| CN104156380B CN104156380B (zh) | 2019-03-26 |
Family
ID=51881885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410077069.4A Expired - Fee Related CN104156380B (zh) | 2014-03-04 | 2014-03-04 | 一种分布式存储器哈希索引方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104156380B (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408165A (zh) * | 2014-12-08 | 2015-03-11 | 畅捷通信息技术股份有限公司 | 高并发下的数据存储方法和装置 |
| CN105159985A (zh) * | 2015-08-31 | 2015-12-16 | 努比亚技术有限公司 | 基于redis集群的数据查询装置及方法 |
| CN105426451A (zh) * | 2015-11-11 | 2016-03-23 | 深圳市华讯方舟科技有限公司 | 一种基于键值对的数据处理方法及系统 |
| CN105930510A (zh) * | 2016-05-12 | 2016-09-07 | 广西尊达电子商务有限公司 | 一种基于库表散列的多数据库管理系统 |
| WO2016165622A1 (en) * | 2015-04-14 | 2016-10-20 | Yi Tai Fei Liu Information Technology Llc | Systems and methods for key-value stores |
| CN106339450A (zh) * | 2016-08-25 | 2017-01-18 | 成都索贝数码科技股份有限公司 | 一种树形数据的索引方法 |
| CN106527982A (zh) * | 2016-10-25 | 2017-03-22 | 西安交通大学 | 一种针对由异构存储设备组成的对象存储系统的对象分布算法 |
| CN106845926A (zh) * | 2016-12-27 | 2017-06-13 | 中国建设银行股份有限公司 | 一种第三方支付监管系统分布式数据流处理方法及系统 |
| CN107562385A (zh) * | 2017-09-13 | 2018-01-09 | 郑州云海信息技术有限公司 | 分布式存储客户端读取数据的方法、装置和设备 |
| CN109376136A (zh) * | 2018-10-19 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种分布式日志处理系统、网络设备及方法 |
| WO2019119764A1 (zh) * | 2017-12-21 | 2019-06-27 | 北京忆恒创源科技有限公司 | Kv存储设备的地址转换方法与系统 |
| CN110134678A (zh) * | 2018-02-08 | 2019-08-16 | 深圳先进技术研究院 | 一种生物数据的索引方法、系统及电子设备 |
| CN110245129A (zh) * | 2019-04-23 | 2019-09-17 | 平安科技（深圳）有限公司 | 一种分布式全局数据去重方法和装置 |
| CN110347886A (zh) * | 2019-06-21 | 2019-10-18 | 政采云有限公司 | 分布式父子关系元素查找方法 |
| WO2020024590A1 (en) * | 2018-08-02 | 2020-02-06 | Memverge, Inc. | Persistent memory key-value store in a distributed memory architecture |
| CN110781155A (zh) * | 2019-10-18 | 2020-02-11 | 赛尔网络有限公司 | 基于ipfs的数据存储读取方法、系统、设备和介质 |
| CN111245943A (zh) * | 2020-01-14 | 2020-06-05 | 山东汇贸电子口岸有限公司 | 一种Redis集群获取可访问IP地址的方法 |
| CN111258508A (zh) * | 2020-02-16 | 2020-06-09 | 西安奥卡云数据科技有限公司 | 一种分布式对象存储中的元数据管理方法 |
| CN112445771A (zh) * | 2020-12-10 | 2021-03-05 | 阿米华晟数据科技(江苏)有限公司 | 网络流量的数据处理方法、装置、设备及存储介质 |
| CN112511450A (zh) * | 2020-11-02 | 2021-03-16 | 杭州迪普信息技术有限公司 | 一种流量控制设备与方法 |
| CN112637327A (zh) * | 2020-12-21 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置及系统 |
| CN114265787A (zh) * | 2021-12-29 | 2022-04-01 | 北京天融信网络安全技术有限公司 | 数据存储方法、数据查询方法、装置及电子设备 |
| CN115484315A (zh) * | 2022-08-19 | 2022-12-16 | 中国科学院信息工程研究所 | 基于rdma的网络功能状态共享方法及系统 |
| CN117112549A (zh) * | 2023-10-20 | 2023-11-24 | 中科星图测控技术股份有限公司 | 一种基于布隆过滤器的大数据归并方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004769A (zh) * | 2010-11-12 | 2011-04-06 | 成都市华为赛门铁克科技有限公司 | 文件管理方法、设备及存储系统 |
| US20120102298A1 (en) * | 2010-10-20 | 2012-04-26 | Microsoft Corporation | Low RAM Space, High-Throughput Persistent Key-Value Store using Secondary Memory |
| CN102591970A (zh) * | 2011-12-31 | 2012-07-18 | 北京奇虎科技有限公司 | 一种分布式键-值查询方法和查询引擎系统 |
| CN102929793A (zh) * | 2011-08-08 | 2013-02-13 | 株式会社东芝 | 包括键-值存储的存储器系统 |
| US20130212296A1 (en) * | 2012-02-13 | 2013-08-15 | Juniper Networks, Inc. | Flow cache mechanism for performing packet flow lookups in a network device |
-
2014
- 2014-03-04 CN CN201410077069.4A patent/CN104156380B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120102298A1 (en) * | 2010-10-20 | 2012-04-26 | Microsoft Corporation | Low RAM Space, High-Throughput Persistent Key-Value Store using Secondary Memory |
| CN102004769A (zh) * | 2010-11-12 | 2011-04-06 | 成都市华为赛门铁克科技有限公司 | 文件管理方法、设备及存储系统 |
| CN102929793A (zh) * | 2011-08-08 | 2013-02-13 | 株式会社东芝 | 包括键-值存储的存储器系统 |
| CN102591970A (zh) * | 2011-12-31 | 2012-07-18 | 北京奇虎科技有限公司 | 一种分布式键-值查询方法和查询引擎系统 |
| US20130212296A1 (en) * | 2012-02-13 | 2013-08-15 | Juniper Networks, Inc. | Flow cache mechanism for performing packet flow lookups in a network device |
Non-Patent Citations (1)
| Title |
|---|
| 王寅峰 等: ""一种支持高维数据查询的并行索引机制"", 《华中科技大学学报（自然科学版）》 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408165A (zh) * | 2014-12-08 | 2015-03-11 | 畅捷通信息技术股份有限公司 | 高并发下的数据存储方法和装置 |
| CN104408165B (zh) * | 2014-12-08 | 2018-04-13 | 畅捷通信息技术股份有限公司 | 高并发下的数据存储方法和装置 |
| WO2016165622A1 (en) * | 2015-04-14 | 2016-10-20 | Yi Tai Fei Liu Information Technology Llc | Systems and methods for key-value stores |
| US10740290B2 (en) | 2015-04-14 | 2020-08-11 | Jetflow Technologies | Systems and methods for key-value stores |
| CN105159985A (zh) * | 2015-08-31 | 2015-12-16 | 努比亚技术有限公司 | 基于redis集群的数据查询装置及方法 |
| CN105426451A (zh) * | 2015-11-11 | 2016-03-23 | 深圳市华讯方舟科技有限公司 | 一种基于键值对的数据处理方法及系统 |
| CN105930510A (zh) * | 2016-05-12 | 2016-09-07 | 广西尊达电子商务有限公司 | 一种基于库表散列的多数据库管理系统 |
| CN106339450B (zh) * | 2016-08-25 | 2019-08-06 | 成都索贝数码科技股份有限公司 | 一种树形数据的索引方法 |
| CN106339450A (zh) * | 2016-08-25 | 2017-01-18 | 成都索贝数码科技股份有限公司 | 一种树形数据的索引方法 |
| CN106527982A (zh) * | 2016-10-25 | 2017-03-22 | 西安交通大学 | 一种针对由异构存储设备组成的对象存储系统的对象分布算法 |
| CN106527982B (zh) * | 2016-10-25 | 2019-04-12 | 西安交通大学 | 一种针对由异构存储设备组成的对象存储系统的对象分布算法 |
| CN106845926A (zh) * | 2016-12-27 | 2017-06-13 | 中国建设银行股份有限公司 | 一种第三方支付监管系统分布式数据流处理方法及系统 |
| CN107562385A (zh) * | 2017-09-13 | 2018-01-09 | 郑州云海信息技术有限公司 | 分布式存储客户端读取数据的方法、装置和设备 |
| CN109947669A (zh) * | 2017-12-21 | 2019-06-28 | 北京忆恒创源科技有限公司 | Kv存储设备的地址转换方法与系统 |
| WO2019119764A1 (zh) * | 2017-12-21 | 2019-06-27 | 北京忆恒创源科技有限公司 | Kv存储设备的地址转换方法与系统 |
| US11449270B2 (en) | 2017-12-21 | 2022-09-20 | Beijing Memblaze Technology Co., Ltd | Address translation method and system for KV storage device |
| CN110134678A (zh) * | 2018-02-08 | 2019-08-16 | 深圳先进技术研究院 | 一种生物数据的索引方法、系统及电子设备 |
| WO2020024590A1 (en) * | 2018-08-02 | 2020-02-06 | Memverge, Inc. | Persistent memory key-value store in a distributed memory architecture |
| CN109376136A (zh) * | 2018-10-19 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种分布式日志处理系统、网络设备及方法 |
| CN110245129A (zh) * | 2019-04-23 | 2019-09-17 | 平安科技（深圳）有限公司 | 一种分布式全局数据去重方法和装置 |
| CN110245129B (zh) * | 2019-04-23 | 2022-05-13 | 平安科技（深圳）有限公司 | 一种分布式全局数据去重方法和装置 |
| CN110347886B (zh) * | 2019-06-21 | 2022-03-25 | 政采云有限公司 | 分布式父子关系元素查找方法 |
| CN110347886A (zh) * | 2019-06-21 | 2019-10-18 | 政采云有限公司 | 分布式父子关系元素查找方法 |
| CN110781155B (zh) * | 2019-10-18 | 2022-06-24 | 赛尔网络有限公司 | 基于ipfs的数据存储读取方法、系统、设备和介质 |
| CN110781155A (zh) * | 2019-10-18 | 2020-02-11 | 赛尔网络有限公司 | 基于ipfs的数据存储读取方法、系统、设备和介质 |
| CN111245943A (zh) * | 2020-01-14 | 2020-06-05 | 山东汇贸电子口岸有限公司 | 一种Redis集群获取可访问IP地址的方法 |
| CN111258508A (zh) * | 2020-02-16 | 2020-06-09 | 西安奥卡云数据科技有限公司 | 一种分布式对象存储中的元数据管理方法 |
| CN112511450A (zh) * | 2020-11-02 | 2021-03-16 | 杭州迪普信息技术有限公司 | 一种流量控制设备与方法 |
| CN112511450B (zh) * | 2020-11-02 | 2022-05-31 | 杭州迪普信息技术有限公司 | 一种流量控制设备与方法 |
| CN112445771A (zh) * | 2020-12-10 | 2021-03-05 | 阿米华晟数据科技(江苏)有限公司 | 网络流量的数据处理方法、装置、设备及存储介质 |
| CN112637327A (zh) * | 2020-12-21 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置及系统 |
| CN112637327B (zh) * | 2020-12-21 | 2022-07-22 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置及系统 |
| CN114265787A (zh) * | 2021-12-29 | 2022-04-01 | 北京天融信网络安全技术有限公司 | 数据存储方法、数据查询方法、装置及电子设备 |
| CN114265787B (zh) * | 2021-12-29 | 2024-11-22 | 北京天融信网络安全技术有限公司 | 数据存储方法、数据查询方法、装置及电子设备 |
| CN115484315A (zh) * | 2022-08-19 | 2022-12-16 | 中国科学院信息工程研究所 | 基于rdma的网络功能状态共享方法及系统 |
| CN117112549A (zh) * | 2023-10-20 | 2023-11-24 | 中科星图测控技术股份有限公司 | 一种基于布隆过滤器的大数据归并方法 |
| CN117112549B (zh) * | 2023-10-20 | 2024-03-26 | 中科星图测控技术股份有限公司 | 一种基于布隆过滤器的大数据归并方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104156380B (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104156380A (zh) | 一种分布式存储器哈希索引方法及系统 | |
| US10013317B1 (en) | Restoring a volume in a storage system | |
| JP5996088B2 (ja) | 暗号ハッシュ・データベース | |
| CN104866497B (zh) | 分布式文件系统列式存储的元数据更新方法、装置、主机 | |
| CN103345472B (zh) | 基于有限二叉树布隆过滤器的去冗文件系统及其构建方法 | |
| JP6356675B2 (ja) | 集約／グループ化動作：ハッシュテーブル法のハードウェア実装 | |
| CN106227794B (zh) | 时态图数据中动态属性数据的存储方法和装置 | |
| CN103581331B (zh) | 虚拟机在线迁移方法与系统 | |
| WO2019105420A1 (zh) | 数据查询 | |
| CN102890722A (zh) | 应用于时序历史数据库的索引方法 | |
| WO2018205151A1 (zh) | 数据更新方法和存储装置 | |
| WO2018113317A1 (zh) | 数据的迁移方法、装置和系统 | |
| CN103914483B (zh) | 文件存储方法、装置及文件读取方法、装置 | |
| CN113535670B (zh) | 一种虚拟化资源镜像存储系统及其实现方法 | |
| WO2017161540A1 (zh) | 数据查询的方法、数据对象的存储方法和数据系统 | |
| WO2016070529A1 (zh) | 一种实现重复数据删除的方法及装置 | |
| CN109597829B (zh) | 一种实现可搜索加密关系型数据库缓存的中间件方法 | |
| CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
| WO2013075306A1 (zh) | 数据访问方法和装置 | |
| CN105095113A (zh) | 一种缓存管理方法和系统 | |
| WO2015027731A1 (zh) | 布隆过滤器生成方法和装置 | |
| CN106599091A (zh) | 基于键值存储的rdf图结构存储和索引方法 | |
| EP4462278A1 (en) | Method, apparatus, device, and storage medium for data processing of graph database | |
| CN109213760A (zh) | 非关系数据存储的高负载业务存储及检索方法 | |
| TWI710918B (zh) | 一種ｌｓｍ樹的優化方法、裝置及電腦設備 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190326 |