CN109582758B - 一种Elasticsearch索引分片优化方法 - Google Patents
一种Elasticsearch索引分片优化方法 Download PDFInfo
- Publication number
- CN109582758B CN109582758B CN201811486046.3A CN201811486046A CN109582758B CN 109582758 B CN109582758 B CN 109582758B CN 201811486046 A CN201811486046 A CN 201811486046A CN 109582758 B CN109582758 B CN 109582758B
- Authority
- CN
- China
- Prior art keywords
- index
- node
- fragments
- load
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 239000012634 fragment Substances 0.000 claims abstract description 103
- 238000013467 fragmentation Methods 0.000 claims abstract description 22
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 13
- 238000007619 statistical method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于计算机技术领域，具体为一种Elasticsearch索引分片优化方法；所述方法包括根据Elasticsearch集群节点的负载性能和索引的预估业务数据量，构建索引分片数量模型，计算出合理的索引分片数量，并调整索引的参数设置用于放宽同一索引的分片在每个节点上总数量的限制；根据Elasticsearch集群节点的负载性能，对索引分片分布策略进行优化，使得性能较优的节点优先放置索引分片；根据节点的负载性能，建立负载均衡策略，对高负载节点中的热点分片进行迁移，使得Elasticsearch集群负载均衡；通过本发明采用的方法可以提高索引分片性能以及实现集群负载均衡的目标。
Description
技术领域
本发明属于计算机技术领域，涉及分布式全文检索系统Elasticsearch存储领域，尤其涉及一种Elasticsearch索引分片优化方法。
背景技术
ElasticSearch是一个开源的分布式搜索引擎，它既能存储和管理大规模的非结构化数据，也能实现对其存储数据的近实时全文检索。这使得Elasticsearch近年来在业界得到广泛的部署应用，例如，百度从2013年10月开始使用ElasticSearch并覆盖其20多个业务线；Github使用Elasticsearch搜索20TB的数据，包括13亿的文件和1300亿行的代码；空客公司对交付的10,926架飞机提供其所有机型的相关文档，使用Elasticsearch在2秒内完成对20亿个文档，共6TB数据的全文搜索。对于数据暴涨并且需要对用户提供精确检索服务的企业来说，Elasticsearch为它们提供了对大数据的存储管理和全文检索功能，极大地提高了检索性能和用户体验。
Elasticsearch由于其分布式存储、倒排索引以及数据分片等特性得到广泛关注。当前研究主要集中在其索引存储、数据分片处理、索引结构等方面。针对索引存储方面：郑义成等人提出了一种基于ElasticSearch分布式集群的AIS数据存储方法，该方法对AIS数据构造了索引时空立方体存储结构，从而提升时空查询效率；Dequan Chen,Yi Chen,BrianN等人提出基于HDFS和ElasticSearch日常医疗数据存储集群拓扑的优化，该方法建立两个相同Hadoop环境的大数据平台，每个集群包含一个ElasticSearch集群和一个风暴拓扑实例，以此达到实时或近实时地存储、分析和检索；S Gupta，R Rani进行了Elasticsearch与CouchDB面向文档数据库的存储比较研究，在该研究中分析了Elasticsearch和CouchDB在图像数据集上的性能，证明了在检索操作过程，Elasticsearch性能要比CouchDB好得多。在数据分片处理方面，杨东等人提出了基于哈希优化算法的数据分片技术，利用hash环实现数据在节点中的均匀分布；冯超政等人提出基于MongoDB数据冷热访问特征的Auto-Sharding优化机制，该研究通过对数据的访问特性进行冷热数据判定，并根据数据片之间的热负载差异建立新的数据迁移策略，以此提高数据吞吐量。在索引结构方面：张志远、徐恒盼提出了一种基于倒排索引的多维网络存储模型，通过将图的拓扑结构和顶点的多维属性存储在倒排索引列表中加快查询速度，并给出了在多维网络上进行聚集查询(cuboid)和交叉查询(crossboid)的算法；Xue-meng Li,Yong-yi Wang等提出基于ElasticSearch的弹性搜索的检索方法设计与实现，该方法对索引数据结构进行优化并对检索策略进行调优，并采用相应的压缩算法来保证压缩效率，提高检索性能。
以上技术解决了Elasticsearch的一些局限和性能问题，但Elasticsearch索引分片仍存在性能不高，负载不均衡等问题。如用户根据经验设置索引分片数量，设置不当可能导致索引性能降低。且现有分片的放置策略主要考虑分片放置的分散性原则，没有考虑集群节点性能和负载特点。最后，当Elasticsearch集群存在热点数据的大并发访问时，可能造成某些节点负载过高，以致于影响检索性能。
发明内容
有鉴于此，本发明的目的在于提供一种Elasticsearch索引分片优化方法，针对Elasticsearch索引分片性能问题：根据集群节点性能和索引预估业务数据量，构建索引分片数量模型，计算获得合理的索引分片数量；得到分片结果后，对集群节点进行性能评估，选择性能较优的节点进行分片的放置；最后，针对热点索引高并发访问引起的负载不均衡问题，根据节点负载性能采用分片迁移的方式进行负载调整。通过提出的Elasticsearch索引分片优化策略，可以达到提高索引分片性能以及集群负载均衡的目标。
本发明的一种Elasticsearch索引分片优化方法，所述方法包括以下步骤：
S1、根据Elasticsearch集群节点的负载性能和索引的预估业务数据量，构建索引分片数量模型，计算出合理的索引分片数量；并计算出索引参数用于限制同一索引的分片在每个节点上的总数量；
S2、根据Elasticsearch集群节点的负载性能，对索引分片分布策略进行优化，使得性能较优的节点优先放置索引分片；
S3、根据节点的负载性能，建立负载均衡策略，对高负载节点中的热点分片进行迁移，使得Elasticsearch集群负载均衡。
进一步的，所述合理的索引分片数量是根据以下确定的：
设置性能校验条件，对Elasticsearch集群每个节点进行性能校验；性能校验完成后采用下式计算得到索引分片数量；
其中，shardNum表示索引分片数量；
表示向下取整；D为索引预估业务数据量，λ为扩展系数，N表示数组nodeArr的长度；nodeArrl表示数组nodeArr中第l个数据；若上式得到的索引分片数量超过当前可用的节点数量，则以当前可用的节点数量设置分片数量，即采用下式计算索引分片数量
同时调整索引参数total_shards_per_node:x，该参数用于限制同一索引的分片在每个节点上的总数量，调整该参数，在步骤S2进行分片放置时，以减少对S2步骤分片放置结果的影响。
进一步的，所述对Elasticsearch集群每个节点进行性能校验包括校验节点磁盘使用率是否使用超过其磁盘阈值，校验节点现有索引分片数量是否超过其数量阈值，并将校验结果保存于数组nodeArr中，若两次校验各自超过其阈值，则将对应的nodeArr元素置1，否则置为0。
进一步的，所述索引参数total_shards_per_node的取值x通过下式计算
进一步的，所述步骤S2具体包括：
S21：采用线性加权法对集群节点进行性能评估；
S22：以步骤S1计算出的索引分片数量，对该索引分片进行分片放置，优先从性能值高的节点进行分片的放置；
S23：判断是否还有剩余分片未创建，若有，则在集群中创建这些分片，不对其进行放置，并标记其状态为unassigned；
其中，性能评估表示为Qi＝a×LAi+s×SNi+b×DsRi；
Qi值代表i节点的性能值；LAi表示i节点的平均负载；SNi表示i节点的分片数量；DsRi表示i节点的磁盘使用率；a表示第一权重系数；s表示第二权重系数；b表示第三权重系数；unassigned标记是Elasticsearch集群中对未放置分片的标记。
进一步的，所述步骤S3具体包括：
S31：统计热点分片，周期性监控索引的检索频率，若达到第一阈值α，则将该索引设置为热点索引，热点索引所属分片均为热点分片，判定各节点中的热点分片数量是否达到第三阈值γ，若达到，则将该类节点加入待负载调整列表；
S32：利用线性加权法对集群节点进行负载评估：
S33：对待负载调整列表中的节点进行负载均衡调整；
负载评估表示为Ei＝o×IOi+d×MBPSi+c×CPUi+r×RAMi；
Ei值代表i节点的负载评价值，IOi表示i节点的I/O使用率；MBPSi表示i节点的网络带宽使用率；CPUi表示i节点的CPU使用率；RAMi表示i节点的内存使用率；o表示第四权重系数；d表示第五权重系数；c表示第六权重系数；r表示第七权重系数。
其中，第一权重系数至第七权重系数均可通过针对实际的集群环境，可利用统计分析或专家咨询获得。
进一步的，所述对负载调整列表中的节点进行负载均衡调整包括：
S331：判断Ei的值是否均达到阈值第二阈值β，若是，则取消负载调整，等待下一个周期的检测；否则，继续对负载调整列表中的节点进行负载调整；
S332：依次对待负载调整列表中的节点进行负载调整；随机移动节点i中某个热点分片到Ej值较小的j节点中；
S333：待分片移动完成，节点i、j性能稳定后，重新计算节点i、j的Ei、Ej值，更新节点i、j中的热点分片数量并修改待负载调整列表；
S334：重复步骤S332～S333，直到待负载调整列表为空，或者负载调整重复次数达到上限。
优选的，在进行分片负载调整之前，还包括步骤S330：指定分片迁移操作重复次数，设置重复次数m以避免陷入无限调整；
其中n表示集群节点数量。
本发明的有益效果在于：本发明综合考虑集群节点性能因素和索引预估业务数据量，构建索引分片数量模型，以得到更加合理的索引分片数量；接着，对集群节点的若干性能因子采用线性加权法计算出集群节点的性能评价结果，根据节点性能进行分片的放置，使分片的分布充分利用节点性能；最后，通过周期性的检测集群节点中的热点分片，对热点分片数量达到阈值的节点进行热点分片的迁移，使集群负载均衡。以此提高索引分片性能以及使集群负载均衡。
附图说明
图1为本发明的Elasticsearch索引分片存储机制；
图2为本发明的索引分片数量模型处理流程图；
图3为本发明的索引分片放置策略处理流程图；
图4为本发明的热点索引分片负载均衡策略处理流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。其中，图1表示索引分片存储结构图，图中可以看出，一个Elasticsearch集群中，有若干节点Node，在集群节点中存储着索引的主分片Shard和对应的副本分片Replica。索引分片均匀的分散在集群的节点中，且主分片和对应副本分片避免存储在同一节点。如Shard1和Replica分别位于Node1和Node3。
本发明的一种Elasticsearch索引分片优化方法，所述方法包括以下步骤：
S1、根据Elasticsearch集群节点的负载性能和索引的预估业务数据量，构建索引分片数量模型，计算出合理的索引分片数量；并计算出索引参数用于限制同一索引的分片在每个节点上的总数量；
可以理解的是，本步骤的采用索引参数是想要对分片在节点上的总数量加以限制，但本发明对这个限制进行了放松，使得该限制能更符合实际情况。
S2、根据Elasticsearch集群节点的负载性能，对索引分片分布策略进行优化，使得性能较优的节点优先放置索引分片；
S3、根据节点的负载性能，建立负载均衡策略，对高负载节点中的热点分片进行迁移，使得Elasticsearch集群负载均衡。
进一步的，所述步骤S1具体包括，具体流程如图2所示：是否指定自适应分片，若否，直接使用ES默认指定分片；若是，则获取节点列表nodeList，对每个节点进行性能检测，判断校验条件是否全部通过，若全部通过，则将数组nodeArr对应的元素置为1，若未全部通过，将数组nodeArr对应的元素置为0，直至nodeList遍历完毕，利用索引分片模型计算得到分片结果，按照分片结果创建分片。
设置性能校验条件，对Elasticsearch集群每个节点进行性能校验；性能校验完成后采用下式计算得到索引分片数量；
其中，shardNum表示索引分片数量；
表示向下取整；D为索引预估业务数据量，λ为扩展系数，N表示数组长度；nodeArrl表示数组nodeArr中第l个数据；若上式得到的索引分片数量超过当前可用的节点数量，则以当前可用的节点数量设置分片数量，即采用下式计算索引分片数量
同时调整索引参数total_shards_per_node:x，该参数用于限制同一索引的分片在每个节点上的总数量，调整该参数，在步骤S2进行分片放置时，以减少对S2步骤分片放置结果的影响。
进一步的，所述对Elasticsearch集群每个节点进行性能校验包括校验节点磁盘使用率是否使用超过其磁盘阈值，校验节点现有索引分片数量是否超过其数量阈值，并将校验结果保存于数组nodeArr中，若两次校验各自超过其阈值，则将对应的nodeArr元素置1，否则置为0。
进一步的，所述索引参数total_shards_per_node的取值x通过下式计算
进一步的，所述步骤S2具体包括，获取满足分片的节点列表nodeList，遍历列表，对每个节点进行性能评价计算出性能评估值Qi，判断shardNum是否小于等于性能结果数组的长度，若是，则根据性能结果数组的性能评估依次选择性能较优的节点创建分片；若否，则在节点列表nodeList中每个节点创建一个shard，判断节点i是否达到索引参数total_shards_per_node限制，若是则判断是否遍历完所有nodeArr，否则，直接根据性能结果数组获取性能最优的节点i，在i节点中创建分片，判断是否将所有的shard都创建完成，若未完成，则直接利用性能评价公式计算出节点i的性能评估值；否则，创建剩余分片，并标记其状态为unassigned。具体流程如图3所示：
S21：采用线性加权法对集群节点进行性能评估；
S22：以步骤S1计算出的索引分片数量，对该索引分片进行分片放置，优先从性能值高的节点进行分片的放置；
S23：判断是否还有剩余分片未创建，若有，则在集群中创建这些分片，不对其进行放置，并标记其状态为unassigned；
其中，性能评估表示为Qi＝a×LAi+s×SNi+b×DsRi；
Qi值代表i节点的性能值；LAi表示i节点的平均负载；SNi表示i节点的分片数量；DsRi表示i节点的磁盘使用率；a表示第一权重系数；s表示第二权重系数；b表示第三权重系数；unassigned标记是Elasticsearch集群中对未放置分片的标记。
进一步的，所述步骤S3具体包括，利用监控数据，统计集群中的热点索引，得到热点索引列表，将索引加入到热点索引列表中，遍历所有节点，统计出各个节点热点分片数量，判断节点i中热点分片数量是否达到第三阈值，若否，继续遍历节点，否则将节点i加入待负载均衡列表，设置计数器，判断待负载均衡列表是否为空，且计数器是否达到m，若否，则根据评价方法对每个节点进行计算得到性能评价数组E，遍历性能评价数组，判断性能评价值是否达到第二阈值，遍历待负载列表，移动节点i中某个热点分片到Ej值最小的节点j中，更新节点i、j中的热点分片数量，调整待负载列表；具体流程如图4所示：
S31：统计热点分片，周期性监控索引的检索频率，若达到第一阈值α，则将该索引设置为热点索引，热点索引所属分片均为热点分片，判定各节点中的热点分片数量是否达到第三阈值γ，若达到，则将该类节点加入待负载调整列表；
S32：利用线性加权法对集群节点进行负载评估：
S33：对待负载调整列表中的节点进行负载均衡调整；
负载评估表示为Ei＝o×IOi+d×MBPSi+c×CPUi+r×RAMi；
Ei值代表i节点的负载评价值，IOi表示i节点的I/O使用率；MBPSi表示i节点的网络带宽使用率；CPUi表示i节点的CPU使用率；RAMi表示i节点的内存使用率；o表示第四权重系数；d表示第五权重系数；c表示第六权重系数；r表示第七权重系数。
其中，第一权重系数至第七权重系数均可通过针对实际的集群环境，利用统计分析或专家咨询获得。
进一步的，所述对负载调整列表中的节点进行负载均衡调整包括：
S331：判断Ei的值是否均达到阈值第二阈值β，若是，则取消负载调整，等待下一个周期的检测；否则，继续对负载调整列表中的节点进行负载调整；
S332：依次对待负载调整列表中的节点进行负载调整；随机移动节点i中某个热点分片到Ej值较小的j节点中；
S333：待分片移动完成，节点i、j性能稳定后，重新计算节点i、j的Ei、Ej值，更新节点i、j中的热点分片数量并修改待负载调整列表；
S334：重复步骤S332～S333，直到待负载调整列表为空，或者负载调整重复次数达到上限。
优选的，在进行分片负载调整之前，还包括步骤S330：指定分片迁移操作重复次数，设置重复次数m以避免陷入无限调整；
其中n表示集群节点数量。
其中，本步骤中阈值第一阈值α、第二阈值β、第三阈值γ均可通过针对实际的集群环境，利用统计分析或专家咨询获得。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种Elasticsearch索引分片优化方法，其特征在于，所述方法包括以下步骤：
S1、根据Elasticsearch集群节点的负载性能和索引的预估业务数据量，构建索引分片数量模型，计算出合理的索引分片数量，并调整索引的参数设置用于放宽同一索引的分片在每个节点上总数量的限制；
所述合理的索引分片数量是根据以下确定的：
设置性能校验条件，对Elasticsearch集群每个节点进行性能校验；性能校验完成后采用下式计算得到索引分片数量；
其中，shardNum表示索引分片数量；
表示向下取整；D为索引预估业务数据量，λ为扩展系数，N表示数组长度；nodeArrl表示数组nodeArr中第l个数据；若上式得到的索引分片数量超过当前可用的节点数量，则以当前可用的节点数量设置分片数量，即采用下式计算索引分片数量
同时调整索引参数total_shards_per_node:x，该参数用于限制同一索引的分片在每个节点上的总数量；
所述索引参数total_shards_per_node的取值x通过下式计算
S2、根据Elasticsearch集群节点的负载性能，对索引分片分布策略进行优化，使得性能较优的节点优先放置索引分片；
S3、根据节点的负载性能，建立负载均衡策略，对高负载节点中的热点分片进行迁移，使得Elasticsearch集群负载均衡。
2.根据权利要求1所述的一种Elasticsearch索引分片优化方法，其特征在于，所述对Elasticsearch集群每个节点进行性能校验包括校验节点磁盘使用率是否使用超过其磁盘阈值，校验节点现有索引分片数量是否超过其数量阈值，并将校验结果保存于数组nodeArr中，若两次校验各自超过其阈值，则将对应的nodeArr元素置1，否则置为0。
3.根据权利要求1所述的一种Elasticsearch索引分片优化方法，其特征在于，所述步骤S2具体包括：
S21：采用线性加权法对集群节点进行性能评估；
S22：以步骤S1计算出的索引分片数量，对该索引分片进行分片放置，优先从性能值高的节点进行分片的放置；
S23：判断是否还有剩余分片未创建，若有，则在集群中创建这些分片，不对其进行放置，并标记其状态为unassigned；
其中，性能评估表示为Qi＝a×LAi+s×SNi+b×DsRi；
Qi值代表i节点的性能值；LAi表示i节点的平均负载；SNi表示i节点的分片数量；DsRi表示i节点的磁盘使用率；a表示第一权重系数；s表示第二权重系数；b表示第三权重系数；unassigned标记是Elasticsearch集群中对未放置分片的标记。
4.根据权利要求1所述的一种Elasticsearch索引分片优化方法，其特征在于，所述步骤S3具体包括：
S31：统计热点分片，周期性监控索引的检索频率，若达到第一阈值α，则将该索引设置为热点索引，热点索引所属分片均为热点分片，判定各节点中的热点分片数量是否达到第三阈值γ，若达到，则将该类节点加入待负载调整列表；
S32：利用线性加权法对集群节点进行负载评估：
S33：对待负载调整列表中的节点进行负载均衡调整；
负载评估表示为Ei＝o×IOi+d×MBPSi+c×CPUi+r×RAMi；
Ei值代表i节点的负载评价值，IOi表示i节点的I/O使用率；MBPSi表示i节点的网络带宽使用率；CPUi表示i节点的CPU使用率；RAMi表示i节点的内存使用率；o表示第四权重系数；d表示第五权重系数；c表示第六权重系数；r表示第七权重系数。
5.根据权利要求4所述的一种Elasticsearch索引分片优化方法，其特征在于，所述对待负载调整列表中的节点进行负载均衡调整包括：
S331：判断负载评估Ei的值是否均达到第二阈值β，若是，则取消负载调整，等待下一个周期的检测；否则，继续对负载调整列表中的节点进行负载调整；
S332：依次对待负载调整列表中的节点进行负载调整；随机移动节点i中某个热点分片到Ej值较小的j节点中；
S333：待分片移动完成，节点i、j性能稳定后，重新计算节点i、j的Ei、Ej值，更新节点i、j中的热点分片数量并修改待负载调整列表；
S334：重复步骤S332～S333，直到待负载调整列表为空，或者负载调整重复次数达到上限。
6.根据权利要求5所述的一种Elasticsearch索引分片优化方法，其特征在于，在进行分片负载调整之前，还包括步骤S330：指定分片迁移操作重复次数，设置重复次数m以避免陷入无限调整；
其中n表示集群节点数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811486046.3A CN109582758B (zh) | 2018-12-06 | 2018-12-06 | 一种Elasticsearch索引分片优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811486046.3A CN109582758B (zh) | 2018-12-06 | 2018-12-06 | 一种Elasticsearch索引分片优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109582758A CN109582758A (zh) | 2019-04-05 |
| CN109582758B true CN109582758B (zh) | 2023-04-07 |
Family
ID=65927430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811486046.3A Active CN109582758B (zh) | 2018-12-06 | 2018-12-06 | 一种Elasticsearch索引分片优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109582758B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209496B (zh) * | 2019-05-20 | 2022-05-17 | 中国平安财产保险股份有限公司 | 基于数据处理的任务分片方法、装置及分片服务器 |
| CN110209910B (zh) * | 2019-05-20 | 2021-06-04 | 无线生活（杭州）信息科技有限公司 | 索引切换调度方法及调度装置 |
| CN112579726A (zh) * | 2019-09-29 | 2021-03-30 | 伊姆西Ip控股有限责任公司 | 管理索引表的方法、设备和计算机程序产品 |
| CN110990366B (zh) * | 2019-12-04 | 2024-02-23 | 中国农业银行股份有限公司 | 一种提升基于es的日志系统性能的索引分配方法及装置 |
| CN111881086B (zh) * | 2020-07-23 | 2024-03-19 | 杭州安恒信息技术股份有限公司 | 大数据的存储方法、查询方法、电子装置及存储介质 |
| CN112434039A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 数据的存储方法、装置、存储介质以及电子装置 |
| CN113177050B (zh) * | 2021-05-18 | 2023-04-25 | 浙江大华技术股份有限公司 | 一种数据均衡的方法、装置、查询系统及存储介质 |
| CN113568749B (zh) * | 2021-07-28 | 2023-09-05 | 新华智云科技有限公司 | 基于Elasticsearch集群的shard分配方法 |
| CN113596153B (zh) * | 2021-07-28 | 2024-07-05 | 新华智云科技有限公司 | 一种数据均衡方法及系统 |
| CN113760933B (zh) * | 2021-08-25 | 2023-11-03 | 福建天泉教育科技有限公司 | 一种数据更新方法及终端 |
| CN113836143B (zh) * | 2021-09-28 | 2024-02-27 | 新华三大数据技术有限公司 | 一种索引创建方法及装置 |
| CN114003382A (zh) * | 2021-10-29 | 2022-02-01 | 北京有竹居网络技术有限公司 | 一种索引构建方法、装置及设备 |
| CN114979271A (zh) * | 2022-05-11 | 2022-08-30 | 浪潮云信息技术股份公司 | 一种基于边缘云计算的cdn缓存分层调度方法 |
| CN115033390B (zh) * | 2022-08-09 | 2022-11-25 | 阿里巴巴（中国）有限公司 | 一种负载均衡的方法及装置 |
| CN118132565B (zh) * | 2024-04-30 | 2024-06-28 | 苏州元脑智能科技有限公司 | 数据索引存储的控制方法及装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484877A (zh) * | 2016-10-14 | 2017-03-08 | 东北大学 | 一种基于hdfs的文件检索系统 |
| CN107566531A (zh) * | 2017-10-17 | 2018-01-09 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
| CN108197296A (zh) * | 2018-01-23 | 2018-06-22 | 马上消费金融股份有限公司 | 基于Elasticsearch索引的数据存储方法 |
| CN108712329A (zh) * | 2018-05-02 | 2018-10-26 | 山东汇贸电子口岸有限公司 | 一种基于Elasticsearch的服务网关及日志记录检索装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160162582A1 (en) * | 2014-12-09 | 2016-06-09 | Moodwire, Inc. | Method and system for conducting an opinion search engine and a display thereof |
-
2018
- 2018-12-06 CN CN201811486046.3A patent/CN109582758B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484877A (zh) * | 2016-10-14 | 2017-03-08 | 东北大学 | 一种基于hdfs的文件检索系统 |
| CN107566531A (zh) * | 2017-10-17 | 2018-01-09 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
| CN108197296A (zh) * | 2018-01-23 | 2018-06-22 | 马上消费金融股份有限公司 | 基于Elasticsearch索引的数据存储方法 |
| CN108712329A (zh) * | 2018-05-02 | 2018-10-26 | 山东汇贸电子口岸有限公司 | 一种基于Elasticsearch的服务网关及日志记录检索装置 |
Non-Patent Citations (2)
| Title |
|---|
| Side-Channel Attacks on Shared Search Indexes;Liang Wang，Paul Grubbs，et.al.;《2017 IEEE Symposium on Security and Privacy (SP)》;20170626;673-692 * |
| Xue-Meng Li ; Yong-Yi Wang ; et.al..Design and Implementation of an Indexing Method Based on Fields for Elasticsearch.《2015 Fifth International Conference on Instrumentation and Measurement, Computer, Communication and Control (IMCCC)》.2016,626-630. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109582758A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582758B (zh) | 一种Elasticsearch索引分片优化方法 | |
| CN111027736B (zh) | 多目标优化下的微服务组合部署与调度方法 | |
| CN111258980B (zh) | 一种云存储系统中基于组合预测的动态文件放置方法 | |
| CN106528608B (zh) | 一种云架构下的电网gis数据冷热存储方法和系统 | |
| CN103227818A (zh) | 终端、服务器、文件传输方法、文件存储管理系统和方法 | |
| CN109921939A (zh) | 一种通信网络中关键节点的选取方法及系统 | |
| CN113868230A (zh) | 一种基于Spark计算框架的大表连接优化方法 | |
| CN108920282B (zh) | 一种支持负载均衡的内容副本生成、放置及更新方法 | |
| CN116319770A (zh) | 一种自适应云边端协同方法及装置 | |
| CN113688115A (zh) | 一种基于Hadoop的档案大数据分布式存储系统 | |
| CN117076466B (zh) | 一种针对大型档案数据库的快速数据索引方法 | |
| US20240220456A1 (en) | Efficient database query evaluation | |
| Guo et al. | Handling data skew at reduce stage in Spark by ReducePartition | |
| Tang et al. | A new replica placement mechanism for mobile media streaming in edge computing | |
| CN103096380A (zh) | 无线接入点负载均衡优化方法 | |
| CN110557427A (zh) | 一种均衡网络性能和安全的智能家居安全控制方法 | |
| CN105530303B (zh) | 一种网络缓存线性替换方法 | |
| CN113704220A (zh) | 一种基于LSTM和遗传算法的Ceph参数调优方法 | |
| Chen et al. | An edge caching strategy based on separated learning of user preference and content popularity | |
| Li | Dynamic Load Balancing Method for Urban Surveillance Video Big Data Storage Based on HDFS | |
| Chandra et al. | Modeling temporal and spatial features of collaboration network | |
| CN115297122B (zh) | 基于负载自动监测的政务运维方法和系统 | |
| Zhang et al. | Replica Replication Strategy Based on Data Block Heat | |
| Wang et al. | An Optimization Strategy of Shard on Elasticsearch [C] | |
| CN115277708B (zh) | 一种流媒体服务器负载动态分配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |