CN114416752B - Kv ssd的数据处理方法及装置 - Google Patents

Abstract

本发明涉及数据存储技术领域，提供了一种KV SSD的数据处理方法及装置，该方法包括：当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理，所述硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间；将Value值经过压缩处理后的KV键值对写入到存储介质。本发明通过对KV键值对中数据内部具有较强的相关性的Value值进行压缩处理，并将压缩后的KV键值对存放在存储介质中，使得空间消耗小于压缩前的KV键值对的空间消耗，显著降低KV SSD的写放大，进而增加KV SSD的耐久性。

Description

KV SSD的数据处理方法及装置

技术领域

本发明涉及数据存储技术领域，尤其涉及一种KV SSD的数据处理方法及装置。

背景技术

Key Value常用于对象存储，目前通常作为一种数据库存储系统存在于主机端系统中。在Key Value存储中，最小存取单位是键（Key）值（Value）对，每个键值对长度都是变化的。

2021年5月，NVMe国际标准组织发布了NVMe 2.0版本的协议更新。在该新版协议中，在原有NVM命令集的基础上增加了2种新的命令集，即Zone Namespace命令集和KeyValue命令集（简称KV命令集）。NVMe协议通常作为SSD固件硬盘的接口协议广泛应用。NVMe2.0中新增加的KV命令集将实现存储硬盘直接支持KV对的数据交互，这对对象存储系统将非常友好，大幅度减轻对象存储系统上主机端的负荷。

KV SSD即基于Key Value命令集的固态硬盘。由于KV SSD目前是比较新的发展方向，业界针对这方面的应用还不多。目前KV SSD通过无数据压缩方案实现数据写入，即主机端数据保持原有尺寸写入到SSD内部的非易失性存储介质中。无压缩方案存在以下问题：a)每组键值对的数据以原始尺寸存放在存储介质中，对介质的利用率较低；b)用户数据的写放大≥1，写放大即存储介质上写数据量与用户原始数据的比值；c)整个固态硬盘的使用寿命（耐久性）不高。此外，现有技术中还存在块存储数据压缩和对象存储压缩两种数据写入方案，但是块存储数据压缩方案仅适用于块存储方向，对于KV SSD的使用方向意义不大。对象存储压缩方案主要思路是利用LSM数据库的特点，利用KV之间的逻辑关系进行数据去重，和减少垃圾回收带来的写放大影响，该方案主要针对对象存储中面向LSM数的数据库方向的优化，其使用方向有比较强的针对性，而且并没有对单个KV中可变长度的Value本身内容进行压缩。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的KV SSD的数据处理方法及装置。

本发明的一个方面，提供了一种KV SSD的数据处理方法，所述方法包括：

当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理，所述硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间；

将Value值经过压缩处理后的KV键值对写入到存储介质。

进一步地，所述采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理包括：

根据压缩引擎中预设的压缩控制参数对所述Value值进行压缩处理，所述压缩控制参数包括由数据长度下阈值和数据长度上阈值限定的数据长度区间，当所述Value值的数据长度处于所述数据长度区间时对所述Value值进行压缩处理。

进一步地，所述方法还包括:

当所述Value值的数据长度大于所述数据长度上阈值时，则以所述数据长度上阈值为划分单位对所述Value值进行分段，分别对得到的各个分段数据进行压缩处理。

进一步地，所述方法还包括:

当所述Value值的数据长度小于所述数据长度上阈值时，则不对所述Value值进行压缩处理。

进一步地，所述压缩控制参数还包括压缩率阈值；

压缩率为压缩后数据大小除以压缩前原始数据大小的百分比；

所述方法还包括：

当进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率低于或等于所述压缩率阈值时，输出压缩后的数据作为新的Value值。

进一步地，所述方法还包括:

当对所述Value值进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率高于所述压缩率阈值时，将直接输出原始未压缩的Value值。

进一步地，所述方法还包括:

当KV SSD接收到主机端的数据读取请求时，采用硬件压缩/解压引擎对从存储介质中读取出的 KV键值对中的Value值进行解压处理；

将解压后的数据传输给主机。

本发明的另一个方面，提供了一种KV SSD的数据处理装置，所述装置包括：

压缩/解压控制模块，用于当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理，所述硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间；

数据处理模块，用于将Value值经过压缩处理后的KV键值对写入到存储介质；

压缩/解压控制模块，还用于当KV SSD接收到主机端的数据读取请求时，采用硬件解压引擎对从存储介质中读取出的 KV键值对中的Value值进行解压处理，将解压后的数据传输给主机。

进一步地，所述压缩/解压控制模块，用于根据压缩引擎中预设的压缩控制参数对所述Value值进行压缩处理，所述压缩控制参数包括由数据长度下阈值和数据长度上阈值限定的数据长度区间，当所述Value值的数据长度处于所述数据长度区间时对所述Value值进行压缩处理；当所述Value值的数据长度大于所述数据长度上阈值时，则以所述数据长度上阈值为划分单位对所述Value值进行分段，分别对得到的各个分段数据进行压缩处理；当所述Value值的数据长度小于所述数据长度上阈值时，则不对所述Value值进行压缩处理。

本发明实施例提供的KV SSD的数据处理方法及装置，通过对KV键值对中数据内部具有较强的相关性的Value值进行压缩处理，并将压缩后的KV键值对存放在存储介质中，使得空间消耗小于压缩前的KV键值对的空间消耗，显著降低KV SSD的写放大，进而增加KVSSD的耐久性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的KV SSD的数据处理方法中数据写处理的流程图；

图2为本发明实施例提供的KV SSD的数据处理方法中数据读处理的流程图；

图3为本发明实施例中提供的KV SSD实现数据处理的数据路径示意图；

图4为本发明实施例提供的KV SSD的数据处理装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

为解决现有KV SSD无数据压缩实现数据写入方式存在的对介质的利用率较低，且使用寿命（耐久性）不高的问题，本发明提出一种KV SSD的数据处理方法，通过数据压缩的方式，降低用户数据在存储介质中占用的空间，提高KV SSD的耐久性。

图1示意性示出了本发明一个实施例的KV SSD的数据处理方法的流程图。参照图1，本发明实施例的KV SSD的数据处理方法具体包括以下步骤：

S11、当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理。其中，硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间。

本实施例中，在PCIe接口与KV SSD的加密/解密引擎之间设置硬件压缩/解压引擎，硬件压缩/解压引擎本身可以对变长数据进行压缩/解压。具体的，本发明实施例中压缩引擎主要针对单个KV对中的Value自身进行压缩，使用硬件实现，匹配整个数据通路上的带宽要求，当压缩引擎完成数据处理后，在给SSD内部CPU的回复消息中携带用于表示数据是否进行压缩操作的标识信息。

进一步地，硬件压缩/解压引擎布置在更靠近PCIe接口的位置即PCIe接口与KVSSD的加密/解密引擎之间，使得在写路径上，处于加解密引擎之前。以避免因为原始数据先进行加密，数据相关性将大大降低，导致再进行压缩的效率将大幅度下降的问题。

S12、将Value值经过压缩处理后的KV键值对写入到存储介质。

由于一组KV键值对通常是对某个对象的数据描述，而对象的数据（即Value值）内部具有较强的相关性，这就给数据压缩提供了可实现空间。本发明实施例提供的KV SSD的数据处理方法，通过对KV键值对中数据内部具有较强的相关性的Value值进行压缩处理，并将压缩后的KV键值对存放在存储介质中，使得空间消耗小于压缩前的KV键值对的空间消耗，显著降低KV SSD的写放大，进而增加KV SSD的耐久性。

本发明通过对KV键值对的Value值进行压缩处理后写入到存储介质，即使SSD内部做垃圾回收，需要对有效的KV键值对作内部数据迁移时，迁移的数据量也是压缩后的数据量，也能有效降低垃圾回收对SSD盘带来的性能损失。

如图2所示，本发明实施例中，对于通过上述方法实现数据存储的数据，在进行数据读取时的处理流程具体包括如下步骤：

S21、当KV SSD接收到主机端的数据读取请求时，采用硬件解压引擎对从存储介质中读取出的 KV键值对中的Value值进行解压处理。具体的，在进行数据读取时，先从存储介质中读出KV键值对，然后采用硬件解压引擎对读取出的 KV键值对中的Value值进行解压。

S22、将解压后的数据传输给主机。

本发明实施例中，所述采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理的具体实现流程具体为：根据压缩引擎中预设的压缩控制参数对所述Value值进行压缩处理，所述压缩控制参数包括由数据长度下阈值和数据长度上阈值限定的数据长度区间。当所述Value值的数据长度处于所述数据长度区间时对所述Value值进行压缩处理。当所述Value值的数据长度大于所述数据长度上阈值时，则以所述数据长度上阈值为划分单位对所述Value值进行分段，分别对得到的各个分段数据进行压缩处理。当所述Value值的数据长度小于所述数据长度上阈值时，则不对所述Value值进行压缩处理。

本发明实施例中的压缩控制参数还包括压缩率阈值。压缩率为压缩后数据大小除以压缩前原始数据大小的百分比。

进一步地，当进行压缩处理后的Value值相比压缩处理前的Value值的数据压缩率低于或等于所述压缩率阈值时，输出压缩后的数据作为新的Value值。当对所述Value值进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率高于所述压缩率阈值时，将直接输出所述Value值。

在一个具体实施例中，压缩引擎针对不同的KV键值对，压缩率是不同的。针对一些不可压缩或者压缩率较大的数据，最终将不实现压缩，直接将原始数据原样通过压缩引擎流转到下一个环节。这可以通过在压缩引擎中设置压缩控制参数进行控制，压缩控制参数如下：

其中，VLengthLow表示压缩引擎中Value的数据长度下阈值。如果实际KV中Value长度小于设定的下阈值，则不进行压缩；如果Value长度大于或等于设定的数据长度下阈值，则进行压缩处理；

其中，VLengthUp表示压缩引擎中Value的数据长度上阈值。如果实际KV中Value长度大于设定的数据长度上阈值，则将整个Value以VLengthUp为长度进行分段，进行分段压缩处理；如果Value长度小于设定的数据长度上阈值，则进行正常压缩处理；

其中，Ratio表示压缩引擎中的压缩率阈值。由于每个KV的压缩率都是变化的，并且提前不可预知，需要压缩引擎尝试将数据压缩，当压缩完之后数据压缩率高于设定的压缩率阈值，将直接输出原始数据（压缩前数据）；当压缩完之后数据压缩率低于或等于设定的阈值时，压缩引擎将输出压缩后的数据。

如图3所示，本发明实施例提供的KV SSD的数据处理方法，在SSD内部数据传输路径上，增加压缩/解压引擎，在数据写路径上先实现数据压缩，然后写入到存储介质中；在数据读路径上，数据先从存储介质中读出，然后进行解压缩，解压后的数据传给主机端。整个压缩解压行为主机端感知不到，可以实现对NVMe KV命令集的兼容性。

本发明实施例提出的KV SSD的数据处理方法，具有以下有益技术效果：

本发明增加对Value数据的压缩引擎，降低了数据在存储介质上的占用空间，降低了写放大。SSD的寿命期，主要由一共在存储介质上实际写入的数据量决定，写放大的下降，就可以在SSD寿命期内可以写入更多的数据量，从而增加KV SSD的耐久性。

本发明限定了压缩/解压引擎和加解密引擎的相对位置，使这两个功能可以有效发挥其作用。不至于加解密引擎对压缩效果产生负面影响。

本发明在压缩/解压引擎中针对Value长度和压缩率设定一些阈值，来控制压缩/解压引擎的逻辑行为，为实际工程实践中不同的应用场景，提供较大的灵活度。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图4示意性示出了本发明一个实施例的KV SSD的数据处理装置的结构示意图。参照图4，本发明实施例的KV SSD的数据处理装置具体包括压缩/解压控制模块201以及数据处理模块202，其中：

压缩/解压控制模块201，用于当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应KV键值对中的Value值进行压缩处理，所述硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间；

数据处理模块202，用于将Value值经过压缩处理后的KV键值对写入到存储介质；

压缩/解压控制模块，还用于当KV SSD接收到主机端的数据读取请求时，采用硬件解压引擎对从存储介质中读取出的 KV键值对中的Value值进行解压处理，将解压后的数据传输给主机。

本发明实施例中，压缩/解压控制模块201，用于根据压缩引擎中预设的压缩控制参数对所述Value值进行压缩处理，所述压缩控制参数包括由数据长度下阈值和数据长度上阈值限定的数据长度区间。具体的，当所述Value值的数据长度处于所述数据长度区间时对所述Value值进行压缩处理；当所述Value值的数据长度大于所述数据长度上阈值时，则以所述数据长度上阈值为划分单位对所述Value值进行分段，分别对得到的各个分段数据进行压缩处理；当所述Value值的数据长度小于所述数据长度上阈值时，则不对所述Value值进行压缩处理。

进一步地，本发明实施例中的压缩控制参数还包括压缩率阈值。

在本实施了中，压缩/解压控制模块201，用于当进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率低于或等于所述压缩率阈值时，输出压缩后的数据作为新的Value值；当对所述Value值进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率高于所述压缩率阈值时，将直接输出压缩前的所述Value值。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例提供的KV SSD的数据处理方法及装置，通过对KV键值对中数据内部具有较强的相关性的Value值进行压缩处理，并将压缩后的KV存放在存储介质中，使得空间消耗小于压缩前的KV的空间消耗，显著降低KV SSD的写放大，进而增加KV SSD的耐久性。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种KV SSD的数据处理方法，其特征在于，所述方法包括：

当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应 KV键值对中的Value值进行压缩处理，所述硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间，一组KV键值对是对一个对象的数据描述，所述对象的KV键值对中的Value值内部具有相关性；

将Value值经过压缩处理后的KV键值对写入到存储介质，当对KV键值对作内部数据迁移时，迁移的数据为经过压缩处理后的KV键值对；

所述采用硬件压缩引擎对待写入数据对应 KV键值对中的Value值进行压缩处理包括：根据压缩引擎中预设的压缩控制参数对所述Value值进行压缩处理，所述压缩控制参数包括由数据长度下阈值和数据长度上阈值限定的数据长度区间，当所述Value值的数据长度处于所述数据长度区间时对所述Value值进行压缩处理；当所述Value值的数据长度大于所述数据长度上阈值时，则以所述数据长度上阈值为划分单位对所述Value值进行分段，分别对得到的各个分段数据进行压缩处理，当所述Value值的数据长度小于所述数据长度上阈值时，则不对所述Value值进行压缩处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括:

当KV SSD接收到主机端的数据读取请求时，采用硬件解压引擎对从存储介质中读取出的 KV键值对中的Value值进行解压处理；

将解压后的数据传输给主机。

3.根据权利要求1所述的方法，其特征在于，所述压缩控制参数还包括压缩率阈值；

压缩率为压缩后数据大小除以压缩前原始数据大小的百分比；

所述方法还包括：

当进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率低于或等于所述压缩率阈值时，输出压缩后的数据作为新的Value值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括:

当对所述Value值进行压缩处理后的Value值相比于压缩处理前的Value值的数据压缩率高于所述压缩率阈值时，将直接输出原始未压缩的Value值。

5.一种KV SSD的数据处理装置，其特征在于，所述装置包括：

压缩/解压控制模块，用于当KV SSD接收到主机端的数据写入请求时，采用硬件压缩引擎对待写入数据对应 KV键值对中的Value值进行压缩处理，所述硬件压缩引擎设置在PCIe接口与KV SSD的加密/解密引擎之间，一组KV键值对是对一个对象的数据描述，所述对象的KV键值对中的Value值内部具有相关性；

数据处理模块，用于将Value值经过压缩处理后的KV键值对写入到存储介质，当对KV键值对作内部数据迁移时，迁移的数据为经过压缩处理后的KV键值对；

压缩/解压控制模块，还用于当KV SSD接收到主机端的数据读取请求时，采用硬件解压引擎对从存储介质中读取出的 KV键值对中的Value值进行解压处理，将解压后的数据传输给主机；

所述压缩/解压控制模块，用于根据压缩引擎中预设的压缩控制参数对所述Value值进行压缩处理，所述压缩控制参数包括由数据长度下阈值和数据长度上阈值限定的数据长度区间，当所述Value值的数据长度处于所述数据长度区间时对所述Value值进行压缩处理；当所述Value值的数据长度大于所述数据长度上阈值时，则以所述数据长度上阈值为划分单位对所述Value值进行分段，分别对得到的各个分段数据进行压缩处理；当所述Value值的数据长度小于所述数据长度上阈值时，则不对所述Value值进行压缩处理。

Images