CN109918172A - 一种虚拟机热迁移方法及系统 - Google Patents

Abstract

本发明公开了一种虚拟机热迁移方法及系统，方法包括：源端物理机与目标物理机建立远程直接数据存取通道；所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数；所述源端物理机通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。本发明通过使用远程直接数据存取通道来进行虚拟机的热迁移，可绕开TCP热迁移的linux内核驱动和中断拷贝，而直接访问迁移目标物理机的内存，不需要目标物理机的CPU和网卡中断的处理，从而可提高虚拟机热迁移的性能。

Description

一种虚拟机热迁移方法及系统

技术领域

本发明属于数据处理技术领域，特别涉及一种虚拟机热迁移方法及系统。

背景技术

虚拟机(virtual machine，简称vm)指通过在物理设备中安装虚拟机管理软件(Hypervisor)，Hypervisor模拟出一个或多个具有完整硬件系统功能的、运行在一个完全隔离环境中的完整系统。虚拟机的热迁移 (Live Migration)是虚拟机应用中的一个重要技术，热迁移技术又叫动态迁移、实时迁移，即虚拟机保存/恢复，通常是将整个虚拟机的运行状态完整保存下来，同时可以快速的恢复到原有硬件平台甚至是不同硬件平台上，恢复后，虚拟机仍旧平滑运行，用户不会察觉到任何差异。

目前，采用的TCP热迁移技术，由于TCP传输存在处理延时过大(达到数十微秒)、多次内存拷贝、中断处理、上下文切换、复杂的TCP/IP 协议处理、网络延时过大、存储转发模式和丢包导致额外延时等问题，导致TCP热迁移的性能无法满足现有的需求。

发明内容

本发明的目的是提供一种虚拟机热迁移方法及系统，通过采用远程直接数据存取(RDMA)技术来提高虚拟机热迁移的传输性能。

一方面，本发明提供一种虚拟机热迁移方法，包括：

源端物理机与目标物理机建立远程直接数据存取通道；

所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数；

所述源端物理机通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。

本发明通过使用远程直接数据存取通道(RDMA)来进行虚拟机的热迁移，可绕开TCP热迁移的linux内核驱动和中断拷贝，而直接访问迁移目标物理机的内存，不需要目标物理机的CPU(中央处理器)和网卡中断的处理，从而可提高虚拟机热迁移的性能。

进一步地，在所述源端物理机与目标物理机建立远程直接数据存取通道之后，所述源端物理机通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上之前还包括：

所述源端物理机将所述虚拟机的热迁移线程与所述源端物理机的CPU核绑定。

本方案中，通过将虚拟机的热迁移线程与源端物理机的CPU(中央处理器)核绑定，以为热迁移线程提供专用的CPU核，使热迁移CPU核绑定的线程与VCPU核绑定的线程分开，可减小线程之间的相互影响，使得不会出现操作系统线程调度的影响，从而提高虚拟机热迁移的效率。

进一步地，所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数具体包括：

所述源端物理机将所述源端物理机的远程直接数据存取通道的内存访问方式设置为大页内存；

所述目标物理机将所述目标物理机的远程直接数据存取通道的内存访问方式设置为大页内存。

本方案中，由于大页内存一页存储的数据较多，在热迁移时，寻址的次数少，从而可提高虚拟机的热迁移效率。

进一步地，所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数具体包括：

所述源端物理机配置所述源端物理机的远程直接数据存取通道的报文参数，所述报文参数包括最大传输报文长度、DDP数据包的报文长度和MPA数据包的报文长度；

当所述源端物理机的远程直接数据存取通道的报文参数更新时，所述源端物理机将更新后的所述源端物理机的远程直接数据存取通道的报文参数发送至所述目标物理机；

所述目标物理机接收所述源端物理机发送的所述源端物理机的远程直接数据存取通道的报文参数，并根据所述源端物理机的远程直接数据存取通道的报文参数自动配置所述目标物理机的远程直接数据存取通道的报文参数。

进一步地，所述源端物理机配置所述源端物理机的远程直接数据存取通道的报文参数具体包括：

获取输入的带宽参数；

根据所述带宽参数，配置所述源端物理机的远程直接数据存取通道的最大传输报文长度；

根据所述最大传输报文长度，配置DDP数据包的报文长度和MPA数据包的报文长度。

另一方面，本发明还提供一种虚拟机热迁移系统，包括：包括源端物理机和目标物理机；

所述源端物理机，用于与所述目标物理机建立远程直接数据存取通道；并用于配置所述远程直接数据存取通道的参数；

所述目标物理机，用于配置所述远程直接数据存取通道的参数；

所述源端物理机，还用于通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。

进一步地，所述源端物理机包括：

核绑定模块，用于将所述虚拟机的热迁移线程与所述源端物理机的CPU 核绑定。

进一步地，所述源端物理机包括：

第一配置模块，用于根据获取到的所述内存访问方式信息，将所述源端物理机的远程直接数据存取通道的内存访问方式设置为大页内存；

所述目标物理机包括：

第二配置模块，用于根据获取到的所述内存访问方式信息，将所述目标物理机的远程直接数据存取通道的内存访问方式设置为大页内存。

进一步地，所述源端物理机包括：

第一配置模块，用于配置所述源端物理机的远程直接数据存取通道的报文参数；

发送模块，用于当所述源端物理机的远程直接数据存取通道的报文参数更新时，所述源端物理机将更新后的所述源端物理机的远程直接数据存取通道的报文参数发送至所述目标物理机；

所述目标物理机包括：

接收模块，用于接收所述源端物理机发送的所述源端物理机的远程直接数据存取通道的报文参数；

第二配置模块，用于根据所述源端物理机的远程直接数据存取通道的报文参数自动配置所述目标物理机的远程直接数据存取通道的报文参数。

进一步地，所述第一配置模块包括获取单元，用于获取输入的带宽参数；

所述第一配置模块还包括配置单元，用于根据所述带宽参数，配置所述源端物理机的远程直接数据存取通道的最大传输报文长度；还用于根据所述最大传输报文长度，配置DDP数据包的报文长度和MPA数据包的报文长度。

通过本发明提供的一种虚拟机热迁移方法及系统，带来有益效果为：本发明通过使用远程直接数据存取通道(RDMA)来进行虚拟机的热迁移，可绕开TCP热迁移的linux内核驱动和中断拷贝，而直接访问迁移目标物理机的内存，不需要目标物理机的CPU(中央处理器)和网卡中断的处理，从而可提高虚拟机热迁移的性能。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种虚拟机热迁移方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种虚拟机热迁移方法的实施例一的流程示意图；

图2是本发明一种虚拟机热迁移方法的实施例二的流程示意图一；

图3是本发明一种虚拟机热迁移方法的实施例二的流程示意图二；

图4是本发明一种虚拟机热迁移方法的实施例四的流程示意图一；

图5是本发明一种虚拟机热迁移方法的实施例四的流程示意图二；

图6是本发明一种虚拟机热迁移系统的实施例的结构示意框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

实施例一，如图1所示，

一种虚拟机热迁移方法，包括：

S100源端物理机与目标物理机建立远程直接数据存取通道；

S200源端物理机和目标物理机分别获取并配置远程直接数据存取通道的参数；

S300源端物理机通过远程直接数据存取通道将虚拟机热迁移到目标物理机上。

具体地，远程直接数据存取(RDMA)技术是为了解决网络传输中服务器端数据处理的延迟而产生的，其是通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能；同时基于软件模拟的RDMA协议：RDMA OVER TCP(iWARP)协议，可用软件实现RDMA OVER TCP技术，不要求支持RDMA协议的专用网卡和交换机，通过普通的通用网卡，实现RDMA读写和访问。本发明通过使用远程直接数据存取通道(RDMA) 来进行虚拟机的热迁移，可绕开TCP热迁移的linux内核驱动和中断拷贝，而直接访问迁移目标物理机的内存，不需要目标物理机的CPU(中央处理器) 和网卡中断的处理，从而可提高虚拟机热迁移的性能。

实施例二，如图2和图3所示，

一种虚拟机热迁移方法，在上述实施例一的基础上，本实施例的改进之处在于：在步骤S100之后，步骤S300之前还包括：

S150源端物理机将虚拟机的热迁移线程与源端物理机的CPU核绑定。

具体地，源端物理机与目标物理机建立远程直接数据存取通道后，在源端物理机上，将虚拟机的热迁移线程与源端物理机的CPU(中央处理器)核绑定，为热迁移线程提供专用的CPU核，使热迁移CPU核绑定的线程与VCPU 核绑定的线程分开，可减小线程之间的相互影响，使得不会出现操作系统线程调度的影响，从而提高虚拟机热迁移的效率。在源端物理机上使用核绑定技术提高热迁移效率时，热迁移主逻辑线程函数为migrate_thread，在linux 系统中提供API函数sched_setaffinity用于设置可以使用的CPU线程，通过热迁移CPU核绑定参数cpu_set_t mask的值来绑定指定的热迁移CPU核进行热迁移，将热迁移线程与CPU核绑定后，通过远程直接数据存取通道将虚拟机热迁移到目标物理机上。由于使用RDMA(远程直接数据存取通道)技术，目标物理机不需要CPU的参与，因此，不需要再目标物理机上进行CPU核绑定。本实施例中，步骤S150可位于步骤S200之前，也可位于步骤S200之后。

实施例三

一种虚拟机热迁移方法，在上述实施例一或实施例二的基础上，步骤S200 具体包括：

S210源端物理机将源端物理机的远程直接数据存取通道的内存访问方式设置为大页内存；

S220目标物理机将目标物理机的远程直接数据存取通道的内存访问方式设置为大页内存。

具体地，源端物理机与目标物理机建立远程直接数据存取通道后，在源端物理机和目标物理机上分别输入远程直接数据存取通道的内存访问方式，然后源端物理机和目标物理机根据输入的内存访问方式将远程直接数据存取通道的内存访问方式设置为大页内存。由于大页内存一页存储的数据较多，在热迁移时，寻址的次数少，从而可提高虚拟机的热迁移效率。步骤S210与步骤S220之间的顺序可互换。

实施例四，如图4所示，

一种虚拟机热迁移方法，在上述实施例一或实施例二或实施例三的基础上，步骤S200具体包括：

S230源端物理机配置源端物理机的远程直接数据存取通道的报文参数，报文参数包括最大传输报文长度、DDP数据包的报文长度和MPA数据包的报文长度；

S240当源端物理机的远程直接数据存取通道的报文参数变化时，源端物理机将源端物理机的远程直接数据存取通道的报文参数发送至目标物理机；

S250目标物理机获取源端物理机发送的源端物理机的远程直接数据存取通道的报文参数，并根据源端物理机的远程直接数据存取通道的报文参数自动配置目标物理机的远程直接数据存取通道的报文参数。

优选地，如图5所示，步骤S230包括：

S231获取输入的带宽参数；

S232根据所述带宽参数，配置所述源端物理机的远程直接数据存取通道的最大传输报文长度；

S233根据所述最大传输报文长度，配置DDP数据包的报文长度和MPA 数据包的报文长度。

具体地，为了最大化的利用RDMA(远程直接数据存取)通道的传输特性，在进行热迁移分包传输的时候，可选择带宽允许支持的最大传输报文长度进行传输，以缩短热迁移的传输时间，提高热迁移的性能。因此，在进行热迁移前，需设置源端物理机的RDMA通道的最大传输报文长度，源端物理机的RDMA通道的最大传输报文长度可根据在源端物理机上输入的带宽参数来进行配置。

在源端物理机上输入的带宽参数可不是源端物理机实际接入的带宽，如源端物理机接入的带宽为40G，为了适应物理链路本身的抖动(接入带宽为 40G，但实际上由于网络不好，可能会存在丢包等情况，使得实际带宽小于 40G)，可输入小于40G的带宽参数，从而调整RDMA热迁移的速率，以提高RDMA热迁移的成功率。当RDMA热迁移失败对业务影响非常大的时候，我们还可以设置一个非常小的带宽参数，模拟QOS(传输限速)控制功能，提高热迁移的可靠性，增强了本方案的场景应用灵活性。同时，通过提供 RDMA通道带宽配置接口进行RDMA通道带宽配置，来兼容物理网卡的变化，比如10G网卡和40G网卡，通过参数bandwidth＝10G或40G来配置，这样软件可以自动兼容10G或40G的物理带宽，并自动配置好RDMA通道，提高了配置灵活性和兼容性。

在源端物理机上输入带宽后，根据带宽的大小设置最大传输报文长度，如输入的带宽为B，配置的最大传输报文长度为：B*10⁹/8，配置完最大传输报文长度后，在根据最大传输报文长度，配置分包传输时DDP数据包的报文长度和MPA数据包的报文长度，如DDP数据包的报文长度配置为 (B*10⁹/8-76)/2，MPA数据包的报文长度为(B*10⁹/8-76)/2+36。其中，DDP 数据包的报头长度为：12(协议规定)+8(预留字节)＝20字节，MPA数据包的报头长度为：DDP数据包的报头长度(20)+16(协议规定)＝36字节， TCP+IP报头为40字节，即DDP数据包的报文长度+MPA数据包的报文长度 +40＝最大传输报文长度(MTU)，在DDP数据包的报头中预留8个字节的 DDP自定义消息，方便后续RDMA热迁移消息功能扩展。在虚拟机热迁移过程中，每次发送报文时，可以最大传输报文长度(MTU)的值进行分包发送。

当源端物理机的RDMA通道的报文参数更新时，源端物理机将更新后的 RDMA通道的报文参数发送至目标物理机，目标物理机根据接收到的源端物理机的RDMA通道的报文参数配置目标物理机的RDMA通道的报文参数，源端物理机更新后的RDMA通道的报文参数可通过RDMA通道发送至目标物理机。目标物理机的RDMA通道的报文参数的数值可大于或等于源端物理机的RDMA通道的报文参数的数值，以防止虚拟机在热迁移时，目标物理机接收数据不完全。

其中，本实施例中，步骤S210、S220与步骤S230、S240、S250之间无先后顺序关系，即步骤S200可具体包括：依次设置的步骤S210、S220、S230、S240、S250；或依次设置的步骤S230、S240、S250、S210、S220；或依次设置的步骤S230、S240、S250、S220、S210。

实施例五，如图6所示

一种虚拟机热迁移系统，包括源端物理机和目标物理机；

所述源端物理机，用于与所述目标物理机建立远程直接数据存取通道；并用于配置所述远程直接数据存取通道的参数；

所述目标物理机，用于配置所述远程直接数据存取通道的参数；

所述源端物理机，还用于通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。

具体地，远程直接数据存取(RDMA)技术是为了解决网络传输中服务器端数据处理的延迟而产生的，其是通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能；同时基于软件模拟的 RDMA协议：RDMA OVER TCP(iWARP)协议，可用软件实现RDMA OVER TCP技术，不要求支持RDMA协议的专用网卡和交换机，通过普通的通用网卡，实现RDMA读写和访问。本发明通过使用远程直接数据存取通道(RDMA) 来进行虚拟机的热迁移，可绕开TCP热迁移的linux内核驱动和中断拷贝，而直接访问迁移目标物理机的内存，不需要目标物理机的CPU(中央处理器) 和网卡中断的处理，从而可提高虚拟机热迁移的性能。

实施例六，如图6所示，

一种虚拟机热迁移系统，包括源端物理机100和目标物理机200；

所述源端物理机100，用于与所述目标物理机建立远程直接数据存取通道；并用于配置所述远程直接数据存取通道的参数；

所述目标物理机200，用于配置所述远程直接数据存取通道的参数；

所述源端物理机100，还用于通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。

优选地，所述源端物理机100包括：

核绑定模块110，用于将所述虚拟机的热迁移线程与所述源端物理机的 CPU核绑定。

优选地，所述源端物理机100包括：

第一配置模块120，用于根据获取到的所述内存访问方式信息，将所述源端物理机的远程直接数据存取通道的内存访问方式设置为大页内存；

所述目标物理机200包括：

第二配置模块210，用于根据获取到的所述内存访问方式信息，将所述目标物理机的远程直接数据存取通道的内存访问方式设置为大页内存。

优选地，所述源端物理机100包括：

第一配置模块120，用于配置所述源端物理机的远程直接数据存取通道的报文参数；

发送模块130，用于当所述源端物理机的远程直接数据存取通道的报文参数更新时，所述源端物理机将更新后的所述源端物理机的远程直接数据存取通道的报文参数发送至所述目标物理机；

所述目标物理机200包括：

接收模块220，用于接收所述源端物理机发送的所述源端物理机的远程直接数据存取通道的报文参数；

第二配置模块210，用于根据所述源端物理机的远程直接数据存取通道的报文参数自动配置所述目标物理机的远程直接数据存取通道的报文参数。

优选地，所述第一配置模块120包括获取单元121，用于获取输入的带宽参数；

所述第一配置模块120还包括配置单元122，用于根据所述带宽参数，配置所述源端物理机的远程直接数据存取通道的最大传输报文长度；还用于根据所述最大传输报文长度，配置DDP数据包的报文长度和MPA数据包的报文长度。

本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种虚拟机热迁移方法，其特征在于，包括：

源端物理机与目标物理机建立远程直接数据存取通道；

所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数；

所述源端物理机通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。

2.根据权利要求1所述的一种虚拟机热迁移方法，其特征在于，在所述源端物理机与目标物理机建立远程直接数据存取通道之后，所述源端物理机通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上之前还包括：

所述源端物理机将所述虚拟机的热迁移线程与所述源端物理机的CPU核绑定。

3.根据权利要求1所述的一种虚拟机热迁移方法，其特征在于，所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数具体包括：

所述源端物理机将所述源端物理机的远程直接数据存取通道的内存访问方式设置为大页内存；

所述目标物理机将所述目标物理机的远程直接数据存取通道的内存访问方式设置为大页内存。

4.根据权利要求1-3任一项所述的一种虚拟机热迁移方法，其特征在于，所述源端物理机和目标物理机分别配置所述远程直接数据存取通道的参数具体包括：

所述源端物理机配置所述源端物理机的远程直接数据存取通道的报文参数，所述报文参数包括最大传输报文长度、DDP数据包的报文长度和MPA数据包的报文长度；

当所述源端物理机的远程直接数据存取通道的报文参数更新时，所述源端物理机将更新后的所述源端物理机的远程直接数据存取通道的报文参数发送至所述目标物理机；

所述目标物理机接收所述源端物理机发送的所述源端物理机的远程直接数据存取通道的报文参数，并根据所述源端物理机的远程直接数据存取通道的报文参数自动配置所述目标物理机的远程直接数据存取通道的报文参数。

5.根据权利要求4所述的一种虚拟机热迁移方法，其特征在于，所述源端物理机配置所述源端物理机的远程直接数据存取通道的报文参数具体包括：

获取输入的带宽参数；

根据所述带宽参数，配置所述源端物理机的远程直接数据存取通道的最大传输报文长度；

根据所述最大传输报文长度，配置DDP数据包的报文长度和MPA数据包的报文长度。

6.一种虚拟机热迁移系统，其特征在于，包括源端物理机和目标物理机；

所述源端物理机，用于与所述目标物理机建立远程直接数据存取通道；并用于配置所述远程直接数据存取通道的参数；

所述目标物理机，用于配置所述远程直接数据存取通道的参数；

所述源端物理机，还用于通过所述远程直接数据存取通道将虚拟机热迁移到所述目标物理机上。

7.根据权利要求6所述的一种虚拟机热迁移系统，其特征在于，所述源端物理机包括：

核绑定模块，用于将所述虚拟机的热迁移线程与所述源端物理机的CPU核绑定。

8.根据权利要求6所述的一种虚拟机热迁移系统，其特征在于，所述源端物理机包括：

第一配置模块，用于根据获取到的所述内存访问方式信息，将所述源端物理机的远程直接数据存取通道的内存访问方式设置为大页内存；

所述目标物理机包括：

第二配置模块，用于根据获取到的所述内存访问方式信息，将所述目标物理机的远程直接数据存取通道的内存访问方式设置为大页内存。

9.根据权利要求6-8任一项所述的一种虚拟机热迁移系统，其特征在于，所述源端物理机包括：

第一配置模块，用于配置所述源端物理机的远程直接数据存取通道的报文参数；

发送模块，用于当所述源端物理机的远程直接数据存取通道的报文参数更新时，所述源端物理机将更新后的所述源端物理机的远程直接数据存取通道的报文参数发送至所述目标物理机；

所述目标物理机包括：

接收模块，用于接收所述源端物理机发送的所述源端物理机的远程直接数据存取通道的报文参数；

第二配置模块，用于根据所述源端物理机的远程直接数据存取通道的报文参数自动配置所述目标物理机的远程直接数据存取通道的报文参数。

10.根据权利要求9所述的一种虚拟机热迁移系统，其特征在于，

所述第一配置模块包括获取单元，用于获取输入的带宽参数；

所述第一配置模块还包括配置单元，用于根据所述带宽参数，配置所述源端物理机的远程直接数据存取通道的最大传输报文长度；还用于根据所述最大传输报文长度，配置DDP数据包的报文长度和MPA数据包的报文长度。