CN106776876A - 数据迁移方法和数据迁移系统 - Google Patents

Abstract

本发明提供了一种数据迁移方法和数据迁移系统。其中，一种数据迁移方法，包括：在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；以及将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；记录合法性检查、对照配置以及迁移过程中产生的日志信息。通过本发明的技术方案，利用可配置的方式处理数据迁移逻辑，使数据迁移工作变得更加灵活、易用，使异构系统数据迁移变得更加简单，高效。

Description

数据迁移方法和数据迁移系统

技术领域

本发明涉及一种数据迁移技术领域，具体而言，涉及一种数据迁移方法，还涉及一种数据迁移系统。

背景技术

企业资源计划系统(Enterprise Resource Planning，ERP)是指建立在信息技术基础上，以系统化的管理思想，为企业决策层及员工提供决策运行手段的管理平台。在信息化全面发展的今天，越来越多的企业选择了ERP系统来管理企业的各方面资源与业务。

然而在经济发展如此迅猛，电子商务进入发展高潮，企业互联网突袭的背景下，现有的ERP系统往往不能满足客户所有业务的需求，大量的企业都在ERP系统现有的基础上做了不同程度的客户化开发，随之而来的是ERP系统更新换代的需求。而ERP系统有其固有的复杂性，更新换代并非易事，随着大数据技术发展越来越快，数据可谓是客户最高的价值产物，所以产品更新换代势必会产生对数据迁移的需求，同构系统升级也许问题并不会太大，但是涉及到异构系统的升级，数据迁移就成了企业的一块心病，无论是ERP的使用方还是ERP的提供方，异构系统数据升迁都将变成一件既头疼又迫切需求的事情。

相关技术将老系统和新系统之间从代码层面做数据结构对照，然后将源系统中的数据查询到内存中，在内存中做一定的处理，将数据处理为符合目标系统的要求，保存数据库。虽然相关技术完成了异构系统数据的升迁，但是存在以下几点不足：1、在数据迁移之前没有源系统数据检查规则，无法在迁移前评估和规避风险；2、源系统与目标系统数据结构对照不能做到灵活配置，如果遇到字段对照需要修改，只能通过修改源代码解决遇到的问题；3、项目客户化的数据无法通过现有功能配置方式解决，只能通过客户化项目开发；4、客户化业务规则无法动态扩展到现有产品中，只能通过客户化项目开发解决；5、迁移到目标系统以后的数据没有源系统与目标系统对账处理，无法自动生成数据正确性验证报告，项目交付数据错误潜在风险太大。

因此，如何提供一种数据迁移方法以解决上述问题，成为目前亟待解决的技术问题

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提出了一种数据迁移方法。

本发明的另一个目的在于提出了一种数据迁移系统。

有鉴于此，本发明提出了一种数据迁移方法，包括：在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；以及将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；记录合法性检查、对照配置以及迁移过程中产生的日志信息。

根据本发明的数据迁移方法，通过在将源系统中的每一个业务表或者业务单据迁移至目标系统之前，先进行合法性检查，只有检查通过的数据才能进行后续的数据迁移，如果检查不通过，将源系统数据进行修复和调整，然后再进行重复检查，直至通过合法性检查为止，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性；通过将源系统数据结构和目标系统数据结构按照对照配置模式进行对照配置，实现灵活对照配置数据结构，支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移，从而降低数据迁移过程的开发成本，提高迁移系统的扩展性、稳定性和安全性；通过记录合法性检查、对照配置以及数据迁移过程中产生的日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

另外，根据本发明上述的数据迁移方法，还可以具有如下附加的技术特征：

在上述技术方案中，优选地，当源系统数据未通过合法性检查时，对源系统数据进行修复和调整具体包括：生成不合法数据报告；对源系统数据进行容错验证；当源系统数据通过容错验证时，将源系统数据迁移至目标系统；当源系统数据未通过容错验证时，分析不合法数据报告，根据分析结果对源系统数据进行修复和调整，直至源系统数据通过合法性检查；删除不合法数据报告。

在该技术方案中，如果源系统数据没有通过合法性检查，则生成不合法数据报告，插入后台日志表，以更新日志信息，并对不合法数据进行容错验证，当不合法数据通过容错验证后，将验证后的数据迁移至目标系统，大大增强了系统连续运行的稳定性；当不合法数据没有通过容错验证时，通过分析不合法数据报告，找出数据不合法的原因，以对不合法数据进行修复和调整，然后再进行重复检查，直到检查通过为止，并同步删除后台不合法数据日志信息，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

在上述技术方案中，优选地，当源系统数据通过合法性检查后，将通过合法性检查的源系统数据迁移至目标系统具体包括：判断是否需要扩展迁移规则；若判断结果为是，插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则；否则选择迁移模式及对应的迁移方式；将源系统数据按照预设转换规则进行数据转换处理；将数据转换处理后的数据保存到目标系统。

在该技术方案中，扩展迁移规则是为了针对客户化开发数据结构的个性化处理，当客户实行客户化开发的时候，有可能会对客户化开发的字段做特殊的赋值处理逻辑，通过插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则，有效解决客户化开发的问题，实现最小成本支持客户个性化开发的数据结构迁移，能够快速有效的支撑异构系统之间的数据迁移，同时也可以作为同构系统之间数据迁移或数据传输工具；如果客户不需要进行客户化开发数据结构的个性化处理，那么通过选择合适的迁移模式及对应的迁移方式，对源系统数据进行迁移，将源系统的数据经过预设转换规则处理为符合目标系统规则的数据，将数据转换处理后的数据保存到目标系统对应的库表中。

在上述技术方案中，优选地，对目标系统数据与源系统数据进行对账处理。

在该技术方案中，当完成源系统数据到目标系统数据的迁移后，通过对目标系统数据与源系统数据进行对账处理，能够更加快速的生成数据验证报告，解脱依靠人力验证的劳动力问题和工作效率问题，提供更加全面的数据验证报告，缩短项目上线切换的时间。

在上述技术方案中，优选地，对目标系统数据与源系统数据进行对账处理具体包括：选择需要对账的单据和预设对账维度或自定义对账维度；执行单据对账，生成数据验证报告。

在该技术方案中，通过选择单据和对账维度进行单据对账，生成数据验证报告，系统预置一些标准的对账维度，如果客户有个性化需求，可以自己配置对账维度，然后执行对账，生成验证报告，灵活配置对账规则满足了不同客户对数据正确性验证报告的需求。

在上述技术方案中，优选地，预设检查规则具有可扩展性。

在该技术方案中，根据不同的系统，不同的客户的迁移需求动态扩展预设检查规则，在不影响标准检查规则的前提下灵活扩展不同系统不同客户的个性化检查需求，在源系统数据迁移之前最大限度的发现和规避风险，提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

在上述技术方案中，优选地，对照配置模式包括以下至少任一项：excel配置导入模式、界面化配置对照模式。

在该技术方案中，数据迁移过程中源系统数据结构与目标系统数据结构能够做到灵活配置，配置方式包括excel配置导入模式和界面化配置对照模式。通过灵活配置数据结构对照，做到支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移。本领域技术人员应该理解，对照配置模式包括但不限于以下至少任一项：excel配置导入模式、界面化配置对照模式。

在上述技术方案中，优选地，迁移模式包括以下至少任一项：平滑迁移、对照迁移；迁移方式包括以下至少任一项：静态数据迁移、增量数据迁移。

在该技术方案中，平滑迁移顾名思义就是将源系统的数据按照一定的规则迁移到目标系统；对照迁移是指在目标系统中已经有一部分数据，需要将源系统数据与目标系统数据做对照关系，然后再执行迁移，例如：源系统中有一个组织名称叫“A001”，目标系统有一个组织叫“B001”，将“A001”组织与“B001”组织做对照迁移，则源系统“A001”组织的属性会对照迁移到目标系统的“B001”组织中。本领域技术人员应该理解，迁移模式包括但不限于平滑迁移与对照迁移两种模式。

迁移方式支持静态数据迁移与增量数据迁移两种模式，静态数据迁移是指对用户数据不再做增、删、改操作的数据进行迁移；增量数据迁移是指在迁移的过程中用户的源系统还在继续使用，数据还在持续变化，增量数据迁移是为了用户在做系统升级数据迁移的过程中，尽可能不中断用户的当前业务，将对用户的影响最小化。本领域技术人员应该理解，迁移方式包括但不限于静态数据迁移和增量数据迁移两种方式。

在上述任一技术方案中，优选地，日志信息包括以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。

在该技术方案中，本领域技术人员应该理解，日志信息包括但不限于以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。通过记录日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

本发明还提出一种数据迁移系统，包括：数据合法性检查模块，用于在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；以及数据结构对照配置模块，用于将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；数据迁移核心处理模块，当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；数据合法性检查模块，还用于当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；日志管理模块，用于记录合法性检查、对照配置以及迁移过程中产生的日志信息。

根据本发明的数据迁移系统，通过在将源系统中的每一个业务表或者业务单据迁移至目标系统之前，先进行合法性检查，只有检查通过的数据才能进行后续的数据迁移，如果检查不通过，将源系统数据进行修复和调整，然后再进行重复检查，直至通过合法性检查为止，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性；通过将源系统数据结构和目标系统数据结构按照对照配置模式进行对照配置，实现灵活对照配置数据结构，支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移，从而降低数据迁移过程的开发成本，提高迁移系统的扩展性、稳定性和安全性；通过记录合法性检查、对照配置以及数据迁移过程中产生的日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

另外，根据本发明上述的数据迁移系统，还可以具有如下附加的技术特征：

在上述技术方案中，优选地，当源系统数据未通过合法性检查时，对源系统数据进行修复和调整具体包括：生成单元，用于生成不合法数据报告；容错单元，用于对源系统数据进行容错验证；数据迁移核心处理模块，还用于当源系统数据通过容错验证时，将源系统数据迁移至目标系统；日志管理模块，还用于当源系统数据未通过容错验证时，分析不合法数据报告；修复调整单元，用于根据分析结果对源系统数据进行修复和调整，直至源系统数据通过合法性检查；日志管理模块，还用于删除不合法数据报告。

在该技术方案中，如果源系统数据没有通过合法性检查，则生成不合法数据报告，插入后台日志表，以更新日志信息，并对不合法数据进行容错验证，当不合法数据通过容错验证后，将验证后的数据迁移至目标系统，大大增强了系统连续运行的稳定性；当不合法数据没有通过容错验证时，通过分析不合法数据报告，找出数据不合法的原因，以对不合法数据进行修复和调整，然后再进行重复检查，直到检查通过为止，并同步删除后台不合法数据日志信息，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

在上述技术方案中，优选地，当源系统数据通过合法性检查后，将通过合法性检查的源系统数据迁移至目标系统具体包括：判断单元，用于判断是否需要扩展迁移规则；规则扩展单元，用于若判断结果为是，插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则；否则迁移选择单元，用于选择迁移模式及对应的迁移方式；数据转换单元，用于将源系统数据按照预设转换规则进行数据转换处理；存储单元，用于将数据转换处理后的数据保存到目标系统。

在该技术方案中，扩展迁移规则是为了针对客户化开发数据结构的个性化处理，当客户实行客户化开发的时候，有可能会对客户化开发的字段做特殊的赋值处理逻辑，通过插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则，有效解决客户化开发的问题，实现最小成本支持客户个性化开发的数据结构迁移，能够快速有效的支撑异构系统之间的数据迁移，同时也可以作为同构系统之间数据迁移或数据传输工具；如果客户不需要进行客户化开发数据结构的个性化处理，那么通过选择合适的迁移模式及对应的迁移方式，对源系统数据进行迁移，将源系统的数据经过预设转换规则处理为符合目标系统规则的数据，将数据转换处理后的数据保存到目标系统对应的库表中。

在上述技术方案中，优选地，数据对账处理模块，用于对目标系统数据与源系统数据进行对账处理。

在该技术方案中，当完成源系统数据到目标系统数据的迁移后，通过对目标系统数据与源系统数据进行对账处理，能够更加快速的生成数据验证报告，解脱依靠人力验证的劳动力问题和工作效率问题，提供更加全面的数据验证报告，缩短项目上线切换的时间。

在上述技术方案中，优选地，对目标系统数据与源系统数据进行对账处理具体包括：对账选择单元，用于选择需要对账的单据和预设对账维度或自定义对账维度；执行单元，用于执行单据对账，并生成数据验证报告。

在该技术方案中，通过选择单据和对账维度进行单据对账，生成数据验证报告，系统预置一些标准的对账维度，如果客户有个性化需求，可以自己配置对账维度，然后执行对账，生成验证报告，灵活配置对账规则满足了不同客户对数据正确性验证报告的需求。

在上述技术方案中，优选地，预设检查规则具有可扩展性。

在该技术方案中，根据不同的系统，不同的客户的迁移需求动态扩展预设检查规则，在不影响标准检查规则的前提下灵活扩展不同系统不同客户的个性化检查需求，在源系统数据迁移之前最大限度的发现和规避风险，提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

在上述技术方案中，优选地，对照配置模式包括以下至少任一项：excel配置导入模式、界面化配置对照模式。

在该技术方案中，数据迁移过程中源系统数据结构与目标系统数据结构能够做到灵活配置，配置方式包括excel配置导入模式和界面化配置对照模式。通过灵活配置数据结构对照，做到支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移。本领域技术人员应该理解，对照配置模式包括但不限于以下至少任一项：excel配置导入模式、界面化配置对照模式。

在上述技术方案中，优选地，迁移模式包括以下至少任一项：平滑迁移、对照迁移；迁移方式包括以下至少任一项：静态数据迁移、增量数据迁移。

在该技术方案中，平滑迁移顾名思义就是将源系统的数据按照一定的规则迁移到目标系统；对照迁移是指在目标系统中已经有一部分数据，需要将源系统数据与目标系统数据做对照关系，然后再执行迁移，例如：源系统中有一个组织名称叫“A001”，目标系统有一个组织叫“B001”，将“A001”组织与“B001”组织做对照迁移，则源系统“A001”组织的属性会对照迁移到目标系统的“B001”组织中。本领域技术人员应该理解，迁移模式包括但不限于平滑迁移与对照迁移两种模式。

迁移方式支持静态数据迁移与增量数据迁移两种模式，静态数据迁移是指对用户数据不再做增、删、改操作的数据进行迁移；增量数据迁移是指在迁移的过程中用户的源系统还在继续使用，数据还在持续变化，增量数据迁移是为了用户在做系统升级数据迁移的过程中，尽可能不中断用户的当前业务，将对用户的影响最小化。本领域技术人员应该理解，迁移方式包括但不限于静态数据迁移和增量数据迁移两种方式。

在上述任一技术方案中，优选地，日志信息包括以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。

在该技术方案中，本领域技术人员应该理解，日志信息包括但不限于以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。通过记录日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了根据本发明的一个实施例的数据迁移方法的流程示意图；

图2示出了根据本发明的一个实施例的数据合法性检查的流程示意图；

图3a示出了根据本发明的一个实施例的数据迁移处理逻辑的流程示意图；

图3b示出了根据本发明的再一个实施例的数据迁移处理逻辑的流程示意图；

图4示出了根据本发明的再一个实施例的数据迁移方法的流程示意图；

图5示出了根据本发明的一个实施例的对账处理的流程示意图；

图6示出了根据本发明的一个实施例的数据迁移系统的示意框图；

图7示出了根据本发明的再一个实施例的数据迁移系统的示意框图；

图8示出了根据本发明的一个实施例的数据迁移核心处理模块的示意框图；

图9示出了根据本发明的另一个实施例的数据迁移系统的示意框图；

图10示出了根据本发明的一个实施例的数据对账处理模块的示意框图；

图11示出了根据本发明的一个实施例的数据迁移系统的架构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，根据本发明的一个实施例的数据迁移方法的流程示意图：

步骤102，在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；

步骤104，将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

步骤106，当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；

步骤108，当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；

步骤110，记录合法性检查、对照配置以及迁移过程中产生的日志信息。

在该实施例中，通过在将源系统中的每一个业务表或者业务单据迁移至目标系统之前，先进行合法性检查，只有检查通过的数据才能进行后续的数据迁移，如果检查不通过，将源系统数据进行修复和调整，然后再进行重复检查，直至通过合法性检查为止，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性；通过将源系统数据结构和目标系统数据结构按照对照配置模式进行对照配置，实现灵活对照配置数据结构，支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移，从而降低数据迁移过程的开发成本，提高迁移系统的扩展性、稳定性和安全性；通过记录合法性检查、对照配置以及数据迁移过程中产生的日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

如图2所示，根据本发明的一个实施例的数据合法性检查的流程示意图：

步骤202，对源系统数据进行合法性检查；当源系统数据未通过合法性检查时，执行步骤204；当源系统数据通过合法性检查时，执行步骤208；

步骤204，生成不合法数据报告；

步骤206，对源系统数据进行容错验证；当源系统数据通过容错验证时，执行步骤208；当源系统数据未通过容错验证时，执行步骤210；

步骤208，将源系统数据迁移至目标系统；

步骤210，分析不合法数据报告，根据分析结果对源系统数据进行修复和调整，重复步骤202，直至源系统数据通过合法性检查

步骤212，记录合法性检查、以及迁移过程中产生的日志信息；

步骤214，删除不合法数据报告。

在该实施例中，如果源系统数据没有通过合法性检查，则生成不合法数据报告，插入后台日志表，以更新日志信息，并对不合法数据进行容错验证，当不合法数据通过容错验证后，将验证后的数据迁移至目标系统，大大增强了系统连续运行的稳定性；当不合法数据没有通过容错验证时，通过分析不合法数据报告，找出数据不合法的原因，以对不合法数据进行修复和调整，然后再进行重复检查，直到检查通过为止，并同步删除后台不合法数据日志信息，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。数据合法性检查示例效果如表1：

表1数据合法性检查示例效果

如图3a所示，根据本发明的一个实施例的数据迁移处理逻辑的流程示意图：

步骤302，判断是否需要扩展迁移规则；若判断结果为是，执行步骤304；否则执行步骤306；

步骤304，插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则；

步骤306，选择迁移模式及对应的迁移方式；

步骤308，将源系统数据按照预设转换规则进行数据转换处理；

步骤310，将数据转换处理后的数据保存到目标系统

步骤312，记录迁移过程中产生的日志信息。

在该实施例中，扩展迁移规则是为了针对客户化开发数据结构的个性化处理，当客户实行客户化开发的时候，有可能会对客户化开发的字段做特殊的赋值处理逻辑，通过插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则，有效解决客户化开发的问题，实现最小成本支持客户个性化开发的数据结构迁移，能够快速有效的支撑异构系统之间的数据迁移，同时也可以作为同构系统之间数据迁移或数据传输工具；如果客户不需要进行客户化开发数据结构的个性化处理，那么通过选择合适的迁移模式及对应的迁移方式，对源系统数据进行迁移，将源系统的数据经过预设转换规则处理为符合目标系统规则的数据，将数据转换处理后的数据保存到目标系统对应的库表中。

如图3b所示，根据本发明的再一个实施例的数据迁移处理逻辑的流程示意图：

步骤302，判断是否需要扩展迁移规则；若判断结果为是，执行步骤304；否则执行步骤306；

步骤304，插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则；

步骤306，选择迁移模式及对应的迁移方式；

步骤308，源数据备份；

步骤310，查询备份源数据；

步骤312，将源系统数据按照预设转换规则进行数据转换处理；

步骤314，将数据转换处理后的数据保存到目标系统

步骤316，记录迁移过程中产生的日志信息。

在该实施例中，数据迁移处理逻辑包括：选择迁移模式、迁移规则扩展、源数据备份(选做)、查询源数据、数据转换处理、保存数据库，其中源数据备份、数据转换处理，保存数据库的过程都将产生的迁移轨迹记录到后台日志，后续通过分析日志信息，处理和解决迁移问题。源数据备份是将源系统的数据库表先备份一份到目标系统数据库中，然后从备份表中读取数据迁移到目标系统中对应的库表中，这种迁移模式适用于静态数据迁移。当完成备份源数据库表以后就不需要再操作源系统数据库了，备份的数据与目标数据库表在同一个数据库，方便后面进行数据迁移错误分析和对账处理。

如图4所示，根据本发明的再一个实施例的数据迁移方法的流程示意图：

步骤402，在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；

步骤404，将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

步骤406，当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；

步骤408，当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；

步骤410，记录合法性检查、对照配置以及迁移过程中产生的日志信息；

步骤412，对目标系统数据与源系统数据进行对账处理。

在该实施例中，当完成源系统数据到目标系统数据的迁移后，通过对目标系统数据与源系统数据进行对账处理，能够更加快速的生成数据验证报告，解脱依靠人力验证的劳动力问题和工作效率问题，提供更加全面的数据验证报告，缩短项目上线切换的时间。

如图5所示，根据本发明的一个实施例的对账处理的流程示意图：

步骤502，选择需要对账的单据；

步骤504，选择预设对账维度；或者

步骤506，自定义对账维度；

步骤508，执行单据对账，生成数据验证报告。

在该实施例中，通过选择单据和对账维度进行单据对账，生成数据验证报告，系统预置一些标准的对账维度，如果客户有个性化需求，可以自己配置对账维度，然后执行对账，生成验证报告，灵活配置对账规则满足了不同客户对数据正确性验证报告的需求。

在上述实施例中，优选地，预设检查规则具有可扩展性。

在该实施例中，根据不同的系统，不同的客户的迁移需求动态扩展预设检查规则，在不影响标准检查规则的前提下灵活扩展不同系统不同客户的个性化检查需求，在源系统数据迁移之前最大限度的发现和规避风险，提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

在上述实施例中，优选地，对照配置模式包括以下至少任一项：excel配置导入模式、界面化配置对照模式。

在该实施例中，数据迁移过程中源系统数据结构与目标系统数据结构能够做到灵活配置，配置方式包括excel配置导入模式和界面化配置对照模式。通过灵活对照配置数据结构，做到支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移，以满足不同客户化开发的需求。本领域技术人员应该理解，对照配置模式包括但不限于以下至少任一项：excel配置导入模式、界面化配置对照模式。

具体实施例一，通过excel配置源系统与目标系统的数据结构对照关系，配置完成以后经由前台导入功能将源系统数据导入到目标系统中，在后续的迁移逻辑中根据对照关系将源系统数据库表字段值迁移到对应的目标系统的数据库表字段值。excel配置导入模式对照模板如表2：

表2excel配置导入模式对照模板

具体实施例二，前台界面化配置对照模式，左边是目标系统库表结构(数据字典)，右边是源系统库表结构(数据字典)，源系统和目标系统的库表结构都是通过库表名称从源系统库和目标数据库中加载出来的。目标数据库库表结构按照字母排序列举在界面，源系统对应单据库表结构设计成参照模式和手工输入两种模式，根据不同的规则类型选择采用参照模式或是手工输入模式，如果规则类型是赋值，则采用手工录入模式，如果是其他规则类型，则通过参照枚举出对应单据表的库表结构，然后与目标系统对应的字段名称做对照，这样做的好处是避免手工输入造成错误。通过前台界面化配置可以更加灵活的实现源系统与目标系统之间的字段对照，能够最小成本支持客户化开发的数据结构迁移，降低数据迁移客户化开发成本，提高迁移系统的扩展性、稳定性和安全性。界面化配置对照模式模板如表3：

表3界面化配置对照模式模板

目标表属性名称

目标表属性

目标数据类型

规则类型

源表属性名称

源表属性

源数据类型

备注

采购入库单主表ID

cbillid

char

直接对照

单据标识

cbillid

char

直接对照

打印次数

iprintcount

int

直接对照

打印次数

iprintcount

int

转换int型

创建人

creator

varchar

PK翻译

制单人标识

coperatorid

varchar

翻译

仓库

cstordocid

varchar

PK翻译

仓库标识

cwarehouse

varchar

翻译

库存组织最新版本

cstockorgid

varchar

PK翻译

库存组织标识

crdcenterid

varchar

翻译

单据日期

dbilldate

char

对照

单据日期

dbilldate

char

日期转换直接对照

会计期间

caccountperiod

char

拼接处理

会计月份

caccountmd

varchar

会计年度+会计月

会计期间

caccountperiod

char

拼接处理

会计年度

caccountye

varchar

会计年度+会计月

在上述实施例中，优选地，迁移模式包括以下至少任一项：平滑迁移、对照迁移；迁移方式包括以下至少任一项：静态数据迁移、增量数据迁移。

在该实施例中，平滑迁移顾名思义就是将源系统的数据按照一定的规则迁移到目标系统；对照迁移是指在目标系统中已经有一部分数据，需要将源系统数据与目标系统数据做对照关系，然后再执行迁移，例如：源系统中有一个组织名称叫“A001”，目标系统有一个组织叫“B001”，将“A001”组织与“B001”组织做对照迁移，则源系统“A001”组织的属性会对照迁移到目标系统的“B001”组织中。本领域技术人员应该理解，迁移模式包括但不限于平滑迁移与对照迁移两种模式。

迁移方式支持静态数据迁移与增量数据迁移两种模式，静态数据迁移是指对用户数据不再做增、删、改操作的数据进行迁移；增量数据迁移是指在迁移的过程中用户的源系统还在继续使用，数据还在持续变化，增量数据迁移是为了用户在做系统升级数据迁移的过程中，尽可能不中断用户的当前业务，将对用户的影响最小化。本领域技术人员应该理解，迁移方式包括但不限于静态数据迁移和增量数据迁移两种方式。

在上述任一实施例中，优选地，日志信息包括以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。

在该实施例中，本领域技术人员应该理解，日志信息包括但不限于以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。通过记录日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

如图6所示，根据本发明的一个实施例的数据迁移系统的示意框图：

数据合法性检查模块602，用于在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；以及

数据结构对照配置模块604，用于将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

数据迁移核心处理模块606，当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；

数据合法性检查模块602，还用于当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；

日志管理模块608，用于记录合法性检查、对照配置以及迁移过程中产生的日志信息。

在该实施例中，通过在将源系统中的每一个业务表或者业务单据迁移至目标系统之前，先进行合法性检查，只有检查通过的数据才能进行后续的数据迁移，如果检查不通过，将源系统数据进行修复和调整，然后再进行重复检查，直至通过合法性检查为止，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性；通过将源系统数据结构和目标系统数据结构按照对照配置模式进行对照配置，实现灵活对照配置数据结构，支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移，从而降低数据迁移过程的开发成本，提高迁移系统的扩展性、稳定性和安全性；通过记录合法性检查、对照配置以及数据迁移过程中产生的日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

如图7所示，根据本发明的再一个实施例的数据迁移系统的示意框图：

数据合法性检查模块702包括：生成单元7022，用于生成不合法数据报告；

数据结构对照配置模块704，用于将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

数据迁移核心处理模块706，还用于当源系统数据通过容错验证时，将源系统数据迁移至目标系统；

日志管理模块708，还用于当源系统数据未通过容错验证时，分析不合法数据报告；

数据合法性检查模块702还包括：修复调整单元7024，用于根据分析结果对源系统数据进行修复和调整，直至源系统数据通过合法性检查；

日志管理模块708，还用于删除不合法数据报告。

在该实施例中，如果源系统数据没有通过合法性检查，则生成不合法数据报告，插入后台日志表，以更新日志信息，并对不合法数据进行容错验证，当不合法数据通过容错验证后，将验证后的数据迁移至目标系统，大大增强了系统连续运行的稳定性；当不合法数据没有通过容错验证时，通过分析不合法数据报告，找出数据不合法的原因，以对不合法数据进行修复和调整，然后再进行重复检查，直到检查通过为止，并同步删除后台不合法数据日志信息，能够最大限度的发现和规避风险，从而提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

如图8所示，根据本发明的一个实施例的数据迁移核心处理模块的示意框图：

数据迁移核心处理模块800包括：判断单元802，用于判断是否需要扩展迁移规则；

规则扩展单元804，用于若判断结果为是，插入新的迁移规则，替换原有迁移规则；

迁移选择单元806，用于选择迁移模式及对应的迁移方式；

数据转换单元808，用于将源系统数据按照预设转换规则进行数据转换处理；

存储单元810，用于将数据转换处理后的数据保存到目标系统。

在该实施例中，扩展迁移规则是为了针对客户化开发数据结构的个性化处理，当客户实行客户化开发的时候，有可能会对客户化开发的字段做特殊的赋值处理逻辑，通过插入新的迁移规则，替换原有迁移规则，有效解决客户化开发的问题，实现最小成本支持客户个性化开发的数据结构迁移，能够快速有效的支撑异构系统之间的数据迁移，同时也可以作为同构系统之间数据迁移或数据传输工具；如果客户不需要进行客户化开发数据结构的个性化处理，那么通过选择合适的迁移模式及对应的迁移方式，对源系统数据进行迁移，将源系统的数据经过预设转换规则处理为符合目标系统规则的数据，将数据转换处理后的数据保存到目标系统对应的库表中。

如图9示，根据本发明的另一个实施例的数据迁移系统的示意框图：

数据合法性检查模块902，用于在将源系统数据迁移至目标系统之前，按照预设检查规则对源系统数据进行合法性检查，根据检查结果对源系统数据进行处理；其中，数据合法性检查模块902包括：生成单元9022，用于生成不合法数据报告；修复调整单元9024，用于根据分析结果对源系统数据进行修复和调整，直至源系统数据通过合法性检查；

数据结构对照配置模块904，用于将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

数据迁移核心处理模块906，当源系统数据通过合法性检查后，将源系统数据迁移至目标系统；其中，数据迁移核心处理模块906包括：判断单元9062，用于判断是否需要扩展迁移规则；规则扩展单元9064，用于若判断结果为是，插入新的迁移规则，替换原有迁移规则；迁移选择单元9066，用于选择迁移模式及对应的迁移方式；数据转换单元9068，用于将源系统数据按照预设转换规则进行数据转换处理；存储单元9070，用于将数据转换处理后的数据保存到目标系统；

数据合法性检查模块902，还用于当源系统数据未通过合法性检查时，将源系统数据进行修复和调整，直至源系统数据通过合法性检查；

日志管理模块908，用于记录合法性检查、对照配置以及迁移过程中产生的日志信息；

数据对账处理模块910，用于对目标系统数据与源系统数据进行对账处理。

在该实施例中，当完成源系统数据到目标系统数据的迁移后，通过对目标系统数据与源系统数据进行对账处理，能够更加快速的生成数据验证报告，解脱依靠人力验证的劳动力问题和工作效率问题，提供更加全面的数据验证报告，缩短项目上线切换的时间。

如图10所示，根据本发明的一个实施例的数据对账处理模块的示意框图：

数据对账处理模块1000包括：对账选择单元1002，用于选择需要对账的单据和预设对账维度或自定义对账维度；执行单元1004，用于执行单据对账，并生成数据验证报告。

在该实施例中，通过选择单据和对账维度进行单据对账，生成数据验证报告，系统预置一些标准的对账维度，如果客户有个性化需求，可以自己配置对账维度，然后执行对账，生成验证报告，灵活配置对账规则满足了不同客户对数据正确性验证报告的需求。

在上述实施例中，优选地，预设检查规则具有可扩展性。

在该实施例中，根据不同的系统，不同的客户的迁移需求动态扩展预设检查规则，在不影响标准检查规则的前提下灵活扩展不同系统不同客户的个性化检查需求，在源系统数据迁移之前最大限度的发现和规避风险，提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

在上述实施例中，优选地，对照配置模式包括以下至少任一项：excel配置导入模式、界面化配置对照模式。

在该实施例中，数据迁移过程中源系统数据结构与目标系统数据结构能够做到灵活配置，配置方式包括excel配置导入模式和界面化配置对照模式。通过灵活配置数据结构对照，做到支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移。本领域技术人员应该理解，对照配置模式包括但不限于以下至少任一项：excel配置导入模式、界面化配置对照模式。

在上述实施例中，优选地，迁移模式包括以下至少任一项：平滑迁移、对照迁移；迁移方式包括以下至少任一项：静态数据迁移、增量数据迁移。

在该实施例中，平滑迁移顾名思义就是将源系统的数据按照一定的规则迁移到目标系统；对照迁移是指在目标系统中已经有一部分数据，需要将源系统数据与目标系统数据做对照关系，然后再执行迁移，例如：源系统中有一个组织名称叫“A001”，目标系统有一个组织叫“B001”，将“A001”组织与“B001”组织做对照迁移，则源系统“A001”组织的属性会对照迁移到目标系统的“B001”组织中。本领域技术人员应该理解，迁移模式包括但不限于平滑迁移与对照迁移两种模式。

迁移方式支持静态数据迁移与增量数据迁移两种模式，静态数据迁移是指对用户数据不再做增、删、改操作的数据进行迁移；增量数据迁移是指在迁移的过程中用户的源系统还在继续使用，数据还在持续变化，增量数据迁移是为了用户在做系统升级数据迁移的过程中，尽可能不中断用户的当前业务，将对用户的影响最小化。本领域技术人员应该理解，迁移方式包括但不限于静态数据迁移和增量数据迁移两种方式。

在上述任一实施例中，优选地，日志信息包括以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。

在该实施例中，本领域技术人员应该理解，日志信息包括但不限于以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。通过记录日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性。

如图11所示，根据本发明的一个实施例的数据迁移系统的架构示意图：数据迁移系统1100包括包含5大模块：数据合法性检查模块1102，对源系统DB在迁移之前进行数据合法性检查，尽可能在做系统数据迁移前分析和规避风险；数据结构对照配置模块1104，使源系统DB结构与目标系统DB结构能够做到灵活配置，通过灵活配置数据结构，实现支持多种异构系统之间的数据迁移，支持客户化开发数据结构迁移；数据迁移核心处理模块1106，通过动态扩展数据迁移规则，能够快速有效的支撑异构系统之间的数据迁移，并有效解决客户化开发的问题，同时也可以作为同构系统之间数据迁移或数据传输工具使用；日志管理模块1108，通过记录合法性检查、对照配置以及数据迁移过程中产生的日志信息，可以及时查验迁移过程中遇到的问题，分析不合法数据以便后续修复和调整，进而将修复后的数据重新迁移，有效避免数据迁移中断，进一步提高数据迁移过程的稳定性和迁移后目标系统数据的正确性；数据对账处理模块1110，可以灵活配置对账规则，以满足不同客户对数据正确性验证报告的需求，在数据迁移完成以后执行源系统DB和目标系统DB的数据对账，生成数据验证报告，解脱依靠人力验证的劳动力和效率问题，提供更加全面的数据验证报告，缩短项目上线切换的时间。

数据迁移系统1100，利用可配置的方式处理数据迁移逻辑，使数据迁移工作变得更加灵活、易用，使异构系统数据迁移变得更加简单，高效；同时，本发明设计的数据迁移系统还能够更加灵活的支持同构系统之间的数据迁移，也可以支持同一系统的数据迁移到不同版本的数据库中。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种数据迁移方法，其特征在于，包括：

在将源系统数据迁移至目标系统之前，按照预设检查规则对所述源系统数据进行合法性检查，根据检查结果对所述源系统数据进行处理；以及

将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

当所述源系统数据通过所述合法性检查后，将所述源系统数据迁移至所述目标系统；

当所述源系统数据未通过所述合法性检查时，将所述源系统数据进行修复和调整，直至所述源系统数据通过所述合法性检查；

记录所述合法性检查、所述对照配置以及所述迁移过程中产生的日志信息。

2.根据权利要求1所述的数据迁移方法，其特征在于，所述当所述源系统数据未通过所述合法性检查时，对所述源系统数据进行修复和调整具体包括：

生成不合法数据报告；

对所述源系统数据进行容错验证；

当所述源系统数据通过所述容错验证时，将所述源系统数据迁移至所述目标系统；

当所述源系统数据未通过所述容错验证时，分析所述不合法数据报告，根据分析结果对所述源系统数据进行修复和调整，直至所述源系统数据通过所述合法性检查；

删除所述不合法数据报告。

3.根据权利要求1所述的数据迁移方法，其特征在于，所述当所述源系统数据通过所述合法性检查后，将通过所述合法性检查的源系统数据迁移至所述目标系统具体包括：

判断是否需要扩展迁移规则；

若判断结果为是，插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则；否则

选择迁移模式及对应的迁移方式；

将所述源系统数据按照预设转换规则进行数据转换处理；

将数据转换处理后的数据保存到所述目标系统。

4.根据权利要求1所述的数据迁移方法，其特征在于，还包括：

对所述目标系统数据与所述源系统数据进行对账处理。

5.根据权利要求4所述的数据迁移方法，其特征在于，所述对所述目标系统数据与所述源系统数据进行对账处理具体包括：

选择需要对账的单据和预设对账维度或自定义对账维度；

执行单据对账，生成数据验证报告。

6.根据权利要求1所述的数据迁移方法，其特征在于，

所述预设检查规则具有可扩展性。

7.根据权利要求1所述的数据迁移方法，其特征在于，

所述对照配置模式包括以下至少任一项：excel配置导入模式、界面化配置对照模式。

8.根据权利要求3所述的数据迁移方法，其特征在于，

所述迁移模式包括以下至少任一项：平滑迁移、对照迁移；

所述迁移方式包括以下至少任一项：静态数据迁移、增量数据迁移。

9.根据权利要求1至8任一项所述的数据迁移方法，其特征在于，

所述日志信息包括以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。

10.一种数据迁移系统，其特征在于，包括：

数据合法性检查模块，用于在将源系统数据迁移至目标系统之前，按照预设检查规则对所述源系统数据进行合法性检查，根据检查结果对所述源系统数据进行处理；以及

数据结构对照配置模块，用于将源系统数据结构与目标系统数据结构按照对照配置模式进行对照配置；

数据迁移核心处理模块，当所述源系统数据通过所述合法性检查后，将所述源系统数据迁移至所述目标系统；

所述数据合法性检查模块，还用于当所述源系统数据未通过所述合法性检查时，将所述源系统数据进行修复和调整，直至所述源系统数据通过所述合法性检查；

日志管理模块，用于记录所述合法性检查、所述对照配置以及所述迁移过程中产生的日志信息。

11.根据权利要求10所述的数据迁移系统，其特征在于，所述当所述源系统数据未通过所述合法性检查时，对所述源系统数据进行修复和调整具体包括：

生成单元，用于生成不合法数据报告；

容错单元，用于对所述源系统数据进行容错验证；

数据迁移核心处理模块，还用于当所述源系统数据通过所述容错验证时，将所述源系统数据迁移至所述目标系统；

所述日志管理模块，还用于当所述源系统数据未通过所述容错验证时，分析所述不合法数据报告；

修复调整单元，用于根据分析结果对所述源系统数据进行修复和调整，直至所述源系统数据通过所述合法性检查；

所述日志管理模块，还用于删除所述不合法数据报告。

12.根据权利要求10所述的数据迁移系统，其特征在于，所述当所述源系统数据通过所述合法性检查后，将通过所述合法性检查的源系统数据迁移至所述目标系统具体包括：

判断单元，用于判断是否需要扩展迁移规则；

规则扩展单元，用于若判断结果为是，插入新的迁移规则，替换原有迁移规则或在原有的基础上新增规则；否则

迁移选择单元，用于选择迁移模式及对应的迁移方式；

数据转换单元，用于将所述源系统数据按照预设转换规则进行数据转换处理；

存储单元，用于将数据转换处理后的数据保存到所述目标系统。

13.根据权利要求10所述的数据迁移系统，其特征在于，还包括：

数据对账处理模块，用于对所述目标系统数据与所述源系统数据进行对账处理。

14.根据权利要求13所述的数据迁移系统，其特征在于，所述对所述目标系统数据与所述源系统数据进行对账处理具体包括：

对账选择单元，用于选择需要对账的单据和预设对账维度或自定义对账维度；

执行单元，用于执行单据对账，并生成数据验证报告。

15.根据权利要求10所述的数据迁移系统，其特征在于，

所述预设检查规则具有可扩展性。

16.根据权利要求10所述的数据迁移系统，其特征在于，

所述对照配置模式包括以下至少任一项：excel配置导入模式、界面化配置对照模式。

17.根据权利要求12所述的数据迁移系统，其特征在于，

所述迁移模式包括以下至少任一项：平滑迁移、对照迁移；

所述迁移方式包括以下至少任一项：静态数据迁移、增量数据迁移。

18.根据权利要求10至17任一项所述的数据迁移系统，其特征在于，

所述日志信息包括以下至少任一项或其组合：不合法数据、迁移数据量统计、迁移耗时统计、不合法数据异常处理、增量迁移、增量数据对比。