CN107679024B - 识别表格的方法、系统、计算机设备、可读存储介质 - Google Patents

Abstract

本发明提出了一种识别表格的方法、识别表格的系统、计算机设备、计算机可读存储介质。其中，识别表格的方法包括：按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；获取矩形图片块在待识别图片中的位置信息；使用线条分类模型识别多个矩形图片块中线条的类型；结合线条的类型和位置信息，创建待识别图片中的表格。本发明为跨系统数据录入提供了一个高效的技术方案，可以在表单图片有噪音的情况下识别表格线，能够避免用户陷入繁杂冗余的操作中，大大提高用户的体验度。

Description

识别表格的方法、系统、计算机设备、可读存储介质

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种识别表格的方法、识别表格的系统、计算机设备、计算机可读存储介质。

背景技术

在零售批发行业中，用户之间的信息系统没有打通，他们只能通过打印单据来交换信息，而其中大部分都是表格形式存在。表单接收方为了利用自己的系统，需要花费人力来录入表单中的数据。而人工进行数据录入，不仅存在成本高而且出现错误不容校正问题，因此机器识别单据自动导入数据就变得有吸引力。另外在神经网络和深度学习高度发展和GPU应用为表格的识别提供了基础。

因此，如何为跨系统数据录入提供了一个高效的技术方案成为亟待解决的问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明第一个方面在于提出一种识别表格的方法。

本发明的第二个方面在于提出一种识别表格的系统。

本发明的第三个方面在于提出一种计算机设备。

本发明的第四个方面在于提出一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种识别表格的方法，包括：按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；使用线条分类模型识别多个矩形图片块中线条的类型；获取矩形图片块在待识别图片中的位置信息；结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的识别表格的方法，首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

根据本发明的上述识别表格的方法，还可以具有以下技术特征：

在上述技术方案中，优选地，预设规则为：每个矩形图片块中最多只包含一个表格的交叉点。

在该技术方案中，具体限定了预设规则为每个矩形图片块中最多只包含一个表格的交叉点，即每个矩形图片块中可以只是一条直线，也可以线条的交点，但必须保证交点只有一个，限定了划分的矩形图片块不能太大，避免了丢失部分表格信息。

在上述任一技术方案中，优选地，在按照预设规则在水平和垂直方向上将待识别图片切割为多个图片块之前，还包括：创建线条分类模型；创建线条分类模型的过程，具体包括：使用卷积神经网络算法抽取样本图片的样本图片特征信息；获取样本图片特征中的样本线条特征信息；将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；将映射结果接入分类层以得到线条分类模型。

在该技术方案中，在按照预设规则在水平和垂直方向上将待识别图片切割为多个图片块之前，也就是在具体识别图片中表格之前，要先创建线条分类模型，以便在具体的图片表格识别的过程识别表格线条的类型；建线条分类模型的具体过程，使用卷积神经网络算法抽取样本图片的样本图片特征信息，在抽取的样本图片特征信息再次获取其中的样本线条特征信息，能够将样本图片特征信息中对创建线条分类模型有用的样本线条特征信息筛选出来，然后接入3层全连接层，再接入分类层，如此，线条分类模型就搭建完毕。当然，本申请中的搭建线条分类模型的方式不限于上述方式，还可以利用现有的比较成熟的神经网络模型vgg16和对应的参数，接入本模型需要的类别的方式搭建线条分类模型。

在上述任一技术方案中，优选地，在将映射结果接入分类层以得到线条分类模型之后，还包括：使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；其中，数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

在该技术方案中，在将映射结果接入分类层以得到线条分类模型之后，也就是在创建完线条分类模型之后，使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛，在使用数据生成器训练线条分类模型时，batch size(批尺寸)可以设置大一些。如果在特定方向上，训练数据较少，在数据生成器自动训练线条分类模型后，还可以使用人工标注数据的方式训练微调。在训练线条分类模型过程中，要结合数据合成的影响因素训练，这样训练得出的模型才更加健壮。

在上述任一技术方案中，优选地，使用线条模型识别多个矩形图片块中线条的类型，具体包括：获取多个矩形图片块中的图片特征信息；将图片特征信息中除线条特征信息之外的信息确认为噪音；将线条特征信息匹配到样本线条特征信息，输出样本线条特征信息对应的线条类型。

在该技术方案中，使用线条模型识别多个矩形图片块中线条的类型具体步骤，首先获取每个矩形图片块中的图片特征信息，因为在所有的图片特征信息中只有线条特征信息是被需要的，所以，将图片特征信息中除线条特征信息之外的信息确认为噪音，之后，在将抽取的线条特征信息匹配到样本线条特征信息，最终输出了样本线条特征信息对应的线条类型，实现了矩形图片中的线条类型的识别。

在上述任一技术方案中，优选地，在使用线条分类模型识别多个矩形图片块中线条的类型之后，还包括：在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果。

在该技术方案中，虽然训练后的线条分类模型精度较高，但仍然可能存在少量错误，那么，在使用线条分类模型识别多个矩形图片块中线条的类型之后，判断矩形图片块中的线条的类型的识别结果是否完全正确，在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果，从而进一步提高了创建的表格的准确性。

在上述任一技术方案中，优选地，线条分类模型中包括12种线条类型。

在该技术方案中，具体限定了线条分类模型中线条的种类，在线条分类模型中定义线条种类的名称，比如，可以分别用“T，B，L，R，LT，RT，LB，RB，C，H，V，E”代表12种不同的线条种类，以实现对12种不同的线条种类的区分。

根据本发明的第二个方面，提出了一种识别表格的系统，包括：分割单元，用于按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；识别单元，用于使用线条分类模型识别多个矩形图片块中线条的类型；第一获取单元，用于获取矩形图片块在待识别图片中的位置信息；第一创建单元，用于结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的识别表格的系统，首先，分割单元按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；识别单元使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；第一获取单元获取每个矩形图片块在原图片中的相对位置信息，最后，第一创建单元根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

根据本发明的上述识别表格的系统，还可以具有以下技术特征：

在上述技术方案中，优选地，预设规则为：每个矩形图片块中最多只包含一个表格的交叉点。

在该技术方案中，具体限定了预设规则为每个矩形图片块中最多只包含一个表格的交叉点，即每个矩形图片块中可以只是一条直线，也可以线条的交点，但必须保证交点只有一个，限定了划分的矩形图片块不能太大，避免了丢失部分表格信息。

在上述任一技术方案中，优选地，第二创建单元，用于创建线条分类模型；第二创建单元具体包括：抽取单元，用于使用卷积神经网络算法抽取样本图片的样本图片特征信息；第二获取单元，用于获取样本图片特征中的样本线条特征信息；第一接入单元，用于将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；第二接入单元，用于将映射结果接入分类层以得到线条分类模型。

在该技术方案中，在按照预设规则在水平和垂直方向上将待识别图片切割为多个图片块之前，也就是在具体识别图片中表格之前，第二创建单元要先创建线条分类模型，以便在具体的图片表格识别的过程识别表格线条的类型；建线条分类模型的具体过程，抽取单元使用卷积神经网络算法抽取样本图片的样本图片特征信息，第二获取单元在抽取的样本图片特征信息再次获取其中的样本线条特征信息，能够将样本图片特征信息中对创建线条分类模型有用的样本线条特征信息筛选出来，然后第一接入单元接入3层全连接层，第二接入单元再接入分类层，如此，线条分类模型就搭建完毕。当然，本申请中的搭建线条分类模型的方式不限于上述方式，还可以利用现有的比较成熟的神经网络模型vgg16和对应的参数，接入本模型需要的类别的方式搭建线条分类模型。

在上述任一技术方案中，优选地，训练单元，用于使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；其中，数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

在该技术方案中，在将映射结果接入分类层以得到线条分类模型之后，也就是在创建完线条分类模型之后，训练单元使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛，在使用数据生成器训练线条分类模型时，batch size(批尺寸)可以设置大一些。如果在特定方向上，训练数据较少，在数据生成器自动训练线条分类模型后，还可以使用人工标注数据的方式训练微调。在训练线条分类模型过程中，要结合数据合成的影响因素训练，这样训练得出的模型才更加健壮。

在上述任一技术方案中，优选地，识别单元具体包括：第三获取单元，用于获取多个矩形图片块中的图片特征信息；确认单元，用于将图片特征信息中除线条特征信息之外的信息确认为噪音；匹配单元，用于将线条特征信息匹配到样本线条特征信息，输出样本线条特征信息对应的线条类型。

在该技术方案中，使用线条模型识别多个矩形图片块中线条的类型具体步骤，首先第三获取单元获取每个矩形图片块中的图片特征信息，因为在所有的图片特征信息中只有线条特征信息是被需要的，所以，确认单元将图片特征信息中除线条特征信息之外的信息确认为噪音，之后，匹配单元在将抽取的线条特征信息匹配到样本线条特征信息，最终输出了样本线条特征信息对应的线条类型，实现了矩形图片中的线条类型的识别。

在上述任一技术方案中，优选地，修正单元，用于在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果。

在该技术方案中，虽然训练后的线条分类模型精度较高，但仍然可能存在少量错误，那么，在使用线条分类模型识别多个矩形图片块中线条的类型之后，判断矩形图片块中的线条的类型的识别结果是否完全正确，在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，修正单元根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果，从而进一步提高了创建的表格的准确性。

在上述任一技术方案中，优选地，线条分类模型中包括12种线条类型。

在该技术方案中，具体限定了线条分类模型中线条的种类，在线条分类模型中定义线条种类的名称，比如，可以分别用“T，B，L，R，LT，RT，LB，RB，C，H，V，E”代表12种不同的线条种类，以实现对12种不同的线条种类的区分。

根据本发明的第三个方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；获取矩形图片块在待识别图片中的位置信息；使用线条分类模型识别多个矩形图片块中线条的类型；结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的一种计算机设备，处理器执行计算机程序时实现：首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；获取矩形图片块在待识别图片中的位置信息；使用线条分类模型识别多个矩形图片块中线条的类型；结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的识别表格的方法的流程示意图；

图2示出了本发明的另一个实施例的识别表格的方法的流程示意图；

图3示出了本发明的再一个实施例的识别表格的方法的流程示意图；

图4示出了本发明的一个实施例的识别表格的系统的示意框图；

图5示出了本发明的另一个实施例的识别表格的系统的示意框图；

图6示出了本发明的一个实施例的计算机设备的示意框图；

图7示出了本发明的一个实施例的识别表格的原理示意图。

具体实施方式

为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。

本发明第一方面的实施例，提出一种识别表格的方法，图1示出了本发明的一个实施例的识别表格的方法的流程示意图：

步骤102，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

步骤104，使用线条分类模型识别多个矩形图片块中线条的类型；

步骤106，获取矩形图片块在待识别图片中的位置信息；

步骤108，结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的识别表格的方法，首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格，最终实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

图2示出了本发明的另一个实施例的识别表格的方法的流程示意图。其中，该方法包括：

步骤202，使用卷积神经网络算法抽取样本图片的样本图片特征信息；

步骤204，获取样本图片特征中的样本线条特征信息；

步骤206，将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；

步骤208，将映射结果接入分类层以得到线条分类模型；

步骤210，使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；

步骤212，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

步骤214，使用线条分类模型识别多个矩形图片块中线条的类型；

步骤216，获取矩形图片块在待识别图片中的位置信息；

步骤218，结合线条的类型和位置信息，创建待识别图片中的表格。

其中，数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

在本发明的一个实施例中，优选地，预设规则为：每个矩形图片块中最多只包含一个表格的交叉点。

在该实施例中，具体限定了预设规则为每个矩形图片块中最多只包含一个表格的交叉点，即每个矩形图片块中可以只是一条直线，也可以线条的交点，但必须保证交点只有一个，限定了划分的矩形图片块不能太大，避免了丢失部分表格信息。

在本发明的一个实施例中，优选地，在按照预设规则在水平和垂直方向上将待识别图片切割为多个图片块之前，还包括：创建线条分类模型；创建线条分类模型的过程，具体包括：使用卷积神经网络算法抽取样本图片的样本图片特征信息；获取样本图片特征中的样本线条特征信息；将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；将映射结果接入分类层以得到线条分类模型。

在该实施例中，在按照预设规则在水平和垂直方向上将待识别图片切割为多个图片块之前，也就是在具体识别图片中表格之前，要先创建线条分类模型，以便在具体的图片表格识别的过程识别表格线条的类型；建线条分类模型的具体过程，使用卷积神经网络算法抽取样本图片的样本图片特征信息，在抽取的样本图片特征信息再次获取其中的样本线条特征信息，能够将样本图片特征信息中对创建线条分类模型有用的样本线条特征信息筛选出来，然后接入3层全连接层，再接入分类层，如此，线条分类模型就搭建完毕。当然，本申请中的搭建线条分类模型的方式不限于上述方式，还可以利用现有的比较成熟的神经网络模型vgg16和对应的参数，接入本模型需要的类别的方式搭建线条分类模型。

在本发明的一个实施例中，优选地，在将映射结果接入分类层以得到线条分类模型之后，还包括：使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；其中，数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

在该实施例中，在将映射结果接入分类层以得到线条分类模型之后，也就是在创建完线条分类模型之后，使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛，在使用数据生成器训练线条分类模型时，batch size(批尺寸)可以设置大一些。如果在特定方向上，训练数据较少，在数据生成器自动训练线条分类模型后，还可以使用人工标注数据的方式训练微调。在训练线条分类模型过程中，要结合数据合成的影响因素训练，这样训练得出的模型才更加健壮。

图3示出了本发明的再一个实施例的识别表格的方法的流程示意图。其中，该方法包括：

步骤302，使用卷积神经网络算法抽取样本图片的样本图片特征信息；

步骤304，获取样本图片特征中的样本线条特征信息；

步骤306，将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；

步骤308，将映射结果接入分类层以得到线条分类模型；

步骤310，使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；

步骤312，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

步骤314，获取多个矩形图片块中的图片特征信息；

步骤316，将图片特征信息中除线条特征信息之外的信息确认为噪音；

步骤318，将线条特征信息匹配到样本线条特征信息，输出样本线条特征信息对应的线条类型；

步骤320，在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果；

步骤322，获取矩形图片块在待识别图片中的位置信息；

步骤324，结合线条的类型和位置信息，创建待识别图片中的表格。

在本发明的一个实施例中，优选地，使用线条模型识别多个矩形图片块中线条的类型，具体包括：获取多个矩形图片块中的图片特征信息；将图片特征信息中除线条特征信息之外的信息确认为噪音；将线条特征信息匹配到样本线条特征信息，输出样本线条特征信息对应的线条类型。

在该实施例中，使用线条模型识别多个矩形图片块中线条的类型具体步骤，首先获取每个矩形图片块中的图片特征信息，因为在所有的图片特征信息中只有线条特征信息是被需要的，所以，将图片特征信息中除线条特征信息之外的信息确认为噪音，之后，在将抽取的线条特征信息匹配到样本线条特征信息，最终输出了样本线条特征信息对应的线条类型，实现了矩形图片中的线条类型的识别。

在本发明的一个实施例中，优选地，在使用线条分类模型识别多个矩形图片块中线条的类型之后，还包括：在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果。

在该实施例中，虽然训练后的线条分类模型精度较高，但仍然可能存在少量错误，那么，在使用线条分类模型识别多个矩形图片块中线条的类型之后，判断矩形图片块中的线条的类型的识别结果是否完全正确，在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果，从而进一步提高了创建的表格的准确性。

在本发明的一个实施例中，优选地，线条分类模型中包括12种线条类型。

在该实施例中，具体限定了线条分类模型中线条的种类，在线条分类模型中定义线条种类的名称，比如，可以分别用“T，B，L，R，LT，RT，LB，RB，C，H，V，E”代表12种不同的线条种类，以实现对12种不同的线条种类的区分。

本发明第二方面的实施例，提出一种识别表格的系统400，图4示出了本发明的一个实施例的识别表格的系统400的示意框图；

分割单元402，用于按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

识别单元404，用于使用线条分类模型识别多个矩形图片块中线条的类型；

第一获取单元406，用于获取矩形图片块在待识别图片中的位置信息；

第一创建单元408，用于结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的识别表格的系统400，首先，分割单元402按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；识别单元404使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；第一获取单元406获取每个矩形图片块在原图片中的相对位置信息，最后，第一创建单元408根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

图5示出了本发明的另一个实施例的识别表格的系统500的示意框图。其中，识别表格的系统500包括：

分割单元502，用于按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

识别单元504，用于使用线条分类模型识别多个矩形图片块中线条的类型；

第一获取单元506，用于获取矩形图片块在待识别图片中的位置信息；

第一创建单元508，用于结合线条的类型和位置信息，创建待识别图片中的表格；

第二创建单元510，用于创建线条分类模型；

训练单元512，用于使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；

修正单元514，用于在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果。

其中，识别单元504具体包括：

第三获取单元5042，用于获取多个矩形图片块中的图片特征信息；

确认单元5044，用于将图片特征信息中除线条特征信息之外的信息确认为噪音；

匹配单元5046，用于将线条特征信息匹配到样本线条特征信息，输出样本线条特征信息对应的线条类型。

第二创建单元510具体包括：

抽取单元5102，用于使用卷积神经网络算法抽取样本图片的样本图片特征信息；

第二获取单元5104，用于获取样本图片特征中的样本线条特征信息；

第一接入单元5106，用于将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；

第二接入单元5108，用于将映射结果接入分类层以得到线条分类模型。

在本发明的一个实施例中，优选地，预设规则为：每个矩形图片块中最多只包含一个表格的交叉点。

在该实施例中，具体限定了预设规则为每个矩形图片块中最多只包含一个表格的交叉点，即每个矩形图片块中可以只是一条直线，也可以线条的交点，但必须保证交点只有一个，限定了划分的矩形图片块不能太大，避免了丢失部分表格信息。

在本发明的一个实施例中，优选地，第二创建单元510，用于创建线条分类模型；第二创建单元具体包括：抽取单元5102，用于使用卷积神经网络算法抽取样本图片的样本图片特征信息；第二获取单元5104，用于获取样本图片特征中的样本线条特征信息；第一接入单元5106，用于将样本线条特征信息接入全连接层以使样本线条特征信息映射到样本标记空间；第二接入单元5108，用于将映射结果接入分类层以得到线条分类模型。

在该实施例中，在按照预设规则在水平和垂直方向上将待识别图片切割为多个图片块之前，也就是在具体识别图片中表格之前，第二创建单元510要先创建线条分类模型，以便在具体的图片表格识别的过程识别表格线条的类型；建线条分类模型的具体过程，抽取单元5102使用卷积神经网络算法抽取样本图片的样本图片特征信息，第二获取单元5104在抽取的样本图片特征信息再次获取其中的样本线条特征信息，能够将样本图片特征信息中对创建线条分类模型有用的样本线条特征信息筛选出来，然后第一接入单元5106接入3层全连接层，第二接入单元5108再接入分类层，如此，线条分类模型就搭建完毕。当然，本申请中的搭建线条分类模型的方式不限于上述方式，还可以利用现有的比较成熟的神经网络模型vgg16和对应的参数，接入本模型需要的类别的方式搭建线条分类模型。

在本发明的一个实施例中，优选地，训练单元512，用于使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛；其中，数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

在该实施例中，在将映射结果接入分类层以得到线条分类模型之后，也就是在创建完线条分类模型之后，训练单元512使用数据生成器结合数据合成的影响因素训练线条分类模型直至线条分类模型收敛，在使用数据生成器训练线条分类模型时，batch size(批尺寸)可以设置大一些。如果在特定方向上，训练数据较少，在数据生成器自动训练线条分类模型后，还可以使用人工标注数据的方式训练微调。在训练线条分类模型过程中，要结合数据合成的影响因素训练，这样训练得出的模型才更加健壮。

在本发明的一个实施例中，优选地，识别单元504具体包括：第三获取单元5042，用于获取多个矩形图片块中的图片特征信息；确认单元5044，用于将图片特征信息中除线条特征信息之外的信息确认为噪音；匹配单元5046，用于将线条特征信息匹配到样本线条特征信息，输出样本线条特征信息对应的线条类型。

在该实施例中，使用线条模型识别多个矩形图片块中线条的类型具体步骤，首先第三获取单元5042获取每个矩形图片块中的图片特征信息，因为在所有的图片特征信息中只有线条特征信息是被需要的，所以，确认单元5044将图片特征信息中除线条特征信息之外的信息确认为噪音，之后，匹配单元5046在将抽取的线条特征信息匹配到样本线条特征信息，最终输出了样本线条特征信息对应的线条类型，实现了矩形图片中的线条类型的识别。

在本发明的一个实施例中，优选地，修正单元514，用于在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果。

在该实施例中，虽然训练后的线条分类模型精度较高，但仍然可能存在少量错误，那么，在使用线条分类模型识别多个矩形图片块中线条的类型之后，判断矩形图片块中的线条的类型的识别结果是否完全正确，在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，修正单元514根据某一矩形图片块位置信息及其他矩形图片块的识别结果修正错误识别结果，从而进一步提高了创建的表格的准确性。

在本发明的一个实施例中，优选地，线条分类模型中包括12种线条类型。

在该实施例中，具体限定了线条分类模型中线条的种类，在线条分类模型中定义线条种类的名称，比如，可以分别用“T，B，L，R，LT，RT，LB，RB，C，H，V，E”代表12种不同的线条种类，以实现对12种不同的线条种类的区分。

本发明第三方面的实施例，提出一种计算机设备，图6示出了本发明的一个实施例的计算机设备600的示意框图。其中，该计算机设备600包括：

存储器602、处理器604及存储在存储器602上并可在处理器604上运行的计算机程序，处理器604执行计算机程序时实现以下步骤：按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；获取矩形图片块在待识别图片中的位置信息；使用线条分类模型识别多个矩形图片块中线条的类型；结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的一种计算机设备600，处理器604执行计算机程序时实现：首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

本发明第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；获取矩形图片块在待识别图片中的位置信息；使用线条分类模型识别多个矩形图片块中线条的类型；结合线条的类型和位置信息，创建待识别图片中的表格。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，这里的线条分类模型为神经网络模型的一种；获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

如图7所示识别表格的原理，首先，按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块，这里必须要保证划分的矩形在表格的水平和垂直方向，使得每个矩形图片块中的表格线条符合预设规则，在满足预设规则的前提下，划分的矩形图片块越小，恢复出的表格精度就越高，但同时需要计算的内容也就越多，划分的矩形图片块越小，精度就越小；使用预先建立的线条分类模型识别划分后的每矩形图片块中被分割的表格线条的类型，线条分类模型中包括12种线条类型，获取每个矩形图片块在原图片中的相对位置信息，最后，根据线条分类模型识别的线条类型以及获取的矩形图片块在原图片中的相对位置信息构建出原始图片中的表格。实现了机器自动识别并创建图片中表格，能够避免用户陷入繁杂冗余的操作中，为跨系统数据录入提供了一个高效的技术方案，大大提高用户的体验度。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种识别表格的方法，其特征在于，包括：

按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

使用线条分类模型识别所述多个矩形图片块中线条的类型；

获取所述矩形图片块在所述待识别图片中的位置信息；

结合所述线条的类型和所述位置信息，创建所述待识别图片中的表格；

在所述按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块之前，还包括：

创建所述线条分类模型；

所述创建所述线条分类模型的过程，具体包括：

使用卷积神经网络算法抽取样本图片的样本图片特征信息；

获取所述样本图片特征信息中的样本线条特征信息；

将所述样本线条特征信息接入全连接层以使所述样本线条特征信息映射到样本标记空间；

将映射结果接入分类层以得到所述线条分类模型。

2.根据权利要求1所述的识别表格的方法，其特征在于，

所述预设规则为：每个所述矩形图片块中最多只包含一个表格的交叉点。

3.根据权利要求1所述的识别表格的方法，其特征在于，在所述将映射结果接入分类层以得到所述线条分类模型之后，还包括：

使用数据生成器结合数据合成的影响因素训练所述线条分类模型直至所述线条分类模型收敛；

其中，所述数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

4.根据权利要求3所述的识别表格的方法，其特征在于，所述使用线条分类模型识别所述多个矩形图片块中线条的类型，具体包括：

获取所述多个矩形图片块中的图片特征信息；

将所述图片特征信息中除线条特征信息之外的信息确认为噪音；

将所述线条特征信息匹配到所述样本线条特征信息，输出所述样本线条特征信息对应的所述线条类型。

5.根据权利要求1所述的识别表格的方法，其特征在于，在所述使用线条分类模型识别所述多个矩形图片块中线条的类型之后，还包括：

在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据所述某一矩形图片块位置信息及其他所述矩形图片块的所述识别结果修正所述错误识别结果。

6.根据权利要求1至5中任一项所述的识别表格的方法，其特征在于，

所述线条分类模型中包括12种线条类型。

7.一种识别表格的系统，其特征在于，包括：

分割单元，用于按照预设规则在水平和垂直方向上将待识别图片分割为多个矩形图片块；

识别单元，用于使用线条分类模型识别所述多个矩形图片块中线条的类型；

第一获取单元，用于获取所述矩形图片块在所述待识别图片中的位置信息；

第一创建单元，用于结合所述线条的类型和所述位置信息，创建所述待识别图片中的表格；

所述识别表格的系统还包括：

第二创建单元，用于创建所述线条分类模型；

所述第二创建单元具体包括：

抽取单元，用于使用卷积神经网络算法抽取样本图片的样本图片特征信息；

第二获取单元，用于获取所述样本图片特征信息中的样本线条特征信息；

第一接入单元，用于将所述样本线条特征信息接入全连接层以使所述样本线条特征信息映射到样本标记空间；

第二接入单元，用于将映射结果接入分类层以得到所述线条分类模型。

8.根据权利要求7所述的识别表格的系统，其特征在于，

所述预设规则为：每个所述矩形图片块中最多只包含一个表格的交叉点。

9.根据权利要求7所述的识别表格的系统，其特征在于，还包括：

训练单元，用于使用数据生成器结合数据合成的影响因素训练所述线条分类模型直至所述线条分类模型收敛；

其中，所述数据合成的影响因素至少包括：线条大小、线条颜色、背景噪音、文字噪音、视觉扭曲。

10.根据权利要求9所述的识别表格的系统，其特征在于，所述识别单元具体包括：

第三获取单元，用于获取所述多个矩形图片块中的图片特征信息；

确认单元，用于将所述图片特征信息中除线条特征信息之外的信息确认为噪音；

匹配单元，用于将所述线条特征信息匹配到所述样本线条特征信息，输出所述样本线条特征信息对应的所述线条类型。

11.根据权利要求7所述的识别表格的系统，其特征在于，还包括：

修正单元，用于在判断出某一矩形图片块中线条的类型的识别结果为错误识别结果时，根据所述某一矩形图片块位置信息及其他所述矩形图片块的所述识别结果修正所述错误识别结果。

12.根据权利要求7至11中任一项所述的识别表格的系统，其特征在于，

所述线条分类模型中包括12种线条类型。

13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述识别表格的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述识别表格的方法的步骤。

Images