[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112862024B - 一种文本识别方法及系统 - Google Patents

一种文本识别方法及系统 Download PDF

Info

Publication number
CN112862024B
CN112862024B CN202110463484.3A CN202110463484A CN112862024B CN 112862024 B CN112862024 B CN 112862024B CN 202110463484 A CN202110463484 A CN 202110463484A CN 112862024 B CN112862024 B CN 112862024B
Authority
CN
China
Prior art keywords
text
text recognition
recognition
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110463484.3A
Other languages
English (en)
Other versions
CN112862024A (zh
Inventor
姚娟娟
钟南山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mingping Medical Data Technology Co ltd
Original Assignee
Mingpinyun Beijing Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingpinyun Beijing Data Technology Co Ltd filed Critical Mingpinyun Beijing Data Technology Co Ltd
Priority to CN202110463484.3A priority Critical patent/CN112862024B/zh
Publication of CN112862024A publication Critical patent/CN112862024A/zh
Application granted granted Critical
Publication of CN112862024B publication Critical patent/CN112862024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提供一种文本识别方法及系统，文本识别方法包括：采集图像样本集，图像样本集包括：数据来源标签；根据数据来源标签，将图像样本集输入文本识别网络进行训练，获取文本识别模型，文本识别模型包括：手写字体识别模型和印刷字体识别模型；获取待识别图像；将待识别图像输入文本识别模型进行文本识别，获取文本识别结果；将文本识别结果输入语义标签提取模型进行语义标签提取，获取文本识别结果中的文本向量的语义标签；根据语义标签，对文本识别结果进行更新，完成文本识别；本发明中的方法，通过获取手写字体识别模型和印刷字体识别模型，能够对待识别图像进行较准确地识别，通过提取语义标签，对文本识别结果进行更新，提高识别精确度。

Description

一种文本识别方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及一种文本识别方法及系统。
背景技术
图像处理技术得到了越来越多的应用，如在图像文本识别领域，利用图像识别技术将图像中的文本转换为机器能够识别读取的机器语言，目前，通常使用深度学习算法，进行图像文本识别，然而，由于文本识别过程中存在大量的印刷字体与手写字体，使用较单一的深度学习算法进行文本识别，容易导致文本识别的精确率较低的情况发生。
发明内容
本发明提供一种文本识别方法及系统，以解决现有技术中使用较单一的深度学习算法进行文本识别，容易导致文本识别的精确率较低的问题。
本发明提供的文本识别方法，包括：
采集图像样本集，所述图像样本集包括：数据来源标签；
根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型；
获取待识别图像；
将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果；
将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签；
根据所述语义标签，对所述文本识别结果进行更新，完成文本识别。
可选的，根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练的步骤包括：
根据所述数据来源标签，对所述图像样本集中的图像样本进行分类，获取一个或多个样本子集，所述样本子集与所述数据来源标签相对应，所述数据来源标签至少包括以下之一：医院名称、科室名称、人名；
将所述样本子集输入所述文本识别网络进行训练，获取文本识别模型，训练过程包括：文本字体分类和手写字体识别，以及印刷字体识别。
可选的，将所述样本子集输入所述文本识别网络进行训练的步骤包括：
将所述样本子集输入所述文本识别网络进行文字特征提取，文字特征提取的步骤至少包括以下之一：分布特征提取、结构形态特征提取，获取分布特征向量和/或结构形态特征向量；
根据所述分布特征向量和/或结构形态特征向量，对样本子集进行文本字体分类，获取字体分类结果，所述字体分类结果包括：手写字体和印刷字体；
将与手写字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第一识别层进行识别，获取第一识别结果并进行迭代训练，进而获取手写字体识别模型；
将与印刷字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第二识别层进行识别，获取第二识别结果并进行迭代训练，进而获取印刷字体识别模型。
可选的，获取所述第一识别结果和所述第二识别结果的步骤包括：
将与手写字体对应的分布特征向量与手写字体数据库中的文字特征进行第一对比，获取第一对比结果；
将与手写字体对应的结构形态特征向量与手写字体数据库中的文字特征进行第二对比，获取第二对比结果；
根据所述第一对比结果和/或所述第二对比结果，获取第一识别结果；
将与印刷字体对应的分布特征向量与印刷字体数据库中文字特征进行第三对比，获取第三对比结果；
将与印刷字体对应的结构形态特征向量与印刷字体数据库中文字特征进行第四对比，获取第四对比结果；
根据所述第三对比结果和/或所述第四对比结果，获取第二识别结果。
可选的，将所述样本子集输入所述文本识别网络进行文字特征提取的步骤包括：
根据所述样本子集中的图像样本和预设的区域划分原则，获取一个或多个文字区域；
对所述文字区域进行二值化处理，获取二值化区域；
根据所述二值化区域中的黑色像素点及白色像素点的集合，获取原始图像中的像素点的分布特征向量；
对所述原始图像集中的原始图像进行细线化，获取细线化图像；
获取所述细线化图像的结构形态特征，进而获取所述结构形态特征向量，所述结构形态特征至少包括以下之一：笔划端点、交叉点、笔划段。
可选的，获取所述语义标签提取模型的步骤包括：
获取原始文本集，所述原始文本集包括：语义标签标注；
将所述原始文本集输入长短期记忆网络进行训练，获取所述语义标签提取模型，训练步骤包括：文本特征去噪、分布式向量转换、语义特征提取及反馈优化；
所述反馈优化的步骤包括：根据预设的损失函数，获取语义标签的真实值和预测值之间的差值，进而进行迭代训练，获取所述语义标签提取模型。
可选的，根据所述语义标签，对所述识别结果进行更新的步骤包括：
构建分类数据库；
将所述语义标签与所述分类数据库中词集的分类标签进行匹配，获取匹配结果；
若所述匹配结果超出预设的匹配阈值，则将所述分类标签对应的词集确定为目标词集；
将所述文本识别结果与目标词集中的目标词汇进行相似度对比，获取相似度对比结果；
根据所述相似度对比结果，对所述文本识别结果进行更新，获取更新结果，完成文本识别。
可选的，将所述图像样本集输入文本识别网络进行训练的步骤之前包括：
根据预设的邻域像素判断原则，对所述图像样本集中的图像样本进行噪声判断，获取判断结果；
根据所述判断结果，对所述图像样本集中的图像样本进行降噪处理，获取降噪图像，降噪处理的步骤至少包括以下之一：高斯滤波、中值滤波和双边滤波；
对所述降噪图像进行清洗及校正，获取预处理图像；
将所述预处理图像输入所述文本识别网络进行训练，获取文字识别模型。
可选的，还包括：
将更新结果传输至云端；
当终端发出传输请求时，根据传输请求中的用户关联信息，对用户的权限进行认证，获取认证结果，所述用户关联信息至少包括以下之一：用户ID、身份证号码、手机号码；
根据认证结果，建立终端与云端的连接，并将对应的所述更新结果传输至所述终端，进行文字协同编辑；
根据预设的更新时间，将协同编辑的文本传输至云端并将编辑操作写入日志。
本发明还提供一种文本识别系统，包括：
预采集模块，用于采集图像样本集，所述图像样本集包括：数据来源标签；
识别模型获取模块，用于根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型；
采集模块，用于获取待识别图像；
识别模块，用于将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果；
语义标签提取模块，用于将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签；
更新模块，用于根据所述语义标签，对所述文本识别结果进行更新，完成文本识别；所述预采集模块、识别模型获取模块、采集模块、识别模块、语义标签提取模块和更新模块连接。
本发明的有益效果：通过获取手写字体识别模型和印刷字体识别模型，能够对待识别图像进行较准确地识别，将文本识别结果输入语义标签提取模型进行语义标签提取，获取文本识别结果中的文本向量的语义标签，根据语义标签，对文本识别结果进行更新，实现了对图像中的文本数据的快速提取，识别精确度较高。
附图说明
图1是本发明实施例中文本识别方法的一流程示意图。
图2是本发明实施例中文本识别方法的另一流程示意图。
图3是本发明实施例中文本识别系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，图像处理技术得到了越来越多的应用，如在图像文本识别领域，利用图像识别技术将图像中的文本转换为机器能够识别读取的机器语言，目前，通常使用深度学习算法，进行图像文本识别，然而，由于文本识别过程中存在大量的印刷字体与手写字体，使用较单一的深度学习算法进行文本识别，容易导致文本识别的精确率较低，例如在医学会诊等场景中，存在很多打印或者手写的医学文件，如体检报告，医学病历、图像影像、CT检查、医学处方、诊断思路、医学要点等，若通过较单一的深度学习算法进行文本识别，容易导致识别精确率较低，因此，发明人提出一种文本识别方法及系统，通过建立手写字体识别模型和印刷字体识别模型，能够对待识别图像进行较准确地识别，同时，将文本识别结果输入语义标签提取模型进行语义标签提取，获取文本识别结果中的文本向量的语义标签，根据语义标签，对文本识别结果进行更新，实现了对图像中的文本数据的快速提取，提高了文本识别的精确度，可实施性较强。
如图1所示，本实施例中的文本识别方法，包括：
S101：采集图像样本集，所述图像样本集包括：数据来源标签；所述图像样本集包括：医学图像样本集，例如：采集一个或多个医学图像样本，所述医学图像样本包括：图像文本信息，将所述一个或多个医学图像样本作为医学图像样本集，为文本识别网络提供训练基础。
S102：根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型；在一些实施例中，所述文本识别网络可以为神经网络；在一些实施例中，所述数据来源标签至少包括以下之一：医院名称、科室名称、人名，例如：根据所述数据来源标签，对所述图像样本集进行分类，根据分类结果，将相同数据来源标签的图像样本输入文本识别网络进行迭代训练，如将数据来源标签为第一医院的图像样本输入文本识别网络进行迭代训练，同时，将数据来源标签为第二医院的图像样本输入文本识别网络进行迭代训练，通过具有不同数据标签的图像样本集进行单独训练，能够有效提高文本识别网络的精确度，进一步地，通过获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型，能够对图像中的手写字体和印刷字体进行单独识别，提高识别的精确度。
S103：获取待识别图像；例如：采用摄像机或扫描仪等，采集待识别图像，所述待识别图像可以为病例、体检报告等医学文件。
S104：将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果。
S105：将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签。
S106：根据所述语义标签，对所述文本识别结果进行更新，完成文本识别。通过将所述图像样本集输入所述文本识别网络进行训练，获取手写字体识别模型和印刷字体识别模型，能够对待识别图像进行较准确地识别，例如：对图像样本集中的图像样本进行字体分类，将手写字体和印刷字体对应的图像样本分别输入文本识别网络进行训练，提高手写字体和印刷字体的识别精确度，避免使用较单一的算法进行识别，导致精确度较低，同时，将文本识别结果输入语义标签提取模型进行语义标签提取，获取文本识别结果中的文本向量的语义标签，根据语义标签，对文本识别结果进行更新，实现了对图像中的文本数据的快速提取，有效提高了文本识别的精确度，可实施性较强，成本较低，实施较方便，自动化程度较高。
如图2所示，在一些实施例中的文本识别方法，包括：
S201：采集图像样本集，所述图像样本集包括：数据来源标签；所述图像样本集包括：医学图像样本集，所述医学图像样本集至少包括以下之一：病例、体检报告、医学分析报告、医学处方。
S202：对所述图像样本集中的图像样本进行预处理，获取预处理图像，预处理的步骤包括：
根据预设的邻域像素判断原则，对所述图像样本集中的图像样本进行噪声判断，获取判断结果；
根据所述判断结果，对所述图像样本集中的图像样本进行降噪处理，获取降噪图像，降噪处理的步骤至少包括以下之一：高斯滤波、中值滤波和双边滤波；例如：通过对图像样本进行高斯滤波，能够有效消除图像样本中的高斯噪声，或者，通过中值滤波对将图像样本每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，进而滤除图像样本中的噪声，又或，通过对于图像样本进行双边滤波，能够较好地考虑空域信息和灰度相似性，达到保边去噪的目的，降噪效果较好；
对所述降噪图像进行清洗及校正，获取预处理图像；通过对图像样本集中的图像样本进行预处理，能够降低后续文字识别的处理难度，提高文字识别的精确度。
S203：根据所述数据来源标签，对所述图像样本集中的图像样本进行分类，获取一个或多个样本子集，所述样本子集与所述数据来源标签相对应，所述数据来源标签至少包括以下之一：医院名称、科室名称、人名。
S204：将所述样本子集输入所述文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型，训练过程包括：文本字体分类和手写字体识别，以及印刷字体识别。
在一些实施例中，将所述样本子集输入所述文本识别网络进行训练的步骤包括：
将所述样本子集输入所述文本识别网络进行文字特征提取，文字特征提取的步骤至少包括以下之一：分布特征提取、结构形态特征提取，获取分布特征向量和/或结构形态特征向量；
根据所述分布特征向量和/或结构形态特征向量，对样本子集进行文本字体分类，获取字体分类结果，所述字体分类结果包括：手写字体和印刷字体；
将与手写字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第一识别层进行识别，获取第一识别结果并进行迭代训练，进而获取手写字体识别模型；
将与印刷字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第二识别层进行识别，获取第二识别结果并进行迭代训练，进而获取印刷字体识别模型。
为了提高第一识别结果和第二识别结果的精确度，发明人提出获取所述第一识别结果和所述第二识别结果的步骤包括：
将与手写字体对应的分布特征向量与手写字体数据库中的文字特征进行第一对比，获取第一对比结果；
将与手写字体对应的结构形态特征向量与手写字体数据库中的文字特征进行第二对比，获取第二对比结果；
根据所述第一对比结果和/或所述第二对比结果，获取第一识别结果；例如：当第一对比结果和第二对比结果不同时，则根据预设的权重参数，确定第一识别结果，并进行迭代训练，进而获取手写字体识别模型；
将与印刷字体对应的分布特征向量与印刷字体数据库中文字特征进行第三对比，获取第三对比结果；
将与印刷字体对应的结构形态特征向量与印刷字体数据库中文字特征进行第四对比，获取第四对比结果；
根据所述第三对比结果和/或所述第四对比结果，获取第二识别结果。例如：当第三对比结果和第四对比结果不同时，则根据预设的权重参数，确定第二识别结果，并进行迭代训练，进而获取印刷字体识别模型。
为了较好地获取分布特征向量，发明人提出所述分布特征向量的获取的步骤包括：
根据所述样本子集中的图像样本和预设的区域划分原则，获取一个或多个文字区域；
对所述文字区域进行二值化处理，获取二值化区域；
根据所述二值化区域中的黑色像素点及白色像素点的集合，获取原始图像中的像素点的分布特征向量。可以理解的，通过获取二值化区域中黑白像素点的集合，能够较好地得到原始图像中的分布特征向量。
进一步地，所述结构形态特征向量的获取的步骤包括：
对所述原始图像集中的原始图像进行细线化，获取细线化图像；
获取所述细线化图像的结构形态特征，进而获取所述结构形态特征向量，所述结构形态特征至少包括以下之一：笔划端点、交叉点、笔划段。通过将细线化图像的结构形态特征转换为结构形态特征向量，能够较好地对预处理图像进行特征提取，提高特征提取的精确度。
S205：获取待识别图像；可以理解的，所述待识别图像可以为医学图像，如病例、体检报告等。
S206：将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果；例如：将所述待识别图像输入所述文本识别模型进行特征提取与字体分类，获取字体分类结果，根据所述字体分类结果，将所述待识别图像的分布特征向量和/或结构形态特征向量输入文本识别网络的第一识别层或第二识别层进行文本识别，获取文本识别结果，通过将待识别图像进行字体分类，能够较好地区分手写字体与印刷字体，进而实现对待识别图像中文本的针对性识别，提高文本识别的精确度。
S207：将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签；通过文本将识别结果输入语义标签提取模型进行语义标签提取，能够获取识别结果中文本向量或词向量的语义标签。
在一些实施例中，获取所述语义标签提取模型的步骤包括：
获取原始文本集，所述原始文本集包括：语义标签标注；
将所述原始文本集输入长短期记忆网络进行训练，获取所述语义标签提取模型，训练步骤包括：文本特征去噪、分布式向量转换、语义特征提取及反馈优化；
所述反馈优化的步骤包括：根据预设的损失函数，获取语义标签的真实值和预测值之间的差值，进而进行迭代训练，获取所述语义标签提取模型。
在一些实施例中，所述损失函数的数学表达为：
Y(t)=c(t)+Y(t+1)
Figure 782360DEST_PATH_IMAGE001
其中，Y(t)为t时刻总的损失函数，c(t)为t时刻的损失函数，Y(t+1)为t+1时刻总 的损失函数，ω为预设的第一权重值，δ为预设的第二权重值，ki为语义标签的真实值，
Figure 341911DEST_PATH_IMAGE002
为语义标签的预测值，1≤i≤t，λ为语义标签的真实值的权值，m为函数参数，b为语义标签 的预测值的权值。其中，文本向量去噪可以采用统计排序的方法，将文本向量序列约束成预 设长度的词汇序列，分布式向量转换即将词汇序列转换为分布式向量表示。所述长短期记 忆网络包括：输入门、输出门和遗忘门，通过将原始文本集输入长短期记忆网络进行训练， 能够较好地提取原始文本集中的原始文本语义标签，提高语义标签提取模型的精确度。
S208：根据所述语义标签，对所述文本识别结果进行更新，完成文本识别。
在一些实施例中，根据所述语义标签，对所述识别结果进行更新的步骤包括：
构建分类数据库；
将所述语义标签与所述分类数据库中词集的分类标签进行匹配，获取匹配结果；
若所述匹配结果超出预设的匹配阈值，则将所述分类标签对应的词集确定为目标词集；
将所述文本识别结果与目标词集中的目标词汇进行相似度对比，获取相似度对比结果；
根据所述相似度对比结果，对所述文本识别结果进行更新，获取更新结果，完成文本识别。通过将语义标签与分类数据库中词集的分类标签进行匹配，能够较快地获取与该语义标签相匹配的分类标签所对应的词集，提高匹配速度，将该词集确定为目标词集，并将文本识别结果与目标词集中的目标词汇进行相似度对比，根据对比结果，对识别结果进行更新，如当文本识别结果中的词汇与目标词集中的目标词汇的相似度超出预设的相似度阈值时，则将目标词汇更新至识别结果中，提高文本识别的更新效率及精确度。
为了提高文本识别的标签匹配速度，发明人提出构建分类数据库的步骤包括：
获取原始数据集；
对所述原始数据集进行分词处理，获取原始数据词集；
将所述原始数据词集输入卷积神经网络进行训练，获取分类模型；
将所述原始数据集输入所述分类模型进行分类，获取一个或多个词集，所述词集包括一个或多个分类标签，完成所述分类数据库的构建。通过构建分类数据库，并在分类数据库中构建一个或多个带有分类标签的词集，能够加快对识别结果的更新速度，成本较低。
本实施例中的文本识别方法还可用于数据来源的溯源，溯源步骤包括：
将待识别图像输入文本识别模型进行文字特征提取；
将提取的文字特征与手写字体数据库或印刷字体数据库中文字特征进行对比，获取第五对比结果；
根据第五对比结果，获取对应的数据来源标签，便于对待识别图像的数据来源进行溯源，实施较方便，成本较低。
为了实现各个终端对文本的协同编辑，还包括：将更新结果传输至云端；
当终端发出传输请求时，根据传输请求中的用户关联信息，对用户的权限进行认证，获取认证结果，所述用户关联信息至少包括以下之一：用户ID、身份证号码、手机号码；
根据认证结果，建立终端与云端的连接，并将对应的所述更新结果传输至所述终端，进行文字协同编辑；通过对用户的权限进行认证，使得不同用户的权限不同，提高了信息传输的安全性，如不同医生、不同患者之间设置的权限不同；
根据预设的更新时间，将协同编辑的文本传输至云端并将编辑操作写入日志。通过设置固定的更新时间或更新周期，根据所述更新时间或更新周期，定期将正在编辑的文本数据传输至云端，实现对文本的实时更新，便于对进行文字协同编辑，避免出现多端修改造成信息冗余或矛盾，且通过将编辑操作定期写入日志，能够查询日志中的修改记录，查看历史文本信息，避免修改不可逆，造成不必要的损失，成本较低。
为了提高数据传输的安全性，发明人提出：当终端发出传输请求时，采集用户的当前生物特征信息，所述生物特征信息至少包括以下之一：人脸特征、指纹特征、声音特征；
根据传输请求中的用户关联信息，获取云端中与所述用户关联信息相对应的历史生物特征信息；
将所述当前生物特征信息与所述历史生物特征信息进行比较，获取特征比较结果；
根据所述特征比较结果，对用户进行真实性认证，例如：当所述比较结果超出预设的特征比较阈值时，则判定用户为真实，当所述比较结果未超出所述特征比较阈值时，则向终端发送重新认证通知，以此保证用户的真实性，进一步地，提高数据的安全性。
为了提高文本数据的传输速度与响应速度，发明人提出：还包括：将原始数据集输入卷积神经网络进行训练，获取文本分类模型；
将更新结果输入所述文本分类模型进行文本分类，获取文本分类结果，所述文本分类结果与终端具有关联关系；
根据所述文本分类结果和所述关联关系，将所述更新结果定期传输至对应的终端；通过对更新结果进行分类，并建立文本分类结果和终端之间的关联关系，能够将更新结果针对性地自动传输至对应的终端，如：根据文本分类结果和终端之间的关联关系，将更新结果传输至对应科室的终端或对应医生的终端，可以理解的，终端可以为电脑、手机以及其它显示器件等，便于将更新结果针对性地传输至对应的终端，同时，专家或医生等相关人员可以及时接收到更新结果，并及时反馈，提高信息传输效率和反馈速度，自动化程度较高。
如图3所示，本实施例还提供一种文本识别系统，包括：
预采集模块，用于采集图像样本集，所述图像样本集包括：数据来源标签；
识别模型获取模块，用于根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型；
采集模块，用于获取待识别图像；
识别模块，用于将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果；
语义标签提取模块，用于将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签；
更新模块，用于根据所述语义标签，对所述文本识别结果进行更新，完成文本识别；所述预采集模块、识别模型获取模块、采集模块、识别模块、语义标签提取模块和更新模块依次连接。通过获取手写字体识别模型和印刷字体识别模型，能够对待识别图像进行较准确地识别，同时，将文本识别结果输入语义标签提取模型进行语义标签提取，获取文本识别结果中的文本向量的语义标签，根据语义标签，对文本识别结果进行更新，实现了对图像中的文本数据的快速提取，提高了文本识别的精确度，可实施性较强。
在一些实施例中，根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练的步骤包括：
根据所述数据来源标签，对所述图像样本集中的图像样本进行分类，获取一个或多个样本子集，所述样本子集与所述数据来源标签相对应，所述数据来源标签至少包括以下之一：医院名称、科室名称、人名；
将所述样本子集输入所述文本识别网络进行训练，获取文本识别模型，训练过程包括：文本字体分类和手写字体识别，以及印刷字体识别。
在一些实施例中，将所述样本子集输入所述文本识别网络进行训练的步骤包括：
将所述样本子集输入所述文本识别网络进行文字特征提取，文字特征提取的步骤至少包括以下之一：分布特征提取、结构形态特征提取，获取分布特征向量和/或结构形态特征向量；
根据所述分布特征向量和/或结构形态特征向量，对样本子集进行文本字体分类，获取字体分类结果，所述字体分类结果包括：手写字体和印刷字体；
将与手写字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第一识别层进行识别，获取第一识别结果并进行迭代训练，进而获取手写字体识别模型；
将与印刷字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第二识别层进行识别，获取第二识别结果并进行迭代训练，进而获取印刷字体识别模型。
在一些实施例中，获取所述第一识别结果和所述第二识别结果的步骤包括：
将与手写字体对应的分布特征向量与手写字体数据库中的文字特征进行第一对比，获取第一对比结果；
将与手写字体对应的结构形态特征向量与手写字体数据库中的文字特征进行第二对比，获取第二对比结果；
根据所述第一对比结果和/或所述第二对比结果，获取第一识别结果；
将与印刷字体对应的分布特征向量与印刷字体数据库中文字特征进行第三对比，获取第三对比结果；
将与印刷字体对应的结构形态特征向量与印刷字体数据库中文字特征进行第四对比，获取第四对比结果；
根据所述第三对比结果和/或所述第四对比结果，获取第二识别结果。
在一些实施例中，将所述样本子集输入所述文本识别网络进行文字特征提取的步骤包括：
根据所述样本子集中的图像样本和预设的区域划分原则，获取一个或多个文字区域；
对所述文字区域进行二值化处理，获取二值化区域；
根据所述二值化区域中的黑色像素点及白色像素点的集合，获取原始图像中的像素点的分布特征向量；
对所述原始图像集中的原始图像进行细线化，获取细线化图像；
获取所述细线化图像的结构形态特征，进而获取所述结构形态特征向量，所述结构形态特征至少包括以下之一：笔划端点、交叉点、笔划段。
在一些实施例中，获取所述语义标签提取模型的步骤包括：
获取原始文本集，所述原始文本集包括：语义标签标注；
将所述原始文本集输入长短期记忆网络进行训练，获取所述语义标签提取模型，训练步骤包括：文本特征去噪、分布式向量转换、语义特征提取及反馈优化；
所述反馈优化的步骤包括：根据预设的损失函数，获取语义标签的真实值和预测值之间的差值，进而进行迭代训练，获取所述语义标签提取模型。
在一些实施例中，根据所述语义标签，对所述识别结果进行更新的步骤包括：
构建分类数据库；
将所述语义标签与所述分类数据库中词集的分类标签进行匹配，获取匹配结果；
若所述匹配结果超出预设的匹配阈值，则将所述分类标签对应的词集确定为目标词集；
将所述文本识别结果与目标词集中的目标词汇进行相似度对比，获取相似度对比结果；
根据所述相似度对比结果，对所述文本识别结果进行更新，获取更新结果，完成文本识别。
在一些实施例中，将所述图像样本集输入文本识别网络进行训练的步骤之前包括：
根据预设的邻域像素判断原则，对所述图像样本集中的图像样本进行噪声判断，获取判断结果；
根据所述判断结果，对所述图像样本集中的图像样本进行降噪处理，获取降噪图像，降噪处理的步骤至少包括以下之一：高斯滤波、中值滤波和双边滤波；
对所述降噪图像进行清洗及校正，获取预处理图像；
将所述预处理图像输入所述文本识别网络进行训练，获取文字识别模型。
在一些实施例中，还包括：
将更新结果传输至云端；
当终端发出传输请求时，根据传输请求中的用户关联信息，对用户的权限进行认证，获取认证结果，所述用户关联信息至少包括以下之一：用户ID、身份证号码、手机号码；
根据认证结果，建立终端与云端的连接，并将对应的所述更新结果传输至所述终端，进行文字协同编辑；
根据预设的更新时间，将协同编辑的文本传输至云端并将编辑操作写入日志。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种文本识别方法，其特征在于，包括：
采集图像样本集，所述图像样本集包括：数据来源标签；
根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型；
获取待识别图像；
将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果；
将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签；
根据所述语义标签，对所述文本识别结果进行更新，完成文本识别；
获取所述语义标签提取模型的步骤包括：
获取原始文本集，所述原始文本集包括：语义标签标注；
将所述原始文本集输入长短期记忆网络进行训练，获取所述语义标签提取模型，训练步骤包括：文本特征去噪、分布式向量转换、语义特征提取及反馈优化；
所述反馈优化的步骤包括：根据预设的损失函数，获取语义标签的真实值和预测值之间的差值，进而进行迭代训练，获取所述语义标签提取模型；
所述损失函数的数学表达为：
Y(t)=c(t)+Y(t+1)
Figure 768994DEST_PATH_IMAGE001
其中，Y(t)为t时刻总的损失函数，c(t)为t时刻的损失函数，Y(t+1)为t+1时刻总的损失函数，ω为预设的第一权重值，δ为预设的第二权重值，ki为语义标签的真实值，
Figure 583366DEST_PATH_IMAGE002
为语义标签的预测值，1≤i≤t，λ为语义标签的真实值的权值，m为函数参数，b为语义标签的预测值的权值。
2.根据权利要求1所述的文本识别方法，其特征在于，根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练的步骤包括：
根据所述数据来源标签，对所述图像样本集中的图像样本进行分类，获取一个或多个样本子集，所述样本子集与所述数据来源标签相对应，所述数据来源标签至少包括以下之一：医院名称、科室名称、人名；
将所述样本子集输入所述文本识别网络进行训练，获取文本识别模型，训练过程包括：文本字体分类和手写字体识别，以及印刷字体识别。
3.根据权利要求2所述的文本识别方法，其特征在于，将所述样本子集输入所述文本识别网络进行训练的步骤包括：
将所述样本子集输入所述文本识别网络进行文字特征提取，文字特征提取的步骤至少包括以下之一：分布特征提取、结构形态特征提取，获取分布特征向量和/或结构形态特征向量；
根据所述分布特征向量和/或结构形态特征向量，对样本子集进行文本字体分类，获取字体分类结果，所述字体分类结果包括：手写字体和印刷字体；
将与手写字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第一识别层进行识别，获取第一识别结果并进行迭代训练，进而获取手写字体识别模型；
将与印刷字体对应的分布特征向量和/或结构形态特征向量输入所述文本识别网络的第二识别层进行识别，获取第二识别结果并进行迭代训练，进而获取印刷字体识别模型。
4.根据权利要求3所述的文本识别方法，其特征在于，获取所述第一识别结果和所述第二识别结果的步骤包括：
将与手写字体对应的分布特征向量与手写字体数据库中的文字特征进行第一对比，获取第一对比结果；
将与手写字体对应的结构形态特征向量与手写字体数据库中的文字特征进行第二对比，获取第二对比结果；
根据所述第一对比结果和/或所述第二对比结果，获取第一识别结果；
将与印刷字体对应的分布特征向量与印刷字体数据库中文字特征进行第三对比，获取第三对比结果；
将与印刷字体对应的结构形态特征向量与印刷字体数据库中文字特征进行第四对比，获取第四对比结果；
根据所述第三对比结果和/或所述第四对比结果，获取第二识别结果。
5.根据权利要求3所述的文本识别方法，其特征在于，将所述样本子集输入所述文本识别网络进行文字特征提取的步骤包括：
根据所述样本子集中的图像样本和预设的区域划分原则，获取一个或多个文字区域；
对所述文字区域进行二值化处理，获取二值化区域；
根据所述二值化区域中的黑色像素点及白色像素点的集合，获取原始图像中的像素点的分布特征向量；
对所述原始图像集中的原始图像进行细线化，获取细线化图像；
获取所述细线化图像的结构形态特征，进而获取所述结构形态特征向量，所述结构形态特征至少包括以下之一：笔划端点、交叉点、笔划段。
6.根据权利要求1所述的文本识别方法，其特征在于，根据所述语义标签，对所述识别结果进行更新的步骤包括：
构建分类数据库；
将所述语义标签与所述分类数据库中词集的分类标签进行匹配，获取匹配结果；
若所述匹配结果超出预设的匹配阈值，则将所述分类标签对应的词集确定为目标词集；
将所述文本识别结果与目标词集中的目标词汇进行相似度对比，获取相似度对比结果；
根据所述相似度对比结果，对所述文本识别结果进行更新，获取更新结果，完成文本识别。
7.根据权利要求1所述的文本识别方法，其特征在于，将所述图像样本集输入文本识别网络进行训练的步骤之前包括：
根据预设的邻域像素判断原则，对所述图像样本集中的图像样本进行噪声判断，获取判断结果；
根据所述判断结果，对所述图像样本集中的图像样本进行降噪处理，获取降噪图像，降噪处理的步骤至少包括以下之一：高斯滤波、中值滤波和双边滤波；
对所述降噪图像进行清洗及校正，获取预处理图像；
将所述预处理图像输入所述文本识别网络进行训练，获取文字识别模型。
8.根据权利要求1所述的文本识别方法，其特征在于，还包括：
将更新结果传输至云端；
当终端发出传输请求时，根据传输请求中的用户关联信息，对用户的权限进行认证，获取认证结果，所述用户关联信息至少包括以下之一：用户ID、身份证号码、手机号码；
根据认证结果，建立终端与云端的连接，并将对应的所述更新结果传输至所述终端，进行文字协同编辑；
根据预设的更新时间，将协同编辑的文本传输至云端并将编辑操作写入日志。
9.一种文本识别系统，其特征在于，包括：
预采集模块，用于采集图像样本集，所述图像样本集包括：数据来源标签；
识别模型获取模块，用于根据所述数据来源标签，将所述图像样本集输入文本识别网络进行训练，获取文本识别模型，所述文本识别模型包括：手写字体识别模型和印刷字体识别模型；
采集模块，用于获取待识别图像；
识别模块，用于将所述待识别图像输入所述文本识别模型进行文本识别，获取文本识别结果；
语义标签提取模块，用于将所述文本识别结果输入语义标签提取模型进行语义标签提取，获取所述文本识别结果中的文本向量的语义标签；
获取所述语义标签提取模型的步骤包括：
获取原始文本集，所述原始文本集包括：语义标签标注；
将所述原始文本集输入长短期记忆网络进行训练，获取所述语义标签提取模型，训练步骤包括：文本特征去噪、分布式向量转换、语义特征提取及反馈优化；
所述反馈优化的步骤包括：根据预设的损失函数，获取语义标签的真实值和预测值之间的差值，进而进行迭代训练，获取所述语义标签提取模型；
所述损失函数的数学表达为：
Y(t)=c(t)+Y(t+1)
Figure 468145DEST_PATH_IMAGE003
其中，Y(t)为t时刻总的损失函数，c(t)为t时刻的损失函数，Y(t+1)为t+1时刻总的损失函数，ω为预设的第一权重值，δ为预设的第二权重值，ki为语义标签的真实值，
Figure 735179DEST_PATH_IMAGE002
为语义标签的预测值，1≤i≤t，λ为语义标签的真实值的权值，m为函数参数，b为语义标签的预测值的权值；
更新模块，用于根据所述语义标签，对所述文本识别结果进行更新，完成文本识别；所述预采集模块、识别模型获取模块、采集模块、识别模块、语义标签提取模块和更新模块连接。
CN202110463484.3A 2021-04-28 2021-04-28 一种文本识别方法及系统 Active CN112862024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463484.3A CN112862024B (zh) 2021-04-28 2021-04-28 一种文本识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463484.3A CN112862024B (zh) 2021-04-28 2021-04-28 一种文本识别方法及系统

Publications (2)

Publication Number Publication Date
CN112862024A CN112862024A (zh) 2021-05-28
CN112862024B true CN112862024B (zh) 2021-09-21

Family

ID=75992909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463484.3A Active CN112862024B (zh) 2021-04-28 2021-04-28 一种文本识别方法及系统

Country Status (1)

Country Link
CN (1) CN112862024B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627262B (zh) * 2021-07-13 2024-09-13 深圳力维智联技术有限公司 文字识别方法、装置及设备
CN113657445B (zh) * 2021-07-13 2022-06-07 珠海金智维信息科技有限公司 基于Resnet的单行文本图片比对方法及系统
CN113569833B (zh) * 2021-07-27 2024-10-18 平安科技（深圳）有限公司 基于文本文档的文字识别方法、装置、设备及存储介质
CN113536771B (zh) * 2021-09-17 2021-12-24 深圳前海环融联易信息科技服务有限公司 基于文本识别的要素信息提取方法、装置、设备及介质
CN115862045B (zh) * 2023-02-16 2023-05-26 中国人民解放军总医院第一医学中心 基于图文识别技术的病例自动识别方法、系统、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140262B2 (en) * 2015-05-04 2018-11-27 King Fahd University Of Petroleum And Minerals Systems and associated methods for Arabic handwriting synthesis and dataset design
CN107220655A (zh) * 2016-03-22 2017-09-29 华南理工大学 一种基于深度学习的手写、印刷文本的分类方法
CN106951890A (zh) * 2017-02-16 2017-07-14 广东小天才科技有限公司 一种词典笔的文字识别方法及装置
CN110399845A (zh) * 2019-07-29 2019-11-01 上海海事大学 一种图像中连续成段文本检测与识别方法
CN111144191B (zh) * 2019-08-14 2024-03-22 广东小天才科技有限公司 字体识别方法、装置、电子设备及存储介质
CN110909725B (zh) * 2019-10-18 2023-09-19 平安科技（深圳）有限公司 识别文本的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112862024A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112862024B (zh) 一种文本识别方法及系统
CN109543690B (zh) 用于提取信息的方法和装置
CN112883980B (zh) 一种数据处理方法及系统
CN108664996A (zh) 一种基于深度学习的古文字识别方法及系统
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
CN109034069B (zh) 用于生成信息的方法和装置
CN112508011A (zh) 一种基于神经网络的ocr识别方法及设备
US20240221004A1 (en) Fraud detection via automated handwriting clustering
CN114092938B (zh) 图像的识别处理方法、装置、电子设备及存储介质
CN113378609B (zh) 代理商代签名的识别方法及装置
Akanksh et al. Automated invoice data extraction using image processing
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
CN115937887A (zh) 文档结构化信息的提取方法及装置、电子设备、存储介质
Bendjoudi et al. Palmprint identification performance improvement via patch-based binarized statistical image features
CN112200216A (zh) 汉字识别方法、装置、计算机设备和存储介质
Ghulyani et al. A Data Entry Optical Character Recognition Tool using Convolutional Neural Networks
CN117076455A (zh) 一种基于智能识别的保单结构化存储方法、介质及系统
CN114612919B (zh) 一种票据信息处理系统及方法、装置
US20230350932A1 (en) Automated splitting of document packages and identification of relevant documents
CN115880702A (zh) 数据处理方法、装置、设备、程序产品及存储介质
US11335108B2 (en) System and method to recognise characters from an image
Chen et al. Design and Implementation of Second-generation ID Card Number Identification Model based on TensorFlow
Ajao et al. Yoruba handwriting word recognition quality evaluation of preprocessing attributes using information theory approach
CN113705560A (zh) 基于图像识别的数据提取方法、装置、设备及存储介质
CN113627442A (zh) 医疗信息的录入方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220707

Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai

Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd.

Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing

Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd.

TR01 Transfer of patent right