[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113505786A - 试题拍照评判方法、装置及电子设备 - Google Patents

试题拍照评判方法、装置及电子设备 Download PDF

Info

Publication number
CN113505786A
CN113505786A CN202110707922.6A CN202110707922A CN113505786A CN 113505786 A CN113505786 A CN 113505786A CN 202110707922 A CN202110707922 A CN 202110707922A CN 113505786 A CN113505786 A CN 113505786A
Authority
CN
China
Prior art keywords
text data
question
answer
judging
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110707922.6A
Other languages
English (en)
Inventor
崔寅生
刘培娜
王辰成
李雨桐
潘东
王伟戌
韩均雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baige Feichi Technology Co ltd
Original Assignee
Zuoyebang Education Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zuoyebang Education Technology Beijing Co Ltd filed Critical Zuoyebang Education Technology Beijing Co Ltd
Priority to CN202110707922.6A priority Critical patent/CN113505786A/zh
Publication of CN113505786A publication Critical patent/CN113505786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据信息处理技术领域,提供一种试题拍照评判方法、装置、电子设备和记录介质,该方法包括:获取用户提交的图像文件,识别出与图像文件中的题目对应的第一文本数据,和,与图像文件中的用户作答对应的第二文本数据;基于空间位置对第一文本数据进行切割拆分,确定待检索的题干内容;使用基于语义检索的匹配模型从信息数据库中匹配与题干内容对应的答案文本数据;基于答案文本数据对第二文本数据进行评判。本发明基于语义检索的匹配模型检索到相应答案文本数据,避免出现题库中存在题意一样但内容不一样的题目,但实际检索时找不到题目及答案的情况,提高了拍照搜题的灵活性,准确度也得到提高,用户使用体验更好。

Description

试题拍照评判方法、装置及电子设备
技术领域
本发明属于数据信息处理技术领域,特别适用于在线教育服务中的数据信息处理,更具体的是涉及一种试题拍照评判方法、装置及电子设备。
背景技术
在传统的教学方式中,学生完成作业、考试试卷后都是由老师进行人工评判,效率相对较慢,学生无法第一时间获知自己答题是否正确。
随着互联网技术的发展,目前逐渐出现各种拍照搜题的应用,使得学生在自主进行学习做题时,不用等待老师评判,通过拍照就能够获取试题的答案和解题过程,及时判断自己的作答是否正确。
但现在普遍使用的拍照搜题应用是使用答案库来给出答案,如果答案库中没有答案则不会给出答案,搜题方式比较僵化不够灵活。
发明内容
(一)要解决的技术问题
本发明至少旨在解决现有拍照搜题应用使用过程中存在搜答案僵化不灵活,不够准确的问题。
(二)技术方案
为解决上述技术问题,本发明的一方面提出一种试题拍照评判方法,其特征在于,方法包括:
获取用户提交的图像文件,识别出与所述图像文件中的题目对应的第一文本数据,和,与所述图像文件中的用户作答对应的第二文本数据;
基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容;
使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据;
基于所述答案文本数据对所述第二文本数据进行评判。
在本发明的一种示例性实施例中,基于神经网络的识别模型识别出与所述图像文件中的题目对应的第一文本数据;
可选地,所述第一文本数据与所述图像文件中的印刷体文本对应,所述第二文本数据与所述图像文件中的手写体对应;
可选地,所述基于神经网络的识别模型采用CPTN结合CRNN神经网络模型。
在本发明的一种示例性实施例中,所述基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容,包括:
基于空间位置对所述第一文本数据进行切割,拆分成多个层次的题目;
基于所述多个层次的题目确定试题类型和待检索的题干内容。
在本发明的一种示例性实施例中,所述使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据,包括:
对所述题干内容进行文本结构化处理;
将文本结构化处理后的题干内容输入所述基于语义检索的匹配模型,从信息数据库中匹配与所述题干内容对应的答案文本数据;
可选地,所述基于语义检索的匹配模型为Bi-LSTM神经网络模型。
在本发明的一种示例性实施例中,所述基于所述答案文本数据对所述第二文本数据进行评判,包括:判断所述答案文本数据与所述第二文本数据是否匹配,如果匹配则判对;
可选地,如果所述答案文本数据与所述第二文本数据不匹配,则基于所述第二文本数据在信息数据库中匹配对应的反推题目文本数据;计算所述反推题目文本数据与所述第一文本数据的相似度,如果超过相似度阈值则判对,否则判错。
在本发明的一种示例性实施例中,通过基于语义的匹配模型,判断所述答案文本数据与所述第二文本数据是否匹配。
在本发明的一种示例性实施例中,预先设置提示信息数据库,完成评判操作后,从所述提示信息数据库中检索与所述第一文本数据匹配的提示信息推荐给用户。
本发明第二方面提出一种试题拍照评判装置,包括:
识别模块,用于获取用户提交的图像文件,识别出与所述图像文件中的题目对应的第一文本数据和与所述图像文件中的用户作答对应的第二文本数据;
确定模块,用于基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容;
匹配模块,使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据;
评判模块,用于基于所述答案文本数据对所述第二文本数据进行评判。
本发明第三方面提出一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现所述的方法。
本发明第四方面提出一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现任一所述的方法。
(三)有益效果
本发明通过识别模型识别出题目数据和用户作答数据,基于语义检索的匹配模型检索到相应答案文本数据,通过答案文本数据对用户作答数据进行评判,避免出现题意一样但内容不一样的题目找不到答案的情况,提高了拍照搜题的灵活性,准确度也得到提高,用户使用体验更好。
附图说明
图1是本发明的试题拍照评判的应用场景结构示意图;
图2是本发明的一个实施例的一种试题拍照评判方法的流程示意图;
图3是本发明的一个实施例中拍照照片的示意图;
图4是本发明的一个实施例中匹配答案文本数据的流程示意图;
图5是本发明的一个实施例的一种基于神经网络的试题拍照评判装置结构示意图;
图6是本发明的一个实施例的电子设备的结构示意图;
图7是本发明的一个实施例的计算机可读记录介质的示意图。
具体实施方式
在对于具体实施例的介绍过程中,对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是,并不排除本领域技术人员可以在特定情况下,以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示,不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤,也不代表必须按照图中所显示的顺序执行。例如,流程图中有的操作/步骤可以分解,有的操作/步骤可以合并或部分合并,等等,在不脱离本发明的发明主旨的情况下,流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体,并不一定必然与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分,因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解,虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分,但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说,这些定语仅是用来将一者与另一者区分。例如,第一器件亦可称为第二器件,但不偏离本发明实质的技术方案。此外,术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
为解决上述技术问题,本发明提出一种试题拍照评判方法及装置,在用户上传带有答案的试题照片后,能够根据题目内容以及用户的答题内容进行评判,直接判断对错,不用再等待老师人工进行评判。
图1是试题拍照评判的应用场景结构示意图。如图1所示,用户在终端101或终端102中下载安装客户端,使用客户端将写好答案的试题照片通过网络105上传到应用服务器103。终端101、终端102包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。网络105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
在应用服务器103中,根据试题的内容搜索信息数据库104。在信息数据库中存储的是根据收集的各种试题总结整理出来的知识点。
通过举例对知识点进行说明,比如填空题“(____)的内角和是180°”、“三角形的内角和是(____)”,判断题“三角形的内角和是270°。(×)”,选择题“三角形的内角和是B。A、90°,B、180°,C、270°,D、360°”。这些题的题目都不相同,但都涉及一个统一的知识点,即三角形的内角和是180°。通过总结整理,将收集到的海量的题目内容整理成一个个知识点存储在信息数据库104中。
应用服务器103根据检索到的知识点判断用户的答案是否正确,如果正确则标注“√”,如果错误则标注“×”。并将标注好的结果返回给用户。
本申请的试题拍照评判方法和装置可以应用在不同的学科,比如数学、语文、外语、历史等等科目,在本实施方式的实施例中主要以应用于语文为例进行说明。
本申请的试题拍照评判方法和装置可以应用在不同的题型,比如填空、选择、判断、应用题等等,在本实施方式的实施例中主要以应用于填空题,尤其是根据拼音填写汉字的填空题为例进行说明。
图2是本发明的一个实施例的一种试题拍照评判方法的流程示意图,如图2所示,方法包括:
S201、获取用户提交的图像文件,例如通过基于神经网络的识别模型识别出所述图像文件中的题目对应的第一文本数据,和与所述图像文件中的用户作答对应的第二文本数据。
在本实施方式中,用户使用手机应用对试题进行拍照,然后通过网络上传拍照的照片,照片上面包括题目和用户手写的答案。提前构建基于神经网络的识别模型,通过识别模型识别出在照片中的题目和答案。
在上述技术方案的基础上,进一步地,所述第一文本数据一般与所述图像文件中的印刷体文本对应,所述第二文本数据一般与所述图像文件中的手写体对应。
在本实施方式中,题目通常是印刷打印的,字符排列整齐,字体统一通常为宋体、仿宋体、黑体等等,识别结果对应为第一文本数据。而答案由于是用户自己手写的,通常写的比较凌乱,识别结果对应为第二文本数据。图3为拍照照片的示意图,如图3所示,第一文本数据301对应的是黑体和宋体字符,第二文本数据302对应为手写体。
本步骤对识别题目和用户作答的具体方式不做限定,例如题目一般印刷体,用户作答的答案一般手写,可基于此识别题目和用户作答。另外,还可以基于题目和用户作答在格式和位置方面的区别进行区分。或者,可提前在题目和用户作答区域设置不同背景或水印,再基于此进行区分。
示例性地,可提前构建基于神经网络的识别模型,通过识别模型识别出在照片中的题目和答案。
在上述技术方案的基础上,进一步地,所述基于神经网络的识别模型采用CPTN结合CRNN神经网络模型。
在本实施方式中,基于神经网络的识别模型是采用CPTN (Connectionist TextProposal Network,自然场景文本检测)结合CRNN (Convolutional Recursive NeuralNetworks,循环卷积神经网络)神经网络模型。识别模型可使用大量的包含印刷体题目和手写体答案的图像训练而成,用于训练的图像应提前对题目区域和答案区域进行标注。
在识别过程中,首先将照片转化为灰度图。虽然题目和手写的答案通常都是黑色的,照片看着是黑白的,但是实际是RGB三通道的彩色照片,需要进行灰度化处理,变成单通道的灰度图。然后使用CPTN模型对文字的区域范围进行定位和切割,由于第一文本数据的字体比较整齐,区域边缘也整齐。相对的第二文本数据的区域比较凌乱,CPTN模型通过区域定位就能够将第一文本数据和第二文本数据的区域区分出来。CPTN模型主要包括卷积层、Conv1D、全链接层。
完成文字区域范围的定位和切割后,由CRNN模型进行将图片中的题目信息文本化,转化为第一文本数据,将用户手写的答案文本化,转化为第二文本数据。
S202、基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容。
S203、使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据。
由于语言的多意性和歧义性,计算机无法直接理解人类的语言,尤其是对一句话或一段文字的理解。随着计算机性能的不断提升,目前通过构建语义检索模型,使用大量的样本训练,语义检索模型已经逐渐能够理解一句话的真实含义,比如“今天天气不错”和“今天天气真好”能够识别出是表达一个含义。在进行语义检索的时候语义检索模型会对所检索的句子中的词语进行扩展,比如所检索的句子中使用的是“手机”,检索时会扩展成“移动电话”、“电话”、“移动终端”等词语。
语义检索模型目前可以通过有监督学习或无监督学习进行训练,为了使得语义检索更加准确,通常使用有监督学习。收集大量的语言样本,由人工对这些样本进行标引,标引出语句的真实意图。然后将样本分为训练样本和校验样本,首先使用训练样本对语义检索模型进行训练,调整模型的参数,直至数据收敛。然后使用校验样本对语义检索模型进行校验,如果通过校验则结束训练,否则重新进行标引及训练。
本实施例的语义检索模型是基于题目的语义进行检索的,并不像普通检索那样仅基于题目本身词语。本实施例要解决且能解决的技术问题是,如果答案库中没有直接与题目对应的答案,普通检索则不会给出答案,通过本实施例的语义检索的方式能够匹配到文字不一样,但实际含义一样(语义一致或差不多)的题目及答案,这样搜题范围更广,更容易找到答案。
语义检索系统中,除提供关键词实现主题检索外,还可结合自然语言处理和知识表示语言,表示各种结构化、半结构化和非结构化信息,提供多途径和多功能的检索。
在本实施方式中,信息数据库中存储有大量的知识点,知识点是从已收集的题目中总结归纳出来的信息,每一道题都会对应一个或多个知识点,一个知识点也能够衍生出一个或多个题目。信息数据库可以通过人工归纳总结的方式整理,也可以使用基于深度学习的TextCNN神经网络模型进行分类归纳整理。使用基于语义检索的匹配模型在信息数据库中检索与第一文本数据语义(例如知识考察类题目)相匹配的知识点,即答案文本数据。
通过语义检索信息数据库,避免了现有技术中虽然题目意思相同,但由于描述文字不同,导致找不到正确答案的情况。即使题库中没有与上传的题目一模一样的题,也能根据知识点找到对应的答案。
在上述技术方案的基础上,进一步地,使用匹配模型从信息数据库中匹配与所述第一文本数据对应的答案文本数据具体包括以下步骤,如图4 所示:
S2021、基于空间位置对所述第一文本数据进行切割,拆分成多个层次的题目。
在本实施方式中,试题通常分为大题目和小题目,大题目通常是介绍题目的类型,比如填空题、选择题、应用题等等。小题目通常是具体的题干,也就是对用户的要求,让用户完成的内容。图3所示,大题目为“一、写字:看拼音写词语,请在田字格里正确规范的书写。(10分)”,小题目即题干内容为“guī lǜ”,“zhì huì”,“mǐn jié”,“píng héng”。
在本实施方式中,在对第一文本数据进行切割的时候,根据第一文本数据切割的内容对第二文本数据进行切割,比如图3中的“guī lǜ”切割后,第二文本数据的“切割”也同时进行切割,使第一文本数据的内容与第二文本数据的内容始终保持对应。
再例如,一般应用题会包括题目的主体部分还包括若干个小问,每个小问中又会增加一些已知条件作为题目的一部分;本步骤中通过基于空间位置对所述第一文本数据进行切割,拆分组合成多个有关联的题目,进行针对性检索。
S2022、基于所述多个层次的题目确定试题类型和题干内容。
在本实施方式中,通过拆分将第一文本数据拆分大题目和小题目。比如图3中根据大题目确定题型为填空题,小题目为填写拼音对应汉字。
本步骤中确定当前待检索的试题类型和题干内容。S2023、对所述题干内容进行文本结构化处理。
在本实施方式中,不同的题型有不同的结构化规则,根据大题目确定好题型后,选取对应的结构化规则对题干内容即小题目内容进行结构化处理,从小题目内容中选取文本片段信息转化为特定的格式文本,方便后面匹配模型进行计算。
内容的结构化,需要定义结构。给定一个无序数据,按照什么逻辑进行分组,就是定义结构的过程。有了结构之后,再用技术实现对无序数据的结构化。例如图3中解析出“guī lǜ”,“zhì huì”,“mǐn jié”,“píng héng”,“规律”,“智慧”,“敏捷”,“平衡”等等这些数据,对于计算机来说这些数据都是无序的数据,计算机无法将“guī lǜ”和“规律”,“zhì huì”和“智慧”,“mǐn jié”和“敏捷”,“píng héng”和“平衡”对应为一个题,进而构成一个批改的基本单元。我们实际批改的时候要知道拼音和下面的手写汉字是一个题,同时还要知道是根据拼音写汉字的题型才能批改。将例如将“guī lǜ”和“规律”等对应为一个批改的基本单元,并且确定题型为根据拼音写汉字的过程就是结构化的过程。通过结构化,使得计算机程序或模型能够知道这道题要做什么以及如何评判。
选字填空的结构和上面的题又不一样了。类似地,题型样式存在多种,相同题型也有不同的结构,所以我们需要先把结构和题型都确定出来,计算机才知道这道题要做什么,以及怎么批改。S2024、将文本结构化处理后的题干内容输入匹配模型,从信息数据库中匹配与所述题干内容对应的答案文本数据。
例如,在本实施方式中,将文本结构化处理的题干内容在信息数据库中进行匹配处理,选取匹配度最高的知识点,作为对第二文本数据进行评判的依据。
在上述技术方案的基础上,进一步地,所述匹配模型可以为Bi-LSTM 神经网络模型。
在本实施方式中Bi-LSTM(Bidirectional Long ShortTerm Memory,双向长短时记忆)神经网络模型是循环神经网络的一种,能够更好的对语句的前后词进行考虑,比如“我不觉得今天天气好”,其中“不”是对后面的“天气好”进行限定,表示对天气好的否定,采用双向长短时期记忆网络模型可以更好的捕捉到较长距离的依赖关系,而且双向长短时期记忆网络模型还可以顾及到后面的词对前面的词的限定,比如“今天的天气冷的不行”,其中“不行”是“冷”的修饰和限定。在本实施方式中,双向长短时期记忆网络模型为采用有监督学习的方式使用题库的数据作为训练数据对模型进行训练。
S204、基于所述答案文本数据对所述第二文本数据进行评判。
在本实施方式中,答案文本数据为通过匹配模型检索获得的知识点数据,根据该知识点数据判断第二文本数据是否正确。
在上述技术方案的基础上,进一步地,基于所述答案文本数据对所述第二文本数据进行评判具体为:
判断所述答案文本数据与所述第二文本数据是否匹配,如果匹配则判对。
在本实施方式中,答案文本数据与第二文本数据进行匹配也优选通过语义进行匹配,当判断两者匹配时说明用户的答案符合知识点内容,是对的,可以在用户上传的图片中第二文本数据的位置画√。
在上述技术方案的基础上,进一步地,如果所述答案文本数据与所述第二文本数据不匹配,则基于所述第二文本数据在信息数据库中匹配对应的反推题目文本数据;
设置相似度阈值,计算所述反推题目文本数据与所述第一文本数据的相似度,如果超过所述相似度阈值则判对,否则判错。
反推题目文本数据主要包括题干,反推题目文本数据与所述第一文本数据比较相似度时,主要也是反推题目的题干与所述第一文本数据对应题目的题干进行比较。
在本实施方式中,可能存在识别错误的问题,比如图3中的“guī lǜ”由于照片拍摄不清楚或其他原因,识别成“gū lu”,此时匹配模型匹配出的答案文本数据为“骨碌”,使用“骨碌”对第二文本数据的“规律”进行判断就会判错。为了避免这种情况的出现,此时使用“规律”在信息数据控中可以匹配获得反推题目文本数据“guī lǜ”,使用“guī lǜ”与“gūlu”进行相似度计算,通过计算获得相似度为85%。预先设置的相似度阈值为70%,因此可以判断出很可能是第一文本数据识别时出现错误,第一文本数据应当是“guī lǜ”,此时用户答案“规律”正确,应当判对。
优选地,当反推题目文本与题干内容数据的相似度超过所述预设的相似度阈值,给出判定的同时提示用户,例如:题干是否为“guī lǜ”?
进一步地,为了加强对题目识别错误问题的管理,当反推的题目文本与题干内容数据的相似度超过相似度阈值后,给用户提示信息,请用户确认所识别的题干内容数据是否正确,根据用户确认的题干内容数据继续确定答案数据,并根据答案数据继续进行评判。经过用户确认后,纠正题干内容数据,重新计算答案文本数据,根据重新计算的答案文本数据判断第二文本数据。并将识别错误的题干内容数据的相关信息,例如图片相关信息保存在系统中,便于后续管理人员和系统对识别错误进行分析和学习,提高系统整体的识别准确率。在上述技术方案的基础上,进一步地,预先设置提示信息数据库,完成评判操作后,从所述提示信息数据库中检索与所述第一文本数据匹配的提示信息推荐给用户。
在本实施方式中,还设置有提示信息数据库,提示信息是对知识点的补充,比如“了”字的有几种读音,“规律”的笔顺是什么,含义是什么等等,通过这些提示信息能够丰富用户的知识面,加深对知识点的理解。可以通过链接的形式返回给用户,也可以直接在用户上传的图片上进行标注。
在本实施方式中,还设置错题数据库,收集用户的错题,对用户的错题进行汇总和分类,当错题总数或某一个分类的数量达到一定数值时,比如拼音填空题错题数量达到20,选取对应的知识点生成练习试题推送给用户进行加强练习,强化用户对知识点的理解,能够很好的提高用户的学习成绩。
图5是本发明的一个实施例的一种基于神经网络的试题拍照评判装置 500结构示意图,如图5所示包括:
识别模块501,用于获取用户提交的图像文件,基于神经网络的识别模型识别出所述图像文件中题目对应的第一文本数据,和与所述图像文件中的用户作答对应的第二文本数据。
在本实施方式中,用户使用手机应用对试题进行拍照,然后通过网络上传拍照的照片,照片上面包括题目和用户手写的答案。提前构建基于神经网络的识别模型,通过识别模型识别出在片中的题目和答案。
在上述技术方案的基础上,进一步地,所述第一文本数据与所述图像文件中的印刷体文本对应,所述第二文本数据与所述图像文件中的手写体对应。
在本实施方式中,题目通常是印刷打印的,字符排列整齐,字体统一通常为宋体、仿宋体、黑体等等,为第一文本数据。而答案由于是用户自己手写的,通常写的比较凌乱,为第二文本数据。图3为拍照照片的示意图,如图3所示,第一文本数据301使用的是黑体和宋体字符,第二文本数据302位手写体。
在上述技术方案的基础上,进一步地,所述基于神经网络的识别模型采用CPTN结合CRNN神经网络模型。
在本实施方式中,基于神经网络的识别模型是采用CPTN (Connectionist TextProposal Network,自然场景文本检测)结合CRNN (Convolutional Recursive NeuralNetworks,循环卷积神经网络)神经网络模型。识别模型使用大量的历史印刷体文本数据和手写体文本数据训练而成。
在识别过程中,首先将照片转化为灰度图。虽然题目和手写的答案通常都是黑色的,照片看着是黑白的,但是实际是RGB三通道的彩色照片,需要进行灰度化处理,变成单通道的灰度图。然后使用CPTN模型对文字的区域范围进行定位和切割,由于第一文本数据的字体比较整齐,区域边缘也整齐。相对的第二文本数据的区域比较凌乱,CPTN模型通过区域定位就能够将第一文本数据和第二文本数据的区域区分出来。CPTN模型主要包括卷积层、Conv1D、全链接层。
完成文字区域范围的定位和切割后,由CRNN模型进行将图片中的题目信息文本化,转化为第一文本数据,将用户手写的答案文本化,转化为第二文本数据。
确定模块502,用于基于空间位置对所述第一文本数据进行切割拆分,确定题干内容;
匹配模块503,使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据。
由于语言的多意性和歧义性,计算机无法直接理解人类的语言,尤其是对一句话或一段文字的理解。随着计算机性能的不断提升,目前通过构建语义检索模型,使用大量的样本训练,语义检索模型已经逐渐能够理解一句话的真实含义,比如“今天天气不错”和“今天天气真好”能够识别出是表达一个含义。在进行语义检索的时候语义检索模型会对所检索的句子中的词语进行扩展,比如所检索的句子中使用的是“手机”,检索时会扩展成“移动电话”、“电话”、“移动终端”等词语。
语义检索模型目前可以通过有监督学习或无监督学习进行训练,为了使得语义检索更加准确,通常使用有监督学习。收集大量的语言样本,由人工对这些样本进行标引,标引出语句的真实意图。然后将样本分为训练样本和校验样本,首先使用训练样本对语义检索模型进行训练,调整模型的参数,直至数据收敛。然后使用校验样本对语义检索模型进行校验,如果通过校验则结束训练,否则重新进行标引及训练。
在本实施方式中,信息数据库中存储有大量的知识点,知识点是从已收集的题目中总结归纳出来的信息,每一道题都会对应一个或多个知识点,一个知识点也能够衍生出一个或多个题目。信息数据库可以通过人工归纳总结的方式整理,也可以使用基于深度学习的TextCNN神经网络模型进行分类归纳整理。
使用基于语义检索的匹配模型在信息数据库中检索与第一文本数据语义相匹配的知识点,即答案文本数据。
通过语义检索信息数据库,避免了现有技术中虽然题目意思相同,但由于描述文字不同,导致找不到正确答案的情况。即使题库中没有与上传的题目一模一样的题,也能根据知识点找到对应的答案。
在上述技术方案的基础上,进一步地,所述匹配模型为Bi-LSTM神经网络模型。
在本实施方式中Bi-LSTM(Bidirectional Long ShortTerm Memory,双向长短时记忆)神经网络模型是循环神经网络的一种,能够更好的对语句的前后词进行考虑,比如“我不觉得今天天气好”,其中“不”是对后面的“天气好”进行限定,表示对天气好的否定,采用双向长短时期记忆网络模型可以更好的捕捉到较长距离的依赖关系,而且双向长短时期记忆网络模型还可以顾及到后面的词对前面的词的限定,比如“今天的天气冷的不行”,其中“不行”是“冷”的修饰和限定。在本实施方式中,双向长短时期记忆网络模型为采用有监督学习的方式使用题库的数据作为训练数据对模型进行训练。
评判模块504,用于基于所述答案文本数据对所述第二文本数据进行评判。
在本实施方式中,答案文本数据为通过匹配模型检索获得的知识点数据,根据该知识点数据判断第二文本数据是否正确。
在上述技术方案的基础上,进一步地,基于所述答案文本数据对所述第二文本数据进行评判具体为:
判断所述答案文本数据与所述第二文本数据是否匹配,如果匹配则判对。
在本实施方式中,答案文本数据与第二文本数据进行匹配是也是通过语义进行匹配,当判断两者匹配时说明用户的答案符合知识点内容,是对的,可以在用户上传的图片中第二文本数据的位置画√。
在上述技术方案的基础上,进一步地,如果所述答案文本数据与所述第二文本数据不匹配,则基于所述第二文本数据在信息数据库中匹配对应的反推题目文本数据;
设置相似度阈值,计算所述反推题目文本数据与所述第一文本数据的相似度,如果超过所述相似度阈值则判对,否则判错。
优选地,当反推题目文本与题干内容数据的相似度超过所述预设的相似度阈值,给出判定的同时提示用户,例如:题干是否为“guī lǜ”?
进一步地,为了加强对题目识别错误问题的管理,当反推的题目文本与题干内容数据的相似度超过相似度阈值后,给用户提示信息,请用户确认所识别的题干内容数据是否正确,根据用户确认的题干内容数据继续确定答案数据,并根据答案数据继续进行评判。经过用户确认后,纠正题干内容数据,重新计算答案文本数据,根据重新计算的答案文本数据判断第二文本数据。并将识别错误的题干内容数据的相关信息,例如图片相关信息保存在系统中,便于后续管理人员和系统对识别错误进行分析和学习,提高系统整体的识别准确率。
在上述技术方案的基础上,进一步地,预先设置提示信息数据库,完成评判操作后,从所述提示信息数据库中检索与所述第一文本数据匹配的提示信息推荐给用户。
在本实施方式中,还设置有提示信息数据库,提示信息是对知识点的补充,比如“了”字的有几种读音,“规律”的笔顺是什么,含义是什么等等,通过这些提示信息能够丰富用户的知识面,加深对知识点的理解。可以通过链接的形式返回给用户,也可以直接在用户上传的图片上进行标注。
在本实施方式中,还设置错题数据库,收集用户的错题,对用户的错题进行汇总和分类,当错题总数或某一个分类的数量达到一定数值时,比如拼音填空题错题数量达到20,选取对应的知识点生成练习试题推送给用户进行加强练习,强化用户对知识点的理解,能够很好的提高用户的学习成绩。
图7是根据一示例性实施例示出的一种电子设备的框图。
如图7所示,电子设备以通用计算设备的形式表现。其中处理器可以是一个,也可以是多个并且协同工作。本发明也不排除进行分布式处理,即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体,也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序,通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行,以使得电子设备能够执行本发明的方法,或者方法中的至少部分步骤。
所述存储器包括易失性存储器,例如随机存取存储单元(RAM)和 /或高速缓存存储单元,还可以是非易失性存储器,如只读存储单元 (ROM)。
可选的,该实施例中,电子设备还包括有I/O接口,其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解,图7显示的电子设备仅仅是本发明的一个示例,本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如,有些电子设备中还包括有显示屏等显示单元,有些电子设备还包括人机交互元件,例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤,均可认为是本发明所涵盖的电子设备。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,如图7所示,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等) 执行根据本发明实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:基于用户的开启指令启动虚拟交互功能;基于虚拟交互功能获取所述用户的实时视频;将所述实时视频输入动作识别模型中,生成动作识别标签,所述动作识别模型通过深度学习模型实现;根据所述动作识别标签生成虚拟对象;将所述目标虚拟对象绘制在所述用户的实时视频中以进行展示。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD- ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
以上具体地示出和描述了本发明的示例性实施例。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种试题拍照评判方法,其特征在于,方法包括:
获取用户提交的图像文件,识别出与所述图像文件中的题目对应的第一文本数据,和,与所述图像文件中的用户作答对应的第二文本数据;
基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容;
使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据;
基于所述答案文本数据对所述第二文本数据进行评判。
2.如权利要求1所述的试题拍照评判方法,其特征在于:基于神经网络的识别模型识别出与所述图像文件中的题目对应的第一文本数据;
可选地,所述第一文本数据与所述图像文件中的印刷体文本对应,所述第二文本数据与所述图像文件中的手写体对应;
可选地,所述基于神经网络的识别模型采用CPTN结合CRNN神经网络模型。
3.如权利要求1所述的试题拍照评判方法,其特征在于,所述基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容,包括:
基于空间位置对所述第一文本数据进行切割,拆分成多个层次的题目;
基于所述多个层次的题目确定试题类型和待检索的题干内容。
4.如权利要求1-3任一项所述的试题拍照评判方法,其特征在于,所述使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据,包括:
对所述题干内容进行文本结构化处理;
将文本结构化处理后的题干内容输入所述基于语义检索的匹配模型,从信息数据库中匹配与所述题干内容对应的答案文本数据;
可选地,所述基于语义检索的匹配模型为Bi-LSTM神经网络模型。
5.如权利要求1所述的试题拍照评判方法,其特征在于,所述基于所述答案文本数据对所述第二文本数据进行评判,包括:判断所述答案文本数据与所述第二文本数据是否匹配,如果匹配则判对;
可选地,如果所述答案文本数据与所述第二文本数据不匹配,则基于所述第二文本数据在信息数据库中匹配对应的反推题目文本数据;计算所述反推题目文本数据与所述第一文本数据的相似度,如果超过相似度阈值则判对,否则判错。
6.如权利要求5所述的试题拍照评判方法,其特征在于:通过基于语义的匹配模型,判断所述答案文本数据与所述第二文本数据是否匹配。
7.如权利要求1所述的试题拍照评判方法,其特征在于:
预先设置提示信息数据库,完成评判操作后,从所述提示信息数据库中检索与所述第一文本数据匹配的提示信息推荐给用户。
8.一种试题拍照评判装置,其特征在于,装置包括:
识别模块,用于获取用户提交的图像文件,识别出与所述图像文件中的题目对应的第一文本数据和与所述图像文件中的用户作答对应的第二文本数据;
确定模块,用于基于空间位置对所述第一文本数据进行切割拆分,确定待检索的题干内容;
匹配模块,使用基于语义检索的匹配模型从信息数据库中匹配与所述题干内容对应的答案文本数据;
评判模块,用于基于所述答案文本数据对所述第二文本数据进行评判。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202110707922.6A 2021-06-24 2021-06-24 试题拍照评判方法、装置及电子设备 Pending CN113505786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110707922.6A CN113505786A (zh) 2021-06-24 2021-06-24 试题拍照评判方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110707922.6A CN113505786A (zh) 2021-06-24 2021-06-24 试题拍照评判方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113505786A true CN113505786A (zh) 2021-10-15

Family

ID=78010685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707922.6A Pending CN113505786A (zh) 2021-06-24 2021-06-24 试题拍照评判方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113505786A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005128A (zh) * 2021-11-10 2022-02-01 深圳市爱加人工智能科技有限公司 一种作业题目检索系统、批改系统及方法
CN114943975A (zh) * 2022-05-10 2022-08-26 山东大学 一种基于深度学习的多模态搜题方法及系统
CN116308012A (zh) * 2023-05-26 2023-06-23 国开在线教育科技有限公司 一种基于5g智能阅卷和试卷跟踪的方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220380A (zh) * 2017-06-27 2017-09-29 北京百度网讯科技有限公司 基于人工智能的问答推荐方法、装置和计算机设备
CN111753767A (zh) * 2020-06-29 2020-10-09 广东小天才科技有限公司 一种作业自动批改的方法、装置、电子设备和存储介质
CN112632265A (zh) * 2021-03-10 2021-04-09 北京沃丰时代数据科技有限公司 智能机器阅读理解方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220380A (zh) * 2017-06-27 2017-09-29 北京百度网讯科技有限公司 基于人工智能的问答推荐方法、装置和计算机设备
CN111753767A (zh) * 2020-06-29 2020-10-09 广东小天才科技有限公司 一种作业自动批改的方法、装置、电子设备和存储介质
CN112632265A (zh) * 2021-03-10 2021-04-09 北京沃丰时代数据科技有限公司 智能机器阅读理解方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005128A (zh) * 2021-11-10 2022-02-01 深圳市爱加人工智能科技有限公司 一种作业题目检索系统、批改系统及方法
CN114943975A (zh) * 2022-05-10 2022-08-26 山东大学 一种基于深度学习的多模态搜题方法及系统
CN116308012A (zh) * 2023-05-26 2023-06-23 国开在线教育科技有限公司 一种基于5g智能阅卷和试卷跟踪的方法、系统及设备
CN116308012B (zh) * 2023-05-26 2023-08-04 国开在线教育科技有限公司 一种基于5g智能阅卷和试卷跟踪的方法、系统及设备

Similar Documents

Publication Publication Date Title
CN110795543B (zh) 基于深度学习的非结构化数据抽取方法、装置及存储介质
CN111191078B (zh) 基于视频信息处理模型的视频信息处理方法及装置
CN109766540B (zh) 通用文本信息提取方法、装置、计算机设备和存储介质
CN110727779A (zh) 基于多模型融合的问答方法及系统
US11409964B2 (en) Method, apparatus, device and storage medium for evaluating quality of answer
CN110991163B (zh) 一种文档比对分析方法、装置、电子设备及存储介质
CN111488931A (zh) 文章质量评估方法、文章推荐方法及其对应的装置
CN107590127A (zh) 一种题库知识点自动标注方法及系统
WO2021218028A1 (zh) 基于人工智能的面试内容精炼方法、装置、设备及介质
CN112287069B (zh) 基于语音语义的信息检索方法、装置及计算机设备
CN113505786A (zh) 试题拍照评判方法、装置及电子设备
CN110399547B (zh) 用于更新模型参数的方法、装置、设备和存储介质
CN111552773A (zh) 一种阅读理解任务中是否类问题关键句寻找方法及系统
CN112052424B (zh) 一种内容审核方法及装置
CN113569112A (zh) 基于题目的辅导策略提供方法、系统、装置及介质
CN107844531B (zh) 答案输出方法、装置和计算机设备
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN111708870A (zh) 基于深度神经网络的问答方法、装置及存储介质
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
US20230042683A1 (en) Identifying and transforming text difficult to understand by user
CN113822040A (zh) 一种主观题阅卷评分方法、装置、计算机设备及存储介质
CN113407676A (zh) 题目批改方法和系统、电子设备和计算机可读介质
CN113362026A (zh) 文本处理方法及装置
CN113705207A (zh) 语法错误识别方法及装置
CN112559711A (zh) 一种同义文本提示方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230628

Address after: 6001, 6th Floor, No.1 Kaifeng Road, Shangdi Information Industry Base, Haidian District, Beijing, 100085

Applicant after: Beijing Baige Feichi Technology Co.,Ltd.

Address before: 100085 4002, 4th floor, No.1 Kaifa Road, Shangdi Information Industry base, Haidian District, Beijing

Applicant before: ZUOYEBANG EDUCATION TECHNOLOGY (BEIJING) CO.,LTD.

TA01 Transfer of patent application right