CN112364700A - 一种内容标记方法及终端设备 - Google Patents
一种内容标记方法及终端设备 Download PDFInfo
- Publication number
- CN112364700A CN112364700A CN202011099847.1A CN202011099847A CN112364700A CN 112364700 A CN112364700 A CN 112364700A CN 202011099847 A CN202011099847 A CN 202011099847A CN 112364700 A CN112364700 A CN 112364700A
- Authority
- CN
- China
- Prior art keywords
- content
- target
- image
- information
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 18
- 238000012015 optical character recognition Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种内容标记方法及终端设备,应用于终端设备技术领域,可解决现有技术中对于书本中内容没有标记,用户学习比较盲目的问题。该方法包括:响应用户的第一指令,获取包括学习页面的第一图像;对所述第一图像进行识别,得到第一内容,所述第一内容为所述学习页面中的内容;调取与所述第一内容关联存储的第一标签信息;根据所述第一标签信息对所述第一内容进行标记,得到目标内容,并显示所述目标内容;其中,所述第一标签信息包括以下针对所述第一内容设置的信息:内容解释信息、学习目标信息、相关信息、重要等级信息中的至少一种。该方法应用于用户在对某一页内容进行学习的场景中。
Description
技术领域
本发明实施例涉及终端设备技术领域,尤其涉及一种内容标记方法及终端设备。
背景技术
随着科技的发展,家教设备逐渐进入儿童市场,当前的家教设备可以通过前置摄像头识别书本内容进行搜索并输出搜索结果。但是对于书本中的内容没有相关标记,用户学习到某一页的时候,不知道要学哪些内容,也不知道应该怎么学,这样学习起来就比较盲目,浪费了时间。
发明内容
本发明实施例提供一种内容标记方法及终端设备,用以解决现有技术中用户在学习过程中比较盲目浪费时间的问题。为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,提供一种内容标记方法,该方法包括:响应用户的第一指令,获取包括学习页面的第一图像;
对所述第一图像进行识别,得到第一内容,所述第一内容为所述学习页面中的内容;
调取与所述第一内容关联存储的第一标签信息;
根据所述第一标签信息对所述第一内容进行标记,得到目标内容,并显示所述目标内容;
其中,所述第一标签信息包括以下针对所述第一内容设置的信息:内容解释信息、学习目标信息、相关信息,重要等级信息中的至少一种。
作为一种可选的实施方式,在本发明实施例的第一方面中,所述显示所述目标内容包括:
在目标页面中显示所述目标内容;
所述目标页面中的第一区域显示有第一控件,所述显示所述目标内容之后,还包括:
接收所述用户对所述第一控件的触控输入;
响应于所述触控输入,从显示所述目标内容,切换为显示所述第一内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述对所述第一图像进行识别,得到第一内容,包括:
通过光学字符识别技术,对所述第一图像进行识别,以得到第二内容;
在预存的电子页面库中搜索与所述第二内容相匹配的电子页面,将所述电子页面中的内容确定为所述第一内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述对所述第一图像进行识别,得到第一内容,包括:
获取与所述摄像头的拍摄方向垂直的平面与所述学习页面之间的当前夹角;
在所述当前夹角大于预设夹角的情况下,通过透视变换对所述第一图像进行校正,得到目标图像;
对所述目标图像进行识别,得到所述第一内容。
作为一种可选的实施方式,在本发明实施例第一方面中,若所述第一标签信息至少包括所述重要等级信息,则所述根据所述第一标签信息对所述第一内容进行标记,得到目标内容,包括:
获取所述第一内容中每一内容单元对应的重要等级信息;
根据所述每一内容单元对应的重要等级信息对所述第一内容中所述每一内容单元进行排序,以得到第三内容;
对所述第三内容中的所述每一内容单元,标记所述重要等级信息,以得到所述目标内容。
第二方面,提供一种终端设备,该终端设备包括:获取模块,用于响应用户的第一指令,获取包括学习页面的第一图像;
处理模块,用于对所述第一图像进行识别,得到第一内容,所述第一内容为所述学习页面中的内容;
调取模块,用于调取与所述第一内容关联存储的第一标签信息;
所述处理模块,还用于根据所述第一标签信息对所述第一内容进行标记,得到目标内容,并显示所述目标内容;
其中,所述第一标签信息包括以下针对所述第一内容设置的信息:内容解释信息、学习目标信息、相关信息,重要等级信息中的至少一种。
作为一种可选的实施方式,在本发明实施例第二方面中,所述处理模块,还用于在目标页面中显示所述目标内容;
所述目标页面中的第一区域显示有第一控件,所述获取模块,还用于接收所述用户对所述第一控件的触控输入;
所述处理模块,还用于响应于所述触控输入,从显示所述目标内容,切换为显示所述第一内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述处理模块,还用于通过光学字符识别技术,对所述第一图像进行识别,以得到第二内容;以及用于在预存的电子页面库中搜索与所述第二内容相匹配的电子页面,将所述电子页面中的内容确定为所述第一内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述获取模块,还用于获取与所述摄像头的拍摄方向垂直的平面与所述学习页面之间的当前夹角;
所述处理模块,还用于在所述当前夹角大于预设夹角的情况下,通过透视变换对所述第一图像进行校正,得到目标图像;以及用于对所述目标图像进行识别,得到所述第一内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述获取模块,还用于获取所述第一内容中每一内容单元对应的重要等级信息;
所述处理模块,还用于根据所述每一内容单元对应的重要等级信息对所述第一内容中所述每一内容单元进行排序,以得到第三内容;以及用于对所述第三内容中的所述每一内容单元,标记所述重要等级信息,以得到所述目标内容。
第三方面,提供一种终端设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面中内容标记方法。
第四方面,提供一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行本发明实施例第一方面中的内容标记方法。所述计算机可读存储介质包括ROM/RAM、磁盘或光盘等。
第五方面,提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
第六方面,提供一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,终端设备响应用户发出的指令,通过摄像头采集图像,并对图像进行识别,可以得到其中包括的内容,在调取出终端设备预存的该内容的标签信息进行标记,得到目标内容并输出。终端设备可以在用户学习过程中通过识别用户的学习内容,输出对应的标签信息给用户,这样可以使得用户非常直观的了解到该内容的教学要求、关联知识等相关内容,提高学习效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种内容标记方法的流程示意图一;
图2a是本发明实施例提供的一种内容标记方法的流程示意图二;
图2b是本发明实施例提供的一种内容标记方法的场景示意图一;
图2c是本发明实施例提供的一种内容标记方法的场景示意图二;
图3是本发明实施例提供的一种内容标记方法的流程示意图三;
图4是本发明实施例提供的一种终端设备的结构示意图一;
图5是本发明实施例提供的一种终端设备的结构示意图二;
图6是本发明实施例提供的一种终端设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一内容和第二内容等是用于区别不同的内容,而不是用于描述内容的特定顺序。
本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明实施例提供一种内容标记方法及终端设备,可以使得用户非常直观的了解到该内容的教学要求、关联知识等相关内容,提高学习效率。
本发明实施例涉及的终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本或者个人数字助理(Personal Digital Assistant,PDA)等电子设备。其中,可穿戴设备可以为智能手表、智能手环、手表电话、智能脚环、智能耳环、智能项链、智能耳机等,本发明实施例不作限定。
本发明实施例提供的内容标记方法的执行主体可以为上述的终端设备,也可以为该终端设备中能够实现该内容标记方法的功能模块和/或功能实体,具体的可以根据实际使用需求确定,本发明实施例不作限定。下面以终端设备为例,对本发明实施例提供的内容标记方法进行示例性的说明。
本发明实施例提供的内容标记方法,可以应用于用户在对某一页内容进行学习的场景。
实施例一
如图1所示,本发明实施例提供一种内容标记方法,该方法可以包括下述步骤:
101、响应用户的第一指令,获取包括学习页面的第一图像。
当终端设备接收到用户的第一指令,则获取当前的第一图像,具体的获取方式可以为通过摄像头采集图像。
其中,第一图像包括学习页面,该学习页面可以为书本、练习册、教辅资料等中的页面。
需要说明的是,用户发出的第一指令用于触发终端设备的摄像头采集图像。该第一指令可以通过多种形式实现,比如用户对终端设备中的虚拟控件或者物理按键的点击操作,也可以是用户输入的有关拍照的语音指令,本发明实施例不做限定。
可选的,终端设备中的摄像头的拍摄角度是可以调整的,在采集包括学习页面的第一图像之前,还可以调整摄像头角度,在检测到待拍摄的学习页面处于摄像头的拍摄范围内时,固定摄像头,并采集包括学习页面的第一图像。如果在未检测到待拍摄的学习页面处于摄像头的拍摄范围内时,则调整摄像头的拍摄角度;如果在预设时长内,仍未检测到待拍摄的学习页面处于摄像头的拍摄范围内,则向用户输出提示消息,用来提示用户未拍摄到学习页面,以建议用户调整摄像头角度或者调整学习页面位置。
上述可选的技术方案可以根据摄像头拍摄的画面输出提醒,如果没有采集到学习页面,则提醒用户调整位置,这样可以避免拍摄到模糊或者不完整的图像,影响识别效果。
可选的,如果摄像头采集到的画面中,存在部分学习页面,即学习页面并没有全部被摄像头拍摄到,仅拍摄到了部分学习页面。此时,终端设备可以根据采集到的学习页面的部分内容相较于整个画面的位置以及摄像头的拍摄范围,确定出学习页面需要移动的方向以及需要移动的目标距离,并输出精确的提示信息(该提示信息中可以包括,需要移动的方向以及需要移动的目标距离),来提示用户对学习页面的位置进行相应的移动,这样用户可以根据该提示信息通过一次的准确移动就可以使学习页面进入到摄像头的采集范围内。
示例性的,如果终端设备只采集到了学习页面的左半页,那么可以确定用户需要将学习页面向左边移动,并根据学习页面的左半页相较于整个画面的位置和摄像头的拍摄范围,确定出需要将学习页面移动10厘米,那么就可以向用户输出提示信息,用来提示用户将学习页面向左边移动10厘米,保证可以准确清晰的采集到学习页面。
该方案根据采集到的学习页面,确定出精确的移动方向和目标距离,并引导用户通过一次准确移动就可以使得摄像头采集到清晰的学习页面,避免了用户进行多次调整位置之后仍然无法采集到清晰的学习页面的情况,可以节省用户的操作时间以及终端设备的功耗。
102、对第一图像进行识别,得到第一内容。
终端设备通过光学字符识别(Optical Character Recognition,OCR)技术,对第一图像中的所有内容,或者部分内容进行识别,并将第一图像中识别到的内容确定为第一内容。
其中,OCR技术是通过图像处理和模式识别技术对光学的字符进行识别,是自动识别技术研究和应用领域中的一个重要方面。它是一种能够将文字自动识别录入到电脑中的软件技术,是与扫描仪配套的主要软件,属于非键盘输入范畴,需要图像输入设备主要是扫描仪相配合。
一般的,OCR识别主要需要以下几步:第一步,影像输入。需要经过OCR处理的目标物品需经过光学仪器,如影像扫描仪、传真机或任何摄影器材,将影像转入计算机。在OCR系统中,影像前处理是很重要的一个模块,是从得到一个不是黑就是白的二值化影像,或灰阶、彩色的影像,到独立出一个个的文字影像的过程,其包括了影像正规化、去除噪声、影像矫正等的影像处理,及图文分析、文字行与字分离的文件前处理。第二部,对比识别。根据不同的特征特性,选用不同的数学距离函数,较有名的比对方法有,欧式空间的比对方法、松弛比对法(Relaxation)、动态程序比对法(Dynamic Programming,DP),以及类神经网络的数据库建立及比对等著名的方法。由于OCR的识别率并无法达到百分之百,或想加强比对的正确性及信心值,字词后处理也成为OCR系统中必要的一个模块。字词后处理就是利用比对后的识别文字与其可能的相似候选字群中,根据前后的识别文字找出最合乎逻辑的词,做更正的功能。第三部,人工校正。OCR技术,除了有一个稳定的影像处理及识别核心,以降低错误率外,人工校正的操作流程及其功能,亦影响OCR的处理效率,因此,文字影像与识别文字的对照,及其屏幕信息摆放的位置、还有每一识别文字的候选字功能、拒认字的功能、及字词后处理后特意标示出可能有问题的字词,这都是识别后需要校正的部分。第四步,结果输出。将上述步骤中得到的内容经过校正之后输出给用户。
目前,OCR技术已经是非常广泛应用于内容识别领域的一项技术。
作为一种可选的实现方式,终端设备还可以对第一图像中的部分内容进行识别,得到第二内容。在预存的电子页面库中搜索与第二内容相匹配的电子页面,将该电子页面中的内容确定为第一内容,其中,第一内容包括第二内容。
在该实现方式中,终端设备可以将书本内容以电子书的形式存储在服务器(可以为云端服务器)中,实际存储了电子书中的电子页面,以形成电子页面库,这样在得到了第二内容之后,可以直接在电子页面库中进行搜索,找到与第二内容相匹配的电子页面,此时将该电子页面中的内容确定为第一内容,并执行下述103~105。
示例性的,终端设备在对采集到的图像进行识别的时候,识别到了一项公式“V=1/3πr2h(三棱锥体积等于底面积乘以高除以三,底面积等于π乘以半径的平方)”,可以将这项公式确定为第二内容。此时在预存的电子页面库中对该三棱锥体积公式进行搜索,搜索到了一页讲解三棱锥体积公式的电子页面,那么就可以把这个电子页面中的所有内容确定为第一内容。
该技术方案可以不需要对整张图像中的所有内容进行识别,仅需要识别其中的部分内容即可,这样可以节省终端设备的功耗。
可选的,终端设备在预存的电子页面库中搜索与第二内容相匹配的电子页面的过程中,如果得到了不止一页匹配的电子页面,并且多个电子页面来自不同的书本中,则根据第一图像中除第二内容以外的其他的内容再次进行搜索,并将搜索到的电子页面中的内容确定为第一内容。
示例性的,终端设备在对采集到的图像进行识别的时候,识别到了一项公式“V=1/3πr2h(三棱锥体积等于底面积乘以高除以三,底面积等于π乘以半径的平方)”,可以将这项公式确定为第二内容。此时在预存的电子页面库中对该三棱锥体积公式进行搜索,搜索到了三页讲解三棱锥体积公式的电子页面,而这三页分别来自初一数学上册、初二数学下册以及高一数学下册中。那么此时终端设备可以对第一图像中的另一个公式“V=1/3abh(四棱锥体积等于底面积乘以高除以三,底面积等于长乘以宽)”进行搜索。如果得到了一页匹配的电子页面,则将该电子页面中的所有内容确定为第一内容。
该技术方案可以在同样的内容出现在多个书本中造成识别出现偏差的情况下,再对另一部分内容进行搜索,得到预存的电子页面,这样可以增强识别准确度。
进一步的,终端设备可以对第一图像中除第二内容以外的其他的内容再次进行搜索,如果仍然得到了不止一页匹配的电子页面,并且多个电子页面来自不同的书本中,则根据预存的用户信息进行匹配度排序,将匹配度最高的电子页面中的内容确定为第一内容。用户信息可以是用户的年龄、年级以及终端设备的历史识别记录等。
示例性的,终端设备可以对第一图像中的另一个公式“V=1/3abh(四棱锥体积等于底面积乘以高除以三,底面积等于长乘以宽)”进行搜索。如果仍然得到了三页讲解四棱锥体积公式的电子页面,而这三页分别来自初一数学上册、初二数学下册以及高一数学下册中。此时终端设备可以根据预存的用户当前为初一年级,对搜索到的三页电子页面进行匹配度排序,那么初一数学上册肯定是匹配度最高的,所以此时可以将来自初一数学上册的电子页面中的所有内容确定为第一内容。
该技术方案可以在同样的内容出现在多个书本中造成识别出现偏差的情况下,对多个电子页面进行匹配度排序,这样可以得到更加准确的和当前学习页面最匹配的电子页面,避免需要多次识别浪费用户时间。
可选的,终端设备还可以响应用户的第一指令,通过摄像头采集学习页面中的有关学习页面属性的图像,比如页眉页脚中包括的书本版本信息、学习页面页码等。并对该图像进行识别,可以得到该学习页面所在的书本、书本的版本,以及书本所对应的年级信息中的一种或多种等。
一般书本的页眉和/或页脚部分会印有书本的版本或者年级上下册等信息,在角落则会有页码信息,该技术方案可以通过采集页眉页脚部分的图像,识别书本属性信息,并根据页码调取匹配的电子页面,增强识别准确度。
需要说明的是,本发明实施例中,可以在上述对学习页面中内容的识别的基础上,增加对学习页面中页眉和/或页脚的识别,以从多个维度进行学习页面的识别,准确的找到对应的电子页面,以提高识别准确度。
103、调取与第一内容关联存储的第一标签信息。
在终端设备中,可以提前为某一书本存储所有标签信息,并将这些标签信息按照不同的类别进行分类,并将每一电子页面的标签信息与每一电子页面对应存储在云端服务器中。
其中,标签信息至少包括以下信息中的一种:
(1)内容解释信息,其中可以包括语义讲解、口语发音等基础讲解方面信息。
(2)学习目标信息,其中可以包括该部分内容需要熟读、该部分内容需要背诵、该部分内容需要理解并熟练运用等教学要求方面信息。
(3)相关信息,其中可以包括该部分内容关联的知识点、该部分内容有关的练习题等关联发散方面信息。
(4)重要等级信息,其中可以包括该部分内容非常重要、该部分内容一般重要、该部分内容不太重要、该部分内容不重要等重要程度方面信息。
本发明实施例中,得到了第一内容之后,终端设备可以在云端中根据识别到的第一内容调取和第一内容关联存储的第一标签信息。
示例性的,终端设备识别到了第一内容包括有“What is your name?”、“Why areyou happy?”、“Where is your book?”。那么此时可以从云端中调取有关这三句话的第一标签信息,包括这三句话的中文解释“你叫什么名字?”“你为什么快乐?”“你的书本在哪里?”、句型语法“What is xx?”“Why are you xx?”“Where is xx?”、发音跟读、需要熟练掌握、非常重要以及相关语句练习题等。
104、根据第一标签信息对第一内容进行标记,得到目标内容。
本发明实施例中,终端设备根据第一标签信息对第一内容进行标记,将第一标签信息与第一内容一一对应,得到目标内容,目标内容包括第一内容和与第一内容关联的第一标签信息。
可选的,终端设备还可以将所有和第一内容关联的标签信息标记在第一内容上,得到目标内容,并将目标内容存储至云端中。终端设备在调取与第一内容关联存储的第一标签信息之后,可以直接将标记了第一标签信息的目标内容进行输出显示。
该技术方案可以提前根据第一标签信息对第一内容进行标记,并将标记好的内容进行存储,这样可以避免识别出多个匹配的电子页面需要重复识别的情况。
105、显示目标内容。
本发明实施例提供一种内容标记方法,响应用户发出的指令,通过摄像头采集图像,并对图像进行识别,可以得到该图像中包括的内容,再调取出终端设备预存的该内容的标签信息进行标记,得到目标内容并输出。该技术方案可以帮助用户在学习过程中实时显示当前内容的多种标签信息进行辅助学习,可以使得用户非常直观的了解到当前内容的教学要求、关联知识等相关内容,提高学习效率。
作为一种可选的实现方式,对第一图像进行识别,得到第一内容,包括:终端设备可以获取与摄像头的拍摄方向垂直的平面与学习页面之间的当前夹角,在当前夹角大于预设夹角的情况下,则通过透视变换对第一图像进行校正,得到目标图像,对目标图像进行识别,得到第一内容。
需要说明的是,用户利用终端设备的摄像头对目标内容进行拍摄时,很难保证一个标准的俯视角,一般都会有一定的偏差角度,这样会导致采集到的图像不是一个标准的矩形,会发生一定的形变,比如变成一个梯形,并且文字也会发生形变,这样会影响识别准确度。所以,终端设备需要利用透视变换对采集到的图像进行一定的调整,使得调整后的图像是标准的。
其中,透视变换是指利用透视中心、像点、目标点三点共线的条件,按照透视旋转定律使透视面绕透视轴旋转某一角度,破坏原有的投影光线束,仍能保持透视面上投影几何图形不变的变换。透视变换的本质是将图像投影到一个新的视平面,其通用的变换公式是下述公式:
其中,(u,v)是校正前的原始图像像素坐标,是校正后的图像像素坐标。变换矩阵可以拆分为四个部分,包括:表示图像线性变换,用于产生图像透视变换,T3=[a31 a32]表示图像平移。此时,透视变换的表达式可以写为下述公式:
此时可以将已知的四个校正前的原始图像像素坐标带入表达式中,就可以得到变换后的图像像素坐标。所以,已知变换对应的几个点就可以求取变换公式。反之,特定的变换公式也能新的变换后的图片。
通过上述透视变换对第一图像进行校正,得到校正后的目标图像,并对校正后的目标图像进行识别,得到第一内容。
该技术方案可以通过透视变换对第一图像进行校正操作,将原本倾斜的图像转换成正面的图像,这样可以增加图像识别的成功率,避免多次识别增加终端设备的功耗。
实施例二
如图2a所示,本发明实施例提供的内容标记方法还可以包括下述步骤:
201、响应用户的第一指令,获取包括学习页面的第一图像。
202、对第一图像进行识别,得到第一内容。
作为一种可选的实现方式,终端设备响应用户的第一指令,还可以通过摄像头对用户手指的活动轨迹进行录像,若终端设备检测到用户在预设时长内手指一直停留在学习页面中的某一区域,则通过摄像头采集第二图像,其中,第二图像包括学习页面和用户的手指。终端设备对用户手指所在的区域进行截取,将截取后的图像确定为第一图像,然后终端设备通过光学字符识别技术对第一图像进行识别,得到第一内容以实现上述201和202。
示例性的,预设时长可以为终端设备设置好的时长,也可以为用户自行设定的,假设预设时长为8s。如果终端设备检测到用户在8s内手指一直指着学习页面中的三棱锥体积公式“V=1/3πr2h(三棱锥体积等于底面积乘以高除以三,底面积等于π乘以半径的平方)”,那么终端设备可以通过摄像头采集第二图像,该第二图像中包括有学习页面和用户的手指。然后对该第二图像进行截取,仅保留用户手指所指示的三棱锥体积公式的图像,并将该图像确定为第一图像。并对该第一图像进行识别,得到第一内容。
用户如果长时间手指停留在某一区域,则很有可能是在学习过程中遇到了困难。该实现方式可以在用户的触控操作的时长大于预设时长时,对用户手指部分的图像识别,帮助用户解决学习过程中遇到的问题。
203、调取与第一内容关联存储的第一标签信息。
204、根据第一标签信息对第一内容进行标记,得到目标内容。
本发明实施例中,针对步骤201~204的描述,请参照实施例一中针对步骤101~104的详细描述,本发明实施例不再赘述。
205、在目标页面中显示目标内容。
本发明实施例中,终端设备可以在设定好的目标页面中显示目标内容。
需要说明的是,目标页面中的第一区域可以显示有第一控件,改第一控件可以有两种显示方式。第一种显示方式如图2b所示,该第一区域208a可以是目标页面中显示目标内容的区域,第一控件208b悬浮于目标内容上方显示。第二种显示方式如图2c所示,该第一区域209a也可以是目标页面中显示目标内容以外的区域,第一控件209b可以在目标内容以外显示。
206、接收用户对第一控件的触控输入。
207、响应于触控输入,从显示目标内容,切换为显示第一内容。
本发明实施例中,终端设备如果接收到用户对第一控件的触控输入,那么将显示的目标内容切换为第一内容。
作为一种可选的实现方式,终端设备在接收用户对第一控件的触控输入之后,还可以将目标内容中的第一标签信息隐藏,只显示第一内容。当终端设备再次接收用户对第一控件的触控输入之后,则取消对目标内容中的第一标签信息的隐藏操作,显示第一内容和第一标签信息,即目标内容。
该实现方式可以响应用户的触控输入,对第一标签信息进行隐藏和显示操作,这样用户在不需要标签信息的时候,点击该第一控件,并在需要标签信息的时候,再次点击该第一控件即可,操作便利。
本发明实施例提供一种内容标记方法,终端设备可以在显示页面中设置一个控件,在对当前内容标记了标签之后,如果用户点击了控件,那么将显示没有标签的当前内容,即将标签信息进行隐藏。该技术方案可以帮助用户在学习过程中非常直观的了解到该内容的教学要求、关联知识等相关内容,并且在不需要标签信息的时候进行隐藏,可以实现用户的不同需求。
作为一种可选的实现方式,如果学习页面为英语内容,终端设备在显示了目标内容之后,还可以向用户输出口语训练语句,提醒用户对第一内容中的英语语句和英语词汇进行口语练习,终端设备接收到用户对口语训练语句的跟读语音信息之后,可以从发音、语调以及流利度方面分析该语音信息,以得到语音数据,并将该语音数据与口语训练语句的标准语音数据进行对比,得到该语音数据与口语训练语句的标准语音数据的相似度。终端设备根据不同的相似度向用户输出不同的口语训练建议。
示例性的,如果终端设备检测到该学习页面中是英语内容,那么在显示了目标内容之后,还可以结合该学习页面的内容向用户输出相关的口语训练语句,“The roadoflife is like a large river,because of thepower of the currents,rivercourses appear unexpectedly where there is noflowing water”。当用户对着终端设备念出了这句话之后,终端设备可以采集用户的语音信息,并进行分析,得到三项语音数据,并将该三项语音数据和终端设备中预存的该口语训练语句的标准语音数据进行比较,分别得到90%、86%和70%的相似度。此时终端设备可以向用户输出口语训练建议:“建议增强流利度训练”。
该技术方案可以对用户进行英语口语的训练,并和标准语音进行对比,根据对比结果针对性的向用户输出具体的训练建议,这样可以多方面提高用户的学习效率以及学习兴趣。
进一步的,终端设备可以将用户每次口语训练得到的相似度数据存储起来,并和历史口语训练的数据进行分析,如果检测到用户对于某部分内容的每次口语训练的相似度均低于预设相似度,则增强后续口语训练中该部分内容的出现频次。
该技术方案可以检测到用户可能对某部分内容不太擅长,并在之后的口语训练中多次练习,以使得用户熟练掌握该部分内容。
进一步的,终端设备还可以将口语训练的相似度均低于预设相似度的该部分内容发送至用户关联的可穿戴设备中,并设置相关学习时间提醒,以提醒用户对该部分内容进行学习。
该技术方案可以将用户不太擅长的内容发送至可穿戴设备中,并定时提醒用户进行复习,这样有益于提高用户学习成绩。
进一步的,终端设备在获取了用户口语训练得到的相似度数据之后,还可以应用于用户所在班级的学习社区中,可以获取全班所有同学的口语训练数据并进行排名。
该技术方案可以让用户非常直观的了解到自己以及其他同学对于该部分内容的口语掌握程度,有益于提高用户学习成绩,提高用户的学习效率以及学习兴趣。
实施例三
如图3所示,本发明实施例提供的内容标记方法还可以包括下述步骤:
301、响应用户的第一指令,获取包括学习页面的第一图像。
302、对第一图像进行识别,得到第一内容。
303、调取与第一内容关联存储的第一标签信息。
本发明实施例中,针对步骤301~303的描述,请参照实施例一中针对步骤101~103的详细描述,本发明实施例不再赘述。
304、获取第一内容中每一内容单元对应的重要等级信息。
本发明实施例中,在第一标签信息中至少包括重要等级信息的情况下,终端设备可以调取第一标签信息中的重要等级信息,以得到第一内容中每一内容单元对应的重要等级信息。
需要说明的是,终端设备可以对第一内容进行内容单元划分。如果在识别过程中,检测到第一内容中已经存在着内容单元划分,比如:“part one”、“part two”、“partthree”等类似的内容单元名,则按照该内容单元名对第一内容进行内容单元划分。如果在识别过程中,没有检测到第一内容中存在着内容单元划分,那么则按照段落对第一内容进行内容单元划分。
305、根据每一内容单元对应的重要等级信息对第一内容中每一内容单元进行排序,以得到第三内容。
本发明实施例中,终端设备根据每一内容单元内容的重要等级信息,对第一内容中每一内容单元进行排序,按照非常重要到不重要的顺序。
示例性的,终端设备识别到第一内容存在着三个内容单元,在第一内容中的顺序为“part one”→“part two”→“part three”。其中“part one”的重要等级信息为不重要,“part two”的重要等级信息为非常重要,“part three”的重要等级信息为一般重要。那么此时终端设备可以对这三个内容单元的内容按照非常重要到不重要的顺序进行排序,以得到调整顺序后的第三内容,该第三内容中三个内容单元的顺序为“part two”→“partthree”→“part one”。
306、对第三内容中的每一内容单元,标记重要等级信息,以得到目标内容。
需要说明的是,因为第三内容和第一内容只是内容顺序不同,所以仍然可以根据与第一内容关联存储的第一标签信息对第三内容进行标记。
本发明实施例中,终端设备根据第一标签信息对第三内容进行标记,将第一标签信息和每一内容单元一一对应,得到目标内容,目标内容包括第三内容和与第一内容关联的第一标签信息。
307、显示目标内容。
本发明实施例提供一种内容标记方法,终端设备响应用户发出的指令,通过摄像头采集图像,并对图像进行识别,可以得到其中包括的内容,在调取出终端设备预存的该内容的标签信息之后,对每部分内容的重要程度进行排序,按照非常重要到不重要的顺序进行显示。该技术方案可以非常直观的帮助用户了解到当前这些内容中,哪些是非常重要的,哪些是不重要的,线这样可以提高用户学习效率。
作为一种可选的实现方式,终端设备在调取与第一内容关联存储的第一标签信息之后,在该第一标签信息中至少包括重要等级信息的情况下,终端设备可以根据该重要等级信息对第一内容进行内容模块的划分,将第一内容划分为多个内容模块,其中每个内容模块对应一个重要等级信息。然后根据不同的重要等级信息对每个内容模块进行排序,重新显示。
示例性的,终端设备调取与第一内容相关联的第一标签信息中包含的重要等级信息,根据不同的重要等级将第一内容进行划分,可以得到重要等级不同的三项公式:三棱锥体积公式“V=1/3πr2h(三棱锥体积等于底面积乘以高除以三,底面积等于π乘以半径的平方)”的重要等级信息是一般重要,四棱锥体积公式“V=1/3abh(四棱锥体积等于底面积乘以高除以三,底面积等于长乘以宽)”的重要等级信息是不重要,三棱柱体积公式“V=abh(三棱柱体积等于底面积乘以高,底面积等于长乘以宽)”的重要等级信息是非常重要。此时根据不同的重要等级信息将这三项公式进行排序,重新显示。
该实现方式可以根据不同重要等级将第一内容划分为多个内容模块,并根据每个内容模块的重要等级进行排序,这样用户学习起来非常方便,直接可以按照排列好的顺序进行学习,可以提高学习效率。
作为一种可选的实现方式,终端设备可以根据用户所处的环境信息选择不同的输入方式。如果用户正坐在车上,终端设备通过九轴传感器中的陀螺仪检测当前运动状态,如果检测到当前运动状态不平稳处于颠簸状态,那么此时会提醒用户通过语音输入当前学习页面中的内容,终端设备通过语音识别技术对用户输入的语音内容进行识别,以得到第一内容。
示例性的,如果用户正坐在私家车上在去上学的路上,会有点颠簸,那么终端设备会提醒用户将当前学习页面中的内容念出来,当终端设备检测到用户的语音输入时,会通过语音识别技术识别用户输入的语音内容,并转换成文字内容,即第一内容。
用户有时需要在公共环境中学习,这时无法保证终端设备处于静止平稳状态,那么摄像头可能无法采集到一个清晰的图像,所以该实现方式中,用户可以在颠簸的环境中采用语音输入,这样不会受外界环境信息的影响,增强识别准确度。
作为一种可选的实现方式,如果用户正坐在公交车上,终端设备通过九轴传感器中的陀螺仪检测当前终端设备的运动状态,如果检测到当前终端设备的运动状态不平稳处于颠簸状态,那么此时会提醒用户通过语音输入当前学习页面中的内容,终端设备通过语音识别技术对用户输入的语音内容进行识别。在用户输入语音信息之前,还可以通过终端设备的麦克风采集当前环境声音,并检测该当前环境声音的分贝值是否大于预设分贝阈值,如果该环境声音的分贝值大于预设分贝阈值,那么终端设备会输出提示信息,提示用户外界声音较大,可能会影响语音信息的采集,以便于用户根据提示信息提高音量或者缩短与话筒的距离。
示例性的,预设分贝阈值是终端设备根据话筒可以识别到的声音强度设定的,假如为40分贝。如果用户正坐在公交车上,会有点颠簸并且有些吵,那么终端设备会提醒用户将当前学习页面中的内容念出来,同时终端设备检测到当前的环境声音的分贝值为50分贝,已经大于预设分贝阈值,那么终端设备会输出提示消息,提示用户外界声音较大,此时用户可以在输入语音消息的时候离话筒更近一点。
当用户处于较嘈杂的环境中时,终端设备采集到的语音可能会包含许多噪音,这样会影响识别的效果。该实现方式可以检测外界声音的分贝值,如果大于设定阈值,就提醒用户提高音量或者缩短与话筒的距离,以便能采集到清晰的语音信息,增强识别准确度。
实施例四
如图4所示,本发明实施例提供一种终端设备,该终端设备包括:
获取模块401,用于响应用户的第一指令,获取包括学习页面的第一图像。
处理模块402,用于对第一图像进行识别,得到第一内容,第一内容为学习页面中的内容;以及用于根据第一标签信息对第一内容进行标记,得到目标内容,并显示目标内容。
调取模块403,用于调取与第一内容关联存储的第一标签信息。
可选的,处理模块402,还用于在目标页面中显示目标内容;以及用于响应于触控输入,从显示目标内容,切换为显示第一内容。
可选的,处理模块402,还用于通过光学字符识别技术,对第一图像进行识别,以得到第二内容;以及用于在预存的电子页面库中搜索与第二内容相匹配的电子页面,将电子页面中的内容确定为第一内容。
可选的,获取模块401,还用于获取与摄像头的拍摄方向垂直的平面与学习页面之间的当前夹角;
处理模块402,还用于在当前夹角大于预设夹角的情况下,通过透视变换对第一图像进行校正,得到目标图像;以及用于对目标图像进行识别,得到第一内容。
可选的,获取模块401,还用于获取第一内容中每一内容单元对应的重要等级信息;
处理模块402,还用于根据每一内容单元对应的重要等级信息对第一内容中每一内容单元进行排序,以得到第三内容;以及用于对第三内容中的每一内容单元,标记重要等级信息,以得到目标内容。
本发明实施例中,各模块可以实现上述方法实施例提供的内容标记方法,且能达到相同的技术效果,为避免重复,这里不再赘述。
如图5所示,本发明实施例还提供一种终端设备,该终端设备可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
其中,处理器502调用存储器501中存储的可执行程序代码,执行上述各方法实施例中终端设备执行的内容标记方法。
本发明实施例涉及的终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备设备、可穿戴设备、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本或者个人数字助理(Personal Digital Assistant,PDA)等终端设备。其中,可穿戴设备可以为智能手表、智能手环、电话手表、智能脚环、智能耳环、智能项链、智能耳机等,本发明实施例不作限定。
如图6所示,本发明实施例还提供一种终端设备,该终端设备包括但不限于:射频(radio frequency,RF)电路601、存储器602、输入单元603、显示单元604、传感器605、音频电路606、WiFi(wireless fidelity,无线通信)模块607、处理器608、电源609、以及摄像头610等部件。其中,射频电路601包括接收器6011和发送器6012。本领域技术人员可以理解,图6中示出的终端设备结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器608处理;另外,将设计上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行终端设备的各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元603可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地,输入单元603可包括触控面板6031以及其他输入设备6032。触控面板6031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6031上或在触控面板6031附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板6031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种实现触控面板6031。除了触控面板6031,输入单元603还可以包括其他输入设备6032。具体地,其他输入设备6032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元604可包括显示面板6041,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-Emitting diode,OLED)等形式来配置显示面板6041。进一步的,触控面板6031可覆盖显示面板6041,当触控面板6031检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的,随后处理器608根据触摸事件的在显示面板6041上提供相应的视觉输出。虽然在图6中,触控面板6031与显示面板6041是作为两个独立的部件来实现终端设备的输入和输入功能,但是在某些实施例中,可以将触控面板6031与显示面板6041集成而实现终端设备的输入和输出功能。
终端设备还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板6041的亮度,接近传感器可在终端设备移动到耳边时,退出显示面板6041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。本发明实施例中,该终端设备可以包括加速度传感器、深度传感器或者距离传感器等。
音频电路606、扬声器6061,传声器6062可提供用户与终端设备之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器6061,由扬声器6061转换为声音信号输出;另一方面,传声器6062将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如另一终端设备,或者将音频数据输出至存储器602以便进一步处理。
WiFi属于短距离无线传输技术,终端设备通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块607,但是可以理解的是,其并不属于终端设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行终端设备的各种功能和处理数据,从而对终端设备进行整体监控。可选的,处理器608可包括一个或多个处理单元;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
终端设备还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出,终端设备还可以包括蓝牙模块等,在此不再赘述。
本发明实施例中,处理器608,用于响应用户的第一指令,获取包括学习页面的第一图像;
对所述第一图像进行识别,得到第一内容,所述第一内容为所述学习页面中的内容;
调取与所述第一内容关联存储的第一标签信息;
根据所述第一标签信息对所述第一内容进行标记,得到目标内容,并显示所述目标内容;
其中,所述第一标签信息包括以下针对所述第一内容设置的信息:内容解释信息、学习目标信息、相关信息、重要等级信息中的至少一种。
可选的,上述处理器608还可以用于实现上述方法实施例中终端设备所实现的其他过程。
本发明实施例提供一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还提供一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
本发明实施例提供的终端设备能够实现上述方法实施例中所示的各个过程,为避免重复,此处不再赘述。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
Claims (10)
1.一种内容标记方法,其特征在于,应用于终端设备,所述终端设备上设置有摄像头,包括:
响应用户的第一指令,获取包括学习页面的第一图像;
对所述第一图像进行识别,得到第一内容,所述第一内容为所述学习页面中的内容;
调取与所述第一内容关联存储的第一标签信息;
根据所述第一标签信息对所述第一内容进行标记,得到目标内容,并显示所述目标内容;
其中,所述第一标签信息包括以下针对所述第一内容设置的信息:内容解释信息、学习目标信息、相关信息、重要等级信息中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述显示所述目标内容包括:
在目标页面中显示所述目标内容;
所述目标页面中的第一区域显示有第一控件,所述显示所述目标内容之后,还包括:
接收所述用户对所述第一控件的触控输入;
响应于所述触控输入,从显示所述目标内容,切换为显示所述第一内容。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一图像进行识别,得到第一内容,包括:
通过光学字符识别技术,对所述第一图像进行识别,以得到第二内容;
在预存的电子页面库中搜索与所述第二内容相匹配的电子页面,将所述电子页面中的内容确定为所述第一内容。
4.根据权利要求1所述的方法,其特征在于,所述对所述第一图像进行识别,得到第一内容,包括:
获取与所述摄像头的拍摄方向垂直的平面与所述学习页面之间的当前夹角;
在所述当前夹角大于预设夹角的情况下,通过透视变换对所述第一图像进行校正,得到目标图像;
对所述目标图像进行识别,得到所述第一内容。
5.根据权利要求1所述的方法,其特征在于,若所述第一标签信息至少包括所述重要等级信息,则所述根据所述第一标签信息对所述第一内容进行标记,得到目标内容,包括:
获取所述第一内容中每一内容单元对应的重要等级信息;
根据所述每一内容单元对应的重要等级信息对所述第一内容中所述每一内容单元进行排序,以得到第三内容;
对所述第三内容中的所述每一内容单元,标记所述重要等级信息,以得到所述目标内容。
6.一种终端设备,其特征在于,包括:
获取模块,用于响应用户的第一指令,获取包括学习页面的第一图像;
处理模块,用于对所述第一图像进行识别,得到第一内容,所述第一内容为所述学习页面中的内容;
调取模块,用于调取与所述第一内容关联存储的第一标签信息;
所述处理模块,还用于根据所述第一标签信息对所述第一内容进行标记,得到目标内容,并显示所述目标内容;
其中,所述第一标签信息包括以下针对所述第一内容设置的信息:内容解释信息、学习目标信息、相关信息,重要等级信息中的至少一种。
7.根据权利要求6所述的终端设备,其特征在于,
所述处理模块,还用于在目标页面中显示所述目标内容;
所述目标页面中的第一区域显示有第一控件,所述获取模块,还用于接收所述用户对所述第一控件的触控输入;
所述处理模块,还用于响应于所述触控输入,从显示所述目标内容,切换为显示所述第一内容。
8.根据权利要求6所述的终端设备,其特征在于,
所述处理模块,还用于通过光学字符识别技术,对所述第一图像进行识别,以得到第二内容;
所述处理模块,还用于在预存的电子页面库中搜索与所述第二内容相匹配的电子页面,将所述电子页面中的内容确定为所述第一内容。
9.一种计算机可读存储介质,其特征在于,包括:所述计算机可读存储介质上存储计算机指令,所述计算机指令被处理器执行时实现如权利要求1至5任一项所述的内容标记方法。
10.一种计算机程序产品,其特征在于,包括:所述计算机程序产品包括计算机指令,当所述计算机程序产品在处理器上运行时,使得所述处理器执行所述计算机指令,以实现如权利要求1至5任一项所述的内容标记方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011099847.1A CN112364700A (zh) | 2020-10-14 | 2020-10-14 | 一种内容标记方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011099847.1A CN112364700A (zh) | 2020-10-14 | 2020-10-14 | 一种内容标记方法及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112364700A true CN112364700A (zh) | 2021-02-12 |
Family
ID=74506765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011099847.1A Pending CN112364700A (zh) | 2020-10-14 | 2020-10-14 | 一种内容标记方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112364700A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116150221A (zh) * | 2022-10-09 | 2023-05-23 | 浙江博观瑞思科技有限公司 | 服务于企业电商运营管理的信息交互方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140131087A (ko) * | 2013-05-03 | 2014-11-12 | 에스케이플래닛 주식회사 | 학습 컨텐츠 제공 방법, 이를 위한 시스템 및 장치 |
CN109635683A (zh) * | 2018-11-27 | 2019-04-16 | 维沃移动通信有限公司 | 一种图像中的内容提取方法及终端设备 |
CN111723855A (zh) * | 2020-06-09 | 2020-09-29 | 广东小天才科技有限公司 | 一种学习知识点的显示方法、终端设备及存储介质 |
-
2020
- 2020-10-14 CN CN202011099847.1A patent/CN112364700A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140131087A (ko) * | 2013-05-03 | 2014-11-12 | 에스케이플래닛 주식회사 | 학습 컨텐츠 제공 방법, 이를 위한 시스템 및 장치 |
CN109635683A (zh) * | 2018-11-27 | 2019-04-16 | 维沃移动通信有限公司 | 一种图像中的内容提取方法及终端设备 |
CN111723855A (zh) * | 2020-06-09 | 2020-09-29 | 广东小天才科技有限公司 | 一种学习知识点的显示方法、终端设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116150221A (zh) * | 2022-10-09 | 2023-05-23 | 浙江博观瑞思科技有限公司 | 服务于企业电商运营管理的信息交互方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943860B (zh) | 模型的训练方法、文本意图的识别方法及装置 | |
US8793118B2 (en) | Adaptive multimodal communication assist system | |
CN108763552B (zh) | 一种基于家教机的学习方法及家教机 | |
CN109725732B (zh) | 一种知识点的查询方法及家教设备 | |
CN110795538B (zh) | 一种基于人工智能的文本评分方法和相关设备 | |
CN108803890B (zh) | 一种输入方法、输入装置和用于输入的装置 | |
US20180218728A1 (en) | Domain-Specific Speech Recognizers in a Digital Medium Environment | |
CN111368525A (zh) | 信息搜索方法、装置、设备及存储介质 | |
CN109933650B (zh) | 一种作业中图片题目的理解方法及系统 | |
CN108877780B (zh) | 一种语音搜题方法及家教设备 | |
CN108733718B (zh) | 搜索结果的显示方法、装置以及用于搜索结果的显示装置 | |
CN111899576A (zh) | 发音测试应用的控制方法、装置、存储介质和电子设备 | |
CN113220848A (zh) | 用于人机交互的自动问答方法、装置和智能设备 | |
CN112562723B (zh) | 发音准确度确定方法、装置、存储介质和电子设备 | |
CN113505786A (zh) | 试题拍照评判方法、装置及电子设备 | |
CN101044494A (zh) | 用于可视文本解释的电子装置和方法 | |
CN112232066A (zh) | 一种教学纲要生成方法、装置、存储介质及电子设备 | |
KR102389153B1 (ko) | 음성 반응형 전자책 제공 방법 및 디바이스 | |
CN112364700A (zh) | 一种内容标记方法及终端设备 | |
CN111027533B (zh) | 一种点读坐标的变换方法、系统、终端设备及存储介质 | |
KR20080100857A (ko) | 라운드방식을 이용한 단어반복학습 서비스 시스템 | |
CN111145734A (zh) | 一种语音识别方法及电子设备 | |
US11361677B1 (en) | System for articulation training for hearing impaired persons | |
CN108920539A (zh) | 一种搜索问题答案的方法及家教机 | |
CN113407673A (zh) | 基于语义的题目作答评判方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |