CN112036315A - 字符识别方法、装置、电子设备及存储介质 - Google Patents
字符识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112036315A CN112036315A CN202010900199.9A CN202010900199A CN112036315A CN 112036315 A CN112036315 A CN 112036315A CN 202010900199 A CN202010900199 A CN 202010900199A CN 112036315 A CN112036315 A CN 112036315A
- Authority
- CN
- China
- Prior art keywords
- model
- fingertip
- type
- frame
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 61
- 230000015654 memory Effects 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了字符识别方法、装置、系统、电子设备及存储介质，涉及人工智能、图像识别、文本处理、文字识别、计算机视觉、深度学习等领域。具体实现方案为：在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
Description
技术领域
本申请涉及计算机技术领域。本申请尤其涉及人工智能、图像识别、文本处理、文字识别、计算机视觉、深度学习等领域。
背景技术
在当今人工智能、物联网和人机交互、虚拟现实、增强现实等应用场景下，手机、电视、户外电子屏、可穿戴设备等都常常需要提供汉字输入功能。传统汉字输入方式通常需要通过用户与设备直接接触，这类输入方式大多需要用户与设备、遥控等直接接触，无法满足使用无接触输入的场景的要求，因此，需要提供一种用户在一定距离内无接触的方式进行手写字符输入的方法。然而在这种方法中，如何使得字符的识别更加准确以及效率更高就成为需要解决的问题。
发明内容
本公开提供了一种字符识别方法、装置、电子设备及存储介质。
根据本公开的第一方面，提供了一种字符识别方法，包括：
在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；
基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；
基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
根据本公开的第二方面，提供了一种字符识别装置，包括：
第一识别模块，用于在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；
第二识别模块，用于基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行前述方法。
根据本申请的技术，可以通过模型对当前视频的帧图像进行实时的分析以及处理，将检测识别和轨迹点检测等功能合并到第一模型中，只需要输入当前帧图像即可完成，避免了多级网络或者多模块的重复计算和处理，在保证准确率的同时能够加速运行时间；另外，第二模型不需要进行特征提取或重采样等处理，只需要输入轨迹数据，即可完成字符识别，从而有效提高对通过图像采集的方式对空中手写的场景中的手写字符的识别准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的字符识别方法流程示意图一；
图2是根据本申请实施例的字符识别方法流程中第一模型的处理示意图；
图3是根据本申请实施例的字符识别方法流程中第二模型的处理示意图；
图4是根据本申请实施例的字符识别方法流程示意图二；
图5是根据本申请实施例的字符识别装置组成结构示意图；
图6是用来实现本申请实施例的字符识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供了一种字符识别方法，如图1所示，包括：
S101：在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；
S102：基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；
S103：基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
本实施例可以应用于具备图像采集功能以及展示功能的电子设备中，比如，可以为手机、笔记本、PC等等。
S101之前，还可以包括实时采集帧图像。
具体可以为：通过电子设备中的采集单元实时进行包含手部的图像的采集。其中，所述采集单元可以为摄像头。
S101中，识别手势类型的方式，包括：
基于第一模型从实时采集的帧图像中识别手部的区域位置、手势类型、指尖的位置信息中至少之一。
比如，如图2所示，将实时采集的帧图像输入第一模型，得到手部的区域位置、手势类型、指尖的位置信息。
其中，所述手势类型可以包括：第一类手势、第二类手势、第三类手势。
其中，所述第一类手势可以为开始识别字符的手势，具体的手势的样式可以根据实际情况进行预设。
所述第二类手势可以为结束字符识别的手势，具体的手势的样式也可以根据实际情况进行设置。
所述第三类手势可以为选定字符的手势，或者可以为确定字符的手势，具体的手势样式同样根据实际情况进行预设。
关于第一类手势、第二类手势以及第三类手势的具体样式，本实施例均不作限定。
关于不同手势类型的设置方式，可以为：可以由用户预先进入手势设置的操作界面，然后输入对应每一手势类型的具体的手势动作，然后由电子设备将用户输入的不同手势类型的具体手势样式进行保存。一旦通过第一模型检测到对应的手势样式即可确定检测到了某一类型的手势。
又或者，可以是电子设备预先设置好的默认的手势。
也就是说，通过在电子设备中预设的第一模型，对当前采集到的帧图像进行分析，从帧图像中分析得到其中包含的手部的区域位置、手势类型以及指尖的位置信息。需要理解的是，第一模型可以得到上述手部的区域位置、手势类型以及指尖的位置信息的全部内容；但是后续需要使用的可以为其中之一。
电子设备通过第一模型实时分析包含手部的帧图像，若从任意一帧图像中识别得到手势类型为第一类手势，则可以将该帧图像作为所述第一帧图像。
这里，所述第一类手势可以为预设的开始手势。开始手势可以根据实际情况进行设置，本实施例中不对其进行限定。
在S101中，若从第一帧图像中识别到第一类手势，那么就开始从第一帧图像之后的一帧或多帧图像中实时获取指尖的当前位置信息。
前述关于第一模型的说明中已经指出，将帧图像输入到第一模型可以得到手部的区域位置、手势类型、指尖的位置信息；在从第一帧图像中识别到第一类手势之后；基于第一模型从第一帧图像之后的至少一帧图像中识别得到区域位置、手势类型、指尖的位置信息，但是，仅从第一模型得到的结果中，提取其中的指尖的位置信息作为所述指尖的当前位置信息。
还需要指出的是，指尖的位置信息可以为指尖在当前帧图像中的相对位置信息。具体可以表示为x、y形式的二维坐标值的二维坐标的形式。比如，可以预先设置坐标系，将帧图像的左下角作为原点，然后根据指尖的图像的像素位置来确定该位置信息。手部的区域位置也可以为手部在当前帧图像中的相对区域位置信息，比如，可以识别得到一个手部区域的识别框，该手部的识别框的四个顶点在当前帧图像中的相对位置作为手部的区域位置进行保存，其他方式也可以适用于本申请，但是这里不再穷举。
S102，基于指尖的当前位置信息更新所述指尖的当前轨迹数据。也就是，当实时获取到当前帧图像的指尖的当前位置信息的时候，就将当前位置信息加入到指尖的当前轨迹数据。
关于指尖的当前轨迹数据可以理解为，包含有从第一帧图像之后的一帧或多帧图像采集到的指尖的位置信息的集合。
举例来说，第一帧图像之后实时检测帧图像1，然后根据帧图像1中的指尖的位置信息，比如，将所述指尖在帧图像1中的相对位置作为所述指尖的位置信息，可以将其表述为二维坐标值的形式；将帧图像1的指尖的二维坐标值添加到轨迹数据中，得到更新后的指尖的当前轨迹数据；再实时采集到的帧图像2中的指尖的位置信息，即指尖的二维坐标值；将帧图像2的指尖的二维坐标值添加到轨迹数据中，得到更新后的指尖的当前轨迹数据，以此类推，每次采集到新的帧图像，都根据帧图像中的指尖的位置信息更新轨迹数据得到当前轨迹数据。
其中，将该二维坐标值按照顺序添加到当前轨迹数据；相应的，所述指尖的当前轨迹数据具体可以为一个包含至少一个指尖的位置信息的集合，并且该集合中的至少一个指尖的位置信息的先后顺序与采集到的帧图像的先后顺序是相同的。
在执行S102的过程中，还会实时的在展示界面展示当前轨迹数据。也就是在电子设备的展示界面中将第一类手势之后的直至当前帧图像为止的全部帧图像中包含的指尖的位置信息均展示出来，形成当前轨迹数据的展示图像。
S103，可以包括以下两种实现方式：
方式1、
若从实时采集的第二帧图像中识别到第二类手势，则基于第二模型对所述指尖的所述当前轨迹数据进行识别，得到目标字符。
其中，识别到第二类手势的方式，在前述实施例中已经描述，可以为基于第一模型从当前实时采集的帧图像中检测是否包含第二类手势，若包含，可以将该帧图像作为第二帧图像。其中，所述第二类手势在前面已经说明，这里不再赘述。
若识别到第二类手势，那么可以认为结束轨迹数据的获取，此时，可以将当前存储的所述指尖的当前轨迹数据作为输入信息输入至所述第二模型，得到第二模型输出的目标字符。比如，可以如图3所示，将当前轨迹数据输入至第二模型，得到第二网络输出的目标字符。
方式2、
基于第二模型对所述指尖的所述当前轨迹数据进行预测，得到当前轨迹数据对应的候选字符；
在展示界面中展示所述候选字符；
若从实时采集的第三帧图像中识别到第三类手势，则将从所述第三帧图像中识别到的手部的区域位置所对应的候选字符作为所述目标字符。
与方式1不同之处在于，本方式中，可以通过第二模型实时的对当前轨迹数据进行处理，基于当前轨迹数据进行预测，得到至少一个与当前轨迹数据匹配的候选字符。并且在得到至少一个候选字符的时候，在展示界面展示所述至少一个候选字符。
若通过第一模型在当前采集的第三帧图像中识别到第三类手势以及手部的区域位置，则基于所述手部的区域位置确定选中的候选字符，将该选中的候选字符作为目标字符。
针对以上实施例，还需要指出的是，目标字符可以为中文汉字，当然，还可以为英文或其他外文，还可以为标点等符号，以上场景均在本实施例的保护范围内，只是本实施例不进行穷举。
结合图4对本实施例提供的方案进行示例性说明：
S31：采集视频的帧图像；具体的：用户进行手写字单字输入，电子设备通过摄像头实时采集到的彩色帧图像。这里帧图像可以为包含手部图像的帧图像。比如，电子设备可以在用户开启目标功能的时候，开启摄像头，执行S31；或者，可以是电子设备默认开启目标功能，也就是实时进行视频采集但是可以不存储，只要检测到包含手部图像的帧图像开始执行S31。该目标功能可以为进行空中手写识别的功能，当然还可以为其他名称，这里不再穷举。
S32：通过第一模型进行检测识别；具体的检测识别过程包括：将实时采集到的彩色的帧图像输入到深度卷积网络(第一模型)中，经过第一模型的推理计算，返回该图像中的(1)手部的区域位置、(2)手势类别、(3)指尖的位置信息，即指尖在帧图像中的坐标位置。
S33：判断是否检测到第一类手势，若检测到则执行S34；否则，返回S32；
这里，是否检测到开始具体可以为是否从实时采集的第一帧图像中检测到第一类手势，也就是开始识别字符的手势；
S34：在下一个帧图像的检测中，开始记录指尖的当前轨迹数据；也就是开始记录指尖的位置信息将其加入指尖的当前轨迹数据。这里，在记录指尖的当前轨迹数据的同时，还可以在显示区域中进行当前轨迹数据的展示。
S35：判断是否检测到第二类手势，即结束字符识别的手势；若是，则执行S36，否则，返回S34。
如果通过第一模型对实时采集的第二帧图像检测得到第二类手势，则将当前记录的指尖点轨迹传递给第二模型(字符识别网络)进行字符识别，并清除当前轨迹。
S36：基于当前轨迹数据识别得到目标字符；具体的：将当前轨迹数据输入到第二模型(可以称为字符识别的深度卷积网络模型)中，经过网络推理计算，返回目标字符。
或者另一实例中，执行上述S31～S34之后，可以不执行S35，直接执行以下处理：基于当前轨迹数据预测得到至少一个候选字符，并展示在展示界面中；若通过第一模型识别到第三帧图像中的第三类手势，则基于第一模型识别到的手部的区域位置确定选中的候选字符，将选中的候选字符作为目标字符。
关于第一模型的训练方法，可以包括：
获取第一类训练数据；其中，所述第一类训练数据中包含标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像；
基于所述第一类训练数据对第一模型进行迭代训练，得到迭代训练后的第一模型。
具体的，首先进行第一类训练数据的采集，针对现有技术无法经常处理复杂背景和多样化手部姿势的问题，本实施例基于大数据和机器学习算法，针对特殊场景和多样化的手势问题首先进行数据的多样性收集，采集用户在真实环境下使用空中手写的视频数据，并对视频的帧图像进行手部位置手势动作和指尖点、所写字符等信息的人工标注。
第一模型的设计：深度卷积网络技术相较于传统机器学习算法能够提供更好的识别准确率。但是通常多层深度神经网络需要耗费大量计算资源，无法直接在手机等移动端设备上流畅运行。本实施例基于深度卷积网络，并对深度卷积模型进行了轻量化设计，主要将手部的区域位置、手势类别的识别和指尖的位置信息的检测任务合并到一个单一的轻量化深度神经网络，保证准确率的同时减少运算量。另一方面，结合压缩、量化等方式对第一模型进行进一步加速，提升第一模型的处理速度。
第一模型的训练：将设计好的模型结构，使用进行人工标注后的视频帧图像(标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像)，利用梯度下降的模型优化方法进行多轮迭代的模型训练，得到的深度卷积模型能够在给定彩色图像为输入，输出图像中用户手部位置、手势、指尖点位置等信息，并能够运行在移动端设备上，如手机等。
第二模型的训练可以包括：
获取第二类训练数据；其中，所述第二类训练数据包括：标注有对应的字符的训练视频、以及所述训练视频中的帧图像所对应的指尖的位置信息组成的轨迹数据；
采用所述第二类训练数据对第二模型进行迭代训练，得到迭代训练后的第二模型。
具体的，首先进行第二类训练数据的采集，针对现有技术无法经常处理复杂背景和多样化手部姿势的问题，本实施例基于大数据和机器学习算法，针对特殊场景和多样化的手势问题首先进行数据的多样性收集，采集用户在真实环境下使用空中手写的视频数据，并对视频数据进行其对应的字符的标注，并且基于第一模型可以标注视频数据中每一帧图像的指尖的位置信息，可以将全部视频数据每一帧图像的指尖的位置信息组成指尖的轨迹数据。
第二模型设计：模型基于时序的深度神经网络，这种网络能够输入具有时序信息的手写轨迹(多帧指尖点位置)，对当前已经书写的比划进行书写字的预测，具有不需要书写完成即可完成字符预测的功能。
第二模型的训练：将设计好的模型结构，使用进行人工标注后的指尖点轨迹数据(具体包括：标注有对应字符的训练视频，以及训练视频所对应的轨迹数据)，利用梯度下降的模型优化方法进行多轮迭代的模型训练，得到的深度卷积模型能够在给定轨迹位置(一般为2维的(x,y)坐标位置组成的有序序列)输入，输出为识别出的该轨迹所书写的字符。
还需要指出的是，在第一模型以及第二模型的训练中可以对多种背景、光照条件下的视频作为训练数据进行模型的训练，从而避免识别率低的情况。同时本技术能够实现在边缘设备上的高速运行，核心算法的单次运行时间(在智能手机端CPU运行)能够达到毫秒级别。
本实施例可以应用于常见的RGB摄像头，能够在PC或移动端等多平台运行，不依赖于深度摄像机、红外等特殊采集设备。
通过采用本实施例提供的方案，可以通过模型对当前视频的帧图像进行实时的分析以及处理，将检测识别和轨迹点检测等功能合并到第一模型中，只需要输入当前帧图像即可完成，避免了多级网络或者多模块的重复计算和处理，在保证准确率的同时能够加速运行时间。第二模型不需要进行特征提取或重采样等处理，只需要输入轨迹数据，即可完成字符识别。从而有效提高对通过图像采集的方式对空中手写的场景中的手写字符的识别准确率。
另外，由于本实施例还能够根据已经书写的比划进行识别字预测，实时根据当前书写情况提示可能的候选字符，为用户提供输入候选字符，提升用户体验。
本申请的另一实施例提供一种字符识别装置，如图5所示，包括：
第一识别模块51，用于在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；
第二识别模块52，用于基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
所述第二识别模块52，用于若从实时采集的第二帧图像中识别到第二类手势，则基于第二模型对所述指尖的所述当前轨迹数据进行识别，得到目标字符。
所述第二识别模块52，用于基于第二模型对所述指尖的所述当前轨迹数据进行预测，得到当前轨迹数据对应的候选字符；
在展示界面中展示所述候选字符；
若从实时采集的第三帧图像中识别到第三类手势，则将手部的区域位置所对应的候选字符作为所述目标字符。
所述第一识别模块51，用于基于第一模型从实时采集的帧图像中识别手部的区域位置、手势类型、指尖的位置信息中至少之一。
所述第一识别模块51，用于获取第一类训练数据；其中，所述第一类训练数据中包含标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像；基于所述第一类训练数据对第一模型进行迭代训练，得到迭代训练后的第一模型。
所述第二识别模块52，用于获取第二类训练数据；其中，所述第二类训练数据包括：标注有对应的字符的训练视频、以及所述训练视频中的帧图像所对应的指尖的位置信息组成的轨迹数据；采用所述第二类训练数据对第二模型进行迭代训练，得到迭代训练后的第二模型。
通过采用本实施例提供的方案，可以通过模型对当前视频的帧图像进行实时的分析以及处理，将检测识别和轨迹点检测等功能合并到第一模型中，只需要输入当前帧图像即可完成，避免了多级网络或者多模块的重复计算和处理，在保证准确率的同时能够加速运行时间。第二模型不需要进行特征提取或重采样等处理，只需要输入轨迹数据，即可完成字符识别。从而有效提高对通过图像采集的方式对空中手写的场景中的手写字符的识别准确率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的字符识别方法的电子设备的框图。该电子设备可以为前述服务器或终端。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的字符识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的字符识别方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的字符识别方法对应的程序指令/模块(例如，附图5所示的第一识别模块、第二识别模块等)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的字符识别方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
字符识别方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例提供的技术方案，通过采用本实施例提供的方案，可以通过模型对当前视频的帧图像进行实时的分析以及处理，将检测识别和轨迹点检测等功能合并到第一模型中，只需要输入当前帧图像即可完成，避免了多级网络或者多模块的重复计算和处理，在保证准确率的同时能够加速运行时间。第二模型不需要进行特征提取或重采样等处理，只需要输入轨迹数据，即可完成字符识别。从而有效提高对通过图像采集的方式对空中手写的场景中的手写字符的识别准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种字符识别方法，包括：
在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；
基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；
基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
2.根据权利要求1所述的方法，其中，所述基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符，还包括：
若从实时采集的第二帧图像中识别到第二类手势，则基于第二模型对所述指尖的所述当前轨迹数据进行识别，得到目标字符。
3.根据权利要求1所述的方法，其中，所述基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符，还包括：
基于第二模型对所述指尖的所述当前轨迹数据进行预测，得到当前轨迹数据对应的候选字符；
在展示界面中展示所述候选字符；
若从实时采集的第三帧图像中识别到第三类手势，则将从所述第三帧图像中识别到的手部的区域位置所对应的候选字符作为所述目标字符。
4.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：
基于第一模型从实时采集的帧图像中识别手部的区域位置、手势类型、指尖的位置信息中至少之一。
5.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：
获取第一类训练数据；其中，所述第一类训练数据中包含标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像；
基于所述第一类训练数据对第一模型进行迭代训练，得到迭代训练后的第一模型。
6.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：
获取第二类训练数据；其中，所述第二类训练数据包括：标注有对应的字符的训练视频、以及所述训练视频中的帧图像所对应的指尖的位置信息组成的轨迹数据；
采用所述第二类训练数据对第二模型进行迭代训练，得到迭代训练后的第二模型。
7.一种字符识别装置，包括：
第一识别模块，用于在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；
第二识别模块，用于基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。
8.根据权利要求7所述的装置，其中，所述第二识别模块，用于若从实时采集的第二帧图像中识别到第二类手势，则基于第二模型对所述指尖的所述当前轨迹数据进行识别，得到目标字符。
9.根据权利要求7所述的装置，其中，所述第二识别模块，用于基于第二模型对所述指尖的所述当前轨迹数据进行预测，得到当前轨迹数据对应的候选字符；在展示界面中展示所述候选字符；若从实时采集的第三帧图像中识别到第三类手势，则将从所述第三帧图像中识别到的手部的区域位置所对应的候选字符作为所述目标字符。
10.根据权利要求7-9任一项所述的装置，其中，所述第一识别模块，用于基于第一模型从实时采集的帧图像中识别手部的区域位置、手势类型、指尖的位置信息中至少之一。
11.根据权利要求7-9任一项所述的装置，其中，所述第一识别模块，用于获取第一类训练数据；其中，所述第一类训练数据中包含标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像；基于所述第一类训练数据对第一模型进行迭代训练，得到迭代训练后的第一模型。
12.根据权利要求7-9任一项所述的装置，其中，所述第二识别模块，用于获取第二类训练数据；其中，所述第二类训练数据包括：标注有对应的字符的训练视频、以及所述训练视频中的帧图像所对应的指尖的位置信息组成的轨迹数据；采用所述第二类训练数据对第二模型进行迭代训练，得到迭代训练后的第二模型。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010900199.9A CN112036315A (zh) | 2020-08-31 | 2020-08-31 | 字符识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010900199.9A CN112036315A (zh) | 2020-08-31 | 2020-08-31 | 字符识别方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112036315A true CN112036315A (zh) | 2020-12-04 |
Family
ID=73586606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010900199.9A Pending CN112036315A (zh) | 2020-08-31 | 2020-08-31 | 字符识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036315A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558810A (zh) * | 2020-12-11 | 2021-03-26 | 北京百度网讯科技有限公司 | 检测指尖位置的方法、装置、设备和存储介质 |
| CN113204283A (zh) * | 2021-04-30 | 2021-08-03 | Oppo广东移动通信有限公司 | 一种文本输入方法、装置、存储介质及电子设备 |
| CN113220125A (zh) * | 2021-05-19 | 2021-08-06 | 网易有道信息技术（北京）有限公司 | 手指交互方法、装置、电子设备及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| WO2014108150A2 (de) * | 2013-01-08 | 2014-07-17 | Audi Ag | Bedienschnittstelle für eine handschriftliche zeicheneingabe in ein gerät |
| CN105759950A (zh) * | 2014-12-18 | 2016-07-13 | 宇龙计算机通信科技(深圳)有限公司 | 移动终端信息输入方法及移动终端 |
| CN111176443A (zh) * | 2019-12-12 | 2020-05-19 | 青岛小鸟看看科技有限公司 | 一种车载智能系统及其控制方法 |
-
2020
- 2020-08-31 CN CN202010900199.9A patent/CN112036315A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| WO2014108150A2 (de) * | 2013-01-08 | 2014-07-17 | Audi Ag | Bedienschnittstelle für eine handschriftliche zeicheneingabe in ein gerät |
| CN105759950A (zh) * | 2014-12-18 | 2016-07-13 | 宇龙计算机通信科技(深圳)有限公司 | 移动终端信息输入方法及移动终端 |
| CN111176443A (zh) * | 2019-12-12 | 2020-05-19 | 青岛小鸟看看科技有限公司 | 一种车载智能系统及其控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曹昭睿;白帆;刘凤丽;郝永平;: "基于轻量化神经网络的目标识别跟踪算法研究", 弹箭与制导学报, 12 December 2019 (2019-12-12) * |
| 杨栩;: "基于卷积神经网络的手写数字图像识别方法", 绵阳师范学院学报, no. 02, 15 February 2020 (2020-02-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558810A (zh) * | 2020-12-11 | 2021-03-26 | 北京百度网讯科技有限公司 | 检测指尖位置的方法、装置、设备和存储介质 |
| CN112558810B (zh) * | 2020-12-11 | 2023-10-03 | 北京百度网讯科技有限公司 | 检测指尖位置的方法、装置、设备和存储介质 |
| CN113204283A (zh) * | 2021-04-30 | 2021-08-03 | Oppo广东移动通信有限公司 | 一种文本输入方法、装置、存储介质及电子设备 |
| CN113220125A (zh) * | 2021-05-19 | 2021-08-06 | 网易有道信息技术（北京）有限公司 | 手指交互方法、装置、电子设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102460737B1 (ko) | 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| CN111931591B (zh) | 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 | |
| CN111695628B (zh) | 关键点标注方法、装置、电子设备及存储介质 | |
| EP3816858A2 (en) | Character recognition method and apparatus, electronic device and computer readable storage medium | |
| CN110991427B (zh) | 用于视频的情绪识别方法、装置和计算机设备 | |
| CN111625157B (zh) | 指尖关键点检测方法、装置、设备和可读存储介质 | |
| CN112036315A (zh) | 字符识别方法、装置、电子设备及存储介质 | |
| CN112149741B (zh) | 图像识别模型的训练方法、装置、电子设备及存储介质 | |
| CN112668586A (zh) | 模型训练、图片处理方法及设备、存储介质、程序产品 | |
| CN112099645A (zh) | 一种输入图像的生成方法、装置、电子设备及存储介质 | |
| CN110532415B (zh) | 图像搜索处理方法、装置、设备及存储介质 | |
| CN112001248B (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| CN112085090A (zh) | 翻译方法、装置以及电子设备 | |
| CN111913585A (zh) | 一种手势识别方法、装置、设备及存储介质 | |
| CA3185810A1 (en) | Systems and methods for augmented or mixed reality writing | |
| JP7389824B2 (ja) | オブジェクト識別方法と装置、電子機器及び記憶媒体 | |
| CN112241704A (zh) | 一种判定肖像侵权的方法、装置、电子设备及存储介质 | |
| CN110727383A (zh) | 基于小程序的触控交互方法、装置、电子设备与存储介质 | |
| CN112396494B (zh) | 商品引导方法、装置、设备及存储介质 | |
| CN112508964A (zh) | 图像分割方法、装置、电子设备和存储介质 | |
| CN111782041A (zh) | 打字方法及装置、设备、存储介质 | |
| CN111738325A (zh) | 图像识别方法、装置、设备以及存储介质 | |
| CN112508163B (zh) | 神经网络模型中子图的展示方法、装置和存储介质 | |
| CN112558810B (zh) | 检测指尖位置的方法、装置、设备和存储介质 | |
| CN111966432B (zh) | 验证码处理方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |