[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115471775A - 基于录屏视频的信息验证方法、装置、设备及存储介质 - Google Patents

基于录屏视频的信息验证方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115471775A
CN115471775A CN202211200519.5A CN202211200519A CN115471775A CN 115471775 A CN115471775 A CN 115471775A CN 202211200519 A CN202211200519 A CN 202211200519A CN 115471775 A CN115471775 A CN 115471775A
Authority
CN
China
Prior art keywords
video frame
video
sequence
screen recording
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211200519.5A
Other languages
English (en)
Inventor
陈波
徐亮
黄一鸣
王小标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202211200519.5A priority Critical patent/CN115471775A/zh
Publication of CN115471775A publication Critical patent/CN115471775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种基于录屏视频的信息验证方法，包括：获取信息收集时得录屏视频；将所述录屏视频转换为按时间排序的视频帧序列；利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；根据所述操作场景序列对所述录屏视频进行信息校验。本发明还提出一种基于录屏视频的信息验证装置、电子设备以及存储介质。本发明可以提高用户信息填写的正确率。

Description

基于录屏视频的信息验证方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于录屏视频的信息验证方法、装置、电子设备及计算机可读存储介质。
背景技术
获取用户的信用情况是金融行业中重要一环，通常需要与第三方征信机构合作以获取用户的信用信息，但这需要对于第三方征信机构的风控进行严格把关，同时第三方征信机构没有掌握的数据还需要用户自行填写提交。
目前主要通过用户自己填写或用户自行截图上传需要自行上传的信息，但这两种方法都不能对用户信息上传的过程进行取证，从而无法保证信息的准确性及真实性，导致获取到错误的用户信息，得到的用户信用信息正确率低。
发明内容
本发明提供一种基于录屏视频的信息验证方法、装置及计算机可读存储介质，其主要目的在于解决信息收集时正确率较低的问题。
为实现上述目的，本发明提供的一种基于录屏视频的信息验证方法，包括：
获取用户信息收集时的录屏视频；
将所述录屏视频转换为按时间排序的视频帧序列；
利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
根据所述操作场景序列对所述录屏视频进行信息校验。
可选地，所述将所述录屏视频转换为按时间排序的视频帧序列，包括：
获取所述录屏视频的视频帧率以及预设的目标帧率；
根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔；
根据所述视频帧间隔从所述录屏视频抽取视频帧集，并将所述视频帧集按照抽取时间排序，得到视频帧序列。
可选地，所述根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔，包括：
利用如下公式计算所述待抽取的视频帧间隔：
i＝int{float(f1/f2)+1}
其中，所述i为视频帧间隔，所述f1为视频帧率，所述f2为目标帧率，int为取整函数，float为浮点型数据类型。
可选地，所述利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，包括：
将所述视频帧序列中的每个视频帧逐个输入至所述预训练完成的轻量级神经网络中；
利用所述轻量级神经网络中的卷积层对所述每个视频帧进行卷积，得到所述每个视频帧的卷积特征图；
利用所述轻量级神经网络中的池化层对所述卷积特征图进行池化，得到所述每个视频帧的特征向量；
利用预设的激活函数对所述每个视频帧的特征向量进行分类，得到关键视频帧序列。
可选地，所述对所述关键视频帧序列进行操作场景识别，包括：
逐个对所述关键视频帧序列中的关键视频帧进行文字提取，得到所述关键视频帧中的文本信息；
对所述文字信息进行文本分词，根据所述文本分词的结果确定文本关键词；
将所述文本关键词与预构建的操作场景集合进行匹配，得到所述关键视频帧的操作场景。
可选地，所述逐个对所述关键视频帧序列中的关键视频帧进行文字提取，包括：
对所述关键视频帧进行文字区域边界检测，得到文字区域的边界坐标点；
根据所述边界坐标点将所述关键视频帧切分为多个文字区域；
利用预设的文字识别模型对所述多个文字区域进行文字识别，根据所述文本识别的结果进行文本提取。
可选地，所述根据所述操作场景序列对所述录屏视频进行信息校验，包括：
获取预设的校验规则，对所述校验规则进行规则解析，得到所述校验规则的规则表达式；
利用所述规则表达式对所述操作场景序列进行校验，得到所述录屏视频的校验结果。
为了解决上述问题，本发明还提供一种基于录屏视频的信息验证装置，所述装置包括：
录屏视频获取模块，用于获取用户信息收集时的录屏视频；
视频帧序列转化模块，用于将所述录屏视频转换为按时间排序的视频帧序列；
关键视频帧序列分类模块，用于利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
操作场景识别模块，用于对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
录屏视频校验模块，用于根据所述操作场景序列对所述录屏视频进行信息校验。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于录屏视频的信息验证方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于录屏视频的信息验证方法。
本发明实施例本发明实施例通过将录屏视频转换为按时间排序的视频帧序列，将视频流转化为视频帧图像，能够获取到录屏视频中具体的图像信息；利用预训练完成的轻量级神经网络对视频帧序列中的每个视频帧进行分类，得到关键视频帧序列，能搞提高后续校验的准确度；对关键视频帧序列进行操作场景识别，得到关键视频帧序列对应的操作场景序列；根据操作场景序列对录屏视频进行校验，判断用户在信息填写过程中是否违规，从而确定用户填写的信息是否正确，能够提高用户信息填写的正确率。因此本发明提出的基于录屏视频的信息验证方法、装置、电子设备及计算机可读存储介质，可以解决进行信息收集时正确率较低的问题。
附图说明
图1为本发明一实施例提供的基于录屏视频的信息验证方法的流程示意图；
图2为本发明一实施例提供的视频帧序列转化的流程示意图；
图3为本发明一实施例提供的操作场景识别的流程示意图；
图4为本发明一实施例提供的基于录屏视频的信息验证装置的功能模块图；
图5为本发明一实施例提供的实现所述基于录屏视频的信息验证方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于录屏视频的信息验证方法。所述基于录屏视频的信息验证方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于录屏视频的信息验证方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的基于录屏视频的信息验证方法的流程示意图。在本实施例中，所述基于录屏视频的信息验证方法包括以下步骤S1-S5：
S1、获取用户信息收集时的录屏视频；
本发明实施例中，所述录屏视频是用户进行信息填写时的录屏，录屏可由用户自己发起并结束，具体地，在用户进行信息填写时可以在用户信息收集平台上调用内嵌的录屏软件进行录屏。
本发明另一可选实施例中，所述用户信息收集平台是需要用户进行真实信息填写的企业平台，例如，金融保险行业、第三方征信企业等，需要保证用户在用户信息收集时的正确性。
S2、将所述录屏视频转换为按时间排序的视频帧序列；
本发明实施例中，所述视频帧序列是将所述录屏视频中的单个图像按照时间排序得到的，够将所述录屏视频以图像的形式展现。
详细地，参阅图2所示，所述将所述录屏视频转换为按时间排序的视频帧序列，包括以下步骤S21-S23：
S21、获取所述录屏视频的视频帧率以及预设的目标帧率；
S22、根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔；
S23、根据所述视频帧间隔从所述录屏视频抽取视频帧集，并将所述视频帧集按照抽取时间排序，得到视频帧序列。
进一步地，所述根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔，包括：
利用如下公式计算所述待抽取的视频帧间隔：
i＝int{float(f1/f2)+1}
其中，所述i为视频帧间隔，所述f1为视频帧率，所述f2为目标帧率，int为取整函数，float为浮点型数据类型。
本发明实施例中，所述录屏视频的视频帧率是录屏视频采集图像的帧率，例如，25fps，即1秒能送出25帧色彩码流，所述目标帧率是所要求的采集帧率，例如，预设的目标帧率可以为10fps，再通过所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔。
本发明实施例中，通过将录屏视频转化为视频帧序列序列，将视频流转化为视频帧图像，能够获取录屏视频中具体的图像信息，同时根据计算得到的视频帧间隔进行视频帧的抽取，保证了从原帧率的录屏视频抽取目标帧率视频帧的内容准确性。
S3、利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
本发明实施例中，所述预训练完成的轻量级神经网络是MnasNet(经典轻量级神经网络)，因为针对视频帧分类的场景复杂度不高，选取所述轻量级神经网路能够减小模型复杂度，提高运算效率，具体地，所述预训练完成的轻量级神经网络包括卷积层、池化层以及全连接层。
本发明另一可选实施例中，所述预训练完成的轻量级神经网络是利用主流手机型号录制常规操作视频，抽取所述常规操作视频中的所有视频帧，对所述视频帧进行使用场景标注，利用所述场景标注后的视频帧进行神经网络迭代训练，得到预训练完成的轻量级神经网络。
本发明另一可选实施例中，所述关键视频帧是包括跳转页、登录页、信息填写页以及结束录屏页等有内容的视频帧，所述关键视频帧中可能包括信息填写时的关键帧以及作弊时的欺诈帧，去除黑屏、空白等无内容的视频帧，再基于每个关键视频帧在视频帧序列中的位置进行排序，得到关键视频帧序列。
详细地，所述利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，包括：
将所述视频帧序列中的每个视频帧逐个输入至所述预训练完成的轻量级神经网络中；
利用所述轻量级神经网络中的卷积层对所述每个视频帧进行卷积，得到所述每个视频帧的卷积特征图；
利用所述轻量级神经网络中的池化层对所述卷积特征图进行池化，得到所述每个视频帧的特征向量；
利用预设的激活函数对所述每个视频帧的特征向量进行分类，得到关键视频帧序列。
本发明实施例中，所述全连接层中的激活函数为sigmoid激活函数，利用所述激活函数计算特征向量对应的视频帧类别，得到关键视频帧，再基于每个关键视频帧再视频帧序列中的位置得到关键视频帧序列。
本发明实施例中，利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，能够提高视频帧的识别效率，进一步地提高后续信息校验的效率，删除无用的视频帧，提高后续校验的准确度。
S4、对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
本发明实施例中，所述对所述关键视频帧序列进行操作场景识别，是进一步地识别关键视频帧的具体操作内容，例如，关键视频帧序列是页面跳转操作场景、登录操作场景、结束录屏操作场景、进行信息欺诈的操作场景等。
详细地，参阅图3所示，所述对所述关键视频帧序列进行操作场景识别，包括以下步骤S31-S33：
S31、逐个对所述关键视频帧序列中的关键视频帧进行文字提取，得到所述关键视频帧中的文本信息；
S32、对所述文字信息进行文本分词，根据所述文本分词的结果确定文本关键词；
S33、将所述文本关键词与预构建的操作场景集合进行匹配，得到所述关键视频帧的操作场景。
本发明实施例中，可提取所述文本分词中出现频率最多的分词作为文本关键词，根据所述文本关键词与预构建的操作场景集合匹配，其中，所述预构建的操作场景集合为预设的关键词与对应的操作场景的集合，例如，所述文本关键词为“登录”在所述预构建的操作场景集合中对应为“登录操作场景”，则视频关键帧对应的操作场景为登录操作场景。
进一步地，所述逐个对所述关键视频帧序列中的关键视频帧进行文字提取，包括：
对所述关键视频帧进行文字区域边界检测，得到文字区域的边界坐标点；
根据所述边界坐标点将所述关键视频帧切分为多个文字区域；
利用预设的文字识别模型对所述多个文字区域进行文字识别，根据所述文本识别的结果进行文本提取。
本发明实施例中，所述预设的文字识别模型可以是预训练完成的CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)，能够解决基于图像序列的文字识别问题，因此，可以利用所述文字识别模型对所述关键视频帧序列进行文字识别。
本发明实施例中，通过识别所述关键视频帧对应的操作场景序列，能够获取用户在信息填写时的操作流程，进一步地判断用户在信息填写时是否合规。
S5、根据所述操作场景序列对所述录屏视频进行信息校验。
本发明实施例中，所述信息校验是根据所述操作场景序列判断用户在信息填写过程中操作流程是否合规，进一步地判断录屏视频是否存在作弊行为。
详细地，所述根据所述操作场景序列对所述录屏视频进行信息校验，包括：
获取预设的校验规则，对所述校验规则进行规则解析，得到所述校验规则的规则表达式；
利用所述规则表达式对所述操作场景序列进行校验，得到所述录屏视频的校验结果。
本发明实施例中，所述预设的校验规则为操作场景序列需要满足的规则要求，再讲所述校验规则转化为例如，操作场景序列为页面跳转操作场景-登录操作场景-结束录屏操作场景，没有信息填写的过程，则所述录屏视频不符合校验规则，或跳转操作场景-登录操作场景-信息填写操作场景-登录操作场景-信息填写操作场景-结束录屏操作场景，用户存在多次间断的登录行为，则对应的录屏视频不符合要求。
本发明实施例中，通过所述操作场景序列能够判断用户在信息填写过程中是否违规，从而判断用户填写的信息是否正确，能够提高用户信息填写的正确率。
本发明实施例本发明实施例通过将录屏视频转换为按时间排序的视频帧序列，将视频流转化为视频帧图像，能够获取到录屏视频中具体的图像信息；利用预训练完成的轻量级神经网络对视频帧序列中的每个视频帧进行分类，得到关键视频帧序列，能搞提高后续校验的准确度；对关键视频帧序列进行操作场景识别，得到关键视频帧序列对应的操作场景序列；根据操作场景序列对录屏视频进行校验，判断用户在信息填写过程中是否违规，从而确定用户填写的信息是否正确，能够提高用户信息填写的正确率。因此本发明提出的基于录屏视频的信息验证方法，可以解决进行信息收集时正确率较低的问题。
如图4所示，是本发明一实施例提供的基于录屏视频的信息验证装置的功能模块图。
本发明所述基于录屏视频的信息验证装置100可以安装于电子设备中。根据实现的功能，所述基于录屏视频的信息验证装置100可以包括录屏视频获取模块101、视频帧序列转化模块102、关键视频帧序列分类模块103、操作场景识别模块104及录屏视频校验模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述录屏视频获取模块101，用于获取用户信息收集时的录屏视频；
所述视频帧序列转化模块102，用于将所述录屏视频转换为按时间排序的视频帧序列；
所述关键视频帧序列分类模块103，用于利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
所述操作场景识别模块104，用于对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
所述录屏视频校验模块105，用于根据所述操作场景序列对所述录屏视频进行信息校验。
详细地，本发明实施例中所述基于录屏视频的信息验证装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于录屏视频的信息验证方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现基于录屏视频的信息验证方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于录屏视频的信息验证程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于录屏视频的信息验证程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于录屏视频的信息验证程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图中仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图中示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于录屏视频的信息验证程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取用户信息收集时的录屏视频；
将所述录屏视频转换为按时间排序的视频帧序列；
利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
根据所述操作场景序列对所述录屏视频进行信息校验。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取用户信息收集时的录屏视频；
将所述录屏视频转换为按时间排序的视频帧序列；
利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
根据所述操作场景序列对所述录屏视频进行信息校验。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于录屏视频的信息验证方法，其特征在于，所述方法包括：
获取用户信息收集时的录屏视频；
将所述录屏视频转换为按时间排序的视频帧序列；
利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
根据所述操作场景序列对所述录屏视频进行信息校验。
2.如权利要求1所述的基于录屏视频的信息验证方法，其特征在于，所述将所述录屏视频转换为按时间排序的视频帧序列，包括：
获取所述录屏视频的视频帧率以及预设的目标帧率；
根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔；
根据所述视频帧间隔从所述录屏视频抽取视频帧集，并将所述视频帧集按照抽取时间排序，得到视频帧序列。
3.如权利要求2所述的基于录屏视频的信息验证方法，其特征在于，所述根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔，包括：
利用如下公式计算所述待抽取的视频帧间隔：
i＝int{float(f1/f2)+1}
其中，所述i为视频帧间隔，所述f1为视频帧率，所述f2为目标帧率，int为取整函数，float为浮点型数据类型。
4.如权利要求1所述的基于录屏视频的信息验证方法，其特征在于，所述利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，包括：
将所述视频帧序列中的每个视频帧逐个输入至所述预训练完成的轻量级神经网络中；
利用所述轻量级神经网络中的卷积层对所述每个视频帧进行卷积，得到所述每个视频帧的卷积特征图；
利用所述轻量级神经网络中的池化层对所述卷积特征图进行池化，得到所述每个视频帧的特征向量；
利用预设的激活函数对所述每个视频帧的特征向量进行分类，得到关键视频帧序列。
5.如权利要求1所述的基于录屏视频的信息验证方法，其特征在于，所述对所述关键视频帧序列进行操作场景识别，包括：
逐个对所述关键视频帧序列中的关键视频帧进行文字提取，得到所述关键视频帧中的文本信息；
对所述文字信息进行文本分词，根据所述文本分词的结果确定文本关键词；
将所述文本关键词与预构建的操作场景集合进行匹配，得到所述关键视频帧的操作场景。
6.如权利要求1中所述的基于录屏视频的信息验证方法，其特征在于，所述逐个对所述关键视频帧序列中的关键视频帧进行文字提取，包括：
对所述关键视频帧进行文字区域边界检测，得到文字区域的边界坐标点；
根据所述边界坐标点将所述关键视频帧切分为多个文字区域；
利用预设的文字识别模型对所述多个文字区域进行文字识别，根据所述文本识别的结果进行文本提取。
7.如权利要求1所述的基于录屏视频的信息验证方法，其特征在于，所述根据所述操作场景序列对所述录屏视频进行信息校验，包括：
获取预设的校验规则，对所述校验规则进行规则解析，得到所述校验规则的规则表达式；
利用所述规则表达式对所述操作场景序列进行校验，得到所述录屏视频的校验结果。
8.一种基于录屏视频的信息验证装置，其特征在于，所述装置包括：
录屏视频获取模块，用于获取用户信息收集时的录屏视频；
视频帧序列转化模块，用于将所述录屏视频转换为按时间排序的视频帧序列；
关键视频帧序列分类模块，用于利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类，得到关键视频帧序列；
操作场景识别模块，用于对所述关键视频帧序列进行操作场景识别，得到所述关键视频帧序列对应的操作场景序列；
录屏视频校验模块，用于根据所述操作场景序列对所述录屏视频进行信息校验。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于录屏视频的信息验证方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于录屏视频的信息验证方法。
CN202211200519.5A 2022-09-29 2022-09-29 基于录屏视频的信息验证方法、装置、设备及存储介质 Pending CN115471775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211200519.5A CN115471775A (zh) 2022-09-29 2022-09-29 基于录屏视频的信息验证方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211200519.5A CN115471775A (zh) 2022-09-29 2022-09-29 基于录屏视频的信息验证方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115471775A true CN115471775A (zh) 2022-12-13

Family

ID=84335951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211200519.5A Pending CN115471775A (zh) 2022-09-29 2022-09-29 基于录屏视频的信息验证方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115471775A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647727A (zh) * 2023-07-27 2023-08-25 中邮消费金融有限公司 录屏信息收集方法、装置、设备及存储介质
CN117727282A (zh) * 2023-12-20 2024-03-19 东莞明崴电子科技有限公司 一种液晶显示屏的驱动方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647727A (zh) * 2023-07-27 2023-08-25 中邮消费金融有限公司 录屏信息收集方法、装置、设备及存储介质
CN116647727B (zh) * 2023-07-27 2024-02-06 中邮消费金融有限公司 录屏信息收集方法、装置、设备及存储介质
CN117727282A (zh) * 2023-12-20 2024-03-19 东莞明崴电子科技有限公司 一种液晶显示屏的驱动方法及系统
CN117727282B (zh) * 2023-12-20 2024-05-14 东莞明崴电子科技有限公司 一种液晶显示屏的驱动方法及系统

Similar Documents

Publication Publication Date Title
CN112699775B (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN112396005A (zh) 生物特征图像识别方法、装置、电子设备及可读存储介质
CN112052850A (zh) 车牌识别方法、装置、电子设备及存储介质
CN112767320A (zh) 图像检测方法、装置、电子设备及存储介质
CN115471775A (zh) 基于录屏视频的信息验证方法、装置、设备及存储介质
CN113033543A (zh) 曲形文本识别方法、装置、设备及介质
CN114708461A (zh) 基于多模态学习模型的分类方法、装置、设备及存储介质
CN114511038A (zh) 虚假新闻检测方法、装置、电子设备及可读存储介质
CN113065607A (zh) 图像检测方法、装置、电子设备及介质
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN112560855B (zh) 图像信息提取方法、装置、电子设备及存储介质
CN114677526A (zh) 图像分类方法、装置、设备及介质
CN114066664A (zh) 基于行为画像的风险等级评估方法、装置、设备及介质
CN113704474A (zh) 银行网点设备操作指引生成方法、装置、设备及存储介质
CN112347739A (zh) 适用规则分析方法、装置、电子设备及存储介质
CN113221888B (zh) 车牌号管理系统测试方法、装置、电子设备及存储介质
CN112580505B (zh) 网点开关门状态识别方法、装置、电子设备及存储介质
CN115082736A (zh) 垃圾识别分类方法、装置、电子设备及存储介质
CN114187476A (zh) 基于图像分析的车险信息核对方法、装置、设备及介质
CN115098644A (zh) 图像与文本匹配方法、装置、电子设备及存储介质
CN115203375A (zh) 图文跨模态模型的数据增强方法、装置、设备及存储介质
CN115221274A (zh) 文本情感分类方法、装置、电子设备及存储介质
CN113918769A (zh) 视频中关键动作标记方法、装置、设备及存储介质
CN114202768A (zh) 保单理赔风险评估方法、装置、电子设备及存储介质
CN113419951A (zh) 人工智能模型优化方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination