[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108073888A - 一种教学辅助方法及采用该方法的教学辅助系统 - Google Patents

一种教学辅助方法及采用该方法的教学辅助系统 Download PDF

Info

Publication number
CN108073888A
CN108073888A CN201710667590.7A CN201710667590A CN108073888A CN 108073888 A CN108073888 A CN 108073888A CN 201710667590 A CN201710667590 A CN 201710667590A CN 108073888 A CN108073888 A CN 108073888A
Authority
CN
China
Prior art keywords
student
classroom
module
teaching auxiliary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710667590.7A
Other languages
English (en)
Inventor
王书强
王永灿
王兆哲
胡勇
杨岳
胡明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sibiku Technology Co ltd
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Sibiku Technology Co ltd
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibiku Technology Co ltd, Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Sibiku Technology Co ltd
Priority to CN201710667590.7A priority Critical patent/CN108073888A/zh
Publication of CN108073888A publication Critical patent/CN108073888A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种教学辅助方法及采用该方法的教学辅助系统，其中教学辅助方法通过采用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测可以提供较高的图像识别精度和降低算法对硬件的要求，且能够在嵌入式设备上使用，降低了教学辅助方法的使用成本；同时本发明中采用该教学辅助方法的教学辅助系统也具有同样的优点。

Description

一种教学辅助方法及采用该方法的教学辅助系统
技术领域
本发明涉及教学辅助领域，尤其涉及一种教学辅助方法及采用该方法的教学辅助系统。
背景技术
在一般的教学活动中，由于上课的学生和授课老师的数量比例悬殊，授课老师在授课时没有太多的时间和精力通过观察每个学生的上课行为和表情来判断学生的学习状态。这就使得授课老师无法精确的了解每个学生的上课状态和对本次教授内容的被接受程度。很容易导致课堂上老师讲老师的，学生聊学生的，进而让整个教学活动被撕裂开来，也使得授课老师无法有的放矢的进行教学，严重的影响了教学质量和效率。所以，能够在学生上课时使用的教学辅助系统历来是教育界所关注的重点问题。设计教学辅助系统辅助授课教师顺利开展教学活动。目前的教学辅助系统研究强调功能性，主要从为学生提供自主的学习环境，为学生提供充分的学习资源，减轻教师的工作量几个方面展开的。运用不同技术手段，设计智能化辅助系统来提高教师的授课效果和学生的学习效率。
在现有技术中，公开号为CN106097790A的中国发明专利公开了一种教学辅助装置，通过图像识别技术识别教学活动中的图像，进而来判断学生上课是否做与上课无关的事情，并根据识别结果通知老师做相应处理。
由于该现有技术并未公开其图像识别模块识别图像的方法和过程，也没有公开其图像识别模块如何实现将现有图像与预存图像进行比对，并判断比对结果。技术人员根据该现有技术方案无法具体实现为教学过程进行辅助的技术效果。因此，现有的教学辅助方法存在不足。
发明内容
为了解决现有技术中存在的上述技术问题，本发明的目的在于提供一种具有较高的图像识别精度的教学辅助方法和采用该方法的教学辅助系统。
为了解决上述技术问题，本发明所采用的技术方案为：一种教学辅助方法，包括以下顺序步骤：
s1.采集模块实时采集现场的课堂图像，并传输给识别模块；
s2.所述识别模块对所述课堂图像进行分析，并判断所述课堂图像中行为异常的学生；
s3.提示模块将所述识别模块的识别结果通知授课教师；
所述步骤s2中包括以下步骤：
s21.所述识别模块使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测。
优选的，所述步骤s2还包括以下步骤：
s22.所述识别模块使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别。
优选的，所述步骤s22具体包括以下步骤：
s221.通过人脸检测子单元从所述采集模块采集到的所述课堂图像中识别出各学生的人脸区域；
s222.通过卷积神经网络分类器对检测到的所述人脸区域做表情识别。
优选的，步骤s1中包括以下步骤：
s11.所述采集模块在教室前方的左、中、右区域分别安装图像采集装置；
s12.所述图像采集模块以班级中所有学生上半身图像为采集目标。
优选的，还包括以下步骤：s4.存储模块同步存档所述识别结果。
优选的，所述步骤s4中包括以下步骤：
s41.将每个学生对应的所述识别结果按班级制定成学生电子档案；
s42.根据所述学生电子档案绘出学生上课状态曲线，用以便于授课教师结合当时教授的内容以及考试成绩对学生进行有针对性的辅导。
优选的，步骤s1之前还包括以下步骤：
q1.构建数据集；
q2.训练所述深度张量列网络模型。
优选的，所述步骤q1包括以下步骤：
q11.所述采集模块在教室长时间拍摄所述课堂图像并存储；
q12.选取存在异常的学生图片进行标注。
优选的，所述步骤q2包括以下步骤：
q21.通过神经网络模型的多层卷积层提取已标注的所述学生图片中的异常特征，所述异常特征与分解后的全连接层权重矩阵运算得到输出预测值；
q22.所述输出预测值与所述学生图片中的异常行为学生真实标注值的误差构成的损失函数；
q23.根据所述损失函数调整网络参数，得到训练好的深度张量列网络模型。
为了解决上述技术问题，本发明还提供一种教学辅助系统，设置有：采集模块、与所述采集模块连接的识别模块、与所述识别模块连接的提示模块；
所述采集模块，用于实时采集现场的课堂图像并传输给识别模块；
所述识别模块，用于对所述课堂图像进行分析，并判断所述课堂图像中行为异常的学生；所述识别模块包括：
行为检测单元，用于使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测；
所述提示模块，用于将所述识别模块的识别结果通知授课教师。
优选的，还设置有：与所述识别模块连接的存储模块；所述存储模块，用于同步存档所述识别结果并进行编辑分析；
所述识别模块还包括：
表情识别单元，用于使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别；
所述表情识别单元包括人脸检测子单元和卷积神经网络分类器。
与现有技术相比，本发明的教学辅助方法，通过采用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测可以提供较高的图像识别精度和降低算法对硬件的要求，且能够在嵌入式设备上使用，降低了教学辅助方法的使用成本。
进一步的，本发明还采用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别，使得教学辅助系统对学生上课时的异常行为识别精度更高。
采用该方法的教学辅助系统，也同样具有上述优点。
附图说明
图1为一种教学辅助方法的基本流程图；
图2为一种教学辅助方法的详细流程图；
图3为采用图1教学辅助方法的教学辅助系统架构示意图；
图4为图3教学辅助系统的完整架构示意图；
图5为全链接权值矩阵折叠和融合为三阶张量示意图；
图6为三阶张量进行张量列分解示意图；
图7为张量列分解示意图；
图8为矩阵的张量列分解示意图；
图9为采集模块布设方式示意图；
图10为行为检测所采用的深度张量列网络模型结构示意图；
图11为表情识别所采用的深度张量列网络模型结构采示意图。
具体实施方式
以下参考附图1至附图11，对本发明的各实施例予以进一步地详尽阐述。
如附图1所示一种教学辅助方法，包括以下顺序步骤：
s1.采集模块实时采集现场的课堂图像，并传输给识别模块。
s2.所述识别模块对所述课堂图像进行分析，并判断所述课堂图像中行为异常的学生。
s3.提示模块将所述识别模块的识别结果通知授课教师。
所述步骤s2中包括以下步骤：
s21.所述识别模块使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测。
具体的，步骤s21中采用的深度张量列网络模型通过对传统全连接层矩阵做张量列分解得来，极大压缩了全连接层矩阵张量的参数量，提高算法效率，降低了算法对硬件的要求，方便系统以嵌入式设备形式部署，使用更加方便简单且能够降低成本，利于本教学辅助系统的大规模推广。
如附图2所示，所述步骤s2还包括以下步骤：
s22.所述识别模块使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别。
步骤s22重设了图像识别这一核心算法，通过联合对学生图片进行行为检测和表情识别，使深度张量列网络模型获得更好的识别精度和效率。在深度张量列网络模型降低了模型参数量，提升了系统的鲁棒性的基础上有效的提高了本教学辅助系统实时检测课堂上学生异常行为与表情的速度。
在本实施例中，所述步骤s22具体包括以下步骤：
s221.通过人脸检测子单元从所述采集模块采集到的所述课堂图像中识别出各学生的人脸区域。
s222.通过卷积神经网络分类器对检测到的所述人脸区域做表情识别。
在具体操作中，由于人脸表情特征相对较细，识别模块不方便直接提取表情特征，因此，本发明通过步骤s221和步骤s222来实现表情的识别。首先通过人脸检测子单元从图像采集模块采集到的课堂图片中检测出各学生人脸区域，再通过卷积神经网络分类器对检测到的各人脸区域图像块做表情识别。
如附图9所示，步骤s1中包括以下步骤：
s11.所述采集模块在教室前方的左、中、右区域分别安装图像采集装置。
在其他实施例中，也可以采用在教室前方左、右两个区域或者多个区域安装图像采集装置，以防止单个方向拍摄容易有学生被遮挡。
同时，在优选的实施例中，正常授课状态下大部分学生基本不会出现困惑、发呆、厌烦等异常行为，故可以为每个图像采集装置设置拍摄的时间间隔，以降低图像的采样率，节省相应的处理和存储资源。
s12.所述图像采集模块以班级中所有学生上半身图像为采集目标。
在具体实施时，学生在上课时的行为和表情特征基本用上半身图像就可以提取和进行识别，以上半身为目标可以有针对性的拍摄特征比较富集的图像区域。
在本实施例中，还包括以下步骤：s4.存储模块同步存档所述识别结果。
在本实施例中，通过对识别结果进行同步存储，可以进一步从整体方向对识别结果进行分析利用。比如：根据识别结果分析和评估教学效果和分析学生的学习曲线，可以更有针对性地开展教学活动，让接下来的教学工作更能有的放矢，整体提高教学水平和质量。
优选的，所述步骤s4中包括以下步骤：
s41.将每个学生对应的所述识别结果按班级制定成学生电子档案。
有助于对每个学生上课状态的检测识别结果进行统计分析，以及主动的对学生在校的听课状态进行跟踪，避免仅靠学生的成绩来判断学生听课状态这种被动的方式迟滞性的弊端。
s42.根据所述学生电子档案绘出学生上课状态曲线，用以便于授课教师结合当时教授的内容以及考试成绩对学生进行有针对性的辅导。
同时，也可以将学生电子档案与教师的教学评估相结合，改进目前以学生考试成绩为课堂教学质量评估的主要参照过于片面的弊端。
在本实施例中，步骤s1之前还包括以下步骤：
q1.构建数据集。
在具体实施中，可以分为为行为检测构建数据集和为表情识别构建数据集。
具体的，在为行为检测构建数据集时，构建一个合适的数据集是能否正确检测出异常行为学生的基础，直接关系到系统识别性能的高低。我们使用采集模块在多个教室长时间拍摄课堂上课情况，然后从中选取存在异常行为学生的图片进行标注，其中异常行为指一切表现为未认真听课的行为，如睡觉、说话、做小动作、发呆等。由于可能存在遮挡问题以及单视角的局限性，我们使用左、中、右三个视角的图像采集装置采集图片，分别标注。并对图片做简单处理，输入的固定尺寸以调整成适合模型，以方便在训练网络模型时使用。
在其他实施例中，也可以将专注、兴致盎然、思考等表情特征进行提取，并对深度张量列网络模型进行训练，使得认真听课的行为也可以通过该模型识别出来。
在为表情识别构建数据集时，由于此处我们做人脸表情识别分两步进行，首先做人脸检测，再做表情识别，我们需构建两个数据集，一个为课堂人脸检测数据集，另一个为课堂学生上课表情数据集。
人脸检测数据集
为能准确的从图像采集模块采集到的课堂图像中实时准确的检测出学生脸部，我们构建一个小型课堂人脸检测数据集。我们使用图像采集模块在多个教室长时间拍摄课堂上课情况采集到的课堂图像，对图片进行标注，给出图片中人脸位置，并对图片做简单处理，调整成适合模型输入的固定尺寸，以方便在训练网络模型时使用。
学生上课表情数据集
为方便上课教师更加准确实时地了解课堂上每个学生的听课状态，满足学生上课表情识别需求，我们针对学生课堂听课这一场景，构建一学生上课表情数据集。从采集到的课堂图像中，截取出学生面部表情图片块，给出对应听课认真程度相关表情标签，如专注、兴致盎然、思考、困惑、发呆、厌烦等等。方便授课教师更加方便细致的掌握每位学生的听课状态和课程掌握情况与态度，做出实时的处理与调整。
q2.训练所述深度张量列网络模型。
在具体实施中，行为检测和表情识别的训练可以分开进行。其区别仅在于采用不同的数据集进行训练。
具体的，基于”深度张量列网络”的课堂学生异常行为识别神经网络模型。首先通过多层卷积层自动学习提取课堂图片中学生的行为特征，在使用学习到的课堂行为特征信息经TT分解(张量列分解)后的全连接层对学生课堂行为进行识别，检测出有异常课堂行为的学生。
如附图7所示，张量列分解(tensor train decomposition， TT-decomposition)是一种张量分解模型，将张量的每一个元素都用若干个矩阵的乘积表示。假设存在d阶张量(Ik表示第k阶的维数)，张量的张量列分解为：
其中是张量第k阶级对应的核矩阵，规模为rk-1′rk，k＝1,2,...d， r0＝rd＝1；(r0，r1，…rd)是d阶张量进行张量列时对应的TT-rank，实际上是规模为rk-1 Ikrk三阶张量，所以又叫核张量。
如附图8所示，矩阵的张量列分解，假设矩阵A∈RM×N，选择重构方案，如重构方案：选定重构方案后，矩阵的张量列分解首先将矩阵映射到d阶张量再对张量进行张量列分解，即
如附图2所示，所述步骤q1包括以下步骤：
q11.所述采集模块在教室长时间拍摄所述课堂图像并存储。
q12.选取存在异常的学生图片进行标注。
由于含有异常行为图像数据可能相对较少，为避免模型过拟合，并增强模型对光照变化等因素的抗干扰能力，我们对采集标注的课堂学生异常行为图片数据做数据增强。分别对图片进行改变对比度、RGB通道强度、加噪声等处理，增加图片数据样本量和种类。
在本实施例中，所述步骤q2包括以下步骤：
q21.通过神经网络模型的多层卷积层提取已标注的所述学生图片中的异常特征,异常特征与分解后的全连接层权重矩阵运算得到输出预测值。
如附图10所示的深度张量列网络的模型结构(此处仅以3层卷积为例说明)；构建该深度张量列网络模型的步骤为：
1.初始化网络模型参数。
2.将构建的课堂学生异常行为数据集中的图片输入到该模型进行训练。
3.图片经过不断卷积池化，在最后一层卷积层输出S x S x m的张量A，即把原图片划分出了一个S x S的网格，每个网格单元对应着原课堂图片的一部分，每个网格中的图片特征对应着该张量中的一个m维向量。
4.经过改进后的全链接，输出一个S x S x(5a)的张量，即每个网格单元对应的a个异常行为学生检测边界框坐标(x,y,w,h)与识别框中检测为异常行为学生的置信度。其中x和y为异常行为学生识别框中心点坐标，w和h分别为异常行为学生识别框的宽和高，并将坐标进行归一化,使其介于0到1之间。
其中改进后的全连接为对传统全连接层矩阵做张量列(TT)分解，从而极大压缩全连接层参数量，提高算法效率，降低对硬件的要求，使得能在嵌入式设备上使用。为本教学辅助系统提高了实时检测课堂异常行为学生的速度，并方便系统以嵌入式设备形式部署，更加方便简单且能够降低成本，利于本课堂异常行为学生识别教学辅助系统的大规模推广。
张量列分解(TT分解)是一种张量分解模型，将张量的每一个元素都用若干个矩阵的乘积表示。矩阵的张量列分解需先选择重构方案，首先将矩阵映射到d阶张量，再对张量进行张量列分解。此处即是对全连接层权重矩阵做张量列分解，以下为对该过程的详细解释(为了方便说明，我们代入一些参数举例，但具体实现不局限于具体参数)
在本实施例中，全连接层权重矩阵张量列分解步骤为：
1.如附图5所示，将全连接权值矩阵的行和列均折叠为d个虚拟的维度；此处假设网络模型中S＝4，m＝50,n＝49,即图像采集模块采集到的课堂图像经逐层卷积池化后提取到4x4x50＝800个特征，下一隐层有4x4x49＝784个隐节点，则该全连接层权重参数为800x784的矩阵。为方便表示，取d＝3,将全连接权值矩阵的行和列均折叠为3个虚拟的维度，如附图所示。
2.如附图5所示，将行列对应的虚拟的维度进行融合，即将全连接权值矩阵重塑为d阶张量；按上述实例方法则原800x784的权重矩阵被重塑为了 700x32x28的3阶张量。
3.如附图6所示，定义所述d阶张量的张量列秩r，其中rk表示原始张量除去前(k-1)阶效应后沿张量第k阶展开的矩阵的秩，其中r0＝rd＝1是约束条件；本文定义的张量列秩为3。
4.将所述d阶张量进行张量列分解得到全连接层权值矩阵的张量列分解表示，即其中是规模为rk-1 Ik rk三阶张量，Ik表示高阶张量第k阶的维数。在本实例中，即原700x32x28的3阶张量被分解为了 1x700x3、3x32x3、3x28x1的3个核张量。全连接层权重由原来的627200个参数下降到了2472个参数。
为比较直观的表示TT分解(张量列分解)对全连接层权重参数量的压缩效果，现将几种重塑方案下张量列分解前后参数规模计算如下表。由表中计算结果可看出，全连接层权重参数经张量列分解后参数量下降了成百上千倍，能提高算法效率，降低对硬件的要求，方便本教学辅助系统在嵌入式设备上的实现，提高检测课堂上学生异常行为的实时性。
q22.输出预测值与所述学生图片中的异常行为学生真实标注值的误差构成的损失函数；
q23.根据损失函数调整网络参数，得到训练好的深度张量列网络模型。
5.运用反向传播算法，根据输出的预测值与原图中的异常行为学生真实标注值间误差构成的损失函数L(此处损失函数采用平方和误差损失函数，在下文中具体介绍)，调整网络参数，至指定精度。然后保存网络参数。
损失函数使用平方和误差损失函数其中包括3部分，坐标预测函数，包含异常行为学生的识别框的置信度预测函数和不包含异常行为学生的识别框的置信度预测函数。
其中，x,y是异常行为学生识别框的中心位置坐标,w,h是异常行为学生识别框的宽和高，为判断第i个网格中的第j个识别框是否负责检测，为判断是否有异常行为学生中心落入在网格i中，lcoord为坐标预测权重，lnoobj为不包含异常行为学生的识别框的置信度权重。
在优选的实施例中，如附图10、附图11所示，为表情识别训练时深度张量列网络模型时，首先训练人脸检测网络模型，人脸检测与行为检测子模块的课堂异常行为检测模型类似，将其中课堂异常行为数据集换成人脸检测数据集，使用人脸检测数据集中的图片输入模型训练，重复上述行为检测子模块中1-5的训练过程即可，使得模型能自动学习人脸特征，从课堂图像中自动检测出学生脸部位置。
其次训练课堂人脸面部表情识别时采用的卷积神经网络(CNN)分类器。将前述构建的学生上课表情数据集中带表情标签的学生脸部图片块输入表情识别分类器，对表情识别网络模型进行训练。表情识别网络模型如附图11。
1.初始化表情识别网络模型参数。
2.将构建的学生上课表情数据集中带表情标签的学生脸部图片块输入到该模型进行训练。
3.学生脸部图片块经过不断卷积池化，提取面部表情特征。
4.经过改进后的全链接，输出预测的学生脸部图片块表情标签。此处也对全连接层权重矩阵做TT分解。具体过程在行为检测子模块中(4)中有详细介绍，此处不再赘述。
5.运用反向传播算法，根据输出的预测值与真实标注表情标签间误差构成的损失函数L，调整网络参数，至指定精度，然后保存网络参数。
在其他实施例中，还为检索模型学习的准确性，还包括模型测试的步骤。
在为行为检测进行测试时，将上述训练好的网络模型参数导入识别模块中行为检测子模块的深度张量列网络，输入由图像采集模块实时采集的课堂图片，实时检测图片中是否有异常行为学生，如果有则标出并将识别结果由提示模块通知授课教师，并由存储模块存档，以便后续对数据做进一步分析挖掘。是否为异常行为根据网络模型给出的异常行为概率是否大于给定的概率阈值确定，默认概率阈值通过多次测试给出一个合理的符合大众的能较好平衡灵敏度与准确度的值，老师后续可根据个人情况做适当调整，以使得本教学辅助系统更为人性化。测试期间可根据存在的问题，在细节上做适当调整，以便使系统达到最佳状态，然后投入实际使用。
在为表情识别进行测试时，将上述训练好的网络模型参数导入识别模块中表情识别子模块，输入由图像采集模块实时采集的课堂图片，首先由人脸检测网络模型检测出图片中的所有人脸位置，再将检测到的人脸图片块简单处理后，调整成固定大小输入表情识别网络模型识别学生上课表情。使得模型自动检测人脸并识别其表情特征，以便模型能投入实际使用，实时检测分析课堂上学生的表情信息，结合行为检测模块结果，方便上课教师更加准确实时地了解课堂上每个学生的上课状态，让授课教师更能有的放矢，提高教学质量和效率。
为了解决上述技术问题，本发明还提供一种教学辅助系统，设置有：采集模块、与所述采集模块连接的识别模块、与所述识别模块连接的提示模块。
所述采集模块，用于实时采集现场的课堂图像并传输给识别模块。
采集模块，如附图9所示，图像采集模块采集目标为班级所有学生上半身图片。采集方式是通过在教室前方墙壁的左、中、右顶端分别安装图像采集装置，调整好拍摄角度，以防止遮挡并综合多个视角，设置图像采集装置每次拍摄的时间间隔，把采集到的图片处理成识别模块所需大小后传输到识别模块，为进行课堂行为识别提供数据；
识别模块，用于对所述课堂图像进行分析，并判断所述课堂图像中行为异常的学生；其具体包括以下单元：
行为检测单元，用于使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测。
具体的，识别模块的目的是识别图像采集模块中上课学生的具体课堂行为与表情来判断学生是否在认真听课，了解学生对授课内容的接受程度。行为检测方法是先采集课堂中上课学生图片数据，对图片做人工标注，标出其中异常学生，即未认真听课学生，具体包括睡觉、说话、做小动作、发呆等。再使用构建的课堂行为图片数据集训练深度张量列网络模型，使得识别模块能自动学习图片特征，检测出图片中的学生异常行为。最后将训练好的模型投入实际使用，实时获取图像采集模块中传输来的3张图像(本专利以三幅图像为例进行说明，硬件设备许可的条件下，可以实时采集多幅图像)，分别检测图片中的学生异常行为，并根据给定的概率阈值框出行为异常学生。
所述提示模块，用于将所述识别模块的识别结果通知授课教师。
提示模块，提示模块实时的将识别结果综合以某种方式通知授课教师，若3个角度的图像都无异常则不通知，教师可通过调节概率阈值以调节识别灵敏度。教师在接收到提示后可以实时了解课堂学生的听课状态和对其所教授的内容的接受程度，可以以此为基础对其中接受程度不是很好的同学重点提问或采取相应的对策。
优选的，还设置有：与所述识别模块连接的存储模块；所述存储模块，用于同步存档所述识别结果并进行编辑分类。
存储模块，存储模块是将该系统的所有识别的最终结果以班级为目，学生为类，以学生个人档案的形式进行存储，学校可以充分利用这些电子档案，从中挖掘出有用信息，一方面可以根据学生整体接受情况来分析和评估教学中的不足，另一方面可以分析学生的学习曲线，找到学生成绩不好的真正原因，可以有针对性地进行查缺补漏。
所述识别模块还包括：
表情识别单元，用于使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别。
所述表情识别单元包括人脸检测子单元和卷积神经网络分类器。
表情识别子模块方法与行为检测类似，不同之处在于标注异常表情进行算法训练。本专利中以两子模块以相同算法模型分开并行识别方式进行描述，但也可以通过改变损失函数，通过多任务损失函数将两项任务融合到同一模型中识别，此处不做具体阐述，但亦在本专利保护范围之内。
本发明所要求保护的方案很好的解决了通过对课堂图像进行分析处理以辅助老师进行教学活动的技术问题，避免了现有的教学设备过于依赖外部的图像识别装置导致硬件要求高且识别不准确的缺陷，提升了老师教学工作的效率。
上述内容，仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (11)

1.一种教学辅助方法，包括以下顺序步骤：
s1.采集模块实时采集现场的课堂图像，并传输给识别模块；
s2.所述识别模块对所述课堂图像进行分析，并判断所述课堂图像中行为异常的学生；
s3.提示模块将所述识别模块的识别结果通知授课教师；
其特征在于，所述步骤s2中包括以下步骤：
s21.所述识别模块使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测。
2.如权利要求1所述的一种教学辅助方法，其特征在于，所述步骤s2还包括以下步骤：
s22.所述识别模块使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别。
3.如权利要求2所述的一种教学辅助方法，其特征在于，所述步骤s22具体包括以下步骤：
s221.通过人脸检测子单元从所述采集模块采集到的所述课堂图像中识别出各学生的人脸区域；
s222.通过卷积神经网络分类器对检测到的所述人脸区域做表情识别。
4.如权利要求1所述的一种教学辅助方法，其特征在于，步骤s1中包括以下步骤：
s11.所述采集模块在教室前方的左、中、右区域分别安装图像采集装置；
s12.所述图像采集模块以班级中所有学生上半身图像为采集目标。
5.如权利要求1所述的一种教学辅助方法，其特征在于，还包括以下步骤：s4.存储模块同步存档所述识别结果。
6.如权利要求5所述的一种教学辅助方法，其特征在于，所述步骤s4中包括以下步骤：
s41.将每个学生对应的所述识别结果按班级制定成学生电子档案；
s42.根据所述学生电子档案绘出学生上课状态曲线，用以便于授课教师结合当时教授的内容以及考试成绩对学生进行有针对性的辅导。
7.如权利要求1所述的一种教学辅助方法，其特征在于，步骤s1之前还包括以下步骤：
q1.构建数据集；
q2.训练所述深度张量列网络模型。
8.如权利要求7所述的一种教学辅助方法，其特征在于，所述步骤q1包括以下步骤：
q11.所述采集模块在教室长时间拍摄所述课堂图像并存储；
q12.选取存在异常的学生图片进行标注。
9.如权利要求8所述的一种教学辅助方法，其特征在于，所述步骤q2包括以下步骤：
q21.通过神经网络模型的多层卷积层提取已标注的所述学生图片中的异常特征,所述异常特征与分解后的全连接层权重矩阵运算得到输出预测值；
q22.所述输出预测值与所述学生图片中的异常行为学生真实标注值的误差构成的损失函数；
q23.根据所述损失函数调整网络参数，得到训练好的深度张量列网络模型。
10.一种教学辅助系统，其特征在于，设置有：采集模块、与所述采集模块连接的识别模块、与所述识别模块连接的提示模块；
所述采集模块，用于实时采集现场的课堂图像并传输给识别模块；
所述识别模块，用于对所述课堂图像进行分析，并判断所述课堂图像中行为异常的学生；所述识别模块包括：
行为检测单元，用于使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行行为检测；
所述提示模块，用于将所述识别模块的识别结果通知授课教师。
11.如权利要求10所述的一种教学辅助系统，其特征在于，还设置有：与所述识别模块连接的存储模块；所述存储模块，用于同步存档所述识别结果并进行编辑分析；
所述识别模块还包括：
表情识别单元，用于使用训练好的深度张量列网络模型来对所述课堂图像中的学生进行表情识别；
所述表情识别单元包括人脸检测子单元和卷积神经网络分类器。
CN201710667590.7A 2017-08-07 2017-08-07 一种教学辅助方法及采用该方法的教学辅助系统 Pending CN108073888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710667590.7A CN108073888A (zh) 2017-08-07 2017-08-07 一种教学辅助方法及采用该方法的教学辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710667590.7A CN108073888A (zh) 2017-08-07 2017-08-07 一种教学辅助方法及采用该方法的教学辅助系统

Publications (1)

Publication Number Publication Date
CN108073888A true CN108073888A (zh) 2018-05-25

Family

ID=62159440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710667590.7A Pending CN108073888A (zh) 2017-08-07 2017-08-07 一种教学辅助方法及采用该方法的教学辅助系统

Country Status (1)

Country Link
CN (1) CN108073888A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830207A (zh) * 2018-06-06 2018-11-16 成都邑教云信息技术有限公司 一种互联网教育告警系统
CN108921748A (zh) * 2018-07-17 2018-11-30 郑州大学体育学院 基于大数据分析的教学规划方法及计算机可读介质
CN108960101A (zh) * 2018-06-22 2018-12-07 张小勇 数据处理方法和系统
CN109165633A (zh) * 2018-09-21 2019-01-08 上海健坤教育科技有限公司 一种基于摄像头感知的智能交互式学习系统
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
CN109377432A (zh) * 2018-12-21 2019-02-22 广东粤众互联信息技术有限公司 一种基于大数据采集的教学系统
CN109522883A (zh) * 2018-12-28 2019-03-26 广州海昇计算机科技有限公司 一种人脸检测方法、系统、装置及存储介质
CN109977989A (zh) * 2019-01-17 2019-07-05 北京工业大学 一种图像张量数据的处理方法
CN110009539A (zh) * 2019-04-12 2019-07-12 烟台工程职业技术学院(烟台市技师学院) 一种学生在校学习状态智能档案系统及使用方法
CN110175534A (zh) * 2019-05-08 2019-08-27 长春师范大学 基于多任务级联卷积神经网络的授课辅助系统
CN110175501A (zh) * 2019-03-28 2019-08-27 重庆电政信息科技有限公司 基于人脸识别的多人场景专注度识别方法
CN110363245A (zh) * 2019-07-17 2019-10-22 上海掌学教育科技有限公司 在线课堂的精彩图片筛选方法、装置及系统
CN110414415A (zh) * 2019-07-24 2019-11-05 北京理工大学 面向课堂场景的人体行为识别方法
CN110827491A (zh) * 2019-09-26 2020-02-21 天津市华软创新科技有限公司 一种学校学生行为大数据分析系统
CN110827595A (zh) * 2019-12-12 2020-02-21 广州三人行壹佰教育科技有限公司 虚拟教学中的互动方法、装置及计算机存储介质
CN111339809A (zh) * 2018-12-20 2020-06-26 深圳市鸿合创新信息技术有限责任公司 一种课堂行为分析方法及装置、电子设备
CN111832595A (zh) * 2019-04-23 2020-10-27 北京新唐思创教育科技有限公司 教师风格的确定方法及计算机存储介质
WO2020216286A1 (zh) * 2019-04-23 2020-10-29 北京新唐思创教育科技有限公司 教师风格预测模型的训练方法及计算机存储介质
CN112116181A (zh) * 2019-06-20 2020-12-22 北京新唐思创教育科技有限公司 课堂质量模型的训练方法、课堂质量评价方法及装置
CN112201116A (zh) * 2020-09-29 2021-01-08 深圳市优必选科技股份有限公司 一种逻辑板识别方法、装置及终端设备
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN112597977A (zh) * 2021-03-02 2021-04-02 南京泛在实境科技有限公司 基于HSV-YOLOv3的网课学生行为识别方法
CN114897647A (zh) * 2022-04-27 2022-08-12 合创智能家具(广东)有限公司 一种教学辅助系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169932A1 (en) * 2010-01-06 2011-07-14 Clear View Technologies Inc. Wireless Facial Recognition
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN106097790A (zh) * 2016-08-31 2016-11-09 王翠丽 一种教学辅助装置
CN106778745A (zh) * 2016-12-23 2017-05-31 深圳先进技术研究院 一种车牌识别方法及装置、用户设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169932A1 (en) * 2010-01-06 2011-07-14 Clear View Technologies Inc. Wireless Facial Recognition
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN106097790A (zh) * 2016-08-31 2016-11-09 王翠丽 一种教学辅助装置
CN106778745A (zh) * 2016-12-23 2017-05-31 深圳先进技术研究院 一种车牌识别方法及装置、用户设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡勇等: "复杂掩模图数据处理与转换的研究", 《计算机技术与应用》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830207A (zh) * 2018-06-06 2018-11-16 成都邑教云信息技术有限公司 一种互联网教育告警系统
CN108960101B (zh) * 2018-06-22 2022-06-14 张小勇 数据处理方法和系统
CN108960101A (zh) * 2018-06-22 2018-12-07 张小勇 数据处理方法和系统
CN108921748A (zh) * 2018-07-17 2018-11-30 郑州大学体育学院 基于大数据分析的教学规划方法及计算机可读介质
CN108921748B (zh) * 2018-07-17 2022-02-01 郑州大学体育学院 基于大数据分析的教学规划方法及计算机可读介质
CN109165633A (zh) * 2018-09-21 2019-01-08 上海健坤教育科技有限公司 一种基于摄像头感知的智能交互式学习系统
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
WO2020082971A1 (zh) * 2018-10-24 2020-04-30 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估系统及其工作方法、创建方法
CN111339809A (zh) * 2018-12-20 2020-06-26 深圳市鸿合创新信息技术有限责任公司 一种课堂行为分析方法及装置、电子设备
CN109377432A (zh) * 2018-12-21 2019-02-22 广东粤众互联信息技术有限公司 一种基于大数据采集的教学系统
CN109522883A (zh) * 2018-12-28 2019-03-26 广州海昇计算机科技有限公司 一种人脸检测方法、系统、装置及存储介质
CN109977989A (zh) * 2019-01-17 2019-07-05 北京工业大学 一种图像张量数据的处理方法
CN109977989B (zh) * 2019-01-17 2021-04-20 北京工业大学 一种图像张量数据的处理方法
CN110175501A (zh) * 2019-03-28 2019-08-27 重庆电政信息科技有限公司 基于人脸识别的多人场景专注度识别方法
CN110009539A (zh) * 2019-04-12 2019-07-12 烟台工程职业技术学院(烟台市技师学院) 一种学生在校学习状态智能档案系统及使用方法
CN111832595A (zh) * 2019-04-23 2020-10-27 北京新唐思创教育科技有限公司 教师风格的确定方法及计算机存储介质
WO2020216286A1 (zh) * 2019-04-23 2020-10-29 北京新唐思创教育科技有限公司 教师风格预测模型的训练方法及计算机存储介质
CN110175534A (zh) * 2019-05-08 2019-08-27 长春师范大学 基于多任务级联卷积神经网络的授课辅助系统
CN112116181A (zh) * 2019-06-20 2020-12-22 北京新唐思创教育科技有限公司 课堂质量模型的训练方法、课堂质量评价方法及装置
CN110363245A (zh) * 2019-07-17 2019-10-22 上海掌学教育科技有限公司 在线课堂的精彩图片筛选方法、装置及系统
CN110363245B (zh) * 2019-07-17 2023-05-12 上海掌学教育科技有限公司 在线课堂的精彩图片筛选方法、装置及系统
CN110414415A (zh) * 2019-07-24 2019-11-05 北京理工大学 面向课堂场景的人体行为识别方法
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN110827491A (zh) * 2019-09-26 2020-02-21 天津市华软创新科技有限公司 一种学校学生行为大数据分析系统
CN110827595A (zh) * 2019-12-12 2020-02-21 广州三人行壹佰教育科技有限公司 虚拟教学中的互动方法、装置及计算机存储介质
CN112201116A (zh) * 2020-09-29 2021-01-08 深圳市优必选科技股份有限公司 一种逻辑板识别方法、装置及终端设备
CN112597977A (zh) * 2021-03-02 2021-04-02 南京泛在实境科技有限公司 基于HSV-YOLOv3的网课学生行为识别方法
CN114897647A (zh) * 2022-04-27 2022-08-12 合创智能家具(广东)有限公司 一种教学辅助系统

Similar Documents

Publication Publication Date Title
CN108073888A (zh) 一种教学辅助方法及采用该方法的教学辅助系统
US11270526B2 (en) Teaching assistance method and teaching assistance system using said method
CN113963445B (zh) 一种基于姿态估计的行人摔倒动作识别方法及设备
CN111898406B (zh) 基于焦点损失和多任务级联的人脸检测方法
CN109271888A (zh) 基于步态的身份识别方法、装置、电子设备
CN108549876A (zh) 基于目标检测和人体姿态估计的坐姿检测方法
CN109284737A (zh) 一种用于智慧教室的学生行为分析和识别系统
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
CN106650619A (zh) 一种人体动作识别方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
US20210319363A1 (en) Method and system for generating annotated training data
CN106683091A (zh) 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN109255375A (zh) 基于深度学习的全景图像对象检测方法
CN107092883A (zh) 物体识别追踪方法
CN111507227B (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN111368768A (zh) 一种基于人体关键点的员工手势指引检测方法
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
Wu et al. A size-grading method of antler mushrooms using yolov5 and pspnet
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
CN106156713A (zh) 一种用于考场行为自动监控的图像处理方法
Iren Comparison of yolov5 and yolov6 models for plant leaf disease detection
CN109118512A (zh) 一种基于机器视觉的课堂迟到早退检测方法
Yin Albert et al. Identifying and Monitoring Students’ Classroom Learning Behavior Based on Multisource Information
CN115471773B (zh) 一种面向智慧教室的学生跟踪方法及系统
CN112686128B (zh) 基于机器学习的教室课桌检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180525

RJ01 Rejection of invention patent application after publication