CN101699469A - 课堂录像中教师黑板书写动作的自动识别方法 - Google Patents

Abstract

课堂录像中教师黑板书写行为的自动识别方法，属于远程教育系统中的图像识别技术，其处理步骤为：a.使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的帧差图像并进行分析；b.对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通过设置阈值，去除二值帧差图像中较为明显的噪声区域；c.获取目标矩形框并计算矩形的面积，当矩形面积满足一定条件时，判断为有人体运动，则对教师板书行为进行检测及识别；d.若连续检测到了写黑板行为超过5帧图像时，则对摄像机进行拉伸处理；e.若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸倍数还原为初始倍数。

Description

课堂录像中教师黑板书写动作的自动识别方法

技术领域

本发明是一种课堂录像中教师黑板书写动作的自动识别算法，属于远程教育系统中的图像识别技术。

背景技术

远程教育作为一种有效而经济的学习方式，得到越来越多的认同。而制约远程教育发展的一个关键因素之一是课程视频资源的缺乏，其原因是较为繁琐的教学现场视频的人工摄制过程。目前，拍摄教学视频需要专门的摄像师到教室里去全程拍摄，或者教师在专门的录制教室进行授课，成本比较高。因此，使摄制设备自动化、智能化，不需要专门的摄影师的参与，能方便摆放在普通教室，具有广泛的应用前景。

要实现教学过程的自动录播，智能视频分析是其核心技术，包括目标检测、目标跟踪及行为识别等。目标检测利用视频中运动或特征的信息，检测出视频中的目标，属于低级视频处理。目标跟踪根据目标检测的结果，对特定的目标进行跟踪，属于中级视频处理。行为识别对跟踪目标的行为进行识别，属于高级视频处理。

在用于远程教学的视频分析中，在对拍摄的主要目标——教师进行定位、跟踪之后，还需要对视频中的教师的行为进行识别，使摄像机自动对不同的行为做出不同的反应，获得改好的摄像效果。其中，教师写黑板(在黑板上书写文字或绘图)的动作是课堂教学中最常见的重要行为之一，如果检测到教师正在写黑板，则摄像头聚焦在以板书的手为中心的黑板上，使黑板上书写的内容清晰可见。当检测到写黑板结束后，则摄像机恢复原来的状态。

发明内容

技术问题：本发明的目的是提供一种课堂录像中教师黑板书写动作的自动识别方法，在准确地找到教师的位置后，判断教师是否有写黑板的动作，如果有则进行摄像机拉伸。问题的实质是在教师板书的目标区域中，根据教师写板书通常右上部动作较大的特点来比较运动目标各部分的运动量大小，并由此判断教师是否在板书以及拉伸摄像机。

技术方案：本发明的课堂录像中教师黑板书写动作的自动识别方法包括以下步骤：

a.使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的帧差图像并进行分析；

b.对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通过设置阈值，去除二值帧差图像中较为明显的噪声区域；

c.获取目标矩形框并计算矩形的面积，当矩形面积满足所定条件时，判断为有人体运动，则对教师板书行为进行检测及识别；

d.若连续检测到了写黑板行为超过5帧图像时，则对摄像机进行拉伸处理；

e.若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸倍数还原为初始倍数。

在所述的二值帧差图像中，判断教师写黑板动作的运动量的方法为：

1)帧差图像分析：帧差图像分析的对象为目标人体的外接矩形框，是对运动目标的检测结果，首先对帧差图像做数学形态学中的闭运算处理，然后对处理后的结果进行连通区域标记，去除二值帧差图像中的噪声；当某个连通区域的像素点个数小于1000时，认为该区域为噪声区域，此时，在二值帧差图像中组成目标人体的黑色像素点，其余部分均为白色像素点，遍历整个二值帧差图像中所有黑色像素点的坐标，并在这些坐标当中分别找出水平和垂直方向的最大和最小坐标值，确定目标人体外接矩形框的左上角顶点A、右上角顶点B、右下角顶点C、左下角顶点D的坐标，当矩形面积在3000到10000之间时，就说明教师有可能在写黑板；

2)划分运动区域：教师正在写黑板的姿态一般是举起右手，手部有较大的运动而其他部位动作很小，因此首先要将目标人体外接矩形框分成几个区域，由于写黑板的动作是教师背向摄像头伸出手去写板书，而教师朝右上方向伸出去板书的手与身体通常满足一定比例，因此可以在腋下部位附近确定一个分割特征点G，通过分割特征点G分别做水平和垂直方向的直线，并与外接矩形框相交，从而可以将外接矩形框分为4个矩形区域；

选择100幅教师板书时的图像作为样本，计算出每幅图像中的手部宽度像素值和手部高度像素值，并对所有样本求平均值就可以大致算出H_h和H_w，再由已经获得的外接矩形框四个顶点的坐标，就可以计算出特征分割点G的坐标，在确定了特征分割点G的坐标以后，过分割点的水平和垂直方向直线与外接矩形框左、右、上、下四条边的交点E、F、H、I的坐标也随之确定，从而由目标人体外接矩形框得到四个运动区域，其中外接矩形框的右上部分区域包含了教师伸出去写黑板的手，整个左侧部分包含了教师的身体；

3)判断运动量：根据划分好的4个运动区域，分别计算出各个区域的运动量，某区域的运动量可以由二值帧差图像中该区域值为1的像素的个数来描述，而教师写黑板的姿态反映为目标人体外接矩形框中的右上区域有较大的运动，而右下区域基本上没有运动，左下和左上区域仅有少量运动；

因此当各区域的运动量满足以下三个条件的时候，判断此时视频中的目标人体正在写黑板：

a.右上的手部区域HBFG的运动量比右下空白区域GFCI的运动量大；

b.左下的身体区域EGID的运动量比右下空白区域GFCI的运动量大；

c.右上的手部区域HBFG有一定的运动量，即手部区域运动量与该区域面积的比值达到一定的比例。

有益效果：本发明利用比较运动量的方法判断教师板书行为不仅计算量小，而且在判断出教师的板书行为的同时，可以将板书内容放大到一个合适的比例，使得录播系统能够为学习者提供一种清晰并直观的感觉。

1.由于采用本发明的远程教育自动录播系统中的摄像机是移动的，所以场景变化用帧差法来进行运动检测不需要考虑特定背景，具有更好的效果。

2.比较各部分运动量是比较两幅图像各部分区域中颜色差距比较大的象素个数，即比较帧差图像各部分区域中运动象素的个数。该方法计算量较少且结果精确，适于实时检测。

3.当检测到有板书时，在不同场景中可自适应地根据比例系数拉伸来达到清晰的效果，适用于大多数远程教育系统。

附图说明

图1写黑板时的帧差图，

图2帧差图像分析，

图3写黑板行为识别算法的流程图。

具体实施方式

要对教师写黑板这个行为进行识别，必须要对写黑板这个行为的特点进行分析，用数学语言描述这个特点，然后设计一个分类器，来判断视频中的教师是否在写黑板。教师正在写黑板的姿态一般是举起右手在黑板板书，其特征是教师的手部有较大的运动而身体其他部位动作很小，因此有必要先将目标人体外接矩形框分成4个区域。其中包含手部的右上角区域有较大的运动，而右下角的空白区域基本上没有运动，左下角的身体部分也有轻微的运动。计算目标人体外接矩形框中各区域的运动量并比较各个区域之间运动量，由此判断教师是否在板书以及拉伸摄像机。若连续检测到了写黑板行为超过5帧图像时，则对摄像机进行拉伸处理；若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸倍数还原为初始倍数。

对视频中的人体行为进行识别就是对视频中的运动行为进行分析，而帧间差分图像能很好地反映视频中的运动信息，常用来描述视频中的运动信息。帧间差分图像是相邻两帧视频图像进行图像相减运算(差值的绝对值)而得到的图像：

D_k(x，y)＝|f_k-1(x，y)-f_k(x，y)|     (1)

由于自然图像存在或多或少的噪声，在直接进行图像相减得到的帧间差分图像中，噪声和运动区域存在明显差别。有必要采用一个固定的阈值对帧间差分图像进行二值化，得到二值化的帧差图像(如图1所示)：

$\left\{\begin{array}{cc}{D}_k(x,y)=0,& D_k(x,y)<T_h\\ D_k(x,y)=1,& D_k(x,y)\&GreaterEqual;T_h\end{array}\right.---\left(2\right)$

在式(2)中，T_h的大小问题要根据运动的程度确定。若T_h太大，则检测不到人体运动比较小的部分，会造成检测出的目标人体不连续；反之，检测出的目标人体会包含背景的部分噪声。通过实验测定，确定T_h值为35时较为合适。通过阈值分割之后，D_k(x，y)＝1的点就是图1中表示目标人体的黑色像素点，D_k(x，y)＝0的点组成了白色的背景区域。

要分析教师写黑板的动作，首先要对二值帧差图像进行运动目标检测。只有在区域中有运动行为的时候，才进行写黑板行为检测。运动目标检测过程是通过对二值帧差图像做数学形态学处理中的闭运算之后再进行连通区域标记来实现的。在处理二值化帧差图像的时候，通过区域标记算法给各个连通的黑色像素点所组成的区域加上相同的标记，也即：在处理一个黑色像素点时，把周围与它连通的黑色像素点附上相同的标记，这就组成了一个标记的区域。同时，由于二值化后的帧差图像中或多或少存在着噪声像素点，区域标记算法还可以对二值化帧差图像进行去噪处理。当某个噪声区域中的黑色像素点构成一个小的连通区域时，假设区域中所有黑色像素点的数目小于一个特定数值(本算法中该阈值为1000)，则把该连通区域中全部像素点都变为白色像素区域。若有写黑板的动作，则目标人体像素点所构成的连通区域通常比较大，其检测过程通过获取目标的外接矩形框来实现。

在二值帧差图像中，除了组成目标人体的黑色像素点，其余部分均为白色像素点(如图1所示)。遍历整个二值帧差图像，比较所有黑色像素点横坐标和纵坐标值，分别找出水平的最小值P_l和最大值P_r，以及垂直方向的最小值P_t和最大值P_b，进而确定图2中目标人体外接矩形框的四个顶点A、B、C、D的坐标。因此，四个顶点的坐标分别为：A点坐标为(P_l，P_t)，B点坐标为(P_r，P_t)，C点坐标为(P_r，P_b)，D的坐标为(P_l，P_b)。当矩形面积在3000到10000之间时，就说明教师有可能在写黑板并进行写黑板动作的识别。

由于写黑板的动作是教师背向摄像头伸出手去写板书(如图1所示)，而教师朝右上方向伸出去板书的手与身体通常满足一定比例，因此可以在腋下部位附近确定一个分割特征点G。通过分割特征点G分别做水平和垂直方向的直线，并分别与相交外接矩形框的左、右、上、下四条边相交于点E、F、H、I(如图2所示)，从而可以将外接矩形框分为4个矩形区域。在将目标人体外接矩形框ABCD分成4个区域之后，就可以根据各个区域运动量之间的联系来判别教师写黑板的行为。同时通过分析可以发现，教师写黑板的姿态在二值帧差图像上的反映主要表现为：人体外接矩形ABCD的右上角区域HBGF有较大的运动；而右下角区域GFCI基本上没有运动；左下角EGID和左上角AHGE也有少量的运动。这样，人体目标四个区域的运动幅度和频度的大小不同就形成了教师写黑板动作的基本特点。因此，根据这些对课堂上教师写黑板行为的分析，可以设计出判断视频中目标人体是否在写黑板的分类器。

首先根据人体的比例确定G点的位置，把目标人体外接矩形分为4个矩形区域。选择100幅教师板书时的图像作为样本，计算出每幅图像中的手部宽度像素值和手部高度像素值，并对所有样本求平均值就可以大致算出H_h和H_w。在图2矩形中，由H_w和B点坐标可以得到H点的坐标为(P_r-H_w，P_t)，由H_h和B点坐标可以得到F点的坐标为(P_r，P_t+H_h)，进而得到分割特征点G的坐标为(P_r-H_w，P_t+H_h)。类似地，可以得到E点的坐标为(P_l，P_t+H_h)，I点的坐标为(P_r-H_w，P_b)。

在得到这些点的坐标之后，就可以确定出4个运动区域(如图2所示)。各个区域的运动量可以由二值帧差图像中该区域值为1的像素的个数来描述，记区域的运动量为Motion_area，如区域ABCD的运动量为Motion_ABCD。

当目标同时符合如下三个条件，则判断此时视频中目标人体正在写黑板：

1)右上手部区域HBFG的运动量比右下空白区域GFCI的运动量大(a是比例系数)

Motion_HBFG-a×Motion_GFCI＞0    (3)

2)左下身体区域EGID的运动量比右下空白区域GFCI的运动量大(b是比例系数)

Motion_EGID-b×Motion_GFCI＞0       (4)

3)右上手部区域HBFG有一定的运动量，即该区域的运动量与其面积Area_HBFG的比达到一定的比例c。

$\frac{{\mathrm{Motion}}_{\mathrm{HBFG}}}{{\mathrm{Area}}_{\mathrm{HBFG}}}>c---\left(5\right)$

根据区域HBFG和区域GFCI在垂直方向的比例，可以确定a的值为H_h/(100-H_h)。由区域EGID和区域GFCI的比例可以得到，b的值确定为(100-H_w)/H_W。根据多次测验，可以得出右上运动区域HBFG中，运动区域大约占整个区域面积的30％以上。所以c的值确定为0.3。

结合上述三个式子，得到判断视频中目标人体是否在写黑板的两类分类器如下：

其中，Motion为各区域的运动量，Area为区域的面积，a、b、c为参数。当结果Is_writing为1时表示正在写黑板，结果为0则不是在写黑板。

对教师写黑板行为进行识别方法的流程图如图3所示，其实现步骤为：

1)通过视频采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，从而得到二值化的帧差图像；

2)通过对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记对二值帧差图像进行去噪处理；

3)遍历检测到的所有黑色像素点得到包含目标的外接矩形框，若外接矩形框面积在3000到10000之间时，则进行教师板书行为检测；

4)对外接矩形框进行区域划分，计算目标人体外接矩形框右上，右下和左下部分运动区域的运动量；

5)当这三个区域的运动量同时满足公式(3)，(4)和(5)的关系，则表明检测到教师在板书；

6)若连续检测到教师板书行为超过5帧图像时，则拉伸摄像机。若连续检测不到教师板书行为超过50帧图像时，则拉伸倍数还原为初始倍数。

Claims (2)

1.一种课堂录像中教师黑板书写动作的自动识别方法，其特征在于该方法包括以下步骤：

a.使用采集卡采集一帧图像，用当前帧与前一帧做图像相减运算，得到二值化的帧差图像并进行分析；

b.对二值帧差图像做数学形态学中的闭运算处理之后，再进行连通区域标记，通过设置阈值，去除二值帧差图像中较为明显的噪声区域；

c.获取目标矩形框并计算矩形的面积，当矩形面积满足所定条件时，判断为有人体运动，则对教师板书行为进行检测及识别；

d.若连续检测到了写黑板行为超过5帧图像时，则对摄像机进行拉伸处理；

e.若连续检测不到写黑板行为超过50帧图像时，则把摄像机的拉伸倍数还原为初始倍数。

2.根据权利要求1所述的课堂录像中教师黑板书写动作的自动识别方法，其特征为在所述的二值帧差图像中，判断教师写黑板动作的运动量的方法为：

1)帧差图像分析：帧差图像分析的对象为目标人体的外接矩形框，是对运动目标的检测结果，首先对帧差图像做数学形态学中的闭运算处理，然后对处理后的结果进行连通区域标记，去除二值帧差图像中的噪声；当某个连通区域的像素点个数小于1000时，认为该区域为噪声区域，此时，在二值帧差图像中组成目标人体的黑色像素点，其余部分均为白色像素点，遍历整个二值帧差图像中所有黑色像素点的坐标，并在这些坐标当中分别找出水平和垂直方向的最大和最小坐标值，确定目标人体外接矩形框的左上角顶点A、右上角顶点B、右下角顶点C、左下角顶点D的坐标，当矩形面积在3000到10000之间时，就说明教师有可能在写黑板；

2)划分运动区域：教师正在写黑板的姿态一般是举起右手，手部有较大的运动而其他部位动作很小，因此首先要将目标人体外接矩形框分成几个区域，由于写黑板的动作是教师背向摄像头伸出手去写板书，而教师朝右上方向伸出去板书的手与身体通常满足一定比例，因此可以在腋下部位附近确定一个分割特征点G，通过分割特征点G分别做水平和垂直方向的直线，并与外接矩形框相交，从而可以将外接矩形框分为4个矩形区域；

选择100幅教师板书时的图像作为样本，计算出每幅图像中的手部宽度像素值和手部高度像素值，并对所有样本求平均值就可以大致算出H_h和H_w，再由已经获得的外接矩形框四个顶点的坐标，就可以计算出特征分割点G的坐标，在确定了特征分割点G的坐标以后，过分割点的水平和垂直方向直线与外接矩形框左、右、上、下四条边的交点E、F、H、I的坐标也随之确定，从而由目标人体外接矩形框得到四个运动区域，其中外接矩形框的右上部分区域包含了教师伸出去写黑板的手，整个左侧部分包含了教师的身体；

3)判断运动量：根据划分好的4个运动区域，分别计算出各个区域的运动量，某区域的运动量可以由二值帧差图像中该区域值为1的像素的个数来描述，而教师写黑板的姿态反映为目标人体外接矩形框中的右上区域有较大的运动，而右下区域基本上没有运动，左下和左上区域仅有少量运动；

因此当各区域的运动量满足以下三个条件的时候，判断此时视频中的目标人体正在写黑板：

a.右上的手部区域HBFG的运动量比右下空白区域GFCI的运动量大；

b.左下的身体区域EGID的运动量比右下空白区域GFCI的运动量大；

c.右上的手部区域HBFG有一定的运动量，即手部区域运动量与该区域面积的比值达到一定的比例。

Images