CN103093654A - 一种双摄像机交互式智能跟踪教学系统 - Google Patents

Abstract

本发明公开了一种双摄像机交互式智能跟踪教学系统，包括图像采集模块、摄像机控制模块、用户界面交互模块、线程交互模块、教师跟踪模块、学生检测模块、学生跟踪模块。在教学过程中，控制主机通过双路图像采集卡实时获取教师与学生摄像机的拍摄图像，通过利用基于图像处理技术的跟踪算法和检测算法的计算结果，选择适当的控制策略，合理安排信号之间的相互切换，并快速灵活准确的实现现场摄像机的摇摆和俯仰、缩放和聚焦等功能，保证教师时刻处于拍摄画面的适当位置，实现了对教师自动跟踪定位、学生全景显示及提问检测和板书时给予特写镜头等功能，从而实现了跟踪抗外界干扰、动作无特定限制、拍摄无专人值守的自动智能跟踪教学系统。

Description

一种双摄像机交互式智能跟踪教学系统

技术领域

本发明涉及了一种结合图像采集、运动目标检测与跟踪以及摄像机控制等技术的交互式智能跟踪教学系统，属于计算机视觉教学技术领域。

背景技术

受教育部大力推广的农远工程启发，依托现代互联网技术的高速发展，包括学习方式的改变、E-learning技术空前的发展与应用，网络教学的日益普及等，近年来智能跟踪教学系统逐渐在我国各大中小学课堂教学中获得推广，成为教学技能培训的主要形式之一。随着近年来图像处理及计算机视觉理论中目标跟踪技术研究的快速发展，以及计算机和相关硬件设备日新月异的技术更新速度和生产成本的降低，智能跟踪教学系统不仅能让每个普通教师在不受任何约束授课的同时拍摄实时跟踪图像，而且拥有提供了各类界面接口，便于操作的优势，在各教学培训领域获得了更为广泛的需求和应用。

例如，在广大中小学校的日常教学中，教师可以按照平时的教学习惯进行授课，系统将会自动对其运动特征进行分析计算，通过高效稳定的跟踪策略保证教师时刻处于拍摄画面的适当区域，然后将教师授课以及与学生互动交流的过程制作成多媒体文件(课件、教学资源等)，借助于网络教学和远程点播等教学平台，可以为边远地区学生提供优质的教学资源，并且该系统还能为政府会议、企业培训、学术交流、基础教育等行业提供多媒体信息化的解决方案。

目前常见的教学系统方案，如广州奥威亚电子科技有限公司的室内定位系统，通过使用多个红外接收器组成的红外接收条，利用传感器之间互相发送与接收信号的原理来获取目标位置坐标信息，但其不涉及对教师与学生动作的识别，功能比较单一；杭州开锐技术有限公司的多目全景红外锁定跟踪摄像系统，其主摄像头装有红外摄像头与其一起转动，能够锁定跟踪任何角度的红外目标，但对教师板书动作给予特写镜头时，须通过专用传感器检测，而且整套系统包含两个跟踪摄像头，两个红外摄像头，构造复杂，教师在授课期间还须佩戴红外发射器；北京同步科技有限公司包含一台教室特写摄像机、一台主动型红外扫描摄像机以及一台学生全景摄像机，通过红外探测技术实现对教师的跟踪，但对于学生摄像机仅仅实现拍摄全景画面的功能，系统缺乏交互性；北京翰博尔信息技术有限公司的图像定位系统包含一个教师定位摄像机，一个教师跟踪摄像机，两个学生定位摄像机，一个学生跟踪摄像机，有很好的跟踪与检测效果，但是其整套系统体构造复杂,成本昂贵，不利于安装及维护；

发明内容

本发明要解决的问题在于，针对目前常见的系统解决方案中，容易出现的对授课教师的跟踪易受周围环境影响、教师授课运动区域受限、教师与学生之间的交流较少、需要专人配合操作，且系统配置复杂（大于两个摄像机或需其它专用传感器件）等缺陷，设计了一种用于教学的双摄像机交互智能跟踪教学系统。

为实现本设计方案的目的，本发明提供了一种双摄像机交互式智能跟踪教学系统。总设计图如图1所示，包括：

图像采集模块：使用双路图像采集卡可实时而独立的分别对教师摄像机与学生摄像机采集图像，然后将采集到的图像按帧存储在系统内存中，其中将教师摄像机采集到的图像作为教师跟踪模块或学生跟踪模块的输入图像，将学生摄像机所采集到的图像作为学生检测模块的输入图像；当摄像机控制模块接收到对教师或学生摄像机产生运动控制的指令时，图像采集模块会通过更新采集到的图像，在用户界面交互模块的显示窗口中进行实时显示；

摄像机控制模块：在手动跟踪模式下，操作者针对需要观察的区域，只需在界面交互模块的画面显示窗口中，使用鼠标左键单击该区域，便可向教师摄像机发送控制指令，使其快速稳定的转至该区域，控制鼠标滑轮向前滑动时，对该区域进行放大查看，向后滑动时，可扩大所观察的区域范围；在自动跟踪模式下，线程交互模式中所包含的教师跟踪模块、学生跟踪模块和学生检测模块可依据相应判断策略在教师跟踪、学生检测以及学生跟踪流程间协调切换并进行计算，依据其得到的结果来实现对教师摄像机与学生摄像机的独立控制功能，包括教师跟踪期间对教师摄像机的摆动和缩放控制、学生起立回答问题时对学生给予特写镜头等动作；

用户界面交互模块：为用户对系统的运行与操作提供界面支持，包括初始化参数设置单元、跟踪方式的选择以及对图形采集模块中教师摄像机与学生摄像机所拍摄图像的实时显示；其中，初始参数设置界面包括对教师身高信息，教室长、高尺寸参数的录入，并依据系统安装的几何关系计算并返回具体的安装参数。另一方面，根据教师身高能够对教师自动跟踪时的初始位置进行自动设置；然后将每一帧由图像采集模块采集到的图像在指定的画面显示窗口中进行实时显示，以便用户能对教师跟踪、学生跟踪以及学生检测的结果进行最直观的观察；跟踪方式提供两种选择：手动跟踪方式与自动跟踪方式，当选择手动跟踪方式时，针对实际应用要求，可在教师摄像机的拍摄显示窗口中，根据相应的规则，简单操作鼠标便可完成用户与系统之间的交互功能，达到对教室任意区域缩放查看的目的；当选用自动跟踪方式时，在初始参数设置完毕后，点击“开始运行”按钮后，系统的运行以及对于线程交互模块、摄像机控制模块以及图像采集模块的操作都是自动进行，无需额外的人为操作，方便简洁；

线程交互模块：当系统选择自动跟踪模式，并且点击“开始运行”按钮后，对于从教师摄像机中采集到的彩色图像将传递给教师跟踪模块，经过特征区域识别、模板提取、建立混合高斯模型、建立目标颜色直方图、极大似然估计(EM)、卡尔曼滤波预测搜索目标等步骤后，即可获得教师具体的运动信息与位置参数，并根据所设计的教师跟踪策略来实现对教师摄像机摆动、缩放与调节焦距等动作的控制；对于从学生摄像机中采集到的彩色图像，将其传递给学生检测模块，经过颜色空间转换、平滑处理、阈值化处理、高斯动态背景处理后，得到学生运动的检测结果，并据此实现对学生摄像机的相关动作控制的功能；当学生检测模块检测到学生上讲台板书回答问题时，通过向线程交互模块发送消息，切换教师跟踪模块至学生跟踪模块，并使得教师跟踪模块暂时挂起，学生跟踪模块开始运行，从教师摄像机采集到的图像通过图像灰度变换、阈值化处理、背景剪除处理后，计算得到的学生位置参数，若满足一定阈值条件，则控制教师摄像机对学生板书给予特写镜头显示，当检测到学生下讲台回座位时，再次进行模块线程的切换工作，恢复教师跟踪模块的功能，并使学生跟踪模块挂起；

教师跟踪模块：对于从图像采集模块中实时获取的教师摄像机所采集的图像，首先在第一帧图像中对是否存在教师特征区域进行判断，若存在则对其特征区域进行模板建模，若不存在则提示错误，重新开始检测；然后对教师的特征模板所在区域建立混合高斯模型，并根据其颜色直方图的分布情况，通过极大似然估计算法(EM)对特征区域的位置坐标出现的概率进行似然估计计算，得到教师特征区域在当前帧图像的估计位置；最后，将上一帧与当前帧图像中教师特征区域位置坐标通过卡尔曼滤波器进行数据递归运算，得到教师特征区域在当前帧中的准确估计位置参数，由此可获取教师运动期间的位置信息与特征区域参数，当教师的位置坐标发生移动时，可控制教师摄像机根据其坐标移动差值的大小与方向进行相应的摆动或俯仰，若在计算过程中，检测到教师位置在规定时间内未发生移动，且教师特征区域的检测值小于一定阈值，则认为教师此时正在背身板书，通过控制教师摄像机对其板书给予特写放大镜头，以便能在界面交互模块的显示窗口中清晰的显示教师的板书；

学生检测模块：对于从图像采集模块中实时获取的学生摄像机所采集的图像，首先进行初始化图像预处理，将图像从彩色空间转换至灰度空间，然后对学生所处的教室区域图像建立背景模型，对所获取的背景模型经过滤波器平滑处理后，通过实时更新该背景模型来实现对学生运动的检测；当有学生起立或产生其他的干扰动作时，将会造成背景模型的变化，通过计算可得到产生运动区域的位置参数与特征值大小，再对所获取到的参数信息经过阈值化处理，只有在满足一定阈值条件的情况下所产生的动作才认为是学生起立的正确动作，并控制学生摄像机对起立学生给予特写镜头，否则认为是对检测的干扰动作，不予理会；然后对产生背景变化的运动区域的特征值进行计算，通过条件判断确定是否为学生上讲台回答问题的正确动作，若确为学生上讲台回答问题，则通过向线程交互模块发送消息来实现教师跟踪模块到学生跟踪模块的切换，并通过一定时间缓冲后，重新更新教室区域的背景模型并持续对学生运动进行检测；

学生跟踪模块：当线程交互模块获取由学生检测模块检测到的学生上讲台板书答题的检测结果时，通过消息处理机制实现教师跟踪模块与学生跟踪模块之间的切换，挂起教师跟踪模块，并开始运行学生跟踪模块；此时将教师摄像机采集的彩色图像，首先经过图像二值化处理，通过对像素点进行开闭运算，去除对检测结果产生干扰的噪声，然后通过帧间背景剪除法获取学生上讲台期间的运动信息，当检测到学生在讲台区域未移动开始板书时，对教师摄像机进行控制来实现对学生板书给予特写镜头，并且在界面交互模块的显示窗口中清晰显示学生板书；当检测到学生的移动特征值超过一定阈值时，则认为此时学生走下讲台回到座位，发送消息给线程交互模块，实现与教师跟踪模块的再次切换，使教师跟踪模块开始运行，并使学生跟踪模块挂起。

本发明与现有技术相比的优点在于：

（1）本发明的教师跟踪算法不但能实时对教师在黑板和讲台区域的运动进行检测跟踪，而且还能判断教师在黑板区域是否进行板书的情况，若正在板书，则控制教师摄像机对其板书给出特写镜头。本发明所采用的教师跟踪模块是在教师授课期间，对教师进行的全方位范围跟踪，包括其在讲台走动以及走下讲台进入学生中间时的情形。

（2）基于机器视觉和模式识别的跟踪与检测算法所实现的本套系统，在实际使用中很大程度上解放了对教师授课区域和动作的限制与束缚，与主动式超声探测技术和红外跟踪系统相比，教师无需佩戴发射器定位装置，只需在系统开始时进行特征区域模板的提取即可，且系统长时间的运行也不会对教师产生任何健康影响；与佩戴发射器定位技术相比，本发明不对教师授课期间的动作与移动范围提出要求，教师的跟踪运动区域更为广泛；与基于多通道融合技术相比，本发明对阴影与光照的影响有一定的抗干扰能力，对教室内的光线适应性更好，算法的跟踪稳定性更强。

（3）本发明所述的学生检测模块不仅在检测到学生起立时，给与起立学生特写镜头，而且可以在检测到学生上讲台写板书回答问题时，向主机发送消息，与教师跟踪线程发送交互式通信，从而实现对上讲台学生的跟踪和对板书给予特写镜头的功能。

（4）常用的教学跟踪系统对于镜头的控制等操作，往往会需要多人的配合，并且在录制后还需要进行人为的加工处理。而在本发明中，可根据实际需求选择跟踪方式，当处于自动跟踪方式下时，包括线程交互模块、摄像机控制模块和跟踪画面显示等都是自动完成，无需专人进行额外操作。

（5）本发明仅使用两个摄像机，通过一台计算机主机对他们进行相应控制，不但降低了系统成本，而且用户界面交互模块所包含的初始参数设置单元能为系统安装与初始参数设置提供直观简便的帮助。系统还为网络直播和教学录播提供专用扩展口，能够在保证系统良好兼容性的前提下，扩大其应用范围与适用场景。

附图说明

图1为本发明一种双摄像机交互式智能跟踪教学系统的总体设计图；

图2为本发明中用户界面交互模块的设计图；

图3为本发明中初始参数设置单元的设计图；

图4为本发明中教师跟踪模块的流程图；

图5为本发明中学生检测模块的流程图；

图6为本发明中学生跟踪模块的流程图；

图7、8为本发明中的安装示意图。

具体实施方式

如图1所示，本发明一种双摄像机交互式智能跟踪教学系统由8个模块构成：图像采集模块、摄像机控制模块、用户界面交互模块、线程交互模块、教师跟踪模块、学生检测模块、学生跟踪模块。

整体实现过程如下：

（1）系统初始化参数设置单元。在实际安装使用的过程中，针对不同教室的大小，教师摄像机与学生摄像机的安装位置都会有所不同，通过系统初始化参数设置，可以获取摄像机安装时的吊顶高度与倾斜角度，为了在后期获得更好的跟踪与检测效果，往往还需要根据实际情况设置教师摄像机的初始预置位；对于输入的授课教师身高信息，也为计算学生摄像机安装时的倾斜角度提供依据，计算完毕后，初始化参数设置单元会自动修改系统参数，以适应环境的变化。

（2）摄像机控制与图像采集功能的实现。按照系统初始化参数的指导，安装好摄像机后，图像采集模块分别通过彩色图像采集卡从教师摄像机和学生摄像机采集图像，按帧存储在计算机的内存中，在需要的时候依次读取，然后在用户交互界面中的教师摄像机显示窗口与学生摄像机显示窗口中进行实时显示，为用户通过直观清晰的拍摄画面。根据系统运行需要满足的跟踪条件，通过485总线向摄像机控制模块发送指令，经过调节显示区域大小、摄像机焦距等步骤，达到理想的显示效果。对于摄像机运动期间图像的采集，需要通过设置摄像机的运动速度和图像采集模块的采集显示速度，才能保证画面显示的稳定性与实时性。

（3）教师跟踪与学生检测、跟踪功能的实现。

手动跟踪模式下，用户只需通过鼠标就可以直接与用户界面上教师摄像机显示窗口中的拍摄画面进行交互，在想要观察的区域点击鼠标左键，就可以向摄像机控制模块发送相应的控制指令，若点击边缘区域，则摄像机会以较快的速度运动到指定地点，若点击离中间位置较近的区域，则摄像机会以较慢的速度运动到该处。如果需要得到黑板上板书的清晰图像，只需向前滑动鼠标的中间滚轮，当向后滑动鼠标滚轮时，则可以扩大观察的范围，以便从全局上观察授课过程。

自动跟踪模式下，用户首先需要在初始化参数设置模块中提供教师的身高信息，用户界面交互模块会根据教师身高，自动调节教师跟踪的初始位置，以保证教师处于教师摄像机清晰可见的中间位置。点击“开始运行”的按钮后，教师跟踪模块和学生检测模块同时运行，其中教师跟踪模块严格按照教师跟踪策略对教师的运动进行检测和跟踪，若教师横向移动，则向教师摄像机发送指令，使其按照一定速度左右摆动以保证教师时刻处于画面显示的适当位置，若教师板书，则对其板书给予特写镜头。学生检测模块若检测到学生起立回答问题则向学生摄像机发送指令，对起立学生给予特写镜头，若检测到学生走上讲台板书答题，则向线程交互模块发送消息，通过其对教师跟踪模块与学生跟踪模块进行切换，开始运行学生跟踪模块。学生跟踪模块若检测到学生板书，则对其板书给予特写镜头，若检测到学生回座位，则再次向线程交互模块发送消息，使学生跟踪模块向教师跟踪模块进行切换，恢复教师跟踪模块的功能。

（4）用户界面输出。用户界面交互模块的主界面上设置有教师摄像机显示窗口和学生摄像机显示窗口，教师摄像机的预置位设置按钮，以及教师摄像机转动速度的设置按钮，可以允许用户按照自己的需求和意愿对摄像机控制模块、图像采集模块和线程交互模块进行直接的操作，然后从跟踪检测结果显示窗口中获取相应的拍摄画面，从而直接从教师摄像机和学生摄像机的显示窗口中对教师跟踪和学生检测、跟踪的过程进行观察。

上述各模块的具体实现过程如下：

1.用户界面交互模块

该模块的实现过程如图2、3所示：

（1）运行程序后，出现如图2所示的主界面，左侧窗口为教师摄像机显示窗口，右侧窗口为学生摄像机显示窗口，在主界面下方的功能区域中，左侧包含跟踪方式选择框、初始化参数设置按钮、摄像机运动速度设置按钮以及教师摄像机预置位设置按钮，中间为图像采集模块开启按钮、系统运行按钮以及退出按钮，右侧为摄像机控制模块的操作按钮以及学生检测结果显示框；在跟踪方式选择框中，通过点击不同选项来完成对系统跟踪方式的选择；

（2）点击初始化参数设置窗口，会弹出系统参数设置界面如图3所示，在教师身高编辑框中填入教师身高数据，为保证跟踪效果，默认允许教师身高在150cm~200cm之间，点击教师身高设置确认。在教室尺寸编辑框中，依次填入教室长、高以及讲台到黑板的距离，点击安装参数计算后，系统会自动计算安装结果，并将参数显示在吊顶高度与安装倾斜角的编辑框中，设置完毕后，点击确定完成；

（3）设置好系统运行参数后，点击“打开相机”按钮，开始对教师摄像机和学生摄像机的图像采集模块，然后点击“开始运行”按钮，执行线程交互模块中的相应功能，对于教师跟踪与学生检测、跟踪的结果将会实时的显示在相对应的窗口界面中；

（4）若完成系统的使用，退出时只需点击退出程序按钮即可。

2.教师跟踪模块

该模块对应的实现过程如图4所示：

（1）对于从教师摄像机采集到的图像，先使用分类器（Adaboost）在讲台区域对教师特征区域进行搜索，若找到教师特征模板，则对其进行建立混合高斯模型进行处理，并根据其颜色直方图的分布情况，通过极大似然估计算法(EM)对特征区域的位置坐标出现的概率进行似然估计计算，得到教师在图像中的估计位置；若未找到，则重新采集图像继续搜索查找；

（2）将得到的估计位置参数通过卡尔曼滤波器与当前帧图像参数进行融合，得到教师特征区域在下一帧图像中的准确位置坐标及特征值大小，通过对教师特征区域的坐标变化进行计算来判断教师是否移动，若坐标值不为零，则认为教师授课期间产生了左右移动，此时向教师摄像机发送消息，控制教师摄像机的左右移动，若坐标值为零，则进行下一步的检测；

（3）在教师未进行横向移动的前提下，对其特征区域的特征值进行计算，若小于阈值则认为此时教师正在背身板书，向教师摄像机发送消息给予板书特写镜头；若大于该阈值则返回检测继续计算特征区域坐标；

（4）对教师的纵向移动坐标进行检测，若大于讲台位置阈值，则认为此时教师走下讲台，控制教师摄像机摆动至教室区域预置位，若没有过此阈值，则继续检测；

（5）当教师在教室区域内移动时，同样重复以上的检测步骤，若检测到教师经过讲台阈值时，则认为此时教师回到讲台，重新对其特征区域进行检测及跟踪，若没有经过，则继续跟踪；

（6）整个过程在教师跟踪的期间对教师摄像机的控制动作都将实时的在用户界面交互模块的教师跟踪显示窗口中进行显示。

3.学生检测模块

该模块的实现过程如图5所示：

（1）从学生摄像机采集到的图像，进行初始化图像预处理，将图像从彩色空间转换至灰度空间，并对学生所处的教室特征区域图像建立背景模型，对所获取的背景模型经过滤波平滑处理后，通过实时更新该背景模型来实现对学生运动的检测；

（2）当有学生起立或产生其他的干扰运动时，通过计算得到产生运动区域的位置参数与特征值大小，并且对计算得到的参数信息经过阈值化处理，只有在满足一定阈值条件的情况下所产生的动作才认为是学生起立的正确动作，并控制学生摄像机对起立学生给予特写镜头，否则认为是对检测的干扰动作，不予理会；

（3）对产生背景变化的运动区域的特征值进行计算，通过条件判断确定是否为学生上讲台回答问题的正确动作，若确为学生上讲台回答问题，则通过向线程交互模块发送消息来实现教师跟踪模块与学生跟踪模块之间的切换；

（4）经过一定缓冲时间后，学生检测模块重新开始更新背景，继续对学生的运动动作进行检测；

（5）整个过程对学生区域的检测与给予特写镜头等动作都将实时的在用户界面交互模块的学生检测窗口中实时显示。

4.学生跟踪模块

该模块的实现过程如图6所示：

（1）当在线程交互模块的切换下开始运行学生跟踪模块时，将由教师摄像机采集的彩色图像，首先经过图像二值化处理，通过对像素点进行开闭运算，以便去除会对检测结果产生干扰的噪声；

（2）通过帧间背景剪除法获取学生上讲台期间的运动信息以及位置坐标，判断学生是否进行板书动作，当检测到学生在讲台区域未移动开始板书时，对教师摄像机发送消息以实现对学生板书给予特写镜头，否则继续检测；

（3）当检测到学生的移动特征值超过一定阈值时，则认为此时学生走下讲台回到座位，发送消息给线程交互模块，实现与教师跟踪模块的再次切换，使教师跟踪模块恢复运行，并使学生跟踪模块挂起；

（4）整个过程对学生跟踪与对板书给予特写镜头等动作都将实时的在用户界面交互模块的教师摄像机拍摄画面的显示窗口中进行显示。

5.系统安装计算

如图7、8所示，是双摄像机交互式智能跟踪教学系统的安装示意图，具体计算过程如下：

相机到天花板的安装高度:H₀cm;相机到地面的高度:H₁cm;讲台外侧到黑板的距离:S₀cm;教室的高度:H cm;教室的长度:S cm;教师身高为:L cm；相机的俯仰角为:θ°；

通过简单几何计算可得：

相机俯仰角的最小值为：

相机俯仰角的最大值为：

相机的安装高度为：H₀＝H-H₁;安装俯仰角的取值范围为：

本发明未详细阐述部分属于本领域技术人员的公知技术；另外以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种双摄像机交互式智能跟踪教学系统，其特征在于包括：图像采集模块、摄像机控制模块、用户界面交互模块、线程交互模块、教师跟踪模块、学生检测模块、学生跟踪模块；

图像采集模块：使用双路图像采集卡可实时而独立的分别对教师摄像机与学生摄像机采集图像，然后将采集到的图像按帧存储在系统内存中，其中将教师摄像机采集到的图像作为教师跟踪模块或学生跟踪模块的输入图像，将学生摄像机所采集到的图像作为学生检测模块的输入图像；当摄像机控制模块接收到对教师或学生摄像机产生运动控制的指令时，图像采集模块会通过更新采集到的图像，在用户界面交互模块的显示窗口中进行实时显示；

摄像机控制模块：在手动跟踪模式下，操作者针对需要观察的区域，只需在界面交互模块的画面显示窗口中，使用鼠标左键单击该区域，便可向教师摄像机发送控制指令，使其快速稳定的转至该区域，控制鼠标滑轮向前滑动时，对该区域进行放大查看，向后滑动时，可扩大所观察的区域范围；在自动跟踪模式下，线程交互模式中所包含的教师跟踪模块、学生跟踪模块和学生检测模块可依据相应判断策略在教师跟踪、学生检测以及学生跟踪流程间协调切换并进行计算，依据其得到的结果来实现对教师摄像机与学生摄像机的独立控制功能，包括教师跟踪期间对教师摄像机的摆动和缩放控制、学生起立回答问题时对学生给予特写镜头等动作；

用户界面交互模块：为用户对系统的运行与操作提供界面支持，包括初始化参数设置单元、跟踪方式的选择以及对图形采集模块中教师摄像机与学生摄像机所拍摄图像的实时显示；其中，初始参数设置界面包括对教师身高信息，教室长、高尺寸参数的录入，并依据系统安装的几何关系计算并返回具体的安装参数。另一方面，根据教师身高能够对教师自动跟踪时的初始位置进行自动设置；然后将每一帧由图像采集模块采集到的图像在指定的画面显示窗口中进行实时显示，以便用户能对教师跟踪、学生跟踪以及学生检测的结果进行最直观的观察；跟踪方式提供两种选择：手动跟踪方式与自动跟踪方式，当选择手动跟踪方式时，针对实际应用要求，可在教师摄像机的拍摄显示窗口中，根据相应的规则，简单操作鼠标便可完成用户与系统之间的交互功能，达到对教室任意区域缩放查看的目的；当选用自动跟踪方式时，在初始参数设置完毕后，点击“开始运行”按钮后，系统的运行以及对于线程交互模块、摄像机控制模块以及图像采集模块的操作都是自动进行，无需额外的人为操作，方便简洁；

线程交互模块：当系统选择自动跟踪模式，并且点击“开始运行”按钮后，对于从教师摄像机中采集到的彩色图像将传递给教师跟踪模块，经过特征区域识别、模板提取、建立混合高斯模型、建立目标颜色直方图、极大似然估计(EM)、卡尔曼滤波预测搜索目标等步骤后，即可获得教师具体的运动信息与位置参数，并根据所设计的教师跟踪策略来实现对教师摄像机摆动、缩放与调节焦距等动作的控制；对于从学生摄像机中采集到的彩色图像，将其传递给学生检测模块，经过颜色空间转换、平滑处理、阈值化处理、高斯动态背景处理后，得到学生运动的检测结果，并据此实现对学生摄像机的相关动作控制的功能；当学生检测模块检测到学生上讲台板书回答问题时，通过向线程交互模块发送消息，切换教师跟踪模块至学生跟踪模块，并使得教师跟踪模块暂时挂起，学生跟踪模块开始运行，从教师摄像机采集到的图像通过图像灰度变换、阈值化处理、背景剪除处理后，计算得到的学生位置参数，若满足一定阈值条件，则控制教师摄像机对学生板书给予特写镜头显示，当检测到学生下讲台回座位时，再次进行模块线程的切换工作，恢复教师跟踪模块的功能，并使学生跟踪模块挂起；

教师跟踪模块：对于从图像采集模块中实时获取的教师摄像机所采集的图像，首先在第一帧图像中对是否存在教师特征区域进行判断，若存在则对其特征区域进行模板建模，若不存在则提示错误，重新开始检测；然后对教师的特征模板所在区域建立混合高斯模型，并根据其颜色直方图的分布情况，通过极大似然估计算法(EM)对特征区域的位置坐标出现的概率进行似然估计计算，得到教师特征区域在当前帧图像的估计位置；最后，将上一帧与当前帧图像中教师特征区域位置坐标通过卡尔曼滤波器进行数据递归运算，得到教师特征区域在当前帧中的准确估计位置参数，由此可获取教师运动期间的位置信息与特征区域参数，当教师的位置坐标发生移动时，可控制教师摄像机根据其坐标移动差值的大小与方向进行相应的摆动或俯仰，若在计算过程中，检测到教师位置在规定时间内未发生移动，且教师特征区域的检测值小于一定阈值，则认为教师此时正在背身板书，通过控制教师摄像机对其板书给予特写放大镜头，以便能在界面交互模块的显示窗口中清晰的显示教师的板书；

学生检测模块：对于从图像采集模块中实时获取的学生摄像机所采集的图像，首先进行初始化图像预处理，将图像从彩色空间转换至灰度空间，然后对学生所处的教室区域图像建立背景模型，对所获取的背景模型经过滤波器平滑处理后，通过实时更新该背景模型来实现对学生运动的检测；当有学生起立或产生其他的干扰动作时，将会造成背景模型的变化，通过计算可得到产生运动区域的位置参数与特征值大小，再对所获取到的参数信息经过阈值化处理，只有在满足一定阈值条件的情况下所产生的动作才认为是学生起立的正确动作，并控制学生摄像机对起立学生给予特写镜头，否则认为是对检测的干扰动作，不予理会；然后对产生背景变化的运动区域的特征值进行计算，通过条件判断确定是否为学生上讲台回答问题的正确动作，若确为学生上讲台回答问题，则通过向线程交互模块发送消息来实现教师跟踪模块到学生跟踪模块的切换，并通过一定时间缓冲后，重新更新教室区域的背景模型并持续对学生运动进行检测；

学生跟踪模块：当线程交互模块获取由学生检测模块检测到的学生上讲台板书答题的检测结果时，通过消息处理机制实现教师跟踪模块与学生跟踪模块之间的切换，挂起教师跟踪模块，并开始运行学生跟踪模块；此时将教师摄像机采集的彩色图像，首先经过图像二值化处理，通过对像素点进行开闭运算，去除对检测结果产生干扰的噪声，然后通过帧间背景剪除法获取学生上讲台期间的运动信息，当检测到学生在讲台区域未移动开始板书时，对教师摄像机进行控制来实现对学生板书给予特写镜头，并且在界面交互模块的显示窗口中清晰显示学生板书；当检测到学生的移动特征值超过一定阈值时，则认为此时学生走下讲台回到座位，发送消息给线程交互模块，实现与教师跟踪模块的再次切换，使教师跟踪模块开始运行，并使学生跟踪模块挂起。

Images