CN100593796C - 变化光照动态场景三维采集系统 - Google Patents

Abstract

本发明涉及变化光照动态场景三维采集系统，属于计算机图形学中的场景采集技术领域。该系统包括：由多个日光灯和发光二极管组成的照明单元，由N个相机组成的采集单元，由计算机、单片机电路和电源组成的控制单元，机械支架，以及由采集卡及服务器、幕布及可升降钢架、固定器件与连接线组成的附属设备。单片机电路和电源、计算机、相机及发光二极管均相连；幕布及可升降钢架覆盖整个机械支架的四周；服务器上的采集卡与相机连接；发光二极管、日光灯及相机固定在机械支架上。通过控制发光二极管光照的快速变化和不同组相机的采集时间间隔，系统可以实现多组多视角视频流的变化光照异步采集，从而完成变化光照条件下针对动态场景的三维采集。

Description

变化光照动态场景三维采集系统

技术领域

本发明属于计算机图形学中的场景采集技术领域，特别涉及针对变化光照条件下动态场景的三维采集系统。

背景技术

针对真实场景的采集，国际上多所大学和科研机构已经设计并实现了许多系统：

2000年，加州大学的Debevec实现了一个用于在变化光照条件下针对静态人脸的二维采集系统(Acquiring the Reflectance Field of a Human Face，2000，Siggraph)——该系统实施时被采集对象静止不动而改变光照的方向和亮度，相机于单一视角采集人脸各个区域的明暗变化，对结果进行分析后可以计算得出任意光照条件下的人脸图像。由于只能采集静态二维对象，该系统的应用受到了限制。

2002年，加州大学的Debevec又实现了一个用于在合成虚拟光照条件下针对动态人体的多视角采集系统(A Lighting Reproduction Approach to Live-Action Compositing，2002，Siggraph)——该系统实施时利用硬件模拟想要的光照条件，之后于三个视角采集人体在该光照下的动作，并将采集到的结果用于和拥有此光照条件的新环境做合成。由于光照是硬件模拟的而不是软件合成的，该系统并非真正意义的“可变化光照”；同时由于只是多视角采集而没有几何建模，该系统也并非真正意义的“三维采集”。

2005年，南加州大学的Wenger实现了一个用于在变化光照条件下针对动态人脸的二维采集系统(Performance Relighting with Time-Multiplexed Illumination，2005，Siggraph)——该系统将高速变化的光照和高速摄像机结合，于是在极短时间内物体可以被近似看作静止，从而类似静态物体一样进行“变化光照”的采集。由于高速摄像机过于昂贵，考虑到成本该系统只能安装一台于单一视角进行二维动态场景的采集。

2007年，萨里大学的Starck实现了一个用于在恒定光照条件下针对动态人体的三维采集系统(Surface Capture for Performance-Based Animation，2007，Computer Graphics andApplications)——该系统利用多相机于多个视角对动态人体进行采集，之后根据采集结果对人体进行建模，再把结果合成到新的环境中。该系统是真正的“三维采集”，但是由于没有考虑新环境光照对模型的影响，该系统难以达到十分逼真的合成效果。

综上，这些系统都不能把变化光照、动态场景和三维采集结合在一起。静态场景由于其中的物体静止不动，所以采集到的图像或视频流与采集时间无关，只与光照条件有关，从而能够实现变化光照采集；而动态场景稍纵即逝无法重复，采集时间与光照条件的影响纠结在一起，无法分离——这就是变化光照和动态采集难于结合的症结。Wenger的系统虽然结合了变化光照和动态采集，但是由于安装多台昂贵的高速摄像机成本过高，故只能安装一台。这样就无法进行多视角的大规模采集，因而不能通过几何建模实现三维采集。

发明内容

本发明提出一种变化光照动态场景三维采集系统，将变化光照、动态场景和三维采集三者结合在了一起。

本发明提出的变化光照动态场景三维采集系统，其特征在于，该系统包括：

照明单元，由多个日光灯和发光二极管组成，用于提供可调节可变化的光照条件；

采集单元，由N个相机组成(N为正整数)，用于分组从多个视角对三维场景进行采集；

控制单元，由计算机、多组单片机电路和电源组成，用于控制照明单元和采集单元完成变化光照动态场景三维采集；

机械支架，用于固定照明单元和采集单元；

附属设备，包括采集卡及服务器、幕布及可升降钢架、固定器件与连接线，用于存储采集结果以及辅助各部件之间的线路和机械连接；

各部件的连接关系：

所述单片机电路通过串口与计算机相连，通过导线与电源和发光二极管相连，通过通用输入输出口与N个相机相连，同时多组单片机电路之间通过CAN总线相连；所述幕布悬挂在可升降钢架上并覆盖整个机械支架的四周；所述服务器上的采集卡通过1394B口与相机连接；所述发光二极管和日光灯固定在机械支架的网格上；所述相机则固定在机械支架的横杆和竖杆上；

所述N个相机分为M组，N为M的整数倍，同组相机进行同步采集，以得到某一时刻多角度拍摄结果用于三维建模；异组相机异步采集以常数t为时间差；同时若相机的采集帧率为H，则有M*t＝1/H；光照的变化周期T为最小时间差t的整数倍，设T/t＝n，则M组相机均匀地采集到一个光照变化周期中n个时刻的场景。

本发明的工作过程：

通过控制发光二极管在极短的时间(大概几十ms)内实现光照的高速变化，以保证场景在短时间内近似静止，而只有光照条件的变化。协调不同组相机采集的起始时间以实现高帧率的异步采集；与此同时，同组相机进行同步采集，以得到某一时刻多角度拍摄结果。如此一来，系统通过采集单元(多组多视角相机)的内部配合，在高帧率异步采集的同时实现多视角采集以进行变化光照几何建模。

本发明的特点及有益效果：

本发明借鉴了Wenger系统“在极短时间内物体可以被近似看作静止，从而类似静态物体一样进行‘变化光照’采集”的思想。不同之处在于系统利用异步相机代替了Wenger系统中的高速摄像机；同时若干组异步相机就相当于若干个高速摄像机，从不同的视角对变化关照条件下的被采集对象进行拍摄。这样，得到的多视角变化光照下的视频流即可以用于几何建模。综上，本发明优于Wenger的系统——可以完成真正意义的“三维采集”；也优于Starck的系统——可以实现真正意义的“变化光照采集”。采集到的视频流数据及变光照几何建模结果经过后续处理可以应用于压缩编码、图形学、视觉等多种学科方向，尤其对于虚拟现实领域有很大贡献。

附图说明

图1为本发明系统的框架结构图。

图2为本发明系统的机械支架实施例示意图。

图3为本发明系统的照明单元实施例示意图。

其中，图3A是日光灯安装的实施例示意图，图3B是发光二极管安装的实施例示意图，图3C是图3B的局部放大示意图，图3D是图3C的侧面示意图。

图4为本发明系统的采集单元实施例示意图。

其中，图4A是相机安装的实施例示意图，图4B是图4A中固定器件42的俯视示意图，图4C是相机分组的实施例示意图。

图5为本发明系统的控制单元实施例中的单片机电路结构示意图。

图6为本发明系统的附属设备实施例示意图。

其中，图6A是装有采集卡的服务器的结构示意图，图6B是幕布和九边形可升降钢架的外观示意图。

具体实施方式

本发明提出的变化光照动态场景三维采集系统结合附图及实施例详细说明如下：

本发明实现的采集系统总体结构如图1所示，由机械支架、照明单元、采集单元、控制单元和附属设备五部分组成；其中，机械支架是一个由横杆、竖杆和铁丝网格构成的铁笼，用于固定照明单元和采集单元；照明单元包括多个日光灯和发光二极管，前者用于提供恒定光照，后者用于提供可调节可变化的光照条件；采集单元包括多个相机，用于分组从多个视角对三维场景进行采集；控制单元包括控制计算机、多组单片机电路及其电源，用于控制照明单元和采集单元完成变化光照动态场景三维采集；附属设备包括采集卡及服务器、幕布及可升降钢架、固定器件与连接线(此部分未在图中显示标注)，用于存储采集结果以及辅助各部件之间的线路和机械连接。上述系统用于完成变化光照条件下针对动态场景的三维采集。

其中，单片机电路通过串口与计算机连接，通过导线与电源和发光二极管连接，通过通用输入输出口与相机接，同时多组单片机电路之间通过CAN总线接；幕布及可升降钢架覆盖整个机械支架的四周(包括横杆、竖杆以及铁丝网格)；服务器上的采集卡通过1394B口与相机连接；发光二极管和日光灯固定在机械支架的网格上；相机则固定在机械支架的横杆和竖杆上。

本发明系统通过控制光照的快速变化和不同组相机的采集时间间隔，实现变化光照动态场景的三维采集——单片机电路在调节发光二极管在短时间(几十ms)内实现光照的高速变化的同时控制相机的采集时间，这是为了达到两个目的：1使得同组相机的起始采集时间和采集频率与发光二极管光照的起始变化时间和变化频率相互吻合；2使得不同组相机相差合适的起始采集时间间隔。这样，通过单片机电路、相机和发光二极管之间的配合，既实现了同组相机的多视角同步采集，又实现了异组相机的高帧率异步采集。另外，在采集之前，首先要利用环形摄像机阵列校准系统(本实施例采用专利号200710121782.4公开的系统)对采集单元进行校准。

本发明系统的机械支架实施例如图2所示，整个机械支架顶部和底部各有一个圆形的钢圈21、22，底部钢圈22直接固定在地面上；侧面由二十根弧形钢质竖杆23支撑，竖杆连接着上下两个钢圈；竖杆之间以及顶部钢圈内由铁丝网格24覆盖，支架中设有供人进出的门25；另外，还可在任意两个竖杆之间按照需要安装钢质横杆26。顶部钢圈半径1.5米，底部钢圈半径3米，支架高3米。

本发明系统的照明单元实施例包括若干日光灯(额定功率为18W)和发光二极管(Philips Luxeon K2，功率变化范围0-5W，亮度变化频率最高可以达到1000Hz)，二者均固定在机械支架上。

日光灯提供恒定照明，多个日光灯通过导线串联在一起。具体实施时可根据需要自行选择个数和布置方式。图3A给出了一种实施例，此实施例共使用了20只日光灯31，绑定在机械支架顶部钢圈21内的铁丝网格24上。

发光二极管提供可以调节变化的光照，与单片机电路连接并由其控制。由于单只发光二极管的功率有限，一般需要将某个区域内的若干只二极管构成一组共同变化，一组二极管串联在一起由一个单片机电路控制亮度，然后多个区域明暗互相配合从而改变光照。图3B给出了一个实施例，仅以两个竖杆之间的网格部分示意：此实施例共使用了3组15只发光二极管32，通过固定器件固定在机械支架竖杆23之间的铁丝网格24上。图3C是图3B中虚线框内的局部放大图，固定器件33通过挂钩34和弹簧35固定在铁丝网格24上。图3D是图3C的侧面图，发光二极管36通过螺钉37固定在固定器件33上。

本发明的照明单元既包括提供恒定照明的日光灯，又包括提供变化光照的发光二极管。通过单独使用二者之一，系统既可以进行恒定光照下的三维场景采集，又可以进行变化光照下的三维场景采集。

本发明系统的采集单元实施例包括用于采集变化光照动态场景的若干相机(PointGreyflea2，分辨率可达1024×768，帧率可达30f/s)；该部分是整个系统的核心。

相机通过固定器件固定在机械支架的竖杆(或者横杆)上。图4A给出了相机41通过固定器件42安装在竖杆23上的实施例；图4B是固定器件42的俯视图，该器件通过铁箍43固定在机械支架的竖杆上，通过螺栓44固定相机。每个相机后面备有两个接口，分别是用于连接采集卡的1394B接口和用于连接单片机电路的通用输入输出接口。相机通过采集卡将采集到的视频流实时地存储于服务器中，而系统通过单片机电路精确控制相机的起始采集时间以配合发光二级管的光照变化。

实际实施时，首先将多个相机分组，以异步采集达到高速摄像机的拍摄效果；同时同组相机进行同步采集，以得到某一时刻多角度拍摄结果用于三维建模。一般情况下，假设相机共有N个，分为M组环形排列，同组相机同步采集，异组相机异步采集以常数t为时间差，同时相机的采集帧率为H，则有M*t＝1/H。光照的变化周期T应该为最小时间差t的整数倍，假设T/t＝n，则n(应为M)组相机正好均匀地采集到一个光照变化周期中n个时刻的场景；如果n＜M则有相机组在一个光照周期内未用，如果n＞M则有相机组在一个光照周期内用了多次，如果n＝M则每个相机组在一个光照周期内都恰好用了一次。

图4C给出了一个相机分组的实施例：N＝20，M＝5，H＝30，n＝1；相机编号第一位表示组序号，第二位表示组内标号。机械支架的一周固定20个相机，分为5组。每组四个相机从四个不同角度拍摄动态场景，如此一来则可以达到150f/s的帧率。光照的变化频率为30Hz，于是5组相机正好均匀地采集到一个光照变化周期中5个时刻的场景。

本发明的照明单元和采集单元均可以根据实际需要进行调整——如相机和发光二极管的使用数目、分组策略以及固定位置等等。机械支架既保证了照明单元和采集单元的牢固安装，又允许照明单元和采集单元根据需要随意地被添加、拆卸或移动，从而使得整个单元的使用具有极大的灵活性。

本发明系统的控制单元实施例包括控制计算机(带串口的一般PC机即可)、多组单片机电路及其电源，用于控制照明单元和采集单元的配合以完成系统的采集。

单片机电路如图5所示，分为五个部分：1.单片机，采用Cygnal公司的C8051F040，用于控制协调其他各个单元，是整个电路的核心；2.由串行接口芯片和串行接口组成的计算机接口单元，单片机通过串行接口与控制计算机连接，从而通过计算机控制整个系统的采集过程；3.由触发器件组成的相机接口单元，单片机通过通用输入输出口与相机连接(一组单片机电路接一组相机)，经由触发电平协调相机的起始采集时间；4.由驱动升压电路组成的发光二极管接口单元，单片机通过导线与发光二极管连接(一组单片机电路接一组发光二极管)，在为其供电的同时经由输出电平的高低控制二极管的亮度；5.由总线收发器和网络接口组成的总线接口单元，单片机通过CAN总线把多组单片机电路连接在一起，从而实现不同组相机和发光二极管之间的相互配合。

另外，实施时通过JTAG接口将编好的程序烧入单片机；每组单片机电路配备一个独立电源(Mean Well S-100-24，输入电压220V，输出电压24V)，用于为单片机电路和与之连接的发光二极管供电。

本发明系统的附属设备实施例包括装有采集卡的服务器(用于存储采集视频流)，幕布(用于轮廓分割)及九边形可升降钢架(便于幕布悬挂)和固定器件与连接线(用于不同单元的安装及互联)。

装有采集卡的服务器的结构如图6A所示；服务器(对内存要求较高，最好可以达到3G)通过采集卡(PointGrey相机的配套附件，安装在服务器的PCI插槽上)的1394B口与相机相连，为相机供电的同时传输并存储采集到的视频流。一台服务器上可安装两块采集卡，而一个采集卡上可接两个相机，使用时应根据需要配置合适数目的服务器。多个服务器位于一个局域网内，由一台计算机统一远程控制。

幕布的主要作用是便于提取场景轮廓时进行图像分割。系统选用的是绿色的阻燃抠像幕布，分为两部分：一部分用于覆盖机械支架的四周，为了便于安装和拆卸将其固定在机械支架外围上方安装的可升降九边形钢架上；另一部分用于覆盖机械支架底部钢圈内的地面。图6B所示为幕布和九边形可升降钢架的外观示意图，其中，可升降钢架61上悬挂着幕布62，覆盖在机械支架63的四周。

固定器件与连接线包括用于固定相机和发光二极管的固定器件，连接日光灯、发光二极管和单片机电路的导线，连接单片机电路的CAN总线，连接控制计算机和单片机电路的串口线，连接相机和单片机电路的通用输入输出线，连接相机和服务器的1394B线以及连接服务器的网线。

实际实施时，系统的工作流程如下：

1)设计二极管和相机的分组策略及固定位置。

2)为单片机编写程序。

3)用幕布覆盖机械支架的四周(悬挂于可升降钢架上)和底部(机械支架内的地面)。

4)把日光灯绑定在机械支架顶部的钢圈上，彼此互联。

5)按照分组策略把相机固定在机械支架上。

6)按照分组策略把发光二极管固定在机械支架上，组内二极管互联。

7)相机和采集服务器互联。

8)服务器通过网线互联，并进行IP配置以远程控制。

9)单片机电路和控制计算机互联。

10)单片机电路和相机互联。

11)单片机电路和发光二极管互联。

12)对所有相机进行环形阵列校准。

13)把编好的单片机程序烧入单片机。

14)单片机电路通过CAN总线互联。

15)被采集对象进入机械支架。

16)计算机控制采集过程开始。

17)被采集对象完成指定动作。

18)计算机控制采集过程结束。

Claims (4)

1.一种变化光照动态场景三维采集系统，其特征在于，该系统包括：

照明单元，由多个日光灯和发光二极管组成，用于提供可调节可变化的光照条件；

采集单元，由N个相机组成，N为正整数，用于分组从多个视角对三维场景进行采集；

控制单元，由计算机、多组单片机电路和电源组成，用于控制照明单元和采集单元完成变化光照动态场景三维采集；

机械支架，用于固定照明单元和采集单元；

附属设备，包括采集卡及服务器、幕布及可升降钢架、固定器件与连接线，用于存储采集结果以及辅助各部件之间的线路和机械连接；

各部件的连接关系：

所述单片机电路通过串口与计算机相连，通过导线与电源和发光二极管相连，通过通用输入输出口与N个相机相连，同时多组单片机电路之间通过CAN总线相连；所述幕布悬挂在可升降钢架上并覆盖整个机械支架的四周；所述服务器上的采集卡通过1394B口与相机连接；所述发光二极管和日光灯固定在机械支架的网格上；所述相机则固定在机械支架的横杆和竖杆上；

所述N个相机分为M组，N为M的整数倍，同组相机进行同步采集，以得到某一时刻多角度拍摄结果用于三维建模；异组相机异步采集以常数t为时间差；同时若相机的采集帧率为H，则有M*t＝1/H；光照的变化周期T为最小时间差t的整数倍，设T/t＝n，则M组相机均匀地采集到一个光照变化周期中n个时刻的场景。

2.如权利要求1所述的采集系统，其特征在于：

所述日光灯提供恒定照明而发光二极管提供变化光照；该发光二极管功率变化范围为0-5W，亮度变化频率可达到1000Hz。

3.如权利要求1所述的采集系统，其特征在于：

所述单片机电路包括：单片机，以及

由串行接口芯片和串行接口组成的计算机接口单元，用于计算机和单片机的控制连接；

由触发器件组成的相机接口单元，用于单片机和相机的控制连接；

由驱动升压电路组成的发光二极管接口单元，用于单片机和发光二极管的控制连接；

由总线收发器和网络接口组成的总线接口单元，用于多组单片机间的通信配合。

4.如权利要求1所述的采集系统，其特征在于：

所述机械支架包括顶部和底部各有一个圆形的钢圈，底部钢圈直接固定在地面上；侧面由多根弧形钢质竖杆支撑，竖杆连接着所述上下两个钢圈；竖杆之间以及顶部钢圈内由铁丝网格覆盖，支架中设有供人进出的门，照明单元和采集单元在机械支架上的固定位置可以根据需要随意地调整。

Images