[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105472308A - 多视角裸眼3d视频会议系统 - Google Patents

多视角裸眼3d视频会议系统 Download PDF

Info

Publication number
CN105472308A
CN105472308A CN201510925597.5A CN201510925597A CN105472308A CN 105472308 A CN105472308 A CN 105472308A CN 201510925597 A CN201510925597 A CN 201510925597A CN 105472308 A CN105472308 A CN 105472308A
Authority
CN
China
Prior art keywords
image
client
camera
server end
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510925597.5A
Other languages
English (en)
Inventor
胡昌龙
万宵愉
马成成
任慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201510925597.5A priority Critical patent/CN105472308A/zh
Publication of CN105472308A publication Critical patent/CN105472308A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

一种多视角裸眼3D视频会议系统,包括服务器端和客户端,服务器端和客户端之间建立通信,所述客户端设置至少一个摄像头,采用单个摄像头拍摄客户端用户,并设置图像上传模块和图像显示模块,图像显示模块对服务器端传输返回的多视点图像合成编码结果进行解码转换,显示裸眼3D视频;所述服务器端设置至少三个摄像头,采用多个摄像头拍摄服务端图像,并设置摄像输入模块、人脸检测模块和图像处理模块,图像处理模块根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码,并传输到客户端。本发明使得多视图场景的可用性与应用领域大大拓宽,同时用户体验和性能能够得以提高。

Description

多视角裸眼3D视频会议系统
技术领域
本发明涉及视频会议技术领域,特别涉及一种多视角裸眼3D视频会议系统。
背景技术
视频会议系统在全世界范围广泛应用,而远程传输高清3D视频能够使用户得到更多有用的图像信息,从而满足机械设计、远程诊疗等进一步的需求,但3D视频会议的多数据流同步、视频编码、实时传输和裸眼显示等一系列技术问题尚未得到充分解决,3D视频会议系统的实现有着诸多技术瓶颈。
目前,观看3D视频往往需要某种特殊的眼镜。这阻碍了合作伙伴间的沟通,因为他们的镜头,无论是彩色滤光片,偏光或液晶显示器(LCD)快门,隐藏人像,在非言语交流的领域这是非常重要的。还有不使用眼镜称为自动立体屏幕,如任天堂3DS控制台的替代品。不幸的是,若用户改变,革新成本和3D效果方面仍然有限。例如,经对现有技术文献和专利的检索发现,皇家飞利浦电子股份有限公司2004年申请的3D视频会议专利中提出以一种双视频的照相机和立体图像显像的光学装置实现3D视频会议的方法,但该专利使用3D左右眼图像切换的显像方式,必须配套使用特制的3D眼镜,因此系统实现复杂;且该专利着重定义了3D采集设备和显示设备,而对3D图像的数字化编码、传输和存储方法没有明确给出。
总结而言,现有技术或产品主要存在以下问题:
1.用户脸部检测不理想,而且脸部的中心点会随着连续帧之间的像素不同而改变。
2.由于对象并非处于现实生活环境中,通过分离图层达到的效果是不符合实际的。
3.最终效果并不足够真实。
因此研究有效的3D图像编码、传输、存储和裸眼3D成像方法对于3D视频会议系统的实现具有重要的意义。在进一步的检索中,尚未发现任何与本发明类似的实现裸眼3D视频会议方法的文献和报道。
发明内容
此前,多数据流同步、视频编码、实时传输和裸眼显示等技术问题尚未得到充分解决。本发明的目的在于提供一种能够克服上述技术问题的裸眼3D视频会议系统。
本发明技术方案提供一种多视角裸眼3D视频会议系统,包括服务器端和客户端,服务器端和客户端之间建立通信,
所述客户端设置至少一个摄像头,采用单个摄像头拍摄客户端用户;并设置图像上传模块和图像显示模块,
所述图像上传模块,用于将客户端摄像头拍摄所得客户端用户图像传输到服务器端;
所述图像显示模块,用于对服务器端传输返回的多视点图像合成编码结果进行解码转换,显示裸眼3D视频;
所述服务器端设置至少三个摄像头,采用多个摄像头拍摄服务端图像;并设置摄像输入模块、人脸检测模块和图像处理模块,
所述摄像输入模块,用于支持服务器端摄像头的调整校准,并在校准后输入服务器端摄像头拍摄所得多视点图像;
所述人脸检测模块,用于从客户端接收的客户端用户图像中检测客户端用户的面部;
所述图像处理模块,用于根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码,并传输到客户端。
而且,服务器端设置三个摄像头,客户端采用基于柱镜式免眼镜的3D显示屏幕,所述图像显示模块对服务器端传输返回的多视点图像合成编码结果进行解码后,获得分离的3幅服务端用户的图像,根据3D显示屏幕支持显示的视点图数目P,转换获取视点数据,然后按照合成柱镜格式像素排列要求,以裸眼3D全息的方式显示。
而且,所述转换获取视点数据的实现方式如下,
(i)若P=3,则直接将3幅图像输出为视点数据;
(ii)若P<3,则将3幅图像以第2幅图像为中点,按均匀分布对称减少图像数目,直至P与图像数目相等,此时将P幅图像输出为视点数据;
(iii)若P>3,则将3幅图像以第2幅图像为中点,按均匀分布对称增加图像数目,直至P与图像数目相等,此时将P幅图像输出为视点数据。
而且,所述服务器端设置的多个摄像头处于同一水平位置。
而且,所述图像处理模块根据人脸检测模块检测所得客户端用户的面部的位置,改变服务器端各摄像头获取到的图像在合成过程中合成比例大小。
本发明的优点在于:
1.无需使用特殊的眼镜、光学装置或画面屏幕系统,可以轻松的体验立体影像效果;
2.主要适用范围:移动终端(手机、笔记本、平板电脑等);
3.提供了更好的3D的体验,改进3D图像质量,提高3D观看舒适度;
4.可实现多视点裸眼3D显示,解决多人多角度同时观看的问题;
5.装置简单且成本较低,在裸眼3D视频会议领域是一个更切合实际的解决方案;
6.多视图场景的可用性与应用领域大大拓宽,同时用户体验和性能能够得以提高;
7.在图像发送端对采集到的3D视频图像数据,转换成更适合3D图像合成的存储和标准化编解码;在视频接收端以接收图像显示转换器将3D合成图像转换成与显示设备相匹配的裸眼3D数据,摆脱了3D眼镜的束缚。
附图说明
图1为本发明实施例的3D视频会议系统原理图。
图2是本发明实施例中所提到的迟滞作用的应用示意图。
图3是本发明实施例的服务器端原理图。
图4为本发明实施例的3D视频会议系统的效果示意图。
具体实施方式
以下结合附图和实施例详细说明本发明的技术方案。
本发明由生物学上运动视差的启发提出应用于三维视频会议多视图计算模型。所述运动视差是指,人的双眼基本处于同一平面,但两眼间有一定的间距,因此观看物体时视线会形成一个交叉角度,角度越大,立体感和距离感就越强。由于交叉角度的存在,双眼看到的画面并不相同,也就是产生了“视差”,两幅具有视差的画面经过大脑处理后才能得到完整的立体景象。该生物模型目的在于使用神经元提供除立体视觉之外感知的视觉线索。本发明提供的裸眼3D视频会议采用了类似人眼的“视觉差屏障”技术,使用多个摄像头从而实现不同角度的图像的获取,进而完成3D图像的合成与展示。
参见图1,本发明提出一种在远程计算机(服务器端)使用多摄像头和在本地用户端(客户端)使用单摄像头跟踪运动的主从架构。因此,本发明的一种多视角裸眼3D视频会议系统,包括服务器端和客户端,服务器端和客户端之间建立网络通信。所述客户端设置至少一个摄像头,采用单个摄像头拍摄客户端用户;所述服务器端设置至少三个摄像头,采用多个摄像头拍摄客户端用户。综合考虑3D效果和设备成本,建议客户端设置一个摄像头,服务端设置三个摄像头,实施例按此实现。客户端可以利用手机等移动终端实现,服务器可利用计算机等设备实现。在实际使用过程中,无论是服务器端还是客户端,摄像机的数量是可以依据用户的需求和所能承担的成本而增加,满足了3个及3个以上的摄像机就可以提供3D视频会议的效果。例如客户端如果设置三个摄像头,也可以实现服务器端的功能,支持反向的主从架构。
客户端摄像头图像用于处理头部跟踪。服务器端摄像头图像使用多摄像头获取场景的多视角图像。各种渲染模型被引入至某一特定的角度场景呈现。本发明的处理链可包括:多视点图像捕获、3D场景展示、压缩编码、传输、渲染和显示图像。客户端使用设有单摄像头的计算机(或移动终端),服务器端为使用多台平行排列的摄像头的计算机。客户端获得用户图像,并通过网络发送给服务器。然后,该服务器从客户端接收到的图像中检测到用户的脸,并根据对应摄像头的位置,产生一个聚焦于用户的多摄像头合成图像,从而形成3D效果的合成图像。重复该过程直至视频会议结束。
本发明实施例客户端的显示设备可采用现有的裸眼3D模组等设备。裸眼3D模组可直接输入双视点信号解决内容到设备的问题,兼容通用影视信号。目前裸眼3D模组一般包括显示面板、光栅和视点转换电路;显示面板通常由LCD、PDP等平板显示器件组成,光栅通常由狭缝光栅或柱镜光栅等器件组成。显示面板包括多个像素,每个像素由用于显示不同颜色分量的多个子像素组成;光栅包括多个光栅单元,将光栅按一定方式配置在显示面板前面,可以将不同的子像素的输出引导到不同的空间位置;视点转换电路与显示面板相连接,显示面板与光栅按设定方式进行配置;视点转换电路将接收的输入信号(例如双视点输入信号)转换为多视点合成信号输出至显示面板;视点转换电路包括视差补偿单元与多视点合成单元;视差补偿单元计算双视点输入信号的视差,并进行视差补偿,输出不同视点图像;多视点合成单元根据视点矩阵对不同视点图像进行合成,输出多视点合成信号至所述显示面板。裸眼3D模组的原理是利用人两眼具有视差的特性,在不需要任何辅助设备(如3D眼镜、头盔等)的情况下,即可获得具有空间、深度的逼真立体影像。如果将多视点图像按照光栅的分光特性进行合成并在显示面板上显示,经过光栅分像,可使人的双眼看到不同的视点图像,产生立体感觉。这样,无需额外采用专用的3D屏幕,只需图像转换的时候采用相应编码等技术,可以节约成本。
参见图3,本发明实施例的服务器端系统包括以下部分:
(1)设于服务器端的用于采集服务器端多角度图像信息的摄像头组装置,该摄像头组装置包括服务器端的3个摄像头,用于多视点图像捕获,以便向客户端用户展示服务器端用户的3D影像,一般包括服务器端的主讲人以及会议相关背景,例如PPT等。具体实施时可以设置摄像输入模块,用于提供相应的摄像头调整校准功能,并在校准后输入提供服务器端的多视点图像。
(2)设于服务器端的用于实现人物面部识别与面部图像捕获的人脸检测模块,用于确定客户端所拍摄的用户图像中面孔位置。以便后续根据其脸部未知的改变从而改变服务器端三个摄像头获取到的图像在合成过程中合成比例大小。客户端则相应设置图像上传模块,用于将客户端摄像头拍摄所得客户端用户图像传输到服务器端。
(3)设于服务器端的图像处理模块,将步骤(1)中所述摄像头组装置采集的多角度图像信息实时转换成适合图像编码和图像传输的图像,一般包括压缩编码、图像传输、图像渲染、3D图像合成,具体实施时可以分别实现为相应单元。客户端则相应设置图像显示转换模块,对服务器端传输返回的多视点图像合成编码结果进行解码转换,显示裸眼3D视频;也可在图像显示转换后,通过渲染达到更好地效果。
在服务器端的图像显示转换单元用来根据3D图像合成单元所得3D合成图像,与不同的显示设备进行匹配转换,使图像能够在包括但不限于裸眼3D设备上正确显示。
具体实施时,还可以在服务器端扩展设置更多模块,例如延迟现象处理等。服务器端各模块可采用计算机软件实现,或采用软件模块化方式实现。
进一步地,实施例中摄像头组装置的具体实现如下:
1)所述摄像头组装置包括三个采集摄像头,面对服务器端的用户进行多角度图像信息采集;
2)所述摄像头组装置的摄像头分布的方法为水平设置并面向处于服务器端的用户;
3)所述摄像头组装置采集的图像信息可包括:全摄像机图像模式、全屏幕图像模式与调整适应宽高比图像模式三种模式。
全摄像机图像模式:整个图像以摄像机的自身参数为基准;
全屏幕图像模式:图像铺满整个电脑图片显示框;
调整适应宽高比图像模式:以适合用户观看为出发点适当调整图片长宽比例后显示图片的模式。
进一步地,实施例中压缩编码单元将摄像头组采集的同一个时刻的3幅图像进行融合,所得3D图像采用适合编码和图像存储的宏块排列方式;具体包括以下步骤:
步骤一:将同一个时刻的3幅图像按照摄像头位置相邻顺序依次编号为1,2,3,例如从左到右或从右到左依次编号;
步骤二:将同一个时刻的3幅图像分别分割成a×a像素的宏块,具体实施时本领域技术人员可自行预设a的取值,实施例中a=16,即3幅图像分别分割成16x16像素的宏块;得到第1幅图像为宏块集合{MB11,MB12,...,MB1k},第2幅图像为宏块集合{MB21,MB22,...,MB2k},…...,得到第3幅图像为宏块集合{MB31,MB32,...,MB3k},其中k=M/(16×16),M为每幅图像包含的像素个数;
步骤三:将3幅图像的宏块按适合3D图像编码和图像存储的方式排列,例如将3幅图像包含的宏块集合按{MB11,MB21,MB31,MB12,MB22,MB32,...,MB1k,MB2k,MB3k}的交错顺序排列;
可以将3幅图像的宏块集合看成是一个3行k列的二维数组,然后将这个二维数组中的元素交错排列形成3D图像格式。即以下二维数组
MB11MB12......MB1k
MB21MB22......MB2k
MB31MB32......MB3k
转换为{MB11,MB21,MB31,MB12,MB22,MB32,...,MB1k,MB2k,MB3k},然后可以进行编码传输,例如对3D图像格式数据进行H.264图像编码,连同G.729编码的实时音频数据,通过网络传输到客户端。
实施例中客户端接收合成后的图像并显示的具体实现如下:
1)客户端获得数据后,进行图像H.264解压缩,重新获得3D合成图像;
2)对3D合成图像进行数据宏块拆分,重新获得分离的3幅服务端用户的图像;
3)将3幅图像根据显示设备进行匹配,例如对于裸眼3D模组,即基于柱镜式免眼镜的3D显示屏幕,提供处理方式如下,
步骤一:检测客户端的3D显示屏幕设备,获得该设备支持显示的视点图数目P,一般取值为1、2、3、4、5、7、9等;
步骤二:根据3D显示屏幕设备要求的视点图产生视点数据;
(i)若P=3,则直接将3幅图像输出为视点数据;
(ii)若P<3,则将3幅图序列以第2幅图像为中点(假设第2幅图像为服务端用户的正面图像),按均匀分布对称减少图像数目,直至P与图像数目相等,此时将P幅图像输出为视点数据。以P=1为例,格式图像数据分离得到3幅图像{1,2,3},根据3D显示屏幕设备要求最终输出视点数据包括1幅图像{2};当P=2时,将第1和第2幅图像合成为一幅,同时第2幅和第3幅图像合成为一幅,再将这两幅图像合成为一幅;
(iii)若P>3,则将3幅图序列以第2幅图像为中点(假设第2幅图像为服务端用户的正面图像),按均匀分布对称增加图像数目,直至P与图像数目相等,此时将P幅图像输出为视点数据。以P=5为例,根据3D显示屏幕设备要求,使用相邻两幅图像空域均值法,先将第一和第二幅图合成一幅图,设为(1+2)/2,再将第二和第三幅图合成一幅图,设为(2+3)/2,最终输出视点数据包括5幅图像{1,(1+2)/2,2,(2+3)/2,3};
特殊地,当p=4时,可以将第一和第二幅图像合并成一幅,将第二和第三幅图像合并成一幅,再把这两幅图像与第一幅和第三幅图像合并。
4)获得相应视点数据后,按照合成柱镜格式像素排列要求,以裸眼3D全息的方式显示。
为便于实施参考起见,根据本发明实施例所提供一种基于多摄像头设备的三维裸眼视频会议系统,实现多视角裸眼3D视频传输成像过程的步骤如下:
1)在客户端和服务器端分别安装摄像头:在客户端,单个摄像头用来连续地观察客户端用户动作,例如采用型号为LogitechQuickCamProSphereAF的摄像头。在服务器端,三个同型号摄像头采用一致的分辨率、对比度、照明,有助于所得图像的集成与调整,并产生一致的最终效果。
2)服务器端摄像头调整。
在服务器端,摄像头建议设置为都面向观察对象(服务器端用户)且分别位于距离观察对象的中心点约15-20厘米的点上。
通信之前,可以预先完成服务器的摄像头组装置校准,确保合成客户端用户能够识别的图像。摄像头调整主要是通过匹配其图像重叠的领域来实现既定摄像头的校准。具体实施时,可以通过服务器端和客户端之间的通信,由用户从客户端计算机上远程调整选择服务器端摄像头并进行调整,例如调整屏幕上显示图像的空间大小与长宽比例使之与摄像头数量相适应。当服务器端与客户端通信时,所发送的图像为源于服务器端的图像的组合。
3)在服务器端检测客户端用户的面部:服务器端运用OpenCV(OpenSourceComputerVisionLibrary)中的cvHaarDetectObject函数,从被用来识别脸部的图像中返回一个CvSeq结构,并由此确定图像中的面孔位置,从而实现在服务器端检测客户端用户的面部。具体实施时,可以在服务器端显示屏幕上有一个方形框标记客户端用户的脸的位置。
4)在服务器端,根据设定的模式(全摄像机图像模式、全屏幕图像模式与调整适应宽高比图像模式,对摄像头进行相应的配置,然后从摄像机得到的三幅图像可见共享区域中,根据客户端用户的脸的位置而确定选择确定主摄像机从而合成3D效果的图像。
具体实施时,可以默认为全摄像机图像模式,无需调整摄像机,改为另外两个摄像头模式时进行配置。
5)服务器端将合成的3D图像根据与客户端的显示设备加以编码组合等处理后发送到客户端。
6)返回3),在下一个单位时间内重复上述过程(即步骤3~5),直至视频会议结束。实现裸眼三维视频会议,包括根据客户端用户脸部识别点在所得图像中的未知的改变,而改变服务器端用户脸部图像获取与合成图像的相关参数(例如确定主摄像机、图像合成占比),并以此从而获取同一用户的同一时间点不同角度的面部的图像,将所得图像按一定的序列进行编码后发送至客户端解码显示。只需两端摄像头并跟踪头部角度即可以实现裸眼三维视频会议的效果。
本发明进一步提出:最终组合图像的高度与单摄像机中图像高度一致,最终组合图像的最终宽度与三个摄像机获取的图像总的区域宽度一致。(最终组合图像是三个图像通过服务端和客户端处理后形成具体的3D图像显示结果。)单摄像机中图像的某些部分的上方与下方,经最终组合图像的空间调整后可以放弃。
调整图像之间垂直方向上保持一致的最佳措施——应尽量减少摄像机之间的改变。因此,为保证最终组合图像的高度与单摄像机中图像高度一致,可以预先放置摄像机处于同一水平位置,以减少在组合图片过程中对图片进行调整处理。
以鼻子作为参考经过人工调整并组合所得图像时,一些可见空间区域是由两个摄像机会共享的。该区域中,由组合所得图像中客户端用户脸的位置而选择并确定主摄像机。当用户从左至右地移动头部时,就选择了其中一个摄像机作为主摄像机。即一个摄像头捕捉图像的过程,主摄像机为面部对应的摄像机,或者称之为中心摄像机。当客户端用户的头移动到一侧,图像的纵横比成比例地显示需要的部分。例如,客户端用户A与服务器端用户B二人面对面进行会议洽谈(此时将摄像机与计算机屏幕抽象为空气)。当客户端用户的头部像左边偏移时,在服务器端的屏幕上可以观察并捕捉到这一改变,并即时根据偏移距离与硬件设备和设置等数据而一定地增加面向客户端用户的左边的摄像机所获取到的图像在3D图像合成中的参数比例。
本发明进一步提出,某些点施加迟滞作用,无论用户脸部的中心所在区域从左或右超过这些点时,主图像将变为另一个。
在连续的(或非常接近)帧的情况下,当面部中心恰恰为相邻摄像机所拍摄图像之间的中点时,图片会出现闪烁。引入迟滞可以避免该现象,从而使仅当迟滞点超过摄像机之间的变化的一定量。摄像头之间切换服务器解决了图像闪烁问题。当用户保持静止时,图像可为一个摄像机或其他非常小的时隙,从而在摄像机之间的快速切换。服务器端不同摄像头所得图像之间切换引入迟滞,即在比较当前人脸检测和前一帧图像执行迟滞的引入以纠正干扰,解决了闪烁效应问题。在本发明的图像传输与处理过程中,当迟滞发生时,直接丢弃该时段中传输的图像,并要求服务器端进行重新发送,以减少系统处理负担,提高系统传输效率且用户所得到的视频效果更流畅,提高用户体验。
这样,根据用户的脸可能处于的每个位点来确定主摄像机,通过摄像机中央之间的迟滞点限制确定一些点并以此成比例地预估客户端图像的宽度。组合所得图像时,两个摄像机共享一些可见空间区域。在该区域中选择主摄像机时,应该由组合所得图像中客户端用户的脸的位置而确定。所以,当用户从左至右移动他/她的头部时,就选择了其中一个摄像机作为主摄像机。为选择一个摄像头,需要确定用户的脸可能处于的每个位点。首先,部分/截面通过摄像机中央之间的中点限制来确定。这些点可以成比例地预估客户端图像的宽度。某些点被施加迟滞作用(参照图2)。无论从左或右超过这些点时,主图像将变为另一个,这取决于用户脸部的中心是处于某个或另一个区域。
实施例中,服务器端采用一个方形标记检测脸的位置,这样可能存在问题,即人脸检测的不稳定性,当选中“调整适应宽高比图像模式”时,该问题在客户端表现得更加显著。本发明进一步提出在人脸检测中,比较当前帧与上一帧以纠正这种干扰。若四个角之和(人脸检测平方)的绝对差异帧低于预先建立的过滤器,则丢弃新的位置,保留上一位置。
具体实施时,可以预先设定服务器的人脸跟踪相关配置信息:在服务器端的屏幕上显示选项、反转X轴、启动脸部跟踪、脸部跟踪信息显示、过滤器与迟滞值大小的设置。设定反转X轴、过滤器与迟滞值以解决人脸检测不稳定性的问题。
采用以上技术方案后:
在服务器端,用户拥有一个完整的可用空间视角。若服务器中有许多的摄像机,相对于其高度而言,合成的图像将非常宽。
闪烁效果控制和滤波器中引入迟滞,有效防止了所得图像的不稳定与模糊。
控制左右眼看到不同的图像,然后利用人眼的视觉成像原理,形成的3D纵深效果。
接收方所接受的图像成像效果与接收方设备所支持的视点图数目有关,而各个设备支持的视点图数目不一样所显示的图像也会不一样。
并且,
摄像机阵列可以用来记录一个场景与多个视频信号,使用户能够查看一个遥远的3D世界,并使场景更加生动、准确。
在全摄像机图像模式中,最终图像大小即单摄像机图像大小。这种模式获得的结果图像的改变及其之间的差异更易被察觉。
从用户的角度,虚拟框根据他/她的位置而移动,形成远程用户在屏幕画面内的效果。该技术避免了分离图像前景与背景这一困难任务。
实验的结果表明,参与者能够感知运动视差提供的3D效果并且都喜欢这一新的视频会议方式。参见图4,客户端和服务端建立网络通信后,客户端用户可以看见服务端3D视频,同时自己的图像也可以小框显示,服务端用户可以看见客户端用户,并做3D展示。
上述实施例为本专利的优选实施方式,并非用来限制本发明的实施范围,凡未背离本发明的原理所作的任何改进、润饰和组合等,均属于本发明权利要求的保护范围之内。

Claims (5)

1.一种多视角裸眼3D视频会议系统,其特征在于:包括服务器端和客户端,服务器端和客户端之间建立通信,
所述客户端设置至少一个摄像头,采用单个摄像头拍摄客户端用户;并设置图像上传模块和图像显示模块,
所述图像上传模块,用于将客户端摄像头拍摄所得客户端用户图像传输到服务器端;
所述图像显示模块,用于对服务器端传输返回的多视点图像合成编码结果进行解码转换,显示裸眼3D视频;
所述服务器端设置至少三个摄像头,采用多个摄像头拍摄服务端图像;并设置摄像输入模块、人脸检测模块和图像处理模块,
所述摄像输入模块,用于支持服务器端摄像头的调整校准,并在校准后输入服务器端摄像头拍摄所得多视点图像;
所述人脸检测模块,用于从客户端接收的客户端用户图像中检测客户端用户的面部;
所述图像处理模块,用于根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码,并传输到客户端。
2.根据权利要求1所述多视角裸眼3D视频会议系统,其特征在于:服务器端设置三个摄像头,客户端采用基于柱镜式免眼镜的3D显示屏幕,所述图像显示模块对服务器端传输返回的多视点图像合成编码结果进行解码后,获得分离的3幅服务端用户的图像,根据3D显示屏幕支持显示的视点图数目P,转换获取视点数据,然后按照合成柱镜格式像素排列要求,以裸眼3D全息的方式显示。
3.根据权利要求2所述多视角裸眼3D视频会议系统,其特征在于:所述转换获取视点数据的实现方式如下,
(i)若P=3,则直接将3幅图像输出为视点数据;
(ii)若P<3,则将3幅图像以第2幅图像为中点,按均匀分布对称减少图像数目,直至P与图像数目相等,此时将P幅图像输出为视点数据;
(iii)若P>3,则将3幅图像以第2幅图像为中点,按均匀分布对称增加图像数目,直至P与图像数目相等,此时将P幅图像输出为视点数据。
4.根据权利要求1或2或3所述多视角裸眼3D视频会议系统,其特征在于:所述服务器端设置的多个摄像头处于同一水平位置。
5.根据权利要求4所述多视角裸眼3D视频会议系统,其特征在于:所述图像处理模块根据人脸检测模块检测所得客户端用户的面部的位置,改变服务器端各摄像头获取到的图像在合成过程中合成比例大小。
CN201510925597.5A 2015-12-14 2015-12-14 多视角裸眼3d视频会议系统 Pending CN105472308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510925597.5A CN105472308A (zh) 2015-12-14 2015-12-14 多视角裸眼3d视频会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510925597.5A CN105472308A (zh) 2015-12-14 2015-12-14 多视角裸眼3d视频会议系统

Publications (1)

Publication Number Publication Date
CN105472308A true CN105472308A (zh) 2016-04-06

Family

ID=55609533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510925597.5A Pending CN105472308A (zh) 2015-12-14 2015-12-14 多视角裸眼3d视频会议系统

Country Status (1)

Country Link
CN (1) CN105472308A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872473A (zh) * 2016-05-18 2016-08-17 西安银石科技发展有限责任公司 基于全息影像双摄像头视频识别的机车检修系统及方法
CN107948631A (zh) * 2017-12-25 2018-04-20 河南新汉普影视技术有限公司 一种基于集群和渲染的裸眼3d系统
CN108854067A (zh) * 2018-06-12 2018-11-23 芜湖乐创电子科技有限公司 一种基于多视角分屏式的裸眼3d游戏机装置系统
CN109191366A (zh) * 2018-07-12 2019-01-11 中国科学院自动化研究所 基于人体姿态的多视角人体图像合成方法及装置
CN110519544A (zh) * 2019-08-30 2019-11-29 维沃移动通信有限公司 一种视频通话方法及电子设备
CN112714302A (zh) * 2019-10-25 2021-04-27 苏州苏大维格科技集团股份有限公司 裸眼3d图像的制作方法及装置
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747236A (zh) * 2013-12-30 2014-04-23 中航华东光电有限公司 结合人眼跟踪的立体视频处理系统及方法
US20140128166A1 (en) * 2011-07-22 2014-05-08 Glitchsoft Corporation Game enhancement system for gaming environment
CN104038726A (zh) * 2014-06-26 2014-09-10 武汉恩倍思科技有限公司 实现裸眼3d视频会议的方法
CN105210093A (zh) * 2012-12-18 2015-12-30 艾斯适配有限公司 捕获和显示外观的装置、系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140128166A1 (en) * 2011-07-22 2014-05-08 Glitchsoft Corporation Game enhancement system for gaming environment
CN105210093A (zh) * 2012-12-18 2015-12-30 艾斯适配有限公司 捕获和显示外观的装置、系统和方法
CN103747236A (zh) * 2013-12-30 2014-04-23 中航华东光电有限公司 结合人眼跟踪的立体视频处理系统及方法
CN104038726A (zh) * 2014-06-26 2014-09-10 武汉恩倍思科技有限公司 实现裸眼3d视频会议的方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872473A (zh) * 2016-05-18 2016-08-17 西安银石科技发展有限责任公司 基于全息影像双摄像头视频识别的机车检修系统及方法
CN107948631A (zh) * 2017-12-25 2018-04-20 河南新汉普影视技术有限公司 一种基于集群和渲染的裸眼3d系统
CN108854067A (zh) * 2018-06-12 2018-11-23 芜湖乐创电子科技有限公司 一种基于多视角分屏式的裸眼3d游戏机装置系统
CN109191366A (zh) * 2018-07-12 2019-01-11 中国科学院自动化研究所 基于人体姿态的多视角人体图像合成方法及装置
CN109191366B (zh) * 2018-07-12 2020-12-01 中国科学院自动化研究所 基于人体姿态的多视角人体图像合成方法及装置
CN110519544A (zh) * 2019-08-30 2019-11-29 维沃移动通信有限公司 一种视频通话方法及电子设备
CN110519544B (zh) * 2019-08-30 2021-03-23 维沃移动通信有限公司 一种视频通话方法及电子设备
CN112714302A (zh) * 2019-10-25 2021-04-27 苏州苏大维格科技集团股份有限公司 裸眼3d图像的制作方法及装置
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法
CN115442580B (zh) * 2022-08-17 2024-03-26 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Similar Documents

Publication Publication Date Title
US11962940B2 (en) System and method for augmented reality multi-view telepresence
CN105472308A (zh) 多视角裸眼3d视频会议系统
CN101636747B (zh) 二维/三维数字信息获取和显示设备
US8063930B2 (en) Automatic conversion from monoscopic video to stereoscopic video
CN110798673B (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
EP0961506A1 (en) Autostereoscopic display
CN104602129A (zh) 互动式多视角视频的播放方法及系统
CN104539929A (zh) 带有运动预测的立体图像编码方法和编码装置
CN105847778B (zh) 360°多视点3d全息视频采集方法、设备及实现方法
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
Gotchev Computer technologies for 3d video delivery for home entertainment
CN112929636A (zh) 3d显示设备、3d图像显示方法
KR100540732B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
KR101158678B1 (ko) 입체 영상 시스템 및 입체 영상 처리 방법
CN114040184B (zh) 图像显示方法、系统、存储介质及计算机程序产品
CN114449303B (zh) 直播画面生成方法和装置、存储介质及电子装置
CN103248910A (zh) 三维成像系统及其图像再现方法
CN103051866A (zh) 网络3d 视频监控系统、方法和视频处理平台
CN104038726A (zh) 实现裸眼3d视频会议的方法
CN107087153B (zh) 3d图像生成方法、装置及vr设备
CN105072434A (zh) 一种全息影像的远程传输系统和方法
CN111629194B (zh) 一种基于神经网络的全景视频转6dof视频的方法及系统
CN109429057A (zh) 同步的3d全景视频播放系统
CN1561019A (zh) 基于因特网的立体视频监视方法及系统
CN107547889B (zh) 一种基于即时通信进行立体视频的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160406