CN107491165A - 一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统 - Google Patents

Abstract

摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一。

Description

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统

技术领域

本发明涉及一种虚拟现实设备系统，具体地说涉及一种通过vr眼镜完成远程可视化交互的系统。

背景技术

vr虚拟现实设备的热卖由此诞生了一个问题步入两个人如何用vr设备通过图像实施互动、互传，问题在于vr设备通常设置面部导致遮挡面部难以通过外部摄像头捕捉人的面部整体图像并如何同时完成交互互动。

发明目的在于vr设备通常设置面部导致遮挡面部难以通过外部摄像头捕捉人的面部整体图像，本发明致力于解决这一问题。

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌、眼睛、瞳孔、嘴巴特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像，后者是提供的正面头像图像；从后者图像中裁切前者两条线确定二者之间的区域（18）中对应在后者图像的局部区域图像，并将其补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜的内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）紧邻边缘（5）处设置摄像头c（4）摄像头d（12），摄像头c（4）、摄像头d（12）沿左右间的中心点位置对称设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）紧邻边缘（14）处设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；

以上设备根据摄像头设置在面部位置对应，拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，具体是：

摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，

摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，

红外摄像头b（3）红外摄像头b1（8）负责，

摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，

摄像头f（23）捕获额头图像，

摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，

并将摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，裁切出的对应此被覆盖部位的面部区域图像，vr眼镜贴合面部的内部边缘线（16）以内的由摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，在拼合摄像头f（23）捕获额头图像而将以上局部动态图像拼合一体后合成完整面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度即位置变化捕获传感器；

最终显示到vr眼镜左眼、右眼屏幕上或显示器上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部朝向前方，摄像头f（23）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头f（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头c（4）摄像头d（12），摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头，并可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄的图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头c（4）摄像头d（12）同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；

第二方案

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中的前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；

摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）的边缘（5）上设置摄像头n（19），摄像头 n（19）、沿左右间的中心点位置设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）边缘（14）上设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；

摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，

摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，

贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓的补充的静态图像，

摄像头n（19）拍摄的头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，

摄像头f（23）拍摄捕获额头图像，

将以上图像按照五官对应位置拼合生成完整的面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度传感器以及位置变化捕获传感器；当欲获取非正视前方姿势面部3d图像时，根据拼合摄像头捕获的面部图像通过计算处理生成局部的3d面部图像，包括：两颊、额头、鼻子这些在说话过程中运动较少的区域，通过3d变化角度的鼻子及两颊、额头，与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与双唇嘴巴、眼睛对应的通过计算机计算处理得到的动态实时3d图像结合；当欲获取头部正视前方姿势的面部图像时，不对图像进行图像的3d计算，而是通过以上摄像头根据设置的位置对应拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，在计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像并最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）所拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部面部朝向前方，摄像头f（23）可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头m（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头n（19）可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头n（19）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头n（19）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；

第三方案

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；

摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）的边缘（5）上设置3d摄像头与可见光摄像头的组合体（20），3d摄像头与可见光摄像头的组合体（20）、沿左右间的中心点位置设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）边缘（14）上设3d摄像头与可见光摄像头的组合体b（71），上侧边框（15）边缘（14）上面沿左右对称点处设置3d摄像头与可见光摄像头的组合体b（72），其捕获图像方向均朝向面部；其中的3d摄像头捕获面部3d轮廓结构，根据3d轮廓将可见光图像合成3d图像；

根据3d摄像头与可见光摄像头的组合体b（71）拍摄的图像以及3d摄像头与可见光摄像头的组合体（20）拍摄的图像以及由摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的3d可视图像，由摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位立体可视图像，以上图像均为3d图像，将以上3d图像按照对应拍摄面部位置重新拼合完整面部图像，当欲获取正视及非正视前方姿势面部3d图像时，将以上3d图像按照对应拍摄面部位置重新拼合面部图像通过计算处理生成局部的不同视角的3d面部图像

包括：两颊、额头、鼻子、嘴巴、下巴这些没被vr眼镜覆盖区域，之后与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）中的覆盖区域生成的补充图像对应通过计算机进行3d计算处理得到的该区域动态实时3d图像，将以上部位图像对应位置拼合一体图得到完整面部3d图像，最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

利用3d摄像头与可见光摄像头的组合体（20）其上的3d摄像头可以捕获到口部的立体变化，利用 3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；此外，3d摄像头与可见光摄像头的组合体（20）与3d摄像头与可见光摄像头的组合体b（71）的3d摄像头可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指；

方案四

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）面部接触部件（121）的颜色是绿色或蓝色二者选其一；

上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括：下颌、眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，以上两个图像指的是摄像头阵列组捕获并拼接合成的的面部图像以及之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

其中左眼摄像头A(104)拍摄图像与左眼摄像头B(126)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，我们称它为左眼面部图像，该图像在vr眼镜对应左眼的屏幕中显示，该图像可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；

其中右眼摄像头A1(112)拍摄图像与右眼摄像头B1(125)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像最后形成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，我们称它为右眼面部图像，该图像在vr眼镜对应右眼的屏幕中显示，该图像可以可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；

左眼摄像头A(104)、左眼摄像头B(126)，感光芯片相互平行设置；

右眼摄像头A1(112)、右眼摄像头B1(125)的感光芯片相互平行设置；

左眼摄像头A(104)、右眼摄像头A1(112)，设置于下边框A（111），二者沿左右间距的中心点A(105)对称设置，且位于下边框A（111）临近前方侧面的边缘A（128）处设置；

左眼摄像头B(126)、右眼摄像头B1(125)，设置于上边框A（115），二者沿左右间距的中心点A（127）对称设置且位于上边框A（115）临近前方侧面的边缘A（129）处设置；

摄像头C（101）、摄像头H（110）设置于对应左眼位置的vr眼镜的内部区域，摄像头C（101）、摄像头H（110）位于透镜镜片A（106）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B（103）设置于左眼对应透镜镜片A（106）边缘；

摄像头C1（2）、摄像头H2（109）设置于对应左眼位置的vr眼镜内部区域，摄像头C1（102）、摄像头H1（109）位于透镜镜片C（107）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B1（108）设置于右眼对应透镜镜片C（107）边缘；

左眼摄像头A(104)、左眼摄像头B(126)，右眼摄像头A1(112)、右眼摄像头B1(125)面相人的面部拍摄；

方案五

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）面部接触部件A（121）的颜色是绿色或蓝色二者选其一；

上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，两个图像是摄像头阵列组捕获并拼接合成的的面部图像，之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

左眼摄像头A(104)、左眼摄像头B(126)，感光芯片相互平行设置；

右眼摄像头A1(112)、右眼摄像头B1(125)的感光芯片相互平行设置；

左眼摄像头A(104)、右眼摄像头A1(112)，设置于下边框A（111），二者沿左右间距的中心点A(105)对称设置，且位于下边框A（111）临近前方侧面的边缘A（128）处设置；

左眼摄像头B(126)、右眼摄像头B1(125)，设置于上边框A（115），二者沿左右间距的中心点A（127）对称设置且位于上边框A（115）临近前方侧面的边缘A（129）处设置；

摄像头C（101）、摄像头H（110）设置于对应左眼位置的vr眼镜的内部区域，摄像头C（101）、摄像头H（110）位于透镜镜片A（106）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B（103）设置于左眼对应透镜镜片A（106）边缘；

摄像头C1（102）、摄像头H2（109）设置于对应左眼位置的vr眼镜内部区域，摄像头C1（102）、摄像头H1（109）位于透镜镜片C（107）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B1（108）设置于右眼对应透镜镜片C（107）边缘；

左眼摄像头A(104)、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）设置于上边框与下边框上，上边框与下边框均平行于水平面，左眼摄像头A（104）、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）可以沿着连接体呈180度并沿水平方向旋转，可由手动旋转，左眼摄像头A（104）、左眼摄像头B（126）、右眼摄像头A1（112）、右眼摄像头B1（125）与vr眼镜的上边框、下边框之间设置旋转轴并通过旋转轴连接；

左眼摄像头A（104）、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）可以沿着连接体呈180度并沿水平方向旋转通过电力驱动控制方的方案是：每个设置在上边框A（111）或是下边框A（115）的摄像头通过其下方的电动机固定上边框A（111）或下边框上A（115），摄像头固定在电机的转子上，定子与上边框A（111）或是下边框A（115）固定，电机驱动并控制摄像头相对于上边框A（111）或下边框A（115）旋转，电机驱动并控制摄像头相对于上边框旋转；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的3d建模用以在闭眼时渲染；将上述对应生成与渲染的图像的图像视角与左眼摄像头A（104）、左眼摄像头B（126），的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的左侧平面上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）、红外摄像头B1（108）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新新的一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）、红外摄像头B1（108）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的闭眼状态下的3d建模用以在闭眼时渲染因为闭眼通常为瞬间不需要渲染出准确的图像而且默认每次闭眼状态下3d建模不发生变化，上述对应生成、渲染的图像的图像视角与左眼摄像头A（104）、左眼摄像头B（126）拍摄的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的左侧屏幕上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）、红外摄像头B1（108）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新新的一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）、红外摄像头B1（108）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的闭眼状态下的3d建模用以在闭眼时渲染因为闭眼通常为瞬间不需要渲染出准确的图像而且默认每次闭眼状态下3d建模不发生变化，上述对应生成、渲染的图像的图像视角与左眼摄像头右眼摄像头A1（112）与右眼摄像头B1（125）

拍摄的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头右眼摄像头A1（112）与右眼摄像头B1（125）

一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的右侧屏幕上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与右眼摄像头A1（112）与右眼摄像头B1（125）

一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

通过在对应左、右眼前面的屏幕显示，图像将带给人以不同角度看人的面部的视觉效果，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头与vr眼镜的连接方式可以为如下模式：设置环形边框A（77），边框的内边缘A（66）形状与vr眼镜的外边缘尺寸一致，环形边框的内边缘可以套在vr眼镜的外边缘A（88）上，环形边框上固定着；

两个摄像头左眼摄像头B(126)、右眼摄像头B1(125)朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头左眼摄像头B(126)、右眼摄像头B1(125)拍摄额头部位的静态画面代替动态画面，将左眼摄像头B(126)拍的静态额头部分画面合成在左眼面部图像，将右眼摄像头B1(125)拍的静态额头部分画面合成在右眼面部图像，此时调整将两个摄像头左眼摄像头B(126)、右眼摄像头B1(125)背向面部面部朝向前方，两个摄像头可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，双摄像头左眼摄像头B(126)、右眼摄像头B1(125)构成3d摄像头，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的两个摄像头左眼摄像头A(104)构成一对3d摄像头可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用判读3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将左眼摄像头A(104)、右眼摄像头A1(112) 两个摄像头可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，双摄像头左眼摄像头A(104)、右眼摄像头A1(112)可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令。

附图说明

图1是主视图

图2是下部展示图

图3是vr眼镜与面部重叠区域示意图

图4是vr眼镜与面部重叠区域图

图5是vr眼镜与环形边框结合透视图

图6是环形边框与vr眼镜结合前展示。

图7是主视图

图8是底面图

图9是面部覆盖区域示意图

图10是面部区域解释图

图11是仰视图

图12是组合摄像系统

图13vr眼镜上侧边框（15）边缘（14）上设3d摄像头与可见光摄像头的组合体b（71）。

具体实施方式

第三方案

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充，参见图3；

vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；

参见图12、13，摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）的边缘（5）上设置3d摄像头与可见光摄像头的组合体（20），3d摄像头与可见光摄像头的组合体（20）、沿左右间的中心点位置设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）边缘（14）上设3d摄像头与可见光摄像头的组合体b（71），上侧边框（15）边缘（14）上面沿左右对称点处设置3d摄像头与可见光摄像头的组合体b（72），其捕获图像方向均朝向面部；其中的3d摄像头捕获面部3d轮廓结构，根据3d轮廓将可见光图像合成3d图像；

根据3d摄像头与可见光摄像头的组合体b（71）拍摄的图像以及3d摄像头与可见光摄像头的组合体（20）拍摄的图像以及由摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的3d可视图像，由摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的3d可视图像，以上图像均为3d图像，将以上3d图像按照对应拍摄面部位置重新拼合完整面部图像，当欲获取正视及非正视前方姿势面部3d图像时，将以上3d图像按照对应拍摄面部位置重新拼合面部图像通过计算处理生成局部的不同视角的3d面部图像，包括：两颊、额头、鼻子、嘴巴、下巴这些没被vr眼镜覆盖区域的面部区域，之后与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）中的覆盖区域生成的补充图像对应通过计算机进行3d计算处理得到的该区域动态实时3d图像，将以上部位图像对应位置拼合一体图得到完整面部3d图像，最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

参见图12、13利用3d摄像头与可见光摄像头的组合体（20）其上的3d摄像头可以捕获到口部的立体变化，利用 3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；此外，3d摄像头与可见光摄像头的组合体（20）与3d摄像头与可见光摄像头的组合体b（71）的3d摄像头可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指；

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统

方案四

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

参见图2，vr眼镜紧贴面部区域（18）面部接触部件（121）的颜色是绿色或蓝色二者选其一；

上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括：下颌、眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，以上两个图像指的是摄像头阵列组捕获并拼接合成的的面部图像以及之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；参见图3、4；

参见图1， 其中左眼摄像头A(104)拍摄图像与左眼摄像头B(126)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，我们称它为左眼面部图像，该图像在vr眼镜对应左眼的屏幕中显示，该图像可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；

其中右眼摄像头A1(112)拍摄图像与右眼摄像头B1(125)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像最后形成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，我们称它为右眼面部图像，该图像在vr眼镜对应右眼的屏幕中显示，该图像可以可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；

参见图1、图2，左眼摄像头A(104)、左眼摄像头B(126)，感光芯片相互平行设置；

右眼摄像头A1(112)、右眼摄像头B1(125)的感光芯片相互平行设置；

左眼摄像头A(104)、右眼摄像头A1(112)，设置于下边框A（111），二者沿左右间距的中心点A(105)对称设置，且位于下边框A（111）临近前方侧面的边缘A（128）处设置；

左眼摄像头B(126)、右眼摄像头B1(125)，设置于上边框A（115），二者沿左右间距的中心点A（127）对称设置且位于上边框A（115）临近前方侧面的边缘A（129）处设置；

参见图1、图2，摄像头C（101）、摄像头H（110）设置于对应左眼位置的vr眼镜的内部区域，摄像头C（101）、摄像头H（110）位于透镜镜片A（106）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B（103）设置于左眼对应透镜镜片A（106）边缘；

摄像头C1（2）、摄像头H2（109）设置于对应左眼位置的vr眼镜内部区域，摄像头C1（102）、摄像头H1（109）位于透镜镜片C（107）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B1（108）设置于右眼对应透镜镜片C（107）边缘；

左眼摄像头A(104)、左眼摄像头B(126)，右眼摄像头A1(112)、右眼摄像头B1(125)面相人的面部拍摄；

方案五

一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）面部接触部件A（121）的颜色是绿色或蓝色二者选其一；

上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，两个图像是摄像头阵列组捕获并拼接合成的的面部图像，之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

左眼摄像头A(104)、左眼摄像头B(126)，感光芯片相互平行设置；

右眼摄像头A1(112)、右眼摄像头B1(125)的感光芯片相互平行设置；

左眼摄像头A(104)、右眼摄像头A1(112)，设置于下边框A（111），二者沿左右间距的中心点A(105)对称设置，且位于下边框A（111）临近前方侧面的边缘A（128）处设置；

左眼摄像头B(126)、右眼摄像头B1(125)，设置于上边框A（115），二者沿左右间距的中心点A（127）对称设置且位于上边框A（115）临近前方侧面的边缘A（129）处设置；

摄像头C（101）、摄像头H（110）设置于对应左眼位置的vr眼镜的内部区域，摄像头C（101）、摄像头H（110）位于透镜镜片A（106）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B（103）设置于左眼对应透镜镜片A（106）边缘；

摄像头C1（102）、摄像头H2（109）设置于对应左眼位置的vr眼镜内部区域，摄像头C1（102）、摄像头H1（109）位于透镜镜片C（107）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B1（108）设置于右眼对应透镜镜片C（107）边缘；

左眼摄像头A(104)、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）设置于上边框与下边框上，上边框与下边框均平行于水平面，左眼摄像头A（104）、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）可以沿着连接体呈180度并沿水平方向旋转，可由手动旋转，左眼摄像头A（104）、左眼摄像头B（126）、右眼摄像头A1（112）、右眼摄像头B1（125）与vr眼镜的上边框、下边框之间设置旋转轴并通过旋转轴连接；

左眼摄像头A（104）、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）可以沿着连接体呈180度并沿水平方向旋转通过电力驱动控制方的方案是：每个设置在上边框A（111）或是下边框A（115）的摄像头通过其下方的电动机固定上边框A（111）或下边框上A（115），摄像头固定在电机的转子上，定子与上边框A（111）或是下边框A（115）固定，电机驱动并控制摄像头相对于上边框A（111）或下边框A（115）旋转，电机驱动并控制摄像头相对于上边框旋转；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的3d建模用以在闭眼时渲染；将上述对应生成与渲染的图像的图像视角与左眼摄像头A（104）、左眼摄像头B（126），的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的左侧平面上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）、红外摄像头B1（108）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新新的一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）、红外摄像头B1（108）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的闭眼状态下的3d建模用以在闭眼时渲染因为闭眼通常为瞬间不需要渲染出准确的图像而且默认每次闭眼状态下3d建模不发生变化，上述对应生成、渲染的图像的图像视角与左眼摄像头A（104）、左眼摄像头B（126）拍摄的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的左侧屏幕上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）、红外摄像头B1（108）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新新的一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）、红外摄像头B1（108）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的闭眼状态下的3d建模用以在闭眼时渲染因为闭眼通常为瞬间不需要渲染出准确的图像而且默认每次闭眼状态下3d建模不发生变化，上述对应生成、渲染的图像的图像视角与左眼摄像头右眼摄像头A1（112）与右眼摄像头B1（125）

拍摄的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头右眼摄像头A1（112）与右眼摄像头B1（125）

一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的右侧屏幕上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与右眼摄像头A1（112）与右眼摄像头B1（125）

一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

通过在对应左、右眼前面的屏幕显示，图像将带给人以不同角度看人的面部的视觉效果，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头与vr眼镜的连接方式可以为如下模式：设置环形边框A（77），边框的内边缘A（66）形状与vr眼镜的外边缘尺寸一致，环形边框的内边缘可以套在vr眼镜的外边缘A（88）上，环形边框上固定着；

两个摄像头左眼摄像头B(126)、右眼摄像头B1(125)朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头左眼摄像头B(126)、右眼摄像头B1(125)拍摄额头部位的静态画面代替动态画面，将左眼摄像头B(126)拍的静态额头部分画面合成在左眼面部图像，将右眼摄像头B1(125)拍的静态额头部分画面合成在右眼面部图像，此时调整将两个摄像头左眼摄像头B(126)、右眼摄像头B1(125)背向面部面部朝向前方，两个摄像头可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，双摄像头左眼摄像头B(126)、右眼摄像头B1(125)构成3d摄像头，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的两个摄像头左眼摄像头A(104)构成一对3d摄像头可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用判读3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将左眼摄像头A(104)、右眼摄像头A1(112) 两个摄像头可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，双摄像头左眼摄像头A(104)、右眼摄像头A1(112)可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令。

Claims (5)

1.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）的面部接触部件颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌、眼睛、瞳孔、嘴巴特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像，后者是提供的正面头像图像；从后者图像中裁切前者两条线确定二者之间的区域（18）中对应在后者图像的局部区域图像，并将其补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜的内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）紧邻边缘（5）处设置摄像头c（4）摄像头d（12），摄像头c（4）、摄像头d（12）沿左右间的中心点位置对称设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）紧邻边缘（14）处设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；

以上设备根据摄像头设置在面部位置对应，拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，具体是：

摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，

摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，

红外摄像头b（3）红外摄像头b1（8）负责，

摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，

摄像头f（23）捕获额头图像，

摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，

并将摄像头c（4）、摄像头d（12）捕获头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，裁切出的对应此被覆盖部位的面部区域图像，vr眼镜贴合面部的内部边缘线（16）以内的由摄像头a（1）、摄像头b（10）捕获vr眼镜内部的眼睛鼻梁区域图像，摄像头a1（2）、摄像头b2（9）捕获vr眼镜内部的眼睛鼻梁区域图像，在拼合摄像头f（23）捕获额头图像而将以上局部动态图像拼合一体后合成完整面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度即位置变化捕获传感器；

最终显示到vr眼镜左眼、右眼屏幕上或显示器上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部朝向前方，摄像头f（23）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头f（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头c（4）摄像头d（12），摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头，并可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄的图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头c（4）摄像头d（12）同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头c（4）摄像头d（12）共同构成一组3d图像摄像头可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；

第二方案

2.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓，根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中的前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；

摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）的边缘（5）上设置摄像头n（19），摄像头 n（19）、沿左右间的中心点位置设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）边缘（14）上设置摄像头f（23），上侧边框（15）边缘（14）上面沿左右对称点处设置摄像头f（23），其捕获图像方向朝向面部；

摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，

摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，

贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）轮廓的补充的静态图像，

摄像头n（19）拍摄的头戴vr眼镜状态下人的面部区域vr眼镜以下部位图像，

摄像头f（23）拍摄捕获额头图像，

将以上图像按照五官对应位置拼合生成完整的面部图像，再计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像，眼镜上设置可以测量头部旋转角度的3轴角度传感器以及位置变化捕获传感器；当欲获取非正视前方姿势面部3d图像时，根据拼合摄像头捕获的面部图像通过计算处理生成局部的3d面部图像，包括：两颊、额头、鼻子这些在说话过程中运动较少的区域，通过3d变化角度的鼻子及两颊、额头，与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与双唇嘴巴、眼睛对应的通过计算机计算处理得到的动态实时3d图像结合；当欲获取头部正视前方姿势的面部图像时，不对图像进行图像的3d计算，而是通过以上摄像头根据设置的位置对应拼合其捕获图像，拼接成完整面部，完成了完整面部图像的捕获，在计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，头像结合有计算机合成的图像部分包括头发、耳朵、脖子合成具有完全头部器官的完整头像并最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头f（23）朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头f（23）所拍摄额头部位的静态画面代替动态画面，将摄像头f（23）拍的静态额头部分画面合成在左眼面部图像，此时调整将摄像头f（23）背向面部面部朝向前方，摄像头f（23）可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头m（23）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的摄像头n（19）可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用拍摄图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将摄像头n（19）可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，摄像头n（19）可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令；

第三方案

3.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供一张正面头像，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）部件的颜色是绿色或蓝色二者选其一；

通过摄像头阵列组获取贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，其中前者是摄像头阵列组捕获的面部图像后者是提供的正面头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态图像与视频中图像结合，合二为一成为完成动态视频面部；

摄像头a（1）、摄像头b（10）设置于对应左眼位置的vr眼镜内部区域，摄像头a（1）、摄像头b（10）位于透镜镜片a（6）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b（3）设置于左眼对应透镜镜片（6）边缘；

摄像头a1（2）、摄像头b2（9）设置于对应左眼位置的vr眼镜内部区域，摄像头a1（2）、摄像头b1（9）位于透镜镜片c（7）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头b1（8）设置于右眼对应透镜镜片c（7）边缘；

vr眼镜下侧边框（11）的边缘（5）上设置3d摄像头与可见光摄像头的组合体（20），3d摄像头与可见光摄像头的组合体（20）、沿左右间的中心点位置设置，捕获图像方向朝向面部；

vr眼镜上侧边框（15）边缘（14）上设3d摄像头与可见光摄像头的组合体b（71），上侧边框（15）边缘（14）上面沿左右对称点处设置3d摄像头与可见光摄像头的组合体b（72），其捕获图像方向均朝向面部；其中的3d摄像头捕获面部3d轮廓结构，根据3d轮廓将可见光图像合成3d图像；

根据3d摄像头与可见光摄像头的组合体b（71）拍摄的图像以及3d摄像头与可见光摄像头的组合体（20）拍摄的图像以及由摄像头a（1）、摄像头b（10）红外摄像头b（3）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成立体的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，由摄像头a1（2）、摄像头b2（9）、红外摄像头b1（8）共同构成3d摄像头组，红外摄像头b（3）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头a（1）、摄像头b（10）合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位立体可视图像，以上图像均为3d图像，将以上3d图像按照对应拍摄面部位置重新拼合完整面部图像，当欲获取正视及非正视前方姿势面部3d图像时，将以上3d图像按照对应拍摄面部位置重新拼合面部图像通过计算处理生成局部的不同视角的3d面部图像，包括：两颊、额头、鼻子、嘴巴、下巴这些没被vr眼镜覆盖区域，之后与捕获到的头部旋转对应角度实时合成对应视觉角度对应的面部局部图像之后与边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18）中的覆盖区域生成的补充图像对应通过计算机进行3d计算处理得到的该区域动态实时3d图像，将以上部位图像对应位置拼合一体图得到完整面部3d图像，最终显示到vr眼镜左眼、右眼屏幕上，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

利用3d摄像头与可见光摄像头的组合体（20）其上的3d摄像头可以捕获到口部的立体变化，利用 3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；此外，3d摄像头与可见光摄像头的组合体（20）与3d摄像头与可见光摄像头的组合体b（71）的3d摄像头可以旋转180度，沿反方向视角背向面部、朝向前方拍摄，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指；

方案四

4. 一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）面部接触部件（121）的颜色是绿色或蓝色二者选其一；

上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括：下颌、眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，以上两个图像指的是摄像头阵列组捕获并拼接合成的的面部图像以及之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

其中左眼摄像头A(104)拍摄图像与左眼摄像头B(126)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像，我们称它为左眼面部图像，该图像在vr眼镜对应左眼的屏幕中显示，该图像可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；

其中右眼摄像头A1(112)拍摄图像与右眼摄像头B1(125)拍摄图像以及边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），对应由上传的位于面部右侧位置拍摄的图像补充，以及vr眼镜内部的摄像头摄像头C（101）拍摄的人的左眼眼部上半部图像与摄像头H（110）拍摄的人的左眼眼部下半部图像，摄像头C1（102）拍摄的人的右眼眼部上半部图像、摄像头H1（109）拍摄的人的右眼眼部下半部图像由以上图像通过拼接共同合成一幅面部图像最后形成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，我们称它为右眼面部图像，该图像在vr眼镜对应右眼的屏幕中显示，该图像可以可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕上显示；

左眼摄像头A(104)、左眼摄像头B(126)，感光芯片相互平行设置；

右眼摄像头A1(112)、右眼摄像头B1(125)的感光芯片相互平行设置；

左眼摄像头A(104)、右眼摄像头A1(112)，设置于下边框A（111），二者沿左右间距的中心点A(105)对称设置，且位于下边框A（111）临近前方侧面的边缘A（128）处设置；

左眼摄像头B(126)、右眼摄像头B1(125)，设置于上边框A（115），二者沿左右间距的中心点A（127）对称设置且位于上边框A（115）临近前方侧面的边缘A（129）处设置；

摄像头C（101）、摄像头H（110）设置于对应左眼位置的vr眼镜的内部区域，摄像头C（101）、摄像头H（110）位于透镜镜片A（106）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B（103）设置于左眼对应透镜镜片A（106）边缘；

摄像头C1（2）、摄像头H2（109）设置于对应左眼位置的vr眼镜内部区域，摄像头C1（102）、摄像头H1（109）位于透镜镜片C（107）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B1（108）设置于右眼对应透镜镜片C（107）边缘；

左眼摄像头A(104)、左眼摄像头B(126)，右眼摄像头A1(112)、右眼摄像头B1(125)面相人的面部拍摄；

方案五

5.一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统，包括：摄像头组，vr眼镜，其特征在于：先提供两张头像，其中一张是摄像头位于面部左前方位置拍摄以正视角度拍摄，其中一张是摄像头位于面部右前方位置拍摄以正视角度拍摄，阵列摄像头组捕获整个面部图像，vr眼镜由于覆盖并紧贴面部，紧贴面部区域（18）画面无法获取，由此前提供的面部照片中对应部位进行补充；

vr眼镜紧贴面部区域（18）面部接触部件A（121）的颜色是绿色或蓝色二者选其一；

上传两张头部照片，其中一张要求摄像头的拍摄位置位于面部左侧位置拍摄，其中另一张要求摄像头的拍摄位置位于面部右侧拍摄；

通过摄像头阵列组获取vr眼镜贴合面部外部边缘线（17）、内部边缘线（16），两条线确定二者之间的区域（18），根据图片图与图的对应点包括下颌，眼睛、瞳孔、嘴巴等特征点确定两个图像的位置相对应关系，两个图像是摄像头阵列组捕获并拼接合成的的面部图像，之前提供的头像，前者是摄像头阵列组捕获的面部图像后者是提供的头像图像，从后者图像中裁切前者两条线之间的区域（18）中对应的局部面部图像，补充到前者图像中，因为该区域在面部一般表情中保持静态，将此区域静态面部图像与其它部位动态视频按照位置对应关系结合，合二为一成为完成动态视频面部；

左眼摄像头A(104)、左眼摄像头B(126)，感光芯片相互平行设置；

右眼摄像头A1(112)、右眼摄像头B1(125)的感光芯片相互平行设置；

左眼摄像头A(104)、右眼摄像头A1(112)，设置于下边框A（111），二者沿左右间距的中心点A(105)对称设置，且位于下边框A（111）临近前方侧面的边缘A（128）处设置；

左眼摄像头B(126)、右眼摄像头B1(125)，设置于上边框A（115），二者沿左右间距的中心点A（127）对称设置且位于上边框A（115）临近前方侧面的边缘A（129）处设置；

摄像头C（101）、摄像头H（110）设置于对应左眼位置的vr眼镜的内部区域，摄像头C（101）、摄像头H（110）位于透镜镜片A（106）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B（103）设置于左眼对应透镜镜片A（106）边缘；

摄像头C1（102）、摄像头H2（109）设置于对应左眼位置的vr眼镜内部区域，摄像头C1（102）、摄像头H1（109）位于透镜镜片C（107）上、下两侧设置，红外摄像头朝向眼球瞳孔位置设置，红外摄像头B1（108）设置于右眼对应透镜镜片C（107）边缘；

左眼摄像头A(104)、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）设置于上边框与下边框上，上边框与下边框均平行于水平面，左眼摄像头A（104）、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）可以沿着连接体呈180度并沿水平方向旋转，可由手动旋转，左眼摄像头A（104）、左眼摄像头B（126）、右眼摄像头A1（112）、右眼摄像头B1（125）与vr眼镜的上边框、下边框之间设置旋转轴并通过旋转轴连接；

左眼摄像头A（104）、左眼摄像头B（126），右眼摄像头A1（112）右眼摄像头B1（125）可以沿着连接体呈180度并沿水平方向旋转通过电力驱动控制方的方案是：每个设置在上边框A（111）或是下边框A（115）的摄像头通过其下方的电动机固定上边框A（111）或下边框上A（115），摄像头固定在电机的转子上，定子与上边框A（111）或是下边框A（115）固定，电机驱动并控制摄像头相对于上边框A（111）或下边框A（115）旋转，电机驱动并控制摄像头相对于上边框旋转；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的3d建模用以在闭眼时渲染；将上述对应生成与渲染的图像的图像视角与左眼摄像头A（104）、左眼摄像头B（126），的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的左侧平面上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）、红外摄像头B1（108）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新新的一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）、红外摄像头B1（108）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的闭眼状态下的3d建模用以在闭眼时渲染因为闭眼通常为瞬间不需要渲染出准确的图像而且默认每次闭眼状态下3d建模不发生变化，上述对应生成、渲染的图像的图像视角与左眼摄像头A（104）、左眼摄像头B（126）拍摄的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的左侧屏幕上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与左眼摄像头A（104）、左眼摄像头B（126）一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

摄像头C1（102）、摄像头H2（109）、红外摄像头B1（108）共同构成3d摄像头组，红外摄像头B1（108）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C1（102）、摄像头H2（109）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像，摄像头C（101）、摄像头H（110）、红外摄像头B（103）共同构成3d摄像头组，红外摄像头B（103）通过红外光反射捕获处拍摄部位的3d轮廓再将3d轮廓和摄像头C（101）、摄像头H（110）拍摄的图像合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像,由于眼睛及鼻梁即眉毛局部区域的画面变化很小，其图像变化明显区域仅为眼珠以及眼皮，红外摄像头B（103）、红外摄像头B1（108）同时用以判断眼睛的张或者开的状态，以及眼球的的左右上下方位移动，建立眼球的3d建模，并实时渲染眼球的图像，仅在位置发生变化时刻更新新的一帧眼球图像并将图像合成到合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像中，在一般状态下运算资源有限或较低状态下仅进行低频率的合成生成3d的眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位3d可视图像每秒1-30帧并且仅在红外摄像头B（103）、红外摄像头B1（108）捕获到的眼球位置发生变化时更新新的一帧图像，当识别到闭眼时自动渲染闭眼状态的3d建模的图像眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位，因此也要建立眼睛及鼻梁、vr眼镜内眉毛未覆盖区域部位的闭眼状态下的3d建模用以在闭眼时渲染因为闭眼通常为瞬间不需要渲染出准确的图像而且默认每次闭眼状态下3d建模不发生变化，上述对应生成、渲染的图像的图像视角与左眼摄像头右眼摄像头A1（112）与右眼摄像头B1（125）

拍摄的实时同步对应旋转且实时对应的角度的图像视角保持一致，并将二者拼合再与实时渲染出与左眼摄像头右眼摄像头A1（112）与右眼摄像头B1（125）

一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像拼合，最后合成的面部再由计算机生成耳朵、头发以及脖子对应与面部图像进行拼接，最终合成完整头像进而获取并生成在不同角度的3d面部图像并将此图像对应显示在vr眼镜的右侧屏幕上；

对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）对应由上传的位于面部右侧位置拍摄的图像补充与对应由上传的位于面部左侧位置拍摄的图像补充进行两张图进行3d计算处理获得该区域的静态平面180度视角范围内的3d图像，并实时渲染出与右眼摄像头A1（112）与右眼摄像头B1（125）

一致视角的对边缘线（17）、内部边缘线（16）两条线确定二者之间的区域（18）3d图像；

通过在对应左、右眼前面的屏幕显示，图像将带给人以不同角度看人的面部的视觉效果，可以通过网络远程连接传送到远方的vr眼镜的左眼、右眼的屏幕；

摄像头与vr眼镜的连接方式可以为如下模式：设置环形边框A（77），边框的内边缘A（66）形状与vr眼镜的外边缘尺寸一致，环形边框的内边缘可以套在vr眼镜的外边缘A（88）上，环形边框上固定着；

两个摄像头左眼摄像头B(126)、右眼摄像头B1(125)朝向面部，因为额头部位在正常表情下图像变动非常小几乎可以忽略不计，故选用摄像头左眼摄像头B(126)、右眼摄像头B1(125)拍摄额头部位的静态画面代替动态画面，将左眼摄像头B(126)拍的静态额头部分画面合成在左眼面部图像，将右眼摄像头B1(125)拍的静态额头部分画面合成在右眼面部图像，此时调整将两个摄像头左眼摄像头B(126)、右眼摄像头B1(125)背向面部面部朝向前方，两个摄像头可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，双摄像头左眼摄像头B(126)、右眼摄像头B1(125)构成3d摄像头，可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令，同时朝面部拍摄的两个摄像头左眼摄像头A(104)构成一对3d摄像头可以获得口部形状的实时变化以及下颌上颌部位的实时运动变化图像，利用判读3d图像用以判断并识别口部对应发出的文字信息，并可将文字信息转变为控制操作的指令；除此方案之外可以将左眼摄像头A(104)、右眼摄像头A1(112) 两个摄像头可以同步旋转180度，沿反方向视角背向面部、朝向前方拍摄，双摄像头左眼摄像头A(104)、右眼摄像头A1(112)可以捕获到前方手势图像并对手势进行识别获得基于手势变化的操控指令。