CN109308741B - 一种基于Meta2的自然交互工艺品创意设计系统 - Google Patents

Abstract

本发明涉及一种基于Meta2的自然交互工艺品创意设计系统，其特征在于：meta2增强现实眼镜通过HDMI和USB3.0与工作站对应接口进行连接；在meta2增强现实眼镜与工作站进行连接，且人手处于自然交互有效区域的情况下具体步骤如下：步骤1：创建系统主场景，包括图形用户界面，模型编辑区域，步骤2：支持工艺品设计过程中的模型雕塑、模型组合操作，步骤3：模型组合的处理，步骤4：支持工艺品设计完成后的模型导出操作。其手势识别精度高、操作简单；有利于创意设计灵感的产生，促进优秀创意设计产品的出现。

Description

一种基于Meta2的自然交互工艺品创意设计系统

技术领域

本发明涉及一种基于Meta2的自然交互工艺品创意设计系统，属于增强现实领域。

背景技术

所谓的创意设计是将创造性的思想、理念以设计的方式予以延伸、诠释的过程。灵感对于优秀设计产品的产生可谓至关重要。在设计过程中，及时捕捉突然而来又倏然而去的灵感能给人们带来意想不到的创新和创意。因此，把握灵感产生的瞬间，及时控制设计对象产生真实的反馈，能够有效地激励设计，为设计带来新的思路，更有助于优秀设计产品的产生。

现阶段，各个领域中均有可被使用的计算机辅助设计工具(例如，大名鼎鼎的CAD)，能够提高设计的效率，在一定程度上有利于好的设计产品的出现。但是，现有工具主要是通过鼠标键盘等输入设备在计算机中绘制二维图纸或操作三维模型的方式完成设计工作。这类工具完成设计思想到图纸或模型的转换时操作复杂，更无法让设计师在设计过程中得到实时的、真实的效果反馈，限制了设计的思想和灵感的产生。

发明内容

本发明的目的在于提供一种基于Meta2的自然交互工艺品创意设计系统，是基于增强现实技术，在创意设计过程中，无需鼠标、键盘等输入设备，通过人手自然交互方式完成设计；并且，直接操作具有真实感的三维设计对象，实时反馈设计效果；可极大地促进灵感的捕捉和设计过程的实施，帮助设计师快速创造出更优秀的创意设计产品。

为了达成上述目的，本发明技术方案是这样实现的：一种基于Meta2的自然交互工艺品创意设计系统，包括：工作站、meta2增强现实眼镜、手势输入、自然交互的有效区域；其特征在于：meta2增强现实眼镜通过HDMI和USB3.0与工作站对应接口进行连接；在meta2增强现实眼镜与工作站进行连接，且人手处于自然交互有效区域的情况下具体步骤如下：

步骤1：创建系统主场景，包括图形用户界面，模型编辑区域，其中图形用户界面和模型编辑区域都在自然交互有效区域内，本系统自然交互有效区域定义为头盔前方水平视角88°，深度0.35m～0.70m的区域；在自然交互有效区域内创建图形用户界面，利用Meta2增强现实眼镜提供的SDK中的画布系统创建基本的画布；在画布中添加模型选择按钮、模型图片、模型旋转滑动条、模型放大缩小滑动条元素；在自然交互有效区域内创建空白的模型编辑区域，便于在该区域生成用户选择的模型；

步骤2：支持工艺品设计过程中的模型雕塑、模型组合操作方法，其中模型雕塑的处理步骤包括如下子步骤：

步骤201：基于Meta2增强现实眼镜捕获的手部数据，完成手指指尖的识别，通过Meta2增强现实眼镜上的位置追踪传感器，实时获取左手和右手指尖在世界坐标系下的坐标，分别记为LTop(x_tl,y_tl,z_tl)和RTop(x_tr,y_tr,z_tr)；

步骤202：监测用户指尖位置；当用户通过指尖点击图形用户界面的模型图片，且指尖到达图形用户界面画布系统的触发区域内，则触发点击事件；找到用户所选择模型的预制体资源，通过Instantiate方法，将模型生成至世界坐标系(0.03，-0.03，0.4)的位置即模型编辑区域内，该模型记为模型M(v_l1,v_l2,…,v_ln)(以下简写为模型M)，其中v_l1,v_l2,…,v_ln为模型M的网格顶点在自身局部坐标系下的坐标；

步骤203：通过图形用户界面控制模型的旋转，用户通过指尖滑动图形用户界面中的模型旋转滑动条，通过transform.Rotate方法控制模型M以自身竖直方向为轴进行旋转；定义滑动条的数值范围为1至360，可控制模型的转速范围为(1/360)r/s至1r/s；

步骤204：通过图形用户界面控制模型的放大和缩小，用户通过指尖滑动图形用户界面中的模型放大缩小滑动条，通过transform.localScale属性来控制模型M的放大缩小；定义滑动条的数值范围为1至2，可控制模型的尺寸在自身1倍至自身2倍大小的范围内变化；

步骤205：定义两个球形碰撞器，其分别与左右手指尖LTop(x_tl,y_tl,z_tl)和RTop(x_tr,y_tr,z_tr)进行绑定；

步骤206：定义形变脚本，并将其载到模型M上，具体地，在模型M上添加网格碰撞器，并且监测碰撞事件的发生；当与手指指尖位置绑定的球形碰撞器接触到模型M表面时，该碰撞器与模型M的网格碰撞器发生碰撞事件，形变脚本监测到碰撞事件后，将模型M的网格顶点在自身局部坐标系下的坐标(v_l1,v₁₂,…,v_ln)转换为世界坐标系下的坐标(v_w1,v_w2,…,v_wn)；碰撞点在世界坐标系下的坐标记为(v_wi,v_w(i+1),…,v_wj)(1≤i≤j≤n)，碰撞点的法线向量记为(c_wi,c_w(i+1),…,c_wj)(1≤i≤j≤n)，根据碰撞检测方法，通过如下公式，可改变模型M在碰撞点处的网格顶点位置：

(v′_wi,v′_w(i+1),…,v′_wj)＝(v_wi,v_w(i+1),…,v_wj)+((c_wi，c_w(i+1)，...，c_wj)×(d×f))(1≤i≤j≤n)

其中，d为模型M网格顶点的变化方向，f为变化强度，(v′_wi,v′_w(i+1),…,v′_wj)为改变位置后的模型M的网格顶点在世界坐标系下的坐标；

将模型M的网格顶点坐标从世界坐标系转换为自身局部坐标系，得到(v′_l1,v′_l2,…,v′_ln)，根据此坐标，利用Mesh.RecalculateNormals方法重新计算顶点法线，获得形变后的模型M，记为M′(v′_l1,v′_l2,…,v′_ln)(以下简写为模型M′)，实现模型雕塑效果；

步骤207：用户通过指尖点击图形用户界面中的重新雕塑按钮，可将模型M′恢复至模型M，重复步骤206可对模型M进行重新雕塑；

步骤3：模型组合的处理步骤包括如下子步骤：

步骤301：重复步骤201、202，选择一个新的模型，将选择的模型记为模型S；

步骤302：基于Meta2捕获的手部数据，完成对手掌的识别；通过Meta2增强现实眼镜上的位置追踪传感器，实时获取左手和右手手掌在世界坐标系下的坐标，分别记为LPalm(x_pl,y_pl,z_pl)和RPalm(x_pr,y_pr,z_pr)。根据LTop(x_tl,y_tl,z_tl)、RTop(x_tr,y_tr,z_tr)、LPalm(x_pl,y_pl,z_pl)、RPalm(x_pr,y_pr,z_pr)的信息，定义了两种手部姿态，分别为抓握(Grab)姿态和释放(Release)姿态，以左手为例，当：

时，为抓握姿态，反之为释放姿态，右手同理；

步骤303：在抓握和释放姿态的基础上，用户通过双手以自然交互的方式与系统主场景中的模型进行交互；将Meta2增强现实眼镜提供的GrabInteraction脚本、TwoHandGrabRotateInteraction脚本、TwoHandGrab-ScaleInteraction脚本挂载到模型上，用户可通过单手或双手与模型交互的方式实现对模型的移动、旋转、放大缩小操作；

步骤304：通过移动操作，将模型M′和模型S移动至互相贴合或重合的位置，指尖点击图形用户界面中的模型组合按钮，触发检测；检测模型M′的触发区域内是否存在其他模型(模型S)；若存在，则将其他模型(模型S)设置为模型M′的子对象，在之后的操作中，模型S的位置、旋转信息都会与模型M′保持一致，并且会随着模型M′一同进行尺寸的放大和缩小，实现模型组合的效果；

步骤4：支持工艺品设计完成后的模型导出操作。用户通过指尖点击图形用户界面中的模型导出按钮，触发模型导出功能；将模型编辑区域的模型导出为OBJ格式的3D模型文件和MTL格式的材质库文件；两个文件都将保存至用户指定的本地文件夹中，其中OBJ格式文件中保存着3D模型的网格顶点坐标、顶点法线等信息，MTL格式文件中保存着3D模型的RGB、纹理等信息，使得在该系统下设计的模型可在其他3D建模软件中打开编辑或使用3D打印机进行打印。

本发明的积极效果是：一切设计行为都是对未来的想象，设计的本质是想象未来。设计时，能及时将这种对于设计对象未来的想象呈现出来，能极大刺激灵感的产生；此外，快速、方便地设计对象调整，这些是决定优秀创意设计产品产生的关键因素；本发明使用Meta2增强现实眼镜，基于自然交互技术、非刚体模拟、多模型融合等技术实现，符合真实世界设计习惯，并兼具计算机辅助设计工具的高效性特点；手势识别精度高、操作简单；采用该系统能够完成整个设计过程，并实时观测具有真实感的设计效果；有利于创意设计灵感的产生，促进优秀创意设计产品的出现。

附图说明

图1为一种基于meta2的自然交互工艺品创意设计系统使用示意图。其中，1为工作站，2为Meta2增强现实眼镜，3为手势输入，4为自然交互有效区域。

图2为创意工艺品设计中模型雕塑示意图。

图3为手部抓握姿态示意图。

图4为手部释放姿态示意图。

具体实施方式

以下结合附图和具体的实施例对本发明的实施方式进行详细说明。

实施例1创意咖啡杯设计

一种基于Meta2的自然交互工艺品创意设计系统，其特征在于具体创意咖啡杯步骤如下：

步骤1：创建系统主场景，包括图形用户界面，模型编辑区域。在自然交互有效区域内创建图形用户界面，创建画布；在画布中添加模型选择按钮、杯体模型图片、杯把模型图片、杯体模型旋转滑动条、杯体模型放大缩小滑动条等元素；在自然交互有效区域内创建空白的模型编辑区域，便于在该区域生成用户选择的模型。

步骤2：本发明支持工艺咖啡杯设计过程中的杯体模型雕塑、杯体模型与杯把等其他模型组合等操作方法。其中，杯体模型雕塑的处理步骤包括如下子步骤：

步骤201：基于Meta2增强现实眼镜捕获的手部数据，完成手指指尖的识别。通过Meta2增强现实眼镜上的位置追踪传感器，实时获取左手和右手指尖在世界坐标系下的坐标，分别记为LTop(x_tl,y_tl,z_tl)和RTop(x_tr,y_tr,z_tr)；

步骤202：监测用户指尖位置；用户通过指尖点击图形用户界面的杯体模型图片，指尖到达图形用户界面画布系统的触发区域内，触发点击事件；找到用户所选择的杯体模型的预制体资源，通过Instantiate方法，将杯体模型生成至世界坐标系(0.03，-0.03，0.4)的位置(模型编辑区域内)，将该杯体模型记为杯体模型M(v_l1,v_l2,…,v_ln)(以下简写为模型M)，其中v_l1,v_l2,…,v_ln为杯体模型M的网格顶点在自身局部坐标系下的坐标；

步骤203：通过图形用户界面控制杯体模型M的旋转。用户通过指尖滑动图形用户界面中的杯体模型旋转滑动条，通过transform.Rotate方法控制杯体模型M以自身竖直方向为轴进行旋转；滑动条的数值范围为1至360，可控制模型的转速范围为(1/360)r/s至1r/s；

步骤204：通过图形用户界面控制杯体模型的放大和缩小。用户通过指尖滑动图形用户界面中的杯体模型放大缩小滑动条，通过transform.localScale属性来控制杯体模型M的放大缩小；滑动条的数值范围为1至2，可控制模型的尺寸在自身1倍至自身2倍大小的范围内变化；

步骤205：定义两个球形碰撞器，其分别与左右手指尖LTop(x_tl,y_tl,z_tl)和RTop(x_tr,y_tr,z_tr)进行绑定；

步骤206：定义形变脚本，并将其挂载到杯体模型M上；具体地，在杯体模型M上添加网格碰撞器，并且监测碰撞事件的发生；用户通过手指指尖接触杯体模型M的表面，则与手指指尖位置绑定的球形碰撞器与杯体模型M的网格碰撞器发生碰撞事件，形变脚本监测到碰撞事件后，将杯体模型M的网格顶点在自身局部坐标系下的坐标(v_l1,v_l2,…,v_ln)转换为世界坐标系下的坐标(v_w1,v_w2,…,v_wn)；根据碰撞检测方法，利用碰撞点在世界坐标系下的坐标(v_wi,v_w(i+1),…,v_wj)(1≤i≤j≤n)和碰撞点的法线向量(c_wi,c_w(i+1),…,c_wj)(1≤i≤j≤n)，得到改变位置后的杯体模型M的网格顶点在世界坐标系下的坐标(v′_wi,v′_w(i+1),…,v′_wj)。

将杯体模型M的网格顶点坐标从世界坐标系转换为自身局部坐标系，得到(v′_l1,v′_l2,…,v′_ln)，根据此坐标，利用Mesh.RecalculateNormals方法重新计算顶点法线，可获得形变后的杯体模型M，记为M′(v′_l1,v′_l2,…,v′_ln)(以下简写为杯体模型M′)，实现杯体模型雕塑效果，如图2所示；

步骤207：多次重复上述203、204、205、206步骤，可完成杯体设计；若需重置设计作品，可通过指尖点击图形用户界面中的重新雕塑按钮，将杯体模型M′恢复至杯体模型M，对杯体模型M进行重新雕塑；

步骤3：杯体模型与杯把等其他模型组合的处理步骤包括如下子步骤(以杯体模型与杯把模型组合为例)：

步骤301：重复步骤201、202，选择一个杯把模型，将选择的模型记为杯把模型S；

步骤302：基于Meta2增强现实眼镜捕获的手部数据，完成对手掌的识别。通过Meta2上的位置追踪传感器，实时获取左手和右手手掌在世界坐标系下的坐标，分别记为LPalm(x_pl,y_pl,z_pl)和RPalm(x_pr,y_pr,z_pr)。根据LTop(x_tl,y_tl,z_tl)、RTop(x_tr,y_tr,z_tr)、LPalm(x_pl,y_pl,z_pl)、RPalm(x_pr,y_pr,z_pr)的信息，定义了两种手部姿态，分别为抓握(Grab)姿态和释放(Release)姿态，如图3，图4所示，以左手为例，当：

时，为抓握姿态，反之为释放姿态，右手同理；

步骤303：在抓握和释放姿态的基础上，本发明可以实现让用户通过双手以自然交互的方式与系统主场景中的模型进行交互。将Meta2增强现实眼镜提供的GrabInteraction脚本、TwoHandGrabRotateInteraction脚本、TwoHandGrab-ScaleInteraction脚本挂载到杯体模型M′和杯把模型S上，用户可通过单手或双手与杯体模型M′或杯把模型S交互的方式实现对其移动、旋转、放大缩小操作；

步骤304：通过移动操作，将杯体模型M′和杯把模型S移动至互相贴合或重合的位置，指尖点击图形用户界面中的模型组合按钮，触发检测；此时杯把模型S在杯体模型M′的触发区域内，将杯把模型S设置为杯体模型M′的子对象，在之后的操作中，杯把模型S的位置、旋转信息都会与杯体模型M′保持一致，并且会随着杯体模型M′一同进行尺寸的放大和缩小，实现杯体模型与杯把模型组合的效果；

步骤4：本发明支持工艺咖啡杯设计完成后的咖啡杯模型导出操作方法。用户通过指尖点击图形用户界面中的模型导出按钮，触发模型导出功能；将模型编辑区域内设计好的咖啡杯模型导出为OBJ格式的3D模型文件和MTL格式的材质库文件。两个文件都将保存至用户指定的本地文件夹中，其中OBJ格式文件中保存着3D模型的网格顶点坐标、顶点法线等信息，MTL格式文件中保存着3D模型的RGB、纹理等信息。使得在该系统下设计的咖啡杯模型可在其他3D建模软件中打开编辑或使用3D打印机进行打印。

Claims (1)

1.一种基于Meta2的自然交互工艺品创意设计系统，包括：工作站、Meta2增强现实眼镜、手势输入、自然交互的有效区域；其特征在于：Meta2增强现实眼镜通过HDMI和USB3.0与工作站对应接口进行连接；在Meta2增强现实眼镜与工作站进行连接，且人手处于自然交互有效区域的情况下具体步骤如下：

步骤1：创建系统主场景，包括图形用户界面，模型编辑区域，其中图形用户界面和模型编辑区域都在自然交互有效区域内，本系统自然交互有效区域定义为头盔前方水平视角88°，深度0.35m～0.70m的区域；在自然交互有效区域内创建图形用户界面，利用Meta2增强现实眼镜提供的SDK中的画布系统创建基本的画布；在画布中添加模型选择按钮、模型图片、模型旋转滑动条、模型放大缩小滑动条元素；在自然交互有效区域内创建空白的模型编辑区域，便于在该区域生成用户选择的模型；

步骤2：支持工艺品设计过程中的模型雕塑、模型组合操作方法，其中模型雕塑的处理步骤包括如下子步骤：

步骤201：基于Meta2增强现实眼镜捕获的手部数据，完成手指指尖的识别，通过Meta2增强现实眼镜上的位置追踪传感器，实时获取左手和右手指尖在世界坐标系下的坐标，分别记为LTop(x_tl，y_tl，z_tl)和RTop(x_tr，y_tr，z_tr)；

步骤202：监测用户指尖位置；当用户通过指尖点击图形用户界面的模型图片，且指尖到达图形用户界面画布系统的触发区域内，则触发点击事件；找到用户所选择模型的预制体资源，通过lnstantiate方法，将模型生成至世界坐标系(0.03，-0.03，0.4)的位置即模型编辑区域内，该模型记为模型M(v_l1，v_l2，…，v_ln)以下简写为模型M，其中v_l1，v_l2，…，v_ln为模型M的网格顶点在自身局部坐标系下的坐标；

步骤203：通过图形用户界面控制模型的旋转，用户通过指尖滑动图形用户界面中的模型旋转滑动条，通过transform.Rotate方法控制模型M以自身竖直方向为轴进行旋转；定义滑动条的数值范围为1至360，可控制模型的转速范围为1/360r/s至1r/s；

步骤204：通过图形用户界面控制模型的放大和缩小，用户通过指尖滑动图形用户界面中的模型放大缩小滑动条，通过transform.localScale属性来控制模型M的放大缩小；定义滑动条的数值范围为1至2，可控制模型的尺寸在自身1倍至自身2倍大小的范围内变化；

步骤205：定义两个球形碰撞器，其分别与左右手指尖LTop(x_tl，y_tl，z_tl)和RTop(x_tr，y_tr，z_tr)进行绑定；

步骤206：定义形变脚本，并将其载到模型M上，具体地，在模型M上添加网格碰撞器，并且监测碰撞事件的发生；当与手指指尖位置绑定的球形碰撞器接触到模型M表面时，该碰撞器与模型M的网格碰撞器发生碰撞事件，形变脚本监测到碰撞事件后，将模型M的网格顶点在自身局部坐标系下的坐标(v_l1,v_l2,…,v_ln)转换为世界坐标系下的坐标(v_w1,v_w2,…,v_wn)；碰撞点在世界坐标系下的坐标记为(v_wi,v_w(i+1),…,v_wj)，1≤i≤j≤n，碰撞点的法线向量记为(c_wi,c_w(i+1),…,c_wj)，1≤i≤j≤n，根据碰撞检测方法，通过如下公式，可改变模型M在碰撞点处的网格顶点位置：

(v′_wi,v′_w(i+1),…,v′_wj)＝(v_wi,v_w(i+1),…,v_wj)+((c_wi,c_w(i+1),…,c_wj)×(d×f))，1≤i≤j≤n

其中，d为模型M网格顶点的变化方向，f为变化强度，(v′_wi,v′_w(i+1),…,v′_wj)为改变位置后的模型M的网格顶点在世界坐标系下的坐标；

将模型M的网格顶点坐标从世界坐标系转换为自身局部坐标系，得到(v′₁,v′₂,…,v′_n)，根据此坐标，利用Mesh.RecalculateNormals方法重新计算顶点法线，获得形变后的模型M，记为M′(v′₁,v′₂,…,v′_ln)，以下简写为模型M′，实现模型雕塑效果；

步骤207：用户通过指尖点击图形用户界面中的重新雕塑按钮，可将模型M′恢复至模型M，重复步骤206可对模型M进行重新雕塑；

步骤3：模型组合的处理步骤包括如下子步骤：

步骤301：重复步骤201、202，选择一个新的模型，将选择的模型记为模型S；

步骤302：基于Meta2捕获的手部数据，完成对手掌的识别；通过Meta2增强现实眼镜上的位置追踪传感器，实时获取左手和右手手掌在世界坐标系下的坐标，分别记为LPalm(x_pl,y_pl,z_pl)和RPalm(x_pr,y_pr,z_pr)；根据LTop(x_tl,y_tl,z_tl)、RTop(x_tr,y_tr,z_tr)、LPalm(x_pl,y_pl,z_pl)、RPalm(x_pr,y_pr,z_pr)的信息，定义了两种手部姿态，分别为抓握Grab姿态和释放Release姿态，以左手为例，当：

时，为抓握姿态，反之为释放姿态，右手同理；

步骤303：在抓握和释放姿态的基础上，用户通过双手以自然交互的方式与系统主场景中的模型进行交互；将Meta2增强现实眼镜提供的GrabInteraction脚本、TwoHandGrabRotateInteraction脚本、TwoHandGrab-ScaleInteraction脚本挂载到模型上，用户可通过单手或双手与模型交互的方式实现对模型的移动、旋转、放大缩小操作；

步骤304：通过移动操作，将模型M′和模型S移动至互相贴合或重合的位置，指尖点击图形用户界面中的模型组合按钮，触发检测；检测模型M′的触发区域内是否存在其他模型即模型S；若存在，则将其他模型即模型S设置为模型M′的子对象，在之后的操作中，模型S的位置、旋转信息都会与模型M′保持一致，并且会随着模型M′一同进行尺寸的放大和缩小，实现模型组合的效果；

步骤4：支持工艺品设计完成后的模型导出操作；用户通过指尖点击图形用户界面中的模型导出按钮，触发模型导出功能；将模型编辑区域的模型导出为OBJ格式的3D模型文件和MTL格式的材质库文件；两个文件都将保存至用户指定的本地文件夹中，其中0BJ格式文件用于保存3D模型信息，MTL格式文件用于保存模型的材质信息，使得在该系统下设计的模型可在其他3D建模软件中打开编辑或使用3D打印机进行打印。

Images