[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112771477A - 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序 - Google Patents

可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序 Download PDF

Info

Publication number
CN112771477A
CN112771477A CN201980063555.1A CN201980063555A CN112771477A CN 112771477 A CN112771477 A CN 112771477A CN 201980063555 A CN201980063555 A CN 201980063555A CN 112771477 A CN112771477 A CN 112771477A
Authority
CN
China
Prior art keywords
user
input
input operation
wearable
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063555.1A
Other languages
English (en)
Inventor
高野昌树
桑田纯一
桥爪小百合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN112771477A publication Critical patent/CN112771477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序，能够从多个输入动作中容易地设定适当的输入动作。输入动作设定部选择应作为输入操作而接受的用户的动作。输入接受部从佩戴于用户并检测用户的至少一个部位的运动的传感器接受输出。输入接受部在基于传感器的输出检测到用户进行了输入动作设定部所选择的动作的情况下，接受动作作为用户的输入操作。输入动作设定部基于用户所处的环境以及输入操作以外的用户的作业动作中的至少一方，从预先决定的多个种类的用户的动作中选择应作为输入操作而接受的用户的动作，并设定于输入接受部。

Description

可穿戴用户接口控制系统、使用该系统的信息处理系统以及 控制程序
技术领域
本发明涉及从将可穿戴设备佩戴于身体并进行作业的用户接受信息输入而进行处理，对用户显示输出信息等的系统。
背景技术
近年来，例如在专利文献1以及2等中提出了如下技术：将被称为智能眼镜、智能手表等的眼镜型、手表型的可穿戴设备佩戴于身体上的作业者通过增强现实(AR)技术将表示作业用的开关的图像重叠显示在现实的风景上，能够进行该图像上的开关的操作，或者通过预定的用户进行基于手指的姿势来开始操作。
具体而言，在专利文献1中公开了如下技术：在智能眼镜的显示画面上重叠显示预先准备好的键盘的图像，用户在显示画面上进行用自己的手指操作键盘图像的动作，由此判断为操作了键盘。此时，在专利文献1的技术中，为了将头戴式显示器的显示画面内的重叠显示键盘图像的位置设为用户容易操作的位置，将显示于显示画面的、安装于用户手腕上的设备的图像的位置作为标记(基准)来决定重叠显示键盘图像的位置。
在专利文献2中公开了如下的可穿戴检索系统，即在眼睛上佩戴智能眼镜并在手腕上佩戴了动作传感器的用户一边观察对象物，一边用手指进行预定的姿势，从而开始对象物的图像检索。
现有技术文献
专利文献
专利文献1：日本专利第6288372号公报
专利文献2：日本特开2016-115125号公报
发明内容
发明要解决的课题
在目前提出的技术中，操作系统时的输入动作是以手指操作在智能眼镜的显示画面上重叠显示的键盘图像的动作(专利文献1)或如用户的手指所进行的预定的姿势(专利文献2)那样预先由系统决定的动作。
使用可穿戴设备的系统的长处在于用户无需在手中持有系统的终端等设备，用户希望一边使用双手进行期望的作业或动作一边操作系统来输入信息，从系统的显示画面等得到必要的信息的输出。然而，用户的双手被用于作业的道具挡住或具有作业空间狭窄等制约的情况也很多，用户有时难以用手指操作键盘图像或进行预定的姿势。
本发明提供能够从多个输入动作中容易地设定适当的输入动作的可穿戴设备的控制系统。
用于解决课题的手段
为了实现所述目的，本发明的可穿戴用户接口控制系统具有：输入动作设定部，其选择应作为输入操作而接受的用户的动作；以及输入接受部，其接受佩戴于用户并检测用户的至少一个部位的动作的传感器的输出，在基于传感器的输出检测到用户进行了输入动作设定部所选择的动作的情况下，接受动作作为用户的输入操作。输入动作设定部基于用户所处的环境以及输入操作以外的用户的作业动作中的至少一方，从预先决定的多个种类的用户的动作中选择应作为输入操作而接受的用户的动作，并设定在输入接受部中。
发明效果
通过使用本发明的用户接口控制系统，能够根据用户所处的环境的作业内容，从多种输入动作中选择适当的输入动作。
附图说明
图1是表示使用了本实施方式的可穿戴用户接口控制系统的信息处理系统的整体结构的说明图。
图2是表示图1的信息处理系统的各部的详细结构的框图。
图3是表示实施方式的动作判定部121的动作的流程图。
图4是表示实施方式的可穿戴UI控制系统101的结构的框图。
图5是表示实施方式的信息处理系统的动作的流程图。
图6是实施方式的可穿戴UI控制系统101所显示的画面例。
图7是实施方式的可穿戴UI控制系统101所显示的画面例。
图8是表示在实施方式的可穿戴用户接口控制系统中，初始条件、检测出的环境以及检测出的作业动作与应选择的输入方法的对应关系的说明图。
图9是表示实施方式的可穿戴用户接口控制系统的动作的流程图。
图10是实施方式的可穿戴UI控制系统101所显示的画面例。
图11是实施方式的可穿戴UI控制系统101所显示的画面例。
图12的(a)～(e)是表示实施方式的可穿戴UI控制系统101所显示的菜单画面和通过多个输入方法的组合来选择项目的工序的画面例。
具体实施方式
以下，对使用了本发明的实施方式的可穿戴用户接口控制系统的信息处理系统进行说明。
《信息处理系统的整体结构》
图1表示本实施方式的信息处理系统的整体结构，图2表示信息处理系统的各部的结构。
如图1以及图2所示，本实施方式的信息处理系统具备可穿戴终端(作为一例为智能眼镜)10、可穿戴传感器(作为一例为带有运动传感器的智能手表)20、服务器40以及网络(作为一例为无线LAN(Local Area Network：局域网))30。智能眼镜10作为眼镜佩戴于用户(作业者)。智能手表20佩戴于用户的手腕。智能眼镜10和智能手表20经由无线LAN30与服务器40连接。
智能眼镜10和智能手表20构成接受用户的输入操作并向用户输出(显示等)运算处理结果的用户接口(UI)。它们接受来自用户的输入操作的功能由可穿戴UI控制系统101来控制。在本实施方式中，可穿戴UI控制系统101进行控制以使智能眼镜10和智能手表20能够接受基于多种输入方法的输入操作，而且根据用户所处的环境或作业动作来选择输入方法并进行设定，以便能够通过适当的输入方法进行输入操作。
在本实施方式中，对将可穿戴UI控制系统101配置在智能眼镜10内的CPU12内的结构的例子进行说明。但是，也能够将可穿戴UI控制系统101配置于智能手表20或服务器40上。
在可穿戴UI控制系统101的控制下，智能眼镜10和智能手表20从用户接受的输入操作经由无线LAN30被交接给服务器40，在服务器40中执行预定的运算处理。运算处理结果经由无线LAN30通过智能眼镜10的显示功能或智能手表20的振动器功能被输出给用户。
＜智能眼镜10＞
如图2所示，智能眼镜10构成为具备眼镜、搭载在眼镜的一部分上的运动传感器14、摄像机15、显示部19、投影控制部18、无线通信设备13、系统控制器11、CPU12、主存储器16、存储设备17以及操作按钮51。
运动传感器14通过检测移动速度或加速度，检测佩戴了眼镜的用户头部的上下左右的移动及旋转。
摄像机15拍摄用户的视线方向等预定方向的图像。
CPU12通过执行预先存储在主存储器16或存储设备17中的程序来执行各种运算。由此，CPU12分别实现动作判定部121和可穿戴UI控制系统101的功能。
动作判定部121通过对运动传感器14的输出进行处理来检测用户是点头、是朝上或朝下、或是将头向左右摆动等用户预定的动作。具体而言，如图3所示，动作判定部121接受运动传感器14检测出的值(移动方向、移动速度、移动量、旋转方向、旋转速度、旋转量等)(步骤301)，代入到预先决定的数学式来计算特征量(步骤302)。判定计算出的特征量是否包含在预先决定的1个以上的动作(例如点头动作、朝上的动作、朝下的动作、将头向左或向右旋转的动作、将头向左右摆动的动作等)各自的特征量的范围内(步骤303)，在包含在任意一个动作的特征量的范围内的情况下，判定为用户进行了该动作(步骤304)。
关于可穿戴UI控制系统101的功能，将在后面详细说明。
另外，CPU12也能够通过接收运动传感器14检测到的值和摄像机15拍摄到的图像并进行处理来计算映现在图像中的用户周围的墙壁和摄像机的距离。例如，通过将头部(智能眼镜10)的移动量与摄像机15的图像的变化的大小进行对比，能够通过公知的技术来判断头(智能眼镜)与映现在摄像机中的墙壁的距离是否为预先决定的距离(例如1m)以内的极近距离。另外，CPU12通过对摄像机15拍摄到的图像进行处理，能够检测用户是否在任意一个手腕(例如，佩戴智能手表20的手腕)上持有道具。
在主存储器16以及存储设备17中根据需要存储有摄像机15拍摄到的图像和CPU12的运算结果。此外，主存储器16和存储设备17中还可以存储要显示在显示部19上的图像。
显示部19配置于眼镜的镜片的一部分，在投影控制部18的控制下将预定的图像投影于用户的视野内。由此，能够使显示部19投影的图像重叠显示于用户通过眼镜的镜片视觉确认的现实的风景中。由此，能够在显示部19显示应向用户通知的信息和接下来用户应该进行作业的工序的说明等那样的服务器40的运算处理结果。
另外，显示部19也能够使用在用户的视网膜上投影图像的构造。
无线通信设备13进行系统控制器11与服务器40、智能手表20之间的通信。
系统控制器11进行运动传感器14、摄像机15、显示部19、投影控制部18、无线通信设备13、系统控制器11、CPU12、主存储器16以及存储设备17的动作的控制。
操作按钮51是为了接受来自用户的操作而设置于手表上的按钮。
＜智能手表20＞
如图2所示，智能手表20构成为具备手表、搭载于手表的一部分上的运动传感器24、振动器25、无线通信设备23、系统控制器21、CPU22、主存储器26、存储设备27以及操作按钮52。
运动传感器24通过检测移动速度或加速度，检测佩戴了手表的用户的手腕的上下左右的移动及旋转。
CPU22通过执行预先存储在主存储器26或存储设备27中的程序来执行各种运算。例如，CPU22通过对运动传感器24的输出进行处理，实现检测通过用户戴着智能手表20的手腕进行敲击、扭转、举手等用户的预定动作的动作判定部221的功能。具体而言，与图3同样，CPU22接受运动传感器24检测到的值(移动方向、移动速度、移动量、旋转方向、旋转速度、旋转量等)(步骤301)，代入到预先决定的数学式来计算特征量(步骤302)，判定计算出的特征量是否包含在预先决定的1个以上的动作(例如，用手腕敲击的动作、扭转手腕的动作、举手的动作等)各自的特征量的范围内(步骤303)，在包含在任意一个的特征量的范围内的情况下，判断为用户进行了该动作(步骤304)。由此，CPU22能够实现动作判定部221的功能。
根据需要，在主存储器26以及存储设备27中存储CPU22的运算结果。
振动器25通过振动来向用户传递信息。振动器25也能够通过使振动的时间长度、振动频率不同，或者间歇地振动并变更间歇时间的长度，向用户传递多种信息。在主存储器26以及存储设备27中也可以预先存储预先决定的振动器25的振动的种类和所传递的信息的关系。
无线通信设备23进行系统控制器21与服务器40或智能眼镜10之间的通信。
操作按钮52是为了接受来自用户的操作而设置于手表上的按钮。
＜服务器40＞
服务器40从智能眼镜10以及智能手表20的系统控制器11、12经由无线LAN30接受输入，实施运算处理，并将运算结果(例如表示接下来应该进行作业的工序内容的数据)输出到智能眼镜10和智能手表20。智能眼镜10的系统控制器11通过使显示部19显示所接受到的内容等而向用户通知接受到的数据。智能手表20的系统控制器21通过使振动器25振动而将接受到的数据通知给用户。
＜可穿戴UI控制系统101＞
对智能眼镜10的CPU12所实现的可穿戴UI控制系统101的功能进行说明。如图4所示，可穿戴UI控制系统101具备输入接受部102和输入动作设定部103。
输入动作设定部103选择应作为输入操作而接受的用户的动作，并设定在输入接受部102。此时，输入动作设定部103基于用户所处的环境以及输入操作以外的用户的作业动作中的至少一方，判断应该将哪个用户动作设为输入操作并进行选择。在动作判定部121、221检测出的动作是输入动作设定部103所设定的动作的情况下，输入接受部102接受为用户的输入操作。
由此，根据用户的手里是否持有道具或从用户到墙壁的距离是否为预定的距离以上这样的用户所处的环境，输入动作设定部103能够将用户容易进行的动作设定为输入操作。
输入动作设定部103也可以检测用户的手和头的动作中的至少一方作为用户的作业动作，选择并设定与检测出的作业动作不同的动作作为输入动作。例如，输入动作设定部103能够基于预先决定的作业动作与应选择的输入操作的对应关系来求出与检测出的作业动作对应的输入动作，并将其设定为输入操作。
这样，通过本实施方式的可穿戴UI控制系统101，能够根据用户所处的环境或正在进行的作业内容(动作)，将用户容易执行的动作、并且是难以产生与作业内容混淆的动作设定为输入方法(输入动作)。环境或作业内容的检测在作为用户进行实际的作业动作的期间的预定期间(例如，预先设定的试用期间)进行即可，在用户指示了用于检测的期间的结束的情况下，根据到此为止的检测结果，决定并设定作为输入动作而使用的动作。
以下，使用图5的流程具体说明包含可穿戴UI控制系统101的动作在内的本实施方式的信息处理系统的动作。在此，以如下情况为例进行说明，即信息处理系统的服务器40对用户显示应该进行作业的工序的内容，如果用户输入某个工序的作业完成，则显示下一工序的作业内容。另外，在此对CPU12读入并执行预先保存在主存储器内的程序，由此通过软件实现可穿戴UI控制系统101的功能的例子进行说明。但是，可穿戴UI控制系统101并不限定于通过软件来实现的情况，也可以通过硬件来实现其一部分或全部。例如，使用ASIC(Application Specific Integrated Circuit，专用集成电路)这样的定制IC、FPGA(Field-Programmable Gate Array，现场可编程门阵列)这样的可编程IC来构成系统控制器(控制部20)，以实现其功能的方式进行电路设计即可。
(步骤401)
首先，为了从用户(作业者)接受初始条件的输入，可穿戴UI控制系统101经由系统控制器11使显示部19显示图6那样的UI画面。在该UI画面上，可穿戴UI控制系统101通过智能眼镜10的操作按钮51的操作或通过经由无线LAN30接收智能手表的操作按钮52的操作，接受用户是否戴上头盔、是自动决定还是手动决定以哪个输入方法为输入操作。在用户选择了自动决定输入操作的情况下，可穿戴UI控制系统101同样地接受决定输入方法的期间即试用期间的长度。若接受了初始条件输入，则可穿戴UI控制系统101向服务器40通知该情况。
(步骤402、403)
服务器40将指示预先决定的工序1的作业内容和作业开始的例如图7那样的图像数据交接给智能眼镜10，并显示于显示部19。看到显示的用户开始作业。
(步骤404、405)
在步骤404中，可穿戴UI控制系统101确认在步骤401中接受的初始输入，在选择了自动决定将哪个输入方法作为输入操作的情况下，进入步骤405，判定当前时间点是否是在初始输入中设定的试用期间内。在是试用期间的情况下，可穿戴UI控制系统101进入步骤411。
(步骤411)
可穿戴UI控制系统101在用户进行在步骤403中显示的工序1的作业的期间，检测用户所处的环境。在此，作为一个例子，通过CPU12取入摄像机15拍摄到的图像并进行图像处理来检测用户在佩戴智能手表20的手中是否持有道具。
(步骤412)
接着，可穿戴UI控制系统101进行用户正在进行作业的期间的作业动作的检测。具体而言，可穿戴UI控制系统101向智能手表20的动作判定部221指示用户正在进行作业的期间的动作判定，并接受判定结果，从而来测量用佩戴了智能手表20的手进行敲击作业的作业量(时间)、和用佩戴了智能手表20的手进行扭转作业的作业量(时间)。
(步骤413)
可穿戴UI控制系统101通过用户操作操作按钮51或52，持续进行所述步骤411、412的环境的检测和作业动作的检测，直到指示用于选择输入方法的作业动作的结束为止。在用户指示了用于选择输入方法的作业动作结束的情况下，进入步骤414。
(步骤414)
可穿戴UI控制系统101根据在步骤401中接受的初始条件、在步骤411、412中检测出的环境或作业动作，选择并设定输入方法。具体而言，如图8所示，基于接受了输入的条件、检测出的环境以及作业动作与应选择的输入方法的对应关系来选择输入方法。
使用图9的处理流程具体说明输入方法的选择步骤。可穿戴UI控制系统101从主存储器16读入在步骤401中接受的初始条件(步骤901)，判定用户是否戴上头盔(步骤902)，在没有头盔的情况下，进入步骤910，选择点头的动作(首肯)作为输入方法(输入动作)。
在步骤902中存在头盔的情况下，可穿戴UI控制系统101进入步骤903，读入在步骤411中检测出的环境，判定佩戴了智能手表20的手中是否持有道具(步骤904)。在不持有道具的情况下，可穿戴UI控制系统101进入步骤911，选择举起佩戴了智能手表20的手的举手动作作为输入动作。
在步骤904中持有道具的情况下，可穿戴UI控制系统101进入步骤905，读入在步骤412中检测出的作业动作，判定是否用佩戴了智能手表20的手进行敲击作业(步骤906)。在没有进行敲击作业的情况下，可穿戴UI控制系统101进入步骤912，选择用佩戴了智能手表20的手进行叩击(轻轻敲击)的动作作为输入动作。
在步骤906中，在用佩戴了智能手表20的手进行敲击作业的情况下，可穿戴UI控制系统101进入步骤907，判定在步骤412中检测出的作业动作中是否用佩戴了智能手表20的手进行扭转作业(步骤907)。在未进行扭转作业的情况下，可穿戴UI控制系统101进入步骤913，选择用佩戴了智能手表20的手进行扭转的动作作为输入动作。
在步骤907中进行了佩戴了智能手表20的扭转作业的情况下，由于是进行敲击作业和扭转作业双方的情况，因此可穿戴UI控制系统101进入步骤908，对在步骤412中检测出的作业动作的敲击动作的作业量和扭转动作的作业量进行比较，判定敲击作业量是否比扭转作业量多。在敲击作业量少于扭转作业量的情况下，可穿戴UI控制系统101进入步骤914，选择用佩戴了智能手表20的手进行叩击的动作作为输入动作。在敲击作业量多于扭转作业量的情况下，可穿戴UI控制系统101进入步骤909，选择用佩戴了智能手表20的手进行扭转的动作作为输入动作。
以上，可穿戴UI控制系统101能够根据初始条件、在该工序中用户所处的环境以及该工序的作业内容来选择适合的输入动作。可穿戴UI控制系统101在主存储器16等中保存作为该用户的该工序的输入动作而选择出的输入动作作。可穿戴UI控制系统101将如图10那样的显示显示于显示部19等，向用户报告所设定的输入动作。另外，可穿戴UI控制系统101将输入动作的选择以及设定完成通知给服务器40。
所述步骤401、404、405、411～414的动作是可穿戴UI控制系统101的输入动作设定部103的动作。
(步骤407、408)
可穿戴UI控制系统101通过图10那样的显示等向用户指示当前工序的作业继续(步骤407)，并待机直至动作判定部121、221接受在步骤414所设定的输入动作为止。在动作判定部121、221接受了在步骤414所设定的输入动作的情况下，判断为用户输入了作业完成，并通知给服务器40(步骤408)。
这些步骤407、408的动作是可穿戴UI控制系统101的输入接受部102的动作。
(步骤409、410)
服务器40判定所有的作业工序是否结束，在之后有后续工序的情况下，返回到步骤403，指示下一工序的作业内容和作业开始。
(步骤406)
此外，在所述的步骤405中，试用期间结束的情况下，可穿戴UI控制系统101的输入动作设定部103进入步骤406，将上次在步骤414中选择出的输入动作作为应接受的输入操作而设定在输入接受部102中。可穿戴UI控制系统101进入步骤407。
由此，可穿戴UI控制系统101的输入动作设定部103与试用期间不同，能够不执行步骤411～414而设定适于该用户的该工序的输入方法。
(步骤415)
另外，在步骤404中，在用户选择了手动作为输入方法的情况下，可穿戴UI控制系统101进入步骤415，对用户显示图11那样的选择画面等，通过用户的操作按钮51、52的操作等来接受输入动作的选择。用户能够选择的输入动作是动作判定部121、221能够判定的动作。在此，动作判定部121能够判定点头动作、向上的动作、向下的动作、使头向左或向右旋转的动作、使头左右摆动的动作等，动作判定部221能够判定用手腕敲击的动作、扭转手腕的动作、举手的动作等，因此，用户选择这些动作中的任意一个作为输入动作。
可穿戴UI控制系统101的输入动作设定部103在将从用户接受的输入动作设定为在输入接受部102应接受的输入操作之后，进入步骤407。
如上所述，本实施方式的信息处理系统具备可穿戴UI控制系统101，能够通过多种输入方法(输入动作)进行操作，在这些输入方法中，能够基于用户的环境或作业动作容易地进行将适当的输入方法分配给特定的输入操作的设定。由此，即使在用户的双手占用或者佩戴头盔的制约多的环境或作业内容的情况下，也能够设定容易操作的适当的输入动作。因此，能够提供一种能够减少用户的误操作并高效地进行作业的信息处理系统。
另外，在首肯输入、叩击输入中，点头次数、叩击次数不限于1次，当然也能够接受点头2次、双击等多次动作的输入。
另外，在本实施方式中，说明了在未佩戴头盔的情况下选择首肯输入作为输入动作的例子，但当然也能够设为选择首肯以外的其他头的动作、手的动作的结构。另外，在作业工序是利用智能眼镜10的摄像机15进行拍摄的工序的情况下，若将头的动作设为输入动作，则会产生图像模糊的影响，因此优选选择手的动作。
《输入方法的组合》
在所述的图5的流程中，说明了将可穿戴UI控制系统101设定的一个输入方法(输入动作)用作作业完成的输入动作的例子，但也可以构成为通过与其他的输入动作、菜单图像显示组合来进行作业完成以外的其他输入。
例如，将向上而静止的动作预先分配给“菜单画面的显示”，将向下的动作预先分配给“菜单画面的消除”，将扭转佩戴了智能手表的手腕的动作预先分配给“菜单画面中的目标(选择位置)移动”，将在所述的实施方式中选择的输入操作(在此，叩击佩戴了智能手表的手腕的动作)预先分配给“完成(或决定)”。
然后，在动作判定部121判定为用户向上静止的情况下，如图12的(a)所示，可穿戴UI控制系统101从主存储器16等调出预先决定的菜单画面，并使其显示于显示部19。图12的(a)的菜单画面排列显示5个项目A～E。
在动作判定部221判定为用户进行了扭转佩戴了智能手表20的手腕的动作的情况下，可穿戴UI控制系统101如图12的(b)那样使菜单画面中的目标(选择位置)移动。用户在目标移动到想要选择的项目(例如项目C)的位置之前，重复进行将手腕扭转的动作(图12的(c))，则为了决定该项目中的输入而叩击手腕。在动作判定部221判定为进行了叩击动作的情况下，可穿戴UI控制系统101如图12的(d)所示，对当前选择的项目C决定输入(完成输入)。
然后，在动作判定部121判定为用户向下静止的情况下，可穿戴UI控制系统101如图12的(e)那样消除菜单画面，将输入决定的项目C通知给服务器40，服务器40执行项目C。
这样，通过与其他的输入动作或菜单图像显示组合，能够实现菜单画面的项目选择等其他的输入方法。
此外，在图5的流程中，在将在步骤414所设定的输入动作用作完成输入的情况下，优选对完成输入以外的动作分配与在步骤414所设定的输入动作不同的动作。
如上所述，在本实施方式中，能够提供具备操作者根据作业环境、作业内容能够容易地操作的可穿戴UI控制系统101的信息处理系统。
另外，在本实施方式中，作为可穿戴终端使用了智能眼镜10，但也可以是具备运动传感器和摄像机的头盔或发带和配置在用户附近的显示器或可携带的显示器的组合。作为可穿戴传感器，在本实施方式中使用了智能手表20，但也可以没有钟表功能，也可以是佩戴于手腕上的有带子的运动传感器。
另外，在本实施方式中，将可穿戴UI控制系统101配置于智能眼镜10内的CPU12，但也可以配置于智能手表20或服务器40。另外，也能够将动作判定部121、221配置于服务器40。
附图标记的说明
10…可穿戴终端(智能眼镜)、11…系统控制器、12…CPU、13…无线通信设备、14…运动传感器、15…摄像机、16…主存储器、17…存储设备、18…投影控制部、19…显示部、20…可穿戴传感器(智能手表)、21…系统控制器、22…CPU、23…无线通信设备、24…运动传感器、25…振动器、26…主存储器、27…存储设备、30…网络(无线LAN)、40…服务器、51、52…操作按钮、101…可佩戴UI控制系统、121…动作判定部、221…动作判定部。

Claims (10)

1.一种可穿戴用户接口控制系统，其特征在于，
该系统具有：
输入动作设定部，其选择应作为输入操作而接受的用户的动作；以及
输入接受部，其接受佩戴于用户并检测用户的至少一个部位的动作的传感器的输出，在基于所述传感器的输出，检测到用户进行了所述输入动作设定部所选择的所述动作的情况下，接受所述动作作为用户的输入操作，
所述输入动作设定部基于所述用户所处的环境以及所述输入操作以外的用户的作业动作中的至少一方，从预先决定的多种用户的动作中选择应作为所述输入操作而接受的所述用户的动作，并设定于所述输入接受部。
2.根据权利要求1所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部在是预先决定的试用期间的情况下，检测所述用户所处的环境以及所述输入操作以外的用户的作业动作中的至少一方，并基于检测结果选择应作为所述输入操作而接受的所述用户的动作。
3.根据权利要求2所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部检测用户的手里是否持有道具以及从用户到墙壁的距离是否为预定的距离以上中的至少一方，作为所述用户所处的环境。
4.根据权利要求2所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部检测用户的手和头的动作中的至少一方，作为所述用户的作业动作。
5.根据权利要求2所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部将预先决定的多种用户的动作中与作为所述作业动作而被检测出的动作不同的动作选择为作为所述输入操作而接受的动作。
6.根据权利要求5所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部基于预先决定的作业动作与应选择的动作的对应关系，求出与检测出的所述作业动作对应的所述应选择的动作，并将其设定为应作为所述输入操作而接受的动作。
7.根据权利要求1所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部在所述传感器佩戴于所述用户的手腕的情况下，基于所述传感器的输出，检测所述环境及所述作业动作中的至少一方。
8.根据权利要求1所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部在所述用户佩戴有摄像机的情况下，基于所述摄像机拍摄到的图像，检测所述环境以及所述作业动作中的至少一方。
9.一种信息处理系统，其特征在于，
该信息处理系统具有：
权利要求1至8中任一项所述的可穿戴用户接口控制系统；以及
处理部，其根据所述输入接受部所接受的输入操作，进行预先决定的运算处理。
10.一种可穿戴用户接口控制程序，其特征在于，
该可穿戴用户接口控制程序使计算机作为以下单元发挥功能：
输入动作设定单元，其基于用户所处的环境以及用户的作业动作中的至少一方，从预先决定的多个种类的用户的动作中选择应作为输入操作而接受的用户的动作；以及
输入接受单元，其接受佩戴于用户并检测用户的至少一个部位的动作的传感器的输出，在基于所述传感器的输出，检测到用户进行了所述输入动作设定单元所选择的所述动作的情况下，接受所述动作作为用户的输入操作。
CN201980063555.1A 2019-02-15 2019-10-29 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序 Pending CN112771477A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019025281A JP7053516B2 (ja) 2019-02-15 2019-02-15 ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム
JP2019-025281 2019-02-15
PCT/JP2019/042258 WO2020166140A1 (ja) 2019-02-15 2019-10-29 ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム

Publications (1)

Publication Number Publication Date
CN112771477A true CN112771477A (zh) 2021-05-07

Family

ID=72045267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063555.1A Pending CN112771477A (zh) 2019-02-15 2019-10-29 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序

Country Status (4)

Country Link
US (1) US11409369B2 (zh)
JP (1) JP7053516B2 (zh)
CN (1) CN112771477A (zh)
WO (1) WO2020166140A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190774A1 (ja) * 2021-03-11 2022-09-15 株式会社Ｎｔｔドコモ 情報処理装置
JP7507521B1 (ja) 2023-07-03 2024-06-28 合同会社グッドシェイプ 情報処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193633A (zh) * 2011-05-25 2011-09-21 广州畅途软件有限公司 一种数据手套动态手语识别方法
US20160283822A1 (en) * 2013-10-24 2016-09-29 Panasonic Intellectual Property Management Co., Ltd. Heating cooker, cooking system, arithmetic device, and cooking support method
CN106213968A (zh) * 2016-08-04 2016-12-14 轩脉家居科技（上海）有限公司 一种基于人体动作识别的智能窗帘
CN106502316A (zh) * 2015-09-04 2017-03-15 松下电器（美国）知识产权公司 控制方法、通信终端、通信系统及可穿戴终端
US20180173544A1 (en) * 2015-06-30 2018-06-21 Sony Corporation Information processing device, information processing method, and program
CN108563988A (zh) * 2018-03-06 2018-09-21 上海数迹智能科技有限公司 一种指尖轨迹识别分类方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
US8738754B2 (en) * 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
JP2013003708A (ja) 2011-06-14 2013-01-07 Nikon Corp 表示装置、電子機器、およびプログラム
DE102012217573A1 (de) * 2012-09-27 2014-03-27 Krones Ag Bediensystem für eine Maschine
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US20140267019A1 (en) * 2013-03-15 2014-09-18 Microth, Inc. Continuous directional input method with related system and apparatus
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
US20150262425A1 (en) * 2014-03-13 2015-09-17 Ryan Hastings Assessing augmented reality usage and productivity
US11103948B2 (en) * 2014-08-18 2021-08-31 Illinois Tool Works Inc. Systems and methods for a personally allocated interface for use in a welding system
JP6516464B2 (ja) 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
US9972133B2 (en) * 2015-04-24 2018-05-15 Jpw Industries Inc. Wearable display for use with tool
CN107615214B (zh) 2015-05-21 2021-07-13 日本电气株式会社 界面控制系统、界面控制装置、界面控制方法及程序
EP3139248B1 (en) * 2015-09-04 2024-08-14 ams AG Method for gesture based human-machine interaction, portable electronic device and gesture based human-machine interface system
US10431007B2 (en) * 2016-05-31 2019-10-01 Augumenta Ltd. Method and system for user interaction
JP6546632B2 (ja) 2017-09-11 2019-07-17 京セラ株式会社 電子機器、プログラムおよび制御方法
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
US10885704B1 (en) * 2019-09-04 2021-01-05 Microsoft Technology Licensing, Llc 3D mapping by distinguishing between different environmental regions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193633A (zh) * 2011-05-25 2011-09-21 广州畅途软件有限公司 一种数据手套动态手语识别方法
US20160283822A1 (en) * 2013-10-24 2016-09-29 Panasonic Intellectual Property Management Co., Ltd. Heating cooker, cooking system, arithmetic device, and cooking support method
US20180173544A1 (en) * 2015-06-30 2018-06-21 Sony Corporation Information processing device, information processing method, and program
CN106502316A (zh) * 2015-09-04 2017-03-15 松下电器（美国）知识产权公司 控制方法、通信终端、通信系统及可穿戴终端
CN106213968A (zh) * 2016-08-04 2016-12-14 轩脉家居科技（上海）有限公司 一种基于人体动作识别的智能窗帘
CN108563988A (zh) * 2018-03-06 2018-09-21 上海数迹智能科技有限公司 一种指尖轨迹识别分类方法

Also Published As

Publication number Publication date
JP2020135176A (ja) 2020-08-31
WO2020166140A1 (ja) 2020-08-20
JP7053516B2 (ja) 2022-04-12
US11409369B2 (en) 2022-08-09
US20210389827A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
CN109690447B (zh) 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
CN105074625A (zh) 信息处理设备、信息处理方法及程序
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
CN103827780A (zh) 用于虚拟输入设备的方法和系统
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
KR20150040580A (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN106933364B (zh) 字符输入方法、字符输入设备以及可穿戴设备
CN112771477A (zh) 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序
EP3940507A1 (en) Information processing device, information processing method, and computer-readable recording medium
JP2020019127A (ja) 協調動作支援装置
CN111913674B (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
WO2019227734A1 (zh) 一种控制指令输入方法和输入装置
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
JP2024097787A (ja) 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
CN116954387A (zh) 一种终端键盘输入交互的方法、装置、终端及介质
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN108958590A (zh) 应用于头戴式显示设备的菜单操作方法及头戴式显示设备
CN111491066A (zh) 一种支持手势控制的跟踪式扫描装置及扫描方法
JP2017182571A (ja) 情報処理システムと情報処理方法及び情報処理プログラム
CN112328156B (zh) 输入设备的控制方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210507