[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6510648B2 - ウェアラブル装置、制御方法及び制御プログラム - Google Patents

ウェアラブル装置、制御方法及び制御プログラム Download PDF

Info

Publication number
JP6510648B2
JP6510648B2 JP2017530889A JP2017530889A JP6510648B2 JP 6510648 B2 JP6510648 B2 JP 6510648B2 JP 2017530889 A JP2017530889 A JP 2017530889A JP 2017530889 A JP2017530889 A JP 2017530889A JP 6510648 B2 JP6510648 B2 JP 6510648B2
Authority
JP
Japan
Prior art keywords
wearable device
display
detection
user
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017530889A
Other languages
English (en)
Other versions
JPWO2017018428A1 (ja
Inventor
須藤 智浩
智浩 須藤
紗綾 三浦
紗綾 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2017018428A1 publication Critical patent/JPWO2017018428A1/ja
Application granted granted Critical
Publication of JP6510648B2 publication Critical patent/JP6510648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

この出願は、ユーザの頭部に装着可能なウェアラブル装置、制御方法及び制御プログラムに関する。
上記のウェアラブル装置として、近年、眼前に配置されるディスプレイと、手指の動きを認識可能な赤外線検知ユニットと、を備え、手のジェスチャによって操作が行われるヘッドマウントディスプレイ装置が開示されている(特許文献1参照)。
国際公開第2014/128751号
上記のようなウェアラブル装置においては、より使い勝手の良いものが望まれる。
本出願の目的は、より使い勝手の良いウェアラブル装置を提供することにある。
1つの態様に係るウェアラブル装置は、現実の空間に在る利用者の上肢を検出可能な検出部と、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能なものである。
また、1つの態様に係るウェアラブル装置は、撮像部と、前記撮像部が撮像する撮像画像から利用者の上肢を検出する制御部と、を備える、利用者に装着可能なウェアラブル装置であって、前記制御部は、前記撮像画像に含まれる前記上肢が手の平側となる第1状態と前記撮像画像に含まれる前記上肢が手の甲側となる第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定の処理を実行する。
また、1つの態様に係るウェアラブル装置は、現実の空間に在る利用者の上肢を検出可能な検出部と、前記検出部の検出結果から、前記上肢の一部が前記ウェアラブル装置から離れる動作と、前記上肢の他部が前記ウェアラブル装置に近づく動作と、の双方を伴う特定の身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能なものである。
1つの態様に係る制御方法は、現実の空間に在る利用者の上肢を検出可能な検出部と、制御部と、を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、前記制御部は、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する。
1つの態様に係る制御プログラムは、現実の空間に在る利用者の上肢を検出可能な検出部と、制御部と、を備える、頭部に装着可能なウェアラブル装置において、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記制御部に所定の処理を実行させる。
ウェアラブル装置1の斜視図である。 ウェアラブル装置1のブロック図である。 検出部5の検出範囲51と、表示部2a及び2bの表示領域21とを模式的に示した斜視図である。 図3Aの上面図である。 図3Aの側面図である。 ウェアラブル装置1により実行される機能の第1例を説明する図である。 ウェアラブル装置1により実行される機能の第1例を説明する図である。 ウェアラブル装置1により実行される機能の第2例を説明する図である。 ウェアラブル装置1により実行される機能の第3例を説明する図である。 ウェアラブル装置1により実行される機能の第4例を説明する図である。 ウェアラブル装置1により実行される機能の第5例を説明する図である。 ウェアラブル装置1により実行される機能の第6例を説明する図である。 第3例〜第6例における第1の変形例を説明する図である。 第3例〜第6例における第2の変形例を説明する図である。 第3例〜第6例における第3の変形例を説明する図である。 ウェアラブル装置1により実行される機能の第7例を説明する図である。 ウェアラブル装置1により実行される機能の第8例を説明する図である。 ウェアラブル装置1により実行される機能の第9例を説明する図である。 ウェアラブル装置1により実行される機能の第10例を説明する図である。 ウェアラブル装置1により実行される機能の第11例を説明する図である。 ウェアラブル装置1により実行される機能の第12例を説明する図である。 ウェアラブル装置1により実行される機能の第13例を説明する図である。
本出願に係るウェアラブル装置1を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
まず、図1を参照しながら、ウェアラブル装置1の全体的な構成について説明する。図1は、ウェアラブル装置1の斜視図である。図1に示すように、ウェアラブル装置1は、利用者の頭部に装着されるヘッドマウントタイプ(或いはメガネ型)の装置である。
ウェアラブル装置1は、前面部1aと、側面部1bと、側面部1cとを有する。前面部1aは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部1bは、前面部1aの一方の端部に接続され、側面部1cは、前面部1aの他方の端部に接続される。側面部1b及び側面部1cは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、ウェアラブル装置1を安定させる。側面部1b及び側面部1cは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。
前面部1aは、装着時に利用者の目と対向する面に表示部2a及び表示部2bを備える。表示部2aは、装着時に利用者の右目と対向する位置に配設され、表示部2bは、装着時に利用者の左目と対向する位置に配設される。表示部2aは、右目用の画像を表示し、表示部2bは、左目用の画像を表示する。なお、装着時に利用者のそれぞれの目に対応した画像を表示する表示部2a及び表示部2bを備えることにより、ウェアラブル装置1は、両眼の視差を利用した3次元表示を実現することができる。
表示部2a及び表示部2bは、一対の透過又は半透過のディスプレイであるが、これに限定されない。例えば、表示部2a及び表示部2bは、メガネレンズ、サングラスレンズ、及び紫外線カットレンズ等のレンズ類を設け、レンズとは別に表示部2a及び表示部2bを設けてもよい。表示部2a及び表示部2bは、利用者の右目と左目に異なる画像を独立して提供することができれば、1つの表示デバイスによって構成されてもよい。
前面部1aには、撮像部3(アウトカメラ)が備えられている。撮像部3は、前面部1aの中央部分に配置されている。撮像部3は、利用者の前方の風景における所定範囲の画像を取得する。また、撮像部3は、利用者の視界に相当する範囲の画像を取得することも可能である。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。なお、撮像部3は、前面部1aの一方の端部(装着時の右目側)の近傍に配設される撮像部と、前面部1aの他方の端部(装着時の左目側)の近傍に配設される撮像部との2つから構成されていても良い。この場合、前面部1aの一方の端部(装着時の右目側)の近傍に配設される撮像部によって、利用者の右目の視界に相当する範囲の画像が取得され、前面部1aの一方の端部(装着時の左目側)の近傍に配設される撮像部によって、利用者の左目の視界に相当する範囲の画像が取得される。
また、前面部1aには、撮像部4(インカメラ)が備えられている。撮像部4は、ウェアラブル装置1が利用者の頭部に装着されたときに、前面部1aにおける、利用者の顔面側に配置されている。撮像部4は、利用者の顔面、例えば目の画像を取得する。
また、前面部1aには、検出部5が備えられる。検出部5は、前面部1aの中央部分に配置されている。また、側面部1cには、操作部6が備えられる。検出部5、操作部6については後述する。
ウェアラブル装置1は、利用者に各種情報を視認させる機能を有する。ウェアラブル装置1は、表示部2a及び表示部2bが表示を行っていない場合、表示部2a及び表示部2bを透して前景を利用者に視認させる。ウェアラブル装置1は、表示部2a及び表示部2bが表示を行っている場合、表示部2a及び表示部2bを透した前景と、表示部2a及び表示部2bの表示内容とを利用者に視認させる。
次に、図2を参照しながら、ウェアラブル装置1の機能的な構成について説明する。図2は、ウェアラブル装置1のブロック図である。図2に示すように、ウェアラブル装置1は、表示部2a及び2bと、撮像部3(アウトカメラ)及び撮像部4(インカメラ)、検出部5、操作部6、制御部7、通信部8、記憶部9とを有する。
表示部2a及び2bは、液晶ディスプレイ(Liquid Crystal Display)、有機EL(Organic Electro−Luminessence)パネル等の半透過または透過の表示デバイスを備える。表示部2a及び2bは、制御部7から入力される制御信号に従って各種の情報を画像として表示する。表示部2a及び2bは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。この場合、眼鏡を模したウェアラブル装置1のレンズ部分にハーフミラーを設置して、別途設けられるプロジェクタから照射される画像が投影される構成であってもよい(図1に示す例において、表示部2a及び2bは、矩形状のハーフミラーを示している)。また、前述したように、表示部2a及び2bは、各種の情報を3次元的に表示しても良い。また、各種の情報を利用者の前方(利用者から離れた位置)にあたかも存在するかのように表示しても良い。このように情報を表示する方式としては、例えば、フレームシーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップアンドボトム方式、サイドバイサイド方式、アナグリフ方式、レンチキュラ方式、パララックスバリア方式、液晶パララックスバリア方式、2視差方式等の多視差方式の何れかが採用されて良い。
撮像部3、4は、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像する。そして、撮像部3、4は、撮像した画像を信号に変換して制御部7へ出力する。
検出部5は、利用者の前景に存在する現実の物体(所定物)を検出する。検出部5は、例えば、現実の物体のうち、予め登録された物体(例えば、人間の手や指)又は、予め登録された形状(例えば、人間の手や指等の形状)にマッチする物体を検出する。検出部5は、現実の物体を検出するセンサを有する。検出部5は、例えば、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な、センサとしての赤外線撮像部と、からなる。赤外線照射部は、ウェアラブル装置1の前面部1aに設けられることによって、利用者の前方に赤外線を照射可能となる。また、赤外線撮像部は、ウェアラブル装置1の前面部1aに設けられることによって、利用者の前方に在る所定物から反射される赤外線を検出可能となる。なお、検出部5は、赤外線の他にも、例えば、可視光、紫外線、電波、音波、磁気、静電容量の少なくとも1つを用いて、現実の物体を検出しても良い。
本実施形態においては、撮像部3(アウトカメラ)は、検出部5を兼ねても良い。すなわち、撮像部3は、撮像される画像を解析することによって、撮像範囲内の物体を検出する。撮像部3は、利用者の前方の所定物を撮像可能なように、図1に示すような、ウェアラブル装置1の前面部1aに設けられる。
操作部6は、例えば、側面部1cに配設されるタッチセンサである。タッチセンサは、利用者の接触を検出可能であり、検出結果に応じて、ウェアラブル装置1の起動、停止、動作モードの変更等の基本的な操作を受け付ける。本実施例では、操作部6が側面部1cに配置されている例を示しているが、これに限定されず、側面部1bに配置されても良いし、側面部1bと側面部1cにとの双方に配置されても良い。
制御部7は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部7は、記憶部9に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をCPUに実行させる。そして、制御部7は、CPUによる命令の実行結果に応じて、メモリ及び記憶部9に対してデータの読み書きを行ったり、表示部2a、2b等の動作を制御したりする。CPUが命令を実行するに際しては、メモリに展開されているデータや検出部5等を介して検出される操作がパラメータや判定条件の一部として利用される。また、制御部7は、通信部8を制御することによって、通信機能を有する他の電子機器との通信を実行させる。
通信部8は、無線により通信する。通信部8によってサポートされる無線通信規格には、例えば、2G、3G、4G等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信部8は、上述した通信規格の1つ又は複数をサポートしていてもよい。ウェアラブル装置1は、例えば、無線通信機能を有する他の電子機器(スマートフォン、ノートパソコン、テレビ等)と無線通信接続を行うことにより、各種信号の送受信を行うことが出来る。
なお、通信部8は、上記携帯電子機器等の他の電子機器と有線接続されることによって、通信しても良い。この場合、ウェアラブル装置1は、他の電子機器が接続されるコネクタを備える。コネクタは、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタは、Dockコネクタのような専用の端子でもよい。コネクタは、上記の電子機器以外にも、例えば、外部ストレージ、スピーカ、及び通信装置を含むあらゆる装置に接続されて良い。
記憶部9は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部9に記憶されるプログラムには、制御プログラム90が含まれる。記憶部9は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム90は、記憶媒体に記憶されていてもよい。また、制御プログラム90は、無線通信または有線通信によってサーバ装置や、スマートフォン、ノートパソコン、テレビ等から取得されてもよい。
制御プログラム90は、ウェアラブル装置1を稼働させるための各種制御に関する機能を提供する。制御プログラム90は、検出処理プログラム90aと、表示制御プログラム90bとを含む。検出処理プログラム90aは、検出部5の検出結果から、利用者の前景に存在する所定物を検出するための機能を提供する。検出処理プログラム90aは、検出部5の検出結果から、利用者の前景における所定物の位置、及び、所定物の動作を検出する機能を提供する。表示制御プラグラム90bは、利用者に視認可能なように画像を表示し、所定物の動作に応じて、画像の表示の態様を変更する機能を提供する。
次に、図3A〜図3Cを参照し、検出部5の検出範囲と、表示部2a及び2bの表示領域との関係について説明する。なお、本実施形態では、検出部5が赤外線によって現実の所定物を検出するセンサであるものとして説明していく。検出部5は、赤外線を照射する赤外線照射部と、現実の所定物から反射される赤外線を受光可能な(赤外感度を有する)赤外線撮像部とからなるものとして説明していく。即ち、制御部7は、赤外線撮像部の撮像画像から、現実の所定物を検出する。また、本実施形態では、表示部2a及び2bがウェアラブル装置1から離れた位置にあたかも存在するかのように表示画像を表示させるものとして説明していく。
図3Aは、検出部5の検出範囲51と、表示部2a及び2bの表示領域21とを模式的に示した斜視図である。図3Bは、図3Aの上面図であり、図3Cは、図3Aの側面図である。図3において、X軸、Y軸、Z軸からなる三次元直交座標系が定義される。X軸方向は、水平方向を指し、Y軸方向は、鉛直方向或いは利用者の体の長軸方向を指す。Z軸方向は、利用者の前後方向である。また、Z軸正方向は、検出部5が含む赤外線照射部の照射におけるより大きい深度の方向を指す。なお、図3Cは、利用者が前方を視認した際の視界に相当する。
図3A〜図3Cから解るように、検出範囲51は、3次元空間を有する。赤外線照射部と赤外線撮像部とからなる検出部5は、利用者の前方の所定物を2次元的な画像として検出するとともに、該所定物の形状を検出することができる。また、検出部5は、所定物を2次元的な画像として検出するとともに、該画像の各画素の位置座標データに対応する深度データを取得することができる(即ち深度データが付加された深度画像を取得することができる)。深度データは、検出部5と、2次元的な画像における各画素に対応する現実の物体(所定物)までの距離を示すデータである。制御部7は、検出部5の検出結果に基づき、例えば、所定物が利用者の腕、手、又は指、或いはこれらを組み合わせたもの(上肢と総称する)である場合の該所定物の動作として、指の曲げ動作・伸展動作、手首の曲げ、前腕の回転(回内又は回外)、又は、前腕の回転に伴う手又は指の回転、等の身体動作を検出できる。なお、前腕の回転(回内又は回外)又は、前腕の回転に伴う手又は指の回転を、「回転身体動作」と称する。「回転身体動作」は、前腕の180度の回転によって手の平側と手の甲側とが入れ替わる動作は勿論、前腕の180度未満の回転に起因する手や指の180度未満の回転、又は、前腕の180度よりも大きい角度の回転に起因する手や指の回転も含む。
なお、制御部7は、上記の身体動作の他に、上肢の特定箇所の位置が、検出範囲51内において移動をすることを身体動作として検出しても良い。また、制御部7は、上肢が特定の形状を形成したことを身体動作として検出しても良い。例えば、親指を上方に伸ばしつつ他の指を握った形態(グッドサイン)等が身体動作として検出されて良い。
ここで、制御部7は、上記の身体動作の内の回転身体動作を検出するに際しては、前腕の回転の過程における、検出部5によって検出される上肢の形状の変化に基づいて、実際に回転身体動作を検出できる。また、制御部7は、前腕の回転の過程における、検出部5によって検出される上肢の形状の変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
また、制御部7は、前腕の回転の過程における上肢の深度データの変化に基づいて、実際に回転身体動作を検出することができる。制御部7は、上肢における少なくとも2つの領域を予め定め、前腕の回転の過程において、当該2つの領域の深度データが相対的に変化したことに基づいて回転身体動作を検出することもできる。例えば、上肢における5指の内の2つの指を伸展させた状態で、前腕の回転動作(回内又は回外)を行うと、該回転に従って一方の指は検出部5により近い位置に移動し、他方の指は検出部5からより離れた位置に移動することから、それらの位置の移動に基づく深度データの変化を検出することによって回転身体動作を実際に検出することができる。また、制御部7は、前腕の回転動作に従って変化する深度データの変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
また、回転身体動作の検出方法としては、上記の他に、深度データに基づき、検出部5によって検出される上肢の画像が手の平側であるか手の甲側であるかを判定可能とし、身体動作によって手の平側の状態と手の甲側の状態の内の一方から他方へ変化したことに基づいて、回転身体動作を検出する方法を採用しても良い。ここで、制御部7は、赤外線撮像部によって取得される画像中に含まれる手の領域の中央部が深度方向において凹状であれば、検出される上肢が手の平側であり、一方、中央部が深度方向において凸状であれば手の甲側であると判定することができる。
なお、撮像部3(アウトカメラ)を検出部として適用した場合であっても、上記検出部5と同様に、制御部7は、検出範囲内(撮像範囲内)に在る所定物の検出、所定物の動作等の検出が可能である。
ここで、制御部7は、上記の身体動作の内の回転身体動作を検出するに際しては、前腕の回転の過程における、撮像部3の撮像画像中における上肢の形状の変化に基づいて、実際に回転身体動作を検出できる。制御部7は、前腕の回転の過程における、撮像画像中の上肢の形状の変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
また、制御部7は、撮像画像を解析し、該撮像画像における手と認識した領域に、手の爪が検出されたか否かによって、手の平側であるか手の甲側であるかを判定可能であり(即ち、爪が検出さなければ手の平側と判定し、爪が検出されると手の甲側と判定する)、身体動作によって手の平側と手の甲側の内の一方から他方へ変化したことに基づいて、回転身体動作がなされたものと検出しても良い。制御部7は、前腕の回転の過程における、撮像画像中の手の爪の形状の変化、又は、爪と見なした領域の大きさの変化に基づいて、回転身体動作における上肢の回転角度を検出することもできる。
また、回転身体動作の検出方法としては、上記の他に、撮像画像における手と認識した領域に、掌紋(手のしわ)があるか否かに基づいて、手の平側であるか手の甲側であるかを判定可能とし、身体動作によって手の平側と手の甲側の内の一方から他方へ変化したことに基づいて、回転身体動作を検出する方法を採用しても良い。
なお、回転身体動作、及び、回転身体動作による上肢の回転角度の検出方法は、上記以外に公知の種々の方法が採用されても良い。
次に、表示部2a、2bは、図3A〜図3Cから解るように、実際に設けられたウェアラブル装置1の部分ではなく、ウェアラブル装置1から離れた位置となる表示領域21において利用者によって視認可能なように画像を表示する(以下、表示部2a、2bが表示する画像を表示画像と称することもある)。このとき、表示部2a及び2bは、表示画像を、奥行きを持つ立体形状の3Dオブジェクトとして表示しても良い。なお、当該奥行きは、Z軸方向における厚みに対応する。しかしながら、表示部2a、2bは、ウェアラブル装置1から離れた表示領域21において視認可能なように画像を表示するのではなく、実際に設けられたウェアラブル装置1の表示部2a、2bの部分に画像を表示しても良い。
次に、図4〜図20を参照して、本実施形態に係るウェアラブル装置1により実行される機能の概要を説明する。以下に示す各種の機能は、制御プログラム90によって提供される。図4は、ウェアラブル装置1により実行される機能の第1例を説明する図である。
図4には、ウェアラブル装置1の表示部2a或いは2b(以後、単に表示部2と称することもある)、表示領域21、及び利用者の上肢が示されている。図4においては、ウェアラブル装置1における他の構成部の図示を省略している。また、図4は、凡そ、利用者によって2次元的に視認され得る領域として示されている。なお、後述する図5〜図20の例においても同様である。
ステップS1において、利用者は、表示領域21越しに、利用者の上肢として、右手Hにおける手の甲側BH(以後、単に手BHと称することもある)を視認している。ここで、手BHは、検出部5の検出範囲51内に在り、従って、ウェアラブル装置1は検出部5の検出結果に基づき、手BHの存在を認識しているものとする。なお、後述する図5〜図20の例においても同様である。また、ウェアラブル装置1は、利用者の操作(選択・実行等の指示操作)によって、予め対応付けられている所定の機能を実行可能である旨を示した複数のアイコンからなるアイコン群OB1を表示部2に表示している。アイコン群OB1は、第1例においては透明又は半透明な画像として表示しており、従って、利用者は、アイコン群OB1越しに上肢を視認可能な状態となっているが、これに限定されず、アイコン群OB1は、不透明な画像として表示されても良い。
ステップS1において、利用者が、アイコン群OB1における一のアイコンOB101の表示範囲に手BHの人差し指の指先が重畳するように該手BHを移動させると、ウェアラブル装置1は、アイコンOB101が利用者によって選択されたものと見なし、アイコンOB101の表示態様を変更する(ステップS2)。なお、ウェアラブル装置1は、利用者によって表示領域21と重畳して視認される現実の空間の範囲を予め推定しており、従って、その範囲内における人差し指の検出位置に応じて表示領域21の何れの位置と重畳して視認されるかを推定可能としている。なお、本実施形態において、アイコン又はアイコン群は、表示画像の一つであるものと規定される。
そして、ステップS2に示す状態、即ち、アイコンOB101が選択された状態において、利用者が前腕を回転(図4においては点線矢印方向へ回転、即ち回外)させることによって、手BHが反転すると(ステップS3)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、アイコンOB101に対応付けられた機能の実行操作が利用者によってなされたと見なし、機能の実行を開始する(ステップS4)。ステップS4において、ウェアラブル装置1は、アイコンOB101に対応付けられた機能の実行に伴い、当該機能の実行画面SC1を表示部2の表示領域21に表示する。なお、ステップS3、S4に示すように、右手Hにおける手の平側を手PHと称する。
上記のように、本実施形態に係るウェアラブル装置1は、現実の空間に在る利用者の上肢を検出可能な検出部5と、検出部5の検出結果から、上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理(第1例では、アイコンOB101に対応付けられた機能の起動)を実行する制御部7と、を備える。
また、本実施形態に係るウェアラブル装置1は、利用者の眼前に表示画像を表示する表示部2を備え、制御部7は、所定の処理として、表示画像に関する第1の処理(第1例では、アイコンOB101に対応付けられた機能の実行、或は、実行画面SC1の表示)を実行する構成を有する。以後、説明する「第1の処理」は、主に所定の表示の制御に係る処理である。
例えば、現実の空間に在る利用者の上肢の動作として、上肢が所定の位置に移動したことに基づいて、所定の機能を実行させる構成においては、利用者が意図せず上肢を移動させてしまったときでも、機能を実行させてしまうため、結果として誤操作が生じる。一方で、本実施形態に係るウェアラブル装置1では、上肢の移動に基づいて所定の機能を実行させる構成ではなく、意図せず動作してしまう可能性がより低い、前腕の回転動作を伴う身体動作に基づいて所定の機能を実行させる構成を有するため、誤操作を生じ難くすることができる。
また、上記の例では、検出部5が赤外線照射部と赤外線撮像部とからなる構成を示したが、前述したように、検出部を撮像部3が兼ねても良い。
また、本実施形態に係るウェアラブル装置1は、撮像部(撮像部3でも良いし、上記の検出部5における赤外線撮像部でも良い)と、撮像部が撮像する撮像画像から利用者の上肢を検出する制御部7と、を備える、利用者に装着可能なウェアラブル装置であって、制御部7は、撮像画像に含まれる上肢が手の平側となる第1状態と撮像画像に含まれる上肢が手の甲側となる第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定の処理を実行するものと特徴付けられても良い。
なお、第1例においては、ウェアラブル装置1が、手の甲側から手の平側への反転、即ち、前腕の180度の回転を伴う身体動作を検出したことに基づいて、回転身体動作を検出する構成の例を図示したが、これに限定されず、前腕の回転に伴う、上肢の所定角度以上の回転を検出したことに基づいて、回転身体動作を検出する構成としても良い。
また、第1例においては、回転身体動作を行う前と後とで、右手Hの人差し指の指先の位置が凡そ変化しない場合を例示した。このような場合、利用者は、伸展した人差し指を回転軸として回転身体動作を行っている。しかしながら、回転身体動作の態様はこれに限定されない。回転軸が人差し指と一致せず、回転身体動作を行う前と後とで人差し指の指先の位置が異なるような身体動作であっても、回転身体動作として検出する構成であっても良い。即ち、ウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作の検出前の時点における上肢の位置に基づいて選択された表示画像(第1例におけるオブジェクトOB101(ステップS2))に関する第1の処理を実行するようにして良い。反対に、ウェアラブル装置1は、回転身体動作を行う前と後とで人差し指の指先(上肢における所定領域)の位置が異なる場合には、該回転身体動作によっては所定の処理を実行することなく、回転身体動作を行う前と後とで人差し指の指先(上肢における所定領域)の位置が凡そ一致する場合には、該回転身体動作の検出に基づいて所定の処理を実行するようにしても良い。
図5は、図4に引き続き、ウェアラブル装置1により実行される機能の第1例を説明する図である。図5に示すステップS4は、図4に示すステップS4と同様の状態、即ち、アイコンOB101に基づく機能が実行されている状態である。ステップS4に示す状態において、利用者が前腕を図4のステップS2における方向とは反対方向に回転(図5においては点線矢印方向へ回転、即ち回内)させることによって、手PHが反転すると、ウェアラブル装置1は、アイコンOB101に対応付けられた機能の実行の終了操作が利用者によってなされたと見なし、機能の実行を終了する(ステップS5)。ステップS5において、ウェアラブル装置1は、機能実行の終了に伴い、実行画面SC1を非表示とする。
上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作として、腕の回内動作と回外動作の内の一方を伴う身体動作(第1例では、回外動作)を検出したことに基づいて所定の処理を実行し、第1の処理の実行中に、回内動作と回外動作の内の他方を伴う身体動作(第1例では、回内動作)を検出したことに基づいて、第1の処理を終了する構成を有する。ここで、第1例における所定の処理の実行とは、アイコンOB101に対応付けられた機能の実行でも良いし、当該機能の実行に伴う、第1の処理としての機能実行画面SC1の表示でも良い。また、第1例における第1の処理の終了とは、アイコンOB101に対応付けられた機能の実行を終了することであっても良いし、当該終了に伴う、第1の処理としての機能実行画面SC1の非表示であっても良い。
また、本実施形態に係るウェアラブル装置1は、上記構成とは異なり、制御部7は、回転身体動作として、腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて所定の処理を実行し、当該第1の処理の実行後の所定時間内に、回内動作と回外動作の内の他方を伴う身体動作を検出したことに基づいて、第1の処理と対の制御内容を含む第2の処理を実行する構成としても良い。例えば、腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて、当該身体動作前に選択されていた電子ファイルを削除した場合に、当該削除がなされてから所定時間内に、腕の回内動作と回外動作の内の他方を検出すると、削除されていた電子ファイルを元の位置に戻す(或は復元する)ようにしても良い。
なお、ウェアラブル装置1は、回転身体動作を検出すると、当該回転身体動作が腕の回内動作と回外動作の何れを伴うかを記憶するとともに、所定の処理を実行し、当該所定の処理の実行中、又は、実行後の所定時間内は、記憶した回転身体動作とは逆の回転身体動作が検出されるかを監視するようにしても良い。
また、第1例においては、手の甲側BHから手の平側PHへの遷移に基づいて機能を実行し、手の平側PHから手の甲側BHへの遷移に基づいて機能を停止する構成を例示したが、これに限定されず、逆の構成であっても良い。即ち、手の平側PHから手の甲側BHへの遷移に基づいて機能を実行し、手の甲側BHから手の平側PHへの遷移に基づいて機能を停止しても良い。また、本実施形態に係るウェアラブル装置1は、前腕の第1方向への回転動作(例えば回外動作)を伴う身体動作と、前腕の第1方向とは反対側の第2方向への回転動作(例えば回内動作)を伴う身体動作と、の何れによっても同一の所定の処理を実行するものとして特徴付けられても良い。
図6は、ウェアラブル装置1により実行される機能の第2例を説明する図である。第2例において、ウェアラブル装置1は、表示部2の表示領域21に利用者の上肢を模した手オブジェクトOHを表示している。手オブジェクトOHは、検出部5によって検出される、現実の所定空間における利用者の上肢の位置に基づく表示位置に、検出部5によって検出される利用者の上肢の形状と略同形状の画像として表示される。当該構成に依れば、ウェアラブル装置1は、検出部5の検出範囲51の内、表示領域21の位置指定のための検出範囲を適宜設定できるため、例えば、利用者の視線の高さまで上肢を上げなくても、該上肢の身体動作に基づく操作が可能となる。
ステップS11において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けているものとする。検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示部2に、上肢の手の甲側が表された手オブジェクトOBHを表示している。
また、ステップS11において、ウェアラブル装置1は、複数のアイコンからなるアイコン群OB1を表示している。ここで、利用者が、現実の空間において上肢を移動させることによって、手オブジェクトOBHを移動させ、手オブジェクトOBHの指先をアイコンOB101の表示範囲に重畳させると、ウェアラブル装置1は、アイコンOB101が利用者によって選択されたものと見なし、アイコンOB101の表示態様を変更する(ステップS12)。
そして、アイコンOB101が選択された状態において、利用者が前腕を回転(図6においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、手の甲側の状態である手オブジェクトOBHの表示態様を、手の平側の状態に反転させる(ステップS13)。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、アイコンOB101に対応付けられた機能を実行させる操作が利用者によってなされたと見なし、機能の実行を開始する(ステップS14)。ステップS14において、ウェアラブル装置1は、アイコンOB101に対応付けられた機能の実行に伴い、当該機能の実行画面SC1を表示部2の表示領域21に表示する。なお、ステップS13、S14に示すように、手の平側の状態にある手オブジェクトOHを、手オブジェクトOPHと表記している。
なお、第2例のような、現実の空間に在る上肢の位置及び形状に基づく手オブジェクトOHを表示部2に表示する構成においては、回転身体動作がなされる前と回転身体動作がなされた後において、互いに重畳するアイコンOB101と手オブジェクトOHとの前後関係を変更しても良い。図6に示すように、回転身体動作がなされる前においては、手オブジェクトOHをアイコンOB101よりも前方、即ち、手オブジェクトOHがオブジェクトOB101よりも優先されて表示される表示態様とし、一方で、回転身体動作がなされた後においては、手オブジェクトOHをオブジェクトOB101よりも後方、即ち、アイコンOB101が手オブジェクトOHよりも優先されて表示される表示態様に変更して良い。このようにすることで、回転身体動作が検出されたことを利用者が視認しやすくなるため、ウェアラブル装置1の使い勝手が向上する。なお、2つの画像の一部が互いに重畳し、一方の表示画像の一部が、他方の画像の一部よりも優先されて表示される表示態様を、「複数の表示画像が互いに前後関係を有して表示されている」と称する。
図7は、ウェアラブル装置1により実行される機能の第3例を説明する図である。第3例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。
また、ウェアラブル装置1は、オブジェクトOB2及びオブジェクトOB3を表示部2の表示領域21に表示している。オブジェクトOB2とオブジェクトOB3とは、一部が重畳して表示されている。オブジェクトOB2はオブジェクトOB3よりも前方、即ち、オブジェクトOB2がオブジェクトOB3よりも優先されて表示されている。即ち、複数の表示画像(オブジェクトОB2及びOB3)は、互いに前後関係を有して表示されている。なお、本明細書において、「オブジェクト(手オブジェクトを除く)」と称するものは何れも、表示画像に該当するものとして説明する。
ステップS21において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。ウェアラブル装置1は、検出部5の検出結果より利用者の上肢の手の甲側を検出したことに基づいて、表示領域21に、上肢の手の甲側が表された手オブジェクトOBHを表示している。利用者が人差し指と親指とを互いに離間させていることにより、手オブジェクトOBHにおける、人差し指の指先Fと、親指の指先Tとは、互いに離間して表示されている。手オブジェクトOBHにおける、人差し指の指先Fは、オブジェクトOB3と重畳し、親指の指先Tは、オブジェクトOB2と重畳している。このとき、ウェアラブル装置1は、オブジェクトOB2とオブジェクトOB3の双方が利用者によって選択されたものと見なしている。なお、図7に示すように、オブジェクトOB2とオブジェクトOB3の其々が選択されていることを視認しやすくするために、ウェアラブル装置1は、手オブジェクトOBHにおける、人差し指の指先Fの周囲と親指の指先Tの周囲に円形の表示エフェクトをそれぞれ表示している。
ステップS21において、利用者が前腕を回転(図7においては点線矢印方向へ回転、即ち回外)させると(ステップS22)、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、オブジェクトOB2とオブジェクトOB3との前後関係を変更する(ステップS23)。ステップS23に示すように、回転身体動作による前後関係の変更に基づいて、オブジェクトOB3はオブジェクトOB2よりも前方、即ち、オブジェクトOB3がオブジェクトOB2よりも優先されて表示される表示態様に変更されている。ウェアラブル装置1は、回転身体動作を検出した後に、上肢の手の平側が表された手オブジェクトOPHを表示領域21に表示している。
上記のように、本実施形態に係るウェアラブル装置1において、表示部2は、複数の表示画像を表示し、制御部7は、複数の表示画像が指定された状態で回転身体動作を検出すると、前記第1の処理を実行する構成を有する。
また、当該構成において、制御部7は、上肢が現実の空間における所定位置に在ることにより、上肢の位置に基づいて表示される手オブジェクトOHが表示画像と重畳したことに基づいて、複数の表示画像が指定されたものとみなすことができる。なお、現実の空間における上肢の位置が表示画像を重畳しているように利用者によって視認されると推定した場合においても、上肢によって表示画像が指定されたものと見なすようにしても良い。
さらに、制御部7は、複数の表示画像の内の第1表示画像が上肢の一部(人差し指の指先)によって指定され、当該複数の表示画像の内の第2表示画像が上肢の他部(親指の指先)によって指定された状態で回転身体動作を検出すると、第1の処理を実行することができるようにしても良い。
さらに、制御部7は、第1の処理として、複数の表示画像の前後関係を変更する構成を有する。なお、第3例では、オブジェクトOBHにおける、親指の指先TがオブジェクトOB2と重畳したことによって該オブジェクトOB2が指定され、人差し指の指先FがオブジェクトOB3と重畳したことによって該オブジェクトOB3が指定される構成を例示したが、当該構成に限定されない。
図8は、ウェアラブル装置1により実行される機能の第4例を説明する図である。第4例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。
また、ウェアラブル装置1は、オブジェクトOB4及びオブジェクトOB5を表示部2の表示領域21に表示している。オブジェクトOB4とオブジェクトOB5とは、其々の大部分が重畳して表示されている。オブジェクトOB4はオブジェクトOB5よりも前方、即ち、オブジェクトOB4がオブジェクトOB5よりも優先されて表示されている。
ステップS31において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。ウェアラブル装置1における検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示部2に、上肢の手の甲側が表された手オブジェクトOBHを表示している。また、利用者は、現実の空間において、上肢を所定の位置へ移動させることにより、手オブジェクトOBHをオブジェクトOB4と重畳する位置へ移動させる。このとき、ウェアラブル装置1は、検出部5の検出結果から手オブジェクトOBHの一部がオブジェクトOB4と重畳していることを認識する。
ステップS31において、利用者が前腕を回転(図8においては点線矢印方向へ回転、即ち回外)させると(ステップS31)、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、オブジェクトOB4とオブジェクトOB5との前後関係を変更する。(ステップS32)。ステップS32に示すように、回転身体動作による前後関係の変更に基づいて、オブジェクトOB5はオブジェクトOB4よりも前方、即ち、オブジェクトOB5がオブジェクトOB4よりも優先されて表示される表示態様に変更されている。
第4例において例示した構成によれば、第3例のような、上肢の一部である親指の指先TをオブジェクトOB2に重畳させることでオブジェクトOB2を指定し、上肢の他部である人差し指の指先FをオブジェクトOB3に重畳させることでオブジェクトOB3を指定する構成としなくとも、回転身体動作によって、互いに前後関係を有する複数の表示画像の該前後関係を変更することができる。
図9は、ウェアラブル装置1により実行される機能の第5例を説明する図である。第5例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。
また、ウェアラブル装置1は、オブジェクトOB6及びオブジェクトOB7を表示部2の表示領域21に表示している。オブジェクトOB6とオブジェクトOB7とは、一部が重畳して表示されている。オブジェクトOB6はオブジェクトOB7よりも前方、即ち、オブジェクトOB6がオブジェクトOB7よりも優先されて表示されている。
ステップS41において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示部2に、上肢の手の甲側が表された手オブジェクトOBHを表示している。利用者が人差し指と親指とを互いに離間させていることにより、手オブジェクトOBHにおける、人差し指の指先と親指の指先とは、互いに離間して表示されている。手オブジェクトOBHにおける、人差し指の指先はオブジェクトOB7と重畳し、親指の指先はオブジェクトOB6と重畳している。このとき、ウェアラブル装置1は、オブジェクトOB6とオブジェクトOB7の双方が利用者によって選択されたものと見なしている。なお、図9に示すように、オブジェクトOB6とオブジェクトOB7の其々が選択されていることを視認しやすくするために、ウェアラブル装置1は、オブジェクトOBHにおける、人差し指の指先の周囲と親指の指先の周囲に表示エフェクトを、それぞれ表示している。
ステップS41において、利用者が前腕を回転(図9においては点線矢印方向へ回転、即ち回外)させると(ステップS42)、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、指定されたオブジェクトOB6とオブジェクトOB7の表示位置を入れ替える(ステップS43)。
このとき、ウェアラブル装置1は、オブジェクトOB6とオブジェクトOB7の表示位置を入れ替えるに際して、オブジェクトOB6におけるオブジェクトOB7に最も近い側の角部(ステップS42においては右上の角部)が、回転身体動作前(ステップS42)におけるオブジェクトOB7の右上の角部と一致する位置に表示位置を変更する。また、ウェアラブル装置1は、オブジェクトOB7におけるオブジェクトOB6に最も近い側の角部(ステップS42においては左下の角部)が、回転身体動作前(ステップS42)におけるオブジェクトOB6の左下の角部と一致する位置に表示位置を変更する。
しかしながら、オブジェクトOB6とオブジェクトOB7の表示位置を入れ替える態様はこれに限定されない。例えば、ウェアラブル装置1は、オブジェクトOB6における特定の点(例えば、オブジェクトOB6の中心位置)と、オブジェクトOB7における、オブジェクトOB6の特定の点に対応する点(オブジェクトOB7の中心位置)と、が入れ替わるように、其々のオブジェクトの表示位置を入れ替えるようにしても良い。また、ウェアラブル装置1は、回転身体動作を検出すると、2つの表示画像のそれぞれを指定する上肢の一部と他部とが並ぶ方向、或は、回転身体動作における回転方向(何れも第5例においては、X軸方向であるものとする)を検出し、当該検出した方向(X軸方向)において、2つの表示画像の表示位置の相対的な関係を入れ替えるようにしても良い。この場合、2つの表示画像の表示位置を変更するに際して、Y軸方向における2つの表示画像の相対的な表示位置の関係は如何様にしても良い。また、上記の例とは異なり、2つの表示画像のそれぞれを指定する上肢の一部と他部とが並ぶ方向、或は、回転身体動作における回転方向がY軸方向である場合には、2つの表示画像の表示位置のY軸方向における相対的な関係を入れ替えるようにしても良い。また、ウェアラブル装置1は、手オブジェクトOHの親指の指先と重畳するオブジェクトOB6を、回転身体動作後の親指の指先と少なくとも重畳する位置へ表示位置を移動させ、一方で、手オブジェクトOHの人差し指の指先と重畳するオブジェクトOB7を、回転身体動作後の人差し指の指先と少なくとも重畳する位置へ表示位置を移動させるようにしても良い。
上記のように、本実施形態に係るウェアラブル装置1において制御部7は、回転身体動作を検出したことに基づいて、第1の処理として、複数の表示画像の表示位置を入れ替える構成を有する。上記の例では、2つの表示画像を2本の指でそれぞれ指定した後、回転身体動作を行うと、該回転身体動作によって、2本の指の指先位置が入れ替わるため、このような態様に沿って、複数の表示画像の表示位置を入れ替える動作は、ユーザにとってより優れた操作感を得ることができる。
なお、第5例では、複数の表示画像が指定された状態で回転身体動作を検出すると、表示制御として、回転身体動作の前と後とで、複数の表示画像の表示位置を単に入れ替える構成を例示したが、このような構成に限定されない。
図10は、ウェアラブル装置1により実行される機能の第6例を説明する図である。図10における左側には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示され、右側には、利用者の頭部の上方から鉛直方向へ視たときに視認される領域(図3におけるX−Z面に相当)が示されている。
第6例において、ウェアラブル装置1は、現実の空間における上肢の形状と略同形状の手オブジェクトOHを、現実の空間における上肢の位置に基づいた表示位置にて表示部2に表示している。また、ウェアラブル装置1は、オブジェクトOB8及びオブジェクトOB9を表示領域21に表示している。
ステップS51において、利用者は、現実の空間において、検出部5に対して、手の甲側を向けている。検出部5は、利用者の上肢の手の甲側を検出することに基づいて、表示領域21に、上肢の手の甲側が表された手オブジェクトOBHを表示している(ステップS51の左側)。利用者が人差し指と親指とを互いに離間させていることにより、手オブジェクトOBHにおける、人差し指の指先にFと親指の指先Tとは、互いに離間して表示されている。手オブジェクトOBHにおける、人差し指の指先FはオブジェクトOB9と重畳し、親指の指先領域TはオブジェクトOB8と重畳している。このとき、ウェアラブル装置1は、オブジェクトOB8とオブジェクトOB9の双方が利用者によって選択されたものと見なしている。
ステップS51の右側に示すように、利用者の上肢における、人差し指の指先Fと親指の指先Tとは、Z軸方向において凡そ同距離の位置に在る状態となっている。即ち、ステップS51に示す状態は、利用者によって人差し指の指先Fと親指の指先Tの双方が利用者から凡そ同距離だけ離れた位置に在るように視認している状態である。また、ステップS51において、人差し指の指先Fと親指の指先Tとは、X軸方向において、両矢印で示す距離d1だけ離間している。
ウェアラブル装置1は、ステップS51において、回転身体動作がなされたことを検出するとともに、人差し指の指先Fと親指の指先Tとの間の距離におけるX軸方向成分d2を検出する。ステップS52における、距離d2は、ステップS51における距離d1よりも小さくなる。ウェアラブル装置1は、回転身体動作によって人差し指の指先Fと親指の指先Tとの間の距離dが変化したことに基づいて、当該距離dの変化量に対応する角度を、回転身体動作における回転角度として検出する。
ウェアラブル装置1は、ステップS51において、回転身体動作を検出したことを契機に、人差し指の指先Fと親指の指先Tとの距離が距離d1から距離d2へと小さくなったことに基づいて、オブジェクトOB8とオブジェクトOB9とのX軸方向における距離を小さくする(ステップS52)。
次に、ステップS52において、利用者が前腕をさらに回転(図10においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、人差し指の指先Fと親指の指先Tとの間の距離dの変化量を再度検出する。ウェアラブル装置1は、回転身体動作に基づき、人差し指の指先Fと親指の指先Tとの間の距離dがゼロとなる状態を経て距離d3となったことを検出し、これによって人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことを検出する。言い換えると、ウェアラブル装置1は、ステップS52においては、人差し指の指先Fが親指の指先Tよりも右側に位置していたことに対し、ステップS53においては、人差し指の指先Fが親指の指先Tよりも左側に位置していることを検出する。ウェアラブル装置1は、人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことに基づいて、ステップS53に示すように、オブジェクトOB8とオブジェクトOB9とのX軸方向における相対的な位置を変更している。ウェアラブル装置1は、ステップS52においては、オブジェクトOB9がオブジェクトOB8よりも右側に位置するように其々のオブジェクトを表示していたのに対し、ステップS53においては、オブジェクトOB9がオブジェクトOB8よりも左側に位置するように其々のオブジェクトの表示位置を変更するとともに、人差し指の指先Fと親指の指先Tとの距離d3に応じた距離だけオブジェクトOB9とオブジェクトOB8とを離間させて表示している。
上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作に伴う上肢の一部(人差し指の指先)と他部(親指の指先)との間の距離における所定方向の成分(距離d)の変化に応じて、第1表示画像と第2表示画像との相対位置を変更する構成を有する。なお、ウェアラブル装置1は、回転身体動作に伴う上肢の一部と他部との間の距離における所定方向の成分(距離d)の変化ではなく、回転身体動作における回転角度に応じて、第1表示画像と第2表示画像との相対位置を変更しても良い。
再度、図10を参照すると、ステップS51において、利用者が前腕を回転(図10においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、該回転身体動作における上肢の回転角度を検出する。回転角度は、例えば、図10の右側に示すように、人差し指の指先Fにおける任意の点(例えば中心)と親指の指先Tにおける任意の点(例えば中心)との間の仮想線vと、X軸と平行な基準線xと、がなす角度θの変化量としても良い。ステップS51に示す状態は、人差し指の指先Fと親指の指先Tの双方が利用者から凡そ同距離だけ離れた位置に在る、即ち、仮想線v1が基準線xと平行であるため、角度θ1はゼロである。一方で、ステップS52においては、回転身体動作がなされたことにより、仮想線v2が基準線xに対して非平行となっており、角度θは、角度θ1から角度θ2へ変化する。なお、回転角度は、任意の点、例えば、人差し指の指先Fと親指の指先Tとの間の線分の中心点を回転中心として、当該線分が傾いた角度と規定しても良い。なお、回転角度の検出方法は、上述した種々の方法や他の公知の方法が適宜採用されて良い。
ウェアラブル装置1は、回転身体動作によって、仮想線vと基準線xとがなす角度θが角度θ1からθ2へと変化したこと(0°≦θ1<θ2≦90°)に基づき、X軸方向において、人差し指の指先Fと親指の指先Tとが互いに近づいたものと見なし、これを契機に、オブジェクトOB8とオブジェクトOB9とのX軸方向における距離を小さくするよう表示位置を変更する(ステップS52)。ウェアラブル装置1は、オブジェクトOB8とオブジェクトOB9とのX軸方向における距離を小さくして表示するに際して、オブジェクトOB8とオブジェクトOB9とを一部重畳させて表示している。
次に、ステップS52において、利用者が前腕をさらに回転(図10においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、上肢の回転角度即ち、角度θの変化量を再度検出する。ウェアラブル装置1は、回転身体動作により、ステップS52からステップS53へ遷移したことによって、仮想線vと基準線xとのなす角度θが角度θ2(0°≦θ2≦90°)から角度θ3(90°≦θ3≦180°)へと変化したことに基づいて、人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことを検出する。ウェアラブル装置1は、ステップS53に示すように、人差し指の指先Fと親指の指先TとのX軸方向における相対的な位置が入れ替わったことに基づいて、オブジェクトOB8とオブジェクトOB9とのX軸方向における相対的な表示位置を変更している。ウェアラブル装置1は、オブジェクトOB8とオブジェクトOB9との位置を変更するとともに、角度θ3に応じた距離だけオブジェクトOB9とオブジェクトOB8とを離間させて表示している。ここで、ウェアラブル装置1は、角度θが0°≦θ≦90°の範囲内においては、角度θが大きくなる程、オブジェクトOB8とオブジェクトOB9とがより近づくように表示態様を変更し、一方で、角度θが90°≦θ≦180°の範囲内においては、角度θが大きくなる程、オブジェクトOB8とオブジェクトOB9とがより離れるように表示態様を変更する。なお、ステップS53において、仮想線v3は、基準線xに対して非平行となっている。
上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作における回転角度(角度θの変化量)を検出し、第1の処理として、回転角度(角度θの変化量)に応じて、複数の表示画像の相対位置を変更する構成を有する。
なお、第6例においては、回転身体動作に伴う上肢の一部と他部との間の距離における所定方向の成分の変化、又は、回転身体動作における回転角度に応じて、複数の表示画像の相対位置を変更する構成を例示したがこれに限定されない。例えば、ウェアラブル装置1は、回転身体動作の開始を検出すると、当該回転身体動作の継続時間を計時し、継続時間に基づいて、複数の相対位置を変更しても良い。ここで、ウェアラブル装置1は、例えば、上肢の一部が第1所定距離だけウェアラブル装置1に近づき、一方で、上肢の他部が第2所定距離だけウェアラブル装置1から離れたことを検出したことに基づいて、回転身体動作が開始したものと見なして良い。
また、第3例〜第6例においては、手オブジェクトOHの少なくとも一部が2つの表示画像の内の少なくとも一方に重畳した状態で回転身体動作が検出されたことに基づいて、当該2つの表示画像の前後関係、又は、表示位置を変更する構成を例示したが、このような構成に限定されない。例えば、図11に示すように、手オブジェクトOBHの人差し指をオブジェクトOB8に重畳させた状態で人差し指を曲げることにより、オブジェクトOB8を選択した状態とし(ステップS61)、次に、手オブジェクトOBHの人差し指をオブジェクトOB9に重畳させた状態で人差し指を曲げることにより、オブジェクトOB9を選択した状態とする(ステップS62)。オブジェクトOB8及びOB9を選択した状態で該オブジェクトOB8及びOB9に手オブジェクトOBHを重畳させていない状態で、回転身体動作を行うと(ステップS63)、ウェアラブル装置1は、回転身体動作を検出したことに基づいてオブジェクトOB8とオブジェクトOB9との表示位置を入れ替える(ステップS64)。
また、図12に示すように、ウェアラブル装置1は、オブジェクトOB8の表示位置とオブジェクトOB9の表示位置とによって規定される方向P1を予め認識している(ステップS71)。なお、図12に示す例において、方向P1は、オブジェクトOB8の所定箇所(例えば中心の座標位置)と、これに対応するオブジェクトOB9の所定箇所(中心の座標位置)と、を通過する仮想線によって規定されている。そして、ウェアラブル装置1は、手オブジェクトOBHの人差し指と親指が伸展している状態で、上肢の回転身体動作を検出すると、該回転身体動作がなされる直前の手オブジェクトOBHにおける人差し指の指先と親指の指先とを通過する仮想線によって規定される方向P2を検出する。そして、ウェアラブル装置1は、方向P1と方向P2とがなす角度が所定の範囲にあるかを判定し、所定の範囲にあると判定した場合には、オブジェクトOB8とオブジェクトOB9との表示位置を入れ替える(ステップS72)。このような構成によっても、上肢を表示画像に重畳させることなく、複数の表示画像の前後関係、又は、表示位置を変更することができる。なお、所定の角度の範囲は、例えば、30°未満であるものと規定されて良い。
また、ウェアラブル装置1は、方向P1と方向P2とを比較するのではなく、例えば、方向P1と方向P2のそれぞれを、X軸方向の成分とY軸方向の成分とに分解し、より大きい一方の方向が一致する場合には、回転身体動作に基づいて、複数の表示画像の前後関係、又は、表示位置を変更するようにしても良い。図12の例では、方向P1、方向P2共に、X軸方向の成分の方がY軸方向の成分よりも大きいため、検出した回転身体動作が第1処理のための操作として有効であると制御部7によって判定される。
また、図13に示すように、ウェアラブル装置1は、手オブジェクトOBHの人差し指と親指が伸展している状態で、上肢の回転身体動作を検出すると、該回転身体動作がなされる直前の手オブジェクトOBHにおける人差し指の指先と親指の指先とを通過する仮想線P3を生成する(ステップS81)。そして、ウェアラブル装置1は、仮想線P3がオブジェクトOB8とオブジェクトOB9の双方を通過し得るかを判定し、通過し得ると判定した場合には、オブジェクトOB8とオブジェクトOB9との表示位置を入れ替える(ステップS82)。このような構成によっても、上肢を表示画像に重畳させることなく、複数の表示画像の前後関係、又は、表示位置を変更することができる。
なお、第6例においては、回転身体動作における回転角度に応じて異なる表示制御を実行する構成として、複数の表示画像の相対位置を変更する構成を例示したが、これに限定されない。
図14は、ウェアラブル装置1により実行される機能の第7例を説明する図である。図14における左側には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示され、利用者の右手における手の甲側BHが利用者側へ向けられている。このとき、手BHの人差し指が伸展された状態であり、該人差し指の伸展方向をY’軸、Y’軸方向と垂直な方向をX’軸と定義する(ここで、X’−Y’面はX−Y面と略平行な面であるものと仮定する)。図14における右側には、Y’軸の上方から人差し指の指先を視たときの該人差し指の図が示されている。
ステップS91において、ウェアラブル装置1は、表示部2の表示領域21に利用者の選択、実行操作によって、メール機能を実行可能である旨のアイコンOB10を表示している。ステップS91において、ウェアラブル装置1は、アイコンOB10の表示範囲に手BHの人差し指の指先が重畳されていることに基づいて、アイコンOB10が利用者によって選択されたものと見なしている。なお、ウェアラブル装置1は、利用者によって表示領域21と重畳して視認される現実の空間の範囲を予め推定しており、従って、その範囲内における人差し指の検出位置に応じて表示領域21の何れの位置と重畳して視認されるかを推定可能としている。
そして、ステップS91に示す状態、即ち、アイコンOB10が選択された状態において、利用者が、人差し指の伸展方向を軸として、前腕を第1所定角度θ1だけ回転(図14においては点線矢印方向へ回転、即ち回外)させると、ステップS92に示す状態に遷移する。ウェアラブル装置1は、回転身体動作がなされたことを検出すると、第1回転角度θ1を検出する。ウェアラブル装置1は、回転身体動作の検出に基づき、アイコンOB10に対応付けられた機能を実行させる操作が利用者によってなされたと見なし、機能の実行を開始する(ステップS92)。ステップS92において、ウェアラブル装置1は、アイコンOB10に対応付けられた機能の実行に伴い、当該機能の実行画面SC2、SC3を表示部2に表示する。実行画面SC2、SC3は、メール相手毎の最新のメールのやり取りにおける簡易な情報を示す画像である。
ステップS92に示す状態から、利用者が、前腕を第1所定角度θ1よりも大きい第2所定角度θ2だけ回転させると、ステップS93に示す状態に遷移する。ステップS93において、ウェアラブル装置1は、回転身体動作における回転角度が第1所定角度θ1よりも大きい第2所定角度θ2となったことに基づいて、第1所定角度θ1の場合における実行画面SC2、SC3よりも詳細な情報量(例えば、メール文の一部が新たに付加されている)であり、また、より大きな画像の実行画面SC2、SC3を表示部2に表示する。また、ウェアラブル装置1は、回転身体動作における回転角度が第1所定角度θ1よりも大きい第2所定角度θ2となったことに基づいて、実行画面SC2、SC3に加えて、実行画面SC4を表示部2に表示する。実行画面SC4は、例えば、実行画面SC2、SC3におけるメール相手とは異なるメール相手との最新のメールのやり取りにおける情報を示す画像である。
ステップS93に示す状態から、利用者が、前腕を第2所定角度θ2よりも大きい第3所定角度θ3だけ回転させると、ステップS94に示す状態に遷移する。ステップS94において、ウェアラブル装置1は、回転身体動作における回転角度が第2所定角度θ2よりも大きい第3所定角度θ3となったことに基づいて、第2所定角度θ2の場合における実行画面SC2よりも詳細な情報量(例えば、過去のメール内容を閲覧可能な画面)であり、又より大きな画像の実行画面SC2を表示部2に表示する。第2所定角度θ2の場合における実行画面SC2よりも大きな画像の実行画面SC2を表示するに際して、実行画面SC3、SC4は非表示となっている。
上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、当該回転身体動作における回転角度を検出し、第1の処理として、回転角度に応じた処理を実行する。そして、制御部7は、第1の処理として、表示画像に関連する少なくとも一つの他の画像(第7例においては実行画面SC)を表示し、回転角度に応じて、他の画像に含まれる情報量、又は、他の画像の大きさ、又は、前記他の画像の数、を変更する構成を有する。
図15は、ウェアラブル装置1により実行される機能の第8例を説明する図である。図15には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示され、利用者の右手における手の甲側BHが利用者側へ向けられている。ウェアラブル装置1は、表示部2の表示領域21にウェブブラウザ画面SC5を表示している。図15では、ステップS101〜S103に示す第1の操作例とステップS111〜S113に示す第2の操作例との2つの操作例が併せて示されている。
まず、第1の操作例では、ステップS101に示すように、利用者は、画面SC5における所定の文字列SC501を手BHの人差し指で重畳させ、人差し指を曲げている。ウェアラブル装置1は、現実の空間における手BHの人差し指の位置、及び人差し指が曲げられていることを検出することによって、画面SC5における所定の文字列が利用者によって選択されていることを認識する。
ステップS101に示す状態、即ち、文字列SC501が選択された状態において、利用者が、前腕を回転(図15においては点線矢印方向へ回転、即ち回外)させると、ウェアラブル装置1は、回転身体動作がなされたことを検出するとともに、上肢の位置の所定長さ以上の移動を含むか否かを判定する。ステップS102に示すように、回転身体動作後の上肢の位置がステップS101の状態と比較して変化しない、即ち、上肢の位置の所定長さ以上の移動を含まないとウェアラブル装置1が判定すると、これに基づいて、ウェアラブル装置1は、例えば、ステップS103に示すように、利用者によって選択されていた文字列SC501に対応する、他のウェブブラウザ画面SC6に表示を遷移させる。
一方、第2の操作例では、ステップS111に示すように、利用者は、画面SC5における所定の位置に手BHを重畳させている状態から、ステップS112に示すように、上肢の移動を伴って、回転身体動作を行っている。ウェアラブル装置1は、利用者が前腕を回転(図15においては点線矢印方向へ回転、即ち回外)させると、回転身体動作がなされたことを検出するとともに、該回転身体動作が上肢の位置の所定長さ以上の移動を含むか否かを判定する。そして、ウェアラブル装置1は、上肢の位置の所定長さ以上の移動として、距離d4の移動を含む回転身体動作を検出すると、第1の操作例とは異なる表示制御内容として、ステップS113に示すように、ウェブブラウザ画面SC6へ遷移させるのではなく、他のウェブブラウザ画面SC7へ表示を遷移させる。
上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、回転身体動作を検出すると、該回転身体動作が上肢の位置の所定長さ以上の移動を含む第1回転身体動作か、上肢の位置の所定長さ以上の移動を含まない第2回転身体動作か、を判定し、第1回転身体動作に基づく所定の処理と第2回転身体動作に基づく所定の処理との間で、制御内容を異ならせる構成を有する。
以上の各実施例では、ウェアラブル装置1が回転身体動作を検出したことに基づいて、所定動作として、所定の表示制御を実行する構成を例示したが、所定動作は表示制御に限定されない。
図16は、ウェアラブル装置1により実行される機能の第9例を説明する図である。図16には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示されている。また、第9例において、ウェアラブル装置1は、撮像機能を起動しており、撮像部3によって逐次撮像される撮像画像をプレビューウィンドウPWとして表示部2に表示している。
ステップS121において、利用者は、右手Hをウェアラブル装置1の前方に移動させ、ウェアラブル装置1に対して右手Hの手の甲側を向けている。右手Hの手の甲側が撮像部3によって撮像されることにより、プレビューウィンドウPWには、右手Hの手の甲側BHが表示されている。
利用者は、プレビューウィンドウPWを視認しながら、ウェアラブル装置1の前方で前腕を回転(図16においては点線矢印方向へ回転、即ち回外)させると(ステップS122)、ウェアラブル装置1は、撮像画像を解析することによって回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作を検出したことを契機に、所定の処理として、撮像機能における処理内容を変更する。ステップS123に示すように、ウェアラブル装置1は、回転身体動作を検出したことを契機に、静止画像の撮像モードから動画像の撮像モードに変更する。これに伴い、ステップS121では、静止画像の撮像モードである旨を示すオブジェクトOB11が表示されていたのに対し、ステップS123では動画像の撮像モードである旨を示すオブジェクトOB12へ表示が変更されている。なお、回転身体動作に基づいて変更する撮像機能の種類は、これに限定されず、回転身体動作に基づいて、撮像機能に係る種々の設定値として、例えば、露出補正における補正値、ISO感度、ホワイトバランス、シャッタースピード、絞り値、被写界深度、焦点距離、ズーム率等を変更する構成であって良い。また、回転身体動作の繰り返し回数に基づいて、撮像機能に係る種々の設定値を連続的に、或は段階的に変更する構成であっても良い。
図17は、ウェアラブル装置1により実行される機能の第10例を説明する図である。図17には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示されている。
ステップS131において、ウェアラブル装置1は、表示部2に表示画像OB13を表示している。また、ステップS131において、利用者から近い位置、或いは容易に視認可能な位置に、他の電子機器として、ノートパソコン100が在る。
ステップS131において、利用者は、ウェアラブル装置1を装着した状態で、例えば、頭部の向きを変更することにより、ウェアラブル装置1の表示領域21越しにノートパソコン100を視認する状態に遷移する(ステップS132)。このとき、ウェアラブル装置1は、検出部5の検出結果或いは撮像部3の撮像画像に基づいて、ウェアラブル装置1の前方にノートパソコン100が在るものと判定する。ステップS132において、利用者は、表示画像OB13がノートパソコン100に重畳しているように視認している。ここで、表示画像OB13が不透明であり、表示画像OB13とノートパソコン100とが重畳している領域においては、ノートパソコン100を視認できない状態となっている場合が例示されているが、表示画像OB13が透明又は半透明であっても良く、このような場合には、利用者は、表示画像OB13越しにノートパソコン100を視認し易くなる。
ステップS132において、利用者がウェアラブル装置1の検出部5の検出範囲内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
ステップS132において、利用者が手オブジェクトOBHの少なくとも一部を表示画像OB13に重畳させた状態で、前腕を回転(図17においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS133)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、表示画像OB13を非表示とする(ステップS134)。
上記のように、本実施形態に係るウェアラブル装置1において、制御部7は、ウェアラブル装置1の前方に他の表示機器が在るか否かを判定し、ウェアラブル装置1の前方に他の表示機器が在る場合に、回転身体動作を検出すると、表示画像を非表示にする構成を有する。このような構成とすることで、ウェアラブル装置1が表示する表示画像によって、表示機器の表示内容等の視認が妨げられるときに、利用者による簡単な操作で、そのような妨げられる状態を即座に解消することができる。
なお、ウェアラブル装置1の前方にノートパソコン100が在るか否かを判定するに際して、ウェアラブル装置1は、検出部5の検出範囲51或いは撮像部3の撮像範囲にノートパソコン100の一部又は全部が検出されたことに基づいて、ウェアラブル装置1の前方にノートパソコン100が在ると判定しても良いし、検出範囲51或いは撮像範囲における予め設定された所定範囲(例えば、利用者の視界に入りやすい、画角30度程度の範囲)にノートパソコン100の一部又は全部が検出されたことに基づいて、ウェアラブル装置1の前方にノートパソコン100が在ると判定しても良い。
図18は、ウェアラブル装置1により実行される機能の第11例を説明する図である。第11例ではウェアラブル装置1が、利用者の身体動作に基づいて、他の表示機器と所定の通信処理を実行する例である。図18には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示されている。
ステップS141において、ウェアラブル装置1は、表示部2に表示画像OB141を含む複数の表示画像が一覧表示された画像一覧OB14を表示している。また、ステップS141において、利用者から近い位置、或いは容易に視認可能な位置に、他の電子機器として、ノートパソコン100が在る。
ステップS141において、ウェアラブル装置1を装着した利用者が頭部の向きを変更することにより、表示領域21越しにノートパソコン100を視認する状態に遷移すると(ステップS142)、ウェアラブル装置1は、検出部5の検出結果或いは撮像部3の撮像画像に基づいて、ウェアラブル装置1の前方にノートパソコン100が在るものと判定する。そして、ウェアラブル装置1は、ウェアラブル装置1の前方にノートパソコン100が在るものと判定したことに基づいて、画像一覧OB14中に一覧表示されていた複数の表示画像の表示態様を変更し、例えば、ステップS142に示すように、表示領域21おいて、ノートパソコン100と重畳しない、或いは重畳して視認されない位置にそれぞれの表示画像を再配置して表示する。
ステップS142において、利用者がウェアラブル装置1の検出部5の検出範囲内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
ステップS142において、利用者が手オブジェクトOBHの少なくとも一部を表示画像OB151に重畳させた状態で、前腕を回転(図18においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS143)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作の検出に基づき、利用者によって表示画像OB141が選択されたものと見なし、表示画像OB141の表示態様を変更する。また、ウェアラブル装置1は、表示画像OB141が回転身体動作後の手OPHよりも手前となるように表示態様を変更する。
ステップS143に示す状態において、利用者が手OPHの少なくとも一部(指先)を表示画像OB141に重畳させた状態で、前腕を回転(図18においては点線矢印方向へ回転、即ち回内)させつつ、即ち、回転身体動作を行いつつ、指先の位置を表示領域21におけるノートパソコン100の表示部と重畳する領域に移動させると(ステップS144)、ウェアラブル装置1は、利用者によって、表示画像OB141に対応する画像データをノートパソコン100へ転送する操作がなされたものと判定する。ウェアラブル装置1は、ノートパソコン100と無線通信接続を確立させ、画像データをノートパソコン100に送信する。ステップS145に示すように、ノートパソコン100は、ウェアラブル装置1から受信した画像信号に基づき、表示画像OB141と同内容の表示画像OB141’を表示部2に表示する。
上記のように、本実施形態に係るウェアラブル装置1は、他の電子機器と通信する通信部8を備え、制御部7は、ウェアラブル装置1の前方に他の表示機器が在るか否かを判定し、ウェアラブル装置1の前方に他の表示機器が在る場合に、回転身体動作を検出すると、所定の処理として、他の電子機器との通信によるデータ転送処理を含む第2の処理を実行する構成を有する。
なお、ウェアラブル装置1は、手OPHの少なくとも一部(指先)が、回転身体動作を伴って、表示画像OB141に重畳した位置から、表示領域21におけるノートパソコン100の表示部2と重畳する領域に移動したことを検出すると、該移動後の位置を検出し、検出した位置と重畳する位置、又は近傍の位置に表示画像OB141’を表示するように、ノートパソコン100を制御しても良い。
また、ウェアラブル装置1は、回転身体動作を行うことなく、手OPHの少なくとも一部(指先)を表示画像OB141に重畳した位置から、表示領域21におけるノートパソコン100の表示部と重畳する領域に移動させた場合には、表示画像OB141に対応する画像データをノートパソコン100へ転送する操作ではないものと判定して良い。
図19は、ウェアラブル装置1により実行される機能の第12例を説明する図である。第12例は、第11例と同様、ウェアラブル装置1が、利用者の身体動作に基づいて、他の表示機器と所定の通信処理を実行する例である。図19には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示されている。
ステップS151において、ウェアラブル装置1は、表示部2に表示画像OB151を含む複数の表示画像が一覧表示された画像一覧OB15を表示している。また、ステップS151において、利用者から近い位置、或いは容易に視認可能な位置に、他の電子機器として、ノートパソコン100が在る。
ステップS151において、ウェアラブル装置1を装着した利用者が頭部の向きを変更することにより、表示領域21越しにノートパソコン100を視認する状態に遷移すると(ステップS152)、ウェアラブル装置1は、検出部5の検出結果或いは撮像部3の撮像画像に基づいて、ウェアラブル装置1の前方にノートパソコン100が在るものと判定する。
ステップS152において、利用者がウェアラブル装置1の検出部5の検出範囲内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
ステップS152において、利用者が手オブジェクトOBHの少なくとも一部を表示画像OB151に重畳させた状態で、前腕を回転(図19においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS153)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作を検出すると、利用者が手オブジェクトOBHの少なくとも一部が重畳していた表示画像OB151の少なくとも一部が、ノートパソコン100の表示部と重畳しているか否かを判定し、重畳していると判定した場合には、利用者によって、表示画像OB151に対応する画像データをノートパソコン100へ転送する操作がなされたものと見なす。そして、ウェアラブル装置1は、ノートパソコン100との無線通信接続を確立し、画像データをノートパソコン100に送信する。ステップS154に示すように、ノートパソコン100は、ウェアラブル装置1から受信した画像信号に基づき、表示画像OB151と同内容の表示画像OB151’を表示部2に表示する。
なお、ウェアラブル装置1は、回転身体動作を検出すると、利用者が手オブジェクトOBHの少なくとも一部が重畳していた表示画像OB151の少なくとも一部が、ノートパソコン100の表示部と重畳しているか否かを判定し、重畳していないと判定した場合には、表示画像OB151に対応する画像データをノートパソコン100へ転送する操作はなされていないものと見なす。
図20は、ウェアラブル装置1により実行される機能の第13例を説明する図である。第13例は、第11例、第12例と同様、ウェアラブル装置1が、利用者の身体動作に基づいて、他の表示機器と所定の通信処理を実行する例である。図20には、利用者によって2次元的に視認され得る領域(図3におけるX−Y面に相当)が示されている。
ステップS161において、利用者は、表示部2の表示領域21越しに、他の電子機器として、テレビ200を視認している。利用者は、表示部2の表示領域21越しに、テレビ200が表示している映像を視聴している。
ステップS162において、利用者がウェアラブル装置1の検出部5の検出範囲51内に上肢を移動させ、かつ、上肢の手の甲側を検出部5側に向けることにより、ウェアラブル装置1は、上肢の形状と略同形状で、かつ、上肢の手の甲側が表された手オブジェクトOBHを表示部2に表示している。
ステップS162において、利用者が前腕を回転(図20においては点線矢印方向へ回転、即ち回外)させることによって、手オブジェクトOBHが反転すると(ステップS162)、ウェアラブル装置1は、回転身体動作がなされたことを検出する。そして、ウェアラブル装置1は、回転身体動作を検出すると、手オブジェクトOBHがウェアラブル装置1の前後方向、或いは、X−Y面に所定角度で交わる方向において、手オブジェクトOBHの少なくとも一部がテレビ200或いはテレビ200の表示部と重畳した状態で回転身体動作がなされたか否かを判定する。即ち、ウェアラブル装置1は、テレビ200或いはテレビ200が表示する映像に対して、利用者による指定がなされた状態で回転身体動作を検出したか否かを判定する。ウェアラブル装置1は、テレビ200或いはテレビ200が表示する映像に対して、利用者による指定がなされた状態で回転身体動作を検出した、即ち、手オブジェクトOBHの少なくとも一部がテレビ200或いはテレビ200が表示する映像と重畳した状態で回転身体動作がなされたと判定すると、テレビ200と無線通信接続を確立させ、テレビ200に対し、画像データの送信要求を行う。テレビ200は、ウェアラブル装置1からの画像データの送信要求を受信すると、テレビ200が表示している映像に対応する画像データをウェアラブル装置1へ送信する。ウェアラブル装置1は、テレビ200から受信した画像データに基づき、テレビ200が表示している映像と同様の映像SC8を表示部2に表示させる(ステップS163)。なお、ウェアラブル装置1は、回転身体動作を検出する前の時点において、利用者の設定によって、画像データの送信要求先がテレビ200であることを予め認識していても良い。
次に、利用者は、映像SC8をウェアラブル装置1の表示部2に表示させるための操作を終えた状態(ステップS163)における手オブジェクトOBHの形状を変更し、該変更した状態で、前腕を回転させると(ステップS164)、映像SC8と異なる画像として、テレビ200が放送受信可能な番組一覧表SC9に表示を切り替える(ステップS165)。
以上に、本出願に係る実施形態を説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本出願の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を1つに組み合わせたり、或いは分割したりすることが可能である。
以上の各実施例を参照して、ウェアラブル装置1によって実行される機能の多数の例を示した。それぞれの例においては、第1例のような、オブジェクトOHを表示することなく、現実の空間に存在する上肢を視認しながら操作を行う構成か、第2例のような、オブジェクトOHを表示して、該オブジェクトOHを視認しながら操作を行う構成か、の何れかの場合を適用して説明してきたが、これに限定されないことに注意されたい。以上に示した、ウェアラブル装置1によって実行される機能の全ての例において、オブジェクトOHを表示することなく、現実の空間に存在する上肢を視認しながら操作を行う構成と、オブジェクトOHを表示して、該オブジェクトOHを視認しながら操作を行う構成と、の何れもが適用可能であることは勿論である。
また、上記の第3例〜第6例においては、回転身体動作が検出されたことに基づいて、2つの表示画像の表示態様の変更として、当該2つの表示画像の前後関係、又は、表示位置を変更する構成を例示したが、表示態様の変更内容は、これらに限定されない。例えば、ウェアラブル装置1は、回転身体動作が検出されたことに基づいて、2つの表示画像の内、一方の表示画像を縮小表示又は非表示とし、他方の表示画像を拡大表示しても良い。
また、上記の各実施例では、ウェアラブル装置1は、身体動作の内、上肢における腕の回転を伴う回転身体動作を検出したことに基づいて所定動作を実行する、又は、撮像部3(または検出部5としての赤外線撮像部)が撮像する撮像画像に含まれる上肢が手の平側となる第1状態と、手の甲側となる第2状態と、を判別し、第1状態と第2状態の内の一方から他方への反転を伴う回転身体動作を検出したことを契機に、所定動作を実行する構成を例示した。何れの例においても、上肢が右上肢である場合を例示したが、これに限定されず、上肢が左上肢であっても良い。また、右上肢と左上肢の双方であっても良い。さらに、ウェアラブル装置1は、検出部5の検出結果から、上肢の一部(例えば右上肢)がウェアラブル装置1から離れる動作と、上肢の他部(例えば左上肢)がウェアラブル装置1に近づく動作と、の双方を伴う特定の身体動作を検出したことに基づいて、上記の各実施例で例示した所定の処理を実行する構成を有していても良い。例えば、ウェアラブル装置1は、特定の身体動作として、利用者が右手を前に押し出すと同時に、左手を利用者側に引く動作を行ったとすると、当該動作を上記の回転身体動作と同様の身体動作とみなし、上記の各種の所定動作を実行すれば良い。
また、上記の各実施例では、ウェアラブル装置1が回転身体動作に基づく所定の処理として、表示画像に関する第1の処理や、他の電子機器との通信によるデータ転送処理を含む第2の処理や、撮像機能の変更等を実行する例を示したが、所定の処理の例はこれに限定されない。例えば、利用者の所定の操作により文字入力が実行され、表示部2に文字が表示されている場合において、ウェアラブル装置1は、回転身体動作を検出したことに基づいて、入力された文字のかな/漢字変換、又は、日本語/英語翻訳、又は、入力された文字に基づいて予測される予測候補への変換、等を所定の処理として実行して良い。また、ウェアラブル装置1は、検出した回転身体動作の繰り返し回数に基づいて、かな/漢字変換における変換候補を順次変更しても良い。同様に、ウェアラブル装置1は、検出した回転身体動作の繰り返し回数に基づいて、日本語/英語翻訳における翻訳語の候補、又は、入力された文字に基づいて予測される予測候補、等を順次変更しても良い。
また、上記の実施例では、ウェアラブル装置1が、眼鏡形状を有する例を示してきたが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、ウェアラブル装置1は、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。
また、上記の実施例では、表示部2がユーザの左右の目の前に設けられる一対の表示部2a、2bを有している構成を例示してきたが、これに限定されず、表示部2は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
また、上記の実施例では、正面部の縁部が、表示部2の表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部2の表示領域の縁の一部のみを囲っている構成であっても良い。
また、上記の実施例では、利用者の上肢として手や指を撮像部(或いは検出部)によって検出する構成を示したが、手や指は、手袋やグローブ等が装着されている状態であっても同様にして検出可能である。
上記の実施例では、ウェアラブル装置1の構成と動作について説明したが、これに限定されず、各構成要素を備える方法やプログラムとして構成されても良い。
1 ウェアラブル装置
1a 前面部
1b 側面部
1c 側面部
2 表示部
3 撮像部
4 撮像部
5 検出部
6 操作部
7 制御部
8 通信部
9 記憶部

Claims (14)

  1. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備え
    前記制御部は、前記回転身体動作として、前記腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて前記所定の処理を実行し、
    前記所定の処理の実行中に、前記回内動作と前記回外動作の内の他方を伴う身体動作を検出したことに基づいて、前記所定の処理を終了する、頭部に装着可能な
    ウェアラブル装置。
  2. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備え、
    前記制御部は、前記回転身体動作として、前記腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて前記所定の処理を実行し、
    前記所定の処理の実行後の所定時間内に、前記回内動作と前記回外動作の内の他方を伴う身体動作を検出したことに基づいて、前記所定の処理と対の制御内容を含む第2の処理を実行する、頭部に装着可能な
    ウェアラブル装置。
  3. 利用者の眼前に表示画像を表示する表示部を備え、
    前記制御部は、前記回転身体動作を検出すると、前記所定の処理として、当該回転身体動作の検出前の時点における前記上肢の位置に基づいて選択された前記表示画像に対する第1の処理を実行する
    請求項1に記載のウェアラブル装置。
  4. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    利用者の眼前に表示画像を表示する表示部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記表示画像に関する第1の処理を実行する制御部と、を備え、
    前記表示部は、複数の前記表示画像を表示し、
    前記制御部は、複数の前記表示画像の内の第1表示画像が前記上肢の一部によって指定され、当該複数の前記表示画像の内の第2表示画像が前記上肢の他部によって指定された状態で前記回転身体動作を検出すると、前記表示画像に関する第1の処理を実行する、頭部に装着可能な
    ウェアラブル装置。
  5. 前記制御部は、前記第1の処理として、複数の前記表示画像の前後関係を変更する
    請求項4に記載のウェアラブル装置。
  6. 前記制御部は、前記第1の処理として、複数の前記表示画像の表示位置を入れ替える
    請求項4に記載のウェアラブル装置。
  7. 前記制御部は、前記回転身体動作を検出すると、当該回転身体動作に伴う前記一部と前記他部との間の距離における所定方向の成分の変化に応じて、前記第1表示画像と前記第2表示画像との相対位置を変更する
    請求項4に記載のウェアラブル装置。
  8. 前記制御部は、前記回転身体動作を検出すると、当該回転身体動作における回転角度を検出し、前記第1の処理として、前記回転角度に応じて、複数の前記表示画像の相対位置を変更する
    請求項4に記載のウェアラブル装置。
  9. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    利用者の眼前に表示画像を表示する表示部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記表示画像に関する第1の処理を実行する制御部と、を備え、
    前記制御部は、
    前記回転身体動作を検出すると、当該回転身体動作における回転角度を検出し、前記第1の処理として、前記表示画像に関連する少なくとも一つの他の画像を表示し、
    前記回転角度に応じて、
    前記他の画像に含まれる情報量、又は
    前記他の画像の大きさ、又は、
    前記他の画像の数、を変更する、頭部に装着可能な
    ウェアラブル装置。
  10. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    利用者の眼前に表示画像を表示する表示部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記表示画像に関する第1の処理を実行する制御部と、を備え、
    前記制御部は、
    前記回転身体動作を検出すると、該回転身体動作が前記上肢の位置の所定長さ以上の移動を含む第1回転身体動作か、前記上肢の位置の所定長さ以上の移動を含まない第2回転身体動作か、を判定し、
    前記第1回転身体動作に基づく前記第1の処理と前記第2回転身体動作に基づく前記第1の処理との間で、制御内容を異ならせる、頭部に装着可能な
    ウェアラブル装置。
  11. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    利用者の眼前に表示画像を表示する表示部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、前記表示画像に関する第1の処理を実行する制御部と、を備え、
    前記制御部は、
    ウェアラブル装置の前方に他の表示機器が在るか否かを判定し、
    ウェアラブル装置の前方に他の表示機器が在る場合に、前記回転身体動作を検出すると、前記第1の処理として、前記表示画像を非表示にする、頭部に装着可能な
    ウェアラブル装置。
  12. 現実の空間に在る利用者の上肢を検出可能な検出部と、
    他の電子機器と通信する通信部と、
    前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備え、
    前記制御部は、
    ウェアラブル装置の前方に他の表示機器が在るか否かを判定し、
    ウェアラブル装置の前方に前記他の表示機器が在る場合に、前記回転身体動作を検出すると、前記所定の処理として、前記他の電子機器との通信によるデータ転送処理を含む第2の処理を実行する、頭部に装着可能な
    ウェアラブル装置。
  13. 現実の空間に在る利用者の上肢を検出可能な検出部と、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能なウェアラブル装置によって実行される制御方法であって、
    前記制御部は、前記回転身体動作として、前記腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて前記所定の処理を実行し、
    前記所定の処理の実行中に、前記回内動作と前記回外動作の内の他方を伴う身体動作を検出したことに基づいて、前記所定の処理を終了する
    制御方法。
  14. 現実の空間に在る利用者の上肢を検出可能な検出部と、前記検出部の検出結果から、前記上肢における腕の回転を伴う回転身体動作を検出したことに基づいて、所定の処理を実行する制御部と、を備える、頭部に装着可能なウェアラブル装置において、
    前記回転身体動作として、前記腕の回内動作と回外動作の内の一方を伴う身体動作を検出したことに基づいて前記制御部に前記所定の処理を実行させ、
    前記所定の処理の実行中に、前記回内動作と前記回外動作の内の他方を伴う身体動作を検出したことに基づいて、前記制御部に前記所定の処理を終了させる
    制御プログラム。
JP2017530889A 2015-07-29 2016-07-26 ウェアラブル装置、制御方法及び制御プログラム Active JP6510648B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015149242 2015-07-29
JP2015149242 2015-07-29
PCT/JP2016/071936 WO2017018428A1 (ja) 2015-07-29 2016-07-26 ウェアラブル装置、制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2017018428A1 JPWO2017018428A1 (ja) 2018-03-29
JP6510648B2 true JP6510648B2 (ja) 2019-05-08

Family

ID=57884709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017530889A Active JP6510648B2 (ja) 2015-07-29 2016-07-26 ウェアラブル装置、制御方法及び制御プログラム

Country Status (3)

Country Link
US (1) US20180217680A1 (ja)
JP (1) JP6510648B2 (ja)
WO (1) WO2017018428A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10341648B1 (en) * 2017-09-20 2019-07-02 Amazon Technologies, Inc. Automated detection of problem indicators in video of display output
US10521011B2 (en) * 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US10782651B2 (en) * 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US11520409B2 (en) * 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US11531392B2 (en) 2019-12-02 2022-12-20 Finchxr Ltd. Tracking upper arm movements using sensor modules attached to the hand and forearm
US12032736B2 (en) * 2022-02-23 2024-07-09 International Business Machines Corporation Gaze based text manipulation
US20240070995A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Wrist rotation manipulation of virtual objects

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1932141A4 (en) * 2005-09-13 2009-08-19 Spacetime3D Inc SYSTEM AND METHOD FOR FORMING A THREE-DIMENSIONAL USER GRAPHIC INTERFACE
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US9507411B2 (en) * 2009-09-22 2016-11-29 Facebook, Inc. Hand tracker for device with display
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
WO2014127293A2 (en) * 2013-02-15 2014-08-21 Quick Eye Technologies Inc. An organizer for data that is subject to multiple criteria
US20160109957A1 (en) * 2013-05-09 2016-04-21 Sony Computer Entertainment Inc. Information processing apparatus and application execution method

Also Published As

Publication number Publication date
WO2017018428A1 (ja) 2017-02-02
JPWO2017018428A1 (ja) 2018-03-29
US20180217680A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6510648B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP6400197B2 (ja) ウェアラブル装置
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
JP6595597B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
CN104793842B (zh) 图形用户界面系统、显示处理装置及输入处理装置
US10630887B2 (en) Wearable device for changing focal point of camera and method thereof
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JPWO2016051431A1 (ja) 入出力装置、入出力プログラム、および入出力方法
JP6999822B2 (ja) 端末装置および端末装置の制御方法
JP2017111537A (ja) ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム
KR20180097031A (ko) 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
CN117762243A (zh) 连续手势的运动映射

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190404

R150 Certificate of patent or registration of utility model

Ref document number: 6510648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150