JP6092173B2 - 電子装置とその操作方法 - Google Patents
電子装置とその操作方法 Download PDFInfo
- Publication number
- JP6092173B2 JP6092173B2 JP2014213572A JP2014213572A JP6092173B2 JP 6092173 B2 JP6092173 B2 JP 6092173B2 JP 2014213572 A JP2014213572 A JP 2014213572A JP 2014213572 A JP2014213572 A JP 2014213572A JP 6092173 B2 JP6092173 B2 JP 6092173B2
- Authority
- JP
- Japan
- Prior art keywords
- eye movement
- interface
- user
- pupil
- bright spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 230000004424 eye movement Effects 0.000 claims description 105
- 210000001747 pupil Anatomy 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 45
- 210000001508 eye Anatomy 0.000 claims description 24
- 230000001939 inductive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 210000005252 bulbus oculi Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 201000006938 muscular dystrophy Diseases 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Input From Keyboards Or The Like (AREA)
Description
110:像取得ユニット
120:表示ユニット
130:処理ユニット
140:記憶ユニット
141:スキャンモジュール
143:インターフェース切替モジュール
145:眼球運動検出モジュール
300:グラフィカルインターフェース
410:グループインターフェース
420:グループインターフェース
430:グループインターフェース
510:埋込式制御ユニット
520:入力ユニット
530:誘導校正モジュール
700:範囲
Claims (14)
- 複数の操作エリアを有するグラフィカルインターフェースを表示ユニットに表示するステップと、
スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示とし、前記複数の操作エリアの中の一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すステップと、
前記スキャンモードにおいてトリガー信号を受信する時、スキャンプロセスを一時停止させ、選定エリアに対応するグループインターフェースを表示ユニットに表示し、その中の前記選定エリアは前記トリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとし、且つ、前記グループインターフェースは前記グラフィカルインターフェースの上層に表示され、前記グループインターフェースと前記グラフィカルインターフェースの両者のサイズは同じ、もしくは前記グループインターフェースのサイズは前記グラフィカルインターフェースのサイズより小さい、ステップと、
眼球運動検出モジュールによって使用者の前記グループインターフェースにおける眼球運動を検出するステップと、
前記眼球運動に基づいて前記グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行するステップであり、前記グラフィカルインターフェースが表示される前記複数の操作エリアの数は前記グループインターフェースが表示される前記複数の機能オプションの数より多い、ステップと、
を含むことを特徴とする電子装置の操作方法。 - 前記スキャンモードにおいて前記トリガー信号を受信する時、前記眼球運動検出モジュールを駆動して操作を実行することを特徴とする請求項1に記載の電子装置の操作方法。
- 前記眼球運動検出モジュールによって前記使用者の前記グループインターフェースにおける前記眼球運動を検出するステップは、
像取得ユニットにより前記使用者のイメージシーケンスを取得し、前記イメージシーケンスの分析により前記眼球運動検出モジュールに前記使用者の前記眼球運動を追跡させるステップをさらに含むことを特徴とする請求項1又は2に記載の電子装置の操作方法。 - 前記イメージシーケンスの分析により前記使用者の前記眼球運動を追跡させるステップは、前記イメージシーケンスにおいて前記使用者の瞳孔の位置と発光ユニットの放射する光が前記使用者の目を照らして形成される反射点である輝点の位置を検出するステップと、
前記瞳孔の位置と前記輝点の位置の間の水平距離が誤差範囲内である時、前記眼球運動が前方を直視していると判定し、
前記瞳孔の位置と前記輝点の位置の間の前記水平距離が前記誤差範囲を超え、かつ前記瞳孔の位置が前記輝点の位置の左方に位置する時、前記眼球運動が左方への移動であると判定し、
前記瞳孔の位置と前記輝点の位置の間の前記水平距離が前記誤差範囲を超え、かつ前記瞳孔の位置が前記輝点の位置の右方に位置する時、前記眼球運動が右方への移動であると判定し、
前記瞳孔の位置と前記輝点の位置の垂直距離に基づいて前記眼球運動が上方へ移動であるか下方への移動であるかを判断するステップと、
前記瞳孔の位置と前記輝点の位置の両者の位置対応関係によって、現在の前記眼球運動の注視点を判断するステップとをさらに含むことを特徴とする請求項3に記載の電子装置の操作方法。 - 前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップの前に、
前記使用者が見る表示ユニットの指定位置に導くことにより、前記眼球運動検出モジュールの基準情報を校正するステップをさらに含むことを特徴とする請求項1〜4のいずれか一項に記載の電子装置の操作方法。 - 前記スキャンモードにおいて、
前記眼球運動検出モジュールによって前記使用者の前記眼球運動を検出するステップと、
前記眼球運動に基づいて前記トリガー信号を受信するか判断するステップをさらに含むことを特徴とする請求項1〜5のいずれか一項に記載の電子装置の操作方法。 - 前記トリガー信号は入力ユニットから発生することを特徴とする請求項1〜6のいずれか一項に記載の電子装置の操作方法。
- 電子装置の使用者に向けて配置される像取得ユニットと、
複数の操作エリアを有するグラフィカルインターフェースを表示する表示ユニットと、
前記表示ユニットと前記像取得ユニットに接続され、複数のモジュールを実行する処理ユニットとを含み、
前記複数のモジュールは
スキャンモードにおいて、スキャン順序に基づいて前記複数の操作エリアを逐一ハイライト表示にし、且つ前記複数の操作エリアの一つがハイライト表示である時、その前の操作エリアのハイライト表示を取り消すスキャンモジュールと、
前記スキャンモードにおいてトリガー信号を受信する時、スキャンプロセスを一時停止させ、選定エリアに対応するグループインターフェースを前記表示ユニットに表示し、その中の前記選定エリアは前記トリガー信号を受信する時、前記複数の操作エリアのハイライト表示のエリアとするインターフェース切替モジュールと、
像取得ユニットを駆動して使用者のイメージシーケンスを取得し、前記イメージシーケンスの分析により前記使用者の前記グループインターフェースにおける眼球運動を検出し、且つ前記眼球運動に基づいて、前記グループインターフェースの複数の機能オプションから一つの機能オプションを選び、操作を実行する眼球運動検出モジュールとを有し、
前記グラフィカルインターフェースが表示される前記複数の操作エリアの数は前記グループインターフェースが表示される前記複数の機能オプションの数より多く、
且つ、前記グループインターフェースは前記グラフィカルインターフェースの上層に表示され、前記グループインターフェースと前記グラフィカルインターフェースの両者のサイズは同じ、もしくは前記グループインターフェースのサイズは前記グラフィカルインターフェースのサイズより小さい、
ことを特徴とする電子装置。 - 前記スキャンモジュールは、前記スキャンモードにおいて前記トリガー信号を受信する時、前記眼球運動検出モジュールを駆動して操作を実行すること、を特徴とする請求項8に記載の電子装置。
- 前記眼球運動検出モジュールは、
前記イメージシーケンスにおいて前記使用者の瞳孔の位置と発光ユニットの放射する光が前記使用者の目を照らして形成される反射点である輝点の位置を検出し、
前記瞳孔の位置と前記輝点の位置の間の水平距離が誤差範囲内である時、前記眼球運動が前方を直視していると判定し、
前記瞳孔の位置と前記輝点の位置の間の前記水平距離が前記誤差範囲を超え、かつ前記瞳孔の位置が前記輝点の位置の左方に位置する時、前記眼球運動が左方への移動であると判定し、
前記瞳孔の位置と前記輝点の位置の間の前記水平距離が前記誤差範囲を超え、かつ前記瞳孔の位置が前記輝点の位置の右方に位置する時、前記眼球運動が右方への移動であると判定し、
前記瞳孔の位置と前記輝点の位置の垂直距離に基づいて前記眼球運動が上方へ移動であるか下方への移動であるかを判断し、
さらに前記瞳孔の位置と前記輝点の位置の両者の位置対応関係によって、現在の前記眼球運動の注視点を判断することを特徴とする請求項8又は9に記載の電子装置。 - 前記複数のモジュールは、前記使用者が見る前記表示ユニットの指定位置に導くことにより、前記眼球運動検出モジュールの基準情報を校正する誘導校正モジュールをさらに含むことを特徴とする請求項8〜10のいずれか一項に記載の電子装置。
- 前記スキャンモジュールは前記スキャンモードにおいて前記眼球運動検出モジュールを駆動し、前記眼球運動検出モジュールに前記使用者の前記眼球運動を検出させ、さらに前記処理ユニットは前記眼球運動に基づいて前記トリガー信号を受信したことを判断する時、メッセージを前記スキャンモジュール及び前記インターフェース切替モジュールに伝送し、前記スキャンモジュールにスキャンプロセスを一時停止させ、前記インターフェース切替モジュールにより前記選定エリアに対応する前記グループインターフェースを前記表示ユニットに表示させることを特徴とする請求項8〜11のいずれか一項に記載の電子装置。
- 入力ユニットと、
前記処理ユニット及び前記入力ユニットに接続され、前記入力ユニットから前記トリガー信号を受信するかを判断し、さらに、前記処理ユニットは前記トリガー信号を受信する時、メッセージを前記スキャンモジュール及び前記インターフェース切替モジュールに伝送し、前記スキャンモジュールにスキャンプロセスを一時停止させ、前記インターフェース切替モジュールにより前記選定エリアに対応する前記グループインターフェースを前記表示ユニットに表示させる埋込式制御ユニットをさらに含むことを特徴とする請求項8〜12のいずれか一項に記載の電子装置。 - 前記処理ユニットに接続され、前記モジュール,グラフィカルインターフェースのデータ及び複数のグループインターフェースのデータを保存する記憶ユニットをさらに含み、
前記グラフィカルインターフェースのデータは前記グラフィカルインターフェースのサイズ、表示される前記複数の操作エリアの各サイズ及び各前記複数の操作エリアに対応する前記複数のグループインターフェースのデータの中の一つを定義し、
各前記複数のグループインターフェースのデータは対応する前記複数のグループインターフェースのサイズ、表示される前記複数の機能オプションのサイズ及び各前記複数の機能オプションに対応する機能を定義することを特徴とする請求項8〜13のいずれか一項に記載の電子装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103113043A TW201539251A (zh) | 2014-04-09 | 2014-04-09 | 電子裝置及其操作方法 |
TW103113043 | 2014-04-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015201161A JP2015201161A (ja) | 2015-11-12 |
JP6092173B2 true JP6092173B2 (ja) | 2017-03-08 |
Family
ID=54552328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014213572A Active JP6092173B2 (ja) | 2014-04-09 | 2014-10-20 | 電子装置とその操作方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6092173B2 (ja) |
TW (1) | TW201539251A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018074055A1 (ja) * | 2016-10-19 | 2018-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
TWI725351B (zh) * | 2018-11-02 | 2021-04-21 | 宏正自動科技股份有限公司 | 電子裝置及輸出畫面決定方法 |
CN112347812B (zh) * | 2019-08-07 | 2024-04-19 | 群创光电股份有限公司 | 通过电子装置以侦测指纹的方法 |
CN112540084A (zh) * | 2019-09-20 | 2021-03-23 | 联策科技股份有限公司 | 外观检查系统与检查方法 |
CN116069165B (zh) * | 2023-02-14 | 2024-02-09 | 中国民用航空总局第二研究所 | 一种远程塔台光学系统的目标界面确定方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05241063A (ja) * | 1992-02-28 | 1993-09-21 | Nikon Corp | 視線位置検出装置付カメラ |
JPH09190325A (ja) * | 1996-01-09 | 1997-07-22 | Canon Inc | 表示装置 |
JPH10301743A (ja) * | 1997-04-23 | 1998-11-13 | Nec Corp | 公共設備装置及び公共設備装置を操作するユーザ端末並びに公共設備装置の操作装置 |
JPH11259226A (ja) * | 1998-03-13 | 1999-09-24 | Canon Inc | 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体 |
JP2003067804A (ja) * | 2001-08-29 | 2003-03-07 | Victor Co Of Japan Ltd | 電子投票入力システム及び電子投票入力システムで用いられる電子投票入力装置 |
SE529156C2 (sv) * | 2005-10-28 | 2007-05-15 | Tobii Technology Ab | Ögonföljare med visuell återkoppling |
JP4649319B2 (ja) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
JP4757091B2 (ja) * | 2006-04-28 | 2011-08-24 | 本田技研工業株式会社 | 車両搭載機器の操作装置 |
JP2009187443A (ja) * | 2008-02-08 | 2009-08-20 | Dainippon Printing Co Ltd | 現金自動預け払い機、および、現金自動預け払い機における暗証番号の取得方法 |
JP4956591B2 (ja) * | 2009-08-19 | 2012-06-20 | 株式会社コナミデジタルエンタテインメント | 選択装置、選択方法、ならびに、プログラム |
JP2011159004A (ja) * | 2010-01-29 | 2011-08-18 | Kazuyuki Takehara | 意思伝達装置 |
JP5664064B2 (ja) * | 2010-09-22 | 2015-02-04 | 富士通株式会社 | 視線検出装置および補正係数算出プログラム |
JP5719216B2 (ja) * | 2011-04-05 | 2015-05-13 | 日本放送協会 | 視線測定装置および視線測定プログラム |
JP2013143012A (ja) * | 2012-01-11 | 2013-07-22 | Tokai Rika Co Ltd | 視線入力装置 |
-
2014
- 2014-04-09 TW TW103113043A patent/TW201539251A/zh unknown
- 2014-10-20 JP JP2014213572A patent/JP6092173B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
TW201539251A (zh) | 2015-10-16 |
JP2015201161A (ja) | 2015-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7191714B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
EP3227760B1 (en) | Pointer projection for natural user input | |
US10429941B2 (en) | Control device of head mounted display, operation method and operation program thereof, and image display system | |
JP6056323B2 (ja) | 視線検出装置、視線検出用コンピュータプログラム | |
US10456072B2 (en) | Image interpretation support apparatus and method | |
JP2022535316A (ja) | スライドメニューを有する人工現実システム | |
JP6092173B2 (ja) | 電子装置とその操作方法 | |
JP2988178B2 (ja) | 視線方向計測装置 | |
US20150238087A1 (en) | Biological information measurement device and input device utilizing same | |
US20210022606A1 (en) | Image processing method, program, image processing device, and ophthalmic system | |
US20210153794A1 (en) | Evaluation apparatus, evaluation method, and evaluation program | |
US20210290130A1 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
WO2016208261A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10928899B2 (en) | Handling multiple eye-gaze tracking (EGT) sources in virtual, augmented, or mixed reality (XR) applications | |
US20200225741A1 (en) | Systems and methods for eye-gaze tracking (egt) handoff | |
KR101396488B1 (ko) | 신호 입력 장치 및 신호 입력 방법 | |
JP2020106772A (ja) | 表示装置、表示方法、およびプログラム | |
JP2016126687A (ja) | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム | |
US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
JPH09204287A (ja) | 処理選択方法及び装置 | |
JP2016035654A (ja) | 視線検出装置および視線入力システム | |
US20210290133A1 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
US12064180B2 (en) | Display apparatus, display method, and display program | |
JP7043889B2 (ja) | 視機能検出装置、視機能検出方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6092173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |