JP7560833B2 - Eye-gaze input device and program for eye-gaze input device - Google Patents
Eye-gaze input device and program for eye-gaze input device Download PDFInfo
- Publication number
- JP7560833B2 JP7560833B2 JP2021040703A JP2021040703A JP7560833B2 JP 7560833 B2 JP7560833 B2 JP 7560833B2 JP 2021040703 A JP2021040703 A JP 2021040703A JP 2021040703 A JP2021040703 A JP 2021040703A JP 7560833 B2 JP7560833 B2 JP 7560833B2
- Authority
- JP
- Japan
- Prior art keywords
- gaze
- character
- input
- time
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010029864 nystagmus Diseases 0.000 description 3
- 238000000034 method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、画面に表示された文字をユーザの視線により選択して入力できるようにした視線入力装置及び当該視線入力装置用のプログラムに関する。 The present invention relates to an eye-gaze input device that allows a user to select and input characters displayed on a screen by using their line of sight, and a program for the eye-gaze input device.
近年、重度の肢体麻痺等により手足や口を満足に動かすことができない患者の意思伝達を支援するツールとして、画面上に仮想的な文字盤上を表示し、当該文字盤上の文字を視線により選択して入力できるようにした視線入力装置が開発されている。 In recent years, eye-gaze input devices have been developed as tools to help patients who are unable to move their hands, feet, or mouths adequately due to severe limb paralysis communicate. These devices display a virtual dial on a screen and allow the patient to select and input characters on the dial by using their gaze.
このような視線入力装置として、例えば特許文献1には、複数の文字が配列された仮想的な文字盤が画面上に表示され、視線により所望の文字を選択して入力できるようにしたものが開示されている。この視線入力装置は、カメラ等を用いて画面上のユーザの注視点の位置を検出し、注視点が文字上に留まっている時間(注視時間)をカウントするように構成されている。そしてこの注視時間が所定の閾値に達すると、その文字の入力が決定され、画面上の別ウィンドウに当該文字が表示される。ユーザは、視線により文字を次々入力してメッセージを作成することで、自分の意思を他人に伝えることができる。 For example, Patent Document 1 discloses an example of such an eye-gaze input device in which a virtual letter board with an array of multiple letters is displayed on a screen, allowing the user to select and input a desired letter by gaze. This eye-gaze input device is configured to detect the position of the user's gaze point on the screen using a camera or the like, and to count the time that the gaze point remains on a letter (gaze time). When this gaze time reaches a specified threshold, the input of that letter is decided, and the letter is displayed in a separate window on the screen. The user can communicate his or her intentions to others by creating a message by inputting letters one after another with his or her gaze.
ところで従来の視線入力装置では、注視時間を計測中に注視点が文字から外れると、当該文字を選択しないものと判断し、それまで計測していた注視時間をリセットする(ゼロにする)ように構成されている。そのため、例えば眼球の回転角に対する注視点の動きが大きく、注視点が定まりにくい画面の端の方にある文字を選択する場合には、注視点が文字から外れることで注視時間が頻繁にリセットされてしまい、文字の入力の決定をなかなか行えないという問題がある。またユーザに重度の眼振の症状がある場合にも、入力したい文字上で注視点が定まらず、文字の入力をなかなか決定できないという問題がある。 However, conventional eye-gaze input devices are configured to determine that the character will not be selected if the gaze point moves away from the character while measuring the gaze time, and reset (set to zero) the gaze time measured up to that point. For this reason, for example, when selecting a character at the edge of the screen where the gaze point is difficult to settle due to the large movement of the gaze point relative to the rotation angle of the eyeball, the gaze time is frequently reset as the gaze point moves away from the character, making it difficult to decide to input the character. In addition, if the user has severe nystagmus symptoms, the gaze point cannot be fixed on the character they want to input, making it difficult to decide to input the character.
本発明はこのような問題に鑑みてなされたものであり、ユーザの視線が定まりにくくても文字を容易に入力することができる視線入力装置を提供することを目的とする。 The present invention was made in consideration of these problems, and aims to provide an eye-gaze input device that allows a user to easily input characters even when their line of sight is unsteady.
すなわち本発明の一態様に係る視線入力装置は、画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにしたものであって、前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部とを備え、前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した1つの前記文字の入力を決定することを特徴とする。 That is, the eye-gaze input device according to one aspect of the present invention allows a user to select and input a number of characters arranged on a virtual character board displayed on a screen by using his/her eye gaze, and is equipped with a gaze point estimation unit that estimates the position of the user's gaze point on the screen, and an input determination unit that determines the input of the character based on the estimated position of the gaze point, and is characterized in that the input determination unit measures and retains the gaze time, which is the time the gaze point stays on each of the multiple characters while the gaze point is wandering between the multiple characters, and determines the input of the single character for which the gaze time reaches a threshold value earliest.
このようなものであれば、複数の文字間を注視点がふらついている間、各文字に対して注視時間を計測して保持し、注視時間が最も早く閾値に達した文字を入力決定するようにしているので、注視点の位置が1つの文字上に定まらなくても、ユーザが意識的に視線を向けている1つの文字の注視時間がどんどん溜まっていき、この文字の入力を決定することができる。これにより、画面の端の方の文字を選択する場合や、ユーザに重度の眼振の症状がある場合等、入力したい文字上で注視点が定まりにくい状況であっても、ユーザは容易に文字を入力することができる。 In this way, while the gaze point is fluctuating between multiple characters, the gaze time for each character is measured and held, and the character for which the gaze time reaches a threshold value the earliest is decided to be input. Therefore, even if the gaze point is not fixed on a single character, the gaze time for a single character that the user is consciously directing his or her gaze at accumulates, and the input of this character can be decided. This allows the user to easily input characters even in situations where it is difficult to fix the gaze point on the character to be input, such as when selecting a character on the edge of the screen or when the user has severe nystagmus.
前記視線入力装置では、前記入力決定部が、前記注視点が前記文字上に滞在している間、前記注視時間をカウントアップし、前記注視点が前記文字から外れている間、前記注視時間をカウントダウンするように構成されていることが好ましい。
このようにすれば、注視点が文字から外れている間は注視時間をカウントダウンするようにしているので、ユーザが意識的に視線を向けている文字に対する注視時間と、意図せず視線が向いてしまった文字に対する注視時間との差を大きくすることができる。これにより、意図しない文字が誤入力されてしまうことを回避しやすい。
In the eye-gaze input device, it is preferable that the input determination unit is configured to count up the gaze time while the gaze point remains on the character, and to count down the gaze time while the gaze point is off the character.
In this way, the gaze time is counted down while the gaze point is off the character, so the difference between the gaze time on the character that the user is consciously directing his/her gaze and the gaze time on the character that the user unintentionally directs his/her gaze can be increased, which makes it easier to avoid erroneous input of unintended characters.
また、ユーザが短い時間で所望の文字の入力を決定できるようにするには、前記注視時間のカウントダウンの速度が前記注視時間のカウントアップの速度よりも低くすることが好ましい。 In addition, to allow the user to quickly determine the input of the desired character, it is preferable that the rate at which the gaze time is counted down is slower than the rate at which the gaze time is counted up.
また文字の入力決定後に、他の文字を意図せず入力決定してしまうことを防止するには、前記入力決定部が、前記文字の入力を決定すると、前記複数の文字のそれぞれに対して計測した前記注視時間をリセットすることが好ましい。 In addition, in order to prevent unintentional input of another character after input of a character has been decided, it is preferable that the input decision unit resets the gaze time measured for each of the plurality of characters when it decides to input the character.
また本発明の効果が顕著に奏される態様としては、前記文字が、前記文字盤内に互いに隣接するように設定された複数の区画内に1つずつ表示されており、前記入力決定部は、前記注視点が前記区画内に位置している場合に当該区画に表示された前記文字に対する注視時間を計測するものが挙げられる。 Another example of an embodiment in which the effects of the present invention are most pronounced is one in which the characters are displayed one by one in a plurality of sections that are set adjacent to each other on the dial, and the input determination unit measures the gaze time on the character displayed in a section when the gaze point is located within the section.
注視時間の計測を開始した前記複数の文字のそれぞれの上に、入力決定までに必要な残りの注視時間を示すプログレスインジケータを表示することが好ましい。
このようにすれば、ユーザは入力したい文字上により集中して視線を向けやすくなる。
It is preferable that a progress indicator indicating the remaining gaze time required until input is confirmed is displayed above each of the plurality of characters for which measurement of the gaze time has begun.
This allows the user to focus more easily on the characters they wish to input.
また本発明の効果が顕著に奏される態様としては、前記文字盤は前記画面内に全体が収まるように表示されているものが挙げられる。
すなわち、文字盤の全体を画面内に表示する場合には個々の文字のサイズを小さくせざるを得ないので、ユーザがこれを使用すると入力したい文字から注視点が外れやすくなる。しかしながらこの場合でも、本発明の視線入力装置であれば、最も意識的に視線を向けている文字の注視時間が最も早く貯まっていくので、これを入力決定できる。
In addition, an embodiment in which the effect of the present invention is particularly pronounced is one in which the dial is displayed so that the entire dial fits within the screen.
That is, when the entire dial is displayed on the screen, the size of each character must be made small, and when the user uses this, the gaze point tends to move away from the character he or she wants to input. However, even in this case, with the eye-gaze input device of the present invention, the gaze time for the character that the user is most consciously directing his or her gaze to accumulates the fastest, and the user can decide to input this character.
また本発明の別の態様の視線入力装置は、画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにしたものであって、前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、推定された前記注視点の位置から前記画面上に設定した所定の選択位置に向けて前記文字盤を移動させる文字盤表示制御部と、前記選択位置にある前記文字上に前記注視点が滞在している時間である注視時間を計測し、当該注視時間が閾値に達すると、前記選択位置にある1つの文字の入力を決定する入力決定部とを備え、前記入力決定部が、前記注視時間の計測中に前記注視点が前記文字から外れた場合に、計測した前記注視時間をリセットすることなく保持することを特徴とする。
このようなものであれば、視線に応じて文字盤を移動させるタイプの視線入力装置において、注視時間の計測中に選択位置上の文字から注視点が外れても、計測した注視時間をリセットすることなく保持するようにしているので、入力したい文字上で注視点が定まりにくい状況であっても、ユーザは容易に文字を入力することができる。
Another aspect of the present invention is a gaze input device that allows a user to select and input multiple characters arranged on a virtual dial displayed on a screen by using their gaze, and includes a gaze point estimation unit that estimates the position of the user's gaze point on the screen, a dial display control unit that moves the dial from the estimated position of the gaze point toward a predetermined selection position set on the screen, and an input determination unit that measures a gaze time, which is the time the gaze point remains on the character at the selection position, and when the gaze time reaches a threshold, determines to input one character at the selection position, and is characterized in that if the gaze point moves away from the character while measuring the gaze time, the input determination unit retains the measured gaze time without resetting it.
In such a type of eye-gaze input device that moves a dial in response to the gaze, even if the gaze point moves away from the character on the selected position while measuring the gaze time, the measured gaze time is maintained without being reset, so that the user can easily input characters even in situations where it is difficult to fix the gaze point on the character to be input.
前記文字盤表示制御部が、前記注視時間の計測中に前記注視点が他の前記文字上に移動した場合に、前記注視点と前記選択位置との間の距離が所定値以下であれば、前記文字盤を移動させることなく留めておくことが好ましい。
このようにすれば、選択位置にある文字から注視点が外れても、ある程度の範囲内であれば文字盤を移動させないようにしているので、注視時間を計測中の文字に注視点を戻しやすい。そのため、注視点が定まりにくい状況でもユーザはより容易に文字を入力することができる。
When the gaze point moves onto another character while measuring the gaze time, it is preferable that the dial display control unit keeps the dial in place without moving if the distance between the gaze point and the selection position is less than a predetermined value.
In this way, even if the gaze point moves away from the character at the selected position, the dial will not move within a certain range, making it easier to return the gaze point to the character for which the gaze time is being measured. Therefore, even in situations where it is difficult to determine the gaze point, the user can input characters more easily.
また前記注視時間の計測中に前記注視点と前記選択位置との間の距離が前記所定値を超えた場合に、計測した前記注視時間を保持した状態で前記文字盤を移動させることが好ましい。
このようにすれば、選択位置にある文字から注視点が意図せず大きく外れてしまい、文字盤が移動した場合であっても、計測中の注視時間をリセットすることなく保持しているので、ユーザの注視点が注視時間を保持している文字に戻ると、注視時間の計測を途中から再開できる。そのため、ユーザはより容易に文字を入力することができる。
It is also preferable that, when the distance between the gaze point and the selected position exceeds the predetermined value during measurement of the gaze time, the dial is moved while the measured gaze time is maintained.
In this way, even if the gaze point is unintentionally moved far away from the character at the selected position and the dial moves, the gaze time being measured is held without being reset, so that when the user's gaze point returns to the character holding the gaze time, the measurement of the gaze time can be resumed from where it left off. This makes it easier for the user to input characters.
また注視時間を計測中の文字とは異なる他の文字が前記選択位置にある状態で、当該他の文字上に前記注視点が所定時間以上滞在する場合に、計測中の前記注視時間をリセットし、当該他の文字に対する注視時間の計測を開始することが好ましい。
このようにすれば、他の文字を意識して注視しない限り、計測中の注視時間がリセットされないようにしているので、注視点が定まりにくい状況でもユーザはより容易に文字を入力することができる。
In addition, when a character other than the character for which the gaze time is being measured is located at the selected position and the gaze point remains on the other character for a predetermined period of time or more, it is preferable to reset the gaze time being measured and start measuring the gaze time on the other character.
In this way, the gaze time being measured is not reset unless the user consciously gazes at another character, making it easier for the user to input characters even in situations where it is difficult to determine the gaze point.
このようにした本発明によれば、ユーザの視線が定まりにくくても文字を容易に入力することができる視線入力装置を提供することができる。 The present invention provides an eye-gaze input device that allows users to easily input characters even when their line of sight is not fixed.
本発明の視線入力装置の実施態様について、以下図面を参照して説明する。 The following describes an embodiment of the eye gaze input device of the present invention with reference to the drawings.
<第1実施形態>
第1実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援するためのものであり、パソコン等の画面31に表示された仮想的な文字盤(キーボードともいう)B上の文字をユーザの視線により選択して入力できるようにしたものである。
First Embodiment
The eye-gaze input device 100 of the first embodiment is intended to assist people who have difficulty moving their limbs or mouths in communicating their intentions, and enables the user to select and input characters on a virtual character board (also called a keyboard) B displayed on a screen 31 of a personal computer or the like, by using their gaze.
具体的にこの視線入力装置100は、図1に示すように、ユーザの視線を検出する視線検出手段1と、コンピュータ本体2及びディスプレイ3を一体的に有するノートパソコンCとを備えている。ディスプレイ3の画面31には、平仮名等の文字が複数並べて配置された仮想的な文字盤(以下、単に文字盤と記載する)Bと、入力された文字が表示されるメッセージパネルMとが表示されている。ユーザが文字盤B上の入力したい文字を注視し続けることで文字の入力を決定し、メッセージパネルM上に表示することができる。このようにして複数の文字を入力することで、メッセージパネルM上にメッセージを表示させ、自らの意思を伝達することができる。 Specifically, as shown in FIG. 1, this gaze input device 100 includes gaze detection means 1 that detects the user's gaze, and a notebook computer C that has an integrated computer main body 2 and display 3. A virtual character board (hereinafter simply referred to as the character board) B on which multiple characters such as hiragana are arranged side by side, and a message panel M on which input characters are displayed are displayed on the screen 31 of the display 3. By continuing to gaze at the character that the user wishes to input on the character board B, the user can decide to input the character, which will then be displayed on the message panel M. By inputting multiple characters in this manner, a message can be displayed on the message panel M, allowing the user to communicate his or her intentions.
視線検出手段1は、ディスプレイ3の画面31に向けられたユーザの視線の方向等を検出し、その検出結果を視線データとして出力するものである。具体的にこの視線検出手段1は、角膜反射法を利用したものであり、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線の方向等を検出し、視線データとして出力する視線データ出力部(不図示)とを備えている。なお、本実施形態の視線検出手段1は所謂取付けタイプのものであり、前記光源及びカメラがユーザの顔面を向くようにしてディスプレイ3の下部に取付けられている。 The gaze detection means 1 detects the direction of the user's gaze directed toward the screen 31 of the display 3, and outputs the detection result as gaze data. Specifically, the gaze detection means 1 uses the corneal reflex method, and includes a light source (not shown) that irradiates the user's eyeball with near-infrared light, a camera (not shown) that captures the user's eyeball, and a gaze data output unit (not shown) that processes the image data output from the camera to detect the gaze direction, and outputs it as gaze data. Note that the gaze detection means 1 in this embodiment is a so-called attached type, and is attached to the bottom of the display 3 so that the light source and camera are facing the user's face.
コンピュータ本体2は、構造的には図2に示すように、CPU201、メモリ202、入出力インターフェース203等を備えている。このコンピュータ本体2は、前記メモリ202に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU201やその周辺機器が協働することにより、図3に示すように、注視点推定部21、文字データ格納部22、文字盤表示制御部23、入力決定部24、入力文字表示制御部25としての機能を少なくとも発揮するように構成されている。以下、各部について説明する。 Structurally, the computer main body 2 is equipped with a CPU 201, memory 202, input/output interface 203, etc., as shown in Figure 2. This computer main body 2 is configured to perform at least the functions of a gaze point estimation unit 21, a character data storage unit 22, a dial display control unit 23, an input determination unit 24, and an input character display control unit 25, as shown in Figure 3, by the CPU 201 and its peripheral devices working together based on various application software (hereinafter referred to as programs) stored in the memory 202. Each unit will be described below.
注視点推定部21は、視線検出手段1の検出結果に基づいて、画面31上におけるユーザの注視点の位置を推定するものである。具体的には、視線検出手段1から視線信号を受け付け、当該視線信号に基づいて画面31上におけるユーザの注視点Gの位置を推定する。そして推定した注視点Gの位置を示す注視点データを入力決定部24及び文字盤表示制御部23に出力する。なお本実施形態では、図1に示すように、推定した注視点Gの位置にはポインタを表示するようにしている。 The gaze point estimation unit 21 estimates the position of the user's gaze point on the screen 31 based on the detection result of the gaze detection means 1. Specifically, it receives a gaze signal from the gaze detection means 1, and estimates the position of the user's gaze point G on the screen 31 based on the gaze signal. Then, it outputs gaze point data indicating the estimated position of gaze point G to the input determination unit 24 and the dial display control unit 23. In this embodiment, a pointer is displayed at the position of the estimated gaze point G, as shown in FIG. 1.
文字データ格納部22は、前記メモリ202の所定領域に設定されたものであり、文字盤Bに表示する各種文字のコード等を示す文字データが格納されている。なお本実施形態で言う「文字」とは、例えば、平仮名、片仮名、漢字、英数字、ローマ字、記号、絵文字、顔文字等である。 The character data storage unit 22 is set in a predetermined area of the memory 202, and stores character data indicating the codes of various characters to be displayed on the dial B. Note that "characters" in this embodiment include, for example, hiragana, katakana, kanji, alphanumeric characters, roman letters, symbols, emoticons, emoticons, etc.
文字盤表示制御部23は、文字データ格納部22を参照して複数の文字が配列された文字盤Bを示す文字盤データを作成し、これを入力決定部24及びディスプレイ3に出力する。この文字盤データには、文字の表示態様及び画面上での表示位置に関する情報が含まれている。 The dial display control unit 23 creates dial data showing a dial B on which multiple characters are arranged by referring to the character data storage unit 22, and outputs this to the input determination unit 24 and the display 3. This dial data includes information on the display mode of the characters and their display positions on the screen.
図1に示すように、この文字盤表示制御部23は、画面31内の所定位置に文字盤Bの全体を固定して表示させる。この文字盤Bには、複数の文字(ここでは清音の平仮名文字)が縦横マトリクス状に等間隔に並ぶように配置されている。より具体的には、文字盤Bには、正方形状の文字パネル(特許請求の範囲の「区画」に相当する)Pが縦横マトリクス状に等間隔に複数表示されており、各文字パネルPのそれぞれに文字(平仮名文字)が1つずつ表示されている。ここでは互いに隣り合う文字パネルPが隙間なく並ぶように表示されている。そして各文字パネルPにおいて、各文字はその中心位置(重心位置)が各文字パネルPの中心位置と一致するように表示されている。本実施形態では各文字パネルPの外枠線は画面31上に表示されているが、非表示であってもよい。 As shown in FIG. 1, the dial display control unit 23 fixes and displays the entire dial B at a predetermined position within the screen 31. On this dial B, a plurality of characters (here, clear hiragana characters) are arranged in a matrix of equal intervals. More specifically, on the dial B, a plurality of square-shaped character panels (corresponding to "sections" in the claims) P are displayed in a matrix of equal intervals, and each character panel P displays one character (hiragana character). Here, adjacent character panels P are displayed side by side with no gaps. In each character panel P, each character is displayed so that its center position (center of gravity position) coincides with the center position of the character panel P. In this embodiment, the outer frame of each character panel P is displayed on the screen 31, but it may be hidden.
入力決定部24は、推定された注視点Gの位置に基づいて文字の入力を1文字ずつ決定し、これを入力文字データとして入力文字表示制御部25に出力するものである。具体的に入力決定部24は、注視点Gが文字上(より具体的には文字パネルP上)にくると、当該文字上に注視点Gが滞在している時間である注視時間をカウントアップするよう計測する。そして入力決定部24は、この計測した注視時間が所定の閾値(例えば1秒)に達すると、当該文字の入力を決定する。すなわち入力決定部24は、ユーザが注視し続けた文字の入力を決定するものである。 The input determination unit 24 determines the input of characters one by one based on the estimated position of the gaze point G, and outputs this as input character data to the input character display control unit 25. Specifically, when the gaze point G comes onto a character (more specifically, onto the character panel P), the input determination unit 24 counts up the gaze time, which is the time that the gaze point G stays on the character. Then, when the measured gaze time reaches a predetermined threshold value (e.g., 1 second), the input determination unit 24 determines the input of the character. In other words, the input determination unit 24 determines the input of the character that the user has been gazing at.
入力決定部24が注視時間を計測すると、当該計測中の文字上(具体的には文字パネルP上)には、入力決定までに必要な残りの注視時間(残注視時間ともいう)を示すプログレスインジケータIが表示される。このプログレスインジケータIは、残注視時間の長さに応じて、その態様が変化するものである。本実施形態のプログレスインジケータIは、図1に示すように注視時間が増えるにつれて時計回りにバーが伸びていくようにした、所謂プログレスサークルである。プログレスインジケータIの態様は、これに限らず、例えば、文字や文字パネルPの色や大きさを変化させる等、任意のものであってよい。 When the input determination unit 24 measures the gaze time, a progress indicator I is displayed on the character being measured (specifically, on the character panel P) indicating the remaining gaze time (also called the remaining gaze time) required until the input is determined. The form of this progress indicator I changes depending on the length of the remaining gaze time. In this embodiment, the progress indicator I is a so-called progress circle in which a bar extends clockwise as the gaze time increases, as shown in FIG. 1. The form of the progress indicator I is not limited to this, and may be any form, such as changing the color or size of the character or character panel P.
入力文字表示制御部25は、メッセージパネルMを画面31に表示させると共に、入力決定部24が選択した文字を、その入力決定順に並べた文字列としてメッセージパネルM内に表示させるものである。図1に示すように、メッセージパネルM内には、入力決定部24によって入力決定された文字列が横書きにより例えば中央揃えで表示されるようになっている。なお、表示される文字列は中央揃えに限らず、左揃えや右揃え等でもよい。また、入力決定した文字がメッセージパネルMの中央に表示されるようにしてもよい。メッセージパネルM内において、文字列は横方向に1列に表示されてよく、また選択された文字数が所定値以上になった場合には改行したり、文字の大きさを小さくして表示させてもよい。 The input character display control unit 25 displays the message panel M on the screen 31, and also displays the characters selected by the input determination unit 24 in the message panel M as a character string arranged in the order of their input determination. As shown in FIG. 1, the character string input and determined by the input determination unit 24 is displayed horizontally in the message panel M, for example, centered. Note that the displayed character string is not limited to centered, and may be left-justified or right-justified, etc. Furthermore, the input and determined character may be displayed in the center of the message panel M. In the message panel M, the character string may be displayed in a single horizontal line, and when the number of selected characters reaches or exceeds a predetermined value, a line break may be started or the character size may be reduced.
しかして第1実施形態の視線入力装置100では、ユーザの視線が不安定な状態でも容易に文字を入力できるようにすべく、入力決定部24が、注視点Gが複数の文字パネルP間をふらついている(あるいは移動している)間、当該複数の文字のそれぞれに対して注視時間を個別に計測して保持し、注視時間が最も早く閾値に達した1つの文字の入力を決定するように構成されている。すなわち入力決定部24は、注視点Gが文字パネルP内に入ってくる都度、当該文字に対する注視時間を加算する。そして、注視時間を計測している複数の文字のうち、1つの文字の注視時間の累計が閾値に達すると、当該文字の入力を決定する。 In the eye-gaze input device 100 of the first embodiment, in order to allow the user to easily input characters even when his/her eye gaze is unstable, the input determination unit 24 is configured to measure and hold the gaze time for each of the multiple characters while the gaze point G is fluctuating (or moving) between the multiple character panels P, and to determine the input of the one character whose gaze time reaches the threshold value earliest. That is, each time the gaze point G enters the character panel P, the input determination unit 24 adds the gaze time for that character. Then, when the cumulative total gaze time for one character among the multiple characters for which the gaze time is being measured reaches the threshold value, the input of that character is determined.
具体的にこの入力決定部24は、注視点Gが文字パネルP内に滞在している間、注視時間をカウントアップし、注視点Gが文字パネルPから外れている間、計測した注視時間をカウントダウンするように構成されている。ここでは、注視時間をカウントダウンする速度は、注視時間をカウントアップする速度よりも低くなるように(具体的には約1/3になるように)構成されている。 Specifically, the input determination unit 24 is configured to count up the gaze time while the gaze point G remains within the character panel P, and to count down the measured gaze time while the gaze point G is outside the character panel P. Here, the speed at which the gaze time is counted down is configured to be slower (specifically, about 1/3) than the speed at which the gaze time is counted up.
そして複数の文字に対して注視時間を計測している間、当該複数の文字に対応する各文字パネルP内にプログレスインジケータIが表示される。すなわち、複数の文字パネルP間で視線がふらついている間、文字盤B上には複数のプログレスインジケータIが表示されている。この実施形態では、注視時間をカウントアップしているプログレスインジケータIと、注視時間をカウントダウンしているプログレスインジケータIとで、表示態様を互いに異ならせるようにしている。ここでは、表示するプログレスサークルのバーの色や太さを互いに異ならせるようにしている。なお、注視点Gが文字パネルP外にあることにより、注視時間がカウントダウンされて0になると、プログレスインジケータIを非表示にするようにしている。 While the gaze time is being measured for the multiple characters, a progress indicator I is displayed in each character panel P corresponding to the multiple characters. That is, while the gaze is wandering between the multiple character panels P, multiple progress indicators I are displayed on the dial B. In this embodiment, the display mode of the progress indicator I that is counting up the gaze time and the progress indicator I that is counting down the gaze time are made different from each other. Here, the colors and thicknesses of the bars of the displayed progress circles are made different from each other. Note that, because the gaze point G is outside the character panel P, the progress indicator I is made invisible when the gaze time is counted down to 0.
そして入力決定部24は、計測した注視時間が閾値に達した文字の入力を決定すると、注視時間を計測中の全ての文字(入力を決定した文字を含む)に対してその注視時間をリセットする(注視時間を0にする)ように構成されている。この場合、表示されていた1つ又は複数のプログレスインジケータIが同時に非表示にするようにしている。 Then, when the input decision unit 24 decides to input a character whose measured gaze time has reached a threshold value, it resets the gaze time (sets the gaze time to 0) for all characters for which gaze time is being measured (including the character whose input has been decided). In this case, one or more progress indicators I that were displayed are simultaneously made invisible.
<第1実施形態の視線入力装置の動作>
次に、第1実施形態の視線入力装置100の動作について、図4及び図5を参照して以下に説明する。ここでは、画面31には平仮名文字が配列された文字盤Bが固定して表示されている。ユーザは、当該文字盤Bから文字「き」を視線により選択して入力する。
<Operation of the eye-gaze input device according to the first embodiment>
Next, the operation of the eye-gaze input device 100 of the first embodiment will be described below with reference to Fig. 4 and Fig. 5. Here, a character board B on which hiragana characters are arranged is fixedly displayed on the screen 31. The user selects and inputs the character "ki" from the character board B by using his/her line of sight.
まずユーザが文字盤B上に視線を向けると、視線検出手段1によりユーザの視線が検出され、そして注視点推定部21により画面31上におけるユーザの注視点Gの位置が推定される(ステップS11)。 First, when the user directs his/her gaze onto the dial B, the gaze detection means 1 detects the user's gaze, and the gaze point estimation unit 21 estimates the position of the user's gaze point G on the screen 31 (step S11).
ユーザが文字「き」に視線を向け、注視点Gが「き」の文字パネルP内に入ると、文字「き」に対する注視時間の計測が開始する(ステップS12)。注視点Gが文字パネルP内にある間、文字「き」に対する注視時間がカウントアップされ、これに伴い図4(a)に示すように、文字パネルP内のプログレスサークルIが伸び続ける(ステップS13、S14)。 When the user directs his/her gaze to the character "ki" and the gaze point G enters the character panel P of "ki", measurement of the gaze time on the character "ki" begins (step S12). While the gaze point G is within the character panel P, the gaze time on the character "ki" is counted up, and accordingly, as shown in FIG. 4(a), the progress circle I in the character panel P continues to grow (steps S13, S14).
この状態で、図4(b)に示すように、注視点Gが「き」の文字パネルPから外れ、隣接する「い」の文字パネルPに移動すると、文字「き」に対する注視時間がカウントダウンされ、同時に文字「い」に対する注視時間の計測が開始する(ステップS15)。さらに、図4(c)に示すように、注視点Gが「い」の文字パネルPから外れ、隣接する「う」の文字パネルPに移動すると、文字「き」と文字「い」に対する注視時間がカウントダウンされ、同時に文字「う」に対する注視時間の計測が開始する。 In this state, as shown in FIG. 4(b), when the gaze point G moves away from the character panel P of "ki" and moves to the adjacent character panel P of "i", the gaze time for the character "ki" is counted down, and at the same time, measurement of the gaze time for the character "i" starts (step S15). Furthermore, as shown in FIG. 4(c), when the gaze point G moves away from the character panel P of "i" and moves to the adjacent character panel P of "u", the gaze time for the characters "ki" and "i" is counted down, and at the same time, measurement of the gaze time for the character "u" starts.
その後、図4(d)に示すように、注視点Gが「き」の文字パネルPに戻ると、文字「き」に対する注視時間を再びカウントアップする(ステップS13、S14)。そして、文字「き」に対する注視時間が所定の閾値(例えば1秒)に達すると、文字「き」の入力が決定され、メッセージパネルMに文字「き」が表示される(ステップS16、S17)。文字の入力が決定されると、図4(e)に示すように、計測していた注視時間が全ての文字に対してリセットされ、「い」、「う」及び「き」の文字パネルPに表示されていたプログレスサークルIが非表示になる(ステップS18)。 After that, as shown in FIG. 4(d), when the gaze point G returns to the character panel P of "ki", the gaze time on the character "ki" is counted up again (steps S13, S14). Then, when the gaze time on the character "ki" reaches a predetermined threshold (e.g., 1 second), the input of the character "ki" is confirmed, and the character "ki" is displayed on the message panel M (steps S16, S17). When the input of the character is confirmed, the measured gaze time is reset for all characters, and the progress circles I displayed on the character panels P of "i", "u", and "ki" are hidden (step S18), as shown in FIG. 4(e).
<第1実施形態の視線入力装置の効果>
このように構成された本実施形態の視線入力装置100によれば、複数の文字パネルP間を注視点Gが移動している間、各文字に対して注視時間を計測して保持し、注視時間が最も早く閾値に達した文字を入力決定するようにしているので、注視点Gの位置が定まらなくても、ユーザが意識的に視線を向けている1つの文字の注視時間がどんどん溜まっていき、この文字の入力を決定することができる。これにより、画面31の端の方の文字を選択する場合や、ユーザに眼振の症状がある場合等、入力したい文字上で注視点Gが定まりにくい状況であっても、ユーザは容易に文字を入力することができる。
<Effects of the eye-gaze input device according to the first embodiment>
According to the eye-gaze input device 100 of the present embodiment configured as described above, while the gaze point G is moving among the multiple character panels P, the gaze time for each character is measured and stored, and the character for which the gaze time reaches the threshold value the earliest is determined as input, so that even if the position of the gaze point G is not determined, the gaze time for one character to which the user is consciously directing his/her gaze is gradually accumulated, and the input of this character can be determined. This allows the user to easily input characters even in a situation where it is difficult to determine the gaze point G on the character to be input, such as when selecting a character on the edge of the screen 31 or when the user has a symptom of nystagmus.
<第2実施形態>
次に、本発明の第2実施形態の視線入力装置100について、第1実施形態との相違点を中心に説明する。第1実施形態の視線入力装置100と共通する構成については説明を省略する。
Second Embodiment
Next, a gaze input device 100 according to a second embodiment of the present invention will be described, focusing on differences from the first embodiment. Description of configurations common to the gaze input device 100 of the first embodiment will be omitted.
第2実施形態の視線入力装置100は、ユーザの視線に応じて文字盤Bが移動する点において、第1実施形態の視線入力装置100とは態様が異なっている。具体的に第2の実施形態の視線入力装置100では、ユーザは視線を動かすことにより文字盤Bを画面31内で移動させ、画面31内の所定位置に設定された選択位置Sに所望の文字を合わせることで、当該文字の入力を決定できるようになっている。なお、この実施形態では、選択位置Sの座標が画面31の中心座標と同じになるように設定されている。 The eye-gaze input device 100 of the second embodiment differs from the eye-gaze input device 100 of the first embodiment in that the character board B moves in response to the user's gaze. Specifically, in the eye-gaze input device 100 of the second embodiment, the user can move the character board B within the screen 31 by moving his/her gaze, and can input the desired character by aligning the desired character with a selection position S set at a predetermined position within the screen 31. Note that in this embodiment, the coordinates of the selection position S are set to be the same as the center coordinates of the screen 31.
この実施形態の文字盤表示制御部23は、注視点推定部21から取得した注視点データに基づき、文字盤Bを画面31内で移動させる。具体的には、文字盤表示制御部23は、注視点Gに最も近い文字が選択位置Sに向かうように文字盤311を移動させる。より具体的には、注視点Gが滞在している文字パネルPの中心位置が選択位置Sに向かうように文字盤Bを移動させる。そして注視点Gが滞在している文字パネルPの中心が選択位置Sに一致すると、文字盤Bの移動を停止させる。 The dial display control unit 23 in this embodiment moves the dial B within the screen 31 based on the gaze point data acquired from the gaze point estimation unit 21. Specifically, the dial display control unit 23 moves the dial 311 so that the character closest to the gaze point G faces the selection position S. More specifically, the dial B is moved so that the center position of the character panel P on which the gaze point G is located faces the selection position S. Then, when the center of the character panel P on which the gaze point G is located coincides with the selection position S, the movement of the dial B is stopped.
例えば、図6(a)に示すように、ユーザが文字「つ」に視線を向けると、「つ」の文字パネルPの中心が選択位置Sに向かうように文字盤Bが移動する。そしてユーザが文字「つ」を注視し続け、図6(b)に示すように「つ」の文字パネルPの中心位置が選択位置Sに一致すると、文字盤Bの移動が停止する。 For example, as shown in FIG. 6(a), when the user directs his/her gaze to the character "tsu", the character board B moves so that the center of the character panel P of "tsu" faces the selection position S. Then, when the user continues to gaze at the character "tsu" and the center position of the character panel P of "tsu" coincides with the selection position S as shown in FIG. 6(b), the movement of the character board B stops.
そして入力決定部24は、所定の条件を満たした場合に、選択位置S上に位置する文字の入力を決定する。具体的に入力決定部24は、選択位置Sにある文字上(具体的には文字パネルP内)に注視点Gがある場合、その滞在時間である注視時間を計測し、当該注視時間が閾値(例えば1秒)に達すると、選択位置Sにある文字の入力を決定する。 Then, when a predetermined condition is satisfied, the input determination unit 24 determines to input the character located at the selection position S. Specifically, when the gaze point G is on the character located at the selection position S (specifically, within the character panel P), the input determination unit 24 measures the gaze time, which is the duration of the gaze, and when the gaze time reaches a threshold value (e.g., 1 second), determines to input the character located at the selection position S.
しかして第2実施形態の視線入力装置100では、ユーザの視線が不安定な状態でも容易に文字を入力できるようにすべく、入力決定部24は、注視時間の計測中に選択位置S上の文字パネルPから注視点Gが外れた場合に、計測した注視時間をリセットすることなく保持するように構成されている。 In the second embodiment of the eye-gaze input device 100, in order to allow the user to easily input characters even when the user's gaze is unstable, the input determination unit 24 is configured to hold the measured gaze time without resetting it if the gaze point G moves away from the character panel P on the selection position S while measuring the gaze time.
具体的に入力決定部24は、注視時間の計測中に選択位置S上の文字パネルPから注視点Gが外れ、他の文字パネルP上に移動した場合に、注視時間のカウントアップを一時停止する。そして注視点Gが再び選択位置S上の文字パネルP内に戻ってくると、一時停止していた注視時間のカウントアップを再開させる。 Specifically, when the gaze point G moves away from the character panel P on the selection position S and onto another character panel P during measurement of the gaze time, the input determination unit 24 temporarily stops counting up the gaze time. Then, when the gaze point G returns to the character panel P on the selection position S, the input determination unit 24 resumes counting up the gaze time that was paused.
ここで文字盤表示制御部23は、選択位置S上の文字に対する注視時間の計測中に、当該文字パネルPから注視点Gが外れても、注視点Gと選択位置Sとの間の距離が所定値以下であれば、文字盤Bを移動させることなく留めておくように構成されている。この所定値とは、例えば、文字パネルPの1枚分の長さ程度が好ましい。 The dial display control unit 23 is configured to keep the dial B in place without moving it while measuring the gaze time on the character at the selection position S, even if the gaze point G moves away from the character panel P, as long as the distance between the gaze point G and the selection position S is equal to or less than a predetermined value. This predetermined value is preferably, for example, about the length of one character panel P.
そして文字盤表示制御部23は、注視点Gと選択位置Sとの間の距離が所定値を超えると、注視点Gに最も近い文字が選択位置Sに向かうように文字盤Bを移動させる。この文字盤Bを移動させている状態においても、入力決定部24は、計測していた注視時間をリセットすることなく保持するように構成されている。すなわち、この実施形態では、注視時間の計測中に視線が大きく外れた場合に、計測した注視時間を保持した状態で文字盤Bが移動するように構成されている。 Then, when the distance between the gaze point G and the selection position S exceeds a predetermined value, the dial display control unit 23 moves the dial B so that the character closest to the gaze point G faces the selection position S. Even when the dial B is being moved, the input determination unit 24 is configured to hold the measured gaze time without resetting it. That is, in this embodiment, if the line of sight shifts significantly while measuring the gaze time, the dial B is configured to move while maintaining the measured gaze time.
そして入力決定部24は、注視時間を計測している文字とは異なる他の文字が選択位置Sにある状態で、当該他の文字上(文字パネルP内)に注視点Gが所定時間以上滞在する場合に、計測中の注視時間をリセットし、当該他の文字に対する注視時間の計測を開始する。 Then, when a character other than the character for which the gaze time is being measured is in the selected position S and the gaze point G remains on the other character (within the character panel P) for a predetermined period of time or more, the input determination unit 24 resets the gaze time being measured and starts measuring the gaze time on the other character.
<第2実施形態の視線入力装置の動作>
次に、第2実施形態の視線入力装置100の動作について、図7及び図8を参照して以下に説明する。ここでは、画面31には平仮名文字が配列された移動式の文字盤Bが表示されている。ユーザは、当該文字盤Bから文字「き」を視線により選択して入力する。
<Operation of the eye-gaze input device according to the second embodiment>
Next, the operation of the eye-gaze input device 100 of the second embodiment will be described below with reference to Fig. 7 and Fig. 8. Here, a movable character board B on which hiragana characters are arranged is displayed on the screen 31. The user selects and inputs the character "ki" from the character board B by gazing at the screen.
まずユーザが文字盤B上に視線を向けると、視線検出手段1によりユーザの視線が検出され、そして注視点推定部21により画面31上におけるユーザの注視点Gの位置が推定される(ステップS21)。ユーザが文字「き」に視線を向け、注視点Gが「き」の文字パネルP内に入ると、「き」の文字パネルPが選択位置Sに向かうように文字盤Bが移動する(ステップS22)。 When the user first directs his/her gaze onto the dial B, the gaze detection means 1 detects the user's gaze, and the gaze point estimation unit 21 estimates the position of the user's gaze point G on the screen 31 (step S21). When the user directs his/her gaze to the character "ki" and the gaze point G enters the character panel P of "ki", the dial B moves so that the character panel P of "ki" faces the selection position S (step S22).
「き」の文字パネルPが選択位置Sにある状態で、ユーザが文字「き」を注視し続けると、文字「き」に対する注視時間の計測が開始する(ステップS23)。注視点Gが文字パネルP内にある間、文字「き」に対する注視時間がカウントアップされ、これに伴い図7(a)に示すように、文字パネルP内のプログレスサークルIが伸びる(ステップS24、S25)。 When the character panel P of "ki" is in the selection position S and the user continues to gaze at the character "ki", measurement of the gaze time on the character "ki" begins (step S23). While the gaze point G is within the character panel P, the gaze time on the character "ki" is counted up, and accordingly, the progress circle I within the character panel P extends, as shown in FIG. 7(a) (steps S24, S25).
そして図7(b)に示すように、注視点Gが「き」の文字パネルPから外れると、文字「き」に対する注視時間のカウントが一時停止する(ステップS26)。ここで注視点Gと選択位置Sとの間の距離が所定値(ここでは、選択位置Sから、隣接する文字パネルPの中心までの距離)以内である場合、文字盤Bは移動することなくその位置に固定されている(ステップS27)。一方、注視点Gと選択位置Sとの間の距離が所定値を超える場合、図7(c)に示すように、文字「き」に対して計測した注視時間を保持したまま、注視点Gから選択位置Sに向かって文字盤Bが移動する(ステップS22)。 As shown in FIG. 7(b), when the gaze point G moves away from the character panel P of "ki", the counting of the gaze time on the character "ki" is temporarily stopped (step S26). If the distance between the gaze point G and the selection position S is within a predetermined value (here, the distance from the selection position S to the center of the adjacent character panel P), the character board B is fixed in that position without moving (step S27). On the other hand, if the distance between the gaze point G and the selection position S exceeds the predetermined value, the character board B moves from the gaze point G toward the selection position S while maintaining the gaze time measured on the character "ki" as shown in FIG. 7(c) (step S22).
ここで、注視点Gが再び「き」の文字パネルP内に戻ると、図7(d)に示すように、「き」の文字パネルPが選択位置Sまで移動し、文字「き」に対する注視時間のカウントアップを再開する(ステップS24、S25)。そして、図7(e)に示すように、文字「き」に対する注視時間が所定の閾値(例えば1秒)に達すると、文字「き」の入力が決定されメッセージパネルMに文字「き」が表示される(ステップS28、S29)。文字の入力が決定されると、計測していた注視時間がリセットされ、「き」の文字パネルPに表示されていたプログレスサークルIが非表示になる(ステップS30)。 When the gaze point G returns to the character panel P of "ki", as shown in FIG. 7(d), the character panel P of "ki" moves to the selection position S, and the counting of the gaze time for the character "ki" is resumed (steps S24, S25). Then, as shown in FIG. 7(e), when the gaze time for the character "ki" reaches a predetermined threshold (e.g., 1 second), the input of the character "ki" is confirmed and the character "ki" is displayed on the message panel M (steps S28, S29). When the input of the character is confirmed, the measured gaze time is reset and the progress circle I displayed on the character panel P of "ki" becomes invisible (step S30).
一方で図7(f)に示すように、「い」の文字パネルPが選択位置Sに完全に移動し、この状態で注視点Gが「い」の文字パネルP内に滞在すると、文字「き」に対して計測していた注視時間がリセットされ、文字「い」に対する注視時間の計測を開始する(ステップS24、S25)。この時、「き」の文字パネルPに表示されていたプログレスサークルIが非表示になり、「い」の文字パネルP内にプログレスサークルIが表示される。そして、図7(g)に示すように、文字「い」に対する注視時間が所定の閾値に達すると、文字「い」の入力が決定されメッセージパネルMに文字「い」が表示される(ステップS28、S29)。文字の入力が決定されると、計測していた注視時間がリセットされ、「い」の文字パネルPに表示されていたプログレスサークルIが非表示になる(ステップS30)。 On the other hand, as shown in FIG. 7(f), when the character panel P of "I" moves completely to the selected position S and the gaze point G stays within the character panel P of "I" in this state, the gaze time measured for the character "Ki" is reset and measurement of the gaze time for the character "I" starts (steps S24, S25). At this time, the progress circle I displayed on the character panel P of "Ki" becomes invisible, and the progress circle I is displayed within the character panel P of "I". Then, as shown in FIG. 7(g), when the gaze time for the character "I" reaches a predetermined threshold, the input of the character "I" is decided and the character "I" is displayed on the message panel M (steps S28, S29). When the input of the character is decided, the measured gaze time is reset and the progress circle I displayed on the character panel P of "I" becomes invisible (step S30).
<第2実施形態の視線入力装置の効果>
このように構成された本実施形態の視線入力装置100によれば、画面31上で文字盤Bを移動させるタイプのものにおいて、注視時間の計測中に、選択位置S上の文字パネルPから注視点Gが外れても、計測した注視時間をリセットすることなく保持するようにしているので、入力したい文字上で注視点Gが定まりにくい状況であっても、ユーザは容易に文字を入力することができる。
<Effects of the eye-gaze input device according to the second embodiment>
According to the eye-gaze input device 100 of this embodiment configured as described above, in a type in which a character dial B is moved on the screen 31, even if the gaze point G moves away from the character panel P on the selection position S while measuring the gaze time, the measured gaze time is maintained without being reset, so that the user can easily input characters even in a situation where it is difficult to determine the gaze point G on the character to be input.
<その他の変形実施形態>
なお、本発明は前記実施形態に限られるものではない。
<Other Modified Embodiments>
The present invention is not limited to the above-described embodiment.
前記第1実施形態の入力決定部24は、注視時間の計測を開始した後、注視点Gが文字パネルPから外れると、注視時間をカウントダウンするように構成されていたが、これに限らない。他の実施形態では、入力決定部24は、注視点Gが文字パネルPから外れている間、注視時間をカウントダウンすることなく固定しておき、注視点Gが戻ってくるとカウントアップを再開するように構成されてもよい。 In the first embodiment, the input determination unit 24 is configured to count down the gaze time when the gaze point G moves away from the character panel P after starting to measure the gaze time, but this is not limited to the above. In other embodiments, the input determination unit 24 may be configured to fix the gaze time without counting down while the gaze point G moves away from the character panel P, and to resume counting up when the gaze point G returns.
前記第1実施形態では、注視時間のカウントダウンの速度が注視時間のカウントアップの速度よりも低くなるように設定されていたがこれに限らない。注視時間のカウントダウンの速度とカウントアップの速度を同程度に設定してもよく、注視時間のカウントダウンの速度がカウントアップの速度よりも高くなるように設定してもよい。 In the first embodiment, the gaze time countdown speed is set to be slower than the gaze time countup speed, but this is not limited to the above. The gaze time countdown speed and the countup speed may be set to be approximately the same, or the gaze time countdown speed may be set to be faster than the countup speed.
前記第2実施形態では、文字盤Bの移動中に計測中の注視時間を保持するように構成していたが、これに限らない。他の実施形態では、文字盤Bの移動に合わせて、保持していた注視時間をリセットするようにしてもよい。 In the second embodiment, the gaze time being measured is held while the dial B is moving, but this is not limited to the above. In other embodiments, the held gaze time may be reset in accordance with the movement of the dial B.
前記各実施形態では、文字盤B内に縦横のマトリクス状に等間隔に並ぶように各文字が表示されていたがこれに限らない。例えば、複数の文字が放射状に配列されたり、一列に並ぶように表示されてもよい。 In each of the above embodiments, the characters are displayed on the dial B in a matrix shape with equal spacing between each other, but this is not limited to the above. For example, multiple characters may be displayed in a radial arrangement or in a line.
前記各実施形態での視線検出手段1は取付けタイプのものであったが、これに限定されない。他の実施形態では、視線検出手段1はディスプレイ3やコンピュータ本体2と一体型であってもよいし、ユーザの身体に取付けられるウェアラブル型のものであってもよい。またディスプレイ3の上部等任意の場所に取り付けられてもよい。 In the above embodiments, the gaze detection means 1 is of an attached type, but is not limited to this. In other embodiments, the gaze detection means 1 may be integrated with the display 3 or the computer main body 2, or may be a wearable type that is attached to the user's body. It may also be attached to any location, such as the top of the display 3.
前記各実施形態では、コンピュータ本体2は、メモリ202に記憶させたプログラムに基づいて、注視点推定部21等としての各機能を実現していたがこれに限定されない。他の実施形態では、コンピュータ本体2は、インターネット等のネットワークを介してクラウドにアクセスし、当該クラウド上に保存されたプログラムに基づいて、CPU201やその周辺機器が協働することにより、注視点推定部21等としての各機能を実現するようにしてもよい。 In each of the above embodiments, the computer main body 2 realizes each function of the gaze point estimation unit 21, etc., based on a program stored in the memory 202, but is not limited to this. In other embodiments, the computer main body 2 may access a cloud via a network such as the Internet, and realize each function of the gaze point estimation unit 21, etc., based on a program stored on the cloud by the CPU 201 and its peripheral devices working together.
前記各実施形おいて、コンピュータ本体2及びディスプレイ3はノートパソコンに一体的に備えられていたが、これに限定されない。他の実施形態ではこれらは別体であってもよい。またディスプレイ3は、プロジェクターと投影スクリーンにより構成されていてもよい。またノートパソコンに限らず、スマートホンやタブレット等の形態型端末であってもよく、ヘッドマウントディスプレイ等のウェアラブル端末であってもよい。 In each of the above embodiments, the computer main body 2 and the display 3 are integrally provided in the notebook computer, but this is not limited to the above. In other embodiments, they may be separate. The display 3 may also be composed of a projector and a projection screen. Furthermore, the device is not limited to a notebook computer, and may be a mobile device such as a smartphone or tablet, or a wearable device such as a head-mounted display.
また他の実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援する用途に限らず、健常者の視線による文字入力を支援する用途で用いられてもよい。 In addition, the eye-gaze input device 100 of other embodiments may be used not only to assist people who have difficulty moving their limbs or mouths in communicating their intentions, but also to assist able-bodied people in inputting text using their gaze.
その他、本発明は前記各実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。 It goes without saying that the present invention is not limited to the above-described embodiments, and various modifications are possible without departing from the spirit of the invention.
100・・・視線入力装置
21 ・・・注視点推定部
24 ・・・入力決定部
31 ・・・画面
B ・・・文字盤
G ・・・注視点
100: Eye-gaze input device 21: Gaze point estimation unit 24: Input determination unit 31: Screen B: Dial G: Gaze point
Claims (7)
前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、
推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部とを備え、
前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した1つの前記文字の入力を決定し、
前記入力決定部が、前記注視点が前記文字上に滞在している間、滞在している前記文字に対する前記注視時間をカウントアップし、前記注視点が前記文字から外れている間当該外れている時間に応じて、外れている前記文字に対する前記注視時間をカウントダウンする視線入力装置。 A gaze input device that allows a user to select and input a plurality of characters arranged on a virtual dial displayed on a screen by using the user's gaze,
a gaze point estimation unit that estimates a position of the gaze point of the user on the screen;
an input determination unit that determines an input of the character based on the estimated position of the gaze point,
the input determination unit measures and holds a gaze time, which is a time during which the gaze point stays on each of the plurality of characters while the gaze point is wandering between the plurality of characters, and determines an input of one of the characters whose gaze time reaches a threshold value earliest;
The input determination unit counts up the gaze time on the character while the gaze point is staying on the character, and counts down the gaze time on the character while the gaze point is off the character depending on the time the gaze point is off the character .
前記入力決定部は、前記注視点が前記区画内に位置している場合に当該区画に表示された前記文字に対する注視時間を計測する請求項1~3のいずれか一項に記載の視線入力装置。 The characters are displayed in a plurality of sections that are set adjacent to each other on the dial,
4. The eye-gaze input device according to claim 1 , wherein the input determination unit measures a gaze time on the character displayed in a section when the gaze point is located within the section.
前記画面上における前記ユーザの注視点の位置を推定する注視点推定部としての機能と、
推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部としての機能とをコンピュータに発揮させるものであり、
前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した1つの前記文字の入力を決定し、
前記入力決定部が、前記注視点が前記文字上に滞在している間、滞在している前記文字に対する前記注視時間をカウントアップし、前記注視点が前記文字から外れている間当該外れている時間に応じて、外れている前記文字に対する前記注視時間をカウントダウンする視線入力装置用のプログラム。 A program for an eye-gaze input device that allows a user to select and input a plurality of characters arranged on a virtual character board displayed on a screen by using the user's gaze,
A function as a gaze point estimation unit that estimates a position of the gaze point of the user on the screen;
and causing the computer to function as an input determination unit that determines an input of the character based on the estimated position of the gaze point.
the input determination unit measures and holds a gaze time, which is a time during which the gaze point stays on each of the plurality of characters while the gaze point is wandering between the plurality of characters, and determines an input of one of the characters whose gaze time reaches a threshold value earliest;
A program for an eye-gaze input device, in which the input determination unit counts up the gaze time on the character while the gaze point is staying on the character, and counts down the gaze time on the character that is not on the character while the gaze point is off the character depending on the time the gaze point is off the character .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040703A JP7560833B2 (en) | 2021-03-12 | 2021-03-12 | Eye-gaze input device and program for eye-gaze input device |
JP2024127598A JP2024150745A (en) | 2021-03-12 | 2024-08-02 | Eye-gaze input device and program for eye-gaze input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040703A JP7560833B2 (en) | 2021-03-12 | 2021-03-12 | Eye-gaze input device and program for eye-gaze input device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024127598A Division JP2024150745A (en) | 2021-03-12 | 2024-08-02 | Eye-gaze input device and program for eye-gaze input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022140063A JP2022140063A (en) | 2022-09-26 |
JP7560833B2 true JP7560833B2 (en) | 2024-10-03 |
Family
ID=83398939
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021040703A Active JP7560833B2 (en) | 2021-03-12 | 2021-03-12 | Eye-gaze input device and program for eye-gaze input device |
JP2024127598A Pending JP2024150745A (en) | 2021-03-12 | 2024-08-02 | Eye-gaze input device and program for eye-gaze input device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024127598A Pending JP2024150745A (en) | 2021-03-12 | 2024-08-02 | Eye-gaze input device and program for eye-gaze input device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7560833B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150103000A1 (en) | 2012-06-28 | 2015-04-16 | Microsoft Corporation | Eye-typing term recognition |
WO2017069176A1 (en) | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | Line-of-sight input device, line-of-sight input method, and line-of-sight input program |
JP2017182216A (en) | 2016-03-28 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | Simulation control device and simulation control program |
-
2021
- 2021-03-12 JP JP2021040703A patent/JP7560833B2/en active Active
-
2024
- 2024-08-02 JP JP2024127598A patent/JP2024150745A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150103000A1 (en) | 2012-06-28 | 2015-04-16 | Microsoft Corporation | Eye-typing term recognition |
WO2017069176A1 (en) | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | Line-of-sight input device, line-of-sight input method, and line-of-sight input program |
CN108139813A (en) | 2015-10-19 | 2018-06-08 | 鸥利研究所股份有限公司 | Sight input unit, sight input method and sight input program |
JP2017182216A (en) | 2016-03-28 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | Simulation control device and simulation control program |
Non-Patent Citations (1)
Title |
---|
牧野 武志、坂井 孝光、中村 清実,片目の部分テンプレートと周辺領域特徴を用いたリアルタイム目追跡システムとその文字入力システムへの応用,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2002年03月18日,Vol.101 No.733,73-78 |
Also Published As
Publication number | Publication date |
---|---|
JP2022140063A (en) | 2022-09-26 |
JP2024150745A (en) | 2024-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102196975B1 (en) | System and method for biomechanical-based eyeball signals to interact with real and virtual objects | |
JP5807989B2 (en) | Gaze assist computer interface | |
KR101695174B1 (en) | Ergonomic motion detection for receiving character input to electronic devices | |
US20140232639A1 (en) | Information processing apparatus and storage medium | |
JP4961432B2 (en) | Eye tracker with visual feedback | |
US20150309570A1 (en) | Eye tracking systems and methods with efficient text entry input features | |
US20020180799A1 (en) | Eye gaze control of dynamic information presentation | |
US20220413605A1 (en) | Optical system providing accurate eye-tracking and related method | |
RU2008104025A (en) | VIRTUAL MAGNIFIER WITH FUNCTIONAL OPPORTUNITIES OF OPERATIONAL MANAGEMENT | |
Urbina et al. | Alternatives to single character entry and dwell time selection on eye typing | |
WO2016064311A1 (en) | Method and device for providing a touch-based user interface | |
JP2014142882A (en) | Line of sight input device | |
JP2000020196A (en) | Sight line inputting device | |
JPH09179062A (en) | Computer system | |
JP6367673B2 (en) | Electronics | |
JP7560833B2 (en) | Eye-gaze input device and program for eye-gaze input device | |
WO2016204495A1 (en) | Input device using gaze tracking | |
US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
US20220129069A1 (en) | Information processing apparatus, information processing method, and program | |
CN111666021B (en) | Electronic equipment and storage media | |
JP7334946B2 (en) | keyboard control program, keyboard and keyboard control system | |
JP2024057674A (en) | Eye-gaze input device and program for eye-gaze input device | |
Patidar et al. | Quickpie: an interface for fast and accurate eye gazed based text entry | |
US20170277502A1 (en) | Display device support method, display device support system, and electronic device | |
JP6715483B2 (en) | Symbol selection device and program for symbol selection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240801 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7560833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |