[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016136351A - Electronic apparatus and control method - Google Patents

Electronic apparatus and control method Download PDF

Info

Publication number
JP2016136351A
JP2016136351A JP2015011559A JP2015011559A JP2016136351A JP 2016136351 A JP2016136351 A JP 2016136351A JP 2015011559 A JP2015011559 A JP 2015011559A JP 2015011559 A JP2015011559 A JP 2015011559A JP 2016136351 A JP2016136351 A JP 2016136351A
Authority
JP
Japan
Prior art keywords
line
movement
sight
pressure
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015011559A
Other languages
Japanese (ja)
Inventor
拓也 本間
Takuya Homma
拓也 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2015011559A priority Critical patent/JP2016136351A/en
Publication of JP2016136351A publication Critical patent/JP2016136351A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve operability.SOLUTION: An electronic apparatus includes a display section, a visual line detection section, a pressure detection section, and a control section. The visual line detection section detects a movement of a visual line position. The pressure detection section detects an external pressure. When pressure is detected by the pressure detection section synchronizing with movement of a visual line position from inside of the display section to outside of the display section detected by the visual line detection section, the control section processes as flick operation corresponding to the direction of movement of the visual line position. Thereby, the electronic apparatus allows a user to operate even in a situation where the user cannot operate the electronic apparatus.SELECTED DRAWING: Figure 1

Description

本出願は、電子機器及び制御方法に関する。   The present application relates to an electronic device and a control method.

従来、コンピュータを操作するインターフェースとして、視線の動きを使用し、画面上のアイコンをポインティングすることで座標を検出し、携帯端末へ操作を伝達する、視線入力がある(特許文献1参照)。   2. Description of the Related Art Conventionally, as an interface for operating a computer, there is a line-of-sight input that uses the movement of a line of sight, detects coordinates by pointing an icon on a screen, and transmits the operation to a portable terminal (see Patent Document 1).

特開2001−100903号公報JP 2001-100903 A

タッチスクリーンのように、タッチジェスチャにより操作を行う電子機器では、上記特許文献1に開示の技術であっても、例えば、左手に携帯端末を持ち、さらに右手がふさがっているような場合、タッチジェスチャによって携帯端末へ操作を伝達することが困難である。   In an electronic device that performs an operation using a touch gesture such as a touch screen, even if the technique disclosed in Patent Document 1 above is used, for example, when the mobile terminal is held in the left hand and the right hand is blocked, the touch gesture is performed. Therefore, it is difficult to transmit the operation to the mobile terminal.

上記のことから、タッチジェスチャができない状況における操作性(例えばフリック)を向上させた電子機器及び制御方法を提供する必要がある。   From the above, it is necessary to provide an electronic device and a control method that improve operability (for example, flick) in a situation where touch gestures cannot be performed.

1つの態様に係る電子機器は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部と、前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出されるのに同期して前記圧力検出部により前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部とを有する。   An electronic apparatus according to one aspect includes a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, a pressure detection unit that detects pressure from the outside, and the line of sight from the display unit to the outside of the display unit A control unit for processing as a flick operation corresponding to the direction of movement of the line-of-sight position when the pressure is detected by the pressure detection unit in synchronization with the movement of the position detected by the line-of-sight detection unit; Have

1つの態様に係る電子機器は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部と、前記圧力検出部により前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部とを有する。   An electronic device according to one aspect includes a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, a pressure detection unit that detects pressure from the outside, and the pressure detection unit while the pressure is detected And a control unit that performs processing as a flick operation corresponding to the direction of movement of the line-of-sight position when the movement of the line-of-sight position from the display unit to the outside of the display unit is detected by the line-of-sight detection unit. Have.

1つの態様に係る制御方法は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部とを有する電子機器に実行させる制御方法であって、前記表示部上から前記表示部外への前記視線位置の移動を検出するステップと、前記視線位置の移動が検出されるのに同期して前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップとを含む。   A control method according to one aspect is a control method that is executed by an electronic apparatus having a display unit, a line-of-sight detection unit that detects movement of a line-of-sight position, and a pressure detection unit that detects pressure from the outside, A step of detecting the movement of the line-of-sight position from the display unit to the outside of the display unit; and the movement of the line-of-sight position when the pressure is detected in synchronization with the movement of the line-of-sight position being detected. Processing as a flick operation corresponding to the direction.

1つの態様に係る制御方法は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部とを有する電子機器に実行させる制御方法であって、前記圧力を検出するステップと、前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップとを含む。   A control method according to one aspect is a control method that is executed by an electronic apparatus having a display unit, a line-of-sight detection unit that detects movement of a line-of-sight position, and a pressure detection unit that detects pressure from the outside, Corresponding to the direction of movement of the line-of-sight position when the movement of the line-of-sight position from the display unit to the outside of the display unit is detected while the pressure is detected Processing as a flick operation.

図1は、実施形態1に係るスマートフォンの機能構成を示すブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the smartphone according to the first embodiment. 図2は、実施形態1に係るスマートフォンにより実行される処理の例を説明するための図である。FIG. 2 is a diagram for explaining an example of processing executed by the smartphone according to the first embodiment. 図3は、実施形態1に係るスマートフォンにより実行される処理の例を説明するための図である。FIG. 3 is a diagram for explaining an example of processing executed by the smartphone according to the first embodiment. 図4は、実施形態1に係るスマートフォンにより実行される処理の例を説明するための図である。FIG. 4 is a diagram for explaining an example of processing executed by the smartphone according to the first embodiment. 図5は、実施形態1に係るスマートフォンにより実行される処理の例を説明するための図である。FIG. 5 is a diagram for explaining an example of processing executed by the smartphone according to the first embodiment. 図6は、実施形態1に係るスマートフォンによる処理の流れを示すフローチャートである。FIG. 6 is a flowchart illustrating a process flow of the smartphone according to the first embodiment. 図7は、実施形態2に係るスマートフォンによる処理の流れを示すフローチャートである。FIG. 7 is a flowchart showing a flow of processing by the smartphone according to the second embodiment.

本出願に係る電子機器および制御方法を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、本出願に係る電子機器の一例として、スマートフォンについて説明する。   An embodiment for carrying out an electronic device and a control method according to the present application will be described in detail with reference to the drawings. Below, a smart phone is demonstrated as an example of the electronic device which concerns on this application.

(実施形態1)
図1を参照しつつ、実施形態に係るスマートフォン1の機能構成の一例を説明する。図1は、実施形態1に係るスマートフォンの機能構成を示すブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。
(Embodiment 1)
An example of a functional configuration of the smartphone 1 according to the embodiment will be described with reference to FIG. FIG. 1 is a block diagram illustrating a functional configuration of the smartphone according to the first embodiment. In the following description, the same code | symbol may be attached | subjected to the same component. Furthermore, duplicate descriptions may be omitted.

図1に示すように、スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、赤外線照射部13と、コネクタ14と、加速度センサ15と、方位センサ16と、圧力検出センサ17とを備える。   As shown in FIG. 1, the smartphone 1 includes a touch screen display 2, a button 3, an illuminance sensor 4, a proximity sensor 5, a communication unit 6, a receiver 7, a microphone 8, a storage 9, and a controller 10. A speaker 11, a camera 12, an infrared irradiation unit 13, a connector 14, an acceleration sensor 15, an orientation sensor 16, and a pressure detection sensor 17.

タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ2Aとタッチスクリーン2Bとが重ねて配置される場合、例えば、ディスプレイ2Aの1ないし複数の辺がタッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。タッチスクリーンディスプレイ2は、表示部の一例である。   The touch screen display 2 includes a display 2A and a touch screen 2B. The display 2 </ b> A and the touch screen 2 </ b> B may be arranged, for example, may be arranged side by side, or may be arranged apart from each other. When the display 2A and the touch screen 2B are arranged so as to overlap each other, for example, one or more sides of the display 2A may not be along any side of the touch screen 2B. The touch screen display 2 is an example of a display unit.

ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、及び図形等を表示する。ディスプレイ2Aが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。   The display 2A includes a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display (OELD: Organic Electro-Luminescence Display), or an inorganic EL display (IELD: Inorganic Electro-Luminescence Display). The display 2A displays characters, images, symbols, graphics, and the like. The screen including characters, images, symbols, graphics, and the like displayed on the display 2A includes a screen called a lock screen, a screen called a home screen, and an application screen displayed during execution of the application. The home screen may be called a desktop, a standby screen, an idle screen, a standard screen, an application list screen, or a launcher screen.

タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等(以下、単に「指」という)がタッチスクリーン2B(タッチスクリーンディスプレイ2)に接触したときのタッチスクリーン2B上の位置(以下、接触位置と表記する)を検出することができる。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触を、接触位置とともにコントローラ10に通知する。タッチスクリーン2Bは、接触位置検出部の一例である。   The touch screen 2B detects contact of a finger, a pen, a stylus pen, or the like with respect to the touch screen 2B. The touch screen 2B is a position (hereinafter referred to as a contact position) on the touch screen 2B when a plurality of fingers, a pen, a stylus pen or the like (hereinafter simply referred to as “finger”) contacts the touch screen 2B (touch screen display 2). Can be detected. The touch screen 2B notifies the controller 10 of the contact of the finger with the touch screen 2B together with the contact position. The touch screen 2B is an example of a contact position detection unit.

タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(又は超音波方式)、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。なお、本願の実施形態においては、利用者がタッチスクリーン2Bに接触できない場合を想定しているものであり、本願の実施形態の説明で利用者がタッチスクリーン2Bに接触して操作することはない。   The detection method of the touch screen 2B may be any method such as a capacitance method, a resistive film method, a surface acoustic wave method (or an ultrasonic method), an infrared method, an electromagnetic induction method, and a load detection method. In the following description, in order to simplify the description, it is assumed that the user uses the finger to touch the touch screen 2B in order to operate the smartphone 1. In addition, in embodiment of this application, the case where a user cannot contact the touch screen 2B is assumed, and a user does not touch and operate the touch screen 2B by description of embodiment of this application. .

コントローラ10(スマートフォン1)は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン2B(タッチスクリーンディスプレイ2)に対して行われる操作である。コントローラ10(スマートフォン1)が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。なお、本願の実施形態においては特にフリックを例に説明をする。   The controller 10 (smart phone 1) has at least one of the contact detected by the touch screen 2B, the position at which the contact is detected, the change in the position at which the contact is detected, the interval at which the contact is detected, and the number of times the contact is detected. The type of gesture is determined based on the one. The gesture is an operation performed on the touch screen 2B (touch screen display 2) using a finger. The gestures that the controller 10 (smart phone 1) determines via the touch screen 2B include, for example, touch, long touch, release, swipe, tap, double tap, long tap, drag, flick, pinch in, and pinch out. However, it is not limited to these. In the embodiment of the present application, a flick will be described as an example.

ボタン3は、利用者からの操作入力を受け付ける。ボタン3の数は、単数であっても、複数であってもよい。   The button 3 receives an operation input from the user. The number of buttons 3 may be singular or plural.

照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。照度センサ4は、照度検出部の一例である。   The illuminance sensor 4 detects illuminance. The illuminance is the value of the light beam incident on the unit area of the measurement surface of the illuminance sensor 4. The illuminance sensor 4 is used for adjusting the luminance of the display 2A, for example. The illuminance sensor 4 is an example of an illuminance detection unit.

近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aが顔に近づけられたことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。   The proximity sensor 5 detects the presence of a nearby object without contact. The proximity sensor 5 detects the presence of an object based on a change in a magnetic field or a change in a feedback time of an ultrasonic reflected wave. For example, the proximity sensor 5 detects that the display 2A is brought close to the face. The illuminance sensor 4 and the proximity sensor 5 may be configured as one sensor. The illuminance sensor 4 may be used as a proximity sensor.

通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。   The communication unit 6 communicates wirelessly. The wireless communication standards supported by the communication unit 6 include, for example, cellular phone communication standards such as 2G, 3G, and 4G, and short-range wireless communication standards. Cellular phone communication standards include, for example, LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), WiMAX (Worldwide PDA), WiMAX (Worldwide Interoperability Pc) ) (Global System for Mobile Communications), PHS (Personal Handy-phone System), and the like. Examples of short-range wireless communication standards include IEEE 802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (Near Field Communication), and WPAN (Wireless Personal Area Network). As a communication standard of WPAN, for example, there is ZigBee (registered trademark). The communication unit 6 may support one or more of the communication standards described above.

レシーバ7は、音出力部である。レシーバ7は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。マイク8は、音入力部である。マイク8は、利用者の声等を音信号へ変換してコントローラ10へ送信する。   The receiver 7 is a sound output unit. The receiver 7 outputs the sound signal transmitted from the controller 10 as sound. The receiver 7 is used, for example, to output the other party's voice during a call. The microphone 8 is a sound input unit. The microphone 8 converts a user's voice or the like into a sound signal and transmits the sound signal to the controller 10.

ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。   The storage 9 stores programs and data. The storage 9 is also used as a work area for temporarily storing the processing result of the controller 10. The storage 9 may include any non-transitory storage medium such as a semiconductor storage medium and a magnetic storage medium. The storage 9 may include a plurality of types of storage media. The storage 9 may include a combination of a storage medium such as a memory card, an optical disk, or a magneto-optical disk and a storage medium reader. The storage 9 may include a storage device used as a temporary storage area such as a RAM (Random Access Memory).

ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラム(図示略)とが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ2Aに画面が表示される。制御プログラムには、例えば、OSが含まれる。アプリケーション及び基本プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。   The programs stored in the storage 9 include an application executed in the foreground or the background, and a control program (not shown) that supports the operation of the application. An application executed in the foreground displays a screen on the display 2A, for example. The control program includes an OS, for example. The application and the basic program may be installed in the storage 9 via wireless communication by the communication unit 6 or a non-transitory storage medium.

ストレージ9は、視線検出プログラム9A、操作判別プログラム9B、電話アプリケーション9C、設定データ9Zなどを記憶する。   The storage 9 stores a line-of-sight detection program 9A, an operation determination program 9B, a telephone application 9C, setting data 9Z, and the like.

視線検出プログラム9Aは、利用者の視線位置の移動を検出するための機能を提供する。なお、視線位置は、利用者の眼球内にある瞳孔の中心位置を起点として直線的に延伸する視線がタッチスクリーンディスプレイ2と交差するときのタッチスクリーンディスプレイ2上の位置に該当する。   The line-of-sight detection program 9A provides a function for detecting the movement of the user's line-of-sight position. The line-of-sight position corresponds to a position on the touch screen display 2 when a line of sight extending linearly starting from the center position of the pupil in the user's eyeball intersects the touch screen display 2.

視線検出プログラム9Aは、次のように、上記視線位置を検出する。すなわち、視線検出プログラム9Aは、利用者の画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置を検出する。具体的には、視線検出プログラム9Aは、利用者の画像を取得する際に、赤外線照射部13から赤外線を照射させる。視線検出プログラム9Aは、取得した利用者の画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線検出プログラム9Aは、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、利用者の視線の方向を特定する。視線検出プログラム9Aは、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判定し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判定する。視線検出プログラム9Aは、例えば、虹彩の大きさに基づいて、利用者の眼球とタッチスクリーンディスプレイ2との距離を算出する。視線検出プログラム9Aは、利用者の視線の方向と、利用者の眼球とタッチスクリーンディスプレイ2との距離とに基づいて、利用者の眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がタッチスクリーンディスプレイ2と交差するときのタッチスクリーンディスプレイ2上の位置である視線位置を検出する。   The line-of-sight detection program 9A detects the line-of-sight position as follows. That is, the line-of-sight detection program 9A detects the line-of-sight position by applying an algorithm based on the cornea reflection method to the user's image. Specifically, the line-of-sight detection program 9 </ b> A irradiates infrared rays from the infrared irradiation unit 13 when acquiring a user image. The line-of-sight detection program 9A specifies the position of the pupil and the position of infrared corneal reflection from the acquired user image. The line-of-sight detection program 9A specifies the direction of the line of sight of the user based on the positional relationship between the position of the pupil and the position of infrared corneal reflection. The line-of-sight detection program 9A determines that the direction of the line of sight is the eye corner side if the position of the pupil is closer to the corner of the eye than the position of the corneal reflection, and if the position of the pupil is closer to the eye than the position of the corneal reflection, The direction of the line of sight is determined to be the eye side. For example, the line-of-sight detection program 9A calculates the distance between the user's eyeball and the touch screen display 2 based on the size of the iris. The line-of-sight detection program 9A is based on the direction of the user's line of sight and the distance between the user's eyeball and the touch screen display 2, and the line of sight starting from the pupil is located at the center position of the pupil in the user's eyeball. Detects the line-of-sight position, which is the position on the touch screen display 2 when crosses the touch screen display 2.

視線検出プログラム9Aは、上記視線位置の検出を再帰的に実行することにより、視線位置の移動を検出する。視線検出プログラム9Aは、例えば、タッチスクリーンディスプレイ2上の表示領域からタッチスクリーンディスプレイ2の表示領域外への上記視線位置の移動を検出する。   The line-of-sight detection program 9A detects the movement of the line-of-sight position by recursively detecting the line-of-sight position. The line-of-sight detection program 9 </ b> A detects, for example, the movement of the line-of-sight position from the display area on the touch screen display 2 to the outside of the display area of the touch screen display 2.

上記の例では、視線検出プログラム9Aが、角膜反射法を利用した処理を実行することにより、利用者の視線位置を検出する場合を説明したが、この例には限られない。例えば、視線検出プログラム9Aが、利用者の画像について画像認識処理を実行することにより、上記視線位置を検出するようにしてもよい。例えば、視線検出プログラム9Aは、利用者の画像から、利用者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向を特定し、特定した視線方向と、利用者の眼球からタッチスクリーンディスプレイ2までの距離とに基づいて、上記視線位置を検出する。あるいは、視線検出プログラム9Aは、利用者がタッチスクリーンディスプレイ2上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、判定対象として取得される利用者の眼球の画像とを照合することにより、上記視線位置を検出する。視線検出プログラム9Aは、視線検出部の一例である。   In the above example, the case where the line-of-sight detection program 9A detects the user's line-of-sight position by executing processing using the cornea reflection method is described, but the present invention is not limited to this example. For example, the line-of-sight detection program 9A may detect the line-of-sight position by executing an image recognition process on the user's image. For example, the line-of-sight detection program 9A extracts a predetermined area including the user's eyeball from the user's image, specifies the line-of-sight direction based on the positional relationship between the eye and the iris, The line-of-sight position is detected based on the distance from the person's eyeball to the touch screen display 2. Alternatively, the line-of-sight detection program 9A accumulates, as reference images, images of a plurality of eyeballs when the user is browsing various display areas on the touch screen display 2, and acquires them as reference images and determination targets. The eye-gaze position is detected by collating with the image of the user's eyeball. The line-of-sight detection program 9A is an example of a line-of-sight detection unit.

操作判別プログラム9Bは、上記視線位置の移動に同期して、圧力検出センサ17により外部からの圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するための機能を提供する。操作判別プログラム9Bは、例えば、タッチスクリーンディスプレイ2上の表示領域からタッチスクリーンディスプレイ2の表示領域外への上記視線位置の移動を検出した場合には、当該視線位置の移動の方向に対応するフリック操作が利用者により行われたものとして内部的に処理する。   When the pressure detection sensor 17 detects an external pressure in synchronization with the movement of the line-of-sight position, the operation determination program 9B performs processing as a flick operation corresponding to the direction of movement of the line-of-sight position. Provide functionality. For example, when the movement determination program 9B detects the movement of the line-of-sight position from the display area on the touch screen display 2 to the outside of the display area of the touch screen display 2, the flick corresponding to the direction of movement of the line-of-sight position is detected. It is processed internally as if the operation was performed by the user.

電話アプリケーション9Cは、無線通信による通話のための通話機能を提供する。   The telephone application 9C provides a telephone call function for a telephone call by wireless communication.

設定データ9Zは、視線検出プログラム9A、及び操作判別プログラム9Bにより提供される機能に基づいて実行される処理に用いられる各種データを含んで構成される。   The setting data 9Z includes various data used for processing executed based on functions provided by the line-of-sight detection program 9A and the operation determination program 9B.

コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、スマートフォン1の動作を統括的に制御して各種の機能を実現する。コントローラ10は、制御部の一例である。   The controller 10 is an arithmetic processing device. The arithmetic processing unit includes, for example, a CPU (Central Processing Unit), an SoC (System-on-a-Chip), an MCU (Micro Control Unit), an FPGA (Field-Programmable Gate Array), and a coprocessor. It is not limited. The controller 10 controls various operations of the smartphone 1 to realize various functions. The controller 10 is an example of a control unit.

具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、スピーカ11、及び赤外線照射部13を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、加速度センサ15、方位センサ16、及び圧力検出センサ17を含むが、これらに限定されない。   Specifically, the controller 10 executes instructions included in the program stored in the storage 9 while referring to the data stored in the storage 9 as necessary. And the controller 10 controls a function part according to data and a command, and implement | achieves various functions by it. The functional unit includes, for example, the display 2A, the communication unit 6, the microphone 8, the speaker 11, and the infrared irradiation unit 13, but is not limited thereto. The controller 10 may change the control according to the detection result of the detection unit. The detection unit includes, for example, the touch screen 2B, the button 3, the illuminance sensor 4, the proximity sensor 5, the microphone 8, the camera 12, the acceleration sensor 15, the direction sensor 16, and the pressure detection sensor 17, but is not limited thereto.

コントローラ10は、視線検出プログラム9A、及び操作判別プログラム9Bを実行することにより、次の処理を実行する。すなわち、コントローラ10は、タッチスクリーンディスプレイ2上の表示領域からタッチスクリーンディスプレイ2の表示領域外への上記視線位置の移動を検出した場合には、当該視線位置の移動の方向に対応するフリック操作が利用者により行われたものとして内部的に処理する。   The controller 10 executes the following processing by executing the line-of-sight detection program 9A and the operation determination program 9B. That is, when the controller 10 detects the movement of the line of sight position from the display area on the touch screen display 2 to the outside of the display area of the touch screen display 2, a flick operation corresponding to the direction of movement of the line of sight position is performed. Process internally as done by the user.

以下、図2〜図5を用いて、実施形態1に係るスマートフォン1により実行される処理の例を説明する。図2〜図5は、実施形態1に係るスマートフォン1により実行される処理の例を説明するための図である。図2〜図5に示す例では、利用者の手H1によりスマートフォン1が握られている状態を示す。   Hereinafter, the example of the process performed by the smart phone 1 which concerns on Embodiment 1 is demonstrated using FIGS. 2-5 is a figure for demonstrating the example of the process performed by the smart phone 1 which concerns on Embodiment 1. FIG. The example shown in FIGS. 2-5 shows the state in which the smart phone 1 is gripped by the user's hand H1.

図2に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d1に対応するフリック操作が行われたものとして内部的に処理する。   As shown in FIG. 2, the smartphone 1 detects an external pressure in synchronization with the detection of the movement of the line-of-sight position outside the display area of the touch screen display 2 from the display area of the touch screen display 2. Then, it is internally processed as a flick operation corresponding to the direction of movement d1 of the line-of-sight position.

また、図3に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d2に対応するフリック操作が行われたものとして内部的に処理する。   Further, as shown in FIG. 3, the smartphone 1 is configured so that the external pressure is synchronized with the movement of the line-of-sight position detected from the display area of the touch screen display 2 to the outside of the display area of the touch screen display 2. Is detected internally as a flick operation corresponding to the direction of movement d2 of the line-of-sight position has been performed.

また、図4に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d3に対応するフリック操作が行われたものとして内部的に処理する。   Further, as shown in FIG. 4, the smartphone 1 is configured so that the external pressure is synchronized with the movement of the line-of-sight position detected from the display area of the touch screen display 2 to the outside of the display area of the touch screen display 2. Is detected internally as a flick operation corresponding to the direction of movement d3 of the line-of-sight position has been performed.

また、図5に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d4に対応するフリック操作が行われたものとして内部的に処理する。   Further, as shown in FIG. 5, the smartphone 1 is configured so that the external pressure is synchronized with the movement of the line-of-sight position detected from the display area of the touch screen display 2 to the outside of the display area of the touch screen display 2. Is detected internally as a flick operation corresponding to the direction of movement d4 of the line-of-sight position has been performed.

スピーカ11は、音出力部である。スピーカ11は、コントローラ10から送信される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。   The speaker 11 is a sound output unit. The speaker 11 outputs the sound signal transmitted from the controller 10 as sound. The speaker 11 is used for outputting a ring tone and music, for example. One of the receiver 7 and the speaker 11 may also function as the other.

カメラ12は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ12は、例えば、タッチスクリーンディスプレイ2に視線を向ける利用者の眼球の画像を撮影する。カメラ12は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとしてスマートフォン1に実装されてもよい。赤外線照射部13は、カメラ12により実行される撮影に同期して、赤外線を照射する。   The camera 12 converts the captured image into an electrical signal. The camera 12 is an in camera that captures an object facing the display 2A. For example, the camera 12 captures an image of the eyeball of the user who turns his / her line of sight toward the touch screen display 2. The camera 12 may be mounted on the smartphone 1 as a camera unit that can be used by switching between the in-camera and the out-camera. The infrared irradiation unit 13 irradiates infrared rays in synchronization with photographing performed by the camera 12.

コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。   The connector 14 is a terminal to which another device is connected. The connector 14 may be a general-purpose terminal such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), Light Peak (Thunderbolt (registered trademark)), and an earphone microphone connector. . The connector 14 may be a dedicated terminal such as a dock connector. Devices connected to the connector 14 include, but are not limited to, external storage, speakers, and communication devices, for example.

加速度センサ15は、スマートフォン1に作用する加速度の方向及び大きさを検出する。方位センサ16は、例えば、地磁気の向きを検出し、地磁気の向きに基づいて、スマートフォン1の向き(方位)を検出する。   The acceleration sensor 15 detects the direction and magnitude of acceleration acting on the smartphone 1. The direction sensor 16 detects, for example, the direction of geomagnetism, and detects the direction (azimuth) of the smartphone 1 based on the direction of geomagnetism.

圧力検出センサ17は、外部からの圧力を検出する。圧力検出センサ17が検出する圧力には、スマートフォン1の筐体に対して利用者により加えられた力が含まれる。圧力検出センサ17は、例えば、スマートフォン1の筐体の側面部(長手方向の側面)に配置することができる。圧力検出センサ17は、スマートフォン1の筐体の側面部全体に配置してもよいし、側面部に部分的に配置してもよい。圧力検出センサ17は、圧力検出部の一例である。   The pressure detection sensor 17 detects an external pressure. The pressure detected by the pressure detection sensor 17 includes a force applied by the user to the housing of the smartphone 1. The pressure detection sensor 17 can be arrange | positioned at the side part (side surface of a longitudinal direction) of the housing | casing of the smart phone 1, for example. The pressure detection sensor 17 may be disposed on the entire side surface portion of the housing of the smartphone 1 or may be partially disposed on the side surface portion. The pressure detection sensor 17 is an example of a pressure detection unit.

スマートフォン1は、上記の各機能部の他、GPS受信機、及びバイブレータを備えてもよい。GPS受信機は、GPS衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。バイブレータは、スマートフォン1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。図1には示していないが、バッテリなど、スマートフォン1の機能を維持するために当然に用いられる機能部はスマートフォン1に実装される。   The smartphone 1 may include a GPS receiver and a vibrator in addition to the above functional units. The GPS receiver receives a radio signal in a predetermined frequency band from a GPS satellite, demodulates the received radio signal, and sends the processed signal to the controller 10. The vibrator vibrates a part or the whole of the smartphone 1. The vibrator includes, for example, a piezoelectric element or an eccentric motor in order to generate vibration. Although not shown in FIG. 1, functional units such as a battery that are naturally used to maintain the functions of the smartphone 1 are mounted on the smartphone 1.

図6を参照しつつ、実施形態1に係るスマートフォン1による処理の流れを説明する。図6は、実施形態1に係るスマートフォン1による処理の流れを示すフローチャートである。図6に示す処理は、コントローラ10が、ストレージ9に記憶されている視線検出プログラム9A及び操作判別プログラム9Bなどを実行することにより実現される。   The flow of processing by the smartphone 1 according to the first embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating a process flow by the smartphone 1 according to the first embodiment. The process illustrated in FIG. 6 is realized by the controller 10 executing the line-of-sight detection program 9A, the operation determination program 9B, and the like stored in the storage 9.

図6に示すように、コントローラ10は、タッチスクリーンディスプレイ2上に視線位置を検出したかを判定する(ステップS101)。   As illustrated in FIG. 6, the controller 10 determines whether the line-of-sight position is detected on the touch screen display 2 (step S <b> 101).

コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出した場合には(ステップS101,Yes)、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出したかを判定する(ステップS102)。   When the controller 10 detects the line-of-sight position on the touch screen display 2 as a result of the determination (step S101, Yes), the controller 10 determines whether the movement of the line-of-sight position outside the display area of the touch screen display 2 is detected. (Step S102).

コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出した場合には(ステップS102,Yes)、視線位置の移動に同期して圧力が検出されたかを判定する(ステップS103)。   When the controller 10 detects the movement of the line-of-sight position outside the display area of the touch screen display 2 as a result of the determination (step S102, Yes), the controller 10 determines whether pressure is detected in synchronization with the movement of the line-of-sight position. (Step S103).

コントローラ10は、判定の結果、視線位置の移動に同期して圧力が検出された場合には(ステップS103,Yes)、視線位置の移動の方向に対応するフリック操作として処理し(ステップS104)、上記ステップS101の処理手順に戻る。   When the pressure is detected in synchronization with the movement of the line-of-sight position as a result of the determination (step S103, Yes), the controller 10 processes as a flick operation corresponding to the direction of movement of the line-of-sight position (step S104). Returning to the processing procedure of step S101.

上記ステップS103において、コントローラ10は、判定の結果、視線位置の移動に同期して圧力が検出されない場合には(ステップS103,No)、上記ステップS101の処理手順に戻る。   In step S103, if the pressure is not detected in synchronization with the movement of the line-of-sight position as a result of the determination (step S103, No), the controller 10 returns to the processing procedure of step S101.

上記ステップS102において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出しない場合には(ステップS102,No)、上記ステップS101の処理手順に戻る。   In step S102, when the controller 10 does not detect the movement of the line-of-sight position outside the display area of the touch screen display 2 as a result of the determination (No in step S102), the process returns to the processing procedure in step S101.

上記ステップS101において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出しない場合には(ステップS101,No)、同判定を繰り返し実行する。   In step S101, if the controller 10 does not detect the line-of-sight position on the touch screen display 2 as a result of the determination (No in step S101), the controller 10 repeatedly executes the determination.

上記図6に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行してもよい。上記図6に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行する場合に限られない。例えば、利用者が、上記図6に示す処理を実行するか否かについて任意に設定してもよい。   The process shown in FIG. 6 may be repeatedly executed while a screen other than the lock screen is displayed on the touch screen display 2. The process shown in FIG. 6 is not limited to the case where the process is repeatedly executed while a screen other than the lock screen is displayed on the touch screen display 2. For example, the user may arbitrarily set whether or not to execute the process shown in FIG.

上記の実施形態1では、スマートフォン1は、視線位置の移動に同期して圧力が検出された場合には、視線位置の移動の方向に対応するフリック操作として処理する。このため、実施形態1によれば、例えば、左手にスマートフォン1を持ち、さらに右手が手荷物等でふさがっているような場合であっても、スマートフォン1へ操作を伝達できる。これにより、スマートフォン1の操作性を向上できる。   In the first embodiment, when the pressure is detected in synchronization with the movement of the line-of-sight position, the smartphone 1 processes the flick operation corresponding to the direction of movement of the line-of-sight position. Therefore, according to the first embodiment, for example, even when the smartphone 1 is held in the left hand and the right hand is covered with baggage or the like, the operation can be transmitted to the smartphone 1. Thereby, the operativity of the smart phone 1 can be improved.

(実施形態2)
上記の実施形態1では、視線位置の移動に同期して圧力が検出された場合、視線位置の移動の方向に対応するフリック操作として処理する例を説明したが、これには限定されない。例えば、圧力が検出されている間に、視線位置の移動が検出された場合にも、視線位置の移動の方向に対応するフリック操作として処理してもよい。実施形態2に係るスマートフォン1の機能構成は、以下に説明する点が実施形態1とは異なる。
(Embodiment 2)
In the first embodiment described above, an example is described in which, when pressure is detected in synchronization with the movement of the line-of-sight position, processing is performed as a flick operation corresponding to the direction of movement of the line-of-sight position, but the present invention is not limited to this. For example, even when the movement of the line-of-sight position is detected while the pressure is detected, it may be processed as a flick operation corresponding to the direction of movement of the line-of-sight position. The functional configuration of the smartphone 1 according to the second embodiment is different from that of the first embodiment in the points described below.

操作判別プログラム9Bは、圧力検出部17により外部からの圧力が検出されている間に、タッチスクリーンディスプレイ2の表示領域上からタッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出された場合には、当該視線位置の移動の方向に対応するフリック操作として処理するための機能を提供する。   The operation determination program 9B detects the movement of the line-of-sight position from the display area of the touch screen display 2 to the outside of the display area of the touch screen display 2 while the pressure detection unit 17 detects the external pressure. In this case, a function for processing as a flick operation corresponding to the direction of movement of the line-of-sight position is provided.

コントローラ10は、視線検出プログラム9A、及び操作判別プログラム9Bを実行することにより、次の処理を実行する。すなわち、コントローラ10は、圧力検出部17により外部からの圧力が検出されている間に、タッチスクリーンディスプレイ2の表示領域上からタッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出された場合には、当該視線位置の移動の方向に対応するフリック操作が利用者により行われたものとして内部的に処理する。   The controller 10 executes the following processing by executing the line-of-sight detection program 9A and the operation determination program 9B. That is, the controller 10 detects the movement of the line-of-sight position from the display area of the touch screen display 2 to the outside of the display area of the touch screen display 2 while the external pressure is detected by the pressure detection unit 17. In this case, it is internally processed as a flick operation corresponding to the movement direction of the line-of-sight position being performed by the user.

図7を参照しつつ、実施形態2に係るスマートフォン1による処理の流れを説明する。図7は、実施形態2に係るスマートフォン1による処理の流れを示すフローチャートである。図7に示す処理は、コントローラ10が、ストレージ9に記憶されている視線検出プログラム9A及び操作判別プログラム9Bなどを実行することにより実現される。   The flow of processing by the smartphone 1 according to the second embodiment will be described with reference to FIG. FIG. 7 is a flowchart showing a flow of processing by the smartphone 1 according to the second embodiment. The processing shown in FIG. 7 is realized by the controller 10 executing the line-of-sight detection program 9A and the operation determination program 9B stored in the storage 9.

コントローラ10は、圧力が検出されたかを判定する(ステップS201)。   The controller 10 determines whether a pressure is detected (step S201).

コントローラ10は、判定の結果、圧力が検出された場合には(ステップS201,Yes)、タッチスクリーンディスプレイ2上に視線位置を検出したかを判定する(ステップS202)。   When the pressure is detected as a result of the determination (step S201, Yes), the controller 10 determines whether the line-of-sight position is detected on the touch screen display 2 (step S202).

コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出した場合には(ステップS202,Yes)、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出したかを判定する(ステップS203)。   When the controller 10 detects the line-of-sight position on the touch screen display 2 as a result of the determination (step S202, Yes), the controller 10 determines whether the movement of the line-of-sight position outside the display area of the touch screen display 2 is detected. (Step S203).

コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出した場合には(ステップS203,Yes)、視線位置の移動の方向に対応するフリック操作として処理し(ステップS204)、上記ステップS201の処理手順に戻る。   When the controller 10 detects the movement of the line-of-sight position outside the display area of the touch screen display 2 as a result of the determination (step S203, Yes), the controller 10 processes it as a flick operation corresponding to the direction of movement of the line-of-sight position ( Step S204), the process returns to step S201.

上記ステップS203において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出しない場合には(ステップS203,No)、上記ステップS201の処理手順に戻る。   In step S203, if the controller 10 does not detect the movement of the line-of-sight position outside the display area of the touch screen display 2 as a result of the determination (step S203, No), the process returns to the processing procedure of step S201.

上記ステップS202において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出しない場合には(ステップS202,No)、上記ステップS201の処理手順に戻る。   In step S202, when the controller 10 does not detect the line-of-sight position on the touch screen display 2 as a result of the determination (step S202, No), the controller 10 returns to the processing procedure of step S201.

上記ステップS201において、コントローラ10は、判定の結果、圧力が検出されない場合には(ステップS201,No)、同判定を繰り返し実行する。   In step S201, if the pressure is not detected as a result of the determination (No in step S201), the controller 10 repeatedly executes the determination.

上記図7に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行してもよい。上記図7に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行する場合に限られない。例えば、利用者が、上記図7に示す処理を実行するか否かについて任意に設定してもよい。   The process shown in FIG. 7 may be repeatedly executed while a screen other than the lock screen is displayed on the touch screen display 2. The process shown in FIG. 7 is not limited to the case where the process is repeatedly executed while a screen other than the lock screen is displayed on the touch screen display 2. For example, the user may arbitrarily set whether or not to execute the process shown in FIG.

上記の実施形態では、添付の請求項に係る装置の例として、スマートフォン1について説明したが、添付の請求項に係る装置は、スマートフォン1に限定されない。添付の請求項に係る装置は、スクリーンを有する電子機器であれば、スマートフォン以外の装置であってもよい。   In said embodiment, although the smart phone 1 was demonstrated as an example of the apparatus which concerns on an attached claim, the apparatus which concerns on an attached claim is not limited to the smart phone 1. FIG. The device according to the appended claims may be a device other than a smartphone as long as it is an electronic device having a screen.

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。   The characterizing embodiments have been described in order to fully and clearly disclose the technology according to the appended claims. However, the appended claims should not be limited to the above-described embodiments, but all modifications and alternatives that can be created by those skilled in the art within the scope of the basic matters shown in this specification. Should be embodied by a possible configuration.

1 スマートフォン
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 視線検出プログラム
9B 操作判別プログラム
9C 電話アプリケーション
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 赤外線照射部
14 コネクタ
15 加速度センサ
16 方位センサ
17 圧力検出センサ
DESCRIPTION OF SYMBOLS 1 Smart phone 2 Touch screen display 2A Display 2B Touch screen 3 Button 4 Illuminance sensor 5 Proximity sensor 6 Communication unit 7 Receiver 8 Microphone 9 Storage 9A Eye-gaze detection program 9B Operation discrimination program 9C Telephone application 9Z Setting data 10 Controller 11 Speaker 12 Camera 13 Infrared Irradiation unit 14 Connector 15 Acceleration sensor 16 Direction sensor 17 Pressure detection sensor

Claims (5)

表示部と、
視線位置の移動を検出する視線検出部と、
外部からの圧力を検出する圧力検出部と、
前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出されるのに同期して前記圧力検出部により前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部と
を有する電子機器。
A display unit;
A line-of-sight detection unit that detects movement of the line-of-sight position;
A pressure detector for detecting pressure from the outside;
When the pressure is detected by the pressure detection unit in synchronization with the movement of the line-of-sight position detected from the display unit to the outside of the display unit, the movement of the line-of-sight position is detected. And a control unit that processes as a flick operation corresponding to the direction of the electronic device.
表示部と、
視線位置の移動を検出する視線検出部と、
外部からの圧力を検出する圧力検出部と、
前記圧力検出部により前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部と
を有する電子機器。
A display unit;
A line-of-sight detection unit that detects movement of the line-of-sight position;
A pressure detector for detecting pressure from the outside;
If the movement of the line-of-sight position from the display unit to the outside of the display unit is detected by the line-of-sight detection unit while the pressure is detected by the pressure detection unit, the movement of the line-of-sight position is And an electronic device having a control unit for processing as a flick operation corresponding to a direction.
前記圧力検出部を前記電子機器の筐体の側面部に配置した請求項1又は2に記載の電子機器。   The electronic device according to claim 1, wherein the pressure detection unit is disposed on a side surface of a casing of the electronic device. 表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部とを有する電子機器に実行させる制御方法であって、
前記表示部上から前記表示部外への前記視線位置の移動を検出するステップと、
前記視線位置の移動が検出されるのに同期して前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップと
を含む制御方法。
A control method for causing an electronic device to include a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, and a pressure detection unit that detects pressure from the outside,
Detecting the movement of the line-of-sight position from the display unit to the outside of the display unit;
And a step of processing as a flick operation corresponding to a direction of movement of the line-of-sight position when the pressure is detected in synchronization with detection of movement of the line-of-sight position.
表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部とを有する電子機器に実行させる制御方法であって、
前記圧力を検出するステップと、
前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップと
を含む制御方法。
A control method for causing an electronic device to include a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, and a pressure detection unit that detects pressure from the outside,
Detecting the pressure;
When the movement of the line-of-sight position from the display unit to the outside of the display unit is detected while the pressure is detected, the step of processing as a flick operation corresponding to the direction of movement of the line-of-sight position A control method including and.
JP2015011559A 2015-01-23 2015-01-23 Electronic apparatus and control method Pending JP2016136351A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015011559A JP2016136351A (en) 2015-01-23 2015-01-23 Electronic apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015011559A JP2016136351A (en) 2015-01-23 2015-01-23 Electronic apparatus and control method

Publications (1)

Publication Number Publication Date
JP2016136351A true JP2016136351A (en) 2016-07-28

Family

ID=56512599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015011559A Pending JP2016136351A (en) 2015-01-23 2015-01-23 Electronic apparatus and control method

Country Status (1)

Country Link
JP (1) JP2016136351A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129915A (en) * 2016-01-18 2017-07-27 株式会社東海理化電機製作所 Operation device
JP2020525879A (en) * 2017-12-15 2020-08-27 グーグル エルエルシー Ultra low power mode for low cost force sensing devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152443A (en) * 2008-12-24 2010-07-08 Brother Ind Ltd Head mounted display
JP2010267071A (en) * 2009-05-14 2010-11-25 Ntt Docomo Inc Input device and input method
JP2011138421A (en) * 2009-12-29 2011-07-14 Mic Ware:Kk Apparatus and method for displaying map, and program
US20130283208A1 (en) * 2012-03-26 2013-10-24 Primesense Ltd. Gaze-enhanced virtual touchscreen
JP2014006640A (en) * 2012-06-22 2014-01-16 Ntt Docomo Inc Display device, display method, and program
WO2014207828A1 (en) * 2013-06-25 2014-12-31 富士通株式会社 Information processing device and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152443A (en) * 2008-12-24 2010-07-08 Brother Ind Ltd Head mounted display
JP2010267071A (en) * 2009-05-14 2010-11-25 Ntt Docomo Inc Input device and input method
JP2011138421A (en) * 2009-12-29 2011-07-14 Mic Ware:Kk Apparatus and method for displaying map, and program
US20130283208A1 (en) * 2012-03-26 2013-10-24 Primesense Ltd. Gaze-enhanced virtual touchscreen
JP2014006640A (en) * 2012-06-22 2014-01-16 Ntt Docomo Inc Display device, display method, and program
WO2014207828A1 (en) * 2013-06-25 2014-12-31 富士通株式会社 Information processing device and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129915A (en) * 2016-01-18 2017-07-27 株式会社東海理化電機製作所 Operation device
JP2020525879A (en) * 2017-12-15 2020-08-27 グーグル エルエルシー Ultra low power mode for low cost force sensing devices

Similar Documents

Publication Publication Date Title
JP6549693B2 (en) Wearable device, control method and control program
JP6215128B2 (en) Portable electronic device, control method and control program
JP2019029776A (en) Portable electronic apparatus, flying body, and telephone system
JP2017195444A (en) Portable electronic device, security control method, and security control program
JP2017195445A (en) Portable electronic apparatus, security control method, and security control program
JP6247203B2 (en) Portable electronic device and control method
JP6141352B2 (en) Electronic equipment and control program
JP2016136351A (en) Electronic apparatus and control method
JP6373722B2 (en) Portable terminal and control method
JP2015069225A (en) Electronic apparatus
JP6416598B2 (en) Portable terminal and control method
JP6396202B2 (en) Electronic device and display control method
JP6261546B2 (en) Portable device, control method and control program
JP6062484B2 (en) Electronic device, control method, and control program
JP6560410B2 (en) Mobile terminal and control method
JP6399944B2 (en) Electronic device, control method, and control program
KR20160032915A (en) Mobile terminal
JP6495149B2 (en) Electronic device, control method, and control program
JP2019026022A (en) Portable electronic equipment and security system
JP2017021468A (en) Electronic apparatus, image processing method, and image processing program
JP6152334B2 (en) Electronic device, control method, and control program
US10447640B2 (en) Communication device, control method, and control program
JP2019032846A (en) Electronic apparatus and display control method
JP2016103105A (en) Portable terminal and control method therefor
JP2019041219A (en) Portable terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180820

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181211