JP2016136351A - Electronic apparatus and control method - Google Patents
Electronic apparatus and control method Download PDFInfo
- Publication number
- JP2016136351A JP2016136351A JP2015011559A JP2015011559A JP2016136351A JP 2016136351 A JP2016136351 A JP 2016136351A JP 2015011559 A JP2015011559 A JP 2015011559A JP 2015011559 A JP2015011559 A JP 2015011559A JP 2016136351 A JP2016136351 A JP 2016136351A
- Authority
- JP
- Japan
- Prior art keywords
- line
- movement
- sight
- pressure
- touch screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本出願は、電子機器及び制御方法に関する。 The present application relates to an electronic device and a control method.
従来、コンピュータを操作するインターフェースとして、視線の動きを使用し、画面上のアイコンをポインティングすることで座標を検出し、携帯端末へ操作を伝達する、視線入力がある(特許文献1参照)。 2. Description of the Related Art Conventionally, as an interface for operating a computer, there is a line-of-sight input that uses the movement of a line of sight, detects coordinates by pointing an icon on a screen, and transmits the operation to a portable terminal (see Patent Document 1).
タッチスクリーンのように、タッチジェスチャにより操作を行う電子機器では、上記特許文献1に開示の技術であっても、例えば、左手に携帯端末を持ち、さらに右手がふさがっているような場合、タッチジェスチャによって携帯端末へ操作を伝達することが困難である。 In an electronic device that performs an operation using a touch gesture such as a touch screen, even if the technique disclosed in Patent Document 1 above is used, for example, when the mobile terminal is held in the left hand and the right hand is blocked, the touch gesture is performed. Therefore, it is difficult to transmit the operation to the mobile terminal.
上記のことから、タッチジェスチャができない状況における操作性(例えばフリック)を向上させた電子機器及び制御方法を提供する必要がある。 From the above, it is necessary to provide an electronic device and a control method that improve operability (for example, flick) in a situation where touch gestures cannot be performed.
1つの態様に係る電子機器は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部と、前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出されるのに同期して前記圧力検出部により前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部とを有する。 An electronic apparatus according to one aspect includes a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, a pressure detection unit that detects pressure from the outside, and the line of sight from the display unit to the outside of the display unit A control unit for processing as a flick operation corresponding to the direction of movement of the line-of-sight position when the pressure is detected by the pressure detection unit in synchronization with the movement of the position detected by the line-of-sight detection unit; Have
1つの態様に係る電子機器は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部と、前記圧力検出部により前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部とを有する。 An electronic device according to one aspect includes a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, a pressure detection unit that detects pressure from the outside, and the pressure detection unit while the pressure is detected And a control unit that performs processing as a flick operation corresponding to the direction of movement of the line-of-sight position when the movement of the line-of-sight position from the display unit to the outside of the display unit is detected by the line-of-sight detection unit. Have.
1つの態様に係る制御方法は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部とを有する電子機器に実行させる制御方法であって、前記表示部上から前記表示部外への前記視線位置の移動を検出するステップと、前記視線位置の移動が検出されるのに同期して前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップとを含む。 A control method according to one aspect is a control method that is executed by an electronic apparatus having a display unit, a line-of-sight detection unit that detects movement of a line-of-sight position, and a pressure detection unit that detects pressure from the outside, A step of detecting the movement of the line-of-sight position from the display unit to the outside of the display unit; and the movement of the line-of-sight position when the pressure is detected in synchronization with the movement of the line-of-sight position being detected. Processing as a flick operation corresponding to the direction.
1つの態様に係る制御方法は、表示部と、視線位置の移動を検出する視線検出部と、外部からの圧力を検出する圧力検出部とを有する電子機器に実行させる制御方法であって、前記圧力を検出するステップと、前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップとを含む。 A control method according to one aspect is a control method that is executed by an electronic apparatus having a display unit, a line-of-sight detection unit that detects movement of a line-of-sight position, and a pressure detection unit that detects pressure from the outside, Corresponding to the direction of movement of the line-of-sight position when the movement of the line-of-sight position from the display unit to the outside of the display unit is detected while the pressure is detected Processing as a flick operation.
本出願に係る電子機器および制御方法を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、本出願に係る電子機器の一例として、スマートフォンについて説明する。 An embodiment for carrying out an electronic device and a control method according to the present application will be described in detail with reference to the drawings. Below, a smart phone is demonstrated as an example of the electronic device which concerns on this application.
(実施形態1)
図1を参照しつつ、実施形態に係るスマートフォン1の機能構成の一例を説明する。図1は、実施形態1に係るスマートフォンの機能構成を示すブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。
(Embodiment 1)
An example of a functional configuration of the smartphone 1 according to the embodiment will be described with reference to FIG. FIG. 1 is a block diagram illustrating a functional configuration of the smartphone according to the first embodiment. In the following description, the same code | symbol may be attached | subjected to the same component. Furthermore, duplicate descriptions may be omitted.
図1に示すように、スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、赤外線照射部13と、コネクタ14と、加速度センサ15と、方位センサ16と、圧力検出センサ17とを備える。
As shown in FIG. 1, the smartphone 1 includes a
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ2Aとタッチスクリーン2Bとが重ねて配置される場合、例えば、ディスプレイ2Aの1ないし複数の辺がタッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。タッチスクリーンディスプレイ2は、表示部の一例である。
The
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、及び図形等を表示する。ディスプレイ2Aが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。
The
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等(以下、単に「指」という)がタッチスクリーン2B(タッチスクリーンディスプレイ2)に接触したときのタッチスクリーン2B上の位置(以下、接触位置と表記する)を検出することができる。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触を、接触位置とともにコントローラ10に通知する。タッチスクリーン2Bは、接触位置検出部の一例である。
The touch screen 2B detects contact of a finger, a pen, a stylus pen, or the like with respect to the touch screen 2B. The touch screen 2B is a position (hereinafter referred to as a contact position) on the touch screen 2B when a plurality of fingers, a pen, a stylus pen or the like (hereinafter simply referred to as “finger”) contacts the touch screen 2B (touch screen display 2). Can be detected. The touch screen 2B notifies the
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(又は超音波方式)、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。なお、本願の実施形態においては、利用者がタッチスクリーン2Bに接触できない場合を想定しているものであり、本願の実施形態の説明で利用者がタッチスクリーン2Bに接触して操作することはない。 The detection method of the touch screen 2B may be any method such as a capacitance method, a resistive film method, a surface acoustic wave method (or an ultrasonic method), an infrared method, an electromagnetic induction method, and a load detection method. In the following description, in order to simplify the description, it is assumed that the user uses the finger to touch the touch screen 2B in order to operate the smartphone 1. In addition, in embodiment of this application, the case where a user cannot contact the touch screen 2B is assumed, and a user does not touch and operate the touch screen 2B by description of embodiment of this application. .
コントローラ10(スマートフォン1)は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン2B(タッチスクリーンディスプレイ2)に対して行われる操作である。コントローラ10(スマートフォン1)が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。なお、本願の実施形態においては特にフリックを例に説明をする。 The controller 10 (smart phone 1) has at least one of the contact detected by the touch screen 2B, the position at which the contact is detected, the change in the position at which the contact is detected, the interval at which the contact is detected, and the number of times the contact is detected. The type of gesture is determined based on the one. The gesture is an operation performed on the touch screen 2B (touch screen display 2) using a finger. The gestures that the controller 10 (smart phone 1) determines via the touch screen 2B include, for example, touch, long touch, release, swipe, tap, double tap, long tap, drag, flick, pinch in, and pinch out. However, it is not limited to these. In the embodiment of the present application, a flick will be described as an example.
ボタン3は、利用者からの操作入力を受け付ける。ボタン3の数は、単数であっても、複数であってもよい。
The
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。照度センサ4は、照度検出部の一例である。
The illuminance sensor 4 detects illuminance. The illuminance is the value of the light beam incident on the unit area of the measurement surface of the illuminance sensor 4. The illuminance sensor 4 is used for adjusting the luminance of the
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aが顔に近づけられたことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
The
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。 The communication unit 6 communicates wirelessly. The wireless communication standards supported by the communication unit 6 include, for example, cellular phone communication standards such as 2G, 3G, and 4G, and short-range wireless communication standards. Cellular phone communication standards include, for example, LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), WiMAX (Worldwide PDA), WiMAX (Worldwide Interoperability Pc) ) (Global System for Mobile Communications), PHS (Personal Handy-phone System), and the like. Examples of short-range wireless communication standards include IEEE 802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (Near Field Communication), and WPAN (Wireless Personal Area Network). As a communication standard of WPAN, for example, there is ZigBee (registered trademark). The communication unit 6 may support one or more of the communication standards described above.
レシーバ7は、音出力部である。レシーバ7は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。マイク8は、音入力部である。マイク8は、利用者の声等を音信号へ変換してコントローラ10へ送信する。
The receiver 7 is a sound output unit. The receiver 7 outputs the sound signal transmitted from the
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
The storage 9 stores programs and data. The storage 9 is also used as a work area for temporarily storing the processing result of the
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラム(図示略)とが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ2Aに画面が表示される。制御プログラムには、例えば、OSが含まれる。アプリケーション及び基本プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
The programs stored in the storage 9 include an application executed in the foreground or the background, and a control program (not shown) that supports the operation of the application. An application executed in the foreground displays a screen on the
ストレージ9は、視線検出プログラム9A、操作判別プログラム9B、電話アプリケーション9C、設定データ9Zなどを記憶する。
The storage 9 stores a line-of-
視線検出プログラム9Aは、利用者の視線位置の移動を検出するための機能を提供する。なお、視線位置は、利用者の眼球内にある瞳孔の中心位置を起点として直線的に延伸する視線がタッチスクリーンディスプレイ2と交差するときのタッチスクリーンディスプレイ2上の位置に該当する。
The line-of-
視線検出プログラム9Aは、次のように、上記視線位置を検出する。すなわち、視線検出プログラム9Aは、利用者の画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置を検出する。具体的には、視線検出プログラム9Aは、利用者の画像を取得する際に、赤外線照射部13から赤外線を照射させる。視線検出プログラム9Aは、取得した利用者の画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線検出プログラム9Aは、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、利用者の視線の方向を特定する。視線検出プログラム9Aは、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判定し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判定する。視線検出プログラム9Aは、例えば、虹彩の大きさに基づいて、利用者の眼球とタッチスクリーンディスプレイ2との距離を算出する。視線検出プログラム9Aは、利用者の視線の方向と、利用者の眼球とタッチスクリーンディスプレイ2との距離とに基づいて、利用者の眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がタッチスクリーンディスプレイ2と交差するときのタッチスクリーンディスプレイ2上の位置である視線位置を検出する。
The line-of-
視線検出プログラム9Aは、上記視線位置の検出を再帰的に実行することにより、視線位置の移動を検出する。視線検出プログラム9Aは、例えば、タッチスクリーンディスプレイ2上の表示領域からタッチスクリーンディスプレイ2の表示領域外への上記視線位置の移動を検出する。
The line-of-
上記の例では、視線検出プログラム9Aが、角膜反射法を利用した処理を実行することにより、利用者の視線位置を検出する場合を説明したが、この例には限られない。例えば、視線検出プログラム9Aが、利用者の画像について画像認識処理を実行することにより、上記視線位置を検出するようにしてもよい。例えば、視線検出プログラム9Aは、利用者の画像から、利用者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向を特定し、特定した視線方向と、利用者の眼球からタッチスクリーンディスプレイ2までの距離とに基づいて、上記視線位置を検出する。あるいは、視線検出プログラム9Aは、利用者がタッチスクリーンディスプレイ2上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、判定対象として取得される利用者の眼球の画像とを照合することにより、上記視線位置を検出する。視線検出プログラム9Aは、視線検出部の一例である。
In the above example, the case where the line-of-
操作判別プログラム9Bは、上記視線位置の移動に同期して、圧力検出センサ17により外部からの圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するための機能を提供する。操作判別プログラム9Bは、例えば、タッチスクリーンディスプレイ2上の表示領域からタッチスクリーンディスプレイ2の表示領域外への上記視線位置の移動を検出した場合には、当該視線位置の移動の方向に対応するフリック操作が利用者により行われたものとして内部的に処理する。
When the pressure detection sensor 17 detects an external pressure in synchronization with the movement of the line-of-sight position, the
電話アプリケーション9Cは、無線通信による通話のための通話機能を提供する。
The
設定データ9Zは、視線検出プログラム9A、及び操作判別プログラム9Bにより提供される機能に基づいて実行される処理に用いられる各種データを含んで構成される。
The setting
コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、スマートフォン1の動作を統括的に制御して各種の機能を実現する。コントローラ10は、制御部の一例である。
The
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、スピーカ11、及び赤外線照射部13を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、加速度センサ15、方位センサ16、及び圧力検出センサ17を含むが、これらに限定されない。
Specifically, the
コントローラ10は、視線検出プログラム9A、及び操作判別プログラム9Bを実行することにより、次の処理を実行する。すなわち、コントローラ10は、タッチスクリーンディスプレイ2上の表示領域からタッチスクリーンディスプレイ2の表示領域外への上記視線位置の移動を検出した場合には、当該視線位置の移動の方向に対応するフリック操作が利用者により行われたものとして内部的に処理する。
The
以下、図2〜図5を用いて、実施形態1に係るスマートフォン1により実行される処理の例を説明する。図2〜図5は、実施形態1に係るスマートフォン1により実行される処理の例を説明するための図である。図2〜図5に示す例では、利用者の手H1によりスマートフォン1が握られている状態を示す。 Hereinafter, the example of the process performed by the smart phone 1 which concerns on Embodiment 1 is demonstrated using FIGS. 2-5 is a figure for demonstrating the example of the process performed by the smart phone 1 which concerns on Embodiment 1. FIG. The example shown in FIGS. 2-5 shows the state in which the smart phone 1 is gripped by the user's hand H1.
図2に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d1に対応するフリック操作が行われたものとして内部的に処理する。
As shown in FIG. 2, the smartphone 1 detects an external pressure in synchronization with the detection of the movement of the line-of-sight position outside the display area of the
また、図3に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d2に対応するフリック操作が行われたものとして内部的に処理する。
Further, as shown in FIG. 3, the smartphone 1 is configured so that the external pressure is synchronized with the movement of the line-of-sight position detected from the display area of the
また、図4に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d3に対応するフリック操作が行われたものとして内部的に処理する。
Further, as shown in FIG. 4, the smartphone 1 is configured so that the external pressure is synchronized with the movement of the line-of-sight position detected from the display area of the
また、図5に示すように、スマートフォン1は、タッチスクリーンディスプレイ2の表示領域上から、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出されるのに同期して外部からの圧力を検出すると、視線位置の移動の方向d4に対応するフリック操作が行われたものとして内部的に処理する。
Further, as shown in FIG. 5, the smartphone 1 is configured so that the external pressure is synchronized with the movement of the line-of-sight position detected from the display area of the
スピーカ11は、音出力部である。スピーカ11は、コントローラ10から送信される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
The speaker 11 is a sound output unit. The speaker 11 outputs the sound signal transmitted from the
カメラ12は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ12は、例えば、タッチスクリーンディスプレイ2に視線を向ける利用者の眼球の画像を撮影する。カメラ12は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとしてスマートフォン1に実装されてもよい。赤外線照射部13は、カメラ12により実行される撮影に同期して、赤外線を照射する。
The
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
The
加速度センサ15は、スマートフォン1に作用する加速度の方向及び大きさを検出する。方位センサ16は、例えば、地磁気の向きを検出し、地磁気の向きに基づいて、スマートフォン1の向き(方位)を検出する。
The
圧力検出センサ17は、外部からの圧力を検出する。圧力検出センサ17が検出する圧力には、スマートフォン1の筐体に対して利用者により加えられた力が含まれる。圧力検出センサ17は、例えば、スマートフォン1の筐体の側面部(長手方向の側面)に配置することができる。圧力検出センサ17は、スマートフォン1の筐体の側面部全体に配置してもよいし、側面部に部分的に配置してもよい。圧力検出センサ17は、圧力検出部の一例である。 The pressure detection sensor 17 detects an external pressure. The pressure detected by the pressure detection sensor 17 includes a force applied by the user to the housing of the smartphone 1. The pressure detection sensor 17 can be arrange | positioned at the side part (side surface of a longitudinal direction) of the housing | casing of the smart phone 1, for example. The pressure detection sensor 17 may be disposed on the entire side surface portion of the housing of the smartphone 1 or may be partially disposed on the side surface portion. The pressure detection sensor 17 is an example of a pressure detection unit.
スマートフォン1は、上記の各機能部の他、GPS受信機、及びバイブレータを備えてもよい。GPS受信機は、GPS衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。バイブレータは、スマートフォン1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。図1には示していないが、バッテリなど、スマートフォン1の機能を維持するために当然に用いられる機能部はスマートフォン1に実装される。
The smartphone 1 may include a GPS receiver and a vibrator in addition to the above functional units. The GPS receiver receives a radio signal in a predetermined frequency band from a GPS satellite, demodulates the received radio signal, and sends the processed signal to the
図6を参照しつつ、実施形態1に係るスマートフォン1による処理の流れを説明する。図6は、実施形態1に係るスマートフォン1による処理の流れを示すフローチャートである。図6に示す処理は、コントローラ10が、ストレージ9に記憶されている視線検出プログラム9A及び操作判別プログラム9Bなどを実行することにより実現される。
The flow of processing by the smartphone 1 according to the first embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating a process flow by the smartphone 1 according to the first embodiment. The process illustrated in FIG. 6 is realized by the
図6に示すように、コントローラ10は、タッチスクリーンディスプレイ2上に視線位置を検出したかを判定する(ステップS101)。
As illustrated in FIG. 6, the
コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出した場合には(ステップS101,Yes)、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出したかを判定する(ステップS102)。
When the
コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出した場合には(ステップS102,Yes)、視線位置の移動に同期して圧力が検出されたかを判定する(ステップS103)。
When the
コントローラ10は、判定の結果、視線位置の移動に同期して圧力が検出された場合には(ステップS103,Yes)、視線位置の移動の方向に対応するフリック操作として処理し(ステップS104)、上記ステップS101の処理手順に戻る。
When the pressure is detected in synchronization with the movement of the line-of-sight position as a result of the determination (step S103, Yes), the
上記ステップS103において、コントローラ10は、判定の結果、視線位置の移動に同期して圧力が検出されない場合には(ステップS103,No)、上記ステップS101の処理手順に戻る。
In step S103, if the pressure is not detected in synchronization with the movement of the line-of-sight position as a result of the determination (step S103, No), the
上記ステップS102において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出しない場合には(ステップS102,No)、上記ステップS101の処理手順に戻る。
In step S102, when the
上記ステップS101において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出しない場合には(ステップS101,No)、同判定を繰り返し実行する。
In step S101, if the
上記図6に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行してもよい。上記図6に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行する場合に限られない。例えば、利用者が、上記図6に示す処理を実行するか否かについて任意に設定してもよい。
The process shown in FIG. 6 may be repeatedly executed while a screen other than the lock screen is displayed on the
上記の実施形態1では、スマートフォン1は、視線位置の移動に同期して圧力が検出された場合には、視線位置の移動の方向に対応するフリック操作として処理する。このため、実施形態1によれば、例えば、左手にスマートフォン1を持ち、さらに右手が手荷物等でふさがっているような場合であっても、スマートフォン1へ操作を伝達できる。これにより、スマートフォン1の操作性を向上できる。 In the first embodiment, when the pressure is detected in synchronization with the movement of the line-of-sight position, the smartphone 1 processes the flick operation corresponding to the direction of movement of the line-of-sight position. Therefore, according to the first embodiment, for example, even when the smartphone 1 is held in the left hand and the right hand is covered with baggage or the like, the operation can be transmitted to the smartphone 1. Thereby, the operativity of the smart phone 1 can be improved.
(実施形態2)
上記の実施形態1では、視線位置の移動に同期して圧力が検出された場合、視線位置の移動の方向に対応するフリック操作として処理する例を説明したが、これには限定されない。例えば、圧力が検出されている間に、視線位置の移動が検出された場合にも、視線位置の移動の方向に対応するフリック操作として処理してもよい。実施形態2に係るスマートフォン1の機能構成は、以下に説明する点が実施形態1とは異なる。
(Embodiment 2)
In the first embodiment described above, an example is described in which, when pressure is detected in synchronization with the movement of the line-of-sight position, processing is performed as a flick operation corresponding to the direction of movement of the line-of-sight position, but the present invention is not limited to this. For example, even when the movement of the line-of-sight position is detected while the pressure is detected, it may be processed as a flick operation corresponding to the direction of movement of the line-of-sight position. The functional configuration of the smartphone 1 according to the second embodiment is different from that of the first embodiment in the points described below.
操作判別プログラム9Bは、圧力検出部17により外部からの圧力が検出されている間に、タッチスクリーンディスプレイ2の表示領域上からタッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出された場合には、当該視線位置の移動の方向に対応するフリック操作として処理するための機能を提供する。
The
コントローラ10は、視線検出プログラム9A、及び操作判別プログラム9Bを実行することにより、次の処理を実行する。すなわち、コントローラ10は、圧力検出部17により外部からの圧力が検出されている間に、タッチスクリーンディスプレイ2の表示領域上からタッチスクリーンディスプレイ2の表示領域外への視線位置の移動が検出された場合には、当該視線位置の移動の方向に対応するフリック操作が利用者により行われたものとして内部的に処理する。
The
図7を参照しつつ、実施形態2に係るスマートフォン1による処理の流れを説明する。図7は、実施形態2に係るスマートフォン1による処理の流れを示すフローチャートである。図7に示す処理は、コントローラ10が、ストレージ9に記憶されている視線検出プログラム9A及び操作判別プログラム9Bなどを実行することにより実現される。
The flow of processing by the smartphone 1 according to the second embodiment will be described with reference to FIG. FIG. 7 is a flowchart showing a flow of processing by the smartphone 1 according to the second embodiment. The processing shown in FIG. 7 is realized by the
コントローラ10は、圧力が検出されたかを判定する(ステップS201)。
The
コントローラ10は、判定の結果、圧力が検出された場合には(ステップS201,Yes)、タッチスクリーンディスプレイ2上に視線位置を検出したかを判定する(ステップS202)。
When the pressure is detected as a result of the determination (step S201, Yes), the
コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出した場合には(ステップS202,Yes)、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出したかを判定する(ステップS203)。
When the
コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出した場合には(ステップS203,Yes)、視線位置の移動の方向に対応するフリック操作として処理し(ステップS204)、上記ステップS201の処理手順に戻る。
When the
上記ステップS203において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2の表示領域外への視線位置の移動を検出しない場合には(ステップS203,No)、上記ステップS201の処理手順に戻る。
In step S203, if the
上記ステップS202において、コントローラ10は、判定の結果、タッチスクリーンディスプレイ2上に視線位置を検出しない場合には(ステップS202,No)、上記ステップS201の処理手順に戻る。
In step S202, when the
上記ステップS201において、コントローラ10は、判定の結果、圧力が検出されない場合には(ステップS201,No)、同判定を繰り返し実行する。
In step S201, if the pressure is not detected as a result of the determination (No in step S201), the
上記図7に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行してもよい。上記図7に示す処理は、タッチスクリーンディスプレイ2にロック画面以外の画面が表示されている間、繰り返し実行する場合に限られない。例えば、利用者が、上記図7に示す処理を実行するか否かについて任意に設定してもよい。
The process shown in FIG. 7 may be repeatedly executed while a screen other than the lock screen is displayed on the
上記の実施形態では、添付の請求項に係る装置の例として、スマートフォン1について説明したが、添付の請求項に係る装置は、スマートフォン1に限定されない。添付の請求項に係る装置は、スクリーンを有する電子機器であれば、スマートフォン以外の装置であってもよい。 In said embodiment, although the smart phone 1 was demonstrated as an example of the apparatus which concerns on an attached claim, the apparatus which concerns on an attached claim is not limited to the smart phone 1. FIG. The device according to the appended claims may be a device other than a smartphone as long as it is an electronic device having a screen.
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。 The characterizing embodiments have been described in order to fully and clearly disclose the technology according to the appended claims. However, the appended claims should not be limited to the above-described embodiments, but all modifications and alternatives that can be created by those skilled in the art within the scope of the basic matters shown in this specification. Should be embodied by a possible configuration.
1 スマートフォン
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 視線検出プログラム
9B 操作判別プログラム
9C 電話アプリケーション
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 赤外線照射部
14 コネクタ
15 加速度センサ
16 方位センサ
17 圧力検出センサ
DESCRIPTION OF SYMBOLS 1
Claims (5)
視線位置の移動を検出する視線検出部と、
外部からの圧力を検出する圧力検出部と、
前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出されるのに同期して前記圧力検出部により前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部と
を有する電子機器。 A display unit;
A line-of-sight detection unit that detects movement of the line-of-sight position;
A pressure detector for detecting pressure from the outside;
When the pressure is detected by the pressure detection unit in synchronization with the movement of the line-of-sight position detected from the display unit to the outside of the display unit, the movement of the line-of-sight position is detected. And a control unit that processes as a flick operation corresponding to the direction of the electronic device.
視線位置の移動を検出する視線検出部と、
外部からの圧力を検出する圧力検出部と、
前記圧力検出部により前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が前記視線検出部により検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理する制御部と
を有する電子機器。 A display unit;
A line-of-sight detection unit that detects movement of the line-of-sight position;
A pressure detector for detecting pressure from the outside;
If the movement of the line-of-sight position from the display unit to the outside of the display unit is detected by the line-of-sight detection unit while the pressure is detected by the pressure detection unit, the movement of the line-of-sight position is And an electronic device having a control unit for processing as a flick operation corresponding to a direction.
前記表示部上から前記表示部外への前記視線位置の移動を検出するステップと、
前記視線位置の移動が検出されるのに同期して前記圧力が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップと
を含む制御方法。 A control method for causing an electronic device to include a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, and a pressure detection unit that detects pressure from the outside,
Detecting the movement of the line-of-sight position from the display unit to the outside of the display unit;
And a step of processing as a flick operation corresponding to a direction of movement of the line-of-sight position when the pressure is detected in synchronization with detection of movement of the line-of-sight position.
前記圧力を検出するステップと、
前記圧力が検出されている間に、前記表示部上から前記表示部外への前記視線位置の移動が検出された場合には、前記視線位置の移動の方向に対応するフリック操作として処理するステップと
を含む制御方法。 A control method for causing an electronic device to include a display unit, a line-of-sight detection unit that detects movement of the line-of-sight position, and a pressure detection unit that detects pressure from the outside,
Detecting the pressure;
When the movement of the line-of-sight position from the display unit to the outside of the display unit is detected while the pressure is detected, the step of processing as a flick operation corresponding to the direction of movement of the line-of-sight position A control method including and.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015011559A JP2016136351A (en) | 2015-01-23 | 2015-01-23 | Electronic apparatus and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015011559A JP2016136351A (en) | 2015-01-23 | 2015-01-23 | Electronic apparatus and control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016136351A true JP2016136351A (en) | 2016-07-28 |
Family
ID=56512599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015011559A Pending JP2016136351A (en) | 2015-01-23 | 2015-01-23 | Electronic apparatus and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016136351A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017129915A (en) * | 2016-01-18 | 2017-07-27 | 株式会社東海理化電機製作所 | Operation device |
JP2020525879A (en) * | 2017-12-15 | 2020-08-27 | グーグル エルエルシー | Ultra low power mode for low cost force sensing devices |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152443A (en) * | 2008-12-24 | 2010-07-08 | Brother Ind Ltd | Head mounted display |
JP2010267071A (en) * | 2009-05-14 | 2010-11-25 | Ntt Docomo Inc | Input device and input method |
JP2011138421A (en) * | 2009-12-29 | 2011-07-14 | Mic Ware:Kk | Apparatus and method for displaying map, and program |
US20130283208A1 (en) * | 2012-03-26 | 2013-10-24 | Primesense Ltd. | Gaze-enhanced virtual touchscreen |
JP2014006640A (en) * | 2012-06-22 | 2014-01-16 | Ntt Docomo Inc | Display device, display method, and program |
WO2014207828A1 (en) * | 2013-06-25 | 2014-12-31 | 富士通株式会社 | Information processing device and program |
-
2015
- 2015-01-23 JP JP2015011559A patent/JP2016136351A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152443A (en) * | 2008-12-24 | 2010-07-08 | Brother Ind Ltd | Head mounted display |
JP2010267071A (en) * | 2009-05-14 | 2010-11-25 | Ntt Docomo Inc | Input device and input method |
JP2011138421A (en) * | 2009-12-29 | 2011-07-14 | Mic Ware:Kk | Apparatus and method for displaying map, and program |
US20130283208A1 (en) * | 2012-03-26 | 2013-10-24 | Primesense Ltd. | Gaze-enhanced virtual touchscreen |
JP2014006640A (en) * | 2012-06-22 | 2014-01-16 | Ntt Docomo Inc | Display device, display method, and program |
WO2014207828A1 (en) * | 2013-06-25 | 2014-12-31 | 富士通株式会社 | Information processing device and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017129915A (en) * | 2016-01-18 | 2017-07-27 | 株式会社東海理化電機製作所 | Operation device |
JP2020525879A (en) * | 2017-12-15 | 2020-08-27 | グーグル エルエルシー | Ultra low power mode for low cost force sensing devices |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6549693B2 (en) | Wearable device, control method and control program | |
JP6215128B2 (en) | Portable electronic device, control method and control program | |
JP2019029776A (en) | Portable electronic apparatus, flying body, and telephone system | |
JP2017195444A (en) | Portable electronic device, security control method, and security control program | |
JP2017195445A (en) | Portable electronic apparatus, security control method, and security control program | |
JP6247203B2 (en) | Portable electronic device and control method | |
JP6141352B2 (en) | Electronic equipment and control program | |
JP2016136351A (en) | Electronic apparatus and control method | |
JP6373722B2 (en) | Portable terminal and control method | |
JP2015069225A (en) | Electronic apparatus | |
JP6416598B2 (en) | Portable terminal and control method | |
JP6396202B2 (en) | Electronic device and display control method | |
JP6261546B2 (en) | Portable device, control method and control program | |
JP6062484B2 (en) | Electronic device, control method, and control program | |
JP6560410B2 (en) | Mobile terminal and control method | |
JP6399944B2 (en) | Electronic device, control method, and control program | |
KR20160032915A (en) | Mobile terminal | |
JP6495149B2 (en) | Electronic device, control method, and control program | |
JP2019026022A (en) | Portable electronic equipment and security system | |
JP2017021468A (en) | Electronic apparatus, image processing method, and image processing program | |
JP6152334B2 (en) | Electronic device, control method, and control program | |
US10447640B2 (en) | Communication device, control method, and control program | |
JP2019032846A (en) | Electronic apparatus and display control method | |
JP2016103105A (en) | Portable terminal and control method therefor | |
JP2019041219A (en) | Portable terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180820 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181211 |