JP6227213B1 - Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device - Google Patents
Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device Download PDFInfo
- Publication number
- JP6227213B1 JP6227213B1 JP2017540659A JP2017540659A JP6227213B1 JP 6227213 B1 JP6227213 B1 JP 6227213B1 JP 2017540659 A JP2017540659 A JP 2017540659A JP 2017540659 A JP2017540659 A JP 2017540659A JP 6227213 B1 JP6227213 B1 JP 6227213B1
- Authority
- JP
- Japan
- Prior art keywords
- mode
- gesture
- touch
- determination
- touch gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000010586 diagram Methods 0.000 description 6
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
タッチジェスチャ判定装置110は、操作情報入力部11と、操作判定部12と、通知部13と、表示制御部14とを有し、操作判定部12は、表示部品入力判定部12aと、画面全体入力判定部12bと、操作モード切り替え判定部12cとを有し、画面全体入力判定部12bは、ジェスチャモード判定部113を有する。ジェスチャモード判定部113は、タッチジェスチャ操作がスライダージェスチャであると判定された場合、スライダーモードのパラメータによりモード逸脱判定を行い、タッチジェスチャ操作がダイヤルジェスチャであると判定された場合、ダイヤルモードのパラメータによりモード逸脱判定を行う。The touch gesture determination apparatus 110 includes an operation information input unit 11, an operation determination unit 12, a notification unit 13, and a display control unit 14. The operation determination unit 12 includes a display component input determination unit 12a and an entire screen. The input determination unit 12b and the operation mode switching determination unit 12c are included, and the entire screen input determination unit 12b includes a gesture mode determination unit 113. When it is determined that the touch gesture operation is a slider gesture, the gesture mode determination unit 113 performs mode deviation determination based on the slider mode parameter. When the touch gesture operation is determined to be a dial gesture, the gesture mode determination unit 113 determines the parameter of the dial mode. The mode deviation is determined by
Description
本発明は、タッチジェスチャ操作に対応する操作情報が入力され、入力された操作情報に基づく信号を出力するためのタッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム、並びに、タッチジェスチャ操作を受け付け、タッチジェスチャ操作に基づく信号を出力するタッチパネル入力装置に関する。 The present invention relates to a touch gesture determination device, a touch gesture determination method, a touch gesture determination program, and a touch gesture operation for inputting operation information corresponding to a touch gesture operation and outputting a signal based on the input operation information. And a touch panel input device that outputs a signal based on a touch gesture operation.
タッチ操作などでタッチパネルに情報を入力するときに、2つの異なるジェスチャの操作が似ている場合(たとえば2点タッチでのスライダー操作と、2点タッチでのダイヤル操作など)には、1つのジェスチャ操作中に、他のジェスチャと誤判定されてしまい、正しく入力が行えない場合がある。 When inputting information to the touch panel by touch operation or the like, if two different gesture operations are similar (for example, slider operation by two-point touch and dial operation by two-point touch), one gesture During operation, it may be erroneously determined as another gesture and input may not be performed correctly.
特許文献1には、3次元空間で行うジェスチャで、過去のジェスチャ操作履歴を利用し、そのジェスチャ操作が切り替わったタイミングからの相対的な動きを元に、次のジェスチャ操作に切り替わったかを判定する方法が開示されている。
In
しかしながら、特許文献1には、あるモードに切り替わったときの状態を初期とし、そこからの回転角度及び移動量を判定しているが、その初期状態からの閾値を変更することについては記載されていない。そのため、あるモードでのジェスチャ操作中に、他のモードのジェスチャと誤認識されてしまう問題があった。
However, in
本発明は、上記の問題点を解決するためになされたものであり、あるモードでのジェスチャ操作中に、他のモードのジェスチャと誤認識されることを防ぎ、ジェスチャでの入力操作を容易とすることを目的とする。 The present invention has been made to solve the above-described problems, and prevents erroneous recognition as a gesture in another mode during a gesture operation in a certain mode, thereby facilitating an input operation in the gesture. The purpose is to do.
本発明の一態様に係るタッチジェスチャ判定装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとを有し、前記ジェスチャモード判定部は、前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行うことを特徴とする。 A touch gesture determination apparatus according to an aspect of the present invention receives an operation image from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation. A touch gesture determination device that generates output information based on the operation information, the touch gesture determination device including an operation determination unit that generates output information for display on the touch panel based on the operation information; A display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image. The operation determination unit is performed on the entire screen of the touch panel. Touch performed in full screen input mode to identify input content based on touch gesture operation Has a whole screen input determination unit which determines the output information from the operation information corresponding to Esucha operation, the entire screen input determination unit, the gesture mode touch gesture operation is brought into contact with a finger of the user on the touch panel Determines whether the slider mode is a gesture mode for a slider gesture that moves while sliding, or the dial mode is a gesture mode for a dial gesture that operates to rotate the dial by touching two or more points of the finger. A gesture mode determining unit, a first parameter relating to the slider mode, and a second parameter different from the first parameter relating to the dial mode , wherein the gesture mode determining unit is configured to perform the touch gesture operation. gesture mode is the slide If it is determined that the Damodo performs determining mode deviation determination deviations from the slider mode using the first parameter, when the gesture mode touch gesture operation is determined to be the dial mode Is characterized in that mode deviation determination is performed to determine deviation from the dial mode using the second parameter.
本発明の他の態様に係るタッチジェスチャ判定方法は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、前記タッチジェスチャ判定方法は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定ステップと、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、前記操作判定ステップは、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、前記画面全体入力判定ステップは、前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定ステップを有し、前記ジェスチャモード判定ステップは、前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとから、前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行うことを特徴とする。 The touch gesture determination method according to another aspect of the present invention displays an operation image on a screen, accepts a user's touch gesture operation, and outputs the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation. A touch gesture determination method for receiving and generating output information based on the operation information, the touch gesture determination method including an operation determination step for generating output information for display on the touch panel based on the operation information; A display control step of receiving the output information and causing the touch panel to display an image corresponding to the output information as the operation image. The operation determination step is performed on the entire screen of the touch panel. Enter the entire screen input mode to identify the input content based on touch gesture operation Has a whole screen input determination step of determining the output information from the operation information corresponding to the touch gesture operation performed you are, the whole screen input determination step, the gesture mode touch gesture operation is the finger of the user A dial mode that is a gesture mode of a slider gesture that moves to slide while touching the touch panel, or a gesture mode of a dial gesture that operates to rotate the dial by touching two or more points of the finger. A gesture mode determination step for determining whether or not the gesture mode determination step includes: a first parameter related to the slider mode ; and a second parameter different from the first parameter regarding the dial mode . The above If the gesture mode Ji gesture operation is determined to be the slider mode performs determining mode deviation determination deviations from the slider mode using the first parameter, the gesture mode touch gesture operation is the When it is determined that the dial mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode .
本発明の他の態様に係るタッチパネル入力装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置とを有するタッチパネル入力装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとを有し、前記ジェスチャモード判定部は、前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行うことを特徴とする。A touch panel input device according to another aspect of the present invention displays an operation image on a screen, receives a touch gesture operation of a user, outputs operation information corresponding to the touch gesture operation, and receives the operation information. A touch gesture determination device that controls a display of the touch panel based on the operation information, wherein the touch gesture determination device outputs an output for displaying the touch panel based on the operation information. An operation determination unit that generates information; and a display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image. The operation determination unit includes the touch panel Identifies input based on touch gesture operations performed on the entire screen An entire screen input determining unit that determines the output information from operation information corresponding to a touch gesture operation performed in the entire screen input mode, wherein the entire screen input determining unit is configured such that the gesture mode of the touch gesture operation is the user Is a slider mode that is a gesture mode of a slider gesture that moves the finger so as to slide while touching the touch panel, or a gesture mode of a dial gesture that operates to rotate the dial by touching two or more points of the finger A gesture mode determination unit that determines whether the dial mode is, a first parameter related to the slider mode, and a second parameter related to the dial mode that is different from the first parameter, the gesture mode The determination unit is configured to touch the touch When it is determined that the gesture mode of the gesture operation is the slider mode, a mode deviation determination for determining a deviation from the slider mode is performed using the first parameter, and the gesture mode of the touch gesture operation is the dial. When it is determined that the mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode.
本発明によれば、あるモードでのジェスチャ操作中に、他のモードのジェスチャと誤認識されることを防ぎ、ジェスチャでの入力操作を容易とすることができる。 ADVANTAGE OF THE INVENTION According to this invention, it can prevent misrecognizing with the gesture of another mode during gesture operation in a certain mode, and can make input operation with a gesture easy.
以下に、本発明の実施の形態を、添付図面を参照しながら説明する。以下の説明において、タッチパネル入力装置は、タッチ式の操作用の画面(操作画面)を持つタッチパネルと、タッチパネルにおける操作情報を受け取るタッチジェスチャ判定装置とを具備する。 Embodiments of the present invention will be described below with reference to the accompanying drawings. In the following description, the touch panel input device includes a touch panel having a touch operation screen (operation screen) and a touch gesture determination device that receives operation information on the touch panel.
タッチパネル入力装置は、対象機器に搭載されることにより、又は、対象機器と通信可能に接続されることにより、対象機器としての電気機器の操作画面、対象機器としてのカメラの操作画面、対象機器としての工場設備の操作画面、対象機器としての自動車、船舶、航空機などに搭載される操作画面、対象機器としてのスマートフォン及びタブレット端末などの携帯情報端末の操作画面などに適用可能である。 When the touch panel input device is mounted on the target device or connected to be communicable with the target device, the operation screen of the electric device as the target device, the operation screen of the camera as the target device, and the target device The present invention can be applied to an operation screen of factory equipment, an operation screen mounted on a car, a ship, an aircraft, or the like as a target device, an operation screen of a portable information terminal such as a smartphone or a tablet terminal as a target device.
タッチパネル入力装置は、タッチパネルの操作画面からタッチジェスチャ操作(「タッチ操作」とも言う)によって入力された操作情報に基づく信号(例えば、選択値)を、タッチパネル入力装置を搭載した対象機器、又は、タッチパネル入力装置と通信可能な対象機器に提供することができる。 The touch panel input device uses a signal (for example, a selection value) based on operation information input by a touch gesture operation (also referred to as “touch operation”) from the operation screen of the touch panel as a target device equipped with the touch panel input device, or a touch panel. This can be provided to a target device that can communicate with the input device.
タッチパネルは、ユーザが行うタッチジェスチャ操作を受け付けるタッチジェスチャ入力手段である。また、タッチジェスチャ操作は、ユーザの指(又は、ユーザの手の平、又は、ユーザの指及び手の平)などの特定の動きによる情報入力操作である。タッチジェスチャ操作は、タッチパネルの操作画面を指で軽く叩く操作であるタップ、タッチパネルの操作画面を指ではじく操作であるフリック、タッチパネルの操作画面を指でなぞる操作(指を滑らす操作)であるスワイプを含むことができる。 The touch panel is a touch gesture input unit that receives a touch gesture operation performed by a user. The touch gesture operation is an information input operation by a specific movement such as the user's finger (or the user's palm, or the user's finger and palm). Touch gesture operation is tapping, which is an operation of tapping the operation screen of the touch panel with a finger, flicking, which is an operation of flicking the operation screen of the touch panel with a finger, and a swipe which is an operation of sliding the operation screen of the touch panel with a finger (sliding the finger). Can be included.
また、タッチジェスチャ操作は、タッチパネルにおける表示部品を指で引きずる操作であるドラッグ、タッチパネルの操作画面において複数本の指でつまみながら指の間隔を狭める操作であるピンチイン、タッチパネルの操作画面において複数本の指の間隔を広げる操作であるピンチアウトなどを含むことができる。 Touch gesture operations include dragging, which is an operation of dragging a display component on the touch panel with a finger, pinch-in, which is an operation of narrowing the interval between fingers while pinching with multiple fingers on the operation screen of the touch panel, and multiple touch gestures on the operation screen of the touch panel. It can include pinch out, which is an operation to increase the interval between fingers.
また、タッチジェスチャ操作は、2点以上のタッチでダイヤルを回転させるように操作するダイヤルジェスチャ、指をタッチパネルに接触させたまま、指を滑らせるように動かすスライダージェスチャなどを含むことができる。なお、タッチジェスチャ操作は、ペン型の入力補助具であるタッチペンを用いる操作をも含むことができる。 Further, the touch gesture operation may include a dial gesture that operates to rotate the dial with two or more touches, a slider gesture that moves the finger to slide while keeping the finger in contact with the touch panel. Note that the touch gesture operation can include an operation using a touch pen which is a pen-type input auxiliary tool.
実施の形態.
《1》構成
図1は、本発明の実施の形態に係るタッチパネル入力装置100の概略構成を示す機能ブロック図である。図2は、実施の形態における画面全体入力判定部12bの概略構成を示す機能ブロック図である。図1に示されるように、実施の形態に係るタッチパネル入力装置100は、タッチジェスチャ判定装置110と、タッチパネル120とを有している。タッチジェスチャ判定装置110は、実施の形態に係るタッチジェスチャ判定方法及び実施の形態に係るタッチジェスチャ判定プログラムを実行することができる装置である。Embodiment.
<< 1 >> Configuration FIG. 1 is a functional block diagram showing a schematic configuration of a touch
図1に示されるように、タッチパネル120は、ユーザによって行われるタッチジェスチャ操作を受け付け、タッチジェスチャ操作に対応する操作情報(「タッチ情報」とも言う)A0を出力する操作パネル部122と、操作パネル部122と重ねて配置され、GUI(Graphical User Interface)画面などのような操作用画像を表示することができる表示パネル部121とを有している。表示パネル部121は、例えば、液晶ディスプレイである。
As shown in FIG. 1, the
図1に示されるように、タッチジェスチャ判定装置110は、操作情報入力部11と、操作判定部12と、表示制御部14とを有している。タッチジェスチャ判定装置110は、通知部13を有していてもよい。
As illustrated in FIG. 1, the touch
操作情報入力部11は、操作パネル部122から出力された操作情報(操作信号)A0を受け取る。操作情報入力部11は、受け取った操作情報A0に対応する入力情報A1を操作判定部12に出力する。入力情報A1は、操作情報A0に対応する情報であり、操作情報A0と同じ情報であってもよい。
The operation
操作判定部12は、操作情報入力部11から入力情報A1を受け取り、出力情報としての選択値A2を通知部13及び表示制御部14に対して出力する。操作判定部12から出力される選択値A2は、操作判定部12が入力情報A1を基に決定した選択値であり、この選択値A2を基に、タッチパネル入力装置100を搭載した装置のアプリケーションプログラム等が、機器制御などを行う。
The
操作判定部12は、受け取った入力情報A1から、ユーザによるタッチジェスチャ操作の種類及び内容を判定する。図1に示されるように、操作判定部12は、表示部品入力判定部12aと、画面全体入力判定部12bと、操作モード切り替え判定部12cとを有している。
The
操作モード切り替え判定部12cは、操作情報入力部11から受け取った入力情報A1から、入力情報A1に画面の操作モードの切り替えに関する情報が含まれるかを判定する。画面の操作モードには、操作対象とする表示部品を画面内に表示した表示部品操作モードと、画面全体を入力範囲として設定する画面全体操作モードが存在し、これらの操作モードを切り替えることができる。
The operation mode switching
操作モード切り替え判定部12cは、操作モードの切り替えに関する判定結果から、操作モードを切り替える。操作モード切り替え判定部12cが操作モードを切り替えることにより、操作画面の表示内容、入力方法、及び通知方法が切り替わる。
The operation mode switching
画面全体入力判定部12bは、画面全体に対するタッチ情報から入力内容を識別し、操作の受付及び選択値A2の決定を担う。図2に示されるように、画面全体入力判定部12bは、モード中パラメータ111と、モード中以外のパラメータ112と、ジェスチャモード判定部113と、ジェスチャ入力情報判定部114とを有する。
The entire screen
画面全体に対するタッチ情報の入力内容は、モード中パラメータ111と、モード中以外のパラメータ112と、ジェスチャモード判定部113とにより識別される。モード中パラメータ111には、あるモード中に使用する移動量、タッチ時間などのパラメータが格納されている。
The input content of the touch information for the entire screen is identified by the in-mode parameter 111, the
モード中パラメータ111には、ジェスチャモードの種類ごとに当該ジェスチャモードに関するパラメータが格納されている。図2に示されるように、モード中パラメータ111には、例えば、スライダーモードのパラメータ111aと、ダイヤルモードのパラメータ111bが格納されている。スライダーモードのパラメータ111aと、ダイヤルモードのパラメータ111bは、タッチジェスチャ操作の予め定められた時間における移動量、タッチジェスチャ操作の速度、曲率、又はタッチ時間のいずれか1つ又は2つ以上の組み合わせに基づいて定められるパラメータである。 In the mode parameter 111, a parameter related to the gesture mode is stored for each type of gesture mode. As shown in FIG. 2, the parameter 111 during mode stores, for example, a parameter 111 a for the slider mode and a parameter 111 b for the dial mode. The slider mode parameter 111a and the dial mode parameter 111b may be any one or a combination of two or more of a movement amount, a touch gesture operation speed, a curvature, and a touch time in a predetermined time of the touch gesture operation. It is a parameter determined based on this.
なお、モード中パラメータ111に格納されるパラメータは、図2に示される例に限定されない。また、モード中以外のパラメータ112には、初回操作時など、どのモードでもないときに使用する移動量、タッチ時間などのパラメータが格納されている。
Note that the parameters stored in the mode parameter 111 are not limited to the example shown in FIG. Further, the
ジェスチャモード判定部113は、モード中パラメータ111と、モード中以外のパラメータ112を参照して、入力されたタッチ情報のジェスチャモードを特定する。ジェスチャ入力情報判定部114は、ジェスチャモード判定部113で特定されたジェスチャモードでの値設定方式に従って選択値A2を決定する。
The gesture
表示部品入力判定部12aは、画面に表示される表示部品に対するタッチ情報から入力内容を識別し、操作の受付及び選択値A2の決定を担う。
The display component
通知部13は、操作モード切り替え判定部12cの判定結果に従い、操作画面の通知方法を切り替え、また、操作判定部12により決定した選択値A2の情報を受け、操作の状況を通知する。通知部13は、選択値A2に従う通知内容の通知を発し、又は通知信号を出力する。
The
例えば、通知部13は、操作判定部12により受け取った入力情報A2に応じて、ユーザのタッチジェスチャ操作の状況を、例えば、音、画面表示、バイブレータによる振動、又はランプ点灯などで通知する。
For example, according to the input information A2 received by the
通知部13による通知が音による通知である場合には、通知部13は音声出力部としてのスピーカに通知信号を出力する。スピーカは、後述の図3に示される。通知部13による通知が画像表示である場合には、通知部13は通知情報A3を表示制御部14に送り、表示制御部14が通知情報A3に基づく画像信号A4をタッチパネル120の表示パネル部121に送信する。
When the notification by the
表示制御部14は、操作モード切り替え判定部12cの判定結果に従い、操作画面の表示内容を切り替え、また、操作判定部12により決定した選択値A2の情報を受け、操作結果を画面に反映する。図1に示されるように、表示制御部14は、タッチパネル120の表示パネル部121に表示される操作用画像の画像信号A4を表示パネル部121に対して出力する。
The
図3は、実施の形態に係るタッチパネル入力装置100のハードウェア(H/W)構成の一例を示す図である。図3に示されるように、実施の形態に係るタッチパネル入力装置100は、タッチパネル120と、プロセッサ301と、メモリ302と、スピーカ303とを有している。
FIG. 3 is a diagram illustrating an example of a hardware (H / W) configuration of the touch
図1に示されるタッチジェスチャ判定装置110は、ソフトウェアとしてのタッチジェスチャ判定プログラムを格納する記憶装置としてのメモリ302と、メモリ302に格納されたタッチジェスチャ判定プログラムを実行する情報処理部としてのプロセッサ301とを用いて(例えば、コンピュータにより)実現することができる。
A touch
この場合には、図1における構成要素11〜14は、図3においてタッチジェスチャ判定プログラムを実行するプロセッサ301に相当する。なお、図1に示されるタッチジェスチャ判定装置110の一部を、図2に示されるメモリ302と、タッチジェスチャ判定プログラムを実行するプロセッサ301とによって実現することもできる。
In this case, the
タッチパネル120は、複数の指の接触を検知し、タッチ情報(各指の識別番号、座標、接触状態)をプロセッサ301に送信する。プロセッサ301は、タッチパネル120から取得したタッチ情報をメモリ302に記憶し、メモリ302に蓄積したタッチの履歴情報を基に、操作画面、入力方法、通知方法を切り替える。
The
また、プロセッサ301は、メモリ302に記憶したタッチ情報から、画面全体に対する操作であるか、表示部品に対する操作であるかを判定し、それぞれの操作モードにおいて選択値を決定する。
Further, the
スピーカ303は、例えば、タッチジェスチャ操作状況をアナウンスなど音で通知する場合に使用される音出力部である。タッチパネル入力装置100は、スピーカ303に代えて、又は、追加の構成として、バイブレータ、ランプ、通知信号を無線送信するための送信装置などの追加の装置を備えてもよい。
The
図4(a)及び(b)は、実施の形態に係るタッチパネル入力装置100におけるタッチパネル120の画面及びタッチジェスチャ操作の例を示す図である。図4(a)は、表示部品操作モードで表示する画面例401を示している。図4(a)に示されるように、画面例401には、選択値を直接選択するボタン402など、操作対象とする様々な部品が表示される。表示部品が表示される領域に対しタッチ入力することにより、対象の部品の操作が可能となる。
4A and 4B are diagrams illustrating examples of the screen of the
図4(b)は、画面全体操作モードで表示する画面例403を示している。図4(b)に示されるように、画面例403には、現在選択している選択値の表示404、画面切り替えのための操作指示を促す表示(例えば、後述するキャンセル領域405)などが示される。この画面での入力方法としては、たとえばタップ操作の回数、2点以上のタッチでダイヤルを回転させるようなジェスチャなどで情報を入力する。
FIG. 4B shows an
図4(b)の画面例403の下部には、「>>Cancel>>」を囲む矩形領域であるキャンセル領域405が示されている。キャンセル領域405を選択してスワイプする(予め決められた方向に指を左から右に滑らせる)ことにより、画面全体操作モードをキャンセルして、画面全体操作モードから表示部品操作モードの画面への切り替えを実行することができる。
A cancel
図5は、実施の形態に係るタッチパネル入力装置100におけるタッチジェスチャ判定装置110の動作(タッチジェスチャ判定方法)を示すフローチャートである。図5に示されるように、ステップST401において、ユーザは、表示部品操作モードでシステムを起動し、各処理部の初期化を実施する。
FIG. 5 is a flowchart illustrating an operation (touch gesture determination method) of the touch
次のステップST402において、操作モード切り替え判定部12cが、操作情報入力部11から入力されたタッチ情報を基に、画面全体操作モードへの切り替え入力を判定する。画面全体操作モードへの切り替え入力を受け付けた場合(ST402においてYES)、次のステップST403において、操作モードを遷移させ、画面全体操作モードにおける表示内容、入力方法、通知方法を切り替える。
In the next step ST402, the operation mode switching
次のステップST404において、ジェスチャ入力情報判定部114が、ユーザにより入力されたタッチ情報からジェスチャ入力に関する情報を識別し、それにより選択値A2を決定する。ユーザは、例えば、2点以上のタッチでダイヤルを回転させるようなジェスチャ(ダイヤルジェスチャ)などで情報を入力する。
In next step ST404, the gesture input
ここで、ユーザによるダイヤルジェスチャ操作においてダイヤル回転角度の曲率半径が大きい場合には、ダイヤル入力では無くスライダー入力をしたと、タッチパネル120が誤認識する可能性がある。タッチパネル120が誤認識した場合、認識されていたダイヤルジェスチャが完了していない内(ジェスチャモードの途中)に、スライダージェスチャに切り替わって認識されてしまう。実施の形態に係るタッチジェスチャ判定方法は、上記のように、あるジェスチャ操作をしている際に、他のジェスチャ操作と誤認識されることを防ぐことを目的とする。
Here, when the curvature radius of the dial rotation angle is large in the dial gesture operation by the user, the
次のステップST405において、ステップST404で決定した選択値A2を操作画面表示部109に渡すことにより、表示内容を切り替え、操作内容を反映した画面を表示する。 In the next step ST405, the selection value A2 determined in step ST404 is passed to the operation screen display unit 109, thereby switching the display content and displaying a screen reflecting the operation content.
次のステップST406において、ステップST404で決定した選択値A2を通知部13に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。
In the next step ST406, the selection value A2 determined in step ST404 is passed to the
次のステップST407において、操作モード切り替え判定部12cが、操作情報入力部11から入力されたタッチ情報とタッチの履歴情報から、表示部品操作モードへの切り替え入力を判定する。
In the next step ST407, the operation mode switching
切り替え入力を検知した場合(ST407においてYES)は、次のステップST408において、表示部品操作モードに遷移し、初期起動時に表示した表示部品の操作画面に移行する。表示部品操作モードへの切り替え入力が無い場合は、切り替え入力を受け付けるまで、操作パネル部122に対するタッチ入力を受け付け、そして、それに応じて表示内容及び通知内容を切り替える。
If a switching input is detected (YES in ST407), in the next step ST408, the display component operation mode is entered, and the operation screen for the display component displayed at the initial startup is entered. If there is no switching input to the display component operation mode, touch input to the
ステップST402の画面切り替えに関する入力判定において、入力内容が画面全体操作モードへの切り替えで無かった場合(ST402においてNO)、次のステップST709において、表示部品に対する入力判定を実施する。 In the input determination regarding the screen switching in step ST402, when the input content is not switching to the entire screen operation mode (NO in ST402), input determination for the display component is performed in the next step ST709.
表示部品操作モードにおける表示部品に対する入力の判定は、表示部品の操作範囲にタッチ入力座標が含まれるかにより判定する。表示部品の操作入力を検知した場合、次のステップST410で選択値A2の決定を、操作対象が表示部品でない場合はステップST402で再度タッチ入力の受付を実施する。 The determination of the input to the display component in the display component operation mode is performed based on whether the touch input coordinates are included in the operation range of the display component. When the operation input of the display component is detected, the selection value A2 is determined in the next step ST410. When the operation target is not the display component, the touch input is accepted again in step ST402.
次のステップST410において、表示部品入力判定部12aが操作情報入力部11から入力されたタッチ情報を基に、選択値A2を決定する。選択の例として、図3の各表示部品の表示画面の図に示すように、ボタンなど、固有の選択値を割り当てた表示部品を配置しておき、表示部品へのタッチ入力によりその選択値を決定する。
In next step ST410, the display component
次のステップST411において、ステップST410で決定した選択値A2を表示制御部14に渡すことにより、表示パネル部121の表示内容を切り替え、操作内容に対応する画面を表示する。
In the next step ST411, the selection value A2 determined in step ST410 is passed to the
次のステップST412において、ステップST410で決定した選択値A2を通知部13に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。
In the next step ST412, the selection value A2 determined in step ST410 is transferred to the
図6は、実施の形態におけるジェスチャモード判定部113によるジェスチャモード逸脱判定の動作を示すフローチャートである。ステップST501で、ジェスチャモード判定部113が、ジェスチャモード中であるか否かを判定する。
FIG. 6 is a flowchart illustrating the gesture mode deviation determination operation by the gesture
ジェスチャモード判定部113は、例えば、ジェスチャ入力情報判定部114で選択値A2を決定した直後は、ジェスチャモード中ではないと判定する。また、ジェスチャモード判定部113は、例えば、タッチパネル上でユーザがスクロール中の場合、ダイヤルモード中などの場合は、ジェスチャモード中であると判定する。
For example, the gesture
ステップST501でジェスチャモード中であると判定された場合(ST501においてYES)、次のステップST502において、ジェスチャモード判定部113が、第1のジェスチャモードとしてのスライダーモード、第2のジェスチャモードとしてのダイヤルジェスチャモード、又はタッチジェスチャモードの内のどのジェスチャモード中であるかを判定する。
If it is determined in step ST501 that it is in the gesture mode (YES in ST501), in next step ST502, the gesture
ステップST502において、スライダージェスチャであると判定された場合、ステップST503に進み、第1のパラメータとしてのスライダーモードのパラメータを取得する。ステップST502において、ダイヤルジェスチャであると判定された場合、ステップST504に進み、第2のパラメータとしてのダイヤルモードのパラメータを取得する。ステップST502において、タッチジェスチャであると判定された場合、ステップST505に進み、タッチジェスチャに応じたタッチモードのパラメータを取得する。 If it is determined in step ST502 that it is a slider gesture, the process proceeds to step ST503 to acquire a slider mode parameter as a first parameter. If it is determined in step ST502 that it is a dial gesture, the process proceeds to step ST504 to acquire a dial mode parameter as a second parameter. If it is determined in step ST502 that the gesture is a touch gesture, the process proceeds to step ST505, and a touch mode parameter corresponding to the touch gesture is acquired.
スライダーモードのパラメータ、ダイヤルモードのパラメータ、及びタッチモードのパラメータは、タッチジェスチャ操作の予め定められた時間における移動量、タッチジェスチャ操作の速度、曲率、又はタッチ時間のいずれか1つ又は2つ以上の組み合わせに基づいて定められる。 The slider mode parameter, the dial mode parameter, and the touch mode parameter are any one or more of a movement amount at a predetermined time of the touch gesture operation, a speed of the touch gesture operation, a curvature, or a touch time. It is determined based on the combination.
ステップST503からST505でそれぞれのジェスチャモードに応じたパラメータを取得した後、次のステップST506に進み、ステップST502においてジェスチャモードの種類が判定されてから所定時間が経過したかを判定する。所定時間が経過した場合(ステップST506においてYES)、次のステップST507に進み、取得したジェスチャモードにおけるパラメータを用いて、ジェスチャが逸脱したか否かを判定するモード逸脱判定を行う。 After acquiring parameters according to each gesture mode in steps ST503 to ST505, the process proceeds to the next step ST506, where it is determined whether a predetermined time has elapsed since the type of gesture mode was determined in step ST502. If the predetermined time has elapsed (YES in step ST506), the process proceeds to the next step ST507, and using the acquired parameters in the gesture mode, mode deviation determination is performed to determine whether or not the gesture has deviated.
ステップST501でジェスチャモード中でないと判定されると(ST501においてNO)、処理はステップST508に進み、第3のパラメータとしてのモード中以外のパラメータ112を取得し、次のステップST509でモード逸脱判定を行う。
If it is determined in step ST501 that the gesture mode is not being performed (NO in ST501), the process proceeds to step ST508, and a
《2》効果
以上のように、実施の形態に係るタッチパネル入力装置100によれば、ジェスチャモード判定部113により実行中のジェスチャモードの種類を判定し、判定されたジェスチャモードの種類に応じたパラメータを取得し、取得したパラメータを用いてモード逸脱判定を行う。これにより、あるモードでの操作中に、他のモードと誤認識されることを防ぐことができ、ジェスチャでの入力操作が容易になり、ユーザの操作性が向上する。<< 2 >> Effect As described above, according to the touch
実施の形態に係るタッチパネル入力装置100によれば、あるモードに入った後は、所定時間以上はそのモードを維持し、その後モード逸脱判定を行う。これにより、あるモードでの操作中に意図せず当該モードから逸脱することを防ぐことができる。
According to the touch
11 操作情報入力部、 12 操作判定部、 12a 表示部品入力判定部、 12b 画面全体入力判定部、 13 通知部、 14 表示制御部、 100 タッチパネル入力装置、 110 タッチジェスチャ判定装置、 111 モード中のパラメータ、 111a スライダーモードのパラメータ、 111b ダイヤルモードのパラメータ、 112 モード中以外のパラメータ、 113 ジェスチャモード判定部、 114 ジェスチャ入力情報判定部、 120 タッチパネル、 121 表示パネル部、 122 操作パネル部、 301 プロセッサ、 302 メモリ、 303 スピーカ、 A0 操作情報、 401,403 画面例、 405 キャンセル領域、 A1 入力情報、 A2 選択値、 A3 通知情報、 A4 操作判定情報。
DESCRIPTION OF
Claims (11)
前記タッチジェスチャ判定装置は、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
前記操作判定部は、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
前記画面全体入力判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、
前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとを有し、
前記ジェスチャモード判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行う
ことを特徴とするタッチジェスチャ判定装置。 A touch gesture that displays an operation image on a screen, receives a touch gesture operation of a user, receives the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation, and generates output information based on the operation information. A determination device,
The touch gesture determination device includes:
An operation determination unit that generates output information for display on the touch panel based on the operation information;
A display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image;
The operation determination unit is
Whole screen input determination unit for determining the output information from operation information corresponding to the touch gesture operation performed in the entire screen input mode for identifying input contents based on the touch gesture operation performed on the entire screen of the touch panel Have
The entire screen input determination unit
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination unit for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
A first parameter relating to the slider mode ; and a second parameter different from the first parameter relating to the dial mode ;
The gesture mode determination unit
When it is determined that the gesture mode of the touch gesture operation is the slider mode , mode deviation determination is performed using the first parameter to determine deviation from the slider mode , and the gesture mode of the touch gesture operation is When it is determined that the dial mode is selected, a mode deviation determination for determining a deviation from the dial mode is performed using the second parameter.
ことを特徴とする請求項1に記載のタッチジェスチャ判定装置。 The touch gesture determination device according to claim 1, wherein the mode deviation determination is performed after a predetermined time has elapsed since the determination of the gesture mode of the touch gesture operation.
前記ジェスチャモード判定部は、
前記ユーザがジェスチャモード中であるか否かの判定を行い、前記ユーザがジェスチャモード中ではないと判定した場合には、前記第3のパラメータを用いてモード逸脱判定を行う
ことを特徴とする請求項1又は2に記載のタッチジェスチャ判定装置。 The entire screen input determination unit further includes a third parameter that is a parameter related to an operation other than the gesture mode,
The gesture mode determination unit
It is determined whether or not the user is in a gesture mode, and when it is determined that the user is not in a gesture mode, a mode deviation determination is performed using the third parameter. Item 3. The touch gesture determination device according to Item 1 or 2.
前記タッチジェスチャ操作の予め定められた時間における移動量、前記タッチジェスチャ操作の速度、曲率、又はタッチ時間
のいずれか1つ又は2つ以上の組み合わせに基づいて定められる
ことを特徴とする請求項3に記載のタッチジェスチャ判定装置。 The first to third parameters are:
4. The moving amount of the touch gesture operation in a predetermined time, the speed of the touch gesture operation, the curvature, or the touch time is determined based on one or a combination of two or more. The touch gesture determination device according to claim 1.
前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する表示部品入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する表示部品入力判定部と、
前記表示部品入力モードと前記画面全体入力モードとを切り替える操作モード切り替え部と、をさらに有する
ことを特徴とする請求項1から4のいずれか1項に記載のタッチジェスチャ判定装置。 The operation determination unit is
The output information from the operation information corresponding to the touch gesture operation performed in the display component input mode for identifying the input content based on the touch gesture operation performed on the display component displayed as the operation image on the touch panel. A display component input determination unit for determining
The touch gesture determination device according to claim 1, further comprising: an operation mode switching unit that switches between the display component input mode and the entire screen input mode.
ことを特徴とする請求項1から5のいずれか1項に記載のタッチジェスチャ判定装置。 The operation information input unit that receives the operation information output from the touch panel and outputs input information corresponding to the received operation information to the operation determination unit. The touch gesture determination device according to claim 1.
ことを特徴とする請求項1から6のいずれか1項に記載のタッチジェスチャ判定装置。 The touch gesture determination according to any one of claims 1 to 6, further comprising: a notification unit that issues a notification content according to the output information or outputs a notification signal according to the output information. apparatus.
前記タッチジェスチャ判定方法は、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定ステップと、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、
前記操作判定ステップは、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、
前記画面全体入力判定ステップは、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定ステップを有し、
前記ジェスチャモード判定ステップは、
前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとから、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行う
ことを特徴とするタッチジェスチャ判定方法。 A touch gesture that displays an operation image on a screen, receives a touch gesture operation of a user, receives the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation, and generates output information based on the operation information. A determination method comprising:
The touch gesture determination method includes:
An operation determination step for generating output information for display on the touch panel based on the operation information;
A display control step of receiving the output information and causing the touch panel to display an image according to the output information as the operation image;
The operation determination step includes
Whole screen input determination step for determining the output information from operation information corresponding to the touch gesture operation performed in the entire screen input mode for identifying the input content based on the touch gesture operation performed on the entire screen of the touch panel. Have
The entire screen input determining step includes:
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination step for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
The gesture mode determination step includes:
From the first parameter relating to the slider mode and the second parameter different from the first parameter relating to the dial mode ,
When it is determined that the gesture mode of the touch gesture operation is the slider mode , mode deviation determination is performed using the first parameter to determine deviation from the slider mode , and the gesture mode of the touch gesture operation is A touch gesture determination method, characterized in that, when it is determined that the dial mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode .
画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するために、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定処理と、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御処理と、を実行させ、
前記操作判定処理は、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定処理を有し、
前記画面全体入力判定処理は、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定処理を有し、
前記ジェスチャモード判定処理は、
前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとから、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定処理と、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定処理とを行う
ことを特徴とするタッチジェスチャ判定プログラム。 On the computer,
To display an operation image on the screen, accept a user's touch gesture operation, receive operation information from a touch panel that outputs operation information corresponding to the touch gesture operation, and generate output information based on the operation information ,
An operation determination process for generating output information for display on the touch panel based on the operation information;
Receiving the output information, and causing the touch panel to display an image according to the output information as the operation image,
The operation determination process includes
Whole screen input determination processing for determining the output information from operation information corresponding to the touch gesture operation performed in the whole screen input mode for identifying the input content based on the touch gesture operation performed on the entire screen of the touch panel Have
The entire screen input determination process includes:
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination process for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
The gesture mode determination process includes:
From the first parameter relating to the slider mode and the second parameter different from the first parameter relating to the dial mode ,
When it is determined that the gesture mode of the touch gesture operation is the slider mode , a mode deviation determination process for determining deviation from the slider mode using the first parameter, and a gesture mode of the touch gesture operation are provided. A touch gesture determination program characterized by performing a mode departure determination process for determining a departure from the dial mode using the second parameter when it is determined that the dial mode is set.
前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置と
を有するタッチパネル入力装置であって、
前記タッチジェスチャ判定装置は、
前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、
前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
前記操作判定部は、
前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
前記画面全体入力判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記ユーザの指を前記タッチパネルに接触させたまま滑らせるように動かすスライダージェスチャのジェスチャモードであるスライダーモードであるか、前記指の2点以上のタッチによりダイヤルを回転させるように操作するダイヤルジェスチャのジェスチャモードであるダイヤルモードであるかを判定するジェスチャモード判定部と、
前記スライダーモードに関する第1のパラメータと、前記ダイヤルモードに関し、前記第1のパラメータと異なる第2のパラメータとを有し、
前記ジェスチャモード判定部は、
前記タッチジェスチャ操作のジェスチャモードが前記スライダーモードであると判定した場合には前記第1のパラメータを用いて前記スライダーモードからの逸脱を判定するモード逸脱判定を行い、前記タッチジェスチャ操作のジェスチャモードが前記ダイヤルモードであると判定した場合には前記第2のパラメータを用いて前記ダイヤルモードからの逸脱を判定するモード逸脱判定を行う
ことを特徴とするタッチパネル入力装置。 A touch panel that displays an operation image on a screen, accepts a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation;
A touch gesture determination apparatus that receives the operation information and controls a display of the touch panel based on the operation information;
The touch gesture determination device includes:
An operation determination unit that generates output information for display on the touch panel based on the operation information;
A display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image;
The operation determination unit is
Whole screen input determination unit for determining the output information from operation information corresponding to the touch gesture operation performed in the entire screen input mode for identifying input contents based on the touch gesture operation performed on the entire screen of the touch panel Have
The entire screen input determination unit
The gesture mode of the touch gesture operation is a slider mode that is a gesture mode of a slider gesture that moves the user's finger to slide while touching the touch panel, or the dial is rotated by touching two or more points of the finger. A gesture mode determination unit for determining whether the dial mode is a dial mode which is a gesture mode of the dial gesture operated to
A first parameter relating to the slider mode ; and a second parameter different from the first parameter relating to the dial mode ;
The gesture mode determination unit
When it is determined that the gesture mode of the touch gesture operation is the slider mode , mode deviation determination is performed using the first parameter to determine deviation from the slider mode , and the gesture mode of the touch gesture operation is When it is determined that the dial mode is selected, mode deviation determination is performed using the second parameter to determine deviation from the dial mode .
前記タッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する前記操作情報を出力する操作パネル部と、前記操作パネル部と重ねて配置され、前記画面に前記操作用画像を表示する表示パネル部とを有する
ことを特徴とする請求項10に記載のタッチパネル入力装置。 The touch panel
An operation panel unit that receives the touch gesture operation and outputs the operation information corresponding to the touch gesture operation, and a display panel unit that is arranged to overlap the operation panel unit and displays the operation image on the screen. The touch panel input device according to claim 10.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/010345 WO2018167865A1 (en) | 2017-03-15 | 2017-03-15 | Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6227213B1 true JP6227213B1 (en) | 2017-11-08 |
JPWO2018167865A1 JPWO2018167865A1 (en) | 2019-03-22 |
Family
ID=60265772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017540659A Active JP6227213B1 (en) | 2017-03-15 | 2017-03-15 | Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP6227213B1 (en) |
KR (1) | KR102136526B1 (en) |
CN (1) | CN110402427B (en) |
DE (1) | DE112017006949T5 (en) |
WO (1) | WO2018167865A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100283739A1 (en) * | 2009-05-05 | 2010-11-11 | Microsoft Corporation | Contact grouping and gesture recognition for surface computing |
JP2013257775A (en) * | 2012-06-13 | 2013-12-26 | Tokai Rika Co Ltd | Touch sensor |
JP2016515741A (en) * | 2013-04-15 | 2016-05-30 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Pan and scaling detection during multi-finger touch interaction |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8106856B2 (en) * | 2006-09-06 | 2012-01-31 | Apple Inc. | Portable electronic device for photo management |
JP2008070968A (en) * | 2006-09-12 | 2008-03-27 | Funai Electric Co Ltd | Display processor |
CN102239464A (en) * | 2008-12-08 | 2011-11-09 | 夏普株式会社 | Manual control action input device and computer program |
WO2010138743A2 (en) | 2009-05-27 | 2010-12-02 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
WO2011158475A1 (en) * | 2010-06-16 | 2011-12-22 | パナソニック株式会社 | Information input device, information input method and programme |
CN102694942B (en) * | 2011-03-23 | 2015-07-15 | 株式会社东芝 | Image processing apparatus, method for displaying operation manner, and method for displaying screen |
JP6032420B2 (en) * | 2012-04-02 | 2016-11-30 | カシオ計算機株式会社 | Print information output apparatus, print information output method, program, and portable electronic device |
JP5772773B2 (en) * | 2012-09-19 | 2015-09-02 | コニカミノルタ株式会社 | Image processing apparatus, operation standardization method, and operation standardization program |
CN102890616B (en) * | 2012-09-26 | 2016-03-30 | 杨生虎 | The shortcut input method of touch-screen and system |
JP5700020B2 (en) * | 2012-10-10 | 2015-04-15 | コニカミノルタ株式会社 | Image processing apparatus, program, and operation event determination method |
JP5862587B2 (en) * | 2013-03-25 | 2016-02-16 | コニカミノルタ株式会社 | Gesture discrimination device, gesture discrimination method, and computer program |
JP6269537B2 (en) * | 2015-03-06 | 2018-01-31 | 京セラドキュメントソリューションズ株式会社 | Display input device, image forming apparatus including the same, display input device control method, and program |
CN106095307B (en) * | 2016-06-01 | 2019-05-31 | 努比亚技术有限公司 | Rotate gesture identifying device and method |
-
2017
- 2017-03-15 KR KR1020197026428A patent/KR102136526B1/en active IP Right Grant
- 2017-03-15 CN CN201780088102.5A patent/CN110402427B/en active Active
- 2017-03-15 JP JP2017540659A patent/JP6227213B1/en active Active
- 2017-03-15 DE DE112017006949.1T patent/DE112017006949T5/en not_active Ceased
- 2017-03-15 WO PCT/JP2017/010345 patent/WO2018167865A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100283739A1 (en) * | 2009-05-05 | 2010-11-11 | Microsoft Corporation | Contact grouping and gesture recognition for surface computing |
JP2013257775A (en) * | 2012-06-13 | 2013-12-26 | Tokai Rika Co Ltd | Touch sensor |
JP2016515741A (en) * | 2013-04-15 | 2016-05-30 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Pan and scaling detection during multi-finger touch interaction |
Also Published As
Publication number | Publication date |
---|---|
CN110402427B (en) | 2022-05-31 |
KR20190109551A (en) | 2019-09-25 |
CN110402427A (en) | 2019-11-01 |
KR102136526B1 (en) | 2020-07-22 |
JPWO2018167865A1 (en) | 2019-03-22 |
WO2018167865A1 (en) | 2018-09-20 |
DE112017006949T5 (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9612736B2 (en) | User interface method and apparatus using successive touches | |
US20140223299A1 (en) | Gesture-based user interface method and apparatus | |
US20150199125A1 (en) | Displaying an application image on two or more displays | |
US20140306897A1 (en) | Virtual keyboard swipe gestures for cursor movement | |
US9146667B2 (en) | Electronic device, display system, and method of displaying a display screen of the electronic device | |
US10430071B2 (en) | Operation of a computing device functionality based on a determination of input means | |
JPWO2013099042A1 (en) | Information terminal, information terminal control method, and program | |
KR102311268B1 (en) | Method and apparatus for moving an input field | |
US10691287B2 (en) | Touch panel type information terminal device, information input processing method and program thereof | |
JP6253861B1 (en) | Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device | |
JP6227213B1 (en) | Touch gesture determination device, touch gesture determination method, touch gesture determination program, and touch panel input device | |
JP6737239B2 (en) | Display device and display control program | |
JP2016038619A (en) | Mobile terminal device and operation method thereof | |
JP5701081B2 (en) | Display control apparatus and control method thereof | |
US10019141B2 (en) | Information processing apparatus, information display program, and information display method for controlling a cursor position in a text region and a display region | |
JP6327834B2 (en) | Operation display device, operation display method and program | |
JP6971573B2 (en) | Electronic devices, their control methods and programs | |
JP2015158759A (en) | function selection execution device, function selection execution method and function selection execution program | |
KR100966848B1 (en) | Method and apparatus for displaying rolling cube menu bar | |
JP2020077181A (en) | Display control device, and control method and program for display control device | |
KR101136327B1 (en) | A touch and cursor control method for portable terminal and portable terminal using the same | |
JP7030527B2 (en) | Electronic devices, information processing methods, programs and storage media | |
JP2015200979A (en) | Information processing unit and computer program | |
KR101577138B1 (en) | Method and apparatus for text input based on 3D spatial gesture | |
JP5862994B2 (en) | Information processing apparatus and method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170731 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170731 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6227213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |