WO2013136391A1 - 入力装置、入力支援方法及びプログラム - Google Patents
入力装置、入力支援方法及びプログラム Download PDFInfo
- Publication number
- WO2013136391A1 WO2013136391A1 PCT/JP2012/007026 JP2012007026W WO2013136391A1 WO 2013136391 A1 WO2013136391 A1 WO 2013136391A1 JP 2012007026 W JP2012007026 W JP 2012007026W WO 2013136391 A1 WO2013136391 A1 WO 2013136391A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- finger
- proximity
- display
- display screen
- button
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 100
- 238000012937 correction Methods 0.000 claims description 90
- 238000012790 confirmation Methods 0.000 claims description 47
- 238000005259 measurement Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 9
- 238000013459 approach Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 24
- 239000000203 mixture Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000012447 hatching Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 102100024522 Bladder cancer-associated protein Human genes 0.000 description 3
- 101710148305 Bladder cancer-associated protein Proteins 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Definitions
- the present invention relates to an input device that accepts an input operation via a touch panel, an input support method, and a program.
- touch panels that can be intuitively operated by users have been used as devices that accept input operations on electronic devices including mobile phones.
- the touch panel is known as a device for performing an input operation on the screen of the electronic device and a display process of the processing result of the electronic device on the same screen, and the electronic device on the touch panel can process the input operation of the user.
- An important issue is how to fill the gap between the accuracy and the input accuracy expected by the user.
- FIG. 15A is a diagram showing a state in which a list of news headlines is displayed on the screen of an electronic device equipped with a touch panel.
- FIG. 15B is a diagram showing characters on the screen of the electronic device equipped with a touch panel. It is a figure which shows a mode that it inputs.
- the user can read the small letters of the news headline displayed on the screen.
- the user presses the hyperlinked news headline text as a button or when characters are input to the software keyboard shown in FIG. 15B the size of the finger and the size of the button displayed on the screen are displayed. Because of the large difference, it may be difficult to press a desired button.
- touch panel technology has been evolving year by year, and in addition to touch panels that detect touch operations as user input operations, development of touch panels that detect the proximity of a user's finger as user input operations is progressing.
- a touch panel that detects the proximity of a finger for example, a non-contact type user input device disclosed in Patent Document 1 is known.
- the non-contact type user input device of Patent Document 1 includes a plurality of linear transmission electrodes, a transmitter that supplies an alternating current for transmission to each transmission electrode, and a plurality that is arranged so as not to contact each transmission electrode.
- a capacitor is formed at each intersection of the transmission electrode and the reception electrode, and a capacitor is formed according to the approach of the user's fingertip. Therefore, the capacitance of the capacitor changes according to the degree of the fingertip's approach.
- the non-contact type user input device can recognize the distance between the touch panel and the finger based on the change in capacitance.
- Patent Document 1 it is described that the distance between the touch panel and the finger can be recognized based on the change in capacitance, but with reference to FIGS. 15A and 15B.
- the problem of the gap between the accuracy that can be processed by the electronic device described above and the input accuracy expected by the user is not specifically assumed.
- the present invention has been made in view of the above-described conventional circumstances, and is an input that supports efficient selection of items displayed on a screen so that a touch operation can be accepted according to a user's input operation on the touch panel.
- An object is to provide an apparatus, an input support method, and a program.
- the present invention is an input device, and includes a display unit that displays data on a display screen, a touch panel that detects proximity of a finger to the display screen, and proximity that extracts proximity coordinates of the finger to the detected display screen A coordinate extraction unit; a display position calculation unit that calculates a position of the display screen in a vertically downward direction of the finger where the proximity is detected based on the extracted proximity coordinates; and the calculated display screen And a display control unit that displays an indicator indicating an item to be touched at the position.
- the present invention is an input device that extracts a display unit that displays data on a display screen, a touch panel that detects the proximity of a finger to the display screen, and the proximity coordinates of the finger to the detected display screen An item displayed at the position of the display screen in the vertically downward direction of the finger where the proximity is detected based on the extracted proximity coordinate And a display control unit that performs enlarged display.
- the present invention is also an input support method for a display screen, the step of detecting the proximity of a finger to the display screen, the step of extracting the proximity coordinates of the finger to the detected display screen, and the extraction
- the step of calculating the position of the display screen in the vertical downward direction of the finger where the proximity is detected based on the proximity coordinates that are detected, and the calculated position of the display screen is a target of a touch operation. Displaying an indicator indicating the item.
- the present invention is also an input support method for a display screen, the step of detecting the proximity of a finger to the display screen, the step of extracting the proximity coordinates of the finger to the detected display screen, and the extraction A step of enlarging the item displayed at the position of the display screen in the vertical downward direction of the finger where the proximity is detected based on the proximity coordinates that have been detected as an item to be touched. .
- the present invention is a program for an input support method for a display screen, the step of detecting the proximity of a finger to the display screen to a computer including a display unit that displays data on the display screen, and the detected Extracting a proximity coordinate of a finger with respect to the display screen; calculating a position of the display screen in a vertically downward direction of the finger where the proximity is detected based on the extracted proximity coordinate; Displaying an indicator indicating an item to be touched at the calculated position of the display screen.
- the present invention is a program for an input support method for a display screen, the step of detecting the proximity of a finger to the display screen to a computer including a display unit that displays data on the display screen, and the detected Extracting a proximity coordinate of a finger with respect to the display screen; and an item displayed at a position of the display screen in a vertically downward direction of the finger where the proximity is detected based on the extracted proximity coordinate. And an enlarged display step as an item to be touched.
- the present invention it is possible to support efficient selection of items displayed on the screen so that a touch operation can be accepted in accordance with a user input operation on the touch panel.
- Explanatory drawing which shows the outline of a 1st embodiment
- Block diagram showing the hardware configuration of the input device
- Explanatory drawing which shows the exclusive detection range and shared detection range of the key of [G] The figure which shows the detection range for switching the detection range for deciding as a target of touch operation, and the key of an enlarged display object, when each key is arrange
- the input device is an electronic device that includes a display unit that displays data on a display screen, and is, for example, a mobile phone, a smartphone, a tablet terminal, a digital still camera, a PDA (personal digital assistant), or an electronic book terminal.
- a mobile phone a smartphone
- a tablet terminal a digital still camera
- PDA personal digital assistant
- the present invention can also be expressed as an input device as a device or a program for operating the input device as a computer. Furthermore, the present invention can also be expressed as an input support method including each operation (step) executed by the input device. That is, the present invention can be expressed in any category of an apparatus, a method, and a program.
- an item for enabling or starting a predetermined process for content is defined as a “button”.
- the predetermined process is, for example, a process of displaying the content related to the currently displayed content on another screen.
- the “button” may be a hyperlinked character string, that is, a news headline, or an image (for example, an icon or an icon for prompting the user to perform a selection operation). Keyboard key) or a combination of a character string and an image.
- the “button” is determined according to the application running on the input device.
- the two axes representing the horizontal plane on the touch panel are the x axis and the y axis, and the axis representing the vertical direction of the touch panel is the z axis.
- the “coordinate” is a position on the horizontal plane of the touch panel, that is, a coordinate (x, y) determined by a combination of the x coordinate and the y coordinate, and the coordinates (x, y) and the touch panel and the finger. And the coordinate (x, y, z) using the distance in the vertical direction between them, that is, the height (z) of the finger from the touch panel.
- an operation of holding a finger over a position on a space separated from the surface of the touch panel or sliding substantially parallel to the surface of the touch panel from a position on the space separated from the surface of the touch panel It is defined as “hover operation”. Therefore, an operation in which a finger directly touches the surface of the touch panel is not a “hover operation” but a touch operation.
- the distance between the finger and the surface of the touch panel in the hover operation is inversely proportional to the capacitance detected by the touch panel, it is preferable that the distance corresponds to the capacitance range that can be detected by the touch panel.
- a button to be touched is determined in advance, and the touch is targeted for the user.
- a state in which the button is clearly recognized is defined as “tentative confirmation”.
- FIG. 1 is an explanatory diagram showing an overview of the first embodiment.
- FIG. 1A is an explanatory diagram showing a state in which the proximity of a finger is detected and a pointer is displayed on a button displayed on the display screen.
- FIG. 1B is an explanatory diagram showing how the pointer moves when the finger is moved in the right direction.
- FIG. 1C is an explanatory diagram showing how the pointer moves when the finger is moved in the lower right direction.
- the input device 1 causes the finger FN to approach the touch panel 15 by a user's hover operation, and the duration time of the proximity state of the finger FN to the touch panel 15 exceeds a predetermined time TM.
- a pointer PT as an indicator indicating that the button is provisionally determined as a touch operation target is displayed at the position of the display screen DP in the vertically downward direction of the finger FN (see FIG. 1A).
- the input device 1 displays a button that is temporarily determined as a target of the user's touch operation using the pointer PT on the display screen DP. Further, the input device 1 touches the tentatively confirmed button when the tentatively confirmed button is actually touched by the user's touch operation in a state where the pointer PT is displayed on the display screen DP. Confirm as an operation target, and execute processing according to the confirmed button.
- the proximity state of the finger FN is maintained for a time exceeding the predetermined time TM, and the position of the display screen DP in the vertical downward direction of the finger FN is [a] the fifth news of topics.
- the headline is a hyperlinked character string “NA”.
- the input device 1 displays the pointer PT on the character string “NA” of this headline, and allows the user to recognize that it has been provisionally determined as a touch operation target.
- the finger FN moves from one button to another button (for example, The pointer PT moves from the hyperlinked character string of the 5e-th news headline of [a] topics to the sixth news of the same topic. Move continuously to the hyperlinked string in the heading of. For example, in FIG. 1C, the pointer PT moves from the position of the character string “NA” to the position of the character string “I”.
- the pointer PT may move not only continuously but also discretely.
- the discrete movement means that the pointer PT moves from one button to another button (adjacent button) across the boundary with the button adjacent to the button. For example, when the coordinate (x, y) in the vertically downward direction of the finger is a position between a certain button and another button, the pointer PT is not displayed at an intermediate position between the two buttons, Is displayed discretely moved so as to jump directly to other buttons (see FIG. 4).
- FIG. 2 is a block diagram illustrating a hardware configuration of the input device 1.
- the input device 1 shown in FIG. 2 includes a processor 11, a ROM (Read Only Memory) 12a, a RAM (Random Access Memory) 12b, a storage unit 12c, a display unit 13, a touch panel driver 14, a touch panel 15, a power control unit 16, and an antenna.
- the communication control unit 17 is connected to the Ant.
- the processor 11, the ROM 12 a, the RAM 12 b, the storage unit 12 c, the display unit 13, the touch panel driver 14, the power supply control unit 16, and the communication control unit 17 are connected to each other via a bus 19 so as to be able to input and output data.
- the processor 11 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor), and performs overall control of the input device 1, and performs various other arithmetic processing or control. Process.
- the processor 11 reads the program and data stored in the ROM 12a and performs various processes in each embodiment described later.
- the ROM 12a stores an application 500 (see FIG. 3) installed in the input device 1, and a program and data for the processor 11 to execute processing in each unit (see later) shown in FIG.
- the RAM 12b operates as a work memory in the operation of the processor 11.
- the storage unit 12c is configured using a hard disk or flash memory built in the input device 1, and stores data acquired by the input device 1.
- the application 500 may be stored in the storage unit 12c.
- the storage unit 12c is not configured by a hard disk or a flash memory, but may be configured by, for example, an external storage medium (for example, a USB memory) connected via a USB (Universal Serial Bus) terminal.
- the display unit 13 is configured using, for example, an LCD having a display screen or an organic EL (Electroluminescence), and displays data output from the processor 11 or the touch panel driver 14 on the display screen.
- LCD Organic EL
- the touch panel driver 14 controls the operation of the touch panel 15 and monitors a user input operation on the touch panel 15. For example, when the touch panel 15 detects the contact by the touch operation of the user's finger or the proximity by the hover operation, the touch panel driver 14 acquires the contact coordinates (x, y) or the proximity coordinates (x, y, z), and the contact coordinates. Information on (x, y) or proximity coordinates (x, y, z) is output to the processor 11, RAM 12b or storage unit 12c.
- the contact coordinates (x, y) are referred to as “touch coordinates (x, y)”.
- the touch panel 15 is mounted on the display screen of the display unit 13 and detects that the user's finger touches (operates) the horizontal surface of the touch panel 15. Further, the touch panel 15 detects that the finger has approached the touch panel 15 by a hover operation of the user, that is, an operation of lifting the finger without touching the touch panel 15.
- the touch panel 15 has a finger height (z coordinate value) in a hover operation of a predetermined value or less.
- the proximity (state) of the finger is detected when the capacitance determined according to the height of the finger is a predetermined value or more.
- the power supply control unit 16 is configured using a power supply source (for example, a battery) of the input device 1, and switches the power supply state of the input device 1 to an on state or an off state according to an input operation to the touch panel 15. When the power supply is on, the power supply control unit 16 supplies power from the power supply source to each unit shown in FIG. 2 to enable the input device 1 to operate.
- a power supply source for example, a battery
- the communication control unit 17 is configured using a wireless communication circuit, transmits data as a processing result processed by the processor 11 via a transmission / reception antenna Ant, and further, a base station (not shown) or other communication Receives data transmitted from the device.
- FIG. 2 illustrates a configuration necessary for the description of each embodiment including the present embodiment.
- a voice control unit that controls a call voice, a microphone that collects a user's voice, and a call It may be configured to further include a speaker that outputs the other party's voice data.
- FIG. 3 is a block diagram illustrating a functional configuration of the input device 1.
- a proximity detection unit 10 includes a proximity detection unit 10, a touch detection unit 20, a screen display unit 30, a memory 40, a proximity coordinate extraction unit 100, a proximity time measurement unit 110, a display position calculation unit 120, and a display position correction unit 130.
- a touch coordinate extraction unit 200 includes a confirmation operation determination unit 210, an operation state management unit 300, an image composition unit 400, an application screen generation unit 410, an image generation unit 420, and an application 500.
- the proximity detection unit 10 detects that the user's finger has approached the touch panel 15 by a hover operation.
- the proximity detection unit 10 outputs a proximity notification indicating that the finger has approached the touch panel 15 to the proximity coordinate extraction unit 100.
- the touch detection unit 20 detects that a finger has touched the touch panel 15 by a touch operation.
- the touch detection unit 20 outputs a contact notification indicating that the finger has touched the touch panel 15 to the touch coordinate extraction unit 200.
- the proximity detection unit 10 and the touch detection unit 20 can be configured using the touch panel 15, and in FIG. 3, the proximity detection unit 10 and the touch detection unit 20 are configured separately. You may comprise.
- the screen display unit 30 corresponds to the display unit 13 shown in FIG. 2, and displays composite image data of a pointer PT generated by an image composition unit 400 described later and an application screen (hereinafter referred to as “application screen”) as an image. Obtained from the combining unit 400 and displayed on the display screen.
- the memory 40 corresponds to the storage unit 12c shown in FIG. 2, and stores at least provisional confirmation button information 12c1 and button definition information 12c2.
- the provisionally confirmed button information 12c1 is information indicating a button that is provisionally confirmed as a touch operation target among the buttons displayed on the application screen (described later) displayed on the display screen, in other words, the current pointer. This is information indicating a button on which PT is displayed.
- the button regulation information 12c2 is information indicating coordinates (x, y) on the display screen of each button on the application screen used in the application 500.
- the memory 40 may have a configuration corresponding to the RAM 12b illustrated in FIG. In this case, information regarding coordinates and positions extracted or calculated by a proximity coordinate extraction unit 100, a display position calculation unit 120, or a touch coordinate extraction unit 200, which will be described later, may also be stored in the memory 40. In FIG. 3, the arrows from the proximity coordinate extraction unit 100, the display position calculation unit 120, and the touch coordinate extraction unit 200 to the memory 40 are omitted in order to avoid complication of the drawing.
- the proximity coordinate extraction unit 100 outputs the proximity notification output from the proximity detection unit 10 to the proximity time measurement unit 110 and, based on the proximity coordinate extraction instruction output from the proximity time measurement unit 110, the finger touch panel 15 Proximity coordinates (x, y, z) are calculated and extracted.
- the x component and the y component are coordinate values representing the position of the touch panel 15 on the horizontal plane
- the z component is the distance between the finger and the touch panel 15, that is, the finger
- the coordinate value represents the height with respect to the touch panel 15.
- the proximity coordinate extraction unit 100 outputs information of the extracted proximity coordinates (x, y, z) to the proximity time measurement unit 110 and the display position calculation unit 120, respectively.
- the proximity time measuring unit 110 includes a clock (timer) function, and starts measuring time based on the proximity notification output from the proximity coordinate extracting unit 100. In other words, the proximity time measurement unit 110 counts the elapsed time from when the finger approaches the touch panel 15, that is, the duration time of the proximity state of the finger. Further, the proximity time measuring unit 110 determines whether or not the elapsed time from when the finger approaches the touch panel 15 exceeds the predetermined time TM.
- the proximity time measurement unit 110 extracts a proximity coordinate extraction instruction for extracting the proximity coordinates (x, y, z). Is output to the proximity coordinate extraction unit 100, and a state transition notification indicating that the input device 1 is shifted to the "selection state of pointer display target" is output to the operation state management unit 300. In addition, the proximity time measurement unit 110 outputs information on the proximity coordinates (x, y, z) output from the proximity coordinate extraction unit 100 to the operation state management unit 300.
- the selection state of the pointer display target represents a state where the finger is not touching the touch panel 15 and is approaching the touch panel 15 by a hover operation.
- the display position calculation unit 120 calculates the position (x, y) on the touch panel 15 for displaying the pointer PT based on the information of the proximity coordinates (x, y, z) output from the proximity coordinate extraction unit 100. To do.
- the position (x, y) on the touch panel 15 for displaying the pointer PT corresponds to the position detected by the touch panel 15 when the finger moves vertically downward, that is, the planned display position of the pointer PT. .
- the display position calculation unit 120 determines whether or not the display position of the pointer PT needs to be corrected simultaneously with the calculation of the position (x, y) on the touch panel 15 for displaying the pointer PT. Inquire. At the time of this inquiry, the display position calculation unit 120 outputs the calculated information on the position (x, y) on the touch panel 15 to the display position correction unit 130 as information on the planned display position of the pointer PT.
- the display position correction unit 130 uses the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the display planned position of the pointer PT as a reference. Whether the button is displayed within a predetermined distance is determined with reference to the button definition information 12c2. The predetermined distance is whether or not the scheduled display position of the pointer PT needs to be corrected in order to make the user recognize that the planned display position of the pointer PT that is provisionally determined as a target of the touch operation is clear. This is the distance provided to determine.
- the display position correction unit 130 displays the button within a predetermined distance based on the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the display position of the pointer PT. If it is determined, it is determined whether the scheduled display position of the pointer PT is a clear position or an ambiguous position that is easily visually determined by the user.
- the display position correction unit 130 calculates the position on the touch panel 15 calculated by the display position calculation unit 120 ( x, y), that is, the display planned position of the pointer PT is returned to the display position calculation unit 120 as it is.
- the display position calculation unit 120 sets the button displayed at the position (x, y) on the touch panel 15 returned from the display position correction unit 130, that is, the planned display position of the pointer PT, as the target of the touch operation. Tentatively confirmed as a button.
- the display position correction unit 130 determines that the scheduled display position of the pointer PT is an ambiguous position that is difficult for the user to visually determine, the display position correction unit 130 calculates the position on the touch panel 15 calculated by the display position calculation unit 120 ( x, y), that is, the display planned position of the pointer PT is corrected with reference to the button definition information 12c2.
- FIG. 4 is an explanatory diagram showing a state in which the scheduled display position of the pointer PT is corrected when the vertical position of the finger is between the buttons or at the end of the button.
- FIG. 5A is an explanatory diagram showing a positional relationship between a button and a correction target zone provided for the button.
- FIG. 5B is an explanatory diagram illustrating examples of five cases for determining whether or not to correct the display planned position of the pointer PT.
- the value of the vertical coordinate y is not the value of the horizontal coordinate x.
- the correction of the scheduled display position of the pointer PT based on the above will be described.
- the display positions CU1 to CU23 in the vertical direction respectively correspond to the detection positions of the vertical coordinate y defined in advance on the touch panel 15, and represent the planned display positions of the pointer when the display position correction unit 130 does not correct.
- the interval between the respective display scheduled positions may be a distance between electrodes in the vertical direction of the touch panel 15 or a distance between pixels of the display screen.
- the display position correction unit 130 has the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the value of the coordinate y in the vertical direction of the planned display position of the pointer PT, for example, as shown in FIG.
- the value of the coordinate y in the vertical direction among the positions (x, y) on the touch panel 15 calculated by the display position calculation unit 120 is a button corresponding to the display position CU1 (button in FIG. 4).
- B1) is corrected to a value in, for example, a substantially central portion in the vertical direction.
- the value of the coordinate y after correction is not limited to the value at the substantially central portion in the vertical direction of the button (button B1 in FIG.
- the display position correction unit 130 can display the pointer PT at a substantially central portion of the button B1, and thus can clearly recognize which button is the target of the touch operation when the user performs a touch operation.
- the display position correction unit 130 has the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the value of the coordinate y in the vertical direction of the planned display position of the pointer PT, for example, as shown in FIG.
- the value of the vertical coordinate y among the positions (x, y) on the touch panel 15 calculated by the display position calculation unit 120 is the button closest to the display position CU8 (button in FIG. 4).
- the value is corrected to a value in the substantially central portion of the vertical direction of B2).
- the value of the coordinate y after correction is not limited to the value at the approximate center in the vertical direction of the button (button B2 in FIG.
- the display position correction unit 130 can display the pointer PT at a substantially central portion of the button B2, and thus can clearly recognize which button is the target of the touch operation when the user performs a touch operation.
- the display position correction unit 130 has the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the value of the coordinate y in the vertical direction of the planned display position of the pointer PT, for example, as shown in FIG.
- the value of the coordinate y in the vertical direction among the positions (x, y) on the touch panel 15 calculated by the display position calculation unit 120 is the button closest to the display position CU15 (the button in FIG. 4).
- the vertical length of B2) is corrected to, for example, a value at a substantially central portion.
- the value of the coordinate y after correction is not limited to the value at the substantially central portion in the vertical direction of the button (button B3 in FIG.
- the display position correction unit 130 can display the pointer PT at a substantially central portion of the button B2, and thus can clearly recognize which button is the target of the touch operation when the user performs a touch operation.
- buttons are displayed from the display positions two and four below the display position CU1, the display positions three below the display position CU8, and the display positions three and five below the display position CU15.
- the solid line arrow is not shown, it is considered that the display position of the pointer PT can be clearly recognized by the user even if the pointer PT is actually displayed at each display position. Therefore, the illustration is omitted.
- FIG. 5A shows an example in which the button B1 is displayed on the upper side and the button B2 is displayed on the lower side, and the correction target zone (see the hatching portion) of the button B1 is illustrated.
- the correction target zone is provided in advance for each button to which the correction target zone is assigned, and is, for example, a range of 1 mm from the end of the button (see the hatched portion), and the same applies to the embodiments described later.
- the range of the correction target zone is not limited to 1 mm.
- the value of the correction target zone may be different for each button, and is stored in the button definition information 12c2 in association with the button.
- whether or not the display position correcting unit 130 corrects the scheduled display position of the pointer PT depends on, for example, five cases (Bc1, Bc2, Bc3, Bc4, Bc5) according to the planned display position of the pointer PT. Conceivable.
- FIG. 5A shows the planned display positions of the pointer PT corresponding to the five cases.
- FIG. 5B corresponding to each case, whether or not the display position correction unit 130 corrects the scheduled display position of the pointer PT, and the display position calculation unit 120 is temporarily set as a button to be touched. Whether or not to confirm is shown.
- the display position of the pointer PT is clearly outside the button B1, and it is clear that there is no button B1 within a predetermined distance with reference to the display position of the pointer PT. Correction by the correction unit 130 is not performed, and provisional determination by the display position calculation unit 120 is not performed.
- the pointer PT is actually displayed because the display position of the pointer PT is outside the button B1, within the correction target zone, and there is no adjacent button. Is displayed outside the button B1, but close to the end of the button B1, and it is considered necessary to clearly recognize the button B1 located at the closest position as the target of the touch operation. Therefore, in case Bc4, the display position correcting unit 130 corrects the scheduled display position of the pointer PT to the inside of the button B1, and the display position calculating unit 120 temporarily determines the button B1 as a touch operation target. .
- the pointer PT is actually displayed because the display position of the pointer PT is outside the button B1, within the correction target zone, and there is an adjacent button B2. In this case, it is considered that it is ambiguous which button B1 or button B2 is the button to be touched by the user. For this reason, in case Bc5, the display position correction unit 130 corrects the scheduled display position of the pointer PT to the inside of the button B1, and the display position calculation unit 120 temporarily determines the button B1 as a touch operation target. .
- the touch coordinate extraction unit 200 outputs the contact notification output from the touch detection unit 20 to the operation state management unit 300.
- the touch coordinate extraction unit 200 calculates and extracts touch coordinates (x, y) of the finger on the touch panel 15 based on the contact notification output from the touch detection unit 20.
- the touch coordinate extraction unit 200 outputs information of the extracted touch coordinates (x, y) to the confirmation operation determination unit 210.
- the confirmation operation determination unit 210 acquires the information on the touch coordinates (x, y) output from the touch coordinate extraction unit 200
- the confirmation operation determination unit 210 determines whether or not the pointer PT is already displayed in the operation state management unit 300. Inquire.
- the touch coordinate extraction unit 200 obtains a pointer display notification indicating that the pointer PT has already been displayed from the operation state management unit 300
- the touch coordinate (x, y) is a button for which the touch coordinates (x, y) are provisionally determined as the target of the touch operation It is determined whether it is within the detection range (see FIG. 6).
- the determination operation determination unit 210 determines that the touch coordinates (x, y) are within the detection range (see FIG. 6) of the button temporarily determined as the target of the touch operation, the finger downward direction It is determined whether or not a touch operation that changes the button displayed at the display position of the pointer PT is performed in response to the sudden movement at.
- a predetermined threshold for example, 50 [ ⁇ F]
- the rapid movement of the finger in the vertically downward direction is a movement in which the capacitance changes from “100 [ ⁇ F]” to “200 [ ⁇ F]” during a predetermined time (for example, 100 [msec]), that is, static This is a touch operation that exceeds the threshold value of the change in capacitance.
- FIG. 6 is an explanatory diagram illustrating a button detection range temporarily determined as a touch operation target in a state where the pointer PT is displayed.
- the detection range when the hypertext is linked to the news headline on which the pointer PT is displayed is the detection range D1 (button B1 range).
- the detection range when the character string of the news headline on which the pointer PT is displayed includes not only the detection range D1 but also the predetermined detection range D2. . That is, the detection range when the character string of the news headline on which the pointer PT is displayed is expanded.
- the detection range D2 is a size provided to allow easy touching when the user performs a touch operation. Accordingly, the confirmation operation determination unit 210 determines that the pointer PT indicates the touch operation on the detection range D2 even if the button temporarily confirmed as the target of the user's touch operation is a small button that makes the touch operation difficult. It can be determined as a touch operation of the displayed button.
- the shape and range (coordinate values) of the detection range D2 are defined in advance as fixed values in the operation of the deterministic operation determination unit 210 or the button definition information 12c2, and the shape of the detection range D2 is circular in FIG.
- the detection range D2 is not limited to a circular shape, and may be, for example, an ellipse or a rectangle. Accordingly, when the position on the touch panel 15 where the touch operation is performed is within the detection range D2, the determination operation determination unit 210 determines to select the button on which the pointer PT is displayed as the target of the touch operation. .
- the detection range D2 is defined in advance as a fixed value in the operation of the fixed operation determination unit 210, the detection range D2 is not limited to a fixed value. For example, if the character string displayed on the display screen DP is sufficiently large for the user's touch operation, the detection range D1 even if the detection range D2 is small or the detection range D2 does not exist. It is possible to prevent a touch operation from being erroneously performed only by the size of (button B1).
- the confirmation operation determination unit 210 may dynamically change the detection range D2 according to the size of the character string (button B1) displayed on the display screen DP. Thereby, the confirmation operation determination unit 210 can further give a comfortable operation feeling without causing an erroneous operation of the touch operation on the character string (button B1) displayed on the display screen DP.
- FIG. 7 shows a state in which the touch operation is performed when the touch operation for changing the button on which the pointer PT is displayed is performed by the sudden downward movement of the finger FN in the state in which the pointer PT is displayed. It is explanatory drawing which shows a mode that the button with which pointer PT was displayed is selected as an object button.
- the display position correcting unit 130 displays the pointer PT.
- the planned position is corrected from the position on the touch panel 15 in the vertically downward direction of the finger FN to the approximate center of the button B1 (see FIG. 4).
- this touch operation is a touch operation (see a solid arrow from the finger FN) that is performed from the proximity coordinate position of the finger FN in the proximity state toward the button B2 side from the boundary line MD. It is shown.
- this touch operation (see the solid arrow from the finger FN) is considered to be an invalid touch operation in the prior art because the touch coordinates are not between the button B2 but the button B1 and the button B2.
- the button B2 is determined as a touch operation target.
- the touch operation shown in FIG. 7 changes the button B1 displayed at the display position of the pointer PT in accordance with the rapid movement of the finger FN in the vertical downward direction, thereby causing the button B2 to change. It can be said that this is a touch operation that causes the user to select.
- the confirmation operation determination unit 210 is performed. Determines that the button B1 on which the pointer PT is displayed is preferentially selected as the target of the touch operation, not the button B2 whose display planned position is corrected corresponding to the position actually touched by the finger FN.
- the confirmation operation determination unit 210 activates a predetermined process for the touch coordinates (x, y) on the touch panel 15 of the finger based on the information on the touch coordinates (x, y) output from the touch coordinate extraction unit 200 ( It is determined whether there is a button to be executed.
- the confirmation operation determination unit 210 is displayed at the position of the touch coordinates (x, y) when it is determined that there is a button for starting (executing) a predetermined process at the touch coordinates (x, y) of the finger touch panel 15. Is confirmed as the target of the touch operation.
- the confirmation operation determination unit 210 outputs to the application 500 information on buttons that have been confirmed as touch operation targets and information on touch coordinates (x, y).
- the operation state management unit 300 When the operation state management unit 300 obtains from the proximity time measurement unit 110 a state transition notification indicating that the input device 1 is shifted to the “selection state of pointer display target”, the operation state management unit 300 displays the operation state of the input device 1 as “pointer display”. It moves to "Selection state of object”.
- the operation state management unit 300 temporarily stores information on the operation state of the input device 1 and information on proximity coordinates (x, y, z) in the memory 40 or the RAM 12b, and generates a pointer to generate image data of the pointer PT.
- the generation instruction is output to the image generation unit 420.
- the operation state management unit 300 When the operation state management unit 300 acquires the contact notification output from the touch coordinate extraction unit 200, the operation state management unit 300 shifts the input device 1 from the “selection state of the pointer display target” to the “confirmed operation state by touch operation”.
- the operation state management unit 300 temporarily stores information on the operation state of the input device 1 and information on touch coordinates (x, y) in the memory 40 or the RAM 12b.
- the operation state management unit 300 Based on the operation state confirmation request output from the confirmed operation determination unit 210, the operation state management unit 300 refers to the memory 40 and is “selection state of pointer display target” as information regarding the operation state of the input device 1. It is determined whether or not. The operation state management unit 300 outputs information regarding the operation state of the input device 1 as a determination result to the confirmation operation determination unit 210.
- the image composition unit 400 as a display control unit synthesizes the screen data of the application screen output from the application screen generation unit 410 and the image data of the pointer PT output from the image generation unit 420.
- the image composition unit 400 displays the composite image data generated by the composition on the display screen of the screen display unit 30.
- the image control unit 400, the application screen generation unit 410, and the image generation unit 420 may constitute a display control unit.
- the application screen generation unit 410 generates screen data of an application screen in the application 500 based on the screen generation notification from the application 500 and outputs the screen data to the image composition unit 400.
- the application screen generation unit 410 and the application 500 are shown as separate configurations, but the application 500 has the function of the application screen generation unit 410 so that the application screen generation unit 410 and the application 500 You may comprise as the application 500 which put together.
- the image generation unit 420 generates image data of the pointer PT as an indicator based on the pointer generation instruction from the operation state management unit 300, and outputs the generated image data of the pointer PT to the image composition unit 400.
- the indicator is an operator for representing an item (button) that is a target of the touch operation.
- the shape of the pointer PT is illustrated as a circular shape in FIG. 4, for example, but is not limited to a circular shape, and may be a rectangular shape or an elliptical shape, for example.
- the size of the pointer PT is a fixed value that is defined in advance in the operation of the image generation unit 420, but is not limited to a fixed value.
- the image generation unit 420 dynamically sets the size of the pointer PT by referring to the proximity coordinate (x, y, z) information temporarily stored in the memory 40 or the RAM 12b by the operation state management unit 300 and the button definition information 12c2. You may change to Thereby, the image generation unit 420 can generate the pointer PT suitable for the size of the button, and does not give the user a visual discomfort.
- the size of the pointer PT may be as large as one point on the display screen, like a mouse as an input device connected to a personal computer (PC). Accordingly, the size of the pointer PT may be the same as, for example, the size of the character string that constitutes the temporarily confirmed button, or may be smaller than the size of the character string.
- the application 500 is installed in advance so as to be executable in the input device 1, and based on the button and touch coordinates (x, y) information output from the confirmation operation determination unit 210, the operation in the application 500 according to the button selection ( Process).
- the application 500 outputs a screen generation notification for generating screen data corresponding to the determined operation to the application screen generation unit 410.
- FIG. 8 is a flowchart for explaining the operation of the input apparatus 1 according to the first embodiment.
- the flowchart shown in FIG. 8 shows the operation of the input device 1 when a user operating the input device 1 inputs an operation on the input device 1 using the user's own finger.
- the proximity detection unit 10 detects whether or not the user's finger has approached the touch panel 15 by a hover operation (S11).
- the proximity detection unit 10 detects that the finger has approached the touch panel 15 (S11, Yes)
- the proximity detection unit 10 outputs a proximity notification that the finger has approached the touch panel 15 to the proximity coordinate extraction unit 100.
- the proximity coordinate extraction unit 100 outputs the proximity notification output from the proximity detection unit 10 to the proximity time measurement unit 110.
- the proximity time measurement unit 110 Based on the proximity notification output from the proximity coordinate extraction unit 100, the proximity time measurement unit 110 counts the elapsed time from when the finger approaches the touch panel 15, that is, the duration time of the proximity state of the finger (S12). . Further, the touch detection unit 20 detects whether or not a finger has touched the touch panel 15 by a touch operation. The proximity time measurement unit 110 inquires of the operation state management unit 300 whether or not a contact notification that the finger has touched the touch panel 15 has been output from the touch coordinate extraction unit 200 to the operation state management unit 300 (S13). The operation state management unit 300 determines whether or not a contact notification indicating that a finger has touched the touch panel 15 has been acquired with reference to the memory 40 or the RAM 12b, and outputs the determination result to the proximity time measurement unit 110.
- the operation state management unit 300 has not acquired a contact notification indicating that a finger has touched the touch panel 15 from the touch coordinate extraction unit 200 (No in S13). That is, the proximity time measuring unit 110 acquires a determination result indicating that the contact notification indicating that the finger has touched the touch panel 15 has not been acquired from the touch coordinate extracting unit 200 from the operation state management unit 300. The proximity time measuring unit 110 determines whether or not the elapsed time from when the finger approaches the touch panel 15 exceeds the predetermined time TM (S14). When it is determined that the elapsed time from when the finger approaches the touch panel 15 does not exceed the predetermined time TM (S14, No), the operation of the input device 1 returns to step S13.
- the proximity time measurement unit 110 extracts proximity coordinates (x, y, z) when it is determined that the elapsed time from when the finger approaches the touch panel 15 exceeds the predetermined time TM (Yes in S14). Is generated and output to the proximity coordinate extraction unit 100, and a state transition notification indicating that the input device 1 is shifted to the “selection state of pointer display target” is output to the operation state management unit 300.
- the operation state management unit 300 shifts the operation state of the input device 1 to “selection state of pointer display target”.
- the proximity coordinate extraction unit 100 calculates and extracts the proximity coordinates (x, y, z) of the finger with respect to the touch panel 15 based on the proximity coordinate extraction instruction output from the proximity time measurement unit 110 (S15).
- the proximity coordinate extraction unit 100 outputs information of the extracted proximity coordinates (x, y, z) to the proximity time measurement unit 110 and the display position calculation unit 120, respectively.
- the display position calculation unit 120 based on the information of the proximity coordinates (x, y, z) output from the proximity coordinate extraction unit 100, the position (x, y) on the touch panel 15 for displaying the pointer PT, that is, The planned display position of the pointer PT is calculated (S16). Further, the display position calculation unit 120 inquires of the display position correction unit 130 whether or not the display planned position of the pointer PT needs to be corrected.
- the display position correction unit 130 uses the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the display planned position of the pointer PT as a reference. It is determined whether or not the button is displayed within a predetermined distance with reference to the button definition information 12c2 (S17). The display position correction unit 130 displays the button within a predetermined distance based on the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the display position of the pointer PT.
- the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120 that is, the display planned position of the pointer PT is clearly clearly visible to the user. Whether the current position is a vague position or an ambiguous position is determined (S18).
- the touch panel calculated by the display position calculation unit 120 is displayed.
- 15 (x, y), that is, the display planned position of the pointer PT is returned to the display position calculation unit 120 as it is.
- the display position calculation unit 120 is a button that is a target of a touch operation on a button (x, y) on the touch panel 15 returned from the display position correction unit 130, that is, a button displayed at a planned display position of the pointer PT. Is temporarily determined as (S20).
- the touch panel calculated by the display position calculation unit 120 is displayed.
- the position (x, y) on 15, that is, the scheduled display position of the pointer PT is corrected with reference to the button definition information 12c2 (S19).
- the pointer PT is moved to a position close to the correction target zone (see FIG. 5A) so that the movement of the pointer PT looks as smooth as possible to the user. It is preferable to be corrected.
- the display position correction unit 130 outputs the corrected display planned position (x ′, y ′) of the pointer PT to the display position calculation unit 120.
- the display position calculation unit 120 temporarily determines the button displayed at the scheduled display position (x ′, y ′) of the corrected pointer PT output from the display position correction unit 130 as a button to be touched. (S20).
- the display position correction unit 130 indicates that the button is not displayed within a predetermined distance on the basis of the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the planned display position of the pointer PT. If it is determined (S17, No), it is determined whether or not the pointer PT is already displayed with reference to the temporary confirmation button information 12c1 in the memory 40 or RAM 12b2 (S22). When the pointer PT is not displayed yet (S22, No), the operation of the input device 1 returns to step S13.
- the display position correction unit 130 determines that the pointer PT is already displayed (S22, Yes)
- the display position correction unit 130 outputs a point deletion request notification to the effect that the pointer PT is deleted to the image composition unit 400.
- FIG. 3 an arrow between the display position correction unit 130 and the image composition unit 400 is not shown.
- the image composition unit 400 displays the pointer PT at the display position of the button temporarily determined as the button to be touched in step S20 (S21).
- the image composition unit 400 generates provisional confirmation button information 12c1 indicating which button the pointer PT is displayed on, and stores it in the memory 40.
- the operation state management unit 300 can determine whether or not the pointer PT is displayed on the display screen in the input device 1. In FIG. 3, an arrow between the image composition unit 400 and the memory 40 is not shown.
- step S21 the operation of the input device 1 returns to step S13.
- the image composition unit 400 erases the pointer PT currently displayed on the display screen based on the point erase request notification (S23).
- the pointer PT is erased from the display screen in step S23 because the user is interested in selecting the button indicated by the pointer PT because the finger has moved from the display position of the pointer PT already displayed to a position unrelated to the button. This is to reflect that there is no longer.
- step S23 the operation of the input device 1 returns to step S13.
- step S13 it is assumed that the touch coordinate extraction unit 200 has acquired a contact notification that the finger has touched the touch panel 15 from the touch detection unit 20 (S13, Yes).
- the touch coordinate extraction unit 200 outputs the contact notification output from the touch detection unit 20 to the operation state management unit 300.
- the operation state management unit 300 acquires the contact notification output from the touch coordinate extraction unit 200
- the operation state management unit 300 shifts the input device 1 from the “selection state of the pointer display target” to the “confirmed operation state by the touch operation”.
- the operation state management unit 300 temporarily stores information on the operation state of the input device 1 and information on touch coordinates (x, y) in the memory 40 or the RAM 12b.
- the confirmation operation state by the touch operation represents a state in which the confirmation operation in accordance with the user's intention is selected by the finger touching the touch panel 15, and the same applies to the embodiments described later.
- the touch coordinate extraction unit 200 calculates and extracts the touch coordinates (x, y) of the finger on the touch panel 15 based on the contact notification output from the touch detection unit 20 (S24).
- the touch coordinate extraction unit 200 outputs information of the extracted touch coordinates (x, y) to the confirmation operation determination unit 210.
- the confirmation operation determination unit 210 acquires the information on the touch coordinates (x, y) output from the touch coordinate extraction unit 200, the confirmation operation determination unit 210 determines whether or not the pointer PT is already displayed in the operation state management unit 300. An inquiry is made (S25). When the confirmation operation determination unit 210 obtains a point display notification indicating that the pointer PT is already displayed from the operation state management unit 300 (S25, Yes), the touch coordinates (x, y) are set as the target of the touch operation. It is determined whether or not it is within the detection range (see FIG. 6) of the provisionally confirmed button (S31).
- the confirmation operation determination unit 210 determines that the touch coordinates (x, y) are within the detection range (see FIG. 6) of the button temporarily determined as the target of the touch operation (S31, YES), It is determined whether or not a touch operation has been performed to change the button displayed at the display position of the pointer PT in response to a rapid movement in the vertically downward direction (S32).
- step S32 If there is no sudden vertical movement of the finger in step S32 (S32, No), the operation of the input device 1 returns to step S13. In this case, the operation state management unit 300 resets the state of the input device 1, that is, the “confirmed operation state by touch operation”.
- the confirming operation determination unit 210 uses the button that has been provisionally confirmed by the pointer PT already being displayed as the touch operation.
- the target is determined (S33).
- the confirmation operation determination unit 210 outputs information regarding the button confirmed as the target of the touch operation and information on the touch coordinates (x, y) to the application 500.
- step S33 the operation of the input device 1 proceeds to step S28.
- step S ⁇ b> 32 the confirmation operation determination unit 210 tentatively confirms that the pointer PT has already been displayed.
- the button that has been set is determined as the target of the touch operation. However, if the touch time on the touch panel 15 is long even if the finger does not suddenly move in the vertical direction, the confirming operation determination unit 210 selects the button that has been provisionally confirmed because the pointer PT has already been displayed, You may decide as a target of touch operation.
- the determination operation determination unit 210 determines that the touch coordinates (x, y) are not within the button detection range (see FIG. 6) temporarily determined as the target of the touch operation (S31, No), or When the point display completion notification indicating that the pointer PT has already been displayed has not been acquired from the operation state management unit 300 (S25, No), the touch coordinates (x, y) output from the touch coordinate extraction unit 200 Based on this information, it is determined whether or not there is a button for starting (executing) a predetermined process at the touch coordinates (x, y) of the finger touch panel 15 (S26).
- the determination operation determination unit 210 determines that there is a button for starting (executing) a predetermined process at the touch coordinates (x, y) of the touch panel 15 of the finger (S26, Yes), the touch coordinates (x, y) The button displayed at the position is determined as the operation target by the touch operation (S27).
- the confirmation operation determination unit 210 outputs information on the button confirmed as an operation target by the touch operation and information on the touch coordinates (x, y) to the application 500.
- the application 500 determines the operation (processing) in the application 500 according to the button selection based on the button and touch coordinate (x, y) information output from the confirmation operation determination unit 210 in step S27 or step S33. (S28).
- the application 500 executes the operation determined in step S28 (S29).
- the determination operation determination unit 210 determines that there is no button for starting (executing) a predetermined process at the touch coordinates (x, y) on the touch panel 15 of the finger (S26, No), the detection is performed in step S13. It is determined that the performed touch operation is an invalid operation (S30). Thus, the description of the flowchart shown in FIG. 7 ends.
- the input device 1 when the user's finger approaches the touch panel 15 beyond the predetermined time TM, the input device 1 according to the present embodiment has a button displayed at the position of the display screen in the vertically downward direction of the finger. A pointer PT is displayed. Further, when the display position of the pointer PT is not the inside of the button but the intermediate position between the buttons or the end of the button, the input device 1 sets the display position of the pointer PT to, for example, the nearest button. Correct to the center. Thereby, the input device 1 displays the pointer PT so as to move discretely without causing the user to obscure the button that is the target of the touch operation in an ambiguous manner. Button can be clearly recognized.
- the input device 1 when the touch operation is performed within the predetermined detection range including the range of the button indicated by the pointer PT in the state where the pointer PT is displayed, the input device 1 has the touch coordinates (x, y). If the button indicated by the pointer PT is touched even if it is outside the button range and within the predetermined detection range, the operation target is determined. In addition, when the pointer PT is displayed, the input device 1 does not change the pointer PT even when a touch operation is performed to change the button indicated by the pointer PT due to a sudden vertical movement (vertically downward) of the finger. The indicated button is determined as a touch operation target.
- the input device 1 can efficiently select an item (for example, a button) displayed on the screen so as to accept a touch operation in accordance with a user input operation on the touch panel 15.
- the input device 1 allows the user's finger to touch a button on the display screen indicated by the fingertip when the finger is not touching (touching) the touch panel 15 and is close, that is, the finger and the touch panel are separated by a certain distance.
- the user can be made aware.
- the input device 1 can visually recognize a button hidden by the user's own finger when the touch panel 15 is directly touched before the user's finger performs a touch operation. A comfortable operation feeling can be given.
- FIG. 9 is an explanatory diagram showing an outline of the second embodiment.
- the structure of the input device in 2nd Embodiment is the same as that of the input device 1 shown in FIG. 3, also in 2nd Embodiment, the same content is used for each part of the input device 1 with the same code
- the input device 1 is configured such that, for example, in a state where a keyboard including keys as a plurality of buttons is displayed on the display screen, the finger FN is close to the touch panel 15 and the finger FN is applied to the touch panel 15.
- any key for example, [G] key
- any key for example, [G] key
- the input device 1 displays an enlarged button on the display screen DP for a button that is temporarily determined as a target for the user's touch operation. Furthermore, the input device 1 is provisionally confirmed when the provisionally confirmed button is actually touched by a user's touch operation in a state where the provisionally confirmed button is enlarged and displayed on the display screen DP. The selected button is determined as a touch operation target, and processing corresponding to the determined button is executed.
- the input device 1 uses the [G] key as the target of the touch operation. Confirm as a button and support input of [G] key.
- FIG. 10 is an explanatory diagram showing the dedicated display range Ar2 and the shared display range Ar3 for the key Kg of [G].
- FIG. 11 is an explanatory diagram illustrating a detection range for switching between a detection range for determining a touch operation target and a key for an enlarged display target when left and right and vertical keys are arranged in contact with each other. It is.
- FIG. 12A is an explanatory diagram illustrating a detection range for switching between a detection range for determining a touch operation target and an enlargement display target key when left and right keys are arranged apart from each other. is there.
- FIG. 12B is an explanatory diagram illustrating a detection range for switching between a detection range for determining a touch operation target and an enlargement display target key when the vertical keys are spaced apart from each other. is there.
- the display range Ar1 of the [G] key Kg is composed of a dedicated display range Ar2 and a shared display range Ar3.
- the dedicated display range Ar2 is a display area dedicated to the detection range of the own key when another key temporarily determined as a touch operation target is enlarged and displayed across the own key. Therefore, even when another key temporarily determined as a touch operation target is enlarged and displayed across its own key, the display of the dedicated display range Ar2 for the own key is continued.
- the shared display range Ar3 is a display area that is hidden and displayed as a part of another enlarged key when another key temporarily determined as a touch operation target is enlarged and displayed across its own key. It is. Therefore, when another key temporarily determined as a touch operation target is enlarged and displayed across its own key, a part of the shared display range Ar3 of the own key is not displayed, and the other It will be hidden by the key.
- the dedicated display range Ar2 and the shared display range Ar3 of the [K] key Kg will be described more specifically with reference to FIG.
- the proximity state exceeds the predetermined time TM at the position of the display range Ar1 (see FIG. 10) of the [G] key Kg.
- the key [G] key Kg is enlarged and displayed.
- the finger exceeds the display range Ar1 of the [G] key Kg and is adjacent to the key (for example, the [H] key).
- the adjacent key for example, the [H] key
- the detection range Range2 for switching (changing) the key to be enlarged in the left-right direction of the [G] key Kg is the horizontal direction of the display range Ar1 of the [G] key Kg. It becomes the length.
- the detection range Range4 for switching the enlargement display target key in the vertical direction of the [G] key Kg is the vertical length of the display range Ar1 of the [G] key Kg.
- the detection range Range1 for determining the touch operation target in the left-right direction of the [G] key is the horizontal length of the display range Ar1 of the [G] key Kg and the left-right direction of the [G] key Kg.
- the detection range Range3 of the confirmation operation by the touch operation in the vertical direction of the [G] key is the vertical length of the display range Ar1 of the [G] key Kg and the vertical direction of the [G] key Kg.
- Shared display of adjacent keys here, [T] or [Y], [V] or [B]
- the dedicated display range Ar2 and the shared display range Ar3 of the [K] key Kg will be described more specifically with reference to FIG. 12 (a) or 12 (b), when the input device 1 detects the proximity state of the finger to the [G] key Kg, the display range Ar1 (see FIG. 10) of the [G] key Kg;
- the proximity state is a predetermined time in a range corresponding to the sum of the lengths (see hatched portions) between the [G] key Kg and the [G] key Kg to the respective boundary lines MD1, MD2, MD3, MD4. If it continues beyond TM, the [K] key Kg is enlarged and displayed.
- the length of the range (see the hatched portion) between the [G] key Kg and each of the boundary lines MD1, MD2, MD3, and MD4 corresponds to the length in the horizontal direction in FIG. In FIG. 12B, this corresponds to the length in the vertical direction.
- the finger moves each boundary line MD1, MD2, MD3, MD4 from the display range Ar1 of the [G] key Kg.
- the adjacent key for example, the key of [H] or [B]
- the adjacent key instead of the key of [G] is immediately enlarged and displayed.
- the length of the range (see the dot pattern portion) from the adjacent key to each of the boundary lines MD1, MD2, MD3, MD4 corresponds to the length in the horizontal direction in FIG. In b), it corresponds to the length in the vertical direction.
- the boundary line MD1 indicates the middle position between the [F] key and the [G] key, and also indicates the boundary of the detection range for switching the enlargement display target key.
- the boundary line MD2 indicates an intermediate position between the [G] key and the [H] key, and also indicates the boundary of the detection range for switching the enlargement display target key.
- the boundary line MD3 indicates an intermediate position between the [G] key and the [T] or [Y] key, and also indicates the boundary of the detection range for switching the enlargement target key.
- the boundary line MD4 indicates an intermediate position between the [G] key and the [V] or [B] key, and also indicates the boundary of the detection range for switching the enlargement target key.
- the detection range Range6 for switching the enlargement display target key in the left-right direction of the [G] key Kg is the horizontal direction of the display range Ar1 of the [G] key Kg.
- the detection range Range8 for switching the key to be magnified in the vertical direction of the [G] key Kg is the vertical direction of the display range Ar1 of the [G] key Kg.
- the detection range Range5 for determining the [G] key as a touch operation target in the left-right direction is the horizontal length of the display range Ar1 of the [G] key Kg. And the length between the left end of the [G] key and the right end of the [F] key adjacent to the left of the [G] key Kg, and the left of the [G] key Kg
- the horizontal length of the range (see the reverse hatched part, the right side range of the shared display range Ar3 of [F]) that spans a part of the shared display range Ar3 of [F]
- Range spanning part of range Ar3 (see reverse hatching, shared display range Ar3 of [H] key It corresponds to the sum of the length in the horizontal direction of the left side range).
- the detection range Range7 for determining the target of the touch operation in the vertical direction of the [G] key is the vertical length of the display range Ar1 of the [K] key Kg.
- the length between the upper end of the [G] key and the lower end of the [T] or [Y] key adjacent in the upward direction of the [G] key Kg, and the [G] key Kg Range that spans part of the shared display range Ar3 of the [T] or [Y] key adjacent in the direction see reverse hatching, lower range of the shared display range Ar3 of the [T] or [Y] key
- FIG. 13A is an explanatory diagram showing a positional relationship between a button and a correction target zone provided for the button.
- FIG. 13B is an explanatory diagram illustrating examples of five cases for determining whether or not to correct the position on the touch panel in the vertically downward direction of the finger.
- FIG. 13A shows an example in which the button B3 is displayed side by side on the upper side and the button B4 is displayed side by side on the lower side, and the correction target zone (see the hatching portion) of the button B3 is shown.
- FIG. 13A shows the positions in the vertically downward direction of the proximity state of the finger corresponding to the five cases.
- FIG. 13B corresponding to each case, whether or not the display position correction unit 130 corrects the position in the vertically downward direction of the proximity state of the finger, and the display position calculation unit 120 is the target of the touch operation. Whether or not to be provisionally confirmed as a button is shown.
- the position in the vertical downward direction of the proximity state of the finger is clearly outside the button B1, and the button B3 is not within a predetermined distance based on the position in the vertical downward direction of the proximity state of the finger. Therefore, correction by the display position correction unit 130 is not performed, and provisional confirmation by the display position calculation unit 120 is not performed.
- the position of the proximity state of the finger in the vertically downward direction is in the button B3 and in the correction target zone, but in the present embodiment, the proximity state of the finger is in the vertically downward direction.
- the button displayed at the position is an object to be enlarged.
- the enlarged display target is the button B3. It is considered that there is no direct impact on For this reason, in case Bc8, correction by the display position correction unit 130 may or may not be performed, but provisional confirmation by the display position calculation unit 120 is made.
- the display position correction unit 130 corrects the position in the vertically downward direction of the proximity state of the finger to the inside of the button B3, and the display position calculation unit 120 further displays the button B3 as a button to be enlarged. As tentatively confirmed.
- FIG. 14 is a flowchart for explaining the operation of the input apparatus 1 according to the second embodiment.
- the flowchart shown in FIG. 14 shows the operation of the input device 1 when a user operating the input device 1 inputs an operation on the input device 1 using the user's own finger. Further, in the flowchart of FIG. 14, the same processing (step) symbols are used for the same processing as that of the flowchart shown in FIG.
- the buttons in the following description may be specifically read as keys (see FIGS. 10 to 12).
- the proximity time measurement unit 110 determines that the elapsed time from when the finger approaches the touch panel 15 exceeds the predetermined time TM (S14, Yes)
- the proximity coordinates (x, y, z) Is generated and output to the proximity coordinate extraction unit 100, and a state transition notification to the effect that the input device 1 is shifted to the “enlarged display target selection state” is sent to the operation state management unit 300.
- the operation state management unit 300 shifts the operation state of the input device 1 to the “enlargement display target selection state”.
- step S14 Is preferably omitted.
- the process of step S14 Is preferably omitted.
- the proximity coordinate extraction unit 100 calculates and extracts the proximity coordinates (x, y, z) of the finger with respect to the touch panel 15 based on the proximity coordinate extraction instruction output from the proximity time measurement unit 110 (S15).
- the proximity coordinate extraction unit 100 outputs information of the extracted proximity coordinates (x, y, z) to the proximity time measurement unit 110 and the display position calculation unit 120, respectively.
- the display position calculation unit 120 based on the information on the proximity coordinates (x, y, z) output from the proximity coordinate extraction unit 100, the position (x on the touch panel 15) of the item (for example, button) to be enlarged and displayed. Y), that is, the position in the vertically downward direction of the proximity state of the finger is calculated. Furthermore, the display position calculation unit 120 inquires of the display position correction unit 130 whether or not the calculated position (x, y) on the touch panel 15, that is, whether or not the position in the vertically downward direction of the proximity state of the finger is necessary. (S41).
- the display position correction unit 130 determines the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, in the vertically downward direction of the proximity state of the finger. It is determined with reference to the button definition information 12c2 whether or not the button is displayed within a predetermined distance based on the position (S41). The display position correction unit 130 displays buttons within a predetermined distance based on the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the position in the vertically downward direction of the proximity state of the finger.
- the button information is acquired from the button definition information 12c2, and the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, It is determined whether or not the position of the finger in the vertically downward direction is within the detection range for switching the enlargement display target button (S42).
- the detection range for switching the enlargement display target button is a range determined by Range 2 and Range 4 shown in FIG. 10, or a range determined by Range 6 and Range 8 shown in FIGS. 11 (a) and 11 (b).
- the display position correction unit 130 detects that the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the position in the vertical downward direction of the proximity state of the finger, switches the button to be enlarged. If it is determined that it is within the range (S42, Yes), each information of the button and the position (x, y) on the touch panel 15 is output to the display position calculation unit 120 without switching the enlargement display target button.
- the display position calculation unit 120 selects buttons corresponding to the information output from the display position correction unit 130 based on the buttons output from the display position correction unit 130 and the information on the position (x, y) on the touch panel 15. Then, it is provisionally confirmed as a button for confirming the target of the touch operation (S44).
- the display position correction unit 130 determines that the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120 is outside the detection range for switching the enlargement display target button (No in S42). With reference to the button definition information 12c2, the position in the vertical downward direction of the proximity state of the finger is corrected to the inside of the button closest to that position (S43, see FIG. 13A). The display position correction unit 130 tentatively determines the button corresponding to the corrected position in the vertically downward direction of the proximity state of the finger as a button for determining the target of the touch operation with reference to the button definition information 12c2. S44).
- the display position correction unit 130 displays buttons within a predetermined distance based on the position (x, y) on the touch panel 15 calculated by the display position calculation unit 120, that is, the position in the vertically downward direction of the proximity state of the finger. If it is determined that it has not been made (S41, No), it is determined whether or not there is a button that is provisionally determined with reference to the memory 40 or the RAM 12b (S46). When it is determined that there is no provisionally confirmed button (S46, No), the operation of the input device 1 returns to step S13.
- the display position correction unit 130 determines that there is a provisionally confirmed button (Yes in S46), the display position correction unit 130 sends a temporary confirmation release request notification to the operation state management unit 300 to cancel the provisional confirmation of the touch operation target. Output.
- the operation state management unit 300 cancels the provisional confirmation of the button for confirming as a touch operation target based on the provisional confirmation release request notification (S47), and enlarges the button currently displayed on the display screen.
- An enlargement cancellation request notification indicating the size in the previous state is output to the image generation unit 420.
- the image generation unit 420 generates enlarged image data of the button temporarily determined as a button for determining as a touch operation target in step S44.
- the size of the enlarged image data is defined in advance in the operation of the image generation unit 420, and is, for example, a range determined by the detection ranges Range1 and Range3 (see FIG. 10) or Range5 and Range7 (see FIG. 11) of the confirmation operation. .
- the image generation unit 420 outputs the generated enlarged image data to the image composition unit 400.
- the image composition unit 400 uses the screen data output from the application screen generation unit 410 and the enlarged image data to generate composite screen data in which the buttons temporarily determined in step S44 are enlarged and displayed on the screen of the application 500. Then, it is displayed on the screen display unit 30 (S44).
- the image composition unit 400 enlarges and displays the buttons provisionally confirmed in step S44, and then generates provisionally confirmed button information 12c1 indicating which buttons are enlarged and stored in the memory 40. Thereby, the operation state management unit 300 can determine which button is enlarged and displayed on the input device 1 and is the confirmation target button to be touched. After step S44, the operation of the input device 1 returns to step S13.
- the image generation unit 420 generates image data of a state before the enlarged display of the button currently enlarged on the display screen, based on the enlargement cancellation request notification output from the operation state management unit 300.
- the image composition unit 400 causes the screen display unit 30 to display the image data output from the image generation unit 420.
- the button that has been enlarged and displayed in step S47 is redisplayed in the size before the enlarged display at a position that is not related to the button that has been tentatively determined as the target of the touch operation and has been enlarged and displayed. This is to reflect that the user is no longer interested in selecting the enlarged button due to the movement.
- the operation of the input device 1 returns to step S13.
- step S ⁇ b> 48 when the confirmation operation determination unit 210 acquires the information of the touch coordinates (x, y) output from the touch coordinate extraction unit 200, a button for determining the touch operation target in the input device 1.
- a provisionally confirmed button S48.
- the operation state management unit 300 refers to the memory 40 or the RAM 12b to determine whether or not there is a button that is provisionally confirmed as a button to be confirmed as a touch operation target in the input device 1, and confirms the determination result. Output to the operation determination unit 210.
- the determination operation unit 210 obtains a determination result indicating that there is a button that has been provisionally confirmed as a button to be confirmed as a touch operation target from the operation state management unit 300 (S48, Yes)
- the touch coordinate It is determined whether or not x, y is within the detection range of the tentatively confirmed button operation (S49).
- the detection range of the tentatively confirmed button operation is a range determined by Range1 and Range3 shown in FIG. 10, or a range determined by Range5 and Range7 shown in FIGS. 11 (a) and 11 (b).
- the determination operation determination unit 210 determines that the touch coordinates (x, y) are within the detection range of the operation for determining the tentatively determined button (S49, Yes), the finger suddenly moves vertically downward. It is determined whether or not a touch operation for changing the provisionally confirmed button is performed (S32).
- step S32 If there is no sudden vertical movement of the finger in step S32 (S32, No), the operation of the input device 1 returns to step S13. In this case, the operation state management unit 300 resets the state of the input device 1, that is, the “confirmed operation state by touch operation”.
- step S32 When there is a sudden vertical movement of the finger in step S32 (S32, Yes), the confirmation operation determination unit 210 confirms the provisionally confirmed button as a button for confirming as a touch operation target (S50). ).
- the processing after step S50 is the same as the processing in steps S28 to S30 shown in FIG.
- the input device 1 when the user's finger approaches the touch panel 15 beyond the predetermined time TM, the input device 1 according to the present embodiment has a button displayed at the position of the display screen in the vertically downward direction of the finger.
- the button is provisionally confirmed as a button for confirming as a touch operation target and enlarged on the display screen.
- the input device 1 is configured when the position (x, y) on the touch panel 15 in the vertically downward direction of the finger in the proximity state is outside the button detection range, that is, the detection range for switching the enlargement display target button. Changes the button to be determined as a touch operation target with reference to the position (x, y) information on the touch panel 15 and the button definition information 12c2.
- the input device 1 enlarges and displays the button that has been provisionally confirmed as a button for confirming as a target for the touch operation without obscure the user as a target for the touch operation.
- the input device 1 can efficiently select an item (for example, a button such as a keyboard key) displayed on the screen so as to accept a touch operation in accordance with a user input operation on the touch panel 15. .
- the input device 1 allows the user's finger to touch a button on the display screen indicated by the finger in a state where the finger does not touch (touch) the touch panel 15 in the vicinity, that is, the finger and the touch panel are separated by a certain distance.
- the user can be made aware.
- the input device 1 can visually recognize a button hidden by the user's own finger when the touch panel 15 is directly touched before the user's finger performs a touch operation. A comfortable operation feeling can be given.
- the input device 1 may cause the pointer PT to blink and display. Thereby, the input apparatus 1 can make a user pay more attention to the button for determining as a touch operation target.
- the input device 1 moves the pointer to the scheduled display position of the pointer PT even when an item (for example, a button) that can accept a touch operation is not displayed at the planned display position of the pointer PT.
- PT may be displayed.
- the input apparatus 1 can make a user recognize that there is no item (for example, button) used as the object of touch operation in the position of the touch panel 15 in the vertical downward direction of a finger
- the present invention is useful as an input device, an input support method, and a program that support efficient selection of items displayed on the screen so that a touch operation can be accepted in accordance with a user input operation on the touch panel.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
入力装置1では、タッチパネル15は、表示部13の表示画面に対する指の近接を検知する。近接座標抽出部100は、表示画面に対する指の近接座標を抽出する。表示位置算出部120は、抽出された近接座標を基に、指の鉛直下方向における表示画面の位置を算出する。画像合成部400は、算出された表示画面の位置にタッチ操作の対象となる項目を示すポインタPTを表示する。
Description
本発明は、タッチパネルを介して入力操作を受け付ける入力装置、入力支援方法及びプログラムに関する。
近年、ユーザにとって直感的な操作が可能なタッチパネルが、携帯電話機を含む電子機器に対する入力操作を受け付けるデバイスとして用いられている。タッチパネルは電子機器の画面に対する入力操作と電子機器の処理結果の表示処理とを同一の画面内にて行うためのデバイスとして知られており、ユーザの入力操作において、タッチパネルに対する電子機器が処理可能な精度とユーザが期待する入力精度とのギャップをいかに埋めるかが重要な課題である。
電子機器が処理可能な精度とユーザが期待する入力精度とのギャップについて、図15(a)及び図15(b)を参照して説明する。図15(a)はタッチパネルを搭載した電子機器の画面にニュースの見出しの一覧が表示されている様子を示す図であり、図15(b)はタッチパネルを搭載した電子機器の画面上にて文字を入力する様子を示す図である。
図15(a)に示すように、ユーザは、画面上に表示されたニュースの見出しの小さな文字を読むことはできる。ところが、ユーザがハイパーリンクされたニュースの見出しのテキストをボタンとして押下する場合又は図15(b)に示すソフトウェアキーボードに文字を入力する場合では、指の大きさと画面に表示されているボタンの大きさとの差が大きいため、所望のボタンを押下することが難しいことがある。
また、タッチパネルの技術は年々進化しており、ユーザの入力操作としてタッチ操作を検知するタッチパネルの他に、ユーザの入力操作としてユーザの指の近接を検知するタッチパネルの開発が進んでいる。指の近接を検知するタッチパネルについて、例えば特許文献1の非接触型ユーザ入力装置が知られている。
特許文献1の非接触型ユーザ入力装置は、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む構成である。送信電極と受信電極との各交差点ではコンデンサが形成され、ユーザの指先の接近に応じてコンデンサが形成されるため、指先の接近程度に応じてコンデンサの静電容量が変化する。非接触型ユーザ入力装置は、静電容量の変化を基に、タッチパネルと指との距離を認識できる。
しかしながら、上述した特許文献1では、静電容量の変化を基にタッチパネルと指との距離が認識可能であることは記述されているが、図15(a)及び図15(b)を参照して説明した電子機器が処理可能な精度とユーザが期待する入力精度とのギャップの課題については具体的に想定されていないと考えられる。
このギャップに関する課題は、ユーザの入力操作としてタッチ操作を検知するタッチパネルにおいても、ユーザの入力操作としてユーザの指の近接を検知するタッチパネルにおいても解決されていないと考えられる。
本発明は、上述した従来の事情に鑑みてなされたものであり、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援する入力装置、入力支援方法及びプログラムを提供することを目的とする。
本発明は、入力装置であって、表示画面にデータを表示する表示部と、前記表示画面に対する指の近接を検知するタッチパネルと、前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出する表示位置算出部と、前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示する表示制御部と、を備える。
また、本発明は、入力装置であって、表示画面にデータを表示する表示部と、前記表示画面に対する指の近接を検知するタッチパネルと、前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示する表示制御部と、を備える。
また、本発明は、表示画面への入力支援方法であって、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を備える。
また、本発明は、表示画面への入力支援方法であって、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を備える。
また、本発明は、表示画面への入力支援方法のプログラムであって、表示画面にデータを表示する表示部を含むコンピュータに、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を実現させる。
また、本発明は、表示画面への入力支援方法のプログラムであって、表示画面にデータを表示する表示部を含むコンピュータに、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を実現させる。
上述した構成によれば、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援することができる。
本発明によれば、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援することができる。
以下、本発明に係る入力装置、入力支援方法及びプログラムの各実施形態について、図面を参照して説明する。本発明に係る入力装置は、データを表示画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、PDA(personal digital assistant)又は電子書籍端末である。以下、本発明に係る入力装置はスマートフォンとして説明するが、本発明に係る入力装置は上述した各電子機器に限定されない。
なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作(ステップ)を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。
また、以下の説明において、ユーザからのタッチ操作の受け付けが可能であって、入力装置の表示画面(例えば、LCD(Liquid Crystal Display))に表示されるアプリケーション毎のコンテンツの一部を選択可能とするための項目、又はコンテンツに対する所定の処理を起動可能とするための項目を「ボタン」と定義する。所定の処理は、例えば現在表示されているコンテンツに関連した内容を別画面にて表示する処理である。
「ボタン」は、アプリケーションのコンテンツとして例えばニュースの見出しが表示されている場合では、ハイパーリンクされた文字列、即ち、ニュースの見出しでも良いし、ユーザの選択操作を促すための画像(例えばアイコン又はキーボードのキー)でも良いし、又は、文字列と画像との組合せでも良い。なお、「ボタン」は入力装置において起動しているアプリケーションに応じて定められる。
また、タッチパネル上の水平面を表す2軸をx軸及びy軸とし、タッチパネルの鉛直方向を表す軸をz軸とする。
更に、以下の説明において、「座標」は、タッチパネルの水平面上の位置、即ちx座標及びy座標の組合せにより定まる座標(x、y)と、この座標(x、y)とタッチパネルと指との間の鉛直方向における距離、即ち、タッチパネルからの指の高さ(z)とを用いた座標(x、y、z)との両方を含むとする。
更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置にかざす又はタッチパネルの面上から離間した空間上の位置からタッチパネルの面に対して略平行にスライドする操作を、「ホバー操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、タッチ操作となる。なお、ホバー操作において指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量に反比例するため、タッチパネルが検出可能な静電容量の範囲に対応する距離であることが好ましい。
更に、以下の説明において、ユーザが指を入力装置のタッチパネルに対して鉛直下方向に下ろした場合に、タッチ操作の対象となるボタンを予め決定し、ユーザに対して、タッチ操作の対象となるボタンを明確に認知させる状態を、「仮確定」と定義する。
(第1の実施形態の概要)
第1の実施形態の概要について、図1を参照して説明する。図1は、第1の実施形態の概要を示す説明図である。図1(a)は、指の近接を検知し、表示画面に表示されているボタン上にポインタを表示する様子を示す説明図である。図1(b)は、指を右方向に移動させた場合のポインタの移動の様子を示す説明図である。図1(c)は、指を右下方向に移動させた場合のポインタの移動の様子を示す説明図である。
第1の実施形態の概要について、図1を参照して説明する。図1は、第1の実施形態の概要を示す説明図である。図1(a)は、指の近接を検知し、表示画面に表示されているボタン上にポインタを表示する様子を示す説明図である。図1(b)は、指を右方向に移動させた場合のポインタの移動の様子を示す説明図である。図1(c)は、指を右下方向に移動させた場合のポインタの移動の様子を示す説明図である。
第1の実施形態では、入力装置1は、ユーザのホバー操作によって指FNがタッチパネル15に近接し、且つ、指FNのタッチパネル15に対する近接状態の継続時間が予め規定された所定時間TMを超えたことを検知すると、指FNの鉛直下方向における表示画面DPの位置に、タッチ操作の対象として仮確定されたボタンであることを表すインジケータとしてのポインタPTを表示する(図1(a)参照)。
本実施形態では、入力装置1は、ユーザのタッチ操作の対象として仮確定するボタンを、表示画面DPにおいてポインタPTを用いて表示する。更に、入力装置1は、ポインタPTが表示画面DPに表示されている状態において、仮確定されていたボタンがユーザのタッチ操作によって実際にタッチされた場合には、仮確定されていたボタンをタッチ操作の対象として確定し、確定されたボタンに応じた処理を実行する。
例えば図1(a)では、所定時間TMを超える時間の間において指FNの近接状態が維持され、指FNの鉛直下方向における表示画面DPの位置が、[a]トピックスの5番目のニュースの見出しのハイパーリンクされた文字列「ナ」であるとする。入力装置1は、この見出しの文字列「ナ」にポインタPTを表示し、タッチ操作の対象として仮確定したことをユーザに認知させる。
また、図1(b)に示すように、ポインタPT自身が示すボタンが明確になるようにポインタPTが表示された状態において、指FNが同一のボタン上を右方向に移動した場合には、ポインタPTは、同一のボタン内、即ち、[a]トピックスの5番目のニュースの見出しのハイパーリンクされた文字列内を連続的に移動する。例えば図1(b)では、ポインタPTが文字列「ナ」の位置から文字列「ヌ」の位置に移動する。
また、図1(c)に示すように、ポインタPT自身が示すボタンが明確になるようにポインタPTが表示された状態において、指FNが或るボタン上から他のボタン上に移動(例えば、右下方向)した場合には、ポインタPTは、同一のボタンではない他のボタン、即ち[a]トピックスの5e番目のニュースの見出しのハイパーリンクされた文字列から、同トピックスの6番目のニュースの見出しのハイパーリンクされた文字列に連続的に移動する。例えば図1(c)では、ポインタPTが文字列「ナ」の位置から文字列「イ」の位置に移動する。
ここで、図4を参照して後述するように、ポインタPTは連続的に移動するだけでなく、離散的に移動することもある。離散的な移動とは、ポインタPTが或るボタンからそのボタンに隣接するボタンとの境目を越えて他のボタン(隣接するボタン)に移動することを表す。例えば、ポインタPTは、指の鉛直下方向における座標(x、y)が或るボタンと他のボタンとの間の位置であるときには両ボタン間の中間位置には表示されずに、或るボタンから他のボタンに直接ジャンプするように離散的に移動して表示される(図4参照)。
(各実施形態に共通する入力装置のハードウェア構成)
各実施形態に共通する入力装置1のハードウェア構成について、図2を参照して説明する。図2は、入力装置1のハードウェア構成を示すブロック図である。
各実施形態に共通する入力装置1のハードウェア構成について、図2を参照して説明する。図2は、入力装置1のハードウェア構成を示すブロック図である。
図2に示す入力装置1は、プロセッサ11、ROM(Read Only Memory)12a、RAM(Random Access Memory)12b、記憶部12c、表示部13、タッチパネルドライバ14、タッチパネル15、電源制御部16、及びアンテナAntが接続された通信制御部17を含む構成である。プロセッサ11、ROM12a、RAM12b、記憶部12c、表示部13、タッチパネルドライバ14、電源制御部16及び通信制御部17は、バス19を介して相互にデータを入出力可能に接続されている。
プロセッサ11は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、入力装置1の総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。プロセッサ11は、ROM12aに格納されたプログラム及びデータを読み込んで、後述の各実施形態における種々の処理を行う。
ROM12aは、入力装置1にインストールされているアプリケーション500(図3参照)、並びに、プロセッサ11が図3に示す各部(後述参照)における処理を実行するためのプログラム及びデータを格納している。
RAM12bは、プロセッサ11の動作におけるワークメモリとして動作する。
記憶部12cは、入力装置1に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、入力装置1が取得したデータを格納する。なお、アプリケーション500は、記憶部12cに格納されても良い。また、記憶部12cは、ハードディスク又はフラッシュメモリにより構成されず、例えば、USB(Universal Serial Bus)端子を介して接続された外部記憶媒体(例えばUSBメモリ)により構成されても良い。
表示部13は、例えば表示画面を有するLCD又は有機EL(Electroluminescence)を用いて構成され、プロセッサ11又はタッチパネルドライバ14から出力されたデータを表示画面に表示する。
タッチパネルドライバ14は、タッチパネル15の動作を制御してタッチパネル15に対するユーザの入力操作を監視する。例えば、タッチパネルドライバ14は、タッチパネル15がユーザの指のタッチ操作による接触又はホバー操作による近接を検知すると、接触座標(x、y)又は近接座標(x、y、z)を取得し、接触座標(x、y)又は近接座標(x、y、z)の情報をプロセッサ11、RAM12b又は記憶部12cに出力する。以下、接触座標(x、y)を「タッチ座標(x、y)」という。
タッチパネル15は、表示部13の表示画面上に搭載され、ユーザの指がタッチパネル15の水平面上をタッチ(操作)したことを検知する。また、タッチパネル15は、ユーザの指がホバー操作、即ちタッチパネル15にタッチせずに指を浮かせる操作によって指がタッチパネル15に近接したことを検知する。
なお、タッチパネル15の具体的構成は例えば上述した特許文献1に詳細に開示されているため説明を省略するが、タッチパネル15は、ホバー操作における指の高さ(z座標の値)が所定値以下、又は指の高さに応じて定まる静電容量が所定値以上となる場合に、指の近接(状態)を検知する。
電源制御部16は、入力装置1の電力供給源(例えばバッテリ)を用いて構成され、タッチパネル15への入力操作に応じて、入力装置1の電源のオン状態又はオフ状態を切り替える。電源がオン状態の場合、電源制御部16は、電力供給源から図2に示す各部に電力を供給して入力装置1を動作可能にする。
通信制御部17は、無線通信回路を用いて構成され、送受信用のアンテナAntを介して、プロセッサ11により処理された処理結果としてのデータを送信し、更に、不図示の基地局又は他の通信装置から送信されたデータを受信する。また、図2では、本実施形態を含む各実施形態の説明に必要となる構成が図示されているが、通話音声を制御する音声制御部と、ユーザの声を集音するマイクロフォンと、更に通話相手の音声データを出力するスピーカとを更に含む構成でも良い。
(各実施形態に共通する入力装置の機能的構成)
次に、各実施形態に共通する入力装置1の機能的構成について、図3を参照して説明する。図3は、入力装置1の機能的構成を示すブロック図である。
次に、各実施形態に共通する入力装置1の機能的構成について、図3を参照して説明する。図3は、入力装置1の機能的構成を示すブロック図である。
図3に示す入力装置1は、近接検知部10、タッチ検知部20、画面表示部30、メモリ40、近接座標抽出部100、近接時間計測部110、表示位置算出部120、表示位置補正部130、タッチ座標抽出部200、確定操作判定部210、動作状態管理部300、画像合成部400、アプリ画面生成部410、画像生成部420及びアプリケーション500を含む構成である。
近接検知部10は、ホバー操作によってユーザの指がタッチパネル15に近接したことを検知する。近接検知部10は、指がタッチパネル15に近接した旨の近接通知を近接座標抽出部100に出力する。
タッチ検知部20は、タッチ操作によって指がタッチパネル15にタッチしたことを検知する。タッチ検知部20は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部200に出力する。なお、近接検知部10とタッチ検知部20とはタッチパネル15を用いて構成可能であり、図3では近接検知部10とタッチ検知部20とは別々の構成としているが、両者をタッチパネル15として一纏めに構成しても良い。
画面表示部30は、図2に示す表示部13に対応し、後述する画像合成部400によって生成されたポインタPTとアプリケーション用の画面(以下、「アプリ画面」という)との合成画像データを画像合成部400から取得して表示画面に表示する。
メモリ40は、図2に示す記憶部12cに対応し、少なくとも仮確定ボタン情報12c1及びボタン規定情報12c2を格納する。仮確定ボタン情報12c1は、表示画面に表示されたアプリ画面(後述参照)に表示されているボタンのうち、タッチ操作の対象として仮確定されたボタンを示す情報であって、言い換えれば、現在ポインタPTが表示されているボタンを示す情報である。
ボタン規定情報12c2は、アプリケーション500にて用いられるアプリ画面における各々のボタンの表示画面上における座標(x、y)を示す情報である。なお、メモリ40は、図2に示すRAM12bに対応する構成でも良い。この場合、後述する近接座標抽出部100、表示位置算出部120又はタッチ座標抽出部200により抽出又は算出された座標、位置に関する情報もメモリ40に格納されても良い。なお、図3では、図面の複雑化を避けるために、近接座標抽出部100、表示位置算出部120及びタッチ座標抽出部200からメモリ40への矢印の図示を省略している。
近接座標抽出部100は、近接検知部10から出力された近接通知を近接時間計測部110に出力すると共に、近接時間計測部110から出力された近接座標抽出指示を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する。近接座標(x、y、z)のうち、x成分及びy成分はタッチパネル15の水平面上における位置を表す座標値であって、z成分は指とタッチパネル15との間の距離、即ち、指のタッチパネル15に対する高さを表す座標値である。近接座標抽出部100は、抽出された近接座標(x、y、z)の情報を近接時間計測部110及び表示位置算出部120にそれぞれ出力する。
近接時間計測部110は、時計(タイマ)機能を含み、近接座標抽出部100から出力された近接通知を基にして計時を開始する。言い換えれば、近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間、即ち、指の近接状態の継続時間をカウントする。更に、近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えているか否かを判定する。
近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていると判定した場合、近接座標(x、y、z)を抽出するための近接座標抽出指示を生成して近接座標抽出部100に出力すると共に、入力装置1を「ポインタ表示対象の選択状態」に移行する旨の状態移行通知を動作状態管理部300に出力する。また、近接時間計測部110は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を動作状態管理部300に出力する。
ポインタ表示対象の選択状態は、指がタッチパネル15上にタッチ操作しておらず、ホバー操作によってタッチパネル15上を近接している状態を表す。
表示位置算出部120は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を基に、ポインタPTを表示するためのタッチパネル15上の位置(x、y)を算出する。ここで、ポインタPTを表示するためのタッチパネル15上の位置(x、y)は、指が鉛直下方向に移動した場合にタッチパネル15が検知する位置、即ち、ポインタPTの表示予定位置に相当する。
更に、表示位置算出部120は、ポインタPTを表示するためのタッチパネル15上の位置(x、y)の算出と同時に、ポインタPTの表示位置の補正が必要か否かを表示位置補正部130に問い合わせる。なお、この問い合わせの際、表示位置算出部120は、算出されたタッチパネル15上の位置(x、y)の情報を、ポインタPTの表示予定位置の情報として表示位置補正部130に出力する。
表示位置補正部130は、表示位置算出部120からの問い合わせに応じて、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されているか否かを、ボタン規定情報12c2を参照して判定する。所定の距離とは、タッチ操作の対象として仮確定されるポインタPTの表示予定位置が明確であるとユーザに認知させるために、ポインタPTの表示予定位置が補正される必要があるか否かを定めるために設けられた距離である。表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されていると判定した場合には、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であるか曖昧な位置であるかを判定する。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であると判定した場合には、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置をそのまま表示位置算出部120に返す。なお、表示位置算出部120は、表示位置補正部130より返されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置に表示されているボタンを、タッチ操作の対象となるボタンとして仮確定する。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき難い曖昧な位置であると判定した場合には、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を、ボタン規定情報12c2を参照して補正する。
ここで、表示位置補正部130のポインタPTの表示予定位置の補正について、図4並びに図5(a)及び(b)を参照して説明する。図4は、指の鉛直下方向の位置がボタンとボタンとの間又はボタンの端部である場合にポインタPTの表示予定位置を補正する様子を示す説明図である。図5(a)は、ボタンとボタンに対して設けられた補正対象ゾーンとの位置関係を示す説明図である。図5(b)は、ポインタPTの表示予定位置を補正するか否かを判定するための5つのケースの例を示す説明図である。
図4に示す表示画面の拡大図EDPでは、3つのボタンB1,B2,B3が縦方向に対して平行に配置されているため、横方向の座標xの値ではなく縦方向の座標yの値を基にしたポインタPTの表示予定位置の補正について説明する。縦方向における表示位置CU1~CU23は、それぞれタッチパネル15において予め規定されている縦方向の座標yの検知位置に対応しており、表示位置補正部130が補正しない場合のポインタの表示予定位置を表す。なお、各表示予定位置の間隔は、タッチパネル15の縦方向における電極間距離でも良いし、表示画面の画素間距離でも良い。
図4では、表示位置CU1は、ボタンB1の端部に対応するため、表示位置補正部130が補正しなければ、ポインタPTはボタンB1の端部に表示されてしまう。ポインタPTが実際にボタンB1の端部を示すと、ポインタPTの位置がボタンB1の内部又は外部のいずれであるかが分かりにくい位置となる。このため、ユーザは、ポインタPTの位置をタッチ操作するボタンが何であるかを明確に認知することが困難となり、このままタッチ操作して良いのかどうか迷ってしまう。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置のうち縦方向の座標yの値が例えば図4に示す表示位置CU1に相当する場合、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)のうち縦方向の座標yの値を、表示位置CU1に対応するボタン(図4ではボタンB1)の縦方向の例えば略中央部の値に補正する。但し、補正後の座標yの値は、表示位置CU1に対応するボタン(図4ではボタンB1)の縦方向の略中央部の値に限定されず、他には、ボタンB1の端部側であってもポインタPTの実際の表示位置がボタンB1内ということがユーザにとって認知可能と考えられる位置であれば良い。これにより、表示位置補正部130は、ポインタPTをボタンB1の略中央部に表示できるため、ユーザのタッチ操作時にどのボタンがタッチ操作の対象となるかを明確に認知させることができる。
図4では、表示位置CU8は、ボタンB1とボタンB2との間の中間位置に対応するため、表示位置補正部130が補正しなければ、ポインタPTが表示される予定のボタンがボタンB1であるのか、ボタンB2であるのか、又はそのどちらのボタンでもないのかが不明となり、ユーザに違和感を与えてしまう。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置のうち縦方向の座標yの値が例えば図4に示す表示位置CU8に相当する場合、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)のうち縦方向の座標yの値を、表示位置CU8に最も近いボタン(図4ではボタンB2)の縦方向の例えば略中央部の値に補正する。但し、補正後の座標yの値は、表示位置CU8に対応するボタン(図4ではボタンB2)の縦方向の略中央部の値に限定されず、他には、ボタンB2の端部側であってもポインタPTの実際の表示位置がボタンB2内ということがユーザにとって認知可能と考えられる位置であれば良い。これにより、表示位置補正部130は、ポインタPTをボタンB2の略中央部に表示できるため、ユーザのタッチ操作時にどのボタンがタッチ操作の対象となるかを明確に認知させることができる。
図4では、表示位置CU15は、ボタンB2とボタンB3との間の中間位置に対応するため、表示位置補正部130が補正しなければ、ポインタPTが表示される予定のボタンがボタンB2であるのか、ボタンB3であるのか、又はそのどちらのボタンでもないのかが不明となり、ユーザに違和感を与えてしまう。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置のうち縦方向の座標yの値が例えば図4に示す表示位置CU15に相当する場合、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)のうち縦方向の座標yの値を、表示位置CU15に最も近いボタン(図4ではボタンB2)の縦方向の長さの例えば略中央部の値に補正する。但し、補正後の座標yの値は、表示位置CU15に対応するボタン(図4ではボタンB3)の縦方向の略中央部の値に限定されず、他には、ボタンB3の端部側であってもポインタPTの実際の表示位置がボタンB3内ということがユーザにとって認知可能と考えられる位置であれば良い。これにより、表示位置補正部130は、ポインタPTをボタンB2の略中央部に表示できるため、ユーザのタッチ操作時にどのボタンがタッチ操作の対象となるかを明確に認知させることができる。
なお、図4において、表示位置CU1の2つ及び4つ下の各表示位置、表示位置CU8の3つ下の表示位置、表示位置CU15の3つ下及び5つ下の各表示位置から各ボタンへの実線矢印の図示は省略されているが、これは、それぞれの表示位置にポインタPTが実際に表示されてもユーザに対してポインタPTの表示位置を明確に認知させることができると考えられるため、敢えて図示を省略しているものである。
次に、図5(a)及び(b)を参照して、表示位置補正部130のポインタPTの表示位置の補正について説明する。図5(a)では、上側にボタンB1、下側にボタンB2が並んで表示されている例が示されており、ボタンB1の補正対象ゾーン(ハッチング部参照)が図示されている。補正対象ゾーンとは、補正対象ゾーンが割り当てられたボタン毎に予め設けられており、ボタンの端部からそれぞれ例えば1mmの範囲であり(ハッチング部参照)、後述の実施形態においても同様である。但し、補正対象ゾーンの範囲は1mmに限定されない。なお、補正対象ゾーンの値はボタン毎に異なる値でも良く、ボタン規定情報12c2にボタンに関連付けられて保存される。
ここで、表示位置補正部130がポインタPTの表示予定位置を補正するか否かについては、ポインタPTの表示予定位置に応じて、例えば5つのケース(Bc1,Bc2,Bc3,Bc4,Bc5)が考えられる。図5(a)では、5つのケースに対応したポインタPTの表示予定位置が示されている。図5(b)では、各ケースに対応して、表示位置補正部130がポインタPTの表示予定位置を補正するか否か、及び、表示位置算出部120がタッチ操作の対象となるボタンとして仮確定するか否かが示されている。
第1番目のケースBc1では、ポインタPTの表示予定位置が明らかにボタンB1内であり、ポインタPTが実際に表示される位置として明確であると考えられるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされる。
第2番目のケースBc2では、ポインタPTの表示予定位置が明らかにボタンB1外であり、ポインタPTの表示予定位置を基準に所定の距離以内にボタンB1が無いことが明らかであるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされない。
第3番目のケースBc3では、ポインタPTの表示予定位置がボタンB1内であり、且つ、補正対象ゾーン内であるため、ポインタPTが実際に表示された場合にはボタンB1の端部に近い場所となるため、ユーザに対してそのボタンB1をタッチ操作の対象として明確に認知させる必要があると考えられる。このため、ケースBc3では、表示位置補正部130により、ポインタPTの表示予定位置がボタンB1の内部に補正され、更に、表示位置算出部120による仮確定もなされる。
第4番目のケースBc4では、ポインタPTの表示予定位置がボタンB1外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンが無いため、ポインタPTが実際に表示された場合にはボタンB1外となるがボタンB1の端部に近い位置に表示されることになり、最も近い位置にあるボタンB1をタッチ操作の対象として明確に認知させる必要があると考えられる。このため、ケースBc4では、表示位置補正部130により、ポインタPTの表示予定位置がボタンB1の内部に補正され、更に、表示位置算出部120により、タッチ操作の対象としてボタンB1が仮確定される。
第5番目のケースBc5では、ポインタPTの表示予定位置がボタンB1外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンB2があるため、ポインタPTが実際に表示された場合には、ユーザがタッチ操作しようとするボタンがボタンB1又はボタンB2のどちらであるのかが曖昧になると考えられる。このため、ケースBc5では、表示位置補正部130により、ポインタPTの表示予定位置がボタンB1の内部に補正され、更に、表示位置算出部120により、タッチ操作の対象としてボタンB1が仮確定される。
タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を動作状態管理部300に出力する。また、タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を基に、指のタッチパネル15に対するタッチ座標(x、y)を算出して抽出する。タッチ座標抽出部200は、抽出されたタッチ座標(x、y)の情報を確定操作判定部210に出力する。
確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を取得すると、入力装置1においてポインタPTが既に表示されているか否かを動作状態管理部300に問い合わせる。タッチ座標抽出部200は、動作状態管理部300からポインタPTが既に表示されている旨のポインタ表示済み通知を取得した場合、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であるか否かを判定する。
更に、確定操作判定部210は、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であると判定した場合には、指の鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンを変更させるようなタッチ操作がなされたか否かを判定する。
本実施形態を含む各実施形態では、タッチパネル15により検知される静電容量の変化量に予め所定の閾値(例えば50[μF])が設けられている。指の鉛直下方向における急激な移動は、所定時間(例えば100[msec])の間に静電容量が「100[μF]」から「200[μF]」に変化するような移動、即ち、静電容量の変化量の閾値を超えるようなタッチ操作である。
ここで、タッチ操作の対象として仮確定されたボタンの検知範囲について、図6を参照して説明する。図6は、ポインタPTが表示されている状態において、タッチ操作の対象として仮確定されたボタンの検知範囲を示す説明図である。
図6に示す表示画面の拡大図EDPにおいて、従来技術におけるタッチ操作では、ポインタPTが表示されているニュースの見出しがハイパーリンクされている文字列をタッチする場合の検知範囲は検知範囲D1(ボタンB1の範囲)であった。
本実施形態を含む各実施形態におけるタッチ操作では、ポインタPTが表示されているニュースの見出しの文字列をタッチする場合の検知範囲は、検知範囲D1だけでなく、所定の検知範囲D2も含まれる。即ち、ポインタPTが表示されているニュースの見出しの文字列をタッチする場合の検知範囲が拡大されている。即ち、検知範囲D2は、ユーザがタッチ操作する場合に容易にタッチすることができるために設けられたサイズである。これにより、確定操作判定部210は、ユーザのタッチ操作の対象として仮確定されたボタンがタッチ操作を困難にさせるほどの小さいボタンであったとしても、検知範囲D2に対するタッチ操作を、ポインタPTが表示していたボタンのタッチ操作として判定することができる。
検知範囲D2の形状及び範囲(座標値)は確定操作判定部210の動作又はボタン規定情報12c2において予め固定値として規定されており、図6では検知範囲D2の形状は円状である。ただし、検知範囲D2は、円状に限定されず、例えば楕円でも矩形でも良い。従って、確定操作判定部210は、タッチ操作されたタッチパネル15上の位置が検知範囲D2の範囲であった場合には、タッチ操作の対象として、ポインタPTが表示されていたボタンを選択すると判定する。
なお、検知範囲D2は確定操作判定部210の動作において予め固定値として規定されていると説明したが、固定値に限定されない。例えば、表示画面DPに表示されている文字列がユーザのタッチ操作に対して十分な大きさを有する場合には、検知範囲D2が小さくても又は検知範囲D2が存在しなくても検知範囲D1(ボタンB1)の大きさだけで十分にタッチ操作の誤操作をさせないようにすることもできる。
一方、表示画面DPに表示されている文字列が小さい場合には、検知範囲D2が固定値であると、ボタンB1の検知範囲が検知範囲D2の分だけ拡大されても、タッチ操作の誤操作をさせてしまうことも考えられる。従って、確定操作判定部210は、表示画面DPに表示されている文字列(ボタンB1)の大きさに応じて、検知範囲D2を動的に変更しても良い。これにより、確定操作判定部210は、表示画面DPに表示されている文字列(ボタンB1)に対するタッチ操作の誤操作をさせずに、快適な操作感を一層与えることができる。
次に、指の鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンを変更させるようなタッチ操作がなされたか否かの判定について、図7を参照して説明する。図7は、ポインタPTが表示されている状態において、指FNの鉛直下方向への急激な移動によってポインタPTが表示されているボタンを変更させるようなタッチ操作がなされた場合に、タッチ操作の対象となるボタンとして、ポインタPTが表示されていたボタンを選択する様子を示す説明図である。
図7では、指FNの鉛直下方向におけるタッチパネル15上の位置がボタンB1とボタンB2との中間位置を表す境界線MDよりボタンB1側であるため、表示位置補正部130は、ポインタPTの表示予定位置を、指FNの鉛直下方向におけるタッチパネル15上の位置からボタンB1の略中央部に補正する(図4参照)。
ここで、指FNの鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンB1を変更させてボタンB2を選択させるようなタッチ操作がなされたとする。例えば、ユーザがボタンB1をタッチしようとタッチ操作を試みた場合に、結果的に、指がボタンB1とボタンB2との中間位置を示す境界線MDを超えてボタンB2に近い位置をタッチしてしまった場合が該当する。このタッチ操作は、図7では、近接状態にある指FNの近接座標の位置から境界線MDよりボタンB2側の位置に向かってなされたタッチ操作(指FNからの実線矢印参照)であることが示されている。
元々、このタッチ操作(指FNからの実線矢印参照)は、タッチ座標がボタンB2ではなくボタンB1とボタンB2との間であるため、従来技術では無効なタッチ操作と考えられる。本実施形態を含む各実施形態では、図4に示したように、タッチ座標のy座標の値がボタンB1よりボタンB2の近くであるために、ボタンB2がタッチ操作の対象として確定されてしまう。従って、図7に示すタッチ操作(指FNからの実線矢印参照)は、指FNの鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンB1を変更させてボタンB2を選択させるようなタッチ操作といえる。
従って、指FNの鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンB1を変更させてボタンB2を選択させるようなタッチ操作がなされた場合、確定操作判定部210は、タッチ操作の対象として、指FNが実際にタッチした位置に対応して表示予定位置が補正されるボタンB2ではなく、ポインタPTが表示されていたボタンB1を優先的に選択すると判定する。
また、確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を基に、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在するか否かを判定する。確定操作判定部210は、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在すると判定した場合に、タッチ座標(x、y)の位置に表示されているボタンを、タッチ操作の対象として確定する。
確定操作判定部210は、タッチ操作の対象として確定されたボタンに関する情報及びタッチ座標(x、y)の情報をアプリケーション500に出力する。
動作状態管理部300は、入力装置1を「ポインタ表示対象の選択状態」に移行する旨の状態移行通知を近接時間計測部110より取得した場合に、入力装置1の動作状態を、「ポインタ表示対象の選択状態」に移行する。動作状態管理部300は、入力装置1の動作状態に関する情報及び近接座標(x、y、z)の情報をメモリ40又はRAM12bに一時的に格納し、ポインタPTの画像データを生成する旨のポインタ生成指示を画像生成部420に出力する。
動作状態管理部300は、タッチ座標抽出部200から出力された接触通知を取得すると、入力装置1を「ポインタ表示対象の選択状態」から「タッチ操作による確定操作状態」に移行する。動作状態管理部300は、入力装置1の動作状態に関する情報及びタッチ座標(x、y)の情報をメモリ40又はRAM12bに一時的に格納する。
動作状態管理部300は、確定操作判定部210から出力された動作状態確認要求を基に、メモリ40を参照して入力装置1の動作状態に関する情報として、「ポインタ表示対象の選択状態」であるか否かを判定する。動作状態管理部300は、判定結果としての入力装置1の動作状態に関する情報を確定操作判定部210に出力する。
表示制御部としての画像合成部400は、アプリ画面生成部410から出力されたアプリケーション用画面の画面データと画像生成部420から出力されたポインタPTの画像データとを合成する。画像合成部400は、合成により生成された合成画像データを画面表示部30の表示画面に表示する。なお、画像合成部400、アプリ画面生成部410及び画像生成部420によって表示制御部が構成されても良い。
アプリ画面生成部410は、アプリケーション500からの画面生成通知を基に、アプリケーション500におけるアプリケーション用画面の画面データを生成して画像合成部400に出力する。なお、図3では、アプリ画面生成部410とアプリケーション500とが別々の構成として示されているが、アプリケーション500がアプリ画面生成部410の機能を有することによって、アプリ画面生成部410とアプリケーション500とを一纏めにしたアプリケーション500として構成しても良い。
画像生成部420は、動作状態管理部300からのポインタ生成指示を基に、インジケータとしてのポインタPTの画像データを生成し、生成されたポインタPTの画像データを画像合成部400に出力する。なお、このインジケータは、タッチ操作の対象となる項目(ボタン)を表すための操作子である。また、ポインタPTの形状は、例えば図4では円形状として図示しているが円形状に限定されず、例えば矩形形状でも楕円形状でも良い。
更に、ポインタPTの大きさは画像生成部420の動作において予め規定された固定値であるが、固定値に限定されない。画像生成部420は、動作状態管理部300がメモリ40又はRAM12bに一時的に格納した近接座標(x、y、z)の情報及びボタン規定情報12c2を参照してポインタPTの大きさを動的に変更しても良い。これにより、画像生成部420は、ボタンの大きさに適合したポインタPTを生成でき、ユーザに視覚的な違和感を与えることがない。例えば、ポインタPTの大きさは、パーソナルコンピュータ(PC)に接続される入力装置としてのマウスのように、表示画面内の1点を示す程度の大きさでも良い。従って、ポインタPTの大きさは、仮確定されたボタンを構成する例えば文字列の大きさと同じでも良いし、文字列の大きさより小さくても良い。
アプリケーション500は、入力装置1において実行可能に予めインストールされ、確定操作判定部210から出力されたボタン及びタッチ座標(x、y)の情報を基に、ボタンの選択に応じたアプリケーション500における動作(処理)を判定する。アプリケーション500は、判定された動作に対応する画面データを生成する旨の画面生成通知をアプリ画面生成部410に出力する。
(第1の実施形態のフローチャート)
次に、第1の実施形態の入力装置1の動作について、図8を参照して説明する。図8は、第1の実施形態の入力装置1の動作を説明するフローチャートである。図8に示すフローチャートは、入力装置1を操作するユーザがユーザ自身の指を用いて入力装置1に対する操作を入力する場合の入力装置1の動作を示す。
次に、第1の実施形態の入力装置1の動作について、図8を参照して説明する。図8は、第1の実施形態の入力装置1の動作を説明するフローチャートである。図8に示すフローチャートは、入力装置1を操作するユーザがユーザ自身の指を用いて入力装置1に対する操作を入力する場合の入力装置1の動作を示す。
先ず、近接検知部10は、ホバー操作によってユーザの指がタッチパネル15に近接したか否かを検知している(S11)。近接検知部10は、指がタッチパネル15に近接したことを検知した場合に(S11、Yes)、指がタッチパネル15に近接した旨の近接通知を近接座標抽出部100に出力する。近接座標抽出部100は、近接検知部10から出力された近接通知を近接時間計測部110に出力する。
近接時間計測部110は、近接座標抽出部100から出力された近接通知を基に、指がタッチパネル15に近接したときからの経過時間、即ち、指の近接状態の継続時間をカウントする(S12)。また、タッチ検知部20は、タッチ操作によって指がタッチパネル15にタッチしたか否かを検知している。近接時間計測部110は、指がタッチパネル15にタッチした旨の接触通知がタッチ座標抽出部200から動作状態管理部300に出力されたか否かを動作状態管理部300に問い合わせる(S13)。動作状態管理部300は、指がタッチパネル15にタッチした旨の接触通知を取得しているか否かを、メモリ40又はRAM12bを参照して判定し、判定結果を近接時間計測部110に出力する。
ここで、説明の都合上、動作状態管理部300は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部200から取得していないとする(S13、No)。即ち、近接時間計測部110は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部200から取得していない旨の判定結果を動作状態管理部300から取得する。近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えているか否かを判定する(S14)。指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていないと判定された場合には(S14、No)、入力装置1の動作はステップS13に戻る。
近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていると判定した場合(S14、Yes)、近接座標(x、y、z)を抽出するための近接座標抽出指示を生成して近接座標抽出部100に出力すると共に、入力装置1を「ポインタ表示対象の選択状態」に移行する旨の状態移行通知を動作状態管理部300に出力する。動作状態管理部300は、入力装置1の動作状態を、「ポインタ表示対象の選択状態」に移行する。
近接座標抽出部100は、近接時間計測部110から出力された近接座標抽出指示を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する(S15)。近接座標抽出部100は、抽出された近接座標(x、y、z)の情報を近接時間計測部110及び表示位置算出部120にそれぞれ出力する。
表示位置算出部120は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を基に、ポインタPTを表示するためのタッチパネル15上の位置(x、y)、即ちポインタPTの表示予定位置を算出する(S16)。更に、表示位置算出部120は、ポインタPTの表示予定位置の補正が必要か否かを表示位置補正部130に問い合わせる。
表示位置補正部130は、表示位置算出部120からの問い合わせに応じて、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されているか否かを、ボタン規定情報12c2を参照して判定する(S17)。表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されていると判定した場合には(S17、Yes)、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であるか曖昧な位置であるかを判定する(S18)。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であると判定した場合には(S18、Yes)、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置をそのまま表示位置算出部120に返す。表示位置算出部120は、表示位置補正部130より返されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置に表示されているボタンを、タッチ操作の対象となるボタンとして仮確定する(S20)。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき難い曖昧な位置であると判定した場合には(S18、No)、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を、ボタン規定情報12c2を参照して補正する(S19)。なお、ステップS19の補正では、ユーザのホバー操作によってポインタPTが移動した際に、ユーザにとってポインタPTの移動が極力スムーズに見えるように、補正対象ゾーン(図5(a)参照)の近い位置に補正されることが好ましい。表示位置補正部130は、補正後のポインタPTの表示予定位置(x’、y’)を表示位置算出部120に出力する。表示位置算出部120は、表示位置補正部130より出力された補正後のポインタPTの表示予定位置(x’、y’)に表示されているボタンを、タッチ操作の対象となるボタンとして仮確定する(S20)。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されていないと判定した場合には(S17、No)、ポインタPTが既に表示されているか否かを、メモリ40又はRAM12b2の仮確定ボタン情報12c1を参照して判定する(S22)。ポインタPTが未だ表示されていない場合には(S22、No)、入力装置1の動作はステップS13に戻る。
表示位置補正部130は、ポインタPTが既に表示されていると判定した場合には(S22、Yes)、ポインタPTを消去する旨のポイント消去依頼通知を画像合成部400に出力する。なお、図3では、表示位置補正部130と画像合成部400との間の矢印の図示は省略している。
画像合成部400は、ステップS20によってタッチ操作の対象となるボタンとして仮確定されたボタンの表示位置にポインタPTを表示する(S21)。なお、画像合成部400は、ポインタPTを表示した後、どのボタンにポインタPTを表示したかを示す仮確定ボタン情報12c1を生成してメモリ40に格納する。これにより、動作状態管理部300は、入力装置1においてポインタPTが表示画面に表示されているか否かを判定することができる。なお、図3では、画像合成部400とメモリ40との間の矢印の図示は省略している。ステップS21の後、入力装置1の動作はステップS13に戻る。
画像合成部400は、ポイント消去依頼通知を基に、現在表示画面に表示されているポインタPTを消去する(S23)。ステップS23によってポインタPTが表示画面から消去されるのは、指が既に表示されているポインタPTの表示位置からボタンと関係ない位置に移動したことにより、ユーザがポインタPTの示すボタンの選択に興味がなくなったことを反映するためである。ステップS23の後、入力装置1の動作はステップS13に戻る。
次に、ステップS13において、タッチ座標抽出部200は、指がタッチパネル15にタッチした旨の接触通知をタッチ検知部20から取得したとする(S13、Yes)。タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を動作状態管理部300に出力する。動作状態管理部300は、タッチ座標抽出部200から出力された接触通知を取得すると、入力装置1を「ポインタ表示対象の選択状態」から「タッチ操作による確定操作状態」に移行する。動作状態管理部300は、入力装置1の動作状態に関する情報及びタッチ座標(x、y)の情報をメモリ40又はRAM12bに一時的に格納する。
タッチ操作による確定操作状態は、指がタッチパネル15上にタッチ操作したことによって、ユーザの意図に沿った確定操作が選択された状態を表し、後述の実施形態においても同様である。
タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を基に、指のタッチパネル15に対するタッチ座標(x、y)を算出して抽出する(S24)。タッチ座標抽出部200は、抽出されたタッチ座標(x、y)の情報を確定操作判定部210に出力する。
確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を取得すると、入力装置1においてポインタPTが既に表示されているか否かを動作状態管理部300に問い合わせる(S25)。確定操作判定部210は、動作状態管理部300からポインタPTが既に表示されている旨のポイント表示済み通知を取得した場合(S25、Yes)、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であるか否かを判定する(S31)。
確定操作判定部210は、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であると判定した場合には(S31、YES)、指の鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンを変更させるようなタッチ操作がなされたか否かを判定する(S32)。
ステップS32において指の縦方向の急激な移動がない場合には(S32、No)、入力装置1の動作はステップS13に戻る。この場合には、動作状態管理部300は、入力装置1の状態、即ち「タッチ操作による確定操作状態」をリセットする。
ステップS32において指の縦方向の急激な移動がある場合には(S32、Yes)、確定操作判定部210は、ポインタPTが既に表示されていたことによって仮確定されていたボタンを、タッチ操作の対象として確定する(S33)。確定操作判定部210は、タッチ操作の対象として確定されたボタンに関する情報及びタッチ座標(x、y)の情報をアプリケーション500に出力する。ステップS33の後、入力装置1の動作はステップS28に進む。
なお、図7に示すフローチャートでは、ステップS32において指の縦方向(鉛直下方向)の急激な移動がある場合にのみ、確定操作判定部210は、ポインタPTが既に表示されていたことによって仮確定されていたボタンを、タッチ操作の対象として確定する。しかし、確定操作判定部210は、指の縦方向の急激な移動は無くてもタッチパネル15に対するタッチ時間が長い場合には、ポインタPTが既に表示されていたことによって仮確定されていたボタンを、タッチ操作の対象として確定しても良い。
確定操作判定部210は、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内ではないと判定した場合には(S31、No)、又は、動作状態管理部300からポインタPTが既に表示されている旨のポイント表示済み通知を取得していない場合(S25、No)には、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を基に、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在するか否かを判定する(S26)。
確定操作判定部210は、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在すると判定した場合に(S26、Yes)、タッチ座標(x、y)の位置に表示されているボタンを、タッチ操作による操作対象として確定する(S27)。確定操作判定部210は、タッチ操作による操作対象として確定されたボタンに関する情報及びタッチ座標(x、y)の情報をアプリケーション500に出力する。
アプリケーション500は、ステップS27又はステップS33によって確定操作判定部210から出力されたボタン及びタッチ座標(x、y)の情報を基に、ボタンの選択に応じたアプリケーション500における動作(処理)を判定する(S28)。アプリケーション500は、ステップS28によって判定された動作を実行する(S29)。これにより、図7に示すフローチャートの説明は終了する。
一方、確定操作判定部210は、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在しないと判定した場合に(S26、No)、ステップS13によって検知されたタッチ操作は無効な操作であると判定する(S30)。これにより、図7に示すフローチャートの説明は終了する。
以上により、本実施形態の入力装置1は、所定時間TMを超えてユーザの指がタッチパネル15上を近接した場合に、指の鉛直下方向における表示画面の位置にボタンが表示されている場合にポインタPTを表示する。また、入力装置1は、ポインタPTの表示位置がボタンの内側でなく、ボタンとボタンとの中間位置又はボタンの端部である場合には、ポインタPTの表示位置を、例えば最も近いボタンの略中央部に補正する。これにより、入力装置1は、タッチ操作の対象となるボタンをユーザに対して曖昧に認知させることなく、ポインタPTを離散的に移動するように表示させるため、ユーザに対してタッチ操作の対象となるボタンを明確に認知させることができる。
更に、入力装置1は、ポインタPTが表示されている状態において、ポインタPTが示すボタンの範囲を含む所定の検知範囲内にタッチ操作がなされた場合には、たとえタッチ座標(x、y)がボタンの範囲外でも所定の検知範囲内であればポインタPTが示すボタンがタッチ操作されたとして操作対象を確定する。また、入力装置1は、ポインタPTが表示されている状態において、指が縦方向(鉛直下方向)の急激な移動によってポインタPTが示すボタンを変更させるタッチ操作がなされた場合でも、ポインタPTが示していたボタンを、タッチ操作の対象として確定する。
従って、入力装置1は、タッチパネル15に対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目(例えば、ボタン)を効率的に選択することができる。また、入力装置1は、ユーザの指がタッチパネル15にタッチ(接触)せずに近接、即ち、指とタッチパネルとが多少の距離ほど離間している状態において、指先が示す表示画面上のボタンをユーザに認知させることができる。これにより、入力装置1は、タッチパネル15に直接タッチした場合にユーザ自身の指で隠れてしまっていたボタンを、ユーザの指がタッチ操作する前に視覚的に認知させることができるため、ユーザに快適な操作感を与えることができる。
(第2の実施形態の概要)
第2の実施形態の概要について、図9を参照して説明する。図9は、第2の実施形態の概要を示す説明図である。なお、第2の実施形態における入力装置の構成は図3に示す入力装置1と同様であるため、第2の実施形態においても入力装置1の各部に対して同様の符号を用いて同様の内容の説明を省略する。
第2の実施形態の概要について、図9を参照して説明する。図9は、第2の実施形態の概要を示す説明図である。なお、第2の実施形態における入力装置の構成は図3に示す入力装置1と同様であるため、第2の実施形態においても入力装置1の各部に対して同様の符号を用いて同様の内容の説明を省略する。
第2の実施形態では、入力装置1は、例えば表示画面に複数のボタンとしてのキーを含むキーボードが表示されている状態において、指FNがタッチパネル15に近接し、且つ、指FNのタッチパネル15に対する近接状態の継続時間が予め規定された所定時間TMを超えたことを検知すると、指FNの鉛直下方向における表示画面のいずれかのキー(例えば、[G]のキー)を拡大表示する(図9参照)。
本実施形態では、入力装置1は、ユーザのタッチ操作の対象として仮確定するボタンを、表示画面DPにおいて拡大表示する。更に、入力装置1は、仮確定されたボタンが表示画面DPにおいて拡大表示されている状態において、仮確定されていたボタンがユーザのタッチ操作によって実際にタッチされた場合には、仮確定されていたボタンをタッチ操作の対象として確定し、確定されたボタンに応じた処理を実行する。
例えば図9では、拡大表示されている[G]のキーが指FNによってユーザのタッチ操作によって実際にタッチされた場合には、入力装置1は、[G]のキーがタッチ操作の対象となるボタンとして確定して[G]のキーの入力を支援する。
(キーの表示範囲:専用表示範囲と共有表示範囲)
次に、第2の実施形態におけるキーの専用表示範囲及び共有表示範囲について、図10~図12を参照して説明する。図10は、[G]のキーKgの専用表示範囲Ar2と共有表示範囲Ar3とを示す説明図である。図11は、左右方向及び上下方向の各キーが接触して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。図12(a)は、左右方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。図12(b)は、上下方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。
次に、第2の実施形態におけるキーの専用表示範囲及び共有表示範囲について、図10~図12を参照して説明する。図10は、[G]のキーKgの専用表示範囲Ar2と共有表示範囲Ar3とを示す説明図である。図11は、左右方向及び上下方向の各キーが接触して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。図12(a)は、左右方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。図12(b)は、上下方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。
図10に示すように、[G]のキーKgの表示範囲Ar1は、専用表示範囲Ar2と共有表示範囲Ar3とにより構成される。
専用表示範囲Ar2は、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示される場合に、自己のキーの検知範囲として専用的に保有する表示領域である。従って、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示された場合でも、自己のキーの専用表示範囲Ar2は表示が継続される。
共有表示範囲Ar3は、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示される場合に、拡大表示された他のキーの一部として隠れて表示されなくなる表示領域である。従って、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示された場合には、自己のキーの共有表示範囲Ar3の一部は表示されなくなり、拡大表示された他のキーによって隠れることになる。
ここで、[G]のキーKgの専用表示範囲Ar2及び共有表示範囲Ar3について、図11を参照してより具体的に説明する。図11において、入力装置1が指の[G]のキーKgに対する近接状態を検知する際、[G]のキーKgの表示範囲Ar1(図10参照)の位置において近接状態が所定時間TMを超えて継続すると、[G]のキーKgが拡大表示される。更に、指の近接状態が一度検知されて[G]のキーKgが拡大表示された後では、指が[G]のキーKgの表示範囲Ar1を超えて隣接キー(例えば[H]のキー)の表示範囲Ar1の位置に移動した場合には、隣接キー(例えば[H]のキー)が直ぐに拡大表示される。
従って、図11に示すように、[G]のキーKgの左右方向における拡大表示対象のキーを切り替える(変更する)ための検知範囲Range2は、[G]のキーKgの表示範囲Ar1の横方向の長さとなる。同様に、[G]のキーKgの上下方向における拡大表示対象のキーを切り替えるための検知範囲Range4は、[G]のキーKgの表示範囲Ar1の縦方向の長さとなる。
また、[G]のキーの左右方向におけるタッチ操作の対象として確定させるための検知範囲Range1は、[G]のキーKgの表示範囲Ar1の横方向の長さと、[G]のキーKgに左右方向に隣接するキー(ここでは、[F],[H]の各キー)の共有表示範囲の一部に跨った範囲([F]のキーの共有表示範囲の右側範囲(ハッチング部参照)の横方向の長さ、及び、[H]のキーの共有表示範囲の左側範囲(ハッチング部参照))横方向の長さとの和に相当する。
同様に、[G]のキーの上下方向におけるタッチ操作による確定操作の検知範囲Range3は、[G]のキーKgの表示範囲Ar1の縦方向の長さと、[G]のキーKgに上下方向に隣接するキー(ここでは、[T]又は[Y],[V]又は[B]の各キー)の共有表示範囲の一部に跨った範囲([T]又は[Y]のキーの共有表示範囲の下側範囲(ハッチグ部参照)の縦方向の長さ、及び、[V]又は[B]のキーの共有表示範囲の上側範囲(ハッチング部参照))の縦方向の長さとの和に相当する。
次に、[G]のキーKgの専用表示範囲Ar2及び共有表示範囲Ar3について、図12を参照してより具体的に説明する。図12(a)又は図12(b)において、入力装置1が指の[G]のキーKgに対する近接状態を検知する際、[G]のキーKgの表示範囲Ar1(図10参照)と、[G]のキーKgと[G]のキーKgから各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ハッチング部参照)の長さとの和に相当する範囲において近接状態が所定時間TMを超えて継続すると[G]のキーKgが拡大表示される。なお、[G]のキーKgから各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ハッチング部参照)の長さは、図12(a)では横方向の長さに相当し、図12(b)では縦方向の長さに相当する。
更に、指の近接状態が一度検知されて[G]のキーKgが拡大表示された後では、指が[G]のキーKgの表示範囲Ar1から各々の境界線MD1,MD2,MD3,MD4を超えて、隣接キー(例えば[H]又は[B]のキー)の表示範囲Ar1から各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ドットパターン部参照)に移動した場合には、[G]のキーではなく隣接キー(例えば[H]又は[B]のキー)が直ぐに拡大表示される。なお、隣接キーから各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ドットパターン部参照)の長さは、図12(a)では横方向の長さに相当し、図12(b)では縦方向の長さに相当する。
なお、境界線MD1は、[F]のキーと[G]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。同様に、境界線MD2は、[G]のキーと[H]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。同様に、境界線MD3は、[G]のキーと[T]又は[Y]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。同様に、境界線MD4は、[G]のキーと[V]又は[B]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。
従って、図12(a)に示すように、[G]のキーKgの左右方向における拡大表示対象のキーを切り替えるための検知範囲Range6は、[G]のキーKgの表示範囲Ar1の横方向の長さと、[G]のキーKgの右端部と境界線MD2との間(ハッチング部参照)の横方向の長さと、[G]のキーKgの左端部と境界線MD1との間(ハッチング部参照)の横方向の長さとの和となる。
従って、指の近接状態における鉛直下方向の位置が図12(a)に示す位置P1である場合には、位置P1が拡大表示対象のキーを切り替えるための検知範囲Range6の範囲内であるため、[G]のキーKgが拡大表示対象のキーとされる(図13(a)及び(b)参照)。更に、指の近接状態における鉛直下方向の位置が図12(a)に示す位置P2である場合には、位置P2が拡大表示対象のキーを切り替えるための検知範囲Range6の範囲外であるため、[H]のキーが拡大表示対象のキーとされる(図13(a)及び(b)参照)。
同様に、図12(b)に示すように、[G]のキーKgの上下方向における拡大表示対象のキーを切り替えるための検知範囲Range8は、[G]のキーKgの表示範囲Ar1の縦方向の長さと、[G]のキーKgの上端部と境界線MD3との間(ハッチング部参照)の縦方向の長さと、[G]のキーKgの下端部と境界線MD4との間(ハッチング部参照)の縦方向の長さとの和となる。
従って、指の近接状態における鉛直下方向の位置が図12(b)に示す位置P3である場合には、位置P3が拡大表示対象のキーを切り替えるための検知範囲Range8の範囲内であるため、[G]のキーKgが拡大表示対象のキーとされる(図13(a)及び(b)参照)。従って、指の近接状態における鉛直下方向の位置が図12(b)に示す位置P4である場合には、位置P4が拡大表示対象のキーを切り替えるための検知範囲Range8の範囲外であるため、[T]のキーが拡大表示対象のキーとされる(図13(a)及び(b)参照)。
また、図12(a)に示すように、[G]のキーの左右方向におけるタッチ操作の対象として確定させるための検知範囲Range5は、[G]のキーKgの表示範囲Ar1の横方向の長さと、[G]のキーの左端部と[G]のキーKgの左方向に隣接する[F]のキーの右端部との間の長さと、[G]のキーKgの左方向に隣接する[F]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[F]のキーの共有表示範囲Ar3の右側範囲)の横方向の長さと、[G]のキーの右端部と[G]のキーKgの右方向に隣接する[H]のキーの右端部との間の長さと、[G]のキーKgの右方向に隣接する[H]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[H]のキーの共有表示範囲Ar3の左側範囲)の横方向の長さとの和に相当する。
また、図12(b)に示すように、[G]のキーの上下方向におけるタッチ操作の対象として確定させるための検知範囲Range7は、[G]のキーKgの表示範囲Ar1の縦方向の長さと、[G]のキーの上端部と[G]のキーKgの上方向に隣接する[T]又は[Y]のキーの下端部との間の長さと、[G]のキーKgの上方向に隣接する[T]又は[Y]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[T]又は[Y]のキーの共有表示範囲Ar3の下側範囲)の縦方向の長さと、[G]のキーの下端部と[G]のキーKgの下方向に隣接する[V]又は[B]のキーの上端部との間の長さと、[G]のキーKgの下方向に隣接する[V]又は[B]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[V]又は[B]のキーの共有表示範囲Ar3の上側範囲)の縦方向の長さとの和に相当する。
なお、上述した検知範囲(Range1~Range8)に関する情報は、ボタン(キー)毎に関連付けられてボタン規定情報12c2に格納されている。
ここで、図13(a)及び(b)を参照して、表示位置補正部130における指の近接状態の鉛直下方向における位置の補正について説明する。図13(a)は、ボタンとボタンに対して設けられた補正対象ゾーンとの位置関係を示す説明図である。図13(b)は、指の鉛直下方向におけるタッチパネル上の位置を補正するか否かを判定するための5つのケースの例を示す説明図である。図13(a)では、上側にボタンB3、下側にボタンB4が並んで表示されている例が示されており、ボタンB3の補正対象ゾーン(ハッチング部参照)が図示されている。
ここで、表示位置補正部130が指の近接状態の鉛直下方向における位置を補正する否かについては、指の近接状態の鉛直下方向における位置に応じて、例えば5つのケース(Bc6,Bc7,Bc8,Bc9,Bc10)が考えられる。図13(a)では、5つのケースに対応した、指の近接状態の鉛直下方向における位置が示されている。図13(b)では、各ケースに対応して、表示位置補正部130が指の近接状態の鉛直下方向における位置を補正するか否か、及び、表示位置算出部120がタッチ操作の対象となるボタンとして仮確定するか否かが示されている。
第1番目のケースBc6では、指の近接状態の鉛直下方向における位置が明らかにボタンB3内であり、指の近接状態の鉛直下方向における位置として明確であると考えられるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされる。
第2番目のケースBc7では、指の近接状態の鉛直下方向における位置が明らかにボタンB1外であり、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンB3が無いことが明らかであるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされない。
第3番目のケースBc8では、指の近接状態の鉛直下方向における位置がボタンB3内であり、且つ、補正対象ゾーン内であるが、本実施形態においては、指の近接状態の鉛直下方向における位置に表示されているボタンが拡大表示対象となる。このため、ケースBc8では、たとえ指の近接状態の鉛直下方向における位置が補正対象ゾーン内であっても、拡大表示対象はボタンB3となるため、補正の有無によって拡大表示対象のボタンの仮確定に直接影響を与えないと考えられる。このため、ケースBc8では、表示位置補正部130による補正はなされても良いし又はなされなくても良いが、表示位置算出部120による仮確定はなされる。
第4番目のケースBc9では、指の近接状態の鉛直下方向における位置がボタンB3外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンが無いため、指の近接状態の鉛直下方向における位置はボタンB1外となるが隣接するボタンが他に無く、最も近い位置にあるボタンB3をタッチ操作の対象として明確に認知させる必要があると考えられる。このため、ケースBc9では、表示位置補正部130により、指の近接状態の鉛直下方向における位置がボタンB3の内部に補正され、更に、表示位置算出部120により、ボタンB3が拡大表示対象のボタンとして仮確定される。
第5番目のケースBc10では、指の近接状態の鉛直下方向における位置がボタンB3外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンB4があるため、指の近接状態の鉛直下方向における位置は、ユーザがタッチ操作しようとするボタンがボタンB1又はボタンB2のどちらであるのかを明確に認知させる必要があると考えられる。このため、ケースBc10では、表示位置補正部130により、指の近接状態の鉛直下方向における位置がボタンB3の内部に補正され、更に、表示位置算出部120により、ボタンB3が拡大表示対象のボタンとして仮確定される。
(第2の実施形態のフローチャート)
次に、第2の実施形態の入力装置1の動作について、図14を参照して説明する。図14は、第2の実施形態の入力装置1の動作を説明するフローチャートである。図14に示すフローチャートは、入力装置1を操作するユーザがユーザ自身の指を用いて入力装置1に対する操作を入力する場合の入力装置1の動作を示す。また、図14のフローチャートにおいて図8に示すフローチャートと同様の処理については処理(ステップ)の符号を同一とし、同一の符号に関する説明は省略する。なお、以下の説明におけるボタンは具体的にキー(図10~図12参照)と読み替えても良い。
次に、第2の実施形態の入力装置1の動作について、図14を参照して説明する。図14は、第2の実施形態の入力装置1の動作を説明するフローチャートである。図14に示すフローチャートは、入力装置1を操作するユーザがユーザ自身の指を用いて入力装置1に対する操作を入力する場合の入力装置1の動作を示す。また、図14のフローチャートにおいて図8に示すフローチャートと同様の処理については処理(ステップ)の符号を同一とし、同一の符号に関する説明は省略する。なお、以下の説明におけるボタンは具体的にキー(図10~図12参照)と読み替えても良い。
図14において、近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていると判定した場合(S14、Yes)、近接座標(x、y、z)を抽出するための近接座標抽出指示を生成して近接座標抽出部100に出力すると共に、入力装置1を「拡大表示対象の選択状態」に移行する旨の状態移行通知を動作状態管理部300に出力する。動作状態管理部300は、入力装置1の動作状態を、「拡大表示対象の選択状態」に移行する。
なお、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えて指の近接状態が一度検知された場合、指の近接状態が継続されている状態であれば、ステップS14の処理は省略されることが好ましい。これにより、入力装置1は、指の近接状態を一度検知すれば、指の近接状態が継続されている間において指を他のボタンに移動した場合には、移動先のボタンが直ぐに拡大表示でき、ユーザにストレスレスな操作感を与えることができる。
近接座標抽出部100は、近接時間計測部110から出力された近接座標抽出指示を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する(S15)。近接座標抽出部100は、抽出された近接座標(x、y、z)の情報を近接時間計測部110及び表示位置算出部120にそれぞれ出力する。
表示位置算出部120は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を基に、拡大表示の対象となる項目(例えばボタン)のタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を算出する。更に、表示位置算出部120は、算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置の補正が必要か否かを表示位置補正部130に問い合わせる(S41)。
表示位置補正部130は、表示位置算出部120からの問い合わせに応じて、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンが表示されているか否かを、ボタン規定情報12c2を参照して判定する(S41)。表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンが表示されていると判定した場合には(S41、Yes)、ボタンの情報をボタン規定情報12c2から取得すると共に、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置が拡大表示対象のボタンを切り替えるための検知範囲内であるか否かを判定する(S42)。拡大表示対象のボタンを切り替えるための検知範囲は、図10に示すRange2及びRange4により定まる範囲、又は、図11(a)及び(b)に示すRange6及びRange8により定まる範囲である。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置が拡大表示対象のボタンを切り替えるための検知範囲内であると判定した(S42、Yes)、拡大表示対象のボタンを切り替えずに、ボタン及びタッチパネル15上の位置(x、y)の各情報を表示位置算出部120に出力する。表示位置算出部120は、表示位置補正部130より出力されたボタン及びタッチパネル15上の位置(x、y)の各情報を基に、表示位置補正部130より出力された情報に対応するボタンを、タッチ操作の対象と確定させるためのボタンとして仮確定する(S44)。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)が拡大表示対象のボタンを切り替えるための検知範囲外であると判定した(S42、No)、ボタン規定情報12c2を参照し、指の近接状態の鉛直下方向における位置を、その位置に最も近いボタンの内部に補正する(S43、図13(a)参照)。表示位置補正部130は、ボタン規定情報12c2を参照して、指の近接状態の鉛直下方向における補正後の位置に対応するボタンを、タッチ操作の対象と確定させるためのボタンとして仮確定する(S44)。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンが表示されていないと判定した場合には(S41、No)、メモリ40又はRAM12bを参照して仮確定されたボタンが存在するか否かを判定する(S46)。仮確定されたボタンが存在しないと判定された場合には(S46、No)、入力装置1の動作はステップS13に戻る。
表示位置補正部130は、仮確定されたボタンが存在すると判定した場合には(S46、Yes)、タッチ操作の対象の仮確定を解除する旨の仮確定解除依頼通知を動作状態管理部300に出力する。
動作状態管理部300は、仮確定解除依頼通知を基に、タッチ操作の対象として確定させるためのボタンの仮確定を解除すると共に(S47)、現在表示画面において拡大表示されているボタンを拡大表示前の状態における大きさにする旨の拡大解除依頼通知を画像生成部420に出力する。
画像生成部420は、ステップS44によってタッチ操作の対象として確定させるためのボタンとして仮確定されたボタンの拡大画像データを生成する。拡大画像データの大きさは、画像生成部420の動作において予め規定されており、例えば、確定操作の検知範囲Range1及びRange3(図10参照)又はRange5及びRange7(図11参照)により定まる範囲である。
画像生成部420は、生成された拡大画像データを画像合成部400に出力する。画像合成部400は、アプリ画面生成部410から出力された画面データと拡大画像データとを用いて、アプリケーション500における画面において、ステップS44によって仮確定されたボタンを拡大表示させた合成画面データを生成して画面表示部30に表示させる(S44)。
なお、画像合成部400は、ステップS44によって仮確定されたボタンを拡大表示させた後、どのボタンが拡大表示されたかを示す仮確定ボタン情報12c1を生成してメモリ40に格納する。これにより、動作状態管理部300は、入力装置1においてどのボタンが拡大表示されて、タッチ操作の対象となる確定対象ボタンであるかを判定することができる。ステップS44の後、入力装置1の動作はステップS13に戻る。
また、画像生成部420は、動作状態管理部300から出力された拡大解除依頼通知を基に、現在表示画面において拡大表示されているボタンの拡大表示前の状態の大きさの画像データを生成して画像合成部400に出力する。画像合成部400は、画像生成部420から出力された画像データを画面表示部30に表示させる。なお、ステップS47によって拡大表示されていたボタンが拡大表示前の大きさにて再表示されるのは、指が既にタッチ操作の対象として仮確定されて拡大表示されていたボタンと関係ない位置に移動したことにより、ユーザが拡大表示されているボタンの選択に興味がなくなったことを反映するためである。ステップS47の後、入力装置1の動作はステップS13に戻る。
次に、ステップS48において、確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を取得すると、入力装置1においてタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在するか否かを動作状態管理部300に問い合わせる(S48)。動作状態管理部300は、メモリ40又はRAM12bを参照して入力装置1においてタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在するか否かを判定し、判定結果を確定操作判定部210に出力する。なお、入力装置1においてタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在しないと判定された場合には(S48、No)、図7に示すステップS26~ステップS30と同様の処理であるため説明を省略する。
確定操作判定部210は、動作状態管理部300からタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在する旨の判定結果を取得した場合(S48、Yes)、タッチ座標(x、y)が仮確定されたボタンの確定操作の検知範囲内であるか否かを判定する(S49)。仮確定されたボタンの確定操作の検知範囲は、図10に示すRange1及びRange3により定まる範囲、又は、図11(a)及び(b)に示すRange5及びRange7により定まる範囲である。
確定操作判定部210は、タッチ座標(x、y)が仮確定されたボタンの確定操作の検知範囲内であると判定した場合には(S49、Yes)、指の鉛直下方向における急激な移動に応じて仮確定されたボタンを変更させるようなタッチ操作がなされたか否かを判定する(S32)。
タッチ座標(x、y)が仮確定されたボタンの確定操作の検知範囲内でないと判定された場合には(S49、NO)、入力装置1の動作は図7に示すステップS26~ステップS30と同様の処理であるため説明を省略する。
ステップS32において指の縦方向の急激な移動がない場合には(S32、No)、入力装置1の動作はステップS13に戻る。この場合には、動作状態管理部300は、入力装置1の状態、即ち「タッチ操作による確定操作状態」をリセットする。
ステップS32において指の縦方向の急激な移動がある場合には(S32、Yes)、確定操作判定部210は、仮確定されたボタンをタッチ操作の対象として確定させるためのボタンとして確定する(S50)。ステップS50以降の処理は、図7に示すステップS28~S30と同様の処理であるため説明を省略する。
以上により、本実施形態の入力装置1は、所定時間TMを超えてユーザの指がタッチパネル15上を近接した場合に、指の鉛直下方向における表示画面の位置にボタンが表示されている場合にそのボタンを、タッチ操作の対象として確定させるためのボタンとして仮確定すると共に表示画面において拡大表示させる。また、入力装置1は、近接状態における指の鉛直下方向におけるタッチパネル15上の位置(x、y)がボタンの検知範囲、即ち、拡大表示対象のボタンを切り替えるための検知範囲外である場合には、タッチパネル15上の位置(x、y)の情報及びボタン規定情報12c2を参照してタッチ操作の対象として確定させるためのボタンを変更する。これにより、入力装置1は、タッチ操作の対象となるボタンをユーザに対して曖昧に認知させることなく、タッチ操作の対象として確定させるためのボタンとして仮確定されたボタンを拡大表示するため、ユーザに対してタッチ操作の対象となる候補のボタンを明確に認知させることができると共に、ユーザのタッチ操作を誤操作なく容易に実現させることができる。
従って、入力装置1は、タッチパネル15に対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目(例えば、キーボードのキー等のボタン)を効率的に選択することができる。また、入力装置1は、ユーザの指がタッチパネル15にタッチ(接触)せずに近接、即ち、指とタッチパネルとが多少の距離ほど離間している状態において、指が示す表示画面上のボタンをユーザに認知させることができる。これにより、入力装置1は、タッチパネル15に直接タッチした場合にユーザ自身の指で隠れてしまっていたボタンを、ユーザの指がタッチ操作する前に視覚的に認知させることができるため、ユーザに快適な操作感を与えることができる。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
なお、上述した第1の実施形態において、入力装置1は、ポインタPTを点滅して表示させても良い。これにより、入力装置1は、タッチ操作の対象として確定させるためのボタンを、ユーザに対して一層注目させることができる。
また、上述した第1の実施形態において、入力装置1は、ポインタPTの表示予定位置にタッチ操作を受け付け可能な項目(例えばボタン)が表示されていない場合でも、ポインタPTの表示予定位置にポインタPTを表示させても良い。これにより、入力装置1は、ユーザに対し、指の鉛直下方向におけるタッチパネル15の位置に、タッチ操作の対象となる項目(例えばボタン)が無いことを認知させることができ、当該項目が表示されている位置に対する指の移動を促すことができる。
なお、本出願は、2012年3月12日出願の日本特許出願(特願2012-054920)に基づくものであり、その内容はここに参照として取り込まれる。
本発明は、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援する入力装置、入力支援方法及びプログラムとして有用である。
1 入力装置
10 近接検知部
20 タッチ検知部
30 画面表示部
100 近接座標抽出部
110 近接時間計測部
120 表示位置算出部
130 表示位置補正部
200 タッチ座標抽出部
210 確定操作判定部
300 動作状態管理部
400 画像合成部
410 アプリ画面生成部
420 画像生成部
500 アプリケーション
10 近接検知部
20 タッチ検知部
30 画面表示部
100 近接座標抽出部
110 近接時間計測部
120 表示位置算出部
130 表示位置補正部
200 タッチ座標抽出部
210 確定操作判定部
300 動作状態管理部
400 画像合成部
410 アプリ画面生成部
420 画像生成部
500 アプリケーション
Claims (17)
- 表示画面にデータを表示する表示部と、
前記表示画面に対する指の近接を検知するタッチパネルと、
前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、
前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出する表示位置算出部と、
前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を表すインジケータを表示する表示制御部と、を備える入力装置。 - 請求項1に記載の入力装置であって、
前記表示画面に対する指の近接検知を基に、前記指の近接状態の継続時間を計測する近接時間計測部と、を更に備え、
前記表示制御部は、
前記指の近接状態の継続時間が所定時間を超えた場合に、前記算出された前記表示画面の位置に前記インジケータを表示する入力装置。 - 請求項1又は2に記載の入力装置であって、
前記表示制御部は、
前記算出された前記表示画面の位置より所定距離以内に前記タッチ操作を受け付け可能な前記項目が表示されている場合、前記算出された前記表示画面の位置に前記インジケータを表示する入力装置。 - 請求項3に記載の入力装置であって、
前記近接が検知された前記指の鉛直下方向における前記表示画面上の位置が前記項目の端部である場合に、前記インジケータの表示位置を補正する表示位置補正部と、を更に備える入力装置。 - 請求項3に記載の入力装置であって、
前記近接が検知された前記指の鉛直下方向における前記表示画面上の位置が前記項目の端部から前記項目と隣接する他項目との中間点までの範囲内である場合に、前記インジケータの表示位置を補正する表示位置補正部と、を更に備える入力装置。 - 請求項1~5のうちいずれか一項に記載の入力装置であって、
前記インジケータの表示位置を含む所定範囲内の前記表示画面に対する前記タッチ操作に応じて、前記インジケータの表示位置に表示されている前記項目を前記タッチ操作の対象として確定するか否かを判定する確定操作判定部と、を更に備える入力装置。 - 請求項6に記載の入力装置であって、
前記確定操作判定部は、
前記指の前記鉛直下方向への移動に応じて、前記タッチ操作の対象として前記インジケータの表示位置に表示されている前記項目が変更された場合、前記インジケータの表示位置に表示されていた前記項目を前記タッチ操作の対象として確定する入力装置。 - 表示画面にデータを表示する表示部と、
前記表示画面に対する指の近接を検知するタッチパネルと、
前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、
前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示する表示制御部と、を備える入力装置。 - 請求項8に記載の入力装置であって、
前記表示画面に対する指の近接検知を基に、前記指の近接状態の継続時間を計測する近接時間計測部と、を更に備え、
前記表示制御部は、
前記指の近接状態の継続時間が所定時間を超えた場合に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置より所定距離以内に表示されている項目を拡大表示する入力装置。 - 請求項8又は9に記載の入力装置であって、
前記表示制御部は、
前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に前記タッチ操作を受け付け可能な前記項目が表示されている場合、前記タッチ操作を受け付け可能な前記項目を拡大表示する入力装置。 - 請求項10に記載の入力装置であって、
前記近接が検知された前記指の鉛直下方向における前記表示画面上の位置が前記項目と前記項目と隣接する他項目との中間点までの範囲内である場合に、前記指の鉛直下方向における前記表示画面上の位置を、前記項目の内部に対応する位置に補正する表示位置補正部と、を更に備える入力装置。 - 請求項8~11のうちいずれか一項に記載の入力装置であって、
前記拡大表示の対象となる項目の表示位置を含む所定範囲内の前記表示画面に対する前記タッチ操作に応じて、前記拡大表示の対象となる項目を前記タッチ操作の対象として確定するか否かを判定する確定操作判定部と、を更に備える入力装置。 - 請求項12に記載の入力装置であって、
前記確定操作判定部は、
前記指の前記鉛直下方向への移動に応じて、前記タッチ操作の対象として前記拡大表示の対象となる項目が変更された場合、前記拡大表示の対象となっていた項目を前記タッチ操作の対象として確定する入力装置。 - 表示画面への入力支援方法であって、
前記表示画面に対する指の近接を検知するステップと、
前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、
前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を備える入力支援方法。 - 表示画面への入力支援方法であって、
前記表示画面に対する指の近接を検知するステップと、
前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を備える入力支援方法。 - 表示画面にデータを表示する表示部を含むコンピュータに、
前記表示画面に対する指の近接を検知するステップと、
前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、
前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を実現させるためのプログラム。 - 表示画面にデータを表示する表示部を含むコンピュータに、
前記表示画面に対する指の近接を検知するステップと、
前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/236,097 US20140176510A1 (en) | 2012-03-12 | 2012-11-01 | Input device, input assistance method and program |
US15/387,822 US9891753B2 (en) | 2012-03-12 | 2016-12-22 | Input device, input assistance method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012054920A JP5907762B2 (ja) | 2012-03-12 | 2012-03-12 | 入力装置、入力支援方法及びプログラム |
JP2012-054920 | 2012-03-12 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/236,097 A-371-Of-International US20140176510A1 (en) | 2012-03-12 | 2012-11-01 | Input device, input assistance method and program |
US15/387,822 Division US9891753B2 (en) | 2012-03-12 | 2016-12-22 | Input device, input assistance method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013136391A1 true WO2013136391A1 (ja) | 2013-09-19 |
Family
ID=49160366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/007026 WO2013136391A1 (ja) | 2012-03-12 | 2012-11-01 | 入力装置、入力支援方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US20140176510A1 (ja) |
JP (1) | JP5907762B2 (ja) |
WO (1) | WO2013136391A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021117446A1 (ja) * | 2019-12-13 | 2021-06-17 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5828800B2 (ja) | 2012-04-23 | 2015-12-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 表示装置、表示制御方法及びプログラム |
JP5610644B2 (ja) * | 2012-04-27 | 2014-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 入力装置、入力支援方法及びプログラム |
JP5703422B2 (ja) | 2012-09-13 | 2015-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 携帯電子機器 |
JP5489379B1 (ja) | 2013-01-18 | 2014-05-14 | パナソニック株式会社 | スクロール装置、スクロール方法及びプログラム |
EP3090331B1 (en) | 2014-01-03 | 2020-03-04 | Intel Corporation | Systems with techniques for user interface control |
JP6411067B2 (ja) * | 2014-05-13 | 2018-10-24 | シャープ株式会社 | 情報処理装置及び入力方法 |
JP6324203B2 (ja) | 2014-05-14 | 2018-05-16 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム、記録媒体 |
JP6370118B2 (ja) * | 2014-06-06 | 2018-08-08 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
US10585584B2 (en) | 2014-09-29 | 2020-03-10 | Hewlett-Packard Development Company, L.P. | Virtual keyboard |
KR102399589B1 (ko) * | 2014-11-05 | 2022-05-18 | 삼성전자주식회사 | 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체 |
JP6433811B2 (ja) * | 2015-02-25 | 2018-12-05 | 京セラ株式会社 | 電子機器 |
CN114564143B (zh) * | 2015-10-14 | 2024-10-22 | 麦克赛尔株式会社 | 终端装置 |
JP6499384B2 (ja) * | 2016-08-24 | 2019-04-10 | ナーブ株式会社 | 画像表示装置、画像表示方法、及び画像表示プログラム |
US11635826B2 (en) * | 2017-05-16 | 2023-04-25 | Apple Inc. | Device, method, and graphical user interface for adjusting touch activation regions associated with selectable user interface elements |
JP6722239B2 (ja) * | 2018-08-08 | 2020-07-15 | シャープ株式会社 | 情報処理装置、入力方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009026155A (ja) * | 2007-07-20 | 2009-02-05 | Toshiba Corp | 入力表示装置および移動無線端末装置 |
JP2011134273A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08212005A (ja) * | 1995-02-07 | 1996-08-20 | Hitachi Ltd | 3次元位置認識型タッチパネル装置 |
JPH11312264A (ja) * | 1998-04-28 | 1999-11-09 | Oki Software Kyushu:Kk | 操作・表示装置および自動取引装置 |
JP3800984B2 (ja) | 2001-05-21 | 2006-07-26 | ソニー株式会社 | ユーザ入力装置 |
JP2003280812A (ja) * | 2002-03-20 | 2003-10-02 | Hitachi Ltd | タッチパネル付きディスプレイ装置及び表示方法 |
JP4841359B2 (ja) * | 2006-08-21 | 2011-12-21 | アルパイン株式会社 | 表示制御装置 |
CN101593055A (zh) * | 2008-05-29 | 2009-12-02 | 纬创资通股份有限公司 | 触控屏幕的输入方法及其相关触控屏幕和触控式电子装置 |
KR101520689B1 (ko) * | 2008-10-22 | 2015-05-21 | 엘지전자 주식회사 | 이동 단말기 및 이를 이용한 화면 스크롤 방법 |
JP2010277377A (ja) | 2009-05-29 | 2010-12-09 | Panasonic Corp | タッチパネルシステム |
JP5532300B2 (ja) * | 2009-12-24 | 2014-06-25 | ソニー株式会社 | タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体 |
US8593398B2 (en) * | 2010-06-25 | 2013-11-26 | Nokia Corporation | Apparatus and method for proximity based input |
US8421752B2 (en) * | 2011-01-27 | 2013-04-16 | Research In Motion Limited | Portable electronic device and method therefor |
US20130311945A1 (en) | 2011-03-15 | 2013-11-21 | Panasonic Corporation | Input device |
JP5579780B2 (ja) | 2012-06-06 | 2014-08-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 入力装置、入力支援方法及びプログラム |
JP5620440B2 (ja) | 2012-08-09 | 2014-11-05 | パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 表示制御装置、表示制御方法及びプログラム |
JP5628991B2 (ja) | 2013-03-08 | 2014-11-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 表示装置、表示方法、及び表示プログラム |
JP5679595B2 (ja) | 2013-03-14 | 2015-03-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 電子機器及び座標判定方法 |
-
2012
- 2012-03-12 JP JP2012054920A patent/JP5907762B2/ja active Active
- 2012-11-01 US US14/236,097 patent/US20140176510A1/en not_active Abandoned
- 2012-11-01 WO PCT/JP2012/007026 patent/WO2013136391A1/ja active Application Filing
-
2016
- 2016-12-22 US US15/387,822 patent/US9891753B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009026155A (ja) * | 2007-07-20 | 2009-02-05 | Toshiba Corp | 入力表示装置および移動無線端末装置 |
JP2011134273A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021117446A1 (ja) * | 2019-12-13 | 2021-06-17 | ||
JP7365429B2 (ja) | 2019-12-13 | 2023-10-19 | アルプスアルパイン株式会社 | 入力装置 |
Also Published As
Publication number | Publication date |
---|---|
US9891753B2 (en) | 2018-02-13 |
JP5907762B2 (ja) | 2016-04-26 |
JP2013190862A (ja) | 2013-09-26 |
US20170123592A1 (en) | 2017-05-04 |
US20140176510A1 (en) | 2014-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5907762B2 (ja) | 入力装置、入力支援方法及びプログラム | |
KR101534282B1 (ko) | 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스 | |
JP5721662B2 (ja) | 入力受付方法、入力受付プログラム、及び入力装置 | |
JP6151157B2 (ja) | 電子機器および制御プログラム並びに電子機器の動作方法 | |
JP4982430B2 (ja) | 文字入力装置及び文字入力方法 | |
JP5828800B2 (ja) | 表示装置、表示制御方法及びプログラム | |
KR101861318B1 (ko) | 터치 스크린을 구비한 기기의 인터페이스 제공 장치 및 방법 | |
JP5620440B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
EP2696270B1 (en) | Touch panel device, display method therefor, and display program | |
JP6381032B2 (ja) | 電子機器、その制御方法及びプログラム | |
JP2011192215A (ja) | 文字入力装置、文字入力方法及び文字入力プログラム | |
JP6429886B2 (ja) | 触感制御システムおよび触感制御方法 | |
KR20110030962A (ko) | 휴대 단말기 및 그 동작방법 | |
JP2006236143A (ja) | 入力処理プログラム、携帯端末装置、及び入力処理方法 | |
KR20140106801A (ko) | 시각 장애인들을 위한 휴대 단말기의 음성 서비스 지원 방법 및 장치 | |
CN102783124A (zh) | 便携式装置中的文本输入方法和支持该方法的便携式装置 | |
JP2012178175A (ja) | 表示制御装置、電子機器、表示制御方法、およびプログラム | |
JP5025450B2 (ja) | 文字入力装置 | |
US10691287B2 (en) | Touch panel type information terminal device, information input processing method and program thereof | |
JP5793054B2 (ja) | 携帯端末装置、プログラムおよび実行抑制方法 | |
JP2014182429A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2011204033A (ja) | 情報表示装置および情報表示方法 | |
JP2013073366A (ja) | 情報処理装置 | |
JP2015111369A (ja) | 電子装置 | |
JP2011070508A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12870997 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14236097 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12870997 Country of ref document: EP Kind code of ref document: A1 |