WO2010104015A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- WO2010104015A1 WO2010104015A1 PCT/JP2010/053706 JP2010053706W WO2010104015A1 WO 2010104015 A1 WO2010104015 A1 WO 2010104015A1 JP 2010053706 W JP2010053706 W JP 2010053706W WO 2010104015 A1 WO2010104015 A1 WO 2010104015A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- finger
- contact
- unit
- operation surface
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Definitions
- the present invention relates to an information processing apparatus, an information processing method, and an information processing program, and is suitable for application to an information processing apparatus having a touch panel, for example.
- the above-described information processing apparatus displays an indicator or a screen to be operated on a display surface, and inputs commands by operating these on the operation surface. Therefore, in the information processing apparatus described above, in order for a user to perform a desired operation, an operation input must be performed by visually recognizing a display or a screen displayed on the display surface via the operation surface. It was. Therefore, when the user places the above-described information processing apparatus in a bag or a pocket of clothes, the information processing apparatus must be taken out in order to visually recognize the operation surface, which is inconvenient.
- the present invention has been made in view of the above points, and intends to propose an information processing apparatus, an information processing method, and an information processing program that allow a user to easily perform an operation without visually recognizing an operation surface. is there.
- a contact detection unit that detects a position where a finger contacts the operation surface of the operation unit, and a contact detection unit based on the coordinate axis set on the operation surface
- a coordinate conversion unit that converts the detected position into coordinates, a command input unit that inputs a command based on the coordinates obtained from the coordinate conversion unit, and a contact portion while keeping a finger in contact with the operation surface
- An operation recognition unit that recognizes that an operation to change from the belly of the finger to the tip or vice versa is performed, and when the operation is recognized by the operation recognition unit, the tip of the finger is The direction toward the touched position is estimated as the wrist direction of the hand that operates the operation unit, and a coordinate axis setting unit that sets the coordinate axis according to the direction
- a contact detection unit that detects a position where the finger contacts the operation surface of the operation unit and a range where the finger contacts, and the operation surface are set.
- a coordinate conversion unit that converts the position detected by the contact detection unit into coordinates based on the coordinate axes, a command input unit that inputs commands based on the coordinates obtained from the coordinate conversion unit, and a finger on the operation surface
- An operation recognition unit for recognizing that an operation of rotating while touching is performed, and when the operation recognition unit recognizes the operation, the position of the finger base and the position of the finger The position where the tip touches is detected, and the direction from the position where the root of the finger touches to the position where the tip of the finger touches is estimated as the wrist direction of the hand operating the operation unit. Coordinates to set coordinate axes according to the direction It was provided and a setting section.
- the user's operation can be recognized according to the orientation of the user's hand relative to the operation surface. This allows the user to always perform an operation based on the orientation of the user's hand relative to the operation surface, regardless of the orientation of the user's hand relative to the operation surface.
- the user's operation can be recognized according to the orientation of the user's hand relative to the operation surface by setting the coordinate axis of the operation surface according to the orientation of the user's hand relative to the operation surface.
- FIG. 1 is a schematic diagram showing the configuration of a music playback device according to the present invention.
- FIG. 2 is a block diagram showing the configuration of the music playback device according to the present invention.
- FIG. 3 is a schematic diagram for explaining the music switching operation in the present invention.
- FIG. 4 is a schematic diagram for explaining the blind mode switching operation according to the first embodiment of the present invention.
- FIG. 5 is a schematic diagram for explaining the music switching operation in the present invention.
- FIG. 6 is a flowchart showing the blind operation processing procedure in the first embodiment of the present invention.
- FIG. 7 is a block diagram showing a functional configuration of the music playback device according to the first embodiment of the present invention.
- FIG. 8 is a schematic diagram for explaining a blind mode switching operation according to the second embodiment of the present invention.
- FIG. 1 is a schematic diagram showing the configuration of a music playback device according to the present invention.
- FIG. 2 is a block diagram showing the configuration of the music playback device according to the present invention.
- FIG. 9 is a flowchart showing a blind operation processing procedure in the second embodiment of the present invention.
- FIG. 10 is a block diagram showing a functional configuration of a music playback device according to the second embodiment of the present invention.
- FIG. 11 is a schematic diagram for explaining a blind mode switching operation according to another embodiment of the present invention.
- First embodiment (example in which the operation of raising a finger is a blind mode switching operation) 2.
- Second embodiment (example in which the operation of rotating a finger is a blind mode switching operation) 3.
- Other embodiments ⁇ 1.
- reference numeral 1 denotes a music reproducing apparatus as a whole.
- This music playback device 1 is portable and has a flat rectangular housing 2 that is large enough to be held with one hand (so-called palm size).
- a rectangular plate-like display unit 3 is provided on the surface of the housing 2. As shown in FIG.
- the display unit 3 is formed by sticking a transparent pressure sensor 3B and a transparent touch panel 3C in order on a display surface of an LCD (Liquid Crystal Display) 3A.
- the music reproducing apparatus 1 recognizes an operation on the operation surface of the touch panel 3C, it inputs various commands such as reproduction of music, stop, increase / decrease in volume according to the operation.
- a capacitive touch panel 3C is used.
- a substrate 4 on which each electronic circuit is mounted is attached to the rear surface of the display unit 3 so that the substrate 4 and the display unit 3 are electrically connected.
- the housing 2 since the housing 2 is formed to be relatively short in one direction, the one direction is also referred to as a housing short direction.
- the other direction is also referred to as a casing longitudinal direction.
- the lateral direction of the casing is the left-right direction of the casing 2
- the longitudinal direction of the casing is the vertical direction of the casing 2.
- the right side surface is also referred to as the right surface, the left side surface as the left surface, the upper side surface as the upper surface, and the lower side surface as the lower surface.
- a headphone terminal (not shown) is provided on the lower surface of the housing 2, and the headphone 5 is connected via the headphone terminal.
- the music reproducing apparatus 1 is configured to allow the user to listen to the sound of the reproduced music through the headphones 5. [1-2.
- each circuit unit of the music playback device 1 is connected via a bus 10.
- the CPU 11 reads a program stored in the nonvolatile memory 12 into a RAM (Random Access Memory) 13.
- the CPU 11 expands the read program on the RAM 13, controls each circuit unit according to the expanded program, and executes various processes.
- the CPU 11 is connected to an external device via a connection unit (not shown), the CPU 11 acquires music data from the external device and stores the music data in the nonvolatile memory 12.
- the music data includes not only the audio data of the music but also data related to the music (title name, artist name, album name, jacket photo image, etc.).
- the CPU 11 when the CPU 11 recognizes that an operation for reproducing the music is performed via the touch panel 3C, the CPU 11 reads out the audio data of the music from the non-volatile memory 12 and sends it to the reproduction unit 14 accordingly.
- the reproduction unit 14 obtains an audio signal by performing predetermined reproduction processing such as decoding processing and amplification processing on the audio data of the music piece, and sends the audio signal to the audio output unit 15. As a result, the sound of the music based on this sound signal is output from the sound output unit 15 via the headphones 5. Further, the CPU 11 acquires information (title name, artist name, album name, jacket photo image, etc.) related to the music from the music data stored in the non-volatile memory 12 and displays it on the LCD 3A. .
- the touch panel 3C has a plurality of electrostatic sensors arranged in a grid pattern. These electrostatic sensors increase the capacitance when a user's finger comes into contact.
- the touch panel 3C sends to the CPU 11 electrostatic sensor information indicating the capacitance value of the electrostatic sensor and the position of the electrostatic sensor on the operation surface of the touch panel 3C. .
- the CPU 11 Based on the electrostatic sensor information, the CPU 11 detects a range where the user's finger contacts the touch panel 3C (also referred to as a contact range), and based on the coordinate axes set on the operation surface of the touch panel 3C, This contact range is converted into coordinates.
- the CPU 11 calculates the shape of the contact range based on the coordinates, and calculates the coordinates of the center of gravity in the shape. Then, the CPU 11 calculates the coordinates of the center of gravity as the coordinates of the position where the user's finger contacts (this is also referred to as a contact position). The CPU 11 recognizes the user's operation on the operation surface of the touch panel 3C based on the coordinates of the contact position, and inputs various commands in accordance with this operation.
- the pressure-sensitive sensor 3B detects a pressure (also referred to as a pressing pressure) when the user's finger presses the operation surface of the touch panel 3C, and sends a pressing pressure value indicating the pressing pressure to the CPU 11.
- the CPU 11 reads a jacket photo image of a plurality of songs from the song data recorded in the nonvolatile memory 12. Then, as shown in FIG. 3A, the CPU 11 displays a music switching screen 20 in which these jacket photograph images J (J0, J1, J2,..., Jn) are continuously stacked in the depth direction. To display. Specifically, the CPU 11 displays on the music switching screen 20 as if the foremost jacket photo image J0 has fallen forward, and the jacket photo image J1 is displayed as another jacket photo image behind this jacket photo image J0. Display so as not to overlap.
- the CPU 11 is in a state of selecting a music corresponding to the jacket photo image J1.
- the CPU 11 is in a normal mode in which the user visually operates the display unit 3 and performs an operation.
- the CPU 11 sets a coordinate axis with the center of the operation surface of the touch panel 3C as the origin, the housing short direction as the X axis, and the housing long direction as the Y axis as the operation surface.
- the CPU 11 sets the coordinate axes so that the Y-axis positive direction is the upper surface direction, the Y-axis negative direction is the lower surface direction, the X-axis positive direction is the right surface direction, and the X-axis negative direction is the left surface direction.
- the CPU 11 displays various display screens (for example, the music switching screen 20) on the LCD 3A according to the coordinate axes, and allows the user to perform various operations.
- this normal mode for example, it is assumed that the user presses the right area in the operation surface of the touch panel 3C, that is, the X-axis positive area, with a finger.
- the CPU 11 acquires the coordinates of the contact position via the touch panel 3C, and acquires the pressing pressure value via the pressure sensor 3B.
- the CPU 11 determines that the contact position is an X-axis positive region and the pressing pressure value is not less than a predetermined threshold A1 (for example, 50) and less than a threshold A2 (for example, 70) as shown in FIG.
- the CPU 11 determines that the contact position is in the positive X-axis region and the pressing pressure value is greater than or equal to the threshold A2 and less than the threshold A3 (for example, 90), the CPU 11 switches the music to be selected to the music of the next album. If the CPU 11 determines that the contact position is in the X-axis positive area and the pressing pressure value is equal to or greater than the threshold A3, the CPU 11 switches the music to be selected to the music of the album having the next initial album name.
- An album having an album name with the next initial letter is, for example, an album whose initial letter is “B” when the initial letter of the album name of the currently selected music is “A”.
- the CPU 11 is configured to change the unit for switching music according to the pressing pressure, and the unit for switching music is increased as the user strongly presses the touch panel 3C with a finger. Then, the CPU 11 displays an animation that brings down the jacket photo image J1 corresponding to the song that has been selected so far to turn the page of the book, and newly displays the jacket photo image J2 that corresponds to the switched song. To display. Thereby, CPU11 can make a user recognize that the music to select switches to the next music. Also, assume that the user lifts his / her finger from the touch panel 3C.
- the CPU 11 recognizes that the user's finger has been removed from the touch panel 3C via the touch panel 3C, and causes the playback unit 14 to play back the audio data of the selected music (music corresponding to the jacket photo image J2). .
- the audio of this music is output from the audio output unit 15.
- the CPU 11 acquires the coordinates of the contact position via the touch panel 3C, and acquires the pressing pressure value via the pressure sensor 3B.
- the CPU 11 determines that the contact position is the X-axis negative region and the pressing pressure value is not less than the threshold value A1 and less than the threshold value A2 based on these pieces of information, the CPU 11 switches the music to be selected to the previous music. If the CPU 11 determines that the contact position is an X-axis negative region and the pressing pressure value is greater than or equal to the threshold A2 and less than the threshold A3, the CPU 11 switches the music to be selected to the music of the previous album. If the CPU 11 determines that the contact position is in the negative X-axis region and the pressing pressure value is equal to or greater than the threshold A3, the CPU 11 switches the music to be selected to the music of the album having the previous initial album name.
- the CPU 11 displays an animation that causes the jacket photo image J0 that has fallen to the front side so as to turn the page of the book, and displays the jacket photo image J0 corresponding to the selected music in a state that is clearly visible.
- CPU11 can make a user recognize that the music to select switches to the previous music.
- the user lifts his / her finger from the operation surface of the touch panel 3C.
- the CPU 11 recognizes that the user's finger has been released from the operation surface via the touch panel 3C, and causes the playback unit 14 to play back the audio data of the selected music (music corresponding to the jacket photo image J0).
- the audio of this music is output from the audio output unit 15.
- the CPU 11 recognizes that the operation of sliding the finger from the bottom to the top is performed via the touch panel 3C, and controls the sound output unit 15 to increase the volume of the sound to be output.
- the user performs an operation of bringing the finger into contact with the operation surface of the touch panel 3C and sliding the finger from the top to the bottom during the reproduction of the music.
- the CPU 11 recognizes that an operation of sliding a finger from the top to the bottom via the touch panel 3C is performed, and controls the sound output unit 15 to reduce the volume of the sound to be output.
- the music reproducing apparatus 1 recognizes that the user has pressed the right area in the operation surface of the touch panel 3C
- the music player 1 switches the music to be selected to the next music and presses the left area in the operation surface. Is recognized, the music to be selected is switched to the previous music.
- the music playback device 1 recognizes that the user has lifted his / her finger from the operation surface of the touch panel 3C, the music playback device selected at that time is played back.
- the music playback device 1 recognizes that the user has performed an operation of sliding his / her finger from the top to the bottom or from the bottom to the top on the operation surface of the touch panel 3C, the volume of sound output from the sound output unit 15 is increased. Increase and decrease are made.
- the music playback device 1 recognizes the user's operation according to the coordinate axis set in advance on the operation surface of the touch panel 3C. Therefore, the music reproducing apparatus 1 is operated by the user in a predetermined direction corresponding to the coordinate axes. [1-4. Blind operation] Further, in the music playback device 1, a blind mode is provided in which the user performs an operation without visually recognizing the display unit 3.
- the operation that the user performs without visually recognizing the display unit 3 is also referred to as a blind operation.
- the blind operation in the music playback device 1 will be described in detail.
- the blind mode switching operation means that the user touches the operation surface of the touch panel 3 ⁇ / b> C with the finger touching the finger touching portion from the finger belly. This is a change operation. That is, the user presses the operation surface of the touch panel 3C with the belly of the finger, and further presses the operation surface with the tip of the finger by bending the finger joint and raising the finger without releasing the finger from the operation surface. is there.
- This blind mode switching operation can be performed with one finger.
- the CPU 11 acquires the coordinates of the contact position via the touch panel 3C, and acquires the pressing pressure value via the pressure sensor 3B. Then, the CPU 11 detects the transition of the contact position from the start of the operation to the end of the operation and the change of the pressing pressure value.
- the blind mode switching operation may be an operation of moving the contact position with respect to the operation surface of the touch panel 3C.
- the CPU 11 determines whether or not the contact position has moved by a predetermined distance or more based on the coordinates of the contact position acquired via the touch panel 3C. Further, the CPU 11 determines whether or not the pressing pressure value at the end of the operation has increased by a predetermined value or more compared with the pressing pressure value at the beginning of the operation.
- the CPU 11 detects that the touch position has moved by a predetermined distance or more and the pressing pressure value at the end of the operation has increased by a predetermined value or more compared to the pressing pressure value at the start of the operation, the CPU 11 recognizes that the user has performed a blind mode switching operation. To do. At this time, as shown in FIG. 4, the CPU 11 recognizes that the contact position P1 at the start of the operation is a position where the belly of the finger is in contact, and the contact position P2 at the end of the operation is a position where the tip of the finger is in contact. Then, the CPU 11 switches to the blind mode. Also, as a feature of human fingers, the center of gravity of the belly of the finger is closer to the wrist than the center of gravity of the tip of the finger.
- the CPU 11 estimates that the direction from the operation end contact position P2 to the operation start contact position P1 is the wrist direction of the hand operating the touch panel 3C. Then, the CPU 11 defines this wrist direction as a downward direction on the operation surface of the touch panel 3C. Then, the CPU 11 converts the coordinates set on the operation surface of the touch panel 3C so that the straight line passing through the contact position P1 and the contact position P2 becomes the Y axis with the downward direction of the defined touch panel 3C as the Y axis negative direction. To do.
- the operation surface of the touch panel 3C has an X-axis positive region (region on the right side with respect to the Y-axis) and an X-axis negative region (on the left side with respect to the Y-axis) by a straight line passing through the contact position P1 and the contact position P2. Area).
- the CPU 11 recognizes that the blind mode switching operation has been performed, the CPU 11 switches to the blind mode, and based on the blind mode switching operation, sets the coordinate axis with the wrist direction of the user as the downward direction on the operation surface of the touch panel 3C. It is made like that.
- the blind mode for example, as shown in FIG.
- the CPU 11 can recognize the user's operation according to the orientation of the user's hand relative to the operation surface by setting the coordinate axis corresponding to the orientation of the user's hand relative to the operation surface of the touch panel 3C. it can. Accordingly, the CPU 11 can cause the user to perform an operation based on the orientation of the user's hand with respect to the operation surface, and thus can perform a blind operation. Then, the CPU 11 reads out the voice data of the voice notifying the user that the music to be selected has been switched (also referred to as notification voice) from the non-volatile memory 12, sends it to the playback unit 14, and plays it back to the playback unit 14. Let As a result, the notification sound is output from the sound output unit 15.
- the voice data of the voice notifying the user that the music to be selected has been switched also referred to as notification voice
- the notification voice is, for example, a voice indicating the next music such as “next tune” or a voice indicating the title name of the music.
- the music reproducing apparatus 1 can make the user recognize that the selected music has been switched without making the user visually recognize the display unit 3 in the blind mode.
- the CPU 11 when detecting that the user's finger has been removed from the operation surface of the touch panel 3C, the CPU 11 causes the playback unit 14 to play back the audio data of the selected music piece.
- the audio of this music is output from the audio output unit 15.
- the blind mode for example, as shown in FIG.
- the CPU 11 acquires the coordinates of the contact position via the touch panel 3C, and acquires the pressing pressure value via the pressure sensor 3B.
- the CPU 11 selects the music to be selected, the music from the previous album, the music from the previous album, or the front head according to the pressing pressure value.
- the CPU 11 causes the reproduction unit 14 to reproduce the notification sound in the same manner as described above, and causes the sound output unit 15 to output this notification sound.
- the CPU 11 recognizes that the user's finger has left the operation surface of the touch panel 3C
- the CPU 11 causes the playback unit 14 to play back the audio data of the selected music piece.
- the audio of this music is output from the audio output unit 15.
- the user does not visually recognize the display unit 3 and performs an operation of sliding the finger from the wrist direction of the user to the finger tip direction while the music piece is being played, for example, by touching the operation surface of the touch panel 3C.
- the user performs an operation of sliding the finger from the bottom to the top (Y-axis positive direction) on the coordinate axis of the operation surface converted by the blind mode switching operation.
- the CPU 11 recognizes that the operation of sliding the finger from the bottom to the top is performed via the touch panel 3C, and controls the sound output unit 15 to increase the volume of the sound to be output. It is made like that.
- the user does not visually recognize the display unit 3 and performs an operation of sliding the finger from the tip direction of the user's finger to the wrist direction, for example, while the music is being played, by touching the operation surface of the touch panel 3C.
- the user performs an operation of sliding his / her finger from the top to the bottom (Y-axis negative direction) on the coordinate axis of the operation surface converted by the blind mode switching operation.
- the CPU 11 recognizes that the operation of sliding the finger from the top to the bottom via the touch panel 3C has been performed, and controls the audio output unit 15 to reduce the volume of the output audio.
- the music reproducing device 1 also selects the music to be selected when the user recognizes that the user has pressed down the right area on the coordinate axis set on the operation surface of the touch panel 3C in the blind mode as in the normal mode. It is made to switch to the music of.
- the music reproducing apparatus 1 recognizes that the user has pressed the left area on the coordinate axis, the music piece to be selected is switched to the previous music piece.
- the music player 1 recognizes that the user has lifted his / her finger from the touch panel 3C in the blind mode as well as in the normal mode, the music player 1 is played back.
- the music playback device 1 also moves the finger from the top to the bottom or from the bottom to the top on the operation surface according to the coordinate axis set on the operation surface of the touch panel 3C, as in the normal mode. It recognizes the sliding operation and adjusts the volume.
- such operations as music switching, playback, and volume increase / decrease are all operations that can be performed with one finger.
- the music playback device 1 when the music playback device 1 is in the blind mode, the coordinate axis corresponding to the orientation of the user's hand with respect to the operation surface of the touch panel 3C is set on the operation surface, so that the direction of the user's hand relative to the operation surface is set.
- the user's operation can be recognized. Accordingly, the music playback device 1 can cause the user to perform an operation based on the orientation of the user's hand relative to the operation surface, regardless of the orientation of the hand relative to the operation surface.
- the operation can be performed.
- This also allows the music playback device 1 to allow the user to perform blind operations such as music switching, music playback, and volume increase / decrease in the blind mode with the same operational feeling as in the normal mode. [1-5.
- this blind operation processing procedure RT1 is executed by the CPU 11 of the music playback device 1 in accordance with a program installed in the nonvolatile memory 12. As shown in FIG. 6, when the CPU 11 of the music playback device 1 recognizes that the user's finger has been pressed on the operation surface via the touch panel 3C, it starts the blind operation processing procedure RT1 from step SP0, Move on to the next step SP1.
- step SP1 the CPU 11 determines whether or not the contact position has moved by a predetermined distance or more based on the coordinates of the contact position acquired via the touch panel 3C. If a positive result is obtained in step SP1, the CPU 11 moves to step SP2 at this time. In step SP2, the CPU 11 determines, based on the pressing pressure value acquired via the pressure sensor 3B, whether or not the pressing pressure value at the end of the operation has increased by a predetermined value or more compared with the pressing pressure value at the start of the operation. To do. If a positive result is obtained in step SP2, the CPU 11 moves to step SP3 at this time. In step SP3, the CPU 11 recognizes that the blind mode switching operation has been performed by the user, and switches to the blind mode.
- the CPU 11 recognizes that the contact position P1 at the start of the operation is a position where the belly of the finger is in contact, and the contact position P2 at the end of the operation is a position where the tip of the finger is in contact. Then, the CPU 11 estimates a direction from the contact position P2 (FIG. 4) at the end of the operation to the contact position P1 (FIG. 4) at the start of the operation as the wrist direction of the user, and this direction is a downward direction on the operation surface of the touch panel 3C. Define and move to step SP4.
- step SP4 the CPU 11 is set on the operation surface of the touch panel 3C so that the downward direction defined in step SP3 is the negative Y-axis direction and the straight line passing through the contact position P1 and the contact position P2 is the Y-axis.
- the coordinates are converted, and the process proceeds to step SP5.
- step SP1 when a negative result is obtained in step SP1, this means that the blind mode switching operation is not performed by the user, and at this time, the CPU 11 converts the coordinates set on the operation surface of the touch panel 3C. Without it, move to step SP5. If a negative result is obtained in step SP2, this means that the user has not performed a blind mode switching operation. At this time, the CPU 11 converts the coordinates set on the operation surface of the touch panel 3C.
- step SP5 the CPU 11 determines that the X-axis negative area in the coordinates set on the operation surface of the touch panel 3C, that is, the area on the left side with respect to the Y axis, is based on the coordinates of the contact position acquired via the touch panel 3C. It is determined whether or not it has been pressed with a finger. If an affirmative result is obtained in step SP5, this means that the user has performed a music switching operation in an attempt to select the previous music, and the CPU 11 proceeds to step SP6. In step SP6, the CPU 11 selects the music to be selected as the previous music, the music from the previous album, or the music from the album having the previous initial album name according to the pressing pressure value acquired via the pressure sensor 3B.
- step SP7 the CPU 11 presses the X axis positive area at the coordinates set on the operation surface of the touch panel 3C, that is, the area on the right side with respect to the Y axis, based on the coordinates of the contact position acquired via the touch panel 3C. It is determined whether or not it has been done. If an affirmative result is obtained in step SP7, this means that the user has performed a music switching operation in an attempt to select the next music, and at this time, the CPU 11 proceeds to step SP8.
- step SP8 the CPU 11 selects the music to be selected as the next music, the music of the next album, or the music of the album having the next initial letter according to the pressing pressure value acquired via the pressure sensor 3B. And return to step SP1.
- step SP7 if a negative result is obtained in step SP7, this means that the user has not performed a music switching operation for selecting the next music, and at this time, the CPU 11 returns to step SP1. In this way, the CPU 11 repeats the blind operation processing procedure RT1. From such a blind operation processing procedure RT1, the CPU 11 can cause the user to perform a blind operation.
- the music playback device 1 detects the contact position of the finger with respect to the operation surface via the touch panel 3C.
- the music reproducing device 1 detects a pressing pressure value indicating the pressure at which the operation surface is pressed by the user's finger at this time via the pressure sensor 3B. Then, when the user's finger is in contact with the operation surface of the touch panel 3C, the music playback device 1 detects that the contact position has moved and the pressing pressure value at the end of the operation has increased compared to the start of the operation. Then, it is recognized that a blind mode switching operation has been performed by the user.
- the music reproducing device 1 recognizes that the contact position P1 at the start of the operation is a position where the fingertips are in contact and the contact position P2 at the end of the operation is a position where the tip of the finger is in contact.
- the music player 1 then moves the touch panel 3C in the direction from the contact position P2 at the end of the operation, which is the position where the tip of the finger is in contact, to the contact position P1, which is the position where the belly of the finger is in contact. Estimated wrist direction.
- the music playback device 1 sets a coordinate axis with this direction as the downward direction with respect to the operation surface of the touch panel 3C, and a straight line passing through the position where the fingertip touches and the position where the fingertip touches Set as the Y axis of the coordinate axis. Then, when the operation surface of the touch panel 3C is pressed by the user's finger, the music playback device 1 detects the contact position of the finger with respect to the operation surface of the touch panel 3C. Then, the music playback device 1 converts this contact position into coordinates based on the coordinate axes set on the operation surface of the touch panel 3C. Then, the music playback device 1 recognizes various operations according to the coordinates, and inputs various commands according to the operations.
- the music playback device 1 recognizes the user's operation according to the orientation of the user's hand relative to the operation surface by setting the coordinate axis of the operation surface according to the orientation of the user's hand relative to the operation surface of the touch panel 3C. Can do. Accordingly, the music playback device 1 can always allow the user to perform an operation based on the orientation of the user's hand relative to the operation surface, regardless of the orientation of the user's hand relative to the operation surface. Thus, the music playback device 1 can be easily operated without allowing the user to visually recognize the operation surface.
- the music playback device 1 determines that the coordinates of the contact position are in the area on the right side with respect to the Y axis, the music to be selected is switched to the next music, and the coordinates of the contact position are on the left side with respect to the Y axis. When discriminated, the music to be selected is switched to the previous music.
- the music playback device 1 only needs to allow the user to perform the operation of setting the wrist direction of the user downward and pressing the right side or the left side with a finger, and can easily perform the operation without causing the user to learn complicated operations. Can be done.
- the music playback device 1 allows the user to perform a blind mode switching operation and a blind operation by a single finger operation.
- the music reproducing apparatus 1 can easily perform the blind mode switching operation and the blind operation even in a narrow space such as a pocket or a bag.
- This also allows the music playback device 1 to hold the casing 2 of the music playback device 1 with four fingers that do not perform the blind mode switching operation and the blind operation with the thumb.
- the housing 2 can be stably held.
- the music playback device 1 causes the finger touching operation surface of the touch panel 3C to be changed from the belly of the finger to the tip of the finger as a blind mode switching operation. I made it.
- the music playback device 1 can recognize operations that are often used on a normal touch panel, such as a touch operation, a drag operation, and a scroll operation, and a blind mode switching operation without confusion, and prevent erroneous recognition.
- the music playback device 1 detects the contact position where the finger touches the operation surface of the touch panel 3C. Then, the music playback device 1 recognizes that a blind mode switching operation has been performed in which the finger touches the operation surface of the touch panel 3C while changing the contact portion from the finger belly to the tip.
- the music playback device 1 estimates the direction from the position where the fingertip is in contact to the position where the fingertip is in contact as the wrist direction of the hand operating the touch panel 3C. A coordinate axis corresponding to the direction is set on the 3C operation surface. Then, the music playback device 1 converts the contact position where the finger contacts the operation surface of the touch panel 3C into coordinates based on the coordinate axis set on the touch panel 3C, and inputs a command based on the coordinates. .
- the music playback device 1 recognizes the user's operation according to the orientation of the user's hand relative to the operation surface by setting the coordinate axis of the operation surface according to the orientation of the user's hand relative to the operation surface of the touch panel 3C. Can do. Accordingly, the music playback device 1 can always allow the user to perform an operation based on the orientation of the user's hand relative to the operation surface, regardless of the orientation of the user's hand relative to the operation surface. Thus, the music playback device 1 can easily perform the operation without allowing the user to visually recognize the operation surface. [1-7. Functional configuration of music playback device] Here, a functional configuration of the music playback device 1 focusing on the above-described blind operation will be described. As shown in FIG.
- the music playback device 1 includes an operation unit 101, a contact detection unit 102, a pressure detection unit 103, an operation recognition unit 104, a coordinate axis setting unit 105, a coordinate conversion unit 106, and a command input unit 107.
- the contact detection unit 102 detects a position where the finger contacts the operation surface of the operation unit 101.
- the pressure detection unit 103 detects the pressing pressure of the finger on the operation surface of the operation unit 101.
- the operation recognizing unit 104 detects that the finger is in contact with the operation surface of the operation unit 101 and that the position where the finger is in contact has moved and the pressing pressure of the finger on the operation surface has changed.
- an operation for changing the contact portion from the belly of the finger to the tip is performed while keeping the finger in contact.
- the coordinate axis setting unit 105 estimates the direction from the position where the tip of the finger is in contact to the position where the tip of the finger is in contact as the wrist direction of the hand operating the operation unit 101. Then, a coordinate axis is set on the operation surface of the operation unit 101 according to the direction.
- the coordinate conversion unit 106 converts the position detected by the contact detection unit 102 into coordinates based on the coordinate axes set on the operation surface of the operation unit 101.
- the command input unit 107 inputs a command based on the coordinates obtained from the coordinate conversion unit 106.
- the music playback device 1 can functionally realize the above-described blind operation.
- the operation unit 101 is a functional unit corresponding to the touch panel 3C.
- the contact detection unit 102 is a functional unit corresponding to the touch panel 3 ⁇ / b> C and the CPU 11.
- the pressure detector 103 is a functional unit corresponding to the pressure sensor 3B.
- the operation recognition unit 104, the coordinate axis setting unit 105, the coordinate conversion unit 106, and the command input unit 107 are functional units corresponding to the CPU 11. ⁇ 2.
- the configuration of the music playback device 1, which is the same part, and the music switching are the same. A description of the operation is omitted.
- [2-1. Blind operation] The CPU 11 displays the music switching screen 20 on the touch panel 3C.
- FIG. 8A it is assumed that the user performs an operation of rotating the finger while keeping the finger on the touch panel 3C as the blind mode switching operation.
- This blind mode switching operation is an operation that can be performed with one finger.
- the CPU 11 acquires the coordinates of the contact position and the coordinates of the contact range via the touch panel 3C, and detects the transition of the contact position and the change of the contact range from the start of the operation to the end of the operation.
- the blind mode switching operation is an operation of changing the portion of the finger that is in contact with the finger from the belly to the side of the finger or vice versa by rotating the finger
- the contact position with respect to the operation surface of the touch panel 3C It may be an operation to move. Accordingly, the CPU 11 determines whether or not the contact position has moved by a predetermined distance or more based on the coordinates of the contact position acquired via the touch panel 3C. Further, since the side surface of the finger is narrower than the belly of the finger in a human finger, the shape of the range in which the side surface of the finger is in contact may be longer than the shape of the range in which the side of the finger is in contact. Therefore, as shown in FIG.
- the CPU 11 has a rectangular RS1 with the smallest area surrounding the contact range R1 at the start of operation and the operation end based on the coordinates of the contact range R1 at the start of operation and the contact range R2 at the end of operation. And the rectangular RS2 having the smallest area surrounding the contact range R2. Then, the CPU 11 calculates the lengths of the short sides of the rectangle RS1 and the rectangle RS2. Then, the CPU 11 compares the lengths of the short sides of the rectangle RS1 and the rectangle RS2, and determines whether the difference between the length of the short side of the rectangle RS1 and the length of the short side of the rectangle RS2 is equal to or greater than a predetermined value.
- the CPU 11 determines that the contact position has moved by a predetermined distance or more and the difference between the short side length of the rectangle RS1 and the short side length of the rectangle RS2 is a predetermined value or more, the user performs a blind mode switching operation. Recognize that it was broken, and switch to blind mode. Further, as shown in FIG. 8C, when an operation of rotating the finger is performed with the finger lying down and in contact, the base of the user's finger is touched so as to protrude from the operation surface of the touch panel 3C.
- a part of the range in which the abdomen of the finger or the side surface of the finger is in contact is in contact with the edge BA of the touch panel 3C, and this part is a part in contact with the part near the base of the finger. Accordingly, when the CPU 11 switches to the blind mode, the CPU 11 detects a location where the contact range R1 at the start of the operation is in contact with the edge BA of the touch panel 3C, and detects the midpoint PB of that location. Then, the CPU 11 detects a point PF farthest from the middle point PB in the contact range R1 at the start of the operation.
- the CPU 11 recognizes that the middle point PB is a position where the base of the finger is in contact, and recognizes that the point PF farthest from the middle point PB is a position where the tip of the finger is in contact. Then, the CPU 11 estimates that the direction from the point PF toward the middle point PB is the wrist direction of the user's hand operating the touch panel 3C. Then, the CPU 11 defines the direction in which the user's wrist is present as the downward direction on the operation surface of the touch panel 3C, and converts the coordinates set on the operation surface of the touch panel 3C according to this, as in the first embodiment described above. To do. As described above, the CPU 11 switches to the blind mode when it recognizes that the blind mode switching operation has been performed, as in the first embodiment.
- the CPU11 sets the coordinate axis which makes this direction a downward direction with respect to the operation surface of the touchscreen 3C, and sets the straight line which passes along the point PF and the middle point PB as the Y-axis of the said coordinate axis. Then, as in the first embodiment described above, the CPU 11 recognizes user operations such as music switching, playback, and volume increase / decrease in accordance with the coordinate axes set on the operation surface of the touch panel 3C.
- the music playback device 1 can recognize the user's operation according to the orientation of the user's hand with respect to the operation surface, and can cause the user to perform an operation based on the orientation of the user's hand with respect to the operation surface. Since it can, blind operation can be performed.
- blind operation processing procedure RT2 by the music reproducing apparatus 1 described above will be described in detail with reference to the flowchart shown in FIG. Incidentally, this blind operation processing procedure RT2 is executed by the CPU 11 of the music playback device 1 in accordance with a program installed in the nonvolatile memory 12. Note that the blind operation processing procedure RT2 shown in FIG. 9 shows the same steps as the blind operation processing procedure RT1 of the first embodiment described above with the same reference numerals.
- step SP101 the CPU 11 determines whether or not the contact position has moved by a predetermined distance or more based on the coordinates of the contact position acquired via the touch panel 3C. If a positive result is obtained in step SP101, the CPU 11 moves to step SP102 at this time. In step SP102, the CPU 11 determines a difference between the short side length of the rectangle RS1 (FIG. 8) surrounding the operation start contact range R1 and the short side length of the rectangle RS2 (FIG. 8) surrounding the operation end contact range R2.
- step SP102 It is determined whether or not it is greater than or equal to the value. If a positive result is obtained in step SP102, the CPU 11 moves to step SP103 at this time.
- step SP103 the CPU 11 recognizes that the blind mode switching operation has been performed by the user, and switches to the blind mode. Then, the CPU 11 detects the middle point PB where the contact range R1 at the start of the operation is in contact with the edge BA of the touch panel 3C and the point PF farthest from the middle point PB in the contact range R1 at the start of the operation. The process proceeds to step SP104.
- step SP104 the CPU 11 recognizes that the middle point PB is a position where the base of the finger contacts, and recognizes that a point PF farthest from the middle point PB is a position where the tip of the finger contacts. Then, the CPU 11 estimates the direction from the point PF to the middle point PB as the direction in which the user's wrist is present, defines this direction as the downward direction on the operation surface of the touch panel 3C, and proceeds to step SP105. In step SP105, the CPU 11 converts the coordinates set on the operation surface of the touch panel 3C so that the downward direction defined in step SP103 is the negative Y-axis direction, and proceeds to step SP5.
- step SP101 if a negative result is obtained in step SP101, this means that the blind mode switching operation is not performed by the user. At this time, the CPU 11 converts the coordinates set on the operation surface of the touch panel 3C. Without moving to step SP5. If a negative result is obtained in step SP102, this means that the user has not performed a blind mode switching operation. At this time, the CPU 11 converts the coordinates set on the operation surface of the touch panel 3C. Without moving to step SP5. The CPU 11 performs the processing from step SP5 to step SP8 in the same manner as in the first embodiment described above.
- the CPU 11 switches the music to be selected to the next music when recognizing that the area on the right side of the Y axis is pressed according to the coordinates set on the operation surface of the touch panel 3C. If it recognizes that the area
- the music playback device 1 moves the contact position, and the length of the short side of the rectangle surrounding the contact range indicates the start of operation and the end of operation.
- the music playback device 1 detects the middle point PB where the contact range R1 at the start of the operation is in contact with the edge BA of the touch panel 3C as the position where the base of the finger is in contact.
- the music playback device 1 detects the point PF farthest from the middle point PB in the contact range R1 at the start of the operation as the position where the fingertip touches.
- the music playback device 1 estimates the direction from the position where the tip of the finger is in contact to the position where the base of the finger is in contact as the wrist direction of the hand operating the touch panel 3C. Then, the music playback device 1 sets a coordinate axis with this direction as the downward direction on the operation surface of the touch panel 3C. Then, when the operation surface of the touch panel 3C is pressed by the user's finger, the music playback device 1 detects the contact position of the finger with respect to the operation surface of the touch panel 3C. Then, the music playback device 1 converts the contact position into coordinates based on the coordinate axis set on the operation surface of the touch panel 3C, that is, the coordinate axis that matches the orientation of the user's hand.
- the music playback device 1 recognizes various operations according to the coordinates, and inputs various commands according to the operations.
- the music playback device 1 recognizes the user's operation according to the orientation of the user's hand relative to the operation surface by setting the coordinate axis of the operation surface according to the orientation of the user's hand relative to the operation surface of the touch panel 3C. Can do. Accordingly, the music playback device 1 can always allow the user to perform an operation based on the orientation of the user's hand relative to the operation surface, regardless of the orientation of the user's hand relative to the operation surface. Thus, the music playback device 1 can be easily operated without allowing the user to visually recognize the operation surface.
- the music playback device 1 is configured to perform an operation of rotating the finger while the finger is placed on the operation surface of the touch panel 3C and in contact with the operation surface of the touch panel 3C as the blind mode switching operation.
- the music playback device 1 can be switched to the blind mode even in a narrow space where only one finger can be inserted. Therefore, compared with the first embodiment, the blind operation in a narrow space can be performed more easily. Can do.
- the music playback device 1 according to the second embodiment can exhibit substantially the same operational effects as the music playback device 1 according to the first embodiment. According to the above configuration, the music playback device 1 detects the contact position and the contact range where the finger contacts the operation surface of the touch panel 3C.
- the music playback device 1 recognizes that a blind mode switching operation has been performed in which the finger is rotated while keeping the finger in contact with the operation surface of the touch panel 3C. Then, when the operation is recognized, the music playback device 1 detects the position where the tip of the finger is in contact and the position where the base of the finger is in contact from the contact range. Then, the music playback device 1 estimates the direction from the position where the tip of the finger is in contact to the position where the base of the finger is in contact as the wrist direction, and sets the coordinate axis corresponding to the direction on the operation surface of the touch panel 3C. I set it.
- the music playback device 1 converts the contact position where the finger contacts the operation surface of the touch panel 3C into coordinates based on the coordinate axis set on the touch panel 3C, and inputs a command based on the coordinates. .
- the music playback device 1 recognizes the user's operation according to the orientation of the user's hand relative to the operation surface by setting the coordinate axis of the operation surface according to the orientation of the user's hand relative to the operation surface of the touch panel 3C. Can do. Accordingly, the music playback device 1 can always allow the user to perform an operation based on the orientation of the user's hand relative to the operation surface, regardless of the orientation of the user's hand relative to the operation surface.
- the music playback device 1 can easily perform the operation without allowing the user to visually recognize the operation surface.
- the music playback device 1 includes an operation unit 201, a contact detection unit 202, an operation recognition unit 203, a coordinate axis setting unit 204, a coordinate conversion unit 205, and a command input unit 206.
- the contact detection unit 202 detects a position where the finger contacts the operation surface of the operation unit 201 and a range where the finger contacts.
- the operation recognizing unit 203 detects that the position where the finger is in contact and the shape of the area in which the finger is in contact are changed when the finger is in contact with the operation surface of the operation unit 201. Then, it is recognized that an operation of rotating with a finger in contact is performed.
- the coordinate axis setting unit 204 detects a position where the finger base is in contact with a position where the finger tip is in contact with the finger. Then, the coordinate axis setting unit 204 estimates the direction from the position at which the base of the finger is in contact to the position at which the tip of the finger is in contact as the wrist direction of the hand that operates the operation unit 201, and Then, the coordinate axis is set according to the direction.
- the coordinate conversion unit 205 converts the position detected by the contact detection unit 202 into coordinates based on the coordinate axes set on the operation surface of the operation unit 201.
- the command input unit 206 inputs a command based on the coordinates obtained from the coordinate conversion unit 205.
- the music playback device 1 can functionally realize the above-described blind operation.
- the operation unit 201 is a functional unit corresponding to the touch panel 3C.
- the contact detection unit 202 is a functional unit corresponding to the touch panel 3 ⁇ / b> C and the CPU 11.
- the coordinate conversion unit 205, the command input unit 206, the operation recognition unit 203, and the coordinate axis setting unit 204 are functional units corresponding to the CPU 11. ⁇ 3.
- the CPU 11 recognizes that the user has performed the blind mode switching operation based on the change in the pressing pressure value at the start and end of the operation. For example, the CPU 11 may recognize whether the blind mode switching operation has been performed based on, for example, a change in the shape of the contact range at the start and end of the operation. Specifically, as in the first embodiment, the user performs the blind mode switching operation by touching the operation surface of the touch panel 3C with the finger touching the finger contact portion from the finger belly. Assume that an operation of changing to the tip of a finger is performed.
- the CPU 11 acquires the coordinates of the contact position and the coordinates of the contact range via the touch panel 3C, and detects the transition of the contact position and the change of the contact range from the start of the operation to the end of the operation.
- the blind mode switching operation may be an operation in which the contact position with respect to the touch panel 3C moves. Accordingly, the CPU 11 determines whether or not the contact position has moved by a predetermined distance or more based on the coordinates of the contact position acquired via the touch panel 3C. Moreover, as shown in FIG.
- the area of the range in which the belly of the finger is in contact is wide, and the shape of the range is a substantially oval shape in which the thickness direction of the finger is the short axis, and the tip of the finger is in contact
- the area of the range is narrow, and the shape of the range is substantially elliptical so that the finger thickness direction is the major axis. Therefore, when the portion in contact with the finger is changed from the belly of the finger to the tip of the finger, it is conceivable that the major axis and the minor axis in the range in which the finger is in contact are switched by 90 degrees.
- the CPU 11 has the smallest rectangle RS3 surrounding the contact range R3 at the start of operation and the contact range R4 at the end of the operation. A rectangle RS4 having a small area is detected. Then, the CPU 11 detects the long side axis and the short side axis of the rectangle RS3 and the rectangle RS4, respectively. Then, the CPU 11 compares the rectangle RS3 surrounding the contact range R3 at the beginning of the operation with the rectangle RS4 surrounding the contact range R4 at the end of the operation, and determines whether or not the long side axis and the short side axis are approximately 90 degrees.
- the CPU 11 determines that the contact position has moved by a predetermined distance or more and the long side axis and the short side axis of the rectangle RS3 and the rectangle RS4 are different by approximately 90 degrees, the CPU 11 recognizes that the user has performed the blind mode switching operation. Then, when the CPU 11 recognizes that the user has performed the blind mode switching operation, the CPU 11 switches to the blind mode. At this time, the CPU 11 recognizes that the contact position P3 at the start of the operation is a position where the belly of the finger is in contact, and the contact position P4 at the end of the operation is a position where the tip of the finger is in contact.
- the CPU 11 When the CPU 11 switches to the blind mode, the CPU 11 estimates that the direction from the contact position P4 at the end of the operation to the contact position P3 at the start of the operation is the wrist direction of the hand that operates the touch panel 3C. Then, the CPU 11 defines the wrist direction as the downward direction on the operation surface of the touch panel 3C, and converts the coordinates set on the operation surface of the touch panel 3C according to this. As described above, when the CPU 11 recognizes that the blind mode switching operation has been performed, the coordinate axis corresponding to the orientation of the user's hand with respect to the operation surface of the touch panel 3 ⁇ / b> C is determined as in the first embodiment. Set to.
- the present invention is not limited to this, and the CPU 11 may recognize whether the blind mode switching operation has been performed based on the change in the area of the contact range at the start and end of the operation. As shown in FIG. 11, it is considered that the area in the range in which the belly of the finger is in contact is larger than the area in the range in which the fingertip is in contact. Accordingly, when the CPU 11 determines that the contact position has moved by a predetermined distance or more and the area of the contact range R3 at the start of the operation is larger than the area of the contact range R4 at the end of the operation by a predetermined value, the user performs the blind mode switching operation. You may recognize that you have done so.
- the CPU 11 may recognize a blind mode switching operation for changing the portion of the finger that is in contact with the finger from the belly of the finger to the tip of the finger using various other methods. Good.
- the CPU 11 recognizes the blind mode switching operation for rotating the finger based on the change in the shape of the contact range, but recognizes the operation by various other methods. You may do it.
- a blind mode switching operation an operation of changing the portion of the finger that is in contact from the belly of the finger to the tip of the finger while keeping the finger in contact with the operation surface of the touch panel 3C. was made to do.
- a blind mode switching operation an operation of changing the touched portion of the finger from the tip of the finger to the belly of the finger while the finger is in contact with the operation surface of the touch panel 3C is performed. Also good.
- it may be recognized as a blind mode switching operation regardless of which operation is performed by the user to change the part in contact with the finger from the belly of the finger to the tip of the finger or vice versa. In this case, when the blind mode switching operation is performed by the user, the CPU 11 compares the pressing pressure values at the beginning and the end of the operation and determines which pressing pressure value is higher.
- the CPU 11 recognizes that the contact position at the start of the operation is the position where the tip of the finger is in contact, and the contact position at the end of the operation is the position where the belly of the finger is in contact recognize.
- the CPU 11 recognizes that the contact position at the end of the operation is a position where the tip of the finger contacts, and the contact position at the start of the operation is a position where the belly of the finger contacts. recognize. [3-3.
- the CPU 11 in the blind mode switching operation, operates the touch panel 3C so that a straight line passing through the position where the fingertip touches and the position where the fingertip touches is the Y axis. Changed the coordinates set on the operation surface.
- the CPU 11 is not limited to this, and in the blind mode switching operation, the coordinates set on the operation surface of the touch panel 3 ⁇ / b> C so that the straight line passing through the position where the tip of the finger touches is the X axis. May be converted.
- CPU11 can increase the command input allocated with respect to user operation, such as pressing operation with a user's finger
- the CPU 11 may play the music when the user presses the upper side with respect to the X axis and stops the music when the user presses the lower side with respect to the X axis.
- the CPU 11 switches the music to be selected to the next music when the user presses the right side with respect to the Y axis and presses the left side with respect to the Y axis. The music to be selected is switched to the previous music.
- the present invention is not limited to this, and the CPU 11 may recognize various other user operations based on the coordinate axes set on the touch panel 3C and assign various other command inputs. [3-5.
- the CPU 11 detects the midpoint PB where the contact range R1 at the start of the operation is in contact with the edge BA of the touch panel 3C as the position where the finger base is in contact.
- the CPU 11 detects the point PF farthest from the middle point PB in the contact range R1 as the position where the tip of the finger contacts.
- the CPU 11 detects the shape of the contact range R1 at the start of the operation, detects the narrowed shape as the position where the tip of the finger touches, and from there, the most within the contact range R1. You may make it detect a distant position as a position where the base of the finger contacted.
- the CPU 11 may detect the position where the base of the finger touches and the position where the tip of the finger touches from the contact range by various other methods. [3-6. Other Embodiment 6] Furthermore, in the first embodiment described above, the CPU 11 estimates the direction from the position where the tip of the finger touches to the position where the belly of the finger contacts as the user's wrist direction in the blind mode switching operation. Then, the CPU 11 is configured to set a coordinate axis such that this direction is a downward direction on the operation surface of the touch panel 3C. Not limited to this, the CPU 11 may set various other coordinate axes on the operation surface of the touch panel 3C as long as the coordinate axes correspond to the direction estimated as the wrist direction of the user.
- the CPU 11 may set a coordinate axis in which a direction shifted by a predetermined angle (for example, 10 to 30 [°]) from the direction estimated as the user's wrist direction in the blind mode switching operation is set as a downward direction.
- a predetermined angle for example, 10 to 30 [°]
- the CPU 11 sets the coordinate axis with the direction shifted by a predetermined angle from the direction estimated as the user's wrist direction, so that the user can perform the same operation in the blind mode as in the normal mode. It can be operated with a sense of operation. Therefore, the CPU 11 can further improve the operability in the blind mode.
- a program for executing the operation process of the music playback device 1 is stored in the nonvolatile memory 12.
- the program may be recorded on a predetermined recording medium such as a CD (Compact Disc), and the CPU 11 may read the program from the recording medium and execute the program.
- the CPU 11 may download the program from a predetermined server on the Internet and install it in the nonvolatile memory 12.
- the music playback device 1 as the information processing device
- the touch panel 3C as the contact detection unit
- the pressure sensor 3B as the pressure detection unit
- the contact detection unit the coordinate conversion unit
- the command input unit the operation recognition unit
- the coordinate axis setting unit may be realized by individual hardware.
- the present invention is not limited to the first and second embodiments described above and the other embodiments 1 to 8 described so far. That is, the present invention can be applied to a form in which a part or all of the first and second embodiments described above and the other embodiments 1 to 8 described so far are arbitrarily combined, or a part of which is extracted. Range.
- the above-described second embodiment may be combined with another embodiment 3.
- the information processing apparatus, information processing method, and information processing program of the present invention can be applied to various other electronic devices such as a portable audio player, a PDA (Personal Digital Assistant), and a mobile phone.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
このような情報処理装置としては、例えばユーザが表示面に表示されたボタンやアイコンなどの表示子を、操作面を介して指で押下するように選択し、選択された表示子に応じた処理を実行するものが提案されている。
またこのような情報処理装置として、例えばユーザが表示面に表示された画面に対して操作面を介して所定の軌跡を描くような操作を行い、この軌跡に応じた処理を実行するものも提案されている(例えば、特許文献1参照)。
従って、上述した情報処理装置において、ユーザが所望の操作を行うためには、表示面に表示されている表示子や画面などを、操作面を介して視認して操作入力を行わなければならなかった。
ゆえに、ユーザが、上述した情報処理装置を鞄の中や衣服のポケットの中などに入れている場合、操作面を視認するために情報処理装置を取り出さなければならず、不便であった。
本発明は以上の点を考慮してなされたもので、ユーザに操作面を視認させなくても容易に操作を行わせ得る情報処理装置、情報処理方法及び情報処理プログラムを提案しようとするものである。
かかる課題を解決するため本発明の情報処理装置においては、操作部の操作面に対して指が接触した位置を検出する接触検出部と、操作面に設定された座標軸に基づいて、接触検出部が検出した当該位置を座標に変換する座標変換部と、座標変換部から得られる座標に基づいて命令を入力する命令入力部と、操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識する操作認識部と、操作認識部により当該操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を操作部を操作する手の手首方向と推定し、操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部とを設けるようにした。
このように操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これにより、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。
また、かかる課題を解決するため本発明の情報処理装置においては、操作部の操作面に対して指が接触した位置及び指が接触した範囲を検出する接触検出部と、操作面に設定された座標軸に基づいて、接触検出部が検出した当該位置を座標に変換する座標変換部と、座標変換部から得られる座標に基づいて命令を入力する命令入力部と、操作面に対して、指を接触させたまま回転させる操作が行われたことを認識する操作認識部と、操作認識部により当該操作が認識されると、指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出し、当該指の根元が接触した位置から当該指の先が接触した位置へ向かう方向を操作部を操作する手の手首方向と推定し、操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部とを設けるようにした。
このように操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これにより、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。
本発明によれば、操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これにより、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして、ユーザに操作面を視認させなくても容易に操作を行わせ得る情報処理装置、情報処理方法及び情報処理プログラムを実現することができる。
図2は、本発明における音楽再生装置の構成を示すブロック図である。
図3は、本発明における楽曲切替え操作の説明に供する略線図である。
図4は、本発明の第1の実施の形態におけるブラインドモード切替え操作の説明に供する略線図である。
図5は、本発明における楽曲切替え操作の説明に供する略線図である。
図6は、本発明の第1の実施の形態におけるブラインド操作処理手順を示すフローチャートである。
図7は、本発明の第1の実施の形態における音楽再生装置の機能構成を示すブロック図である。
図8は、本発明の第2の実施の形態におけるブラインドモード切替え操作の説明に供する略線図である。
図9は、本発明の第2の実施の形態におけるブラインド操作処理手順を示すフローチャートである。
図10は、本発明の第2の実施の形態における音楽再生装置の機能構成を示すブロック図である。
図11は、本発明の他の実施の形態におけるブラインドモード切替え操作の説明の供する略線図である。
1.第1の実施の形態(指を立てる操作をブラインドモード切替え操作とする例)
2.第2の実施の形態(指を回転させる操作をブラインドモード切替え操作とする例)
3.他の実施の形態
<1.第1の実施の形態>
[1−1.音楽再生装置の全体構成]
図1において、1は全体として音楽再生装置を示す。この音楽再生装置1は携帯型であり、片手で把持し得る程度の大きさ(いわゆる手の平サイズ)でなる扁平矩形状の筐体2を有する。この筐体2の表面には、長方形板状の表示部3が設けられている。図1(B)に示すように表示部3は、LCD(Liquid Crystal Display)3Aの表示面上に、透明な感圧センサ3B及び透明なタッチパネル3Cを順に張り付けるようにして形成されている。
音楽再生装置1は、このタッチパネル3Cの操作面に対する操作を認識すると、当該操作に応じて、楽曲の再生、停止、音量の増減などの各種命令を入力するようになされている。因みにここでは、静電容量方式のタッチパネル3Cを用いている。
また、この表示部3の裏面には各電子回路が実装された基板4が張り付けられ、当該基板4と表示部3とが電気的に接続されるようになされている。
ちなみに、以下の説明では、筐体2が一方向へは比較的短く形成されているため当該一方向を筐体短手方向とも呼ぶ。また以下の説明では、筐体が他方向へは比較的長く形成されているため当該他方向を筐体長手方向とも呼ぶ。またここでは、筐体短手方向を筐体2の左右方向とし、筐体長手方向を筐体2の上下方向とする。そして以下の説明では、筐体2の四方の側面において右方の側面を右面、左方の側面を左面、上方の側面を上面、下方の側面を下面とも呼ぶ。
筐体2の下面には、ヘッドホン端子(図示せず)が設けられ、このヘッドホン端子を介して、ヘッドホン5が接続されるようになされている。音楽再生装置1は、このヘッドホン5を介してユーザに再生した楽曲の音声を聴取させるようになされている。
[1−2.音楽再生装置の回路構成]
つづいて、音楽再生装置1の各回路部を、図2を用いて説明する。音楽再生装置1では、各回路部がバス10を介して接続されている。CPU11は、不揮発性メモリ12に記憶されているプログラムをRAM(Random Access Memory)13に読み出す。そしてCPU11は、読み出したプログラムをRAM13上で展開し、この展開したプログラムに従って各回路部を制御すると共に、各種処理を実行するようになされている。
CPU11は、接続部(図示せず)を介して外部機器と接続されると、外部機器から楽曲データを取得し、この楽曲データを不揮発性メモリ12に記憶するようになされている。因みに、楽曲データには楽曲の音声データだけでなく、その楽曲に関連する情報(タイトル名、アーティスト名、アルバム名、ジャケット写真画像など)のデータが含まれる。
また、CPU11は、タッチパネル3Cを介して楽曲を再生する操作が行われたことを認識すると、これに応じて不揮発性メモリ12からこの楽曲の音声データを読み出して、これを再生部14に送出する。
再生部14は、この楽曲の音声データに対して復号処理及び増幅処理などの所定の再生処理を施すことにより音声信号を得て、この音声信号を音声出力部15に送出する。この結果、音声出力部15からヘッドホン5を介してこの音声信号に基づく楽曲の音声が出力されるようになされている。
また、CPU11は、不揮発性メモリ12に記憶されている楽曲データから楽曲に関連する情報(タイトル名、アーティスト名、アルバム名、ジャケット写真画像など)を取得し、LCD3Aに表示するようになされている。
タッチパネル3Cは、格子状に配置された複数の静電センサを有している。これらの静電センサは、ユーザの指が接触すると静電容量を増加させるようになされている。
タッチパネル3Cは、静電センサの静電容量が変化すると、当該静電センサの静電容量の値と当該静電センサのタッチパネル3Cの操作面における位置とを示す静電センサ情報をCPU11に送出する。
CPU11は、この静電センサ情報に基づいて、タッチパネル3Cに対してユーザの指が接触した範囲(これを接触範囲とも呼ぶ)を検出し、タッチパネル3Cの操作面に設定された座標軸に基づいて、この接触範囲を座標に変換する。
そしてCPU11は、この座標に基づいて接触範囲の形状を算出し、その形状における重心の座標を算出する。そしてCPU11は、この重心の座標をユーザの指が接触した位置(これを接触位置とも呼ぶ)の座標として算出する。そしてCPU11は、この接触位置の座標に基づいてタッチパネル3Cの操作面に対するユーザの操作を認識し、この操作に応じて各種命令を入力する。
感圧センサ3Bは、ユーザの指がタッチパネル3Cの操作面を押下した圧力(これを押下圧力とも呼ぶ)を検出し、この押下圧力を示す押下圧力値をCPU11に送出する。尚、ここで、押下圧力値は、0~255の値をとるとする。
[1−3.楽曲切替え操作]
次に、この音楽再生装置1での楽曲切替え操作について、詳しく説明する。まず、CPU11は、不揮発性メモリ12に記録されている楽曲データから複数枚の楽曲のジャケット写真画像を読み出す。そして、CPU11は、図3(A)に示すように、これらのジャケット写真画像J(J0、J1、J2、…、Jn)を奥行き方向に連続して重ねるように配置した楽曲切替え画面20をLCD3Aに表示する。
具体的に、CPU11は、楽曲切替え画面20において、一番手前のジャケット写真画像J0が手前に倒れたように表示し、このジャケット写真画像J0の奥にジャケット写真画像J1を他のジャケット写真画像と重ならないように表示する。このような楽曲切替え画面20において、CPU11はジャケット写真画像J1に対応する楽曲を選択している状態である。
このときCPU11は、ユーザが表示部3を視認して操作を行う通常モードであるとする。通常モードのとき、CPU11は、タッチパネル3Cの操作面の中心を原点とし、筐体短手方向をX軸、筐体長手方向をY軸とする座標軸を当該操作面に設定する。CPU11は、この座標軸を、Y軸正の方向が上面方向、Y軸負の方向が下面方向、X軸正の方向が右面方向、X軸負の方向が左面方向となるように設定する。CPU11は、通常モードのとき、この座標軸に従って、LCD3Aに各種表示画面(例えば楽曲切替え画面20)を表示し、ユーザに各種操作を行わせる。
この通常モードのとき、例えばユーザが指によりタッチパネル3Cの操作面内における右側の領域、つまりX軸正の領域を押下したとする。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そしてCPU11は、接触位置がX軸正の領域であり、図3(B)に示すように、押下圧力値が所定の閾値A1(例えば50)以上閾値A2(例えば70)未満であると判別すると、選択する楽曲を次の楽曲に切替える。
またCPU11は、接触位置がX軸正の領域であり、押下圧力値が閾値A2以上閾値A3(例えば90)未満であると判別すると、選択する楽曲を次のアルバムの楽曲に切替える。
またCPU11は、接触位置がX軸正の領域であり、押下圧力値が閾値A3以上であると判別すると、選択する楽曲を次の頭文字のアルバム名を持つアルバムの楽曲に切替える。次の頭文字のアルバム名を持つアルバムとは、例えば、現在選択されている楽曲のアルバム名の頭文字が「A」の場合、アルバム名の頭文字が「B」のアルバムである。
このようにCPU11は、押下圧力に応じて楽曲を切替える単位を変化させるようになされており、ユーザが指でタッチパネル3Cを強く押し込むほど楽曲を切替える単位を大きくするようになされている。
そしてCPU11は、本のページをめくるように、今まで選択されていた楽曲に対応するジャケット写真画像J1を手前側に倒すようなアニメーションを表示し、切替えた楽曲に対応するジャケット写真画像J2を新たに表示する。これによりCPU11は、選択する楽曲を次の楽曲に切り替えたことをユーザに認識させることができる。
また、ユーザがタッチパネル3Cから指を離したとする。このときCPU11は、タッチパネル3Cを介して、当該タッチパネル3Cからユーザの指が離れたことを認識し、選択された楽曲(ジャケット写真画像J2に対応する楽曲)の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
また通常モードのとき、例えばユーザが指でタッチパネル3Cの操作面内における左側の領域、つまりX軸負の領域を押下したとする。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そして、CPU11は、これらの情報から接触位置がX軸負の領域であり、押下圧力値が閾値A1以上閾値A2未満であると判別すると、選択する楽曲を前の楽曲に切替える。
またCPU11は、接触位置がX軸負の領域であり、押下圧力値が閾値A2以上閾値A3未満であると判別すると、選択する楽曲を前のアルバムの楽曲に切替える。
またCPU11は、接触位置がX軸負の領域であり、押下圧力値が閾値A3以上であると判別すると、選択する楽曲を前の頭文字のアルバム名を持つアルバムの楽曲に切替える。
そしてCPU11は、本のページをめくるように、手前側に倒れていたジャケット写真画像J0を起こすようなアニメーションを表示し、選択された楽曲に対応するジャケット写真画像J0をよく見える状態で表示する。これによりCPU11は、選択する楽曲を前の楽曲に切り替えたことをユーザに認識させることができる。
また、ユーザがタッチパネル3Cの操作面から指を離したとする。このときCPU11は、タッチパネル3Cを介して操作面からユーザの指が離れたことを認識し、選択された楽曲(ジャケット写真画像J0に対応する楽曲)の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
またユーザが、例えば楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、下から上へ指をすべらせる操作を行ったとする。このときCPU11は、タッチパネル3Cを介して、下から上へ指をすべらせる操作が行われたことを認識し、音声出力部15を制御して出力する音声の音量を上げるようになされている。
一方ユーザが、楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、上から下へ指をすべらせる操作を行ったとする。このときCPU11は、タッチパネル3Cを介して上から下へ指をすべらせる操作が行われたことを認識し、音声出力部15を制御して出力する音声の音量を下げるようになされている。
このように音楽再生装置1は、ユーザがタッチパネル3Cの操作面内の右側の領域を押下したことを認識すると選択する楽曲を次の楽曲に切り替え、当該操作面内の左側の領域を押下したことを認識すると選択する楽曲を前の楽曲に切替えるようになされている。
また音楽再生装置1は、ユーザがタッチパネル3Cの操作面から指を離したことを認識すると、そのとき選択している楽曲を再生するようになされている。
また音楽再生装置1は、ユーザがタッチパネル3Cの操作面上で、上から下、又は下から上へ指をすべらせる操作が行われたことを認識すると、音声出力部15から出力される音量の増減を行うようになされている。
以上のように音楽再生装置1は、通常モードのとき、予めタッチパネル3Cの操作面に設定された座標軸に従って、ユーザの操作を認識するようになされている。従って音楽再生装置1は、この座標軸に応じた所定の向きでユーザに操作されるようになされている。
[1−4.ブラインド操作]
さらに、この音楽再生装置1では、ユーザが表示部3を視認せず操作を行うブラインドモードが設けられている。尚、ユーザが表示部3を視認せず行う操作をブラインド操作とも呼ぶ。この音楽再生装置1でのブラインド操作について、詳しく説明する。
音楽再生装置1では、通常モードからブラインドモードに切替えるための操作(これをブラインドモード切替え操作とも呼ぶ)が設定されている。具体的に、ブラインドモード切替え操作とは、図4に示すように、ユーザが、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作である。つまり、ユーザがタッチパネル3Cの操作面を指の腹で押下し、さらにその指を操作面から離さずに、指の関節を曲げて指を立てることで操作面を指の先で押下する操作である。尚、このブラインドモード切替え操作は指1本で行うことが可能な操作である。
ここでユーザが、このようなブラインドモード切替え操作を行ったとする。このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そして、CPU11は、操作始めから操作終わりまでの接触位置の遷移と押下圧力値の変化とを検出する。
ここで、人間の指において、指の腹の重心と指の先の重心の位置が異なることより、ブラインドモード切替え操作は、タッチパネル3Cの操作面に対する接触位置が移動する操作となることが考えられる。
また、指の腹で押下するよりも指の関節を曲げて指の先で押下する方がユーザの指に力が入ることより、ブラインドモード切替え操作が行われたとき、操作始めから操作終わりに向かって感圧センサ3Bで検出される押下圧力値が増加すると考えられる。
従ってCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判別する。またCPU11は、操作始めの押下圧力値と比較して操作終わりの押下圧力値が所定値以上増加したか否かを判別する。
そしてCPU11は、接触位置が所定距離以上移動し、操作始めの押下圧力値と比較して操作終わりの押下圧力値が所定値以上増加したことを検出すると、ユーザがブラインドモード切替え操作を行ったと認識する。このときCPU11は、図4に示すように、操作始めの接触位置P1が指の腹が接触した位置であり、操作終わりの接触位置P2が指の先が接触した位置であることを認識する。そしてCPU11は、ブラインドモードに切り替わる。
また、人間の指の特徴として、指の腹の重心が指の先の重心よりも手首側にあることより、指の腹が接触した位置よりも指の先が接触した位置はユーザの手首側にあると考えられる。
従って、CPU11は、ブラインドモードに切り替わると、操作終わりの接触位置P2から操作始めの接触位置P1へ向かう方向を、タッチパネル3Cを操作する手の手首方向であると推定する。そして、CPU11は、この手首方向をタッチパネル3Cの操作面における下方向と定義する。
そしてCPU11は、定義したタッチパネル3Cの下方向をY軸負の方向とし、接触位置P1と接触位置P2とが通る直線がY軸となるように、タッチパネル3Cの操作面に設定された座標を変換する。すなわち、接触位置P1と接触位置P2とが通る直線によって、タッチパネル3Cの操作面がX軸正の領域(Y軸に対して右側の領域)とX軸負の領域(Y軸に対して左側の領域)とに分けられる。
このようにCPU11は、ブラインドモード切替え操作が行われたことを認識するとブラインドモードに切り替わり、ブラインドモード切替え操作に基づいて、ユーザの手首方向を下方向とする座標軸をタッチパネル3Cの操作面に設定するようになされている。
そしてこのブラインドモードのとき、例えば図5に示すように、ユーザが、表示部3を視認せず、ブラインドモード切替え操作を行った位置からユーザにとっての右側に指をずらしてタッチパネル3Cを押下したとする。すなわちユーザは、タッチパネル3C上で、ブラインドモード切替え操作により変換された座標におけるX軸正の領域を押下する。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そしてCPU11は、通常モードのときと同様に、接触位置の座標がX軸正の領域にあると判別すると、押下圧力値に応じて、選択する楽曲を次の楽曲又は次のアルバムの楽曲又は次の頭文字のアルバム名を持つアルバムの楽曲に切替える。
このようにCPU11は、タッチパネル3Cの操作面に対するユーザの手の向きに応じた座標軸を当該操作面に設定することで、当該操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これによりCPU11は、ユーザに対して、操作面に対するユーザの手の向きを基準とした操作を行わせることができるので、ブラインド操作を行わせることができる。
そしてCPU11は、選択する楽曲を切替えたことをユーザに通知する音声(これを通知音声とも呼ぶ)の音声データを不揮発性メモリ12から読み出し、これを再生部14に送出して再生部14に再生させる。この結果、音声出力部15からこの通知音声が出力される。通知音声とは、例えば「ネクストチューン」など次の楽曲であることを示す音声や、その楽曲のタイトル名を示す音声などである。
これにより音楽再生装置1は、ブラインドモードのとき、ユーザに表示部3を視認させなくても、選択されている楽曲が切替わったことをユーザに対して認識させることができる。
そして、CPU11は、通常モードのときと同様に、タッチパネル3Cの操作面からユーザの指が離れたことを検出すると、選択された楽曲の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
またブラインドモードのとき、例えば図5に示すように、ユーザが、表示部3を視認せず、ブラインドモード切替え操作を行った位置からユーザにとっての左側に指をずらしてタッチパネル3Cを押下したとする。すなわちユーザは、ブラインドモード切替え操作により変換された座標においてX軸負の領域を押下する。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そしてCPU11は、通常モードのときと同様に、接触位置がX軸負の領域であると判別すると、押下圧力値に応じて、選択する楽曲を前の楽曲又は前のアルバムの楽曲又は前の頭文字のアルバム名を持つアルバムの楽曲に切替える。そしてCPU11は、上述したと同様に通知音声を再生部14に再生させ、音声出力部15からこの通知音声を出力させる。
そして、CPU11は、通常モードのときと同様に、タッチパネル3Cの操作面からユーザの指が離れたことを認識すると、選択された楽曲の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
またユーザが、表示部3を視認せず、例えば、楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、ユーザの手首方向から指の先方向へ指をすべらせる操作を行ったとする。すなわちユーザは、ブラインドモード切替え操作により変換された操作面の座標軸における下から上(Y軸正の方向)へ指をすべらせる操作を行う。
このときCPU11は、通常モードのときと同様に、タッチパネル3Cを介して、下から上へ指をすべらせる操作が行われたと認識し、音声出力部15を制御して出力する音声の音量を上げるようになされている。
一方ユーザが、表示部3を視認せず、例えば、楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、ユーザの指の先方向から手首方向へ指をすべらせる操作を行ったとする。すなわちユーザは、ブラインドモード切替え操作により変換された操作面の座標軸における上から下(Y軸負の方向)へ指をすべらせる操作を行う。
このときCPU11は、通常モードのときと同様に、タッチパネル3Cを介して上から下へ指をすべらせる操作が行われたと認識し、音声出力部15を制御して出力する音声の音量を下げるようになされている。
このように音楽再生装置1は、ブラインドモードのときも、通常モードのときと同様に、タッチパネル3Cの操作面に設定された座標軸における右側の領域をユーザが押下したと認識すると選択する楽曲を次の楽曲に切り替えるようになされている。また音楽再生装置1は、当該座標軸における左側の領域をユーザが押下したと認識すると選択する楽曲を前の楽曲に切替えるようになされている。
そして音楽再生装置1は、ブラインドモードのときも、通常モードのときと同様に、ユーザがタッチパネル3Cから指を離したことを認識すると、そのとき選択されている楽曲を再生するようになされている。また、音楽再生装置1は、ブラインドモードのときも、通常モードのときと同様に、タッチパネル3Cの操作面に設定された座標軸に従って、当該操作面上で上から下、又は下から上へ指をすべらせる操作を認識し、音量の増減を行うようになされている。因みに、このような楽曲の切替え、再生、音量の増減などの操作は、全て指1本で行うことが可能な操作である。
以上のように音楽再生装置1は、ブラインドモードのとき、タッチパネル3Cの操作面に対するユーザの手の向きに応じた座標軸を当該操作面に設定することで、当該操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、ユーザに、当該操作面に対する手の向きがどのような向きであろうと、当該操作面に対するユーザの手の向きを基準とした操作を行わせることができるので、ブラインド操作を行わせることができる。
またこれにより音楽再生装置1は、ブラインドモードのときも通常モードのときと同様の操作感覚で、楽曲の切替え、楽曲の再生、音量の増減などのブラインド操作をユーザに行わせることができる。
[1−5.ブラインド操作処理手順]
次に上述した音楽再生装置1によるブラインド操作の動作処理手順(これをブラインド操作処理手順とも呼ぶ)RT1を、図6に示すフローチャートを用いて詳しく説明する。ちなみに、このブラインド操作処理手順RT1は、音楽再生装置1のCPU11が、不揮発性メモリ12にインストールされたプログラムに従って実行するものである。
図6に示すように、音楽再生装置1のCPU11は、タッチパネル3Cを介して操作面に対してユーザの指が押下されたことを認識すると、ブラインド操作処理手順RT1をステップSP0から開始して、次のステップSP1に移る。
ステップSP1においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判定する。このステップSP1において肯定結果が得られると、このときCPU11は、ステップSP2に移る。
ステップSP2においてCPU11は、感圧センサ3Bを介して取得した押下圧力値に基づいて、操作始めの押下圧力値と比較して操作終わりの押下圧力値が所定値以上増加しているか否かを判定する。このステップSP2において肯定結果が得られると、このときCPU11は、ステップSP3に移る。
ステップSP3においてCPU11は、ユーザによりブラインドモード切替え操作が行われたことを認識し、ブラインドモードに切り替わる。またこのときCPU11は、操作始めの接触位置P1が指の腹が接触した位置であり、操作終わりの接触位置P2が指の先が接触した位置であることを認識する。
そして、CPU11は、操作終わりの接触位置P2(図4)から操作始めの接触位置P1(図4)に向かう方向をユーザの手首方向と推定し、この方向をタッチパネル3Cの操作面における下方向と定義して、ステップSP4に移る。
ステップSP4においてCPU11は、ステップSP3において定義された下方向をY軸負の方向とし、接触位置P1と接触位置P2とが通る直線がY軸となるように、タッチパネル3Cの操作面に設定された座標を変換して、ステップSP5に移る。
一方、ステップSP1において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定された座標の変換を行わず、ステップSP5に移る。
また、ステップSP2において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定された座標の変換を行わず、ステップSP5に移る。
ステップSP5においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、タッチパネル3Cの操作面に設定された座標におけるX軸負の領域、つまりY軸に対して左側の領域がユーザの指により押下されたか否かを判定する。このステップSP5において肯定結果が得られると、このことは、ユーザが前の楽曲を選択しようとして楽曲切替え操作を行ったことを意味し、このときCPU11は、ステップSP6に移る。
ステップSP6においてCPU11は、このとき感圧センサ3Bを介して取得した押下圧力値に応じて、選択する楽曲を前の楽曲又は前のアルバムの楽曲又は前の頭文字のアルバム名を持つアルバムの楽曲に切替えて、ステップSP7に移る。
一方、ステップSP5において否定結果が得られると、このことは、ユーザが前の楽曲を選択するための楽曲切替え操作を行ってはいないことを意味し、このときCPU11は、ステップSP7に移る。
ステップSP7においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、タッチパネル3Cの操作面に設定されている座標におけるX軸正の領域、つまりY軸に対して右側の領域が押下されたか否かを判定する。このステップSP7において肯定結果が得られると、このことは、ユーザが次の楽曲を選択しようとして楽曲切替え操作を行ったことを意味し、このときCPU11は、ステップSP8に移る。
ステップSP8においてCPU11は、このとき感圧センサ3Bを介して取得した押下圧力値に応じて、選択する楽曲を次の楽曲又は次のアルバムの楽曲又は次の頭文字のアルバム名を持つアルバムの楽曲に切替えて、ステップSP1に戻る。
一方、ステップSP7において否定結果が得られると、このことは、ユーザが次の楽曲を選択するための楽曲切替え操作を行ってはいないことを意味し、このときCPU11は、ステップSP1に戻る。このようにCPU11は、ブラインド操作処理手順RT1を繰り返す。
このようなブラインド操作処理手順RT1より、CPU11は、ユーザにブラインド操作を行わせることができるようになされている。
[1−6.動作及び効果]
以上の構成において、音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、タッチパネル3Cを介して、当該操作面に対する指の接触位置を検出する。また、音楽再生装置1は、感圧センサ3Bを介して、このときユーザの指により当該操作面が押下された圧力を示す押下圧力値を検出する。
そして音楽再生装置1は、タッチパネル3Cの操作面に対してユーザの指が接触しているときに、接触位置が移動し、操作始めと比較して操作終わりの押下圧力値が増加したことを検出すると、ユーザによりブラインドモード切替え操作が行われたと認識する。このとき音楽再生装置1は、操作始めの接触位置P1が指の腹が接触した位置であり且つ操作終わりの接触位置P2が指の先が接触した位置であると認識する。
そして音楽再生装置1は、指の先が接触した位置である操作終わりの接触位置P2から指の腹が接触した位置である操作始めの接触位置P1へ向かう方向を、タッチパネル3Cを操作する手の手首方向と推定する。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して、この方向を下方向とする座標軸を設定し、指の腹が接触した位置と指の先が接触した位置とを通る直線を当該座標軸のY軸として設定する。
そして音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、当該タッチパネル3Cの操作面に対する指の接触位置を検出する。そして、音楽再生装置1は、タッチパネル3Cの操作面に設定された座標軸に基づいて、この接触位置を座標に変換する。そして音楽再生装置1は、この座標に応じて各種操作を認識し、当該操作に応じて各種命令を入力する。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わることができる。
また音楽再生装置1は、接触位置の座標がY軸に対して右側の領域にあると判別すると、選択する楽曲を次の楽曲に切替え、接触位置の座標がY軸に対して左側にあると判別すると、選択する楽曲を前の楽曲に切替えるようにした。
これにより音楽再生装置1は、ユーザの手首方向を下方向として、右側又は左側を指で押下するという操作をユーザに行わせるだけでよく、ユーザに複雑な操作を覚えさせることなく簡単に操作を行わせることができる。
また音楽再生装置1は、ブラインドモード切替え操作及びブラインド操作を指1本による操作でユーザに行わせるようにした。
これにより音楽再生装置1は、ポケットの中や鞄の中のような狭いスペースにおいてもブラインドモード切替え操作及びブラインド操作を容易に行わせることができる。
またこれにより音楽再生装置1は、ユーザに、親指でブラインドモード切替え操作及びブラインド操作を行わせる場合、当該操作を行わない4本の指で音楽再生装置1の筐体2を把持させることができるので、筐体2を安定して把持させることができる。
また音楽再生装置1は、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作を行わせるようにした。
これにより音楽再生装置1は、タッチ操作やドラッグ操作、スクロール操作など通常タッチパネルにおいてよく用いられる操作とブラインドモード切替え操作を混同することなく認識でき、誤認識を防ぐことができる。
以上の構成によれば、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置を検出するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して、指を接触させたまま、接触部分を指の腹から先へ変えるブラインドモード切替え操作が行われたことを認識するようにした。そして、音楽再生装置1は、当該操作が認識されると、指の先が接触した位置から指の腹が接触した位置へ向かう方向を、タッチパネル3Cを操作する手の手首方向と推定し、タッチパネル3Cの操作面に対して、当該方向に応じた座標軸を設定するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置をタッチパネル3Cに設定された座標軸に基づいて座標に変換し、この座標に基づいて命令を入力するようにした。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わせることができる。
[1−7.音楽再生装置の機能構成]
ここで、上述したブラインド操作に主眼を置いた音楽再生装置1の機能構成について説明する。図7に示すように、音楽再生装置1は、操作部101、接触検出部102、圧力検出部103、操作認識部104、座標軸設定部105、座標変換部106及び命令入力部107で構成されている。
接触検出部102は、操作部101の操作面に対して指が接触した位置を検出する。圧力検出部103は、操作部101の操作面に対する指の押下圧力を検出する。
操作認識部104は、操作部101の操作面に対して指が接触しているときに、指が接触している位置が移動し且つ当該操作面に対する指の押下圧力が変化したことを検出すると、指を接触させたまま、接触部分を指の腹から先へ変える操作(この実施例におけるブラインドモード切替え操作)が行われたと認識する。
座標軸設定部105は、操作認識部104により当該操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を操作部101を操作する手の手首方向と推定し、操作部101の操作面に対して、当該方向に応じて座標軸を設定する。
座標変換部106は、操作部101の操作面に設定された座標軸に基づいて、接触検出部102が検出した当該位置を座標に変換する。命令入力部107は、座標変換部106から得られる座標に基づいて、命令を入力する。
このような機能構成により、音楽再生装置1は、上述したブラインド操作を機能的に実現し得るようになされている。ここで、操作部101は、タッチパネル3Cに相当する機能部である。また、接触検出部102は、タッチパネル3C及びCPU11に相当する機能部である。また、圧力検出部103は、感圧センサ3Bに相当する機能部である。また、操作認識部104、座標軸設定部105、座標変換部106及び命令入力部107は、CPU11に相当する機能部である。
<2.第2の実施の形態>
次に本発明の第2の実施の形態を詳述する。この第2の実施の形態においては、音楽再生装置1のブラインドモード切替え操作が異なる点以外、上述した第1の実施の形態と同様であり、同様部分である音楽再生装置1の構成、楽曲切替え操作などの説明は省略する。
[2−1.ブラインド操作]
CPU11は楽曲切替え画面20をタッチパネル3Cに表示する。ここでユーザが、図8(A)に示すように、ブラインドモード切替え操作として、タッチパネル3Cに対して、指を寝かせて接触させたまま、指を回転させる操作を行ったとする。尚、このブラインドモード切替え操作は指1本で行うことができる操作である。
このときCPU11は、タッチパネル3Cを介して接触位置の座標及び接触範囲の座標を取得し、操作始めから操作終わりまでの接触位置の遷移と接触範囲の変化とを検出する。
ここで、ブラインドモード切替え操作は、指を回転させることにより指の接触している部分を指の腹から指の側面へ、もしくはその逆へ変える操作であるため、タッチパネル3Cの操作面に対する接触位置が移動する操作となることが考えられる。
従ってCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判別する。
また、人間の指において指の腹より指の側面の方が細いことより、指の腹が接触した範囲の形状よりも指の側面が接触した範囲の形状の方が細長いことが考えられる。
従ってCPU11は、図8(B)に示すように、操作始めの接触範囲R1及び操作終わりの接触範囲R2の座標に基づいて、操作始めの接触範囲R1を囲む最も面積の小さい矩形RS1と操作終わりの接触範囲R2を囲む最も面積の小さい矩形RS2とを算出する。そしてCPU11は、矩形RS1及び矩形RS2の短辺の長さをそれぞれ算出する。
そしてCPU11は、矩形RS1及び矩形RS2の短辺の長さを比較し、矩形RS1の短辺の長さと矩形RS2の短辺の長さとの差分が所定値以上か否かを判別する。
そしてCPU11は、接触位置が所定距離以上移動し、矩形RS1の短辺の長さと矩形RS2の短辺の長さとの差分が所定値以上であることを判別すると、ユーザによりブラインドモード切替え操作が行われたと認識し、ブラインドモードに切り替わる。
また、図8(C)に示すように、指を寝かせて接触させたまま、指を回転させる操作が行われたとき、ユーザの指の根元がタッチパネル3Cの操作面からはみ出すように接触されていることが考えられる。従ってこのような場合、指の腹又は指の側面が接触した範囲の一部がタッチパネル3Cの縁BAに接しており、この箇所が指の根元に近い部分が接触した箇所であると考えられる。
従ってCPU11は、ブラインドモードに切り替わると、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接している箇所を検出し、その箇所の中点PBを検出する。そしてCPU11は、操作始めの接触範囲R1の中で中点PBから最も遠い点PFを検出する。そしてCPU11は、中点PBが指の根元が接触した位置であると認識し、中点PBから最も遠い点PFが指の先が接触した位置であると認識する。
そしてCPU11は、点PFから中点PBへ向かう方向をタッチパネル3Cを操作するユーザの手の手首方向であると推定する。そして、CPU11は、このユーザの手首がある方向をタッチパネル3Cの操作面における下方向と定義し、これに従って上述した第1の実施の形態と同様にタッチパネル3Cの操作面に設定された座標を変換する。
このようにCPU11は、第1の実施の形態と同様に、ブラインドモード切替え操作が行われたことを認識するとブラインドモードに切り替わる。
そしてCPU11は、タッチパネル3Cの操作面に対して、この方向を下方向とする座標軸を設定し、点PFと中点PBとを通る直線を当該座標軸のY軸として設定する。
そしてCPU11は、上述した第1の実施の形態と同様に、タッチパネル3Cの操作面に設定された座標軸に従って、楽曲の切替え、再生、音量の増減などのユーザの操作を認識する。
これにより音楽再生装置1は、当該操作面に対するユーザの手の向きに従ってユーザの操作を認識することができ、ユーザに、当該操作面に対するユーザの手の向きを基準とした操作を行わせることができるので、ブラインド操作を行わせることができる。
[2−2.ブラインド操作処理手順]
次に上述した音楽再生装置1によるブラインド操作の動作処理手順(これをブラインド操作処理手順とも呼ぶ)RT2を、図9に示すフローチャートを用いて詳しく説明する。ちなみに、このブラインド操作処理手順RT2は、音楽再生装置1のCPU11が、不揮発性メモリ12にインストールされたプログラムに従って実行するものである。
尚、図9に示すブラインド操作処理手順RT2は、上述した第1の実施の形態のブラインド操作処理手順RT1の同一ステップに同一符号を付して示すものである。
音楽再生装置1のCPU11は、タッチパネル3Cを介して操作面に対してユーザの指が押下されたことを認識すると、ブラインド操作処理手順RT2をステップSP100から開始して、次のステップSP101に移る。
ステップSP101においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判定する。このステップSP101において肯定結果が得られると、このときCPU11は、ステップSP102に移る。
ステップSP102においてCPU11は、操作始めの接触範囲R1を囲む矩形RS1(図8)の短辺の長さと操作終わりの接触範囲R2を囲む矩形RS2(図8)の短辺の長さとの差分が所定値以上であるか否かを判定する。このステップSP102において肯定結果が得られると、このときCPU11は、ステップSP103に移る。
ステップSP103においてCPU11は、ユーザによりブラインドモード切替え操作が行われたと認識し、ブラインドモードに切り替わる。そして、CPU11は、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接している箇所の中点PBと、操作始めの接触範囲R1の中で中点PBから最も遠い点PFとを検出し、ステップSP104に移る。
ステップSP104においてCPU11は、中点PBが指の根元が接触した位置であると認識し、中点PBから最も遠い点PFが指の先が接触した位置であると認識する。そして、CPU11は、点PFから中点PBへ向かう方向をユーザの手首がある方向と推定し、この方向をタッチパネル3Cの操作面における下方向と定義して、ステップSP105に移る。
ステップSP105においてCPU11は、ステップSP103において定義された下方向がY軸負の方向となるように、タッチパネル3Cの操作面に設定された座標を変換して、ステップSP5に移る。
一方、ステップSP101において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定されている座標の変換を行わず、ステップSP5に移る。
また、ステップSP102において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定されている座標の変換を行わず、ステップSP5に移る。
CPU11は、上述した第1の実施の形態と同様にしてステップSP5~ステップSP8の処理を行う。すなわちCPU11は、第1の実施の形態と同様に、タッチパネル3Cの操作面に設定された座標に従って、Y軸に対して右側の領域を押下されたと認識すると選択する楽曲を次の楽曲に切り替え、Y軸に対して左側の領域を押下されたと認識すると選択する楽曲を前の楽曲に切替える。
このようなブラインド操作処理手順RT2より、CPU11は、ユーザにブラインド操作を行わせることができるようになされている。
[2−3.動作及び効果]
以上の構成において、音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、当該タッチパネル3Cの操作面に対する指の接触位置及び接触範囲を検出する。
そして音楽再生装置1は、タッチパネル3Cの操作面に対してユーザの指が接触しているときに、接触位置が移動し、接触範囲を囲む矩形の短辺の長さが操作始めと操作終わりとで変化したことを検出すると、ブラインドモード切替え操作が行われたと認識する。
そして音楽再生装置1は、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接触している箇所の中点PBを指の根元が接触した位置として検出する。そして音楽再生装置1は、操作始めの接触範囲R1の中で中点PBから最も遠い点PFを指の先が接触した位置として検出する。
そして音楽再生装置1は、指の先が接触した位置から指の根元が接触した位置へ向かう方向をタッチパネル3Cを操作する手の手首方向と推定する。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して、この方向を下方向とする座標軸を設定する。
そして音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、当該タッチパネル3Cの操作面に対する指の接触位置を検出する。そして、音楽再生装置1は、タッチパネル3Cの操作面に設定された座標軸、すなわちユーザの手の向きに合った座標軸に基づいて、この接触位置を座標に変換する。そして音楽再生装置1は、この座標に応じて各種操作を認識し、当該操作に応じて各種命令を入力する。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わることができる。
また音楽再生装置1は、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を寝かせて接触させたまま、指を回転させる操作を行わせるようにした。
これにより音楽再生装置1は、指が1本入る程度の狭いスペースにおいてもブラインドモードに切替えることができるので、第1の実施の形態と比べて、狭いスペースにおけるブラインド操作を一段と容易に行わせることができる。
この他第2の実施の形態における音楽再生装置1は、第1の実施の形態における音楽再生装置1とほぼ同様の作用効果を奏しうる。
以上の構成によれば、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置及び接触範囲を検出するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して指を接触させたまま指を回転させるブラインドモード切替え操作が行われたことを認識するようにした。そして、音楽再生装置1は、当該操作が認識されると、接触範囲から指の先が接触した位置と指の根元が接触した位置とを検出するようにした。そして、音楽再生装置1は、指の先が接触した位置から指の根元が接触した位置へ向かう方向を手首の方向と推定し、タッチパネル3Cの操作面に対して、当該方向に応じた座標軸を設定するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置をタッチパネル3Cに設定された座標軸に基づいて座標に変換し、この座標に基づいて命令を入力するようにした。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わせることができる。
[2−4.音楽再生装置の機能構成]
ここで、上述したブラインド操作に主眼を置いた音楽再生装置1の機能構成について説明する。図10に示すように、音楽再生装置1は、操作部201、接触検出部202、操作認識部203、座標軸設定部204、座標変換部205及び命令入力部206で構成されている。
接触検出部202は、操作部201の操作面に対して指が接触した位置及び指が接触した範囲を検出する。操作認識部203は、操作部201の操作面に対して指が接触しているときに、指が接触している位置が移動し且つ指が接触している範囲の形状が変化したことを検出すると、指を接触させたまま回転させる操作が行われたと認識する。
座標軸設定部204は、操作認識部203により当該操作が認識されると、指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出する。そして座標軸設定部204は、当該指の根元が接触した位置から当該指の先が接触した位置へ向かう方向を操作部201を操作する手の手首方向と推定し、操作部201の操作面に対して、当該方向に応じて座標軸を設定する。
座標変換部205は、操作部201の操作面に設定された座標軸に基づいて、接触検出部202が検出した当該位置を座標に変換する。命令入力部206は、座標変換部205から得られる座標に基づいて、命令を入力する。
このような機能構成により、音楽再生装置1は、上述したブラインド操作を機能的に実現し得るようになされている。ここで、操作部201は、タッチパネル3Cに相当する機能部である。また、接触検出部202は、タッチパネル3C及びCPU11に相当する機能部である。また、座標変換部205、命令入力部206、操作認識部203及び座標軸設定部204は、CPU11に相当する機能部である。
<3.他の実施の形態>
[3−1.他の実施の形態1]
なお上述した第1の実施の形態では、CPU11は、操作始めと操作終わりの押下圧力値の変化に基づいて、ユーザがブラインドモード切替え操作を行ったと認識するようにした。
これに限らずCPU11は、例えば操作始めと操作終わりの接触範囲の形状の変化に基づいて、ブラインドモード切替え操作が行われたかを認識するようにしてもよい。
具体的に、ユーザは、第1の実施の形態と同様に、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作を行ったとする。
このときCPU11は、タッチパネル3Cを介して接触位置の座標及び接触範囲の座標を取得し、操作始めから操作終わりまでの接触位置の遷移と接触範囲の変化とを検出する。
ここで、第1の実施の形態と同様に、ブラインドモード切替え操作は、タッチパネル3Cに対する接触位置が移動する操作となることが考えられる。従ってCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判別する。
また、図11に示すように、指の腹が接触した範囲の面積は広く、その範囲の形状は指の太さ方向が短軸となるような略楕円形であり、指の先が接触した範囲の面積は狭く、その範囲の形状は指の太さ方向が長軸となるような略楕円形であることが考えられる。従って、指の接触している部分が指の腹から指の先へ変えられると、指の接触している範囲の長軸及び短軸が90度入れ替わることが考えられる。
従ってCPU11は、操作始めの接触範囲R3の座標と操作終わりの接触範囲R4の座標とに基づいて、操作始めの接触範囲R3を囲む最も面積の小さい矩形RS3及び操作終わりの接触範囲R4を囲む最も面積の小さい矩形RS4を検出する。そしてCPU11は、矩形RS3及び矩形RS4の長辺軸及び短辺軸をそれぞれ検出する。
そしてCPU11は、操作始めの接触範囲R3を囲む矩形RS3と操作終わりの接触範囲R4を囲む矩形RS4とを比較し、長辺軸及び短辺軸が略90度異なるか否かを判別する。
そしてCPU11は、接触位置が所定距離以上移動し、矩形RS3及び矩形RS4の長辺軸及び短辺軸が略90度異なることを判別すると、ユーザがブラインドモード切替え操作を行ったと認識する。
そして、CPU11は、ユーザがブラインドモード切替え操作を行ったことを認識すると、ブラインドモードに切り替わる。またこのときCPU11は、操作始めの接触位置P3が指の腹が接触した位置であり、操作終わりの接触位置P4が指の先が接触した位置であることを認識する。
そしてCPU11は、ブラインドモードに切り替わると、操作終わりの接触位置P4から操作始めの接触位置P3へ向かう方向を、タッチパネル3Cを操作する手の手首方向であると推定する。そしてCPU11は、この手首方向をタッチパネル3Cの操作面における下方向と定義し、これに従ってタッチパネル3Cの操作面に設定された座標を変換する。
このようにCPU11は、上述した第1の実施の形態と同様に、ブラインドモード切替え操作が行われたことを認識すると、タッチパネル3Cの操作面に対するユーザの手の向きに応じた座標軸を当該操作面に設定する。
またこれに限らず、CPU11は、操作始めと操作終わりの接触範囲の面積の変化に基づいて、ブラインドモード切替え操作が行われたかを認識するようにしてもよい。
図11に示すように、指の腹が接触した範囲の面積の方が指の先が接触した範囲の面積よりも大きいと考えられる。このことより、CPU11は、接触位置が所定距離以上移動し、操作始めの接触範囲R3の面積が操作終わりの接触範囲R4の面積より所定値以上大きいことを判別すると、ユーザがブラインドモード切替え操作を行ったと認識してもよい。
またこれに限らずCPU11は、この他種々の方法で、指を接触させたまま、指の接触している部分を指の腹から指の先へ変えるブラインドモード切替え操作を認識するようにしてもよい。
また上述した第2の実施の形態では、CPU11は、接触範囲の形状の変化に基づいて指を回転させるブラインドモード切替え操作を認識するようにしたが、この他種々の方法で当該操作を認識するようにしてもよい。
[3−2.他の実施の形態2]
また上述した第1の実施の形態では、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作を行わせるようにした。
これに限らず、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の先から指の腹へ変える操作を行わせるようにしてもよい。また、指の接触している部分を指の腹から指の先へ変える操作、もしくはその逆に変える操作のどちらをユーザが行っても、ブラインドモード切替え操作として認識するようにしてもよい。
この場合CPU11は、ユーザによりブラインドモード切替え操作が行われると、操作始めと操作終わりの押下圧力値を比較し、どちらの押下圧力値が高いかを判別する。そしてCPU11は、操作始めの押下圧力値が高かった場合、操作始めの接触位置を指の先が接触した位置であると認識し、操作終わりの接触位置を指の腹が接触した位置であると認識する。一方CPU11は、操作終わりの押下圧力値が高かった場合、操作終わりの接触位置を指の先が接触した位置であると認識し、操作始めの接触位置を指の腹が接触した位置であると認識する。
[3−3.他の実施の形態3]
さらに上述した第1の実施の形態では、CPU11は、ブラインドモード切替え操作において、指の先が接触した位置と指の腹が接触した位置とを通る直線がY軸となるように、タッチパネル3Cの操作面に設定された座標を変換するようにした。
これに限らず、CPU11は、ブラインドモード切替え操作において、当該Y軸と直交し、例えば指の先が接触した位置を通る直線がX軸となるように、タッチパネル3Cの操作面に設定された座標を変換するようにしてもよい。
これによりCPU11は、例えばユーザの指による押下操作などユーザ操作に対して、割り当てる命令入力を増やすことができる。例えば、CPU11は、ユーザがX軸に対して上側を押下すると楽曲を再生し、X軸に対して下側を押下すると楽曲を停止するようにしてもよい。
[3−4.他の実施の形態4]
さらに上述した第1及び第2の実施の形態では、CPU11は、ユーザによりY軸に対して右側が押下されると選択する楽曲を次の楽曲に切替え、Y軸に対して左側が押下されると選択する楽曲を前の楽曲に切替えるようにした。
これに限らず、CPU11は、この他種々のユーザ操作をタッチパネル3Cに設定された座標軸に基づいて認識し、この他種々の命令入力を割り当てるようにしてもよい。
[3−5.他の実施の形態5]
さらに上述した第2の実施の形態では、CPU11は、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接する箇所の中点PBを指の根元が接触した位置として検出するようにした。そしてCPU11は、接触範囲R1の中で中点PBから最も遠い点PFを指の先が接触した位置として検出するようにした。
これに限らず、CPU11は、例えば操作始めの接触範囲R1の形状を検出し、その形状が細くなっている方を指の先が接触した位置として検出し、そこから接触範囲R1の中で最も遠い位置を指の根元が接触した位置として検出するようにしてもよい。またこれに限らずCPU11は、この他種々の方法で、接触範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出するようにしてもよい。
[3−6.他の実施の形態6]
さらに上述した第1の実施の形態では、CPU11は、ブラインドモード切替え操作において、指の先が接触した位置から指の腹が接触した位置へ向かう方向をユーザの手首方向と推定した。そしてCPU11は、この方向を下方向とするような座標軸をタッチパネル3Cの操作面に設定するようにした。
これに限らずCPU11は、ユーザの手首方向と推定した方向に応じた座標軸であれば、この他種々の座標軸をタッチパネル3Cの操作面に設定するようにしてもよい。
例えばCPU11は、ブラインドモード切替え操作においてユーザの手首方向と推定した方向から、所定の角度(例えば10~30[°])ずらした方向を下方向とするような座標軸を設定するようにしてもよい。ユーザは、通常モードのとき、操作面の下方向から多少ずれた方向に手首をおくような形で操作面を操作することも想定される。このような場合、CPU11は、ユーザの手首方向と推定した方向から所定の角度ずらした方向を下方向とする座標軸を設定することで、ブラインドモードのときも、ユーザに通常モードのときと同様の操作感覚で操作させることができる。ゆえに、CPU11は、ブラインドモードのときの操作性を一段と向上させることができる。
[3−7.他の実施の形態7]
さらに上述した第1及び第2の実施の形態では、音楽再生装置1の動作処理を実行するためのプログラムを不揮発性メモリ12に記憶しておくようにした。
これに限らず、このプログラムをCD(Compact Disc)などの所定の記録媒体に記録しておき、CPU11がこのプログラムを記録媒体から読み出して実行するようにしてもよい。また、CPU11がこのプログラムをインターネット上の所定のサーバからダウンロードして不揮発性メモリ12にインストールするようにしてもよい。
[3−8.他の実施の形態8]
さらに上述した実施の形態では、情報処理装置としての音楽再生装置1に、接触検出部としてのタッチパネル3Cと、圧力検出部としての感圧センサ3Bと、接触検出部、座標変換部、命令入力部、操作認識部、座標軸設定部としてのCPU11とを設けるようにした。
これに限らず、同様の機能を有するのであれば、上述した音楽再生装置1の各機能部を、他の種々のハードウェア又はソフトウェアにより構成するようにしてもよい。例えば、接触検出部をタッチパネルのみで実現するようにしてもよいし、座標変換部、命令入力部、操作認識部、座標軸設定部のそれぞれを個別のハードウェアで実現するようにしてもよい。
[3−9.他の実施の形態9]
さらに、本発明は、上述した第1及び第2の実施の形態とここまで説明した他の実施の形態1~8とに限定されるものではない。すなわち本発明は、上述した第1及び第2の実施の形態とここまで説明した他の実施の形態1~8の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態も適用範囲とする。例えば、上述した第2の実施の形態と他の実施の形態3とを組み合わせるようにしてもよい。
Claims (10)
- 操作部の操作面に対して指が接触した位置を検出する接触検出部と、
上記操作面に設定された座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換する座標変換部と、
上記座標変換部から得られる座標に基づいて、命令を入力する命令入力部と、
上記操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識する操作認識部と、
上記操作認識部により上記操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部と
を具える情報処理装置。 - 上記操作面に対する指の押下圧力を検出する圧力検出部
を具え、
上記操作認識部は、
上記操作面に対して指が接触しているときに、指が接触している位置が移動し且つ上記操作面に対する指の押下圧力が変化したことを検出すると、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたと認識する
請求項1に記載の情報処理装置。 - 上記座標軸設定部は、
上記操作面に対して、上記手首方向を下方向とする座標軸を設定し、上記指の腹が接触した位置と上記指の先が接触した位置とを通る直線を当該座標軸のY軸として設定する
請求項2に記載の情報処理装置。 - 上記命令入力部は、
上記座標変換部から得られる座標が上記座標軸のY軸に対して右側の領域にあるときは第1の命令を入力し、上記変換部から得られる座標が上記座標軸のY軸に対して左側の領域にあるときは第2の命令を入力する
請求項3に記載の情報処理装置。 - 上記接触検出部は、
上記操作面に対して指が接触した位置及び指が接触した範囲を検出し、
上記操作認識部は、
上記操作面に対して指が接触しているときに、指が接触している位置が移動し且つ指が接触している範囲の形状が変化したことを検出すると、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたと認識する
請求項1に記載の情報処理装置。 - 操作部の操作面に対して指が接触した位置及び指が接触した範囲を検出する接触検出部と、
上記操作面に設定された座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換する座標変換部と、
上記座標変換部から得られる座標に基づいて、命令を入力する命令入力部と、
上記操作面に対して、指を接触させたまま回転させる操作が行われたことを認識する操作認識部と、
上記操作認識部により上記操作が認識されると、指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出し、当該指の根元が接触した位置から当該指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部と
を具える情報処理装置。 - 上記操作認識部は、
上記操作面に対して指が接触しているときに、指が接触している位置が移動し且つ指が接触している範囲の形状が変化したことを検出すると、指を接触させたまま回転させる操作が行われたと認識する
請求項6に記載の情報処理装置。 - 上記座標軸設定部は、
指が接触した範囲の形状に基づいて、当該指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出する
請求項6に記載の情報処理装置。 - 接触検出部が、操作部の操作面に対して指が接触した位置を検出し、
操作認識部が、上記操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識し、
座標軸設定部が、上記操作認識部により上記操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定し、
座標変換部が、上記座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換し、
命令入力部が、上記座標変換部から得られる座標に基づいて、命令を入力する情報処理方法。 - コンピュータに、
接触検出部が、操作部の操作面に対して指が接触した位置を検出するステップと、
操作認識部が、上記操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識するステップと、
座標軸設定部が、上記操作認識部により上記操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定するステップと、
座標変換部が、上記座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換するステップと、
命令入力部が、上記座標変換部から得られる座標に基づいて、命令を入力するステップと
を実行させるための情報処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011136682/08A RU2011136682A (ru) | 2009-03-09 | 2010-03-01 | Устройство, способ и программа обработки информации |
US13/254,289 US20110310049A1 (en) | 2009-03-09 | 2010-03-01 | Information processing device, information processing method, and information processing program |
BRPI1009499A BRPI1009499A2 (pt) | 2009-03-09 | 2010-03-01 | dispositivo e método de processamento de informação, e, programa |
CN201080010400.0A CN102341776B (zh) | 2009-03-09 | 2010-03-01 | 信息处理设备、信息处理方法和信息处理程序 |
EP10750769A EP2407868A1 (en) | 2009-03-09 | 2010-03-01 | Information processing device, information processing method, and information procession program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009055407A JP5267229B2 (ja) | 2009-03-09 | 2009-03-09 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2009-055407 | 2009-03-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010104015A1 true WO2010104015A1 (ja) | 2010-09-16 |
Family
ID=42728305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/053706 WO2010104015A1 (ja) | 2009-03-09 | 2010-03-01 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20110310049A1 (ja) |
EP (1) | EP2407868A1 (ja) |
JP (1) | JP5267229B2 (ja) |
CN (1) | CN102341776B (ja) |
BR (1) | BRPI1009499A2 (ja) |
RU (1) | RU2011136682A (ja) |
WO (1) | WO2010104015A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2756391A4 (en) * | 2011-09-14 | 2015-05-06 | Microsoft Corp | DETERMINATION OF A CONTENT NAVIGATION DIRECTION BASED ON DIRECTIONALLY DEFINED USER |
USRE48830E1 (en) | 2011-02-09 | 2021-11-23 | Maxell, Ltd. | Information processing apparatus |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
US8436827B1 (en) * | 2011-11-29 | 2013-05-07 | Google Inc. | Disambiguating touch-input based on variation in characteristic such as speed or pressure along a touch-trail |
US9524050B2 (en) | 2011-11-29 | 2016-12-20 | Google Inc. | Disambiguating touch-input based on variation in pressure along a touch-trail |
US9582096B2 (en) * | 2012-03-28 | 2017-02-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
CN104471521B (zh) | 2012-05-09 | 2018-10-23 | 苹果公司 | 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面 |
WO2013169845A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for scrolling nested regions |
CN106201316B (zh) | 2012-05-09 | 2020-09-29 | 苹果公司 | 用于选择用户界面对象的设备、方法和图形用户界面 |
EP2847657B1 (en) | 2012-05-09 | 2016-08-10 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
WO2013169875A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for displaying content associated with a corresponding affordance |
KR101823288B1 (ko) | 2012-05-09 | 2018-01-29 | 애플 인크. | 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 |
EP2847658B1 (en) | 2012-05-09 | 2017-06-21 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
EP3264252B1 (en) | 2012-05-09 | 2019-11-27 | Apple Inc. | Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
EP2912542B1 (en) | 2012-12-29 | 2022-07-13 | Apple Inc. | Device and method for forgoing generation of tactile output for a multi-contact gesture |
CN107831991B (zh) | 2012-12-29 | 2020-11-27 | 苹果公司 | 用于确定是滚动还是选择内容的设备、方法和图形用户界面 |
WO2014105277A2 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
EP3435220B1 (en) | 2012-12-29 | 2020-09-16 | Apple Inc. | Device, method and graphical user interface for transitioning between touch input to display output relationships |
KR101905174B1 (ko) * | 2012-12-29 | 2018-10-08 | 애플 인크. | 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
WO2014105279A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for switching between user interfaces |
JP5728629B2 (ja) * | 2013-03-29 | 2015-06-03 | 楽天株式会社 | 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体 |
US9665206B1 (en) | 2013-09-18 | 2017-05-30 | Apple Inc. | Dynamic user interface adaptable to multiple input tools |
CN104461335A (zh) * | 2013-09-25 | 2015-03-25 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
KR102282498B1 (ko) | 2014-05-19 | 2021-07-27 | 삼성전자주식회사 | 디스플레이를 이용한 입력 처리 방법 및 장치 |
CN105700784A (zh) * | 2014-11-28 | 2016-06-22 | 神讯电脑(昆山)有限公司 | 触控输入方法及其电子装置 |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
US10067653B2 (en) | 2015-04-01 | 2018-09-04 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9674426B2 (en) | 2015-06-07 | 2017-06-06 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
CN106293051B (zh) | 2015-08-21 | 2020-01-10 | 北京智谷睿拓技术服务有限公司 | 基于手势的交互方法、交互装置及用户设备 |
WO2018000382A1 (zh) * | 2016-06-30 | 2018-01-04 | 华为技术有限公司 | 一种查看应用程序的图形用户界面、方法及终端 |
DE102016120075B4 (de) * | 2016-10-21 | 2020-11-05 | Harman Becker Automotive Systems Gmbh | Bediensystem zur Bedienung eines Multifunktionssystems |
JP6976707B2 (ja) * | 2017-04-13 | 2021-12-08 | キヤノン株式会社 | 電子機器およびその制御方法 |
CN110998479A (zh) * | 2017-08-08 | 2020-04-10 | 福特全球技术公司 | 增强的可穿戴装置操作 |
JP6961451B2 (ja) * | 2017-10-12 | 2021-11-05 | キヤノン株式会社 | 電子機器、その制御方法およびプログラム |
CN107608563B (zh) * | 2017-10-27 | 2021-04-09 | 合肥京东方光电科技有限公司 | 触控显示面板及其驱动方法、显示装置 |
JP7210158B2 (ja) * | 2018-04-23 | 2023-01-23 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記録媒体 |
JP7272831B2 (ja) * | 2019-03-13 | 2023-05-12 | Fcnt株式会社 | 携帯端末装置、情報処理方法および情報処理プログラム |
US10983601B1 (en) * | 2020-01-17 | 2021-04-20 | Assa Abloy Ab | Visually impaired mode keypad |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000300543A (ja) * | 1999-04-21 | 2000-10-31 | Fuji Xerox Co Ltd | 検出装置、入力装置、ポインティングデバイス、個人識別装置、及び記録媒体 |
JP2005339420A (ja) | 2004-05-31 | 2005-12-08 | Sony Corp | 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体 |
JP2008191791A (ja) * | 2007-02-01 | 2008-08-21 | Sharp Corp | 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2009009252A (ja) * | 2007-06-27 | 2009-01-15 | Panasonic Corp | タッチ式入力装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090166098A1 (en) * | 2007-12-31 | 2009-07-02 | Apple Inc. | Non-visual control of multi-touch device |
CN101340559A (zh) * | 2008-03-13 | 2009-01-07 | 北京雷石天地电子技术有限公司 | 一种滑动式视频点播方法 |
US9019237B2 (en) * | 2008-04-06 | 2015-04-28 | Lester F. Ludwig | Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display |
JP5423686B2 (ja) * | 2008-12-25 | 2014-02-19 | 富士通株式会社 | コンピュータプログラム、入力装置及び入力方法 |
-
2009
- 2009-03-09 JP JP2009055407A patent/JP5267229B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-01 CN CN201080010400.0A patent/CN102341776B/zh not_active Expired - Fee Related
- 2010-03-01 WO PCT/JP2010/053706 patent/WO2010104015A1/ja active Application Filing
- 2010-03-01 EP EP10750769A patent/EP2407868A1/en not_active Withdrawn
- 2010-03-01 US US13/254,289 patent/US20110310049A1/en not_active Abandoned
- 2010-03-01 RU RU2011136682/08A patent/RU2011136682A/ru not_active Application Discontinuation
- 2010-03-01 BR BRPI1009499A patent/BRPI1009499A2/pt not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000300543A (ja) * | 1999-04-21 | 2000-10-31 | Fuji Xerox Co Ltd | 検出装置、入力装置、ポインティングデバイス、個人識別装置、及び記録媒体 |
JP2005339420A (ja) | 2004-05-31 | 2005-12-08 | Sony Corp | 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体 |
JP2008191791A (ja) * | 2007-02-01 | 2008-08-21 | Sharp Corp | 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2009009252A (ja) * | 2007-06-27 | 2009-01-15 | Panasonic Corp | タッチ式入力装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE48830E1 (en) | 2011-02-09 | 2021-11-23 | Maxell, Ltd. | Information processing apparatus |
USRE49669E1 (en) | 2011-02-09 | 2023-09-26 | Maxell, Ltd. | Information processing apparatus |
EP2756391A4 (en) * | 2011-09-14 | 2015-05-06 | Microsoft Corp | DETERMINATION OF A CONTENT NAVIGATION DIRECTION BASED ON DIRECTIONALLY DEFINED USER |
Also Published As
Publication number | Publication date |
---|---|
RU2011136682A (ru) | 2013-03-10 |
EP2407868A1 (en) | 2012-01-18 |
JP5267229B2 (ja) | 2013-08-21 |
US20110310049A1 (en) | 2011-12-22 |
JP2010211401A (ja) | 2010-09-24 |
CN102341776A (zh) | 2012-02-01 |
BRPI1009499A2 (pt) | 2016-03-15 |
CN102341776B (zh) | 2014-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5267229B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US9507507B2 (en) | Information processing apparatus, information processing method and program | |
KR101419701B1 (ko) | 멀티미디어 재생장치에서 멀티 터치를 이용한 재생 제어 방법 | |
KR102034584B1 (ko) | 포터블 디바이스 및 그 제어 방법 | |
JP6444758B2 (ja) | 多機能ハンドヘルド装置 | |
KR101544364B1 (ko) | 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법 | |
JP4669423B2 (ja) | 電子機器、スクロール制御装置、およびプログラム | |
US20090179867A1 (en) | Method for providing user interface (ui) to display operating guide and multimedia apparatus using the same | |
US20080189613A1 (en) | User interface method for a multimedia playing device having a touch screen | |
JP2011170834A (ja) | 情報処理装置、操作予測方法及び操作予測プログラム | |
KR20100006219A (ko) | 사용자 인터페이스 방법 및 장치 | |
JP2011150414A (ja) | 情報処理装置、操作入力決定方法及び操作入力決定プログラム | |
CN105353912A (zh) | 触摸和力感测设备以及力敏显示器 | |
TW201118683A (en) | Sensing a type of action used to operate a touch panel | |
WO2012127792A1 (ja) | 情報端末、表示画面切り替えのための方法、及びそのプログラム | |
JP2010250610A (ja) | 情報処理装置、傾き検出方法及び傾き検出プログラム | |
US20170206877A1 (en) | Audio system enabled by device for recognizing user operation | |
JP6437720B2 (ja) | コンテンツ再生を制御するための方法及びその装置 | |
JP5461821B2 (ja) | 表示装置、表示方法および表示プログラム | |
WO2014003025A1 (ja) | 電子機器 | |
JP2011076452A (ja) | タッチパネルを備えた表示制御装置 | |
JP5081952B2 (ja) | 項目選択装置、項目選択方法、ならびに、プログラム | |
JP2012038062A (ja) | 入力装置 | |
JP2010257039A (ja) | 入力装置および処理切替方法 | |
KR20180045743A (ko) | 스와이프 제스처를 이용한 한글 입력방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201080010400.0 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10750769 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010750769 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13254289 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011136682 Country of ref document: RU Ref document number: 6310/CHENP/2011 Country of ref document: IN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REG | Reference to national code |
Ref country code: BR Ref legal event code: B01A Ref document number: PI1009499 Country of ref document: BR |
|
ENP | Entry into the national phase |
Ref document number: PI1009499 Country of ref document: BR Kind code of ref document: A2 Effective date: 20110902 |