[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013015070A1 - 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム - Google Patents

指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム Download PDF

Info

Publication number
WO2013015070A1
WO2013015070A1 PCT/JP2012/066719 JP2012066719W WO2013015070A1 WO 2013015070 A1 WO2013015070 A1 WO 2013015070A1 JP 2012066719 W JP2012066719 W JP 2012066719W WO 2013015070 A1 WO2013015070 A1 WO 2013015070A1
Authority
WO
WIPO (PCT)
Prior art keywords
drag
finger
speed
pressing force
scroll
Prior art date
Application number
PCT/JP2012/066719
Other languages
English (en)
French (fr)
Inventor
松木　友明
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011160406A external-priority patent/JP5220898B2/ja
Priority claimed from JP2012063838A external-priority patent/JP5813543B2/ja
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to US14/129,740 priority Critical patent/US9285976B2/en
Publication of WO2013015070A1 publication Critical patent/WO2013015070A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Definitions

  • the present invention relates to a technique related to a user interface device that displays an image on a screen and allows a user to input by operating the operation surface with a finger in association with the displayed image.
  • a touch panel Whether a touch panel is installed or not, portable information devices need to be downsized to improve portability. For this reason, when the portable information device employs a plurality of physical input keys or buttons as a user interface, the size of the input keys themselves must be reduced, and as a result, the operation of the portable information device can be reduced. There is concern about the decline of sex. On the other hand, when a touch panel having virtual buttons instead of physical buttons is adopted as the user interface of the portable information device, the size of the virtual buttons is appropriately set according to the function of the corresponding application. Thus, the operability of the portable information device can be improved.
  • Scrolling is known as a method of displaying a part of the entire information that protrudes from the screen and displaying it on the screen when the entire information cannot be displayed on the screen.
  • Scrolling is an operation that moves the entire image displayed on the screen in the vertical direction or horizontal direction of the screen, and pulls out (assumed to be) the part of the entire information that is hidden from the screen and displays it on the screen. It is a technique.
  • the entire image is displayed by moving a scroll bar provided at the edge of the screen up and down or left and right, rotating a mouse wheel, or moving the mouse while pressing this wheel. You can scroll.
  • a “far” position is an information space (assuming that the entire information is displayed on a virtual screen that is infinitely large in size, and a position on the space is assigned to all parts of the entire information) It means a position away from the actual screen. For example, consider a case where the width of an image of a certain content is considerably larger than the width of the screen. In this case, the portion of this content that is not displayed on the screen is located farther from the screen as it is closer to the widthwise end of the information space of the same content. become.
  • the movement amount is limited to the movable range of the finger, that is, the distance between two points on the screen. Therefore, the more the number of times the drag operation is required, the more distant the portion of the overall information that is desired to be displayed.
  • the operation of tilting the portable information device while performing a predetermined touch operation and scrolling at a speed corresponding to the magnitude of the tilt has an advantage that the scroll speed can be adjusted. It's never easy for you.
  • the user must check the image that is scrolled while the screen is tilted, and it is inconvenient to search for a desired portion from the portion that protrudes from the screen in the entire information.
  • the present invention provides a user interface device that can display a portion of the entire information that cannot be displayed on the screen that is not displayed on the screen and that is far from the screen in a short time with a simple operation.
  • An object is to provide a scroll method and a program.
  • each aspect is divided into sections, each section is numbered, and is described in the form of quoting the section numbers of other sections as necessary. In this way, each section is referred to the section number of the other section.
  • the technical features described in each section can be appropriately made independent according to the properties.
  • a user interface device having a function of scrolling an entire image, A pressing force detection unit that detects a pressing force with which the finger presses the operation surface; An operation determination unit that determines whether or not the drag operation has ended; When the operation determination unit determines that the drag operation has ended, the pressing force detected by the pressing force detection unit in at least a period after the end of the drag operation and a period after the end of the drag operation A scroll speed determination unit that determines a post-drag speed that is a scroll speed after the drag operation based on the size of And a scroll control unit that further scrolls the entire displayed image based on the determined post-drag speed after scrolling by the drag operation.
  • the scroll control unit increases the scroll speed to the post-drag speed when the user presses the finger against the operation surface immediately after performing the drag operation
  • the user interface device according to item.
  • the tactile response control unit that controls the tactile response mechanism unit to give a tactile response corresponding to the scroll speed to the finger via the operation surface.
  • the operation determination unit determines whether or not the finger is in contact with the operation surface.
  • the scroll control unit further scrolls the entire image based on the determined post-drag speed (1).
  • the scroll control unit stores information indicating the direction of scrolling performed in response to the drag operation, and refers to the information thereafter, thereby responding to the drag operation after the drag operation.
  • the user interface device according to any one of (1) to (6), wherein the entire image is further scrolled in the same direction as the scroll direction.
  • the scroll speed determination unit sequentially detects the pressing force by the pressing force detection unit at least in a period after the end of the drag operation and a period after the end, and after the drag operation.
  • the user interface device according to any one of (1) to (7), wherein a speed is determined for each time point based on a maximum value among a plurality of detection values acquired for the pressing force until that time point. .
  • the operation determination unit sequentially determines whether or not the finger is in contact with the operation surface after the end of the drag operation.
  • the scroll speed determination unit determines that the post-drag speed is zero regardless of the maximum value of the pressing force when the operation determination unit determines that the finger is not in contact with the operation surface ( The user interface device according to item 8).
  • the scroll speed determining unit determines that the pressing force increases immediately after the end of the drag operation and becomes a first value, and thereafter decreases and becomes a second value.
  • the user interface device according to item (8) or (9), wherein the scrolling speed is controlled to increase after the dragging speed determined according to the first value and then maintained.
  • the display is performed by a display function for displaying an image, a touch panel function for sequentially outputting a contact position of a user's finger touching the operation surface as time passes, and a drag operation by the finger on the operation surface.
  • a method of scrolling an image in a user interface device having a function of scrolling the entire image The user interface device includes a pressing force detection unit that detects a pressing force with which the finger presses the operation surface, The method is A first step of determining whether or not the drag operation has ended; If it is determined in the first step that the drag operation has been completed, the pressing force detected by the pressing force detector during at least the period after the end of the drag operation and the period after the end of the drag operation.
  • the pressing force is sequentially detected by the pressing force detection unit during at least a period after the end of the drag operation and a period after the end, and the drag operation is performed.
  • a method of scrolling an image on a user interface device that allows the user to input by displaying an image on a screen and touching the operation surface with a finger in association with the displayed image.
  • a drag operation with the finger is performed on the operation surface, a first step of scrolling the image; After the drag operation is finished, the finger does not leave the operation surface, and the finger continues to contact the operation surface at substantially the same position on the operation surface.
  • the image scrolling method, and the program of the present invention when the entire information cannot be displayed on the screen, the portion of the entire information that is not displayed on the screen and is far from the screen is also displayed. It can be displayed in a short time with a simple operation.
  • FIGS. 1A, 1B, and 1C show a user's information performed during a “drag click” operation of the portable information device 1 equipped with the user interface device according to the first exemplary embodiment of the present invention. It is a front view shown with an example of a series of movements of a finger, and FIG. 1 (C2) is a side view showing pushing by a finger performed during a “drag click” operation.
  • FIG. 2 is a graph showing various variations of the correspondence relationship between the pressing force p C by the user's finger and the post-drag speed v AD that can be adopted by the portable information device shown in FIG. FIG.
  • FIG. 3 is a graph showing an example of the temporal change of the pressing force p C by the user's finger during the “drag click” operation in the portable information device shown in FIG. 1 and the temporal change of the scroll speed corresponding to the graph. It is a graph which shows an example.
  • FIG. 4 is a perspective view schematically showing the configuration of the portable information device shown in FIG. 1, and a flowchart schematically showing an embodiment of an image scrolling method in the portable information device.
  • FIG. 5 is a functional block diagram showing an embodiment of the portable information device shown in FIG. FIG.
  • FIG. 6 shows an example of a temporal change in pressing force p C by a user's finger during a “drag click” operation in a portable information device equipped with a user interface device according to the second exemplary embodiment of the present invention. It is a graph which shows an example of the time change of the scroll speed corresponding to it.
  • FIG. 7 is a perspective view schematically showing a configuration of the portable information device according to the second embodiment, and a flowchart schematically showing an embodiment of an image scrolling method in the portable information device.
  • the user interface device scrolls the entire image displayed on the display in the direction and amount corresponding to the drag operation, and then the user's finger.
  • the image is further scrolled at a speed determined according to the magnitude of the pressing force applied to the touch panel (an example of the degree of finger contact with the touch panel).
  • a drag operation operation for generating a preceding scroll
  • a subsequent press on the touch panel by a finger using the press as a trigger to generate a subsequent scroll following the preceding scroll
  • drag click operation for generating a preceding scroll
  • a subsequent press on the touch panel by a finger using the press as a trigger to generate a subsequent scroll following the preceding scroll
  • the “whole image” is a part of the whole information that is to be scrolled when the whole information is displayed on a display screen regardless of whether it is a part or the whole. is there.
  • the part to be scrolled is the entire entire information.
  • the portion of the entire information displayed on the screen becomes the scroll target.
  • the user interface device targeted by the present invention information is input when the user's finger touches the touch panel. For this reason, most of this type of user interface device is mounted on a portable information device such as a smartphone or a tablet computer that can be carried and operated by a user. Accordingly, hereinafter, as some exemplary embodiments of the present invention, a case where the present invention is applied to a user interface device of a portable information device will be described as an example.
  • FIG. 1 is a front view of a portable information device 1 equipped with a user interface device according to a first exemplary embodiment of the present invention, and an example of a series of movements of a user's finger performed during a “drag click” operation.
  • FIG. 1 is a front view of a portable information device 1 equipped with a user interface device according to a first exemplary embodiment of the present invention, and an example of a series of movements of a user's finger performed during a “drag click” operation.
  • FIG. 1 (A), (B) and (C1) are front views showing the portable information device 1 together with a series of finger movements performed during a “drag click” operation.
  • FIG. 1 (C2) is a side view showing pushing with a finger during a “drag click” operation.
  • images representing the plurality of search results are displayed on the screen of the display 101.
  • images representing the plurality of search results are displayed on the screen of the display 101.
  • the 50 search result entries 104 only the first to fifth search result entries 104 are displayed on the screen.
  • the user touches the touch panel 100 and immediately moves (slides) the finger while keeping the contact. That is, a so-called drag operation is performed.
  • the image including the plurality of search result entries 104 is also scrolled upward in accordance with the movement of the finger.
  • the search result entries 104 from the fourth case to the eighth case among all the search result entries 104 are displayed.
  • the user can adjust the scrolling speed while adjusting the strength of pushing the finger.
  • the search result entries 104 among the search result entries 104, the search result entries 104 from the forty-second to forty-sixth that are not displayed on the screen and are located far from the screen are displayed in a short time.
  • the Thereafter, for example, the user can find and select the 45th search result entry 104 as a search result that is optimal for the user (a desired portion of the plurality of search result entries 104), and activate it. it can.
  • the moving amount (scroll amount) of the image at the time of the drag operation may coincide with the moving amount of the finger, or may be an appropriate function value of the moving amount of the finger, such as a constant multiple of the moving amount of the finger. Good.
  • the direction of movement of the finger is not limited to the upper side.
  • the finger can be moved in any direction on the surface of the touch panel 100, and the image can be moved in any of the upper, lower, left, right, and diagonal directions corresponding to the direction of the finger movement. It can be.
  • the scroll direction after the drag operation matches the scroll direction at the time of the drag operation. Thereby, the user can further continue scrolling in the same direction as the intended scroll direction by the drag operation.
  • a scroll control unit 123 (FIG. 5), which will be described later, inputs and holds information on the direction of scrolling during the drag operation from the operation determination unit 121 (FIG. 5). After the drag operation, the scroll control unit 123 further scrolls the entire image in the same direction as the scroll at the time of the drag operation.
  • a portion of the entire information that is not displayed on the screen and is far from the screen can be quickly displayed by the “drag click” operation without using a number of drag operations. Can be displayed.
  • the user can freely adjust the scrolling speed during scrolling, a large portion of the entire information that was not displayed on the screen can be viewed at a pace desired by the user in a short time. Can be confirmed.
  • the pushing of the finger after the drag operation exerts a pressing force p C on the touch panel 100.
  • the scroll speed determination unit 122 to be described later determines the speed of the scrolling after the drag operation.
  • this speed is referred to as a “post-drag” speed in the sense of the speed realized after the drag operation among the scroll speeds.
  • this “after dragging” speed means the target value of the scrolling speed in terms of system design.
  • the actual scroll speed value at each time point is the target value of the scroll speed at the same time if the virtual system does not take into account the response delay. Although they match, there is actually a response delay, so they do not match.
  • the term “after dragging” speed is used as a term that is substantially equivalent to the actual speed of the subsequent scroll after the drag operation.
  • the tactile response mechanism 102 (FIG. 4), which will be described later, can give the finger a tactile response corresponding to the scroll speed.
  • the “post-drag” speed (the target value of the scroll speed) is determined to be a larger value, so that the higher the scroll speed, the stronger vibration v is applied to the finger. .
  • the user can experience the high scroll speed from the strength of the vibration applied to the finger, and can obtain a realistic operation feeling.
  • a speed vector arrow 105 representing the scroll speed at that time as a speed vector is displayed on the screen during at least the latter scroll among the scroll accompanying the drag operation and the scroll accompanying the finger press.
  • the speed vector arrow 105 is, for example, an arrow having a length proportional to the scroll speed and pointing in the same direction as the scroll direction. The user can adjust the pressing operation while confirming the scroll state by visually recognizing the speed vector arrow 105.
  • the function f (p C ) defines the correspondence between the pressing force p C and the “after drag” speed v AD .
  • the “post-drag” speed v AD has a linear relationship with the pressing force p C and has a positive inclination, and is continuously set to a higher value as the pressing force p C increases.
  • this relationship 2b is adopted as the function f (p C )
  • the scroll speed after the drag operation increases in proportion to the amount of pressing the finger.
  • the “post-drag” velocity v AD is a function that increases monotonically with increasing pressing force p C , as in relations 2b, 2c and 2d, or the relations 2b, 2c and It is preferable that the function not decrease with respect to the increase of the pressing force p C as in the relations 2a and 2e as well as 2d. That is, it is preferable that the setting is such that the “after dragging” speed v AD does not decrease when the pressing force p C is increased. Thereby, the user can basically maintain the feeling that stronger pressing results in faster scrolling.
  • the “after dragging” speed v AD is set to 0 (zero) when the pressing force p C is less than the threshold value p TH0 .
  • this threshold value p TH0 is normally set larger than the pressing force value applied to the touch panel 100 while the finger is performing a drag operation.
  • the user does not perform the pressing operation with the finger pressing force p C being equal to or greater than the threshold value p TH0 until the user performs the pressing operation.
  • the entire image can be scrolled again without passing through a period in which the scrolling is not performed or without passing through such a period.
  • the threshold value p TH0 can be set to a value in the range of 0.5N (Newton) to 2.0N , for example.
  • the entire image is displayed without touching the finger without performing additional pressing operation with the finger. Scrolling is performed at a “post-drag” speed v AD corresponding to the pressing force p C by.
  • FIG. 3 is a graph showing an example of a temporal change in the pressing force p C by the user's finger during the “drag click” operation, and a graph showing an example of a temporal change in the scroll speed corresponding thereto. These graphs show that the temporal change in the pressing force and the temporal change in the scroll speed are not completely synchronized, and there is a response delay between them.
  • the scrolling speed increases from v D to a “post-drag” speed v ADA (> v D ).
  • the scroll speed is the length of the acceleration period 3a between increasing from v D to v ADA goal is to determine the scrolling response to "click drag" operation. Therefore, it is preferable that the length of the acceleration period 3a can be adjusted by the user so as to give a good operational feeling.
  • the pressing force value p CA is a value equal to or larger than the threshold value p TH0 (FIG. 2) (p CA ⁇ p TH0 ), and is a value sufficient to start scrolling after the drag operation.
  • the “post-drag” speed v AD (actual value of scroll speed), which is sequentially determined during this change, also increases with time from v ADA to v ADB (> v ADA ).
  • FIG. 4 is a perspective view schematically showing a configuration of the portable information device 1, and a flowchart schematically showing an embodiment of an image scrolling method in the portable information device 1.
  • FIG. 5 is a functional block diagram showing an embodiment of the portable information device 1.
  • the portable information device 1 includes a touch panel 100, a display 101, a tactile response mechanism unit 102, a pressing force detection unit 103, and a processor memory.
  • the processor memory realizes its function by executing a program for executing the image scrolling method.
  • the processor and the memory cooperate with each other to constitute a computer.
  • a program for executing the input operation determination method is stored in advance in the memory.
  • the memory is an example of a recording medium that records the program in a computer-readable and non-transient manner. A part of the memory is indicated by “122m”, and the function of the memory 122m will be described in detail later.
  • Display 101 displays an image on the screen.
  • the touch panel 100 is arrange
  • a projected capacitive touch panel, a surface capacitive touch panel, a resistive touch panel, an ultrasonic surface acoustic wave touch panel, an infrared scanning touch panel, or the like can be employed.
  • the tactile response mechanism unit 102 vibrates the touch panel 100 to give a tactile response as a response to a specific operation to a finger that has touched the touch panel 100. For example, when a finger is pushed into the touch panel 100 after a drag operation, the tactile response mechanism unit 102 has a vibration v having a strength corresponding to the scroll speed controlled by the pressing force p C (FIG. 1 (C1)). And (C2)) to the finger.
  • the tactile response mechanism 102 can be a piezoelectric actuator formed using a piezoelectric material such as PZT (lead zirconate titanate).
  • the pressing force detection unit 103 detects a pressing force p C applied to the touch panel 100 by a finger.
  • the pressing force detection unit 103 is installed, for example, under the four corners of the touch panel 100, and the total of four force components for pressing the pressing force detection unit 103 by the touch panel 100 that is bent by pressing a finger at these four locations. The value is detected as a pressing force p C.
  • the pressing force signal output by the pressing force detection unit 103 is input to a scroll speed determination unit 122 described later.
  • the pressing force detection unit 103 can be, for example, a piezoelectric sensor formed using a piezoelectric material such as PZT. In addition to or in addition to providing the tactile response mechanism unit 102 formed of a piezoelectric actuator, the pressing force detection unit 103 can be used as a tactile response mechanism unit.
  • the pressing force p C at which the finger presses the operation surface of the touch panel 100 is an example of a physical quantity that represents the degree of contact of the finger with the operation surface.
  • the degree of contact is expressed by the area where the finger contacts the operation surface instead of the pressing force p C , or expressed by the amount of change in the electrical characteristics generated when the finger contacts the operation surface, It can be expressed by the amount of change in temperature generated by contacting the operation surface. Therefore, the present embodiment, by substituting a different physical quantity pressing force p C equivalently, can be implemented by changing.
  • the processor memory inputs a finger contact position signal output from the touch panel 100 and a pressing force signal output from the pressing force detection unit 103, and “drag click” by the user's finger based on these signals.
  • the operation is identified, and the entire image is scrolled according to the content of the operation.
  • the functional configuration of the processor memory will be described with reference to FIG.
  • the processor memory includes an operation determination unit 121, a scroll speed determination unit 122, a scroll control unit 123, a tactile response control unit 124, and a display control unit 111. And an application processing unit 112.
  • the operation determination unit 121 inputs a finger contact position signal output from the touch panel 100, and whether or not the finger contact position has moved immediately after the finger touches the touch panel 100, that is, whether or not a drag operation has started. And the determination result is output to the scroll control unit 123. Further, after that, it is determined whether or not the movement of the contact position has ended, that is, whether or not the drag operation has ended, and the determination result is also output to the scroll controller 123.
  • the scroll speed determination unit 122 receives a pressing force signal from the pressing force detection unit 103, and determines the “after dragging” speed v AD according to the magnitude of the pressing force p C after the drag operation.
  • the scroll speed determination unit 122 stores a predetermined relationship between the pressing force p C and the “post-drag” speed v AD as shown in FIG. 2, for example, in the memory 122m.
  • the scroll speed determination unit 122 sequentially calculates the “after dragging” speed v AD corresponding to the pressing force p C value received from the pressing force detection unit 103 using the stored relationship, and sends it to the scroll control unit 123. Output sequentially.
  • the scroll control unit 123 instructs the display control unit 111 to scroll the entire image when the determination result that the drag operation is started is input from the operation determination unit 121.
  • the scroll control unit 123 further determines the scroll direction and the scroll amount based on the movement direction and the movement amount of the finger contact position in the drag operation input from the operation determination unit 121, Instruct.
  • the scroll control unit 123 further scrolls the entire image at the “post-drag” speed v AD output from the scroll speed determination unit 122.
  • the display control unit 111 is instructed to do so.
  • the direction of the further scroll (subsequent scroll) is preferably the same as the direction of the scroll by the drag operation.
  • the tactile response control unit 124 inputs instruction information for instructing further scrolling output from the scroll control unit 123, and a tactile response corresponding to the scroll speed (for example, vibration v (FIG. 1 (C1) and (C2 The tactile response mechanism 102 is controlled to give))) to the finger.
  • a tactile response corresponding to the scroll speed for example, vibration v (FIG. 1 (C1) and (C2
  • the tactile response mechanism 102 is controlled to give)
  • the change from v AD1 to v AD2 can be performed continuously and smoothly instead of stepwise.
  • the haptic response control unit 124 can change the strength of the haptic response (vibration v) so as to be linked to the actual smoothly changing scroll speed.
  • the display control unit 111 inputs application processing information from the application processing unit 112 and causes the display 101 to display an image corresponding to the execution of the application.
  • the display control unit 111 also receives instruction information output from the scroll control unit 123 to instruct to scroll the entire image, and displays the display so as to scroll the entire image according to the instructed scroll condition. 101 is displayed.
  • the touch panel 100 detects a finger contact (step S401).
  • the operation determination unit 121 determines whether or not a drag operation has been started (step S402). If it is determined that the drag operation has started, the scroll control unit 123 scrolls the entire image in accordance with the drag operation (step S403).
  • the operation determination unit 121 determines whether or not the drag operation has ended (step S404). Here, when it is determined that the drag operation has not ended, the scrolling is continued (step S403).
  • the operation determination unit 121 further determines whether or not the finger is in contact with the touch panel 100 (step S411).
  • the “drag click” operation is not performed, and the present image scrolling method is performed without further scrolling. This execution of is finished.
  • the pressing force detection unit 103 measures the pressing force p C by the finger (step S412).
  • a pressing force p C equal to or greater than a predetermined threshold value p TH0 (FIG. 2) is detected, a “drag click” operation has been performed.
  • the pressing force detection unit 103 is always a pressing force p C may be monitored (monitoring).
  • the scroll speed determination unit 122 determines the “after drag” speed v AD of the scroll according to the magnitude of the pressing force p C after the drag operation (step S413).
  • the scroll control unit 123 further scrolls the entire image at the determined “post-drag” speed v AD (step S414). Note that the steps from S412 to S414 described above are repeated until it is determined in step S411 that the finger is not in contact.
  • the “after dragging” speed v AD determined according to the magnitude of the finger pressing force p C After the drag operation, the entire image is further scrolled.
  • the entire information that is the work target of the user cannot be displayed on the screen
  • the portion of the entire information that is not displayed on the screen but is far from the screen is displayed in a short time with a simple operation. be able to.
  • the portable information device 1 according to the second exemplary embodiment of the present invention will be described. However, since there are elements in common with the first embodiment in the present embodiment, the description of the common elements will be omitted by using the same names and symbols, and only different elements will be described in detail. .
  • the image is scrolled.
  • the user's finger does not leave the operation surface, and is almost the same on the operation surface.
  • a subsequent scroll for further scrolling the image is performed without or after a stop period. Further, the speed of the subsequent scroll is controlled so as to increase continuously or stepwise according to the increase of the degree of finger contact with the operation surface.
  • the speed of the subsequent scroll is controlled so as not to decrease in accordance with the decrease in the degree of contact.
  • the pressing force with which the finger presses the operation surface which is an example of the degree of contact of the finger, is sequentially detected at least during the period after the end of the drag operation and the period after the end.
  • the speed of the subsequent scroll is determined for each time point based on the maximum value among the plurality of detection values acquired for the pressing force up to that time point.
  • the magnitude of the pressing force referred to in order to determine the “post-drag” speed v AD is the maximum value among a plurality of pressing force values detected immediately after the drag operation until that point for each time point. It is.
  • FIG. 6 is a graph showing an example of the temporal change of the pressing force p C by the user's finger during the “drag click” operation and the temporal change of the scroll speed corresponding to this embodiment, as in FIG. It is a graph which shows an example. Also in the example illustrated in FIG. 6, it is assumed that the pressing force p C and the “post-drag” speed v AD have the relationship 2 b (direct proportional relationship) in FIG. 2.
  • Scrolling speed at that time corresponds to the moving speed of the finger, a v D.
  • the pressing force maximum value p MAX during this period is the pressing force p C (t) value at that time (time t).
  • the scroll speed increases to a “post-drag” speed v ADA (> v D ).
  • the user begins to push the finger more strongly.
  • the pressing force maximum value p MAX during this period is a peak value (maximum value) p CB of the pressing force p C and is constant.
  • the “after drag” speed v AD also continues to take a value corresponding to this maximum value, and as a result, the scroll speed also maintains this “after drag” speed v AD . Will do.
  • the latest pressing force p C value is The maximum pressing force value p MAX stored in the memory 122m is updated so as to be reflected.
  • the latest “post-drag” speed v AD is determined based on the updated maximum pressing force value p MAX .
  • the stored pressing force maximum value p MAX is rewritten to a measured value exceeding itself only when a pressing force p C value exceeding itself is measured. Therefore, the values stored in the memory 122m always the maximum value of the pressing force p C at each time point after the drag operation.
  • FIG. 7 is a perspective view schematically showing a configuration of the portable information device 1 according to the present embodiment, and a flowchart schematically showing an embodiment of an image scrolling method in the portable information device 1.
  • the portable information device 1 includes a touch panel 100, a display 101, a tactile response mechanism unit 102, a pressing force detection unit 103, and the processor memory. Have.
  • the processor memory includes an operation determination unit 121, a scroll speed determination unit 122, a scroll control unit 123, a tactile response control unit 124, a display control unit 111, An application processing unit 112 and a memory 122m are included. Since these elements are the same as the plurality of elements in the first embodiment except for the scroll speed determination unit 122, the duplicate description is omitted, and only the scroll speed determination unit 122 will be described in detail.
  • the scroll speed determination unit 122 receives the pressing force signal from the pressing force detection unit 103, and the “after dragging” speed v AD according to the maximum value of the pressing force p C after the drag operation (the pressing force maximum value p MAX ) . To decide.
  • the scroll speed determination unit 122 stores the maximum value of the pressing force p C at each time point after the drag operation (the pressing force maximum value p MAX ) in the memory 122m, and sets the “after dragging” speed v AD . For each time point, a value corresponding to the maximum value p MAX at each time point is determined. In addition, when the pressing force p C value exceeding the stored maximum value p MAX is measured, the scroll speed determination unit 122 has measured the stored value (the pressing force maximum value p MAX ) in the memory 122m. Rewrite the pressing force p C value.
  • the scroll speed determination unit 122 stores a predetermined relationship between the maximum pressing force value p MAX and the “post-drag” speed v AD as illustrated in FIG. 2 in the memory 122m. In accordance with the stored relationship, the scroll speed determination unit 122 calculates the “post-drag” speed v AD corresponding to the maximum value of the pressing force p C received from the pressing force detection unit 103 (the stored pressing force maximum value p MAX ). It calculates sequentially and outputs to the scroll control part 123 sequentially.
  • the touch panel 100 detects a finger contact.
  • the operation determination unit 121 determines whether or not a drag operation has been started.
  • step S503 If it is determined in step S502 that the drag operation has started, the scroll control unit 123 scrolls the entire image in accordance with the drag operation. When it is determined that the drag operation has not been started, the contact measurement is repeated (step S501).
  • step S504 the operation determination unit 121 determines whether or not the drag operation has ended. Here, when it is determined that the drag operation has not ended, the scrolling is continued (step S503).
  • the process proceeds from the scroll stage by the drag operation to the scroll preparation stage by the push operation.
  • the operation determination unit 121 further determines whether or not the finger is in contact with the touch panel 100. Here, when it is determined that the finger is not in contact with the touch panel 100 (the finger has moved away from the touch panel 100), it is determined that the “drag click” operation is not performed, and the scrolling is ended.
  • the pressing force detection unit 103 measures the pressing force p C by the finger.
  • the scroll speed determining unit 122 determines the “after drag” speed v AD of the scroll according to the value of the parameter p MAX (the maximum pressing force value p MAX after the drag operation).
  • p MAX the maximum pressing force value p MAX after the drag operation.
  • step S512 the scroll control section 123, "after drug" is determined the entire image is further scrolled at a velocity v AD.
  • steps from S512 to S517 described above are repeated while it is determined in step S512 that the finger is in contact.
  • the current detection value of the pressing force when the current detection value of the pressing force is increased from the previous detection value, the current detection value of the pressing force conforms to any one of the plurality of relationships shown in FIG. If the current value of “after dragging” speed v AD is determined so as to meet the requirement, while the current detection value of the pressing force is the same as or lower than the previous detection value, use either relationship. Rather, the current value of the “after drag” speed v AD is determined to be equal to the previous value. As a result, even if the finger is released after the start of the subsequent scroll, the scroll speed is maintained at the “post-drag” speed v AD just before the release.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置において前記画像をスクロールする方法であって、前記操作面に対して前記指によるドラッグ操作が行われると、前記画像をスクロールし、前記ドラッグ操作の終了後に、前記指が前記操作面から離れることなく、前記操作面上におけるほぼ同じ位置において前記指が前記操作面に接触し続けると、停止期間を経るかまたは経ることなく、前記画像を更にスクロールする後続スクロールを行うものが開示される。

Description

指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム
　本発明は、画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面を操作することにより、ユーザの入力を可能とするユーザインタフェース装置に関連する技術に関する。
　従来から、ユーザが指、スタイラス等で画面を操作することによって入力操作を行うことが可能なユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)などによって代表される携帯型情報機器では、指によるユーザの操作を入力として受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
　タッチパネルの搭載の有無を問わず、携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、携帯型情報機器がユーザインタフェースとして複数の物理的な入力キーまたはボタンを採用した場合には、それら入力キー自体のサイズを小さくしなければならず、その結果、携帯型情報機器の操作性の低下が懸念される。これに対し、携帯型情報機器のユーザインタフェースとして、物理的なボタンに代えて仮想的なボタンを有するタッチパネルを採用した場合、仮想的なボタンのサイズを、それに対応するアプリケーションの機能に応じて適切に変更することができ、携帯型情報機器の操作性の向上を図ることができる。
　指によるタッチパネルへの入力では、ディスプレイに表示される画像全体を移動させる操作を如何に行うかが、操作性向上のための１つのポイントとなる。特に、携帯型情報機器では、ディスプレイの画面のサイズが限定されているので、文書、イメージ等の情報を画面に表示し切れない場合が多い。従って、画像の表示可能領域または表示枠を全体情報に対して移動させ、その全体情報のうち、画面からはみ出た（隠れた）部分を画面上に移動させて画面に表示するための操作が重要となる。
　従来から、全体情報が、画面に表示し切らない場合に、その全体情報のうち、画面からはみ出た部分を画面内に移動させて画面上に表示する方法として、スクロールが知られている。スクロールは、画面に表示されている画像全体を画面の上下方向、又は左右方向に移動させ、全体情報のうち、画面外に隠れていた（とされる）部分を引き出して画面上に表示させる操作手法である。一般に、パーソナルコンピュータでは、画面の端に設けられたスクロールバーを上下に又は左右に移動させたり、マウスのホイールを回転させたり、又はこのホイールを押下しつつマウスを移動させたりして画像全体をスクロールすることができる。
　また、カーナビゲーション装置では、地図のうち、指の接触位置の直下にある地点が、画面の中心にくるようにスクロールする、いわゆるワンタッチスクロールが採用されている。このワンタッチスクロールでは、タッチの時間間隔が閾値以下の場合に、スクロールと共に画面をズームアウトする技術が提案されている（特許文献１参照）。この技術では、地図のうち、表示中の画面から遠く離れた位置をディスプレイ中心にスクロールすることが図られる。また、ユーザがタッチパネル上に置いた指でスクロール操作を行った場合でも、極僅かな時間の間、瞬間的に触れた場合でも、入力ミスの低減が図られる技術も存在する（特許文献２参照）。
　一方で、多くの携帯型情報機器でも、指をタッチパネルに接触させたまま移動させる、いわゆるドラッグ操作によって、画像全体をスクロールすることができる。また、携帯型情報機器の傾きを検知し、所定のタッチ操作を行いつつ、この傾きの大きさに応じてスクロール速度を変化させつつスクロールする技術も提案されている（特許文献３参照）。
特開２００９－２６５８３５号公報 特開２００７－１０６４５号公報 特開２０１１－７６３４９号公報
　しかしながら、携帯型情報機器で、指によるドラッグ操作によってスクロールする場合、全体情報が画面に表示し切れない場合に、全体情報のうち、画面に表示されていない、画面から遠い位置にある部分を画面に表示させようとすると、何度もドラッグ操作を行わなければならない。
　ここで、「遠い」位置とは、情報空間（サイズが無限に大きい仮想画面に全体情報を表示することを仮定すれば、全体情報のすべての部分に空間上の位置が割り当てられる）のうち、実際の画面から離れた位置を意味する。例えば、あるコンテンツの画像としての幅が、画面の幅よりも相当に大きい場合を考える。この場合、このコンテンツのうち、画面に表示されていない部分は、同じコンテンツの情報空間のうち、それの幅方向の端に近い位置にあるほど、画面から見てより「遠い」位置にあることになる。
　実際、画像全体を一度のドラッグ操作で移動させる場合、その移動量は、指の可動範囲、すなわち、画面内の２点間の距離に限られる。そのため、全体情報のうち、表示したい部分がより「遠い」位置にあるほど、より多くの回数だけドラッグ操作が必要となってしまう。
　この問題は、特許文献１乃至３に開示されたような従来技術を適用しても解決し難い。例えば、特許文献１及び２に開示されたようなワンタッチスクロールを採用しても、表示画像のうち、指の接触位置の真下にある部分が画面の中心に移動するだけであり、基本的に１回の操作での画像全体の移動量は限られている。また、この技術では、全体情報のうち、画面からはみ出ている部分から所望の部分を探し易くするためにスクロール速度を調整することも困難である。
　さらに、特許文献１の技術では、スクロールとともに画像全体をズームアウトして、全体情報のうち、画面に表示される部分の面積をより広くしている。これは、地図情報のスクロールの場合には有効であるが、例えば、携帯型情報機器で文書及びイメージのコンテンツにおいて、画面からはみ出ている部分から所望の部分を探す場合には、文字が小さくなって確認し難くなる等、弊害が多い。
　また、特許文献３のように、所定のタッチ動作を行いつつ、携帯型情報機器を傾け、その傾きの大きさに応じた速度でスクロールさせる操作は、スクロール速度を調整できる利点を有するものの、ユーザにとって決して容易ではない。また、ユーザは、画面を傾けた状態でスクロールされる画像を確認しなければならず、全体情報のうち、画面からはみ出ている部分から所望の部分を探し出すのに不便さが残る。
　そこで、本発明は、画面に表示し切れない全体情報のうち、画面に表示されていない、画面から遠い位置にある部分も、簡易な操作をもって短時間で表示することができるユーザインタフェース装置、画像スクロール方法及びプログラムを提供することを目的とする。
　本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
（１）　画像を表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能と、前記操作面上における前記指によるドラッグ操作により、前記表示されている画像全体をスクロールする機能とを有するユーザインタフェース装置であって、
　前記指が前記操作面を押圧する押圧力を検出する押圧力検出部と、
　前記ドラッグ操作が終了したか否かを判定する操作判定部と、
　その操作判定部によって前記ドラッグ操作が終了したと判定された場合に、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくとも終了後の期間に前記押圧力検出部によって検出された押圧力の大きさに基づいて、前記ドラッグ操作後のスクロールの速度であるドラッグ後速度を決定するスクロール速度決定部と、
　前記ドラッグ操作によるスクロールの後、前記決定されたドラッグ後速度のもとに、前記表示されている画像全体を更にスクロールするスクロール制御部と
　を含むユーザインタフェース装置。
（２）　前記スクロール制御部は、ユーザが、前記ドラッグ操作を行った直後に前記指を前記操作面に対して押し込んだ場合に、前記スクロールの速度を、前記ドラッグ後速度に増加させる（１）項に記載のユーザインタフェース装置。
（３）　前記操作面に接触している指に対して触覚応答を与える触覚応答機構部と、
　前記指に対して前記操作面を介して、前記スクロールの速度に応じた触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
　を更に含む（１）又は（２）項に記載のユーザインタフェース装置。
（４）　前記触覚応答制御部は、前記指に、前記スクロールの速度が高いほど強い振動を与えるように前記触覚応答機構部を制御する（３）項に記載のユーザインタフェース装置。
（５）　前記操作判定部は、前記ドラッグ操作が終了したと判定した場合に、前記指が前記操作面に接触しているか否かを判定し、
前記スクロール制御部は、前記操作判定部によって前記指が前記操作面に接触していると判定された場合に、前記決定されたドラッグ後速度のもとに、前記画像全体を更にスクロールする（１）乃至（４）項のいずれかに記載のユーザインタフェース装置。
（６）　前記スクロール速度決定部は、前記押圧力が所定閾値未満である場合に、前記ドラッグ後速度をゼロに決定する（１）乃至（５）項のいずれかに記載のユーザインタフェース装置。
（７）　前記スクロール制御部は、前記ドラッグ操作に対応して行われたスクロールの向きを表す情報を保存し、その情報をその後に参照することにより、前記ドラッグ操作後に、そのドラッグ操作に対応するスクロールの向きと同じ向きで、前記画像全体を更にスクロールする（１）乃至（６）項のいずれかに記載のユーザインタフェース装置。
（８）　前記スクロール速度決定部は、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくとも終了後の期間に、前記押圧力検出部によって前記押圧力を逐次検出するとともに、前記ドラッグ後速度を、各時点ごとに、その時点までに前記押圧力について取得された複数の検出値のうちの最大値に基づいて決定する（１）乃至（７）項のいずれかに記載のユーザインタフェース装置。
（９）　前記操作判定部は、前記ドラッグ操作の終了後、前記指が前記操作面に接触しているか否かを逐次判定し、
　前記スクロール速度決定部は、前記操作判定部によって前記指が前記操作面に接触していないと判定された場合に、前記押圧力の最大値にかかわらず、前記ドラッグ後速度をゼロに決定する（８）項に記載のユーザインタフェース装置。
(１０)　前記スクロール速度決定部は、前記押圧力が、前記ドラッグ操作の終了直後に増加して第１値となり、その後、減少して第２値となるというように時間的に変化した場合に、前記スクロールの速度を、前記第１値に応じて決定されたドラッグ後速度に増加し、その後、維持されるという特性で制御する（８）又は（９）項に記載のユーザインタフェース装置。
(１１)　画像を表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能と、前記操作面上における前記指によるドラッグ操作により、前記表示されている画像全体をスクロールする機能とを有するユーザインタフェース装置において画像をスクロールする方法であって、
　前記ユーザインタフェース装置は、前記指が前記操作面を押圧する押圧力を検出する押圧力検出部を含み、
　当該方法は、
　前記ドラッグ操作が終了したか否かを判定する第１のステップと、
　その第１のステップにおいて前記ドラッグ操作が終了したと判定された場合に、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくとも終了後の期間に前記押圧力検出部によって検出された押圧力の大きさに基づいて、前記ドラッグ操作後のスクロールの速度であるドラッグ後速度を決定する第２のステップと、
　前記ドラッグ操作によるスクロールの後、前記決定されたドラッグ後速度で、前記表示されている画像全体を更にスクロールする第３のステップと
　を含む方法。
(１２)　前記第２のステップは、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくともに終了後の期間に、前記押圧力検出部によって前記押圧力を逐次検出するとともに、前記ドラッグ後速度を、各時点ごとに、その時点までに前記押圧力について取得された複数の検出値のうちの最大値に基づいて決定する（１１）項に記載の方法。
(１３)　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置において前記画像をスクロールする方法であって、
　前記操作面に対して前記指によるドラッグ操作が行われると、前記画像をスクロールする第１のステップと、
　前記ドラッグ操作の終了後に、前記指が前記操作面から離れることなく、前記操作面上におけるほぼ同じ位置において前記指が前記操作面に接触し続けると、停止期間を経るかまたは経ることなく、前記画像を更にスクロールする後続スクロールを行う第２のステップと
　を含む方法。
（１４）　前記第２のステップは、前記後続スクロールの速度を、前記操作面に対する前記指の接触度合いが増加すればそれに応じて連続的にまたは段階的に増加するように制御する（１３）項に記載の方法。
(１５)　前記第２のステップは、前記後続スクロールの速度を、前記接触度合いが減少してもそれに応じて減少しないように制御する（１４）項に記載の方法。
（１６）　（１１）乃至（１５）項のいずれかに記載の方法を実行するためにコンピュータによって実行されるプログラム。
　本発明のユーザインタフェース装置、画像スクロール方法及びプログラムによれば、全体情報が画面に表示し切れない場合に、その全体情報のうち、画面に表示されていない、その画面から遠い位置にある部分も、簡易な操作をもって短時間で表示させることができる。
図１（Ａ）、（Ｂ）及び（Ｃ１）は、本発明の例示的な第１実施形態に従うユーザインタフェース装置を搭載した携帯型情報機器１を、「ドラッグクリック」操作中に行われるユーザの指の一連の動きの一例と共に示す前面図であり、また、図１（Ｃ２）は、「ドラッグクリック」操作中に行われる指による押し込みを示す側面図である。 図２は、図１に示す携帯型情報機器が採用し得る、ユーザの指による押圧力ｐＣとドラッグ後速度ｖＡＤとの対応関係の種々のバリエーションを示すグラフである。 図３は、図１に示す携帯型情報機器において、「ドラッグクリック」操作中におけるユーザの指による押圧力ｐＣの時間的変化の一例を示すグラフと、それに対応したスクロール速度の時間的変化の一例を示すグラフである。 図４は、図１に示す携帯型情報機器の構成を概略的に示す斜視図、及びその携帯型情報機器における画像スクロール方法の一実施形態を概略的に示すフローチャートである。 図５は、図４に示す携帯型情報機器の一実施形態を示す機能ブロック図である。 図６は、本発明の例示的な第２実施形態に従うユーザインタフェース装置を搭載した携帯型情報機器において、「ドラッグクリック」操作中におけるユーザの指による押圧力ｐＣの時間的変化の一例と、それに対応したスクロール速度の時間的変化の一例を示すグラフである。 図７は、前記第２実施形態に従う携帯型情報機器の構成を概略的に示す斜視図、及びその携帯型情報機器における画像スクロール方法の一実施形態を概略的に示すフローチャートである。
　以下、図面を参照することにより、本発明の例示的ないくつかの実施形態を詳細に説明する。
　まず、概略的に説明するに、本発明によるユーザインタフェース装置は、ユーザがドラッグ操作を行うと、ディスプレイに表示された画像全体を前記ドラッグ操作に応じた向き及び量でスクロールした後、ユーザの指によりタッチパネルに与えられる押圧力の大きさ（タッチパネルに対する指の接触度合いの一例）に応じて決定された速度で、前記画像を更にスクロールする点に特徴を有する。
　以下、説明の便宜上、ドラッグ操作（先行スクロールを発生させるための操作）と、その後の指によるタッチパネルに対する押し込み（その押し込みをトリガとして、前記先行スクロールに後続する後続スクロールを発生させる）とを合わせて、「ドラッグクリック」操作と称する。
　ここで、「画像全体」とは、全体情報が、一部であるか全体であるかを問わず、ディスプレイの画面に表示される場合に、その全体情報のうち、スクロールの対象となる部分である。全体情報が画面に収まる場合には、そのスクロールの対象となる部分は、その全体情報の全体である。これに対し、全体情報が画面に収まり切らない場合には、全体情報のうち、画面に表示された部分が、スクロール対象となる。
　なお、本発明が対象とするユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。そのため、この種のユーザインタフェース装置の多くは、ユーザが手で持って携帯して操作することが可能であるスマートフォンやタブレット型コンピュータのような携帯型情報機器に搭載される。従って、以下、本発明の例示的ないくつかの実施形態として、本発明を携帯型情報機器のうちのユーザインタフェース装置に適用して場合を例にとり、説明する。
　図１は、本発明の例示的な第１実施形態に従うユーザインタフェース装置を搭載した携帯型情報機器１の前面図、及び、「ドラッグクリック」操作中に行われるユーザの指の一連の動きの一例を示す概略図である。
　なお、容易な理解のため、以下、携帯型情報機器１の画面に、ユーザがある条件を指定し、その条件のもとである検索エンジン用いて検索を行った結果得られた複数の検索結果を表す複数の検索結果エントリを含む画像（例えば、テキスト文書）が表示され、その画像がユーザの指の動きに応じてスクロールされる場合を取り上げるが、本発明は当然に、他の情報を表す画像のスクロールに対しても適用されるものである。
　図１（Ａ）、（Ｂ）及び（Ｃ１）は、携帯型情報機器１を、「ドラッグクリック」操作中に行われる一連の指の動きと共に示す前面図である。また、図１（Ｃ２）は、「ドラッグクリック」操作中に行われる指による押し込みを示す側面図である。
図１に示す例においては、最初に、図１（Ａ）に示すように、ディスプレイ１０１の画面に、前記複数の検索結果を表す画像が表示されている。本実施形態では、５０件の検索結果エントリ１０４のうち、第１件目から第５件目までの検索結果エントリ１０４のみが画面に表示されている。
　図１（Ａ）に示す例においては、ユーザは、指を、タッチパネル１００に接触させて直ちに、接触を保ったまま上側に移動（スライド）させる。すなわちいわゆるドラッグ操作を行う。これにより、図１（Ｂ）に示したように、複数の検索結果エントリ１０４を含む画像も、この指の移動に合わせて上側にスクロールされる。その結果、例えば、すべての検索結果エントリ１０４のうち、第４件目から第８件目までの検索結果エントリ１０４が表示される。
　このドラッグ操作の直後、ユーザは、ドラッグ操作が終了したときの指の接触位置で、指をタッチパネル１００に押し込む。これらドラッグ操作とその後の指による押し込みという一連の簡易な操作が、「ドラッグクリック」操作である。この操作によって、図１（Ｃ１）に示したように、検索結果エントリ１０４を含む画像は、ドラッグ操作によるスクロールに引き続き、指の押し込みに対応したより高い速度で、更にスクロールされる。
　ここで、ユーザは、指の押し込みの強さを加減しながらスクロールの速度を調整することができる。その結果、例えば、すべての検索結果エントリ１０４のうち、画面に表示されていない、画面から遠い位置に存在する第４２件目から第４６件目までの検索結果エントリ１０４が、短時間で表示される。その後、ユーザは、例えば、第４５件目の検索結果エントリ１０４を、ユーザにとって最適の検索結果（複数の検索結果エントリ１０４のうちの所望の部分）として見つけ出して選択し、それを起動させることができる。
　なお、ドラッグ操作時における画像の移動量（スクロール量）は、指の移動量と一致していてもよく、指の移動量の定数倍等、指の移動量の適当な関数値であってもよい。また、当然に、指の移動する向きは上側に限定されるものではない。例えば指をタッチパネル１００の表面上での任意の向きに移動させ、画像を、この指の移動の向きに対応した、上側、下側、左側、右側、さらには斜めの向きのいずれにも移動可能とすることができる。
　さらに、ドラッグ操作後のスクロールの向きは、そのドラッグ操作時のスクロールの向きに一致させることが好ましい。これにより、ユーザは、ドラッグ操作によって意図したスクロールの向きと同じ向きのスクロールを、更に継続して行うことができる。この際、後述するスクロール制御部１２３（図５）が、ドラッグ操作時のスクロールの向きの情報を操作判定部１２１（図５）から入力して保持することが好ましい。スクロール制御部１２３は、ドラッグ操作後に、このドラッグ操作時のスクロールと同じ向きで、画像全体を更にスクロールさせる。
　このように、本実施形態によれば、多数回のドラッグ操作によらずとも、「ドラッグクリック」操作によって、全体情報のうち、画面に表示されていない、画面から遠い位置にある部分を短時間で表示させることができる。また、スクロールの間、そのスクロールの速度をユーザが自由に調整することができるので、全体情報のうち、画面に表示されていなかった多くの報部分を、ユーザが望むペースで、短時間に閲覧し確認することができる。
　図１（Ｃ２）によれば、ドラッグ操作後の指の押し込みは、タッチパネル１００に対して押圧力ｐＣを及ぼす。この押圧力ｐＣの大きさに応じて、後述するスクロール速度決定部１２２（図５）が、ドラッグ操作後のスクロールの速度を決定する。以下、この速度を、スクロール速度のうち、ドラッグ操作後に実現される速度という意味において、「ドラッグ後」速度と称する。
　なお、この「ドラッグ後」速度は、システム設計上は、スクロール速度の目標値を意味する。ドラッグ操作後の後続するスクロールの実行中、各時点におけるスクロール速度の実際値（図３の下側のグラフ）は、応答遅れを考慮しない仮想システムであれば、同じ時点におけるスクロール速度の目標値に一致するが、実際には、応答遅れがあるため、一致しない。しかし、以下、説明の便宜上、「ドラッグ後」速度という用語は、ドラッグ操作後の後続スクロールの実際速度と実質的に等価である用語として使用する。
　また、後述する触覚応答機構部１０２（図４）が、指に、スクロールの速度に応じた触覚応答を与えることができる。例えば、ユーザが指をより強く押し込んで、「ドラッグ後」速度（スクロール速度の目標値）がより大きい値に決定され、これによりスクロールの速度がより高くなるほど、より強い振動ｖが指に与えられる。これにより、ユーザは、スクロールの速度の高さを、指に加えられる振動の強さから体感でき、リアルな操作感を得ることができる。
　また、ドラッグ操作に伴うスクロール中と、指の押圧に伴うスクロール中とのうち、少なくとも後者のスクロール中に、その時のスクロール速度を速度ベクトルで表す速度ベクトル矢印１０５を画面上に表示することが好ましい。速度ベクトル矢印１０５は、例えば、スクロール速度に比例した長さを有し、スクロールの向きと同じ向きを向く矢印である。ユーザは、速度ベクトル矢印１０５を視認することによって、スクロールの状態を確認しながら、押圧操作を調整することができる。
　図２は、押圧力ｐＣの関数ｆ（ｐＣ）である「ドラッグ後」速度ｖＡＤ（＝ｆ（ｐＣ））が採用し得る例示的な複数のバリエーションを示すグラフである。その関数ｆ（ｐＣ）は、押圧力ｐＣと「ドラッグ後」速度ｖＡＤとの対応関係を規定する。
　図２には、押圧力ｐＣと「ドラッグ後」速度ｖＡＤとの関係として、２ａ、２ｂ、２ｃ、２ｄ及び２ｅの５種類が示されている。
関係２ａでは、指の押圧力ｐＣがｐＴＨ０≦ｐＣ＜ｐＴＨ１の区間内にあるとき、「ドラッグ後」速度ｖＡＤはｖＡＤ１に設定され、押圧力ｐＣがｐＴＨ１≦ｐＣ＜ｐＴＨ２の区間内にあるとき、「ドラッグ後」速度ｖＡＤはｖＡＤ２（＞ｖＡＤ１）であり、ｐＴＨ２≦ｐＣの区間内にあるとき、ｖＡＤ３（＞ｖＡＤ２）に設定される。この関係２ａを関数ｆ（ｐＣ）として採用する場合、指を押し込んでいくと、ドラッグ操作後のスクロール速度は、段階的に増加していく。
　また、関係２ｂでは、「ドラッグ後」速度ｖＡＤは、押圧力ｐＣと正の傾きの線形関係にあり、押圧力ｐＣの増加に応じて連続的により高い値に設定される。この関係２ｂを関数ｆ（ｐＣ）として採用する場合、指を押し込めば押し込むほど、その分に比例してドラッグ操作後のスクロール速度は増加していく。
　さらに、関係２ｃでは、「ドラッグ後」速度ｖＡＤは、押圧力ｐＣが小さい間はそれほど高くないが、押圧力ｐＣが大きくなるにつれて急に増大する。この関係２ｃでは、グラフの勾配が押圧力ｐＣにつれて増加する。この関係２ｃを関数ｆ（ｐＣ）として採用する場合、ドラッグ操作後のスクロール速度は、指を押し込んだ当初、緩やかに増加するが、より強く押し込んでいくにつれて、急に高くなっていく。
　また、関係２ｄでは、「ドラッグ後」速度ｖＡＤは、押圧力ｐＣが当初増加するにつれて急に高くなり、その後、押圧力ｐＣがより大きくなってもほぼ一定値に収束する。この関係２ｄでは、グラフの勾配が押圧力ｐＣにつれて減少する。この関係２ｄを関数ｆ（ｐＣ）として採用する場合、ドラッグ操作後のスクロール速度は、指を押し込んだ当初から急に高くなるが、ある程度押し込んだ辺りからほぼ一定となる。
　さらに、関係２ｅでは、指の押圧力ｐＣがｐＴＨ０以上であれば（ｐＣ≧ｐＴＨ０）、「ドラッグ後」速度ｖＡＤは、押圧力ｐＣによらず、一定値（ｖＡＤ４）に設定される。この関係２ｅを関数ｆ（ｐＣ）として採用する場合、指をある強さ以上で押し込めば、ドラッグ操作後のスクロールが、ある一定の速度（ｖＡＤ４）で行われることになる。
　なお、上述した関係以外の態様も可能である。しかしながら、いずれにおいても、「ドラッグ後」速度ｖＡＤは、関係２ｂ，２ｃおよび２ｄのように、押圧力ｐＣの増加に対して単調に増加する関数であるか、または、関係２ｂ，２ｃおよび２ｄのみならず関係２ａおよび２ｅのように、押圧力ｐＣの増加に対して減少しない関数であることが好ましい。すなわち、押圧力ｐＣを増加させると「ドラッグ後」速度ｖＡＤが減少してしまう、といったことはないように設定されるのが好ましい。これにより、ユーザは、基本的には、より強く押し込むことがより速いスクロールをもたらす、という感覚を維持できる。
　また、上述したいずれの関係においても、押圧力ｐＣが閾値ｐＴＨ０未満では、「ドラッグ後」速度ｖＡＤは０（ゼロ）に設定されている。ここで、この閾値ｐＴＨ０は、通常、指がドラッグ操作を行っている間にタッチパネル１００に与える押圧力値よりも大きく設定される。
　これにより、ドラッグ操作が終了した後、すなわち、ユーザが指をタッチパネル１００上で停止させた後は、ユーザが、押圧力ｐＣが閾値ｐＴＨ０以上となる押圧動作を指で行うことによって初めて、ドラッグ操作の終了後、スクロールしない期間を経るか、そのような期間を経ることなく、画像全体が再び、スクロールされるようにすることができる。
　言い換えれば、押圧力ｐＣの変化可能領域のうち、押圧力ｐＣが閾値ｐＴＨ０以下である領域は、押圧力ｐＣが増加しても「ドラッグ後」速度ｖＡＤがゼロに維持される無効領域であり、押圧力ｐＣが閾値ｐＴＨ０以上となって初めて、ゼロでない「ドラッグ後」速度ｖＡＤが発生し、それにより、実質的な「ドラッグクリック」操作が行われる。なお、閾値ｐＴＨ０は、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
　さらに、他の態様として、図２に示すグラフとは異なり、押圧力ｐＣと「ドラッグ後」速度ｖＡＤとの関係に、閾値ｐＴＨ０によって規定される上述の無効領域を有せず、原点（押圧力ｐＣ＝０）を通るグラフを採用し、押圧力ｐＣが０から僅かでも増加すれば、それに応じてスクロールが行われるようにすることも可能である。この場合、ドラッグ操作後、指がタッチパネル１００に軽く接触していて、僅かな押圧力ｐＣが発生している限り、指による追加的な押圧動作を行わなくとも、画像全体は、指の接触による押圧力ｐＣに応じた「ドラッグ後」速度ｖＡＤでスクロールされる。
　図３は、「ドラッグクリック」操作中におけるユーザの指による押圧力ｐＣの時間的変化の一例を示すグラフと、それに対応したスクロール速度の時間的変化の一例を示すグラフである。なお、それらグラフは、押圧力の時間的変化とスクロール速度の時間的変化とが完全に同期しておらず、両者間に応答遅れが存在することを示している。
　図３に示した例では、押圧力ｐＣと「ドラッグ後」速度ｖＡＤとは、図２の関係２ｂ（正比例関係）を有していると仮定した。但し、図２の関係２ａで、十分に多くの段階を設けて（閾値ｐＴＨを多数設けて）「ドラッグ後」速度ｖＡＤの離散値間の間隔（きざみ幅）を十分に小さくしたものを採用することにより、図３に示す例と実質的に同じ結果を得ることが可能である。
　図３に示す例においては、ドラッグ操作が時刻ｔ＝０からｔ＝ｔ１まで行われる。その際のスクロールの速度（実際速度）は、指の移動速度に対応しており、ｖＤである。次いで、ドラッグ操作終了と同時に（ｔ＝ｔ１）、指によるタッチパネル１００への押し込みが開始され、押圧力ｐＣがＰＤから、閾値ｐＴＨ０を超えて、ＰＣＡまで増加する。これに応じて、スクロール速度は、ｖＤから「ドラッグ後」速度ｖＡＤＡ（＞ｖＤ）まで増加する。
　ここで、スクロール速度がｖＤから目標のｖＡＤＡまで増加する間の加速期間３ａの長さは、「ドラッグクリック」操作に対するスクロールのレスポンスを決定する。そのため、加速期間３ａの長さは、良好な操作感を与えるようにユーザによって調整可能となっていることが好ましい。また、押圧力値ｐＣＡは、閾値ｐＴＨ０（図２）以上の値であり（ｐＣＡ≧ｐＴＨ０）、ドラッグ操作後のスクロールを開始するのに十分な値となっている。
　なお、ドラッグ操作の終了と、指による押し込み開始との間に時間がある場合、その時間内においては、押圧力値ｐＣが閾値ｐＴＨ０より小さいため、ドラッグ操作に伴うスクロールがひとまず終了し、その後、スクロールの停止期間を経て、ユーザの押し込みによりスクロールが再開する。
　次いで、押圧力ｐＣが時刻ｔ＝ｔ２まで維持され、その後、ユーザは、注目している全体情報のうち、これまでのスクロール（先行スクロールおよび後続スクロール）の効果にもかかわらず、画面になお表示されていない、画面から遠い位置に存在する部分を表示しようとして、指を更に強く押し込み始める。その結果、指の押圧力ｐＣは、時刻ｔ＝ｔ２からｔ＝ｔ３までの間増加し続け、ｐＣＡからｐＣＢ（＞ｐＣＡ）に変化する。
　この変化中に逐次決定される「ドラッグ後」速度ｖＡＤ（スクロール速度の実際値）も、ｖＡＤＡからｖＡＤＢ（＞ｖＡＤＡ）まで、時間と共に増加する。その結果、スクロール速度は、少なくとも時刻ｔ＝ｔ２まで「ドラッグ後」速度ｖＡＤＡに維持された後に増加し、時刻ｔ＝ｔ３の後に、「ドラッグ後」速度ｖＡＤＢに至る。
　次いで、ユーザは、これまでのスクロールの効果のおかげで、全体情報のうち、画面に現在表示されている部分が、全体情報のうちの所望の部分に近づいてきた、と認識すると、ユーザは、指の押し込みを徐々に弱め、その結果、押圧力ｐＣは、時刻ｔ＝ｔ４でｐＣＣにまで低下する。これに応じて、「ドラッグ後」速度ｖＡＤも時間と共に低下し、スクロール速度は、時刻ｔ＝ｔ４の後に、「ドラッグ後」速度ｖＡＤＣにまで低下する。
　次いで、ユーザは、押圧力ｐＣ＝ｐＣＣの状態で、前記所望の部分を画面内に発見すると、時刻ｔ＝ｔ５で指をタッチパネル１００から離す。これに応じて、スクロール速度も少なくとも時刻ｔ＝ｔ５まで「ドラッグ後」速度ｖＡＤＣを維持した後、ゼロに至る（スクロールが終了する）。
　以上の説明から明らかなように、本実施形態によれば、ドラッグ操作に次ぐ指の押し込み、さらにはその押圧力ｐＣの調整、という簡易な「ドラッグクリック」操作によって、スクロール速度を制御し、ひいては、スクロール量を制御することができる。その結果、ユーザは、全体情報のうち、画面に表示されていない部分を短時間で画面内に移動させて画面に表示させることができ、また、ドラッグ操作に後続するスクロールを、ユーザが指をタッチパネル１００上で移動させることなく、行うことができ、携帯型情報機器１の使い勝手が向上する。
　図４は、携帯型情報機器１の構成を概略的に示す斜視図、及びその携帯型情報機器１における画像スクロール方法の一実施形態を概略的に示すフローチャートである。また、図５は、携帯型情報機器１の一実施形態を示す機能ブロック図である。
　図４によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。そのプロセッサ・メモリは、前記画像スクロール方法を実行するためのプログラムを実行することによってその機能を実現させる。
　前記プロセッサ・メモリにおいては、よく知られているように、プロセッサとメモリとが互いに共同してコンピュータを構成する。そのうちのメモリに、前記入力操作判定方法を実行するためのプログラムが予め記憶される。そのメモリは、そのプログラムをコンピュータ読み取り可能に、かつ、非過渡的に記録する記録媒体の一例である。そのメモリの一部は、「１２２ｍ」で示されており、このメモリ１２２ｍの機能は、後に詳述する。
　ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過につれて逐次出力する。このタッチパネル１００としては、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
　触覚応答機構部１０２は、タッチパネル１００を振動させることにより、タッチパネル１００に接触した指に、特定の操作に対する応答として触覚応答を与える。触覚応答機構部１０２は、例えば、ドラッグ操作の後、指がタッチパネル１００に押し込まれた際、その押圧力ｐＣによって制御されたスクロール速度に応じた強さを有する振動ｖ（図１（Ｃ１）及び（Ｃ２））を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
　押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、それら４箇所において、指を押し付けられて撓んだタッチパネル１００が押圧力検出部１０３を押圧する４つの力成分の合計値を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述するスクロール速度決定部１２２に入力される。
　押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、この押圧力検出部１０３を触覚応答機構部として利用することも可能である。
　指がタッチパネル１００の操作面を押圧する押圧力ｐＣは、操作面に対する指の接触度合いを表現する物理量の一例である。その接触度合いは、押圧力ｐＣの代わりに、指が操作面に接触する面積によって表現したり、指が操作面に接触することによって発生する電気的特性の変化量によって表現したり、指が操作面に接触することによって発生する温度の変化量によって表現することが可能である。よって、本実施形態を、押圧力ｐＣを等価的に別の物理量に置換することにより、変更して実施することが可能である。
　前記プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による「ドラッグクリック」操作を識別し、その操作の内容に合わせて画像全体をスクロールさせる。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。
　図５によれば、前記プロセッサ・メモリは、前述のメモリ１２２ｍの他に、操作判定部１２１と、スクロール速度決定部１２２と、スクロール制御部１２３と、触覚応答制御部１２４と、表示制御部１１１と、アプリケーション処理部１１２とを有している。
　操作判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指のタッチパネル１００への接触直後に指の接触位置が移動したか否か、すなわち、ドラッグ操作が開始されたか否かを判定し、この判定結果をスクロール制御部１２３に出力する。さらに、その後、接触位置の移動が終了したか否か、すなわち、ドラッグ操作が終了したか否かを判定し、この判定結果もスクロール制御部１２３に出力する。
　スクロール速度決定部１２２は、押圧力検出部１０３から押圧力信号を入力し、ドラッグ操作後の押圧力ｐＣの大きさに応じて、「ドラッグ後」速度ｖＡＤを決定する。スクロール速度決定部１２２は、図２に示したような、押圧力ｐＣと「ドラッグ後」速度ｖＡＤとの所定の関係を、例えばメモリ１２２ｍに保存している。スクロール速度決定部１２２は、その保存されている関係を用いて、押圧力検出部１０３から受け取った押圧力ｐＣ値に対応する「ドラッグ後」速度ｖＡＤを逐次算出し、スクロール制御部１２３に逐次出力する。
　スクロール制御部１２３は、操作判定部１２１から、ドラッグ操作が開始されたとの判定結果を入力した場合、画像全体をスクロールさせるよう表示制御部１１１に指示する。スクロール制御部１２３は、さらに、スクロールの向き及びスクロールの量を、操作判定部１２１から入力した、ドラッグ操作における指の接触位置の移動の向き及び移動量に基づいて決定し、表示制御部１１１に指示する。
　さらに、スクロール制御部１２３は、操作判定部１２１から、ドラッグ操作が終了したとの判定結果を入力した場合、スクロール速度決定部１２２から出力された「ドラッグ後」速度ｖＡＤで画像全体を更にスクロールさせるように、表示制御部１１１に指示する。ここで、この更なるスクロール（後続スクロール）の向きは、好ましくは、ドラッグ操作によるスクロールの向きと同じとされる。
　触覚応答制御部１２４は、スクロール制御部１２３から出力される、更なるスクロールを指示するための指示情報を入力し、スクロール速度に応じた触覚応答（例えば振動ｖ（図１（Ｃ１）及び（Ｃ２）））を指に対して与えるべく触覚応答機構部１０２を制御する。この際、例えば、押圧力がｐＣ１からｐＣ２に急に増加した場合、対応して設定される「ドラッグ後」速度（目標値）もｖＡＤ１からｖＡＤ２に急に変化する。
　しかしながら、実際のスクロール速度では、ｖＡＤ１からｖＡＤ２への変化を段階的ではなく連続的に且つ滑らかに行うことができる。この場合、触覚応答制御部１２４は、この実際の滑らかに変化するスクロール速度に連動するように、触覚応答（振動ｖ）の強さを変化させることができる。
　表示制御部１１１は、アプリケーション処理部１１２からアプリケーション処理情報を入力して、そのアプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、スクロール制御部１２３から出力される、画像全体をスクロールさせることを指示するための指示情報を入力し、指示されたスクロール条件に応じて画像全体をスクロールするようにディスプレイ１０１に表示させる。
　次いで、図４に示されたフローチャートを用いて、前記プロセッサ・メモリで実施される画像スクロール方法の一実施形態を説明する。
　図４によれば、最初に、タッチパネル１００が指の接触を検知する（ステップＳ４０１）。次いで、操作判定部１２１が、ドラッグ操作が開始されたか否かを判定する（ステップＳ４０２）。ドラッグ操作が開始されたと判定されると、スクロール制御部１２３が、このドラッグ操作に合わせて画像全体をスクロールさせる（ステップＳ４０３）。
　次いで、操作判定部１２１は、ドラッグ操作が終了したか否かを判定する（ステップＳ４０４）。ここで、ドラッグ操作が終了していないと判定された場合は、スクロールが続行される（ステップＳ４０３）。
　一方、ドラッグ操作が終了したと判定されると、操作判定部１２１は、さらに、指がタッチパネル１００に接触しているか否かを判定する（ステップＳ４１１）。ここで、指がタッチパネル１００に接触していない（指がタッチパネル１００から離れた）と判定された場合、「ドラッグクリック」操作は行われないとして、更なるスクロールを行うことなく、本画像スクロール方法の今回の実行が終了する。
　これに対し、指がタッチパネル１００に接触していると判定された場合、押圧力検出部１０３が、指による押圧力ｐＣを測定する（ステップＳ４１２）。ここで、所定の閾値ｐＴＨ０（図２）以上の押圧力ｐＣが検出されれば、「ドラッグクリック」操作が行われたことになる。なお、押圧力検出部１０３は、常時、押圧力ｐＣをモニタ（監視）していてもよい。
　次いで、スクロール速度決定部１２２が、ドラッグ操作後の押圧力ｐＣの大きさに応じて、スクロールの「ドラッグ後」速度ｖＡＤを決定する（ステップＳ４１３）。次いで、スクロール制御部１２３は、決定された「ドラッグ後」速度ｖＡＤで画像全体を更にスクロールさせる（ステップＳ４１４）。なお、以上述べたＳ４１２からＳ４１４までのステップは、ステップＳ４１１で指が接触していないと判定されるまで繰り返される。
　以上の説明から明らかなように、本実施形態に従うユーザインタフェース装置、画像スクロール方法及びプログラムによれば、指の押圧力ｐＣの大きさに応じて決定された「ドラッグ後」速度ｖＡＤで、ドラッグ操作後、画像全体が更にスクロールされる。これにより、ユーザの作業対象である全体情報が画面に表示し切れない場合に、その全体情報のうち、画面に表示されていない、その画面から遠い部分も、簡易な操作をもって短時間で表示させることができる。
　次に、本発明の例示的な第２実施形態に従う携帯型情報機器１を説明する。ただし、本実施形態は、第１実施形態と共通する要素があるため、共通する要素については、同じ名称や符号を使用することによって重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
　第１実施形態においては、前述のように、ドラッグ操作が行われると、画像がスクロールされ、その記ドラッグ操作の終了後に、ユーザの指が操作面から離れることなく、その操作面上におけるほぼ同じ位置において指が操作面に接触し続けると、停止期間を経るかまたは経ることなく、前記画像を更にスクロールする後続スクロールが行われる。さらに、その後続スクロールの速度が、操作面に対する指の接触度合いが増加すればそれに応じて連続的にまたは段階的に増加するように制御される。
　その結果、第１実施形態によれば、図３に示す２つのグラフから明らかなように、ドラッグ操作後のスクロール中に、ユーザが押圧力を緩めると、それに伴ってスクロール速度が減少する。そのため、ユーザは、スクロール速度を増加させることは必要ではないが、維持することが必要である場合に、指を操作面に同じ力で押圧し続けることが必要である。
　これに対し、本実施形態においては、携帯型情報機器１の使い勝手を向上させるために、前記後続スクロールの速度が、前記接触度合いが減少してもそれに応じて減少しないように制御される。具体的には、ドラッグ操作の終了時と終了後の期間とのうちの少なくともに終了後の期間に、指の接触度合いの一例である、指が操作面を押圧する押圧力が逐次検出されるとともに、前記後続スクロールの速度が、各時点ごとに、その時点までに前記押圧力について取得された複数の検出値のうちの最大値に基づいて決定される。
　一例として、ユーザが、ドラッグ操作を行った直後に指をタッチパネル１００に対して押圧力ｐＣ（＝ｐＭＡＸ）で押し込んだ後押し込みを緩めた場合を考える。この場合、スクロールの速度は、この押圧力ｐＣ（＝ｐＭＡＸ）に応じて決定された「ドラッグ後」速度値にまで増加し、その後、この速度値に維持される。
　本実施形態においても、図２に示すように、押圧力の関数である「ドラッグ後」速度ｖＡＤについての種々のバリエーションを採用し得る。ただし、「ドラッグ後」速度ｖＡＤを決定するために参照される押圧力の大きさは、各時点ごとに、ドラッグ操作直後からその時点までに検出された複数の押圧力値のうちの最大値である。
　図６は、本実施形態につき、図３と同様に、「ドラッグクリック」操作中におけるユーザの指による押圧力ｐＣの時間的変化の一例を示すグラフと、それに対応したスクロール速度の時間的変化の一例を示すグラフである。図６に示す例においても、押圧力ｐＣと「ドラッグ後」速度ｖＡＤとは、図２の関係２ｂ（正比例関係）を有していると仮定した。
　図６に示す例においては、ドラッグ操作が時刻ｔ＝０からｔ＝ｔ１まで行われる。その際のスクロールの速度は、指の移動速度に対応しており、ｖＤである。次いで、ドラッグ操作終了と同時に（ｔ＝ｔ１）、指によるタッチパネル１００への押し込みが開始され、押圧力ｐＣがＰＣＡにまで増加する。ここで、この間の押圧力最大値ｐＭＡＸは、その時点（時刻ｔ）での押圧力ｐＣ（ｔ）値となる。この押圧力最大値ｐＭＡＸに応じて、スクロール速度は、「ドラッグ後」速度ｖＡＤＡ（＞ｖＤ）にまで増加する。
　次いで、押圧力ｐＣが時刻ｔ＝ｔ２まで維持され、その後、ユーザは、注目している全体情報のうち、これまでのスクロールの効果にもかかわらず、画面になお表示されていない、画面から遠い位置に存在する情報を表示しようとして、指を更に強く押し込み始める。その結果、指の押圧力ｐＣは、時刻ｔ＝ｔ２からｔ＝ｔ３までの間増加し続け、ｐＣＡからｐＣＢ（＞ｐＣＡ）に変化する。
　ここで、この間の押圧力最大値ｐＭＡＸも、その時点（時刻ｔ）での押圧力ｐＣ（ｔ）値となる。従って、この押圧力最大値ｐＭＡＸの変化中に逐次決定される「ドラッグ後」速度ｖＡＤも、ｖＡＤＡからｖＡＤＢ（＞ｖＡＤＡ）まで時間と共に増加する。その結果、スクロール速度は、少なくとも時刻ｔ＝ｔ２まで「ドラッグ後」速度ｖＡＤＡに維持された後に増加し、時刻ｔ＝ｔ３の後に、「ドラッグ後」速度ｖＡＤＢに至る。
　次いで、ユーザは、所望のスクロール速度に達したと認識すると、ユーザは、指の押し込みを徐々に弱める。その結果、押圧力ｐＣは、時刻ｔ＝ｔ４でｐＣＣにまで低下する。ここで、この間の押圧力最大値ｐＭＡＸは、押圧力ｐＣのピーク値（最大値）ｐＣＢであって一定である。この一定の押圧力最大値ｐＭＡＸに応じて、「ドラッグ後」速度ｖＡＤも、この最大値に対応した値をとり続け、その結果、スクロール速度も、この「ドラッグ後」速度ｖＡＤを維持することになる。
　なお、図６における各時点での押圧力ｐＣ値（最新値）が、その時点で最新の押圧力最大値ｐＭＡＸよりも大きな値である場合には、その最新の押圧力ｐＣ値を反映するように、メモリ１２２ｍに記憶されている押圧力最大値ｐＭＡＸが更新される。この更新された押圧力最大値ｐＭＡＸを基にして最新の「ドラッグ後」速度ｖＡＤが決定される。記憶された押圧力最大値ｐＭＡＸは、自身を超える押圧力ｐＣ値が測定された場合にのみ、この自身を超える測定値に書き換えられる。従って、メモリ１２２ｍに記憶された値は常に、ドラッグ操作以降の各時点における押圧力ｐＣの最大値となる。
　次いで、ユーザは、押圧力ｐＣ＝ｐＣＣの状態で、全体情報のうちの所望の部分を画面内に発見すると、時刻ｔ＝ｔ５で指をタッチパネル１００から離す。これに応じて、スクロール速度も、少なくとも時刻ｔ＝ｔ５まで「ドラッグ後」速度ｖＡＤＢを維持した後、ゼロに至る（スクロールが終了する）。即ち、指の接触終了に応じて、「ドラッグ後」速度ｖＡＤは、ゼロに設定される。
　図７は、本実施形態に従う携帯型情報機器１の構成を概略的に示す斜視図、及びその携帯型情報機器１における画像スクロール方法の一実施形態を概略的に示すフローチャートである。
　図７に示すように、携帯型情報機器１は、第１実施形態と同様に、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、前記プロセッサ・メモリとを有する。
　図５に示す第１実施形態と同様に、前記プロセッサ・メモリは、操作判定部１２１と、スクロール速度決定部１２２と、スクロール制御部１２３と、触覚応答制御部１２４と、表示制御部１１１と、アプリケーション処理部１１２と、メモリ１２２ｍとを有している。それら要素は、スクロール速度決定部１２２を除き、第１実施形態における複数の要素と同様であるため、重複した説明を省略し、スクロール速度決定部１２２のみ、詳細に説明する。
　スクロール速度決定部１２２は、押圧力検出部１０３から押圧力信号を入力し、ドラッグ操作後の押圧力ｐＣの最大値（押圧力最大値ｐＭＡＸ）に応じて、「ドラッグ後」速度ｖＡＤを決定する。
　具体的には、スクロール速度決定部１２２は、ドラッグ操作以降における各時点の押圧力ｐＣの最大値（押圧力最大値ｐＭＡＸ）を、メモリ１２２ｍに記憶し、「ドラッグ後」速度ｖＡＤを、各時点ごとに、各時点の最大値ｐＭＡＸに対応した値に決定する。また、スクロール速度決定部１２２は、記憶されている最大値ｐＭＡＸを超える押圧力ｐＣ値が測定された場合には、メモリ１２２ｍの記憶値（押圧力最大値ｐＭＡＸ）を、測定された押圧力ｐＣ値に書き換える。
　さらに、スクロール速度決定部１２２は、図２に示したような、押圧力最大値ｐＭＡＸと「ドラッグ後」速度ｖＡＤとの所定の関係を、メモリ１２２ｍに保存している。スクロール速度決定部１２２は、この保存した関係に従い、押圧力検出部１０３から受け取った押圧力ｐＣの最大値（記憶された押圧力最大値ｐＭＡＸ）に対応する「ドラッグ後」速度ｖＡＤを逐次算出し、スクロール制御部１２３に逐次出力する。
　次いで、図７に示されたフローチャートを用いて、前記プロセッサ・メモリで実施される画像スクロール方法の一実施形態を説明する。
（Ｓ５０１）最初に、タッチパネル１００が指の接触を検知する。
（Ｓ５０２）次いで、操作判定部１２１が、ドラッグ操作が開始されたか否かを判定する。
（Ｓ５０３）ステップＳ５０２でドラッグ操作が開始されたと判定されると、スクロール制御部１２３が、このドラッグ操作に合わせて画像全体をスクロールさせる。なお、ドラッグ操作が開始されていないと判定された際、接触測定が繰り返される（ステップＳ５０１）。
（Ｓ５０４）次いで、操作判定部１２１は、ドラッグ操作が終了したか否かを判定する。ここで、ドラッグ操作が終了していないと判定された場合は、スクロールが続行される（ステップＳ５０３）。
（Ｓ５１１）一方、ドラッグ操作が終了したと判定されると、ドラッグ操作によるスクロールの段階から、押し込み操作によるスクロールの準備段階に移行する。ここで、パラメータｐＭＡＸが、当初、所定閾値ｐＴＨ０に設定される（ｐＭＡＸ＝ｐＴＨ０）。
（Ｓ５１２）操作判定部１２１は、さらに、指がタッチパネル１００に接触しているか否かを判定する。ここで、指がタッチパネル１００に接触していない（指がタッチパネル１００から離れた）と判定された場合、「ドラッグクリック」操作は行われないと判定されて、スクロールは終了する。
（Ｓ５１３）これに対し、指がタッチパネル１００に接触していると判定された場合、押圧力検出部１０３が、指による押圧力ｐＣを測定する。
（Ｓ５１４）押圧力ｐＣの測定値が、パラメータｐＭＡＸよりも大きいか否かを判定する。
（Ｓ５１５）押圧力ｐＣの測定値がパラメータｐＭＡＸよりも大きい（ｐＣ＞ｐＭＡＸ）と判定された際、パラメータｐＭＡＸが、この押圧力ｐＣ測定値に書き換えられる。一方、ｐＣ≦ｐＭＡＸと判定された際、ステップＳ５１６に直接移行する。
（Ｓ５１６）スクロール速度決定部１２２が、パラメータｐＭＡＸの値（ドラッグ操作後の押圧力最大値ｐＭＡＸ）に応じて、スクロールの「ドラッグ後」速度ｖＡＤを決定する。ここで、ｐＭＡＸ＝ｐＴＨ０の場合、「ドラッグ後」速度ｖＡＤはゼロに決定されることも好ましい。
（Ｓ５１７）次いで、スクロール制御部１２３は、決定された「ドラッグ後」速度ｖＡＤで画像全体を更にスクロールさせる。ここで、以上述べたステップＳ５１２～Ｓ５１７までのステップは、ステップＳ５１２で指が接触していると判定されている間、繰り返される。
　以上の説明から明らかなように、本実施形態によれば、ドラッグ操作に次ぐ指の押し込みの実行中に、指による押圧力ｐｃの最大値をユーザが調整することによって、スクロール速度が制御可能となる。従って、適当な速度のスクロールを継続するために、ユーザは指を強く押し込み続ける必要がない。その結果、スクロール操作時におけるユーザの負担がより軽減される。
　具体的には、本実施形態においては、押圧力の今回検出値が前回検出値より増加した場合には、図２に示す複数の関係のうちのいずれかに従い、かつ、押圧力の今回検出値に見合うように「ドラッグ後」速度ｖＡＤの今回値が決定され、一方、押圧力の今回検出値が前回検出値と同一であるかまたはそれより減少した場合には、いずれの関係も用いることなく、「ドラッグ後」速度ｖＡＤの今回値が前回値と等しい値として決定される。その結果、後続スクロールの開始後、指の押し込みを緩めても、スクロール速度は、緩める直前の「ドラッグ後」速度ｖＡＤに維持される。
　従って、本実施形態によれば、一度、指の押圧力に応じてスクロールの速度が決定され、その速度でスクロールが開始されれば、その後、指による押し込みを緩めても、その押し込みを緩める前に決定された速度でスクロールが継続する。従って、指の疲労が回避され、スクロールを行う際の操作負担が抑制される。
　以上、本発明の実施形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (16)

  1. 　画像を表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能と、前記操作面上における前記指によるドラッグ操作により、前記表示されている画像全体をスクロールする機能とを有するユーザインタフェース装置であって、
    　前記指が前記操作面を押圧する押圧力を検出する押圧力検出部と、
    　前記ドラッグ操作が終了したか否かを判定する操作判定部と、
    　その操作判定部によって前記ドラッグ操作が終了したと判定された場合に、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくとも終了後の期間に前記押圧力検出部によって検出された押圧力の大きさに基づいて、前記ドラッグ操作後のスクロールの速度であるドラッグ後速度を決定するスクロール速度決定部と、
    　前記ドラッグ操作によるスクロールの後、前記決定されたドラッグ後速度のもとに、前記表示されている画像全体を更にスクロールするスクロール制御部と
    　を含むユーザインタフェース装置。
  2. 　前記スクロール制御部は、ユーザが、前記ドラッグ操作を行った直後に前記指を前記操作面に対して押し込んだ場合に、前記スクロールの速度を、前記ドラッグ後速度に増加させる請求項１に記載のユーザインタフェース装置。
  3. 　前記操作面に接触している指に対して触覚応答を与える触覚応答機構部と、
    　前記指に対して前記操作面を介して、前記スクロールの速度に応じた触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
    　を更に含む請求項１に記載のユーザインタフェース装置。
  4. 　前記触覚応答制御部は、前記指に、前記スクロールの速度が高いほど強い振動を与えるように前記触覚応答機構部を制御する請求項３に記載のユーザインタフェース装置。
  5. 　前記操作判定部は、前記ドラッグ操作が終了したと判定した場合に、前記指が前記操作面に接触しているか否かを判定し、
    　前記スクロール制御部は、前記操作判定部によって前記指が前記操作面に接触していると判定された場合に、前記決定されたドラッグ後速度のもとに、前記画像全体を更にスクロールする請求項１に記載のユーザインタフェース装置。
  6. 　前記スクロール速度決定部は、前記押圧力が所定閾値未満である場合に、前記ドラッグ後速度をゼロに決定する請求項１に記載のユーザインタフェース装置。
  7. 　前記スクロール制御部は、前記ドラッグ操作に対応して行われたスクロールの向きを表す情報を保存し、その情報をその後に参照することにより、前記ドラッグ操作後に、そのドラッグ操作に対応するスクロールの向きと同じ向きで、前記画像全体を更にスクロールする請求項１に記載のユーザインタフェース装置。
  8. 　前記スクロール速度決定部は、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくとも終了後の期間に、前記押圧力検出部によって前記押圧力を逐次検出するとともに、前記ドラッグ後速度を、各時点ごとに、その時点までに前記押圧力について取得された複数の検出値のうちの最大値に基づいて決定する請求項１に記載のユーザインタフェース装置。
  9. 　前記操作判定部は、前記ドラッグ操作の終了後、前記指が前記操作面に接触しているか否かを逐次判定し、
    　前記スクロール速度決定部は、前記操作判定部によって前記指が前記操作面に接触していないと判定された場合に、前記押圧力の最大値にかかわらず、前記ドラッグ後速度をゼロに決定する請求項８に記載のユーザインタフェース装置。
  10. 　前記スクロール速度決定部は、前記押圧力が、前記ドラッグ操作の終了直後に増加して第１値となり、その後、減少して第２値となるというように時間的に変化した場合に、前記スクロールの速度を、前記第１値に応じて決定されたドラッグ後速度に増加し、その後、維持されるという特性で制御する請求項８に記載のユーザインタフェース装置。
  11. 　画像を表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能と、前記操作面上における前記指によるドラッグ操作により、前記表示されている画像全体をスクロールする機能とを有するユーザインタフェース装置において画像をスクロールする方法であって、
    　前記ユーザインタフェース装置は、前記指が前記操作面を押圧する押圧力を検出する押圧力検出部を含み、
    　当該方法は、
    　前記ドラッグ操作が終了したか否かを判定する第１のステップと、
    　その第１のステップにおいて前記ドラッグ操作が終了したと判定された場合に、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくとも終了後の期間に前記押圧力検出部によって検出された押圧力の大きさに基づいて、前記ドラッグ操作後のスクロールの速度であるドラッグ後速度を決定する第２のステップと、
    　前記ドラッグ操作によるスクロールの後、前記決定されたドラッグ後速度で、前記表示されている画像全体を更にスクロールする第３のステップと
    　を含む方法。
  12. 　前記第２のステップは、前記ドラッグ操作の終了時と終了後の期間とのうちの少なくともに終了後の期間に、前記押圧力検出部によって前記押圧力を逐次検出するとともに、前記ドラッグ後速度を、各時点ごとに、その時点までに前記押圧力について取得された複数の検出値のうちの最大値に基づいて決定する請求項１１に記載の方法。
  13. 　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置において前記画像をスクロールする方法であって、
    　前記操作面に対して前記指によるドラッグ操作が行われると、前記画像をスクロールする第１のステップと、
    　前記ドラッグ操作の終了後に、前記指が前記操作面から離れることなく、前記操作面上におけるほぼ同じ位置において前記指が前記操作面に接触し続けると、停止期間を経るかまたは経ることなく、前記画像を更にスクロールする後続スクロールを行う第２のステップと
    　を含む方法。
  14. 　前記第２のステップは、前記後続スクロールの速度を、前記操作面に対する前記指の接触度合いが増加すればそれに応じて連続的にまたは段階的に増加するように制御する請求項１３に記載の方法。
  15. 　前記第２のステップは、前記後続スクロールの速度を、前記接触度合いが減少してもそれに応じて減少しないように制御する請求項１４に記載の方法。
  16. 　請求項１１に記載の方法を実行するためにコンピュータによって実行されるプログラム。
PCT/JP2012/066719 2011-07-22 2012-06-29 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム WO2013015070A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/129,740 US9285976B2 (en) 2011-07-22 2012-06-29 User interface device capable of image scrolling not accompanying finger movement, image scrolling method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-160406 2011-07-22
JP2011160406A JP5220898B2 (ja) 2011-07-22 2011-07-22 押圧によるスクロール制御が可能なユーザインタフェース装置、画像スクロール方法及びプログラム
JP2012-063838 2012-03-21
JP2012063838A JP5813543B2 (ja) 2012-03-21 2012-03-21 押圧力最大値によるスクロール制御が可能なユーザインタフェース装置、画像スクロール方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2013015070A1 true WO2013015070A1 (ja) 2013-01-31

Family

ID=47600926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066719 WO2013015070A1 (ja) 2011-07-22 2012-06-29 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム

Country Status (2)

Country Link
US (1) US9285976B2 (ja)
WO (1) WO2013015070A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144780A1 (en) * 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
JP2020043498A (ja) * 2018-09-11 2020-03-19 キヤノン株式会社 電子機器及びその制御方法

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
EP2847657B1 (en) 2012-05-09 2016-08-10 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR101905174B1 (ko) 2012-12-29 2018-10-08 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP3435220B1 (en) 2012-12-29 2020-09-16 Apple Inc. Device, method and graphical user interface for transitioning between touch input to display output relationships
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
WO2014128784A1 (ja) * 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 携帯情報端末の制御方法及びプログラム
JP6155869B2 (ja) 2013-06-11 2017-07-05 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2015026257A (ja) * 2013-07-26 2015-02-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2015143121A1 (en) 2014-03-21 2015-09-24 Immersion Corporation System, method and computer-readable medium for force-based object manipulation and haptic sensations
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US20190056845A1 (en) * 2016-02-29 2019-02-21 Huawei Technologies Co., Ltd. Page Sliding Method And Apparatus, And User Terminal
US20190095068A1 (en) * 2016-04-19 2019-03-28 Maxell, Ltd. Portable terminal device
CN107402706B (zh) * 2016-05-19 2020-09-08 北京小米移动软件有限公司 手势操作响应方法及装置
CN107402655A (zh) * 2016-05-19 2017-11-28 北京小米移动软件有限公司 手势操作响应方法及装置
US10303352B2 (en) * 2016-06-30 2019-05-28 Microsoft Technology Licensing, Llc Navigating long distances on navigable surfaces
JP6921653B2 (ja) * 2017-06-29 2021-08-18 キヤノン株式会社 電子機器及びその制御方法
US10365719B2 (en) * 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
EP3447623B1 (en) * 2017-08-22 2020-01-29 Samsung Electronics Co., Ltd. Electronic device and control method thereof
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
WO2019117882A1 (en) * 2017-12-12 2019-06-20 Google Llc Providing a video preview of search results
US11194461B2 (en) * 2019-01-15 2021-12-07 Fujifilm Medical Systems U.S.A., Inc. Smooth image scrolling with dynamic scroll extension
CN110502153B (zh) * 2019-08-30 2022-11-11 Oppo（重庆）智能科技有限公司 触摸屏报点率的调整方法、触摸屏、电子设备及存储介质
CN114237455A (zh) * 2021-12-14 2022-03-25 网易（杭州）网络有限公司 一种信息浏览方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011137A (ja) * 2008-06-27 2010-01-14 Kyocera Corp 携帯端末
JP2012033061A (ja) * 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323664A (ja) * 2005-05-19 2006-11-30 Sony Corp 電子機器
JP4282683B2 (ja) 2005-05-31 2009-06-24 富士通テン株式会社 地図表示装置及び地図表示法
JP4394062B2 (ja) * 2005-10-28 2010-01-06 アルプス電気株式会社 パッド型入力装置
JP4879933B2 (ja) 2008-04-23 2012-02-22 株式会社デンソーアイティーラボラトリ 画面表示装置、画面表示方法およびプログラム
US20100123686A1 (en) 2008-11-19 2010-05-20 Sony Ericsson Mobile Communications Ab Piezoresistive force sensor integrated in a display
US8315672B2 (en) 2008-12-01 2012-11-20 Research In Motion Limited Portable electronic device and method of controlling same
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5304577B2 (ja) 2009-09-30 2013-10-02 日本電気株式会社 携帯情報端末および表示制御方法
KR101739054B1 (ko) * 2010-09-08 2017-05-24 삼성전자주식회사 디바이스상의 움직임 제어 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011137A (ja) * 2008-06-27 2010-01-14 Kyocera Corp 携帯端末
JP2012033061A (ja) * 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144780A1 (en) * 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
JP2020043498A (ja) * 2018-09-11 2020-03-19 キヤノン株式会社 電子機器及びその制御方法
JP7146537B2 (ja) 2018-09-11 2022-10-04 キヤノン株式会社 電子機器及びその制御方法

Also Published As

Publication number Publication date
US20140139471A1 (en) 2014-05-22
US9285976B2 (en) 2016-03-15

Similar Documents

Publication Publication Date Title
WO2013015070A1 (ja) 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム
JP5576841B2 (ja) 押圧による画像のズームが可能なユーザインタフェース装置、画像ズーム方法及びプログラム
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
JP5220898B2 (ja) 押圧によるスクロール制御が可能なユーザインタフェース装置、画像スクロール方法及びプログラム
US9720587B2 (en) User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion
US9671880B2 (en) Display control device, display control method, and computer program
EP2835731B1 (en) Image display apparatus, image display method, and image display program
US20120297336A1 (en) Computer system with touch screen and associated window resizing method
KR20130052749A (ko) 터치 기반 사용자 인터페이스 장치 및 방법
JP2012118796A (ja) 情報処理装置、情報処理方法及びプログラム
JP5813543B2 (ja) 押圧力最大値によるスクロール制御が可能なユーザインタフェース装置、画像スクロール方法及びプログラム
WO2014083929A1 (ja) タッチパネルにおける文書スクロール方法、装置及びコンピュータ・プログラム
JP5713400B2 (ja) ポインタを用いた指による操作が可能なユーザインタフェース装置、動作発動方法及びプログラム
JP6114792B2 (ja) 接触度合いによるスクロール制御が可能なユーザインタフェース装置、画像スクロール方法及びプログラム
JP5767148B2 (ja) 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム
JP2013196465A (ja) オブジェクト選択時に触覚応答が付与されるユーザインタフェース装置、触覚応答付与方法及びプログラム
JP6137714B2 (ja) 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム
JP6907368B2 (ja) 電子機器及びその制御方法
JP5269154B2 (ja) 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
TWI461980B (zh) 觸控面板的操作方法
TW200941307A (en) Extended cursor generating method and device
US20140085229A1 (en) Information processing apparatus, information processing system, information processing method, and computer-readable storage medium having stored therein information processing program
JP5912711B2 (ja) 指の接触・押圧によって種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP6025920B2 (ja) 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム
KR101445062B1 (ko) 후면 입력 기능과 시선 감지 센서를 구비한 단말 표시 제어 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12817579

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14129740

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12817579

Country of ref document: EP

Kind code of ref document: A1