[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019150429A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2019150429A1
WO2019150429A1 PCT/JP2018/002969 JP2018002969W WO2019150429A1 WO 2019150429 A1 WO2019150429 A1 WO 2019150429A1 JP 2018002969 W JP2018002969 W JP 2018002969W WO 2019150429 A1 WO2019150429 A1 WO 2019150429A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
potential
change
contact
Prior art date
Application number
PCT/JP2018/002969
Other languages
English (en)
French (fr)
Inventor
和之 有松
良徳 大橋
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US16/960,989 priority Critical patent/US11360632B2/en
Priority to PCT/JP2018/002969 priority patent/WO2019150429A1/ja
Priority to JP2019568425A priority patent/JP6861854B2/ja
Publication of WO2019150429A1 publication Critical patent/WO2019150429A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Definitions

  • the present invention relates to an information processing system that acquires information related to a user's body movement, a detection device that constitutes the information processing system, an information processing device, an information processing method, and a program.
  • An information processing apparatus that detects the position of a finger of a user's hand with a sensor that optically detects the position of an object and executes various processes according to the detection result is known. According to such a technique, the user can perform operation input to the information processing apparatus by moving his / her body, and more intuitive input is possible.
  • the present invention has been made in consideration of the above circumstances, and one of its purposes is an information processing system, a detection apparatus, and the like that can accurately detect that a part of the user's body has come into contact with another object.
  • An information processing apparatus, an information processing method, and a program are provided.
  • An information processing system includes an application unit that applies a voltage to an application site of a user's body, and a potential at a detection site of the user's body that is different from the application site in a state where a voltage is applied to the application site. It includes a detection unit that detects a change, and a contact determination unit that determines contact between a part of the user's body and another object based on a change in potential detected by the detection unit.
  • the detection device includes an application unit that applies a voltage to an application site of a user's body, and a change in potential at a detection site of the user's body that is different from the application site in a state where a voltage is applied to the application site.
  • a change in potential detected by the detection unit is used to determine contact between the body part of the user and another object.
  • An information processing apparatus in a state where a voltage is applied to an application site of a user's body, an acquisition unit that acquires information relating to a change in potential detected at a detection site of the user's body different from the application site; A contact determination unit that determines contact between a part of the user's body and another object based on a change in potential acquired by the acquisition unit.
  • An information processing method includes an acquisition step of acquiring information on a change in potential detected at a detection site of the user's body different from the application site in a state where a voltage is applied to the application site of the user's body; And a determination step of determining contact between a part of the user's body and another object based on a change in potential acquired in the acquisition step.
  • the program according to the present invention in a state where a voltage is applied to the application site of the user's body, an acquisition step of acquiring information relating to a change in potential detected at a detection site of the user's body different from the application site;
  • This program may be provided by being stored in a computer-readable non-transitory information storage medium.
  • FIG. 11 is a flowchart illustrating an example of a flow of processing executed by the information processing apparatus.
  • FIG. 1 is a diagram showing an overall configuration of an information processing system 1 according to an embodiment of the present invention.
  • the information processing system 1 includes an information processing apparatus 10 and a detection apparatus 20 that a user wears and uses.
  • the information processing apparatus 10 is a computer that is communicatively connected to the detection apparatus 20, and may be, for example, a home game machine or a personal computer. As illustrated in FIG. 1, the information processing apparatus 10 includes a control unit 11, a storage unit 12, and a communication unit 13. In the present embodiment, the information processing apparatus 10 is also connected to the display device 14 and the object sensor 15 for communication.
  • the control unit 11 includes at least one processor such as a CPU, and executes various types of information processing according to programs stored in the storage unit 12. The specific processing contents of the control unit 11 will be described in detail later.
  • the storage unit 12 includes at least one memory element, and holds a program executed by the control unit 11 and data to be processed by the program.
  • This program may be provided by being stored in a computer-readable non-transitory storage medium and copied to the storage unit 12.
  • the communication unit 13 includes a serial interface such as USB (Universal Serial Bus) or a wireless communication interface such as Bluetooth (registered trademark).
  • the information processing apparatus 10 is communicably connected to the detection apparatus 20 via the communication unit 13.
  • the communication unit 13 receives information on detection results transmitted from the object sensor 15 and the detection device 20.
  • the communication unit 13 includes a communication interface for communicating with the display device 14 in a wired or wireless manner.
  • the information processing apparatus 10 transmits video data to be displayed by the display device 14 to the display device 14 via the communication unit 13.
  • the display device 14 displays a video based on the video signal transmitted from the information processing device 10.
  • the display device 14 may be a device of a type used by a user such as a head mounted display attached to the head.
  • the object sensor 15 is used to detect the position of the user's hand and objects around it.
  • the object sensor 15 may be a stereo camera directed to a position where the user's hand is assumed to exist.
  • the object sensor 15 is composed of two cameras arranged on the left and right, and uses a parallax between the two cameras to generate a distance image (depth map) including information on the distance to the subject in the visual field range. Generate.
  • the information processing apparatus 10 can grasp the position and shape of the user's hand with the observation position of the object sensor 15 as a reference point.
  • the position and shape of various objects such as tables and walls around the user's hand can also be detected.
  • the object sensor 15 optically observes the object to be detected and detects the position of the object. Therefore, when two objects overlap each other when viewed from the observation position of the object sensor 15, it may be difficult to specify the exact position of both. For this reason, when the finger of the user's hand contacts a surrounding object, the timing of the contact may not be accurately identified. Therefore, in the present embodiment, the detection device 20 described below is used to specify the timing at which the finger of the user's hand contacts another object.
  • the detection device 20 is a device for detecting that the finger of the user's hand has touched some object.
  • the detection device 20 is used by being mounted on a user's hand.
  • the detection device 20 is mounted on the palm side of the user.
  • FIG. 2 is a diagram showing an example of the appearance of the detection device 20 and shows a state in which the user wears the detection device 20 on his / her hand.
  • the detection device 20 includes a main body 21 and a band 22. The user puts the detection device 20 so that his / her hand is brought into contact with the main body 21 through the band 22.
  • the electrode 23 is exposed on the side of the main body 21 facing the user's hand, and the electrode 23 comes into contact with the user's hand when the user wears the detection device 20.
  • the detection device 20 applies a voltage from the electrode 23 to a part of the user's hand.
  • a part of the user's hand that contacts the electrode 23 that is, a part to which the detection device 20 applies a voltage
  • the application site is not limited to the palm, but may be a part of the back of the hand, wrist, arm, or the like.
  • capacitance sensors 24 are arranged on the main body 21 so as to face four fingers excluding the user's thumb. Each of these capacitance sensors 24 forms a capacitor between the opposing finger of the user. The position of the user's finger can be detected by measuring the capacitance of the capacitor.
  • the part of the user's finger that forms the capacitor facing the capacitance sensor 24 is referred to as a detection part.
  • the detection device 20 detects a change in potential generated in the capacitance sensor 24 in a state where a voltage is applied from the electrode 23 to the user's hand.
  • Information on the change in potential is used by the information processing apparatus 10 to determine that the user's finger has touched another object.
  • potential information information regarding a change in potential transmitted from the detection device 20 to the information processing device 10 is referred to as potential information.
  • the potential information may be information indicating the value of the potential measured by the capacitance sensor 24 corresponding to each finger at predetermined time intervals, for example.
  • processing in which the information processing apparatus 10 determines whether or not the user's finger contacts another object is referred to as contact determination processing.
  • the other object to be subjected to the contact determination process may be an object other than the user existing around the user, such as a table or a wall, or the user who is not wearing the detection device 20 It may be a part of the user's own body, such as his hand.
  • FIG. 3 is a diagram for explaining the operation principle of the detection device 20, and FIG. 3 (a) shows an outline of electrical characteristics realized by a circuit in the detection device 20, a user's body, and the like. It is an equivalent circuit diagram.
  • FIG. 3B is a diagram schematically showing the relationship between the components included in the equivalent circuit diagram of FIG.
  • the detection device 20 includes a power supply 25 and an internal resistance Ri.
  • the capacitance sensor 24 forms the capacitor C with the user's corresponding finger.
  • FIG. 3 only one of the plurality of capacitance sensors 24 arranged at a position facing the user's index finger is shown.
  • the other capacitance sensor 24 is connected in parallel with the illustrated sensor, but the description thereof is omitted.
  • a circuit configuration in the case where the tip of the user's index finger comes into contact with another conductive object O is shown.
  • the part of the user's finger that contacts the object O is referred to as a contact part.
  • the resistance Rf in the equivalent circuit indicates the resistance component of the user's finger. Specifically, in this example, a resistance component generated by a portion from the detection site to the contact site in the user's index finger is shown. Resistance Rh indicates a resistance component possessed by the user's hand. More specifically, the resistance component generated by the portion from the application site of the user's hand to the contact site is shown. Further, the resistance Ro indicates a resistance component of the object O that the user's index finger contacts. The switch Sw indicates whether or not there is contact / non-contact between the user's index finger and another object.
  • the state where the switch Sw is turned off corresponds to a state where the user's finger is not in contact with the object O
  • the state where the switch is turned on corresponds to a state where the user's index finger is in contact with the object O.
  • a voltage is applied to the application site of the user's hand by the power supply 25 and the electrode 23. That is, these elements constitute an application unit that applies a voltage to the user.
  • the switch Sw is turned on, a current flows through the resistor Ro, and a change occurs in the voltage V of the capacitor C formed by the capacitance sensor 24 due to the voltage dividing effect. For this reason, it is possible to detect that the user's finger is in contact with another object O by detecting a change in the potential of the detection site that occurs in the capacitance sensor 24.
  • control unit 11 is configured to include a position specifying unit 31, a contact determination unit 32, and a virtual space control unit 33, as functionally shown in FIG. These functions are realized by the control unit 11 operating according to a program stored in the storage unit 12.
  • This program may be provided to the information processing apparatus 10 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the position specifying unit 31 uses the detection result of the object sensor 15 to specify the position and shape of an object existing within the detection range of the object sensor 15. In particular, the position specifying unit 31 specifies the position and shape of the user's hand and an object existing around the user's hand. Identification of the user's hand using the detection result of the object sensor 15 can be realized by a known technique.
  • the contact determination unit 32 realizes a contact determination process for determining that the finger of the user's hand has touched some object using the potential information received from the detection device 20. Specifically, the contact determination unit 32 acquires potential information at predetermined time intervals from each of the four capacitance sensors 24 corresponding to the four fingers. When it is determined that a change in potential that satisfies a predetermined condition has occurred based on the acquired potential information, it is determined that the user's finger has touched another object at that timing.
  • FIG. 5 shows an example of a change in potential generated in each of the four capacitance sensors 24 when any finger of the user touches the conductor.
  • the broken line indicates the potential before the change
  • the solid line indicates the potential after the change.
  • FIG. 6 shows an example of a change in potential that occurs when the user's index finger touches the insulator.
  • the potential of the capacitance sensor 24 corresponding to the contacted finger decreases.
  • no change occurs for the other fingers. Therefore, when a potential drop occurs in any one of the capacitance sensors 24, it is determined that the finger corresponding to the capacitance sensor 24 has contacted the insulator at that timing.
  • the contact determination unit 32 may execute the contact determination process by combining not only the potential information but also information on the position of the user's finger specified by the position specifying unit 31 and surrounding objects. Specifically, the contact determination unit 32 executes the contact determination process when the position of the user's finger and the positions of surrounding objects satisfy predetermined conditions.
  • the predetermined condition in this case may be a condition regarding the distance d between the user's finger and a surrounding object.
  • the contact determination unit 32 refers to the position of the user's finger or other object specified by the position specifying unit 31 and calculates the shortest distance d between the user's finger and the surrounding object.
  • the contact determination process based on the potential information as described above is executed only while it is determined that the calculated distance d is equal to or less than the predetermined threshold Th.
  • the contact determination process described so far is not executed. According to such control, it is possible to specify the timing at which the user's finger contacts a certain object with higher accuracy.
  • the contact determination unit 32 does not simply start the contact determination process according to the distance from the user's finger to the surrounding object, but performs the contact determination process according to the direction in which the user's finger moves. It may be determined whether or not. For example, when the position determination unit 31 determines that there is another object around the user's finger and the user's finger is moving in the direction toward the object, the contact determination unit 32 determines the potential information. A contact determination process according to the above may be executed.
  • the virtual space control unit 33 constructs a virtual space in which various objects are arranged. Then, an image showing the state of the virtual space is drawn and displayed on the display device 14. In particular, in the present embodiment, the virtual space control unit 33 determines the content of an object to be arranged in the virtual space and the operation thereof using the specification result by the position specifying unit 31 and the determination result by the contact determination unit 32. Thereby, the user can experience the state in the virtual space corresponding to the real space.
  • the virtual space control unit 33 arranges an object corresponding to an object around the user detected by the position specifying unit 31 in the virtual space.
  • an object corresponding to an object existing around the user is referred to as a peripheral object.
  • the shape of the peripheral object is roughly a shape close to a real object.
  • the color of the surface of the surrounding object and the fine shape of the surface may be different from the actual object.
  • the virtual space control unit 33 arranges a peripheral object that looks like a cockpit with an instrument, an operation panel, and the like on the surface thereof in the virtual space, and has a shape close to a table that actually exists.
  • the virtual space control unit 33 arranges an object representing the user's hand (hereinafter referred to as a hand object) in the virtual space.
  • the position and orientation of the hand object are changed in conjunction with the actual movement of the user's hand specified by the position specifying unit 31. According to such control, the user can touch his / her other object in the virtual space by moving his / her hand as if he / she was in the virtual space.
  • the virtual space control unit 33 determines the behavior of the hand object as if it touches the corresponding peripheral object in the virtual space even in the virtual space. For example, it is assumed that a table is placed in front of the user in the real space, and peripheral objects having an appearance imitating a cockpit in a shape corresponding to the table are arranged in the virtual space.
  • the virtual space control unit 33 brings the hand object into contact with the surrounding object in the virtual space and operates the operation panel or the like disposed at the position where the hand object touches. It is determined that the operation has been performed, and processing according to the operation (for example, processing for changing the state of the instrument on the surface of the surrounding object) is executed.
  • the virtual space control unit 33 causes the hand object to contact the cockpit object at the timing when the contact determination unit 32 determines that the user's finger has contacted the object. According to such control, the reaction corresponding to the contact can be generated even in the virtual space at the timing when the user touches the real object, so that the user does not feel a sense of incongruity and feels immersive in the virtual space. Can be increased.
  • the position specifying unit 31 uses the detection result of the object sensor 15 to specify the position of the user's hand at that time and the object existing around it (S1).
  • the virtual space control unit 33 updates the positions of the hand object corresponding to the user's hand and the peripheral objects corresponding to the surrounding objects in the virtual space according to the position specified in S1 (S2).
  • the contact determination unit 32 determines whether the distance d from the finger of the user's hand to the surrounding object is equal to or less than the threshold Th using the identification result of S1 (S3). If it is determined in S3 that no other object exists within the range equal to or smaller than the threshold Th from the user's finger, the process of S6 is executed next. On the other hand, when the distance d between the user's finger and the surrounding object is close to the threshold value Th or less, the contact determination unit 32 uses the potential information acquired from the detection device 20 to move the user's finger around It is determined whether the object has been contacted (S4).
  • the virtual space control unit 33 executes processing corresponding to the contact (position adjustment of the hand object, change of the appearance of the surrounding objects, etc.) (S5). In both cases where the process of S5 is executed and when it is determined that there is no contact in S4, the process of S6 is executed next.
  • the virtual space control unit 33 draws an image showing the state of the virtual space updated in S2 and S5, and displays the image on the display device 14 (S6).
  • the contact timing can be accurately identified.
  • the embodiments of the present invention are not limited to those described above.
  • the shape and circuit configuration of the detection device 20 in the above description are merely examples, and different shapes that exhibit the same action may be used.
  • An operation button or the like may be disposed on the surface of the detection device 20 and may be used to accept a user operation input.
  • the object sensor 15 is not limited to the one described above, and may be various types capable of specifying the position and shape of the user's hand and surrounding objects.
  • the object sensor 15 may be an infrared camera or other camera that detects a place where heat is high.
  • the position of an object such as a user's hand can also be specified by analyzing an image obtained by photographing a real space with these cameras.
  • the capacitance sensor 24 arranged in the detection device 20 may be used for measuring the distance to the user's finger in a state where no voltage is applied to the user's hand. In this case, in order to specify the shape of the user's hand, the detection result of the capacitance sensor 24 may be used.
  • the detection device 20 is attached to the palm of the hand and used to detect that the user's finger has come into contact with another object. It is good also as attaching a voltage and applying a voltage to parts other than a palm. Further, the facing position and the contact position in the above description are merely examples, and may be another part of the user's body.
  • the processing that the information processing apparatus 10 executes in the above description may be executed in the detection apparatus 20.
  • the acquisition of potential information and the contact determination process executed by the contact determination unit 32 may be executed in the detection device 20.
  • the detection device 20 itself functions alone as an information processing device and an information processing system according to an embodiment of the present invention.
  • 1 information processing system 10 information processing device, 11 control unit, 12 storage unit, 13 communication unit, 14 display device, 15 object sensor, 20 detection device, 21 body unit, 22 bands, 23 electrodes, 24 capacitance sensor, 25 power supply, 31 position specifying unit, 32 contact determining unit, 33 virtual space control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザーの身体の印加部位に電圧を印加する印加部と、当該印加部位に電圧を印加した状態において、当該印加部位とは異なるユーザーの身体の検出部位における電位の変化を検出する検出部と、を含み、当該検出部が検出した電位の変化に基づいて、ユーザーの身体の部位と他の物体との接触を判定する情報処理システムである。

Description

情報処理システム
　本発明は、ユーザーの身体の動きに関する情報を取得する情報処理システム、当該情報処理システムを構成する検出装置、及び情報処理装置、情報処理方法、及びプログラムに関する。
　光学的に物体の位置を検出するセンサーなどによってユーザーの手の指などの位置を検出し、その検出結果に応じて各種の処理を実行する情報処理装置が知られている。このような技術によれば、ユーザーは自分の身体を動かすことによって情報処理装置に対する操作入力を行うことができ、より直感的な入力が可能となる。
　上記従来例の技術では、ユーザーの身体が他の物体や自分の身体の別の部位などと接触したことを正確に検知することが難しい。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの身体の一部が他の物体に接触したことを精度よく検出可能な情報処理システム、検出装置、情報処理装置、情報処理方法、及びプログラムを提供することにある。
　本発明に係る情報処理システムは、ユーザーの身体の印加部位に電圧を印加する印加部と、前記印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位における電位の変化を検出する検出部と、前記検出部が検出した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する接触判定部と、を含むことを特徴とする。
　本発明に係る検出装置は、ユーザーの身体の印加部位に電圧を印加する印加部と、前記印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位における電位の変化を検出する検出部と、を含み、前記検出部が検出した電位の変化が、前記ユーザーの身体の部位と他の物体との接触の判定に用いられることを特徴とする。
　本発明に係る情報処理装置は、ユーザーの身体の印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位において検出された電位の変化に関する情報を取得する取得部と、前記取得部が取得した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する接触判定部と、を含むことを特徴とする。
　本発明に係る情報処理方法は、ユーザーの身体の印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位において検出された電位の変化に関する情報を取得する取得ステップと、前記取得ステップで取得した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する判定ステップと、を含むことを特徴とする。
　本発明に係るプログラムは、ユーザーの身体の印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位において検出された電位の変化に関する情報を取得する取得ステップと、前記取得ステップで取得した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する判定ステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理システムの全体構成を表すブロック図である。 検出装置の外観の一例を示す図である。 検出装置の動作原理を説明する図である。 情報処理装置の機能を表す機能ブロック図である。 電位の変化の一例を示す図である。 電位の変化の別の例を示す図である。 情報処理装置が実行する処理の流れの一例を示すフロー図である。
　以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明において各部の大きさやその比、配置等は一例であり、本実施の形態の例は、図示等した大きさや比率、配置に限られるものではない。
　図１は、本発明の一実施形態に係る情報処理システム１の全体構成を示す図である。同図に示されるように、情報処理システム１は、情報処理装置１０と、ユーザーが手に装着して使用する検出装置２０と、を含んで構成されている。
　情報処理装置１０は、検出装置２０と通信接続されるコンピュータであって、例えば家庭用ゲーム機やパーソナルコンピュータ等であってよい。この情報処理装置１０は、図１に示すように、制御部１１と、記憶部１２と、通信部１３とを含んで構成されている。また、本実施形態において情報処理装置１０は、表示装置１４、及び物体センサー１５とも通信接続される。
　制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に格納されたプログラムに従って各種の情報処理を実行する。この制御部１１の具体的な処理の内容については、後に詳しく述べる。
　記憶部１２は、少なくとも一つのメモリ素子を含み、制御部１１によって実行されるプログラム、及びこのプログラムによる処理の対象となるデータを保持する。このプログラムは、コンピュータ可読かつ、非一時的な記憶媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。
　通信部１３は、ＵＳＢ（Universal Serial Bus）等のシリアルインタフェースあるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インタフェースを含んで構成される。情報処理装置１０は、この通信部１３を介して検出装置２０と通信可能に接続される。特に本実施形態において、通信部１３は、物体センサー１５、及び検出装置２０から送信される検出結果の情報を受信する。さらに通信部１３は、表示装置１４と有線又は無線で通信するための通信インタフェースを含んでいる。情報処理装置１０は、通信部１３を介して、表示装置１４が表示すべき映像のデータを表示装置１４に対して送信する。
　表示装置１４は、情報処理装置１０から送信される映像信号に基づく映像を表示する。例えば表示装置１４は、ヘッドマウントディスプレイ等のユーザーが頭部に装着して使用するタイプのデバイスであってもよい。
　物体センサー１５は、ユーザーの手や、その周囲にある物体の位置を検出するために用いられる。具体的に、例えば物体センサー１５は、ユーザーの手が存在すると想定される位置に向けられたステレオカメラであってよい。この場合、物体センサー１５は左右に並んだ二つのカメラによって構成され、二つのカメラの視差を利用して視野範囲内に写っている被写体までの距離の情報を含んだ距離画像（デプスマップ）を生成する。このような距離画像を参照することで、情報処理装置１０は物体センサー１５の観測位置を基準点としたユーザーの手の位置や手の形状を把握することができる。また、同様に、ユーザーの手の周囲に存在するテーブルや壁など、各種の物体の位置や形状を検出することもできる。ただし、ここでは物体センサー１５は、検出対象の物体を光学的に観測して物体の位置を検出することとしている。そのため、二つの物体が物体センサー１５の観測位置から見て重なり合う場合などにおいて、両者の正確な位置を特定することが難しい場合もある。このことから、ユーザーの手の指が周囲の物体に接触した場合に、その接触のタイミングを正確に特定できないことがある。そこで本実施形態では、以下に説明する検出装置２０を用いて、ユーザーの手の指が他の物体に接触したタイミングを特定する。
　検出装置２０は、ユーザーの手の指が何らかの物体に接触したことを検出するためのデバイスである。検出装置２０は、ユーザーの手に装着されて使用される。ここでは具体例として、検出装置２０はユーザーの手のひら側に装着されることとする。図２は、検出装置２０の外観の一例を示す図であって、ユーザーが検出装置２０を手に装着した様子を示している。同図に示されるように、検出装置２０は、本体部２１と、バンド２２と、を含んで構成されている。ユーザーはバンド２２に自身の手を通して、手のひらを本体部２１に接触させるように検出装置２０を装着する。
　本体部２１表面のうち、ユーザーの手に対面する側には電極２３が露出しており、ユーザーが検出装置２０を装着した状態において電極２３がユーザーの手に接触するようになっている。検出装置２０は、電極２３からユーザーの手の一部分に対して電圧を印加する。以下では、ユーザーの手のうち電極２３が接触する部位（すなわち、検出装置２０が電圧を印加する部位）を、印加部位という。印加部位は、手のひらに限らず手の甲や手首、腕などの一部分であってもよい。
　また、本体部２１には、ユーザーの親指を除く４本の指に対向するように、４個の静電容量センサー２４が配置されている。これらの静電容量センサー２４は、それぞれ対向するユーザーの指との間でキャパシターを形成する。このキャパシターの容量を計測することによって、ユーザーの指の位置が検出できる。以下では、静電容量センサー２４と対向してキャパシターを形成するユーザーの指の部位を、検出部位という。
　さらに本実施形態では、検出装置２０は、電極２３からユーザーの手に対して電圧が印加された状態において、静電容量センサー２４に生じる電位の変化を検出する。この電位の変化に関する情報は、情報処理装置１０によってユーザーの指が他の物体に接触したことを判定するために用いられる。以下、検出装置２０から情報処理装置１０に対して送信される電位の変化に関する情報を、電位情報という。電位情報は、例えば所定時間おきに各指に対応する静電容量センサー２４で計測された電位の値を示す情報であってよい。また、以下では情報処理装置１０がユーザーの指の他の物体への接触の有無を判定する処理を、接触判定処理という。なお、接触判定処理の対象となる他の物体とは、テーブルや壁などのユーザーの周囲に存在するユーザーとは別の物体であってもよいし、検出装置２０を装着していない側のユーザーの手など、ユーザー自身の身体の一部であってもよい。
　図３は、検出装置２０の動作原理を説明するための図であって、図３（ａ）は検出装置２０内の回路、及びユーザーの身体等によって実現される電気的な特性の概要を示す等価回路図である。また、図３（ｂ）は図３（ａ）の等価回路図に含まれる構成要素と現実の物体との関係を模式的に示す図である。同図に示されるように、検出装置２０内には、電源２５、及び内部抵抗Ｒｉが含まれる。また、前述したように、静電容量センサー２４は、ユーザーの対応する指との間でキャパシターＣを形成する。なお、この図３においては、複数ある静電容量センサー２４のうち、ユーザーの人差し指と対向する位置に配置された一つだけが図示されている。その他の静電容量センサー２４は、図示されたものと並列に接続されているが、その記載は省略されている。また、ここではユーザーの人差し指の先端が導電性を有する他の物体Ｏに接触する場合の回路構成を示している。以下では、物体Ｏと接触するユーザーの指の部位を、接触部位という。
　等価回路内の抵抗Ｒｆは、ユーザーの指が有する抵抗成分を示している。具体的にこの例では、ユーザーの人差し指のうち、検出部位から接触部位までの部分によって生じる抵抗成分を示している。また、抵抗Ｒｈはユーザーの手が有する抵抗成分を示している。より具体的には、ユーザーの手の印加部位から接触部位までの部分によって生じる抵抗成分を示している。また、抵抗Ｒｏはユーザーの人差し指が接触する物体Ｏが有する抵抗成分を示している。スイッチＳｗは、ユーザーの人差し指と他の物体との間の接触／非接触の有無を示している。すなわち、スイッチＳｗがオフになった状態は、ユーザーの指が物体Ｏに接触していない状態に対応し、オンになった状態は、ユーザーの人差し指が物体Ｏに接触した状態に対応している。
　図３に示されるように、電源２５、及び電極２３によって、ユーザーの手の印加部位に電圧が印加される。すなわち、これらの要素がユーザーに電圧を印加する印加部を構成する。スイッチＳｗがオンになると、抵抗Ｒｏを経由して電流が流れ、分圧効果により静電容量センサー２４によって形成されるキャパシターＣの電圧Ｖに変化が生じる。このため、静電容量センサー２４に生じる検出部位の電位の変化を検出することによって、ユーザーの指が他の物体Ｏに接触したことを検出することができる。
　なお、ユーザーの指が接触した物体が導電性を持たない絶縁体である場合、上述したような抵抗Ｒｏを経由する電流が流れないため、分圧効果による明確な電位の変動は生じない。しかしながら、接触時の指の曲がりや指にかかる圧力などによって、接触した指の検出部位に電位の変動が生じることがわかっている。そのため、ユーザーの指が接触したのが絶縁体の場合にも、例えば物体センサー１５の検出結果と組み合わせるなどの方法によって、電位の変化からユーザーの指がその絶縁体に接触したタイミングを検出することができる。このような接触判定処理の具体例については、後述する。
　以下、情報処理装置１０の制御部１１が実現する機能について説明する。本実施の形態において制御部１１は、機能的に図４に示すように、位置特定部３１と、接触判定部３２と、仮想空間制御部３３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　位置特定部３１は、物体センサー１５による検出結果を用いて、物体センサー１５の検出範囲内に存在する物体の位置、及び形状を特定する。特に位置特定部３１は、ユーザーの手、及びその周囲に存在する物体の位置、及び形状を特定する。物体センサー１５の検出結果を用いたユーザーの手の特定は、公知の技術によって実現できる。
　接触判定部３２は、検出装置２０から受信する電位情報を用いて、ユーザーの手の指が何らかの物体に接触したことを判定する接触判定処理を実現する。具体的に接触判定部３２は、４本の指に対応する４個の静電容量センサー２４のそれぞれから、所定の時間間隔で電位情報を取得する。そして、取得した電位情報に基づいて、所定の条件を満たす電位の変化が発生したと判定した場合、そのタイミングでユーザーの指が他の物体に接触したと判定する。
　ここで、接触判定部３２が実行する接触判定処理の具体例について、説明する。図５は、ユーザーのいずれかの指が導体に触れた際に４個の静電容量センサー２４のそれぞれで発生する電位の変化の一例を示している。なお、図中の破線は変化前の電位を、実線は変化後の電位を、それぞれ示している。この図に示されるように、ユーザーのいずれかの指が導体に触れた際には、前述したような分圧効果により、４個の静電容量センサー２４のいずれについても、電位の低下が発生する。そのため、４個の静電容量センサー２４全てで同時に電位が低下した場合、そのタイミングでユーザーのいずれかの指が導体に接触したと判定される。
　図６は、ユーザーの人差し指が絶縁体に触れた際に発生する電位の変化の一例を示している。なお、図５と同様、この図に示されるように、ユーザーのいずれかの指が絶縁体に接触した場合、接触した指（ここでは人差し指）に対応する静電容量センサー２４の電位は低下するが、その他の指については変化が発生しない。そのため、いずれか一つの静電容量センサー２４で電位の低下が発生した場合、そのタイミングでその静電容量センサー２４に対応する指が絶縁体に接触したと判定される。
　ただし、ユーザーの指が何らかの物体に接触したタイミング以外にも、別の要因で電位の変動が生じる場合もあり得る。そこで接触判定部３２は、電位情報だけでなく、位置特定部３１によって特定されるユーザーの指、及びその周囲の物体の位置の情報を組み合わせて、接触判定処理を実行することとしてもよい。具体的に接触判定部３２は、ユーザーの指の位置、及び周囲の物体の位置が所定の条件を満たす場合に、接触判定処理を実行することとする。この場合の所定の条件は、ユーザーの指と周囲の物体との間の距離ｄに関する条件であってよい。例えば接触判定部３２は、位置特定部３１により特定されたユーザーの指や他の物体の位置を参照して、ユーザーの指と周囲の物体との間の最短の距離ｄを算出する。そして、算出された距離ｄが所定の閾値Ｔｈ以下になっていると判定される間だけ、これまで説明したような電位情報に基づく接触判定処理を実行する。一方、ユーザーの指の周囲の閾値Ｔｈまでの距離範囲内に何の物体も存在しない場合には、これまで説明した接触判定処理を実行しないこととする。このような制御によれば、より精度よくユーザーの指が何らかの物体に接触したタイミングを特定することができる。
　また、接触判定部３２は、単にユーザーの指から周囲の物体までの距離に応じて接触判定処理の実行を開始するのではなく、ユーザーの指が動く方向に応じて接触判定処理の実行を行うか否か決定してもよい。例えば接触判定部３２は、位置特定部３１によってユーザーの指の周囲に他の物体が存在し、かつ、ユーザーの指がその物体に向かう方向に移動していると判定される場合に、電位情報に応じた接触判定処理を実行してもよい。
　仮想空間制御部３３は、各種のオブジェクトが配置された仮想空間を構築する。そして、その仮想空間の様子を示す映像を描画し、表示装置１４に表示させる。特に本実施形態では、仮想空間制御部３３は、位置特定部３１による特定結果、及び接触判定部３２による判定結果を用いて、仮想空間内に配置するオブジェクトの内容や、その動作を決定する。これによりユーザーは、現実空間に対応する仮想空間内の様子を体験できる。
　一例として、仮想空間制御部３３は、位置特定部３１が検出したユーザーの周囲の物体に対応するオブジェクトを、仮想空間内に配置する。以下、このようなユーザーの周囲に存在する物体に対応するオブジェクトを、周辺オブジェクトという。周辺オブジェクトの形状は、概略として現実の物体に近い形状とすることが望ましい。一方、周辺オブジェクト表面の色や表面の微細な形状は、現実の物体と相違してもよい。例えば仮想空間制御部３３は、現実に存在するテーブルに近い形状で、その表面に計器や操作パネルなどが配置された操縦席のような外観の周辺オブジェクトを仮想空間内に配置する。
　また、仮想空間制御部３３は、ユーザーの手を表すオブジェクト（以下、手オブジェクトという）を仮想空間内に配置する。そして、この手オブジェクトの位置及び姿勢を、位置特定部３１によって特定されたユーザーの手の現実の動きに連動させて変化させることとする。このような制御によれば、ユーザーはあたかも自分が仮想空間内にいるかのように、自分の手を動かして仮想空間内の他のオブジェクトに触れたりすることができる。
　さらに仮想空間制御部３３は、ユーザーが現実空間に存在する物体に接触した場合に、仮想空間内でも手オブジェクトが仮想空間内の対応する周辺オブジェクトに接触したものとして、その挙動を決定する。例えば現実空間でユーザーの前にテーブルが置かれており、このテーブルに対応する形状で操縦席を模した外観の周辺オブジェクトが仮想空間内に配置されているものとする。この例においてユーザーの指がテーブルに接触した場合、仮想空間制御部３３は、仮想空間内で手オブジェクトを周辺オブジェクトに接触させるとともに、手オブジェクトが接触した位置に配置されている操作パネルなどが操作されたと判定し、その操作に応じた処理（例えば周辺オブジェクト表面の計器の様子を変化させる処理）を実行する。
　このとき仮想空間制御部３３は、接触判定部３２によってユーザーの指が物体に接触したと判定されるタイミングで、手オブジェクトを操縦席オブジェクトに接触させるものとする。このような制御によれば、現実の物体をユーザーが触ったタイミングで、仮想空間内でも接触に対応した反応を発生させることができるため、ユーザーが違和感を感じにくくなり、仮想空間への没入感を高めることができる。
　以下、本実施形態に係る情報処理装置１０が実行する処理の流れの具体例について、図７のフロー図を用いて説明する。ここでは、表示装置１４に表示させる表示画像を更新するごとに実行する処理の流れについて、説明する。
　まず位置特定部３１が、物体センサー１５の検出結果を用いて、その時点でのユーザーの手、及びその周囲に存在する物体の位置を特定する（Ｓ１）。次に仮想空間制御部３３が、Ｓ１で特定された位置に応じて、ユーザーの手に対応する手オブジェクト、及び周囲の物体に対応する周辺オブジェクトの仮想空間内における位置を更新する（Ｓ２）。
　続いて接触判定部３２が、Ｓ１の特定結果を用いて、ユーザーの手の指から周囲の物体までの距離ｄが閾値Ｔｈ以下になるかを判定する（Ｓ３）。Ｓ３でユーザーの指から閾値Ｔｈ以下の範囲内に他の物体は存在しないと判定される場合、次にＳ６の処理が実行される。一方、ユーザーの指と周囲の物体との間の距離ｄが閾値Ｔｈ以下にまで近づいた状態の場合、接触判定部３２は、検出装置２０から取得した電位情報を用いて、ユーザーの指が周囲の物体と接触したかを判定する（Ｓ４）。
　Ｓ４で接触があったと判定された場合、仮想空間制御部３３は、接触に対応した処理（手オブジェクトの位置調整や、周辺オブジェクトの外観の変更など）を実行する（Ｓ５）。Ｓ５の処理を実行した場合、及びＳ４で接触はないと判定された場合のいずれの場合にも、次にＳ６の処理が実行される。
　その後、仮想空間制御部３３は、Ｓ２、及びＳ５で更新された仮想空間の様子を示す画像を描画し、表示装置１４に表示させる（Ｓ６）。以上説明した処理を繰り返し実行することによって、リアルタイムでユーザーの手の動きに連動して変化する仮想空間内の様子をユーザーに提示することができる。
　以上説明した本実施形態に係る情報処理システム１によれば、現実空間においてユーザーの指が他の物体に接触した際に、その接触タイミングを精度よく特定することができる。
　なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明における検出装置２０の形状や回路構成は例示に過ぎず、同様の作用を奏する異なる形状であってもよい。また、検出装置２０の表面には操作ボタン等が配置され、ユーザーの操作入力を受け付けるために用いられてもよい。
　また、物体センサー１５は、以上説明したものに限られず、ユーザーの手や周囲の物体の位置や形状を特定可能な各種のものであってよい。例えば物体センサー１５は、熱の高い場所を検知する赤外線カメラやその他のカメラであってもよい。これらのカメラで現実空間を撮影して得られる画像を解析することによっても、ユーザーの手などの物体の位置を特定することができる。また、検出装置２０に配置された静電容量センサー２４は、ユーザーの手に電圧が印加されない状態において、ユーザーの指までの距離を計測するために用いられてもよい。この場合、ユーザーの手の形状を特定するために、静電容量センサー２４の検出結果を利用してもよい。
　また、以上の説明では検出装置２０は手のひらに装着されて、ユーザーの指が他の物体に接触したことを検出するために使用されることとしたが、検出装置２０はユーザーの身体の別の場所に装着されて、手のひら以外の部位に電圧を印加することとしてもよい。また、以上の説明における対向位置や接触位置も例示に過ぎず、ユーザーの身体の別の部位であってもよい。
　また、以上の説明で情報処理装置１０が実行することとした処理の少なくとも一部は、検出装置２０内で実行されてもよい。例えば、接触判定部３２が実行する電位情報の取得、及び接触判定処理は、検出装置２０内で実行されてもよい。この場合、検出装置２０自身が単体で本発明の一実施形態に係る情報処理装置、及び情報処理システムとしても機能することとなる。
　１　情報処理システム、１０　情報処理装置、１１　制御部、１２　記憶部、１３　通信部、１４　表示装置、１５　物体センサー、２０　検出装置、２１　本体部、２２　バンド、２３　電極、２４　静電容量センサー、２５　電源、３１　位置特定部、３２　接触判定部、３３　仮想空間制御部。

Claims (8)

  1. 　ユーザーの身体の印加部位に電圧を印加する印加部と、
    　前記印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位における電位の変化を検出する検出部と、
    　前記検出部が検出した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する接触判定部と、
    　を含むことを特徴とする情報処理システム。
  2. 　請求項１に記載の情報処理システムにおいて、
    　前記ユーザーの身体の所定部分、及び、当該所定部分の周囲に存在する物体の位置を特定する位置特定部をさらに含み、
    　前記接触判定部は、前記所定部分、及び前記物体の位置が所定の条件を満たす場合に、前記所定部分に含まれる身体の部位と前記物体との接触を判定する
    　ことを特徴とする情報処理システム。
  3. 　請求項２に記載の情報処理システムにおいて、
    　前記接触判定部は、前記所定部分と前記物体との間の距離が予め定められた閾値以下になる場合に、前記所定部分に含まれる身体の部位と前記物体との接触を判定する
    　ことを特徴とする情報処理システム。
  4. 　請求項１から３のいずれか一項に記載の情報処理システムにおいて、
    　前記検出部は複数あって、前記ユーザーの複数の指に対応し、それぞれ対応する指の一部分を検出部位として、当該検出部位の電位の変化を検出する
    　ことを特徴とする情報処理システム。
  5. 　ユーザーの身体の印加部位に電圧を印加する印加部と、
    　前記印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位における電位の変化を検出する検出部と、
    　を含み、
    　前記検出部が検出した電位の変化が、前記ユーザーの身体の部位と他の物体との接触の判定に用いられる
    　ことを特徴とする検出装置。
  6. 　ユーザーの身体の印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位において検出された電位の変化に関する情報を取得する取得部と、
    　前記取得部が取得した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する接触判定部と、
    　を含むことを特徴とする情報処理装置。
  7. 　ユーザーの身体の印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位において検出された電位の変化に関する情報を取得する取得ステップと、
    　前記取得ステップで取得した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する判定ステップと、
    　を含むことを特徴とする情報処理方法。
  8. 　ユーザーの身体の印加部位に電圧を印加した状態において、前記印加部位とは異なるユーザーの身体の検出部位において検出された電位の変化に関する情報を取得する取得ステップと、
    　前記取得ステップで取得した電位の変化に基づいて、前記ユーザーの身体の部位と他の物体との接触を判定する判定ステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2018/002969 2018-01-30 2018-01-30 情報処理システム WO2019150429A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/960,989 US11360632B2 (en) 2018-01-30 2018-01-30 Information processing system
PCT/JP2018/002969 WO2019150429A1 (ja) 2018-01-30 2018-01-30 情報処理システム
JP2019568425A JP6861854B2 (ja) 2018-01-30 2018-01-30 情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002969 WO2019150429A1 (ja) 2018-01-30 2018-01-30 情報処理システム

Publications (1)

Publication Number Publication Date
WO2019150429A1 true WO2019150429A1 (ja) 2019-08-08

Family

ID=67478952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002969 WO2019150429A1 (ja) 2018-01-30 2018-01-30 情報処理システム

Country Status (3)

Country Link
US (1) US11360632B2 (ja)
JP (1) JP6861854B2 (ja)
WO (1) WO2019150429A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128304A (ja) * 2005-11-04 2007-05-24 Nikon Corp 情報入力装置及びその方法、並びにこれを用いた電子機器
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
JP2010225131A (ja) * 2009-02-27 2010-10-07 Denso Corp 電気機器
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ． 指に装着される装置とその使用方法
JP2017517084A (ja) * 2014-04-28 2017-06-22 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． 着用型タッチ装置及び着用型タッチ方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634494B1 (ko) * 2002-08-19 2006-10-16 삼성전기주식회사 착용가능한 정보 입력 장치, 정보 처리 장치 및 정보 입력방법
US8378967B2 (en) * 2009-02-27 2013-02-19 Denso Corporation Wearable electrical apparatus
US9606662B2 (en) * 2015-06-10 2017-03-28 International Business Machines Corporation Touch interface with person recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128304A (ja) * 2005-11-04 2007-05-24 Nikon Corp 情報入力装置及びその方法、並びにこれを用いた電子機器
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ． 指に装着される装置とその使用方法
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
JP2010225131A (ja) * 2009-02-27 2010-10-07 Denso Corp 電気機器
JP2017517084A (ja) * 2014-04-28 2017-06-22 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． 着用型タッチ装置及び着用型タッチ方法

Also Published As

Publication number Publication date
JP6861854B2 (ja) 2021-04-21
US20210055815A1 (en) 2021-02-25
US11360632B2 (en) 2022-06-14
JPWO2019150429A1 (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
EP3602256B1 (en) Virtual reality / augmented reality handheld controller sensing
JP6644035B2 (ja) 手袋インタフェースオブジェクト及び方法
CN107918485B (zh) 手势侦测系统及方法
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
EP2943836B1 (en) Head mount display device providing eye gaze calibration and control method thereof
EP2966555B1 (en) Three-dimensional operation control method and device for touchscreen, and mobile terminal thereof
US20170262056A1 (en) Selection of optimally positioned sensors in a glove interface object
WO2017041433A1 (zh) 可穿戴设备的触控响应方法、装置及可穿戴设备
JP6831475B2 (ja) 情報処理システム、コントローラデバイス、及び情報処理装置
US11009949B1 (en) Segmented force sensors for wearable devices
TW201319925A (zh) 一種立體交互系統和立體交互方法
KR20160002493U (ko) 착용형 헬스케어 장치
JP2012101284A (ja) 人の動作における意図推定装置
CN104123040B (zh) 一种显示设备、使用其的电子设备和识别方法
WO2019150429A1 (ja) 情報処理システム
US11353959B2 (en) Controller device
JP7476505B2 (ja) 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
CN114167997A (zh) 一种模型显示方法、装置、设备和存储介质
KR20160149403A (ko) 웨어러블 데이터 입력장치 및 이를 이용한 데이터 입력방법
US10845891B2 (en) Displaying proximate keys in a virtual reality environment
JP5026483B2 (ja) 仮想対象に対する視覚的知覚位置の推定装置及び推定方法
JP2003281672A (ja) 形状情報伝達システム
JP5245603B2 (ja) タッチパネル用情報生成装置及びタッチパネル用情報生成装置の制御方法
KR20210152241A (ko) 글러브형 모션 인식 시스템
JP2012168817A (ja) 入力処理装置及びオブジェクト動作制御方法と、オブジェクト動作制御をコンピュータに実行させるためのプログラム及びそれを記録したコンピュータ読み取り可能な情報記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903387

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019568425

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903387

Country of ref document: EP

Kind code of ref document: A1