[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023002907A1 - 情報処理システム、プログラム及び情報処理方法 - Google Patents

情報処理システム、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2023002907A1
WO2023002907A1 PCT/JP2022/027675 JP2022027675W WO2023002907A1 WO 2023002907 A1 WO2023002907 A1 WO 2023002907A1 JP 2022027675 W JP2022027675 W JP 2022027675W WO 2023002907 A1 WO2023002907 A1 WO 2023002907A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
motion
finger
information processing
dimensional
Prior art date
Application number
PCT/JP2022/027675
Other languages
English (en)
French (fr)
Inventor
史宗 佐野
Original Assignee
株式会社あかつき
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社あかつき filed Critical 株式会社あかつき
Priority to US18/252,338 priority Critical patent/US11908097B2/en
Publication of WO2023002907A1 publication Critical patent/WO2023002907A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to an information processing system, a program, and an information processing method.
  • a virtual operation unit called a virtual stick is displayed on the game screen. There is something that the player (movable object) is controlled by.
  • the present invention provides an information processing system that provides an application that can be executed on an information processing terminal, a detection unit that detects a three-dimensional motion of a user's finger; a motion control unit that controls the three-dimensional motion of a movable object within the application based on the three-dimensional motion of the user's finger detected by the detection unit; It is characterized by having
  • the movable object in the application is three-dimensionally controlled according to the three-dimensional motion of the user's finger detected by the detection unit. Therefore, since the user can intuitively operate the application, the convenience for the user when operating the application such as a game is improved.
  • FIG. 1 is a block diagram illustrating the outline of the configuration of an information processing system according to an embodiment of the present invention
  • FIG. Similarly, it is a block diagram for explaining the outline of the configuration of the server of the information processing system according to the present embodiment.
  • it is a block diagram for explaining the outline of the configuration of the storage of the server of the information processing system according to the present embodiment.
  • it is a block diagram for explaining the outline of the configuration of game information processed by the information processing system according to the present embodiment.
  • it is a flowchart explaining the outline of the processing of the operation control unit of the information processing program of the information processing system according to the present embodiment.
  • it is a figure which shows an example of the game screen of the information processing system which concerns on this Embodiment.
  • FIG. 1 An information processing system according to an embodiment of the present invention will be described based on FIGS. 1 to 11.
  • FIG. 1 An information processing system according to an embodiment of the present invention will be described based on FIGS. 1 to 11.
  • FIG. 1 An information processing system according to an embodiment of the present invention will be described based on FIGS. 1 to 11.
  • FIG. 1 is a block diagram illustrating the outline of the configuration of the information processing system according to the embodiment of the present invention.
  • the information processing system 10 includes a server 20 and one or more user terminals 30 (information processing terminals), which are connected to each other via a network 100 such as the Internet network so as to be accessible.
  • a network 100 such as the Internet network so as to be accessible.
  • the information processing system 10 may be configured only by the user terminal 30 .
  • the information processing system 10 of this example is a system that provides applications in the game field, but is not limited to this, and can also be applied to systems that provide applications in various fields other than games. Fields other than games include, for example, an application for viewing the interior of real estate. It is possible to move a character three-dimensionally within a building within the application, control the three-dimensional movement of a virtual camera, and control the field of view (visual field) of the display image displayed on the screen in three dimensions. can.
  • the server 20 is deployed in the operator 1 (system administrator) who provides the application (game in this example) in the information processing system 10, and the user terminal 30 executes the application provided by the operator 1. It is held by the user 2 who uses it.
  • the games provided by the operator 1 in the information processing system 10 include, for example, fighting games, shooting games, puzzle games, action games, baseball games, soccer games, other sports games, quiz games, pinball games, card games, and rhythm games. , RPG (role-playing game), location information game, board game, adventure game, casino game, simulation game, strategy game, racing game, or a combination of any of these.
  • RPG role-playing game
  • the server 20 is implemented by a desktop or notebook computer (information processing device) in this embodiment.
  • FIG. 2 is a block diagram explaining the outline of the configuration of the server 20.
  • the server 20 includes a processor 21 , a memory 22 , a storage 23 , a transmission/reception section 24 and an input/output section 25 , which are electrically connected to each other via a bus 26 .
  • the processor 21 is an arithmetic device that controls the operation of the server 20, controls transmission and reception of data between elements, and performs processes necessary for executing application programs.
  • the processor 21 is, for example, a CPU (Central Processing Unit) in the present embodiment, and executes an application program stored in the storage 23 described later and developed in the memory 22 to perform each process.
  • CPU Central Processing Unit
  • the memory 22 includes a main storage device composed of a volatile memory device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive). .
  • a volatile memory device such as a DRAM (Dynamic Random Access Memory)
  • auxiliary storage device composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive).
  • This memory 22 is used as a work area for the processor 21, and stores the BIOS (Basic Input/Output System) executed when the server 20 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 23 stores programs and information used for various processes. The configuration of this storage 23 will be described later.
  • the storage unit of the server 20 is composed of the memory 22 and the storage 23, but is not limited to this.
  • the transmission/reception unit 24 connects the server 20 to the network 100 .
  • the transmission/reception unit 24 may include a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • the input/output unit 25 is an interface to which input/output devices such as a keyboard, mouse, or display are connected.
  • the bus 26 transmits, for example, address signals, data signals, and various control signals among the connected processor 21, memory 22, storage 23, transmission/reception unit 24, and input/output unit 25.
  • FIG. 3 is a block diagram illustrating the outline of the configuration of the storage 23. As shown in FIG. As illustrated, the storage 23 includes a database 40 and an information processing program 41 in this embodiment.
  • the database 40 is implemented as a storage area provided by the storage 23, and stores game information D1 as an example of application information in this embodiment.
  • FIG. 4 is a block diagram illustrating the outline of the configuration of the game information D1.
  • the game information D1 includes game data d1a, event data d1b, player data d1c, and reward data d1d.
  • the game data d1a is composed of data related to game settings according to the type of game, such as characters and items appearing in the game, background images, etc.
  • the stage ID The stage name etc. associated with is included.
  • the characters that make up the game data d1a are the players who act in the game by the operation of the user 2 via the user terminal 30, the characters that become companions of the player, or the characters that fight against the player. etc. are included.
  • the event data d1b is composed of an arbitrary event in which a trial (for example, a battle with an enemy character, etc.) is set by the user 2 as a player.
  • a trial for example, a battle with an enemy character, etc.
  • In-game rewards such as items used in , recovery of the player's energy, etc., which will be described later, may be given.
  • the player data d1c includes a player name, data related to a character owned by the user 2 as a player, data related to the action settings of the user 2, data related to items owned by the player of the user 2, and data related to a play stage. It is composed of data, etc.
  • Data related to owned characters include, for example, the current values of various parameters such as level, attack power, defense power, and physical strength associated with the character's ID.
  • the data related to the player's motion setting includes, for example, any preset criteria that associates the three-dimensional motion vector of the finger of the user 2 with the player's motion vector.
  • the data regarding the setting of the player's motion may include, for example, information indicating the relationship between the direction of the motion vector of the finger and the direction of the motion vector of the movable object (player).
  • the case where the angle is corrected by predetermined arithmetic processing for example, when the finger of user 2 moves in the x direction, If the player moves in the y-direction, and the user's finger moves in the y-direction, the player moves in the z-direction, etc.).
  • the data regarding the setting of the player's motion may include, for example, information indicating the relationship between the magnitude of the motion vector of the finger and the magnitude of the motion vector of the movable object (player).
  • the movable object when the finger of the user 2 moves 10 mm from the reference position, the movable object also moves 10 mm within the application, or it moves by a distance multiplied by a predetermined magnification.
  • the three-dimensional motion of the finger of the user 2 may be associated with the zoom-in motion and the zoom-out motion of the screen within the application.
  • Data related to owned items includes, for example, values such as the number of owned items associated with item IDs.
  • the data about the play stage is data about the stage that the user 2 has played so far as a player among the set stages, and includes, for example, the number of times played and the data when the stage is cleared. .
  • the reward data d1d is data related to the in-game reward given to the player.
  • this in-game reward includes, for example, the execution of an arbitrary event executed in the game, an increase in the drop rate indicating the probability that the player obtains an arbitrary item, and the exchange of items in the game.
  • In-game points that are consumed when recovering the player's energy, etc., or function execution commands, etc. be
  • the information processing program 41 shown in FIG. 3 includes a game processing unit 41a, an operation control unit 41b, and an interface generation unit 41c in this embodiment.
  • the game processing unit 41a is a module that executes basic game processing such as game progress and character control. Executes processing, reward giving processing, or the like.
  • a character selected by the user 2 as a player increases the experience value and energy of the character based on any preset action such as being made to run or swim by the user 2. This is a process of improving the value and executing the training of the character.
  • the event processing is processing for executing an event according to the action of the character selected by the user 2 as a player
  • the function restriction processing includes restriction of functions executed in the game and cancellation of the restriction
  • the reward giving process is a process of giving an in-game reward to the player used by the user 2 .
  • the game processing unit 41a also executes various other basic processes of the game.
  • the motion control unit 41b shown in FIG. 3 is a module that controls the player's motion in the game in this embodiment.
  • FIG. 5 is a flowchart for explaining the outline of the processing of the operation control section 41b.
  • a three-dimensional camera depth camera
  • the motion control unit 41b sets the detected finger position of the user 2 as a reference position for controlling the motion of the player.
  • the three-dimensional camera detects the position of the finger of the user 2 at that position, and detects the detected position. is set as the reference position.
  • the timing for setting the reference position may be a preset timing such as initial setting when using the application for the first time, or may be set by the user such as when the user 2 selects the reference position setting icon displayed on the screen. The timing may be based on the operation of 2.
  • step S2 a detection generated according to the three-dimensional motion of the finger of the user 2 detected by the three-dimensional camera of the user terminal 30 and transmitted from the user terminal 30 Based on the signal, the manner of motion of the finger of the user 2 is determined.
  • the three-dimensional motion of the finger of the user 2 detected by the three-dimensional camera means the three-dimensional position of the finger relative to the reference position, or the moving direction, moving distance, moving speed, acceleration, etc. of the finger.
  • the user 2 moves his or her finger three-dimensionally in the vertical and horizontal directions of the user terminal 30, or the user 2 moves his or her finger three-dimensionally in the depth direction of the user terminal 30.
  • the mode of the finger motion of the user 2, such as whether or not, is discriminated.
  • step S3 When the mode of action of user 2 is determined, the virtual three-dimensional action of the player in the game is controlled in step S3.
  • the image displayed on the user terminal 30 may be the third-person viewpoint of the player as shown in FIGS. 6, 7, and 8, or may be the first-person viewpoint.
  • the first-person view is suitable for the field of 3D action shooting such as FPS (First Person Shooter).
  • the server 20 and the user terminal 30 may include a viewpoint switching unit that switches between the third-person viewpoint and the first-person viewpoint. Such viewpoint switching may be automatically switched on the server 20 or user terminal 30 side according to the progress of the game or scene, or may be switched according to a request from the user via the user terminal 30.
  • the field of view of the display image displayed on the user terminal 30 changes according to the action of the movable object (character, virtual camera, etc.) within the application. Specifically, a virtual view from the character's viewpoint is displayed according to the direction in which the character is facing (line-of-sight direction).
  • a virtual view from the character's viewpoint is displayed according to the direction in which the character is facing (line-of-sight direction).
  • an image of a character taken from a position separated by a predetermined distance is displayed on the screen. Note that the field of view of the image displayed on the user terminal may be directly controlled based on the three-dimensional movement of the finger.
  • the imaging range (field of view) of the virtual camera in the application including zooming in and zooming out
  • the operation of a virtual camera that virtually captures the background image and movable objects within the application is controlled based on the three-dimensional motion of the finger, and the imaging range of the virtual camera is displayed on the user terminal. image.
  • a three-dimensional movement vector of the finger of the user 2 and a movement vector of the character C selected as the player by the user 2 are generated based on the data regarding the setting of the movement of the player included in the player data d1c. Associate (or match) to control actions.
  • FIG. 6 is a diagram for explaining the outline of the processing of the action control unit 41b when the view of the game screen is set so that the character C selected as the player by the user 2 is viewed from the front.
  • a game screen IF1 is displayed.
  • the character C to be played is controlled to move in the upward direction indicated by the arrow U or the downward direction indicated by the arrow D according to the manner of motion of the finger of the user 2 .
  • the upward motion U is, for example, a jump motion when the character C is walking, a rising motion when the character C is flying, and a downward motion.
  • the motion to D is, for example, a crouching motion when the character C is walking, and a descending motion when the character C is flying.
  • the character displayed on the game screen IF1 C controls the motion such that it moves rightward as indicated by arrow R or leftward as indicated by arrow L according to the mode of motion of the finger of user 2 .
  • the user 2's finger movement is shown by an arrow V5 in the forward direction in the depth direction with respect to the game screen IF1 (for example, by moving the finger closer to the camera), or in the backward direction in the depth direction with respect to the game screen IF1 by the arrow V6. If it is determined that the action is to move (for example, to move the finger away from the camera), the character C displayed on the game screen IF1 moves in the forward direction indicated by the arrow F or Movement is controlled, such as movement in the backward direction indicated by arrow B.
  • FIG. 7 is a diagram for explaining the outline of the processing of the action control unit 41b when the view of the game screen IF1 is set to see the character C from the side.
  • the character C displayed on the game screen IF1 The movement is controlled such that the finger moves upward U or downward D depending on the mode of movement of the finger.
  • the upward motion U is, for example, a jump motion when the character C is walking, a rising motion when the character C is flying, and a downward motion.
  • the motion to D is, for example, a crouching motion when the character C is walking, and a descending motion when the character C is flying.
  • the character C displayed on the game screen IF1 will move the finger of the user 2.
  • the movement is controlled such that it moves in the forward direction F or the backward direction B depending on the manner of movement.
  • the character displayed on the game screen IF1 C controls movement such as moving leftward L or rightward R depending on the mode of finger movement of user 2 .
  • FIG. 8 is a diagram for explaining the outline of the processing of the action control unit 41b when the view of the game screen IF1 is set to see the character C from above.
  • the character C displayed on the game screen IF1 The movement is controlled such that it moves in the backward direction B or the forward direction F depending on the mode of motion of the finger.
  • the character C displayed on the game screen IF1 will move the finger of the user 2.
  • the movement is controlled such that it moves in the right direction R or the left direction L depending on the mode of movement.
  • the character displayed on the game screen IF1 C controls the motion such that it moves upward U or downward D depending on how the finger of the user 2 moves.
  • the upward motion U is, for example, a jump motion when the character C is walking, a rising motion when the character C is flying, and a downward motion.
  • the motion to D is, for example, a crouching motion when the character C is walking, and a descending motion when the character C is flying.
  • the interface generation unit 41c shown in FIG. 3 is a module that generates a state display interface that indicates the three-dimensional motion state of the user's 2 finger.
  • FIG. 9 is a diagram explaining the outline of the status display interface.
  • the state display interface IF2 comprises a transparent (or translucent) virtual sphere S arranged in a virtual three-dimensional area consisting of x-, y-, and z-axes.
  • the direction of the three-dimensional action of the finger of the user 2 that is, the direction of the virtual three-dimensional action of the character selected as the player
  • the action line M from the center point O of the virtual sphere S is extended, and the motion area A is displayed on the spherical surface of the phantom sphere S where the motion line M and the phantom sphere S intersect.
  • This status display interface IF2 is displayed on any part of the game screen, such as the lower left corner of the game screen.
  • the position of the status display interface IF2 may be changeable. In that case, for example, a button image or the like requesting a position change of the state display interface IF2 is displayed on the game screen, and the user 2 selects the position change request button, and taps an arbitrary position on the screen. By specifying it, the position of the status display interface IF2 may be changed.
  • the user 2 can simultaneously see the three-dimensional movement of his/her finger and the virtual three-dimensional movement of the character following it, which improves convenience when operating the game.
  • a game is executed in the user terminal 30 according to the present embodiment based on the processing by the information processing program 41 including the game processing unit 41a, the operation control unit 41b, and the interface generation unit 41c.
  • the user terminal 30 shown in FIG. 1 is implemented by a smart phone, which is a portable information terminal, but is implemented by, for example, a terminal dedicated to games, a tablet computer, a desktop computer, or a notebook computer. can be anything.
  • FIG. 10 is a block diagram illustrating the outline of the configuration of the user terminal 30.
  • the user terminal 30 includes a control unit 31, a display 32, and a three-dimensional camera 33 as a detection unit as main components.
  • the detection unit is not limited to the three-dimensional camera 33, and may be various sensor devices capable of detecting three-dimensional movements of the finger.
  • the server 20 or the user terminal 30 may be provided with an analysis unit that analyzes an image of a monocular camera provided in the user terminal 30 to estimate a three-dimensional motion, and may function as a detection unit.
  • control unit 31 controls each unit of the user terminal 30 such as the display 32 and the three-dimensional camera 33, and is composed of, for example, a processor, memory, storage, transmission/reception unit, and the like.
  • control unit 31 stores a game application or a browser capable of browsing a website, and based on the processing in the information processing program 41 of the server 20, the user terminal is controlled via the game application or the browser. At 30 the game is run.
  • the display 32 displays a screen interface of the game executed on the user terminal 30, including the game screen IF1 shown in FIGS.
  • This display 32 is a so-called touch panel that accepts information input by touching the display surface, and is implemented by various technologies such as a resistive film system and a capacitance system.
  • the display 32 and the three-dimensional camera 33 constitute an input unit that receives an input operation from the user in the user terminal, but the present invention is not limited to this.
  • the input unit may have a keyboard and a mouse, may have a microphone capable of input operation by voice, or may have an eye tracking device for acquiring line-of-sight information.
  • the display 32 also constitutes a display unit that outputs application images.
  • the three-dimensional camera 33 is an in-camera mounted on the front surface of the smartphone that is the user terminal 30, and is configured with various sensors such as a proximity sensor that detects the distance to an object, User action information D2 is detected.
  • the user action information D2 is information that is input regarding the player's operation or action, and is video information based on any action of the user 2 .
  • the user action information D2 is, for example, a three-dimensional action of the user 2 moving his/her finger up, down, left, or right with respect to the user terminal 30, or It is an operation to move in a direction (back and forth direction).
  • the three-dimensional camera 33 When the user action information D2 is detected by the three-dimensional camera 33 of the user terminal 30, the three-dimensional camera 33 generates a detection signal according to the mode of action of the user 2.
  • FIG. 11 is a flow chart explaining the outline of the processing of the information processing system 10 according to the present embodiment. As shown, first, in step S10, user 2 starts the game.
  • the three-dimensional camera 33 detects the position of the finger of the user 2
  • the three-dimensional camera 33 The detected position of the finger of the user 2 is set as a reference position when controlling the action of the player. More specifically, it is preferable to detect the position of the tip of any one finger and set it as the reference position. Note that detection is not limited to fingertips, and specific joints or arbitrary parts of fingers may be detected.
  • step S13 the virtual three-dimensional motion of the character selected by user 2 as a player is controlled based on the three-dimensional motion of user's finger.
  • the finger of the user 2 in response to an action of the user 2 moving the finger in the three-dimensional direction of the game screen up, down, left and right, or an action of the user 2 moving the finger in the three-dimensional direction of the game screen, the finger of the user 2
  • the character performs a virtual three-dimensional motion in the game in a vector corresponding (or coinciding with) the three-dimensional motion vector of .
  • the direction, distance, speed, and acceleration of the three-dimensional motion of the finger of the user 2 may not completely match the direction, distance, speed, and acceleration of the three-dimensional motion of the character in the game. , for example, performing a correction process based on a predetermined formula set in advance.
  • the three-dimensional motion of the movable object in the application is controlled based on the three-dimensional motion of the user's finger detected by the detection unit.
  • This improves convenience for the user 2 when operating the application.
  • the character selected by the user 2 as the player is controlled to follow the three-dimensional motion of the user's finger detected by the user terminal 30, so that the user 2 can intuitively Since the game can be operated, the convenience for the user 2 when operating the game is improved.
  • the view (display image) of the game screen is such that the character C selected by the user 2 as the player is viewed from the front from the third-person viewpoint, the character C is viewed from the side, and the character C is viewed from above.
  • the setting for viewing the character C from above has been described, various settings such as a setting for viewing the character C from below or from behind may be used.
  • the view of the game screen may be a first-person viewpoint that shows the scenery seen from the character C's eyes.
  • the action line M does not extend from the center point O of the virtual sphere S (the action area A is not displayed), and the center point It may be possible to display that the operation line M is positioned at O (for example, the display of the center point O becomes larger, brighter, or darker, etc.).
  • the character may be in a stopped state. Further, when the user 2 stops the finger at a position away from the reference position, the character continues to move in the direction of the position of the finger with respect to the reference position according to the position of the finger of the user 2 with respect to the reference position. good too. In this case, the state display interface IF2 continues to display the motion line M extending from the center point O of the virtual sphere S and the spherical motion area A according to the direction of the virtual three-dimensional motion of the character. may
  • the three-dimensional camera 33 mounted on the user terminal 30 detects the three-dimensional motion of the user 2's finger. 3D motion may be detected.
  • the number of fingers of the user 2 detected by the user terminal 30 may be one, two, or any other number. It can be a finger.
  • motions of opening or closing two or more fingers, motions of two or more fingers moving together in the same direction, etc. are detected, and associated motions are detected according to each motion.
  • a movable object in the application may do so.
  • the three-dimensional motion of the user's finger and the movable object in the application are associated and pre-stored in the storage unit.
  • a user may also be able to associate three-dimensional movements of the user's fingers with movements of movable objects within the application.
  • the control unit of the server 20 associates an arbitrary three-dimensional motion of the user's finger with a specific motion of the movable object in the application based on the user's instruction via the user terminal 30, and stores the may be stored in
  • the server 20 causes the user terminal 30 to display a plurality of motions of a movable object in an application stored in advance in the storage unit, and receives an instruction to select a specific motion from among them via the user terminal 30. , receives a three-dimensional motion of the user's finger to be associated with the motion based on an input operation via the user terminal 30 .
  • three-dimensional movements of the user's fingers e.g., gestures
  • predetermined operations within the application e.g., menu display, activation of shortcuts, volume adjustment, zoom adjustment (screen enlargement/reduction), turning on various functions /OFF switching, etc.
  • the combination of the user's finger motion and the operation within the application may be set by the user, or may be set in advance by the system administrator.
  • the motion of the user's finger or hand detected by the user terminal may be tracked and used as a game controller. In this case as well, motions of the user's fingers and hands are stored in association with predetermined motions in the game. In a racing game, it is possible to move the steering wheel in the game by following the motion of the finger or hand.
  • the game is not particularly limited, and may be, for example, a so-called video game or a VR game.
  • the detection unit may detect whether the fingers are the fingers of the right hand or the fingers of the left hand. In that case, different actions can be set for the fingers of the right hand and the fingers of the left hand, increasing the variation in the manipulation of the movable object. In addition, it is possible to operate the movable object using one or more fingers on either the left or right hand or fingers on both hands.
  • the present invention has the following configurations.
  • (Item 1) In an information processing system that provides an application that can be executed on an information processing terminal, a detection unit that detects a three-dimensional motion of a user's finger; a motion control unit that controls the three-dimensional motion of a movable object within the application based on the three-dimensional motion of the user's finger detected by the detection unit;
  • An information processing system comprising: (Item 2) The information processing system according to item 1, wherein the detection unit includes a three-dimensional camera. (Item 3) Item 1 or 2, wherein the motion control unit sets the position of the user's finger detected by the detection unit at a predetermined timing as a reference position when controlling the motion of the movable object. Information processing system as described.
  • (Item 4) an interface generation unit that generates a state display interface indicating a three-dimensional position of the user's finger relative to the reference position;
  • the operation control unit is 5.
  • the operation control unit is 6. Any one of items 1 to 5, wherein the motion direction of the user's finger is associated with the motion direction of the movable object in the application in accordance with setting of the direction of the movable object displayed on the application screen. or the information processing system according to item 1.
  • the operation control unit is 7.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】アプリケーション内の可動オブジェクトを操作する際の利便性を向上させることができる情報処理システム、プログラム及び情報処理方法を提供する。 【解決手段】情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、ユーザの指の三次元の動作を検出する検出部と、検出部で検出されるユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御する動作制御部と、を備える。

Description

情報処理システム、プログラム及び情報処理方法
　本発明は、情報処理システム、プログラム及び情報処理方法に関する。
　従来、コンピュータやスマートフォン等の情報処理装置（ユーザ端末）を介してアプリケーションを提供する情報処理システムが知られている。例えば近年では、ネットワークを介してサーバにアクセス可能なスマートフォンやゲーム端末等のユーザ端末で実行可能なゲームが提供されている（例えば、特許文献１を参照）。
　ユーザ端末で実行可能なゲームでは、バーチャルスティックとも称される仮想的な操作部がゲーム画面に表示され、この操作部が例えばユーザのスワイプ動作によって操作されることによって、ユーザが使用するゲーム内のプレイヤ（可動オブジェクト）が制御されるものが存在している。
特許第５１１７４６６号公報
　上記のような仮想的な操作部がゲーム画面に表示されるゲームでは、ユーザがゲーム画面に接触するスワイプ動作によってプレイヤが操作されることから、例えばゲーム画面に対する奥行き方向のプレイヤの三次元的な動作を実現することができない。したがって、プレイヤの動作が二次元的な動作に制限されることがあり、操作性に改善の余地がある。
　本発明は、上記事情に鑑みてなされたものであり、アプリケーション内の可動オブジェクトを操作する際の利便性を向上させることができる情報処理システム、プログラム及び情報処理方法を提供することを課題とするものである。
　上記課題を達成するための本発明は、情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
　ユーザの指の三次元の動作を検出する検出部と、
　前記検出部で検出されるユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御する動作制御部と、
　を備えることことを特徴としている。
　これによれば、検出部で検出されるユーザの指の三次元の動作に応じて、アプリケーション内の可動オブジェクトが三次元に制御される。よって、ユーザは直感的にアプリケーションを操作することができることから、ゲーム等のアプリケーションを操作する際のユーザの利便性が向上する。
　この発明によれば、アプリケーション内で可動オブジェクトを操作する際のユーザの利便性が向上する。
本発明の実施の形態に係る情報処理システムの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのサーバの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムのサーバのストレージの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムで処理されるゲーム情報の構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムの情報処理プログラムの動作制御部の処理の概略を説明するフローチャートである。 同じく、本実施の形態に係る情報処理システムのゲーム画面の一例を示す図である。 同じく、本実施の形態に係る情報処理システムのゲーム画面の一例を示す図である。 同じく、本実施の形態に係る情報処理システムのゲーム画面の一例を示す図である。 同じく、本実施の形態に係る情報処理システムのゲーム画面の一例を示す図である。 同じく、本実施の形態に係る情報処理システムのユーザ端末の構成の概略を説明するブロック図である。 同じく、本実施の形態に係る情報処理システムの処理の概略を説明するフローチャートである。
　次に、図１～図１１に基づいて、本発明の実施の形態に係る情報処理システムについて説明する。
　図１は、本発明の実施の形態に係る情報処理システムの構成の概略を説明するブロック図である。図示のように、例えば情報処理システム１０は、サーバ２０及び１以上のユーザ端末３０（情報処理端末）を備え、これらがインターネット網等のネットワーク１００を介して互いにアクセス可能に接続される。なお、サーバ２０の機能をユーザ端末３０に設けることで、ユーザ端末３０のみで情報処理システム１０を構成してもよい。また、本例の情報処理システム１０はゲーム分野のアプリケーションを提供するシステムであるが、これに限られず、ゲーム以外の様々な分野のアプリケーションを提供するシステムにも適用可能である。ゲーム以外の分野としては、例えば、不動産の内部を見学するアプリケーション等とすることができる。当該アプリケーション内の建物内でキャラクタを三次元に移動させたり、仮想カメラの三次元の動きを制御して、画面に表示される表示画像の視野（視界）を三次元で制御したりすることができる。
　サーバ２０は、本実施の形態では、情報処理システム１０でアプリケーション（本例ではゲーム）を提供する事業者１（システム管理者）に配備され、ユーザ端末３０は、事業者１が提供するアプリケーションを利用するユーザ２に保有される。
　情報処理システム１０で事業者１が提供するゲームは、例えば、対戦ゲーム、シューティングゲーム、パズルゲーム、アクションゲーム、野球ゲーム、サッカーゲーム、その他スポーツゲーム、クイズゲーム、ピンボールゲーム、カードゲーム、リズムゲーム、ＲＰＧ（ロールプレイングゲーム）、位置情報ゲーム、ボードゲーム、アドベンチャーゲーム、カジノゲーム、シミュレーションゲーム、ストラテジーゲーム、レーシングゲーム又はこれらのうち何れか複数を組み合わせたゲーム等であってよい。
　次に、本実施の形態の情報処理システム１０の各部の具体的な構成について説明する。以下の説明において、「ゲーム」の記載は「アプリケーション」に置きかえ可能である。
　サーバ２０は、本実施の形態では、デスクトップ型あるいはノート型のコンピュータ（情報処理装置）によって実装される。
　図２は、サーバ２０の構成の概略を説明するブロック図である。図示のように、サーバ２０は、プロセッサ２１、メモリ２２、ストレージ２３、送受信部２４、及び入出力部２５を備え、これらが互いにバス２６を介して電気的に接続される。
　プロセッサ２１は、サーバ２０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
　このプロセッサ２１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、後述するストレージ２３に格納されてメモリ２２に展開されたアプリケーションプログラムを実行して各処理を行う。
　メモリ２２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
　このメモリ２２は、プロセッサ２１の作業領域として使用される一方、サーバ２０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
　ストレージ２３は、プログラムや各種の処理に用いられる情報等が格納されている。このストレージ２３の構成については、後述する。なお、本例ではサーバ２０の記憶部が、メモリ２２とストレージ２３とで構成されているが、これに限られるものではない。
　送受信部２４は、サーバ２０をネットワーク１００に接続する。この送受信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
　入出力部２５は、キーボードやマウス、あるいはディスプレイ等の入出力機器が接続されるインターフェースである。
　バス２６は、接続したプロセッサ２１、メモリ２２、ストレージ２３、送受信部２４及び入出力部２５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
　図３は、ストレージ２３の構成の概略を説明するブロック図である。図示のように、ストレージ２３は、本実施の形態では、データベース４０及び情報処理プログラム４１を備える。
　データベース４０は、ストレージ２３の提供する記憶領域として実現され、本実施の形態では、アプリケーション情報の一例としてのゲーム情報Ｄ１が格納される。
　図４は、ゲーム情報Ｄ１の構成の概略を説明するブロック図である。図示のように、ゲーム情報Ｄ１は、ゲームデータｄ１ａ、イベントデータｄ１ｂ、プレイヤデータｄ１ｃ及び報酬データｄ１ｄを備える。
　ゲームデータｄ１ａは、本実施の形態では、ゲームに登場するキャラクタやアイテム、背景画像等、ゲームの種類に応じたゲームの設定に関するデータによって構成され、例えば、対戦ゲームである場合は、ステージのＩＤに関連づけられたステージ名等が含まれる。
　ゲームデータｄ１ａを構成するキャラクタは、本実施の形態では、ユーザ２がユーザ端末３０を介して操作することによってゲーム内で行動するプレイヤ、プレイヤの仲間となるキャラクタ、あるいはプレイヤと対戦する敵のキャラクタ等が含まれる。
　イベントデータｄ１ｂは、本実施の形態では、ユーザ２がプレイヤとして実行するトライアル（例えば敵のキャラクタとの対戦等）が設定された任意のイベントによって構成され、この種のイベントをクリアすると、ゲーム内で使用されるアイテムやプレイヤのエナジーの回復等といった後述するゲーム内報酬が付与される場合がある。
　プレイヤデータｄ１ｃは、本実施の形態では、プレイヤ名、ユーザ２がプレイヤとして所有するキャラクタに関するデータ、ユーザ２のプレイヤの動作の設定に関するデータ、ユーザ２のプレイヤが所有するアイテムに関するデータ、プレイステージに関するデータ等によって構成される。
　所有するキャラクタに関するデータは、例えば、キャラクタのＩＤに関連づけられたレベル、攻撃力、防御力及び体力等の各種のパラメータの現在の値が含まれる。
　プレイヤの動作の設定に関するデータは、例えば、ユーザ２の指の三次元の動作のベクトルとプレイヤの動作のベクトルとを関連づける予め設定された任意の基準が含まれる。
　本実施の形態では、例えば、ユーザ２の指がｘ方向に動いた場合はプレイヤもｘ方向に動き、ユーザ２の指がｙ方向に動いた場合はプレイヤもｙ方向に動く等といった基準が含まれる。プレイヤの動作の設定に関するデータは、例えば、指の動作のベクトルの方向と、可動オブジェクト（プレイヤ）の動作のベクトルの方向との関係を示す情報を含んでもよい。指の動作のベクトルの方向と、可動オブジェクトの動作のベクトルの方向とを一致させる場合に加え、所定の演算処理によって角度を補正する場合（例えば、ユーザ２の指がｘ方向に動いた場合はプレイヤがｙ方向に動き、ユーザ２の指がｙ方向に動いた場合はプレイヤがｚ方向に動く等といった場合等）も含むことができる。プレイヤの動作の設定に関するデータは、例えば、指の動作のベクトルの大きさと、可動オブジェクト（プレイヤ）の動作のベクトルの大きさとの関係を示す情報を含んでもよい。例えば、ユーザ２の指が基準位置から１０ｍｍ移動した場合は、可動オブジェクトもアプリケーション内で１０ｍｍ動く、あるいは所定の倍率を乗じた距離だけ動く、といった対応関係の情報を含む。また、ユーザ２の指の三次元の動作と、アプリケーション内の画面のズームイン動作、及びズームアウト動作とが関連付けられていてもよい。
　所有するアイテムに関するデータは、例えば、アイテムのＩＤに関連づけられたアイテムの保有数等の値が含まれる。
　プレイステージに関するデータは、設定された複数のステージのうち、ユーザ２がプレイヤとしてこれまでにプレイしたことがあるステージに関するデータであり、例えばプレイの回数やステージをクリアした際のデータ等が含まれる。
　報酬データｄ１ｄは、プレイヤに付与されるゲーム内報酬に関するデータである。
　このゲーム内報酬は、本実施の形態では、例えばゲーム内で実行される任意のイベントの実行、プレイヤが任意のアイテムを取得する際の確率を示すドロップ率の上昇、ゲーム内でアイテムと交換したりプレイヤのエナジーを回復したりする等の際に費消するゲーム内ポイント、あるいはゲーム内で実行される機能が制限されている場合にその制限を解除して機能を実行させる機能実行指令等が含まれる。
　図３で示す情報処理プログラム４１は、本実施の形態では、ゲーム処理部４１ａ、動作制御部４１ｂ及びインターフェース生成部４１ｃを備える。
　ゲーム処理部４１ａは、本実施の形態では、ゲームの進行やキャラクタの制御といったゲームの基本的な処理を実行するモジュールであって、本実施の形態では、例えばキャラクタ育成処理、イベント処理、機能制限処理あるいは報酬付与処理等を実行する。
　キャラクタ育成処理は、本実施の形態では、ユーザ２がプレイヤとして選択したキャラクタが、ユーザ２によって例えば走らせられたり泳がせられたりといった予め設定された任意のアクションに基づいて、キャラクタの経験値やエナジーの値を向上させて、キャラクタの育成を実行する処理である。
　イベント処理は、本実施の形態では、ユーザ２がプレイヤとして選択したキャラクタの行動に応じてイベントを実行する処理であり、機能制限処理は、ゲーム内で実行される機能の制限及びその制限の解除を実行する処理であり、報酬付与処理は、ユーザ２が使用するプレイヤにゲーム内報酬を付与する処理である。
　ゲーム処理部４１ａは、その他、ゲームの基本的な各種の処理を実行する。
　図３で示す動作制御部４１ｂは、本実施の形態では、ゲーム内におけるプレイヤの動作を制御するモジュールである。
　図５は、動作制御部４１ｂの処理の概略を説明するフローチャートである。まず、ゲームの起動後であってゲームを開始する際に、ユーザ端末３０の後述する検出部としての三次元カメラ（デプスカメラ）でユーザ２の指の位置が検出されると、図示のように、動作制御部４１ｂは、ステップＳ１において、検出されたユーザ２の指の位置をプレイヤの動作を制御する際の基準位置として設定する。
　本実施の形態では、例えば、ユーザ２がユーザ端末３０の正面側の任意の部位に対して指をかざすと、三次元カメラがその位置でユーザ２の指の位置を検出し、検出したその位置を基準位置として設定する。基準位置の設定のタイミングは、初めてアプリケーションを使う際の初期設定時など、予め設定されたタイミングであってもよいし、画面に表示される基準位置設定アイコンをユーザ２が選択した際などのユーザ２の操作に基づくタイミングであってもよい。
　基準位置の設定に続いて、ゲームを開始すると、ステップＳ２において、ユーザ端末３０の三次元カメラが検出したユーザ２の指の三次元の動作に応じて生成されてユーザ端末３０から送信される検出信号に基づいて、ユーザ２の指の動作の態様を判別する。三次元カメラが検出したユーザ２の指の三次元の動作とは、基準位置に対する相対的な三次元の指の位置、または指の移動方向、移動距離、移動速度、加速度等を意味する。
　本実施の形態では、例えば、ユーザ２が三次元で指をユーザ端末３０の上下左右方向に動かす動作であるのか、あるいはユーザ２が三次元で指をユーザ端末３０の奥行き方向に動かす動作であるのか等といったユーザ２の指の動作の態様を判別する。
　ユーザ２の動作の態様を判別すると、ステップＳ３において、ゲーム内におけるプレイヤの仮想的な三次元の動作を制御する。
　また、ユーザ端末３０に表示される画像は、図６、７、８のようにプレイヤの三人称視点であってもよいし、一人称視点であってもよい。一人称視点は、FPS（First Person Shooter）等の3Dアクションシューティングの分野に適している。また、本システムでは、三人称視点と一人称視点とを切り替える視点切替部をサーバ２０やユーザ端末３０が備えていてもよい。かかる視点の切り替えは、ゲームの進行状況や場面に応じてサーバ２０やユーザ端末３０側で自動的に切り替えられてもよいし、ユーザ端末３０を介したユーザの要求に応じて切り替えることができるようにしてもよい。一人称視点の場合、アプリケーション内の可動オブジェクト（キャラクタ、仮想カメラ等）の動作に応じて、ユーザ端末３０に表示される表示画像の視野が変化する。具体的には、キャラクタが向いている方向（視線方向）に応じて、仮想的にキャラクタの視点から見える景色が表示される。三人称視点の場合、図６、７、８に示すように、所定の距離だけ離れた位置からキャラクタを撮像した画像が画面に表示される。なお、指の三次元の動作に基づいて、ユーザ端末に表示される画像の視野を直接的に制御するようにしてもよい。換言すれば、指の三次元の動作に基づいて、アプリケーション内の仮想カメラの撮像範囲（視野）の制御を行うこともできる（ズームイン、ズームアウトを含む）。その場合、アプリケーション内の背景画像や可動オブジェクトをアプリケーション内で仮想的に撮像する仮想カメラの動作が、指の三次元の動作に基づいて制御され、当該仮想カメラの撮像範囲が、ユーザ端末に表示される画像となる。
　本実施の形態では、プレイヤデータｄ１ｃに含まれるプレイヤの動作の設定に関するデータに基づいて、ユーザ２の指の三次元の動作のベクトルとユーザ２がプレイヤとして選択したキャラクタＣの動作のベクトルとを関連づけて（もしくは一致させて）動作を制御する。
　図６は、ゲーム画面のビューが、ユーザ２がプレイヤとして選択したキャラクタＣを正面から見る設定の場合における動作制御部４１ｂの処理の概略を説明する図である。
　図示のように、ユーザ２の指の動作の態様を矢線Ｖ１で示す画面上方向に動かす動作あるいは矢線Ｖ２で示す画面下方向に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて矢線Ｕで示す上方向あるいは矢線Ｄで示す下方向に動くというように、動作を制御する。
　なお、上方向Ｕへの動作は、本実施の形態では、例えば、キャラクタＣが歩行している場合はジャンプする動作であり、キャラクタＣが飛行している場合は上昇する動作であり、下方向Ｄへの動作は、例えば、キャラクタＣが歩行している場合はしゃがむ動作であり、キャラクタＣが飛行している場合は下降する動作である。
　一方、ユーザ２の指の動作の態様を矢線Ｖ３で示す画面左方向に動かす動作あるいは矢線Ｖ４で示す画面右方向に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて矢線Ｒで示す右方向あるいは矢線Ｌで示す左方向に動くというように、動作を制御する。
　さらに、ユーザ２の指の動作の態様を矢線Ｖ５で示すゲーム画面ＩＦ１に対する奥行き方向前方に動かす動作（例えば、指をカメラに近づける動作）あるいは矢線Ｖ６で示すゲーム画面ＩＦ１に対する奥行き方向後方に動かす動作（例えば、指をカメラから遠ざける動作）であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて矢線Ｆで示す前進方向あるいは矢線Ｂで示す後退方向に動くというように、動作を制御する。
　図７は、ゲーム画面ＩＦ１のビューがキャラクタＣを側面から見る設定の場合における動作制御部４１ｂの処理の概略を説明する図である。
　図示のように、ユーザ２の指の動作の態様を画面上方向Ｖ１に動かす動作あるいは画面下方向Ｖ２に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて上方向Ｕあるいは下方向Ｄに動くというように、動作を制御する。
　なお、上方向Ｕへの動作は、本実施の形態では、例えば、キャラクタＣが歩行している場合はジャンプする動作であり、キャラクタＣが飛行している場合は上昇する動作であり、下方向Ｄへの動作は、例えば、キャラクタＣが歩行している場合はしゃがむ動作であり、キャラクタＣが飛行している場合は下降する動作である。
　一方、ユーザ２の指の動作の態様を画面左方向Ｖ３に動かす動作あるいは画面右方向Ｖ４に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて前進方向Ｆあるいは後退方向Ｂに動くというように、動作を制御する。
　さらに、ユーザ２の指の動作の態様をゲーム画面ＩＦ１に対する奥行き方向前方Ｖ５に動かす動作あるいはゲーム画面ＩＦ１に対する奥行き方向後方Ｖ６に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて左方向Ｌに動くあるいは右方向Ｒに動くというように、動作を制御する。
　図８は、ゲーム画面ＩＦ１のビューがキャラクタＣを上方から見る設定の場合における動作制御部４１ｂの処理の概略を説明する図である。
　図示のように、ユーザ２の指の動作の態様を画面上方向Ｖ１に動かす動作あるいは画面下方向Ｖ２に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて後退方向Ｂあるいは前進方向Ｆに動くというように、動作を制御する。
　一方、ユーザ２の指の動作の態様を画面左方向Ｖ３に動かす動作あるいは画面右方向Ｖ４に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて右方向Ｒあるいは左方向Ｌに動くというように、動作を制御する。
　さらに、ユーザ２の指の動作の態様をゲーム画面ＩＦ１に対する奥行き方向前方Ｖ５に動かす動作あるいはゲーム画面ＩＦ１に対する奥行き方向後方Ｖ６に動かす動作であると判別した場合は、ゲーム画面ＩＦ１に表示されるキャラクタＣは、ユーザ２の指の動作の態様に応じて上方向Ｕあるいは下方向Ｄに動くというように、動作を制御する。
　なお、上方向Ｕへの動作は、本実施の形態では、例えば、キャラクタＣが歩行している場合はジャンプする動作であり、キャラクタＣが飛行している場合は上昇する動作であり、下方向Ｄへの動作は、例えば、キャラクタＣが歩行している場合はしゃがむ動作であり、キャラクタＣが飛行している場合は下降する動作である。
　図３で示すインターフェース生成部４１ｃは、ユーザ２の指の三次元の動作の状態を示す状態表示インターフェースを生成するモジュールである。
　図９は、状態表示インターフェースの概略を説明する図である。図示のように、状態表示インターフェースＩＦ２は、ｘ軸、ｙ軸及びｚ軸からなる仮想的な三次元の領域に配置される透明（または半透明）な仮想球体Ｓを備える。
　本実施の形態では、ユーザ２の指の三次元の動作の方向、すなわちプレイヤとして選択されたキャラクタの仮想的な三次元の動作の方向に応じて、仮想球体Ｓの中心点Ｏから動作線Ｍが伸長し、動作線Ｍと仮想球体Ｓとが交差する仮想球体Ｓの球面に動作領域Ａが表示される。
　この状態表示インターフェースＩＦ２は、例えばゲーム画面の左下等、ゲーム画面における任意の部位に表示される。状態表示インターフェースＩＦ２の位置は変更可能であってもよい。その場合、例えば状態表示インターフェースＩＦ２の位置変更を要求するボタン画像等をゲーム画面に表示して起き、ユーザ２は当該位置変更要求ボタンを選択してから、任意の画面の位置をタップ操作等で指定することで、状態表示インターフェースＩＦ２の位置変更を行えるようにしてもよい。
　これにより、ユーザ２は自らの指の三次元の動作及びそれに追従するキャラクタの仮想的な三次元の動作を同時に視認することができることから、ゲームを操作する際の利便性が向上する。
　これらゲーム処理部４１ａ、動作制御部４１ｂ及びインターフェース生成部４１ｃを備える情報処理プログラム４１での処理に基づいて、本実施の形態では、ユーザ端末３０においてゲームが実行される。
　図１で示すユーザ端末３０は、本実施の形態では、携帯型情報端末であるスマートフォンで実装されるが、例えばゲーム専用の端末、タブレット型のコンピュータ、デスクトップ型あるいはノート型のコンピュータによって実装されるものであってもよい。
　図１０は、ユーザ端末３０の構成の概略を説明するブロック図である。図示のように、ユーザ端末３０は、制御部３１、ディスプレイ３２及び検出部としての三次元カメラ３３を主要構成として備える。検出部は、三次元カメラ３３に限定されず、指の三次元の動作を検出可能な各種センサデバイス等であってもよい。あるいは、ユーザ端末３０に設けられた単眼カメラの映像を解析して三次元の動作を推測する解析部をサーバ２０またはユーザ端末３０に設けることで、検出部として機能させてもよい。
　制御部３１は、本実施の形態では、ディスプレイ３２や三次元カメラ３３等のユーザ端末３０の各部を制御するものであって、例えばプロセッサ、メモリ、ストレージ、送受信部等によって構成される。
　この制御部３１には、本実施の形態では、ゲームアプリケーションあるいはウェブサイトを閲覧可能なブラウザが格納され、サーバ２０の情報処理プログラム４１での処理に基づいて、ゲームアプリケーションあるいはブラウザを介してユーザ端末３０においてゲームが実行される。
　ディスプレイ３２には、本実施の形態では、図６～図８で示したゲーム画面ＩＦ１を含む、ユーザ端末３０で実行されるゲームの画面インターフェースが表示される。
　このディスプレイ３２は、表示面への接触によって情報の入力を受け付けるいわゆるタッチパネルであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。なお、本例ではディスプレイ３２及び三次元カメラ３３が、ユーザ端末においてユーザからの入力操作を受け付ける入力部を構成しているが、これに限られない。入力部として、キーボードやマウスを有していてもよいし、音声による入力操作が可能なマイク等を有していてもよいし、視線情報を取得するアイトラッキングデバイスを備えていてもよい。ディスプレイ３２は、アプリケーション画像を出力する表示部も構成している。
　三次元カメラ３３は、本実施の形態では、ユーザ端末３０であるスマートフォンの前面に搭載されたインカメラであって、物体との距離を検出する近接センサ等の各種のセンサを備えて構成され、ユーザ動作情報Ｄ２を検出する。
　ユーザ動作情報Ｄ２は、プレイヤの操作あるいは動作に関して入力される情報であって、ユーザ２の任意の動作に基づく映像情報である。
　このユーザ動作情報Ｄ２は、本実施の形態では、例えば、ユーザ端末３０に対してユーザ２が三次元で指を上下左右方向に動かす動作、あるいはユーザ２が三次元で指をユーザ端末３０の奥行き方向（前後方向）に動かす動作である。
　ユーザ動作情報Ｄ２がユーザ端末３０の三次元カメラ３３に検出されると、三次元カメラ３３は、ユーザ２の動作の態様に応じた検出信号を生成する。
　次に、本実施の形態に係る情報処理システム１０の処理の概略について説明する。
　図１１は、本実施の形態に係る情報処理システム１０の処理の概略を説明するフローチャートである。図示のように、まず、ステップＳ１０において、ユーザ２はゲームを起動する。
　ゲームの起動後、ゲームの開始に際して、ユーザ２が指をユーザ端末３０の三次元カメラ３３にかざして三次元カメラ３３がユーザ２の指の位置を検出すると、ステップＳ１１において、三次元カメラ３３が検出したユーザ２の指の位置を、プレイヤの動作を制御する際の基準位置として設定する。より具体的に、任意の１本の指の先端の位置を検出し、基準位置として設定することが好ましい。なお、指先に限られず、指の特定の関節や任意の部位を検出するようにしてもよい。
　基準位置の設定後、ステップＳ１２において、ユーザ２はゲームを開始する。
　ゲームを開始すると、ステップＳ１３において、ユーザ２の指の三次元の動作に基づいて、ユーザ２がプレイヤとして選択したキャラクタの仮想的な三次元の動作を制御する。
　本実施の形態では、例えば、ユーザ２が三次元で指をゲーム画面の上下左右方向に動かす動作あるいはユーザ２が三次元で指をゲーム画面の奥行き方向に動かす動作に応じて、ユーザ２の指の三次元の動作のベクトルと対応した（もしくは一致した）ベクトルにおいてキャラクタがゲーム内で仮想的な三次元の動作を行う。ユーザ２の指の三次元の動作の方向、距離、速度、及び加速度は、ゲーム内でのキャラクタの三次元の動作の方向、距離、速度、及び加速度にそれぞれ完全に一致していなくてもよく、例えば予め設定された所定の計算式に基づく補正処理を行うなど、少なくとも対応関係があればよい。
　このように、本システムにあっては、検出部で検出されるユーザの指の三次元の動作に基づいて、アプリケーション内の可動オブジェクトの三次元の動作が制御される。これにより、アプリケーションを操作する際のユーザ２の利便性が向上する。具体的に本例では、ユーザ２がプレイヤとして選択したキャラクタが、ユーザ端末３０で検出されるユーザ２の指の三次元の動作に追従するように制御されることによって、ユーザ２は直感的にゲームを操作することができることから、ゲームを操作する際のユーザ２の利便性が向上する。
　なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。
　上記実施の形態では、ゲーム画面のビュー（表示画像）が、ユーザ２がプレイヤとして選択したキャラクタＣを三人称視点で正面から見る設定の場合、キャラクタＣを側面から見る設定の場合及びキャラクタＣを上方から見る設定の場合を説明したが、例えばキャラクタＣを下方あるいは背面から見る設定等、種々の設定であってもよい。また、ゲーム画面のビューが、キャラクタＣの目から見える景色を示す一人称視点であってもよい。
　上記実施の形態では、基準位置の設定後、ユーザ２の指が基準位置にあるときには、仮想球体Ｓの中心点Ｏから動作線Ｍは伸長せず（動作領域Ａが表示されず）、中心点Ｏに動作線Ｍが位置していることを表示する（例えば中心点Ｏの表示が大きくなったり、明るくなったり、もしくは暗くなったりする等）などしてもよい。また、その際、キャラクタは停止した状態としてもよい。また、基準位置から離れた位置でユーザ２が指を停止している場合、基準位置に対するユーザ２の指の位置に応じて、キャラクタが基準位置に対する指の位置の方向に移動し続けるようにしてもよい。その場合、状態表示インターフェースＩＦ２は、キャラクタの仮想的な三次元の動作の方向に応じて、仮想球体Ｓの中心点Ｏから延びる動作線Ｍと、球面の動作領域Ａとが表示され続けるようにしてもよい。
　上記実施の形態では、ユーザ端末３０に搭載された三次元カメラ３３でユーザ２の指の三次元の動作を検出する場合を説明したが、ユーザ端末３０に搭載されたモーションセンサでユーザ２の指の三次元の動作を検出するものであってもよい。
　さらに、ユーザ端末３０で検出するユーザ２の指の本数は、１本であっても２本であってもそれ以外の任意の数であってもよいし、人差し指、中指あるいは親指等、いずれの指であってもよい。２本以上の指を検出する場合、２本以上の指が開く動作、閉じる動作、２本以上の指が共に同一方向に動く動作等を検出し、それぞれの動作に応じて関連付けられた動作をアプリケーション内の可動オブジェクトが行うようにしてもよい。その場合、ユーザの指の三次元の動作と、アプリケーション内の可動オブジェクトとが、関連付けられて記憶部に予め記憶される。また、ユーザが、ユーザの指の三次元の動作と、アプリケーション内の可動オブジェクトの動作とを関連付けられるようにしてもよい。すなわち、サーバ２０の制御部は、ユーザ端末３０を介したユーザの指示に基づいて、ユーザの指の三次元の任意の動作と、アプリケーション内の可動オブジェクトの特定の動作とを関連付けて、記憶部に記憶するようにしてもよい。例えば、サーバ２０は、予め記憶部に記憶されたアプリケーション内の可動オブジェクトの複数の動作をユーザ端末３０に表示させ、その中から特定の動作を選択する指示を、ユーザ端末３０を介して受け付けるとともに、当該動作に関連付けたいユーザの指の三次元の動作を、ユーザ端末３０を介した入力操作に基づいて受け付ける。これにより、任意の指の可動オブジェクトの特定の動作に関連付けて記憶させ、可動オブジェクトの三次元の操作に使用することができる。また、ユーザの指の三次元の動作（例えばジェスチャー）と、アプリケーション内の所定の操作（例えばメニュー表示やショートカットの作動、音量等の調整操作、ズーム調整（画面の拡大、縮小）各種機能のON／OFF切替等）とが、関連付けられて記憶部に記憶されるようにしてもよい。このユーザの指の動作と、アプリケーション内の操作との組み合わせは、ユーザが設定できるようにしてもよいし、システム管理者側で予め設定しておいてもよい。また、ユーザ端末で検出するユーザの指や手の動作をトラッキングして、ゲームのコントローラとして使うようにしてもよい。この場合も、ユーザの指や手の動作と、ゲーム内の所定の動作とが関連付けて記憶されており、例えば、格闘ゲームにおいて、検出した指や手の動作に追従して、当該動作に関連付けられたパンチを繰り出す動作等が実行されたり、レースゲームにおいて、指や手の動作に追従してゲーム内でハンドルを動かしたりする、といった利用が可能となる。なお、ゲームは特に限定されず、例えば所謂ビデオゲームでもＶＲゲームでもよい。
　また、本システムにおいては、検出部が、右手の指か左手の指かを検出するようにしてもよい。その場合、右手の指と左手の指とで異なる動作を設定することができるので、可動オブジェクトの操作のバリエーションが増大する。また、左右何れか一方の手における１本以上の指、あるいは両手の指を使った可動オブジェクトの操作が可能となる。
　本発明は、以下の構成を備える。
（項目１）
　情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
　ユーザの指の三次元の動作を検出する検出部と、
　前記検出部で検出されるユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御する動作制御部と、
　を備えることを特徴とする情報処理システム。
（項目２）
　前記検出部は、三次元カメラを備えることを特徴とする項目１に記載の情報処理システム。
（項目３）
　前記動作制御部は、所定のタイミングにおいて前記検出部で検出された前記ユーザの指の位置を、前記可動オブジェクトの動作を制御する際の基準位置として設定することを特徴とする項目１又は２に記載の情報処理システム。
（項目４）
　前記基準位置に対する前記ユーザの指の相対的な三次元の位置を示す状態表示インターフェースを生成するインターフェース生成部、
　を備えることを特徴とする項目３に記載の情報処理システム。
（項目５）
　前記動作制御部は、
　前記ユーザの指の三次元の動作のベクトルと前記アプリケーション内の前記可動オブジェクトの動作のベクトルとを関連づけることを特徴とする項目１～４のいずれか１項に記載の情報処理システム。
（項目６）
　前記動作制御部は、
　アプリケーション画面に表示される前記可動オブジェクトの向きの設定に応じて、前記ユーザの指の動作方向と前記アプリケーション内の前記可動オブジェクトの動作の方向とを関連づけることを特徴とする項目１～５のいずれか１項に記載の情報処理システム。
（項目７）
　前記動作制御部は、
　前記可動オブジェクトの三次元の動作に基づいて、前記アプリケーション内における表示画像の視野を制御することを特徴とする項目１～６のいずれか１項に記載の情報処理システム。
（項目８）
　情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
　検出部でユーザの指の三次元の動作を検出する検出処理と、
　前記ユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御する動作制御処理と、
　をコンピュータに実行させることを特徴とするプログラム。
（項目９）
　情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
　検出部でユーザの指の三次元の動作を検出する検出ステップと、
　前記ユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御する動作制御ステップと、
　を含むことを特徴とする情報処理方法。
１　　事業者
２　　ユーザ
１０　　情報処理システム
２０　　サーバ
３０　　ユーザ端末
３３　　検知センサ
４０　　データベース
４１　　情報処理プログラム（プログラム）
４１ｂ　　動作制御部
４１ｃ　　インターフェース生成部
Ｄ２　　ユーザ動作情報
ＩＦ２　　状態表示インターフェース

Claims (8)

  1. 　情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
    　ユーザの指の三次元の動作を検出する検出部と、
    　前記検出部で検出されるユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御するとともに、所定のタイミングにおいて前記検出部で検出された前記ユーザの指の位置を、前記可動オブジェクトの動作を制御する際の基準位置として設定する動作制御部と、
    　前記基準位置と、前記基準位置に対する前記ユーザの指の相対的な三次元の位置とを示す状態表示インターフェースを生成するインターフェース生成部と、
    　を備えることを特徴とする情報処理システム。
  2. 　前記検出部は、三次元カメラを備えることを特徴とする請求項１に記載の情報処理システム。
  3. 　前記状態表示インターフェースは、
    　　中心点が前記基準位置に対応し、内部が透過表示される仮想球体と、
    　　前記中心点から、前記ユーザの指の三次元の位置に対応する点まで延びる動作線とを有する、請求項１又は２に記載の情報処理システム。
  4. 　前記動作制御部は、
    　前記ユーザの指の三次元の動作のベクトルと前記アプリケーション内の前記可動オブジェクトの動作のベクトルとを関連づけることを特徴とする請求項１～３のいずれか１項に記載の情報処理システム。
  5. 　前記動作制御部は、
    　アプリケーション画面に表示される前記可動オブジェクトの向きの設定に応じて、前記ユーザの指の動作方向と前記アプリケーション内の前記可動オブジェクトの動作の方向とを関連づけることを特徴とする請求項１～４のいずれか１項に記載の情報処理システム。
  6. 　前記動作制御部は、
    　前記可動オブジェクトの三次元の動作に基づいて、前記アプリケーション内における表示画像の視野を制御することを特徴とする請求項１～５のいずれか１項に記載の情報処理システム。
  7. 　情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
    　検出部でユーザの指の三次元の動作を検出する検出処理と、
    　前記ユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御するとともに、所定のタイミングにおいて前記検出部で検出された前記ユーザの指の位置を、前記可動オブジェクトの動作を制御する際の基準位置として設定する動作制御処理と、
    　前記基準位置と、前記基準位置に対する前記ユーザの指の相対的な三次元の位置とを示す状態表示インターフェースを生成するインターフェース生成処理と、
    　をコンピュータに実行させることを特徴とするプログラム。
  8. 　情報処理端末で実行可能なアプリケーションを提供する情報処理システムにおいて、
    　検出部でユーザの指の三次元の動作を検出する検出ステップと、
    　前記ユーザの指の三次元の動作に基づいて、前記アプリケーション内での可動オブジェクトの三次元の動作を制御するとともに、所定のタイミングにおいて前記検出部で検出された前記ユーザの指の位置を、前記可動オブジェクトの動作を制御する際の基準位置として設定する動作制御ステップと、
    　前記基準位置と、前記基準位置に対する前記ユーザの指の相対的な三次元の位置とを示す状態表示インターフェースを生成するインターフェース生成ステップと、
    　を含むことを特徴とする情報処理方法。
     
PCT/JP2022/027675 2021-07-20 2022-07-14 情報処理システム、プログラム及び情報処理方法 WO2023002907A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/252,338 US11908097B2 (en) 2021-07-20 2022-07-14 Information processing system, program, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021119379A JP7052128B1 (ja) 2021-07-20 2021-07-20 情報処理システム、プログラム及び情報処理方法
JP2021-119379 2021-07-20

Publications (1)

Publication Number Publication Date
WO2023002907A1 true WO2023002907A1 (ja) 2023-01-26

Family

ID=81259560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027675 WO2023002907A1 (ja) 2021-07-20 2022-07-14 情報処理システム、プログラム及び情報処理方法

Country Status (3)

Country Link
US (1) US11908097B2 (ja)
JP (1) JP7052128B1 (ja)
WO (1) WO2023002907A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203737A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器、制御方法および制御プログラム
JP2013218379A (ja) * 2012-04-04 2013-10-24 Sharp Corp 表示装置及びプログラム
JP2014115876A (ja) * 2012-12-11 2014-06-26 Mitsubishi Electric Corp ３次元タッチパネルを用いた被操作端末の遠隔操作方法
JP2017211884A (ja) * 2016-05-26 2017-11-30 トヨタ紡織株式会社 動き検出システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
JP5453246B2 (ja) * 2007-05-04 2014-03-26 クアルコム，インコーポレイテッド コンパクト・デバイスのためのカメラ・ベースのユーザ入力
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
JP5117466B2 (ja) 2009-10-07 2013-01-16 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
TW201324258A (zh) * 2011-09-07 2013-06-16 Nitto Denko Corp 輸入體之動作檢測方法及使用其之輸入裝置
EP2613223A1 (en) * 2012-01-09 2013-07-10 Softkinetic Software System and method for enhanced gesture-based interaction
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US10846942B1 (en) * 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JP6303772B2 (ja) * 2014-04-25 2018-04-04 富士通株式会社 入力制御装置、制御方法および制御プログラム
WO2017057106A1 (ja) * 2015-09-28 2017-04-06 日本電気株式会社 入力装置、入力方法、及びプログラム
TWI567691B (zh) * 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
JP2018055614A (ja) 2016-09-30 2018-04-05 島根県 ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP2018206080A (ja) 2017-06-05 2018-12-27 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2020113094A (ja) 2019-01-15 2020-07-27 株式会社シーエスレポーターズ 拡張現実空間に配置される３ｄオブジェクトを生成する方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203737A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器、制御方法および制御プログラム
JP2013218379A (ja) * 2012-04-04 2013-10-24 Sharp Corp 表示装置及びプログラム
JP2014115876A (ja) * 2012-12-11 2014-06-26 Mitsubishi Electric Corp ３次元タッチパネルを用いた被操作端末の遠隔操作方法
JP2017211884A (ja) * 2016-05-26 2017-11-30 トヨタ紡織株式会社 動き検出システム

Also Published As

Publication number Publication date
US20230306703A1 (en) 2023-09-28
US11908097B2 (en) 2024-02-20
JP7052128B1 (ja) 2022-04-11
JP2023015540A (ja) 2023-02-01

Similar Documents

Publication Publication Date Title
US11623142B2 (en) Data processing method and mobile terminal
JP5734566B2 (ja) 仮想環境との対話方法、処理システム、及びコンピュータ・プログラム
US12064683B2 (en) Virtual console gaming controller
CN110545889B (zh) 游戏系统、游戏控制装置以及程序
WO2019207898A1 (ja) ゲーム制御装置、ゲームシステム、及びプログラム
CN112402971B (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
CN115193064A (zh) 虚拟对象的控制方法、装置、存储介质及计算机设备
WO2023002907A1 (ja) 情報処理システム、プログラム及び情報処理方法
JP7286857B2 (ja) 情報処理システム、プログラム及び情報処理方法
JP7286856B2 (ja) 情報処理システム、プログラム及び情報処理方法
JP7163526B1 (ja) 情報処理システム、プログラム及び情報処理方法
JP6672401B2 (ja) ゲームプログラム、方法、および情報処理装置
JP2023015979A (ja) 情報処理システム、プログラム及び情報処理方法
CN115999153A (zh) 虚拟角色的控制方法、装置、存储介质及终端设备
WO2022130681A1 (ja) ゲームシステム、プログラム及び情報処理方法
JP6826626B2 (ja) 視聴プログラム、視聴方法、および視聴端末
CN113680062A (zh) 一种游戏中的信息查看方法及装置
CN113663326A (zh) 一种游戏技能的瞄准方法和装置
JP2019080928A (ja) ゲームシステム、ゲーム制御装置、及びプログラム
JP7146052B1 (ja) ゲームシステム、ゲームプログラム及び情報処理方法
CN117482523A (zh) 游戏交互方法、装置、计算机设备及计算机可读存储介质
CN116850594A (zh) 游戏交互方法、装置、计算机设备及计算机可读存储介质
CN118001735A (zh) 游戏交互方法、装置、计算机设备及计算机可读存储介质
CN117643723A (zh) 游戏交互方法、装置、计算机设备及计算机可读存储介质
CN116585707A (zh) 一种游戏互动方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22845841

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22845841

Country of ref document: EP

Kind code of ref document: A1