[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015107737A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2015107737A1
WO2015107737A1 PCT/JP2014/077597 JP2014077597W WO2015107737A1 WO 2015107737 A1 WO2015107737 A1 WO 2015107737A1 JP 2014077597 W JP2014077597 W JP 2014077597W WO 2015107737 A1 WO2015107737 A1 WO 2015107737A1
Authority
WO
WIPO (PCT)
Prior art keywords
mounting position
information processing
setting
sensor
processing apparatus
Prior art date
Application number
PCT/JP2014/077597
Other languages
English (en)
French (fr)
Inventor
倉田 雅友
正範 勝
荘太 松澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/110,440 priority Critical patent/US10592812B2/en
Priority to JP2015557708A priority patent/JP6508061B2/ja
Priority to EP14878498.6A priority patent/EP3098688A4/en
Publication of WO2015107737A1 publication Critical patent/WO2015107737A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036Measuring load distribution, e.g. podologic studies
    • A61B5/1038Measuring plantar pressure during gait
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6822Neck
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6823Trunk, e.g., chest, back, abdomen, hip
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6825Hand
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6829Foot or ankle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/06Arrangements of multiple sensors of different types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a wearable device that can be worn and used by a user, such as a wristwatch device, as well as a portable device such as a smartphone.
  • a wearable device that can be worn and used by a user, such as a wristwatch device, as well as a portable device such as a smartphone.
  • the behavior recognition mode setting unit that sets the behavior recognition mode based on the mounting position information of the setting target device, the set behavior recognition mode, and the detection of the sensor corresponding to the setting target device
  • An information processing apparatus includes an action recognition unit that recognizes a user's action based on the value, and a process control unit that controls execution of a process corresponding to the recognized user's action.
  • the step of setting the behavior recognition mode based on the mounting position information of the setting target device, the set behavior recognition mode, and the detection value of the sensor corresponding to the setting target device An information processing method executed by an information processing apparatus is provided, which includes a step of recognizing a user's behavior and a step of controlling execution of a process corresponding to the recognized user's behavior.
  • the step of setting the behavior recognition mode based on the mounting position information of the setting target device, the set behavior recognition mode, and the detection value of the sensor corresponding to the setting target device is provided.
  • the device on which the sensor is mounted (or the device to which the external sensor is attached.
  • the same applies hereinafter. May be deteriorated in accuracy of recognizing the user's behavior or not be able to recognize the user's behavior.
  • FIG. 1A to 1H are explanatory views for explaining an information processing method according to the present embodiment.
  • FIG. 1A to FIG. 1H show an example of sensor detection values according to the mounting position and the user's action in an apparatus equipped with a sensor equipped with an acceleration sensor and a gyro sensor.
  • FIG. 1A shows an example of a detection value when the device on which the sensor is mounted is mounted on the user's head, and A in FIG. 1A shows that the user swims.
  • FIG. 1B shows an example of a detected value when the device on which the sensor is mounted is mounted on the user's chin, and FIG. 1B shows a detected value when the user is speaking. 1B of FIG. 1B shows the detection value when the user is chewing.
  • FIG. 1C shows an example of a detection value when a device equipped with a sensor is attached to the user's neck, and FIG. 1C shows a detection value when the user is squatting.
  • 1B of FIG. 1C shows the detection value when the user is doing push-ups.
  • FIG. 1D shows an example of a detection value when the device on which the sensor is mounted is attached to the user's neck, and A in FIG. 1D is a detection when the user is performing abdominal muscle exercise.
  • the value, B in FIG. 1D shows the detected value when the user is doing back muscle exercise.
  • FIG. 1E shows an example of a detection value when the device equipped with the sensor is worn on the chest of the user, and shows the detection value when the user is breathing.
  • FIG. 1F has shown an example of the detection value when the apparatus with which the sensor is mounted is mounted
  • a of FIG. 1F is the detection value when a user is playing soccer.
  • B in FIG. 1F indicates a detection value when the user is riding a bicycle.
  • FIG. 1G shows an example of a detection value when the device on which the sensor is mounted is worn on the user's finger, and shows the detection value when the user is typing.
  • FIG. 1H shows an example of a detection value when the device on which the sensor is mounted is worn on the user's wrist.
  • FIG. 1H shows a case where the user is swinging the tennis.
  • the detected value, B in FIG. 1H indicates the detected value when the user is performing a baseball swing.
  • detection values as shown in FIGS. 1A to 1H are obtained.
  • the detection value of the acceleration sensor when swimming is shown, shown in A of FIG. 1A
  • the detection value of the acceleration sensor when squatting is shown, shown in A of FIG. 1C.
  • the detection values of the acceleration sensor are similar. Therefore, when the user's behavior recognition is performed simply using the detection value of the sensor, it cannot be determined whether the user is swimming or the user is squatting, or There is a risk that an erroneous determination result may be obtained.
  • the device on which the sensor is mounted is mounted on the user's chin, for example, as shown in FIG. It is much smaller than the case where it is installed. That is, for example, when a device equipped with a sensor is mounted on the user's chin, it is necessary to recognize the user's action after detecting minute vibrations. Therefore, in order to detect the behavior of the user wearing the device on which the sensor is mounted with higher accuracy, for example, setting the resolution of the sensor according to the mounting position of the device on which the sensor is mounted on the user. It is desirable to switch.
  • the information processing apparatus includes, for example, the following (1) action recognition mode setting process, (2) action recognition process, and (3) as processes related to the information processing method according to the present embodiment.
  • the execution control process By performing the execution control process, the user's action can be recognized with higher accuracy, and the process according to the recognized user's action is controlled.
  • Action recognition mode setting process The information processing apparatus according to the present embodiment sets an action recognition mode based on the mounting position information for a setting target apparatus.
  • the mounting position information according to the present embodiment is data indicating the mounting position where the setting target device is mounted on the user.
  • the mounting position information according to the present embodiment may be data that directly indicates the mounting position, such as the head and neck (for example, data that represents the mounting position as a character string), or may indirectly indicate the mounting position. It may be data (for example, an ID indicating a mounting position).
  • the mounting position information according to the present embodiment is generated, for example, when the information processing apparatus according to the present embodiment performs (4) mounting position recognition processing described later.
  • the information processing apparatus according to the present embodiment uses the generated mounting position information to perform processing related to the information processing method according to the present embodiment. Do.
  • the mounting position information according to the present embodiment may be generated in an external device that has performed processing similar to (4) mounting position recognition processing described later.
  • the information processing apparatus according to the present embodiment communicates from the external device via, for example, a communication unit (described later) or a connected external communication device. Is used to acquire the mounting position information, and the processing according to the information processing method according to the present embodiment is performed using the acquired mounting position information.
  • the setting target device is a target device for setting the action recognition mode.
  • Examples of the setting target device according to the present embodiment include a device on which a sensor used for recognizing user behavior and a device on which an external sensor for recognizing user behavior is attached.
  • the setting target device according to the present embodiment may be the information processing device according to the present embodiment, or may be an external device of the information processing device according to the present embodiment.
  • a “portable device such as a smartphone, a mobile phone, or a tablet device” or a “wearable device” may be used.
  • the setting target device according to the present embodiment is a wearable device.
  • FIG. 2 is an explanatory diagram illustrating an example of a setting target device according to the present embodiment, and illustrates an example of a wearable device when the setting target device according to the present embodiment is a wearable device.
  • a to E shown in FIG. 2 each show an example of a wearable device.
  • the wearable device according to the present embodiment is not limited to the example shown below.
  • Head-mounted device (A in FIG. 2): For example, HMD (Head Mounted Display), imaging device, etc.
  • Eyewear-type device (B in FIG. 2): For example, HMD, glasses-type device, etc.
  • Neck-mounted device (C in FIG. 2): For example, imaging device, headset, necklace-type device, data logger, etc. ⁇ Wrist / arm-mounted device (D in FIG.
  • E2 in FIG. 2 For example, watch-type device Devices, data loggers, bracelet-type devices, wristband-type devices, etc.
  • Hand / finger-mounted devices E1 in FIG. 2: For example, glove-type devices, ring-type devices, etc.
  • Outer / pocket wearing type device E2 in FIG. 2): belt type device, clip / magnet type device, data logger, etc.
  • Ankle / foot wearing type device E3 in FIG. 2E) ): For example, an anklet type device or data Logger, etc.
  • Each wearable device has a sensor S used for action recognition.
  • the sensor S used for action recognition may be a sensor built in the wearable device (a sensor provided in the wearable device) or an external sensor connected to the wearable device.
  • a sensor used for behavior recognition corresponding to a setting target device such as the sensor S used for behavior recognition shown in FIG. 2, may be referred to as a “sensor corresponding to the setting target device”.
  • examples of the sensor according to the present embodiment include an acceleration sensor, a GPS (Global Positioning System) device, a gyro sensor, an atmospheric pressure sensor, a proximity sensor, and a biological sensor.
  • the sensor which concerns on this embodiment is not restricted above, Arbitrary sensors which can be used for the process which concerns on a user's action recognition, such as the action recognition process which concerns on this embodiment, may be sufficient.
  • the action recognition mode is for determining the action state, and indicates one setting related to action recognition or a combination of settings related to a plurality of action recognitions.
  • the behavior recognition mode for example, one or a combination of “setting related to sensor” and “setting related to processing related to behavior recognition” may be mentioned.
  • Examples of settings related to the sensor according to the present embodiment include setting of the type of sensor used for action recognition, setting of parameters of the sensor used for action recognition (for example, setting of sampling, setting of sensing mode, etc.) One or both of the above may be mentioned.
  • Examples of the setting of the type of sensor used for action recognition include setting of a sensor to be operated (a setting for turning off the power of a sensor that is not to be operated may be included).
  • examples of sensor parameter settings used for action recognition include arbitrary settings related to sensor operation and sensor detection value output, such as sampling settings and sensing mode settings.
  • settings related to processing related to action recognition for example, setting of the type of feature amount used for action recognition from detection values of sensors corresponding to a setting target device, and processing related to action recognition 1 or 2 or more of the setting of the algorithm used for the above and the setting of the model data used for the process related to the action recognition.
  • the information processing apparatus can recognize the mounting position where the setting target apparatus is mounted on the user by referring to the mounting position information.
  • the information processing apparatus according to the present embodiment sets, for example, an action recognition mode corresponding to the recognized mounting position for the setting target apparatus.
  • the information processing apparatus for example, is recognized by the table (or database) in which the mounting position and the action recognition mode to be set are associated with each other and the mounting position recognized based on the mounting position information.
  • the action recognition mode corresponding to the position is specified.
  • the information processing apparatus which concerns on this embodiment sets the specified action recognition mode with respect to the apparatus of setting object.
  • the information processing apparatus when there are a plurality of action recognition modes corresponding to the wearing position, stores the history of the set action recognition mode, the time, and the position of the setting target apparatus corresponding to the wearing position information. It is also possible to specify the action recognition mode corresponding to the mounting position using one or more of them.
  • the information processing apparatus when there are a plurality of behavior recognition modes corresponding to the mounting position, the information processing apparatus according to the present embodiment visually sets the behavior recognition mode that is a candidate to be set to the user of the setting target device.
  • the behavior recognition mode that is presented auditorily and selected by the user may be specified as the behavior recognition mode corresponding to the wearing position.
  • Examples of the action recognition mode corresponding to the mounting position include the action recognition modes corresponding to the user actions shown below.
  • the action recognition mode corresponding to a mounting position in this embodiment is not restricted to the action recognition mode corresponding to the user's action shown below.
  • processing (1-1) and processing (1-2) are performed as processing related to setting of the action recognition mode by the information processing apparatus according to the present embodiment.
  • the information processing apparatus uses mounting position information for a sensor corresponding to a setting target apparatus. Make settings for sensors based.
  • the information processing apparatus when the device to be set is an external device of the information processing apparatus according to the present embodiment, the information processing apparatus according to the present embodiment, for example, stores data indicating settings related to sensors. By transmitting to this device, the setting target device is set for the sensor.
  • the information processing apparatus according to the present embodiment includes, for example, a setting relating to a sensor in a communication unit (described later) included in the information processing apparatus according to the present embodiment or an external communication device connected to the information processing apparatus according to the present embodiment. Send data indicating.
  • the data indicating the setting relating to the sensor according to the present embodiment for example, one or both of the following data can be cited.
  • the data which shows the setting regarding the sensor which concerns on this embodiment are not restricted to the example shown below.
  • Examples of the data indicating the settings related to the sensor according to the present embodiment include arbitrary data (or data group) that can control the operation of the sensor. -Data indicating the type of sensor that is valid (for example, sensor ID, etc.) ⁇ Data indicating sensor parameters
  • the data indicating the setting related to the sensor may include, for example, an instruction for executing the setting related to the sensor.
  • the information processing device includes a sensor ( A sensor setting is performed on an example of a sensor corresponding to a setting target device) or an external sensor connected (an example of a sensor corresponding to a setting target device).
  • the information processing apparatus includes, for example, a table, data indicating a setting target apparatus, and data indicating settings regarding processing related to action recognition corresponding to the mounting position recognized based on the mounting position information. Settings relating to processing related to action recognition are performed by recording in association with a database or the like.
  • the data indicating the device to be set according to the present embodiment includes, for example, a device ID.
  • data indicating settings related to processing related to action recognition for example, the following data can be cited.
  • data which shows the setting regarding the process which concerns on action recognition which concerns on this embodiment are not restricted to the example shown below.
  • Examples of the data indicating the settings related to the process related to action recognition according to the present embodiment include arbitrary data (or data group) capable of controlling the process related to action recognition.
  • -Data indicating the type of feature value for example, ID indicating the feature value
  • -Data indicating an algorithm used for processing related to action recognition for example, program data, ID indicating an algorithm, etc.
  • Data indicating model data used for processing related to action recognition for example, model data itself, ID indicating model data, etc.
  • the information processing apparatus refers to, for example, the table described above, and uses the data indicating the settings related to the process related to the action recognition corresponding to the setting target apparatus to perform the process (2) (behavior recognition) described later. Process).
  • the information processing apparatus according to the present embodiment is, for example, mounted By causing the external device to transmit data indicating settings related to processing related to behavior recognition corresponding to the mounting position recognized based on the position information, the external device is caused to perform processing related to behavior recognition. Also good.
  • the information processing apparatus according to the present embodiment for example, for action recognition to a communication unit (described later) included in the information processing apparatus according to the present embodiment or an external communication device connected to the information processing apparatus according to the present embodiment. Data indicating settings related to such processing is transmitted.
  • a command for performing the setting related to the action recognition is provided. Instructions to do it are included.
  • the information processing apparatus performs the setting by performing the process according to the first example shown in (1-1) and the process according to the second example shown in (1-2).
  • An action recognition mode based on the mounting position information is set for the target device.
  • the information processing apparatus recognizes a user action based on the set action recognition mode and the detection value of a sensor corresponding to the setting target apparatus.
  • the information processing apparatus performs, for example, pattern matching between the feature value extracted from the detection value of the sensor according to the set action recognition mode and the feature value corresponding to the recognized candidate action. Recognize user behavior.
  • the action recognition process according to the present embodiment is not limited to the above.
  • the information processing apparatus according to the present embodiment recognizes the user's behavior using any technique that can recognize the user's behavior based on the detection value of the sensor, such as processing using threshold processing. May be.
  • Examples of the user behavior recognized in the behavior recognition processing according to the present embodiment include the user behavior shown in the above-described example of the user behavior corresponding to FIGS. 1A to 1H and the user behavior described above such as swimming recognition. Etc.
  • the information processing apparatus can also recognize the same user's action at a plurality of mounting positions.
  • Examples of user behavior that can be recognized at a plurality of mounting positions include “vehicle recognition” that recognizes that the user is on a vehicle such as a bus or train.
  • the processing related to the recognition of the user's behavior may be different for each mounting position.
  • an action recognition model and a dictionary used for action recognition are provided for each wearing position, so that processing related to user action recognition can be changed for each wearing position.
  • a predetermined process set as a process related to recognition of the user's action can be performed regardless of the wearing position. It is.
  • the detection value of the acceleration sensor when swimming is shown, shown in A of FIG. 1A
  • the detection value of the acceleration sensor when squatting is shown, shown in A of FIG. 1C
  • the detection values of the acceleration sensor an example of a sensor corresponding to the device to be set
  • the information processing apparatus sets the action recognition mode based on the wearing position information in the process (1) (behavior recognition mode setting process). Therefore, according to the setting corresponding to the wearing position, Recognition accuracy can be increased.
  • the information processing apparatus sets the action recognition mode based on the wearing position information in the process (1) (behavior recognition mode setting process), the resolution of the sensor is set according to the wearing position. Can be switched. Therefore, the information processing apparatus according to the present embodiment can recognize the user's action with higher accuracy based on the detection value of the sensor corresponding to the setting target apparatus.
  • Execution control process The information processing apparatus according to the present embodiment controls execution of a process corresponding to a recognized user action. Moreover, the information processing apparatus according to the present embodiment may control execution of processing corresponding to the mounting position indicated by the mounting position information and the recognized user action, for example.
  • process corresponding to action the process controlled by the execution control process according to the present embodiment is referred to as “process corresponding to action”.
  • the information processing apparatus is, for example, a user (recognized in the table (or database) in which the user's action and the process to be controlled are associated with each other and the process (2) (behavior recognition process).
  • the process corresponding to the action is specified based on the action.
  • the information processing apparatus includes, for example, a table (or database) in which the mounting position, the user's action, and the process to be controlled are associated, the mounting position indicated by the mounting position information, and the above ( It is also possible to specify the process corresponding to the action based on the user's action recognized in the process 2) (behavior recognition process).
  • the apparatus which performs the process corresponding to action is an external apparatus of the information processing apparatus which concerns on this embodiment
  • the information processing apparatus which concerns on this embodiment performs the process corresponding to the specified action
  • the external device that receives the processing command for performing the processing corresponding to the behavior executes the processing corresponding to the behavior in accordance with the processing command.
  • the information processing apparatus transmits data related to the process corresponding to the identified action (for example, an application used for executing the process or a process parameter) to the external apparatus. Also good.
  • the information processing apparatus according to the present embodiment corresponds to, for example, a behavior of a communication unit (described later) included in the information processing apparatus according to the present embodiment or an external communication device connected to the information processing apparatus according to the present embodiment.
  • the processing instruction for performing the processing to be performed is transmitted.
  • the apparatus that executes the process corresponding to the action is the own apparatus (the information processing apparatus according to the present embodiment)
  • the information processing apparatus according to the present embodiment performs the process corresponding to the identified action. Execute.
  • the information processing apparatus controls the execution of the process corresponding to the action by causing the external apparatus to perform the process corresponding to the action or performing the process corresponding to the action. .
  • the execution control process will be described mainly by taking as an example a case where the apparatus that executes the process corresponding to the action is a wearable apparatus (an example of a setting target apparatus). Also, in the following description, the information processing apparatus according to the present embodiment is mainly described as an example of controlling execution of processing corresponding to the mounting position indicated by the mounting position information and the recognized user action. A specific example of the control process will be described. Needless to say, the example of the execution control process according to the present embodiment is not limited to the example shown below.
  • the information processing apparatus transmits information to the user wearing the wearable device by outputting sound to the wearable device worn by the user.
  • the information processing apparatus may activate an application that reads out the number of trainings with a voice of a specific celebrity or character on the wearable apparatus worn by the user.
  • applications that can share the above breathing pace with friends include, for example, a function that adds the breathing pace to the action status and a function that controls the avatar (for example, if the avatar is running and breathing is rough) Increase sweat, and flush cheeks when breathing is rough at rest).
  • the application sharing the pace of breathing with a friend may have a function of sharing data with a device in which the same application is activated within a range in which the wearable device can communicate, for example. Good.
  • AR Augmented Reality
  • the process related to sleep determination may be performed in the information processing apparatus according to the present embodiment, or the external apparatus performs processing related to sleep determination, and the information processing apparatus according to the present embodiment is performed in the external apparatus. You may utilize the result of the process which concerns on the performed sleep determination.
  • the sleep apnea syndrome confirmation application has a function of detecting a symptom of sleep apnea syndrome using, for example, both a sleep determination result and a respiration determination result.
  • the sleep apnea syndrome confirmation application has a function of, for example, warning a registered user such as the person or family when a symptom of sleep apnea syndrome is detected. It may be.
  • ⁇ Processing in which the wearable device attached to the ankle presents the strength of the kick speed and impact with sound for example, “Spa” (if weak) or “Zudon” (if strong): The strength of the kick speed, etc.
  • the processing device specifies, for example, “a process related to the cycling function or a process related to the training function” as the process corresponding to the action.
  • the information processing apparatus according to the present embodiment determines, for example, processing specified by cadence. Then, the information processing apparatus according to the present embodiment causes the wearable device worn by the user to execute processing related to the cycling function or processing related to the training function.
  • examples of the process related to the training function according to the present embodiment include one or both of a process for automatically generating a training menu and a process for instructing pace distribution and a course by voice.
  • a process for performing feedback for example, feedback by voice (including music), vibration, text, light, etc.
  • a process of performing feedback to the user for example, a process of performing feedback for prompting a break when the user continues to perform typing for a certain time or more can be cited.
  • the information processing apparatus according to the embodiment specifies, for example, “a process for capturing a moving image” as the process corresponding to the action. Further, the information processing apparatus according to the present embodiment may further specify “a process for editing a captured moving image” as the process corresponding to the action.
  • the information processing apparatus causes the imaging device associated with the wearable device worn by the user to execute processing for capturing a moving image, and is associated with the wearable device.
  • the image processing apparatus is caused to execute processing for editing the captured moving image.
  • the imaging apparatus according to the present embodiment is arranged at a position where a user wearing the wearable apparatus can be imaged, for example, using a tripod. Note that the imaging device associated with the wearable device and the image processing device associated with the wearable device may be the same device.
  • a process of capturing an image for example, a process of starting capturing a moving image using a swing as a trigger, or when the swing is not set for a predetermined time is detected. Processing. By performing the process of capturing an image as described above, it is possible to save energy compared to the case where the image is always captured.
  • examples of the process of editing the captured moving image according to the present embodiment include a process of automatically generating a digest image from the captured moving image with the end of imaging as a trigger.
  • the process of notifying the user of the road according to the present embodiment for example, a process of performing auditory feedback by outputting sound from a speaker or a tactile feedback by vibrating a vibrator or the like is performed.
  • a process of performing auditory feedback by outputting sound from a speaker or a tactile feedback by vibrating a vibrator or the like is performed.
  • the process which notifies a user of the road which concerns on this embodiment is not restricted above.
  • the process of notifying the user of the road according to the present embodiment is a process of notifying the user of the road by an arbitrary UI (User Interface) capable of substantially notifying the user from within the pants pocket. It may be.
  • UI User Interface
  • the information processing apparatus performs, for example, the process according to the first example shown in (a) to the process according to the eighth example shown in (h) as the execution process according to the present embodiment.
  • the execution processing according to the present embodiment is not limited to the above.
  • the information processing apparatus according to the present embodiment can recognize the same user's behavior at a plurality of mounting positions, for example, the user is on a vehicle such as a bus or a train. is there.
  • the information processing apparatus When vehicle recognition is performed in the process (2) (behavior recognition process), for example, the information processing apparatus according to the present embodiment restricts the method of notifying the user as the process corresponding to the action. “Process” (an example of the predetermined process set above) is specified. Then, the information processing apparatus according to the present embodiment causes the wearable apparatus or the like to execute processing for limiting a method of notifying the user.
  • examples of the process for restricting the method for notifying the user according to the present embodiment include a process for restricting auditory notification by voice.
  • the information processing apparatus includes, for example, the process (1) (behavior recognition mode setting process) and the process (2) (behavior recognition process) as a process related to the information processing method according to the present embodiment. And the process (execution control process) of (3) above.
  • the information processing apparatus sets the action recognition mode based on the mounting position information in the process (1) (action recognition mode setting process), and the process (2) (action recognition process). ),
  • the user's behavior is recognized based on the set behavior recognition mode. That is, the information processing apparatus according to the present embodiment can recognize the user's behavior based on the behavior recognition mode corresponding to the mounting position. Therefore, the information processing apparatus according to the present embodiment can recognize the user's action with higher accuracy based on the detection value of the sensor corresponding to the setting target apparatus.
  • the information processing apparatus corresponds to the action corresponding to the user action recognized in the process (2) (behavior recognition process) in the process (3) (execution control process). Control the execution of processing.
  • the information processing apparatus includes the process (1) (behavior recognition mode setting process), the process (2) (behavior recognition process), and the process (3) (execution control process). By performing the above, it is possible to recognize the user's action with higher accuracy, and to control the process according to the recognized user's action.
  • process according to the information processing method according to the present embodiment is not limited to the process (1) (behavior recognition mode setting process) to the process (3) (execution control process).
  • the information processing apparatus can further perform a wearing position recognition process for recognizing a wearing position where a setting target apparatus is worn by a user.
  • the information processing apparatus according to the present embodiment performs the above process (1) (behavior recognition mode setting process).
  • the action recognition mode is set based on the mounting position information indicating the mounting position recognized in the mounting position recognition process according to the present embodiment.
  • the information processing apparatus according to the present embodiment performs the present processing in the process (3) (execution control process). The execution of the process is controlled based on the mounting position information indicating the mounting position recognized in the mounting position recognition process according to the embodiment.
  • the mounting position recognition process according to the present embodiment will be described more specifically. As described above, the mounting position recognition process according to the present embodiment, which will be described later, may be performed in an external device of the information processing apparatus according to the present embodiment.
  • the setting target device according to the present embodiment is an external device of the information processing device according to the present embodiment
  • the setting target device according to the present embodiment may be the information processing device according to the present embodiment.
  • the information processing apparatus includes a detection value of a sensor corresponding to a setting target apparatus and a position where the sensor corresponding to the setting target apparatus can be mounted.
  • the mounting position is recognized based on the condition corresponding to the.
  • the condition corresponding to the position where the sensor corresponding to the setting target device can be mounted according to the present embodiment is, for example, a constraint condition in the detection value of the sensor such as the posture and speed at the mountable position. is there.
  • the above-mentioned constraint conditions can change for each position that can be mounted. Therefore, the information processing apparatus according to the present embodiment can recognize the mounting position based on the detection value of the sensor corresponding to the setting target apparatus by considering the constraint condition.
  • FIG. 3 is an explanatory diagram for explaining a first example of the mounting position recognition process according to the present embodiment.
  • FIG. 3 shows an example of a mounting position recognition process when a setting target device having a sensor used for action recognition is mounted on an attachment A provided at a certain mountable position.
  • the information processing apparatus acquires a sensor log indicating the detection value of the sensor from the setting target apparatus (S100).
  • S100 setting target apparatus
  • the information processing apparatus determines whether or not the wearing time on the attachment A satisfies the condition (S102). In the information processing apparatus according to the present embodiment, for example, when the time since the start of acquisition of the sensor log is equal to or greater than a predetermined threshold, or when the time after the start of acquisition of the sensor log is longer than the predetermined threshold, It is determined that the condition is satisfied.
  • step S102 If it is not determined that the condition is satisfied in step S102, the information processing apparatus according to the present embodiment repeats the processing from step S100.
  • the information processing apparatus calculates the time distribution of the step count related to the operation of the user wearing the setting target apparatus (S104). Further, the information processing apparatus according to the present embodiment calculates each time distribution of the average of the acceleration in the X-axis, Y-axis, and Z-axis directions (S106). In addition, the information processing apparatus according to the present embodiment includes XY-Attitude (sensor X-axis and Y-axis attitudes), YZ-Attitude (sensor Y-axis and Z-axis attitudes), and ZX-Attitude (sensor Z-axis). , X axis posture) (S108).
  • 4 and 5 are explanatory diagrams for explaining a first example of the mounting position recognition process according to the present embodiment, and shows a case where the setting target device is mounted on the wrist portion of the user. .
  • XY-Attitude, YZ-Attitude, and ZX-Attitude are calculated by the following Equations 1 to 3. Is done. Further, the gravitational direction (“Gravity” direction shown in FIGS. 4 and 5) is the X-axis direction (“X” direction shown in FIGS. 4 and 5) and the Y-axis direction (“Y” shown in FIGS. 4 and 5). Direction). The acceleration in the X-axis direction, the Y-axis direction, and the Z-axis direction (“Z” direction shown in FIG. 4) depends on the horizontal inclination angle (“ ⁇ ” (theta) shown in FIG. 4).
  • XY-Attitude arctan (Y-mean /
  • YZ-Attitude arctan (Z-mean /
  • ZX-Attitude arctan (X-mean /
  • the information processing apparatus calculates the calculation results of steps S104 to S108 based on the detection value of the sensor corresponding to the setting target apparatus, and the position where the sensor corresponding to the setting target apparatus can be mounted (shown in FIG. 3). Based on the conditions corresponding to “mounting position X”, “mounting position Y”, etc, The mounting position is recognized (S110 to S118).
  • FIG. 6 and 7 are explanatory diagrams for explaining a first example of the mounting position recognition process according to the present embodiment.
  • FIG. 6 shows an example of the calculation result of steps S104 to S108 based on the detection value of the sensor corresponding to the setting target device when the setting target device is worn on the wrist part of the user.
  • FIG. 7 shows an example of the calculation results of steps S104 to S108 based on the detection value of the sensor corresponding to the setting target device when the setting target device is worn on the user's waist.
  • A1, A2, B1, B2, C1, and C2 shown in FIG. 6 and A, B, and C shown in FIG. 7 are detections of sensors corresponding to the setting target device when the user performs a walking motion.
  • An example of the calculation results of steps S104 to S108 based on the values is shown.
  • the information processing apparatus recognizes the mounting position by performing threshold determination corresponding to a position where a sensor corresponding to the setting target apparatus can be mounted, for example, as illustrated in steps S110 and S114 of FIG. To do.
  • step S118 when the condition corresponding to the position where the sensor corresponding to the setting target device can be mounted is not satisfied, the information processing apparatus according to the present embodiment recognizes that the mounting position is unknown. Also good. When it is recognized that the mounting position is unknown, the information processing apparatus according to the present embodiment, for example, in the process (1) (behavior recognition mode setting process) and the process (3) (execution control process), A preset process (default process) is performed.
  • the information processing apparatus includes a detection value of a sensor corresponding to a setting target apparatus, and an output of a reference device that is a reference for mounting position recognition. Based on this, the mounting position is recognized.
  • a reference device for example, a sensor used for action recognition corresponding to a device to be set, such as a barometric pressure sensor, can be cited.
  • the reference device according to the present embodiment is a sensor used for action recognition corresponding to a setting target device
  • the output of the reference device is a detection value of the sensor.
  • FIG. 8 is an explanatory diagram for explaining a second example of the mounting position recognition processing according to the present embodiment.
  • FIG. 8 shows a case where the reference device is an atmospheric pressure sensor attached to the user's waist, and the sensor used for action recognition corresponding to the setting target device that can be attached to each part of the user includes an atmospheric pressure sensor.
  • 1 shows an example of a table used for recognition of the mounting position.
  • the information processing apparatus subtracts, for example, the detection value of the pressure sensor attached to the waist part, which is the output of the reference device, from the detection value of the sensor corresponding to the setting target apparatus. Then, it identifies which mounting position in the table shown in FIG. 8 the subtracted value corresponds to, and recognizes the specified mounting position as the mounting position.
  • the reference device according to the present embodiment is not limited to a sensor used for action recognition corresponding to a setting target device.
  • the reference device according to the present embodiment may be a device other than a sensor used for action recognition corresponding to a setting target device, such as an audio output device such as a speaker.
  • the output of the reference device is an audio signal output from the audio output device.
  • the sensor used for action recognition corresponding to the setting target device includes an audio input device such as a microphone.
  • the information processing apparatus according to the present embodiment specifies, for example, a phase difference between an audio signal output from an audio output device that is a reference device and an audio signal detected by the audio input device. Then, the information processing apparatus according to the present embodiment recognizes the mounting position corresponding to the specified phase difference using, for example, a table in which the phase difference and the mounting position are associated, as in FIG. .
  • the reference device according to the present embodiment is a device other than the sensor used for the action recognition corresponding to the setting target device
  • the reference device according to the present embodiment is used for the action recognition corresponding to the setting target device.
  • the sensor used is not limited to a device related to an audio signal.
  • the reference device according to the present embodiment and the sensor used for action recognition corresponding to the setting target device are, for example, any devices that can recognize the mounting position using the phase difference of the signal. There may be.
  • the information processing apparatus is based on “estimation result of user behavior estimated based on detection value of sensor corresponding to setting target apparatus”. Then, the mounting position is estimated, and the estimated mounting position is recognized as the mounting position.
  • FIG. 9 is an explanatory diagram for explaining a third example of the mounting position recognition processing according to the present embodiment.
  • the information processing apparatus sets a mounting position initial probability (S200).
  • FIG. 10 is an explanatory diagram for explaining a third example of the mounting position recognition process according to the present embodiment.
  • 10A shows an example of the mounting position initial probability
  • FIG. 10B shows an example of the mounting position probability updated as a result of the process in step S204 of FIG. 9 described later.
  • the information processing apparatus reads, for example, data in which a mounting position probability as illustrated in A of FIG. 10 is set from a storage unit (described later), a connected external recording medium, or the like.
  • Set initial position probability. 10A shows an example in which the mounting probability at each mounting position is a constant value, but the mounting probability at each mounting position is set by a biased probability distribution using the user's habits and the like. May be.
  • the biased probability distribution for example, “the user always increases the probability of the wrist because the user always wears the setting target device on the wrist”.
  • the information processing apparatus determines whether or not the mounting position estimation end condition is satisfied (S202).
  • the information processing apparatus determines that the mounting position estimation end condition is satisfied when the bias of the mounting probability becomes sufficiently large. More specifically, the information processing apparatus according to the present embodiment, for example, when the mounting probability at a certain mounting position is equal to or greater than a set threshold or the threshold at which the mounting probability at a certain mounting position is set. When it becomes larger, it is determined that the mounting position estimation end condition is satisfied.
  • step S202 If it is determined in step S202 that the mounting position estimation end condition is satisfied, the information processing apparatus according to the present embodiment ends the mounting position recognition process according to the third example.
  • the information processing apparatus estimates the user's behavior based on the detection value of the sensor corresponding to the setting target apparatus. (S204).
  • the information processing apparatus multiplies the probability distribution of the mounting position probability as illustrated in FIG. 10 and a value indicating the probability of action based on the detection value of the sensor corresponding to the setting target apparatus.
  • the action with the larger multiplied value is estimated as the action of the user.
  • the process related to the action estimation may not be performed for a wearing position whose wearing probability is equal to or lower than the set probability or smaller than the set probability.
  • the user performs an action such that the probability of the recognizer recognizing soccer at the ankle is 50 [%] and the probability of the recognizer recognizing the swing at the wrist is 60 [%]. Then, the behavior is estimated as follows based on the probability distribution of the wearing position probability.
  • the probability distribution of the wearing position probability is A in FIG. 10: From “60 [%] ⁇ 12.5> 50 [%] ⁇ 12.5”
  • the user's action is estimated as a swing.
  • the probability distribution of the wearing position probability is B in FIG. 10: From “60 [%] ⁇ 20 ⁇ 50 [%] ⁇ 30”
  • the user's action is estimated to be soccer.
  • the information processing apparatus estimates the mounting position based on, for example, a behavior estimation result (S206). For example, the information processing apparatus according to the present embodiment updates the mounting probability illustrated in FIG. 10 and estimates the mounting position with the highest mounting probability as the mounting position.
  • step S204 when the user's action is estimated to be soccer and the probability is 80 [%], the information processing apparatus according to the present embodiment uses the probability distribution of the wearing position probability shown in FIG. Increase the probability of wearing an ankle.
  • the information processing apparatus according to the present embodiment may increase the wearing probability by a predetermined amount, or may change the way of raising the wearing probability according to the probability.
  • the user's action is “a squat when the sensor corresponding to the setting target device is attached to the neck”, “when the sensor corresponding to the setting target device is attached to the neck.
  • the information processing apparatus according to this embodiment reduces the probability of wearing the neck.
  • the information processing apparatus according to the present embodiment may decrease the mounting probability by a predetermined amount, or may change the method of decreasing the mounting probability according to the probability (or combination of the certainty).
  • the information processing apparatus determines whether or not the mounting position probability reset condition is satisfied (S208).
  • the mounting position probability reset condition is a condition for resetting the mounting position probability when the mounting position is changed.
  • the information processing apparatus determines that the mounting position probability reset condition is satisfied, for example, when a signal indicating that the setting target apparatus is removed from the attachment is detected.
  • the information processing apparatus determines that the mounting position probability reset condition is satisfied, for example, when it is detected that the probability of the action recognizer corresponding to the mounting position with a low probability is extremely high. May be.
  • step S208 When it is determined in step S208 that the mounting position probability reset condition is satisfied, the information processing apparatus according to the present embodiment performs the processing from step S200. If it is not determined in step S208 that the mounting position probability reset condition is satisfied, the information processing apparatus according to the present embodiment performs the processing from step S202.
  • the information processing apparatus gradually narrows down the mounting position candidates as actions with high accuracy continue. be able to.
  • the information processing apparatus recognizes a wearing position based on an operation signal based on a user operation that designates the wearing position.
  • an operation signal transmitted from an operation unit (described later) included in the information processing apparatus according to the present embodiment or an external operation device such as a remote controller is transmitted, and a communication unit (described later). Or an operation signal received by a connected external communication device.
  • the user operation for specifying the mounting position includes, for example, an operation in which the user specifies the mounting position by pressing a button or the like, a gesture operation in which the user performs a gesture indicating the mounting position, An arbitrary operation capable of specifying the mounting position, such as a voice operation for specifying the mounting position by speaking the mounting position, can be mentioned.
  • the information processing apparatus recognizes the mounting position based on the detection value of the sensor corresponding to the setting target apparatus.
  • the sensor corresponding to the setting target device is a sensor included in the setting target device or an external device connected to the setting target device. It is a sensor.
  • the sensor according to the fifth example of the attachment position recognition process include a button, an illuminance sensor, a proximity sensor, and an atmospheric pressure sensor.
  • the sensor according to the fifth example of the attachment position recognition process may be included in a sensor used for behavior recognition corresponding to a setting target device, or may be a sensor used for behavior recognition corresponding to a setting target device; May be a separate sensor.
  • FIG. 11 is an explanatory diagram for explaining a fifth example of the mounting position recognition process according to the present embodiment.
  • FIG. 11A shows an example of a sensor unit corresponding to the setting target device according to the fifth example of the attachment position recognition process.
  • S1 to S4 shown in FIG. 11A show the attachment position recognition process.
  • An example of the sensor concerning the 5th example is shown.
  • 11B shows an attachment to which the sensor unit shown in FIG. 11A can be attached.
  • P shown in FIG. 11B is a protrusion that can correspond to each of S1 to S4 shown in FIG. 11A. Shows the part.
  • C and D in FIG. 11 show an example in which the protrusion P shown in B of FIG. 11 corresponds to the sensor shown in A of FIG. 11.
  • the correspondence relationship between the sensor shown in FIG. 11A and the protrusion P shown in FIG. 11B varies depending on the mounting position, for example.
  • the protrusion P shown in B of FIG. 11 corresponds to the sensor shown in A of FIG. 11, for example, when the protrusion P presses a button (an example of a sensor), an illuminance sensor, a proximity sensor, or atmospheric pressure. It means that the protrusion P blocks the sensor (an example of the sensor).
  • the protrusions P correspond to the sensors S1 and S2, so that an electric signal corresponding to the pressing is transmitted from the button (an example of the sensor), or an illuminance sensor and a proximity sensor.
  • the detection value of the atmospheric pressure sensor changes.
  • the information processing apparatus has a mounting position depending on a position of a button (an example of a sensor) to which an electrical signal is transmitted, or a position at which detection values of an illuminance sensor, a proximity sensor, and an atmospheric pressure sensor (an example of a sensor) change. Recognize
  • FIG. 11 shows an example in which the protrusion P is provided on the attachment side, but the sensor is provided on the attachment side (an example of a sensor corresponding to the device to be set), and is set to be attached to the attachment.
  • the configuration may be such that the protrusion P is provided on the target device side.
  • the information processing apparatus is mounted by, for example, pattern recognition using model data learned in advance from sensor detection values at each mounting position and sensor detection values corresponding to a setting target apparatus. Recognize position.
  • the information processing apparatus can also recognize the mounting position based on the detection value of the sensor, for example, using the technique described in Japanese Patent Application Laid-Open No. 2006-340903 filed by the applicant of the present application. is there.
  • FIG. 12 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a communication unit 102, a detection unit 104, and a control unit 106, for example.
  • the information processing apparatus 100 includes, for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and a user-operable operation unit (see FIG. And a display unit (not shown) for displaying various screens on the display screen.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 106 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 106.
  • the storage unit is a storage unit included in the information processing apparatus 100.
  • information according to the present embodiment such as the table shown in FIG. 8 or the data indicating the probability distribution of the mounting position probability shown in FIG.
  • Various data such as data relating to the processing method and applications are stored.
  • examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • an operation input device to be described later can be cited.
  • a display part (not shown), the display device mentioned later is mentioned.
  • FIG. 13 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, a communication interface 164, and a sensor 166.
  • the information processing apparatus 100 connects each component with a bus 168 as a data transmission path, for example.
  • the MPU 150 includes, for example, a processor configured by an arithmetic circuit such as an MPU (Micro Processing Unit), various processing circuits, and the like, and functions as the control unit 106 that controls the information processing apparatus 100 as a whole.
  • the MPU 150 serves as, for example, a mounting position recognition unit 110, a behavior recognition mode setting unit 112, a feature extraction unit 114, a behavior recognition unit 116, and a processing control unit 118, which will be described later.
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores various data such as data related to the information processing method according to the present embodiment such as the table shown in FIG. 8 and applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can also be connected to an external device such as an external operation input device (for example, a keyboard or a mouse), an external display device, or an external sensor as an external device of the information processing apparatus 100. Needless to say.
  • the display device 162 may be a device capable of display and user operation, such as a touch screen.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and is a communication for performing wireless or wired communication with an external device such as an external setting target device via a network (or directly). It functions as the unit 102.
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • a wired network such as a LAN or a WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network) or a wireless WAN via a base station (WWAN: Wireless Wide Area Area).
  • a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • the sensor 166 is a sensor used for action recognition provided in the information processing apparatus 100 and functions as the detection unit 104.
  • examples of the sensor 166 include an arbitrary sensor that can be used for processing related to user action recognition, such as an acceleration sensor, a GPS device, a gyro sensor, an atmospheric pressure sensor, a proximity sensor, and a biological sensor.
  • the sensor 166 may be a sensor group having a plurality of sensors.
  • the senor 166 may serve as a sensor (sensor according to the fifth example of the mounting position recognition process) related to the process (4) (mounting position recognition process) described above.
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. 13. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 13.
  • the information processing device 100 may not include the sensor 166.
  • the information processing apparatus 100 is a setting target apparatus and the external sensor having the same function as the sensor 166 is connected, the information processing apparatus 100 may not include the sensor 166. .
  • the information processing apparatus 100 may not include the communication interface 164 when communicating with the external apparatus via, for example, a connected external communication device. Further, the information processing apparatus 100 can be configured not to include the storage medium 156, the operation device 160, and the display device 162.
  • the communication unit 102 is a communication unit included in the information processing apparatus 100, and communicates with an external device such as an external setting target device wirelessly or via a network (or directly).
  • the communication of the communication unit 102 is controlled by the control unit 106, for example.
  • examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can take a configuration corresponding to an arbitrary standard capable of performing communication, such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network.
  • the detection unit 104 includes a sensor used for action recognition provided in the information processing apparatus 100 and outputs a detection value.
  • the detection unit 104 for example, an arbitrary sensor that can be used for processing related to user action recognition, such as an acceleration sensor or a GPS device, can be used.
  • the detection part 104 may be comprised with the sensor group which has several sensors.
  • the sensor included in the detection unit 104 may serve as a sensor related to the above-described process (4) (mounting position recognition process) (a sensor according to the fifth example of the mounting position recognition process).
  • the control unit 106 is composed of, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 106 includes, for example, a mounting position recognition unit 110, a behavior recognition mode setting unit 112, a feature extraction unit 114, a behavior recognition unit 116, and a processing control unit 118, and information according to the present embodiment. It plays a role of leading the processing related to the processing method.
  • the control unit 106 may further include, for example, a communication control unit (not shown) that controls communication in the communication unit 102.
  • a communication control unit (not shown) controls transmission / reception of various information. Note that the functions of the communication control unit (not shown) may be performed by other components such as the communication unit 102.
  • the mounting position recognition unit 110 plays a leading role in performing the process (4) (mounting position recognition processing), and recognizes the mounting position.
  • the mounting position recognition unit 110 for example, is one of the mounting position recognition processing according to the first example shown in (4-1) to the mounting position recognition processing according to the sixth example shown in (4-6). By performing the processing, the mounting position is recognized.
  • the information processing apparatus according to the present embodiment performs the process of step S204 in FIG.
  • a mounting position estimation unit (not shown) that fulfills the role and estimates the mounting position may be further provided.
  • the behavior recognition mode setting unit 112 plays a role of leading the processing (1) (behavior recognition mode setting processing), and sets the behavior recognition mode based on the mounting position information of the setting target device. For example, the behavior recognition mode setting unit 112 performs processing related to the setting of the behavior recognition mode according to the first example shown in (1-1) above or the behavior recognition according to the second example shown in (1-2) above.
  • the action recognition mode is set by performing processing related to the mode setting.
  • the feature extraction unit 114 extracts, for example, a feature amount corresponding to the type of feature amount used for behavior recognition corresponding to the set behavior recognition mode from the detection result of the detection unit 104. Note that the information processing apparatus according to the present embodiment may be configured without the feature extraction unit 114.
  • the action recognition unit 116 plays a role of leading the process (2) (behavior recognition process) and corresponds to a set target device such as the set action recognition mode and the detection value of the detection unit 104.
  • the user's behavior is recognized based on the detection value of the sensor.
  • the behavior recognition unit 116 recognizes a predetermined behavior based on, for example, an algorithm or model data corresponding to the set behavior recognition mode and the feature amount extracted by the feature extraction unit 114.
  • the behavior recognition unit 116 for example, the algorithm or model data corresponding to the set behavior recognition mode and the detection value of the sensor corresponding to the setting target device. Based on the above, a predetermined action is recognized.
  • the process control unit 118 plays a role of leading the process (3) (execution control process), and controls the execution of the process corresponding to the user action recognized by the action recognition unit 116.
  • the process control unit 118 can also control execution of processing corresponding to the mounting position indicated by the mounting position information and the user's behavior recognized by the behavior recognition unit 116, for example.
  • the process control unit 118 performs, for example, the process according to the first example shown in (a) to the process according to the eighth example shown in (h).
  • the control unit 106 includes, for example, a mounting position recognition unit 110, a behavior recognition mode setting unit 112, a feature extraction unit 114, a behavior recognition unit 116, and a processing control unit 118, and thus relates to the information processing method according to the present embodiment. The process is led.
  • the information processing apparatus 100 has, for example, the configuration shown in FIG. 12 and processes (for example, the process (1) (behavior recognition mode setting process) to the process (4) (attachment) related to the information processing method according to this embodiment. Position recognition processing)).
  • processes for example, the process (1) (behavior recognition mode setting process) to the process (4) (attachment) related to the information processing method according to this embodiment. Position recognition processing)).
  • the information processing apparatus 100 can recognize the user's action with higher accuracy by using the configuration shown in FIG. 12, for example, and can control processing according to the recognized user's action.
  • the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above, for example.
  • the processing apparatus may be configured not to include the mounting position recognition unit 110. Even in a configuration that does not include the mounting position recognition unit 110, the information processing apparatus according to the present embodiment performs the process (1) (behavior recognition mode setting process) to the process (3) (execution control process). Is possible. Therefore, even in a configuration that does not include the mounting position recognition unit 110, the information processing apparatus according to the present embodiment can recognize a user's action with higher accuracy, and controls processing according to the recognized user's action. can do.
  • the information processing apparatus is, for example, one of the mounting position recognition unit 110, the behavior recognition mode setting unit 112, the feature extraction unit 114, the behavior recognition unit 116, and the processing control unit 118 illustrated in FIG.
  • two or more can be provided separately from the control unit 106 (for example, realized by another processing circuit).
  • the information processing apparatus when the device to be set is an external device, the information processing apparatus according to this embodiment may not include the detection unit 104.
  • the information processing apparatus 100 is a setting target apparatus and an external sensor having the same function as that of the detection unit 104 is connected, the information processing apparatus according to this embodiment includes the detection unit 104. It does not have to be provided.
  • the information processing apparatus when communicating with an external device via an external communication device having the same function and configuration as the communication unit 102, does not include the communication unit 102. May be.
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • a communication device such as a mobile phone or a smartphone, a tablet-type device, a video / music playback device (or video / music recording / playback device), a game machine, a computer such as a notebook PC (Personal Computer)
  • a wearable device for example.
  • the present embodiment can be applied to various devices that are not easy to carry, such as computers such as servers and desktop PCs.
  • this embodiment can also be applied to, for example, a processing IC (Integrated Circuit) that can be incorporated in the above devices.
  • a processing IC Integrated Circuit
  • an information processing system having an information processing device and one or more setting target devices can be realized as a cloud computing type information processing system. Is possible.
  • Program related to information processing apparatus A program for causing a computer to function as the information processing apparatus according to the present embodiment (for example, “process (1) (action recognition mode setting process) to process (3)” above. (Execution Control Process) "," Process (1) (Action Recognition Mode Setting Process) to Process (4) (Mounting Position Recognition Process) ", and the like, according to the information processing method according to this embodiment Is executed by a processor or the like in the computer, so that the user's behavior can be recognized with higher accuracy, and processing according to the recognized user's behavior can be controlled. .
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • An action recognition mode setting unit for setting an action recognition mode based on the mounting position information of the device to be set;
  • An action recognition unit for recognizing a user's action based on the set action recognition mode and a detection value of a sensor corresponding to the setting target device;
  • a process control unit that controls execution of a process corresponding to the recognized user behavior;
  • An information processing apparatus comprising: (2)
  • the behavior recognition mode includes settings related to sensors, The information according to (1), wherein the behavior recognition mode setting unit performs setting related to the sensor based on the mounting position information for the sensor corresponding to the setting target device as the behavior recognition mode setting. Processing equipment.
  • the information processing apparatus wherein the setting related to the sensor includes one or both of a setting of a sensor type and a setting of a parameter of the sensor.
  • the behavior recognition mode includes a setting related to processing related to behavior recognition, The information processing according to any one of (1) to (3), wherein the behavior recognition mode setting unit performs a setting related to processing related to the behavior recognition based on the mounting position information as the setting of the behavior recognition mode. apparatus.
  • the setting related to the process related to the action recognition includes the setting of the type of feature amount used for action recognition from the detection values of the sensor corresponding to the setting target device, and the setting of the algorithm used for the process related to the action recognition.
  • the information processing apparatus including one or more of setting of model data used for the process related to the action recognition.
  • a mounting position recognition unit for recognizing a mounting position where the setting target device is mounted on a user;
  • the behavior recognition mode setting unit sets the behavior recognition mode based on the mounting position information indicating the mounting position recognized by the mounting position recognition unit;
  • the processing control unit controls execution of processing based on the mounting position information indicating the mounting position recognized by the mounting position recognition unit, according to any one of (1) to (5).
  • Information processing device is included in the mounting position recognition unit.
  • the mounting position recognition unit recognizes the mounting position based on a detection value of a sensor corresponding to the setting target device and a condition corresponding to a position where the sensor can be mounted.
  • Information processing device including one or more of setting of model data used for the process related to the action recognition.
  • the mounting position recognizing unit recognizes the mounting position based on a detection value of a sensor corresponding to the setting target device and an output of a reference device serving as a reference for recognition of the mounting position.
  • the information processing apparatus described.
  • the mounting position recognition unit Based on the estimation result of the user's behavior estimated based on the detection value of the sensor corresponding to the setting target device, the mounting position is estimated, The information processing apparatus according to (6), wherein the estimated mounting position is recognized as the mounting position.
  • the information processing apparatus according to (6), wherein the mounting position recognition unit recognizes the mounting position based on an operation signal based on a user operation that specifies the mounting position.
  • the information processing apparatus (11) The information processing apparatus according to (6), wherein the mounting position recognition unit recognizes the mounting position based on a detection value of a sensor corresponding to the setting target apparatus. (12) The mounting position recognition unit recognizes the mounting position based on a detection value of a sensor corresponding to the setting target device and model data learned in advance at each position where the sensor can be mounted. ). (13) A detection unit including a sensor corresponding to the setting target device; The information processing apparatus according to any one of (1) to (12), wherein the behavior recognition unit recognizes a user's behavior based on a detection value of the detection unit.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

設定対象の装置の装着位置情報に基づき、行動認識モードを設定する行動認識モード設定部と、設定された行動認識モードと、設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識する行動認識部と、認識されたユーザの行動に対応する処理の実行を制御する処理制御部とを備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 ユーザの行動を認識し、認識結果を表示画面に表示させる技術が開発されている。ユーザの行動を認識し、認識結果を表示画面に表示させる技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2010-134802号公報
 近年、スマートフォンなどの可搬型の装置だけでなく、腕時計型のデバイスなどのように、ユーザが身につけて用いることが可能なウェアラブル型の装置(以下、「ウェアラブル装置」と示す。)を用いるユーザが増えつつある。また、例えばライフログなどのように、上記のような装置に搭載されたセンサ、または、上記のような装置に取り付けられた外部センサの検出値を利用した、ユーザの行動に関するアプリケーションも実用化されている。
 しかしながら、単にセンサの検出値を利用してユーザの行動認識が行われる場合、例えば、センサが搭載された装置(または、外部センサが取り付けられた装置)がユーザに装着された位置によっては、ユーザの行動を認識する精度が悪化する、または、ユーザの行動を認識することができない恐れがある。
 本開示では、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、設定対象の装置の装着位置情報に基づき、行動認識モードを設定する行動認識モード設定部と、設定された上記行動認識モードと、上記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識する行動認識部と、認識されたユーザの行動に対応する処理の実行を制御する処理制御部と、を備える、情報処理装置が提供される。
 また、本開示によれば、設定対象の装置の装着位置情報に基づき、行動認識モードを設定するステップと、設定された上記行動認識モードと、上記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識するステップと、認識されたユーザの行動に対応する処理の実行を制御するステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
 また、本開示によれば、設定対象の装置の装着位置情報に基づき、行動認識モードを設定するステップ、設定された上記行動認識モードと、上記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識するステップ、認識されたユーザの行動に対応する処理の実行を制御するステップ、をコンピュータに実行させるためのプログラムが提供される。
 本開示によれば、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る設定対象の装置の一例を示す説明図である。 本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第2の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第3の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第3の例を説明するための説明図である。 本実施形態に係る装着位置認識処理の第5の例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る情報処理方法
  2.本実施形態に係る情報処理装置
  3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
 本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
 上述したように、例えば、単にセンサの検出値を利用してユーザの行動認識が行われる場合には、センサが搭載された装置(または、外部センサが取り付けられた装置。以下、同様とする。)がユーザに装着された位置によっては、ユーザの行動を認識する精度が悪化する、または、ユーザの行動を認識することができない恐れがある。
 図1A~図1Hは、本実施形態に係る情報処理方法を説明するための説明図である。図1A~図1Hは、加速度センサとジャイロセンサとが搭載された、センサが搭載された装置における、装着位置とユーザの行動とに応じたセンサの検出値の一例を示している。
 より具体的には、図1Aは、センサが搭載された装置が、ユーザの頭部に装着されている場合の検出値の一例を示しており、図1AのAは、ユーザが水泳を行っている場合の検出値、図1AのBは、ユーザがうなずいている場合の検出値を示している。
 また、図1Bは、センサが搭載された装置が、ユーザの顎に装着されている場合の検出値の一例を示しており、図1BのAは、ユーザが発話を行っている場合の検出値、図1BのBは、ユーザが咀嚼している場合の検出値を示している。
 また、図1Cは、センサが搭載された装置が、ユーザの首に装着されている場合の検出値の一例を示しており、図1CのAは、ユーザがスクワットを行っている場合の検出値、図1CのBは、ユーザが腕立て伏せを行っている場合の検出値を示している。また、図1Dは、センサが搭載された装置が、ユーザの首に装着されている場合の検出値の一例を示しており、図1DのAは、ユーザが腹筋運動を行っている場合の検出値、図1DのBは、ユーザが背筋運動を行っている場合の検出値を示している。
 また、図1Eは、センサが搭載された装置が、ユーザの胸に装着されている場合の検出値の一例を示しており、ユーザが呼吸を行っている場合の検出値を示している。
 また、図1Fは、センサが搭載された装置が、ユーザの足首に装着されている場合の検出値の一例を示しており、図1FのAは、ユーザがサッカーを行っている場合の検出値、図1FのBは、ユーザが自転車に乗っている場合の検出値を示している。
 また、図1Gは、センサが搭載された装置が、ユーザの指に装着されている場合の検出値の一例を示しており、ユーザがタイピングを行っている場合の検出値を示している。
 また、図1Hは、センサが搭載された装置が、ユーザの手首に装着されている場合の検出値の一例を示しており、図1HのAは、ユーザがテニスのスイングを行っている場合の検出値、図1HのBは、ユーザが野球のスイングを行っている場合の検出値を示している。
 センサが搭載された装置が、ユーザに装着されている場合には、例えば図1A~図1Hに示すような検出値が得られる。
 ここで、例えば、図1AのAに示す、水泳が行われている場合における加速度センサの検出値と、図1CのAに示す、スクワットが行われている場合における加速度センサの検出値とを参照すると、加速度センサの検出値は、類似している。そのため、単にセンサの検出値を利用してユーザの行動認識が行われる場合には、ユーザが水泳を行っているのか、または、ユーザがスクワットを行っているのかを判定することができない、または、誤った判定結果が得られる恐れがある。
 また、センサが搭載された装置がユーザの顎に装着されている場合には、例えば図1Bに示すように、センサの検出値の変化が、センサが搭載された装置がユーザの頭部や首などに装着されている場合よりも非常に小さい。つまり、例えば、センサが搭載された装置が、ユーザの顎に装着されている場合には、微小振動を検出した上で、ユーザの行動の認識を行う必要がある。よって、センサが搭載された装置が装着されているユーザの行動を、より精度よく検出するためには、例えば、ユーザにおけるセンサが搭載された装置の装着位置に応じて、センサの分解能の設定などを切り替えることが望ましい。
 そこで、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、下記に示す(1)行動認識モード設定処理、(2)行動認識処理、および(3)実行制御処理、を行うことによって、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御する。
(1)行動認識モード設定処理
 本実施形態に係る情報処理装置は、設定対象の装置に対して、装着位置情報に基づく行動認識モードを設定する。
 ここで、本実施形態に係る装着位置情報とは、設定対象の装置がユーザに装着されている装着位置を示すデータである。本実施形態に係る装着位置情報は、頭部、首など、装着位置を直接的に示すデータ(例えば、装着位置を文字列で表すデータなど)であってもよいし、装着位置を間接的に示すデータ(例えば、装着位置を示すIDなど)であってもよい。
 本実施形態に係る装着位置情報は、例えば、本実施形態に係る情報処理装置が、後述する(4)装着位置認識処理を行うことにより生成される。本実施形態に係る情報処理装置が装着位置情報を生成する場合には、本実施形態に係る情報処理装置は、生成した装着位置情報を用いて、本実施形態に係る情報処理方法に係る処理を行う。
 また、本実施形態に係る装着位置情報は、後述する(4)装着位置認識処理と同様の処理を行った外部装置において生成されてもよい。上記外部装置において装着位置情報が生成される場合には、本実施形態に係る情報処理装置は、例えば、通信部(後述する)や接続されている外部通信デバイスを介して、当該外部装置から通信により装着位置情報を取得し、取得された装着位置情報を用いて、本実施形態に係る情報処理方法に係る処理を行う。
 また、本実施形態に係る設定対象の装置とは、行動認識モードを設定する対象の装置である。本実施形態に係る設定対象の装置としては、例えば、ユーザの行動の認識に用いられるセンサが搭載された装置や、ユーザの行動の認識に係る外部センサが取り付けられた装置が挙げられる。本実施形態に係る設定対象の装置は、本実施形態に係る情報処理装置であってもよいし、本実施形態に係る情報処理装置の外部装置であってもよい。
 具体例を挙げると、本実施形態に係る設定対象の装置としては、例えば、“スマートフォンや携帯電話、タブレット型の装置などの可搬型の装置”や“ウェアラブル装置”など、ユーザが身体に直接的に装着することが可能な装置や、鞄やポケットなどのユーザが直接的に装着することが可能なものの中に入れることにより間接的に装着することが可能な装置が挙げられる。
 以下では、本実施形態に係る設定対象の装置が、ウェアラブル装置である場合を例に挙げる。
 図2は、本実施形態に係る設定対象の装置の一例を示す説明図であり、本実施形態に係る設定対象の装置がウェアラブル装置である場合における、ウェアラブル装置の一例を示している。図2に示すA~Eは、それぞれウェアラブル装置の一例を示している。
 本実施形態に係る設定対象の装置としての役目を果たしうる、本実施形態に係るウェアラブル装置としては、図2に示すように下記のような装置が挙げられる。なお、本実施形態に係るウェアラブル装置が、下記に示す例に限られないことは、言うまでもない。
  ・頭部装着型の装置(図2のA):例えば、HMD(Head Mounted Display)や、撮像装置など
  ・アイウェア型の装置(図2のB):例えば、HMDや、メガネ型の装置など
  ・首かけ型の装置(図2のC):例えば、撮像装置や、ヘッドセット、ネックレス型の装置、データロガーなど
  ・手首/腕装着型の装置(図2のD):例えば、時計型の装置や、データロガー、ブレスレット型の装置、リストバンド型の装置など
  ・手/指装着型の装置(図2のEのE1):例えば、グローブ型の装置や、リング型の装置など
  ・腰/上着/ポケット装着型の装置(図2のEのE2):例えば、ベルト型の装置や、クリップ/マグネット型の装置、データロガーなど
  ・足首/足装着型の装置(図2のEのE3):例えば、アンクレット型の装置や、データロガーなど
 また、ウェアラブル装置それぞれは、行動認識に用いられるセンサSを有する。ここで、行動認識に用いられるセンサSは、ウェアラブル装置に内蔵されたセンサ(ウェアラブル装置が備えるセンサ)であってもよいし、ウェアラブル装置に接続された外部センサであってもよい。
 以下では、例えば図2に示す行動認識に用いられるセンサSのような、設定対象の装置に対応する行動認識に用いられるセンサを、「設定対象の装置に対応するセンサ」と示す場合がある。
 また、本実施形態に係るセンサとしては、例えば、加速度センサや、GPS(Global Positioning System)デバイス、ジャイロセンサ、気圧センサ、近接センサ、生体センサなどが挙げられる。なお、本実施形態に係るセンサは、上記に限られず、本実施形態に係る行動認識処理など、ユーザの行動認識に係る処理に用いることが可能な任意のセンサであってもよい。
 また、本実施形態に係る行動認識モードとは、行動の状態を決定するためのものであり、行動認識に関する1つの設定、または、複数の行動認識に関する設定の組み合わせを示す。
 本実施形態に係る行動認識モードとしては、例えば、“センサに関する設定”と“行動認識に係る処理に関する設定”との一方または双方の組み合わせが挙げられる。
 本実施形態に係るセンサに関する設定としては、例えば、行動認識に用いられるセンサの種類の設定と、行動認識に用いられるセンサのパラメータの設定(例えば、サンプリングの設定や、センシングモードの設定など)との一方または双方が挙げられる。行動認識に用いられるセンサの種類の設定としては、例えば、動作させるセンサの設定(動作させないセンサの電源をオフとする設定が含まれてもよい。)が挙げられる。また、行動認識に用いられるセンサのパラメータの設定としては、例えば、サンプリングの設定や、センシングモードの設定など、センサの動作やセンサの検出値の出力に関する、任意の設定が挙げられる。
 また、本実施形態に係る行動認識に係る処理に関する設定としては、例えば、設定対象の装置に対応するセンサの検出値の中から行動認識に用いる特徴量の種類の設定と、行動認識に係る処理に用いるアルゴリズムの設定と、行動認識に係る処理に用いるモデルデータの設定とのうちの、1または2以上が挙げられる。
 本実施形態に係る情報処理装置は、装着位置情報を参照することによって、設定対象の装置がユーザに装着されている装着位置を認識することができる。本実施形態に係る情報処理装置は、例えば、認識された装着位置に対応する行動認識モードを、設定対象の装置に対して設定する。
 本実施形態に係る情報処理装置は、例えば、装着位置と設定する行動認識モードとが対応付けられたテーブル(またはデータベース)と、装着位置情報に基づき認識された装着位置とにより、認識された装着位置に対応する行動認識モードを特定する。そして、本実施形態に係る情報処理装置は、特定された行動認識モードを、設定対象の装置に対して設定する。
 なお、本実施形態に係る行動認識モードの特定方法は、上記に限られない。
 例えば、装着位置に対応する行動認識モードが複数存在する場合、本実施形態に係る情報処理装置は、設定された行動認識モードの履歴や、時間、装着位置情報に対応する設定対象装置の位置のうちの1または2以上を用いて、装着位置に対応する行動認識モードを特定することも可能である。
 また、装着位置に対応する行動認識モードが複数存在する場合、本実施形態に係る情報処理装置は、設定される候補となる行動認識モードを、設定対象装置のユーザに対して、視覚的および/または聴覚的に提示し、当該ユーザにより選択された行動認識モードを、装着位置に対応する行動認識モードとして特定してもよい。
 装着位置に対応する行動認識モードとしては、例えば、下記に示すユーザの行動に対応する行動認識モードが挙げられる。なお、本実施形態に装着位置に対応する行動認識モードが、下記に示すユーザの行動に対応する行動認識モードに限られないことは、言うまでもない。
  ・装着位置が「頭部」の場合:水泳認識(泳法、ターン回数など)、うなずき認識
  ・装着位置が「顎」の場合:発話しているか否かの認識、咀嚼回数認識、食べ物種類認識
  ・装着位置が「首」の場合:トレーニング認識(スクワット、腕立てなど)
  ・装着位置が「胸」の場合:呼吸しているか否かの認識(体動)
  ・装着位置が「足首」の場合:サッカー認識(キックのモーションなど)、自転車のケイデンス認識
  ・装着位置が「指」の場合:タイピング認識
  ・装着位置が「手首」の場合:スイング認識(野球やテニス、ゴルフなど)
  ・装着位置が「ズボンのポケット」の場合:乗物認識(電車やバスなど)
 より具体的には、本実施形態に係る情報処理装置による行動認識モードの設定に係る処理として、例えば、下記の(1-1)の処理と(1-2)の処理を行う。
(1-1)行動認識モードの設定に係る処理の第1の例:センサに関する設定の実行
 本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサに対して、装着位置情報に基づくセンサに関する設定を行う。
 より具体的には、例えば、設定対象の装置が本実施形態に係る情報処理装置の外部装置である場合、本実施形態に係る情報処理装置は、例えば、センサに関する設定を示すデータを、設定対象の装置に対して送信させることによって、設定対象の装置に、センサに関する設定を行わせる。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部(後述する)や、本実施形態に係る情報処理装置に接続された外部通信デバイスに、センサに関する設定を示すデータを送信させる。
 ここで、本実施形態に係るセンサに関する設定を示すデータとしては、例えば下記に示すデータの一方または双方のデータが挙げられる。なお、本実施形態に係るセンサに関する設定を示すデータは、下記に示す例に限られない。本実施形態に係るセンサに関する設定を示すデータとしては、例えば、センサの動作を制御することが可能な任意のデータ(またはデータ群)が挙げられる。
  ・有効とするセンサの種類を示すデータ(例えば、センサIDなど)
  ・センサのパラメータを示すデータ
 また、本実施形態に係るセンサに関する設定を示すデータには、例えば、センサに関する設定の実行を行わせるための命令が含まれていてもよい。
 また、設定対象の装置が、自装置(本実施形態に係る情報処理装置)である場合には、本実施形態に係る情報処理装置は、備えている検出部(後述する)を構成するセンサ(設定対象の装置に対応するセンサの一例)、または、接続されている外部センサ(設定対象の装置に対応するセンサの一例)に対して、センサに関する設定を行う。
(1-2)行動認識モードの設定に係る処理の第2の例:行動認識に係る処理に関する設定の実行
 本実施形態に係る情報処理装置は、装着位置情報に基づく行動認識に係る処理に関する設定を行う。
 本実施形態に係る情報処理装置は、例えば、設定対象の装置を示すデータと、装着位置情報に基づき認識された装着位置に対応する、行動認識に係る処理に関する設定を示すデータとを、テーブルやデータベースなどに対応付けて記録することによって、行動認識に係る処理に関する設定を行う。
 ここで、本実施形態に係る設定対象の装置を示すデータとしては、例えば装置IDなどが挙げられる。
 また、行動認識に係る処理に関する設定を示すデータとしては、例えば、下記に示すデータが挙げられる。なお、本実施形態に係る行動認識に係る処理に関する設定を示すデータは、下記に示す例に限られない。本実施形態に係る行動認識に係る処理に関する設定を示すデータとしては、例えば、行動認識に係る処理を制御することが可能な任意のデータ(またはデータ群)が挙げられる。
  ・特徴量の種類を示すデータ(例えば、特徴量を示すIDなど)
  ・行動認識に係る処理に用いるアルゴリズムを示すデータ(例えば、プログラムデータや、アルゴリズムを示すIDなど)
  ・行動認識に係る処理に用いるモデルデータを示すデータ(例えば、モデルデータそのものや、モデルデータを示すIDなど)
 本実施形態に係る情報処理装置は、例えば、上記テーブルなどを参照し、設定対象の装置に対応する行動認識に係る処理に関する設定を示すデータを用いて、後述する(2)の処理(行動認識処理)を行う。
 なお、設定対象の装置が本実施形態に係る情報処理装置の外部装置であり、行動認識に係る処理が当該外部装置において行われる場合には、本実施形態に係る情報処理装置は、例えば、装着位置情報に基づき認識された装着位置に対応する、行動認識に係る処理に関する設定を示すデータを、当該外部装置に対して送信させることによって、当該外部装置に、行動認識に係る処理を行わせてもよい。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部(後述する)や、本実施形態に係る情報処理装置に接続された外部通信デバイスに、行動認識に係る処理に関する設定を示すデータを送信させる。
 本実施形態に係る情報処理装置が、設定対象の装置である上記外部装置に対して送信する行動認識に係る処理に関する設定を示すデータには、例えば、行動認識に関する設定を行わせるための命令を行わせるための命令が含まれる。
 本実施形態に係る情報処理装置は、例えば、上記(1-1)に示す第1の例に係る処理や、上記(1-2)に示す第2の例に係る処理を行うことによって、設定対象の装置に対して、装着位置情報に基づく行動認識モードを設定する。
(2)行動認識処理
 本実施形態に係る情報処理装置は、設定された行動認識モードと、設定対象の装置に対応するセンサの検出値とに基づいてユーザの行動を認識する。
 本実施形態に係る情報処理装置は、例えば、設定された行動認識モードに従ってセンサの検出値から抽出された特徴量と、認識される候補の行動に対応する特徴量とのパターンマッチングを行うことによって、ユーザの行動を認識する。
 なお、本実施形態に係る行動認識処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、閾値処理を利用した処理など、センサの検出値に基づきユーザの行動を認識することが可能な任意の技術を利用して、ユーザの行動を認識してもよい。
 本実施形態に係る行動認識処理において認識されるユーザの行動としては、例えば、図1A~図1Hに対応するユーザの行動や、水泳認識などの上述したユーザの行動の例に示す、ユーザの行動などが挙げられる。
 なお、本実施形態に係る情報処理装置は、複数の装着位置において、同一のユーザの行動を認識することも可能である。複数の装着位置において認識可能な、ユーザの行動としては、例えば、ユーザがバスや電車などの乗り物に乗っていることを認識する“乗物認識”が挙げられる。
 ここで、複数の装着位置において同一のユーザの行動を認識する場合には、装着位置ごとに、ユーザの行動の認識に係る処理が異なっていてもよい。例えば、行動の認識モデルや、行動の認識に用いられる辞書が、装着位置ごとに設けられることによって、ユーザの行動の認識に係る処理を装着位置ごとに変えることが可能である。また、複数の装着位置において同一のユーザの行動を認識する場合には、例えば、装着位置によらずに、ユーザの行動の認識に係る処理として設定されている所定の処理が行われることも可能である。
 上述したように、例えば、図1AのAに示す、水泳が行われているときにおける加速度センサの検出値と、図1CのAに示す、スクワットが行われているときにおける加速度センサの検出値とのように、加速度センサ(設定対象の装置に対応するセンサの一例)の検出値が類似する場合はありうる。
 本実施形態に係る情報処理装置は、上記(1)の処理(行動認識モード設定処理)において、装着位置情報に基づき行動認識モードを設定するので、装着位置に応じた設定に従って、ユーザの行動の認識精度を高めることができる。
 また、上述したように、例えば、センサが搭載された装置がユーザの顎に装着されている場合には、微小振動を検出した上で、ユーザの行動の認識を行う必要がある。本実施形態に係る情報処理装置は、上記(1)の処理(行動認識モード設定処理)において、装着位置情報に基づき行動認識モードを設定するので、装着位置に応じて、センサの分解能の設定などを切り替えることが可能となる。よって、本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値に基づいてユーザの行動をより精度よく認識することができる。
(3)実行制御処理
 本実施形態に係る情報処理装置は、認識されたユーザの行動に対応する処理の実行を制御する。また、本実施形態に係る情報処理装置は、例えば、装着位置情報が示す装着位置と、認識されたユーザの行動とに対応する処理の実行を制御してもよい。以下では、本実施形態に係る実行制御処理により制御される処理を、「行動に対応する処理」と示す。
 本実施形態に係る情報処理装置は、例えば、ユーザの行動、および制御対象の処理が対応付けられているテーブル(またはデータベース)と、上記(2)の処理(行動認識処理)において認識されたユーザの行動とに基づいて、行動に対応する処理を特定する。また、本実施形態に係る情報処理装置は、例えば、装着位置、ユーザの行動、および制御対象の処理が対応付けられているテーブル(またはデータベース)と、装着位置情報が示す装着位置と、上記(2)の処理(行動認識処理)において認識されたユーザの行動とに基づいて、行動に対応する処理を特定することも可能である。
 そして、行動に対応する処理を実行する装置が、本実施形態に係る情報処理装置の外部装置である場合には、本実施形態に係る情報処理装置は、特定された行動に対応する処理を行わせるための処理命令を、当該外部装置に対して送信させる。上記行動に対応する処理を行わせるための処理命令を受信した外部装置は、当該処理命令に応じて、行動に対応する処理を実行する。
 また、本実施形態に係る情報処理装置は、特定された行動に対応する処理に係るデータ(例えば、処理の実行に用いられるアプリケーションや、処理パラメータなど)を、上記外部装置に対して送信させてもよい。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部(後述する)や、本実施形態に係る情報処理装置に接続された外部通信デバイスに、行動に対応する処理を行わせるための処理命令などを送信させる。
 また、行動に対応する処理を実行する装置が、自装置(本実施形態に係る情報処理装置)である場合には、本実施形態に係る情報処理装置は、特定された行動に対応する処理を実行する。
 本実施形態に係る情報処理装置は、例えば上記のように、外部装置に行動に対応する処理を行わせることや、行動に対応する処理を行うことによって、行動に対応する処理の実行を制御する。
 以下、行動に対応する処理を実行する装置が、ウェアラブル装置(設定対象の装置の一例)である場合を主に例に挙げて、実行制御処理の具体例を説明する。また、以下では、本実施形態に係る情報処理装置が、装着位置情報が示す装着位置と、認識されたユーザの行動とに対応する処理の実行を制御する場合を主に例に挙げて、実行制御処理の具体例を説明する。なお、本実施形態に係る実行制御処理の例が、下記に示す例に限られないことは、言うまでもない。
(a)実行制御処理の第1の例:装着位置が「首」である場合
 上記(2)の処理(行動認識処理)において、スクワットや腕立てなどのトレーニング認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“音声により励ましを行うアプリケーションを起動させる処理”を特定する。そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に、音声を出力させる。
 ウェアラブル装置の装着位置が首である場合、例えば、ウェアラブル装置の表示画面などに文字や画像などを表示させることにより、ユーザに情報を提示しても、ウェアラブル装置を装着しているユーザには、提示される内容が伝わらない可能性が高い。そこで、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に音声を出力させることによって、ウェアラブル装置を装着しているユーザに情報を伝達する。
 ここで、本実施形態に係る情報処理装置は、例えば、特定の有名人やキャラクタの声で、トレーニング回数を読み上げてくれるようなアプリケーションを、ユーザが装着しているウェアラブル装置に起動させてもよい。
(b)実行制御処理の第2の例:装着位置が「胸」である場合
 上記(2)の処理(行動認識処理)において、呼吸しているか否かの認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“呼吸のペースを友達と共有することが可能なアプリケーションを起動させる処理”を特定する。そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に、呼吸のペースを友達と共有することが可能なアプリケーションを起動させる。
 ここで、上記呼吸のペースを友達と共有することが可能なアプリケーションは、例えば、行動ステータスに呼吸のペースを加味する機能や、アバターを制御する機能(例えば、走っていて呼吸が荒かったらアバターの汗を増やしたり、静止時に呼吸が荒かったら頬を紅潮させたりするなど)を有する。
 また、上記呼吸のペースを友達と共有するアプリケーションは、例えば、ウェアラブル装置が通信可能な範囲において、同一のアプリケーションが起動されている装置との間で、データを共有する機能を有していてもよい。上記データを共有する機能を有する場合には、例えば、同一のアプリケーションが起動されているメガネ型の装置において、ウェアラブル装置を装着しているユーザの顔などに、AR(Augumented Reality)技術などが用いられることによって、ウェアラブル装置から共有されたデータの内容が重畳して表示されることなどが実現可能となる。
(c)実行制御処理の第3の例:装着位置が「胸」である場合
 上記(2)の処理(行動認識処理)において、睡眠時に呼吸しているか否かの認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“睡眠時無呼吸症候群確認用のアプリケーションを起動させる処理”を特定する。そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に、睡眠時無呼吸症候群確認用のアプリケーションを起動させる。
 なお、睡眠判定に係る処理は、本実施形態に係る情報処理装置において行われてもよいし、外部装置が睡眠判定に係る処理を行い、本実施形態に係る情報処理装置は、当該外部装置において行われた睡眠判定に係る処理の結果を利用してもよい。
 ここで、上記睡眠時無呼吸症候群確認用のアプリケーションは、例えば、睡眠の判定結果と呼吸の判定結果との両方を利用して、睡眠時無呼吸症候群の症状を検出する機能を有する。また、上記睡眠時無呼吸症候群確認用のアプリケーションは、例えば、睡眠時無呼吸症候群の症状が検出された場合に、本人や家族などの登録されているユーザに対して警告を行う機能を有していてもよい。
(d)実行制御処理の第4の例:装着位置が「足首」である場合
 上記(2)の処理(行動認識処理)において、サッカー認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“サッカーエンハンス機能に係る処理”を特定する。そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に、サッカーエンハンス機能に係る処理を実行させる。
 ここで、本実施形態に係るサッカーエンハンス機能に係る処理としては、例えば、下記に示す処理が挙げられる。
  ・走量や動き方から疲労度を推定して、足首に装着されたウェアラブル装置が推定結果に応じた色の光を出力する処理:出力される光は、例えば、監督が采配を考える目安や、プレイヤーが戦略を立てる参考として用いることが可能である。
  ・キックスピードやインパクトの強弱を、足首に装着されたウェアラブル装置が音で提示する処理(例えば、「スパッ」(弱い場合)や、「ズドーン」(強い場合)など):キックスピードなどの強弱が音で提示されることによって、例えば、観戦において情報拡張がなされ、より楽しい観戦とすることが可能である。
(e)実行制御処理の第5の例:装着位置が「足首」である場合
 上記(2)の処理(行動認識処理)において、自転車のケイデンス認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“サイクリング機能に係る処理、または、トレーニング機能に係る処理”を特定する。本実施形態に係る情報処理装置は、例えば、ケイデンスによって特定する処理を判断する。そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に、サイクリング機能に係る処理、または、トレーニング機能に係る処理を実行させる。
 ここで、本実施形態に係るサイクリング機能に係る処理としては、例えば、ケイデンスにあったBPM(Beats Per Minute)の曲が再生される処理と、サイクリングコースのナビゲーションを音声で出力する処理との一方または双方の処理が挙げられる。
 また、本実施形態に係るトレーニング機能に係る処理としては、例えば、トレーニングメニューを自動生成する処理と、ペース配分とコースとを音声で指示する処理との一方または双方の処理が挙げられる。
(f)実行制御処理の第6の例:装着位置が「指」である場合
 上記(2)の処理(行動認識処理)において、タイピング認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“ユーザに対してフィードバック(例えば、音声(音楽も含む)、振動、文字、光などによるフィードバック)を行う処理”を特定する。そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に、ユーザに対してフィードバックを行う処理を実行させる。
 ここで、本実施形態に係るユーザに対してフィードバックを行う処理としては、例えば、ユーザが一定時間以上タイピングを行い続けていると、休憩を促すフィードバックを行う処理が挙げられる、
(g)実行制御処理の第7の例:装着位置が「手首」である場合
 上記(2)の処理(行動認識処理)において、テニスやゴルフ、野球などのスイング認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“動画像の撮像を行う処理”を特定する。また、本実施形態に係る情報処理装置は、行動に対応する処理として、さらに“撮像された動画像を編集する処理”を特定してもよい。
 そして、本実施形態に係る情報処理装置は、ユーザが装着しているウェアラブル装置に対応付けられている撮像装置に、動画像の撮像を行う処理を実行させ、また、当該ウェアラブル装置に対応付けられている画像処理装置に、撮像された動画像を編集する処理を実行させる。本実施形態に係る撮像装置は、例えば、三脚などにより、ウェアラブル装置を装着しているユーザを撮像可能な位置に配置される。なお、上記ウェアラブル装置に対応付けられている撮像装置と、上記ウェアラブル装置に対応付けられている画像処理装置とは、同一の装置であってもよい。
 ここで、本実施形態に係る画像の撮像を行う処理としては、例えば、スイングをトリガーに動画像の撮像を開始する処理や、スイングが設定されている所定の時間検出されない場合に撮像を終了する処理などが挙げられる。上記のような画像の撮像を行う処理が行われることによって、常に撮像が行われる場合よりも、省エネルギー化を図ることが可能となる。
 また、本実施形態に係る撮像された動画像を編集する処理としては、例えば、撮像の終了をトリガとして、撮像された動画像からダイジェスト画像を自動的に生成する処理などが挙げられる。
(h)実行制御処理の第8の例:装着位置が「ズボンのポケット」である場合
 上記(2)の処理(行動認識処理)において、自転車や歩きの認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“道をユーザに通知する処理”を特定する。そして、本実施形態に係る情報処理装置は、ズボンのポケット内で間接的に装着されている装置に、道をユーザに通知する処理を実行させる。
 ここで、本実施形態に係る道をユーザに通知する処理としては、例えば、スピーカから音声を出力させることによる聴覚的なフィードバックを行う処理や、バイブレータなどを振動させることによる触覚的なフィードバックを行う処理の一方または双方が挙げられる。なお、本実施形態に係る道をユーザに通知する処理は、上記に限られない。例えば、本実施形態に係る道をユーザに通知する処理は、ズボンのポケット内からユーザへの通知を実質的に行うことが可能な任意のUI(User Interface)により、ユーザに道を通知する処理であってもよい。ここで、ズボンのポケット内からユーザへの通知を実質的に行うことが可能とは、例えば、ズボンのポケット内で間接的に装着されている装置が表示画面に地図などを表示させることなど、ユーザに対する道の通知が意味をなさない通知方法が除かれることを意味する。
 本実施形態に係る情報処理装置は、本実施形態に係る実行処理として、例えば上記(a)に示す第1の例に係る処理~上記(h)に示す第8の例に係る処理を行う。
 なお、本実施形態に係る実行処理は、上記に限られない。上述したように、本実施形態に係る情報処理装置は、複数の装着位置において、例えばユーザが、バスや電車などの乗り物に乗っていることなど、同一のユーザの行動を認識することが可能である。
 上記(2)の処理(行動認識処理)において、乗物認識が行われた場合、本実施形態に係る情報処理装置は、行動に対応する処理として、例えば、“ユーザへと通知する方法を制限する処理”(上記設定されている所定の処理の一例)を特定する。そして、本実施形態に係る情報処理装置は、ウェアラブル装置などに、ユーザへと通知する方法を制限する処理を実行させる。
 ここで、本実施形態に係るユーザへと通知する方法を制限する処理としては、例えば、音声による聴覚的な通知を制限する処理などが挙げられる。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(行動認識モード設定処理)、上記(2)の処理(行動認識処理)、および上記(3)の処理(実行制御処理)を行う。
 ここで、本実施形態に係る情報処理装置は、上記(1)の処理(行動認識モード設定処理)において、装着位置情報に基づき行動認識モードを設定し、上記(2)の処理(行動認識処理)において、設定された行動認識モードに基づいてユーザの行動が認識される。つまり、本実施形態に係る情報処理装置は、装着位置に応じた行動認識モードに基づいて、ユーザの行動を認識することが可能である。よって、本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値に基づいてユーザの行動をより精度よく認識することができる。
 また、本実施形態に係る情報処理装置は、上記(3)の処理(実行制御処理)において、上記(2)の処理(行動認識処理)において認識されたユーザの行動に対応する、行動に対応する処理の実行を制御する。
 したがって、本実施形態に係る情報処理装置は、上記(1)の処理(行動認識モード設定処理)、上記(2)の処理(行動認識処理)、および上記(3)の処理(実行制御処理)を行うことによって、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御することができる。
 なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(行動認識モード設定処理)~上記(3)の処理(実行制御処理)に限られない。
(4)装着位置認識処理
 例えば、本実施形態に係る情報処理装置は、設定対象の装置がユーザに装着されている装着位置を認識する装着位置認識処理を、さらに行うことも可能である。
 本実施形態に係る情報処理装置が、本実施形態に係る装着位置認識処理を行う場合には、本実施形態に係る情報処理装置は、上記(1)の処理(行動認識モード設定処理)において、本実施形態に係る装着位置認識処理において認識された装着位置を示す装着位置情報に基づいて、行動認識モードを設定する。また、実施形態に係る情報処理装置が、本実施形態に係る装着位置認識処理を行う場合には、本実施形態に係る情報処理装置は、上記(3)の処理(実行制御処理)において、本実施形態に係る装着位置認識処理において認識された装着位置を示す装着位置情報に基づいて、処理の実行を制御する。
 以下、本実施形態に係る装着位置認識処理について、より具体的に説明する。なお、上述したように、後述する本実施形態に係る装着位置認識処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。
 また、以下では、本実施形態に係る設定対象の装置が、本実施形態に係る情報処理装置の外部装置である場合を例に挙げる。なお、上述したように、本実施形態に係る設定対象の装置は、本実施形態に係る情報処理装置であってもよい。
(4-1)装着位置認識処理の第1の例
 本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値と、設定対象の装置に対応するセンサが装着可能な位置に対応する条件とに基づいて、装着位置を認識する。
 ここで、本実施形態に係る、設定対象の装置に対応するセンサが装着可能な位置に対応する条件とは、例えば、装着可能な位置における、姿勢や速度などのセンサの検出値における制約条件である。上記制約条件は、装着可能な位置ごとに変わりうる。よって、本実施形態に係る情報処理装置は、上記制約条件を考慮することによって、設定対象の装置に対応するセンサの検出値に基づき装着位置を認識することができる。
 図3は、本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。図3では、ある装着可能な位置に設けられたアタッチメントAに、行動認識に用いられるセンサを有する設定対象の装置が装着された場合における、装着位置認識処理の一例を示している。
 本実施形態に係る情報処理装置は、センサの検出値を示すセンサログを、設定対象の装置から取得する(S100)。以下では、本実施形態に係る情報処理装置が、センサログとして、加速度センサの検出値と、ジャイロセンサの検出値とを得る場合を例に挙げる。
 本実施形態に係る情報処理装置は、アタッチメントAでの装着時間が、条件を満たすか否かを判定する(S102)。本実施形態に係る情報処理装置は、例えば、センサログが取得され始めてからの時間が、所定の閾値以上の場合、または、センサログが取得され始めてからの時間が、所定の閾値よりも長い場合に、条件を満たすと判定する。
 ステップS102において条件を満たすと判定されない場合には、本実施形態に係る情報処理装置は、ステップS100からの処理を繰り返す。
 ステップS102において条件を満たすと判定された場合には、本実施形態に係る情報処理装置は、設定対象の装置を装着したユーザの動作に関するStep countの時間分布を計算する(S104)。また、本実施形態に係る情報処理装置は、X軸、Y軸、Z軸方向の加速度の平均(mean)の各時間分布を計算する(S106)。また、本実施形態に係る情報処理装置は、XY-Attitude(センサのX軸、Y軸の姿勢)、YZ-Attitude(センサのY軸、Z軸の姿勢)、ZX-Attitude(センサのZ軸、X軸の姿勢)の各時間分布を計算する(S108)。
 図4、図5は、本実施形態に係る装着位置認識処理の第1の例を説明するための説明図であり、設定対象の装置が、ユーザの手首部分に装着される場合を示している。
 図4のAに示すような、ユーザの手首部分に装着される設定対象の装置10を例に挙げると、XY-Attitude、YZ-Attitude、ZX-Attitudeは、下記の数式1~数式3で算出される。また、重力方向(図4、図5に示す“Gravity”方向)は、X軸方向(図4、図5に示す“X”方向)、Y軸方向(図4、図5に示す“Y”方向)の加速度から計算される。また、X軸方向、Y軸方向、およびZ軸方向(図4に示す“Z”方向)の加速度は、水平方向の傾斜角(図4に示す“θ”(theta))に依存する。
 XY-Attitude=arctan(Y-mean/|X-mean|)
・・・(数式1)
 YZ-Attitude=arctan(Z-mean/|Y-mean|)
・・・(数式2)
 ZX-Attitude=arctan(X-mean/|Z-mean|)
・・・(数式3)
 本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値に基づくステップS104~S108の計算結果と、設定対象の装置に対応するセンサが装着可能な位置(図3に示す“装着位置X”、“装着位置Y”、…)に対応する条件とに基づいて、装着位置を認識する(S110~S118)。
 図6、図7は、本実施形態に係る装着位置認識処理の第1の例を説明するための説明図である。図6は、設定対象の装置がユーザの手首部分に装着されている場合における、設定対象の装置に対応するセンサの検出値に基づくステップS104~S108の計算結果の一例を示している。また、図7は、設定対象の装置がユーザの腰部分に装着されている場合における、設定対象の装置に対応するセンサの検出値に基づくステップS104~S108の計算結果の一例を示している。また、図6に示すA1、A2、B1、B2、C1、C2、および図7に示すA、B、Cは、ユーザが歩く動作を行った場合における、設定対象の装置に対応するセンサの検出値に基づくステップS104~S108の計算結果の一例を示している。
 本実施形態に係る情報処理装置は、例えば図3のステップS110、S114に示すような、設定対象の装置に対応するセンサが装着可能な位置に対応する閾値判定を行うことによって、装着位置を認識する。
 具体例を挙げると、装着位置として、図5に示すようにユーザの手首部分を認識する場合には、本実施形態に係る情報処理装置は、例えば下記に示すような条件式を用いる。
  ・if(steps>threshold) then (e1=TRUE)
  ・if(th_min<XY-attitude<th_max)then(e2=TRUE)
  ・if(th_min<Z-mean<th_max)then(e3=TRUE)
  ・if(e1×e2×e3==1)then TRUE else FALSE
 また、ステップS118に示すように、設定対象の装置に対応するセンサが装着可能な位置に対応する条件を満たさない場合には、本実施形態に係る情報処理装置は、装着位置不明と認識してもよい。装着位置不明と認識された場合には、本実施形態に係る情報処理装置は、例えば、上記(1)の処理(行動認識モード設定処理)、上記(3)の処理(実行制御処理)において、予め設定された処理(デフォルト処理)を行う。
(4-2)装着位置認識処理の第2の例
 本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値と、装着位置の認識の基準となる基準デバイスの出力とに基づいて、装着位置を認識する。
 ここで、本実施形態に係る基準デバイスとしては、例えば、気圧センサなどの、設定対象の装置に対応する行動認識に用いられるセンサが挙げられる。本実施形態に係る基準デバイスが、設定対象の装置に対応する行動認識に用いられるセンサである場合には、基準デバイスの出力は、当該センサの検出値となる。
 図8は、本実施形態に係る装着位置認識処理の第2の例を説明するための説明図である。図8は、基準デバイスが、ユーザの腰部分に装着される気圧センサであり、ユーザの各部分に装着されうる、設定対象の装置に対応する行動認識に用いられるセンサが、気圧センサを含む場合において、装着位置の認識に用いられるテーブルの一例を示している。
 本実施形態に係る情報処理装置は、例えば、設定対象の装置に対応するセンサの検出値から、基準デバイスの出力である腰部分に装着された気圧センサの検出値を減算する。そして、減算された値が、図8に示すテーブルにおけるどの装着位置に対応するかを特定し、特定された装着位置を、装着位置として認識する。
 なお、本実施形態に係る基準デバイスは、設定対象の装置に対応する行動認識に用いられるセンサに限られない。例えば、本実施形態に係る基準デバイスは、スピーカなどの音声出力デバイスなど、設定対象の装置に対応する行動認識に用いられるセンサ以外のデバイスであってもよい。本実施形態に係る基準デバイスが、例えば、音声出力デバイスである場合には、基準デバイスの出力は、音声出力デバイスから出力される音声信号となる。
 例えば、本実施形態に係る基準デバイスが音声出力デバイスである場合、設定対象の装置に対応する行動認識に用いられるセンサとして、マイクロホンなどの音声入力デバイスを含む。本実施形態に係る情報処理装置は、例えば、基準デバイスである音声出力デバイスから出力された音声信号と、上記音声入力デバイスにおいて検出された音声信号との位相差を特定する。そして、本実施形態に係る情報処理装置は、例えば、図8と同様に位相差と装着位置とが対応付けられているテーブルを利用して、特定された位相差に対応する装着位置を認識する。
 なお、本実施形態に係る基準デバイスが、設定対象の装置に対応する行動認識に用いられるセンサ以外のデバイスである場合における、本実施形態に係る基準デバイス、設定対象の装置に対応する行動認識に用いられるセンサは、音声信号に係るデバイスに限らない。上記の場合における本実施形態に係る基準デバイス、設定対象の装置に対応する行動認識に用いられるセンサは、例えば、信号の位相差を利用して装着位置を認識することが可能な任意のデバイスであってもよい。
(4-3)装着位置認識処理の第3の例
 本実施形態に係る情報処理装置は、“設定対象の装置に対応するセンサの検出値に基づき推定されるユーザの行動の推定結果”に基づいて、装着位置を推定し、推定された装着位置を、装着位置として認識する。
 図9は、本実施形態に係る装着位置認識処理の第3の例を説明するための説明図である。
 本実施形態に係る情報処理装置は、装着位置初期確率を設定する(S200)。
 図10は、本実施形態に係る装着位置認識処理の第3の例を説明するための説明図である。図10のAは、装着位置初期確率の一例を示しており、図10のBは、後述する図9のステップS204の処理の結果、更新された装着位置確率の一例を示している。
 本実施形態に係る情報処理装置は、例えば、図10のAに示すような装着位置確率が設定されたデータを、記憶部(後述する)や接続されている外部記録媒体などから読み出すことによって、装着位置初期確率を設定する。なお、図10のAでは、各装着位置における装着確率が一定値である例を示しているが、各装着位置における装着確率を、ユーザの習慣性などを用いて偏りのある確率分布により設定してもよい。偏りのある確率分布の一例としては、例えば“ユーザが、いつも手首に設定対象の装置を装着するから手首の確率をあげておくこと”などが挙げられる。
 本実施形態に係る情報処理装置は、装着位置推定終了条件を満たすか否かを判定する(S202)。本実施形態に係る情報処理装置は、装着確率の偏りが十分に大きくなったときに装着位置推定終了条件を満たすと判定する。より具体的には、本実施形態に係る情報処理装置は、例えば、ある装着位置における装着確率が設定されている閾値以上となったとき、または、ある装着位置における装着確率が設定されている閾値より大きくなったときに、装着位置推定終了条件を満たすと判定する。
 ステップS202において装着位置推定終了条件を満たすと判定された場合には、本実施形態に係る情報処理装置は、第3の例に係る装着位置認識処理を終了する。
 また、ステップS202において装着位置推定終了条件を満たすと判定されない場合には、本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値に基づいて、ユーザの行動を推定する(S204)。
 本実施形態に係る情報処理装置は、例えば、図10に示すような装着位置確率の確率分布と、設定対象の装置に対応するセンサの検出値に基づく行動の確からしさを示す値とを乗算し、乗算された値がより大きい行動を、ユーザの行動として推定する。なお、装着位置確率の確率分布において、装着確率が、設定された確率以下、または、設定された確率よりも小さい装着位置に対しては、行動の推定に係る処理を行わなくてもよい。
 具体例を挙げると、例えば、ユーザが、足首におけるサッカーを認識する認識器の確からしさが50[%]、手首におけるスイングを認識する認識器の確からしさが60[%]を示すような行動をしたときには、装着位置確率の確率分布によって、下記にように行動が推定される。
  ・装着位置確率の確率分布が、図10のAの場合:“60[%]×12.5>50[%]×12.5”より、ユーザの行動が、スイングと推定される。
  ・装着位置確率の確率分布が、図10のBの場合:“60[%]×20<50[%]×30”より、ユーザの行動が、サッカーと推定される。
 本実施形態に係る情報処理装置は、例えば、行動の推定結果に基づいて装着位置を推定する(S206)。本実施形態に係る情報処理装置は、例えば図10に示す装着確率を更新し、最も装着確率が大きな装着位置を、装着位置として推定する。
 例えば、ステップS204において、ユーザの行動がサッカーと推定され、確からしさが80[%]である場合には、本実施形態に係る情報処理装置は、図10に示す装着位置確率の確率分布において、足首の装着確率を上げる。本実施形態に係る情報処理装置は、装着確率を所定分挙げてもよいし、確からしさに応じて装着確率の上げ方を変えてもよい。
 また、例えば、ステップS204においてユーザの行動が、“設定対象の装置に対応するセンサが首に装着された場合における、スクワット”、“設定対象の装置に対応するセンサが首に装着された場合における、腕立て伏せ”と推定され、確からしさが共に30[%]以下である場合には、本実施形態に係る情報処理装置は、首の装着確率を下げる。本実施形態に係る情報処理装置は、装着確率を所定分下げてもよいし、確からしさ(または、確からしさの組み合わせ)に応じて装着確率の下げ方を変えてもよい。
 本実施形態に係る情報処理装置は、装着位置確率リセット条件を満たしているか否かを判定する(S208)。ここで、装着位置確率リセット条件とは、装着位置が変更された場合に装着位置確率をリセットするための条件である。本実施形態に係る情報処理装置は、例えば、設定対象の装置が、アタッチメントから外されたことを示す信号が検出された場合に、装着位置確率リセット条件を満たすと判定する。また、本実施形態に係る情報処理装置は、例えば、確率が低い装着位置に対応する行動認識器の確からしさが、著しく高いことが検出された場合に、装着位置確率リセット条件を満たすと判定してもよい。
 ステップS208において装着位置確率リセット条件を満たしていると判定された場合には、本実施形態に係る情報処理装置は、ステップS200からの処理を行う。また、ステップS208において装着位置確率リセット条件を満たしていると判定されない場合には、本実施形態に係る情報処理装置は、ステップS202からの処理を行う。
 例えば、図9に示すような第3の例に係る装着位置認識処理を行うことによって、本実施形態に係る情報処理装置は、確度の高い行動が続くことによって徐々に装着位置候補を絞り込んでいくことができる。
(4-4)装着位置認識処理の第4の例
 本実施形態に係る情報処理装置は、装着位置を指定するユーザ操作に基づく操作信号に基づいて、装着位置を認識する。
 ここで、上記操作信号としては、例えば、本実施形態に係る情報処理装置が備える操作部(後述する)から伝達される操作信号や、リモートコントローラなどの外部操作デバイスから送信され、通信部(後述する)や接続されている外部通信デバイスにより受信された操作信号が挙げられる。
 また、本実施形態に係る装着位置を指定するユーザ操作としては、例えば、ユーザがボタンなどを押下することにより装着位置を指定する操作や、ユーザが装着位置を示すジェスチャを行うジェスチャ操作、ユーザが装着位置を発話することにより装着位置を指定する音声操作など、装着位置を指定することが可能な任意の操作が挙げられる。
(4-5)装着位置認識処理の第5の例
 本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値に基づいて、装着位置を認識する。
 ここで、装着位置認識処理の第5の例に係る、本実施形態に係る設定対象の装置に対応するセンサは、設定対象の装置が備えるセンサ、または、設定対象の装置に接続されている外部センサである。装着位置認識処理の第5の例に係るセンサとしては、例えば、ボタンや、照度センサ、近接センサ、気圧センサなどが挙げられる。装着位置認識処理の第5の例に係るセンサは、設定対象の装置に対応する行動認識に用いられるセンサに含まれていてもよいし、設定対象の装置に対応する行動認識に用いられるセンサとは別体のセンサであってもよい。
 図11は、本実施形態に係る装着位置認識処理の第5の例を説明するための説明図である。
 図11のAは、装着位置認識処理の第5の例に係る、設定対象の装置に対応するセンサユニットの一例を示しており、図11のAに示すS1~S4は、装着位置認識処理の第5の例に係るセンサの一例を示している。また、図11のBは、図11のAに示すセンサユニットが装着されうるアタッチメントを示しており、図11のBに示すPは、図11のAに示すS1~S4それぞれに対応しうる突起部を示している。
 また、図11のC、Dは、図11のAに示すセンサに、図11のBに示す突起部Pが対応する場合の一例を示している。図11のAに示すセンサと図11のBに示す突起部Pとの対応関係は、例えば、装着位置に応じて変わる。ここで、図11のAに示すセンサに図11のBに示す突起部Pが対応するとは、例えば、ボタン(センサの一例)を突起部Pが押下することや、照度センサ、近接センサ、気圧センサ(センサの一例)を、突起部Pがふさぐことをいう。
 例えば図11のC、Dに示すように、センサS1、S2に突起部Pが対応することによって、ボタン(センサの一例)から押下に応じた電気信号が伝達され、または、照度センサ、近接センサ、気圧センサ(センサの一例)の検出値が変化する。本実施形態に係る情報処理装置は、電気信号が伝達されたボタン(センサの一例)の位置や、照度センサ、近接センサ、気圧センサ(センサの一例)の検出値が変化した位置によって、装着位置を認識する。
 なお、図11では、アタッチメント側に突起部Pが設けられる例を示しているが、アッタッチメント側にセンサ(設定対象の装置に対応するセンサの一例)が設けられ、アタッチメントに装着される設定対象の装置側に、突起部Pが設けられる構成であってもよい。
(4-6)装着位置認識処理の第6の例
 本実施形態に係る情報処理装置は、設定対象の装置に対応するセンサの検出値と、当該センサが装着可能な位置それぞれにおいて予め学習されたモデルデータとに基づいて、装着位置を認識する。
 本実施形態に係る情報処理装置は、例えば、事前に各装着位置でのセンサの検出値から学習したモデルデータと、設定対象の装置に対応するセンサの検出値とを用いたパターン認識などによって装着位置を認識する。また、本実施形態に係る情報処理装置は、例えば、本願出願人が出願した特開2006-340903号公報に記載の技術を用いて、センサの検出値に基づき装着位置を認識することも可能である。
(本実施形態に係る情報処理装置)
 次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について説明する。
 図12は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、検出部104と、制御部106とを備える。
 また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
 ROM(図示せず)は、制御部106が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部106により実行されるプログラムなどを一時的に記憶する。
 記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、図8に示すテーブルや、図10に示す装着位置確率の確率分布を示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
 操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
 図13は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164と、センサ166を備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
 MPU150は、例えば、MPU(Micro Processing Unit)などの演算回路で構成されるプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部106として機能する。また、MPU150は、情報処理装置100において、例えば、後述する装着位置認識部110、行動認識モード設定部112、特徴抽出部114、行動認識部116、処理制御部118の役目を果たす。
 ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
 記録媒体156は、記憶部(図示せず)として機能し、例えば、図8に示すテーブルなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
 入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
 また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
 また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
 なお、入出力インタフェース158が、情報処理装置100の外部装置としての外部操作入力デバイス(例えば、キーボードやマウスなど)や外部表示デバイス、外部センサなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
 通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の設定対象の装置などの外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
 センサ166は、情報処理装置100が備える行動認識に用いられるセンサであり、検出部104として機能する。ここで、センサ166としては、例えば、加速度センサや、GPSデバイス、ジャイロセンサ、気圧センサ、近接センサ、生体センサなど、ユーザの行動認識に係る処理に用いることが可能な、任意のセンサが挙げられる。また、センサ166は、複数のセンサを有するセンサ群であってもよい。
 また、センサ166は、上述した(4)の処理(装着位置認識処理)に係るセンサ(上記装着位置認識処理の第5の例に係るセンサ)の役目を果たしてもよい。
 情報処理装置100は、例えば図13に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図13に示す構成に限られない。
 例えば、設定対象の装置が外部装置である場合には、情報処理装置100は、センサ166を備えていなくてもよい。また、情報処理装置100が設定対象の装置である場合において、センサ166と同様の機能を有する外部センサが接続されている場合には、情報処理装置100は、センサ166を備えていなくてもよい。
 また、情報処理装置100は、例えば、接続されている外部通信デバイスを介して、外部装置と通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、情報処理装置100は、記憶媒体156や、操作デバイス160、表示デバイス162を備えない構成をとることも可能である。
 再度図12を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の設定対象の装置などの外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部106により通信が制御される。
 ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
 検出部104は、情報処理装置100が備える行動認識に用いられるセンサを有し、検出値を出力する。ここで、検出部104としては、例えば、加速度センサやGPSデバイスなど、ユーザの行動認識に係る処理に用いることが可能な、任意のセンサが挙げられる。また、検出部104は、複数のセンサを有するセンサ群で構成されていてもよい。また、検出部104が有するセンサは、上述した(4)の処理(装着位置認識処理)に係るセンサ(上記装着位置認識処理の第5の例に係るセンサ)の役目を果たしてもよい。
 制御部106は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部106は、例えば、装着位置認識部110と、行動認識モード設定部112と、特徴抽出部114と、行動認識部116と、処理制御部118とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
 また、制御部106は、例えば、通信部102における通信を制御する通信制御部(図示せず)をさらに備えていてもよい。通信制御部(図示せず)は、各種情報の送受信の制御を行う。なお、通信制御部(図示せず)が有する機能は、通信部102など他の構成要素が行ってもよい。
 装着位置認識部110は、上記(4)の処理(装着位置認識処理)を主導的に行う役目を果たし、装着位置を認識する。装着位置認識部110は、例えば、上記(4-1)に示す第1の例に係る装着位置認識処理~上記(4-6)に示す第6の例に係る装着位置認識処理のいずれかの処理を行うことにより、装着位置を認識する。なお、装着位置認識部110が、上記(4-3)に示す第3の例に係る装着位置認識処理を行う場合、本実施形態に係る情報処理装置は、図10のステップS204の処理を行う役目を果たし、装着位置を推定する装着位置推定部(図示せず)をさらに備えていてもよい。
 行動認識モード設定部112は、上記(1)の処理(行動認識モード設定処理)を主導的に行う役目を果たし、設定対象の装置の装着位置情報に基づき、行動認識モードを設定する。行動認識モード設定部112は、例えば、上記(1-1)に示す第1の例に係る行動認識モードの設定に係る処理や、上記(1-2)に示す第2の例に係る行動認識モードの設定に係る処理を行うことにより、行動認識モードを設定する。
 特徴抽出部114は、例えば、検出部104の検出結果の中から、設定された行動認識モードに対応する行動認識に用いる特徴量の種類に該当する特徴量を、抽出する。なお、本実施形態に係る情報処理装置は、特徴抽出部114を備えない構成をとることも可能である。
 行動認識部116は、上記(2)の処理(行動認識処理)を主導的に行う役目を果たし、設定された行動認識モードと、検出部104の検出値などの、設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識する。行動認識部116は、例えば、設定された行動認識モードに対応するアルゴリズムやモデルデータと、特徴抽出部114により抽出された特徴量に基づいて、所定の行動を認識する。また、特徴抽出部114を備えない構成である場合には、行動認識部116は、例えば、設定された行動認識モードに対応するアルゴリズムやモデルデータと、設定対象の装置に対応するセンサの検出値に基づいて、所定の行動を認識する。
 処理制御部118は、上記(3)の処理(実行制御処理)を主導的に行う役目を果たし、行動認識部116において認識されたユーザの行動に対応する処理の実行を制御する。また、処理制御部118は、例えば、装着位置情報が示す装着位置と、行動認識部116において認識されたユーザの行動とに対応する処理の実行を制御することも可能である。処理制御部118は、例えば、上記(a)に示す第1の例に係る処理~上記(h)に示す第8の例に係る処理を行う。
 制御部106は、例えば、装着位置認識部110、行動認識モード設定部112、特徴抽出部114、行動認識部116、および処理制御部118を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
 情報処理装置100は、例えば図12に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(行動認識モード設定処理)~上記(4)の処理(装着位置認識処理))を行う。
 したがって、情報処理装置100は、例えば図12に示す構成によって、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御することができる。
 また、例えば図12に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
 なお、本実施形態に係る情報処理装置の構成は、図12に示す構成に限られない。
 例えば、図12に示す装着位置認識部110と同様の機能を有する外部装置において認識された装着位置を示す装着情報を、通信部102などを介して取得する場合には、本実施形態に係る情報処理装置は、装着位置認識部110を備えない構成であってもよい。装着位置認識部110を備えない構成であっても、本実施形態に係る情報処理装置は、上記(1)の処理(行動認識モード設定処理)~上記(3)の処理(実行制御処理)を行うことが可能である。よって、装着位置認識部110を備えない構成であっても、本実施形態に係る情報処理装置は、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御することができる。
 また、本実施形態に係る情報処理装置は、例えば、図12に示す装着位置認識部110、行動認識モード設定部112、特徴抽出部114、行動認識部116、および処理制御部118のうちの1または2以上を、制御部106とは個別に備える(例えば、別の処理回路で実現する)ことができる。
 また、例えば、設定対象の装置が外部装置である場合には、本実施形態に係る情報処理装置は、検出部104を備えていなくてもよい。また、情報処理装置100が設定対象の装置である場合において、検出部104と同様の機能を有する外部センサが接続されている場合には、本実施形態に係る情報処理装置は、検出部104を備えていなくてもよい。
 また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して、外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
 以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、タブレット型の装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、ノート型PC(Personal Computer)などのコンピュータなど、持ち運びが可能な様々な機器に適用することができる。また、本実施形態は、例えば、ウェアラブル装置に適用することもできる。また、本実施形態は、例えば、サーバやデスクトップ型PCなどのコンピュータなど、持ち運びが容易ではない様々な機器に適用することができる。さらに、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することも可能である。
 また、例えば、設定対象の装置が外部装置である場合、情報処理装置と、1または2以上の設定対象の装置とを有する情報処理システムを、クラウドコンピューティング型の情報処理システムとして実現することが可能である。
(本実施形態に係るプログラム)
[i]情報処理装置に係るプログラム
 コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(行動認識モード設定処理)~上記(3)の処理(実行制御処理)”や、“上記(1)の処理(行動認識モード設定処理)~上記(4)の処理(装着位置認識処理))”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの行動をより高い精度で認識可能とし、認識されたユーザの行動に応じた処理を制御することができる。また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 設定対象の装置の装着位置情報に基づき、行動認識モードを設定する行動認識モード設定部と、
 設定された前記行動認識モードと、前記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識する行動認識部と、
 認識されたユーザの行動に対応する処理の実行を制御する処理制御部と、
 を備える、情報処理装置。
(2)
 前記行動認識モードは、センサに関する設定を含み、
 前記行動認識モード設定部は、前記行動認識モードの設定として、前記設定対象の装置に対応する前記センサに対して、前記装着位置情報に基づく前記センサに関する設定を行う、(1)に記載の情報処理装置。
(3)
 前記センサに関する設定は、センサの種類の設定と、前記センサのパラメータの設定との一方または双方を含む、(2)に記載の情報処理装置。
(4)
 前記行動認識モードは、行動認識に係る処理に関する設定を含み、
 前記行動認識モード設定部は、前記行動認識モードの設定として、前記装着位置情報に基づく前記行動認識に係る処理に関する設定を行う、(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
 前記行動認識に係る処理に関する設定は、前記設定対象の装置に対応する前記センサの検出値の中から行動認識に用いる特徴量の種類の設定と、前記行動認識に係る処理に用いるアルゴリズムの設定と、前記行動認識に係る処理に用いるモデルデータの設定とのうちの、1または2以上を含む、(4)に記載の情報処理装置。
(6)
 前記設定対象の装置がユーザに装着されている装着位置を認識する装着位置認識部をさらに備え、
 前記行動認識モード設定部は、前記装着位置認識部において認識された前記装着位置を示す、前記装着位置情報に基づいて、前記行動認識モードを設定し、
 前記処理制御部は、前記装着位置認識部において認識された前記装着位置を示す、前記装着位置情報に基づいて、処理の実行を制御する、(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
 前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値と、前記センサが装着可能な位置に対応する条件とに基づいて、前記装着位置を認識する、(6)に記載の情報処理装置。
(8)
 前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値と、前記装着位置の認識の基準となる基準デバイスの出力とに基づいて、前記装着位置を認識する、(6)に記載の情報処理装置。
(9)
 前記装着位置認識部は、
 前記設定対象の装置に対応するセンサの検出値に基づき推定される、ユーザの行動の推定結果に基づいて、前記装着位置を推定し、
 推定された前記装着位置を、前記装着位置として認識する、(6)に記載の情報処理装置。
(10)
 前記装着位置認識部は、前記装着位置を指定するユーザ操作に基づく操作信号に基づいて、前記装着位置を認識する、(6)に記載の情報処理装置。
(11)
 前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値に基づいて、前記装着位置を認識する、(6)に記載の情報処理装置。
(12)
 前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値と、前記センサが装着可能な位置それぞれにおいて予め学習されたモデルデータとに基づいて、前記装着位置を認識する、(6)に記載の情報処理装置。
(13)
 前記設定対象の装置に対応するセンサを含む検出部をさらに備え、
 前記行動認識部は、前記検出部の検出値に基づいて、ユーザの行動を認識する、(1)~(12)のいずれか1つに記載の情報処理装置。
(14)
 設定対象の装置の装着位置情報に基づき、行動認識モードを設定するステップと、
 設定された前記行動認識モードと、前記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識するステップと、
 認識されたユーザの行動に対応する処理の実行を制御するステップと、
 を有する、情報処理装置により実行される情報処理方法。
(15)
 設定対象の装置の装着位置情報に基づき、行動認識モードを設定するステップ、
 設定された前記行動認識モードと、前記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識するステップ、
 認識されたユーザの行動に対応する処理の実行を制御するステップ、
 をコンピュータに実行させるためのプログラム。
 100 情報処理装置
 102  通信部
 104  検出部
 106  制御部
 110装着位置認識部
 112  行動認識モード設定部
 114  特徴抽出部
 116  行動認識部
 118  処理制御部
 

Claims (15)

  1.  設定対象の装置の装着位置情報に基づき、行動認識モードを設定する行動認識モード設定部と、
     設定された前記行動認識モードと、前記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識する行動認識部と、
     認識されたユーザの行動に対応する処理の実行を制御する処理制御部と、
     を備える、情報処理装置。
  2.  前記行動認識モードは、センサに関する設定を含み、
     前記行動認識モード設定部は、前記行動認識モードの設定として、前記設定対象の装置に対応する前記センサに対して、前記装着位置情報に基づく前記センサに関する設定を行う、請求項1に記載の情報処理装置。
  3.  前記センサに関する設定は、センサの種類の設定と、前記センサのパラメータの設定との一方または双方を含む、請求項2に記載の情報処理装置。
  4.  前記行動認識モードは、行動認識に係る処理に関する設定を含み、
     前記行動認識モード設定部は、前記行動認識モードの設定として、前記装着位置情報に基づく前記行動認識に係る処理に関する設定を行う、請求項1に記載の情報処理装置。
  5.  前記行動認識に係る処理に関する設定は、前記設定対象の装置に対応する前記センサの検出値の中から行動認識に用いる特徴量の種類の設定と、前記行動認識に係る処理に用いるアルゴリズムの設定と、前記行動認識に係る処理に用いるモデルデータの設定とのうちの、1または2以上を含む、請求項4に記載の情報処理装置。
  6.  前記設定対象の装置がユーザに装着されている装着位置を認識する装着位置認識部をさらに備え、
     前記行動認識モード設定部は、前記装着位置認識部において認識された前記装着位置を示す、前記装着位置情報に基づいて、前記行動認識モードを設定し、
     前記処理制御部は、前記装着位置認識部において認識された前記装着位置を示す、前記装着位置情報に基づいて、処理の実行を制御する、請求項1に記載の情報処理装置。
  7.  前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値と、前記センサが装着可能な位置に対応する条件とに基づいて、前記装着位置を認識する、請求項6に記載の情報処理装置。
  8.  前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値と、前記装着位置の認識の基準となる基準デバイスの出力とに基づいて、前記装着位置を認識する、請求項6に記載の情報処理装置。
  9.  前記装着位置認識部は、
     前記設定対象の装置に対応するセンサの検出値に基づき推定される、ユーザの行動の推定結果に基づいて、前記装着位置を推定し、
     推定された前記装着位置を、前記装着位置として認識する、請求項6に記載の情報処理装置。
  10.  前記装着位置認識部は、前記装着位置を指定するユーザ操作に基づく操作信号に基づいて、前記装着位置を認識する、請求項6に記載の情報処理装置。
  11.  前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値に基づいて、前記装着位置を認識する、請求項6に記載の情報処理装置。
  12.  前記装着位置認識部は、前記設定対象の装置に対応するセンサの検出値と、前記センサが装着可能な位置それぞれにおいて予め学習されたモデルデータとに基づいて、前記装着位置を認識する、請求項6に記載の情報処理装置。
  13.  前記設定対象の装置に対応するセンサを含む検出部をさらに備え、
     前記行動認識部は、前記検出部の検出値に基づいて、ユーザの行動を認識する、請求項1に記載の情報処理装置。
  14.  設定対象の装置の装着位置情報に基づき、行動認識モードを設定するステップと、
     設定された前記行動認識モードと、前記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識するステップと、
     認識されたユーザの行動に対応する処理の実行を制御するステップと、
     を有する、情報処理装置により実行される情報処理方法。
  15.  設定対象の装置の装着位置情報に基づき、行動認識モードを設定するステップ、
     設定された前記行動認識モードと、前記設定対象の装置に対応するセンサの検出値とに基づいて、ユーザの行動を認識するステップ、
     認識されたユーザの行動に対応する処理の実行を制御するステップ、
     をコンピュータに実行させるためのプログラム。
     
PCT/JP2014/077597 2014-01-20 2014-10-16 情報処理装置、情報処理方法、およびプログラム WO2015107737A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/110,440 US10592812B2 (en) 2014-01-20 2014-10-16 Information processing apparatus and information processing method
JP2015557708A JP6508061B2 (ja) 2014-01-20 2014-10-16 情報処理装置、情報処理方法、およびプログラム
EP14878498.6A EP3098688A4 (en) 2014-01-20 2014-10-16 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-007920 2014-01-20
JP2014007920 2014-01-20

Publications (1)

Publication Number Publication Date
WO2015107737A1 true WO2015107737A1 (ja) 2015-07-23

Family

ID=53542647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/077597 WO2015107737A1 (ja) 2014-01-20 2014-10-16 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10592812B2 (ja)
EP (1) EP3098688A4 (ja)
JP (1) JP6508061B2 (ja)
WO (1) WO2015107737A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019076373A (ja) * 2017-10-24 2019-05-23 アイシン精機株式会社 情報処理装置
JP2019101811A (ja) * 2017-12-04 2019-06-24 富士通株式会社 処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置
CN111433831A (zh) * 2017-12-27 2020-07-17 索尼公司 信息处理装置、信息处理方法和程序
JP2020150360A (ja) * 2019-03-12 2020-09-17 パナソニックi−PROセンシングソリューションズ株式会社 ウェアラブルカメラおよび映像データ生成方法
CN116649959A (zh) * 2023-05-31 2023-08-29 北京欧应科技有限公司 监测系统、判断佩戴装置定位的方法及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016105166A1 (en) * 2014-12-26 2016-06-30 Samsung Electronics Co., Ltd. Device and method of controlling wearable device
US10555021B2 (en) * 2015-08-31 2020-02-04 Orcam Technologies Ltd. Systems and methods for selecting content based on a user's behavior
US11040263B2 (en) * 2015-09-29 2021-06-22 Sony Corporation Sensing system, sensor device, and sensor fixture
CN107145834B (zh) * 2017-04-12 2020-06-30 浙江工业大学 一种基于物理属性的自适应行为识别方法
JP6525181B1 (ja) * 2018-05-27 2019-06-05 株式会社アジラ 行動推定装置
CN110896495A (zh) * 2019-11-19 2020-03-20 北京字节跳动网络技术有限公司 用于目标设备的视图调整方法、装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184351A (ja) * 2002-12-06 2004-07-02 Toshiba Corp 動作情報計測システムおよび動作情報計測方法
JP2006192276A (ja) * 2005-01-14 2006-07-27 Samsung Electronics Co Ltd 活動パターンの監視方法及びその装置
JP2006340903A (ja) 2005-06-09 2006-12-21 Sony Corp 行動認識装置、方法およびプログラム
US20090326406A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
JP2010134802A (ja) 2008-12-05 2010-06-17 Sony Corp 情報処理装置、及び情報処理方法
JP2012522561A (ja) * 2009-04-03 2012-09-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザの転倒を検出する方法及びシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7918808B2 (en) * 2000-09-20 2011-04-05 Simmons John C Assistive clothing
US8187182B2 (en) * 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
EP2437696B1 (en) * 2009-06-05 2019-04-03 Advanced Brain Monitoring, Inc. Systems and methods for controlling position
EP2892421A1 (en) * 2012-09-04 2015-07-15 Whoop, Inc. Systems, devices and methods for continuous heart rate monitoring and interpretation
JP6466420B2 (ja) * 2013-05-31 2019-02-06 プレジデント アンド フェローズ オブ ハーバード カレッジ 人間動作を補助するための軟性外骨格スーツ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184351A (ja) * 2002-12-06 2004-07-02 Toshiba Corp 動作情報計測システムおよび動作情報計測方法
JP2006192276A (ja) * 2005-01-14 2006-07-27 Samsung Electronics Co Ltd 活動パターンの監視方法及びその装置
JP2006340903A (ja) 2005-06-09 2006-12-21 Sony Corp 行動認識装置、方法およびプログラム
US20090326406A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
JP2010134802A (ja) 2008-12-05 2010-06-17 Sony Corp 情報処理装置、及び情報処理方法
JP2012522561A (ja) * 2009-04-03 2012-09-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザの転倒を検出する方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3098688A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019076373A (ja) * 2017-10-24 2019-05-23 アイシン精機株式会社 情報処理装置
JP7006128B2 (ja) 2017-10-24 2022-01-24 株式会社アイシン 情報処理装置
JP2019101811A (ja) * 2017-12-04 2019-06-24 富士通株式会社 処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置
CN111433831A (zh) * 2017-12-27 2020-07-17 索尼公司 信息处理装置、信息处理方法和程序
US11508344B2 (en) 2017-12-27 2022-11-22 Sony Corporation Information processing device, information processing method and program
JP2020150360A (ja) * 2019-03-12 2020-09-17 パナソニックi−PROセンシングソリューションズ株式会社 ウェアラブルカメラおよび映像データ生成方法
CN116649959A (zh) * 2023-05-31 2023-08-29 北京欧应科技有限公司 监测系统、判断佩戴装置定位的方法及存储介质

Also Published As

Publication number Publication date
JP6508061B2 (ja) 2019-05-08
US20160335557A1 (en) 2016-11-17
US10592812B2 (en) 2020-03-17
JPWO2015107737A1 (ja) 2017-03-23
EP3098688A1 (en) 2016-11-30
EP3098688A4 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
WO2015107737A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11861073B2 (en) Gesture recognition
KR102403212B1 (ko) 제거가능한 모듈을 갖는 운동 밴드
KR101830558B1 (ko) 목표 동기부여를 제공하도록 구성되는 피트니스 디바이스
US11113515B2 (en) Information processing device and information processing method
EP3304953B1 (en) Transmitting athletic data using non-connected state of discovery signal
JP6354461B2 (ja) フィードバック提供方法、システム、および解析装置
US10310836B2 (en) Athletic activity data device firmware update
JP2015205072A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US10313868B2 (en) Athletic data aggregation and display system
US10758801B1 (en) Method and system for proper kicking technique
JP6471694B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878498

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015557708

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15110440

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014878498

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014878498

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE