[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018211798A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2018211798A1
WO2018211798A1 PCT/JP2018/009601 JP2018009601W WO2018211798A1 WO 2018211798 A1 WO2018211798 A1 WO 2018211798A1 JP 2018009601 W JP2018009601 W JP 2018009601W WO 2018211798 A1 WO2018211798 A1 WO 2018211798A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing apparatus
motion
abnormality
signal input
Prior art date
Application number
PCT/JP2018/009601
Other languages
English (en)
French (fr)
Inventor
孝悌 清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880031031.XA priority Critical patent/CN110612552A/zh
Priority to JP2019519083A priority patent/JP6927295B2/ja
Priority to US16/606,346 priority patent/US11372473B2/en
Publication of WO2018211798A1 publication Critical patent/WO2018211798A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • objects include real objects that exist in real space and virtual objects that exist in virtual space.
  • virtual objects a character corresponding to the user himself (hereinafter also referred to as “avatar”) can be cited.
  • a technique for controlling an avatar as an example of a virtual object based on an operation of a controller by a user is disclosed (for example, see Patent Document 1).
  • the movement of the object is normally controlled according to the movement of the user, the object behaves like a human being.
  • abnormal input of signals for controlling the operation of the object may be detected.
  • it becomes difficult to control the movement of the object in accordance with the user's movement humanity may be lost from the movement of the object. Therefore, it is desired to provide a technique capable of enhancing the human nature of the movement of the object.
  • the predetermined motion is continued until the normality of the signal input is detected.
  • a motion control unit that controls the object, wherein the motion control unit receives the object from the signal input until the motion of the object transitions to the predetermined motion after the abnormality of the signal input is detected.
  • an information processing apparatus that controls to perform at least one first intermediate operation different from the operation of the object and the predetermined operation when an abnormality is detected.
  • the predetermined motion is continued until the normality of the signal input is detected.
  • the signal is detected by the processor from the time when the signal input abnormality is detected to the time when the operation of the object transitions to the predetermined operation.
  • an information processing method including controlling to perform at least one first intermediate motion different from the motion of the object and the predetermined motion.
  • the computer when a signal input abnormality corresponding to a user's operation for controlling the operation of the object is detected, the computer performs a predetermined operation until the normality of the signal input is detected.
  • a motion control unit configured to control the object so as to continue, the motion control unit detecting the abnormality of the signal input until the transition of the motion of the object to the predetermined motion,
  • a program for functioning as an information processing apparatus that controls to perform at least one first intermediate operation different from the operation of the object and the predetermined operation when an abnormality in the signal input is detected.
  • a technique capable of providing a technique capable of increasing the human nature of the motion of an object is provided.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 3 is a diagram illustrating a functional configuration example of an information processing device according to a first embodiment of the present disclosure. It is a figure which shows the example of the flow of data in an information processing system. It is a figure which shows the operation control example of an avatar when the normality of the input of the signal for controlling the operation
  • FIG. 4 is a flowchart illustrating an example of an operation of an operation control unit in the information processing apparatus according to the first embodiment of the present disclosure. It is a figure showing an example of composition of an information processing system concerning a 2nd embodiment of this indication. It is a figure which shows the function structural example of the information processing apparatus which concerns on 2nd Embodiment of this indication. It is a figure showing an example of composition of an information processing system concerning a 3rd embodiment of this indication. It is a figure which shows the function structural example of the information processing apparatus which concerns on 3rd Embodiment of this indication. It is a figure which shows the example of operation control of the robot when the normal input of the signal for controlling the operation of the robot is detected.
  • FIG. 14 is a flowchart illustrating an example of an operation of an operation control unit in an information processing apparatus according to a third embodiment of the present disclosure. It is a block diagram which shows the hardware structural example of information processing apparatus.
  • a plurality of constituent elements having substantially the same or similar functional configuration may be distinguished by adding different numerals after the same reference numerals. However, when it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same or similar functional configuration, only the same reference numerals are given.
  • similar components in different embodiments may be distinguished by attaching different alphabets after the same reference numerals. However, if it is not necessary to distinguish each similar component, only the same reference numerals are given.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to the first embodiment of the present disclosure.
  • the information processing system 1 according to the first embodiment of the present disclosure includes an information processing device 10-1 and an information processing device 10-2.
  • the information processing apparatus 10-1 is used by the user U-1
  • the information processing apparatus 10-2 is used by the user U-2.
  • the information processing apparatus 10-1 is an HMD (head mounted display) attached to the head of the user U-1.
  • the information processing apparatus 10-1 is not limited to the HMD.
  • the information processing apparatus 10-1 may be a smartphone or a tablet terminal.
  • the case where the information processing apparatus 10-2 is also an HMD will be mainly described.
  • the information processing apparatus 10-2 may be a smartphone or a tablet terminal. It may be.
  • an avatar 20-1 as an example of a virtual object is displayed on the screen 161-1 of the information processing apparatus 10-1.
  • the virtual object displayed on the screen 161-1 of the information processing apparatus 10-1 is not limited to the avatar 20-1.
  • the virtual object displayed on the screen 161-1 of the information processing apparatus 10-1 may be an agent.
  • the information processing apparatus 10-1 controls the operation of the avatar 20-1 based on the operation of the user U-2.
  • the operation of user U-2 may be recognized in any way.
  • the case where the operation of the user U-2 is recognized from an image captured by the information processing apparatus 10-2 (hereinafter, also simply referred to as “captured image”) is mainly used.
  • captured image an image captured by the information processing apparatus 10-2
  • the operation of the user U-2 may be recognized by the information processing apparatus 10-1.
  • a voice uttered by the user U-2 is output from the information processing apparatus 10-1.
  • the user U-1 can communicate with the user U-2 in more detail.
  • the voice uttered by the user U-2 is detected by the information processing apparatus 10-2.
  • the voice uttered by the user U-2 does not have to be output from the information processing apparatus 10-1.
  • an avatar 20-2 as an example of a virtual object is displayed on the screen 161-2 of the information processing apparatus 10-2.
  • the virtual object displayed on the screen 161-2 of the information processing apparatus 10-2 is not limited to the avatar 20-2.
  • the virtual object displayed on the screen 161-2 of the information processing apparatus 10-2 may be an agent.
  • the information processing apparatus 10-2 controls the operation of the avatar 20-2 based on the operation of the user U-1.
  • the operation of the user U-1 may be recognized in any way.
  • the operation of the user U-1 is mainly recognized from an image captured by the information processing apparatus 10-1 (hereinafter, also simply referred to as “captured image”).
  • captured image an image captured by the information processing apparatus 10-1
  • the operation of the user U-1 may be recognized by the information processing apparatus 10-2.
  • a voice uttered by the user U-1 is output from the information processing apparatus 10-2 is mainly assumed.
  • the user U-2 can communicate with the user U-1 in more detail.
  • the voice uttered by the user U-1 is detected by the information processing apparatus 10-1.
  • the voice uttered by the user U-1 does not have to be output from the information processing apparatus 10-2.
  • the functions from the recognition of the user U-2's motion to the control of the avatar 20-1 are the same as the functions from the recognition of the motion of the user U-1 to the control of the avatar 20-2. Therefore, in the following, the functions from the recognition of the operation of the user U-2 to the control of the avatar 20-1 may be described on behalf of both functions.
  • the user U-1 can communicate with the user U-2 by viewing the avatar 20-1 whose movement is controlled based on the movement of the user U-2.
  • an abnormality in the input of a signal for controlling the operation of the avatar 20-1 may be detected.
  • it becomes difficult to control the operation of the avatar 20-1 according to the operation of the user U-2 humanity may be lost from the operation of the avatar 20-1.
  • FIG. 2 is a diagram illustrating an example of a situation where communication is hindered.
  • an avatar 20-3 whose operation is controlled based on the operation of the user U-2 is displayed on the screen 161-1 of the information processing apparatus 10-1.
  • the avatar 20-3 since the user U-2 has placed his hand in front of the face, the avatar 20-3 has also placed his hand in front of the face.
  • the avatar 20-1 is used by the user U-1 in order to communicate with the user U-2.
  • the avatar 20-1 since the humanity of the movement of the avatar 20-1 increases, it becomes possible to grasp the action of the user U-2 more realistically, so that it is expected that the communication is activated.
  • the object whose operation is controlled by the information processing apparatus 10-1 is not limited to a virtual object such as the avatar 20-1.
  • the object whose operation is controlled by the information processing apparatus 10-1 may be a real object. That is, the object whose operation is controlled by the information processing apparatus 10-1 may include a real object that exists in the real space, or may include a virtual object that exists in the virtual space.
  • FIG. 3 is a diagram illustrating a functional configuration example of the information processing apparatus 10 according to the first embodiment of the present disclosure.
  • the information processing apparatus 10 according to the first embodiment of the present disclosure includes a control unit 110, an imaging unit 120, a sound information detection unit 130, a storage unit 140, a communication unit 150, a display unit 160, and A sound information output unit 170 is provided.
  • the control unit 110 executes control of each unit of the information processing apparatus 10.
  • the control unit 110 includes an operation acquisition unit 111, an operation determination unit 112, a communication control unit 113, a reception determination unit 114, an operation generation unit 115, and an operation control unit 116. Details of these functional blocks will be described later.
  • the control part 110 may be comprised by 1 or several CPU (Central Processing Unit; Central processing unit) etc., for example.
  • CPU Central Processing Unit
  • the control unit 110 is configured by a processing device such as a CPU, the processing device may be configured by an electronic circuit.
  • the imaging unit 120 has a function of obtaining an image by imaging part or all of the body of the user U-1.
  • the imaging unit 120 includes a camera (including an image sensor), and obtains an image captured by the camera.
  • the number of cameras included in the imaging unit 120 is not particularly limited as long as it is one or more.
  • the position where the imaging unit 120 is provided is not particularly limited.
  • the imaging unit 120 may be integrated with the information processing apparatus 10 or may exist separately from the information processing apparatus 10.
  • the sound information detection unit 130 has a function of obtaining sound information by collecting sound.
  • the sound information includes the user U's speech.
  • the sound information detection unit 130 is configured by a microphone and collects sound using the microphone.
  • the number of sound information detection units 130 is not particularly limited as long as it is 1 or more.
  • the position where the sound information detection part 130 is provided is not specifically limited.
  • the sound information detection unit 130 may be integrated with the information processing apparatus 10 or may exist separately from the information processing apparatus 10.
  • the storage unit 140 includes a memory, and is a recording medium that stores a program executed by the control unit 110 and stores data necessary for executing the program.
  • the storage unit 140 temporarily stores data for calculation by the control unit 110.
  • the storage unit 140 includes a magnetic storage device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the communication unit 150 includes a communication circuit, and acquires data from another information processing apparatus 10 connected to the communication network via the communication network and provides data to the other information processing apparatus 10. It has a function.
  • the communication unit 150 includes a communication interface.
  • the display unit 160 has a function of displaying various screens.
  • the type of the display unit 160 is not limited.
  • the display unit 160 may be a display capable of performing display visible to the user U, and may be a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the sound information output unit 170 has a function of outputting sound information.
  • the sound information output unit 170 is configured by a speaker and outputs sound information through the speaker.
  • the number of sound information output units 170 is not particularly limited as long as it is 1 or more.
  • the position where the sound information output unit 170 is provided is not particularly limited. However, in the first embodiment of the present disclosure, it is desirable that the user U hear the sound information output from the sound information output unit 170, and thus the sound information output unit 170 is integrated with the information processing apparatus 10. It is desirable.
  • FIG. 4 is a diagram showing an example of the data flow in the information processing system 1.
  • the information processing apparatus 10-1 and the information processing apparatus 10-2 are configured to be able to communicate via the communication network 40.
  • the data flow in the processing from the recognition of the operation of the user U-1 to the control of the avatar 20-2 is represented by solid arrows.
  • the flow of data in the processing from the recognition of the operation of the user U-2 to the control of the avatar 20-1 is represented by a dashed arrow.
  • the operation acquisition unit 111-1 recognizes the operation of the user U-1 from the image and acquires the operation of the user U-1.
  • the operation acquisition unit 111-1 also acquires sound information.
  • the motion determination unit 112-1 determines the motion of the user U-1 and acquires a motion determination result.
  • the communication control unit 113-1 performs control so that the operation, sound information, and operation determination result of the user U-1 are transmitted to the information processing apparatus 10-2 via the communication network 40.
  • the communication control unit 113-2 acquires the operation, sound information, and operation determination result of the user U-1 received from the information processing apparatus 10-1 via the communication network 40.
  • the reception determination unit 114-2 determines the reception state of the operation of the user U-1 by the communication control unit 113-2.
  • the motion generation unit 115-2 generates the motion of the avatar 20-2 based on the motion of the user U-1, the reception determination result and the motion determination result, and the motion control unit 116-2 2 operation is controlled.
  • the information processing apparatus 10-2 also outputs sound information.
  • the operation acquisition unit 111-2 recognizes the operation of the user U-2 from the image and acquires the operation of the user U-2.
  • the operation acquisition unit 111-2 also acquires sound information.
  • the motion determination unit 112-2 determines the motion of the user U-2 and acquires a motion determination result.
  • the communication control unit 113-2 controls the operation, sound information, and operation determination result of the user U-2 to be transmitted to the information processing apparatus 10-1 via the communication network 40.
  • the communication control unit 113-1 acquires the operation, sound information, and operation determination result of the user U-2 received from the information processing apparatus 10-2 via the communication network 40.
  • the reception determination unit 114-1 determines the reception state of the operation of the user U-2 by the communication control unit 113-1.
  • the motion generation unit 115-1 generates the motion of the avatar 20-1 based on the motion of the user U-2, the reception determination result, and the motion determination result, and the motion control unit 116-1 1 operation is controlled.
  • sound information is also output.
  • the motion control unit 116-1 controls the signal input when an abnormality in the signal input according to the motion of the user U-2 for controlling the motion of the avatar 20-1 is detected.
  • the operation of the avatar 20-1 is controlled so as to continue the predetermined operation until normality is detected.
  • the motion control unit 116-1 detects the avatar 20-1 when the abnormality is detected, after the abnormality is detected, until the operation of the avatar 20-1 transitions to a predetermined operation. And at least one first intermediate operation different from the predetermined operation and the predetermined operation is controlled.
  • the avatar 20-1 is controlled to perform one intermediate operation.
  • the avatar 20-1 may be controlled to perform a plurality of intermediate operations.
  • the information processing apparatus 10-2 recognizes the operation of the user U-2.
  • a signal for controlling the operation of the avatar 20-1 is transmitted from the user U-2. It may be an action.
  • the information processing apparatus 10-1 recognizes the operation of the user U-2.
  • a captured image for recognizing the operation of the user U-2 is transmitted from the information processing device 10-2 to the information processing device 10-1, a signal for controlling the operation of the avatar 20-1 May be a captured image for recognizing the operation of the user U-2.
  • an abnormality in the input of a signal for controlling the operation of the avatar 20-1 may be detected in any case.
  • an abnormality may be detected when the operation of the user U-2 recognized from the captured image does not fall within a predetermined operation range.
  • the reception determination unit 114-1 uses a signal for controlling the operation of the avatar 20-1 by the information processing apparatus 10-2 as an example of the external apparatus. May be detected, an abnormality in signal input received from the information processing apparatus 10-2 may be detected.
  • the reception determination unit 114-1 receives a signal for controlling the operation of the avatar 20-1 from the information processing apparatus 10-2 as an example of an external apparatus. An abnormality may be detected when the reception state of the signal is a predetermined state.
  • the reception determination unit 114-1 has a value for controlling the operation of the avatar 20-1 indicated by the signal for controlling the operation of the avatar 20-1 received from the information processing device 10-2.
  • An abnormality may be detected when the same value is continuously displayed a predetermined number of times or more.
  • the information processing apparatus 10-2 when a captured image is not acquired by the information processing apparatus 10-2, or when an operation of the user U-2 is not recognized from the captured image, the information processing apparatus 10-2 sends an avatar 20 to the information processing apparatus 10-1.
  • a signal for controlling the operation of ⁇ 1 the same signal may be continuously transmitted.
  • the signal for controlling the operation of the avatar 20-1 is also considered to change at least slightly.
  • An abnormality may be detected when the value for controlling the operation of the avatar 20-1 indicated by the signal is the same continuously for a predetermined number of times.
  • the reception determining unit 114-1 may detect an abnormality when a signal for controlling the operation of the avatar 20-1 is not received for a predetermined time.
  • the transmission delay of the signal for controlling the operation of the avatar 20-1 for example, the transmission delay in the communication network 40, etc.
  • a signal for controlling the operation of the avatar 20-1 does not reach the information processing apparatus 10-1.
  • abnormality is detected, and both the first and second examples are detected.
  • normality may be detected when not performed. However, it may be detected whether only one of the first example and the second example is abnormal. In such a case, normality may be detected when the abnormality of the first example is not detected. Alternatively, normality may be detected when the abnormality of the second example is not detected.
  • the action acquisition unit 111-2 recognizes the action of the user U-2 from the captured image and acquires the action of the user U-2.
  • the operation of the user U-2 includes the position and orientation of each recognition target part when the body of the user U-2 is "recognition target” and each part of the user U-2 body is "recognition target part". It's okay.
  • each recognition target part may be an eye, a mouth, a hand, a foot, or the like.
  • the position and posture of each recognition target part may be represented by the position and rotation angle of each joint.
  • the operation determination unit 112-2 determines whether or not the operation of the user U-2 falls within a predetermined range. For example, the motion determination unit 112-2 determines whether the motion of the user U-2 falls within a predetermined range for each recognition target part.
  • the predetermined range is not particularly limited. For example, a range that can be assumed as the operation of the user U-2 may be determined in advance as a predetermined range.
  • the operation determination unit 112-2 detects an abnormality when the operation of the user U-2 does not fall within a predetermined range.
  • the communication control unit 113-2 controls the operation of the user U-2, the sound information, and the determination result by the operation determining unit 112-2 to be transmitted to the information processing apparatus 10-1 via the communication network 40.
  • the communication control unit 113-1 acquires the operation, sound information, and operation determination result of the user U-2 received from the information processing apparatus 10-1 via the communication network 40.
  • the reception determination unit 114-1 determines the reception state of the operation of the user U-2 by the communication control unit 113-1. For example, as described above, the reception determination unit 114-1 detects an abnormality when the reception state of the operation of the user U-2 is a predetermined state. Subsequently, the motion generation unit 115-1 determines the avatar 20-1 based on the motion determination result by the motion determination unit 112-2, the reception determination result by the reception determination unit 114-1, and the operation of the user U-2. A motion is generated, and the motion control unit 116-2 controls the motion of the avatar 20-1. In the information processing apparatus 10-1, sound information is also output.
  • FIG. 5 is a diagram showing an example of operation control of the avatar 20-1 when the normal input of a signal for controlling the operation of the avatar 20-1 is detected.
  • an avatar 20-4 is displayed as an example of the avatar 20-1 on the screen 161-1.
  • the action acquisition unit 116-1 controls the action of the avatar 20-4 so as to correspond to the action of the user U-2.
  • the movement of the user U-2 with both hands is recognized, and the avatar 20-5 controlled to perform the movement with both hands in accordance with the movement of the user U-2 is displayed. ing.
  • the motion acquisition unit 116-1 selects the avatar 20-1 when the abnormality is detected after the abnormality is detected and before the operation of the avatar 20-1 transitions to a predetermined operation. And at least one first intermediate operation different from the predetermined operation and the predetermined operation is controlled.
  • various operations are assumed as the “predetermined operation” that is the transition destination of the operation of the avatar 20-1 when an abnormality is detected.
  • the operation control unit 116-1 detects the first recognition target part of the user U-2 related to the abnormality.
  • the movement of the control target part of the avatar 20-1 corresponding to the above may be changed to the first movement included in the predetermined movement.
  • the first operation is not particularly limited.
  • the first embodiment of the present disclosure in order to make the avatar 20-1 look like a human, a case where an operation in which a control target part fluctuates is used as the first operation will be mainly described.
  • FIG. 6 is a diagram showing an example of operation control of the avatar 20-1 when an abnormality is detected exceeding the time T1.
  • an avatar 20-6 is displayed on the screen 161-1 as an example of the avatar 20-1.
  • the user U-2 places his hand in front of the face, the avatar 20-6 has also placed his hand in front of the face.
  • the action acquisition unit 116-1 performs the operation of the control target part “the hand of the avatar 20-6” corresponding to the first recognition target part “the hand of the user U-2” in which the abnormality is detected, The operation is changed to “moving operation”. Referring to FIG. 6, an avatar 20-8 that has been changed to a motion that shakes the hand is displayed.
  • the motion acquisition unit 116-1 determines the control target part “Avatar 20-6's hand” based on the position in the captured image of the first recognition target part “User U-2's hand” where the abnormality is detected.
  • the operation may be changed to the first operation “operation that fluctuates”.
  • the abnormality of the first recognition target part “user U-2's hand” is detected at the face position of the user U-2.
  • the motion acquisition unit 116-1 positions the control target region “the hand of the avatar 20-8” at a position away from the face position.
  • the motion acquisition unit 116-1 does not change until the motion of the avatar 20-6 transitions to the avatar 20-8 (that is, after the abnormality is detected, until the transition to the first motion “swinging motion”). ),
  • the avatar 20-6 is controlled to perform at least one first intermediate operation different from the operation and the predetermined operation of the avatar 20-1 when an abnormality is detected. Referring to FIG. 6, the position of the hand of the avatar 20-7 is controlled to be intermediate between the position of the hand and the position of the hand of the avatar 20-8, and the orientation of the hand is the position of the avatar 20-6. An avatar 20-7 controlled so as to be intermediate between the direction of the hand and the direction of the hand of the avatar 20-8 is displayed.
  • the first operation may be determined without depending on the user U-2, or may be determined depending on the user U-2.
  • the first motion and the motion of the second recognition target part are associated in advance with the user U-2.
  • the operation of the control target part is changed to the first action. You may make a transition.
  • the first action of the control target part of the user U-2 and the action of the second recognition target part are associated in advance.
  • the motion generation unit 115-1 What is necessary is just to link
  • the user U-2 has a habit of simultaneously performing the action of lowering the hand and the action of turning the eyes upward, and the first part of the control target part “hand” is associated with the user U-2.
  • a case is assumed in which the operation “operation to lower the hand” and the operation “operation to turn up” of the second recognition target region “eye” are associated with each other.
  • time T2 a second time longer than time T1
  • the operation control unit 116-1 may transition the entire operation of the avatar 20-1 to the second operation included in the predetermined operation.
  • the second operation may be referred to as “standard state”.
  • the second operation is not particularly limited.
  • the operation of blinking both eyes and the operation of shaking both shoulders to the left and right are performed. The case of using will be mainly described.
  • FIG. 7 is a diagram illustrating an example of operation control of the avatar 20-1 when an abnormality is detected exceeding the time T2.
  • an avatar 20-9 is displayed as an example of the avatar 20-1 on the screen 161-1.
  • the operation of the control target part “Avatar 20-9's hand” corresponding to the recognition target part “User U-2's hand” in which the abnormality exceeds time T1 is detected as the first action “ It has been transitioned to “Swinging motion”.
  • the motion acquisition unit 116-1 shifts the overall motion of the avatar 20-9 to the second motion (standard state) “motion that blinks both eyes and motion that shakes the upper body from side to side”.
  • the motion acquisition unit 116-1 shifts the overall motion of the avatar 20-9 to the second motion (standard state) “motion that blinks both eyes and motion that shakes the upper body from side to side”.
  • avatars 20-11 and 20-12 that have been transitioned to an action of blinking both eyes and an action of shaking the upper body to the left and right are displayed.
  • the action acquisition unit 116-1 performs the second action (standard state) on the entire action of the avatar 20-9 based on the position in the captured image of the recognition target “user U-2” where the abnormality is detected. It is good to make a transition to “an action that blinks both eyes and an action that shakes the upper body from side to side”. In the example shown in FIG. 7, the abnormality of the recognition target “user U-2” is detected at the center of the captured image. Therefore, the action acquisition unit 116-1 positions the control target “avatars 20-11 and 20-12” at the center of the screen 161-1.
  • the motion acquisition unit 116-1 determines that the second motion (standard state) “both eyes until the motion of the avatar 20-9 transitions to the avatars 20-11 and 20-12 (that is, after the abnormality is detected).
  • the operation of blinking and moving the upper body to the left and right ") the avatar 20-9 is changed to at least one first operation different from the operation of the avatar 20-9 when an abnormality is detected and the predetermined operation. 1 is controlled to perform the intermediate operation.
  • the hand position is controlled to be intermediate between the hand position of the avatar 20-9 and the hand positions of the avatars 20-11 and 20-12.
  • An avatar 20-10 controlled to be intermediate between the hand orientation of 20-9 and the hand orientation of the avatars 20-11 and 20-12 is displayed.
  • the case where one operation is used as the second operation (standard state) has been mainly described.
  • a plurality of operations may be used as the second operation (standard state). That is, when the second action (standard state) includes a plurality of different actions, the action acquisition unit 116-1 determines that the entire action of the avatar 20-9 is detected when an abnormality is detected exceeding the time T2.
  • the overall operation of the avatar 20-9 may be controlled so that it can be switched between a plurality of operations (for example, every predetermined time). Then, the avatars 20-11 and 20-12 are expected to look more human.
  • the second operation may be selected from a plurality of operations. That is, when an abnormality is detected exceeding time T2, the action acquisition unit 116-1 selects a second action (standard state) from a plurality of actions based on the action of the user U-2 in which the abnormality is detected. (For example, the operation closest to the operation of the user U-2 in which an abnormality is detected is selected), and the entire operation of the avatar 20-9 may be transitioned to the selected second operation (standard state). .
  • the second operation may be determined without depending on the user U-2, or may be determined depending on the user U-2.
  • the action generation unit 115-1 may generate the second action (standard state) based on the action state of the user U-2 when the action state of the user U-2 satisfies a predetermined condition. . Then, it becomes possible to reflect the habit of the user U-2 in the second operation (standard state).
  • the action state of the user U-2 may include the movement of the user U-2 and may include the amount of speech of the user U-2.
  • the predetermined conditions are not particularly limited.
  • the predetermined condition may include at least one of a condition that the utterance amount of the user U-2 is smaller than the predetermined amount and a condition that the movement of the user U-2 is smaller than the predetermined movement.
  • the operation of the avatar 20-1 when an abnormality in the input of a signal for controlling the operation of the avatar 20-1 is detected has been mainly described. However, it may be assumed that once an abnormality is detected, normality is detected again. More specifically, it is assumed that the operation determination result by the operation determination unit 112-2 is normal and the reception determination result by the reception determination unit 114-1 is normal. Even in such a case, it is preferable that the operation of the avatar 20-1 be controlled so as to gradually return from the operation when the abnormality is detected to the operation when the normality is detected. Then, it is expected that the avatar 20-1 looks more human.
  • the motion control unit 116-1 detects the normality of the signal input for controlling the operation of the avatar 20-1 after the abnormality of the signal input for controlling the operation of the avatar 20-1 is detected. If the action of the avatar 20-1 is changed from the predetermined action to the action based on the action of the user U-2, the action of the avatar 20-1 is changed from at least one second action different from the predetermined action. It is good to control to perform the intermediate operation.
  • FIG. 8 is a flowchart showing an example of the operation of the operation control unit 116-1 in the information processing apparatus 10-1. As shown in FIG. 8, first, the motion control unit 116-1 sets the position and posture of each part of the avatar to an initial state (S11).
  • the motion control unit 116-1 performs the avatar corresponding to each recognition target part.
  • the position and posture of this part are controlled according to the position and posture of the corresponding recognition target part (S13).
  • the operation control unit 116-1 shifts the operation to S12.
  • the motion control unit 116-1 determines the position of the avatar part corresponding to the recognition target part whose input abnormality does not exceed the time T1. And the posture are controlled according to the position and posture of the corresponding recognition target part (S15). Then, the operation control unit 116-1 performs control so that the avatar part corresponding to the recognition target part whose input is abnormal after the time T1 performs the fluctuation operation at the position corresponding to the abnormality detection position (S16). Then, the operation control unit 116-1 shifts the operation to S12.
  • the motion control unit 116-1 sets the position and posture of the avatar part corresponding to each recognition target part to the standard state. It sets and controls so that the site
  • FIG. 9 is a diagram illustrating a configuration example of an information processing system according to the second embodiment of the present disclosure.
  • the information processing system according to the second embodiment of the present disclosure includes an information processing apparatus 10-1.
  • the information processing apparatus 10-1 is used by the user U-1.
  • the information processing system may not include the information processing apparatus 10-2.
  • an avatar 20-2 as an example of a virtual object is displayed on the screen 161-1 of the information processing apparatus 10-1.
  • the avatar 20-1 is displayed.
  • the information processing apparatus 10-1 controls the operation of the avatar 20-2 based on the operation of the user U-1.
  • the user U-1 can see the avatar 20-2 controlled based on the operation of the user U-1.
  • FIG. 10 is a diagram illustrating a functional configuration example of the information processing apparatus 10 according to the second embodiment of the present disclosure.
  • the information processing apparatus 10 according to the second embodiment of the present disclosure does not include the communication unit 150 unlike the information processing apparatus 10 according to the second embodiment of the present disclosure.
  • the communication control unit 113 and the reception determination unit 114 may not be provided.
  • the processing executed by the operation generation unit 115 of the other information processing apparatus 10-2 in the first embodiment of the present disclosure is the same as the operation of the information processing apparatus 10-1 in the second embodiment of the present disclosure. It is executed by the generation unit 115.
  • the processing executed by the operation control unit 116 of the other information processing apparatus 10-2 in the first embodiment of the present disclosure is the same as that of the information processing apparatus 10-1 in the second embodiment of the present disclosure. It is executed by the operation control unit 116.
  • FIG. 11 is a diagram illustrating a configuration example of an information processing system according to the third embodiment of the present disclosure.
  • the information processing system according to the third embodiment of the present disclosure includes an information processing device 10-1 and a robot 30-1.
  • the information processing apparatus 10-1 is used by the user U-1.
  • the information processing system may not include the information processing apparatus 10-2.
  • the real object is not limited to the robot 30-1.
  • the real object may be an agent.
  • the information processing apparatus 10-1 controls the operation of the robot 30-1 based on the operation of the user U-1.
  • the user U-1 can see the robot 30-1 controlled based on the operation of the user U-1.
  • FIG. 12 is a diagram illustrating a functional configuration example of the information processing apparatus 10 according to the third embodiment of the present disclosure.
  • the information processing apparatus 10 according to the third embodiment of the present disclosure is different from the information processing apparatus 10 according to the second embodiment of the present disclosure, and includes a display unit 160 and a sound information output unit 170.
  • the operation control signal and sound information are output to the robot 30.
  • the processing executed by the operation generation unit 115 of the other information processing apparatus 10-2 in the first embodiment of the present disclosure is the same as the operation of the information processing apparatus 10-1 in the third embodiment of the present disclosure. It is executed by the generation unit 115.
  • the processing executed by the operation control unit 116 of the other information processing apparatus 10-2 in the second embodiment of the present disclosure is the same as the operation of the information processing apparatus 10-1 in the third embodiment of the present disclosure. It is executed by the control unit 116.
  • FIG. 13 is a diagram illustrating an example of operation control of the robot 30-1 when the normal input of a signal for controlling the operation of the robot 30-1 is detected.
  • a robot 30-4 exists as an example of the robot 30-1.
  • the motion acquisition unit 116 controls the motion of the robot 30-4 so as to correspond to the motion of the user U-1.
  • the robot 30-5 that recognizes the action of the user U-1 raising both hands and is controlled to perform the action of raising both hands in accordance with the action of the user U-1. ing.
  • a case is assumed in which an abnormality in the input of a signal for controlling the operation of the robot 30-1 is detected. More specifically, it is assumed that the operation determination result by the operation determination unit 112 is abnormal or the reception determination result by the reception determination unit 114 is abnormal. In such a case, the motion acquisition unit 116 determines whether the robot 30-1 operates when the abnormality is detected before the operation of the robot 30-1 transitions to a predetermined operation after the abnormality is detected. Control is performed to perform at least one first intermediate operation different from the predetermined operation.
  • the motion control unit 116 corresponds to the first recognition target part of the robot 30-1 related to the abnormality when the abnormality is detected exceeding the time T1.
  • the operation of the control target part of the robot 30-1 may be changed to the first operation included in the predetermined operation.
  • the first operation is not particularly limited as in the first embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating an example of operation control of the robot 30-1 when an abnormality is detected exceeding the time T1.
  • a robot 30-6 exists as an example of the robot 30-1. However, since the user U-1 has placed his hand in front of the face, the robot 30-6 has also placed his hand in front of the face.
  • the motion acquisition unit 116 performs the operation of the control target part “the hand of the robot 30-6” corresponding to the first recognition target part “the hand of the user U-1” where the abnormality is detected as the first action. Transition to “swinging motion”. Referring to FIG. 14, there is a robot 30-8 that has been changed to a motion that shakes the hand.
  • the action acquisition unit 116 performs the operation of the control target part “the hand of the robot 30-6” based on the position in the captured image of the first recognition target part “the hand of the user U-1” where the abnormality is detected. It is good to make a transition to the first operation “moving operation”.
  • the abnormality of the first recognition target part “user U-1's hand” is detected at the face position of the user U-1. Therefore, the motion acquisition unit 116 positions the control target part “the hand of the robot 30-8” at a position away from the face position.
  • the motion acquisition unit 116 does not change until the motion of the robot 30-6 transitions to the robot 30-8 (that is, from when an abnormality is detected until the transition to the first motion “swaying motion”).
  • the robot 30-6 is controlled to perform at least one first intermediate operation different from the operation and the predetermined operation of the robot 30-1 when an abnormality is detected. Referring to FIG. 14, the position of the hand of the robot 30-7 is controlled to be intermediate between the position of the hand and the position of the hand of the robot 30-8, and the orientation of the hand is determined by the robot 30-6. There is a robot 30-7 that is controlled to be intermediate between the direction of the hand and the direction of the hand of the robot 30-8.
  • the operation control unit 116-1 may transition the entire operation of the robot 30-1 to the second operation (standard state) included in the predetermined operation. Similar to the first embodiment of the present disclosure, the second operation (standard state) is not particularly limited.
  • FIG. 15 is a diagram illustrating an example of operation control of the robot 30-1 when an abnormality is detected over time T2.
  • a robot 30-9 as an example of the robot 30-1.
  • the operation of the control target part “the hand of the robot 30-9” corresponding to the recognition target part “the hand of the user U-1” in which the abnormality exceeds the time T1 and the abnormality is detected is the first operation “ It has been transitioned to “Swinging motion”.
  • the motion acquisition unit 116-1 shifts the overall motion of the robot 30-9 to the second motion (standard state) “a motion that blinks both eyes and a motion that shakes the upper body from side to side”.
  • robots 30-11 and 30-12 that have been transitioned to an action of blinking both eyes and an action of shaking the upper body to the left and right are displayed.
  • the motion acquisition unit 116 performs the second motion (standard state) “both eyes” based on the position in the captured image of the recognition target “user U-1” where the abnormality is detected. It is good to make a transition to an operation of blinking and an operation of shaking the upper body from side to side. For example, when an abnormality of the recognition target “user U-1” is detected in the center of the captured image, the motion acquisition unit 116 positions the control target “robots 30-11 and 30-12” corresponding to the center of the captured image. May be located.
  • the motion acquisition unit 116 also blinks both eyes until the motion of the robot 30-9 transitions to the robots 30-11 and 30-12 (that is, the second motion (standard state) after the abnormality is detected).
  • Control to perform intermediate operation Referring to FIG. 15, the position of the hand is controlled to be intermediate between the position of the hand of the robot 30-9 and the position of the hands of the robots 30-11 and 30-12, and the orientation of the hand is There is a robot 30-10 that is controlled so as to be intermediate between the direction of the hand of 30-9 and the direction of the hands of the robots 30-11 and 30-12.
  • FIG. 16 is a flowchart showing an example of the operation of the operation control unit 116 in the information processing apparatus 10-1. As shown in FIG. 16, first, the motion control unit 116 sets the position and posture of each part of the robot to an initial state (S21).
  • the motion control unit 116 performs the robot part corresponding to each recognition target part. Are controlled according to the position and posture of the corresponding recognition target part (S23). Then, the operation control unit 116 shifts the operation to S22.
  • the motion control unit 116 determines the position and orientation of the robot part corresponding to the recognition target part whose input abnormality does not exceed the time T1. Are controlled according to the position and orientation of the corresponding recognition target part (S25). Then, the operation control unit 116 performs control so that the part of the robot corresponding to the recognition target part whose input is abnormal after the time T1 performs the fluctuation operation at the position corresponding to the abnormality detection position (S26). Then, the operation control unit 116 shifts the operation to S22.
  • the motion control unit 116 sets the position and posture of the robot part corresponding to each recognition target part to the standard state. Then, control is performed so that the part fluctuates (S27). Then, the operation control unit 116 shifts the operation to S22.
  • FIG. 17 is a block diagram illustrating a hardware configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 10 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 10 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 10 may include a processing circuit called a DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 10.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data to the information processing device 10 or instruct a processing operation.
  • An imaging device 933 which will be described later, can also function as an input device by imaging a user's hand movement, a user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 includes, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a projector, a hologram display device, a sound output device such as a speaker and headphones, As well as a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 10 as a video such as text or an image, or outputs it as a sound such as voice or sound.
  • the output device 917 may include a light or the like to brighten the surroundings.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • Various data can be exchanged between the information processing apparatus 10 and the external connection device 929 by connecting the external connection device 929 to the connection port 923.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the imaging of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information about the state of the information processing apparatus 10 itself, such as the attitude of the housing of the information processing apparatus 10, and information about the surrounding environment of the information processing apparatus 10, such as brightness and noise around the information processing apparatus 10.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • the normality of the signal input is detected when an abnormality in the signal input according to the user's motion for controlling the motion of the object is detected.
  • a motion control unit that controls the motion of the object so as to continue the predetermined motion until the motion control portion transitions the motion of the object to the predetermined motion after detecting an abnormality in the signal input.
  • An information processing apparatus that controls the object to perform at least one first intermediate operation different from the object operation and the predetermined operation when an abnormality in the signal input is detected is provided. Is done. According to such a configuration, it is possible to increase the human nature of the motion of the object.
  • the position of each component is not particularly limited as long as the operation of the information processing apparatus 10-1 described above is realized.
  • Part of the processing of each unit in the information processing apparatus 10-1 may be performed by the information processing apparatus 10-2, or may be performed by a server apparatus (not shown).
  • some or all of the blocks included in the control unit 110 in the information processing apparatus 10-1 may exist in the information processing apparatus 10-2 or a server apparatus (not shown).
  • part or all of the motion acquisition unit 111 and the motion determination unit 112 in the information processing apparatus 10-1 may exist in the information processing apparatus 10-2 or a server device (not shown).
  • each component is not particularly limited as long as the operation of the information processing apparatus 10-2 described above is realized.
  • a part of the processing of each unit in the information processing apparatus 10-2 may be performed by the information processing apparatus 10-1, or may be performed by a server apparatus (not shown).
  • some or all of the blocks of the control unit 110 in the information processing apparatus 10-2 may exist in the information processing apparatus 10-1 or a server apparatus (not shown).
  • part or all of the motion acquisition unit 111 and the motion determination unit 112 in the information processing apparatus 10-2 may exist in the information processing apparatus 10-1 or a server device (not shown).
  • the following configurations also belong to the technical scope of the present disclosure.
  • An operation control unit for controlling The motion control unit is configured to move the object when the signal input abnormality is detected between the detection of the signal input abnormality and the transition of the object operation to the predetermined operation. And at least one first intermediate operation different from the predetermined operation is controlled.
  • Information processing device The predetermined operation includes a first operation; When the abnormality in the signal input is detected over a first time, the operation control unit is configured to control the object corresponding to the first recognition target part of the user related to the signal input abnormality.
  • the information processing apparatus transition from the first operation to the first operation, The information processing apparatus according to (1). (3) When the signal input abnormality is detected beyond the first time, the operation control unit performs the operation of the control target part based on the position of the first recognition target part in the captured image. Transition to the operation of 1.
  • the information processing apparatus according to (2).
  • the operation controller is In the case where the first action and the action of the second recognition target part of the user are related, the abnormality of the signal input is detected over the first time; and When the operation of the second recognition target part is recognized, the operation of the control target part is shifted to the first action.
  • the information processing apparatus according to (2) or (3).
  • the information processing apparatus includes: When the operation of the first recognition target part and the operation of the second recognition target part are recognized from a single captured image, the operation of the first recognition target part and the second recognition target part An action generation unit for associating the action with The information processing apparatus according to (4).
  • the predetermined operation includes a second operation;
  • the motion control unit transitions the entire motion of the object to the second motion when an abnormality in the signal input is detected over a second time longer than the first time.
  • the information processing apparatus according to any one of (2) to (5).
  • the motion control unit performs the entire motion of the object based on the position of the first recognition target part in the captured image. Transition to the operation of The information processing apparatus according to (6).
  • the information processing apparatus includes: An operation generating unit that generates the second operation based on the user behavior state when the user behavior state satisfies a predetermined condition;
  • the predetermined condition includes at least one of a condition that the utterance amount of the user is smaller than a predetermined amount and a condition that the movement of the user is smaller than a predetermined movement.
  • the second operation includes a plurality of different operations, The motion control unit performs the overall motion of the object so that the overall motion of the object is switched between the plurality of motions when an abnormality in the signal input is detected beyond the second time. Control, The information processing apparatus according to any one of (6) to (9).
  • the motion control unit transitions the overall motion of the object to the second motion selected based on the motion of the user when an abnormality in the signal input is detected beyond the second time.
  • the information processing apparatus according to any one of (6) to (9).
  • the information processing apparatus according to any one of (1) to (11).
  • the information processing apparatus includes: A reception determination unit that detects an abnormality of the signal input received from an external device that generates the signal input according to the user's operation; The information processing apparatus according to any one of (1) to (11).
  • the reception determination unit detects an abnormality in the signal input when a value for controlling the movement of the object indicated by the signal input received from the external device is the same value continuously for a predetermined number of times or more.
  • the reception determination unit detects an abnormality in the signal input when the signal input is not received beyond a predetermined time.
  • the motion control unit may change the motion of the object from the predetermined motion based on the motion of the user when the normality of the signal input is detected after the abnormality of the signal input is detected.
  • the object is controlled to perform at least one second intermediate operation different from the predetermined operation;
  • the information processing apparatus according to any one of (1) to (15).
  • the object includes a real object that exists in real space, The information processing apparatus according to any one of (1) to (16).
  • the object includes a virtual object that exists in a virtual space, The information processing apparatus according to any one of (1) to (16).
  • the processor detects the object movement when the signal input abnormality is detected and the predetermined period from when the signal input abnormality is detected by the processor until the movement of the object transitions to the predetermined movement. Controlling to perform at least one first intermediate operation different from the operation of Information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

【課題】オブジェクトの動作の人間らしさを高めることが望まれる。 【解決手段】オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御する動作制御部を備え、前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、オブジェクトの動作を制御する技術が知られている。オブジェクトの例としては、実空間に存在する実オブジェクトおよび仮想空間に存在する仮想オブジェクトなどが挙げられる。例えば、仮想オブジェクトの例としては、ユーザ自身に対応するキャラクタ（以下、「アバター」とも言う。）が挙げられる。
　オブジェクトの動作を制御する技術の一例として、ユーザによるコントローラの操作に基づいて、仮想オブジェクトの例としてのアバターを制御する技術が開示されている（例えば、特許文献１参照）。オブジェクトの動作が、ユーザの動作に応じて正常に制御されることによって、オブジェクトが人間らしく振る舞うようになる。
特開２０１４－１４９８３６号公報
　しかし、オブジェクトの動作を制御するための信号の入力の異常が検出される場合があり得る。かかる場合には、ユーザの動作に応じたオブジェクトの動作の制御が困難になるため、オブジェクトの動作から人間らしさが損なわれる可能性がある。そこで、オブジェクトの動作の人間らしさを高めることが可能な技術が提供されることが望まれる。
　本開示によれば、オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトを制御する動作制御部を備え、前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、情報処理装置が提供される。
　本開示によれば、オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトを制御することを含み、プロセッサにより、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御することを含む、情報処理方法が提供される。
　本開示によれば、コンピュータを、オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトを制御する動作制御部を備え、前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、オブジェクトの動作の人間らしさを高めることが可能な技術が提供されることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。 コミュニケーションが阻害されてしまう状況の例を示す図である。 本開示の第１の実施形態に係る情報処理装置の機能構成例を示す図である。 情報処理システムにおけるデータの流れの例を示す図である。 アバターの動作を制御するための信号の入力の正常が検出された場合におけるアバターの動作制御例を示す図である。 異常が第１の時間を超えて検出された場合におけるアバターの動作制御例を示す図である。 異常が第２の時間を超えて検出された場合におけるアバターの動作制御例を示す図である。 本開示の第１の実施形態に係る情報処理装置における動作制御部の動作の例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理システムの構成例を示す図である。 本開示の第２の実施形態に係る情報処理装置の機能構成例を示す図である。 本開示の第３の実施形態に係る情報処理システムの構成例を示す図である。 本開示の第３の実施形態に係る情報処理装置の機能構成例を示す図である。 ロボットの動作を制御するための信号の入力の正常が検出された場合におけるロボットの動作制御例を示す図である。 異常が第１の時間を超えて検出された場合におけるロボットの動作制御例を示す図である。 異常が第２の時間を超えて検出された場合におけるロボットの動作制御例を示す図である。 本開示の第３の実施形態に係る情報処理装置における動作制御部の動作の例を示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１．１．システム構成例
　　１．２．情報処理装置の機能構成例
　　１．３．情報処理システムの機能詳細
　２．第２の実施形態
　　２．１．システム構成例
　　２．２．情報処理装置の機能構成例
　　２．３．情報処理システムの機能詳細
　３．第３の実施形態
　　３．１．システム構成例
　　３．２．情報処理装置の機能構成例
　　３．３．情報処理システムの機能詳細
　４．ハードウェア構成例
　５．むすび
　＜１．第１の実施形態＞
　まず、本開示の第１の実施形態について説明する。
　［１．１．システム構成例］
　まず、図面を参照しながら、本開示の第１の実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の第１の実施形態に係る情報処理システムの構成例を示す図である。図１に示したように、本開示の第１の実施形態に係る情報処理システム１は、情報処理装置１０－１および情報処理装置１０－２を備える。情報処理装置１０－１は、ユーザＵ－１によって利用され、情報処理装置１０－２は、ユーザＵ－２によって利用される。
　なお、本開示の第１の実施形態においては、情報処理装置１０－１がユーザＵ－１の頭部に装着されるＨＭＤ（ヘッドマウントディスプレイ）である場合を主に説明する。しかし、情報処理装置１０－１はＨＭＤに限定されない。例えば、情報処理装置１０－１は、スマートフォンであってもよいし、タブレット端末であってもよい。同様に、本開示の第１の実施形態においては、情報処理装置１０－２もＨＭＤである場合を主に説明するが、情報処理装置１０－２は、スマートフォンであってもよいし、タブレット端末であってもよい。
　図１に示した例では、情報処理装置１０－１の画面１６１－１に、仮想オブジェクトの例としてのアバター２０－１が表示されている。ここで、情報処理装置１０－１の画面１６１－１に表示される仮想オブジェクトは、アバター２０－１に限定されない。例えば、情報処理装置１０－１の画面１６１－１に表示される仮想オブジェクトは、エージェントなどであってもよい。情報処理装置１０－１は、アバター２０－１の動作をユーザＵ－２の動作に基づいて制御する。
　ユーザＵ－２の動作は、どのようにして認識されてもよい。本開示の第１の実施形態においては、ユーザＵ－２の動作が、情報処理装置１０－２によって撮像された画像（以下、単に「撮像画像」とも言う。）から認識される場合を主に想定する。また、本開示の第１の実施形態においては、ユーザＵ－２の動作が、情報処理装置１０－２によって認識される場合を主に想定する。しかし、ユーザＵ－２の動作は、情報処理装置１０－１によって認識されてもよい。
　また、本開示の第１の実施形態においては、ユーザＵ－２によって発せられた音声が情報処理装置１０－１から出力される例を主に想定する。これによって、ユーザＵ－１は、ユーザＵ－２とのコミュニケーションをより詳細に図ることが可能である。例えば、ユーザＵ－２によって発せられた音声は、情報処理装置１０－２によって検出される。しかし、ユーザＵ－２によって発せられた音声は、情報処理装置１０－１から出力されなくてもよい。
　同様に、図１に示した例では、情報処理装置１０－２の画面１６１－２に、仮想オブジェクトの例としてのアバター２０－２が表示されている。ここで、情報処理装置１０－２の画面１６１－２に表示される仮想オブジェクトは、アバター２０－２に限定されない。例えば、情報処理装置１０－２の画面１６１－２に表示される仮想オブジェクトは、エージェントなどであってもよい。情報処理装置１０－２は、アバター２０－２の動作をユーザＵ－１の動作に基づいて制御する。
　ユーザＵ－１の動作は、どのようにして認識されてもよい。本開示の第１の実施形態においては、ユーザＵ－１の動作が、情報処理装置１０－１によって撮像された画像（以下、単に「撮像画像」とも言う。）から認識される場合を主に想定する。また、本開示の第１の実施形態においては、ユーザＵ－１の動作が、情報処理装置１０－１によって認識される場合を主に想定する。しかし、ユーザＵ－１の動作は、情報処理装置１０－２によって認識されてもよい。
　また、本開示の第１の実施形態においては、ユーザＵ－１によって発せられた音声が情報処理装置１０－２から出力される例を主に想定する。これによって、ユーザＵ－２は、ユーザＵ－１とのコミュニケーションをより詳細に図ることが可能である。例えば、ユーザＵ－１によって発せられた音声は、情報処理装置１０－１によって検出される。しかし、ユーザＵ－１によって発せられた音声は、情報処理装置１０－２から出力されなくてもよい。
　なお、ユーザＵ－２の動作の認識からアバター２０－１の制御までの機能と、ユーザＵ－１の動作の認識からアバター２０－２の制御までの機能とは同様である。そのため、以下においては、両機能を代表して、ユーザＵ－２の動作の認識からアバター２０－１の制御までの機能について説明する場合がある。ユーザＵ－１は、ユーザＵ－２の動きに基づいて動きが制御されたアバター２０－１を見ることによって、ユーザＵ－２とのコミュニケーションを図ることが可能である。
　ここで、アバター２０－１の動作を制御するための信号の入力の異常が検出される場合があり得る。かかる場合には、ユーザＵ－２の動作に応じたアバター２０－１の動作の制御が困難になるため、アバター２０－１の動作から人間らしさが損なわれる可能性がある。
　さらに、ユーザＵ－２の動作に応じたアバター２０－１の動作の制御が困難になった結果として、コミュニケーションが阻害されてしまうような状況も生じ得る。かかる状況の例について説明する。
　図２は、コミュニケーションが阻害されてしまう状況の例を示す図である。図２を参照すると、情報処理装置１０－１の画面１６１－１には、ユーザＵ－２の動作に基づいて動作が制御されたアバター２０－３が表示されている。特に、図２に示した例では、ユーザＵ－２が顔の前に手を位置させているため、アバター２０－３も、顔の前に手を位置させてしまっている。
　この状態において、アバター２０－３の動作を制御するための信号の入力の異常が検出された場合には、アバター２０－３が顔の前に手を位置させたままの状態が維持されてしまうといった状況が生じ得る。このようにアバター２０－３の顔が手で覆われてしまった場合には、ユーザＵ－１がアバター２０－３の表情を認識しにくくなるため、ユーザＵ－２との間のコミュニケーションが阻害されてしまうといった状況が生じ得る。
　そこで、アバター２０－１の動作の人間らしさを高めることが可能な技術が提供されることが望まれる。特に、本開示の第１の実施形態においては、ユーザＵ－２との間でコミュニケーションを図るためにユーザＵ－１によってアバター２０－１が利用される場合を想定する。かかる場合には、アバター２０－１の動作の人間らしさが高まることによって、ユーザＵ－２の行動をよりリアルに把握することが可能になるため、コミュニケーションが活性化されることが期待される。
　なお、情報処理装置１０－１によって動作が制御されるオブジェクトは、アバター２０－１などといった仮想オブジェクトに限定されない。例えば、情報処理装置１０－１によって動作が制御されるオブジェクトは、実オブジェクトであってもよい。すなわち、情報処理装置１０－１によって動作が制御されるオブジェクトは、実空間に存在する実オブジェクトを含んでもよいし、仮想空間に存在する仮想オブジェクトを含んでもよい。
　以上、本開示の第１の実施形態に係る情報処理システム１の構成例について説明した。
　［１．２．情報処理装置の機能構成例］
　続いて、本開示の第１の実施形態に係る情報処理装置１０の機能構成例について説明する。図３は、本開示の第１の実施形態に係る情報処理装置１０の機能構成例を示す図である。図３に示したように、本開示の第１の実施形態に係る情報処理装置１０は、制御部１１０、撮像部１２０、音情報検出部１３０、記憶部１４０、通信部１５０、表示部１６０および音情報出力部１７０を有している。
　制御部１１０は、情報処理装置１０の各部の制御を実行する。制御部１１０は、動作取得部１１１、動作判定部１１２、通信制御部１１３、受信判定部１１４、動作生成部１１５および動作制御部１１６を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１１０は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１１０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
　撮像部１２０は、ユーザＵ－１の身体の一部または全部を撮像することによって画像を得る機能を有する。以下では、撮像部１２０によってユーザＵ１の上半身が撮像される場合を主に想定する。例えば、撮像部１２０は、カメラ（イメージセンサを含む）を含んでおり、カメラによって撮像された画像を得る。撮像部１２０に含まれるカメラの数は１以上であれば特に限定されない。そして、撮像部１２０が設けられる位置も特に限定されない。例えば、撮像部１２０は、情報処理装置１０と一体化されていてもよいし、情報処理装置１０とは別体として存在していてもよい。
　音情報検出部１３０は、集音によって音情報を得る機能を有する。ユーザＵが発話を行っている場合には、音情報にユーザＵの発話が含まれる。例えば、音情報検出部１３０は、マイクロフォンによって構成されており、マイクロフォンによって集音を行う。音情報検出部１３０の数は１以上であれば特に限定されない。そして、音情報検出部１３０が設けられる位置も特に限定されない。例えば、音情報検出部１３０は、情報処理装置１０と一体化されていてもよいし、情報処理装置１０とは別体として存在していてもよい。
　記憶部１４０は、メモリを含んで構成され、制御部１１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１４０は、制御部１１０による演算のためにデータを一時的に記憶する。記憶部１４０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
　通信部１５０は、通信回路を含んで構成され、通信ネットワークを介して通信ネットワークに接続された他の情報処理装置１０からのデータの取得および当該他の情報処理装置１０へのデータの提供を行う機能を有する。例えば、通信部１５０は、通信インターフェースにより構成される。
　表示部１６０は、各種の画面を表示する機能を有する。表示部１６０の種類は限定されない。例えば、表示部１６０は、ユーザＵに視認可能な表示を行うことが可能なディスプレイであればよく、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。
　音情報出力部１７０は、音情報を出力する機能を有する。例えば、音情報出力部１７０は、スピーカによって構成されており、スピーカによって音情報を出力する。音情報出力部１７０の数は１以上であれば特に限定されない。そして、音情報出力部１７０が設けられる位置も特に限定されない。しかし、本開示の第１の実施形態においては、音情報出力部１７０から出力される音情報をユーザＵに聞かせるのが望ましいため、音情報出力部１７０は、情報処理装置１０と一体化されているのが望ましい。
　以上、本開示の第１の実施形態に係る情報処理装置１０の機能構成例について説明した。
　［１．３．情報処理システムの機能詳細］
　続いて、本開示の第１の実施形態に係る情報処理システム１の機能詳細について説明する。
　図４は、情報処理システム１におけるデータの流れの例を示す図である。図４を参照すると、情報処理装置１０－１と情報処理装置１０－２とは、通信ネットワーク４０を介して通信可能に構成されている。図４においては、ユーザＵ－１の動作の認識からアバター２０－２の制御までの処理におけるデータの流れが、実線の矢印にて表されている。一方、ユーザＵ－２の動作の認識からアバター２０－１の制御までの処理におけるデータの流れが、破線の矢印にて表されている。
　まず、図４において実線の矢印によって表されているデータの流れについて概要を説明する。情報処理装置１０－１において、動作取得部１１１－１は、画像からユーザＵ－１の動作を認識してユーザＵ－１の動作を取得する。また、動作取得部１１１－１は、音情報も取得する。続いて、動作判定部１１２－１は、ユーザＵ－１の動作を判定して動作判定結果を取得する。通信制御部１１３－１は、ユーザＵ－１の動作、音情報および動作判定結果が、通信ネットワーク４０を介して情報処理装置１０－２に送信されるように制御する。
　情報処理装置１０－２において、通信制御部１１３－２は、通信ネットワーク４０を介して情報処理装置１０－１から受信された、ユーザＵ－１の動作、音情報および動作判定結果を取得する。また、受信判定部１１４－２は、通信制御部１１３－２によるユーザＵ－１の動作の受信状態を判定する。続いて、動作生成部１１５－２は、ユーザＵ－１の動作、受信判定結果および動作判定結果に基づいて、アバター２０－２の動作を生成し、動作制御部１１６－２は、アバター２０－２の動作を制御する。情報処理装置１０－２においては、音情報も出力される。
　続いて、図４において破線の矢印によって表されているデータの流れについて概要を説明する。情報処理装置１０－２において、動作取得部１１１－２は、画像からユーザＵ－２の動作を認識してユーザＵ－２の動作を取得する。また、動作取得部１１１－２は、音情報も取得する。続いて、動作判定部１１２－２は、ユーザＵ－２の動作を判定して動作判定結果を取得する。通信制御部１１３－２は、ユーザＵ－２の動作、音情報および動作判定結果が、通信ネットワーク４０を介して情報処理装置１０－１に送信されるように制御する。
　情報処理装置１０－１において、通信制御部１１３－１は、通信ネットワーク４０を介して情報処理装置１０－２から受信された、ユーザＵ－２の動作、音情報および動作判定結果を取得する。また、受信判定部１１４－１は、通信制御部１１３－１によるユーザＵ－２の動作の受信状態を判定する。続いて、動作生成部１１５－１は、ユーザＵ－２の動作、受信判定結果および動作判定結果に基づいて、アバター２０－１の動作を生成し、動作制御部１１６－１は、アバター２０－１の動作を制御する。情報処理装置１０－１においては、音情報も出力される。
　以上、ユーザＵ－１の動作の認識からアバター２０－２の制御までの処理におけるデータの流れ、および、ユーザＵ－２の動作の認識からアバター２０－１の制御までの処理におけるデータの流れについて説明した。以下では、両データの流れを代表して、ユーザＵ－２の動作の認識からアバター２０－１の制御までの処理におけるデータの流れについて主に説明する。
　情報処理装置１０－１において、動作制御部１１６－１は、アバター２０－１の動作を制御するための、ユーザＵ－２の動作に応じた信号入力の異常が検出された場合に、信号入力の正常が検出されるまで、所定の動作を継続するようにアバター２０－１の動作を制御する。このとき、動作制御部１１６－１は、異常が検出されてからアバター２０－１の動作が所定の動作に遷移するまでに、アバター２０－１を、異常が検出された際のアバター２０－１の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。
　かかる構成によれば、アバター２０－１の動作の人間らしさを高めることが可能となる。以下では、かかる構成の詳細について、より具体的に説明する。本開示の第１の実施形態においては、アバター２０－１が一つの中間動作を行うよう制御される場合を主に説明する。しかし、アバター２０－１が複数の中間動作を行うよう制御されてもよい。
　本開示の第１の実施形態においては、情報処理装置１０－２においてユーザＵ－２の動作が認識される場合を主に想定する。かかる場合には、情報処理装置１０－２から情報処理装置１０－１にユーザＵ－２の動作が送信されるため、アバター２０－１の動作を制御するための信号は、ユーザＵ－２の動作であってよい。
　しかし、情報処理装置１０－１においてユーザＵ－２の動作が認識される場合も想定される。かかる場合には、情報処理装置１０－２から情報処理装置１０－１にユーザＵ－２の動作を認識するための撮像画像が送信されるため、アバター２０－１の動作を制御するための信号は、ユーザＵ－２の動作を認識するための撮像画像であってよい。
　また、アバター２０－１の動作を制御するための信号の入力の異常は、どのような場合に検出されてもよい。一つ目の例として、撮像画像から認識されるユーザＵ－２の動作が所定の動作範囲に収まらない場合に、異常が検出されてもよい。
　また、二つ目の例として、情報処理装置１０－１において、受信判定部１１４－１は、外部装置の例としての情報処理装置１０－２によってアバター２０－１の動作を制御するための信号が生成される場合、情報処理装置１０－２から受信される信号入力の異常を検出してもよい。例えば、情報処理装置１０－１において、受信判定部１１４－１は、アバター２０－１の動作を制御するための信号が、外部装置の例としての情報処理装置１０－２から受信される場合、当該信号の受信状態が所定の状態である場合に、異常を検出してもよい。
　より具体的に、受信判定部１１４－１は、情報処理装置１０－２から受信するアバター２０－１の動作を制御するための信号が示すアバター２０－１の動作を制御するための値が、所定の回数以上連続して同一の値を示す場合、異常を検出してもよい。
　例えば、情報処理装置１０－２において撮像画像が取得されない場合、または、撮像画像からユーザＵ－２の動作が認識されない場合などに、情報処理装置１０－２から情報処理装置１０－１にアバター２０－１の動作を制御するための信号として、同一の信号を送信し続ける場合がある。かかる場合、ユーザＵ－２が撮像画像に写っていれば、アバター２０－１の動作を制御するための信号も少なくとも僅かには変化すると考えられるため、アバター２０－１の動作を制御するための信号が示すアバター２０－１の動作を制御するための値が所定の回数以上連続して同一である場合、異常を検出してよい。
　また、例えば、受信判定部１１４－１は、アバター２０－１の動作を制御するための信号が所定の時間を超えて受信されない場合、異常を検出してもよい。アバター２０－１の動作を制御するための信号が所定の時間を超えて受信されない場合としては、アバター２０－１の動作を制御するための信号の伝送遅延（例えば、通信ネットワーク４０における伝送遅延など）が生じている場合、および、アバター２０－１の動作を制御するための信号が情報処理装置１０－１に到達しない場合などが想定される。
　以下では、一つ目の例および二つ目の例の異常のいずれか一方でも検出された場合には、異常が検出され、一つ目の例および二つ目の例の異常のいずれも検出されない場合に、正常が検出される場合を主に説明する。しかし、一つ目の例および二つ目の例のうちの一方のみ異常であるか否かが検出されてもよい。かかる場合には、一つ目の例の異常が検出されない場合に、正常が検出されてもよい。あるいは、二つ目の例の異常が検出されない場合に、正常が検出されてもよい。
　まず、情報処理装置１０－２において、動作取得部１１１－２は、撮像画像からユーザＵ－２の動作を認識してユーザＵ－２の動作を取得する。ユーザＵ－２の動作は、ユーザＵ－２の身体を「認識対象」とし、ユーザＵ－２の身体の各部位を「認識対象部位」とした場合、各認識対象部位の位置および姿勢を含んでよい。より詳細には、各認識対象部位は、目、口、手、足などであってよい。また、各認識対象部位の位置および姿勢は、各関節の位置および回転角度によって表されてもよい。
　動作判定部１１２－２は、ユーザＵ－２の動作が所定の範囲に収まるか否かを判定する。例えば、動作判定部１１２－２は、動作判定部１１２－２は、ユーザＵ－２の動作が認識対象部位ごとに所定の範囲に収まるか否かを判定する。ここで、所定の範囲は特に限定されない。例えば、ユーザＵ－２の動作として想定し得る範囲があらかじめ所定の範囲として定められていてよい。動作判定部１１２－２は、ユーザＵ－２の動作が所定の範囲に収まらない場合に、異常を検出する。
　通信制御部１１３－２は、ユーザＵ－２の動作、音情報および動作判定部１１２－２による判定結果が、通信ネットワーク４０を介して情報処理装置１０－１に送信されるように制御する。情報処理装置１０－１において、通信制御部１１３－１は、通信ネットワーク４０を介して情報処理装置１０－１から受信された、ユーザＵ－２の動作、音情報および動作判定結果を取得する。
　受信判定部１１４－１は、通信制御部１１３－１によるユーザＵ－２の動作の受信状態を判定する。例えば、上記したように、受信判定部１１４－１は、ユーザＵ－２の動作の受信状態が所定の状態である場合に、異常を検出する。続いて、動作生成部１１５－１は、動作判定部１１２－２による動作判定結果、受信判定部１１４－１による受信判定結果、および、ユーザＵ－２の動作に基づいて、アバター２０－１の動作を生成し、動作制御部１１６－２は、アバター２０－１の動作を制御する。情報処理装置１０－１においては、音情報も出力される。
　まず、アバター２０－１の動作を制御するための信号の入力の正常が検出された場合を想定する。より具体的には、動作判定部１１２－２による動作判定結果が正常である場合、かつ、受信判定部１１４－１による受信判定結果が正常である場合を想定する。かかる場合、動作取得部１１６－１は、ユーザＵ－２の動作に基づいてアバター２０－１の動作を制御する。
　図５は、アバター２０－１の動作を制御するための信号の入力の正常が検出された場合におけるアバター２０－１の動作制御例を示す図である。図５を参照すると、画面１６１－１にアバター２０－１の例としてアバター２０－４が表示されている。
　ここで、動作判定部１１２－２による動作判定結果が正常である場合、かつ、受信判定部１１４－１による受信判定結果が正常である場合を想定する。かかる場合、動作取得部１１６－１は、ユーザＵ－２の動作に対応するようにアバター２０－４の動作を制御する。図５を参照すると、ユーザＵ－２が両手を挙げている動作が認識され、ユーザＵ－２の動作に合わせて、両手を挙げた動作をするように制御されたアバター２０－５が表示されている。
　続いて、アバター２０－１の動作を制御するための信号の入力の異常が検出された場合を想定する。より具体的には、動作判定部１１２－２による動作判定結果が異常である場合、または、受信判定部１１４－１による受信判定結果が異常である場合を想定する。かかる場合、動作取得部１１６－１は、異常が検出されてからアバター２０－１の動作が所定の動作に遷移するまでに、アバター２０－１を、異常が検出された際のアバター２０－１の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。
　ここで、異常が検出された場合におけるアバター２０－１の動作の遷移先である「所定の動作」としては、様々な動作が想定される。例えば、動作制御部１１６－１は、異常が第１の時間（以下、「時間Ｔ１」とも言う。）を超えて検出された場合、異常と関連するユーザＵ－２の第１の認識対象部位に対応するアバター２０－１の制御対象部位の動作を、所定の動作に含まれる第１の動作に遷移させてよい。
　第１の動作は特に限定されない。本開示の第１の実施形態においては、アバター２０－１が人間らしく見えるようにするために、第１の動作として、制御対象部位が揺らぐような動作を利用する場合を主に説明する。
　図６は、異常が時間Ｔ１を超えて検出された場合におけるアバター２０－１の動作制御例を示す図である。図６を参照すると、画面１６１－１にアバター２０－１の例としてアバター２０－６が表示されている。しかし、ユーザＵ－２が顔の前に手を位置させているため、アバター２０－６も、顔の前に手を位置させてしまっている。
　ここで、ユーザＵ－２の手が検出されないという異常が時間Ｔ１を超えて検出された場合を想定する。かかる場合、動作取得部１１６－１は、異常が検出された第１の認識対象部位「ユーザＵ－２の手」に対応する制御対象部位「アバター２０－６の手」の動作を、第１の動作「揺らぐような動作」に遷移させる。図６を参照すると、手が揺らぐような動作に遷移されたアバター２０－８が表示されている。
　このとき、動作取得部１１６－１は、異常が検出された第１の認識対象部位「ユーザＵ－２の手」の撮像画像における位置に基づいて制御対象部位「アバター２０－６の手」の動作を、第１の動作「揺らぐような動作」に遷移させるとよい。図６に示した例では、第１の認識対象部位「ユーザＵ－２の手」の異常がユーザＵ－２の顔の位置で検出されている。そのため、動作取得部１１６－１は、顔の位置からは離れた位置に制御対象部位「アバター２０－８の手」を位置させている。
　また、動作取得部１１６－１は、アバター２０－６の動作がアバター２０－８に遷移するまでに（すなわち、異常が検出されてから第１の動作「揺らぐような動作」に遷移するまでに）、アバター２０－６を、異常が検出された際のアバター２０－１の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。図６を参照すると、アバター２０－７の手の位置が、手の位置とアバター２０－８の手の位置との中間となるように制御され、かつ、手の向きが、アバター２０－６の手の向きとアバター２０－８の手の向きとの中間となるように制御されたアバター２０－７が表示されている。
　なお、第１の動作は、ユーザＵ－２に依存せずに決められてもよいし、ユーザＵ－２に依存して決められてもよい。例えば、ユーザＵ－２に対応して、第１の動作と第２の認識対象部位の動作とがあらかじめ関係付けられている場合も想定される。かかる場合において、異常が第１の時間を超えて検出された場合、かつ、ユーザＵ－２の第２の認識対象部位の動作が認識された場合、制御対象部位の動作を第１の動作に遷移させてもよい。
　このとき、ユーザＵ－２の制御対象部位の第１の動作と第２の認識対象部位の動作とがあらかじめ関連付けられる。例えば、動作生成部１１５－１は、制御対象部位の第１の動作と第２の認識対象部位の動作とが単一の撮像画像から認識された場合に、制御対象部位の動作と第２の認識対象部位の動作とを関連付ければよい。
　一例として、ユーザＵ－２が、手を下げる動作と目を上に向ける動作とを同時に行う癖を有しており、ユーザＵ－２に対応して、制御対象部位「手」の第１の動作「手を下げる動作」と第２の認識対象部位「目」の動作「上を向ける動作」とが関連付けられた場合を想定する。
　かかる場合、ユーザＵ－２の撮像画像から、第１の認識対象部位「手」が認識されなくても、第２の認識対象部位「目」の動作「上を向ける動作」が認識された場合に、制御対象部位「手」の動作が第１の動作「手を下げる動作」に遷移される。そのため、ユーザＵ－２の癖を制御対象部位の動きに反映させることが可能となる。
　続いて、時間Ｔ１よりも長い第２の時間（以下、「時間Ｔ２」とも言う。）を超えて異常が検出された場合を想定する。かかる場合には、例えば、動作制御部１１６－１は、アバター２０－１の全体の動作を、所定の動作に含まれる第２の動作に遷移させてよい。以下では、第２の動作を「標準状態」と称する場合がある。
　第２の動作（標準状態）は特に限定されない。本開示の第１の実施形態においては、アバター２０－１が人間らしく見えるようにするために、第２の動作（標準状態）として、両目を瞬きさせる動作、および、両肩を左右に揺さぶる動作を利用する場合を主に説明する。
　図７は、異常が時間Ｔ２を超えて検出された場合におけるアバター２０－１の動作制御例を示す図である。図７を参照すると、画面１６１－１にアバター２０－１の例としてアバター２０－９が表示されている。具体的に、異常が時間Ｔ１を超え、異常が検出された認識対象部位「ユーザＵ－２の手」に対応する制御対象部位「アバター２０－９の手」の動作が、第１の動作「揺らぐような動作」に遷移されている。
　ここで、ユーザＵ－２の手が検出されないという異常が時間Ｔ２を超えて検出された場合を想定する。かかる場合、動作取得部１１６－１は、アバター２０－９の全体の動作を、第２の動作（標準状態）「両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作」に遷移させる。図７を参照すると、両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作に遷移されたアバター２０－１１、２０－１２が表示されている。
　このとき、動作取得部１１６－１は、異常が検出された認識対象「ユーザＵ－２」の撮像画像における位置に基づいてアバター２０－９の全体の動作を、第２の動作（標準状態）「両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作」に遷移させるとよい。図７に示した例では、認識対象「ユーザＵ－２」の異常が撮像画像の中央で検出されている。そのため、動作取得部１１６－１は、制御対象「アバター２０－１１、２０－１２」を画面１６１－１の中央に位置させている。
　また、動作取得部１１６－１は、アバター２０－９の動作がアバター２０－１１、２０－１２に遷移するまでに（すなわち、異常が検出されてから第２の動作（標準状態）「両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作」に遷移するまでに）、アバター２０－９を、異常が検出された際のアバター２０－９の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。図７を参照すると、手の位置が、アバター２０－９の手の位置とアバター２０－１１、２０－１２の手の位置との中間となるように制御され、かつ、手の向きが、アバター２０－９の手の向きとアバター２０－１１、２０－１２の手の向きとの中間となるように制御されたアバター２０－１０が表示されている。
　なお、上記では、第２の動作（標準状態）として、一つの動作が利用される場合を主に説明したが、第２の動作（標準状態）として、複数の動作が利用されてもよい。すなわち、第２の動作（標準状態）が互いに異なる複数の動作を含んでおり、動作取得部１１６－１は、異常が時間Ｔ２を超えて検出された場合、アバター２０－９の全体の動作が複数の動作の間で（例えば、所定の時間ごとに）切り替えられるようにアバター２０－９の全体の動作を制御してもよい。そうすれば、アバター２０－１１、２０－１２がより人間らしく見えることが期待される。
　また、第２の動作（標準状態）は、複数の動作から選択されてもよい。すなわち、動作取得部１１６－１は、異常が時間Ｔ２を超えて検出された場合、異常が検出されたユーザＵ－２の動作に基づいて複数の動作から第２の動作（標準状態）を選択し（例えば、異常が検出されたユーザＵ－２の動作に最も近い動作を選択し）、アバター２０－９の全体の動作を、選択した第２の動作（標準状態）に遷移させてもよい。
　なお、第２の動作（標準状態）は、ユーザＵ－２に依存せずに決められてもよいし、ユーザＵ－２に依存して決められてもよい。例えば、動作生成部１１５－１は、ユーザＵ－２の行動状態が所定の条件を満たす場合に、ユーザＵ－２の行動状態に基づいて第２の動作（標準状態）を生成してもよい。そうすれば、ユーザＵ－２の癖を第２の動作（標準状態）に反映させることが可能となる。ユーザＵ－２の行動状態には、ユーザＵ－２の動きが含まれてもよいし、ユーザＵ－２の発話量が含まれてもよい。
　ここで、所定の条件は、特に限定されない。例えば、あまり動いていないユーザＵ－２の動作に基づいて第２の動作が生成された方が、たくさん動いているユーザＵ－２の動作に基づいて第２の動作が生成されるよりも、より適切な標準状態が生成されると考えられる。したがって、所定の条件は、ユーザＵ－２の発話量が所定量よりも少ないという条件およびユーザＵ－２の動きが所定の動きよりも小さいという条件の少なくともいずれか一つを含んでもよい。
　上記では、アバター２０－１の動作を制御するための信号の入力の異常が検出された場合におけるアバター２０－１の動作について主に説明した。しかし、一度異常が検出されてから再度正常が検出される場合も想定される。より具体的には、動作判定部１１２－２による動作判定結果が正常である場合、かつ、受信判定部１１４－１による受信判定結果が正常である場合を想定する。かかる場合においても、アバター２０－１の動作は、異常が検出された場合の動作から正常が検出された場合の動作に、徐々に戻るように制御されるのがよい。そうすれば、アバター２０－１がより人間らしく見えることが期待される。
　すなわち、動作制御部１１６－１は、アバター２０－１の動作を制御するための信号の入力の異常が検出された後に、アバター２０－１の動作を制御するための信号の入力の正常が検出された場合に、アバター２０－１の動作を所定の動作からユーザＵ－２の動作に基づくように遷移させるまでに、アバター２０－１の動作を、所定の動作とは異なる少なくとも一つの第２の中間動作を行うよう制御するとよい。
　図８は、情報処理装置１０－１における動作制御部１１６－１の動作の例を示すフローチャートである。図８に示すように、まず、動作制御部１１６－１は、アバターの各部位の位置および姿勢を初期状態に設定する（Ｓ１１）。
　続いて、動作制御部１１６－１は、少なくとも一つの認識対象部位に対応する入力が時間Ｔ１を超えて異常という条件が成立しない場合（Ｓ１２において「Ｎｏ」）、各認識対象部位に対応するアバターの部位の位置および姿勢を、対応する認識対象部位の位置および姿勢に応じて制御する（Ｓ１３）。そして、動作制御部１１６－１は、動作をＳ１２に移行させる。
　一方、動作制御部１１６－１は、少なくとも一つの認識対象部位に対応する入力が時間Ｔ１を超えて異常という条件が成立する場合（Ｓ１２において「Ｙｅｓ」）、時間Ｔ１よりも長い時間Ｔ２を超えて異常という条件が成立するか否かを判定する（Ｓ１４）。
　動作制御部１１６－１は、長い時間Ｔ２を超えて異常という条件が成立しない場合（Ｓ１４において「Ｎｏ」）、入力の異常が時間Ｔ１を超えていない認識対象部位に対応するアバターの部位の位置および姿勢を、対応する認識対象部位の位置および姿勢に応じて制御する（Ｓ１５）。そして、動作制御部１１６－１は、時間Ｔ１を超えて入力が異常な認識対象部位に対応するアバターの部位が異常検出位置に対応する位置で揺らぎ動作をするように制御する（Ｓ１６）。そして、動作制御部１１６－１は、動作をＳ１２に移行させる。
　一方、動作制御部１１６－１は、長い時間Ｔ２を超えて異常という条件が成立する場合（Ｓ１４において「Ｙｅｓ」）、各認識対象部位に対応するアバターの部位の位置および姿勢を、標準状態に設定し、その部位が揺らぎ動作をするように制御する（Ｓ１７）。そして、動作制御部１１６－１は、動作をＳ１２に移行させる。
　以上、本開示の第１の実施形態について説明した。
　＜２．第２の実施形態＞
　まず、本開示の第２の実施形態について説明する。
　［２．１．システム構成例］
　まず、本開示の第２の実施形態に係る情報処理システムの構成例について説明する。図９は、本開示の第２の実施形態に係る情報処理システムの構成例を示す図である。図９に示したように、本開示の第２の実施形態に係る情報処理システムは、情報処理装置１０－１を備える。情報処理装置１０－１は、ユーザＵ－１によって利用される。本開示の第２の実施形態では、本開示の第１の実施形態と異なり、情報処理システムは、情報処理装置１０－２を有していなくてよい。
　図９に示した例では、情報処理装置１０－１の画面１６１－１に、仮想オブジェクトの例としてのアバター２０－２が表示されている。アバター２０－１が表示される。本開示の第２の実施形態では、本開示の第１の実施形態と異なり、情報処理装置１０－１は、アバター２０－２の動作をユーザＵ－１の動作に基づいて制御する。ユーザＵ－１は、ユーザＵ－１の動作に基づいて制御されたアバター２０－２を見ることができる。
　以上、本開示の第２の実施形態に係る情報処理システムの構成例について説明した。
　［２．２．情報処理装置の機能構成例］
　続いて、本開示の第２の実施形態に係る情報処理装置１０の機能構成例について説明する。図１０は、本開示の第２の実施形態に係る情報処理装置１０の機能構成例を示す図である。図１０に示したように、本開示の第２の実施形態に係る情報処理装置１０は、本開示の第２の実施形態に係る情報処理装置１０と異なり、通信部１５０を有しておらず、通信制御部１１３および受信判定部１１４を有していなくてよい。
　以上、本開示の第２の実施形態に係る情報処理装置１０の機能構成例について説明した。
　［２．３．情報処理システムの機能詳細］
　続いて、本開示の第２の実施形態に係る情報処理システムの機能詳細について説明する。図１０に示したように、本開示の第２の実施形態に係る情報処理装置１０－１において、動作取得部１１１によって取得されたユーザＵ－１の動作、動作判定部１１２によって判定されたユーザＵ－１の動作判定結果が、同一の情報処理装置１０－１の動作生成部１１５および動作制御部１１６に出力される。
　したがって、本開示の第１の実施形態において他の情報処理装置１０－２の動作生成部１１５によって実行された処理が、本開示の第２の実施形態においては、情報処理装置１０－１の動作生成部１１５によって実行される。同様に、本開示の第１の実施形態において他の情報処理装置１０－２の動作制御部１１６によって実行された処理が、本開示の第２の実施形態においては、情報処理装置１０－１の動作制御部１１６によって実行される。
　以上、本開示の第２の実施形態について説明した。
　＜３．第３の実施形態＞
　まず、本開示の第３の実施形態について説明する。
　［３．１．システム構成例］
　まず、本開示の第３の実施形態に係る情報処理システムの構成例について説明する。図１１は、本開示の第３の実施形態に係る情報処理システムの構成例を示す図である。図１１に示したように、本開示の第３の実施形態に係る情報処理システムは、情報処理装置１０－１およびロボット３０－１を備える。情報処理装置１０－１は、ユーザＵ－１によって利用される。本開示の第３の実施形態では、本開示の第１の実施形態と異なり、情報処理システムは、情報処理装置１０－２を有していなくてよい。
　図１１に示した例では、実オブジェクトの例としてのロボット３０－１が存在している。ここで、実オブジェクトは、ロボット３０－１に限定されない。例えば、実オブジェクトは、エージェントなどであってもよい。情報処理装置１０－１は、ロボット３０－１の動作をユーザＵ－１の動作に基づいて制御する。ユーザＵ－１は、ユーザＵ－１の動作に基づいて制御されたロボット３０－１を見ることができる。
　以上、本開示の第３の実施形態に係る情報処理システムの構成例について説明した。
　［３．２．情報処理装置の機能構成例］
　続いて、本開示の第３の実施形態に係る情報処理装置１０の機能構成例について説明する。図１２は、本開示の第３の実施形態に係る情報処理装置１０の機能構成例を示す図である。図１２に示したように、本開示の第３の実施形態に係る情報処理装置１０は、本開示の第２の実施形態に係る情報処理装置１０と異なり、表示部１６０および音情報出力部１７０を有しておらず、動作の制御信号および音情報は、ロボット３０に出力される。
　以上、本開示の第３の実施形態に係る情報処理装置１０の機能構成例について説明した。
　［３．３．情報処理システムの機能詳細］
　続いて、本開示の第３の実施形態に係る情報処理システムの機能詳細について説明する。図１２に示したように、本開示の第３の実施形態に係る情報処理装置１０－１において、動作取得部１１１によって取得されたユーザＵ－１の動作、動作判定部１１２によって判定されたユーザＵ－１の動作判定結果が、同一の情報処理装置１０－１の動作生成部１１５および動作制御部１１６に出力される。
　したがって、本開示の第１の実施形態において他の情報処理装置１０－２の動作生成部１１５によって実行された処理が、本開示の第３の実施形態においては、情報処理装置１０－１の動作生成部１１５によって実行される。同様に、本開示の第の実施形態において他の情報処理装置１０－２の動作制御部１１６によって実行された処理が、本開示の第３の実施形態においては、情報処理装置１０－１の動作制御部１１６によって実行される。
　図１３は、ロボット３０－１の動作を制御するための信号の入力の正常が検出された場合におけるロボット３０－１の動作制御例を示す図である。図１３を参照すると、ロボット３０－１の例としてロボット３０－４が存在している。
　ここで、動作判定部１１２による動作判定結果が正常である場合、かつ、受信判定部１１４による受信判定結果が正常である場合を想定する。かかる場合、動作取得部１１６は、ユーザＵ－１の動作に対応するようにロボット３０－４の動作を制御する。図１３を参照すると、ユーザＵ－１が両手を挙げている動作が認識され、ユーザＵ－１の動作に合わせて、両手を挙げた動作をするように制御されたロボット３０－５が存在している。
　続いて、ロボット３０－１の動作を制御するための信号の入力の異常が検出された場合を想定する。より具体的には、動作判定部１１２による動作判定結果が異常である場合、または、受信判定部１１４による受信判定結果が異常である場合を想定する。かかる場合、動作取得部１１６は、異常が検出されてからロボット３０－１の動作が所定の動作に遷移するまでに、ロボット３０－１を、異常が検出された際のロボット３０－１の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。
　例えば、本開示の第１の実施形態と同様に、動作制御部１１６は、異常が時間Ｔ１を超えて検出された場合、異常と関連するロボット３０－１の第１の認識対象部位に対応するロボット３０－１の制御対象部位の動作を、所定の動作に含まれる第１の動作に遷移させてよい。第１の動作は、本開示の第１の実施形態と同様に、特に限定されない。
　図１４は、異常が時間Ｔ１を超えて検出された場合におけるロボット３０－１の動作制御例を示す図である。図１４を参照すると、ロボット３０－１の例としてロボット３０－６が存在している。しかし、ユーザＵ－１が顔の前に手を位置させているため、ロボット３０－６も、顔の前に手を位置させてしまっている。
　ここで、ユーザＵ－１の手が検出されないという異常が時間Ｔ１を超えて検出された場合を想定する。かかる場合、動作取得部１１６は、異常が検出された第１の認識対象部位「ユーザＵ－１の手」に対応する制御対象部位「ロボット３０－６の手」の動作を、第１の動作「揺らぐような動作」に遷移させる。図１４を参照すると、手が揺らぐような動作に遷移されたロボット３０－８が存在している。
　このとき、動作取得部１１６は、異常が検出された第１の認識対象部位「ユーザＵ－１の手」の撮像画像における位置に基づいて制御対象部位「ロボット３０－６の手」の動作を、第１の動作「揺らぐような動作」に遷移させるとよい。図１４に示した例では、第１の認識対象部位「ユーザＵ－１の手」の異常がユーザＵ－１の顔の位置で検出されている。そのため、動作取得部１１６は、顔の位置からは離れた位置に制御対象部位「ロボット３０－８の手」を位置させている。
　また、動作取得部１１６は、ロボット３０－６の動作がロボット３０－８に遷移するまでに（すなわち、異常が検出されてから第１の動作「揺らぐような動作」に遷移するまでに）、ロボット３０－６を、異常が検出された際のロボット３０－１の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。図１４を参照すると、ロボット３０－７の手の位置が、手の位置とロボット３０－８の手の位置との中間となるように制御され、かつ、手の向きが、ロボット３０－６の手の向きとロボット３０－８の手の向きとの中間となるように制御されたロボット３０－７が存在している。
　続いて、時間Ｔ２を超えて異常が検出された場合を想定する。かかる場合には、例えば、動作制御部１１６－１は、ロボット３０－１の全体の動作を、所定の動作に含まれる第２の動作（標準状態）に遷移させてよい。本開示の第１の実施形態と同様に、第２の動作（標準状態）は特に限定されない。
　図１５は、異常が時間Ｔ２を超えて検出された場合におけるロボット３０－１の動作制御例を示す図である。図１５を参照すると、ロボット３０－１の例としてロボット３０－９が存在している。具体的に、異常が時間Ｔ１を超え、異常が検出された認識対象部位「ユーザＵ－１の手」に対応する制御対象部位「ロボット３０－９の手」の動作が、第１の動作「揺らぐような動作」に遷移されている。
　ここで、ユーザＵ－１の手が検出されないという異常が時間Ｔ２を超えて検出された場合を想定する。かかる場合、動作取得部１１６－１は、ロボット３０－９の全体の動作を、第２の動作（標準状態）「両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作」に遷移させる。図１５を参照すると、両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作に遷移されたロボット３０－１１、３０－１２が表示されている。
　このとき、動作取得部１１６は、異常が検出された認識対象「ユーザＵ－１」の撮像画像における位置に基づいてロボット３０－９の全体の動作を、第２の動作（標準状態）「両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作」に遷移させるとよい。例えば、認識対象「ユーザＵ－１」の異常が撮像画像の中央で検出された場合、動作取得部１１６は、制御対象「ロボット３０－１１、３０－１２」を撮像画像の中央に対応する位置に位置させてよい。
　また、動作取得部１１６は、ロボット３０－９の動作がロボット３０－１１、３０－１２に遷移するまでに（すなわち、異常が検出されてから第２の動作（標準状態）「両目を瞬きさせる動作、および、上半身を左右に揺さぶる動作」に遷移するまでに）、ロボット３０－９を、異常が検出された際のロボット３０－９の動作および所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する。図１５を参照すると、手の位置が、ロボット３０－９の手の位置とロボット３０－１１、３０－１２の手の位置との中間となるように制御され、かつ、手の向きが、ロボット３０－９の手の向きとロボット３０－１１、３０－１２の手の向きとの中間となるように制御されたロボット３０－１０が存在している。
　図１６は、情報処理装置１０－１における動作制御部１１６の動作の例を示すフローチャートである。図１６に示すように、まず、動作制御部１１６は、ロボットの各部位の位置および姿勢を初期状態に設定する（Ｓ２１）。
　続いて、動作制御部１１６は、少なくとも一つの認識対象部位に対応する入力が時間Ｔ１を超えて異常という条件が成立しない場合（Ｓ２２において「Ｎｏ」）、各認識対象部位に対応するロボットの部位の位置および姿勢を、対応する認識対象部位の位置および姿勢に応じて制御する（Ｓ２３）。そして、動作制御部１１６は、動作をＳ２２に移行させる。
　一方、動作制御部１１６は、少なくとも一つの認識対象部位に対応する入力が時間Ｔ１を超えて異常という条件が成立する場合（Ｓ２２において「Ｙｅｓ」）、時間Ｔ１よりも長い時間Ｔ２を超えて異常という条件が成立するか否かを判定する（Ｓ２４）。
　動作制御部１１６は、長い時間Ｔ２を超えて異常という条件が成立しない場合（Ｓ２４において「Ｎｏ」）、入力の異常が時間Ｔ１を超えていない認識対象部位に対応するロボットの部位の位置および姿勢を、対応する認識対象部位の位置および姿勢に応じて制御する（Ｓ２５）。そして、動作制御部１１６は、時間Ｔ１を超えて入力が異常な認識対象部位に対応するロボットの部位が異常検出位置に対応する位置で揺らぎ動作をするように制御する（Ｓ２６）。そして、動作制御部１１６は、動作をＳ２２に移行させる。
　一方、動作制御部１１６は、長い時間Ｔ２を超えて異常という条件が成立する場合（Ｓ２４において「Ｙｅｓ」）、各認識対象部位に対応するロボットの部位の位置および姿勢を、標準状態に設定し、その部位が揺らぎ動作をするように制御する（Ｓ２７）。そして、動作制御部１１６は、動作をＳ２２に移行させる。
　以上、本開示の第３の実施形態について説明した。
　＜４．ハードウェア構成例＞
　次に、図１７を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１７は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　図１７に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　＜５．むすび＞
　以上説明したように、本開示の実施形態によれば、オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御する動作制御部を備え、前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる
少なくとも一つの第１の中間動作を行うよう制御する、情報処理装置が提供される。かかる構成によれば、オブジェクトの動作の人間らしさを高めることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　例えば、上記した情報処理装置１０－１の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置１０－１における各部の処理の一部は、情報処理装置１０－２によって行われてもよいし、サーバ装置（不図示）によって行われてもよい。具体的な一例として、情報処理装置１０－１における制御部１１０が有する各ブロックの一部または全部は、情報処理装置１０－２またはサーバ装置（不図示）などに存在していてもよい。例えば、情報処理装置１０－１における動作取得部１１１、動作判定部１１２の一部または全部は、情報処理装置１０－２またはサーバ装置（不図示）などに存在していてもよい。
　同様に、上記した情報処理装置１０－２の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置１０－２における各部の処理の一部は、情報処理装置１０－１によって行われてもよいし、サーバ装置（不図示）によって行われてもよい。具体的な一例として、情報処理装置１０－２における制御部１１０が有する各ブロックの一部または全部は、情報処理装置１０－１またはサーバ装置（不図示）などに存在していてもよい。例えば、情報処理装置１０－２における動作取得部１１１、動作判定部１１２の一部または全部は、情報処理装置１０－１またはサーバ装置（不図示）などに存在していてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御する動作制御部を備え、
　前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、
　情報処理装置。
（２）
　前記所定の動作は第１の動作を含み、
　前記動作制御部は、前記信号入力の異常が第１の時間を超えて検出された場合、前記信号入力の異常と関連する前記ユーザの第１の認識対象部位に対応する前記オブジェクトの制御対象部位の動作を前記第１の動作に遷移させる、
　前記（１）に記載の情報処理装置。
（３）
　前記動作制御部は、前記信号入力の異常が前記第１の時間を超えて検出された場合、撮像画像における前記第１の認識対象部位の位置に基づいて、前記制御対象部位の動作を前記第１の動作に遷移させる、
　前記（２）に記載の情報処理装置。
（４）
　前記動作制御部は、
　前記第１の動作と、前記ユーザの第２の認識対象部位の動作とが関係付けられている場合において、前記信号入力の異常が前記第１の時間を超えて検出された場合、かつ、前記第２の認識対象部位の動作が認識された場合、前記制御対象部位の動作を前記第１の動作に遷移させる、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記情報処理装置は、
　前記第１の認識対象部位の動作と前記第２の認識対象部位の動作とが単一の撮像画像から認識された場合に、前記第１の認識対象部位の動作と前記第２の認識対象部位の動作とを関連付ける動作生成部を備える、
　前記（４）に記載の情報処理装置。
（６）
　前記所定の動作は第２の動作を含み、
　前記動作制御部は、前記信号入力の異常が前記第１の時間よりも長い第２の時間を超えて検出された場合、前記オブジェクトの全体の動作を前記第２の動作に遷移させる、
　前記（２）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記動作制御部は、前記信号入力の異常が前記第２の時間を超えて検出された場合、撮像画像における前記第１の認識対象部位の位置に基づいて前記オブジェクトの全体の動作を前記第２の動作に遷移させる、
　前記（６）に記載の情報処理装置。
（８）
　前記情報処理装置は、
　前記ユーザの行動状態が所定の条件を満たす場合に、前記ユーザの行動状態に基づいて前記第２の動作を生成する動作生成部を備える、
　前記（６）に記載の情報処理装置。
（９）
　前記所定の条件は、前記ユーザの発話量が所定量よりも少ないという条件および前記ユーザの動きが所定の動きよりも小さいという条件の少なくともいずれか一つを含む、
　前記（８）に記載の情報処理装置。
（１０）
　前記第２の動作は、互いに異なる複数の動作を含み、
　前記動作制御部は、前記信号入力の異常が前記第２の時間を超えて検出された場合、前記オブジェクトの全体の動作が前記複数の動作の間で切り替えられるように前記オブジェクトの全体の動作を制御する、
　前記（６）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記動作制御部は、前記信号入力の異常が前記第２の時間を超えて検出された場合、前記オブジェクトの全体の動作を、前記ユーザの動作に基づいて選択された前記第２の動作に遷移させる、
　前記（６）～（９）のいずれか一項に記載の情報処理装置。
（１２）
　前記信号入力から認識される前記ユーザの動作が所定の動作範囲に収まらない場合に、前記信号入力の異常が検出される、
　前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記情報処理装置は、
　前記ユーザの動作に応じた前記信号入力を生成する外部装置から受信される前記信号入力の異常を検出する受信判定部を備える、
　前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１４）
　前記受信判定部は、前記外部装置から受信する前記信号入力が示す前記オブジェクトの動作を制御するための値が、所定の回数以上連続して同一の値を示す場合、前記信号入力の異常を検出する、
　前記（１３）に記載の情報処理装置。
（１５）
　前記受信判定部は、前記信号入力が所定の時間を超えて受信されない場合、前記信号入力の異常を検出する、
　前記（１３）に記載の情報処理装置。
（１６）
　前記動作制御部は、前記信号入力の異常が検出された後に前記信号入力の正常が検出された場合に、前記オブジェクトの動作を前記所定の動作から前記ユーザの動作に基づくように遷移させるまでに、前記オブジェクトを、前記所定の動作とは異なる少なくとも一つの第２の中間動作を行うよう制御する、
　前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記オブジェクトは、実空間に存在する実オブジェクトを含む、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記オブジェクトは、仮想空間に存在する仮想オブジェクトを含む、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１９）
　オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御することを含み、
　プロセッサにより、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御することを含む、
　情報処理方法。
（２０）
　コンピュータを、
　オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御する動作制御部を備え、
　前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、
　情報処理装置として機能させるためのプログラム。
　１　　　情報処理システム
　１０　　情報処理装置
　２０　　アバター
　３０　　ロボット
　１１０　制御部
　１１１　動作取得部
　１１２　動作判定部
　１１３　通信制御部
　１１４　受信判定部
　１１５　動作生成部
　１１６　動作制御部
　１２０　撮像部
　１３０　音情報検出部
　１４０　記憶部
　１５０　通信部
　１６０　表示部
　１７０　音情報出力部

Claims (20)

  1. 　オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御する動作制御部を備え、
    　前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、
    　情報処理装置。
  2. 　前記所定の動作は第１の動作を含み、
    　前記動作制御部は、前記信号入力の異常が第１の時間を超えて検出された場合、前記信号入力の異常と関連する前記ユーザの第１の認識対象部位に対応する前記オブジェクトの制御対象部位の動作を前記第１の動作に遷移させる、
    　請求項１に記載の情報処理装置。
  3. 　前記動作制御部は、前記信号入力の異常が前記第１の時間を超えて検出された場合、撮像画像における前記第１の認識対象部位の位置に基づいて、前記制御対象部位の動作を前記第１の動作に遷移させる、
    　請求項２に記載の情報処理装置。
  4. 　前記動作制御部は、
    　前記第１の動作と、前記ユーザの第２の認識対象部位の動作とが関係付けられている場合において、前記信号入力の異常が前記第１の時間を超えて検出された場合、かつ、前記第２の認識対象部位の動作が認識された場合、前記制御対象部位の動作を前記第１の動作に遷移させる、
    　請求項２に記載の情報処理装置。
  5. 　前記情報処理装置は、
    　前記第１の認識対象部位の動作と前記第２の認識対象部位の動作とが単一の撮像画像から認識された場合に、前記第１の認識対象部位の動作と前記第２の認識対象部位の動作とを関連付ける動作生成部を備える、
    　請求項４に記載の情報処理装置。
  6. 　前記所定の動作は第２の動作を含み、
    　前記動作制御部は、前記信号入力の異常が前記第１の時間よりも長い第２の時間を超えて検出された場合、前記オブジェクトの全体の動作を前記第２の動作に遷移させる、
    　請求項２に記載の情報処理装置。
  7. 　前記動作制御部は、前記信号入力の異常が前記第２の時間を超えて検出された場合、撮像画像における前記第１の認識対象部位の位置に基づいて前記オブジェクトの全体の動作を前記第２の動作に遷移させる、
    　請求項６に記載の情報処理装置。
  8. 　前記情報処理装置は、
    　前記ユーザの行動状態が所定の条件を満たす場合に、前記ユーザの行動状態に基づいて前記第２の動作を生成する動作生成部を備える、
    　請求項６に記載の情報処理装置。
  9. 　前記所定の条件は、前記ユーザの発話量が所定量よりも少ないという条件および前記ユーザの動きが所定の動きよりも小さいという条件の少なくともいずれか一つを含む、
    　請求項８に記載の情報処理装置。
  10. 　前記第２の動作は、互いに異なる複数の動作を含み、
    　前記動作制御部は、前記信号入力の異常が前記第２の時間を超えて検出された場合、前記オブジェクトの全体の動作が前記複数の動作の間で切り替えられるように前記オブジェクトの全体の動作を制御する、
    　請求項６に記載の情報処理装置。
  11. 　前記動作制御部は、前記信号入力の異常が前記第２の時間を超えて検出された場合、前記オブジェクトの全体の動作を、前記ユーザの動作に基づいて選択された前記第２の動作に遷移させる、
    　請求項６に記載の情報処理装置。
  12. 　前記信号入力から認識される前記ユーザの動作が所定の動作範囲に収まらない場合に、前記信号入力の異常が検出される、
    　請求項１に記載の情報処理装置。
  13. 　前記情報処理装置は、
    　前記ユーザの動作に応じた前記信号入力を生成する外部装置から受信される前記信号入力の異常を検出する受信判定部を備える、
    　請求項１に記載の情報処理装置。
  14. 　前記受信判定部は、前記外部装置から受信する前記信号入力が示す前記オブジェクトの動作を制御するための値が、所定の回数以上連続して同一の値を示す場合、前記信号入力の異常を検出する、
    　請求項１３に記載の情報処理装置。
  15. 　前記受信判定部は、前記信号入力が所定の時間を超えて受信されない場合、前記信号入力の異常を検出する、
    　請求項１３に記載の情報処理装置。
  16. 　前記動作制御部は、前記信号入力の異常が検出された後に前記信号入力の正常が検出された場合に、前記オブジェクトの動作を前記所定の動作から前記ユーザの動作に基づくように遷移させるまでに、前記オブジェクトを、前記所定の動作とは異なる少なくとも一つの第２の中間動作を行うよう制御する、
    　請求項１に記載の情報処理装置。
  17. 　前記オブジェクトは、実空間に存在する実オブジェクトを含む、
    　請求項１に記載の情報処理装置。
  18. 　前記オブジェクトは、仮想空間に存在する仮想オブジェクトを含む、
    　請求項１に記載の情報処理装置。
  19. 　オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御することを含み、
    　プロセッサにより、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御することを含む、
    　情報処理方法。
  20. 　コンピュータを、
    　オブジェクトの動作を制御するための、ユーザの動作に応じた信号入力の異常が検出された場合に、前記信号入力の正常が検出されるまで、所定の動作を継続するように前記オブジェクトの動作を制御する動作制御部を備え、
    　前記動作制御部は、前記信号入力の異常が検出されてから前記オブジェクトの動作が前記所定の動作に遷移するまでに、前記オブジェクトを、前記信号入力の異常が検出された際の前記オブジェクトの動作および前記所定の動作とは異なる少なくとも一つの第１の中間動作を行うよう制御する、
    　情報処理装置として機能させるためのプログラム。
PCT/JP2018/009601 2017-05-18 2018-03-13 情報処理装置、情報処理方法およびプログラム WO2018211798A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880031031.XA CN110612552A (zh) 2017-05-18 2018-03-13 信息处理装置、信息处理方法和程序
JP2019519083A JP6927295B2 (ja) 2017-05-18 2018-03-13 情報処理装置、情報処理方法およびプログラム
US16/606,346 US11372473B2 (en) 2017-05-18 2018-03-13 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-098755 2017-05-18
JP2017098755 2017-05-18

Publications (1)

Publication Number Publication Date
WO2018211798A1 true WO2018211798A1 (ja) 2018-11-22

Family

ID=64274224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009601 WO2018211798A1 (ja) 2017-05-18 2018-03-13 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11372473B2 (ja)
JP (1) JP6927295B2 (ja)
CN (1) CN110612552A (ja)
WO (1) WO2018211798A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172651A1 (ja) 2021-02-12 2022-08-18 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146435A (ja) * 2004-11-17 2006-06-08 Univ Waseda 動作伝達システムおよび動作伝達方法
JP2012521038A (ja) * 2009-03-20 2012-09-10 マイクロソフト コーポレーション 連鎖アニメーション
JP2013533537A (ja) * 2010-06-02 2013-08-22 マイクロソフト コーポレーション アバター・ジェスチャーの表示制限

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US10007332B2 (en) * 2015-09-28 2018-06-26 Interblock D.D. Electronic gaming machine in communicative control with avatar display from motion-capture system
WO2017079731A1 (en) * 2015-11-06 2017-05-11 Mursion, Inc. Control system for virtual characters
US11318350B2 (en) * 2016-12-29 2022-05-03 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146435A (ja) * 2004-11-17 2006-06-08 Univ Waseda 動作伝達システムおよび動作伝達方法
JP2012521038A (ja) * 2009-03-20 2012-09-10 マイクロソフト コーポレーション 連鎖アニメーション
JP2013533537A (ja) * 2010-06-02 2013-08-22 マイクロソフト コーポレーション アバター・ジェスチャーの表示制限

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172651A1 (ja) 2021-02-12 2022-08-18 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US12105868B2 (en) 2021-02-12 2024-10-01 Sony Group Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP6927295B2 (ja) 2021-08-25
CN110612552A (zh) 2019-12-24
US11372473B2 (en) 2022-06-28
JPWO2018211798A1 (ja) 2020-05-14
US20210333862A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
JP6459972B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US10162594B2 (en) Information processing device, method of information processing, and program
JP6848881B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018072339A1 (zh) 一种虚拟现实头盔和切换虚拟现实头盔显示信息的方法
JP2009288951A (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2014185170A1 (ja) 画像処理装置、画像処理方法およびプログラム
EP3528024B1 (en) Information processing device, information processing method, and program
US11151804B2 (en) Information processing device, information processing method, and program
TWI467413B (zh) 掌上型電子裝置及其螢幕畫面自動旋轉方法
JP2016181018A (ja) 情報処理システムおよび情報処理方法
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018135057A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018163558A (ja) 情報処理装置、情報処理方法およびプログラム
WO2018211798A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20180352168A1 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
WO2020031795A1 (ja) 情報処理装置、情報処理方法およびプログラム
TWI634453B (zh) 在虛擬實境環境瀏覽時進行畫面切換之系統及方法，及其相關電腦程式產品
JP7078036B2 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2019087513A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2023111925A (ja) ヘッドマウント情報処理装置およびヘッドマウント情報処理装置の制御方法
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017199505A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016147693A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18801631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519083

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18801631

Country of ref document: EP

Kind code of ref document: A1