[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2010038693A1 - 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 - Google Patents

情報処理装置、情報処理方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
WO2010038693A1
WO2010038693A1 PCT/JP2009/066749 JP2009066749W WO2010038693A1 WO 2010038693 A1 WO2010038693 A1 WO 2010038693A1 JP 2009066749 W JP2009066749 W JP 2009066749W WO 2010038693 A1 WO2010038693 A1 WO 2010038693A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
motion data
basic
moving body
Prior art date
Application number
PCT/JP2009/066749
Other languages
English (en)
French (fr)
Inventor
智史 川口
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008256599A external-priority patent/JP5015109B2/ja
Priority claimed from JP2008256597A external-priority patent/JP5066047B2/ja
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US13/121,318 priority Critical patent/US8724849B2/en
Priority to CN200980139029.5A priority patent/CN102171726B/zh
Priority to EP09817726.4A priority patent/EP2343685B1/en
Publication of WO2010038693A1 publication Critical patent/WO2010038693A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, a program, and an information storage medium.
  • a technology related to motion capture that captures the movement of a moving body such as a human being imaged by a video camera or the like into an information processing apparatus is known.
  • an information processing apparatus that generates motion data indicating the movement of a moving object based on a series of images generated by imaging the moving object with a video camera.
  • a user marks several positions in an image to be generated and specifies the context of each mark to simulate the three-dimensional movement of a moving object.
  • motion data indicating the movement of a moving object based on a series of images generated by imaging the moving object with a video camera.
  • a user marks several positions in an image to be generated and specifies the context of each mark to simulate the three-dimensional movement of a moving object.
  • something that can generate motion data There is something that can generate motion data.
  • the program according to the present invention is a program that causes a computer to function as an information processing apparatus that generates motion data indicating a motion of a predetermined moving body, and an imaging unit images at least one object including the moving body.
  • Basic data acquisition means for acquiring a plurality of basic data including an image generated by the measurement and distance data indicating a distance between the object displayed in the image and the imaging means based on a measurement result by the distance measurement means A position in the image that is specified by the position specifying means in the image, and a position in the image that is specified by the position specifying means in the image based on the image included in each basic data And a distance that specifies a distance between the moving body and the imaging means based on the distance data included in the basic data including the image.
  • the position coordinate of the missing element when the position coordinate of the missing element is not calculated by the position coordinate calculation means, the position coordinate of the missing element is calculated based on each of a plurality of basic data different from the basic data. You may calculate based on the difference of the position coordinate of a missing element. In this way, when the position coordinates of the missing element in the three-dimensional space are not calculated based on the basic data, the position of the missing element in the three-dimensional space calculated based on a plurality of basic data different from the basic data. Using the coordinate difference information, the position coordinates of the missing element can be calculated.
  • the basic data is distance data indicating a distance between an image generated by each of a plurality of imaging units, an imaging unit that captured each of the images, and an object displayed in the image.
  • the position specifying means in the image specifies the position where the moving body is displayed in each image based on each of the plurality of images included in the basic data, and the distance specifying means.
  • the distance between the moving body and each imaging means is specified, and the position coordinate calculating means is specified by the distance specifying means and the positions in the plurality of images specified by the in-image position specifying means.
  • the position coordinates are calculated based on a plurality of the distances. In this way, since the blind spot when the object is imaged by the imaging means is reduced, it is possible to reduce the possibility that the position coordinates of the moving body in the three-dimensional space are not calculated based on the basic data.
  • Another information processing apparatus is an information processing apparatus that generates generated motion data indicating the movement of another moving body based on basic motion data indicating the movement of a predetermined moving body.
  • rule data storage means for storing a plurality of rule data indicating rules for determining the movement of the moving object indicated by the identifier based on the movement of the predetermined moving object
  • identifier receiving means for receiving the identifier of the moving object
  • the basic motion data acquired by the data selection means and the basic motion data acquisition means are included in the rules.
  • Generating motion data generating means for generating generated motion data indicating the movement of the moving object indicated by the identifier received by the identifier receiving means by applying the rule indicated by the rule data selected by the data selecting means.
  • Another information processing method is an information processing method for generating generated motion data indicating the movement of another moving body based on basic motion data indicating the movement of a predetermined moving body.
  • a plurality of rule data indicating a rule for determining a movement of the moving body indicated by the identifier based on the movement of the predetermined moving body in association with a body identifier in a rule data storage means; and the basic motion data The basic motion data acquisition step to be acquired, the identifier reception step for receiving the identifier of the moving object, and the rule data associated with the identifier received in the identifier reception step among the plurality of rule data stored in the rule data storage means
  • the rule data selection step for selecting the basic motion data acquisition step and the basic motion data acquisition step.
  • Another program is a program that causes a computer to function as an information processing apparatus that generates generated motion data indicating the movement of another moving body based on basic motion data indicating the movement of a predetermined moving body.
  • Basic motion data acquisition means for acquiring motion data, identifier reception means for receiving an identifier of a moving body, and a rule associated with an identifier received by the identifier reception means from among a plurality of rule data stored in the rule data storage means
  • Rule data selection means for selecting data, the basic motion data acquisition means Generating the generated motion data indicating the motion of the moving object indicated by the identifier received by the identifier receiving means by applying the rule indicated by the rule data selected by the rule data selecting means to the basic motion data acquired
  • the computer is caused to
  • Another information storage medium causes a computer to function as an information processing apparatus that generates generated motion data indicating the movement of another moving body based on basic motion data indicating the movement of a predetermined moving body.
  • a computer-readable information storage medium in which a program is stored, and rule data indicating rules for determining the movement of the moving object indicated by the identifier based on the movement of the predetermined moving object in association with the identifier of the moving object A plurality of rule data stored in the rule data storage means, a basic motion data acquisition means for acquiring the basic motion data, an identifier reception means for receiving an identifier of a moving object, The rule for selecting rule data associated with the identifier received by the identifier receiving means Applying the rule indicated by the rule data selected by the rule data selection unit to the basic motion data acquired by the data selection unit and the basic motion data acquisition unit, and the mobile unit indicated by the identifier received by the identifier reception unit
  • a computer-readable information storage medium storing a program for causing the computer to function as generated motion data generating
  • the motion data indicating the motion of the mobile body corresponding to the identifier received by the identifier receiving means is generated based on the basic motion data indicating the motion of the predetermined mobile body. Can reduce the time and effort of the creator when producing
  • the basic motion data indicates the position of the predetermined moving body in each frame
  • the rule data storage means sets the position of the moving body indicated by the identifier in each frame.
  • Rule data indicating rules to be determined based on the position of each moving body in each frame is stored, the basic motion data acquisition means sequentially acquires the basic motion data, and the generated motion data generation means is sequentially acquired.
  • the generated motion data indicating the position in each frame of the moving body indicated by the identifier received by the identifier receiving means by sequentially applying the rules indicated by the rule data selected by the rule data selecting means to each basic motion data Are sequentially generated. In this way, the generated motion data indicating the position of the moving body in each frame can be generated based on the position of the moving body in each frame indicated by the basic motion data.
  • the rule data storage means indicates a rule for determining the position of the moving body indicated by the identifier in each frame based on a combination of positions of the predetermined moving body in a plurality of different frames.
  • Rule data may be stored.
  • the basic motion data indicates movement of each of a plurality of elements included in the predetermined moving body
  • the rule data storage means is a moving body including a plurality of elements.
  • the generated motion data generating means In association with the identifier, storing rule data indicating a rule for determining the movement of each of the plurality of elements included in the moving body indicated by the identifier based on the movement of each of the plurality of elements included in the predetermined moving body, The generated motion data generating means generates generated motion data indicating the motion of each of the plurality of elements included in the moving object indicated by the identifier received by the identifier receiving means. In this way, the movement of each element included in the moving body corresponding to the identifier received by the identifier receiving unit indicated by the generated motion data can be associated with the movement of each element included in the predetermined moving body.
  • the rule data storage means includes a combination of positions of a plurality of elements included in one of the predetermined mobile body or the mobile body indicated by the identifier, and one element included in the other.
  • the rule data indicating the rule for associating with each other may be stored.
  • the position of one element included in the moving body corresponding to the identifier received by the identifier receiving means is calculated based on the combination of the positions of the plurality of elements included in the predetermined moving body, or Based on the position of one element included in the moving body, it is possible to calculate the position of each of the plurality of elements included in the moving body according to the identifier received by the identifier receiving unit.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of the information processing system 1 according to the first embodiment.
  • the information processing system 1 according to the first embodiment includes an information processing device 2 and a portable game device 3.
  • FIG. 2 is a perspective view showing an example of the portable game apparatus 3 according to the first embodiment.
  • the information processing apparatus 2 includes a control unit 21, a storage unit 22, a communication unit 23, and a user interface (UI) unit 24.
  • the control unit 21, the storage unit 22, the communication unit 23, and the UI unit 24 are connected via a bus.
  • the storage unit 22 of the information processing apparatus 2 is a storage element such as a RAM or a hard disk drive.
  • the storage unit 22 of the information processing device 2 stores a program executed by the control unit 21 of the information processing device 2.
  • the storage unit 22 of the information processing device 2 also operates as a work memory of the control unit 21 of the information processing device 2.
  • the communication unit 23 of the information processing apparatus 2 is, for example, a network interface and transmits information according to an instruction input from the control unit 21 of the information processing apparatus 2.
  • the communication unit 23 of the information processing apparatus 2 outputs information received via a network such as a LAN to the control unit 21 of the information processing apparatus 2.
  • the UI unit 24 of the information processing apparatus 2 is a display, a microphone, a speaker, a button, and the like, and outputs the content of the operation performed by the user and the voice input by the user to the control unit 21.
  • the UI unit 24 of the information processing device 2 displays and outputs information according to an instruction input from the control unit 21 of the information processing device 2.
  • the shape of the housing 30 of the portable game apparatus 3 according to the first embodiment is a box shape.
  • the portable game device 3 according to the first embodiment includes a control unit 31, a storage unit 32, a communication unit 33, a display unit 34, an operation unit 35, an imaging unit 36, and a distance measurement unit 37. It is equipped with.
  • the control unit 31 of the portable game apparatus 3 is a program control device such as a CPU, and operates according to a program stored in the storage unit 32 of the portable game apparatus 3.
  • the display unit 34 of the portable game apparatus 3 is, for example, a liquid crystal display, and displays an image according to an instruction from the control unit 31 of the portable game apparatus 3.
  • the display unit 34 of the portable game apparatus 3 is provided in the center of the front surface of the housing 30 of the portable game apparatus 3.
  • the control unit 31 of the portable game apparatus 3 may instruct the display unit 34 of the portable game apparatus 3 together with attributes such as the resolution and aspect ratio of the displayed image.
  • the control unit 31 of the portable game apparatus 3 displays an image displayed on the display unit 34 of the portable game apparatus 3 in accordance with the contents of attribute information indicating attributes such as image resolution and aspect ratio included in the program to be executed. You may indicate the attribute.
  • the operation unit 35 of the portable game apparatus 3 is, for example, an operation member (specifically, for example, a cross key or a button), and output data corresponding to an operation on the operation member is output to the control unit of the portable game apparatus 3. 31 is output.
  • the control unit 31 of the portable game apparatus 3 acquires the output data, and executes processing corresponding to the operation of the player on the operation member by using the output data.
  • the operation unit 35 of the portable game apparatus 3 is provided on the left and right of the display unit 34 of the portable game apparatus 3. In other words, the operation unit 35 of the portable game apparatus 3 is arranged separately on the front left side and the front right side of the housing 30 of the portable game apparatus 3.
  • the imaging unit 36 of the portable game device 3 includes, for example, a known digital camera, and is a black and white, grayscale, or color image (for example, an image in JPEG format) every predetermined time (for example, 1/60 seconds). ) Is generated.
  • the imaging unit 36 of the portable game apparatus 3 may be a standard camera, a telephoto camera, or a wide-angle camera.
  • the imaging unit 36 of the portable game device 3 is provided on the upper side of the display unit 34 of the portable game device 3. That is, the imaging unit 36 of the portable game apparatus 3 is provided on the upper side near the front center of the housing 30.
  • the distance measuring unit 37 of the portable game device 3 measures the distance between the portable game device 3 and an external object existing outside.
  • the distance measuring unit 37 of the portable game apparatus 3 is, for example, a distance between the imaging unit 36 of the portable game apparatus 3 and an external object (more specifically, for example, the surface of the external object) (hereinafter referred to as object distance).
  • object distance a distance between the imaging unit 36 of the portable game apparatus 3 and an external object (more specifically, for example, the surface of the external object) (hereinafter referred to as object distance).
  • object distance a distance between the imaging unit 36 of the portable game apparatus 3 and an external object (more specifically, for example, the surface of the external object) (hereinafter referred to as object distance).
  • the distance measuring unit 37 of the portable game apparatus 3 associates each pixel included in the image generated by the imaging unit 36 of the portable game apparatus 3 with the object distance corresponding to each pixel.
  • Distance data 44 is generated. That is, in the first embodiment, the pixel position in the image generated by the imaging unit 36 of the portable game device 3 and the object distance measured by the distance measurement unit 37 of the portable game device 3 are one-to-one. It is matched.
  • the distance measuring unit 37 of the portable game apparatus 3 is, for example, a stereo camera composed of a plurality of lenses. Based on the parallax of each lens, the distance between the external object and the portable game apparatus 3 is determined. Measure distance.
  • the distance measuring unit 37 of the portable game apparatus 3 is not limited to a stereo camera, and the distance measuring unit 37 of the portable game apparatus 3 outputs infrared rays, and the infrared rays are reflected back to the imaging target object. You may measure the time until it comes and measure the distance between the external object and the portable game apparatus 3 based on the measured time.
  • the distance measuring unit 37 of the portable game apparatus 3 includes a plurality of lenses having different focal lengths, and among these lenses, the external object and the portable type are based on a lens that is in focus with respect to the external object. The distance from the game apparatus 3 may be measured.
  • the distance measurement unit 37 of the portable game apparatus 3 is formed integrally with the imaging unit 36 of the portable game apparatus 3 and is provided on the upper side of the display unit 34. That is, the distance measuring unit 37 of the portable game apparatus 3 is provided on the upper side near the front center.
  • the portable game apparatus 3 generates basic data 40 and transmits it to the information processing apparatus 2 (see FIG. 3).
  • FIG. 3 is a diagram illustrating an example of the data structure of the basic data 40.
  • the basic data 40 includes a user image 42 and distance data 44.
  • the imaging unit 36 of the portable game apparatus 3 captures the movement of the subject user 46 every predetermined time (for example, 1/60 seconds), and generates a series of user images 42 (FIG. 4A). See FIG. 4E).
  • the subject user 46 is only shown as an example of a moving object.
  • the imaging unit 36 may capture a moving body other than the subject user 46 and generate an image of the moving body.
  • 4A shows an example of the first user image 42-1
  • FIG. 4B shows an example of the second user image 42-2
  • FIG. 4C shows an example of the third user image 42-3
  • FIG. 4D shows the fourth user image 42-2.
  • FIG. 4E shows an example of the fifth user image 42-5.
  • the user image 42 according to the first embodiment displays not only the subject user 46 but also the ground 48. That is, at least one object including a moving body such as the subject user 46 is displayed in the image generated by the imaging unit 36.
  • the distance measuring unit 37 of the portable game apparatus 3 sequentially measures the distance between the subject user 46 and the portable game apparatus 3, and associates the object distance corresponding to each pixel in the nth user image 42-n. N-th distance data 44-n is generated. Then, the control unit 31 of the portable game apparatus 3 generates the nth basic data 40-n including the nth user image 42-n and the nth distance data 44-n corresponding to the user image 42. .
  • the communication unit 33 of the portable game apparatus 3 transmits the basic data 40 to the information processing apparatus 2. Then, the communication unit 23 of the information processing device 2 receives the basic data 40.
  • FIG. 5 is a functional block diagram of the information processing apparatus 2 according to the present embodiment.
  • the information processing apparatus 2 according to the first embodiment functionally includes a basic data acquisition unit 50, an in-image position specifying unit 52, a distance specifying unit 54, a position coordinate calculating unit 56, motion data. It functions as including the generation unit 58.
  • These elements are realized by executing a program installed in the information processing apparatus 2, which is a computer, by the control unit 21 such as a CPU included in the information processing apparatus 2.
  • This program is supplied to the information processing apparatus 2 via a computer-readable information transmission medium such as a CD-ROM or DVD-ROM, or via a communication network such as the Internet.
  • the basic data acquisition unit 50 acquires a plurality of basic data 40 including images and distance data 44.
  • the basic data acquisition unit 50 includes a user image 42 and distance data 44 that are transmitted by the communication unit 33 of the portable game apparatus 3 and received by the communication unit 23 of the information processing apparatus 2. Data 40 is acquired sequentially.
  • the in-image position specifying unit 52 displays an image in which a predetermined moving body (subject user 46 in the first embodiment) is displayed based on an image included in the basic data 40 (a user image 42 in the first embodiment). The position in the user image 42 in the first embodiment is specified.
  • the subject user 46 includes a plurality of elements 60 (see FIG. 6).
  • each element 60 corresponds to a body part of the subject user 46 such as a head, a torso, a left knee, a right knee, a left foot, a right foot, a left hand, and a right hand.
  • the in-image position specifying unit 52 specifies the position of each element 60 in the user image 42 using, for example, a pattern recognition technique.
  • FIG. 6 is a diagram illustrating an example of the position of each element 60 including the right hand element 60a indicating the right hand and the body element 60b indicating the body in the first user image 42-1 specified by the in-image position specifying unit 52. It is.
  • the in-image position specifying unit 52 may specify the position of each element 60 based on the color of each pixel in the user image 42.
  • the in-image position specifying unit 52 may specify the position of each element 60 in the user image 42 using an existing optical motion capture technique or the like.
  • the in-image position specifying unit 52 specifies the elements 60 included in the subject user 46 and the positions of the respective elements 60 in the user image 42, which are stored in advance in the storage unit 22 of the information processing device 2. You may make it identify the position coordinate of each element using the specific method data which show a method.
  • the in-image position specifying unit 52 may specify the position coordinates of a representative point representing each element 60 (for example, the center of gravity of the area where each element 60 is displayed).
  • the in-image position specifying unit 52 includes the position coordinates (right hand nth image position coordinates) of the center of gravity (right hand center of gravity) of the area where the right hand element 60a is displayed in the nth user image 42-n. (X n , Y n ) is specified.
  • FIG. 6 also shows the right-hand first image position coordinates (X 1 , Y 1 ) specified by the image position specifying unit 52.
  • the position coordinates (X n , Y n ) in the right hand n-th image are two-dimensional coordinates with the upper left point of the n-th user image 42-n as the origin, the lower direction as the X axis, and the right direction as the Y axis. It is expressed in position coordinates in the system.
  • the method of expressing the position coordinates in the image is not limited to the above-described method.
  • the distance specifying unit 54 determines whether the mobile object and the portable game apparatus 3 are based on the position in the image specified by the in-image position specifying unit 52 and the distance data 44 included in the basic data 40 including the image.
  • the distance from the imaging unit 36 is specified.
  • the distance specifying unit 54 is an object distance associated with the position coordinates of the representative point of each element 60 in the user image 42 indicated by the distance data 44 included in the basic data 40 including the user image 42. Is identified. Specifically, for example, the right hand n th-image position coordinates (X n, Y n) is associated to a pixel of the object distance indicated by the n-th distance data 44-n, specified as the right hand n th object distance Z n To do.
  • Figure 7 shows a diagram illustrating an example of a right hand first object distance Z 1.
  • the distance specifying unit 54 may specify the object distance by a method different from that described above. Specifically, for example, the average value of the object distance associated with each pixel in the region where the right hand element 60a is displayed in the nth user image 42- n is specified as the right hand nth object distance Zn. May be.
  • the position coordinate calculation unit 56 calculates the position coordinates of the moving object in the three-dimensional space based on the position in the image specified by the in-image position specifying unit 52 and the distance specified by the distance specifying unit 54. To do.
  • the position coordinate calculating unit 56 specifies the position coordinates of the representative point of each element 60 in the nth user image 42-n and the distance specifying unit 54 based on the nth distance data 44-n.
  • the nth three-dimensional position coordinate of the representative point is calculated based on the object distance associated with the position coordinate.
  • the position coordinate calculation unit 56 determines the right hand n th three-dimensional position coordinates based on the right hand n th image position coordinates (X n , Y n ) and the right hand n th object distance Z n. (X n , y n , z n ) is calculated (see FIG. 8). Note that the position coordinate calculation unit 56 may calculate the fuselage n-th three-dimensional position coordinates (x n ′, y n ′, z n ′) by the same method. In the first embodiment, the three-dimensional position coordinates are expressed by the orthogonal coordinate system. However, the three-dimensional position coordinates may be expressed by another coordinate system such as a polar coordinate system.
  • the motion data generation unit 58 generates motion data indicating the movement of the moving object in the three-dimensional space based on the position coordinates calculated based on each basic data 40.
  • the motion indicating the movement of the subject user 46 in the three-dimensional space based on the three-dimensional position coordinates of the representative point of each element 60 included in the subject user 46 calculated based on each basic data 40.
  • Generate data More specifically, for example, a series of right-hand first 3D position coordinates (x 1 , y 1 , z 1 ), right-hand second 3D position coordinates (x 2 , y 2 , z 2 ), etc. n three-dimensional position coordinates (x n , y n , z n ) are combined to generate motion data indicating movement in the right-hand three-dimensional space.
  • the motion data generation unit 58 uses the connection relationship data indicating the connection relationship between the elements 60 stored in advance in the storage unit 22 of the information processing apparatus 2 as illustrated in FIG. 46 wire frame model data 62 may be generated. In this way, by combining motion data indicating the movement of each element, for example, motion data indicating how a person walks is generated.
  • motion data is generated based on a series of three-dimensional position coordinates. Therefore, according to the information processing apparatus 2 according to the first embodiment, it is possible to generate motion data in which the three-dimensional movement of the moving object is simulated.
  • the in-image position specifying unit 52 specifies the right-hand nth in-image position coordinates (X n , Y n ) based on the nth user image 42-n included in the nth basic data 40-n (S101). ).
  • the distance specifying unit 54 specifies the right-hand n-th object distance Z n indicated in the distance data 44 included in the basic data 40 corresponding to the position coordinates (X n , Y n ) in the right-hand n-th image (S102). ).
  • the position coordinate calculation unit 56 calculates the right hand n th three-dimensional position coordinates (x n , y) based on the right hand n th image position coordinates (X n , Y n ) and the right hand n th object distance Z n. n , z n ) is calculated (S103).
  • the position coordinate calculating unit 56 by the processing shown in S103, the right hand n th three-dimensional position coordinates (x n, y n, z n) checks whether the calculated (S104). If the right-hand nth three-dimensional position coordinates (x n , y n , z n ) have been calculated (S104: Y), this process ends.
  • the in-image position specifying unit 52 may not be able to specify the right-hand nth in-image position coordinates (X n , Y n ) based on the nth user image 42-n. More specifically, for example, as shown in FIG. 4C, since the right-hand element 60a is hidden behind the subject user 46, the in-image position specifying unit 52 is based on the nth user image 42-3. There are cases where the position coordinates (X 3 , Y 3 ) in the right-hand third image cannot be specified.
  • the distance specifying unit 54 based on the first n distance data 44-n, it may not determine the right hand n th object distance Z n. In such a case, in the processing shown in S104, based on the first n basic data 40-n, the right hand n th three-dimensional position coordinates (x n, y n, z n) is not calculated.
  • the position coordinate calculation unit 56 performs a three-dimensional analysis based on basic data 40 different from the nth basic data 40-n among the plurality of basic data 40 acquired by the basic data acquisition unit 50.
  • the position coordinates are calculated (S105).
  • the position coordinate calculation unit 56 performs three-dimensional position coordinates (body n-th three-dimensional position coordinates (x n ′, y n ′, z n ′)) of the element 60 (body element 60 b) indicating the body. ) from the right hand n th three-dimensional position coordinates (x n, y n, z n) using vector V n in the n-th three-dimensional position coordinates of the right hand element 60a, which are not calculated by the processing shown in S104 (x n , Y n , z n ) may be calculated.
  • the position coordinate calculation unit 56 calculates the third three-dimensional position coordinates (x 3 , y 3 , z 3 ) using the vector V n .
  • the position coordinate calculation unit 56 first calculates the right hand second vector V 2 and the right hand third vector V 3 based on the angle ⁇ 12 formed by the right hand first vector V 1 and the right hand second vector V 2.
  • the position coordinate calculation unit 56 calculates the right-hand first based on the vector sum of the position vector of the body third three-dimensional position coordinates (x 3 ′, y 3 ′, z 3 ′) and the right-hand third vector V 3 . 3 Three-dimensional position coordinates (x 3 , y 3 , z 3 ) are calculated.
  • the calculation method of the right-hand nth three-dimensional position coordinates (x n , y n , z n ) in the process shown in S105 is not limited to the above-described method.
  • the position coordinate calculation unit 56 generates a vector (x 2 ⁇ x) from the first 3D position coordinates (x 1 , y 1 , z 1 ) to the second 3D position coordinates (x 2 , y 2 , z 2 ).
  • the position coordinate calculation unit 56 calculates the position coordinates of the missing element based on basic data 40 different from the nth basic data 40-n among the plurality of basic data 40 acquired by the basic data acquisition unit 50. It does not matter (see S105). Further, the position coordinate calculation unit 56 may calculate the three-dimensional position coordinates of the missing element based on the difference of the three-dimensional position coordinates.
  • the node position coordinate 206 included in the motion data 204 (hereinafter referred to as second motion data 204-2) in which the value of the mobile object ID 174 is set to “2” is stored in the mobile object ID 174.
  • the rule data 210 selected by the rule data selection unit 164 indicates the node position coordinates 206 included in the motion data 204 for which “1” is set (hereinafter referred to as first motion data 204-1). Calculated by applying rules.
  • a rule to be set as the node position coordinates 206 may be indicated. By displaying such a rule in the rule data 210, even if the number of node elements 178 included in the subject user 140 and the number of node elements 178 included in the spider object 212 are different, they are included in the spider object 212.
  • the node position coordinates 206 of each node element 178 can be calculated. That is, the node element 178 can be added or deleted when generating the generated motion data based on the basic motion data.
  • the rule data 210 may indicate a rule other than the rules shown above. Specifically, for example, the rule data 210 is subjected to predetermined mathematical transformation such as linear transformation or affine transformation on the position coordinates of the elements included in the first moving body (for example, the subject user 140). The rule for calculating the position coordinates of the elements included in the second moving body (for example, the spider object 212) may be indicated. Further, for example, the rule data 210 may indicate rules such as changing the length of the link element 180, rotating the link element 180, or changing the size of the polygon element 182.
  • the rule data selection unit 164 sets the value of the first mobile body ID 174-1 to “1” from the mobile body correspondence management data 208 stored in the rule data storage unit 162, and the second mobile body ID 174.
  • the rule data 210 included in the moving object correspondence management data 208 whose value of ⁇ 2 is “2” is selected (S204).
  • the image generation unit 168 generates the spider image 214 based on the motion data 204 acquired by the process shown in S8, and outputs the spider image 214 to the UI unit 24 of the information processing apparatus 2 (S210).
  • the movement of various moving objects is indicated according to the moving object ID 174 received by the identifier receiving unit 150.
  • the motion data 204 it is possible to generate motion data 204 indicating movements of various moving objects and images based on the motion data 204.
  • the generated motion data 204 may be uploaded from the communication unit 23 of the information processing apparatus 2 to a server (not shown) connected via a network such as the Internet.
  • the user indicates data indicating the game title using the motion data 204, data indicating the author of the motion data 204, and motion data 204 (basic motion data) that is the basis for generating the motion data 204.
  • the motion data 204 may be uploaded in association with attribute data such as data indicating CG data generated based on the motion data 204 and data indicating a CG character.
  • the motion data 204 and the attribute data may be stored in association with each other. Further, the motion data 204 may be stored in the server after being converted into data described in an existing script language.
  • the user may be able to view the motion data 204 stored in the server using, for example, a browser.
  • the motion data 204 may be displayed after being classified into categories.
  • the motion data 204 may be iconified. Specifically, for example, the motion data 204 may be expressed by a browser as a movement of a wire frame or a character.
  • the motion data 204 to be browsed is a hyperlink to the network store of the motion data 204, and the user can purchase the motion data 204 by clicking the hyperlink. It may be.
  • the motion data 204 newly uploaded to the server may be downloaded sequentially by the information processing apparatus 2 via the network and cached in the storage unit 22 of the information processing apparatus 2. Further, for example, the motion data 204 may be stored in the storage unit 22 of the information processing apparatus 2 together with the game save data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる情報処理装置を提供する。基礎データ取得部（５０）が、画像と、測定結果に基づく、当該画像に表示されている物体と撮像部との距離を示す距離データと、を含む基礎データを複数取得する。画像内位置特定部（５２）が、取得される画像に基づいて、移動体が表示されている、その画像内の位置を特定する。距離特定部（５４）が、特定される画像内の位置と、距離データと、に基づいて、移動体と撮像部との距離を特定する。位置座標算出部（５６）が、特定される画像内の位置と特定される距離とに基づいて、移動体の三次元位置座標を算出する。モーションデータ生成部（５８）が、算出される三次元位置座標に基づいて、移動体の三次元空間内における動きを示すモーションデータを生成する。

Description

情報処理装置、情報処理方法、プログラム及び情報記憶媒体
　本発明は、情報処理装置、情報処理方法、プログラム及び情報記憶媒体に関する。
　ビデオカメラなどで撮像される人間などの移動体の動きを情報処理装置に取り込むモーションキャプチャに関する技術が知られている。例えば、ビデオカメラで移動体を撮像することにより生成される一連の画像に基づいて、その移動体の動きを示すモーションデータを生成する情報処理装置が存在する。このような情報処理装置のなかには、ユーザが、生成される画像内のいくつかの位置をマーキングし、それぞれのマークの前後関係を指定することで、移動体の立体的な動きをシミュレートしてモーションデータを生成することができるものが存在する。
　しかしながら、従来の情報処理装置では、移動体の立体的な動きをシミュレートしてモーションデータを生成する際に、ユーザが画像内の位置を指定する必要があり、手間がかかっていた。
　また、モーションキャプチャなどにより生成されるモーションデータは、コンピュータグラフィックス（ＣＧ）を制作する際などに活用されている。例えば、人間の動きを撮像することにより生成されるモーションデータを用いて、人間の動きを表すＣＧを容易に制作することができる。しかし、例えば、クモの動きを表すＣＧを制作する場面では、人間の動きを撮像することにより生成されるモーションデータに対して適切な加工を施すなどの工夫をする必要があった。このように、従来は、モーションデータを利用してＣＧを制作する際には、制作者の手間がかかっていた。特に、所定の移動体の動きを示すモーションデータを用いて、他の移動体の動きを表すＣＧを制作する際には、制作者の手間がかかっていた。
　本発明は、上記課題に鑑みてなされたものであって、その目的の１つは、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することにある。
　また、本発明の別の目的は、モーションデータを利用してＣＧを制作する際における制作者の手間を軽減することができる情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することにある。
　上記課題を解決するために、本発明に係る情報処理装置は、所定の移動体の動きを示すモーションデータを生成する情報処理装置であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段と、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段と、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段と、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段と、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段と、を含むことを特徴とする。
　また、本発明に係る情報処理方法は、所定の移動体の動きを示すモーションデータを生成する情報処理方法であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得ステップと、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定ステップと、前記画像内位置特定ステップにより特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定ステップと、前記画像内位置特定ステップにより特定される前記画像内の位置と、前記距離特定ステップにより特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出ステップと、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段として前記コンピュータを機能させることを特徴とする。
　また、本発明に係る情報記憶媒体は、所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段、として前記コンピュータを機能させることを特徴とするプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。
　本発明によると、距離測定手段による測定結果に基づく距離データに基づいて、移動体の三次元空間内における位置座標が算出されるので、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる。
　本発明の一態様では、前記移動体が複数の要素を含み、前記画像内位置特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素が表示されている当該画像内の位置を特定し、前記距離特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素と前記撮像手段との距離を特定し、前記位置座標算出手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素の三次元空間内における位置座標を算出し、前記位置座標算出手段により、前記基礎データに基づいて前記移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて算出することを特徴とする。こうすれば、基礎データからは三次元空間内における欠落要素の位置座標が算出されない場合に、基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて、この欠落要素の三次元空間内における位置座標を算出することができる。
　また、この態様では、前記位置座標算出手段により前記欠落要素の位置座標が算出されない状態が所定時間にわたり継続する場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記時間の前において最後に算出される当該欠落要素の位置座標と、前記時間の後において最初に算出される当該欠落要素の位置座標と、に基づいて算出してもよい。こうすれば、三次元空間内における欠落要素の位置座標の算出が所定時間にわたりできない場合に、三次元空間内におけるこれらの欠落要素の位置座標を、この所定時間の直前及び直後に算出される当該欠落要素の位置座標に基づいて算出することができる。
　また、この態様では、前記位置座標算出手段により前記欠落要素の位置座標が算出されない場合は、当該欠落要素の位置座標を、当該基礎データとは異なる複数の基礎データそれぞれに基づいて算出される当該欠落要素の位置座標の差分に基づいて算出してもよい。こうすれば、基礎データに基づいて三次元空間内における欠落要素の位置座標が算出されない場合に、この基礎データとは異なる複数の基礎データに基づいて算出される三次元空間内における欠落要素の位置座標の差分の情報を用いて、当該欠落要素の位置座標を算出することができる。
　また、本発明の一態様では、前記基礎データが、複数の撮像手段それぞれにより生成される画像と、前記各画像を撮像した撮像手段と当該画像に表示されている物体との距離を示す距離データと、を含み、前記画像内位置特定手段が、前記基礎データに含まれる複数の画像それぞれに基づいて、それぞれの画像内の前記移動体が表示されている位置を特定し、前記距離特定手段が、前記移動体と前記各撮像手段との距離を特定し、前記位置座標算出手段が、前記画像内位置特定手段により特定される複数の前記画像内の位置と、前記距離特定手段により特定される複数の前記距離と、に基づいて、前記位置座標を算出することを特徴とする。こうすれば、撮像手段により物体を撮像する際における死角が少なくなるので、基礎データに基づいて移動体の三次元空間内における位置座標が算出されない可能性を減らすことができる。
　本発明に係る別の情報処理装置は、所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理装置であって、移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを複数記憶する規則データ記憶手段と、移動体の識別子を受け付ける識別子受付手段と、前記基礎モーションデータを取得する基礎モーションデータ取得手段と、前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付手段が受け付ける識別子と関連付けられる規則データを選択する規則データ選択手段と、前記基礎モーションデータ取得手段により取得される基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を適用して、前記識別子受付手段が受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成手段と、を含むことを特徴とする。
　また、本発明に係る別の情報処理方法は、所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理方法であって、移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを規則データ記憶手段に複数記憶させるステップと、前記基礎モーションデータを取得する基礎モーションデータ取得ステップと、移動体の識別子を受け付ける識別子受付ステップと、前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付ステップで受け付ける識別子と関連付けられる規則データを選択する規則データ選択ステップと、前記基礎モーションデータ取得ステップにより取得される基礎モーションデータに、前記規則データ選択ステップにより選択される規則データが示す規則を適用して、前記識別子受付ステップで受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成ステップと、を含むことを特徴とする。
　また、本発明に係る別のプログラムは、所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを規則データ記憶手段に複数記憶させる手段、前記基礎モーションデータを取得する基礎モーションデータ取得手段、移動体の識別子を受け付ける識別子受付手段、前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付手段が受け付ける識別子と関連付けられる規則データを選択する規則データ選択手段、前記基礎モーションデータ取得手段により取得される基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を適用して、前記識別子受付手段が受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成手段、として前記コンピュータを機能させることを特徴とする。
　また、本発明に係る別の情報記憶媒体は、所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体であって、移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを規則データ記憶手段に複数記憶させる手段、前記基礎モーションデータを取得する基礎モーションデータ取得手段、移動体の識別子を受け付ける識別子受付手段、前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付手段が受け付ける識別子と関連付けられる規則データを選択する規則データ選択手段、前記基礎モーションデータ取得手段により取得される基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を適用して、前記識別子受付手段が受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成手段、として前記コンピュータを機能させることを特徴とするプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。
　本発明によると、所定の移動体の動きを示す基礎モーションデータに基づいて、識別子受付手段が受け付ける識別子に応じた移動体の動きを示すモーションデータが生成されるので、モーションデータを利用してＣＧを制作する際における制作者の手間を軽減することができる。
　本発明の一態様では、前記基礎モーションデータが、各フレームにおける前記所定の移動体の位置を示しており、前記規則データ記憶手段が、前記識別子が示す移動体の各フレームにおける位置を、前記所定の移動体の各フレームにおける位置に基づいて決定する規則を示す規則データを記憶し、前記基礎モーションデータ取得手段が、前記基礎モーションデータを順次取得し、前記生成モーションデータ生成手段が、順次取得される前記各基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を順次適用して、前記識別子受付手段が受け付ける識別子が示す移動体の各フレームにおける位置を示す前記生成モーションデータを順次生成することを特徴とする。こうすれば、各フレームにおける移動体の位置が示された生成モーションデータを、基礎モーションデータが示す各フレームにおける移動体の位置に基づいて生成することができる。
　また、この態様では、前記規則データ記憶手段が、前記識別子が示す移動体の各フレームにおける位置を、前記所定の移動体の、互いに異なる複数のフレームにおける位置の組合せに基づいて決定する規則を示す規則データを記憶してもよい。こうすれば、異なるフレームにおける所定の移動体の位置に基づいて、生成モーションデータが生成されるので、生成モーションデータのバリエーションを豊かにすることができる。
　また、本発明の一態様では、前記基礎モーションデータが、前記所定の移動体に含まれる複数の要素それぞれの動きを示しており、前記規則データ記憶手段が、複数の要素が含まれる移動体の識別子に関連付けて、当該識別子が示す移動体に含まれる複数の要素それぞれの動きを前記所定の移動体に含まれる複数の要素それぞれの動きに基づいて決定する規則を示す規則データを記憶し、前記生成モーションデータ生成手段が、前記識別子受付手段が受け付ける識別子が示す移動体に含まれる複数の要素それぞれの動きを示す生成モーションデータを生成することを特徴とする。こうすれば、生成モーションデータが示す、識別子受付手段が受け付ける識別子に応じた移動体に含まれる要素それぞれの動きを、所定の移動体に含まれる要素それぞれの動きに対応づけることができる。
　また、この態様では、前記規則データ記憶手段が、前記所定の移動体又は前記識別子が示す移動体のうちの一方に含まれる複数の要素それぞれの位置の組合せと、他方に含まれる１つの要素とを対応づける規則を示す規則データを記憶してもよい。こうすれば、所定の移動体に含まれる複数の要素の位置の組合せに基づいて、識別子受付手段が受け付ける識別子に応じた移動体に含まれる１つの要素の位置を算出すること、あるいは、所定の移動体に含まれる１つの要素の位置に基づいて、識別子受付手段が受け付ける識別子に応じた移動体に含まれる複数の要素それぞれの位置を算出することが可能となる。
本発明の第１実施形態に係る情報処理システムのハードウェア構成の一例を示すハードウェア構成図である。 本発明の第１実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。 基礎データのデータ構造の一例を示す図である。 第１ユーザ画像の一例を示す図である。 第２ユーザ画像の一例を示す図である。 第３ユーザ画像の一例を示す図である。 第４ユーザ画像の一例を示す図である。 第５ユーザ画像の一例を示す図である。 本発明の第１実施形態に係る情報処理装置の機能の一例を示す機能ブロック図である。 第１ユーザ画像内の各要素の位置の一例を示す図である。 右手第１物体距離の一例を示す図である。 ワイヤーフレームモデルデータの一例を示す図である。 本発明の第１実施形態に係る情報処理装置で行われる処理のフローの一例を示す図である。 第３三次元位置座標の算出方法の一例を示す図である。 複数の携帯型ゲーム装置の撮像部によりユーザを撮像する様子の一例を示す図である。 ユーザ画像の一例を示す図である。 画像データのデータ構造の一例を示す図である。 本発明の第２実施形態に係る情報処理装置の機能ブロック図である。 第１移動体選択画面の一例を示す図である。 受付識別子データのデータ構造の一例を示す図である。 被写体ユーザに含まれる各要素の一例を示す図である。 移動体要素データのデータ構造の一例を示す図である。 モーションデータのデータ構造の一例を示す図である。 移動体対応管理データのデータ構造の一例を示す図である。 クモオブジェクトに含まれる各要素の一例を示す図である。 クモ画像の一例を示す図である。 本発明の第２実施形態に係る情報処理装置で行われる処理のフローの一例を示す図である。
[第１実施形態]
　以下、本発明の一実施形態である第１実施形態について図面に基づき詳細に説明する。
　図１は、第１実施形態に係る情報処理システム１のハードウェア構成の一例を示す図である。図１に示すように、第１実施形態に係る情報処理システム１は、情報処理装置２と、携帯型ゲーム装置３と、を含んでいる。そして、図２は、第１実施形態に係る携帯型ゲーム装置３の一例を示す斜視図である。
　情報処理装置２は、制御部２１、記憶部２２、通信部２３、ユーザインタフェース（ＵＩ）部２４、を含んで構成される。制御部２１、記憶部２２、通信部２３、ＵＩ部２４、はバスを介して接続される。
　情報処理装置２の制御部２１はＣＰＵ等のプログラム制御デバイスであり、情報処理装置２にインストールされるプログラムに従って動作する。
　情報処理装置２の記憶部２２は、ＲＡＭ等の記憶素子やハードディスクドライブなどである。情報処理装置２の記憶部２２には、情報処理装置２の制御部２１によって実行されるプログラムなどが記憶される。また、情報処理装置２の記憶部２２は、情報処理装置２の制御部２１のワークメモリとしても動作する。
　情報処理装置２の通信部２３は、例えば、ネットワークインタフェースなどであり、情報処理装置２の制御部２１から入力される指示に従って、情報を送信する。また、この情報処理装置２の通信部２３は、ＬＡＮなどのネットワークを介して受信される情報を情報処理装置２の制御部２１に出力する。
　情報処理装置２のＵＩ部２４は、ディスプレイ、マイク、スピーカ、ボタンなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部２１に出力する。また、この情報処理装置２のＵＩ部２４は、情報処理装置２の制御部２１から入力される指示に従って情報を表示出力したり音声出力したりする。
　図２に示すように、第１実施形態に係る携帯型ゲーム装置３の筐体３０の形状は、箱形である。そして、図１に示すように、第１実施形態に係る携帯型ゲーム装置３は、制御部３１、記憶部３２、通信部３３、表示部３４、操作部３５、撮像部３６、距離測定部３７、を備えている。
　携帯型ゲーム装置３の制御部３１はＣＰＵ等のプログラム制御デバイスであり、携帯型ゲーム装置３の記憶部３２に格納されたプログラムに従って動作する。
　携帯型ゲーム装置３の記憶部３２は、ＲＡＭ等の記憶素子やハードディスクドライブなどである。携帯型ゲーム装置３の記憶部３２には、携帯型ゲーム装置３の制御部３１によって実行されるプログラムなどが格納される。具体的には、例えば、携帯型ゲーム装置３の制御部３１で実行されるゲームプログラムが格納される。このゲームプログラムは、例えば、ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して携帯型ゲーム装置３に供給される。また、携帯型ゲーム装置３の記憶部３２は、携帯型ゲーム装置３の制御部３１のワークメモリとしても動作する。
　携帯型ゲーム装置３の通信部３３は、例えば、ネットワークインタフェースなど（具体的には、例えば、無線ＬＡＮモジュール）であり、携帯型ゲーム装置３の制御部３１から入力される指示に従って、情報処理装置２などへ情報を送信する。また、この携帯型ゲーム装置３の通信部３３は、受信される情報を携帯型ゲーム装置３の制御部３１に出力する。
　第１実施形態においては、情報処理装置２の通信部２３、及び、携帯型ゲーム装置３の通信部３３は、ＬＡＮなどのネットワークに接続されており互いに通信することができるようになっている。なお、ネットワークは有線であっても無線であっても構わない。
　携帯型ゲーム装置３の表示部３４は、例えば液晶ディスプレイ等であり、携帯型ゲーム装置３の制御部３１からの指示に従って、画像の表示を行う。第１実施形態では、携帯型ゲーム装置３の表示部３４は、携帯型ゲーム装置３の筐体３０の正面中央部に設けられている。ここで、携帯型ゲーム装置３の制御部３１は、携帯型ゲーム装置３の表示部３４に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、携帯型ゲーム装置３の制御部３１は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って携帯型ゲーム装置３の表示部３４に表示される画像の属性を指示してもよい。
　携帯型ゲーム装置３の操作部３５は、例えば、操作部材（具体的には、例えば、十字キーやボタン）であり、当該操作部材に対する操作に応じた出力データを携帯型ゲーム装置３の制御部３１に対して出力する。携帯型ゲーム装置３の制御部３１は、この出力データを取得することで、当該出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。第１実施形態では、携帯型ゲーム装置３の操作部３５は、携帯型ゲーム装置３の表示部３４の左右に設けられている。すなわち、携帯型ゲーム装置３の操作部３５は、携帯型ゲーム装置３の筐体３０の正面左側及び正面右側に分かれて配置されている。
　携帯型ゲーム装置３の撮像部３６は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。なお、携帯型ゲーム装置３の撮像部３６は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。第１実施形態では、携帯型ゲーム装置３の撮像部３６は、携帯型ゲーム装置３の表示部３４の上側に設けられている。すなわち、携帯型ゲーム装置３の撮像部３６は、筐体３０の正面中央付近上側に設けられている。
　携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３と、その外部に存在する外部物体との距離を測定する。携帯型ゲーム装置３の距離測定部３７は、例えば、携帯型ゲーム装置３の撮像部３６と、外部物体（より具体的には、例えば、外部物体の表面）との距離（以下、物体距離と呼ぶ。）を測定し、物体距離を示す距離データ４４を生成する（図３参照）。なお、距離データ４４の詳細については後述する。
　第１実施形態では、携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３の撮像部３６によって生成される画像に含まれる各画素と、各画素に対応する物体距離とを対応づけた距離データ４４を生成する。すなわち、第１実施形態では、携帯型ゲーム装置３の撮像部３６によって生成される画像内の画素の位置と、携帯型ゲーム装置３の距離測定部３７で測定される物体距離とは一対一で対応づけられる。
　携帯型ゲーム装置３の距離測定部３７は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、外部物体と携帯型ゲーム装置３との距離を測定する。携帯型ゲーム装置３の距離測定部３７は、ステレオカメラにはもちろん限定されず、携帯型ゲーム装置３の距離測定部３７は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、外部物体と携帯型ゲーム装置３との距離を測定しても構わない。また、携帯型ゲーム装置３の距離測定部３７が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、外部物体に対してピントが合ったレンズに基づいて、外部物体と携帯型ゲーム装置３との距離を測定しても構わない。なお、第１実施形態では、携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３の撮像部３６と一体的に形成されており、表示部３４の上側に設けられている。すなわち、携帯型ゲーム装置３の距離測定部３７は、正面中央付近上側に設けられている。
　第１実施形態では、携帯型ゲーム装置３は、基礎データ４０を生成し、情報処理装置２に送信する（図３参照）。図３は、基礎データ４０のデータ構造の一例を示す図である。図３に示すように、基礎データ４０は、ユーザ画像４２と距離データ４４とを含んでいる。
　第１実施形態では、携帯型ゲーム装置３の撮像部３６が、所定時間（例えば１／６０秒）ごとに、被写体ユーザ４６の動く様子を撮像し、一連のユーザ画像４２を生成する（図４Ａ～図４Ｅ参照）。ここで、被写体ユーザ４６は移動体の一例として示しているにすぎない。撮像部３６が、被写体ユーザ４６以外の移動体が動く様子を撮像して、その移動体の画像を生成するようにしても構わない。
　第１実施形態では、具体的には、例えば、撮像部３６が、被写体ユーザ４６を撮像し、順次第ｎユーザ画像４２－ｎ（ｎ＝１，２，３・・・）を生成する。図４Ａに第１ユーザ画像４２－１の一例を、図４Ｂに第２ユーザ画像４２－２の一例を、図４Ｃに第３ユーザ画像４２－３の一例を、図４Ｄに第４ユーザ画像４２－４の一例を、図４Ｅに第５ユーザ画像４２－５の一例を示す。そして、図４Ａ～図４Ｅに示すように、第１実施形態に係るユーザ画像４２には、被写体ユーザ４６だけではなく、地面４８も表示されている。すなわち、撮像部３６により生成される画像には、被写体ユーザ４６などの移動体を含む少なくとも１つの物体が表示されている。また、携帯型ゲーム装置３の距離測定部３７は、被写体ユーザ４６と携帯型ゲーム装置３との距離を順次測定し、第ｎユーザ画像４２－ｎ内の各画素に対応する物体距離を対応づけた第ｎ距離データ４４－ｎを生成する。そして、携帯型ゲーム装置３の制御部３１が、第ｎユーザ画像４２－ｎと、そのユーザ画像４２に対応する第ｎ距離データ４４－ｎと、を含む第ｎ基礎データ４０－ｎを生成する。
　そして、携帯型ゲーム装置３の通信部３３が基礎データ４０を情報処理装置２に送信する。そして、情報処理装置２の通信部２３がこの基礎データ４０を受信する。
　次に、第１実施形態に係る情報処理装置２により実現される機能を説明する。図５は、本実施形態に係る情報処理装置２の機能ブロック図である。図５に示すように、第１実施形態に係る情報処理装置２は、機能的には、基礎データ取得部５０、画像内位置特定部５２、距離特定部５４、位置座標算出部５６、モーションデータ生成部５８を含むものとして機能する。これらの要素は、コンピュータである情報処理装置２にインストールされたプログラムを、情報処理装置２に含まれるＣＰＵ等の制御部２１で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して情報処理装置２に供給される。
　基礎データ取得部５０は、画像と距離データ４４とを含む基礎データ４０を複数取得する。第１実施形態では、基礎データ取得部５０は、携帯型ゲーム装置３の通信部３３が送信して、情報処理装置２の通信部２３が受信する、ユーザ画像４２と距離データ４４とを含む基礎データ４０を順次取得する。
　画像内位置特定部５２は、基礎データ４０に含まれる画像（第１実施形態ではユーザ画像４２）に基づいて、所定の移動体（第１実施形態では被写体ユーザ４６）が表示されている、画像（第１実施形態ではユーザ画像４２）内の位置を特定する。
　第１実施形態では、被写体ユーザ４６は複数の要素６０を含んでいる（図６参照）。本実施形態では、各要素６０は、例えば、頭、胴体、左ひざ、右ひざ、左足、右足、左手、右手などといった被写体ユーザ４６の体の部位に対応している。そして、画像内位置特定部５２は、例えば、パターン認識技術を用いて、各要素６０の、ユーザ画像４２内の位置を特定する。図６は、画像内位置特定部５２により特定された、第１ユーザ画像４２－１内の、右手を示す右手要素６０ａ及び胴体を示す胴体要素６０ｂを含む各要素６０の位置の一例を示す図である。
　ここで、画像内位置特定部５２は、ユーザ画像４２内の各画素の色に基づいて、各要素６０の位置を特定するようにしても、もちろん構わない。また、画像内位置特定部５２は、既存の光学式モーションキャプチャ技術などを利用して、各要素６０の、ユーザ画像４２内の位置を特定しても構わない。
　なお、画像内位置特定部５２が、情報処理装置２の記憶部２２に予め記憶されている、被写体ユーザ４６に含まれる要素６０、及び、その各要素６０のユーザ画像４２内における位置を特定する方法を示す特定方法データを用いて、各要素の位置座標を特定するようにしても構わない。
　画像内位置特定部５２は、各要素６０を代表する代表点（例えば、各要素６０が表示されている領域の重心）の位置座標を特定するようにしても構わない。第１実施形態では、画像内位置特定部５２は、第ｎユーザ画像４２－ｎ内において右手要素６０ａが表示されている領域の重心（右手重心）の位置座標（右手第ｎ画像内位置座標）（Ｘｎ，Ｙｎ）を特定する。図６に、画像内位置特定部５２により特定された右手第１画像内位置座標（Ｘ１，Ｙ１）を併せて示す。ここで、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）は、第ｎユーザ画像４２－ｎの左上の点を原点とし、下方向をＸ軸、右方向をＹ軸とする二次元座標系における位置座標で表現されている。なお、画像内位置座標の表現方法は上述の方法にもちろん限定されない。
　距離特定部５４は、画像内位置特定部５２により特定される画像内の位置と、その画像を含む基礎データ４０に含まれる距離データ４４と、に基づいて、移動体と携帯型ゲーム装置３の撮像部３６との距離を特定する。第１実施形態では、距離特定部５４は、ユーザ画像４２を含む基礎データ４０に含まれる距離データ４４が示す、ユーザ画像４２内の各要素６０の代表点の位置座標に対応づけられた物体距離を特定する。具体的には、例えば、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）の画素に対応づけられる、第ｎ距離データ４４－ｎが示す物体距離を、右手第ｎ物体距離Ｚｎとして特定する。図７に、右手第１物体距離Ｚ１の一例を示す図を示す。なお、距離特定部５４は、上述とは異なる方法により物体距離を特定しても構わない。具体的には、例えば、第ｎユーザ画像４２－ｎ内において右手要素６０ａが表示されている領域内の各画素に対応づけられる物体距離の平均値を、右手第ｎ物体距離Ｚｎとして特定してもよい。
　位置座標算出部５６は、画像内位置特定部５２により特定される画像内の位置と、距離特定部５４により特定される距離と、に基づいて、移動体の三次元空間内における位置座標を算出する。第１実施形態では、位置座標算出部５６は、第ｎユーザ画像４２－ｎ内の各要素６０の代表点の位置座標と、距離特定部５４により、第ｎ距離データ４４－ｎに基づいて特定される、その位置座標に対応づけられた物体距離と、に基づいて、その代表点の第ｎ三次元位置座標を算出する。より具体的には、例えば、位置座標算出部５６は、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）と、右手第ｎ物体距離Ｚｎとに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する（図８参照）。なお、位置座標算出部５６は、同様の方法により、胴体第ｎ三次元位置座標（ｘｎ’，ｙｎ’，ｚｎ’）を算出しても構わない。なお、第１実施形態では直交座標系により、三次元位置座標が表現されているが、極座標系など他の座標系により、三次元位置座標が表現されてももちろん構わない。
　モーションデータ生成部５８は、各基礎データ４０に基づいて算出される位置座標に基づいて、移動体の三次元空間内における動きを示すモーションデータを生成する。本実施形態では、各基礎データ４０に基づいて算出される、被写体ユーザ４６に含まれる各要素６０の代表点の三次元位置座標に基づいて、被写体ユーザ４６の三次元空間内における動きを示すモーションデータを生成する。より具体的には、例えば、右手第１三次元位置座標（ｘ１，ｙ１，ｚ１）、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）などの、一連の右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を組み合わせて、右手の三次元空間内における動きを示すモーションデータを生成する。
　なお、モーションデータ生成部５８が、例えば、情報処理装置２の記憶部２２に予め記憶されている、要素６０間の接続関係を示す接続関係データを用いて、図８に示すような、被写体ユーザ４６のワイヤーフレームモデルデータ６２を生成するようにしても構わない。このように、各要素の動きを示すモーションデータを組み合わせることで、例えば、人間が歩く様子を示すモーションデータが生成される。
　第１実施形態では、一連の三次元位置座標に基づいてモーションデータが生成される。そのため、第１実施形態に係る情報処理装置２によれば、移動体の立体的な動きがシミュレートされたモーションデータを生成することができる。
　次に、第１実施形態に係る情報処理装置２の基礎データ取得部５０が取得する第ｎ基礎データ４０－ｎに基づいて、被写体ユーザ４６に含まれる右手要素６０ａの三次元空間内における第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する処理の流れの一例を、図９に示すフロー図を参照しながら説明する。
　まず、画像内位置特定部５２が、第ｎ基礎データ４０－ｎに含まれる第ｎユーザ画像４２－ｎに基づいて、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）を特定する（Ｓ１０１）。
　そして、距離特定部５４が、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）に対応する、基礎データ４０に含まれる距離データ４４に示される右手第ｎ物体距離Ｚｎを特定する（Ｓ１０２）。
　そして、位置座標算出部５６が、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）と、右手第ｎ物体距離Ｚｎと、に基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する（Ｓ１０３）。
　そして、位置座標算出部５６は、Ｓ１０３に示す処理により、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されたか否かを確認する（Ｓ１０４）。ここで、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されている場合は（Ｓ１０４：Ｙ）、この処理を終了する。
　ここで、例えば、画像内位置特定部５２が、第ｎユーザ画像４２－ｎに基づいて右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）を特定できない場合がある。より具体的には、例えば、図４Ｃに示すように、右手要素６０ａが被写体ユーザ４６の陰に隠れているために、画像内位置特定部５２が、第ｎユーザ画像４２－３に基づいて、右手第３画像内位置座標（Ｘ３，Ｙ３）を特定できない場合がある。また、距離特定部５４が、第ｎ距離データ４４－ｎに基づいて、右手第ｎ物体距離Ｚｎを特定できない場合がある。このような場合は、Ｓ１０４に示す処理において、第ｎ基礎データ４０－ｎに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されない。
　このように、Ｓ１０４に示す処理において、第ｎ基礎データ４０－ｎに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されていない場合は（Ｓ１０４：Ｎ）、この右手要素６０ａについては、位置座標算出部５６が、基礎データ取得部５０が取得する複数の基礎データ４０のうち、第ｎ基礎データ４０－ｎとは異なる基礎データ４０に基づいて、三次元位置座標を算出する（Ｓ１０５）。
　具体的には、例えば、位置座標算出部５６が、胴体を示す要素６０（胴体要素６０ｂ）の三次元位置座標（胴体第ｎ三次元位置座標（ｘｎ’，ｙｎ’，ｚｎ’））から右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）へのベクトルＶｎを用いて、Ｓ１０４に示す処理により算出されていない右手要素６０ａの第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出するようにしてもよい。図１０に、位置座標算出部５６が、ベクトルＶｎを用いて第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出する方法の一例を示す。例えば、位置座標算出部５６が、まず、右手第１ベクトルＶ１と、右手第２ベクトルＶ２とがなす角θ１２に基づいて、右手第２ベクトルＶ２と右手第３ベクトルＶ３とがなす角θ２３が等しくなり（θ１２＝θ２３）、右手第２ベクトルＶ２のノルム｜Ｖ２｜と、右手第３ベクトルＶ３のノルム｜Ｖ３｜が等しくなり（｜Ｖ２｜＝｜Ｖ３｜）、右手第１ベクトルＶ１、右手第２ベクトルＶ２、右手第３ベクトルＶ３が同一平面上のベクトルとなるよう、右手第３ベクトルＶ３の値を算出する。そして、位置座標算出部５６が、胴体第３三次元位置座標（ｘ３’，ｙ３’，ｚ３’）の位置ベクトルと、右手第３ベクトルＶ３とのベクトル和に基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出する。
　なお、Ｓ１０５に示す処理における右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）の算出方法は上述の方法に限定されない。例えば、位置座標算出部５６は、第１三次元位置座標（ｘ１，ｙ１，ｚ１）から第２三次元位置座標（ｘ２，ｙ２，ｚ２）へのベクトル（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）と、第２三次元位置座標（ｘ２，ｙ２，ｚ２）の位置ベクトルとのベクトル和に基づいて、第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出するようにしても構わない（（ｘ３，ｙ３，ｚ３）＝（２ｘ２－ｘ１,２ｙ２－ｙ１,２ｚ２－ｚ１））。
　また、位置座標算出部５６は、例えば、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と、右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）とに基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出するようにしても構わない。より具体的には、例えば、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）との中点を右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）として算出するようにしても構わない。
　このように、位置座標算出部５６により、第ｎ基礎データ４０－ｎに基づいて、移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は（Ｓ１０４参照）、位置座標算出部５６が、この欠落要素の位置座標を、基礎データ取得部５０が取得する複数の基礎データ４０のうちの、第ｎ基礎データ４０－ｎとは異なる基礎データ４０に基づいて算出するようにしても構わない（Ｓ１０５参照）。また、位置座標算出部５６が、欠落要素の三次元位置座標を、三次元位置座標の差分に基づいて算出するようにしても構わない。
　また、Ｓ１０４に示す処理において、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）と、右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）とが算出されていないことが確認された場合は、Ｓ１０５に示す処理において、位置座標算出部５６が、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と、右手第５三次元位置座標（ｘ５，ｙ５，ｚ５）とに基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）及び右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）を算出するようにしても構わない。このように、例えば、時刻ｔ１から時刻ｔ２にわたって欠落要素の位置座標が算出されない状態が継続する場合は、位置座標算出部５６が、欠落要素の位置座標を、時刻ｔ１より前において最後に算出される欠落要素の位置座標と、時刻ｔ２後において最初に算出される欠落要素の位置座標と、に基づいて算出するようにしても構わない。
　Ｓ１０５に示す処理でも三次元位置座標が特定されない場合には、情報処理装置２の制御部２１が、スピーカなどの、情報処理装置２のＵＩ部２４に対してアラーム音を出力するよう指示してもよい。また、携帯型ゲーム装置３がスピーカを備えている場合は、情報処理装置２の制御部２１が、情報処理装置２の通信部２３を介して、携帯型ゲーム装置３のスピーカにアラーム音を出力するよう指示してもよい。
　上記の処理例においては、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する処理例を示したが、同様の方法により、右手要素６０ａ以外の要素６０の、三次元位置座標を算出することができるのはもちろんである。
　このように、第１実施形態においては、携帯型ゲーム装置３の撮像部３６により生成されるユーザ画像４２と、携帯型ゲーム装置３の距離測定部３７により生成される距離データ４４とに基づいて、各フレームにおける移動体の三次元位置座標が算出される。そしてこの一連の三次元位置座標に基づいてモーションデータが生成されるので、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間が軽減される。
　さらに、第ｎ基礎データ４０－ｎだけからでは、第ｎ三次元位置座標が算出されず、他の基礎データ４０から算出される位置座標に基づいて、第ｎ三次元位置座標を算出する場合において、他の基礎データ４０から算出される三次元の位置座標に関する情報を活用することができるので、算出される第ｎ三次元位置座標の精度をより高めることができる。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、図１１に示すように、複数の携帯型ゲーム装置３（第１携帯型ゲーム装置３－１、及び、第２携帯型ゲーム装置３－２）の撮像部３６が互いにタイミングを合わせて、被写体ユーザ４６などの移動体を撮像し、第１携帯型ゲーム装置３－１の距離測定部３７が、第１携帯型ゲーム装置３－１と被写体ユーザ４６などの移動体との距離を測定し、第２携帯型ゲーム装置３－２の距離測定部３７が、第２携帯型ゲーム装置３－２と被写体ユーザ４６などの移動体との距離を測定するようにしても構わない。このとき、それぞれの携帯型ゲーム装置３から送信される基礎データ４０の組合せに基づいて、位置座標算出部５６が、三次元位置座標を算出するようにしても構わない。
　具体的には、例えば、まず、第１携帯型ゲーム装置３－１の撮像部３６で予め被写体ユーザ４６を撮像することにより生成されるユーザ画像４２を第１携帯型ゲーム装置３－１の表示部３４に表示する。そして、ユーザが、このユーザ画像４２内のある要素６０（例えば右手要素６０ａ）の位置を、第１携帯型ゲーム装置３－１の操作部３５により指定する。そして、第１携帯型ゲーム装置３－１の制御部３１が、ユーザにより指定された位置を示すデータを取得する。そして、第２携帯型ゲーム装置３－２の撮像部３６で予め被写体ユーザ４６を撮像することにより生成されるユーザ画像４２を第２携帯型ゲーム装置３－２の表示部３４に表示する。そして、ユーザが、このユーザ画像４２内の要素６０（例えば右手要素６０ａ）の位置を、第２携帯型ゲーム装置３－２の操作部３５により指定する。そして、第２携帯型ゲーム装置３－２の制御部３１が、ユーザにより指定された位置を示すデータを取得する。このようにして、それぞれの携帯型ゲーム装置３において、互いに対応する要素６０の位置を予め指定した上で、被写体ユーザ４６の動く様子をそれぞれの携帯型ゲーム装置３の撮像部３６で撮像して、一連のユーザ画像４２を生成し、それぞれの携帯型ゲーム装置３の距離測定部３７が一連の距離データ４４を生成する。そしてそれぞれの携帯型ゲーム装置３がユーザ画像４２と距離データ４４とを含む基礎データ４０を生成し、情報処理装置２へ送信する。そして、情報処理装置２がそれぞれの携帯型ゲーム装置３から送信される基礎データ４０を受信して、これらの基礎データ４０の組合せに基づいて、位置座標算出部５６が、三次元位置座標を算出する。
　こうすれば、例えば、一方の携帯型ゲーム装置３で生成されるユーザ画像４２には表示されていない要素６０が、他方の携帯型ゲーム装置３で生成されるユーザ画像４２には表示されているような場合があるので、上述の処理例のＳ１０５に示すような、第ｎ基礎データ４０－ｎとは異なる基礎データ４０を用いて第ｎ三次元位置座標を算出する場面を減らすことができる。
　なお、それぞれの携帯型ゲーム装置３が、その携帯型ゲーム装置３が配置されている位置を示すデータを基礎データ４０と併せて情報処理装置２へ送信するようにしても構わない。こうすれば、それぞれの携帯型ゲーム装置３の位置を示すデータに基づいて、各要素６０の三次元位置座標を算出することができる。
　また、例えば、情報処理システム１が、携帯型ゲーム装置３の代わりに、撮像機能と距離測定機能を有するビデオカメラなどを含んでいても構わない。すなわち、携帯型ゲーム装置３の代わりとして、撮像機能と距離測定機能を有するビデオカメラを用いても構わない。
　また、上述の情報処理装置２と携帯型ゲーム装置３とが一つの筐体により実装されていても構わない。
　次に、このようにして生成されるモーションデータの活用例を以下に示す。
　例えば、生成されるモーションデータが情報処理装置２の通信部２３からインターネットワークなどのネットワークを介して接続されているサーバ（図示せず）にアップロードされてもよい。その際に、ユーザが、モーションデータを使用しているゲームタイトルを示すデータ、モーションデータの作者を示すデータ、このモーションデータに基づいて生成されたＣＧのキャラクタを示すデータなどの属性データを関連付けてモーションデータを併せてアップロードできるようにしてもよい。そして、サーバでは、モーションデータと属性データとが関連付けられて記憶されるようにしても構わない。また、モーションデータは、既存のスクリプト言語で記述されたデータに変換された上で、サーバに記憶されるようにしてもよい。
　ユーザが、サーバに記憶されているモーションデータを、例えば、ブラウザなどで閲覧できるようにしてもよい。このとき、モーションデータが、カテゴリに分類されて表示されるようにしてもよい。また、モーションデータがアイコン化されていてもよい。具体的には、例えば、モーションデータが、ワイヤーフレームや、キャラクタなどの動きとしてブラウザで表現されるようにしてもよい。
　また、モーションデータをアップロードするユーザが、このモーションデータの公開対象となるユーザを設定して、設定されたユーザのみがモーションデータを閲覧することができるようにしてもよい。
　そして、閲覧の対象であるモーションデータが、モーションデータのネットワークストアへのハイパーリンクとなっており、ユーザがそのハイパーリンクをクリックすることにより、モーションデータを購入することができるようになっていてもよい。
　また、新たにサーバにアップロードされるモーションデータを、情報処理装置２が、ネットワークを介して逐次ダウンロードして、情報処理装置２の記憶部２２にキャッシュするようにしてもよい。また、例えば、ゲームのセーブデータと共に、モーションデータが情報処理装置２の記憶部２２に記憶されていても構わない。
　また、例えば、情報処理装置２が、サーバに記憶されている、人間がダンスをしている様子や人間がゴルフのスイングをしている様子が示されているモーションデータと、携帯型ゲーム装置３の撮像部３６で撮像される一連のユーザ画像４２に基づいて生成されるモーションデータとを比較して、それぞれのモーションデータの対応度に基づく点数を算出するようにしても構わない。
[第２実施形態]
　以下、本発明の別の実施形態である第２実施形態について説明する。なお、第２実施形態については、第１実施形態と異なる特徴を中心に説明し、第１実施形態と同様の特徴については説明を省略する。
　図１は、第２実施形態に係る情報処理システム１のハードウェア構成の一例を示す図でもある。第２実施形態に係る情報処理システム１のハードウェア構成は、第１実施形態に係る情報処理システム１のハードウェア構成と同様であるので、説明を省略する。図２は、第２実施形態に係る携帯型ゲーム装置３の一例を示す斜視図でもある。第２実施形態に係る携帯型ゲーム装置３の筐体３０の形状やハードウェア構成は、第１実施形態に係る携帯型ゲーム装置３の筐体３０の形状やハードウェア構成と同様であるので、説明を省略する。
　第２実施形態では、携帯型ゲーム装置３の撮像部３６が、所定の時間（例えば１／６０秒）ごとに、被写体ユーザ１４０の動く様子を撮像し、順次、ユーザ画像１４２（フレーム画像）を生成する（図１２参照）。ここで、順次生成されるユーザ画像１４２には、フレームの識別子であるフレームＩＤ１４４が関連付けられる（図１３参照）。図１２に、順次生成されるユーザ画像１４２のうちの１つの一例を示す。ここで、被写体ユーザ１４０は移動体の一例として示しているにすぎない。撮像部３６が、被写体ユーザ１４０以外の移動体が動く様子を撮像して、その移動体の画像を生成するようにしても構わない。
　そして、携帯型ゲーム装置３の通信部３３が、互いに関連付けられているフレームＩＤ１４４とユーザ画像１４２とを含む画像データ１４６を情報処理装置２に送信する。そして、情報処理装置２の通信部２３がこの画像データ１４６を受信する。図１３に、画像データ１４６のデータ構造の一例を示す。
　次に、第２実施形態に係る情報処理装置２により実現される機能を説明する。図１４は、第２実施形態に係る情報処理装置２の機能ブロック図である。図１４に示すように、第２実施形態に係る情報処理装置２は、機能的には、識別子受付部１５０、受付識別子データ保持部１５２、移動体要素データ記憶部１５４、基礎モーションデータ生成部１５６、基礎モーションデータ取得部１５８、モーションデータ記憶部１６０、規則データ記憶部１６２、規則データ選択部１６４、生成モーションデータ生成部１６６、画像生成部１６８を含むものとして機能する。識別子受付部１５０、基礎モーションデータ生成部１５６、基礎モーションデータ取得部１５８、規則データ選択部１６４、生成モーションデータ生成部１６６、画像生成部１６８は情報処理装置２の制御部２１を主として実現されている。受付識別子データ保持部１５２、移動体要素データ記憶部１５４、モーションデータ記憶部１６０、規則データ記憶部１６２は情報処理装置２の記憶部２２を主として実現されている。これらの要素は、コンピュータである情報処理装置２にインストールされたプログラムを、情報処理装置２に含まれるＣＰＵ等の制御部２１で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して情報処理装置２に供給される。
　識別子受付部１５０は、移動体の識別子を受け付ける。第２実施形態では、識別子受付部１５０は、図１５に示すような、移動体選択画面１７０（第１移動体選択画面）を情報処理装置２のディスプレイなどのＵＩ部２４に表示出力する。移動体選択画面１７０には、移動体の種類を示す移動体名ボタン１７２が複数表示されている。それぞれの移動体名ボタン１７２は、その移動体の識別子である移動体ＩＤ１７４と関連付けられている（図１６参照）。そして、ユーザにより移動体名ボタン１７２（例えば、「人間」と表示されている移動体名ボタン１７２）がクリックされると、識別子受付部１５０は、その移動体名ボタン１７２に関連付けられている移動体ＩＤ１７４（例えば、「１」）を取得して、取得した移動体ＩＤ１７４の値を、受付識別子データ１７６に含まれる第１移動体ＩＤ１７４－１の値に設定する（図１６参照）。そして、識別子受付部１５０は、図１５に示す移動体選択画面１７０と同様の画面構成である、移動体選択画面１７０（第２移動体選択画面（図示せず））を情報処理装置２のディスプレイなどのＵＩ部２４に表示出力する。そして、ユーザにより移動体名ボタン１７２（例えば、「クモ」と表示されている移動体名ボタン１７２）がクリックされると、識別子受付部１５０は、その移動体名ボタン１７２に関連付けられている移動体ＩＤ１７４（例えば、「２」）を取得して、取得した移動体ＩＤ１７４の値を、受付識別子データ１７６に含まれる第２移動体ＩＤ１７４－２の値に設定する（図１６参照）。
　図１６は、受付識別子データ１７６のデータ構造の一例を示す図である。図１６に示すように、受付識別子データ１７６は、第１移動体ＩＤ１７４－１と、第２移動体ＩＤ１７４－２とを含んでいる。受付識別子データ保持部１５２は、この受付識別子データ１７６を保持する。受付識別子データ保持部１５２は、具体的には、例えば、第１移動体ＩＤ１７４－１の値が「１」であり、第２移動体ＩＤ１７４－２の値が「２」である受付識別子データを保持する。
　第２実施形態では、図１７に示すように、被写体ユーザ１４０は、例えば、右肩ノード要素１７８－１、右腰ノード要素１７８－２、右ひじノード要素１７８－３、右手ノード要素１７８－４、右ひざノード要素１７８－５、右足ノード要素１７８－６などの複数のノード要素１７８を含んでいる。また、被写体ユーザ１４０は、これらのノード要素１７８を接続するリンク要素１８０や、複数のリンク要素１８０により構成されるポリゴン要素１８２も含んでいる。図１７は、被写体ユーザ１４０に含まれる各要素の一例を示す図である。なお、このように、移動体は複数の要素を含んでいてもよい。
　そして、移動体要素データ記憶部１５４は、第２実施形態では、図１８に示すような、それぞれのノード要素１７８を示すノードデータ１８４、それぞれのリンク要素１８０を示すリンクデータ１８６、それぞれのポリゴン要素１８２を示すポリゴンデータ１８８を含む移動体要素データ１９０を記憶する。このように、移動体要素データ記憶部１５４は、移動体に含まれる要素を示す移動体要素データ１９０を複数記憶する。
　ノードデータ１８４は、移動体ＩＤ１７４、ノード要素１７８の識別子であるノードＩＤ１９２、ノード要素１７８の名称を示すノード名１９４を含む。リンクデータ１８６は、移動体ＩＤ１７４、リンク要素１８０の識別子であるリンクＩＤ１９６、リンク要素１８０の名称を示すリンク名１９８、リンク要素１８０の始点となるノード要素１７８の識別子である始点ノードＩＤ１９２ａ、リンク要素１８０の終点となるノード要素１７８の識別子である終点ノードＩＤ１９２ｂを含む。ポリゴンデータ１８８は、移動体ＩＤ１７４、ポリゴン要素１８２の識別子であるポリゴンＩＤ２００、ポリゴン要素１８２の名称を示すポリゴン名２０２、複数のリンクＩＤ１９６（第１リンクＩＤ１９６－１、第２リンクＩＤ１９６－２、・・・）を含む。ここで、ポリゴンデータ１８８に含まれる複数のリンクＩＤ１９６は、ポリゴンＩＤ２００が示すポリゴン要素１８２を構成するリンク要素１８０を示している。なお、第２実施形態では、移動体要素データ１９０は、要素間の接続関係も併せて示している。
　基礎モーションデータ生成部１５６は、携帯型ゲーム装置３から送信される画像に基づいて、所定の移動体の動きを示すモーションデータ２０４（基礎モーションデータ）を生成する（図１９参照）。具体的には、例えば、基礎モーションデータ生成部１５６は、携帯型ゲーム装置３から送信される各ユーザ画像１４２に基づいて、例えば、パターン認識技術を用いて、受付識別子データ保持部１５２が保持している受付識別子データ１７６に含まれる第１移動体ＩＤ１７４－１に対応する各要素の位置座標を特定する。なお、第２実施形態では、被写体ユーザ１４０に含まれるノード要素１７８の位置座標が特定されることにより、移動体要素データ１９０により示されている要素間の接続関係に基づいて、被写体ユーザ１４０に含まれるすべての要素の位置座標が特定される。
　ここで、基礎モーションデータ生成部１５６は、ユーザ画像１４２内の各画素の色に基づいて、各要素の位置座標を特定するようにしても、もちろん構わない。また、基礎モーションデータ生成部１５６は、既存の光学式モーションキャプチャ技術などを利用して各要素のユーザ画像１４２内の位置座標を特定しても構わない。また、情報処理装置２のディスプレイなどのＵＩ部２４にユーザ画像１４２を表示して、マウスなどのＵＩ部２４からユーザにより入力される位置情報を取得して、その位置情報に基づいて、各要素の位置座標を特定するようにしてもよい。
　そして、第２実施形態では、基礎モーションデータ生成部１５６は、図１９に示す、ユーザ画像１４２に関連付けられているフレームＩＤ１４４、移動体ＩＤ１７４、各ノード要素１７８（第２実施形態では、被写体ユーザ１４０に含まれるノード要素１７８）に対応するノードＩＤ１９２、基礎モーションデータ生成部１５６により特定される、ノード要素１７８の位置座標の値を示すノード位置座標２０６を含むモーションデータ２０４（基礎モーションデータ）を生成する。ここで、第２実施形態では、基礎モーションデータ生成部１５６は、モーションデータ２０４に含まれる移動体ＩＤ１７４の値として、受付識別子データ１７６に含まれる第１移動体ＩＤ１７４－１の値（例えば、「１」）を設定する。このように、第２実施形態では、モーションデータ２０４は、各フレームにおける、移動体に含まれる各要素の位置座標を示している。そして、所定の移動体ＩＤ１７４と関連付けられているモーションデータ２０４をフレームＩＤ１４４順に組み合わせることによって、移動体に含まれる各要素の動きが示されることとなる。
　なお、基礎モーションデータ生成部１５６が、移動体ＩＤ１７４と関連付けられて情報処理装置２の記憶部２２に予め記憶されている、移動体ＩＤ１７４が示す移動体の画像から、その移動体に含まれる各要素の位置座標を特定する方法を示す特定方法データを用いて、各要素の位置座標を特定するようにしてもよい。
　基礎モーションデータ取得部１５８は、所定の移動体の動きを示すモーションデータ２０４（基礎モーションデータ）を取得する。第２実施形態では、基礎モーションデータ取得部１５８は、基礎モーションデータ生成部１５６により生成されるモーションデータ２０４を取得して、モーションデータ記憶部１６０に出力する。
　モーションデータ記憶部１６０は、基礎モーションデータ取得部１５８により取得されるモーションデータ２０４（基礎モーションデータ）を記憶する。
　規則データ記憶部１６２は、移動体の識別子に関連付けて、この識別子が示す移動体の動きを、所定の移動体の動きに基づいて決定する規則を示す規則データ２１０を複数記憶する（図２０参照）。そして、第２実施形態では、規則データ記憶部１６２は、図２０に示す、第１の移動体（第２実施形態では、例えば「人間」）の識別子である第１移動体ＩＤ１７４－１、第１移動体ＩＤ１７４－１が示す移動体とは異なる第２の移動体（第２実施形態では、例えば「クモ」）の識別子である第２移動体ＩＤ１７４－２、第１移動体ＩＤ１７４－１が示す移動体の動きに基づいて、第２移動体ＩＤ１７４－２が示す移動体の動きを決定する規則を示す規則データ２１０と、を含む移動体対応管理データ２０８を複数記憶する。
　具体的には、例えば、規則データ２１０は、第１移動体ＩＤ１７４－１が示す移動体に含まれる各要素の位置座標（例えば、ノード位置座標２０６）に基づいて、第２移動体ＩＤ１７４－２が示す移動体に含まれる各要素の位置座標（例えば、ノード位置座標２０６）を算出する規則を示している。規則データ２１０が示す規則の詳細については後述する。
　規則データ選択部１６４は、規則データ記憶部１６２に記憶されている複数の規則データ２１０のうちから、識別子受付部１５０が受け付ける識別子と関連付けられる規則データ２１０を選択する。第２実施形態では、規則データ選択部１６４は、規則データ記憶部１６２に記憶されている複数の移動体対応管理データ２０８のうちから、第１移動体ＩＤ１７４－１の値が、受付識別子データ保持部１５２が保持している受付識別子データ１７６に含まれる第１移動体ＩＤ１７４－１の値（例えば、「１」）と対応しており、第２移動体ＩＤ１７４－２の値が、受付識別子データ保持部１５２が保持している受付識別子データ１７６に含まれる第２移動体ＩＤ１７４－２の値（例えば、「２」）と対応している移動体対応管理データ２０８を選択する。そして、規則データ選択部１６４は、この移動体対応管理データ２０８に含まれる規則データ２１０を選択する。
　生成モーションデータ生成部１６６は、基礎モーションデータ取得部１５８により取得される、受付識別子データ保持部１５２が保持している受付識別子データ１７６に含まれる第１移動体ＩＤ１７４－１の値（例えば、「１」）が示す移動体（例えば、人間）の動きを示すモーションデータ２０４（基礎モーションデータ）に、規則データ選択部１６４により選択される規則データ２１０が示す規則を適用して、受付識別子データ保持部１５２が保持している受付識別子データ１７６に含まれる第２移動体ＩＤ１７４－２の値（例えば、「２」）が示す移動体（例えば、クモ）の動きを示すモーションデータ２０４（生成モーションデータ）を生成する。
　図２１は、生成モーションデータ生成部１６６が、図１７に示す被写体ユーザ１４０に含まれる各要素に規則データ２１０が示す規則を適用することにより生成されるクモオブジェクト２１２に含まれる各要素を示す図である。
　第２実施形態では、クモオブジェクト２１２が、例えば、第１右足付け根ノード要素１７８－７、第２右足付け根ノード要素１７８－８、第３右足付け根ノード要素１７８－９、第４右足付け根ノード要素１７８－１０、第１右足関節ノード要素１７８－１１、第２右足関節ノード要素１７８－１２、第３右足関節ノード要素１７８－１３、第４右足関節ノード要素１７８－１４などを含んでいる。
　また、クモオブジェクト２１２は、これらのノード要素１７８を接続するリンク要素１８０や、複数のリンク要素１８０により構成されるポリゴン要素１８２も含んでいる。
　そして、生成モーションデータ生成部１６６は、生成の基礎となるユーザ画像１４２に関連付けられているフレームＩＤ１４４、移動体ＩＤ１７４、各ノード要素１７８（第２実施形態では、クモオブジェクト２１２に含まれるノード要素１７８）に対応するノードＩＤ１９２、ノード要素１７８の位置座標の値を示すノード位置座標２０６を含むモーションデータ２０４（生成モーションデータ）を生成する。ここで、第２実施形態では、生成モーションデータ生成部１６６は、モーションデータ２０４に含まれる移動体ＩＤ１７４の値として、受付識別子データ１７６に含まれる第２移動体ＩＤ１７４－２の値（例えば、「２」）を設定する。
　そして、このような、移動体ＩＤ１７４の値に「２」が設定されているモーションデータ２０４（以下、第２モーションデータ２０４－２と呼ぶ。）に含まれるノード位置座標２０６は、移動体ＩＤ１７４に「１」が設定されているモーションデータ２０４（以下、第１モーションデータ２０４－１と呼ぶ。）に含まれるノード位置座標２０６に対して、規則データ選択部１６４により選択される規則データ２１０が示す規則を適用することにより算出される。
　規則データ２１０には、例えば、第１モーションデータ２０４－１に含まれるノード位置座標２０６を、第２モーションデータ２０４－２に含まれるノード位置座標２０６に設定する規則が示されていてもよい。具体的には、例えば、規則データ２１０には、右肩ノード要素１７８－１に対応する第１モーションデータ２０４－１に含まれるノード位置座標２０６を、第１右足付け根ノード要素１７８－７に対応する第２モーションデータ２０４－２に含まれるノード位置座標２０６として設定する規則が示されていてもよい。
　また、規則データ２１０には、例えば、第１モーションデータ２０４－１と第２モーションデータ２０４－２とのうちの一方に含まれる複数のノード位置座標２０６の組合せと、他方に含まれる１つのノード位置座標２０６とを対応づける規則が示されていてもよい。具体的には、例えば、規則データ２１０には、右肩ノード要素１７８－１に対応する第１モーションデータ２０４－１に含まれるノード位置座標２０６と、右腰ノード要素１７８－２に対応する第１モーションデータ２０４－１に含まれるノード位置座標２０６とを、１：２に内分する点の位置座標を、第２右足付け根ノード要素１７８－８に対応する第２モーションデータ２０４－２に含まれるノード位置座標２０６として設定する規則が示されていてもよい。このような規則が規則データ２１０に示されることで、被写体ユーザ１４０に含まれるノード要素１７８の数と、クモオブジェクト２１２に含まれるノード要素１７８の数が異なっていても、クモオブジェクト２１２に含まれる各ノード要素１７８のノード位置座標２０６を算出することができる。すなわち、基礎モーションデータに基づいて生成モーションデータを生成する際に、ノード要素１７８を追加したり削除したりすることが可能となる。
　また、規則データ２１０には、例えば、互いに異なる複数のフレームＩＤ１４４それぞれに対応づけられている複数の第１モーションデータ２０４－１に含まれるノード位置座標２０６の組合せに基づいて、第２モーションデータ２０４－２に含まれるノード位置座標２０６を算出する規則が示されていてもよい。具体的には、例えば、規則データ２１０には、フレームＩＤ１４４の値が「１」である、右ひじノード要素１７８－３に対応する第１モーションデータ２０４－１に含まれるノード位置座標２０６と、フレームＩＤ１４４の値が「２」である、右ひざノード要素１７８－５に対応する第１モーションデータ２０４－１に含まれるノード位置座標２０６とを、１：２に内分する点の位置座標を、フレームＩＤ１４４の値が「３」である、第２右足関節ノード要素１７８－１２に対応する第２モーションデータ２０４－２のノード位置座標２０６として設定する規則が示されていてもよい。このような規則が規則データ２１０に示されることで、生成モーションデータ生成部１６６は、被写体ユーザ１４０が撮像されたタイミングのずれを活かした生成モーションデータの生成が可能となる。このことにより、後述する画像生成部１６８により生成される動画像（第２実施形態では一連のクモ画像２１４（図２２参照）から構成される動画像）の不自然さが軽減されることがある。
　また、規則データ２１０が上述に示されている規則以外の規則を示してもよい。具体的には、例えば、規則データ２１０には、第１の移動体（例えば、被写体ユーザ１４０）に含まれる要素の位置座標に対して、線形変換やアフィン変換などといった所定の数学的な変換を施して、第２の移動体（例えば、クモオブジェクト２１２）に含まれる要素の位置座標を算出する規則が示されていてもよい。また、例えば、規則データ２１０には、リンク要素１８０の長さを変更したり、リンク要素１８０を回転したり、ポリゴン要素１８２の大きさを変更するなどの規則が示されていてもよい。なお、規則データ２１０には、第２の移動体（例えば、クモオブジェクト２１２）に含まれるリンク要素１８０（あるいは、ポリゴン要素１８２）の位置を、第１の移動体（例えば、被写体ユーザ１４０）に含まれるリンク要素１８０（あるいは、ポリゴン要素１８２）に基づいて決定する規則が示されていてもよい。
　また、規則データ２１０には、例えば、第１モーションデータ２０４－１に含まれる、乱数に基づいて決定される、ノード位置座標２０６のうちの１つを、第２モーションデータ２０４－２のノード位置座標２０６として設定する規則が示されていてもよい。
　そして、生成モーションデータ生成部１６６は、このようにして生成される生成モーションデータを、モーションデータ記憶部１６０に出力する。
　画像生成部１６８は、生成モーションデータ生成部１６６により生成される生成モーションデータに基づいて、受付識別子データ保持部１５２が保持している受付識別子データ１７６に含まれる第２移動体ＩＤ１７４－２が示す移動体の画像を生成する。第２実施形態では、画像生成部１６８は、生成された移動体の画像を情報処理装置２のディスプレイなどのＵＩ部２４に表示出力する。
　具体的には、例えば、画像生成部１６８は、図２１に示すクモオブジェクト２１２に含まれる各要素の位置座標に基づいて、図２２に示すクモ画像２１４を生成する。また、第２実施形態では、画像生成部１６８は、移動体の画像を順次生成し、情報処理装置２のＵＩ部２４に順次出力するので、移動体が動く様子が情報処理装置２のＵＩ部２４に表示されることとなる。
　ここで、第１移動体ＩＤ１７４－１の値が「１」であり、第２移動体ＩＤ１７４－２の値が「２」である受付識別子データ１７６が受付識別子データ保持部１５２に保持されている場合において、図１２に示すユーザ画像１４２（値が「ｔ」であるフレームＩＤ１４４に関連付けられている）を取得してから、図２２に示すクモ画像２１４が情報処理装置２のＵＩ部２４に表示出力されるまでの処理の流れを図２３に示すフロー図を参照しながら説明する。
　まず、基礎モーションデータ生成部１５６が、ユーザ画像１４２に表示されている被写体ユーザ１４０に含まれる各ノード要素１７８の位置座標を特定する（Ｓ２０１）。そして、基礎モーションデータ生成部１５６が、「ｔ」の値が設定されるフレームＩＤ１４４、「１」の値が設定される移動体ＩＤ１７４、被写体ユーザ１４０に含まれる各ノード要素１７８のノードＩＤ１９２、そのノード要素１７８のノード位置座標２０６を含むモーションデータ２０４を生成する（Ｓ２０２）。このとき、ユーザ画像１４２に表示されている被写体ユーザ１４０には、複数のノード要素１７８が含まれているので、基礎モーションデータ生成部１５６は、モーションデータ２０４を複数生成することとなる。
　そして、基礎モーションデータ取得部１５８が、Ｓ１０２に示す処理により生成されるモーションデータ２０４を取得して、モーションデータ記憶部１６０に出力する（Ｓ２０３）。
　そして、規則データ選択部１６４が、規則データ記憶部１６２に記憶されている移動体対応管理データ２０８のうちから、第１移動体ＩＤ１７４－１の値が「１」であり、第２移動体ＩＤ１７４－２の値が「２」である移動体対応管理データ２０８に含まれる規則データ２１０を選択する（Ｓ２０４）。
　そして、生成モーションデータ生成部１６６が、Ｓ３に示す処理によりモーションデータ記憶部１６０に出力された、移動体ＩＤ１７４の値が「１」であるモーションデータ２０４を取得する（Ｓ２０５）。
　そして、生成モーションデータ生成部１６６が、Ｓ５に示す処理により取得されたモーションデータ２０４に、Ｓ１０４に示す処理により選択される規則データ２１０が示す規則を適用して、クモオブジェクト２１２に含まれる各ノード要素１７８の位置座標を算出する（Ｓ２０６）。
　そして、生成モーションデータ生成部１６６が、「ｔ」の値が設定されるフレームＩＤ１４４、「２」の値が設定される移動体ＩＤ１７４、クモオブジェクト２１２に含まれる各ノード要素１７８のノードＩＤ１９２、そのノード要素１７８のノード位置座標２０６を含むモーションデータ２０４を生成する（Ｓ２０７）。そして、生成モーションデータ生成部１６６が、Ｓ７に示す処理により生成されたモーションデータ記憶部１６０に出力する（Ｓ２０８）。
　そして、画像生成部１６８が、「ｔ」の値が設定されるフレームＩＤ１４４、及び、「２」の値が設定される移動体ＩＤ１７４が含まれるモーションデータ２０４を取得する（Ｓ２０９）。
　そして、画像生成部１６８が、Ｓ８に示す処理により取得されるモーションデータ２０４に基づいて、クモ画像２１４を生成し、情報処理装置２のＵＩ部２４に出力する（Ｓ２１０）。
　上述の処理例では、各フレームについて、基礎モーションデータ取得部１５８が、それぞれのフレームにおける、被写体ユーザ１４０に含まれるノード要素１７８のノード位置座標２０６が含まれるモーションデータ２０４を順次取得する。そして、生成モーションデータ生成部１６６が、基礎モーションデータ取得部１５８により順次取得される各モーションデータ２０４に、規則データ選択部１６４により選択される規則データが示す規則を順次適用する。そして、生成モーションデータ生成部１６６が、それぞれのフレームにおける、クモオブジェクト２１２に含まれるノード要素１７８のノード位置座標２０６が含まれるモーションデータ２０４を順次生成する。そのため、上記の処理例では、ユーザ画像１４２の順次取得と連携した、クモ画像２１４の順次生成が可能となる。上述の処理例によれば、被写体ユーザ１４０（人間）が動く様子を携帯型ゲーム装置３の撮像部３６が撮像しながら、ほぼリアルタイムで、情報処理装置２のＵＩ部２４にクモオブジェクト２１２が動く様子を示す動画像を表示出力することができる。
　このようにして、被写体ユーザ１４０のユーザ画像１４２に基づいて、クモ画像２１４を容易に生成することができる。もちろん、上述の第２移動体選択画面において、ユーザにより「カニ」や、「タコ」や、「車」や、「飛行機」と表示されている移動体名ボタン１７２がクリックされると、規則データ選択部１６４が、それぞれの移動体に対応する規則データ２１０を選択することとなるので、被写体ユーザ１４０のユーザ画像１４２に基づいて、例えば、かに画像や、たこ画像や、車画像や、飛行機画像などといった様々な画像を容易に生成することができる。
　なお、基礎モーションデータが、被写体ユーザ１４０の動く様子を示すモーションデータ２０４である必要はない。また、生成モーションデータが、クモオブジェクト２１２の動く様子を示すモーションデータ２０４である必要はない。すなわち、携帯型ゲーム装置３の撮像部３６によりクモが撮像されるにより生成されるクモ画像２１４を情報処理装置２が受信してもよい。そして、基礎モーションデータ生成部１５６が、このクモ画像２１４に基づいて、クモオブジェクト２１２の動く様子を示すモーションデータ２０４（基礎モーションデータ）を生成するようにしてもよい。そして、生成モーションデータ生成部１６６が、クモオブジェクト２１２の動く様子を示すモーションデータ２０４に基づいて、人間が動く様子を示すモーションデータ２０４（生成モーションデータ）を生成するようにしても構わない。
　このように、様々な移動体に対応する規則データ２１０が規則データ記憶部１６２に記憶されている場合には、識別子受付部１５０が受け付ける移動体ＩＤ１７４に応じて、様々な移動体の動きを示すモーションデータ２０４に基づいて、様々な移動体の動きを示すモーションデータ２０４や、そのモーションデータ２０４に基づく画像を生成することができる。
　第２実施形態によれば、ユーザから受け付ける識別子が示す移動体の画像や動画像を容易に生成することができるので、モーションデータを利用してＣＧを制作する際における制作者の手間を軽減することができる。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、インターネットなどのネットワークを介して情報処理装置２と接続されているサーバ（図示せず）などに、予め所定の移動体の動く様子を示すモーションデータ２０４が記憶されているような場合において、基礎モーションデータ取得部１５８が、サーバなどに記憶されているモーションデータ２０４を取得して、生成モーションデータ生成部１６６が、このモーションデータ２０４を用いて新たなモーションデータ２０４を生成するようにしてもよい。
　また、携帯型ゲーム装置３の距離測定部３７が生成する距離データを、携帯型ゲーム装置３が情報処理装置２に併せて送信するようにして、基礎モーションデータ生成部１５６が、距離データが示す、携帯型ゲーム装置３と被写体ユーザ１４０との距離を用いて、各ノード要素１７８の位置座標（例えば、三次元位置座標）を決定するようにしても構わない。すなわち、携帯型ゲーム装置３の通信部３３が、フレームＩＤ１４４とユーザ画像１４２と距離データとを含む画像データ１４６を情報処理装置２に送信して、情報処理装置２の通信部２３がこの画像データ１４６を受信するようにしてもよい。
　また、例えば、情報処理システム１が、携帯型ゲーム装置３の代わりに、撮像機能と距離測定機能を有するビデオカメラなどを含んでいても構わない。すなわち、携帯型ゲーム装置３の代わりとして、撮像機能と距離測定機能を有するビデオカメラを用いても構わない。
　また、上述の情報処理装置２と携帯型ゲーム装置３とが一つの筐体により実装されていても構わない。
　また、移動体が複数の要素を含んでいる必要はない。
　次に、このようにして生成されるモーションデータの活用例を以下に示す。
　例えば、生成されるモーションデータ２０４が情報処理装置２の通信部２３からインターネットなどのネットワークを介して接続されているサーバ（図示せず）にアップロードされてもよい。その際に、ユーザが、モーションデータ２０４を使用しているゲームタイトルを示すデータ、モーションデータ２０４の作者を示すデータ、このモーションデータ２０４が生成される基礎となったモーションデータ２０４（基礎モーションデータ）を示すデータ、このモーションデータ２０４に基づいて生成されたＣＧのキャラクタを示すデータなどの属性データを関連付けてモーションデータ２０４をアップロードできるようにしてもよい。そして、サーバでは、モーションデータ２０４と属性データとが関連付けられて記憶されるようにしてもよい。また、モーションデータ２０４は、既存のスクリプト言語で記述されたデータに変換された上で、サーバに記憶されるようにしてもよい。
　ユーザが、サーバに記憶されているモーションデータ２０４を、例えば、ブラウザなどで閲覧できるようにしてもよい。このとき、モーションデータ２０４が、カテゴリに分類されて表示されるようにしてもよい。また、モーションデータ２０４がアイコン化されていてもよい。具体的には、例えば、モーションデータ２０４が、ワイヤーフレームや、キャラクタなどの動きとしてブラウザで表現されるようにしてもよい。
　また、モーションデータ２０４をアップロードするユーザが、このモーションデータ２０４の公開対象となるユーザを設定して、設定されたユーザのみがモーションデータ２０４を閲覧することができるようにしてもよい。
　そして、閲覧の対象であるモーションデータ２０４が、モーションデータ２０４のネットワークストアへのハイパーリンクとなっており、ユーザがそのハイパーリンクをクリックすることにより、モーションデータ２０４を購入することができるようになっていてもよい。
　また、新たにサーバにアップロードされるモーションデータ２０４を、情報処理装置２が、ネットワークを介して逐次ダウンロードして、情報処理装置２の記憶部２２にキャッシュするようにしてもよい。また、例えば、ゲームのセーブデータと共に、モーションデータ２０４が情報処理装置２の記憶部２２に記憶されていても構わない。
　また、例えば、情報処理装置２が、サーバに記憶されている、人間がダンスをしている様子や人間がゴルフのスイングをしている様子が示されているモーションデータ２０４と、携帯型ゲーム装置３の撮像部３６で撮像される一連のユーザ画像１４２に基づいて生成されるモーションデータ２０４とを比較して、それぞれのモーションデータ２０４の対応度に基づく点数を算出するようにしても構わない。

Claims (16)

  1. 　所定の移動体の動きを示すモーションデータを生成する情報処理装置であって、
    　前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段と、
    　前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段と、
    　前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段と、
    　前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段と、
    　前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段と、
    　を含むことを特徴とする情報処理装置。
  2. 　前記移動体が複数の要素を含み、
    　前記画像内位置特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素が表示されている当該画像内の位置を特定し、
    　前記距離特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素と前記撮像手段との距離を特定し、
    　前記位置座標算出手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素の三次元空間内における位置座標を算出し、
    　前記位置座標算出手段により、前記基礎データに基づいて前記移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて算出する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記位置座標算出手段により前記欠落要素の位置座標が算出されない状態が所定時間にわたり継続する場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記時間の前において最後に算出される当該欠落要素の位置座標と、前記時間の後において最初に算出される当該欠落要素の位置座標と、に基づいて算出する、
    　ことを特徴とする請求項２に記載の情報処理装置。
  4. 　前記位置座標算出手段により前記欠落要素の位置座標が算出されない場合は、当該欠落要素の位置座標を、当該基礎データとは異なる複数の基礎データそれぞれに基づいて算出される当該欠落要素の位置座標の差分に基づいて算出する、
    　ことを特徴とする請求項２に記載の情報処理装置。
  5. 　前記基礎データが、複数の撮像手段それぞれにより生成される画像と、前記各画像を撮像した撮像手段と当該画像に表示されている物体との距離を示す距離データと、を含み、
    　前記画像内位置特定手段が、前記基礎データに含まれる複数の画像それぞれに基づいて、それぞれの画像内の前記移動体が表示されている位置を特定し、
    　前記距離特定手段が、前記移動体と前記各撮像手段との距離を特定し、
    　前記位置座標算出手段が、前記画像内位置特定手段により特定される複数の前記画像内の位置と、前記距離特定手段により特定される複数の前記距離と、に基づいて、前記位置座標を算出する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  6. 　所定の移動体の動きを示すモーションデータを生成する情報処理方法であって、
    　前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得ステップと、
    　前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定ステップと、
    　前記画像内位置特定ステップにより特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定ステップと、
    　前記画像内位置特定ステップにより特定される前記画像内の位置と、前記距離特定ステップにより特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出ステップと、
    　前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成ステップと、
    　を含むことを特徴とする情報処理方法。
  7. 　所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、
    　前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、
    　前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、
    　前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、
    　前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、
    　前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段、
    　として前記コンピュータを機能させることを特徴とするプログラム。
  8. 　所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体であって、
    　前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、
    　前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、
    　前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、
    　前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、
    　前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段、
    　として前記コンピュータを機能させることを特徴とするプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体。
  9. 　所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理装置であって、
    　移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを複数記憶する規則データ記憶手段と、
    　移動体の識別子を受け付ける識別子受付手段と、
    　前記基礎モーションデータを取得する基礎モーションデータ取得手段と、
    　前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付手段が受け付ける識別子と関連付けられる規則データを選択する規則データ選択手段と、
    　前記基礎モーションデータ取得手段により取得される基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を適用して、前記識別子受付手段が受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成手段と、
    　を含むことを特徴とする情報処理装置。
  10. 　前記基礎モーションデータが、各フレームにおける前記所定の移動体の位置を示しており、
    　前記規則データ記憶手段が、前記識別子が示す移動体の各フレームにおける位置を、前記所定の移動体の各フレームにおける位置に基づいて決定する規則を示す規則データを記憶し、
    　前記基礎モーションデータ取得手段が、前記基礎モーションデータを順次取得し、
    　前記生成モーションデータ生成手段が、順次取得される前記各基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を順次適用して、前記識別子受付手段が受け付ける識別子が示す移動体の各フレームにおける位置を示す前記生成モーションデータを順次生成する、
    　ことを特徴とする請求項９に記載の情報処理装置。
  11. 　前記規則データ記憶手段が、前記識別子が示す移動体の各フレームにおける位置を、前記所定の移動体の、互いに異なる複数のフレームにおける位置の組合せに基づいて決定する規則を示す規則データを記憶する、
    　ことを特徴とする請求項１０に記載の情報処理装置。
  12. 　前記基礎モーションデータが、前記所定の移動体に含まれる複数の要素それぞれの動きを示しており、
    　前記規則データ記憶手段が、複数の要素が含まれる移動体の識別子に関連付けて、当該識別子が示す移動体に含まれる複数の要素それぞれの動きを前記所定の移動体に含まれる複数の要素それぞれの動きに基づいて決定する規則を示す規則データを記憶し、
    　前記生成モーションデータ生成手段が、前記識別子受付手段が受け付ける識別子が示す移動体に含まれる複数の要素それぞれの動きを示す生成モーションデータを生成する、
    　ことを特徴とする請求項９に記載の情報処理装置。
  13. 　前記規則データ記憶手段が、前記所定の移動体又は前記識別子が示す移動体のうちの一方に含まれる複数の要素それぞれの位置の組合せと、他方に含まれる１つの要素とを対応づける規則を示す規則データを記憶する、
    　ことを特徴とする請求項１２に記載の情報処理装置。
  14. 　所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理方法であって、
    　移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを規則データ記憶手段に複数記憶させるステップと、
    　前記基礎モーションデータを取得する基礎モーションデータ取得ステップと、
    　移動体の識別子を受け付ける識別子受付ステップと、
    　前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付ステップで受け付ける識別子と関連付けられる規則データを選択する規則データ選択ステップと、
    　前記基礎モーションデータ取得ステップにより取得される基礎モーションデータに、前記規則データ選択ステップにより選択される規則データが示す規則を適用して、前記識別子受付ステップで受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成ステップと、
    　を含むことを特徴とする情報処理方法。
  15. 　所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、
    　移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを規則データ記憶手段に複数記憶させる手段、
    　前記基礎モーションデータを取得する基礎モーションデータ取得手段、
    　移動体の識別子を受け付ける識別子受付手段、
    　前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付手段が受け付ける識別子と関連付けられる規則データを選択する規則データ選択手段、
    　前記基礎モーションデータ取得手段により取得される基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を適用して、前記識別子受付手段が受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成手段、
    　として前記コンピュータを機能させることを特徴とするプログラム。
  16. 　所定の移動体の動きを示す基礎モーションデータに基づいて、他の移動体の動きを示す生成モーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体であって、
    　移動体の識別子に関連付けて、当該識別子が示す移動体の動きを前記所定の移動体の動きに基づいて決定する規則を示す規則データを規則データ記憶手段に複数記憶させる手段、
    　前記基礎モーションデータを取得する基礎モーションデータ取得手段、
    　移動体の識別子を受け付ける識別子受付手段、
    　前記規則データ記憶手段に記憶されている複数の規則データのうちから、前記識別子受付手段が受け付ける識別子と関連付けられる規則データを選択する規則データ選択手段、
    　前記基礎モーションデータ取得手段により取得される基礎モーションデータに、前記規則データ選択手段により選択される規則データが示す規則を適用して、前記識別子受付手段が受け付ける識別子が示す移動体の動きを示す生成モーションデータを生成する生成モーションデータ生成手段、
    　として前記コンピュータを機能させることを特徴とするプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体。
PCT/JP2009/066749 2008-10-01 2009-09-28 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 WO2010038693A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/121,318 US8724849B2 (en) 2008-10-01 2009-09-28 Information processing device, information processing method, program, and information storage medium
CN200980139029.5A CN102171726B (zh) 2008-10-01 2009-09-28 信息处理装置、信息处理方法、程序以及信息存储介质
EP09817726.4A EP2343685B1 (en) 2008-10-01 2009-09-28 Information processing device, information processing method, program, and information storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008256599A JP5015109B2 (ja) 2008-10-01 2008-10-01 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2008-256597 2008-10-01
JP2008256597A JP5066047B2 (ja) 2008-10-01 2008-10-01 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2008-256599 2008-10-01

Publications (1)

Publication Number Publication Date
WO2010038693A1 true WO2010038693A1 (ja) 2010-04-08

Family

ID=42073457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/066749 WO2010038693A1 (ja) 2008-10-01 2009-09-28 情報処理装置、情報処理方法、プログラム及び情報記憶媒体

Country Status (4)

Country Link
US (1) US8724849B2 (ja)
EP (1) EP2343685B1 (ja)
CN (1) CN102171726B (ja)
WO (1) WO2010038693A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012516504A (ja) * 2009-01-30 2012-07-19 マイクロソフト コーポレーション 視覚的目標追跡
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
CN107481305A (zh) * 2017-08-18 2017-12-15 苏州歌者网络科技有限公司 游戏动画制作方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204007506U (zh) * 2012-12-27 2014-12-10 广州市地下铁道总公司 一种用于三维空间坐标寻迹的数据采集装置
WO2017085857A1 (ja) 2015-11-20 2017-05-26 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
GB2571306A (en) 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268161A (ja) * 1999-03-17 2000-09-29 Atr Media Integration & Communications Res Lab 実時間表情検出装置
JP2002024143A (ja) * 2000-07-06 2002-01-25 Sony Corp 受信端末、通信端末およびアニメーション・キャラクタ表示方法
JP2002259984A (ja) * 2001-03-01 2002-09-13 Matsushita Electric Ind Co Ltd 動作解析装置及び動作解析方法
JP2004259114A (ja) * 2003-02-27 2004-09-16 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
JP2007004732A (ja) * 2005-06-27 2007-01-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
JP2007333690A (ja) * 2006-06-19 2007-12-27 Sony Corp モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
US7292711B2 (en) * 2002-06-06 2007-11-06 Wintriss Engineering Corporation Flight parameter measurement system
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268161A (ja) * 1999-03-17 2000-09-29 Atr Media Integration & Communications Res Lab 実時間表情検出装置
JP2002024143A (ja) * 2000-07-06 2002-01-25 Sony Corp 受信端末、通信端末およびアニメーション・キャラクタ表示方法
JP2002259984A (ja) * 2001-03-01 2002-09-13 Matsushita Electric Ind Co Ltd 動作解析装置及び動作解析方法
JP2004259114A (ja) * 2003-02-27 2004-09-16 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
JP2007004732A (ja) * 2005-06-27 2007-01-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
JP2007333690A (ja) * 2006-06-19 2007-12-27 Sony Corp モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAEDA ET AL.: "Style Henkan o Mochiita Koritsuteki na Shisoku Hoko Animation Seisei", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU CG, vol. 20, no. 80, 22 August 2008 (2008-08-22), pages 55 - 60, XP008146301 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012516504A (ja) * 2009-01-30 2012-07-19 マイクロソフト コーポレーション 視覚的目標追跡
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US9039528B2 (en) 2009-01-30 2015-05-26 Microsoft Technology Licensing, Llc Visual target tracking
US9842405B2 (en) 2009-01-30 2017-12-12 Microsoft Technology Licensing, Llc Visual target tracking
CN107481305A (zh) * 2017-08-18 2017-12-15 苏州歌者网络科技有限公司 游戏动画制作方法
CN107481305B (zh) * 2017-08-18 2021-02-09 苏州歌者网络科技有限公司 游戏动画制作方法

Also Published As

Publication number Publication date
US8724849B2 (en) 2014-05-13
EP2343685A1 (en) 2011-07-13
EP2343685B1 (en) 2020-07-29
EP2343685A4 (en) 2017-05-17
CN102171726A (zh) 2011-08-31
CN102171726B (zh) 2014-06-18
US20110216946A1 (en) 2011-09-08

Similar Documents

Publication Publication Date Title
WO2010038693A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
CN104243951B (zh) 图像处理设备、图像处理系统以及图像处理方法
CN102411783B (zh) 在视频聊天应用中自动跟踪用户移动
CN108537881B (zh) 一种人脸模型处理方法及其设备、存储介质
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
WO2018018957A1 (zh) 三维模型的实时控制方法和系统
JP5093053B2 (ja) 電子カメラ
JP2006249618A (ja) 仮想試着装置
WO2021104037A1 (zh) 数据处理方法、装置、电子设备及存储介质
JP2008275391A (ja) 位置姿勢計測装置及び位置姿勢計測方法
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
JP2020065229A (ja) 映像通信方法、映像通信装置及び映像通信プログラム
JP7403967B2 (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
US20230062973A1 (en) Image processing apparatus, image processing method, and storage medium
JP6431259B2 (ja) カラオケ装置、ダンス採点方法、およびプログラム
JPH10240908A (ja) 映像合成方法
US20240020901A1 (en) Method and application for animating computer generated images
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
JP5066047B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2006059165A (ja) ３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体
JP5015109B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
CN112416124A (zh) 舞蹈姿势反馈方法及装置
US20240249419A1 (en) Information processing apparatus, information processing method, and program
CN105164617B (zh) 自主nui设备的自发现
TWI505176B (zh) 動畫製作之方法及裝置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980139029.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09817726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009817726

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13121318

Country of ref document: US