[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5739872B2 - モーションキャプチャにモデルトラッキングを適用するための方法及びシステム - Google Patents

モーションキャプチャにモデルトラッキングを適用するための方法及びシステム Download PDF

Info

Publication number
JP5739872B2
JP5739872B2 JP2012508562A JP2012508562A JP5739872B2 JP 5739872 B2 JP5739872 B2 JP 5739872B2 JP 2012508562 A JP2012508562 A JP 2012508562A JP 2012508562 A JP2012508562 A JP 2012508562A JP 5739872 B2 JP5739872 B2 JP 5739872B2
Authority
JP
Japan
Prior art keywords
model
user
motion capture
tracked
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012508562A
Other languages
English (en)
Other versions
JP2012525643A (ja
JP2012525643A5 (ja
Inventor
マーゴリス，ジェフリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012525643A publication Critical patent/JP2012525643A/ja
Publication of JP2012525643A5 publication Critical patent/JP2012525643A5/ja
Application granted granted Critical
Publication of JP5739872B2 publication Critical patent/JP5739872B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Description

本発明は、コンピューターゲーム、マルチメディアアプリケーションに関し、具体的にはモーションキャプチャ技法に関する。
[0001]コンピューターゲーム、マルチメディアアプリケーションなどのような多くのコンピューティングアプリケーションは、典型的なモーションキャプチャ技法を使用して動画（アニメ）化されるアバター又は登場人物を含んでいる。例えばゴルフゲームの開発時、プロゴルファーが、例えばスタジオ内の特定の場所に向けられた複数のカメラを含むモーションキャプチャ機器を有するスタジオへ連れて来られる。その後、プロゴルファーは、カメラを用いて構成されてトラッキングされ得る複数の点指標を有するモーションキャプチャスーツを着せられ得、カメラが、例えばプロゴルファーのゴルフ動作をキャプチャし得る。その後、動作が、ゴルフゲームの開発中にアバター又は登場人物に適用され得る。その後、ゴルフゲームが完成すると、アバター又は登場人物が、ゴルフゲーム実行中、プロゴルファーの動作を用いて動画化され得る。残念ながら典型的モーションキャプチャ技法は高価であって、特定のアプリケーション開発と結合され、アプリケーションの実際のプレーヤー又はユーザーに関連付けられた動作を含んでいない。
本発明の目的は、ゲームユーザーによる動作を模倣するように調整可能なユーザーのモデルを生成するモーションキャプチャ技法及びシステムを提供することである。
[0002]本明細書に開示されるものは、シーンにおけるユーザーの動作をキャプチャするためのシステム及び方法である。例えば、シーンの奥行きなどの画像が、受信又は観察され得る。その後、深度画像が解析され得、画像がユーザーに関連付けられるヒューマンターゲットを含んでいるか否か決定する。画像がユーザーに関連付けられるヒューマンターゲットを含んでいる場合、ユーザーのモデルが生成され得る。その後、モデルが、ユーザーの動作に応答しトラッキングされ得、モデルがユーザーの動作を模倣するように調整され得る。例えば、モデルは、物理空間におけるユーザーの動作に相当するポーズに調整され得る関節と骨を有する骨格モデルであり得る。実施形態例によるユーザーの動作に関するモーションキャプチャファイルが、その後、トラッキングされたモデルに基づいてリアルタイムに生成され得る。例えば、調整されたモデルのポーズそれぞれに関する関節と骨を定義したベクトル集合が、キャプチャされ、モーションキャプチャファイルにレンダリングされ得る。
[0003]この「課題を解決するための手段」は更に、「発明を実施するための形態」に後述される概念のいくつかを簡易化した形式で紹介するために提供される。この「課題を解決するための手段」は、請求対象項目の重要な機能も本質的な特徴も特定するように意図されておらず、請求対象項目の範囲を限定するために利用されることも意図されていない。更に、請求対象項目は、この開示の任意の一部に記述した不都合点のいくつか又はすべてを解決する実装に限定されない。
[0004]ゲームをプレーしているユーザーと目標認識、解析、及びトラッキングシステムの実施形態例を示している。 [0004]ゲームをプレーしているユーザーと目標認識、解析、及びトラッキングシステムの実施形態例を示している。 [0005]図２は、目標認識、解析、及びトラッキングシステムにおいて使用され得るキャプチャ装置の実施形態例を示している。 [0006]図３は、目標認識、解析、及びトラッキングシステムにおいて１つ以上のジェスチャを解釈し、及び／又は目標認識、解析、及びトラッキングシステムによって表示されるアバター又は画面上の登場人物を動画化するために使用され得る計算環境の実施形態例を示している。 [0007]図４は、目標認識、解析、及びトラッキングシステムにおいて１つ以上のジェスチャを解釈し、及び／又は目標認識、解析、及びトラッキングシステムによって表示されるアバター又は画面上の登場人物を動画化するために使用され得る別の計算環境の実施形態例を示している。 [0008]図５は、ヒューマンターゲットの動作をキャプチャするための方法例の流れ図を表している。 [0009]図６は、ヒューマンターゲットを含み得る画像の実施形態例を示している。 [0010]図７は、ヒューマンターゲットに関し生成され得るモデルの実施形態例を示している。 [0011]時間内の様々な時点においてキャプチャされ得るモデルの実施形態例を示している。 [0011]時間内の様々な時点においてキャプチャされ得るモデルの実施形態例を示している。 [0011]時間内の様々な時点においてキャプチャされ得るモデルの実施形態例を示している。 [0012]時間内の様々な時点においてキャプチャされ得るモデルに基づいて動画化され得るアバター又はゲーム上の登場人物の実施形態例を示している。 [0012]時間内の様々な時点においてキャプチャされ得るモデルに基づいて動画化され得るアバター又はゲーム上の登場人物の実施形態例を示している。 [0012]時間内の様々な時点においてキャプチャされ得るモデルに基づいて動画化され得るアバター又はゲーム上の登場人物の実施形態例を示している。
[0013]本明細書に記述されるユーザーは、１つ以上のジェスチャ及び／又は動作を実行することによって、ゲーム機、計算機などのような計算環境上で実行するアプリケーションを制御し得、及び／又はアバター又は画面上の登場人物を動画化し得る。一実施形態によるジェスチャ及び／又は動作が、例えばキャプチャ装置によって受信され得る。例えば、キャプチャ装置がシーンの深度画像をキャプチャし得る。一実施形態において、キャプチャ装置は、シーンにおける目標又は被写体の１つ以上が、ユーザーのようなヒューマンターゲットに相当するか否か決定し得る。その後、ヒューマンターゲット相当に一致する目標又は被写体それぞれが、スキャンされ得、それに関連付けられた骨格モデル、ヒューマンメッシュモデルなどのようなモデルを生成し得る。その後、モデルが計算環境に提供され得、計算環境がモデルをトラッキングし、トラッキングされたモデルに関するモーションキャプチャファイルを生成し、モデルと関連付けられたアバターをレンダリングし、トラッキングされたモデルに関するモーションキャプチャファイルに基づいてアバターを動画化し、及び／又はトラッキングされたモデルに基づいて例えば、計算機環境上で実行しているアプリケーションにおいて実行するコントローラーを決定する。
[0014]図１Ａ及び図１Ｂは、ボクシングゲームをプレーしているユーザー（１８）と目標認識、解析、及びトラッキングシステム（１０）構成の実施形態例を示している。実施形態例において、目標認識、解析、及びトラッキングシステム（１０）が、ユーザー（１８）のようなヒューマンターゲットを認識し、解析し、及び／又はトラッキングするために使用され得る。
[0015]図１Ａのように目標認識、解析、及びトラッキングシステム（１０）は、計算環境（１２）を含み得る。計算環境（１２）は、計算機、ゲームシステム、又はゲーム機などであり得る。実施形態例による計算環境（１２）は、ハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含み得、計算環境（１２）が、ゲームアプリケーション、非ゲームアプリケーションなどのようなアプリケーションを実行するために使用され得る。一実施形態において、計算環境（１２）は、標準プロセッサー、専用プロセッサー、マイクロプロセッサーなどのようなプロセッサーを含み得、例えば、画像を受信し、キャプチャされたユーザーのモデルを画像内に生成し、モデルをトラッキングし、トラッキングされたモデルに基づいてモーションキャプチャファイルを生成し、モーションキャプチャファイルを適用する、ことに関する命令又はより詳細に後述される適切な別の任意の命令を含む命令を実行し得る。
[0016]図１Ａのように目標認識、解析、及びトラッキングシステム（１０）は更に、キャプチャ装置（２０）を含み得る。キャプチャ装置（２０）は、例えば、ユーザー（１８）のような１人以上のユーザーを視覚的に監視するために使用され得るカメラであり得、１人以上のユーザーによって実行されるジェスチャ及び／又は動作が、キャプチャされ得、解析され得、トラッキングされ得、アプリケーション内において１つ以上のコントロール又は動作を実行し得、及び／又はより詳細に後述されるようにアバター又は画面上の登場人物を動画化し得る。
[0017]一実施形態による目標認識、解析、及びトラッキングシステム（１０）は、テレビ、モニター、ハイビジョンテレビ（ＨＤＴＶ）などのような視聴覚装置（１６）と接続され得、ゲーム、又は映像アプリケーション及び／又は音声アプリケーションをユーザー（１８）のようなユーザーに提供し得る。例えば、計算環境（１２）は、グラフィックカードなどのビデオアダプター及び／又はサウンドカードなどの音声アダプターを含み得、ゲームアプリケーション、非ゲームアプリケーションなどに関連する視聴覚信号を提供し得る。視聴覚装置（１６）は、計算環境（１２）から視聴覚信号を受信し得、その後、視聴覚信号と関連付けられたゲーム、又は映像アプリケーション及び／又は音声アプリケーションをユーザー（１８）へ出力し得る。一実施形態による視聴覚装置（１６）は、例えば、Ｓ−Ｖｉｄｅｏケーブル、同軸ケーブル、ＨＤＭＩケーブル、ＤＶＩケーブル、ＶＧＡケーブルなどを介し計算環境（１２）と接続され得る。
[0018]図１Ａ及び図１Ｂのような目標認識、解析、及びトラッキングシステム（１０）が、ユーザー（１８）のようなヒューマンターゲットを認識し、解析し、及び／又はトラッキングするために使用され得る。例えば、ユーザー（１８）が、キャプチャ装置（２０）を使用しトラッキングされ得、ユーザー（１８）のジェスチャ及び／又は動作が、キャプチャされ得、スクリーン上のアバター又は登場人物を動画化し、及び／又は計算機環境（１２）によって実行されるアプリケーションに作用するために使用され得るコントロールとして解釈され得る。かくして一実施形態によるユーザー（１８）は、彼又は彼女の体を動かし、アプリケーションを制御し、及び／又はアバター又は画面上の登場人物を動画化し得る。
[0019]図１Ａ及び図１Ｂのような実施形態例において、計算環境（１２）上で実行しているアプリケーションは、ユーザー（１８）がプレー中のボクシングゲームであり得る。例えば、計算環境（１２）は、ボクシングの対戦相手（３８）の視覚的表示をユーザー（１８）に提供するための視聴覚装置（１６）を使用し得る。計算環境（１２）は、ユーザー（１８）が彼又は彼女の動作を使って制御し得るプレーヤーのアバター（４０）の視覚表示を提供するためにも視聴覚装置（１６）を使用し得る。例えば、図１Ｂのようにユーザー（１８）は、物理空間にパンチを食らわし、プレーヤーのアバター（４０）が、ゲーム空間にパンチを食らわすことをもたらし得る。かくして、実施形態例による計算機環境（１２）及び目標認識、解析、及びトラッキングシステム（１０）のキャプチャ装置（２０）が、物理空間においてユーザー（１８）のパンチを認識し、解析するために使用され得、パンチが、ゲーム空間においてプレーヤーのアバター（４０）のゲームコントロールとして解釈され得、及び／又はパンチの動作が、ゲーム空間においてプレーヤーのアバター（４０）を動画化するために使用され得る。
[0020]素速く上下する、曲がって進む、足を引きずって歩く、妨害する、ジャブで突く、又は異なる様々なパンチ力で食らわすためのコントロールのようなユーザー（１８）による別の動作も別のコントロール又は動作として解釈され得、及び／又はプレーヤーのアバターを動画化するために使用され得る。更に、動作の中には、プレーヤーのアバター（４０）の制御以外の動作に相当し得るコントロールとして解釈され得るものもある。例えば、ゲームの終了、停止、セーブ、レベルの選択、高得点の閲覧、又は友人との通信など実行するための動作をプレーヤーは使用し得る。加えると、ユーザー（１８）の動作の範囲すべてが利用可能であって、使用され、アプリケーションと対話するために適切な任意の方法で解析され得る。
[0021]実施形態例において、ユーザー（１８）のようなヒューマンターゲットは、物体を有し得る。上記の実施形態において、コンピューターゲームのユーザーは物体を手に持つ場合があって、プレーヤーの動作と物体とが、ゲームのパラメーターを調整し及び／又は制御するために使用され得る。例えば、ラケットを手に持つプレーヤーの動作が、コンピュータースポーツゲームにおいて、スクリーン上のラケットを制御するためにトラッキングされ、利用され得る。別の実施形態例において、物体を手に持つプレーヤーの動作が、コンピューターの戦闘ゲームにおいて、スクリーン上の兵器を制御するためにトラッキングされ得、利用され得る。
[0022]別の実施形態例による目標認識、解析、及びトラッキングするシステム（１０）が更に、オペレーティングシステム及び／又はゲーム分野以外のアプリケーションの制御装置として目標の動作を解釈するために利用され得る。例えば、実際に制御可能な任意のオペレーティングシステム及び／又はアプリケーションの態様が、ユーザー（１８）のような目標の動作によって制御され得る。
[0023]図２は、目標認識、解析、及びトラッキングシステム（１０）に使用され得るキャプチャ装置（２０）の実施形態例を示している。実施形態例によるキャプチャ装置（２０）は、例えば、飛行時間技法、構造光技法、ステレオ画像技法などを含む適切な任意の技法を介し、深度値を含み得る深度画像を含む深度情報を有する映像をキャプチャするように構成され得る。一実施形態によるキャプチャ装置（２０）は、深度情報を「Ｚレイヤ」又はその照準線に沿ってデプスカメラから延長したＺ軸に垂直であり得るレイヤへ組織化し得る。
[0024]図２のようにキャプチャ装置（２０）は画像カメラコンポーネント（２２）を含み得る。実施形態例による画像カメラコンポーネント（２２）は、シーンの深度画像をキャプチャするデプスカメラであり得る。深度画像は、キャプチャされたシーンの二次元（２−Ｄ）画素領域を含み得、２−Ｄ画素領域の画素それぞれが、カメラからキャプチャされたシーンの例えば、センチメートル、ミリメートルで被写体の長さ又は距離などのような深度値を示し得る。
[0025]図２のように実施形態例による画像カメラコンポーネント（２２）は、シーンの深度画像をキャプチャするために使用され得る赤外線光コンポーネント（２４）、３−Ｄカメラ（２６）、及びＲＧＢカメラ（２８）を含み得る。例えば、飛行時間解析においてキャプチャ装置（２０）の赤外線光コンポーネント（２４）は、赤外光をシーンに放射し得、その後、（示されていない）センサーを使用し、例えば、３−Ｄカメラ（２６）及び／又はＲＧＢカメラ（２８）を使用し、シーンにおける目標及び被写体の１つ以上の表面から後方散乱光を検出する。実施形態の中には、赤外線パルス光が使用され得るものもあって、出射パルス光と応答着信パルス光との間の時間が測定され得、キャプチャ装置（２０）からシーンにおける目標又は被写体上の特定の位置までの物理的距離を決定するために使用され得る。加えると、別の実施形態例の中には出射パルス光波の位相が、位相変動を決定する着信光波の位相と比較され得るものもある。その後、位相変動が、キャプチャ装置から目標又は被写体上の特定の位置までの物理的距離を決定するために使用され得る。
[0026]別の実施形態例による飛行解析時間が使用され得、例えば、シャッターパルス光画像化を含む様々な技法を介し、長い時間をかけて反射される光線強度を解析することによってキャプチャ装置（２０）から目標又は被写体上の特定位置までの物理的距離を間接的に決定し得る。
[0027]
別の実施形態例において、キャプチャ装置（２０）は、深度情報をキャプチャするために構造光を使用し得る。そのような解析において、パターン光（すなわち、周知のグリッドパターン又は縞模様のようなパターンとして表示される光）が、例えば、赤外線光コンポーネント（２４）を介しシーン上に映し出され得る。シーンにおいて目標又は被写体１つ以上の表面を叩くと、それに応じてパターンが変形する。そのようなパターンの変形が、例えば、３−Ｄカメラ（２６）及び／又はＲＧＢカメラ（２８）によってキャプチャされ得、その後、キャプチャ装置から目標又は被写体上の特定位置までの物理的距離を決定するために解析され得る。
[0028]別の実施形態によるキャプチャ装置（２０）は、分解され得る視覚的ステレオデータを取得し深度情報を生成するために、異なる角度からシーンを眺め得る物理的に別個の２つ以上のカメラを含み得る。
[0029]キャプチャ装置（２０）は更に、マイクロフォン（３０）を含み得る。マイクロフォン（３０）は、音声を受信し電気的信号に変換し得る変換器又はセンサーを含み得る。一実施形態によるマイクロフォン（３０）は、目標認識、解析、及びトラッキングシステム（１０）のキャプチャ装置（２０）と計算環境（１２）との間のフィードバックを減少させるために使用され得る。加えると、マイクロフォン（３０）は、計算環境（１２）によって実行されるゲームアプリケーション、非ゲームのアプリケーションなどのようなアプリケーションを制御するためのユーザーによって提供され得る音声信号を受信するためにも使用され得る。
[0030]実施形態例において、キャプチャ装置（２０）は更に、画像カメラコンポーネント（２２）と作用し通信し得るプロセッサー（３２）を含み得る。プロセッサー（３２）は、標準プロセッサー、専用プロセッサー、マイクロプロセッサーなどを含み得、例えば、画像を受信、キャプチャされたユーザーのモデルを画像内に生成、モデルをトラッキング、トラッキングされたモデルに基づいてモーションキャプチャファイルを生成、モーションキャプチャファイルに適用、するための命令又はより詳細に後述される別の適切な任意の命令を含む命令を実行し得る。
[0031]キャプチャ装置（２０）は更に、メモリーコンポーネント（３４）を含み得、プロセッサー（３２）によって実行される命令、３−Ｄカメラ若しくはＲＧＢカメラによってキャプチャされる画像、又は画像フレーム、又は別の適切な任意の情報、画像などをストアし得る。実施形態例によるメモリーコンポーネント（３４）は、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、キャッシュメモリー、フラッシュメモリー、ハードディスク、又は別の適切な任意のストレージコンポーネントを含み得る。図２のように一実施形態において、メモリーコンポーネント（３４）は、画像キャプチャコンポーネント（２２）及びプロセッサー（３２）と通信する別個のコンポーネントであり得る。別の実施形態によるメモリーコンポーネント（３４）は、プロセッサー（３２）及び／又は画像キャプチャコンポーネント（２２）に統合され得る。
[0032]図２のようにキャプチャ装置（２０）は、通信リンク（３６）を介し計算環境（１２）と通信し得る。通信リンク（３６）は、例えば、ＵＳＢ接続、ファイヤーワイヤー接続、イーサネットケーブル接続などを含む有線接続、及び／又は無線８０２．１１ｂ, １１g, １１a, 又は１１ｎ接続などの無線接続であり得る。一実施形態による計算環境（１２）が、例えば、通信リンク（３６）を介し、シーンをいつキャプチャにするか決定するために使用され得るクロックをキャプチャ装置（２０）に提供し得る。
[0033]加えると、キャプチャ装置（２０）は、例えば、３−Ｄカメラ（２６）及び／又はＲＧＢカメラ（２８）によってキャプチャされた立体情報及び画像、及び／又はキャプチャ装置（２０）によって生成され得る骨格モデルを、通信リンク（３６）を介し計算環境（１２）に提供し得る。その後、計算環境（１２）が、モデル、立体情報、及びキャプチャされた画像を使用し得、例えば、ゲーム又はワードプロセッサーのようなアプリケーションを制御し得、及び／又はアバター又は画面上の登場人物を動画化し得る。例えば、図２のように計算環境（１２）は、ジェスチャライブラリー（１９０）を含み得る。ジェスチャライブラリー（１９０）は（ユーザーが動く）骨格モデルによって実行され得るジェスチャに関する情報をそれぞれ含むジェスチャフィルター集合を含み得る。カメラ（２６）、（２８）、及びキャプチャ装置（２０）によってキャプチャされた骨格モデル形式データ及びそれに関連付けられた動作が、（骨格モデルによって示される）ユーザーが１つ以上のジェスチャをいつ実行したか識別するために、ジェスチャライブラリー（１９０）ジェスチャのフィルターと比較され得る。これらのジェスチャは、様々なアプリケーションコントロールと関連付けられ得る。かくして計算環境（１２）が、骨格モデルの動作を解釈し、その動作に基づいてアプリケーションをコントロールするためにジェスチャライブラリー（１９０）を使用し得る。
[0034]図３は、目標認識、解析、及びトラッキングシステムにおいて、１つ以上のジェスチャを解釈し、及び／又は目標認識、解析、及びトラッキングシステムによって表示されるアバター又は画面上の登場人物を動画化するために使用され得る計算環境の実施形態例を示している。図１Ａ〜図２に関連し前述した計算環境（１２）のような計算環境は、ゲーム機などのマルチメディアコンソール（１００）であり得る。図３のようにマルチメディアコンソール（１００）は、レベル１キャッシュ（１０２）、レベル２キャッシュ（１０４）、及びフラッシュＲＯＭ（読み出し専用メモリー）（１０６）を有する中央演算処理装置（ＣＰＵ）（１０１）を有している。レベル１キャッシュ（１０２）及びレベル２キャッシュ（１０４）が、データを一時的にストアし、それによってメモリーアクセスサイクル数を減らし、その結果、処理速度及びスループットを改善する。２つ以上のコア、ひいては付加的なレベル１キャッシュ（１０２）及びレベル２キャッシュ（１０４）を有するＣＰＵ（１０１）が提供され得る。フラッシュＲＯＭ（１０６）は、マルチメディアコンソール（１００）が電源投入されたとき、ブートプロセスの初期段階の間、ロードされる実行プログラムをストアし得る。
[0035]グラフィック処理装置（ＧＰＵ）（１０８）及び映像エンコーダー／映像コーデック（符号化器／デコーダー）（１１４）が、高速かつ高解像度画像処理用の映像処理パイプラインを形成する。データが、画像処理装置（１０８）から映像エンコーダー／映像コーデック（１１４）へバスを介し伝達される。映像処理パイプラインは、テレビ又はその他のディスプレイへの伝送用Ａ／Ｖ（音声／映像）ポート（１４０）へデータを出力する。メモリーコントローラー（１１０）が、ＲＡＭ（ランダムアクセスメモリー）に限定しないが、そのような様々なタイプのメモリー（１１２）へのプロセッサーへのアクセスを容易にするＧＰＵ（１０８）と接続される。
[0036]マルチメディアコンソール（１００）は、Ｉ／Ｏコントローラー（１２０）、システム管理コントローラー（１２２）、音声処理装置（１２３）、ネットワークインターフェースコントローラー（１２４）、第１のＵＳＢホストコントローラー（１２６）、第２のＵＳＢコントローラー（１２８）、及び望ましくはモジュール（１１８）上に実装されるフロントパネルＩ／Ｏ部分組立体（１３０）を含む。ＵＳＢコントローラー（１２６）及び（１２８）は、周辺機器コントローラー（１４２（１）〜１４２（２））、無線アダプター（１４８）、及び外部記憶装置（１４６）（例えば、フラッシュメモリー、外付けＣＤ／ＤＶＤ ＲＯＭドライブ、取り外し可能媒体など）に対しホスティングをする役目を果たす。ネットワークインターフェース（１２４）及び／又は無線アダプター（１４８）は、ネットワーク（例えば、インターネット、ホームネットワークなど）へのアクセスを提供し、イーサネットカード、モデム、ブルートゥースモジュール、ケーブルモデムなどを含む多種多様な有線又は無線アダプターコンポーネントのいずれかであり得る。
[0037]ブートプロセス中、ロードされるアプリケーションデータをストアするためのシステムメモリー（１４３）が提供される。媒体ドライブ（１４４）が提供され、ＤＶＤ／ＣＤドライブ、ハードドライブ、又はその他の取り外し可能媒体ドライブなどを含み得る。媒体ドライブ（１４４）は内蔵か又はマルチメディアコンソール（１００）に外付けであり得る。アプリケーションデータが、マルチメディアコンソール（１００）によって再生などを実行するために媒体ドライブ（１４４）を介しアクセスされ得る。媒体ドライブ（１４４）は、シリアルＡＴＡバス又は他の高速接続（例えばＩＥＥＥ１３９４）などのバスを介しＩ／Ｏコントローラー（１２０）と接続される。
[0038]システム管理コントローラー（１２２）は、マルチメディアコンソール（１００）の利用可能性保証に関連する様々なサービス機能を提供する。音声処理装置（１２３）及び音声コーデック（１３２）が、忠実性の高い三次元処理を用いて応答音声処理パイプライン処理装置を形成する。音声データが、音声処理装置（１２３）と音声コーデック（１３２）との間を通信リンクを介し伝達される。音声処理パイプラインが、音声機能を有する外付けオーディオプレーヤー又は装置によって再生するためにＡ／Ｖポート（１４０）へデータを出力する。
[0039]フロントパネルＩ／Ｏ部分組立体（１３０）が、マルチメディアコンソール（１００）の外面上に見ることができる電源スイッチ（１５０）及びイジェクトボタン（１５２）並びにいくつかのＬＥＤ（発光ダイオード）又はその他の指標の機能性を支援する。システム電力供給モジュール（１３６）が、マルチメディアコンソール（１００）のコンポーネントに電力を提供する。ファン（１３８）がマルチメディアコンソール（１００）内部の回路を冷却する。
[0040]マルチメディアコンソール（１００）内部のＣＰＵ（１０１）、ＧＰＵ（１０８）、メモリーコントローラー（１１０）、及びその他の様々なコンポーネントは、シリアルバス及びパラレルバス、メモリーバス、周辺機器用バス、及び様々なバスアーキテクチャのうちいずれかを使用したプロセッサーバス又はローカルバスを含む１つ以上のバスを介し相互に接続される。例として、上記アーキテクチャは、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ（ＰＣＩ）バス、ＰＣＩ−エクスプレスバスなどを含み得る。
[0041]マルチメディアコンソール（１００）が電源投入されたとき、アプリケーションデータが、システムメモリー（１４３）からメモリー（１１２）及び／又はキャッシュ（１０２）、（１０４）へロードされ、ＣＰＵ（１０１）上で実行される。アプリケーションは、マルチメディアコンソール（１００）上で利用可能な異なる媒体のタイプへナビゲートするとき、一貫性したユーザー体験を提供するグラフィカルユーザーインターフェースを提示し得る。動作中、媒体ドライブ（１４４）内部に含まれるアプリケーション及び／又はその他の媒体は、媒体ドライブ（１４４）から起動され得るか又は再生され得、マルチメディアコンソール（１００）に付加的機能性を提供し得る。
[0042]マルチメディアコンソール（１００）は、システムをテレビ又はその他のディスプレイと単に接続することによって、単独で動作するシステムとして作動され得る。この単独動作モードのマルチメディアコンソール（１００）によって１人以上のユーザーが、システムとの対話、映画の鑑賞、又は音楽の鑑賞が可能になる。しかしながら、ネットワークインターフェース（１２４）又は無線アダプター（１４８）を介し利用可能になるブロードバンドの接続性統合を用いると、マルチメディアコンソール（１００）が更に、より大きなネットワークコミュニティに参加者として作動され得る。
[0043]マルチメディアコンソール（１００）が電源投入時されたとき、設定された量のハードウェア資源が、マルチメディアコンソールのオペレーティングシステムによるシステムを使用するために予約される。これらのリソースは、メモリー（例えば１６ＭＢ）、ＣＰＵ及びＧＰＵサイクル（例えば５％）、ネットワーク帯域幅（例えば８ｋｂｓ）などの予約を含み得る。これらのリソースはシステムのブート時に予約されるため、アプリケーションの観点から予約されるリソースは存在しない。
[0044]具体的にメモリー予約は、望ましくは十分に大きく、起動カーネル、並列システムアプリケーション及びドライバーを含む。ＣＰＵの予約は、望ましくは一定であり、予約されたＣＰＵ利用が、システムアプリケーションによって使用されていない場合、アイドルスレッドが、いくらかの未使用サイクルを消費する。
[0045]ＧＰＵの予約に関すると、システムアプリケーションによって生成される軽い（例えばポップアップ）メッセージが、ポップアップをオーバーレイにレンダリングするプログラムをスケジューリングするＧＰＵ中断を使用することによって、表示される。オーバーレイに要求されるメモリーの総計は、オーバーレイ領域のサイズ及び望ましくは画面解像度を伴うオーバーレイスケールによって決まる。十分なユーザーインターフェースが、並行システムアプリケーションによって使用されるところでは、アプリケーション解像度に影響されずに解像度を利用することが望まれる。スケーラーがこの解像度を設定するために使用され得、テレビの周波数を変更して再同時性をもたらす必要性が省かれる。
[0046]マルチメディアコンソール（１００）が起動し、システム資源が予約された後、システム機能性を提供する並列システムアプリケーションが実行する。システム機能性は、前述した予約されたシステム資源の範囲内で実行する一連のシステムアプリケーションにカプセル化される。オペレーティングシステムカーネルは、ゲームアプリケーションスレッドに対しシステムアプリケーションスレッドであるスレッドを識別する。本システムのアプリケーションは、望ましくは、一貫性のあるシステム資源の表示をアプリケーションに提供するために、所定の時間及び間隔でＣＰＵ（１０１）上で実行するようにスケジューリングされる。スケジューリングは、コンソール上で実行するゲームアプリケーションに対するキャッシュ分裂を最小化することである。
[0047]並行システムアプリケーションが音声を必要とするとき、音声処理が時間感度によって、ゲームアプリケーションと非同期にスケジューリングされる。（後述される）マルチメディアコンソールのアプリケーションマネージャは、システムアプリケーションがアクティブであるとき、ゲームアプリケーションの音声の（例えば、ミュート、減衰）レベルを制御する。
[0048]入力装置（例えば、コントローラー１４２（１）及び１４２（２））が、ゲームアプリケーション及びシステムアプリケーションによって共有される。入力装置は、予約される資源でないが、しかしシステムアプリケーションとゲームアプリケーションとの間で切換えられ、それぞれが装置のフォーカスを有し得る。アプリケーションマネージャが、ゲームアプリケーションの知識がなくても望ましくは入力ストリームの切換えを制御し、ドライバーが、フォーカス切換えに関する状態情報を維持する。カメラ（２６）、（２８）、及びキャプチャ装置（２０）は、コンソール（１００）用の付加入力装置を定義している。
[0049]図４は、目標認識、解析、及びトラッキングシステムにおいて１つ以上のジェスチャを解釈し、及び／又は目標認識、解析、及びトラッキングシステムによって表示されるアバター又は画面上の登場人物を動画化するために使用される図１Ａ〜図２のような計算環境（１２）である別の計算環境（２２０）の実施形態例を示している。計算システム環境（２２０）は適切な計算環境の一例に過ぎず、開示される本対象項目の利用性又は機能性の範囲に関し、いかなる制限も提示するように意図されていない。計算環境（２２０）は、例示的動作環境（２２０）に示されている一コンポーネント又は任意の組み合わせに関連するいかなる依存性も要件も有していないものとして解釈されたい。実施形態の中には、示された様々な計算エレメントが、今開示される特定の態様を例示するように構成された回路を含み得るものもある。例えば、本開示において使用される用語の回路は、ファームウェア又はスイッチによって機能（単数又は複数）を実行するように構成される専用ハードウェアコンポーネントを含み得る。別の実施形態例の中には、用語の回路が、機能（単数又は複数）を実行するように作動可能なロジックを具体化するソフトウェア命令によって構成された汎用処理装置、メモリーなどを含み得るものもある。回路がハードウェア及びソフトウェアの組み合わせを含む実施形態例において、実装者が、ロジックを具体化するソースコードを記述し得、ソースコードが、汎用演算処理装置によって処理され得る計算機読み出し可能プログラムへコンパイルされ得る。当業者は、技術の最先端が、ハードウェア、ソフトウェア、又はハードウェア／ソフトウェアの組み合わせの間の差異がほとんどない程度に発展していることを十分に理解し得るのであるから、特定機能を実現するためのハードウェア対ソフトウェアの選択は、実装者に任せられた設計選択である。より具体的には、当業者は、ソフトウェアプロセスが同等のハードウェア構造へ変換され得ることと、ハードウェア構造がそれ自体、同等のソフトウェア処理へ変換され得ることと、を十分に理解されよう。かくして、ハードウェア実装対ソフトウェア実装の選択は、設計選択の１つであって実装者に委ねられている。
[0050]図４において、計算環境（２２０）は、典型的に、様々な計算機可読媒体を含む計算機（２４１）を含む。計算機可読媒体は、計算機（２４１）によってアクセスされ得る利用可能な任意の媒体であり得、揮発性及び不揮発性媒体、及び取り外し可能及び取り外し不可能媒体双方を含む。システムメモリー（２２２）は、読み出し専用メモリー（ＲＯＭ）（２２３）及びランダムアクセスメモリー（ＲＡＭ）（２６０）などの揮発性及び／又は不揮発性メモリー形式の計算機記憶媒体を含む。起動中などに計算機（２４１）内部のエレメント間における情報送信を支援する基本ルーチンを含む基本入出力システム（ＢＩＯＳ）（２２４）は、典型的に、ＲＯＭ（２２３）にストアされる。ＲＡＭ（２６０）は、典型的に、演算処理装置（２５９）によって即座にアクセス可能な及び／又は目下作動されているデータ及び／又はプログラムモジュールを含む。非限定の例として、図４は、オペレーティングシステム（２２５）、アプリケーションプログラム（２２６）、その他のプログラムモジュール（２２７）、及びプログラムデータ（２２８）を示している。
[0051]計算機（２４１）は、別の取り外し可能／取り外し不可能、揮発性／不揮発性計算機記憶媒体も含み得る。ほんの一例として、図４は、取り外し不可能、不揮発性磁気媒体から読み出すか又はそれに書き込むハードディスクドライブ（２３８）、取り外し可能、不揮発性磁気ディスク（２５４）から読み出すか又はそれに書き込む磁気ディスクドライブ（２３９）、ＣＤ−ＲＯＭ、又はその他の光学式媒体などの取り外し可能、不揮発性光学式ディスク（２５３）から読み出すか又はそれに書き込む光学式ディスクドライブ（２４０）を示している。例示的な動作環境において使用され得る別の取り外し可能／取り外し不可能、揮発性／不揮発性計算機記憶媒体は、磁気カセットテープ、フラッシュメモリーカード、デジタル多用途ディスク、デジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭ等を含むがこれらに限定しない。ハードディスクドライブ（２３８）は、典型的に、インターフェース（２３４）のような取り外し不可能メモリーインターフェースを介しシステムバス（２２１）と接続され、磁気ディスクドライブ（２３９）及び光学式ディスクドライブ（２４０）は、典型的に、インターフェース（２３５）のような取り外し可能メモリーインターフェースによってシステムバス（２２１）と接続される。
[0052]図４に前述され例示されたドライブ及びそれらに関連する計算機記憶媒体が、計算機（２４１）に計算機可読命令、データ構造、プログラムモジュール、及び別のデータ記憶装置を提供する。図４において、例えばハードディスクドライブ（２３８）は、オペレーティングシステム（２５８）、アプリケーションプログラム（複数）（２５７）、その他のプログラムモジュール（複数）（２５６）、及びプログラムデータ（２５５）をストアするように例示されている。これらのコンポーネントが、オペレーティングシステム（２２５）、アプリケーションプログラム（複数）（２２６）、その他のプログラムモジュール（複数）（２２７）、及びプログラムデータ（２２８）と同一か又は異なるどちらか一方であり得ることを留意されたい。オペレーティングシステム（２５８）、アプリケーションプログラム（２５７）、その他のプログラムモジュール（２５６）、及びプログラムデータ（２５５）は、本明細書において異なる番号を付与されていて、異なる最小限の複製物であることを示している。ユーザーは、一般に、キーボード（２５１）のような入力装置、及びマウス、トラックボール又はタッチパッドとして参照されるポインティングデバイス（２５２）を介し、計算機（２４１）へコマンド及び情報を入力し得る。その他（示されていない）入力装置は、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナーなどを含み得る。これらの入力装置及びその他の入力装置は、多くの場合、システムバスに接続されるユーザー入力インターフェース（２３６）を介し演算処理装置（２５９）と接続されるが、パラレルポート、ゲームポート又はユニバーサルシリアルバス（ＵＳＢ）のような別のインターフェース及びバス構造によっても接続され得る。カメラ（２６）、（２８）、及びキャプチャ装置（２０）は、コンソール（１００）用の付加入力装置を定義している。モニター（２４２）又は別のタイプの表示装置もビデオインターフェース（２３２）のようなインターフェースを介しシステムバス（２２１）と接続される。モニターに加えて計算機は、周辺出力インターフェース（２３３）を介し接続され得るスピーカー（２４４）及びプリンター（２４３）のような別の周辺出力装置も含み得る。
[0053]計算機（２４１）は、リモートコンピューター（２４６）のような１つ以上のリモートコンピューターとの論理接続を使用し、ネットワーク環境において作動し得る。リモートコンピューター（２４６）は、パーソナルコンピューター、サーバー、ルーター、ネットワークＰＣ、ピア装置、又は別の一般的なネットワークノードであり得、典型的に、前述した計算機（２４１）に関連するエレメントの多く又はすべてを含むが、図４にはメモリー記憶装置（２４７）だけが例示されている。図２に示される論理的な接続は、ローカルエリアネットワーク（ＬＡＮ）（２４５）及び広域ネットワーク（ＷＡＮ）（２４９）を含むが、別のネットワークも含み得る。そのようなネットワーク環境は、オフィス、企業規模のコンピューターネットワーク、イントラネット、及びインターネットにおいて一般的である。
[0054]ＬＡＮネットワーク環境において使用されるとき、計算機（２４１）は、ネットワークインターフェース又はアダプター（２３７）を介しＬＡＮ（２４５）と接続される。ＷＡＮネットワーク環境において使用されるとき、計算機（２４１）は、典型的にインターネットなどのようなＷＡＮ（２４９）を介し通信を確立するモデム（２５０）又はその他の手段を含む。内蔵又は外付けがあり得るモデム（２５０）が、ユーザー入力インターフェース（２３６）又はその他の適切な手段を介し、システムバス（２２１）と接続され得る。ネットワークの環境において、計算機（２４１）又はその一部に関連し示されるプログラムモジュールが、リモートメモリー記憶装置にストアされ得る。非限定の例として図４が、記憶装置（２４７）上に常駐するリモートアプリケーションプログラム（２４８）を示している。示されたネットワーク接続が例示的であって、計算機間の通信リンクを確立する別の手段が使用され得ることを十分に理解されよう。
[0055]図５は、シーンにおけるユーザーの動作をキャプチャするための方法例（３００）の流れ図を表している。方法例（３００）は、例えば、図１Ａ〜図４に関し記述されたキャプチャ装置（２０）及び／又は目標認識、解析、トラッキングシステム（１０）の計算環境（１２）を使用し、実装され得る。実施形態例において、方法（３００）は、プログラムコード（すなわち命令）形式を取り得、例えば、図１Ａ〜図４に関し記述された目標認識、解析、及びトラッキングシステム（１０）のキャプチャ装置（２０）及び／又は計算環境（１２）によって実行され得る。
[0056]（３０５）において、一実施形態による画像が受信され得る。例えば、目標認識、解析、及びトラッキングシステムは、図１Ａ〜図２に関し前述したキャプチャ装置（２０）のようなキャプチャ装置を含み得る。キャプチャ装置が、１つ以上の目標を含むシーンをキャプチャ又は観察し得る。実施形態例において、キャプチャ装置は、飛行解析時間、構造光解析、ステレオビジョン解析などのような適切な任意の技法を使用し、シーンのＲＧＢ画像、深度画像などのような画像を取得するために構成されるデプスカメラであり得る。
[0057]例えば、一実施形態において画像は深度画像を含み得る。深度画像は観察された複数の画素であり得、観察された画素それぞれが、観察された深度値を有している。例えば、深度画像は、キャプチャされたシーンの二次元（２−Ｄ）画素領域を含み得、２−Ｄ画素領域の画素それぞれが、キャプチャ装置からキャプチャされたシーンの被写体の長さ又は距離のような深度値を、例えばセンチメートル、ミリメートルで示し得る。
[0058]図６は、（３０５）において受信され得る深度画像（４００）の実施形態例を示している。実施形態例による深度画像（４００）は、例えば、図２に関し前述したキャプチャ装置（２０）の３−Ｄカメラ（２６）及び／又はＲＧＢカメラ（２８）によってキャプチャされたシーンの画像又はフレームであり得る。図６のように深度画像（４００）は、例えば、図１Ａ及び図１Ｂに関し前述したユーザー（１８）のようなユーザーに相当するヒューマンターゲット（４０２）と、キャプチャされたシーンにおける壁、テーブル、モニター、などのような１つ以上の非ヒューマンターゲット（４０４）と、を含み得る。前述したような深度画像（４００）は、観察された複数の画素を含み得、観察された画素それぞれが、それと関連付けられる観察された深度値を有している。例えば、深度画像（４００）は、キャプチャされたシーンの二次元（２−Ｄ）画素領域を含み得、２−Ｄ画素領域の画素それぞれが、キャプチャ装置からキャプチャされたシーンの目標又は被写体の長さ又は距離のような深度値を、例えばセンチメートル、ミリメートルなどで示し得る。一実施形態において、深度画像（４００）は、キャプチャ装置からのヒューマンターゲット（４０２）及び非ヒューマンターゲット（４０４）の異なる距離に相当するように及び／又は視覚的に表すように、深度画像の画素の異なる色が着色され得る。例えば、一実施形態による、キャプチャ装置の最も近くにある目標に関連する画素は赤及び／又はオレンジで深度画像に着色され得るが、一方、更に離れている目標と関連する画素は緑色及び／又は青で深度画像に着色され得る。
[0059]戻って一実施形態の図５を参照すると、（３０５）において画像の受信時、深度画像は、より少ない計算オーバーヘッドを用いてより高速に処理されるように、及び／又はより容易に使用されるように、画像は、より小さな処理解像度に落とされてサンプリングされ得る。加えると、１つ以上の大きな差異及び／又はノイズ深度値が、深度画像から除かれ及び／又は平滑化され得、失われた深度情報及び／又は削除された深度情報の一部が、満たされ、及び／又は再構築され得、及び／又は別の適切な任意の処理が受信された深度情報上で実行され得、深度情報は、より詳細に後述される骨格モデルなどのモデルを生成するために使用され得る。
[0060]（３１０）において、画像内にユーザーのモデルが生成され得る。例えば、画像の受信時、目標認識、解析、及びトラッキングシステムは、深度画像内の目標又は被写体それぞれを大量情報で満たし、それぞれ大量情報で満たされた目標又は被写体を、様々な位置又はポーズの人間の体のモデルと関連付けられたパターンと比較することによって、深度画像が、図１Ａ〜図１Ｂに関し前述した例えば、ユーザー（１８）のようなユーザーに相当するヒューマンターゲットを含むか否か決定し得る。その後、パターンに一致する大量情報で満たされた目標又は被写体は、例えば、様々な体の一部の測定値を含む値を決定するために、分離され得、スキャンされ得る。実施形態例による骨格モデル、メッシュモデルなどのようなモデルがその後、スキャンに基づいて生成され得る。例えば、一実施形態によるスキャンによって決定され得る測定値は、１つ以上の関節をモデルに定義するために使用され得る１つ以上のデータ構造でストアされる。１つ以上の関節が、人間の体の一部に相当し得る１つ以上の骨を定義するために、使用され得る。
[0061]図７は、例えば（３１０）において、ヒューマンターゲット用に生成され得るモデル（５００）の実施形態例を示している。実施形態例によるモデル（５００）は、例えば、図６に関し前述した立体的モデルとしてヒューマンターゲット（４０２）を示し得るデータ構造を１つ以上含み得る。体の一部それぞれは、モデル（５００）の関節と骨を定義する数学で使われるベクトルとして特徴付けられ得る。
[0062]図７のようにモデル（５００）は、１つ以上の関節（ｊ１〜ｊ１８）を含み得る。実施形態例による関節（ｊ１〜ｊ１８）それぞれが、その間に定義された体の１つ以上の部分を別の体の１つ以上の部分に対して動くようにし得る。例えば、ヒューマンターゲットを表すモデルは、隣接した骨の交わりに位置付けられた関節（ｊ１〜ｊ１８）を持つ「骨」のような１つ以上の構造部材によって定義され得る固定した及び／又は変形可能な複数の体の部分を含み得る。関節（ｊ１〜１８）が、骨及び関節（ｊ１〜ｊ１８）と関連付けられた体の様々な部分を互いに無関係に動けるようにし得る。例えば、図７のような関節（ｊ７）と（ｊ１１）との間に定義される骨は、前腕に相当し得、例えば、ふくらはぎに相当し得る関節（ｊ１５）と（ｊ１７）との間に定義される骨と無関係に動かされ得る。
[0063]前述したように体の部分それぞれは、図７に示される骨及び関節を定義するＸ、Ｙ、及びＺ値を有する数学で使われるベクトルとして特徴付けられる。実施形態例において、図７に示される骨に関連付けられるベクトルの交わりが、関節（ｊ１〜ｊ１８）に関連付けられるそれぞれの点を定義し得る。
[0064]戻って図５を参照すると、その後、（３１５）において、モデルがユーザーによる動作に基づいて調整され得るように、モデルはトラッキングされ得る。一実施形態による、図７に関し前述したモデル（５００）のようなモデルが、図１Ａ及び図１Ｂに関し前述したユーザー（１８）のようなユーザーの表現であり得る。目標認識、解析、及びトラッキングシステムは、モデルを調整するために利用され得るユーザー（１８）のようなユーザーからの動作を、観察又はキャプチャし得る。
[0065]例えば、図１Ａ〜図２に関し前述したキャプチャ装置（２０）のようなキャプチャ装置が、モデルを調整するために使用され得るシーンの深度画像、ＲＧＢ画像などのような複数の画像を観察又はキャプチャし得る。一実施形態に従って画像それぞれが、定義された周波数に基づいて観察又はキャプチャされ得る。例えば、キャプチャ装置は、毎１ミリ秒、毎１マイクロ秒などの新しいシーン画像を観察又はキャプチャし得る。
[0066]それぞれの画像受信時、特定の画像に関連付けられた情報は、ユーザーによる動作が実行されているか否か決定するために、モデルに関連付けられた情報と比較され得る。例えば、一実施形態においてモデルは、合成された深度画像のような合成画像へラスターデータ変換され得る。合成画像の画素は、受信画像のヒューマンターゲットが動いているか否か決定し得るために、受信画像それぞれのヒューマンターゲットに関連付けられた画素と比較され得る。
[0067]実施形態例による１つ以上の力ベクトルは、合成画像と受信画像との間で比較された画素に基づいて算出され得る。その後、物理空間におけるヒューマンターゲット又はユーザーのポーズにより密接に相当するポーズにモデルを調整するために、１つ以上の力が、モデルの関節などの１つ以上の力の受信態様に適用され得るか又はマッピングされ得る。
[0068]別の実施形態に従って、モデルは、ユーザーの動作に基づいてモデルを調整するために、受信画像それぞれにおけるヒューマンターゲットのマスク又は表現内に適合するように調整され得る。例えば、観察画像それぞれを受信すると、骨及び関節それぞれを定義し得るＸ、Ｙ、及びＺ値を含むベクトルが、受信画像のそれぞれにおけるヒューマンターゲットのマスクに基づいて調整され得る。例えば、モデルが、受信画像それぞれにおける人間のマスク画素に関連付けられたＸ及びＹ値に基づいてＸ方向及び／又はＹ方向に動かされ得る。加えると、モデルの骨及び関節が、受信画像それぞれにおけるヒューマンターゲットのマスク画素に関連付けられた深度値に基づいて、Ｚ方向に回転され得る。
[0069]図８Ａ〜図８Ｃは、図１Ａ及び図１Ｂに関し前述したユーザー（１８）のようなユーザーによる動作又はジェスチャに基づいて調整されるモデルの実施形態例を示している。図８Ａ〜図８Ｃのように、図７に関し前述したモデル（５００）が、前述したように時間内の様々な時点において受信される深度画像にキャプチャされ得、観察された様々な時点のユーザーの動作又はジェスチャに基づいて調整され得る。例えば、図８Ａのようなモデル（５００）の関節（ｊ４）、（ｊ８）、及び（ｊ１２）とそれらの間に定義された骨は、前述したように時間内の様々な時点における受信画像のヒューマンターゲットに対するマスクと適合するように１つ以上の力ベクトルを適用するか又はモデルを調整することによって、ユーザーが彼又は彼女の左腕を上げたときのポーズ（５０２）を示すように調整され得る。関節（ｊ８）及び（ｊ１２）とその間に定義された骨は更に、ユーザーが彼又は彼女の左の前腕を動かすことによって手を振ったとき、図８Ｂ〜図８Ｃのようなポーズ（５０４）及び（５０６）に調整され得る。かくして、実施形態例に従って関節（ｊ４）、（ｊ８）、及び（ｊ１２）とその間の前腕及び二頭筋と関連する骨とを定義している数学で使われるベクトルは、前述したように力ベクトルを適用するか又はマスク中にモデルを適合することによってポーズ（５０２）、（５０４）、及び（５０６）に相当するように調整され得るＸ、Ｙ、及びＺ値を有するベクトルを含み得る。
[0070]戻って図５を参照すると、（３２０）において、トラッキングされたモデルのモーションキャプチャファイルが生成され得る。例えば、目標認識、解析、及びトラッキングシステムは、図１Ａ及び１Ｂに関し前述したユーザー（１８）のようなユーザー特有の手を振る動作、ゴルフスイングなどのスイング動作、パンチ動作、歩行動作、実行中の動作などのような１つ以上の動作を含み得るモーションキャプチャファイルをレンダリングし、ストアし得る。一実施形態によるモーションキャプチャファイルは、トラッキングされたモデルに関連付けられた情報に基づいてリアルタイムに生成され得る。例えば、一実施形態において、モーションキャプチャファイルは、例えば、時間内の様々な時点においてそれがトラッキングされたときの、モデルの関節と骨を定義し得るＸ、Ｙ、及びＺ値を含んでいるベクトルを含み得る。
[0071]一実施形態例において、ユーザーは、モーションキャプチャファイルにキャプチャされ得る様々な動作を実行するように指示され得る。例えば、ユーザーに歩くか又はゴルフスイング動作を実行するように指示し得るインターフェースが、例えば表示され得る。前述したように、その後、トラッキングされているモデルが、時間内の様々な時点のそれらの動作に基づいて調整され得、指示された動作に関するモデルのモーションキャプチャファイルが生成され得、ストアされ得る。
[0072]別の実施形態において、モーションキャプチャファイルは、目標認識、解析、及びトラッキングシステムとのユーザーの対話による自然な動きの中でトラッキングされたモデルをキャプチャし得る。例えば、モーションキャプチャファイルは、モーションキャプチャファイルが、目標認識、解析、及びトラッキングシステムとの対話の間、ユーザーによる任意の動き又は動作を自然にキャプチャし得るように生成され得る。
[0073]一実施形態によるモーションキャプチャファイルは、例えば、時間内の異なる時点におけるユーザーの動作のスナップショットに相当するフレームを含み得る。トラッキングされたモデルをキャプチャすると、時間内の特定の時点において、それに適用される任意の動作又は調整を含むモデルに関連付けられた情報が、モーションキャプチャファイルのフレームにレンダリングされ得る。フレーム内の情報は、例えば、トラッキングされたモデルの関節と骨を定義し得るＸ、Ｙ、及びＺ値を含んでいるベクトルと、ユーザーがトラッキングされたモデルのポーズに相当する動作を実行した時間内の時点の指標であり得るタイムスタンプと、を含み得る。
[0074]例えば、図８Ａ〜８Ｃに関し前述したようにモデル（５００）はトラッキングされ得、時間内の特定の時点において彼又は彼女の左手を振っているユーザーの指標であり得るポーズ（５０２）、（５０４）、及び（５０６）を形成するように調整され得る。ポーズ（５０２）、（５０４）、及び（５０６）それぞれに対するモデル（５００）の関節と骨に関連付けられた情報は、モーションキャプチャファイルにキャプチャされる。
[0075]例えば、図８Ａに示されるモデル（５００）のポーズ（５０２）は、ユーザーが最初に彼又は彼女の左腕を上げたときの時間内の時点に相当し得る。ポーズ（５０２）に関する関節と骨のＸ、Ｙ、Ｚ値などの情報を含んでいるポーズ（５０２）は、例えば、ユーザーが彼又は彼女の左腕を上げた後、時間内の時点に関連付けられた第１のタイムスタンプを有する、モーションキャプチャファイルの第１のフレームにレンダリングされ得る。
[0076]同様に、図８Ｂ、８Ｃに示されるモデル（５００）のポーズ（５０４）及び（５０６）は、ユーザーが彼又は彼女の左手を振っているときの時間内の時点に相当し得る。ポーズ（５０４）及び（５０６）に関する関節と骨のＸ、Ｙ、Ｚなどの情報を含んでいるポーズ（５０４）及び（５０６）は、例えば、ユーザーが彼又は彼女の左手を振っている時間内の異なる時点に関連付けられた第２のタイムスタンプ及び第３のタイムスタンプそれぞれを有する、モーションキャプチャファイルの第２及び第３のフレームそれぞれにレンダリングされ得る。
[0077]実施形態例によるポーズ（５０２）、（５０４）、及び（５０６）に関連付けられた第１、第２、及び第３それぞれのタイムスタンプの第１、第２、第３のフレームが、連続した時間順でモーションキャプチャファイルにレンダリングされ得る。例えば、ポーズ（５０２）に関連しレンダリングされた第１のフレームは、ユーザーが彼又は彼女の左腕を上げたとき０秒の第１のタイムスタンプを有し得、ポーズ（５０４）に関連しレンダリングされた第２のフレームは、ユーザーが彼又は彼女の左手を外側方向へ動かし手を振る動作を開始した後１秒の第２のタイムスタンプを有し得、ポーズ（５０６）に関連しレンダリングされた第３のフレームは、ユーザーが彼又は彼女の左手を内側方向へ動かし手を振る動作を終了したとき２秒の第３のタイムスタンプを有し得る。
[0078]（３２５）において、モーションキャプチャファイルが、アバター又はゲーム上の登場人物に適用され得る。例えば、目標認識、解析、及びトラッキングシステムは、モーションキャプチャファイルにキャプチャされたトラッキングされたモデルの動作１つ以上をアバター又はゲーム上の登場人物に適用し得、アバター又はゲーム上の登場人物が、図１Ａ及び図１Ｂに関し前述したユーザー（１８）のようなユーザーによって実行される動作を模倣するように動画化され得る。実施形態例において、モーションキャプチャファイルにキャプチャされたモデルの関節と骨が、ゲーム上の登場人物又はアバターの特定部分にマッピングされ得る。例えば、右肘に関連する関節が、アバター又はゲーム上の登場人物の右肘にマッピングされ得る。その後、右肘は、モーションキャプチャファイルのフレームそれぞれのユーザーのモデルに関連付けられた右肘の動作を模倣するように動画化され得る。
[0079]実施形態例による目標認識、解析、及びトラッキングシステムは、動作がモーションキャプチャファイルにキャプチャされたとき１つ以上の動作を適用し得る。かくして、モーションキャプチャファイルのフレームがレンダリングされたとき、フレームにキャプチャされた動作が、アバター又はゲーム上の登場人物に適用され得、アバター又はゲーム上の登場人物が、フレームにキャプチャされた動作を即座に模倣するように動画化され得る。
[0080]別の実施形態において、目標認識、解析、及びトラッキングシステムは、動作がモーションキャプチャファイルにキャプチャされ得た後、１つ以上の動作を適用し得る。例えば、歩行動作などの動きが、ユーザーによって実行され得、キャプチャされ得、モーションキャプチャファイルにストアされ得る。例えば、ユーザーの歩行動作のような動きに関連付けられたコントロールとして認識されたジェスチャをユーザーが続けて実行するたびに、その後、歩行動作などの動きが、アバター又はゲーム上の登場人物に適用され得る。例えば、ユーザーが、彼又は彼女の左足を持ち上げたとき、アバターを歩かせるコマンドが起動され得る。その後、アバターは、ユーザーに関連付けられ、モーションキャプチャファイルにストアされ得る歩行動作に基づいて歩き始め得、動画化され得る。
[0081]図９Ａ〜図９Ｃは、例えば（３２５）において、モーションキャプチャファイルに基づいて動画化され得るアバター又はゲーム上の登場人物（６００）の実施形態例を示している。図９Ａ〜図９Ｃのようにアバター又はゲーム上の登場人物（６００）が、図８Ａ〜８Ｃに関し前述したトラッキングされたモデル（５００）に対しキャプチャされた手を振る動作を模倣するように動画化され得る。例えば、図８Ａ〜８Ｃに示されるモデル（５００）の関節（ｊ４）、（ｊ８）、及び（ｊ１２）とその間に定義される骨とが、図９Ａ〜９Ｃのようにアバター又はゲーム上の登場人物（６００）の左の肩関節（ｊ４’）、左の肘関節（ｊ８’）、及び左手首の関節（ｊ１２’）、及び相当する骨にマッピングされ得る。その後、アバター又はゲーム上の登場人物（６００）が、モーションキャプチャファイルの第１、第２、及び第３のタイムスタンプそれぞれにおいて、図８Ａ〜８Ｃに示されるモデル（５００）のポーズ（５０２）、（５０４）、及び（５０６）を模倣するポーズ（６０２）、（６０４）、及び（６０６）に動画化され得る。
[0082]かくして、実施形態例において、画面上の登場人物の外観は、モーションキャプチャファイルに応答し、変更され得る。例えば、図１Ａ〜図１Ｂに関し前述したゲーム機上でコンピューターゲームをプレーしているユーザー（１８）のようなゲームプレーヤーが、本明細書に記載されたようなゲーム機によってトラッキングされ得る。ゲームプレーヤーが腕を振ったとき、ゲーム機がこの動作をトラッキングし得、その後、トラッキングされた動作に応答し、それに従って、ユーザーに関連付けられた骨格モデル、メッシュモデルなどのようなモデルを調整し得る。前述したようにトラッキングされたモデルは更に、モーションキャプチャファイルにキャプチャされ得る。その後、モーションキャプチャファイルは、画面上の登場人物に適用され得、画面上の登場人物は、自らの腕を振っているユーザーの実際の動作を模倣するように動画化され得る。実施形態例による画面上の登場人物が、彼又は彼女の腕を振っているユーザーのように正確に、ゲームにおいて、例えばゴルフクラブ、バットを振るか又はパンチを食らわすように動画化され得る。
[0083]本明細書に記載した構成及び／又は手法は、本来、例示的であって、これらの具体的な実施形態又は例は、限定している意味として考えられないように理解されたい。本明細書に記載した特定のルーチン又は方法は、１つ以上の処理戦略をいくらでも示している。したがって、例示した様々な動作が、例示した順番で、別の順番で、並列などで実行され得る。同様に、前述したプロセスの順序は変更され得る。
[0084]本開示の対象項目は、本明細書に開示した様々なプロセス、システム、及び構成、並びにその他の特徴、機能、動作、及び／又は特性に関する新規的な自明でない組み合わせ及び部分的な組み合わせすべて、並びにその同等物のいくつか及びすべてを含む。
１０ トラッキングシステム
１２ 計算環境
１４ 画面
１６ 視聴覚装置
１８ ユーザー
２０ キャプチャ装置
２２ カメラコンポーネント
２４ 赤外線光コンポーネント
２６ ３−Ｄカメラ
２８ ＲＧＢカメラ
３０ マイクロフォン
３２ プロセッサー
３４ メモリーコンポーネント
３６ 通信リンク
３８ ボクシングの対戦相手
４０ プレーヤーのアバター
１００ マルチメディアコンソール
１０１ 中央演算処理装置
１０２ レベル１キャッシュ
１０４ レベル２キャッシュ
１０６ フラッシュＲＯＭ
１０８ 画像処理装置（ＧＰＵ）
１１０ メモリーコントローラー
１１２ メモリー
１１４ 映像エンコーダー／映像コーデック（符号化器／デコーダー）
１１８ モジュール
１２０ Ｉ／Ｏコントローラー
１２２ システム管理コントローラー
１２３ 音声処理装置
１２４ ネットワークインターフェースコントローラー
１２６ 第１のＵＳＢコントローラー
１２８ 第２のＵＳＢコントローラー
１３０ フロントパネルＩ／Ｏ部分組立体
１３２ 音声コーデック
１３６ システム電力供給モジュール
１３８ ファン
１４０ Ａ／Ｖポート
１４３ システムメモリー
１４４ 媒体ドライブ
１４６ 外部記憶装置
１４８ 無線アダプター
１５０ 電源スイッチ
１５２ イジェクトボタン
１９０ ジェスチャライブラリー
２２０ 計算環境
２２１ システムバス
２２２ システムメモリー
２２３ 読み出し専用メモリー（ＲＯＭ）
２２４ 基本入出力システム（ＢＩＯＳ）
２２５ オペレーティングシステム
２２６ アプリケーションプログラム
２２７ その他のプログラムモジュール
２２８ プログラムデータ
２２９ 画像処理装置（ＧＰＵ）
２３０ ビデオメモリー
２３１ グラフィックインターフェース
２３２ ビデオインターフェース
２３３ 周辺出力インターフェース
２３４ 取り外し不可能メモリーインターフェース
２３５ 取り外し可能メモリーインターフェース
２３６ ユーザー入力インターフェース
２３７ アダプター
２３８ ハードディスクドライブ
２３９ 磁気ディスクドライブ
２４０ 光学式ディスクドライブ
２４１ 計算機
２４２ モニター
２４３ プリンター
２４４ スピーカー
２４５ ローカルエリアネットワーク（ＬＡＮ）
２４６ リモートコンピューター
２４７ メモリー記憶装置
２４８ リモートアプリケーションプログラム
２４９ 広域ネットワーク（ＷＡＮ）
２５０ モデム
２５１ キーボード
２５２ ポインティングデバイス
２５３ 不揮発性光学式ディスク
２５４ 不揮発性磁気ディスク
２５５ プログラムデータ
２５６ その他のプログラムモジュール（複数）
２５７ アプリケーションプログラム（複数）
２５８ オペレーティングシステム
２５９ 演算処理装置
２６０ ランダムアクセスメモリー（ＲＡＭ）
４００ 深度画像
４０２ ヒューマンターゲット
４０４ 非ヒューマンターゲット
５００ ユーザーと関連付けられたモデル
ｊ１〜ｊ１８ 関節
ｊ ４' 相当する関節
ｊ ８' 相当する関節
ｊ１２' 相当する関節
５０２〜５０６ ポーズ
６００ アバター又はゲーム上の登場人物
６０２〜６０４ ポーズ

Claims (15)

  1. シーンにおけるユーザーの動作をキャプチャするための装置であって、
    前記シーンの深度画像を受信するカメラコンポーネントと、
    計算機実行可能命令を実行するプロセッサーと、を含んでいて、前記計算機実行可能命令が、
    前記カメラコンポーネントから前記シーンの前記深度画像を受信するステップと、
    前記深度画像内にキャプチャされた前記ユーザーと関連付けられたモデルを生成するステップであって、
    前記深度画像内にキャプチャされたオブジェクトを前記オブジェクトの周囲
    の前記深度画像から抽出し、
    前記オブジェクトを、前記モデルと関連付けられたパターンと比較し、
    前記オブジェクトと前記パターンとの比較の結果に基づいて前記オブジェク
    トを分離し、
    分離された前記オブジェクトの各部分を測定し、
    測定値を格納することによってデータ構造を生成し、
    前記データ構造に基づいて前記モデルの特徴を決定する、ステップと、
    前記ユーザーによる動作を模倣するように、前記ユーザーによる動作に応答して前記モデルを調整することによって、前記モデルをトラッキングするステップと、
    前記トラッキングされたモデルに基づいて前記ユーザーの動作に関するモーションキャプチャファイルを生成するステップと、
    を実行する命令を含むことを特徴とする装置。
  2. 前記ユーザーによる前記動作が、物理空間における前記ユーザーに関連付けられた体の１つ以上の部分の１つ以上の動作を含むことを特徴とする請求項１記載の装置。
  3. 前記トラッキングされたモデルに基づいて、前記ユーザーの前記動作に関する前記モーションキャプチャファイルを生成するステップに関する前記命令が、
    前記ユーザーによる前記動作に応答し、前記トラッキングされたモデルの第１のポーズをキャプチャするステップと、
    前記トラッキングされたモデルの前記第１のポーズを含む前記モーションキャプチャファイル内の第１のタイムスタンプで第１のフレームをレンダリングするステップと、
    を実行する命令を含むことを特徴とする請求項１又は２記載の装置。
  4. 前記トラッキングされたモデルに基づいて、前記ユーザーの前記動作に関する前記モーションキャプチャファイルを生成するステップに関する前記命令が、
    前記ユーザーによる前記動作に応答し、前記トラッキングされたモデルの第２のポーズをキャプチャするステップと、
    前記トラッキングされたモデルの前記第２のポーズを含む前記モーションキャプチャファイル中の第２のタイムスタンプで第２のフレームをレンダリングするステップと、
    を実行する命令を含む請求項３記載の装置。
  5. 前記第１のフレーム及び前記第２のフレームが、前記第１のタイムスタンプ及び前記第２のタイムスタンプに対応する連続した時間順に前記モーションキャプチャファイルにレンダリングされることを特徴とする請求項４記載の装置。
  6. 前記モデルが、関節と骨を有する骨格モデルを含むことを特徴とする請求項５記載の装置。
  7. 前記第１のフレームが、前記第１のポーズにおける前記関節と前記骨を定義している第１のベクトル集合を含むことと、前記第２のフレームが、前記第２のポーズにおける前記関節と前記骨を定義している第２のベクトル集合を含むことと、を特徴とする請求項６記載の装置。
  8. シーンにおけるユーザーの動作をキャプチャするための計算機実行可能命令がストアされる計算機可読記憶媒体であって、前記計算機実行可能命令が、
    前記シーンにおける深度画像を受信するステップと、
    前記深度画像内にキャプチャされた前記ユーザーと関連付けられたモデルを生成するステップであって、
    前記深度画像内にキャプチャされたオブジェクトを前記オブジェクトの周囲
    の前記深度画像から抽出し、
    前記オブジェクトを、前記モデルと関連付けられたパターンと比較し、
    前記オブジェクトと前記パターンとの比較の結果に基づいて前記オブジェク
    トを分離し、
    分離された前記オブジェクトの各部分を測定し、
    測定値を格納することによってデータ構造を生成し、
    前記データ構造に基づいて前記モデルの特徴を決定する、ステップと、
    前記ユーザーによる動作を模倣するように、前記ユーザーによる動作に応答して前記モデルを調整することによって、前記モデルをトラッキングするステップと、
    前記トラッキングされたモデルに基づいて、前記ユーザーの動作に関するモーションキャプチャファイルを生成するステップと、
    を実行する命令を含むことを特徴とする計算機可読記憶媒体。
  9. 前記ユーザーによる前記動作が、物理空間における前記ユーザーに関連付けられた体の１つ以上の部分の１つ以上の動作を含むことを特徴とする請求項８記載の計算機可読記憶媒体。
  10. 前記トラッキングされたモデルに基づいて、前記ユーザーの前記動作に関する前記モーションキャプチャファイルを生成するステップに関する前記命令が更に、
    前記トラッキングされたモデルのポーズをキャプチャするステップと、
    前記トラッキングされたモデルの前記ポーズを含む前記モーションキャプチャファイル内のフレームをレンダリングするステップと、
    を実行する命令を含むことを特徴とする請求項８又は９記載の計算機可読記憶媒体。
  11. 前記モデルが、関節と骨を有する骨格モデルを含むことを特徴とする請求項１０記載の計算機可読記憶媒体。
  12. 更に、
    前記モデルの前記関節及び前記骨をアバターの特定部分へマッピングするステップと、
    前記トラッキングされたモデルにおける前記関節と前記骨の動作を模倣するように前記アバターの前記特定部分を動画化するステップと、
    を実行する命令を含む請求項１１記載の計算機可読媒体。
  13. ユーザーのモデルをレンダリングするためのシステムであって、
    シーンの深度画像を受信するカメラコンポーネントを含むキャプチャ装置と、
    前記キャプチャ装置と作用的に通信する計算装置を含んでいて、前記計算装置が、
    前記深度画像内にキャプチャされたオブジェクトを前記オブジェクトの周囲
    の前記深度画像から抽出し、
    前記オブジェクトを、前記モデルと関連付けられたパターンと比較し、
    前記オブジェクトと前記パターンとの比較の結果に基づいて前記オブジェク
    トを分離し、
    分離された前記オブジェクトの各部分を測定し、
    測定値を格納することによってデータ構造を生成し、
    前記データ構造に基づいて前記モデルの特徴を決定することによって、
    前記深度画像内にキャプチャされた前記ユーザーのモデルを生成し、
    前記ユーザーによる動作を模倣するように、前記ユーザーによる動作に応答して前記モデルを調整することによって前記モデルをトラッキングし、
    前記トラッキングされたモデルに基づいて前記ユーザーの前記動作に関するモーションキャプチャファイルを生成するプロセッサーを含んでいることを特徴とするシステム。
  14. 前記モデルが、関節と骨を有する骨格モデルを含み、前記プロセッサーが、前記モデルの関節及び骨を前記アバターの特定部分へマッピングし、前記トラッキングされたモデルの前記関節及び前記骨に適用される前記ユーザーの動作を模倣するように前記アバターの前記特定部分を動画化することによって、前記モーションキャプチャファイルを前記アバターに適用することを特徴とする請求項１３記載のシステム。
  15. 前記計算装置が更に、その上にストアされるジェスチャライブラリーを含むことと、前記プロセッサーが、前記トラッキングされたモデルに適用される前記１つ以上動作を前記ジェスチャライブラリーと比較し、前記モーションキャプチャファイルを前記アバターに適用するか否か決定することと、を特徴とする請求項１３又は１４記載のシステム。
JP2012508562A 2009-05-01 2010-04-26 モーションキャプチャにモデルトラッキングを適用するための方法及びシステム Expired - Fee Related JP5739872B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US17495009P 2009-05-01 2009-05-01
US61/174,950 2009-05-01
US12/485,730 2009-06-16
US12/485,730 US20100277470A1 (en) 2009-05-01 2009-06-16 Systems And Methods For Applying Model Tracking To Motion Capture
PCT/US2010/032366 WO2010126816A2 (en) 2009-05-01 2010-04-26 Systems and methods for applying model tracking to motion capture

Publications (3)

Publication Number Publication Date
JP2012525643A JP2012525643A (ja) 2012-10-22
JP2012525643A5 JP2012525643A5 (ja) 2015-01-08
JP5739872B2 true JP5739872B2 (ja) 2015-06-24

Family

ID=43030045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012508562A Expired - Fee Related JP5739872B2 (ja) 2009-05-01 2010-04-26 モーションキャプチャにモデルトラッキングを適用するための方法及びシステム

Country Status (10)

Country Link
US (2) US20100277470A1 (ja)
EP (1) EP2424631A4 (ja)
JP (1) JP5739872B2 (ja)
KR (1) KR101625259B1 (ja)
CN (1) CN102413885B (ja)
BR (1) BRPI1015282A2 (ja)
CA (1) CA2757173C (ja)
IL (1) IL215294A (ja)
RU (1) RU2580450C2 (ja)
WO (1) WO2010126816A2 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101695638B1 (ko) * 2011-07-18 2017-01-13 한국전자통신연구원 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
US20130093751A1 (en) * 2011-10-12 2013-04-18 Microsoft Corporation Gesture bank to improve skeletal tracking
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
KR20140116740A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 안무 영상을 표시하는 디스플레이 장치 및 표시 방법
US9348411B2 (en) 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude
US9140554B2 (en) * 2014-01-24 2015-09-22 Microsoft Technology Licensing, Llc Audio navigation assistance
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US10110881B2 (en) 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
US10048765B2 (en) * 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity
JP6569452B2 (ja) 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US11467572B2 (en) 2016-07-29 2022-10-11 NEC Solution Innovations, Ltd. Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
EP3493011B1 (en) * 2016-07-29 2022-09-14 NEC Solution Innovators, Ltd. Mobile body control system, control signal transmission system, mobile body control method, program, and recording medium
CN117193617A (zh) 2016-09-23 2023-12-08 苹果公司 头像创建和编辑
EP3324365A1 (en) * 2016-11-22 2018-05-23 Dassault Systèmes Computer-implemented method for simulating a body taking a posture, in particular to look at a target
US20180225858A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform
JP6827875B2 (ja) * 2017-04-19 2021-02-10 株式会社日立製作所 姿勢推定システム、距離画像カメラ、及び姿勢推定装置
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
KR102572675B1 (ko) 2017-11-22 2023-08-30 삼성전자주식회사 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
KR102439783B1 (ko) * 2017-12-04 2022-09-02 한국전자통신연구원 인체 자세 및 행동 모니터링 장치 및 방법
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US10984575B2 (en) * 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JP6722316B1 (ja) * 2019-03-05 2020-07-15 株式会社コロプラ 配信プログラム、配信方法、コンピュータ、および視聴端末
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110415321B (zh) * 2019-07-06 2023-07-25 深圳市山水原创动漫文化有限公司 一种动画动作处理方法及其系统
CN111290577B (zh) * 2020-01-22 2024-03-22 北京明略软件系统有限公司 一种非接触式输入方法及装置
US11645873B1 (en) * 2020-03-20 2023-05-09 18Birdies Llc Systems, media, and methods providing a golf swing coach
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
KR102212035B1 (ko) * 2020-05-27 2021-02-04 (주)프렌즈몬 제스처 인식 기반 원격 교육서비스 시스템 및 방법
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
KR20230029968A (ko) 2020-06-30 2023-03-03 스냅 인코포레이티드 실시간 가상 효과들을 위한 골격 추적
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
CN114359469B (zh) * 2022-01-07 2023-06-09 腾讯科技（深圳）有限公司 生成主控对象投影的方法、装置、设备及介质
KR102612512B1 (ko) * 2023-07-07 2023-12-11 주식회사 위시 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4600919A (en) * 1982-08-03 1986-07-15 New York Institute Of Technology Three dimensional animation
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
CN1253636A (zh) * 1995-06-22 2000-05-17 3Dv系统有限公司 远心光阑3维照相机及方法
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
DE69922706T2 (de) * 1999-09-08 2005-12-08 3Dv Systems Ltd. 3d- bilderzeugungssystem
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
KR100361462B1 (ko) * 1999-11-11 2002-11-21 황병익 모션 캡쳐 데이터 획득 방법
DE19960180B4 (de) * 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
JP2002058045A (ja) * 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
KR100688743B1 (ko) * 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
WO2007096893A2 (en) * 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
WO2007130691A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Method for providing affective characteristics to computer generated avatar during gameplay
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP2008033840A (ja) * 2006-07-31 2008-02-14 Xing Inc 動画表示装置、動画表示方法、及びコンピュータプログラム
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
EP2089125A4 (en) * 2006-11-10 2011-04-06 Mtv Networks ELECTRONIC GAME WITH IDENTIFICATION AND IMPLEMENTATION OF THE FOOT MOVEMENTS OF A USER
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
WO2008109299A2 (en) * 2007-03-01 2008-09-12 Sony Computer Entertainment America Inc. System and method for communicating with a virtual world
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9098766B2 (en) * 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示系统及方法

Also Published As

Publication number Publication date
EP2424631A2 (en) 2012-03-07
RU2580450C2 (ru) 2016-04-10
IL215294A0 (en) 2011-12-29
CN102413885B (zh) 2013-07-10
BRPI1015282A2 (pt) 2018-02-20
CN102413885A (zh) 2012-04-11
WO2010126816A3 (en) 2011-03-03
KR20120020106A (ko) 2012-03-07
KR101625259B1 (ko) 2016-05-27
IL215294A (en) 2016-05-31
JP2012525643A (ja) 2012-10-22
US20100277470A1 (en) 2010-11-04
CA2757173C (en) 2017-05-23
US20120127176A1 (en) 2012-05-24
EP2424631A4 (en) 2013-05-22
CA2757173A1 (en) 2010-11-04
RU2011144152A (ru) 2013-05-10
WO2010126816A2 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
JP5739872B2 (ja) モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
US8803889B2 (en) Systems and methods for applying animations or motions to a character
US8660310B2 (en) Systems and methods for tracking a model
US9607213B2 (en) Body scan
RU2555228C2 (ru) Манипулирование виртуальным объектом
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
US9052746B2 (en) User center-of-mass and mass distribution extraction using depth images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140404

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141107

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20141111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150424

R150 Certificate of patent or registration of utility model

Ref document number: 5739872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees