JP5145470B2 - System and method for analyzing game control input data - Google Patents
System and method for analyzing game control input data Download PDFInfo
- Publication number
- JP5145470B2 JP5145470B2 JP2012080329A JP2012080329A JP5145470B2 JP 5145470 B2 JP5145470 B2 JP 5145470B2 JP 2012080329 A JP2012080329 A JP 2012080329A JP 2012080329 A JP2012080329 A JP 2012080329A JP 5145470 B2 JP5145470 B2 JP 5145470B2
- Authority
- JP
- Japan
- Prior art keywords
- analysis unit
- input
- controller
- tracking information
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000004458 analytical method Methods 0.000 claims description 87
- 230000001133 acceleration Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 29
- 238000010191 image analysis Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000000348 solid-phase epitaxy Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920013636 polyphenyl ether polymer Polymers 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002195 synergetic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004018 waxing Methods 0.000 description 2
- 240000007643 Phytolacca americana Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000007781 signaling event Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1081—Input via voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、人間とコンピュータの間のインタフェースに関し、とくに、1以上のコントローラのユーザ操作を追跡するための多チャンネル入力の処理に関する。 The present invention relates to an interface between a human and a computer, and more particularly to processing of multi-channel input for tracking user operations of one or more controllers.
コンピュータエンタテインメントシステムは、一般に、ハンドヘルドコントローラ、ゲームコントローラ、又はその他のコントローラを含む。ユーザ又はプレイヤーは、コマンド又はその他の命令をエンタテインメントシステムに送信して、プレーされているビデオゲーム又はその他のシミュレーションを制御するために、コントローラを用いる。例えば、コントローラには、ユーザにより操作されるジョイスティックなどの操作部が設けられてもよい。操作されたジョイスティックの変量は、アナログ値からディジタル値に変換され、ゲーム機のメインフレームへ送信される。コントローラには、ユーザが操作可能なボタンが設けられてもよい。 Computer entertainment systems typically include handheld controllers, game controllers, or other controllers. A user or player uses a controller to send commands or other instructions to the entertainment system to control the video game or other simulation being played. For example, the controller may be provided with an operation unit such as a joystick operated by the user. The manipulated variable of the joystick is converted from an analog value to a digital value and transmitted to the main frame of the game machine. The controller may be provided with buttons that can be operated by the user.
本発明は、これら又はその他の背景となる情報要素に関して発展させたものである。 The present invention has been developed with respect to these and other background information elements.
本発明の教授するところは、添付図面とあわせて以下の詳細な説明を考慮することにより容易に理解されるでろう。 The teachings of the present invention can be readily understood by considering the following detailed description in conjunction with the accompanying drawings, in which:
・優先権の主張
本出願は、米国特許出願11/381,729(発明者:シャドン・マオ、発明の名称:「超小型マイクロフォン配列」、代理人事件番号:SCEA05062US00、出願日:2006年5月4日)、米国特許出願11/381,728(発明者:シャドン・マオ、発明の名称:「エコー及びノイズキャンセル」、代理人事件番号:SCEA05064US00、出願日:2006年5月4日)、米国特許出願11/381,725(発明者:シャドン・マオ、発明の名称:「対象音声検出方法及び装置」、代理人事件番号:SCEA05072US00、出願日:2006年5月4日)、米国特許出願11/381,727(発明者:シャドン・マオ、発明の名称:「コンソール上の遠距離場マイクロフォンによる電子機器のノイズ除去」、代理人事件番号:SCEA05073US00、出願日:2006年5月4日)、米国特許出願11/381,724(発明者:シャドン・マオ、発明の名称:「対象音声検出及びキャラクタリゼーションのための方法及び装置」、代理人事件番号:SCEA05079US00、出願日:2006年5月4日)、米国特許出願11/381,721(発明者:シャドン・マオ、発明の名称:「コンピュータ対話処理に連動した選択的音源聴取」、代理人事件番号:SCEA04005JUMBOUS、出願日:2006年5月4日)の優先権を主張し、これらの全てはここに参照として組み込まれる。
Priority claim This application is based on US patent application Ser. No. 11 / 381,729 (inventor: Shadon Mao, title of invention: “micro-microphone array”, agent case number: SCEA05062US00, filing date: May 2006. 4th), US patent application 11 / 381,728 (inventor: Shadon Mao, title of invention: “echo and noise cancellation”, agent case number: SCEA05064US00, filing date: May 4, 2006), US Patent application 11 / 381,725 (inventor: Shadon Mao, title of invention: “target speech detection method and apparatus”, agent case number: SCEA05072US00, filing date: May 4, 2006), US patent application 11 / 381,727 (Inventor: Shadon Mao, title of invention: “Electronics by far-field microphone on console” Device noise removal ”, agent case number: SCEA05073US00, filing date: May 4, 2006), US patent application 11 / 381,724 (inventor: Shadon Mao, title of invention:“ target speech detection and character ” Method and apparatus for tectarization ", agent case number: SCEA05079US00, filing date: May 4, 2006, US patent application 11 / 381,721 (inventor: Shadon Mao, title of invention:" computer interaction All rights are hereby incorporated by reference: “Selective sound source listening in conjunction with processing”, agent case number: SCEA04005JUMBOUS, filing date: May 4, 2006).
本出願は、さらに、米国特許出願11/382,031(発明者:ゲイリー・ザレウスキーら、発明の名称:「多入力ゲーム制御ミクサ」、代理人事件番号:SCEA06MXR1、2006年5月6日出願)、米国特許出願11/382,032(発明者:ゲイリー・ザレウスキーら、発明の名称:「環境内のユーザ操作を追跡するためのシステム」、代理人事件番号:SCEA06MXR2、2006年5月6日出願)の優先権を主張し、これらはここに参照として組み込まれる。 This application is further related to US patent application 11 / 382,031 (inventor: Gary Zalewski et al., Title of invention: “multi-input game control mixer”, agent case number: SCEA06MXR1, filed May 6, 2006). US patent application 11 / 382,032 (inventor: Gary Zalewski et al., Title of invention: "system for tracking user actions in the environment", agent case number: SCEA06MXR2, filed May 6, 2006. ) And are incorporated herein by reference.
本出願は、さらに、同時係属の米国特許出願11/418,988(発明者:シャドン・マオ、発明の名称:「音声を取得するための聴取領域を調整するための方法及び装置」、代理人事件番号:SCEA−00300、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/418,989(発明者:シャドン・マオ、発明の名称:「視覚画像に基づいて音声信号を取得するための方法及び装置」、代理人事件番号:SCEA−00400、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/429,047(発明者:シャドン・マオ、発明の名称:「信号の位置に基づいて音声信号を取得するための方法及び装置」、代理人事件番号:SCEA−00500、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/429,133(発明者:リチャード・L・マークス、発明の名称:「コンピュータ対話処理に連動した選択的音源聴取」、代理人事件番号:SCEA04005US01−SONYP045、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/429,414(発明者:リチャード・L・マークス、発明の名称:「コンピュータ画像及び音声強度処理及びコンピュータプログラムとのインタフェースのための入力装置」、代理人事件番号:SONYP052、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。 This application is further related to co-pending US patent application 11 / 418,988 (inventor: Shadon Mao, title of invention: “Method and apparatus for adjusting listening area for obtaining sound”, agent Case number: SCEA-00300, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application further includes co-pending U.S. patent application 11 / 418,989 (inventor: Shadon Mao, title of invention: "Method and apparatus for acquiring audio signals based on visual images", agent case. No .: SCEA-00400, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending U.S. Patent Application 11 / 429,047 (inventor: Shadon Mao, title of invention: “Method and Apparatus for Acquiring Audio Signal Based on Signal Position”, Attorney (Case Number: SCEA-50050, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 429,133 (inventor: Richard L. Marks, title: “selective sound source listening in conjunction with computer interaction processing”, agent case number: SCEA04005US01. -SONYP045, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending U.S. Patent Application 11 / 429,414 (inventor: Richard L. Marks, title of invention: "input device for computer image and sound intensity processing and interface with computer program") , Agent case number: SONYP052, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference.
本出願は、さらに、同時係属の米国特許出願11/382,033(発明の名称:「3次元入力制御システム、方法及び装置」、代理人事件番号:SCEA06INRT1、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,035(発明の名称:「慣性的に追跡可能なハンドヘルドコンピュータ」、代理人事件番号:SCEA06INRT2、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,036(発明の名称:「視覚追跡にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058A、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,041(発明の名称:「慣性追跡にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058B、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,038(発明の名称:「音響追跡にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058C、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,040(発明の名称:「多チャンネル混合入力にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058D、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,034(発明の名称:「ゲームコントローラ本体のユーザ操作を検知及び追跡するための機構」、代理人事件番号:SCEA05082US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,037(発明の名称:「ハンドヘルドコンピュータの動きをシステムへの入力に変換するための機構」、代理人事件番号:86324、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,043(発明の名称:「検知可能で追跡可能なハンドヘルドコンピュータ」、代理人事件番号:86325、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,039(発明の名称:「ハンドヘルドコンピュータの動きをゲームコマンドにマッピングするための方法」、代理人事件番号:86326、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願29/259,349(発明の名称:「赤外線ポート付きのコントローラ(商標)」、代理人事件番号:SCEA06007US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願29/259,350(発明の名称:「追跡センサ付きのコントローラ(商標)」、代理人事件番号:SCEA06008US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願60/798,031(発明の名称:「動的対象インタフェース」、代理人事件番号:SCEA06009US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願29/259,348(発明の名称:「追跡されるコントローラ装置(商標)」、代理人事件番号:SCEA06010US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。 This application is further related to co-pending US patent application 11 / 382,033 (invention name: “3D input control system, method and apparatus”, agent case number: SCEA06INRT1, filing date: May 6, 2006). ), The entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 382,035 (Title of Invention: “Inertically Traceable Handheld Computer”, Agent Case Number: SCEA06INRT2, Filing Date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 11 / 382,036 (Title of Invention: “Method and Apparatus for Applying Gearing Effect to Visual Tracking”, Agent Case Number: SONYP058A, Filing Date: 2006 The disclosure of which is hereby incorporated by reference. This application is further related to co-pending US patent application 11 / 382,041 (Title of Invention: “Method and Apparatus for Applying Gearing Effect to Inertia Tracking”, Attorney Case Number: SONYP058B, Filing Date: 2006 The disclosure of which is hereby incorporated by reference. This application is further related to co-pending US patent application 11 / 382,038 (Title of Invention: “Method and Apparatus for Applying Gearing Effect to Acoustic Tracking”, Agent Case Number: SONYP058C, Filing Date: 2006 The disclosure of which is hereby incorporated by reference. This application further includes co-pending US patent application 11 / 382,040 (Title of Invention: “Method and Apparatus for Applying Gearing Effects to Multi-Channel Mixed Inputs”, Attorney Case Number: SONYP058D, Filing Date. : May 6, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 382,034 (invention name: “mechanism for detecting and tracking user operation of game controller body”, agent case number: SCEA05082US00, filing date: 2006). The disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 11 / 382,037 (Title of Invention: "Mechanism for Converting Handheld Computer Motion into Input to System", Agent Case Number: 86324, Filing Date: (6 May 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 382,043 (Title of Invention: “Detectable and Traceable Handheld Computer”, Agent Case Number: 86325, Filing Date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 11 / 382,039 (Title: “Method for Mapping Handheld Computer Movements to Game Commands”, Agent Case Number: 86326, Filing Date: 2006) May 6), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending U.S. patent application 29 / 259,349 (invention name: “controller with trademark infrared port”, agent case number: SCEA06007US00, filing date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 29 / 259,350 (Invention name: "Controller with tracking sensor (TM)", agent case number: SCEA06008US00, filing date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application further gives priority to co-pending US patent application 60 / 798,031 (Title of Invention: “Dynamic Object Interface”, Agent Case Number: SCEA06009US00, Filing Date: May 6, 2006). All the disclosures of which are hereby incorporated by reference. This application is further related to co-pending US patent application 29 / 259,348 (Title of Invention: "Tracked Controller Device (TM)", Agent Case Number: SCEA06010US00, Filing Date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference.
・関連出願への相互参照
本出願は、米国特許出願10/207,677(発明の名称:「変形可能な装置を用いたマン・マシン・インタフェース」、出願日:2002年7月27日)、米国特許出願10/650,409(発明の名称:「音声入力システム」、出願日:2003年8月27日)、米国特許出願10/663,236(発明の名称:「追跡された頭の動きにしたがって表示されたシーンの視界を調整するための方法及び装置」、出願日:2003年9月15日)、米国特許出願10/759,782(発明の名称:「光入力装置のための方法及び装置」、出願日:2004年1月16日)、米国特許出願10/820,469(発明の名称:「音声妨害を検知及び除去するための方法及び装置」、出願日:2004年4月7日)、米国特許出願11/301,673(発明の名称:「頭及び手の相対位置を用いてカメラ追跡を介したポインティングインタフェースを実現するための方法」、出願日:2005年12月12日)、米国特許出願60/718,145(発明の名称:「音声、映像、シミュレーション、及びユーザインタフェースの実例」、出願日:2005年9月15日)に関連し、それらの全ての開示はここに参照として組み込まれる。
-Cross-reference to related applications This application is based on U.S. Patent Application 10 / 207,677 (Title of Invention: "Man Machine Interface Using Deformable Device", Filing Date: July 27, 2002), US Patent Application 10 / 650,409 (Title of Invention: “Voice Input System”, Filing Date: August 27, 2003), US Patent Application 10 / 663,236 (Title of Invention: “Tracked Head Movements” Method and apparatus for adjusting the field of view of a displayed scene according to US patent application Ser. No. 10 / 759,782 (Title of Invention: “Method for optical input device” And device ", filing date: January 16, 2004), U.S. patent application 10 / 820,469 (invention name:" method and device for detecting and eliminating sound disturbance ", filing date: April 2004) 7th ), U.S. Patent Application No. 11 / 301,673 (Title of Invention: “Method for Realizing Pointing Interface via Camera Tracking Using Relative Position of Head and Hand”, Filing Date: December 12, 2005) , U.S. Patent Application 60 / 718,145 (Title of Invention: “Examples of Audio, Video, Simulation, and User Interface”, filing date: September 15, 2005), the entire disclosure of which is here Incorporated as a reference.
・特定の実施の形態の説明
下記の詳細な説明は、例示を目的として多くの特定の詳細を含むが、下記の詳細に対する多くの変形及び置換が本発明の範囲に入ることは、当業者に認識されるところである。したがって、下記に説明する本発明の実施の形態は、請求された発明の一般性を失わせることなく、また限定を付加することもなく説明される。
DESCRIPTION OF SPECIFIC EMBODIMENTS The following detailed description includes a number of specific details for purposes of illustration, but it will be apparent to those skilled in the art that many variations and permutations to the details below are within the scope of the invention. It is being recognized. Accordingly, the embodiments of the invention described below are described without losing the generality of the claimed invention and without adding limitations.
ここで説明される方法、装置、機構及びシステムの種々の実施の形態は、コントローラ全体のユーザによる移動、動作、及び/又は操作の検出、取得、及び追跡を提供する。検出されたコントローラ全体のユーザによる移動、動作、及び/又は操作は、プレーされているゲーム又は他のシミュレーションの種々の態様を制御するための更なるコマンドとして用いられてもよい。 Various embodiments of the methods, apparatus, mechanisms and systems described herein provide for detection, acquisition, and tracking of movement, movement, and / or operation by a user of the entire controller. The detected movement, movement, and / or manipulation of the entire controller by the user may be used as further commands to control various aspects of the game being played or other simulations.
ゲームコントローラ本体のユーザによる操作の検出及び追跡は、様々な方法で実現されうる。例えば、加速度計又はジャイロスコープなどの慣性センサや、ディジタルカメラなどの画像キャプチャなどが、ハンドヘルドコントローラ本体の動きを検出し、それらをゲームにおけるアクションに転換するために、コンピュータエンタテインメントシステムとともに利用可能である。慣性センサによりコントローラを追跡する例は、例えば、米国特許出願11/382,033(発明の名称:「3次元入力制御システム、方法、及び装置」、代理人事件番号:SCEA06INRT1)に記述されており、ここに参照として組み込まれる。画像キャプチャを用いてコントローラを追跡する例は、例えば、米国特許出願11/382,034(発明の名称:「ゲームコントローラ本体のユーザ操作を検出し追跡するための機構」、代理人事件番号:SCEA05082US00)に記述されており、ここに参照として組み込まれる。更に、コントローラ及び/又はユーザは、マイクロフォン配列と適切な信号処理を用いて音響的に追跡されてもよい。このような音響追跡の例は、例えば、米国特許出願11/381,721に記述されており、ここに参照として組み込まれる。 The detection and tracking of the operation by the user of the game controller main body can be realized by various methods. For example, inertial sensors such as accelerometers or gyroscopes, image captures such as digital cameras, etc. can be used with computer entertainment systems to detect movements of the handheld controller body and convert them into actions in the game . An example of tracking a controller with an inertial sensor is described, for example, in US patent application 11 / 382,033 (Title of Invention: “3D Input Control System, Method and Apparatus”, Agent Case Number: SCEA06INRT1). , Incorporated herein by reference. An example of tracking a controller using image capture is, for example, US Patent Application 11 / 382,034 (Title: “Mechanism for Detecting and Tracking User Operation of Game Controller Body”, Agent Case Number: SCEA05082US00) ) And incorporated herein by reference. Further, the controller and / or user may be tracked acoustically using a microphone array and appropriate signal processing. Examples of such acoustic tracking are described, for example, in US patent application Ser. No. 11 / 381,721, incorporated herein by reference.
音響センサ、慣性センサ、及び画像キャプチャは、コントローラの多数の異なる型の動き、例えば、上下移動、ひねり、左右移動、引っ張り、棒を振るような動作、突き出しなどを検出するために、個別に用いられてもよいし、任意の組み合わせで用いられてもよい。これらの動きは、ゲームにおけるアクションに転換するために、種々のコマンドに対応づけられてもよい。ユーザによるゲームコントローラの操作の検出及び追跡は、例えば、剣やライトサーベルにより交戦したり、アイテムの形をなぞるために棒を用いたり、種々のスポーツ大会において戦ったり、オンスクリーン戦やその他の遭遇戦において戦ったりすることなどをユーザに可能とするための様々なタイプのゲーム、シミュレーションなどを実現するために利用可能である。ゲームプログラムは、コントローラの動きを追跡し、追跡された動きから予め登録された特定のジェスチャーを認識するように構成されてもよい。1以上のこれらのジェスチャーの認識をトリガーとしてゲーム状態を変化させることができる。 Acoustic sensors, inertial sensors, and image capture are used separately to detect many different types of controller movements, such as up / down, twist, left / right movement, pulling, swinging bars, sticking out, etc. Or may be used in any combination. These movements may be associated with various commands in order to translate into actions in the game. The detection and tracking of game controller operations by the user can, for example, engage with swords and light sabers, use sticks to trace the shape of items, fight in various sports competitions, on-screen battles and other encounters The present invention can be used to realize various types of games, simulations, and the like that enable the user to fight in battles. The game program may be configured to track the movement of the controller and recognize a pre-registered specific gesture from the tracked movement. The game state can be changed with the recognition of one or more of these gestures as a trigger.
本発明の実施の形態において、これらの異なる情報源から得られたコントローラのパス情報は、ジェスチャー認識のための分析の前に混合させてもよい。異なる情報源(例えば、音響、慣性、及び画像キャプチャ)からの追跡データは、ジェスチャーの認識の見込みを向上させる方法で混合されてもよい。 In an embodiment of the present invention, controller path information obtained from these different sources may be mixed prior to analysis for gesture recognition. Tracking data from different sources (eg, sound, inertia, and image capture) may be mixed in a way that improves the likelihood of gesture recognition.
図1には、本発明の実施の形態にしたがって動作するシステム100が示される。図示されたように、コンピュータエンタテインメントコンソール102は、ビデオゲーム又はその他のシミュレーションの画像を表示するためのテレビジョン又はその他の映像表示装置104に接続されてもよい。ゲーム又はその他のシミュレーションは、コンソール102に挿入されたDVD、CD、フラッシュメモリ、USBメモリ、又はその他の記憶媒体106に格納されてもよい。ユーザ又はプレイヤー108は、ビデオゲーム又はその他のシミュレーションを制御するためにゲームコントローラ110を操作する。図2において、ゲームコントローラ110は、ゲームコントローラ110の位置、動き、方向、又は方向の変化に応じて信号を生成する慣性センサ112を含む。ゲームコントローラ110は、慣性センサに加えて、従来の制御入力デバイス、例えば、ジョイスティック111、ボタン113、R1、L1などを含んでもよい。
FIG. 1 illustrates a
動作中、ユーザ108はコントローラ110を物理的に移動させる。例えば、ユーザ108は、コントローラ110を任意の方向、例えば、上下左右に移動させたり、ひねったり、回転させたり、振ったり、引いたり、突いたりしてもよい。以下に説明する方法により慣性センサ112からの信号の分析を通じて追跡するために、コントローラ110のこれらの動き自体をカメラ114により検出し取得してもよい。再び図1を参照して、システム100は、カメラ又はその他の映像取得装置114を選択的に含んでもよい。カメラは、コントローラ110がその視野116の範囲内になる位置に設けられてもよい。映像取得装置114からの画像の分析は、慣性センサ112からのデータの分析に関連して用いられてもよい。図2に示すように、コントローラ110には、映像分析による追跡を容易にするために、LED202、204、206、208などの光源が選択的に設けられてもよい。これらは、コントローラ110の本体に搭載されてもよい。ここでは、「本体」という語は、手に把持する(又は、着用可能なゲームコントローラであれば着用する)ゲームコントローラ110の一部を意味する。
In operation, the
コントローラ110を追跡することを目的とした、そのような映像の分析は、例えば、米国特許出願11/382,034(発明の名称:「ユーザによるゲームコントローラ本体の操作を検出し追跡するための機構」、代理人事件番号:SCEA05082US00)に記述されており、ここに参照として組み込まれる。コンソール102は、マイクロフォン配列118などの音響トランスデューサを含んでもよい。コントローラ110は、マイクロフォン配列118によるコントローラ110の音響的追跡や音響信号処理を容易にするための音源を提供するために、音響信号生成部210(例えば、スピーカ)を含んでもよい。その技術は、例えば、米国特許出願11/381,724に記述されており、ここに参照として組み込まれる。
Such video analysis aimed at tracking the
一般に、慣性センサからの信号は、コントローラ110の位置及び方向データを生成するために用いられる。これらのデータは、コントローラ110の移動の多数の物理的態様、例えば、任意の軸に沿った加速度及び速度、傾き、勾配、ヨー、回転など、コントローラ110の任意のテレメトリデータを算出するために用いられてもよい。ここでは、テレメトリとは、概ね、遠隔測定と、対象となる情報のシステム又はシステム設計者又はオペレータへの報告とのことをいう。
In general, signals from inertial sensors are used to generate position and orientation data for
コントローラ110の動きを検出し追跡することにより、予め定義されたコントローラ110の動きが行われたか否かを判定することができる。すなわち、コントローラ110の特定の動きのパターン又はジェスチャーを予め定義しておき、ゲーム又はその他のシミュレーションの入力コマンドとして用いることができる。例えば、コントローラ110を下に突き出すジェスチャーをあるコマンドとして定義し、コントローラ110をひねるジェスチャーを別のコマンドとして定義し、コントローラ110を振るジェスチャーを更に別のコマンドとして定義することができる。このように、ユーザ108がコントローラ110を物理的に動かす方法を、ゲームを制御するための入力として用いることにより、ユーザにより刺激的で娯楽性の高い経験を提供することができる。
By detecting and tracking the movement of the
慣性センサ112は、例えば加速度計でもよいが、それに限定されない。図3は、例えば、スプリング306、308、310、312により、4点でフレーム304に弾性的に結合された単純な質量302の形式の加速度計300の例を示す。ピッチ軸及びロール軸(それぞれX及びYで示される)は、フレームに交差する平面上にある。ヨー軸Zは、ピッチ軸X及びロール軸Yを含む平面に垂直な方向である。フレーム304は、任意の適当な方式でコントローラ110に搭載されてもよい。フレーム304(及びジョイスティックコントローラ110)が加速され及び/又は回転されると、質量302は、フレーム304から相対的に変位し、スプリング306、308、310、312は、並進及び/又は回転の加速度の値及び方向及び/又はピッチ及び/又はロール及び/又はヨーの角度に依存して伸縮する。質量302の変位量及び/又はスプリング306、308、310、312の伸縮量は、例えば、適切なセンサ314、316、318、320により検知され、既知又は確定可能な方法で、ピッチ及び/又はロールの加速度に依存する信号に変換される。
The
質量の位置及び/又はそれに与えられる力を追跡する異なる方法が多く存在する。それらの方法は、抵抗歪みゲージ物質、光学センサ、磁気センサ、ホール効果デバイス、圧電デバイス、容量センサなどを含む。本発明の実施の形態は、任意の数及び形式のセンサを含んでもよいし、複数の形式のセンサの組み合わせを含んでもよい。センサ314、316、318、320は、質量302の上に配置されたギャップ電極であってもよい。質量とそれぞれの電極との間の容量は、質量の位置がそれぞれの電極に対して相対的に変化するにつれて変化する。それぞれの電極は、電極に対する質量302の容量(及び近接性)に関連する信号を生成する回路に接続されてもよい。さらに、スプリング306、308、310、312は、スプリングの伸縮に関連した信号を生成する抵抗歪みゲージセンサを含んでもよい。
There are many different ways to track the position of the mass and / or the force applied to it. These methods include resistive strain gauge materials, optical sensors, magnetic sensors, Hall effect devices, piezoelectric devices, capacitive sensors, and the like. Embodiments of the present invention may include any number and type of sensors, and may include combinations of multiple types of sensors.
ある実施の形態において、フレーム304は、加速度計300がピッチ及び/又はロール及び/又はヨー軸に関して固定的な方向を維持するためにコントローラ110に搭載されたジンバルであってもよい。これによれば、現実世界の座標軸に対するコントローラの軸の傾きを考慮する必要なく、コントローラのX、Y、Z軸を、直接現実世界の対応する軸にマップすることができる。
In some embodiments, the
上述のように、慣性取得部、画像取得部、及び音源からのデータは、コントローラ110の位置及び/又は方向を追跡するパスを生成するために分析されてもよい。図4のブロック図に示されるように、本発明の実施の形態に係るシステム400は、慣性分析部402、画像分析部404、及び音響分析部406を含んでもよい。これらの分析部は、それぞれ、検知対象環境401から信号を受け取る。分析部402、404、406は、ハードウェア、ソフトウェア(ファームウェア)、又はそれらの2以上の組み合わせにより実現されてもよい。分析部は、それぞれ、対象となるオブジェクトの位置及び/又は方向に関連した追跡情報を生成する。例示のために、対象となるオブジェクトは、上述したコントローラ110であってもよい。画像分析部404は、米国特許出願11/382,034(代理人事件番号:SCEA05082US00)に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。慣性分析部402は、米国特許出願11/382,033(発明の名称:「3次元入力制御システム、方法、及び装置」、代理人事件番号:SCEI06INRT1)に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。音響分析部406は、米国特許出願11/381,724に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。
As described above, data from the inertial acquisition unit, the image acquisition unit, and the sound source may be analyzed to generate a path that tracks the position and / or orientation of the
分析部402、404及び406は、位置及び/又は方向の情報の入力の異なるチャンネルに関連づけられるとみなされてもよい。混合部408は、複数の入力チャンネルを受け付けてもよく、それらのチャンネルは、主としてチャンネルの観点から検知対象環境401を特徴づけるサンプルデータを含んでもよい。慣性分析部402、画像分析部404、及び音響分析部406により生成された位置及び/又は方向の情報は、結合されて混合部408に入力されてもよい。混合部408及び分析部402、404、406は、ゲームソフトウェアプログラム410により問い合わせを受けてもよいし、イベントに応じてゲームソフトウェアに割り込みをかけるように構成されてもよい。イベントは、ジェスチャー認識イベント、ギアの変更、設定の変更、ノイズレベルの設定、サンプリングレートの設定、マッピングチェーンの変更などを含んでもよい。それらの例については以下で説明する。混合部408は、以下に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。
The
上述したように、異なる入力チャンネル、例えば、慣性センサ、映像及び/又は音響センサからの信号は、発明の方法に係るビデオゲームのプレー中に、コントローラ110の動き及び/又は方向を判定するために、慣性分析部402、画像分析部404、及び音響分析部406によりそれぞれ分析されてもよい。このような方法は、プロセッサにより読み取り可能な媒体に格納され、ディジタルプロセッサ上で実行されるプログラムコード命令を実行可能な一連のプロセッサとして実現されてもよい。例えば、図5Aに示すように、ビデオゲームシステム100は、ハードウェア又はソフトウェアのいずれかにより実現された慣性分析部402、画像分析部404、及び音響分析部406を含むコンソール102を含んでもよい。例えば、分析部402、404、406は、適当なプロセッサユニット502上で実行されるソフトウェア命令として実現されてもよい。例えば、プロセッサユニット502は、ビデオゲームコンソールに一般的に用いられる型のマイクロプロセッサなどのディジタルプロセッサであってもよい。命令の一部はメモリ506に格納されてもよい。別の例では、慣性分析部402、画像分析部404、及び音響分析部406は、ASICなどのハードウェアにより実現されてもよい。このような分析部のハードウェアは、コントローラ110又はコンソール102に配置されてもよいし、他の場所に隔てて配置されてもよい。ハードウェアによる実装において、分析部402、404、406は、プロセッサ502や、USBケーブル、無線、又はネットワークにより接続された他の遠隔配置された信号源などからの外部信号に応じてプログラム可能であってもよい。
As mentioned above, signals from different input channels, eg inertial sensors, video and / or acoustic sensors, are used to determine the movement and / or direction of the
慣性分析部402は、慣性センサ112により生成された信号を分析し、コントローラ110の位置及び/又は方向に関する情報を利用する命令を包含又は実行してもよい。同様に、画像分析部404は、画像取得ユニット114により取得された画像を分析する命令を実行してもよい。更に、音響分析部は、マイクロフォン配列118により取得された画像を分析する命令を実行してもよい。図5Bのフロー図510に示すように、これらの信号及び/又は画像は、ブロック512に示されるように、分析部402、404、406により受け取られてもよい。ブロック514に示されるように、信号及び/又は画像は、コントローラ110の位置及び/又は方向に関する慣性追跡情報403、画像追跡情報405、及び音響追跡情報407を決定するために、分析部402、404、406により分析されてもよい。追跡情報403、405、407は、1以上の自由度に関連づけられてもよい。コントローラ110又はその他の追跡対象の操作の特性を表すために、6つの自由度が追跡されることが好ましい。自由度は、コントローラの傾き、ヨー、ロール、及び、X、Y、及びZ軸に沿った位置、速度、又は加速度に関連づけられてもよい。
ブロック516に示されるように、混合部408は、慣性情報403、画像情報405、及び音響情報407を混合して、詳細な位置及び/又は方向の情報409を生成する。例えば、混合部408は、慣性、画像、及び音響追跡情報403、405、407に対して、ゲーム又は環境の条件に基づいて異なる重みを適用し、重み付き平均をとってもよい。更に、混合部408は、結合された位置/方向情報を分析し、他の分析部により生成された情報の組み合わせを含む独自の「混合」情報を結果として生成する混合分析部412を含んでもよい。
As shown in block 516, the
本発明の実施の形態において、混合部408は、分析部402、404、406からの追跡情報403、405、407に対して、分配値を割り当ててもよい。上述したように、入力制御データの特定の組が平均化されてもよいが、本実施の形態においては、入力制御データを平均化する前に重みを付けることにより、ある分析部からの入力制御データを他からの入力制御データよりも分析において重視する。
In the embodiment of the present invention, the
混合部408は、本システムとの関連で多くの機能を担ってもよい。それらの機能は、観察、補正、安定化、微分、連結、ルーティング、混合、報告、バッファリング、他のプロセスへの割り込み、及び分析を含む。これらは、1以上の分析部402、404、406から受け取った追跡情報403、405、407に関して実行されてもよい。分析部402、404、406のそれぞれは、特定の追跡情報を受け取って演繹してもよいが、混合部408は、受け取った追跡情報403、406、407の利用を最適化して詳細な追跡情報409を生成するために実現されてもよい。
The
分析部402、404、406、及び混合部408は、同様の出力形式の追跡情報を提供するように構成されることが好ましい。任意の分析部の要素402、404、406からの追跡情報パラメータは、分析部において単一のパラメータにマップされてもよい。または、混合部408は、1以上の分析部402、404、406からの1以上の追跡情報パラメータを処理することにより、分析部402、404、406のいずれかのための追跡情報を生成してもよい。混合部は、分析部402、404、406から取得した同一のパラメータ型の2以上の追跡情報の要素を結合してもよいし、分析部により生成された追跡情報の複数のパラメータにわたる機能を実行して、入力の複数のチャンネルから生成された恩恵を有する、合成された出力の組を生成してもよい。
The
詳細な追跡情報409は、ブロック518に示すように、ビデオゲームのプレー中にシステム100において利用されてもよい。ある実施の形態において、位置及び/又は方向の情報は、ゲームのプレー中に、ユーザ108により行われたジェスチャーに関連して用いられてもよい。混合部408は、ゲーム環境における少なくとも1つのアクションを、ユーザからの1以上のユーザアクション(例えば、空間におけるコントローラの操作)に関連づけるためのジェスチャー認識部505に関連して動作してもよい。
図5Cのフロー図520に示すように、コントローラ110のパスは、ブロック522に示すように、位置及び/又は方向の情報を用いて追跡されてもよい。限定されない例において、パスは、ある座標系に関するコントローラの重心の位置を示す一連の点を含んでもよい。それぞれの位置の点は、直行座標系におけるX、Y及びZ座標など、1以上の座標により表現されてもよい。パスの形状と、パスに沿ったコントローラの進行状況の双方を監視できるようにするために、時間がパス上のそれぞれの点に関連づけられてもよい。さらに、パス上のそれぞれの点は、コントローラの方向を示すデータ、例えば、コントローラの重心に関する1以上の回転角に関連づけられてもよい。さらに、パス上のそれぞれの点は、コントローラの重心の速度及び加速度や、コントローラの重心に関する角速度及び加速度に関連づけられてもよいし、
As shown in the flow diagram 520 of FIG. 5C, the path of the
ブロック524に示されるように、追跡されたパスは、プレーされているビデオゲームの状況に関連した、既知及び/又は予め記録されたジェスチャー508に対応する1以上の格納されたパスと比較されてもよい。認識部505は、ユーザを認識し、又は、音響認証されたジェスチャーなどを処理することが可能に構成されてもよい。例えば、ユーザは、ジェスチャーと、ジェスチャーがユーザを特定できることを用いて、認識部505により識別されてもよい。このような特定のジェスチャーは、メモリ506に予め記録されたジェスチャー508に記録され含められてもよい。記録処理において、ジェスチャーの記録中に生成された音をさらに格納してもよい。検知された環境は、多チャンネル分析部にサンプリングされ、処理される。処理部は、ユーザ又はオブジェクトを、声又は音響パターンに基づいて、高い精度及び性能で判定し、認証し、及び/又は識別するために、ジェスチャーモデルを参照してもよい。
As shown in block 524, the tracked path is compared with one or more stored paths corresponding to known and / or
図5Aに示されるように、ジェスチャーを表現するデータ508は、メモリ506に格納されてもよい。ジェスチャーの限定されない例として、例えば、ボールなどの物体を投げる、バット又はゴルフクラブなどの物体を振る、手動ポンプを動かす、ドア又は窓を開く又は閉じる、ステアリングホイール又はその他の乗物制御手段を回転させる、パンチなどの格闘技の動作、砂をまく動作、ワックスがけ、ワックスはがし、家を塗装する、振る、ガタガタ鳴らす、回す、フットボールを投げる、ノブを回す動作、3Dマウス動作、スクロール動作、既知の輪郭の動作、任意の記録可能な動作、タイヤに空気を入れるなどの任意のベクトルに沿った前後動作だが空間中の任意の回転を伴う動作、パスに沿った動作、雑音レベルの範囲内で記録され、追跡され、及び繰り返されることが可能なユーザの操作に基づく任意の正確な停止及び開始時期を持つ動作、キーをつける動作などを含む。これらのジェスチャーのそれぞれは、パスデータから予め記録され、時間に基づいたモデルとして格納されてもよい。パスと格納されたジェスチャーとの比較は、安定状態の仮定から開始してもよく、パスが安定状態から外れれば、消去プロセスにより、格納されたジェスチャーとパスを比較してもよい。ブロック526において合致がなければ、分析部は、ブロック522においてコントローラのパスの追跡を継続してもよい。パス(又はその一部)と格納されたジェスチャーとの間に十分な合致があれば、ゲームの状態は、528に示すように変更されてもよい。ゲームの状態の変更は、割り込み、制御信号の送信、変数の変更などを含むが、これらに限定されない。
As shown in FIG. 5A,
これが起こりうる例を示す。コントローラ110がパスの安定状態から外れたと判定すると、分析部402、404、406又は412は、コントローラ110の動作を追跡する。コントローラ110のパスが、格納されたジェスチャーモデル508において定義されたパスを満たしている限り、これらのジェスチャーは「ヒット」する可能性がある。コントローラ110のパスが任意のジェスチャーモデル508から(設定されたノイズ許容範囲で)外れると、そのジェスチャーモデルはヒットリストから消去される。それぞれのジェスチャー参照モデルは、ジェスチャーが記録された時間基準を含む。分析部402、404、406又は412は、適切な時間インデックスにおいて、コントローラのパスデータと格納されたジェスチャー508とを比較する。安定状態条件の発生によりクロックがリセットされる。安定状態から外れたとき(すなわち、動作がノイズ閾値を超えて追跡されたとき)、ヒットリストは全ての可能性のあるジェスチャーモデルが投入される。クロックが開始され、コントローラの動きがヒットリストに比較される。再び、比較が時間の経過にしたがって行われる。ヒットリスト中のいずれかのジェスチャーが、ジェスチャーの最後まで達すると、それがヒットとなる。
Here is an example where this can happen. If the
ある実施の形態において、混合部408及び/または個々の分析部402、404、406、412は、特定のイベントが発生したときにゲームプログラムに通知してもよい。そのようなイベントの例は、下記を含む。
In some embodiments, the
・ゼロ加速度点到達割り込み(X、Y、及び/又はZ軸)。あるゲーム状況において、分析部は、コントローラの加速度が変曲点に達したときに、ゲームプログラム中のルーチンに通知又は割り込みをかけてもよい。例えば、ユーザ108は、フットボールシミュレーションゲームにおいてクォーターバックを表現したゲームアバターを制御するためにコントローラ110を用いてもよい。分析部は、慣性センサ112からの信号から生成されたパスを介して、フットボールを表現するコントローラを追跡してもよい。コントローラ110の加速度の特定の変化は、フットボールのリリースの合図となってもよい。この点において、分析部は、リリース時のコントローラの位置、及び/又は速度及び/又は方向に基づいてフットボールの軌跡をシミュレートする、物理シミュレーションパッケージなどのプログラム中の別のルーチンのトリガーとなってもよい。
-Zero acceleration point arrival interrupt (X, Y, and / or Z axis). In a certain game situation, the analysis unit may notify or interrupt a routine in the game program when the acceleration of the controller reaches an inflection point. For example, the
・認識された新しいジェスチャーの割り込み。 -Interruption of a recognized new gesture.
さらに、分析部は、1以上の入力により設定されてもよい。そのような入力の例は、下記を含む。 Further, the analysis unit may be set by one or more inputs. Examples of such inputs include:
・ノイズレベルの設定(X、Y又はZ軸)。ノイズレベルは、ゲームにおいてユーザの手が小刻みに震えるのを分析するときに用いられる参照許容範囲であってもよい。 -Noise level setting (X, Y or Z axis). The noise level may be a reference tolerance used when analyzing a user's hand trembling in a game.
・サンプリングレートの設定。ここでは、サンプリングレートとは、分析部が慣性センサから信号をサンプリングする頻度のことをいう。サンプリングレートは、信号をオーバーサンプリングする、又は、平均化するために設定されてもよい。 ・ Sampling rate setting. Here, the sampling rate refers to the frequency with which the analysis unit samples a signal from the inertial sensor. The sampling rate may be set to oversample or average the signal.
・ギアリングの設定。ここでは、ギアリングとは、一般に、コントローラの動きとゲーム内で発生する動きとの比率のことをいう。ビデオゲームの制御におけるこのような「ギアリング」の例は、米国特許出願11/382,040(2006年5月7日出願、代理人事件番号:SONYP058D)に記述されており、ここに参照として組み込まれる。 ・ Gearing setting. Here, gearing generally refers to the ratio between the movement of the controller and the movement that occurs in the game. An example of such “gearing” in video game control is described in US patent application 11 / 382,040 (filed May 7, 2006, agent case number: SONYP058D), which is incorporated herein by reference. Incorporated.
・マッピングチェインの設定。ここでは、マッピングチェインとは、ジェスチャーモデルのマッピングのことをいう。ジェスチャーモデルマッピングは、特定の入力チャンネル(例えば、慣性センサ信号のみから生成されたパスデータ)、又は混合部において生成された混合チャンネルに適合されてもよい。慣性分析部402に類似した2以上の異なる分析部により、3つの入力チャンネルが供給されてもよい。これらは、とくに、ここに記述される慣性分析部402、例えば米国特許出願11/382,034(発明の名称:「ゲームコントローラ本体のユーザ操作を検出し追跡するための機構」、代理人事件番号:SCEA05082US00、ここに参照として組み込まれる)に記述された映像分析部、例えば米国特許出願11/381,721(ここに参照として組み込まれる)に記述された音響分析部を含んでもよい。分析部に、マッピングチェインが組み込まれてもよい。マッピングチェインは、ゲーム中にゲームによりスワップアウトされ、分析部及び混合部のために設定されてもよい。
・ Mapping chain settings. Here, the mapping chain refers to gesture model mapping. Gesture model mapping may be adapted to a specific input channel (eg, path data generated only from inertial sensor signals), or a mixed channel generated in the mixing section. Three input channels may be provided by two or more different analyzers similar to
再び図5Bを参照して、ブロック512において、慣性センサ112から信号を生成する方法が数多くあることは、当業者に認識されるところである。いくつかの例はここで説明した。ブロック514を参照して、コントローラ110の位置及び/又は方向に関連した追跡情報を取得するために、ブロック512において生成された検知信号を分析する方法は数多く存在する。例えば、追跡情報は、下記のパラメータを個別に又は任意の組み合わせで含んでもよい。
Referring again to FIG. 5B, those skilled in the art will recognize that there are many ways to generate a signal from the
・コントローラの方向。コントローラ110の方向は、ある参照方向に関するピッチ、ロール、又はヨー角に関して、例えばラジアンで表現されてもよい。コントローラの方向の変化率(例えば、角速度又は角加速度)は、位置及び/又は方向の情報に含まれてもよい。例えば、慣性センサ112がジャイロスコープのセンサを含む場合、コントローラの方向の情報は、ピッチ、ロール、又はヨー角に比例する1以上の出力値の形式で直接取得されてもよい。
• Controller direction. The direction of the
・コントローラの位置(例えば、ある参照フレームにおけるコントローラ110の直交座標X、Y、Z)。
The position of the controller (for example, the orthogonal coordinates X, Y, Z of the
・コントローラのX軸速度。 • Controller X-axis speed.
・コントローラのY軸速度。 • Y-axis speed of the controller.
・コントローラのZ軸速度。 ・ Z-axis speed of the controller.
・コントローラのX軸加速度。 • X-axis acceleration of the controller.
・コントローラのY軸加速度。 • Y-axis acceleration of the controller.
・コントローラのZ軸加速度。 • Z-axis acceleration of the controller.
位置、速度及び加速度に関して、位置及び/又は方向の情報は、直交座標系以外の座標系で表現されてもよい。例えば、位置、速度及び加速度のために、円筒座標又は旧座標が用いられてもよい。X、Y及びZ軸に関する加速度情報は、例えばここで記述したような加速度計の形式のセンサから直接取得されてもよい。X、Y及びZ方向の加速度は、X、Y及びZ方向の速度の変化を決定するために、ある初期時からの時間に関して積分されてもよい。これらの速度は、初期時における既知のX、Y及びZ方向の速度に速度の変化分を加えることにより算出されてもよい。X、Y及びZ方向の速度は、コントローラのX、Y及びZ方向の変位を決定するために、時間に関して積分されてもよい。X、Y及びZ方向の位置は、初期時における既知のX、Y及びZ方向の位置に変位を加えることにより決定されてもよい。 Regarding the position, velocity, and acceleration, the position and / or direction information may be expressed in a coordinate system other than the orthogonal coordinate system. For example, cylindrical coordinates or old coordinates may be used for position, velocity and acceleration. The acceleration information about the X, Y and Z axes may be obtained directly from a sensor in the form of an accelerometer as described herein, for example. The acceleration in the X, Y, and Z directions may be integrated over time from some initial time to determine the change in velocity in the X, Y, and Z directions. These speeds may be calculated by adding the change in speed to the known speeds in the X, Y, and Z directions at the initial time. The velocity in the X, Y and Z directions may be integrated over time to determine the displacement of the controller in the X, Y and Z directions. The positions in the X, Y, and Z directions may be determined by adding displacement to the known positions in the X, Y, and Z directions at the initial time.
・安定状態(Y/N)。この特別な情報は、コントローラが安定状態にあるか否かを示す。この情報は、任意の位置に定義されてもよく、変更される可能性もある。好ましい実施の形態において、安定状態の位置は、だいたいユーザの腰と同じ高さにおいて、より高い又は低いレベルの方向にコントローラが保持された状態であってもよい。 -Stable state (Y / N). This special information indicates whether the controller is in a stable state. This information may be defined at any location and is subject to change. In a preferred embodiment, the steady state position may be a state where the controller is held in a higher or lower level direction, approximately at the same height as the user's waist.
最後の安定状態からの時間は、一般に、上記の安定状態が最後に検出されてから経過した時間に関連するデータのことである。この時間の決定は、前述したように、現実の時間において計算されてもよいし、プロセッサの周波数又はサンプリング周期において計算されてもよい。最後の安定状態からの時間のデータは、ゲーム環境におけるキャラクタ又はオブジェクトのマッピングの精度を確保するための初期位置に関するコントローラの追跡のリセットに関して重要である。このデータは、ゲーム環境においてつづいて排他的にも包括的にも実行されるであろう可能なアクション又はジェスチャーを決定することに関しても重要である。 The time from the last stable state is generally data related to the time elapsed since the last stable state was detected. This time determination may be calculated at the actual time, as described above, or at the processor frequency or sampling period. The time data from the last steady state is important for resetting the controller tracking with respect to the initial position to ensure the accuracy of the character or object mapping in the game environment. This data is also important for determining possible actions or gestures that will be subsequently and exclusively executed in the gaming environment.
・最後に認識されたジェスチャーは、一般に、ハードウェア又はソフトウェアにより実現されたジェスチャー認識部505により最後に認識されたジェスチャーのことである。最後に認識されたジェスチャーの識別は、前回のジェスチャーが、続いて認識される可能性のあるジェスチャー又はゲーム環境において実行されるその他のアクションに関連する可能性があるという事実に関して重要である。
The gesture recognized last is generally the gesture recognized last by the
・最後にジェスチャーが認識された時間。 ・ The last time the gesture was recognized.
上記の出力は、ゲームプログラム又はソフトウェアにより任意のタイミングでサンプリングされてもよい。 The above output may be sampled at an arbitrary timing by a game program or software.
本発明の実施の形態において、混合部408は、分析部402、404、406からの追跡情報403、405、407に対して、重みをつけてもよい。上述したように、入力制御データの特定の組み合わせが平均化されてもよい。しかし、本実施の形態では、ある分析部からの入力制御データが、他からのデータよりも分析において重視されるように、平均化の前に入力制御データに重みがつけられる。
In the embodiment of the present invention, the
例えば、混合部408は、加速度及び安定状態に関する追跡情報を要求してもよい。混合部408は、上述した追跡情報403、405、407を取得する。追跡情報は、例えば上述したように、加速度及び安定状態に関するパラメータを含んでもよい。この情報が表現するデータを平均化する前に、混合部408は、追跡情報の組403、405、407に重みをつけてもよい。例えば、慣性分析部402からのX及びY方向の加速度パラメータは、90%の重みがつけられてもよいが、画像分析部406からのX及びY方向の加速度データは、10%のみの重みがつけられてもよい。音響分析部の追跡情報407は、加速度パラメータを含んでいるが、0%の重み、すなわち、データの価値を全くなくしてもよい。
For example, the
同様に、慣性分析部402からのZ方向の追跡情報には10%の重みをつけ、画像分析部からのZ方向の追跡情報には90%の重みをつけてもよい。この場合も、音響分析部の追跡情報407には0%の重みがつけられてもよい。しかし、音響分析部406からの安定状態の追跡情報には100%の重みがつけられ、その他の分析部の追跡情報には0%の重みがつけられてもよい。
Similarly, the tracking information in the Z direction from the
適切な重みがつけられた後、入力制御データは、続いてジェスチャー認識部505により分析される重み付け平均入力制御データセットを算出し、ゲーム環境における特定のアクションに関連づけられるために、その重みを付けて平均化されてもよい。関連づけられる値は、混合部408又は特定のゲームタイトルにより予め定義されてもよい。値は、後述するように、混合部408が種々の分析部から取得したデータの個々の質を識別して、動的に調整した結果であってもよい。調整は、特定の環境においていつ特定のデータが特定の価値を持つかについての、及び/又は、所定のゲームタイトルの特殊性に応じた、履歴の知識ベースの形成の結果であってもよい。
After appropriate weighting, the input control data calculates a weighted average input control data set that is subsequently analyzed by the
混合部408は、ゲームのプレー中に動的に動作するように構成されてもよい。例えば、混合部408が種々の入力制御データを取得するときに、特定のデータが受付可能な範囲又はデータの質を連続して超えていること、又は、関連する入力デバイスの処理エラーを示唆する不正データを反映していることを識別してもよい。
The
さらに、現実世界の環境における特定の条件が変化する可能性がある。例えば、ユーザの自宅のゲーム環境における自然光が、朝から昼になることにより増加すると、画像データ取得部に問題が生じる。さらに、近所又は家族が、日が経過するにつれてうるさくなると、音声データ取得部に問題が生じる。同様に、ユーザが数時間プレーしたとき、ユーザの反射神経が鈍くなると、慣性データの解釈に問題が生じる。 Furthermore, certain conditions in the real world environment may change. For example, if the natural light in the game environment of the user's home increases from morning to noon, a problem occurs in the image data acquisition unit. Furthermore, if the neighborhood or family becomes noisy as the day passes, a problem occurs in the voice data acquisition unit. Similarly, when the user plays for several hours, if the user's reflexes become dull, problems arise in the interpretation of inertial data.
これらの場合、又は、入力制御データの特定の形式の質が問題になる他の任意の場合において、混合部408は、特定のデバイスから取得する特定のデータの組に対して、上述したように特定の入力制御データにより高い又はより低い重要性が与えられるように、重みを動的に割り当ててもよい。同様に、特定のゲームの必要性が、特定の入力制御データの値又は必要性の再割り当てを必要とするように変化した場合に、ゲーム環境がゲームの進行を切り替えてもよい。
In these cases, or in any other case where the quality of the particular format of the input control data is an issue, the
同様に、混合部408は、ジェスチャー認識部505に伝達される特定のデータが、不正確に、遅く、又は、ジェスチャー認識部505により生成された処理エラー又はフィードバックデータに全く基づかずに処理されることを認識してもよい。このフィードバックに対応して、又は、これらの処理の問題(例えば、画像分析データが受け付け可能な範囲であるのに、ジェスチャー認識部505により関連づけが行われるときにエラーが生じるなど)を認識したときに、仮にそうであったとしても、混合部408は、どの分析部からいついずれの入力制御データを求めるかを調整してもよい。混合部408は、入力制御データが混合部408に伝達される前に、適当な分析部による入力制御データの特定の分析及び処理を更に要求してもよい。例えば、更なる精度が確保され、ジェスチャー認識部505に伝達されるデータが効果的かつ適切に処理されるように、データを再処理(例えば、データを平均化するなど)してもよい。
Similarly, the
ある実施の形態において、混合部408は、特定のデータが不正、無効、又は、特定の変数から外れていることを認識し、そのデータに関連した特定の入力制御データ又は変数を要求してもよい。これにより、誤ったデータを置換したり、必要な変数に関する特定のデータを適切に分析し算出したりすることができる。
In some embodiments, the
本発明の実施の形態によれば、上述したタイプのビデオゲームシステム及び方法は、図6に示すように実現される。ビデオゲームシステム600は、プロセッサ601及びメモリ602(例えば、RAM、DRAM、ROMなど)を含んでもよい。さらに、ビデオゲームシステム600は、並列処理が実装される場合には、複数のプロセッサ601を有してもよい。メモリ602は、上述したように構成される部分を含むデータ及びゲームプログラムコード604を含む。とくに、メモリ602は、上述したコントローラの格納されたパス情報を含む慣性信号データ606を含んでもよい。メモリ602は、ゲームプログラム604に関連した1以上のジェスチャーを示すデータなど、格納されたジェスチャーデータ608を更に含んでもよい。プロセッサ602上で実行されるコードされた命令は、上述したように構成され機能する多入力混合部605を実現してもよい。
According to an embodiment of the present invention, a video game system and method of the type described above is implemented as shown in FIG.
システム600は、入出力(I/O)要素611、電源(P/S)612、クロック(CLK)613、及びキャッシュ614など、既知の支援機能を更に含んでもよい。装置600は、プログラム及び/又はデータを格納するために、ディスクドライブ、CD−ROMドライブ、テープドライブなどの大容量記憶装置615を含んでもよい。コントローラは、コントローラ600とユーザの間のインタラクションを容易にするために、表示ユニット616及びユーザインタフェースユニット618を更に含んでもよい。表示ユニット616は、テキスト、数字、表示シンボル、又は画像を表示するブラウン管(CRT)又は平面ディスプレイの形式であってもよい。ユーザインタフェース618は、キーボード、マウス、ジョイスティック、ライトペン、又は他のデバイスを含んでもよい。さらに、ユーザインタフェース618は、分析すべき信号を直接取得するために、マイクロフォン、ビデオカメラ、又は他の信号変換デバイスを含んでもよい。図6に示すように、プロセッサ601、メモリ602、及び他のシステム600の構成要素は、システムバス620を介して相互に信号(例えば、コード命令及びデータ)を交換してもよい。
The
マイクロフォン配列622は、入出力機能611を介してシステム600に接続されてもよい。マイクロフォン配列は、約2から8、好ましくは約4のマイクロフォンを含んでもよく、隣接するマイクロフォンは、約4センチメートル以下、好ましくは約1から2センチメートルの距離で分離されてもよい。配列622中のマイクロフォンは、無指向性マイクロフォンであることが好ましい。任意に設けられた画像取得ユニット623(例えば、ディジタルカメラ)は、入出力機能611を介して装置600に接続されてもよい。カメラに機械的に接続された1以上のポインティングアクチュエータ(P/A)625は、入出力機能611を介してプロセッサ601との間で信号を交換してもよい。
ここでは、入出力という語は、一般に、システム600から又はシステム600へ、及び、周辺装置から又は周辺装置へデータを転送する任意のプログラム、演算、又はデバイスのことを言う。全てのデータは、1つの装置から出力され、別の装置へ入力されるとみなされてもよい。周辺装置は、書き込み可能なCD−ROMなど入出力の双方が可能な装置だけでなく、キーボードやマウスなどの入力装置や、プリンタなどの出力装置も含む。「周辺装置」という語は、CD−ROMドライブ、CD−Rドライブ、内蔵モデム、又は、フラッシュメモリリーダ/ライタ、ハードディスクなどの他の周辺装置などの内部装置だけでなく、マウス、キーボード、プリンタ、モニタ、マイクロフォン、ゲームコントローラ、カメラ、外部Zipドライブ、又はスキャナなどの外部装置も含む。
As used herein, the term input / output generally refers to any program, operation, or device that transfers data from or to
本発明のある実施の形態において、装置600は、有線(例えばUSBケーブル)又は無線により入出力機能611を介してプロセッサに接続されたコントローラ630を含むビデオゲームユニットであってもよい。コントローラ630は、ビデオゲームのプレー中に一般的に用いられる制御信号を提供するアナログジョイスティック631及び従来のボタン633を有してもよい。このようなビデオゲームは、プロセッサにより読み取り可能なデータ、及び/又は、メモリ602や大容量記憶装置615などに関連づけられたものなど他のプロセッサ読み取り可能な媒体に格納されたプログラム604からの命令により実現されてもよい。
In some embodiments of the present invention, the
ジョイスティック631は、一般に、スティックを左右に動かすとX軸に沿った動作を示し、前後又は上下に動かすとY軸に沿った動作を示すように構成される。3次元の動作のために構成されたジョイスティックにおいて、スティックを左(反時計回り)又は右(時計回り)にねじると、Z軸に沿った動作を示すようにしてもよい。これらのX、Y、及びZの3軸は、しばしば、とくに飛行機に関連して、それぞれ、ロール、ピッチ、及びヨーと呼ばれる。 The joystick 631 is generally configured to show an operation along the X axis when the stick is moved left and right, and to show an operation along the Y axis when the stick is moved back and forth or up and down. In a joystick configured for three-dimensional motion, twisting the stick left (counterclockwise) or right (clockwise) may indicate motion along the Z axis. These three X, Y, and Z axes are often referred to as roll, pitch, and yaw, respectively, particularly in connection with airplanes.
コントローラ630は、従来の特徴に加えて、位置及び/又は方向の情報を慣性信号を介してプロセッサ601に提供する1以上の慣性センサ632を含んでもよい。方向情報は、コントローラ630の傾き、ロール、又はヨーなどの角度情報を含んでもよい。例えば、慣性センサ632は、任意の数及び/又は組み合わせの加速度計、ジャイロスコープ、又は傾きセンサを含んでもよい。好適な実施の形態において、慣性センサ632は、傾き及びロール軸に関するジョイスティックコントローラの方向を検知するための傾きセンサ、ヨー軸に沿った加速度を検知するための第1の加速度計、及び、ヨー軸に関する角加速度を検知するための第2の加速度計を含む。加速度計は、例えば、1以上のスプリングにより搭載された質量と、1以上の方向に関する質量の変位を検知するためのセンサを含むMEMSデバイスとして実現されてもよい。質量の変位に依存したセンサからの信号は、ジョイスティックコントローラ630の加速度を決定するために用いられてもよい。このような技術は、メモリ602に格納され、プロセッサ601により実行されるゲームプログラム604からの命令により実現されてもよい。
In addition to conventional features, the
例えば、慣性センサ632に適した加速度計は、例えばスプリングによりフレームに3又は4点で弾性的に結合された単純な質量であってもよい。ピッチ及びロール軸は、ジョイスティックコントローラ630に搭載されたフレームに交差する平面にある。フレーム(及びジョイスティックコントローラ630)がピッチ及びロール軸の周りで回転すると、質量は重力の影響下で変位し、スプリングはピッチ及び/又はロール軸に依存するように伸縮する。質量の変位が検知され、ピッチ及び/又はロールの量に依存する信号に変換される。ヨー軸の周りの角加速度又はヨー軸に沿った直線加速度も、検知され、ピッチ及び/又はロールの量に依存する信号に変換されるスプリングの伸縮又は質量の動きの特徴的なパターンを生成することがある。このような加速度計は、質量の動き又はスプリングの伸縮力を追跡することにより、ヨー軸の周りの傾き、ロール角加速度、及びヨー軸に沿った直線加速度を測定することができる。質量の位置及び/又はそれに及ぼされる力を追跡する方法は、抵抗ひずみゲージ物質、光センサ、磁気センサ、ホール効果デバイス、圧電デバイス、容量センサなど、数多く存在する。
For example, an accelerometer suitable for the
さらに、ジョイスティックコントローラ630は、発光ダイオード(LED)などの1以上の光源634を含んでもよい。光源634は、コントローラを他のコントローラと区別するために用いられてもよい。例えば、1以上のLEDにより、LEDパターンコードを点滅又は持続させることにより、これを達成することができる。例えば、5つのLEDを直線又は2次元パターンでコントローラ630に設けてもよい。LEDを直線的に配列させることが好ましいが、画像取得ユニット623により取得されたLEDのパターンの画像を解析する際にLEDの像平面の決定を容易にするために、LEDを矩形又はアーチ形のパターンに配列してもよい。さらに、LEDパターンコードは、ゲームプレー中にジョイスティックコントローラ630の位置を決定するために用いられてもよい。例えば、LEDは、コントローラの傾き、ヨー、及びロールを特定するのに役立つ。この検出パターンは、航空機飛行ゲームなどのゲームにおいて、ユーザの使用感を向上させるのに役立つ。画像取得ユニット623は、ジョイスティックコントローラ630及び光源634を含む画像を取得してもよい。このような画像の分析により、ジョイスティックコントローラの位置及び/又は方向を決定することができる。このような分析は、メモリ602に格納されプロセッサ601により実行されるプログラムコード命令604により実現されてもよい。画像取得ユニット623による光源634の画像の取得を容易にするために、光源634は、ジョイスティックコントローラ630の2以上の異なる側面、例えば、表と裏(波線で示される)に配置されてもよい。このような配置により、画像取得ユニット623は、ジョイスティックコントローラ630がユーザによりどのように把持されるかに依存して、ジョイスティックコントローラ630の方向が異なっても、光源634の画像を取得することができる。
In addition,
さらに、光源634は、例えばパルスコード、振幅変調、又は周波数変調などの方式で、プロセッサ601に対して遠隔計測信号を提供してもよい。このような遠隔計測信号は、どのジョイスティックボタンが押されたか、及び/又は、そのボタンがどのくらい強く押されたかを示してもよい。遠隔計測信号は、パルスコード、パルス幅変調、周波数変調、光度(振幅)変調などにより、光信号にエンコードされてもよい。プロセッサ601は、光信号から遠隔計測信号をデコードし、デコードされた遠隔計測信号に応じて、ゲームコマンドを実行してもよい。遠隔計測信号は、画像取得ユニット623により取得されたジョイスティックコントローラ630の画像の分析からデコードされてもよい。または、装置600は、光源634から遠隔計測信号を受信するために設けられた別の光学センサを含んでもよい。コンピュータプログラムと連動して強度を決定するためにLEDを用いることは、例えば、米国特許出願11/429,414(発明者:リチャード・L・マークスら、発明の名称:「コンピュータプログラムと連動した強度及び入力装置のコンピュータ画像音声処理」、代理人事件番号:SONYP052)に記述されており、ここに参照として組み込まれる。さらに、光源634を含む画像の解析は、遠隔計測と、ジョイスティックコントローラ630の位置及び/又は方向の決定の双方に用いられてもよい。このような技術は、メモリ602に格納されプロセッサ601により実行されるプログラム604の命令により実現されてもよい。
Furthermore, the
プロセッサ601は、コントローラ630及び/又はそのユーザの位置及び/又は方向に関する情報を推定するために、画像取得ユニット623により検出された光源634からの光学信号及び/又はマイクロフォン配列622により検出された音響信号からの音源位置及び特徴情報と併用して、慣性センサ632からの慣性信号を用いてもよい。例えば、ジョイスティックコントローラの動きが(慣性センサ632及び/又は光源634により)独立して追跡される間、音声の動きを追跡するために、マイクロフォン配列622と併用して、光源位置及び特徴を検出する「音波レーダー」が用いられてもよい。音響レーダーにおいて、予め較正された聴取領域が実行時に選択され、予め較正された聴取領域外の音源から発せられる音声は除去される。予め較正された聴取領域は、画像取得ユニット623の焦点のボリューム又は視野に対応する聴取領域を含んでもよい。音響レーダーの例は、米国特許出願11/381,724(発明者:シャドン・マオ、発明の名称:「対象となる音声の検出及び特徴化方法及び装置」、出願日:2006年5月4日)に詳細に記述されており、ここに参照として組み込まれる。プロセッサ601に制御信号を提供する異なる態様の、任意の数の異なる組み合わせが、本発明の実施の形態に関連して用いられてもよい。このような技術は、メモリ602に格納されプロセッサ601により実行されるプログラムコード命令604により実現されてもよく、予め較正された聴取領域を実行時に選択し、予め較正された聴取領域外の音源から発せられる音声を除去するように、1以上のプロセッサに対して指示する1以上の命令を含んでもよい。予め較正された聴取領域は、画像取得ユニット623の焦点のボリューム又は視野に対応する聴取領域を含んでもよい。
The
プログラム604は、マイクロフォン配列622のマイクロフォンM0〜MMからの離散時間領域入力信号xm(t)を生成し、聴取領域を決定し、入力信号xm(t)から異なる音源を分離するための有限インパルス応答フィルタ係数を選択するためのセミブラインド音源分離に聴取領域を用いるために、1以上のプロセッサに対して指示する1以上の命令を含んでもよい。プログラム604は、参照マイクロフォンM0からの入力信号x0(t)以外の選択された入力信号xm(t)に対して、1以上の部分的遅延を適用するための命令を含んでもよい。それぞれの部分的遅延は、マイクロフォン配列からの離散時間領域出力信号y(t)のノイズ比に対して信号を最適化するために選択されてもよい。部分的遅延は、参照マイクロフォンM0からの信号が、配列の他のマイクロフォンからの信号に比べて、時間的に最初になるように選択されてもよい。プログラム604は、部分的時間遅延Δを下記のようにマイクロフォン配列の出力信号y(t)に導入するための命令を含んでもよい。
y(t+Δ)=x(t+Δ)*b0+x(t-1+Δ)*b1+x(t-2+Δ)*b2+…+x(t-N+Δ)bN
ただし、Δは0と±1の間
このような技術の例は、米国特許出願11/381,729(発明者:シャドン・マオ、発明の名称:「超小型マイクロフォン配列」、出願日:2006年5月4日)に記述されており、ここに参照として組み込まれる。
y (t + Δ) = x (t + Δ) * b0 + x (t-1 + Δ) * b1 + x (t-2 + Δ) * b2 + ... + x (t-N + Δ) bN
However, while Δ is between 0 and ± 1, examples of such techniques are described in US patent application 11 / 381,729 (inventor: Shadon Mao, title of invention: “miniature microphone array”, filing date: 2006). May 4), incorporated herein by reference.
プログラム604は、実行時にシステム600に音源を含む予め較正された聴取領域を選択させるための1以上の命令を含んでもよい。このような命令は、音源が初期領域の範囲内又は初期領域の特定の側にあるか否かを装置に決定させてもよい。音源が初期設定の領域の範囲内にない場合、命令は、実行時に、初期設定の範囲の特定の側にある異なる領域を選択してもよい。異なる領域は、最適値に最も近い入力信号の減衰により特徴づけられてもよい。これらの命令は、実行時に、マイクロフォン配列622からの入力信号の減衰と、最適値への減衰を算出してもよい。命令は、実行時に、装置600に、1以上の領域の入力信号の減衰値を決定し、減衰が最適値に最も近い領域を選択させてもよい。このような技術の例は、米国特許出願11/381,725(発明者:シャドン・マオ、発明の名称:「対象音声検出方法及び装置」、出願日:2006年5月4日)に記述されており、ここに参照として組み込まれる。
The
慣性センサ632からの信号は、追跡情報入力の一部を提供し、1以上の光源634の追跡から画像取得ユニット623により生成される信号は、追跡情報入力の別の一部を提供してもよい。このような「混合方式」の信号は、例えば、フットボール形式のビデオゲームにおいて、クォーターバックが頭を左に動かしてフェイクした後にボールを右に投げる場合などに用いられてもよい。具体的には、コントローラ630を把持するゲームプレイヤーは、頭を左に動かして、コントローラを右に振ってフットボールであるかのように投げる動作をしながら音声を発生させてもよい。「音響レーダー」プログラムコードに連動したマイクロフォン配列622は、ユーザの声を追跡することができる。画像取得ユニット623は、ユーザの頭の動きを追跡し、又は、音声又はコントローラの使用を必要としない他のコマンドを追跡することができる。センサ632は、ジョイスティックコントローラ(フットボールを表現する)の動きを追跡してもよい。画像取得ユニット623は、コントローラ632上の光源634を更に追跡してもよい。ユーザは、ジョイスティックコントローラ630の加速度が特定の量及び/又は方向に達したとき、又は、コントローラ630上のボタンを押下することによりキーコマンドが発生したときに、「ボール」を離すことができる。
The signal from
本発明のある実施の形態において、例えば加速度計又はジャイロスコープからの慣性信号は、コントローラ630の位置を決定するために用いられてもよい。具体的には、加速度計からの加速度信号は、速度の変化を決定するために、いったん時間に関して積分されてもよく、速度は、位置の変化を決定するために時間に関して積分されてもよい。ある時点での初期状態の位置及び速度の値が既知である場合、これらの値と、速度及び位置の変化量を用いて、絶対位置を決定することができる。慣性センサを用いた位置決定は、画像取得ユニット623及び光源634を用いるよりも、より高速に実行できるが、慣性センサ632は、誤差が時間とともに蓄積され、慣性信号から算出されたジョイスティック631の位置(波線で示される)と、ジョイスティックコントローラ630の現実の位置との間の不一致Dが生じる「ドリフト」と呼ばれる一種のエラーの影響を受けやすい。本発明の実施の形態は、このようなエラーに対処するための多くの方法を可能とする。
In some embodiments of the present invention, inertia signals from, for example, accelerometers or gyroscopes may be used to determine the position of
例えば、コントローラ630の初期位置を、現在の算出された位置に等しくなるようにリセットすることにより、ドリフトを手動でキャンセルすることができる。ユーザは、初期位置をリセットするためのコマンドのトリガとして、コントローラ630上の1以上のボタンを用いることができる。または、画像ベースのドリフトは、現在位置を、画像取得ユニット623から取得された画像から決定された位置を参照としてリセットすることにより実行されてもよい。このような画像ベースのドリフト補償は、ユーザがジョイスティックコントローラ630の1以上のボタンを始動したときなどに、手動で実行されてもよい。または、画像ベースのドリフト補償は、例えば定期的に又はゲームプレーに応じて、自動的に実行されてもよい。このような技術は、メモリ602に格納されプロセッサ601により実行されるプログラムコード命令604により実現されてもよい。
For example, the drift can be manually canceled by resetting the initial position of the
ある実施の形態において、慣性センサ信号における誤ったデータを補正することが望ましい。例えば、慣性センサ632からの信号はオーバーサンプリングされてもよく、慣性センサ信号から誤ったデータを除去するために、オーバーサンプリングされた信号から移動平均(スライディング平均)を算出してもよい。ある状況において、信号をオーバーサンプリングし、データ点の部分集合から高い及び/又は低い値を除去し、残ったデータ点から移動平均を算出することが望ましい。さらに、データのオーバーサンプリング及び取扱技術は、誤ったデータの重要性を除去又は低減するために、慣性センサからの信号を調整するために用いられてもよい。技術の選択は、信号の種類、信号に対して実行すべき演算、ゲームプレーの種類、又はこれらの2以上の組み合わせに依存してもよい。これらの技術は、メモリ602に格納されプロセッサ601により実行されるプログラム604の命令により実現されてもよい。
In certain embodiments, it is desirable to correct erroneous data in the inertial sensor signal. For example, the signal from the
プロセッサ601は、上述したように、データ606と、メモリ602に格納され、取得され、プロセッサモジュール601により実行されるプログラム604のプログラムコード命令とに応じて、慣性信号データ606の分析を行ってもよい。プログラム604のコードの一部は、アセンブラ、C++、JAVA(登録商標)、又はその他の多くの言語などの異なる多くのプログラミング言語のいずれかに準拠してもよい。プロセッサモジュール601は、汎用コンピュータを構成する。それは、プログラムコード604などのプログラムを実行するときには、特定の目的のコンピュータとなる。ここでは、プログラムコード604が、汎用コンピュータ上で実行されるソフトウェアとして実現される場合について説明したが、ASICやその他のハードウェア回路などのハードウェアを用いもタスク管理の方法が実現できることは、当業者に理解されるところである。同様に、本発明の実施の形態の一部又は全部が、ソフトウェア、ハードウェア、又はそれらの組み合わせにより実現できることも理解されるところである。
As described above, the
ある実施の形態において、プログラムコード604は、図5Bの方法510及び図5Cの方法520又はそれらの2以上の組み合わせと同様の特徴を有する方法を実現するプロセッサ読み取り可能な命令のセットを含んでもよい。プログラムコード604は、一般に、1以上のプロセッサに、慣性センサ632からの信号を分析して位置及び/又は方向の情報を生成し、ビデオゲームのプレー中にその情報を利用するよう指示する1以上の命令を含んでもよい。
In certain embodiments,
プログラムコード604は、実行時に画像取得ユニット623に画像取得ユニット623の前の視野を監視させ、視野内の1以上の光源634を識別させ、光源634から発せられる光の変化を検知させ、変化を検知したときにプロセッサ601に入力コマンドを引き起こす1以上の命令を含むプロセッサ読み取り可能な命令を更に含んでもよい。ゲームコントローラにおけるアクションを誘発するための画像取得装置に関連したLEDの使用は、米国特許出願10/759,782(発明者:リチャード・L・マークス、出願日:2004年1月16日、発明の名称:「光入力デバイスのための方法及び装置」)に記述されており、ここに参照として組み込まれる。
The
プログラムコード604は、実行時に慣性センサからの信号と、1以上の光源を追跡することにより画像取得ユニットから生成された信号とを、上述したようにゲームシステムに対する入力として用いる1以上の命令を含むプロセッサ読み取り可能な命令を更に含んでもよい。プログラムコード604は、実行時に慣性センサ632におけるドリフトを補償する1以上の命令を含むプロセッサ読み取り可能な命令を更に含んでもよい。
本発明の実施の形態において、ビデオゲームコントローラ630に関する例について説明したが、システム600を含む本発明の実施の形態は、ユーザにより操作される本体、モデリングされたオブジェクト、ノブ、構造体などに対して、慣性検知機能及び慣性センサ信号送信機能とともに、無線又は別の方法で用いられてもよい。
In the embodiment of the present invention, an example regarding the
例えば、本発明の実施の形態は、並列処理システム上で実行されてもよい。このような並列処理システムは、典型的には、別々のプロセッサにおいてプログラムの一部を並列に実行するように構成された2以上のプロセッサ要素を含む。限定されない例として、図7は、本発明の実施の形態に係るセルプロセッサ700の一種を示す。セルプロセッサ700は、図6のプロセッサとして用いられてもよいし、図5Aのプロセッサ502として用いられてもよい。図7に示した例において、セルプロセッサ700は、メインメモリ702、PPE(power processor element)704、及び複数のSPE(synergistic processor element)706を含む。図7に示した例では、セルプロセッサ700は、一つのPPE704と8つのSPE706を含む。このような構成において、7つのSPE706は並列処理のための用いられ、1つは他の7つのいずれかが機能しなくなったときのバックアップとしてリザーブされてもよい。または、セルプロセッサは、複数のグループのPPE(PPEグループ)及び複数のグループのSPE(SPEグループ)を含んでもよい。この場合、ハードウェアリソースは、グループ内の単位の間で共有されてもよい。しかし、SPE及びPPEは、独立した要素としてソフトウェアとみなされなければならない。本発明の実施の形態は、図7に示した構成により利用されることに限定されない。
For example, embodiments of the present invention may be executed on a parallel processing system. Such parallel processing systems typically include two or more processor elements configured to execute portions of a program in parallel on separate processors. As a non-limiting example, FIG. 7 shows a type of
メインメモリ702は、典型的には、システム設定、データ転送の同期、メモリにマップされた入出力、及び入出力サブシステムなどの機能のために用いられる特定目的のハードウェアレジスタ又は配列だけでなく、汎用かつ不揮発性の記憶装置を含む。本発明の実施の形態において、ビデオゲームプログラム703は、メインメモリ702に常駐されてもよい。メモリ702は、信号データ709を含んでもよい。ビデオプログラム703は、図4、5A、5B、又は5Cに関連して上述したように構成された慣性、画像、及び音響分析部及び混合部、又はこれらのいくつかの組み合わせを含んでもよい。プログラム703は、PPE上で実行されてもよい。プログラム703は、SPE及び/又はPPE上で実行可能な複数の信号処理タスクに分割されてもよい。
例えば、PPE704は、キャッシュL1及びL2が結合された64ビットPPU(PowerPC Processor Unit)であってもよい。PPE704は、メモリ保護テーブルなどのシステム管理リソースにアクセス可能な汎用処理ユニットである。ハードウェアリソースは、PPEが参照できるように、実アドレス空間に明示的にマップされてもよい。したがって、PPEは、適切な有効アドレス値を用いて、任意のこれらのリソースをアドレス指定することができる。PPE704の主機能は、セルプロセッサ706のSPE706のためのタスクの管理及び割り当てである。
For example, the
図7には1つのPPEのみが示されているが、セルブロードバンドエンジンアーキテクチャー(cell broadband engine architecture:CBEA)などのセルプロセッサの実装においては、セルプロセッサ700は、1以上のPPEグループにまとめられた複数のPPEを有してもよい。これらのPPEグループは、メインメモリ702に対するアクセスを共有してもよい。さらに、セルプロセッサ700は、2以上のSPEグループを含んでもよい。SPEグループも、メインメモリ702に対するアクセスを共有してもよい。このような構成は、本発明の範囲内である。
Although only one PPE is shown in FIG. 7, in a cell processor implementation such as a cell broadband engine architecture (CBEA), the
それぞれのSPE706は、SPU(synergistic processor unit)及びそれ自身のローカル格納領域LSを含む。ローカル格納領域LSは、それぞれが特定のSPUに関連づけられた1以上の分割されたメモリの領域を含んでもよい。それぞれのSPUは、それ自身に関連づけられたローカル格納領域内からの命令(データロード及びデータストア命令を含む)のみを実行するように構成されてもよい。このような構成において、ローカル格納領域LSとシステム700の他の構成との間のデータ転送は、(個々のSPEの)ローカル格納領域へ又はローカル格納領域から転送するためのメモリフローコントローラ(MFC)からのDMA(direct memory access)コマンドを発行することにより実行されてもよい。SPUは、システム管理機能を実行しない点において、PPE704よりも複雑ではない計算ユニットである。SPUは、一般に、1回の命令で複数データに対する処理を同時に行う機能(SIMD)を有し、典型的には、割り当てられたタスクを実行するために、データを処理し、要求された任意のデータ転送を(PPEにより設定されたプロパティにアクセスすることを前提として)起動する。SPUの目的は、より高い計算ユニットの密度を要求し、提供された命令セットを効率的に用いることができるアプリケーションを可能とすることにある。PPE704により管理されるシステムにおける多数のSPEにより、広範囲のアプリケーションにわたって費用効率の高い処理が可能となる。
Each
それぞれのSPE706は、メモリ保護情報及びアクセス許可情報を保持し処理することが可能なメモリ管理ユニットを含む専用のメモリフローコントローラ(MFC)を含んでもよい。MFCは、セルプロセッサのメインストレージとSPEのローカルストレージとの間のデータ転送、保護、及び同期のための主要な方法を提供する。MFCコマンドは、実行されるべき転送を表現する。データを転送するためのコマンドは、MFCダイレクトメモリアクセス(DMA)コマンド(MFCDMAコマンド)とも呼ばれる。
Each
それぞれのMFCは、複数のDMA転送を同時にサポートし、複数のMFCコマンドを保持し処理することができる。それぞれのMFC・DMAデータ転送コマンドリクエストは、ローカルストレージアドレス(LSA)と有効アドレス(EA)の双方を含んでもよい。ローカルストレージアドレスは、関連づけられたSPEのローカル格納領域のみを直接アドレス指定してもよい。有効アドレスは、より一般的なアプリケーションを有してもよく、例えば、実アドレス空間にエイリアスされている限り全てのSPEローカル格納領域を含むメインストレージを参照可能であってもよい。 Each MFC supports multiple DMA transfers simultaneously, and can hold and process multiple MFC commands. Each MFC / DMA data transfer command request may include both a local storage address (LSA) and an effective address (EA). The local storage address may directly address only the local storage area of the associated SPE. The effective address may have a more general application, for example, may refer to the main storage including all SPE local storage areas as long as it is aliased to the real address space.
SPE706間及び/又はSPE706とPPE704との間の通信を容易にするために、SPE706及びPPE704は、信号伝達イベントに関係する信号通知レジスタを含んでもよい。PPE704及びSPE706は、PPE704がSPE706にメッセージを送信するためのルータとして機能するスター型トポロジーにより接続されてもよい。または、それぞれのSPE706及びPPE704は、メールボックスとして参照される一方向の信号通知レジスタを有してもよい。メールボックスは、オペレーティングシステム(OS)の同期のために用いられてもよい。
To facilitate communication between
セルプロセッサ700は、セルプロセッサ700がマイクロフォン配列712、画像取得ユニット713及びゲームコントローラ730などの周辺装置とインタフェースをとることが可能な入出力(I/O)機能708を含んでもよい。ゲームコントローラユニットは、慣性センサ732及び光源734を含んでもよい。さらに、要素相互接続バス710が上述した種々のコンポーネントを接続してもよい。それぞれのSPE及びPPEは、バスインタフェースユニットBIUを介してバス710にアクセス可能である。セルプロセッサ700は、プロセッサに典型的に見られる、バス710とメインメモリ710との間でデータのフローを制御するメモリインタフェースコントローラMICと、I/O708とバス710との間でデータのフローを制御するバスインタフェースコントローラBICの2つのコントローラを更に含んでもよい。MIC、BIC、BIU及びバス710の要件は、異なる実装において大きく異なりうるが、それらの機能及び実装のための回路は、当業者によく知られるところである。
セルプロセッサ700は、内部割り込みコントローラIICを更に含んでもよい。IICコンポーネントは、PPEに伝達される割り込みの優先度を管理する。IICにより、セルプロセッサ700の他のコンポーネントからの割り込みを、メインシステム割り込みコントローラを用いることなく扱うことができる。IICは、第2のレベルのコントローラとみなされてもよい。メインシステム割り込みコントローラは、セルプロセッサの外部からの割り込みを扱ってもよい。
The
本発明の実施の形態において、上述した部分的遅延などの特定の計算は、PPE704及び/又は1以上のSPE706を用いて並列して実行されてもよい。それぞれの部分的遅延計算は、異なるSPE706が実行可能となるように1以上に分割されたタスクとして実行されてもよい。
In embodiments of the present invention, certain calculations such as the partial delay described above may be performed in parallel using
上記は、本発明の好ましい実施の形態の完全な説明であるが、種々の代替、修正及び等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決定されるべきではなく、添付された特許請求の範囲をそれらと等価な範囲の全てとともに参照して決定されるべきである。ここで記述される全ての特徴は、好ましいか否かにかかわらず、ここで記述される他の全ての特徴に結合されてもよい。特許請求の範囲において、不定冠詞に続くものは、別段の明示がない限り、1以上の事項の数量をさす。添付された特許請求の範囲は、「〜するための手段」という語句を用いて明示的に限定されない限り、ミーンズプラスファンクションの限定を含むものと解釈されるべきではない。 While the above is a complete description of the preferred embodiment of the invention, various alternatives, modifications and equivalents may be used. The scope of the invention should, therefore, be determined not with reference to the above description, but instead should be determined with reference to the appended claims along with their full scope of equivalents. All features described herein may be combined with all other features described herein, whether preferred or not. In the claims, what follows an indefinite article refers to the quantity of one or more items, unless expressly specified otherwise. The appended claims should not be construed to include means plus function limitations, unless explicitly limited by use of the phrase “means for”.
Claims (14)
第1の入力装置から入力データを取得して分析する第1の分析部と、
第2の入力装置から入力データを取得して分析する第2の分析部と、
前記第1の分析部及び前記第2の分析部から分析された入力データを取得し、前記第1の分析部及び/又は前記第2の分析部から取得した情報に基づいて追跡情報を生成し、ゲームにおける条件又は前記第1の入力装置及び第2の入力装置が動作する環境における条件に基づいて、前記第1の分析部及び/又は前記第2の分析部から取得した情報に1以上の分配値を動的に割り当てる混合部と、を備え、
前記第1及び第2の入力装置は、画像取得装置、音響取得装置、及び慣性センサのグループから選択された2つの異なる種類の入力装置であり、
それぞれの分配値は、前記第1の分析部及び前記第2の分析部のうちの一方に関連付けられた入力チャンネルからの追跡情報パラメータと、前記第1の分析部及び前記第2の分析部のうちの他方に関連付けられた入力チャンネルからの追跡情報パラメータとを混合するときに、前記追跡情報パラメータに適用される重みを定義し、
前記混合部は、前記パラメータに1以上の前記分配値を動的に割り当て、それぞれの入力チャンネルについて重み付けされたパラメータ値を混合して、詳細なパラメータ値を生成するように構成され、
前記混合部は、1以上の前記入力装置の入力データが所定の範囲にあるか否かに基づいて前記分配値を割り当てるように構成される
ことを特徴とするシステム。 A system for analyzing game control input data,
A first analyzer that acquires and analyzes input data from the first input device;
A second analyzer for acquiring and analyzing input data from the second input device;
The input data analyzed from the first analysis unit and the second analysis unit is acquired, and tracking information is generated based on the information acquired from the first analysis unit and / or the second analysis unit. The information acquired from the first analysis unit and / or the second analysis unit based on conditions in the game or conditions in the environment in which the first input device and the second input device operate A mixing unit that dynamically allocates distribution values,
The first and second input devices are two different types of input devices selected from the group of image acquisition devices, sound acquisition devices, and inertial sensors,
Each distribution value includes a tracking information parameter from an input channel associated with one of the first analysis unit and the second analysis unit, and the first analysis unit and the second analysis unit. Defining a weight to be applied to the tracking information parameter when mixing with the tracking information parameter from the input channel associated with the other of the
The mixing unit is configured to dynamically assign one or more of the distribution values to the parameters, mix weighted parameter values for each input channel, and generate detailed parameter values;
The said mixing part is comprised so that the said distribution value may be allocated based on whether the input data of the one or more said input devices exists in the predetermined range.
前記ゲームコントローラは、慣性分析部に接続可能な少なくとも1つの慣性センサ、及び/又は、1以上の光信号を提供するように構成された1以上の光源、及び/又は、1以上の音響信号生成部を含むことを特徴とする請求項1に記載のシステム。 A game controller,
The game controller includes at least one inertial sensor connectable to an inertial analyzer and / or one or more light sources configured to provide one or more optical signals and / or one or more acoustic signal generations The system according to claim 1, further comprising a unit.
混合部が、第1の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第1の分析部と、第2の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第2の分析部とから、分析された入力データを取得するステップと、
前記混合部が、1以上の前記入力装置の入力データが所定の範囲にあるか否かに基づいて、前記第1の分析部及び/又は前記第2の分析部から取得した入力データから生成した追跡情報パラメータのそれぞれに、前記第1の分析部及び前記第2の分析部のうちの一方に関連付けられた入力チャンネルからの追跡情報パラメータと前記第1の分析部及び前記第2の分析部のうちの他方に関連付けられた入力チャンネルからの追跡情報パラメータとを混合するときに前記追跡情報パラメータに適用される重みを定義する第1及び第2の分配値を動的に適用するステップと、
プロセッサが、前記分配値が適用された追跡情報パラメータに基づいて、1以上のユーザアクションに、ゲーム環境における少なくとも1つのアクションを関連付けるステップと、
前記プロセッサが、前記ゲーム環境における前記少なくとも1つのアクションを実行するステップと、を備え、
前記第1及び第2の入力装置は、画像取得装置、音響取得装置、及び慣性センサのグループから選択された2つの異なる種類の入力装置である
ことを特徴とする方法。 A method for analyzing game control input data, comprising:
A first analysis unit that acquires and analyzes input data associated with one or more user actions from a first input device, and an input associated with one or more user actions from a second input device and a second analysis unit for analyzing the data acquired, a step of acquiring an analysis input data,
The mixing unit is generated from input data acquired from the first analysis unit and / or the second analysis unit based on whether or not input data of the one or more input devices is within a predetermined range . each of the tracking information parameters, the first analyzer and the tracking information parameters from the input channel associated with one and the first analyzer and the second analyzer of the second analysis unit Dynamically applying first and second distribution values defining weights applied to said tracking information parameters when mixing with tracking information parameters from an input channel associated with the other of them;
A processor associating at least one action in the gaming environment with one or more user actions based on a tracking information parameter to which the distribution value is applied ;
The processor performing the at least one action in the gaming environment;
The method of claim 1, wherein the first and second input devices are two different types of input devices selected from the group of image acquisition devices, sound acquisition devices, and inertial sensors.
第1の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第1の分析部と、第2の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第2の分析部とから、分析された入力データを取得するステップと、
1以上の前記入力装置の入力データが所定の範囲にあるか否かに基づいて、前記第1の分析部及び/又は前記第2の分析部から取得した入力データから生成した追跡情報パラメータのそれぞれに、前記第1の分析部及び前記第2の分析部のうちの一方に関連付けられた入力チャンネルからの追跡情報パラメータと前記第1の分析部及び前記第2の分析部のうちの他方に関連付けられた入力チャンネルからの追跡情報パラメータとを混合するときに前記追跡情報パラメータに適用される重みを定義する第1及び第2の分配値を動的に適用するステップと、
前記分配値が適用された追跡情報パラメータに基づいて、1以上のユーザアクションに、ゲーム環境における少なくとも1つのアクションを関連付けるステップと、
前記ゲーム環境における前記少なくとも1つのアクションを実行するステップと、を備え、
前記第1及び第2の入力装置は、画像取得装置、音響取得装置、及び慣性センサのグループから選択された2つの異なる種類の入力装置である
ことを特徴とする方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 On the computer,
A first analyzer that acquires and analyzes input data associated with one or more user actions from a first input device, and acquires input data associated with one or more user actions from a second input device Obtaining the analyzed input data from the second analysis unit for analyzing
Each of the tracking information parameters generated from the input data acquired from the first analysis unit and / or the second analysis unit based on whether or not the input data of the one or more input devices is within a predetermined range In addition, the tracking information parameter from the input channel associated with one of the first analysis unit and the second analysis unit is associated with the other of the first analysis unit and the second analysis unit. Dynamically applying first and second distribution values defining weights applied to said tracking information parameters when mixing with tracking information parameters from selected input channels;
On the basis of the distribution values are applied tracking information parameters, the one or more user actions, and associating at least one action in a game environment,
Performing the at least one action in the game environment;
The first and second input devices are two different types of input devices selected from the group of image acquisition devices, sound acquisition devices, and inertial sensors.
The computer-readable recording medium which recorded the program for performing the method characterized by the above-mentioned .
Applications Claiming Priority (54)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/381,728 US7545926B2 (en) | 2006-05-04 | 2006-05-04 | Echo and noise cancellation |
US11/418,989 US8139793B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatus for capturing audio signals based on a visual image |
US11/418,988 US8160269B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatuses for adjusting a listening area for capturing sounds |
US11/381,721 US8947347B2 (en) | 2003-08-27 | 2006-05-04 | Controlling actions in a video game unit |
US11/381,728 | 2006-05-04 | ||
US11/381,727 US7697700B2 (en) | 2006-05-04 | 2006-05-04 | Noise removal for electronic device with far field microphone on console |
US11/381,729 US7809145B2 (en) | 2006-05-04 | 2006-05-04 | Ultra small microphone array |
US11/418,988 | 2006-05-04 | ||
US11/381,725 US7783061B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatus for the targeted sound detection |
US11/381,721 | 2006-05-04 | ||
US11/429,047 US8233642B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatuses for capturing an audio signal based on a location of the signal |
US11/381,729 | 2006-05-04 | ||
US11/429,414 US7627139B2 (en) | 2002-07-27 | 2006-05-04 | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US11/429,414 | 2006-05-04 | ||
US11/429,047 | 2006-05-04 | ||
US11/381,727 | 2006-05-04 | ||
US11/381,724 US8073157B2 (en) | 2003-08-27 | 2006-05-04 | Methods and apparatus for targeted sound detection and characterization |
US11/381,724 | 2006-05-04 | ||
US11/418,989 | 2006-05-04 | ||
US11/429,133 | 2006-05-04 | ||
US11/429,133 US7760248B2 (en) | 2002-07-27 | 2006-05-04 | Selective sound source listening in conjunction with computer interactive processing |
US11/381,725 | 2006-05-04 | ||
US79803106P | 2006-05-06 | 2006-05-06 | |
US11/382,036 US9474968B2 (en) | 2002-07-27 | 2006-05-06 | Method and system for applying gearing effects to visual tracking |
US11/382,038 US7352358B2 (en) | 2002-07-27 | 2006-05-06 | Method and system for applying gearing effects to acoustical tracking |
US29259349 | 2006-05-06 | ||
US11/382,038 | 2006-05-06 | ||
US29/259,349 | 2006-05-06 | ||
US11/382,037 | 2006-05-06 | ||
US11/382,032 US7850526B2 (en) | 2002-07-27 | 2006-05-06 | System for tracking user manipulations within an environment |
US29/259,350 | 2006-05-06 | ||
US29/259,348 | 2006-05-06 | ||
US11/382,037 US8313380B2 (en) | 2002-07-27 | 2006-05-06 | Scheme for translating movements of a hand-held controller into inputs for a system |
US11/382,033 | 2006-05-06 | ||
US29259348 | 2006-05-06 | ||
US11/382,031 US7918733B2 (en) | 2002-07-27 | 2006-05-06 | Multi-input game control mixer |
US29/259,350 USD621836S1 (en) | 2006-05-06 | 2006-05-06 | Controller face with tracking sensors |
US11/382,033 US8686939B2 (en) | 2002-07-27 | 2006-05-06 | System, method, and apparatus for three-dimensional input control |
US11/382,035 | 2006-05-06 | ||
US60/798,031 | 2006-05-06 | ||
US11/382,032 | 2006-05-06 | ||
US11/382,034 US20060256081A1 (en) | 2002-07-27 | 2006-05-06 | Scheme for detecting and tracking user manipulation of a game controller body |
US11/382,036 | 2006-05-06 | ||
US11/382,035 US8797260B2 (en) | 2002-07-27 | 2006-05-06 | Inertially trackable hand-held controller |
US11/382,031 | 2006-05-06 | ||
US11/382,034 | 2006-05-06 | ||
US11/382,041 US7352359B2 (en) | 2002-07-27 | 2006-05-07 | Method and system for applying gearing effects to inertial tracking |
US11/382,039 US9393487B2 (en) | 2002-07-27 | 2006-05-07 | Method for mapping movements of a hand-held controller to game commands |
US11/382,040 US7391409B2 (en) | 2002-07-27 | 2006-05-07 | Method and system for applying gearing effects to multi-channel mixed input |
US11/382,043 | 2006-05-07 | ||
US11/382,040 | 2006-05-07 | ||
US11/382,043 US20060264260A1 (en) | 2002-07-27 | 2006-05-07 | Detectable and trackable hand-held controller |
US11/382,041 | 2006-05-07 | ||
US11/382,039 | 2006-05-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009509931A Division JP5219997B2 (en) | 2006-05-04 | 2007-04-19 | Multi-input game control mixer |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012257118A Division JP5638592B2 (en) | 2006-05-04 | 2012-11-26 | System and method for analyzing game control input data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012166036A JP2012166036A (en) | 2012-09-06 |
JP5145470B2 true JP5145470B2 (en) | 2013-02-20 |
Family
ID=38668432
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009509931A Active JP5219997B2 (en) | 2006-05-04 | 2007-04-19 | Multi-input game control mixer |
JP2012080340A Active JP5668011B2 (en) | 2006-05-04 | 2012-03-30 | A system for tracking user actions in an environment |
JP2012080329A Active JP5145470B2 (en) | 2006-05-04 | 2012-03-30 | System and method for analyzing game control input data |
JP2012257118A Active JP5638592B2 (en) | 2006-05-04 | 2012-11-26 | System and method for analyzing game control input data |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009509931A Active JP5219997B2 (en) | 2006-05-04 | 2007-04-19 | Multi-input game control mixer |
JP2012080340A Active JP5668011B2 (en) | 2006-05-04 | 2012-03-30 | A system for tracking user actions in an environment |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012257118A Active JP5638592B2 (en) | 2006-05-04 | 2012-11-26 | System and method for analyzing game control input data |
Country Status (2)
Country | Link |
---|---|
JP (4) | JP5219997B2 (en) |
WO (1) | WO2007130791A2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8891663B2 (en) | 1996-10-29 | 2014-11-18 | Qualcomm Incorporated | Method and apparatus for providing high speed data communications in a cellular environment |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8225343B2 (en) * | 2008-01-11 | 2012-07-17 | Sony Computer Entertainment America Llc | Gesture cataloging and recognition |
GB2458297B (en) * | 2008-03-13 | 2012-12-12 | Performance Designed Products Ltd | Pointing device |
CN112752922B (en) * | 2018-05-09 | 2024-02-20 | 梦境沉浸股份有限公司 | User selectable tool for optically tracking virtual reality systems |
US11320896B2 (en) * | 2020-08-03 | 2022-05-03 | Facebook Technologies, Llc. | Systems and methods for object tracking using fused data |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0682242A (en) * | 1992-08-31 | 1994-03-22 | Victor Co Of Japan Ltd | Three-dimensional position/attitude detection method |
JPH07284166A (en) * | 1993-03-12 | 1995-10-27 | Mitsubishi Electric Corp | Remote controller |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
JPH11316646A (en) * | 1998-05-01 | 1999-11-16 | Nippon Telegr & Teleph Corp <Ntt> | Virtual presence feeling method and system device |
JPH11333139A (en) * | 1998-05-26 | 1999-12-07 | Fuji Electronics Co Ltd | Moving image controlling device |
JP2000259340A (en) * | 1999-03-12 | 2000-09-22 | Sony Corp | Device and method for input, input system, and distribution medium |
JP2001005600A (en) * | 1999-06-24 | 2001-01-12 | Nec Corp | Handwritten input method and handwritten input device and recording medium recording program for allowing computer to realize handwritten input processing |
US6426741B1 (en) * | 1999-09-30 | 2002-07-30 | Intel Corporation | User input for a computer |
JP3819416B2 (en) * | 1999-10-04 | 2006-09-06 | 任天堂株式会社 | GAME SYSTEM AND GAME INFORMATION STORAGE MEDIUM USED FOR THE SAME |
US6699123B2 (en) * | 1999-10-14 | 2004-03-02 | Sony Computer Entertainment Inc. | Entertainment system, entertainment apparatus, recording medium, and program |
JP2001246161A (en) * | 1999-12-31 | 2001-09-11 | Square Co Ltd | Device and method for game using gesture recognizing technic and recording medium storing program to realize the method |
JP4027031B2 (en) * | 2000-11-16 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | Competitive 3D video game device |
US20020085097A1 (en) * | 2000-12-22 | 2002-07-04 | Colmenarez Antonio J. | Computer vision-based wireless pointing system |
JP2002306846A (en) * | 2001-04-12 | 2002-10-22 | Saibuaasu:Kk | Controller for game machine |
JP2002320772A (en) * | 2001-04-25 | 2002-11-05 | Pacific Century Cyberworks Japan Co Ltd | Game device, its control method, recording medium, program and cellular phone |
JP3470119B2 (en) * | 2002-02-14 | 2003-11-25 | コナミ株式会社 | Controller, controller attitude telemetry device, and video game device |
JP3841658B2 (en) * | 2001-09-14 | 2006-11-01 | 株式会社タイトー | Game machine |
JP4028708B2 (en) * | 2001-10-19 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | GAME DEVICE AND GAME SYSTEM |
JP3602519B2 (en) * | 2002-07-12 | 2004-12-15 | コナミ株式会社 | Video game apparatus, image processing method, and program |
JP2004302993A (en) * | 2003-03-31 | 2004-10-28 | Sony Corp | Information input system and input device |
US20040212589A1 (en) * | 2003-04-24 | 2004-10-28 | Hall Deirdre M. | System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources |
US7233316B2 (en) * | 2003-05-01 | 2007-06-19 | Thomson Licensing | Multimedia user interface |
JP2005021563A (en) * | 2003-07-01 | 2005-01-27 | Namco Ltd | Game device, program and information storage medium |
JP2005021458A (en) * | 2003-07-03 | 2005-01-27 | Tamura Seisakusho Co Ltd | Indicated position specifying device and method therefor, and image display system |
-
2007
- 2007-04-19 WO PCT/US2007/067004 patent/WO2007130791A2/en active Application Filing
- 2007-04-19 JP JP2009509931A patent/JP5219997B2/en active Active
-
2012
- 2012-03-30 JP JP2012080340A patent/JP5668011B2/en active Active
- 2012-03-30 JP JP2012080329A patent/JP5145470B2/en active Active
- 2012-11-26 JP JP2012257118A patent/JP5638592B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8891663B2 (en) | 1996-10-29 | 2014-11-18 | Qualcomm Incorporated | Method and apparatus for providing high speed data communications in a cellular environment |
Also Published As
Publication number | Publication date |
---|---|
JP2012166036A (en) | 2012-09-06 |
WO2007130791A3 (en) | 2008-11-13 |
JP5638592B2 (en) | 2014-12-10 |
JP5219997B2 (en) | 2013-06-26 |
WO2007130791A2 (en) | 2007-11-15 |
JP2012164330A (en) | 2012-08-30 |
JP5668011B2 (en) | 2015-02-12 |
JP2013084281A (en) | 2013-05-09 |
JP2009535172A (en) | 2009-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9682320B2 (en) | Inertially trackable hand-held controller | |
US8686939B2 (en) | System, method, and apparatus for three-dimensional input control | |
US10086282B2 (en) | Tracking device for use in obtaining information for controlling game program execution | |
US8839279B2 (en) | Gesture cataloging and recognition | |
JP2009535173A (en) | Three-dimensional input control system, method, and apparatus | |
US7918733B2 (en) | Multi-input game control mixer | |
US7850526B2 (en) | System for tracking user manipulations within an environment | |
JP5726811B2 (en) | Method and apparatus for use in determining lack of user activity, determining user activity level, and / or adding a new player to the system | |
JP5638592B2 (en) | System and method for analyzing game control input data | |
KR101020510B1 (en) | Multi-input game control mixer | |
EP2351604A2 (en) | Obtaining input for controlling execution of a game program | |
KR101020509B1 (en) | Obtaining input for controlling execution of a program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5145470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |