[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5145470B2 - System and method for analyzing game control input data - Google Patents

System and method for analyzing game control input data Download PDF

Info

Publication number
JP5145470B2
JP5145470B2 JP2012080329A JP2012080329A JP5145470B2 JP 5145470 B2 JP5145470 B2 JP 5145470B2 JP 2012080329 A JP2012080329 A JP 2012080329A JP 2012080329 A JP2012080329 A JP 2012080329A JP 5145470 B2 JP5145470 B2 JP 5145470B2
Authority
JP
Japan
Prior art keywords
analysis unit
input
controller
tracking information
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012080329A
Other languages
Japanese (ja)
Other versions
JP2012166036A (en
Inventor
エム ザレウスキー ゲイリー
エル マークス リチャード
マオ シャドン
Original Assignee
ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/429,133 external-priority patent/US7760248B2/en
Priority claimed from US11/429,047 external-priority patent/US8233642B2/en
Priority claimed from US11/381,724 external-priority patent/US8073157B2/en
Priority claimed from US11/429,414 external-priority patent/US7627139B2/en
Priority claimed from US11/381,728 external-priority patent/US7545926B2/en
Priority claimed from US11/418,989 external-priority patent/US8139793B2/en
Priority claimed from US11/418,988 external-priority patent/US8160269B2/en
Priority claimed from US11/381,721 external-priority patent/US8947347B2/en
Priority claimed from US11/381,727 external-priority patent/US7697700B2/en
Priority claimed from US11/381,729 external-priority patent/US7809145B2/en
Priority claimed from US11/381,725 external-priority patent/US7783061B2/en
Priority claimed from US11/382,034 external-priority patent/US20060256081A1/en
Priority claimed from US29/259,350 external-priority patent/USD621836S1/en
Priority claimed from US11/382,036 external-priority patent/US9474968B2/en
Priority claimed from US11/382,035 external-priority patent/US8797260B2/en
Priority claimed from US11/382,033 external-priority patent/US8686939B2/en
Priority claimed from US11/382,038 external-priority patent/US7352358B2/en
Priority claimed from US11/382,032 external-priority patent/US7850526B2/en
Priority claimed from US11/382,037 external-priority patent/US8313380B2/en
Priority claimed from US11/382,031 external-priority patent/US7918733B2/en
Priority claimed from US11/382,041 external-priority patent/US7352359B2/en
Priority claimed from US11/382,039 external-priority patent/US9393487B2/en
Priority claimed from US11/382,040 external-priority patent/US7391409B2/en
Priority claimed from US11/382,043 external-priority patent/US20060264260A1/en
Application filed by ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー filed Critical ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Publication of JP2012166036A publication Critical patent/JP2012166036A/en
Publication of JP5145470B2 publication Critical patent/JP5145470B2/en
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、人間とコンピュータの間のインタフェースに関し、とくに、1以上のコントローラのユーザ操作を追跡するための多チャンネル入力の処理に関する。   The present invention relates to an interface between a human and a computer, and more particularly to processing of multi-channel input for tracking user operations of one or more controllers.

コンピュータエンタテインメントシステムは、一般に、ハンドヘルドコントローラ、ゲームコントローラ、又はその他のコントローラを含む。ユーザ又はプレイヤーは、コマンド又はその他の命令をエンタテインメントシステムに送信して、プレーされているビデオゲーム又はその他のシミュレーションを制御するために、コントローラを用いる。例えば、コントローラには、ユーザにより操作されるジョイスティックなどの操作部が設けられてもよい。操作されたジョイスティックの変量は、アナログ値からディジタル値に変換され、ゲーム機のメインフレームへ送信される。コントローラには、ユーザが操作可能なボタンが設けられてもよい。   Computer entertainment systems typically include handheld controllers, game controllers, or other controllers. A user or player uses a controller to send commands or other instructions to the entertainment system to control the video game or other simulation being played. For example, the controller may be provided with an operation unit such as a joystick operated by the user. The manipulated variable of the joystick is converted from an analog value to a digital value and transmitted to the main frame of the game machine. The controller may be provided with buttons that can be operated by the user.

本発明は、これら又はその他の背景となる情報要素に関して発展させたものである。   The present invention has been developed with respect to these and other background information elements.

本発明の実施の形態にしたがって動作するビデオゲームシステムを例示した図である。1 is a diagram illustrating a video game system that operates in accordance with an embodiment of the present invention. FIG. 本発明の実施の形態に係るコントローラの透視図である。It is a perspective view of the controller concerning an embodiment of the invention. 本発明の実施の形態に係るコントローラにおいて用いられうる加速度計を例示した3次元概略図である。It is the three-dimensional schematic diagram which illustrated the accelerometer which can be used in the controller which concerns on embodiment of this invention. 本発明の実施の形態にしたがって種々の制御入力を混合するためのシステムのブロック図である。1 is a block diagram of a system for mixing various control inputs in accordance with an embodiment of the present invention. 図1のビデオゲームシステムの一部のブロック図である。It is a block diagram of a part of the video game system of FIG. 本発明の実施の形態に係るビデオゲームシステムのコントローラを追跡するための方法のフロー図である。FIG. 5 is a flow diagram of a method for tracking a controller of a video game system according to an embodiment of the present invention. 本発明の実施の形態に係るビデオゲームシステムにおいてゲームプレー中に位置及び/又は方向の情報を利用するための方法を例示したフロー図である。FIG. 3 is a flow diagram illustrating a method for utilizing position and / or orientation information during game play in a video game system according to an embodiment of the present invention. 本発明の実施の形態に係るビデオゲームシステムを例示したブロック図である。1 is a block diagram illustrating a video game system according to an embodiment of the present invention. 本発明の実施の形態に係るビデオゲームシステムのセルプロセッサによる実装のブロック図である。It is a block diagram of the implementation by the cell processor of the video game system which concerns on embodiment of this invention.

本発明の教授するところは、添付図面とあわせて以下の詳細な説明を考慮することにより容易に理解されるでろう。   The teachings of the present invention can be readily understood by considering the following detailed description in conjunction with the accompanying drawings, in which:

・優先権の主張
本出願は、米国特許出願11/381,729(発明者:シャドン・マオ、発明の名称:「超小型マイクロフォン配列」、代理人事件番号:SCEA05062US00、出願日:2006年5月4日)、米国特許出願11/381,728(発明者:シャドン・マオ、発明の名称:「エコー及びノイズキャンセル」、代理人事件番号:SCEA05064US00、出願日:2006年5月4日)、米国特許出願11/381,725(発明者:シャドン・マオ、発明の名称:「対象音声検出方法及び装置」、代理人事件番号:SCEA05072US00、出願日:2006年5月4日)、米国特許出願11/381,727(発明者:シャドン・マオ、発明の名称:「コンソール上の遠距離場マイクロフォンによる電子機器のノイズ除去」、代理人事件番号:SCEA05073US00、出願日:2006年5月4日)、米国特許出願11/381,724(発明者:シャドン・マオ、発明の名称:「対象音声検出及びキャラクタリゼーションのための方法及び装置」、代理人事件番号:SCEA05079US00、出願日:2006年5月4日)、米国特許出願11/381,721(発明者:シャドン・マオ、発明の名称:「コンピュータ対話処理に連動した選択的音源聴取」、代理人事件番号:SCEA04005JUMBOUS、出願日:2006年5月4日)の優先権を主張し、これらの全てはここに参照として組み込まれる。
Priority claim This application is based on US patent application Ser. No. 11 / 381,729 (inventor: Shadon Mao, title of invention: “micro-microphone array”, agent case number: SCEA05062US00, filing date: May 2006. 4th), US patent application 11 / 381,728 (inventor: Shadon Mao, title of invention: “echo and noise cancellation”, agent case number: SCEA05064US00, filing date: May 4, 2006), US Patent application 11 / 381,725 (inventor: Shadon Mao, title of invention: “target speech detection method and apparatus”, agent case number: SCEA05072US00, filing date: May 4, 2006), US patent application 11 / 381,727 (Inventor: Shadon Mao, title of invention: “Electronics by far-field microphone on console” Device noise removal ”, agent case number: SCEA05073US00, filing date: May 4, 2006), US patent application 11 / 381,724 (inventor: Shadon Mao, title of invention:“ target speech detection and character ” Method and apparatus for tectarization ", agent case number: SCEA05079US00, filing date: May 4, 2006, US patent application 11 / 381,721 (inventor: Shadon Mao, title of invention:" computer interaction All rights are hereby incorporated by reference: “Selective sound source listening in conjunction with processing”, agent case number: SCEA04005JUMBOUS, filing date: May 4, 2006).

本出願は、さらに、米国特許出願11/382,031(発明者:ゲイリー・ザレウスキーら、発明の名称:「多入力ゲーム制御ミクサ」、代理人事件番号:SCEA06MXR1、2006年5月6日出願)、米国特許出願11/382,032(発明者:ゲイリー・ザレウスキーら、発明の名称:「環境内のユーザ操作を追跡するためのシステム」、代理人事件番号:SCEA06MXR2、2006年5月6日出願)の優先権を主張し、これらはここに参照として組み込まれる。   This application is further related to US patent application 11 / 382,031 (inventor: Gary Zalewski et al., Title of invention: “multi-input game control mixer”, agent case number: SCEA06MXR1, filed May 6, 2006). US patent application 11 / 382,032 (inventor: Gary Zalewski et al., Title of invention: "system for tracking user actions in the environment", agent case number: SCEA06MXR2, filed May 6, 2006. ) And are incorporated herein by reference.

本出願は、さらに、同時係属の米国特許出願11/418,988(発明者:シャドン・マオ、発明の名称:「音声を取得するための聴取領域を調整するための方法及び装置」、代理人事件番号:SCEA−00300、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/418,989(発明者:シャドン・マオ、発明の名称:「視覚画像に基づいて音声信号を取得するための方法及び装置」、代理人事件番号:SCEA−00400、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/429,047(発明者:シャドン・マオ、発明の名称:「信号の位置に基づいて音声信号を取得するための方法及び装置」、代理人事件番号:SCEA−00500、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/429,133(発明者:リチャード・L・マークス、発明の名称:「コンピュータ対話処理に連動した選択的音源聴取」、代理人事件番号:SCEA04005US01−SONYP045、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/429,414(発明者:リチャード・L・マークス、発明の名称:「コンピュータ画像及び音声強度処理及びコンピュータプログラムとのインタフェースのための入力装置」、代理人事件番号:SONYP052、出願日:2006年5月4日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。   This application is further related to co-pending US patent application 11 / 418,988 (inventor: Shadon Mao, title of invention: “Method and apparatus for adjusting listening area for obtaining sound”, agent Case number: SCEA-00300, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application further includes co-pending U.S. patent application 11 / 418,989 (inventor: Shadon Mao, title of invention: "Method and apparatus for acquiring audio signals based on visual images", agent case. No .: SCEA-00400, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending U.S. Patent Application 11 / 429,047 (inventor: Shadon Mao, title of invention: “Method and Apparatus for Acquiring Audio Signal Based on Signal Position”, Attorney (Case Number: SCEA-50050, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 429,133 (inventor: Richard L. Marks, title: “selective sound source listening in conjunction with computer interaction processing”, agent case number: SCEA04005US01. -SONYP045, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending U.S. Patent Application 11 / 429,414 (inventor: Richard L. Marks, title of invention: "input device for computer image and sound intensity processing and interface with computer program") , Agent case number: SONYP052, filing date: May 4, 2006), the entire disclosure of which is incorporated herein by reference.

本出願は、さらに、同時係属の米国特許出願11/382,033(発明の名称:「3次元入力制御システム、方法及び装置」、代理人事件番号:SCEA06INRT1、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,035(発明の名称:「慣性的に追跡可能なハンドヘルドコンピュータ」、代理人事件番号:SCEA06INRT2、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,036(発明の名称:「視覚追跡にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058A、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,041(発明の名称:「慣性追跡にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058B、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,038(発明の名称:「音響追跡にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058C、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,040(発明の名称:「多チャンネル混合入力にギアリング効果を適用するための方法及び装置」、代理人事件番号:SONYP058D、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,034(発明の名称:「ゲームコントローラ本体のユーザ操作を検知及び追跡するための機構」、代理人事件番号:SCEA05082US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,037(発明の名称:「ハンドヘルドコンピュータの動きをシステムへの入力に変換するための機構」、代理人事件番号:86324、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,043(発明の名称:「検知可能で追跡可能なハンドヘルドコンピュータ」、代理人事件番号:86325、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願11/382,039(発明の名称:「ハンドヘルドコンピュータの動きをゲームコマンドにマッピングするための方法」、代理人事件番号:86326、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願29/259,349(発明の名称:「赤外線ポート付きのコントローラ(商標)」、代理人事件番号:SCEA06007US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願29/259,350(発明の名称:「追跡センサ付きのコントローラ(商標)」、代理人事件番号:SCEA06008US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願60/798,031(発明の名称:「動的対象インタフェース」、代理人事件番号:SCEA06009US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。本出願は、さらに、同時係属の米国特許出願29/259,348(発明の名称:「追跡されるコントローラ装置(商標)」、代理人事件番号:SCEA06010US00、出願日:2006年5月6日)の優先権を主張し、その全ての開示はここに参照として組み込まれる。   This application is further related to co-pending US patent application 11 / 382,033 (invention name: “3D input control system, method and apparatus”, agent case number: SCEA06INRT1, filing date: May 6, 2006). ), The entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 382,035 (Title of Invention: “Inertically Traceable Handheld Computer”, Agent Case Number: SCEA06INRT2, Filing Date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 11 / 382,036 (Title of Invention: “Method and Apparatus for Applying Gearing Effect to Visual Tracking”, Agent Case Number: SONYP058A, Filing Date: 2006 The disclosure of which is hereby incorporated by reference. This application is further related to co-pending US patent application 11 / 382,041 (Title of Invention: “Method and Apparatus for Applying Gearing Effect to Inertia Tracking”, Attorney Case Number: SONYP058B, Filing Date: 2006 The disclosure of which is hereby incorporated by reference. This application is further related to co-pending US patent application 11 / 382,038 (Title of Invention: “Method and Apparatus for Applying Gearing Effect to Acoustic Tracking”, Agent Case Number: SONYP058C, Filing Date: 2006 The disclosure of which is hereby incorporated by reference. This application further includes co-pending US patent application 11 / 382,040 (Title of Invention: “Method and Apparatus for Applying Gearing Effects to Multi-Channel Mixed Inputs”, Attorney Case Number: SONYP058D, Filing Date. : May 6, 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 382,034 (invention name: “mechanism for detecting and tracking user operation of game controller body”, agent case number: SCEA05082US00, filing date: 2006). The disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 11 / 382,037 (Title of Invention: "Mechanism for Converting Handheld Computer Motion into Input to System", Agent Case Number: 86324, Filing Date: (6 May 2006), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending US patent application 11 / 382,043 (Title of Invention: “Detectable and Traceable Handheld Computer”, Agent Case Number: 86325, Filing Date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 11 / 382,039 (Title: “Method for Mapping Handheld Computer Movements to Game Commands”, Agent Case Number: 86326, Filing Date: 2006) May 6), the entire disclosure of which is incorporated herein by reference. This application is further related to co-pending U.S. patent application 29 / 259,349 (invention name: “controller with trademark infrared port”, agent case number: SCEA06007US00, filing date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application is further related to co-pending U.S. Patent Application 29 / 259,350 (Invention name: "Controller with tracking sensor (TM)", agent case number: SCEA06008US00, filing date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference. This application further gives priority to co-pending US patent application 60 / 798,031 (Title of Invention: “Dynamic Object Interface”, Agent Case Number: SCEA06009US00, Filing Date: May 6, 2006). All the disclosures of which are hereby incorporated by reference. This application is further related to co-pending US patent application 29 / 259,348 (Title of Invention: "Tracked Controller Device (TM)", Agent Case Number: SCEA06010US00, Filing Date: May 6, 2006) The entire disclosure of which is hereby incorporated by reference.

・関連出願への相互参照
本出願は、米国特許出願10/207,677(発明の名称:「変形可能な装置を用いたマン・マシン・インタフェース」、出願日:2002年7月27日)、米国特許出願10/650,409(発明の名称:「音声入力システム」、出願日:2003年8月27日)、米国特許出願10/663,236(発明の名称:「追跡された頭の動きにしたがって表示されたシーンの視界を調整するための方法及び装置」、出願日:2003年9月15日)、米国特許出願10/759,782(発明の名称:「光入力装置のための方法及び装置」、出願日:2004年1月16日)、米国特許出願10/820,469(発明の名称:「音声妨害を検知及び除去するための方法及び装置」、出願日:2004年4月7日)、米国特許出願11/301,673(発明の名称:「頭及び手の相対位置を用いてカメラ追跡を介したポインティングインタフェースを実現するための方法」、出願日:2005年12月12日)、米国特許出願60/718,145(発明の名称:「音声、映像、シミュレーション、及びユーザインタフェースの実例」、出願日:2005年9月15日)に関連し、それらの全ての開示はここに参照として組み込まれる。
-Cross-reference to related applications This application is based on U.S. Patent Application 10 / 207,677 (Title of Invention: "Man Machine Interface Using Deformable Device", Filing Date: July 27, 2002), US Patent Application 10 / 650,409 (Title of Invention: “Voice Input System”, Filing Date: August 27, 2003), US Patent Application 10 / 663,236 (Title of Invention: “Tracked Head Movements” Method and apparatus for adjusting the field of view of a displayed scene according to US patent application Ser. No. 10 / 759,782 (Title of Invention: “Method for optical input device” And device ", filing date: January 16, 2004), U.S. patent application 10 / 820,469 (invention name:" method and device for detecting and eliminating sound disturbance ", filing date: April 2004) 7th ), U.S. Patent Application No. 11 / 301,673 (Title of Invention: “Method for Realizing Pointing Interface via Camera Tracking Using Relative Position of Head and Hand”, Filing Date: December 12, 2005) , U.S. Patent Application 60 / 718,145 (Title of Invention: “Examples of Audio, Video, Simulation, and User Interface”, filing date: September 15, 2005), the entire disclosure of which is here Incorporated as a reference.

・特定の実施の形態の説明
下記の詳細な説明は、例示を目的として多くの特定の詳細を含むが、下記の詳細に対する多くの変形及び置換が本発明の範囲に入ることは、当業者に認識されるところである。したがって、下記に説明する本発明の実施の形態は、請求された発明の一般性を失わせることなく、また限定を付加することもなく説明される。
DESCRIPTION OF SPECIFIC EMBODIMENTS The following detailed description includes a number of specific details for purposes of illustration, but it will be apparent to those skilled in the art that many variations and permutations to the details below are within the scope of the invention. It is being recognized. Accordingly, the embodiments of the invention described below are described without losing the generality of the claimed invention and without adding limitations.

ここで説明される方法、装置、機構及びシステムの種々の実施の形態は、コントローラ全体のユーザによる移動、動作、及び/又は操作の検出、取得、及び追跡を提供する。検出されたコントローラ全体のユーザによる移動、動作、及び/又は操作は、プレーされているゲーム又は他のシミュレーションの種々の態様を制御するための更なるコマンドとして用いられてもよい。   Various embodiments of the methods, apparatus, mechanisms and systems described herein provide for detection, acquisition, and tracking of movement, movement, and / or operation by a user of the entire controller. The detected movement, movement, and / or manipulation of the entire controller by the user may be used as further commands to control various aspects of the game being played or other simulations.

ゲームコントローラ本体のユーザによる操作の検出及び追跡は、様々な方法で実現されうる。例えば、加速度計又はジャイロスコープなどの慣性センサや、ディジタルカメラなどの画像キャプチャなどが、ハンドヘルドコントローラ本体の動きを検出し、それらをゲームにおけるアクションに転換するために、コンピュータエンタテインメントシステムとともに利用可能である。慣性センサによりコントローラを追跡する例は、例えば、米国特許出願11/382,033(発明の名称:「3次元入力制御システム、方法、及び装置」、代理人事件番号:SCEA06INRT1)に記述されており、ここに参照として組み込まれる。画像キャプチャを用いてコントローラを追跡する例は、例えば、米国特許出願11/382,034(発明の名称:「ゲームコントローラ本体のユーザ操作を検出し追跡するための機構」、代理人事件番号:SCEA05082US00)に記述されており、ここに参照として組み込まれる。更に、コントローラ及び/又はユーザは、マイクロフォン配列と適切な信号処理を用いて音響的に追跡されてもよい。このような音響追跡の例は、例えば、米国特許出願11/381,721に記述されており、ここに参照として組み込まれる。   The detection and tracking of the operation by the user of the game controller main body can be realized by various methods. For example, inertial sensors such as accelerometers or gyroscopes, image captures such as digital cameras, etc. can be used with computer entertainment systems to detect movements of the handheld controller body and convert them into actions in the game . An example of tracking a controller with an inertial sensor is described, for example, in US patent application 11 / 382,033 (Title of Invention: “3D Input Control System, Method and Apparatus”, Agent Case Number: SCEA06INRT1). , Incorporated herein by reference. An example of tracking a controller using image capture is, for example, US Patent Application 11 / 382,034 (Title: “Mechanism for Detecting and Tracking User Operation of Game Controller Body”, Agent Case Number: SCEA05082US00) ) And incorporated herein by reference. Further, the controller and / or user may be tracked acoustically using a microphone array and appropriate signal processing. Examples of such acoustic tracking are described, for example, in US patent application Ser. No. 11 / 381,721, incorporated herein by reference.

音響センサ、慣性センサ、及び画像キャプチャは、コントローラの多数の異なる型の動き、例えば、上下移動、ひねり、左右移動、引っ張り、棒を振るような動作、突き出しなどを検出するために、個別に用いられてもよいし、任意の組み合わせで用いられてもよい。これらの動きは、ゲームにおけるアクションに転換するために、種々のコマンドに対応づけられてもよい。ユーザによるゲームコントローラの操作の検出及び追跡は、例えば、剣やライトサーベルにより交戦したり、アイテムの形をなぞるために棒を用いたり、種々のスポーツ大会において戦ったり、オンスクリーン戦やその他の遭遇戦において戦ったりすることなどをユーザに可能とするための様々なタイプのゲーム、シミュレーションなどを実現するために利用可能である。ゲームプログラムは、コントローラの動きを追跡し、追跡された動きから予め登録された特定のジェスチャーを認識するように構成されてもよい。1以上のこれらのジェスチャーの認識をトリガーとしてゲーム状態を変化させることができる。   Acoustic sensors, inertial sensors, and image capture are used separately to detect many different types of controller movements, such as up / down, twist, left / right movement, pulling, swinging bars, sticking out, etc. Or may be used in any combination. These movements may be associated with various commands in order to translate into actions in the game. The detection and tracking of game controller operations by the user can, for example, engage with swords and light sabers, use sticks to trace the shape of items, fight in various sports competitions, on-screen battles and other encounters The present invention can be used to realize various types of games, simulations, and the like that enable the user to fight in battles. The game program may be configured to track the movement of the controller and recognize a pre-registered specific gesture from the tracked movement. The game state can be changed with the recognition of one or more of these gestures as a trigger.

本発明の実施の形態において、これらの異なる情報源から得られたコントローラのパス情報は、ジェスチャー認識のための分析の前に混合させてもよい。異なる情報源(例えば、音響、慣性、及び画像キャプチャ)からの追跡データは、ジェスチャーの認識の見込みを向上させる方法で混合されてもよい。   In an embodiment of the present invention, controller path information obtained from these different sources may be mixed prior to analysis for gesture recognition. Tracking data from different sources (eg, sound, inertia, and image capture) may be mixed in a way that improves the likelihood of gesture recognition.

図1には、本発明の実施の形態にしたがって動作するシステム100が示される。図示されたように、コンピュータエンタテインメントコンソール102は、ビデオゲーム又はその他のシミュレーションの画像を表示するためのテレビジョン又はその他の映像表示装置104に接続されてもよい。ゲーム又はその他のシミュレーションは、コンソール102に挿入されたDVD、CD、フラッシュメモリ、USBメモリ、又はその他の記憶媒体106に格納されてもよい。ユーザ又はプレイヤー108は、ビデオゲーム又はその他のシミュレーションを制御するためにゲームコントローラ110を操作する。図2において、ゲームコントローラ110は、ゲームコントローラ110の位置、動き、方向、又は方向の変化に応じて信号を生成する慣性センサ112を含む。ゲームコントローラ110は、慣性センサに加えて、従来の制御入力デバイス、例えば、ジョイスティック111、ボタン113、R1、L1などを含んでもよい。   FIG. 1 illustrates a system 100 that operates in accordance with an embodiment of the present invention. As shown, the computer entertainment console 102 may be connected to a television or other video display device 104 for displaying images of a video game or other simulation. The game or other simulation may be stored on a DVD, CD, flash memory, USB memory, or other storage medium 106 inserted into the console 102. A user or player 108 operates a game controller 110 to control a video game or other simulation. In FIG. 2, the game controller 110 includes an inertial sensor 112 that generates a signal in response to the position, movement, direction, or change in direction of the game controller 110. In addition to the inertial sensor, the game controller 110 may include a conventional control input device such as a joystick 111, buttons 113, R1, and L1.

動作中、ユーザ108はコントローラ110を物理的に移動させる。例えば、ユーザ108は、コントローラ110を任意の方向、例えば、上下左右に移動させたり、ひねったり、回転させたり、振ったり、引いたり、突いたりしてもよい。以下に説明する方法により慣性センサ112からの信号の分析を通じて追跡するために、コントローラ110のこれらの動き自体をカメラ114により検出し取得してもよい。再び図1を参照して、システム100は、カメラ又はその他の映像取得装置114を選択的に含んでもよい。カメラは、コントローラ110がその視野116の範囲内になる位置に設けられてもよい。映像取得装置114からの画像の分析は、慣性センサ112からのデータの分析に関連して用いられてもよい。図2に示すように、コントローラ110には、映像分析による追跡を容易にするために、LED202、204、206、208などの光源が選択的に設けられてもよい。これらは、コントローラ110の本体に搭載されてもよい。ここでは、「本体」という語は、手に把持する(又は、着用可能なゲームコントローラであれば着用する)ゲームコントローラ110の一部を意味する。   In operation, the user 108 physically moves the controller 110. For example, the user 108 may move the controller 110 in any direction, for example, up, down, left, and right, twist, rotate, shake, pull, or poke. These movements of the controller 110 themselves may be detected and acquired by the camera 114 for tracking through analysis of signals from the inertial sensor 112 in the manner described below. Referring again to FIG. 1, the system 100 may optionally include a camera or other video acquisition device 114. The camera may be provided at a position where the controller 110 is within the field of view 116 thereof. Analysis of the image from the video acquisition device 114 may be used in connection with analysis of data from the inertial sensor 112. As shown in FIG. 2, the controller 110 may be selectively provided with light sources such as LEDs 202, 204, 206, 208 to facilitate tracking through video analysis. These may be mounted on the main body of the controller 110. Here, the term “main body” means a part of the game controller 110 that is held by a hand (or worn if it is a wearable game controller).

コントローラ110を追跡することを目的とした、そのような映像の分析は、例えば、米国特許出願11/382,034(発明の名称:「ユーザによるゲームコントローラ本体の操作を検出し追跡するための機構」、代理人事件番号:SCEA05082US00)に記述されており、ここに参照として組み込まれる。コンソール102は、マイクロフォン配列118などの音響トランスデューサを含んでもよい。コントローラ110は、マイクロフォン配列118によるコントローラ110の音響的追跡や音響信号処理を容易にするための音源を提供するために、音響信号生成部210(例えば、スピーカ)を含んでもよい。その技術は、例えば、米国特許出願11/381,724に記述されており、ここに参照として組み込まれる。   Such video analysis aimed at tracking the controller 110 is described, for example, in US patent application Ser. ", Agent case number: SCEA05082US00), incorporated herein by reference. Console 102 may include an acoustic transducer, such as microphone array 118. The controller 110 may include an acoustic signal generator 210 (eg, a speaker) to provide a sound source for facilitating acoustic tracking and acoustic signal processing of the controller 110 by the microphone array 118. That technique is described, for example, in US patent application Ser. No. 11 / 381,724, incorporated herein by reference.

一般に、慣性センサからの信号は、コントローラ110の位置及び方向データを生成するために用いられる。これらのデータは、コントローラ110の移動の多数の物理的態様、例えば、任意の軸に沿った加速度及び速度、傾き、勾配、ヨー、回転など、コントローラ110の任意のテレメトリデータを算出するために用いられてもよい。ここでは、テレメトリとは、概ね、遠隔測定と、対象となる情報のシステム又はシステム設計者又はオペレータへの報告とのことをいう。   In general, signals from inertial sensors are used to generate position and orientation data for controller 110. These data are used to calculate a number of physical aspects of the movement of the controller 110, eg, any telemetry data of the controller 110 such as acceleration and velocity along any axis, tilt, gradient, yaw, rotation, etc. May be. Here, telemetry generally refers to telemetry and reporting of the information of interest to a system or system designer or operator.

コントローラ110の動きを検出し追跡することにより、予め定義されたコントローラ110の動きが行われたか否かを判定することができる。すなわち、コントローラ110の特定の動きのパターン又はジェスチャーを予め定義しておき、ゲーム又はその他のシミュレーションの入力コマンドとして用いることができる。例えば、コントローラ110を下に突き出すジェスチャーをあるコマンドとして定義し、コントローラ110をひねるジェスチャーを別のコマンドとして定義し、コントローラ110を振るジェスチャーを更に別のコマンドとして定義することができる。このように、ユーザ108がコントローラ110を物理的に動かす方法を、ゲームを制御するための入力として用いることにより、ユーザにより刺激的で娯楽性の高い経験を提供することができる。   By detecting and tracking the movement of the controller 110, it can be determined whether a predefined movement of the controller 110 has been performed. That is, a specific movement pattern or gesture of the controller 110 can be defined in advance and used as an input command for a game or other simulation. For example, a gesture that pushes down the controller 110 can be defined as one command, a gesture that twists the controller 110 can be defined as another command, and a gesture that shakes the controller 110 can be defined as another command. In this way, using the method in which the user 108 physically moves the controller 110 as an input to control the game can provide a more exciting and entertaining experience for the user.

慣性センサ112は、例えば加速度計でもよいが、それに限定されない。図3は、例えば、スプリング306、308、310、312により、4点でフレーム304に弾性的に結合された単純な質量302の形式の加速度計300の例を示す。ピッチ軸及びロール軸(それぞれX及びYで示される)は、フレームに交差する平面上にある。ヨー軸Zは、ピッチ軸X及びロール軸Yを含む平面に垂直な方向である。フレーム304は、任意の適当な方式でコントローラ110に搭載されてもよい。フレーム304(及びジョイスティックコントローラ110)が加速され及び/又は回転されると、質量302は、フレーム304から相対的に変位し、スプリング306、308、310、312は、並進及び/又は回転の加速度の値及び方向及び/又はピッチ及び/又はロール及び/又はヨーの角度に依存して伸縮する。質量302の変位量及び/又はスプリング306、308、310、312の伸縮量は、例えば、適切なセンサ314、316、318、320により検知され、既知又は確定可能な方法で、ピッチ及び/又はロールの加速度に依存する信号に変換される。   The inertial sensor 112 may be an accelerometer, for example, but is not limited thereto. FIG. 3 shows an example of an accelerometer 300 in the form of a simple mass 302 that is elastically coupled to the frame 304 at four points, for example by springs 306, 308, 310, 312. The pitch axis and roll axis (indicated by X and Y, respectively) lie on a plane that intersects the frame. The yaw axis Z is a direction perpendicular to a plane including the pitch axis X and the roll axis Y. The frame 304 may be mounted on the controller 110 in any suitable manner. As frame 304 (and joystick controller 110) is accelerated and / or rotated, mass 302 is displaced relative to frame 304 and springs 306, 308, 310, 312 are subject to translational and / or rotational acceleration. Stretch depending on value and direction and / or pitch and / or roll and / or yaw angle. The amount of displacement of the mass 302 and / or the amount of expansion or contraction of the springs 306, 308, 310, 312 can be sensed by suitable sensors 314, 316, 318, 320, for example, and pitch and / or roll in a known or determinable manner. It is converted into a signal that depends on the acceleration.

質量の位置及び/又はそれに与えられる力を追跡する異なる方法が多く存在する。それらの方法は、抵抗歪みゲージ物質、光学センサ、磁気センサ、ホール効果デバイス、圧電デバイス、容量センサなどを含む。本発明の実施の形態は、任意の数及び形式のセンサを含んでもよいし、複数の形式のセンサの組み合わせを含んでもよい。センサ314、316、318、320は、質量302の上に配置されたギャップ電極であってもよい。質量とそれぞれの電極との間の容量は、質量の位置がそれぞれの電極に対して相対的に変化するにつれて変化する。それぞれの電極は、電極に対する質量302の容量(及び近接性)に関連する信号を生成する回路に接続されてもよい。さらに、スプリング306、308、310、312は、スプリングの伸縮に関連した信号を生成する抵抗歪みゲージセンサを含んでもよい。   There are many different ways to track the position of the mass and / or the force applied to it. These methods include resistive strain gauge materials, optical sensors, magnetic sensors, Hall effect devices, piezoelectric devices, capacitive sensors, and the like. Embodiments of the present invention may include any number and type of sensors, and may include combinations of multiple types of sensors. Sensors 314, 316, 318, 320 may be gap electrodes disposed on mass 302. The capacitance between the mass and each electrode changes as the mass position changes relative to each electrode. Each electrode may be connected to a circuit that generates a signal related to the capacitance (and proximity) of the mass 302 to the electrode. Further, the springs 306, 308, 310, 312 may include resistive strain gauge sensors that generate signals related to spring expansion and contraction.

ある実施の形態において、フレーム304は、加速度計300がピッチ及び/又はロール及び/又はヨー軸に関して固定的な方向を維持するためにコントローラ110に搭載されたジンバルであってもよい。これによれば、現実世界の座標軸に対するコントローラの軸の傾きを考慮する必要なく、コントローラのX、Y、Z軸を、直接現実世界の対応する軸にマップすることができる。   In some embodiments, the frame 304 may be a gimbal that is mounted on the controller 110 in order for the accelerometer 300 to maintain a fixed orientation with respect to the pitch and / or roll and / or yaw axes. According to this, it is possible to map the X, Y, and Z axes of the controller directly to the corresponding axes in the real world without considering the inclination of the controller axis with respect to the coordinate axes in the real world.

上述のように、慣性取得部、画像取得部、及び音源からのデータは、コントローラ110の位置及び/又は方向を追跡するパスを生成するために分析されてもよい。図4のブロック図に示されるように、本発明の実施の形態に係るシステム400は、慣性分析部402、画像分析部404、及び音響分析部406を含んでもよい。これらの分析部は、それぞれ、検知対象環境401から信号を受け取る。分析部402、404、406は、ハードウェア、ソフトウェア(ファームウェア)、又はそれらの2以上の組み合わせにより実現されてもよい。分析部は、それぞれ、対象となるオブジェクトの位置及び/又は方向に関連した追跡情報を生成する。例示のために、対象となるオブジェクトは、上述したコントローラ110であってもよい。画像分析部404は、米国特許出願11/382,034(代理人事件番号:SCEA05082US00)に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。慣性分析部402は、米国特許出願11/382,033(発明の名称:「3次元入力制御システム、方法、及び装置」、代理人事件番号:SCEI06INRT1)に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。音響分析部406は、米国特許出願11/381,724に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。   As described above, data from the inertial acquisition unit, the image acquisition unit, and the sound source may be analyzed to generate a path that tracks the position and / or orientation of the controller 110. As shown in the block diagram of FIG. 4, the system 400 according to the embodiment of the present invention may include an inertia analysis unit 402, an image analysis unit 404, and an acoustic analysis unit 406. Each of these analysis units receives a signal from the detection target environment 401. The analysis units 402, 404, and 406 may be realized by hardware, software (firmware), or a combination of two or more thereof. Each of the analysis units generates tracking information related to the position and / or direction of the target object. For illustration, the target object may be the controller 110 described above. The image analyzer 404 operates in connection with and with respect to the method described in US patent application 11 / 382,034 (Attorney Case Number: SCEA05082US00) and under the method. May be. Inertial analysis unit 402 is related to the method described in US patent application 11 / 382,033 (invention name: “three-dimensional input control system, method and apparatus”, agent case number: SCEI06INRT1), and It may operate to and with respect to forming regions under the method. The acoustic analyzer 406 may operate in connection with and with respect to the method described in US patent application Ser. No. 11 / 381,724.

分析部402、404及び406は、位置及び/又は方向の情報の入力の異なるチャンネルに関連づけられるとみなされてもよい。混合部408は、複数の入力チャンネルを受け付けてもよく、それらのチャンネルは、主としてチャンネルの観点から検知対象環境401を特徴づけるサンプルデータを含んでもよい。慣性分析部402、画像分析部404、及び音響分析部406により生成された位置及び/又は方向の情報は、結合されて混合部408に入力されてもよい。混合部408及び分析部402、404、406は、ゲームソフトウェアプログラム410により問い合わせを受けてもよいし、イベントに応じてゲームソフトウェアに割り込みをかけるように構成されてもよい。イベントは、ジェスチャー認識イベント、ギアの変更、設定の変更、ノイズレベルの設定、サンプリングレートの設定、マッピングチェーンの変更などを含んでもよい。それらの例については以下で説明する。混合部408は、以下に記載された方法に関連して、及びその方法の下に領域を形成するために、及びその方法に関して動作してもよい。   The analyzers 402, 404 and 406 may be considered to be associated with different channels of input of position and / or orientation information. The mixing unit 408 may accept a plurality of input channels, and these channels may include sample data that characterizes the detection target environment 401 mainly from the viewpoint of the channel. The position and / or direction information generated by the inertial analysis unit 402, the image analysis unit 404, and the acoustic analysis unit 406 may be combined and input to the mixing unit 408. The mixing unit 408 and the analysis units 402, 404, and 406 may receive an inquiry from the game software program 410, or may be configured to interrupt the game software in response to an event. Events may include gesture recognition events, gear changes, setting changes, noise level settings, sampling rate settings, mapping chain changes, and the like. Examples of these are described below. The mixing portion 408 may operate in connection with and with respect to the method described below and for forming regions under the method.

上述したように、異なる入力チャンネル、例えば、慣性センサ、映像及び/又は音響センサからの信号は、発明の方法に係るビデオゲームのプレー中に、コントローラ110の動き及び/又は方向を判定するために、慣性分析部402、画像分析部404、及び音響分析部406によりそれぞれ分析されてもよい。このような方法は、プロセッサにより読み取り可能な媒体に格納され、ディジタルプロセッサ上で実行されるプログラムコード命令を実行可能な一連のプロセッサとして実現されてもよい。例えば、図5Aに示すように、ビデオゲームシステム100は、ハードウェア又はソフトウェアのいずれかにより実現された慣性分析部402、画像分析部404、及び音響分析部406を含むコンソール102を含んでもよい。例えば、分析部402、404、406は、適当なプロセッサユニット502上で実行されるソフトウェア命令として実現されてもよい。例えば、プロセッサユニット502は、ビデオゲームコンソールに一般的に用いられる型のマイクロプロセッサなどのディジタルプロセッサであってもよい。命令の一部はメモリ506に格納されてもよい。別の例では、慣性分析部402、画像分析部404、及び音響分析部406は、ASICなどのハードウェアにより実現されてもよい。このような分析部のハードウェアは、コントローラ110又はコンソール102に配置されてもよいし、他の場所に隔てて配置されてもよい。ハードウェアによる実装において、分析部402、404、406は、プロセッサ502や、USBケーブル、無線、又はネットワークにより接続された他の遠隔配置された信号源などからの外部信号に応じてプログラム可能であってもよい。   As mentioned above, signals from different input channels, eg inertial sensors, video and / or acoustic sensors, are used to determine the movement and / or direction of the controller 110 during video game play according to the inventive method. , The inertial analysis unit 402, the image analysis unit 404, and the acoustic analysis unit 406 may be analyzed. Such a method may be implemented as a series of processors capable of executing program code instructions stored in a processor readable medium and executed on a digital processor. For example, as shown in FIG. 5A, the video game system 100 may include a console 102 that includes an inertial analysis unit 402, an image analysis unit 404, and an acoustic analysis unit 406, which are implemented by either hardware or software. For example, the analysis units 402, 404, and 406 may be realized as software instructions executed on an appropriate processor unit 502. For example, the processor unit 502 may be a digital processor such as a microprocessor of the type commonly used in video game consoles. Some of the instructions may be stored in the memory 506. In another example, the inertial analysis unit 402, the image analysis unit 404, and the acoustic analysis unit 406 may be realized by hardware such as an ASIC. The hardware of such an analysis unit may be arranged in the controller 110 or the console 102, or may be arranged apart from other places. In a hardware implementation, the analyzers 402, 404, 406 can be programmed in response to external signals from the processor 502, other remotely located signal sources connected via USB cable, wireless, or network. May be.

慣性分析部402は、慣性センサ112により生成された信号を分析し、コントローラ110の位置及び/又は方向に関する情報を利用する命令を包含又は実行してもよい。同様に、画像分析部404は、画像取得ユニット114により取得された画像を分析する命令を実行してもよい。更に、音響分析部は、マイクロフォン配列118により取得された画像を分析する命令を実行してもよい。図5Bのフロー図510に示すように、これらの信号及び/又は画像は、ブロック512に示されるように、分析部402、404、406により受け取られてもよい。ブロック514に示されるように、信号及び/又は画像は、コントローラ110の位置及び/又は方向に関する慣性追跡情報403、画像追跡情報405、及び音響追跡情報407を決定するために、分析部402、404、406により分析されてもよい。追跡情報403、405、407は、1以上の自由度に関連づけられてもよい。コントローラ110又はその他の追跡対象の操作の特性を表すために、6つの自由度が追跡されることが好ましい。自由度は、コントローラの傾き、ヨー、ロール、及び、X、Y、及びZ軸に沿った位置、速度、又は加速度に関連づけられてもよい。   Inertial analyzer 402 may include or execute instructions that analyze the signal generated by inertial sensor 112 and utilize information regarding the position and / or orientation of controller 110. Similarly, the image analysis unit 404 may execute a command for analyzing the image acquired by the image acquisition unit 114. Further, the acoustic analysis unit may execute a command for analyzing the image acquired by the microphone array 118. These signals and / or images may be received by the analyzers 402, 404, 406, as shown in block 512, as shown in the flow diagram 510 of FIG. 5B. As shown in block 514, the signals and / or images are analyzed 402, 404 to determine inertial tracking information 403, image tracking information 405, and acoustic tracking information 407 regarding the position and / or orientation of the controller 110. , 406. The tracking information 403, 405, 407 may be associated with one or more degrees of freedom. Six degrees of freedom are preferably tracked to represent the characteristics of the controller 110 or other tracked operation. The degrees of freedom may be related to controller tilt, yaw, roll, and position, velocity, or acceleration along the X, Y, and Z axes.

ブロック516に示されるように、混合部408は、慣性情報403、画像情報405、及び音響情報407を混合して、詳細な位置及び/又は方向の情報409を生成する。例えば、混合部408は、慣性、画像、及び音響追跡情報403、405、407に対して、ゲーム又は環境の条件に基づいて異なる重みを適用し、重み付き平均をとってもよい。更に、混合部408は、結合された位置/方向情報を分析し、他の分析部により生成された情報の組み合わせを含む独自の「混合」情報を結果として生成する混合分析部412を含んでもよい。   As shown in block 516, the mixing unit 408 mixes the inertia information 403, the image information 405, and the acoustic information 407 to generate detailed position and / or direction information 409. For example, the mixing unit 408 may apply different weights to the inertia, image, and acoustic tracking information 403, 405, and 407 based on the game or environmental conditions, and take a weighted average. Further, the mixing unit 408 may include a mixing analysis unit 412 that analyzes the combined position / orientation information and results in unique “mixing” information that includes combinations of information generated by other analysis units. .

本発明の実施の形態において、混合部408は、分析部402、404、406からの追跡情報403、405、407に対して、分配値を割り当ててもよい。上述したように、入力制御データの特定の組が平均化されてもよいが、本実施の形態においては、入力制御データを平均化する前に重みを付けることにより、ある分析部からの入力制御データを他からの入力制御データよりも分析において重視する。   In the embodiment of the present invention, the mixing unit 408 may assign distribution values to the tracking information 403, 405, and 407 from the analysis units 402, 404, and 406. As described above, a specific set of input control data may be averaged. However, in this embodiment, input control from a certain analysis unit is performed by weighting before the input control data is averaged. Data is more important in analysis than other input control data.

混合部408は、本システムとの関連で多くの機能を担ってもよい。それらの機能は、観察、補正、安定化、微分、連結、ルーティング、混合、報告、バッファリング、他のプロセスへの割り込み、及び分析を含む。これらは、1以上の分析部402、404、406から受け取った追跡情報403、405、407に関して実行されてもよい。分析部402、404、406のそれぞれは、特定の追跡情報を受け取って演繹してもよいが、混合部408は、受け取った追跡情報403、406、407の利用を最適化して詳細な追跡情報409を生成するために実現されてもよい。   The mixing unit 408 may assume many functions in connection with the present system. These functions include observation, correction, stabilization, differentiation, concatenation, routing, mixing, reporting, buffering, interrupting other processes, and analysis. These may be performed with respect to tracking information 403, 405, 407 received from one or more analysis units 402, 404, 406. Each of the analysis units 402, 404, and 406 may receive and deduct specific tracking information, but the mixing unit 408 optimizes the use of the received tracking information 403, 406, and 407 to obtain detailed tracking information 409. May be implemented to generate

分析部402、404、406、及び混合部408は、同様の出力形式の追跡情報を提供するように構成されることが好ましい。任意の分析部の要素402、404、406からの追跡情報パラメータは、分析部において単一のパラメータにマップされてもよい。または、混合部408は、1以上の分析部402、404、406からの1以上の追跡情報パラメータを処理することにより、分析部402、404、406のいずれかのための追跡情報を生成してもよい。混合部は、分析部402、404、406から取得した同一のパラメータ型の2以上の追跡情報の要素を結合してもよいし、分析部により生成された追跡情報の複数のパラメータにわたる機能を実行して、入力の複数のチャンネルから生成された恩恵を有する、合成された出力の組を生成してもよい。   The analysis units 402, 404, 406, and the mixing unit 408 are preferably configured to provide tracking information in a similar output format. Tracking information parameters from any analyzer element 402, 404, 406 may be mapped to a single parameter in the analyzer. Alternatively, the mixing unit 408 generates tracking information for any of the analysis units 402, 404, 406 by processing one or more tracking information parameters from the one or more analysis units 402, 404, 406. Also good. The mixing unit may combine two or more tracking information elements of the same parameter type obtained from the analysis units 402, 404, and 406, or perform a function across multiple parameters of the tracking information generated by the analysis unit. Thus, a combined set of outputs may be generated with benefits generated from multiple channels of inputs.

詳細な追跡情報409は、ブロック518に示すように、ビデオゲームのプレー中にシステム100において利用されてもよい。ある実施の形態において、位置及び/又は方向の情報は、ゲームのプレー中に、ユーザ108により行われたジェスチャーに関連して用いられてもよい。混合部408は、ゲーム環境における少なくとも1つのアクションを、ユーザからの1以上のユーザアクション(例えば、空間におけるコントローラの操作)に関連づけるためのジェスチャー認識部505に関連して動作してもよい。   Detailed tracking information 409 may be utilized in the system 100 during video game play, as shown at block 518. In certain embodiments, position and / or orientation information may be used in connection with gestures made by the user 108 during game play. The mixing unit 408 may operate in conjunction with a gesture recognition unit 505 for associating at least one action in the game environment with one or more user actions from a user (eg, operation of a controller in space).

図5Cのフロー図520に示すように、コントローラ110のパスは、ブロック522に示すように、位置及び/又は方向の情報を用いて追跡されてもよい。限定されない例において、パスは、ある座標系に関するコントローラの重心の位置を示す一連の点を含んでもよい。それぞれの位置の点は、直行座標系におけるX、Y及びZ座標など、1以上の座標により表現されてもよい。パスの形状と、パスに沿ったコントローラの進行状況の双方を監視できるようにするために、時間がパス上のそれぞれの点に関連づけられてもよい。さらに、パス上のそれぞれの点は、コントローラの方向を示すデータ、例えば、コントローラの重心に関する1以上の回転角に関連づけられてもよい。さらに、パス上のそれぞれの点は、コントローラの重心の速度及び加速度や、コントローラの重心に関する角速度及び加速度に関連づけられてもよいし、   As shown in the flow diagram 520 of FIG. 5C, the path of the controller 110 may be tracked using position and / or orientation information, as shown in block 522. In a non-limiting example, the path may include a series of points that indicate the position of the center of gravity of the controller relative to a certain coordinate system. Each position point may be represented by one or more coordinates such as X, Y, and Z coordinates in an orthogonal coordinate system. In order to be able to monitor both the shape of the path and the progress of the controller along the path, time may be associated with each point on the path. Further, each point on the path may be associated with data indicating the direction of the controller, eg, one or more rotation angles with respect to the center of gravity of the controller. Furthermore, each point on the path may be related to the speed and acceleration of the center of gravity of the controller, the angular speed and acceleration with respect to the center of gravity of the controller,

ブロック524に示されるように、追跡されたパスは、プレーされているビデオゲームの状況に関連した、既知及び/又は予め記録されたジェスチャー508に対応する1以上の格納されたパスと比較されてもよい。認識部505は、ユーザを認識し、又は、音響認証されたジェスチャーなどを処理することが可能に構成されてもよい。例えば、ユーザは、ジェスチャーと、ジェスチャーがユーザを特定できることを用いて、認識部505により識別されてもよい。このような特定のジェスチャーは、メモリ506に予め記録されたジェスチャー508に記録され含められてもよい。記録処理において、ジェスチャーの記録中に生成された音をさらに格納してもよい。検知された環境は、多チャンネル分析部にサンプリングされ、処理される。処理部は、ユーザ又はオブジェクトを、声又は音響パターンに基づいて、高い精度及び性能で判定し、認証し、及び/又は識別するために、ジェスチャーモデルを参照してもよい。   As shown in block 524, the tracked path is compared with one or more stored paths corresponding to known and / or pre-recorded gestures 508 associated with the status of the video game being played. Also good. The recognition unit 505 may be configured to be able to recognize a user or process a sound-authenticated gesture or the like. For example, the user may be identified by the recognition unit 505 using a gesture and that the gesture can identify the user. Such a specific gesture may be recorded and included in a gesture 508 pre-recorded in the memory 506. In the recording process, sounds generated during gesture recording may be further stored. The detected environment is sampled and processed by the multi-channel analyzer. The processing unit may refer to the gesture model to determine, authenticate, and / or identify a user or object with high accuracy and performance based on voice or acoustic patterns.

図5Aに示されるように、ジェスチャーを表現するデータ508は、メモリ506に格納されてもよい。ジェスチャーの限定されない例として、例えば、ボールなどの物体を投げる、バット又はゴルフクラブなどの物体を振る、手動ポンプを動かす、ドア又は窓を開く又は閉じる、ステアリングホイール又はその他の乗物制御手段を回転させる、パンチなどの格闘技の動作、砂をまく動作、ワックスがけ、ワックスはがし、家を塗装する、振る、ガタガタ鳴らす、回す、フットボールを投げる、ノブを回す動作、3Dマウス動作、スクロール動作、既知の輪郭の動作、任意の記録可能な動作、タイヤに空気を入れるなどの任意のベクトルに沿った前後動作だが空間中の任意の回転を伴う動作、パスに沿った動作、雑音レベルの範囲内で記録され、追跡され、及び繰り返されることが可能なユーザの操作に基づく任意の正確な停止及び開始時期を持つ動作、キーをつける動作などを含む。これらのジェスチャーのそれぞれは、パスデータから予め記録され、時間に基づいたモデルとして格納されてもよい。パスと格納されたジェスチャーとの比較は、安定状態の仮定から開始してもよく、パスが安定状態から外れれば、消去プロセスにより、格納されたジェスチャーとパスを比較してもよい。ブロック526において合致がなければ、分析部は、ブロック522においてコントローラのパスの追跡を継続してもよい。パス(又はその一部)と格納されたジェスチャーとの間に十分な合致があれば、ゲームの状態は、528に示すように変更されてもよい。ゲームの状態の変更は、割り込み、制御信号の送信、変数の変更などを含むが、これらに限定されない。   As shown in FIG. 5A, data 508 representing a gesture may be stored in memory 506. Non-limiting examples of gestures include, for example, throwing an object such as a ball, shaking an object such as a bat or golf club, moving a manual pump, opening or closing a door or window, rotating a steering wheel or other vehicle control means , Martial arts action such as punching, sanding action, waxing, waxing, painting the house, shaking, rattling, turning, throwing football, turning knob, 3D mouse action, scrolling action, known contour Motion, any recordable motion, back-and-forth motion along any vector, such as inflating the tire, but with any rotation in space, motion along the path, recorded within the noise level Have any exact stop and start times based on user actions that can be tracked and repeated Action, including action to put a key. Each of these gestures may be pre-recorded from the pass data and stored as a time based model. The comparison between the pass and the stored gesture may begin with a stable state assumption, and if the pass goes out of the stable state, the stored gesture may be compared with the pass through an erasure process. If there is no match at block 526, the analyzer may continue to track the controller's path at block 522. If there is a sufficient match between the pass (or part of it) and the stored gesture, the game state may be changed as shown at 528. Changing the game state includes, but is not limited to, interrupting, sending control signals, changing variables, and the like.

これが起こりうる例を示す。コントローラ110がパスの安定状態から外れたと判定すると、分析部402、404、406又は412は、コントローラ110の動作を追跡する。コントローラ110のパスが、格納されたジェスチャーモデル508において定義されたパスを満たしている限り、これらのジェスチャーは「ヒット」する可能性がある。コントローラ110のパスが任意のジェスチャーモデル508から(設定されたノイズ許容範囲で)外れると、そのジェスチャーモデルはヒットリストから消去される。それぞれのジェスチャー参照モデルは、ジェスチャーが記録された時間基準を含む。分析部402、404、406又は412は、適切な時間インデックスにおいて、コントローラのパスデータと格納されたジェスチャー508とを比較する。安定状態条件の発生によりクロックがリセットされる。安定状態から外れたとき(すなわち、動作がノイズ閾値を超えて追跡されたとき)、ヒットリストは全ての可能性のあるジェスチャーモデルが投入される。クロックが開始され、コントローラの動きがヒットリストに比較される。再び、比較が時間の経過にしたがって行われる。ヒットリスト中のいずれかのジェスチャーが、ジェスチャーの最後まで達すると、それがヒットとなる。   Here is an example where this can happen. If the controller 110 determines that the path is out of the stable state, the analysis unit 402, 404, 406 or 412 tracks the operation of the controller 110. As long as the path of the controller 110 satisfies the path defined in the stored gesture model 508, these gestures may “hit”. If the controller 110 path deviates from any gesture model 508 (with a set noise tolerance), that gesture model is removed from the hit list. Each gesture reference model includes a time base in which gestures are recorded. The analysis unit 402, 404, 406, or 412 compares the controller pass data with the stored gesture 508 at the appropriate time index. The clock is reset by the occurrence of a steady state condition. When out of steady state (ie, when an action is tracked beyond the noise threshold), the hit list is populated with all possible gesture models. The clock is started and the controller movement is compared to the hit list. Again, the comparison is made over time. When any gesture in the hit list reaches the end of the gesture, it becomes a hit.

ある実施の形態において、混合部408及び/または個々の分析部402、404、406、412は、特定のイベントが発生したときにゲームプログラムに通知してもよい。そのようなイベントの例は、下記を含む。   In some embodiments, the mixing unit 408 and / or the individual analysis units 402, 404, 406, 412 may notify the game program when a particular event occurs. Examples of such events include:

・ゼロ加速度点到達割り込み(X、Y、及び/又はZ軸)。あるゲーム状況において、分析部は、コントローラの加速度が変曲点に達したときに、ゲームプログラム中のルーチンに通知又は割り込みをかけてもよい。例えば、ユーザ108は、フットボールシミュレーションゲームにおいてクォーターバックを表現したゲームアバターを制御するためにコントローラ110を用いてもよい。分析部は、慣性センサ112からの信号から生成されたパスを介して、フットボールを表現するコントローラを追跡してもよい。コントローラ110の加速度の特定の変化は、フットボールのリリースの合図となってもよい。この点において、分析部は、リリース時のコントローラの位置、及び/又は速度及び/又は方向に基づいてフットボールの軌跡をシミュレートする、物理シミュレーションパッケージなどのプログラム中の別のルーチンのトリガーとなってもよい。 -Zero acceleration point arrival interrupt (X, Y, and / or Z axis). In a certain game situation, the analysis unit may notify or interrupt a routine in the game program when the acceleration of the controller reaches an inflection point. For example, the user 108 may use the controller 110 to control a game avatar that represents a quarterback in a football simulation game. The analysis unit may track the controller representing the football via a path generated from the signal from the inertial sensor 112. A specific change in the acceleration of the controller 110 may signal a football release. In this regard, the analyzer can trigger another routine in a program, such as a physics simulation package, that simulates a football trajectory based on the controller's position at release and / or speed and / or direction. Also good.

・認識された新しいジェスチャーの割り込み。 -Interruption of a recognized new gesture.

さらに、分析部は、1以上の入力により設定されてもよい。そのような入力の例は、下記を含む。   Further, the analysis unit may be set by one or more inputs. Examples of such inputs include:

・ノイズレベルの設定(X、Y又はZ軸)。ノイズレベルは、ゲームにおいてユーザの手が小刻みに震えるのを分析するときに用いられる参照許容範囲であってもよい。 -Noise level setting (X, Y or Z axis). The noise level may be a reference tolerance used when analyzing a user's hand trembling in a game.

・サンプリングレートの設定。ここでは、サンプリングレートとは、分析部が慣性センサから信号をサンプリングする頻度のことをいう。サンプリングレートは、信号をオーバーサンプリングする、又は、平均化するために設定されてもよい。 ・ Sampling rate setting. Here, the sampling rate refers to the frequency with which the analysis unit samples a signal from the inertial sensor. The sampling rate may be set to oversample or average the signal.

・ギアリングの設定。ここでは、ギアリングとは、一般に、コントローラの動きとゲーム内で発生する動きとの比率のことをいう。ビデオゲームの制御におけるこのような「ギアリング」の例は、米国特許出願11/382,040(2006年5月7日出願、代理人事件番号:SONYP058D)に記述されており、ここに参照として組み込まれる。 ・ Gearing setting. Here, gearing generally refers to the ratio between the movement of the controller and the movement that occurs in the game. An example of such “gearing” in video game control is described in US patent application 11 / 382,040 (filed May 7, 2006, agent case number: SONYP058D), which is incorporated herein by reference. Incorporated.

・マッピングチェインの設定。ここでは、マッピングチェインとは、ジェスチャーモデルのマッピングのことをいう。ジェスチャーモデルマッピングは、特定の入力チャンネル(例えば、慣性センサ信号のみから生成されたパスデータ)、又は混合部において生成された混合チャンネルに適合されてもよい。慣性分析部402に類似した2以上の異なる分析部により、3つの入力チャンネルが供給されてもよい。これらは、とくに、ここに記述される慣性分析部402、例えば米国特許出願11/382,034(発明の名称:「ゲームコントローラ本体のユーザ操作を検出し追跡するための機構」、代理人事件番号:SCEA05082US00、ここに参照として組み込まれる)に記述された映像分析部、例えば米国特許出願11/381,721(ここに参照として組み込まれる)に記述された音響分析部を含んでもよい。分析部に、マッピングチェインが組み込まれてもよい。マッピングチェインは、ゲーム中にゲームによりスワップアウトされ、分析部及び混合部のために設定されてもよい。 ・ Mapping chain settings. Here, the mapping chain refers to gesture model mapping. Gesture model mapping may be adapted to a specific input channel (eg, path data generated only from inertial sensor signals), or a mixed channel generated in the mixing section. Three input channels may be provided by two or more different analyzers similar to inertial analyzer 402. These include, among other things, the inertial analysis unit 402 described herein, eg, US patent application Ser. No. 11 / 382,034 (invention name: “mechanism for detecting and tracking user operation of game controller body”, agent case number. : SCEA05082US00, incorporated herein by reference), for example, an audio analyzer described in US patent application 11 / 381,721 (incorporated herein by reference). A mapping chain may be incorporated in the analysis unit. The mapping chain may be swapped out by the game during the game and set for the analysis unit and the mixing unit.

再び図5Bを参照して、ブロック512において、慣性センサ112から信号を生成する方法が数多くあることは、当業者に認識されるところである。いくつかの例はここで説明した。ブロック514を参照して、コントローラ110の位置及び/又は方向に関連した追跡情報を取得するために、ブロック512において生成された検知信号を分析する方法は数多く存在する。例えば、追跡情報は、下記のパラメータを個別に又は任意の組み合わせで含んでもよい。   Referring again to FIG. 5B, those skilled in the art will recognize that there are many ways to generate a signal from the inertial sensor 112 at block 512. Some examples have been described here. Referring to block 514, there are many ways to analyze the detection signal generated in block 512 to obtain tracking information related to the position and / or orientation of the controller 110. For example, the tracking information may include the following parameters individually or in any combination.

・コントローラの方向。コントローラ110の方向は、ある参照方向に関するピッチ、ロール、又はヨー角に関して、例えばラジアンで表現されてもよい。コントローラの方向の変化率(例えば、角速度又は角加速度)は、位置及び/又は方向の情報に含まれてもよい。例えば、慣性センサ112がジャイロスコープのセンサを含む場合、コントローラの方向の情報は、ピッチ、ロール、又はヨー角に比例する1以上の出力値の形式で直接取得されてもよい。 • Controller direction. The direction of the controller 110 may be expressed in radians, for example, with respect to pitch, roll, or yaw angle with respect to a reference direction. The rate of change in the direction of the controller (eg, angular velocity or angular acceleration) may be included in the position and / or direction information. For example, if inertial sensor 112 includes a gyroscope sensor, controller orientation information may be obtained directly in the form of one or more output values proportional to pitch, roll, or yaw angle.

・コントローラの位置(例えば、ある参照フレームにおけるコントローラ110の直交座標X、Y、Z)。 The position of the controller (for example, the orthogonal coordinates X, Y, Z of the controller 110 in a certain reference frame).

・コントローラのX軸速度。 • Controller X-axis speed.

・コントローラのY軸速度。 • Y-axis speed of the controller.

・コントローラのZ軸速度。 ・ Z-axis speed of the controller.

・コントローラのX軸加速度。 • X-axis acceleration of the controller.

・コントローラのY軸加速度。 • Y-axis acceleration of the controller.

・コントローラのZ軸加速度。 • Z-axis acceleration of the controller.

位置、速度及び加速度に関して、位置及び/又は方向の情報は、直交座標系以外の座標系で表現されてもよい。例えば、位置、速度及び加速度のために、円筒座標又は旧座標が用いられてもよい。X、Y及びZ軸に関する加速度情報は、例えばここで記述したような加速度計の形式のセンサから直接取得されてもよい。X、Y及びZ方向の加速度は、X、Y及びZ方向の速度の変化を決定するために、ある初期時からの時間に関して積分されてもよい。これらの速度は、初期時における既知のX、Y及びZ方向の速度に速度の変化分を加えることにより算出されてもよい。X、Y及びZ方向の速度は、コントローラのX、Y及びZ方向の変位を決定するために、時間に関して積分されてもよい。X、Y及びZ方向の位置は、初期時における既知のX、Y及びZ方向の位置に変位を加えることにより決定されてもよい。   Regarding the position, velocity, and acceleration, the position and / or direction information may be expressed in a coordinate system other than the orthogonal coordinate system. For example, cylindrical coordinates or old coordinates may be used for position, velocity and acceleration. The acceleration information about the X, Y and Z axes may be obtained directly from a sensor in the form of an accelerometer as described herein, for example. The acceleration in the X, Y, and Z directions may be integrated over time from some initial time to determine the change in velocity in the X, Y, and Z directions. These speeds may be calculated by adding the change in speed to the known speeds in the X, Y, and Z directions at the initial time. The velocity in the X, Y and Z directions may be integrated over time to determine the displacement of the controller in the X, Y and Z directions. The positions in the X, Y, and Z directions may be determined by adding displacement to the known positions in the X, Y, and Z directions at the initial time.

・安定状態(Y/N)。この特別な情報は、コントローラが安定状態にあるか否かを示す。この情報は、任意の位置に定義されてもよく、変更される可能性もある。好ましい実施の形態において、安定状態の位置は、だいたいユーザの腰と同じ高さにおいて、より高い又は低いレベルの方向にコントローラが保持された状態であってもよい。 -Stable state (Y / N). This special information indicates whether the controller is in a stable state. This information may be defined at any location and is subject to change. In a preferred embodiment, the steady state position may be a state where the controller is held in a higher or lower level direction, approximately at the same height as the user's waist.

最後の安定状態からの時間は、一般に、上記の安定状態が最後に検出されてから経過した時間に関連するデータのことである。この時間の決定は、前述したように、現実の時間において計算されてもよいし、プロセッサの周波数又はサンプリング周期において計算されてもよい。最後の安定状態からの時間のデータは、ゲーム環境におけるキャラクタ又はオブジェクトのマッピングの精度を確保するための初期位置に関するコントローラの追跡のリセットに関して重要である。このデータは、ゲーム環境においてつづいて排他的にも包括的にも実行されるであろう可能なアクション又はジェスチャーを決定することに関しても重要である。   The time from the last stable state is generally data related to the time elapsed since the last stable state was detected. This time determination may be calculated at the actual time, as described above, or at the processor frequency or sampling period. The time data from the last steady state is important for resetting the controller tracking with respect to the initial position to ensure the accuracy of the character or object mapping in the game environment. This data is also important for determining possible actions or gestures that will be subsequently and exclusively executed in the gaming environment.

・最後に認識されたジェスチャーは、一般に、ハードウェア又はソフトウェアにより実現されたジェスチャー認識部505により最後に認識されたジェスチャーのことである。最後に認識されたジェスチャーの識別は、前回のジェスチャーが、続いて認識される可能性のあるジェスチャー又はゲーム環境において実行されるその他のアクションに関連する可能性があるという事実に関して重要である。 The gesture recognized last is generally the gesture recognized last by the gesture recognition unit 505 realized by hardware or software. The identification of the last recognized gesture is important with respect to the fact that the previous gesture may be related to a gesture that may subsequently be recognized or other actions performed in the gaming environment.

・最後にジェスチャーが認識された時間。 ・ The last time the gesture was recognized.

上記の出力は、ゲームプログラム又はソフトウェアにより任意のタイミングでサンプリングされてもよい。   The above output may be sampled at an arbitrary timing by a game program or software.

本発明の実施の形態において、混合部408は、分析部402、404、406からの追跡情報403、405、407に対して、重みをつけてもよい。上述したように、入力制御データの特定の組み合わせが平均化されてもよい。しかし、本実施の形態では、ある分析部からの入力制御データが、他からのデータよりも分析において重視されるように、平均化の前に入力制御データに重みがつけられる。   In the embodiment of the present invention, the mixing unit 408 may weight the tracking information 403, 405, and 407 from the analysis units 402, 404, and 406. As described above, certain combinations of input control data may be averaged. However, in this embodiment, input control data is weighted before averaging so that input control data from one analysis unit is more important in analysis than data from other.

例えば、混合部408は、加速度及び安定状態に関する追跡情報を要求してもよい。混合部408は、上述した追跡情報403、405、407を取得する。追跡情報は、例えば上述したように、加速度及び安定状態に関するパラメータを含んでもよい。この情報が表現するデータを平均化する前に、混合部408は、追跡情報の組403、405、407に重みをつけてもよい。例えば、慣性分析部402からのX及びY方向の加速度パラメータは、90%の重みがつけられてもよいが、画像分析部406からのX及びY方向の加速度データは、10%のみの重みがつけられてもよい。音響分析部の追跡情報407は、加速度パラメータを含んでいるが、0%の重み、すなわち、データの価値を全くなくしてもよい。   For example, the mixing unit 408 may request tracking information regarding acceleration and a stable state. The mixing unit 408 acquires the tracking information 403, 405, and 407 described above. The tracking information may include parameters related to acceleration and a stable state as described above, for example. Prior to averaging the data represented by this information, the mixing unit 408 may weight the tracking information sets 403, 405, and 407. For example, the acceleration parameters in the X and Y directions from the inertial analysis unit 402 may be weighted by 90%, but the acceleration data in the X and Y directions from the image analysis unit 406 has a weight of only 10%. May be attached. The tracking information 407 of the acoustic analysis unit includes an acceleration parameter, but the weight of 0%, that is, the value of data may be completely eliminated.

同様に、慣性分析部402からのZ方向の追跡情報には10%の重みをつけ、画像分析部からのZ方向の追跡情報には90%の重みをつけてもよい。この場合も、音響分析部の追跡情報407には0%の重みがつけられてもよい。しかし、音響分析部406からの安定状態の追跡情報には100%の重みがつけられ、その他の分析部の追跡情報には0%の重みがつけられてもよい。   Similarly, the tracking information in the Z direction from the inertia analysis unit 402 may be weighted by 10%, and the tracking information in the Z direction from the image analysis unit may be weighted by 90%. In this case, the tracking information 407 of the acoustic analysis unit may be given a weight of 0%. However, 100% weight may be given to the tracking information of the stable state from the acoustic analysis unit 406, and 0% weight may be given to the tracking information of the other analysis units.

適切な重みがつけられた後、入力制御データは、続いてジェスチャー認識部505により分析される重み付け平均入力制御データセットを算出し、ゲーム環境における特定のアクションに関連づけられるために、その重みを付けて平均化されてもよい。関連づけられる値は、混合部408又は特定のゲームタイトルにより予め定義されてもよい。値は、後述するように、混合部408が種々の分析部から取得したデータの個々の質を識別して、動的に調整した結果であってもよい。調整は、特定の環境においていつ特定のデータが特定の価値を持つかについての、及び/又は、所定のゲームタイトルの特殊性に応じた、履歴の知識ベースの形成の結果であってもよい。   After appropriate weighting, the input control data calculates a weighted average input control data set that is subsequently analyzed by the gesture recognizer 505 and assigns that weight to be associated with a particular action in the gaming environment. May be averaged. The associated value may be defined in advance by the mixing unit 408 or a specific game title. As will be described later, the value may be a result of the mixing unit 408 identifying each quality of data acquired from various analysis units and dynamically adjusting the data. The adjustment may be a result of the creation of a historical knowledge base as to when specific data has a specific value in a specific environment and / or depending on the particularity of a given game title.

混合部408は、ゲームのプレー中に動的に動作するように構成されてもよい。例えば、混合部408が種々の入力制御データを取得するときに、特定のデータが受付可能な範囲又はデータの質を連続して超えていること、又は、関連する入力デバイスの処理エラーを示唆する不正データを反映していることを識別してもよい。   The mixing unit 408 may be configured to operate dynamically during game play. For example, when the mixing unit 408 obtains various input control data, it indicates that the specific data continuously exceeds the acceptable range or data quality, or indicates a processing error of the related input device. It may be identified that incorrect data is reflected.

さらに、現実世界の環境における特定の条件が変化する可能性がある。例えば、ユーザの自宅のゲーム環境における自然光が、朝から昼になることにより増加すると、画像データ取得部に問題が生じる。さらに、近所又は家族が、日が経過するにつれてうるさくなると、音声データ取得部に問題が生じる。同様に、ユーザが数時間プレーしたとき、ユーザの反射神経が鈍くなると、慣性データの解釈に問題が生じる。   Furthermore, certain conditions in the real world environment may change. For example, if the natural light in the game environment of the user's home increases from morning to noon, a problem occurs in the image data acquisition unit. Furthermore, if the neighborhood or family becomes noisy as the day passes, a problem occurs in the voice data acquisition unit. Similarly, when the user plays for several hours, if the user's reflexes become dull, problems arise in the interpretation of inertial data.

これらの場合、又は、入力制御データの特定の形式の質が問題になる他の任意の場合において、混合部408は、特定のデバイスから取得する特定のデータの組に対して、上述したように特定の入力制御データにより高い又はより低い重要性が与えられるように、重みを動的に割り当ててもよい。同様に、特定のゲームの必要性が、特定の入力制御データの値又は必要性の再割り当てを必要とするように変化した場合に、ゲーム環境がゲームの進行を切り替えてもよい。   In these cases, or in any other case where the quality of the particular format of the input control data is an issue, the mixing unit 408 may be configured as described above for a particular set of data obtained from a particular device. Weights may be assigned dynamically so that certain input control data is given higher or lower importance. Similarly, the game environment may switch the progress of a game when the need for a particular game changes to require reassignment of specific input control data values or needs.

同様に、混合部408は、ジェスチャー認識部505に伝達される特定のデータが、不正確に、遅く、又は、ジェスチャー認識部505により生成された処理エラー又はフィードバックデータに全く基づかずに処理されることを認識してもよい。このフィードバックに対応して、又は、これらの処理の問題(例えば、画像分析データが受け付け可能な範囲であるのに、ジェスチャー認識部505により関連づけが行われるときにエラーが生じるなど)を認識したときに、仮にそうであったとしても、混合部408は、どの分析部からいついずれの入力制御データを求めるかを調整してもよい。混合部408は、入力制御データが混合部408に伝達される前に、適当な分析部による入力制御データの特定の分析及び処理を更に要求してもよい。例えば、更なる精度が確保され、ジェスチャー認識部505に伝達されるデータが効果的かつ適切に処理されるように、データを再処理(例えば、データを平均化するなど)してもよい。   Similarly, the mixing unit 408 processes the specific data transmitted to the gesture recognition unit 505 inaccurately, slowly, or not at all based on processing errors or feedback data generated by the gesture recognition unit 505. You may recognize that. Corresponding to this feedback, or when a problem of these processes (for example, an error occurs when association is performed by the gesture recognition unit 505 even though the image analysis data is acceptable) Even if this is the case, the mixing unit 408 may adjust which input control data is to be obtained from which analysis unit. The mixing unit 408 may further request specific analysis and processing of the input control data by an appropriate analysis unit before the input control data is transmitted to the mixing unit 408. For example, the data may be reprocessed (eg, averaged) so that further accuracy is ensured and the data transmitted to the gesture recognition unit 505 is processed effectively and appropriately.

ある実施の形態において、混合部408は、特定のデータが不正、無効、又は、特定の変数から外れていることを認識し、そのデータに関連した特定の入力制御データ又は変数を要求してもよい。これにより、誤ったデータを置換したり、必要な変数に関する特定のデータを適切に分析し算出したりすることができる。   In some embodiments, the mixing unit 408 may recognize that certain data is invalid, invalid, or out of a certain variable, and may request certain input control data or variables related to that data. Good. As a result, it is possible to replace erroneous data or to appropriately analyze and calculate specific data related to necessary variables.

本発明の実施の形態によれば、上述したタイプのビデオゲームシステム及び方法は、図6に示すように実現される。ビデオゲームシステム600は、プロセッサ601及びメモリ602(例えば、RAM、DRAM、ROMなど)を含んでもよい。さらに、ビデオゲームシステム600は、並列処理が実装される場合には、複数のプロセッサ601を有してもよい。メモリ602は、上述したように構成される部分を含むデータ及びゲームプログラムコード604を含む。とくに、メモリ602は、上述したコントローラの格納されたパス情報を含む慣性信号データ606を含んでもよい。メモリ602は、ゲームプログラム604に関連した1以上のジェスチャーを示すデータなど、格納されたジェスチャーデータ608を更に含んでもよい。プロセッサ602上で実行されるコードされた命令は、上述したように構成され機能する多入力混合部605を実現してもよい。   According to an embodiment of the present invention, a video game system and method of the type described above is implemented as shown in FIG. Video game system 600 may include a processor 601 and memory 602 (eg, RAM, DRAM, ROM, etc.). Furthermore, the video game system 600 may include a plurality of processors 601 when parallel processing is implemented. Memory 602 includes data and game program code 604 including portions configured as described above. In particular, the memory 602 may include inertial signal data 606 including path information stored in the controller described above. The memory 602 may further include stored gesture data 608, such as data indicating one or more gestures associated with the game program 604. Coded instructions executed on processor 602 may implement multi-input mixing unit 605 configured and functioning as described above.

システム600は、入出力(I/O)要素611、電源(P/S)612、クロック(CLK)613、及びキャッシュ614など、既知の支援機能を更に含んでもよい。装置600は、プログラム及び/又はデータを格納するために、ディスクドライブ、CD−ROMドライブ、テープドライブなどの大容量記憶装置615を含んでもよい。コントローラは、コントローラ600とユーザの間のインタラクションを容易にするために、表示ユニット616及びユーザインタフェースユニット618を更に含んでもよい。表示ユニット616は、テキスト、数字、表示シンボル、又は画像を表示するブラウン管(CRT)又は平面ディスプレイの形式であってもよい。ユーザインタフェース618は、キーボード、マウス、ジョイスティック、ライトペン、又は他のデバイスを含んでもよい。さらに、ユーザインタフェース618は、分析すべき信号を直接取得するために、マイクロフォン、ビデオカメラ、又は他の信号変換デバイスを含んでもよい。図6に示すように、プロセッサ601、メモリ602、及び他のシステム600の構成要素は、システムバス620を介して相互に信号(例えば、コード命令及びデータ)を交換してもよい。   The system 600 may further include known support functions such as input / output (I / O) elements 611, a power supply (P / S) 612, a clock (CLK) 613, and a cache 614. The device 600 may include a mass storage device 615, such as a disk drive, CD-ROM drive, tape drive, etc., for storing programs and / or data. The controller may further include a display unit 616 and a user interface unit 618 to facilitate interaction between the controller 600 and the user. The display unit 616 may be in the form of a cathode ray tube (CRT) or flat display that displays text, numbers, display symbols, or images. User interface 618 may include a keyboard, mouse, joystick, light pen, or other device. In addition, the user interface 618 may include a microphone, video camera, or other signal conversion device to directly acquire the signal to be analyzed. As shown in FIG. 6, processor 601, memory 602, and other system 600 components may exchange signals (eg, code instructions and data) with each other via system bus 620.

マイクロフォン配列622は、入出力機能611を介してシステム600に接続されてもよい。マイクロフォン配列は、約2から8、好ましくは約4のマイクロフォンを含んでもよく、隣接するマイクロフォンは、約4センチメートル以下、好ましくは約1から2センチメートルの距離で分離されてもよい。配列622中のマイクロフォンは、無指向性マイクロフォンであることが好ましい。任意に設けられた画像取得ユニット623(例えば、ディジタルカメラ)は、入出力機能611を介して装置600に接続されてもよい。カメラに機械的に接続された1以上のポインティングアクチュエータ(P/A)625は、入出力機能611を介してプロセッサ601との間で信号を交換してもよい。   Microphone array 622 may be connected to system 600 via input / output function 611. The microphone array may include about 2 to 8, preferably about 4, microphones, and adjacent microphones may be separated by a distance of about 4 centimeters or less, preferably about 1 to 2 centimeters. The microphones in array 622 are preferably omnidirectional microphones. An optional image acquisition unit 623 (for example, a digital camera) may be connected to the apparatus 600 via the input / output function 611. One or more pointing actuators (P / A) 625 mechanically connected to the camera may exchange signals with the processor 601 via the input / output function 611.

ここでは、入出力という語は、一般に、システム600から又はシステム600へ、及び、周辺装置から又は周辺装置へデータを転送する任意のプログラム、演算、又はデバイスのことを言う。全てのデータは、1つの装置から出力され、別の装置へ入力されるとみなされてもよい。周辺装置は、書き込み可能なCD−ROMなど入出力の双方が可能な装置だけでなく、キーボードやマウスなどの入力装置や、プリンタなどの出力装置も含む。「周辺装置」という語は、CD−ROMドライブ、CD−Rドライブ、内蔵モデム、又は、フラッシュメモリリーダ/ライタ、ハードディスクなどの他の周辺装置などの内部装置だけでなく、マウス、キーボード、プリンタ、モニタ、マイクロフォン、ゲームコントローラ、カメラ、外部Zipドライブ、又はスキャナなどの外部装置も含む。   As used herein, the term input / output generally refers to any program, operation, or device that transfers data from or to system 600 and from or to a peripheral device. All data may be output from one device and considered to be input to another device. Peripheral devices include not only devices capable of both input and output, such as a writable CD-ROM, but also input devices such as a keyboard and a mouse, and output devices such as a printer. The term “peripheral device” is not only an internal device such as a CD-ROM drive, a CD-R drive, an internal modem, or other peripheral devices such as a flash memory reader / writer, a hard disk, but also a mouse, keyboard, printer, Also includes external devices such as a monitor, microphone, game controller, camera, external Zip drive, or scanner.

本発明のある実施の形態において、装置600は、有線(例えばUSBケーブル)又は無線により入出力機能611を介してプロセッサに接続されたコントローラ630を含むビデオゲームユニットであってもよい。コントローラ630は、ビデオゲームのプレー中に一般的に用いられる制御信号を提供するアナログジョイスティック631及び従来のボタン633を有してもよい。このようなビデオゲームは、プロセッサにより読み取り可能なデータ、及び/又は、メモリ602や大容量記憶装置615などに関連づけられたものなど他のプロセッサ読み取り可能な媒体に格納されたプログラム604からの命令により実現されてもよい。   In some embodiments of the present invention, the device 600 may be a video game unit that includes a controller 630 connected to the processor via an input / output function 611 by wire (eg, USB cable) or wirelessly. The controller 630 may have an analog joystick 631 and conventional buttons 633 that provide control signals commonly used during video game play. Such video games may be obtained by instructions from a program 604 stored in other processor readable media such as data readable by the processor and / or associated with memory 602, mass storage 615, etc. It may be realized.

ジョイスティック631は、一般に、スティックを左右に動かすとX軸に沿った動作を示し、前後又は上下に動かすとY軸に沿った動作を示すように構成される。3次元の動作のために構成されたジョイスティックにおいて、スティックを左(反時計回り)又は右(時計回り)にねじると、Z軸に沿った動作を示すようにしてもよい。これらのX、Y、及びZの3軸は、しばしば、とくに飛行機に関連して、それぞれ、ロール、ピッチ、及びヨーと呼ばれる。   The joystick 631 is generally configured to show an operation along the X axis when the stick is moved left and right, and to show an operation along the Y axis when the stick is moved back and forth or up and down. In a joystick configured for three-dimensional motion, twisting the stick left (counterclockwise) or right (clockwise) may indicate motion along the Z axis. These three X, Y, and Z axes are often referred to as roll, pitch, and yaw, respectively, particularly in connection with airplanes.

コントローラ630は、従来の特徴に加えて、位置及び/又は方向の情報を慣性信号を介してプロセッサ601に提供する1以上の慣性センサ632を含んでもよい。方向情報は、コントローラ630の傾き、ロール、又はヨーなどの角度情報を含んでもよい。例えば、慣性センサ632は、任意の数及び/又は組み合わせの加速度計、ジャイロスコープ、又は傾きセンサを含んでもよい。好適な実施の形態において、慣性センサ632は、傾き及びロール軸に関するジョイスティックコントローラの方向を検知するための傾きセンサ、ヨー軸に沿った加速度を検知するための第1の加速度計、及び、ヨー軸に関する角加速度を検知するための第2の加速度計を含む。加速度計は、例えば、1以上のスプリングにより搭載された質量と、1以上の方向に関する質量の変位を検知するためのセンサを含むMEMSデバイスとして実現されてもよい。質量の変位に依存したセンサからの信号は、ジョイスティックコントローラ630の加速度を決定するために用いられてもよい。このような技術は、メモリ602に格納され、プロセッサ601により実行されるゲームプログラム604からの命令により実現されてもよい。   In addition to conventional features, the controller 630 may include one or more inertial sensors 632 that provide position and / or orientation information to the processor 601 via inertial signals. The direction information may include angle information such as tilt, roll, or yaw of the controller 630. For example, inertial sensor 632 may include any number and / or combination of accelerometers, gyroscopes, or tilt sensors. In a preferred embodiment, the inertial sensor 632 includes a tilt sensor for detecting the direction of the joystick controller relative to the tilt and roll axis, a first accelerometer for detecting acceleration along the yaw axis, and a yaw axis. A second accelerometer for detecting angular acceleration with respect to. The accelerometer may be implemented, for example, as a MEMS device that includes a mass mounted by one or more springs and a sensor for detecting mass displacement in one or more directions. A signal from a sensor that depends on the displacement of the mass may be used to determine the acceleration of the joystick controller 630. Such a technique may be realized by an instruction from the game program 604 stored in the memory 602 and executed by the processor 601.

例えば、慣性センサ632に適した加速度計は、例えばスプリングによりフレームに3又は4点で弾性的に結合された単純な質量であってもよい。ピッチ及びロール軸は、ジョイスティックコントローラ630に搭載されたフレームに交差する平面にある。フレーム(及びジョイスティックコントローラ630)がピッチ及びロール軸の周りで回転すると、質量は重力の影響下で変位し、スプリングはピッチ及び/又はロール軸に依存するように伸縮する。質量の変位が検知され、ピッチ及び/又はロールの量に依存する信号に変換される。ヨー軸の周りの角加速度又はヨー軸に沿った直線加速度も、検知され、ピッチ及び/又はロールの量に依存する信号に変換されるスプリングの伸縮又は質量の動きの特徴的なパターンを生成することがある。このような加速度計は、質量の動き又はスプリングの伸縮力を追跡することにより、ヨー軸の周りの傾き、ロール角加速度、及びヨー軸に沿った直線加速度を測定することができる。質量の位置及び/又はそれに及ぼされる力を追跡する方法は、抵抗ひずみゲージ物質、光センサ、磁気センサ、ホール効果デバイス、圧電デバイス、容量センサなど、数多く存在する。   For example, an accelerometer suitable for the inertial sensor 632 may be a simple mass that is elastically coupled to the frame at three or four points, for example by a spring. The pitch and roll axes lie in a plane that intersects the frame mounted on the joystick controller 630. As the frame (and joystick controller 630) rotates about the pitch and roll axis, the mass is displaced under the influence of gravity and the springs expand and contract depending on the pitch and / or roll axis. Mass displacement is detected and converted into a signal that depends on the pitch and / or the amount of roll. Angular acceleration around the yaw axis or linear acceleration along the yaw axis is also detected and produces a characteristic pattern of spring expansion or contraction or mass movement that translates into a signal that depends on the amount of pitch and / or roll. Sometimes. Such an accelerometer can measure the tilt around the yaw axis, the roll angular acceleration, and the linear acceleration along the yaw axis by tracking the movement of the mass or the stretching force of the spring. There are many methods for tracking the position of the mass and / or the force exerted on it, such as resistive strain gauge materials, optical sensors, magnetic sensors, Hall effect devices, piezoelectric devices, capacitive sensors, and the like.

さらに、ジョイスティックコントローラ630は、発光ダイオード(LED)などの1以上の光源634を含んでもよい。光源634は、コントローラを他のコントローラと区別するために用いられてもよい。例えば、1以上のLEDにより、LEDパターンコードを点滅又は持続させることにより、これを達成することができる。例えば、5つのLEDを直線又は2次元パターンでコントローラ630に設けてもよい。LEDを直線的に配列させることが好ましいが、画像取得ユニット623により取得されたLEDのパターンの画像を解析する際にLEDの像平面の決定を容易にするために、LEDを矩形又はアーチ形のパターンに配列してもよい。さらに、LEDパターンコードは、ゲームプレー中にジョイスティックコントローラ630の位置を決定するために用いられてもよい。例えば、LEDは、コントローラの傾き、ヨー、及びロールを特定するのに役立つ。この検出パターンは、航空機飛行ゲームなどのゲームにおいて、ユーザの使用感を向上させるのに役立つ。画像取得ユニット623は、ジョイスティックコントローラ630及び光源634を含む画像を取得してもよい。このような画像の分析により、ジョイスティックコントローラの位置及び/又は方向を決定することができる。このような分析は、メモリ602に格納されプロセッサ601により実行されるプログラムコード命令604により実現されてもよい。画像取得ユニット623による光源634の画像の取得を容易にするために、光源634は、ジョイスティックコントローラ630の2以上の異なる側面、例えば、表と裏(波線で示される)に配置されてもよい。このような配置により、画像取得ユニット623は、ジョイスティックコントローラ630がユーザによりどのように把持されるかに依存して、ジョイスティックコントローラ630の方向が異なっても、光源634の画像を取得することができる。   In addition, joystick controller 630 may include one or more light sources 634, such as light emitting diodes (LEDs). The light source 634 may be used to distinguish the controller from other controllers. For example, this can be accomplished by blinking or sustaining the LED pattern code with one or more LEDs. For example, five LEDs may be provided in the controller 630 in a straight line or a two-dimensional pattern. Although it is preferred that the LEDs be arranged linearly, the LEDs are rectangular or arched to facilitate determination of the LED image plane when analyzing the image of the LED pattern acquired by the image acquisition unit 623. You may arrange in a pattern. Further, the LED pattern code may be used to determine the position of the joystick controller 630 during game play. For example, the LEDs help to identify controller tilt, yaw, and roll. This detection pattern is useful for improving the user's feeling of use in a game such as an aircraft flight game. The image acquisition unit 623 may acquire an image including the joystick controller 630 and the light source 634. By analyzing such an image, the position and / or orientation of the joystick controller can be determined. Such analysis may be implemented by program code instructions 604 stored in memory 602 and executed by processor 601. In order to facilitate the acquisition of the image of the light source 634 by the image acquisition unit 623, the light source 634 may be disposed on two or more different sides of the joystick controller 630, for example, front and back (shown in dashed lines). With such an arrangement, the image acquisition unit 623 can acquire an image of the light source 634 even if the direction of the joystick controller 630 is different depending on how the joystick controller 630 is gripped by the user. .

さらに、光源634は、例えばパルスコード、振幅変調、又は周波数変調などの方式で、プロセッサ601に対して遠隔計測信号を提供してもよい。このような遠隔計測信号は、どのジョイスティックボタンが押されたか、及び/又は、そのボタンがどのくらい強く押されたかを示してもよい。遠隔計測信号は、パルスコード、パルス幅変調、周波数変調、光度(振幅)変調などにより、光信号にエンコードされてもよい。プロセッサ601は、光信号から遠隔計測信号をデコードし、デコードされた遠隔計測信号に応じて、ゲームコマンドを実行してもよい。遠隔計測信号は、画像取得ユニット623により取得されたジョイスティックコントローラ630の画像の分析からデコードされてもよい。または、装置600は、光源634から遠隔計測信号を受信するために設けられた別の光学センサを含んでもよい。コンピュータプログラムと連動して強度を決定するためにLEDを用いることは、例えば、米国特許出願11/429,414(発明者:リチャード・L・マークスら、発明の名称:「コンピュータプログラムと連動した強度及び入力装置のコンピュータ画像音声処理」、代理人事件番号:SONYP052)に記述されており、ここに参照として組み込まれる。さらに、光源634を含む画像の解析は、遠隔計測と、ジョイスティックコントローラ630の位置及び/又は方向の決定の双方に用いられてもよい。このような技術は、メモリ602に格納されプロセッサ601により実行されるプログラム604の命令により実現されてもよい。   Furthermore, the light source 634 may provide a telemetry signal to the processor 601 in a manner such as pulse code, amplitude modulation, or frequency modulation. Such a telemetry signal may indicate which joystick button was pressed and / or how hard the button was pressed. The telemetry signal may be encoded into the optical signal by pulse code, pulse width modulation, frequency modulation, luminous intensity (amplitude) modulation, and the like. The processor 601 may decode the telemetry signal from the optical signal and execute a game command in accordance with the decoded telemetry signal. The telemetry signal may be decoded from an analysis of the image of the joystick controller 630 acquired by the image acquisition unit 623. Alternatively, the apparatus 600 may include another optical sensor provided to receive a telemetry signal from the light source 634. The use of LEDs to determine intensity in conjunction with a computer program is described, for example, in US patent application 11 / 429,414 (inventor: Richard L. Marks et al., Title of invention: “Intensity in conjunction with computer program. And computer image / sound processing of input device ”, agent case number: SONYP052), which is incorporated herein by reference. Further, analysis of the image including the light source 634 may be used for both telemetry and determination of the position and / or orientation of the joystick controller 630. Such a technique may be realized by an instruction of a program 604 stored in the memory 602 and executed by the processor 601.

プロセッサ601は、コントローラ630及び/又はそのユーザの位置及び/又は方向に関する情報を推定するために、画像取得ユニット623により検出された光源634からの光学信号及び/又はマイクロフォン配列622により検出された音響信号からの音源位置及び特徴情報と併用して、慣性センサ632からの慣性信号を用いてもよい。例えば、ジョイスティックコントローラの動きが(慣性センサ632及び/又は光源634により)独立して追跡される間、音声の動きを追跡するために、マイクロフォン配列622と併用して、光源位置及び特徴を検出する「音波レーダー」が用いられてもよい。音響レーダーにおいて、予め較正された聴取領域が実行時に選択され、予め較正された聴取領域外の音源から発せられる音声は除去される。予め較正された聴取領域は、画像取得ユニット623の焦点のボリューム又は視野に対応する聴取領域を含んでもよい。音響レーダーの例は、米国特許出願11/381,724(発明者:シャドン・マオ、発明の名称:「対象となる音声の検出及び特徴化方法及び装置」、出願日:2006年5月4日)に詳細に記述されており、ここに参照として組み込まれる。プロセッサ601に制御信号を提供する異なる態様の、任意の数の異なる組み合わせが、本発明の実施の形態に関連して用いられてもよい。このような技術は、メモリ602に格納されプロセッサ601により実行されるプログラムコード命令604により実現されてもよく、予め較正された聴取領域を実行時に選択し、予め較正された聴取領域外の音源から発せられる音声を除去するように、1以上のプロセッサに対して指示する1以上の命令を含んでもよい。予め較正された聴取領域は、画像取得ユニット623の焦点のボリューム又は視野に対応する聴取領域を含んでもよい。   The processor 601 detects the optical signal from the light source 634 detected by the image acquisition unit 623 and / or the sound detected by the microphone array 622 to estimate information about the position and / or orientation of the controller 630 and / or its user. The inertial signal from the inertial sensor 632 may be used in combination with the sound source position and feature information from the signal. For example, in conjunction with microphone array 622 to detect light source position and features to track voice movement while joystick controller movement is tracked independently (by inertial sensor 632 and / or light source 634). A “sonic radar” may be used. In the acoustic radar, a pre-calibrated listening area is selected at run time, and sound emitted from a sound source outside the pre-calibrated listening area is removed. The pre-calibrated listening area may include a listening area corresponding to the focal volume or field of view of the image acquisition unit 623. An example of an acoustic radar is US patent application 11 / 381,724 (inventor: Shadon Mao, title of invention: "Method and apparatus for detecting and characterizing speech of interest", filing date: May 4, 2006. ), Which is incorporated herein by reference. Any number of different combinations of different aspects of providing control signals to the processor 601 may be used in connection with embodiments of the present invention. Such a technique may be implemented by program code instructions 604 stored in memory 602 and executed by processor 601, selecting a pre-calibrated listening area at runtime and from a sound source outside the pre-calibrated listening area. One or more instructions may be included that instruct the one or more processors to remove the spoken voice. The pre-calibrated listening area may include a listening area corresponding to the focal volume or field of view of the image acquisition unit 623.

プログラム604は、マイクロフォン配列622のマイクロフォンM0〜MMからの離散時間領域入力信号xm(t)を生成し、聴取領域を決定し、入力信号xm(t)から異なる音源を分離するための有限インパルス応答フィルタ係数を選択するためのセミブラインド音源分離に聴取領域を用いるために、1以上のプロセッサに対して指示する1以上の命令を含んでもよい。プログラム604は、参照マイクロフォンM0からの入力信号x0(t)以外の選択された入力信号xm(t)に対して、1以上の部分的遅延を適用するための命令を含んでもよい。それぞれの部分的遅延は、マイクロフォン配列からの離散時間領域出力信号y(t)のノイズ比に対して信号を最適化するために選択されてもよい。部分的遅延は、参照マイクロフォンM0からの信号が、配列の他のマイクロフォンからの信号に比べて、時間的に最初になるように選択されてもよい。プログラム604は、部分的時間遅延Δを下記のようにマイクロフォン配列の出力信号y(t)に導入するための命令を含んでもよい。
y(t+Δ)=x(t+Δ)*b0+x(t-1+Δ)*b1+x(t-2+Δ)*b2+…+x(t-N+Δ)bN
ただし、Δは0と±1の間
このような技術の例は、米国特許出願11/381,729(発明者:シャドン・マオ、発明の名称:「超小型マイクロフォン配列」、出願日:2006年5月4日)に記述されており、ここに参照として組み込まれる。
Program 604 generates discrete time domain input signals xm (t) from microphones M0-MM of microphone array 622, determines the listening area, and separates finite impulse responses from input signals xm (t). One or more instructions may be included to instruct one or more processors to use the listening area for semi-blind source separation to select filter coefficients. The program 604 may include instructions for applying one or more partial delays to a selected input signal xm (t) other than the input signal x0 (t) from the reference microphone M0. Each partial delay may be selected to optimize the signal for the noise ratio of the discrete time domain output signal y (t) from the microphone array. The partial delay may be selected so that the signal from the reference microphone M0 is first in time compared to signals from other microphones in the array. Program 604 may include instructions for introducing a partial time delay Δ into the output signal y (t) of the microphone array as follows.
y (t + Δ) = x (t + Δ) * b0 + x (t-1 + Δ) * b1 + x (t-2 + Δ) * b2 + ... + x (t-N + Δ) bN
However, while Δ is between 0 and ± 1, examples of such techniques are described in US patent application 11 / 381,729 (inventor: Shadon Mao, title of invention: “miniature microphone array”, filing date: 2006). May 4), incorporated herein by reference.

プログラム604は、実行時にシステム600に音源を含む予め較正された聴取領域を選択させるための1以上の命令を含んでもよい。このような命令は、音源が初期領域の範囲内又は初期領域の特定の側にあるか否かを装置に決定させてもよい。音源が初期設定の領域の範囲内にない場合、命令は、実行時に、初期設定の範囲の特定の側にある異なる領域を選択してもよい。異なる領域は、最適値に最も近い入力信号の減衰により特徴づけられてもよい。これらの命令は、実行時に、マイクロフォン配列622からの入力信号の減衰と、最適値への減衰を算出してもよい。命令は、実行時に、装置600に、1以上の領域の入力信号の減衰値を決定し、減衰が最適値に最も近い領域を選択させてもよい。このような技術の例は、米国特許出願11/381,725(発明者:シャドン・マオ、発明の名称:「対象音声検出方法及び装置」、出願日:2006年5月4日)に記述されており、ここに参照として組み込まれる。   The program 604 may include one or more instructions that, when executed, cause the system 600 to select a pre-calibrated listening area that includes a sound source. Such an instruction may cause the device to determine whether the sound source is within the initial region or on a particular side of the initial region. If the sound source is not within the default area, the instruction may select a different area on a particular side of the default area at execution time. Different regions may be characterized by the attenuation of the input signal closest to the optimum value. These instructions may calculate the attenuation of the input signal from the microphone array 622 and the attenuation to the optimum value at execution time. The instruction may cause the apparatus 600 to determine an attenuation value of the input signal in one or more regions at execution time and to select the region where the attenuation is closest to the optimal value. Examples of such techniques are described in US patent application Ser. No. 11 / 381,725 (inventor: Shadon Mao, title of invention: “object speech detection method and apparatus”, filing date: May 4, 2006). And incorporated herein by reference.

慣性センサ632からの信号は、追跡情報入力の一部を提供し、1以上の光源634の追跡から画像取得ユニット623により生成される信号は、追跡情報入力の別の一部を提供してもよい。このような「混合方式」の信号は、例えば、フットボール形式のビデオゲームにおいて、クォーターバックが頭を左に動かしてフェイクした後にボールを右に投げる場合などに用いられてもよい。具体的には、コントローラ630を把持するゲームプレイヤーは、頭を左に動かして、コントローラを右に振ってフットボールであるかのように投げる動作をしながら音声を発生させてもよい。「音響レーダー」プログラムコードに連動したマイクロフォン配列622は、ユーザの声を追跡することができる。画像取得ユニット623は、ユーザの頭の動きを追跡し、又は、音声又はコントローラの使用を必要としない他のコマンドを追跡することができる。センサ632は、ジョイスティックコントローラ(フットボールを表現する)の動きを追跡してもよい。画像取得ユニット623は、コントローラ632上の光源634を更に追跡してもよい。ユーザは、ジョイスティックコントローラ630の加速度が特定の量及び/又は方向に達したとき、又は、コントローラ630上のボタンを押下することによりキーコマンドが発生したときに、「ボール」を離すことができる。   The signal from inertial sensor 632 provides part of the tracking information input, and the signal generated by image acquisition unit 623 from tracking one or more light sources 634 may provide another part of the tracking information input. Good. Such a “mixed system” signal may be used, for example, in a football-type video game, when the quarterback moves the head to the left and fakes, then throws the ball to the right. Specifically, the game player holding the controller 630 may generate a sound while moving his head to the left and swinging the controller to the right to throw it as if it is football. A microphone array 622 associated with the “acoustic radar” program code can track the user's voice. The image acquisition unit 623 can track the movement of the user's head or track other commands that do not require the use of voice or a controller. Sensor 632 may track the movement of a joystick controller (representing football). The image acquisition unit 623 may further track the light source 634 on the controller 632. The user can release the “ball” when the acceleration of the joystick controller 630 reaches a certain amount and / or direction, or when a key command is generated by pressing a button on the controller 630.

本発明のある実施の形態において、例えば加速度計又はジャイロスコープからの慣性信号は、コントローラ630の位置を決定するために用いられてもよい。具体的には、加速度計からの加速度信号は、速度の変化を決定するために、いったん時間に関して積分されてもよく、速度は、位置の変化を決定するために時間に関して積分されてもよい。ある時点での初期状態の位置及び速度の値が既知である場合、これらの値と、速度及び位置の変化量を用いて、絶対位置を決定することができる。慣性センサを用いた位置決定は、画像取得ユニット623及び光源634を用いるよりも、より高速に実行できるが、慣性センサ632は、誤差が時間とともに蓄積され、慣性信号から算出されたジョイスティック631の位置(波線で示される)と、ジョイスティックコントローラ630の現実の位置との間の不一致Dが生じる「ドリフト」と呼ばれる一種のエラーの影響を受けやすい。本発明の実施の形態は、このようなエラーに対処するための多くの方法を可能とする。   In some embodiments of the present invention, inertia signals from, for example, accelerometers or gyroscopes may be used to determine the position of controller 630. Specifically, the acceleration signal from the accelerometer may be integrated over time to determine the change in velocity, and the velocity may be integrated over time to determine the change in position. If the initial position and velocity values at a certain point in time are known, the absolute position can be determined using these values and the amount of change in velocity and position. Position determination using the inertial sensor can be performed at a higher speed than using the image acquisition unit 623 and the light source 634. However, the inertial sensor 632 accumulates errors over time, and the position of the joystick 631 calculated from the inertial signal. It is susceptible to a kind of error called “drift” that causes a discrepancy D between the joystick controller 630 and the actual position of the joystick controller 630 (shown in phantom). Embodiments of the present invention allow many ways to deal with such errors.

例えば、コントローラ630の初期位置を、現在の算出された位置に等しくなるようにリセットすることにより、ドリフトを手動でキャンセルすることができる。ユーザは、初期位置をリセットするためのコマンドのトリガとして、コントローラ630上の1以上のボタンを用いることができる。または、画像ベースのドリフトは、現在位置を、画像取得ユニット623から取得された画像から決定された位置を参照としてリセットすることにより実行されてもよい。このような画像ベースのドリフト補償は、ユーザがジョイスティックコントローラ630の1以上のボタンを始動したときなどに、手動で実行されてもよい。または、画像ベースのドリフト補償は、例えば定期的に又はゲームプレーに応じて、自動的に実行されてもよい。このような技術は、メモリ602に格納されプロセッサ601により実行されるプログラムコード命令604により実現されてもよい。   For example, the drift can be manually canceled by resetting the initial position of the controller 630 to be equal to the current calculated position. The user can use one or more buttons on the controller 630 as a trigger for a command to reset the initial position. Alternatively, image-based drift may be performed by resetting the current position with reference to a position determined from an image acquired from the image acquisition unit 623. Such image-based drift compensation may be performed manually, such as when the user activates one or more buttons of the joystick controller 630. Alternatively, image-based drift compensation may be performed automatically, for example periodically or in response to game play. Such a technique may be realized by program code instructions 604 stored in the memory 602 and executed by the processor 601.

ある実施の形態において、慣性センサ信号における誤ったデータを補正することが望ましい。例えば、慣性センサ632からの信号はオーバーサンプリングされてもよく、慣性センサ信号から誤ったデータを除去するために、オーバーサンプリングされた信号から移動平均(スライディング平均)を算出してもよい。ある状況において、信号をオーバーサンプリングし、データ点の部分集合から高い及び/又は低い値を除去し、残ったデータ点から移動平均を算出することが望ましい。さらに、データのオーバーサンプリング及び取扱技術は、誤ったデータの重要性を除去又は低減するために、慣性センサからの信号を調整するために用いられてもよい。技術の選択は、信号の種類、信号に対して実行すべき演算、ゲームプレーの種類、又はこれらの2以上の組み合わせに依存してもよい。これらの技術は、メモリ602に格納されプロセッサ601により実行されるプログラム604の命令により実現されてもよい。   In certain embodiments, it is desirable to correct erroneous data in the inertial sensor signal. For example, the signal from the inertial sensor 632 may be oversampled, and a moving average (sliding average) may be calculated from the oversampled signal to remove erroneous data from the inertial sensor signal. In certain situations, it may be desirable to oversample the signal, remove high and / or low values from the subset of data points, and calculate a moving average from the remaining data points. Furthermore, data oversampling and handling techniques may be used to adjust the signal from the inertial sensor to remove or reduce the importance of erroneous data. The choice of technology may depend on the type of signal, the operation to be performed on the signal, the type of game play, or a combination of two or more of these. These techniques may be realized by instructions of a program 604 stored in the memory 602 and executed by the processor 601.

プロセッサ601は、上述したように、データ606と、メモリ602に格納され、取得され、プロセッサモジュール601により実行されるプログラム604のプログラムコード命令とに応じて、慣性信号データ606の分析を行ってもよい。プログラム604のコードの一部は、アセンブラ、C++、JAVA(登録商標)、又はその他の多くの言語などの異なる多くのプログラミング言語のいずれかに準拠してもよい。プロセッサモジュール601は、汎用コンピュータを構成する。それは、プログラムコード604などのプログラムを実行するときには、特定の目的のコンピュータとなる。ここでは、プログラムコード604が、汎用コンピュータ上で実行されるソフトウェアとして実現される場合について説明したが、ASICやその他のハードウェア回路などのハードウェアを用いもタスク管理の方法が実現できることは、当業者に理解されるところである。同様に、本発明の実施の形態の一部又は全部が、ソフトウェア、ハードウェア、又はそれらの組み合わせにより実現できることも理解されるところである。   As described above, the processor 601 may analyze the inertial signal data 606 according to the data 606 and the program code instructions of the program 604 stored and acquired in the memory 602 and executed by the processor module 601. Good. Some of the code for program 604 may conform to any of a number of different programming languages, such as assembler, C ++, JAVA, or many other languages. The processor module 601 constitutes a general purpose computer. It becomes a specific purpose computer when executing a program such as program code 604. Here, the case where the program code 604 is realized as software executed on a general-purpose computer has been described. However, the task management method can also be realized using hardware such as an ASIC and other hardware circuits. That is understood by the contractor. Similarly, it is understood that some or all of the embodiments of the present invention can be realized by software, hardware, or a combination thereof.

ある実施の形態において、プログラムコード604は、図5Bの方法510及び図5Cの方法520又はそれらの2以上の組み合わせと同様の特徴を有する方法を実現するプロセッサ読み取り可能な命令のセットを含んでもよい。プログラムコード604は、一般に、1以上のプロセッサに、慣性センサ632からの信号を分析して位置及び/又は方向の情報を生成し、ビデオゲームのプレー中にその情報を利用するよう指示する1以上の命令を含んでもよい。   In certain embodiments, program code 604 may include a set of processor readable instructions that implement methods having features similar to method 510 of FIG. 5B and method 520 of FIG. 5C or a combination of two or more thereof. . The program code 604 generally instructs one or more processors to analyze the signal from the inertial sensor 632 to generate position and / or orientation information and to use that information during video game play. May also include instructions.

プログラムコード604は、実行時に画像取得ユニット623に画像取得ユニット623の前の視野を監視させ、視野内の1以上の光源634を識別させ、光源634から発せられる光の変化を検知させ、変化を検知したときにプロセッサ601に入力コマンドを引き起こす1以上の命令を含むプロセッサ読み取り可能な命令を更に含んでもよい。ゲームコントローラにおけるアクションを誘発するための画像取得装置に関連したLEDの使用は、米国特許出願10/759,782(発明者:リチャード・L・マークス、出願日:2004年1月16日、発明の名称:「光入力デバイスのための方法及び装置」)に記述されており、ここに参照として組み込まれる。   The program code 604, when executed, causes the image acquisition unit 623 to monitor the field of view in front of the image acquisition unit 623, identify one or more light sources 634 within the field of view, detect changes in light emitted from the light sources 634, and change the changes. It may further include a processor readable instruction including one or more instructions that cause an input command to the processor 601 when detected. The use of LEDs in conjunction with an image acquisition device to trigger an action in a game controller is described in US patent application 10 / 759,782 (inventor: Richard L. Marks, filing date: January 16, 2004, Name: “Methods and Apparatus for Optical Input Devices”), incorporated herein by reference.

プログラムコード604は、実行時に慣性センサからの信号と、1以上の光源を追跡することにより画像取得ユニットから生成された信号とを、上述したようにゲームシステムに対する入力として用いる1以上の命令を含むプロセッサ読み取り可能な命令を更に含んでもよい。プログラムコード604は、実行時に慣性センサ632におけるドリフトを補償する1以上の命令を含むプロセッサ読み取り可能な命令を更に含んでもよい。   Program code 604 includes one or more instructions that use signals from the inertial sensor at run time and signals generated from the image acquisition unit by tracking one or more light sources as input to the game system as described above. It may further include processor readable instructions. Program code 604 may further include processor-readable instructions that include one or more instructions that compensate for drift in inertial sensor 632 during execution.

本発明の実施の形態において、ビデオゲームコントローラ630に関する例について説明したが、システム600を含む本発明の実施の形態は、ユーザにより操作される本体、モデリングされたオブジェクト、ノブ、構造体などに対して、慣性検知機能及び慣性センサ信号送信機能とともに、無線又は別の方法で用いられてもよい。   In the embodiment of the present invention, an example regarding the video game controller 630 has been described. However, the embodiment of the present invention including the system 600 can be applied to a body operated by a user, a modeled object, a knob, a structure, and the like. The inertia detection function and the inertial sensor signal transmission function may be used wirelessly or in another method.

例えば、本発明の実施の形態は、並列処理システム上で実行されてもよい。このような並列処理システムは、典型的には、別々のプロセッサにおいてプログラムの一部を並列に実行するように構成された2以上のプロセッサ要素を含む。限定されない例として、図7は、本発明の実施の形態に係るセルプロセッサ700の一種を示す。セルプロセッサ700は、図6のプロセッサとして用いられてもよいし、図5Aのプロセッサ502として用いられてもよい。図7に示した例において、セルプロセッサ700は、メインメモリ702、PPE(power processor element)704、及び複数のSPE(synergistic processor element)706を含む。図7に示した例では、セルプロセッサ700は、一つのPPE704と8つのSPE706を含む。このような構成において、7つのSPE706は並列処理のための用いられ、1つは他の7つのいずれかが機能しなくなったときのバックアップとしてリザーブされてもよい。または、セルプロセッサは、複数のグループのPPE(PPEグループ)及び複数のグループのSPE(SPEグループ)を含んでもよい。この場合、ハードウェアリソースは、グループ内の単位の間で共有されてもよい。しかし、SPE及びPPEは、独立した要素としてソフトウェアとみなされなければならない。本発明の実施の形態は、図7に示した構成により利用されることに限定されない。   For example, embodiments of the present invention may be executed on a parallel processing system. Such parallel processing systems typically include two or more processor elements configured to execute portions of a program in parallel on separate processors. As a non-limiting example, FIG. 7 shows a type of cell processor 700 according to an embodiment of the present invention. The cell processor 700 may be used as the processor of FIG. 6 or may be used as the processor 502 of FIG. 5A. In the example illustrated in FIG. 7, the cell processor 700 includes a main memory 702, a power processor element (PPE) 704, and a plurality of synergistic processor elements (SPE) 706. In the example shown in FIG. 7, the cell processor 700 includes one PPE 704 and eight SPEs 706. In such a configuration, seven SPEs 706 may be used for parallel processing, and one may be reserved as a backup when any of the other seven fails. Alternatively, the cell processor may include a plurality of groups of PPE (PPE groups) and a plurality of groups of SPEs (SPE groups). In this case, hardware resources may be shared among units in the group. However, SPE and PPE must be considered software as independent elements. The embodiment of the present invention is not limited to being used by the configuration shown in FIG.

メインメモリ702は、典型的には、システム設定、データ転送の同期、メモリにマップされた入出力、及び入出力サブシステムなどの機能のために用いられる特定目的のハードウェアレジスタ又は配列だけでなく、汎用かつ不揮発性の記憶装置を含む。本発明の実施の形態において、ビデオゲームプログラム703は、メインメモリ702に常駐されてもよい。メモリ702は、信号データ709を含んでもよい。ビデオプログラム703は、図4、5A、5B、又は5Cに関連して上述したように構成された慣性、画像、及び音響分析部及び混合部、又はこれらのいくつかの組み合わせを含んでもよい。プログラム703は、PPE上で実行されてもよい。プログラム703は、SPE及び/又はPPE上で実行可能な複数の信号処理タスクに分割されてもよい。   Main memory 702 typically includes not only special purpose hardware registers or arrays used for functions such as system configuration, data transfer synchronization, memory mapped I / O, and I / O subsystems. Including general-purpose and non-volatile storage devices. In the embodiment of the present invention, the video game program 703 may be resident in the main memory 702. The memory 702 may include signal data 709. Video program 703 may include inertial, image, and acoustic analysis and mixing units, or some combination thereof, configured as described above in connection with FIGS. 4, 5A, 5B, or 5C. The program 703 may be executed on the PPE. The program 703 may be divided into a plurality of signal processing tasks that can be executed on the SPE and / or PPE.

例えば、PPE704は、キャッシュL1及びL2が結合された64ビットPPU(PowerPC Processor Unit)であってもよい。PPE704は、メモリ保護テーブルなどのシステム管理リソースにアクセス可能な汎用処理ユニットである。ハードウェアリソースは、PPEが参照できるように、実アドレス空間に明示的にマップされてもよい。したがって、PPEは、適切な有効アドレス値を用いて、任意のこれらのリソースをアドレス指定することができる。PPE704の主機能は、セルプロセッサ706のSPE706のためのタスクの管理及び割り当てである。   For example, the PPE 704 may be a 64-bit PPU (PowerPC Processor Unit) in which the caches L1 and L2 are combined. The PPE 704 is a general-purpose processing unit that can access system management resources such as a memory protection table. Hardware resources may be explicitly mapped into the real address space so that the PPE can reference them. Thus, the PPE can address any of these resources with an appropriate effective address value. The main function of the PPE 704 is task management and assignment for the SPE 706 of the cell processor 706.

図7には1つのPPEのみが示されているが、セルブロードバンドエンジンアーキテクチャー(cell broadband engine architecture:CBEA)などのセルプロセッサの実装においては、セルプロセッサ700は、1以上のPPEグループにまとめられた複数のPPEを有してもよい。これらのPPEグループは、メインメモリ702に対するアクセスを共有してもよい。さらに、セルプロセッサ700は、2以上のSPEグループを含んでもよい。SPEグループも、メインメモリ702に対するアクセスを共有してもよい。このような構成は、本発明の範囲内である。   Although only one PPE is shown in FIG. 7, in a cell processor implementation such as a cell broadband engine architecture (CBEA), the cell processors 700 are grouped into one or more PPE groups. You may have more than one PPE. These PPE groups may share access to the main memory 702. Further, the cell processor 700 may include two or more SPE groups. SPE groups may also share access to main memory 702. Such a configuration is within the scope of the present invention.

それぞれのSPE706は、SPU(synergistic processor unit)及びそれ自身のローカル格納領域LSを含む。ローカル格納領域LSは、それぞれが特定のSPUに関連づけられた1以上の分割されたメモリの領域を含んでもよい。それぞれのSPUは、それ自身に関連づけられたローカル格納領域内からの命令(データロード及びデータストア命令を含む)のみを実行するように構成されてもよい。このような構成において、ローカル格納領域LSとシステム700の他の構成との間のデータ転送は、(個々のSPEの)ローカル格納領域へ又はローカル格納領域から転送するためのメモリフローコントローラ(MFC)からのDMA(direct memory access)コマンドを発行することにより実行されてもよい。SPUは、システム管理機能を実行しない点において、PPE704よりも複雑ではない計算ユニットである。SPUは、一般に、1回の命令で複数データに対する処理を同時に行う機能(SIMD)を有し、典型的には、割り当てられたタスクを実行するために、データを処理し、要求された任意のデータ転送を(PPEにより設定されたプロパティにアクセスすることを前提として)起動する。SPUの目的は、より高い計算ユニットの密度を要求し、提供された命令セットを効率的に用いることができるアプリケーションを可能とすることにある。PPE704により管理されるシステムにおける多数のSPEにより、広範囲のアプリケーションにわたって費用効率の高い処理が可能となる。   Each SPE 706 includes a SPU (synergistic processor unit) and its own local storage area LS. The local storage area LS may include one or more divided memory areas, each associated with a particular SPU. Each SPU may be configured to execute only instructions (including data load and data store instructions) from within the local storage area associated with it. In such a configuration, data transfer between the local storage area LS and other configurations of the system 700 is a memory flow controller (MFC) for transferring to or from the local storage area (in an individual SPE) May be executed by issuing a direct memory access (DMA) command from The SPU is a computational unit that is less complex than the PPE 704 in that it does not perform system management functions. SPUs generally have the ability to process multiple data simultaneously (SIMD) with a single instruction, typically processing data to perform assigned tasks, and any requested Initiate data transfer (assuming access to properties set by PPE). The purpose of the SPU is to enable applications that require higher computational unit density and can efficiently use the provided instruction set. The large number of SPEs in the system managed by PPE 704 allows for cost effective processing across a wide range of applications.

それぞれのSPE706は、メモリ保護情報及びアクセス許可情報を保持し処理することが可能なメモリ管理ユニットを含む専用のメモリフローコントローラ(MFC)を含んでもよい。MFCは、セルプロセッサのメインストレージとSPEのローカルストレージとの間のデータ転送、保護、及び同期のための主要な方法を提供する。MFCコマンドは、実行されるべき転送を表現する。データを転送するためのコマンドは、MFCダイレクトメモリアクセス(DMA)コマンド(MFCDMAコマンド)とも呼ばれる。   Each SPE 706 may include a dedicated memory flow controller (MFC) that includes a memory management unit capable of holding and processing memory protection information and access permission information. The MFC provides the primary method for data transfer, protection, and synchronization between the main storage of the cell processor and the local storage of the SPE. The MFC command represents a transfer to be performed. A command for transferring data is also called an MFC direct memory access (DMA) command (MFCDMA command).

それぞれのMFCは、複数のDMA転送を同時にサポートし、複数のMFCコマンドを保持し処理することができる。それぞれのMFC・DMAデータ転送コマンドリクエストは、ローカルストレージアドレス(LSA)と有効アドレス(EA)の双方を含んでもよい。ローカルストレージアドレスは、関連づけられたSPEのローカル格納領域のみを直接アドレス指定してもよい。有効アドレスは、より一般的なアプリケーションを有してもよく、例えば、実アドレス空間にエイリアスされている限り全てのSPEローカル格納領域を含むメインストレージを参照可能であってもよい。   Each MFC supports multiple DMA transfers simultaneously, and can hold and process multiple MFC commands. Each MFC / DMA data transfer command request may include both a local storage address (LSA) and an effective address (EA). The local storage address may directly address only the local storage area of the associated SPE. The effective address may have a more general application, for example, may refer to the main storage including all SPE local storage areas as long as it is aliased to the real address space.

SPE706間及び/又はSPE706とPPE704との間の通信を容易にするために、SPE706及びPPE704は、信号伝達イベントに関係する信号通知レジスタを含んでもよい。PPE704及びSPE706は、PPE704がSPE706にメッセージを送信するためのルータとして機能するスター型トポロジーにより接続されてもよい。または、それぞれのSPE706及びPPE704は、メールボックスとして参照される一方向の信号通知レジスタを有してもよい。メールボックスは、オペレーティングシステム(OS)の同期のために用いられてもよい。   To facilitate communication between SPEs 706 and / or between SPEs 706 and PPEs 704, SPEs 706 and PPEs 704 may include signal notification registers related to signaling events. PPE 704 and SPE 706 may be connected by a star topology where PPE 704 functions as a router for sending messages to SPE 706. Alternatively, each SPE 706 and PPE 704 may have a one-way signal notification register referred to as a mailbox. Mailboxes may be used for operating system (OS) synchronization.

セルプロセッサ700は、セルプロセッサ700がマイクロフォン配列712、画像取得ユニット713及びゲームコントローラ730などの周辺装置とインタフェースをとることが可能な入出力(I/O)機能708を含んでもよい。ゲームコントローラユニットは、慣性センサ732及び光源734を含んでもよい。さらに、要素相互接続バス710が上述した種々のコンポーネントを接続してもよい。それぞれのSPE及びPPEは、バスインタフェースユニットBIUを介してバス710にアクセス可能である。セルプロセッサ700は、プロセッサに典型的に見られる、バス710とメインメモリ710との間でデータのフローを制御するメモリインタフェースコントローラMICと、I/O708とバス710との間でデータのフローを制御するバスインタフェースコントローラBICの2つのコントローラを更に含んでもよい。MIC、BIC、BIU及びバス710の要件は、異なる実装において大きく異なりうるが、それらの機能及び実装のための回路は、当業者によく知られるところである。   Cell processor 700 may include an input / output (I / O) function 708 that allows cell processor 700 to interface with peripheral devices such as microphone array 712, image acquisition unit 713, and game controller 730. The game controller unit may include an inertial sensor 732 and a light source 734. Furthermore, the element interconnection bus 710 may connect the various components described above. Each SPE and PPE can access the bus 710 via the bus interface unit BIU. The cell processor 700 controls the flow of data between the I / O 708 and the bus 710, and the memory interface controller MIC that controls the flow of data between the bus 710 and the main memory 710, as typically found in the processor. The bus interface controller BIC may further include two controllers. The requirements for MIC, BIC, BIU and bus 710 can vary widely in different implementations, but their functionality and circuitry for implementation are well known to those skilled in the art.

セルプロセッサ700は、内部割り込みコントローラIICを更に含んでもよい。IICコンポーネントは、PPEに伝達される割り込みの優先度を管理する。IICにより、セルプロセッサ700の他のコンポーネントからの割り込みを、メインシステム割り込みコントローラを用いることなく扱うことができる。IICは、第2のレベルのコントローラとみなされてもよい。メインシステム割り込みコントローラは、セルプロセッサの外部からの割り込みを扱ってもよい。   The cell processor 700 may further include an internal interrupt controller IIC. The IIC component manages the priority of interrupts transmitted to the PPE. IIC can handle interrupts from other components of the cell processor 700 without using the main system interrupt controller. The IIC may be considered a second level controller. The main system interrupt controller may handle interrupts from outside the cell processor.

本発明の実施の形態において、上述した部分的遅延などの特定の計算は、PPE704及び/又は1以上のSPE706を用いて並列して実行されてもよい。それぞれの部分的遅延計算は、異なるSPE706が実行可能となるように1以上に分割されたタスクとして実行されてもよい。   In embodiments of the present invention, certain calculations such as the partial delay described above may be performed in parallel using PPE 704 and / or one or more SPEs 706. Each partial delay calculation may be performed as a task divided into one or more so that a different SPE 706 can be executed.

上記は、本発明の好ましい実施の形態の完全な説明であるが、種々の代替、修正及び等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決定されるべきではなく、添付された特許請求の範囲をそれらと等価な範囲の全てとともに参照して決定されるべきである。ここで記述される全ての特徴は、好ましいか否かにかかわらず、ここで記述される他の全ての特徴に結合されてもよい。特許請求の範囲において、不定冠詞に続くものは、別段の明示がない限り、1以上の事項の数量をさす。添付された特許請求の範囲は、「〜するための手段」という語句を用いて明示的に限定されない限り、ミーンズプラスファンクションの限定を含むものと解釈されるべきではない。   While the above is a complete description of the preferred embodiment of the invention, various alternatives, modifications and equivalents may be used. The scope of the invention should, therefore, be determined not with reference to the above description, but instead should be determined with reference to the appended claims along with their full scope of equivalents. All features described herein may be combined with all other features described herein, whether preferred or not. In the claims, what follows an indefinite article refers to the quantity of one or more items, unless expressly specified otherwise. The appended claims should not be construed to include means plus function limitations, unless explicitly limited by use of the phrase “means for”.

Claims (14)

ゲーム制御入力データを分析するためのシステムであって、
第1の入力装置から入力データを取得して分析する第1の分析部と、
第2の入力装置から入力データを取得して分析する第2の分析部と、
前記第1の分析部及び前記第2の分析部から分析された入力データを取得し、前記第1の分析部及び/又は前記第2の分析部から取得した情報に基づいて追跡情報を生成し、ゲームにおける条件又は前記第1の入力装置及び第2の入力装置が動作する環境における条件に基づいて、前記第1の分析部及び/又は前記第2の分析部から取得した情報に1以上の分配値を動的に割り当てる混合部と、を備え、
前記第1及び第2の入力装置は、画像取得装置、音響取得装置、及び慣性センサのグループから選択された2つの異なる種類の入力装置であり、
それぞれの分配値は、前記第1の分析部及び前記第2の分析部のうちの一方に関連付けられた入力チャンネルからの追跡情報パラメータと、前記第1の分析部及び前記第2の分析部のうちの他方に関連付けられた入力チャンネルからの追跡情報パラメータとを混合するときに、前記追跡情報パラメータに適用される重みを定義し、
前記混合部は、前記パラメータに1以上の前記分配値を動的に割り当て、それぞれの入力チャンネルについて重み付けされたパラメータ値を混合して、詳細なパラメータ値を生成するように構成され、
前記混合部は、1以上の前記入力装置の入力データが所定の範囲にあるか否かに基づいて前記分配値を割り当てるように構成される
ことを特徴とするシステム。
A system for analyzing game control input data,
A first analyzer that acquires and analyzes input data from the first input device;
A second analyzer for acquiring and analyzing input data from the second input device;
The input data analyzed from the first analysis unit and the second analysis unit is acquired, and tracking information is generated based on the information acquired from the first analysis unit and / or the second analysis unit. The information acquired from the first analysis unit and / or the second analysis unit based on conditions in the game or conditions in the environment in which the first input device and the second input device operate A mixing unit that dynamically allocates distribution values,
The first and second input devices are two different types of input devices selected from the group of image acquisition devices, sound acquisition devices, and inertial sensors,
Each distribution value includes a tracking information parameter from an input channel associated with one of the first analysis unit and the second analysis unit, and the first analysis unit and the second analysis unit. Defining a weight to be applied to the tracking information parameter when mixing with the tracking information parameter from the input channel associated with the other of the
The mixing unit is configured to dynamically assign one or more of the distribution values to the parameters, mix weighted parameter values for each input channel, and generate detailed parameter values;
The said mixing part is comprised so that the said distribution value may be allocated based on whether the input data of the one or more said input devices exists in the predetermined range.
前記追跡情報に基づいて、ゲーム環境における少なくとも1つのアクションと、1以上のユーザのアクションとを関連づけるように構成されたジェスチャー認識部を更に備えることを特徴とする請求項1に記載のシステム。   The system of claim 1, further comprising a gesture recognizer configured to associate at least one action in the game environment with one or more user actions based on the tracking information. ゲームコントローラを更に備え、
前記ゲームコントローラは、慣性分析部に接続可能な少なくとも1つの慣性センサ、及び/又は、1以上の光信号を提供するように構成された1以上の光源、及び/又は、1以上の音響信号生成部を含むことを特徴とする請求項1に記載のシステム。
A game controller,
The game controller includes at least one inertial sensor connectable to an inertial analyzer and / or one or more light sources configured to provide one or more optical signals and / or one or more acoustic signal generations The system according to claim 1, further comprising a unit.
少なくとも1つの慣性センサは、加速度計及びジャイロスコープのうち少なくとも1つを含むことを特徴とする請求項3に記載のシステム。   The system of claim 3, wherein the at least one inertial sensor includes at least one of an accelerometer and a gyroscope. 画像分析部に接続された画像取得装置を更に備えることを特徴とする請求項1に記載のシステム。   The system according to claim 1, further comprising an image acquisition device connected to the image analysis unit. 前記画像取得装置は、カメラを含むことを特徴とする請求項5に記載のシステム。   The system according to claim 5, wherein the image acquisition device includes a camera. 前記追跡情報は、ユーザが操作可能なオブジェクトの位置及び/又は方向の情報を含むことを特徴とする請求項1に記載のシステム。   The system according to claim 1, wherein the tracking information includes information on a position and / or direction of an object operable by a user. 前記位置及び/又は方向の情報は、前記ユーザが操作可能なオブジェクトのピッチ、ヨー及びロールのうち少なくとも1つを示す情報を含むことを特徴とする請求項7に記載のシステム。   The system according to claim 7, wherein the position and / or direction information includes information indicating at least one of a pitch, a yaw, and a roll of an object operable by the user. 前記位置及び/又は方向の情報は、1以上の座標に関連した位置を示す情報を含むことを特徴とする請求項7に記載のシステム。   The system of claim 7, wherein the position and / or direction information includes information indicating a position associated with one or more coordinates. 前記位置及び/又は方向の情報は、1以上の座標に関連した速度を示す情報を含むことを特徴とする請求項7に記載のシステム。   8. The system of claim 7, wherein the position and / or direction information includes information indicating a velocity associated with one or more coordinates. 前記位置及び/又は方向の情報は、1以上の座標に関連した加速度を示す情報を含むことを特徴とする請求項7に記載のシステム。   8. The system of claim 7, wherein the position and / or direction information includes information indicating an acceleration associated with one or more coordinates. 前記ユーザが操作可能なオブジェクトは、ビデオゲームシステムのコントローラであることを特徴とする請求項7に記載のシステム。   The system according to claim 7, wherein the object operable by the user is a controller of a video game system. ゲーム制御入力データを分析するための方法であって、
混合部が、第1の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第1の分析部と、第2の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第2の分析部とから、分析された入力データを取得するステップと、
前記混合部が、1以上の前記入力装置の入力データが所定の範囲にあるか否かに基づいて、前記第1の分析部及び/又は前記第2の分析部から取得した入力データから生成した追跡情報パラメータのそれぞれに、前記第1の分析部及び前記第2の分析部のうちの一方に関連付けられた入力チャンネルからの追跡情報パラメータと前記第1の分析部及び前記第2の分析部のうちの他方に関連付けられた入力チャンネルからの追跡情報パラメータとを混合するときに前記追跡情報パラメータに適用される重みを定義する第1及び第2の分配値を動的に適用するステップと、
プロセッサが、前記分配値が適用された追跡情報パラメータに基づいて、1以上のユーザアクションにゲーム環境における少なくとも1つのアクションを関連付けるステップと、
前記プロセッサが、前記ゲーム環境における前記少なくとも1つのアクションを実行するステップと、を備え、
前記第1及び第2の入力装置は、画像取得装置、音響取得装置、及び慣性センサのグループから選択された2つの異なる種類の入力装置である
ことを特徴とする方法。
A method for analyzing game control input data, comprising:
A first analysis unit that acquires and analyzes input data associated with one or more user actions from a first input device, and an input associated with one or more user actions from a second input device and a second analysis unit for analyzing the data acquired, a step of acquiring an analysis input data,
The mixing unit is generated from input data acquired from the first analysis unit and / or the second analysis unit based on whether or not input data of the one or more input devices is within a predetermined range . each of the tracking information parameters, the first analyzer and the tracking information parameters from the input channel associated with one and the first analyzer and the second analyzer of the second analysis unit Dynamically applying first and second distribution values defining weights applied to said tracking information parameters when mixing with tracking information parameters from an input channel associated with the other of them;
A processor associating at least one action in the gaming environment with one or more user actions based on a tracking information parameter to which the distribution value is applied ;
The processor performing the at least one action in the gaming environment;
The method of claim 1, wherein the first and second input devices are two different types of input devices selected from the group of image acquisition devices, sound acquisition devices, and inertial sensors.
コンピュータに、
第1の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第1の分析部と、第2の入力装置から1以上のユーザアクションに関連付けられた入力データを取得して分析する第2の分析部とから、分析された入力データを取得するステップと、
1以上の前記入力装置の入力データが所定の範囲にあるか否かに基づいて、前記第1の分析部及び/又は前記第2の分析部から取得した入力データから生成した追跡情報パラメータのそれぞれに、前記第1の分析部及び前記第2の分析部のうちの一方に関連付けられた入力チャンネルからの追跡情報パラメータと前記第1の分析部及び前記第2の分析部のうちの他方に関連付けられた入力チャンネルからの追跡情報パラメータとを混合するときに前記追跡情報パラメータに適用される重みを定義する第1及び第2の分配値を動的に適用するステップと、
前記分配値が適用された追跡情報パラメータに基づいて、1以上のユーザアクションにゲーム環境における少なくとも1つのアクションを関連付けるステップと、
前記ゲーム環境における前記少なくとも1つのアクションを実行するステップと、を備え、
前記第1及び第2の入力装置は、画像取得装置、音響取得装置、及び慣性センサのグループから選択された2つの異なる種類の入力装置である
ことを特徴とする方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
On the computer,
A first analyzer that acquires and analyzes input data associated with one or more user actions from a first input device, and acquires input data associated with one or more user actions from a second input device Obtaining the analyzed input data from the second analysis unit for analyzing
Each of the tracking information parameters generated from the input data acquired from the first analysis unit and / or the second analysis unit based on whether or not the input data of the one or more input devices is within a predetermined range In addition, the tracking information parameter from the input channel associated with one of the first analysis unit and the second analysis unit is associated with the other of the first analysis unit and the second analysis unit. Dynamically applying first and second distribution values defining weights applied to said tracking information parameters when mixing with tracking information parameters from selected input channels;
On the basis of the distribution values are applied tracking information parameters, the one or more user actions, and associating at least one action in a game environment,
Performing the at least one action in the game environment;
The first and second input devices are two different types of input devices selected from the group of image acquisition devices, sound acquisition devices, and inertial sensors.
The computer-readable recording medium which recorded the program for performing the method characterized by the above-mentioned .
JP2012080329A 2006-05-04 2012-03-30 System and method for analyzing game control input data Active JP5145470B2 (en)

Applications Claiming Priority (54)

Application Number Priority Date Filing Date Title
US11/381,728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11/418,989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
US11/418,988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11/381,721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11/381,728 2006-05-04
US11/381,727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11/381,729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11/418,988 2006-05-04
US11/381,725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11/381,721 2006-05-04
US11/429,047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US11/381,729 2006-05-04
US11/429,414 US7627139B2 (en) 2002-07-27 2006-05-04 Computer image and audio processing of intensity and input devices for interfacing with a computer program
US11/429,414 2006-05-04
US11/429,047 2006-05-04
US11/381,727 2006-05-04
US11/381,724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11/381,724 2006-05-04
US11/418,989 2006-05-04
US11/429,133 2006-05-04
US11/429,133 US7760248B2 (en) 2002-07-27 2006-05-04 Selective sound source listening in conjunction with computer interactive processing
US11/381,725 2006-05-04
US79803106P 2006-05-06 2006-05-06
US11/382,036 US9474968B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to visual tracking
US11/382,038 US7352358B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to acoustical tracking
US29259349 2006-05-06
US11/382,038 2006-05-06
US29/259,349 2006-05-06
US11/382,037 2006-05-06
US11/382,032 US7850526B2 (en) 2002-07-27 2006-05-06 System for tracking user manipulations within an environment
US29/259,350 2006-05-06
US29/259,348 2006-05-06
US11/382,037 US8313380B2 (en) 2002-07-27 2006-05-06 Scheme for translating movements of a hand-held controller into inputs for a system
US11/382,033 2006-05-06
US29259348 2006-05-06
US11/382,031 US7918733B2 (en) 2002-07-27 2006-05-06 Multi-input game control mixer
US29/259,350 USD621836S1 (en) 2006-05-06 2006-05-06 Controller face with tracking sensors
US11/382,033 US8686939B2 (en) 2002-07-27 2006-05-06 System, method, and apparatus for three-dimensional input control
US11/382,035 2006-05-06
US60/798,031 2006-05-06
US11/382,032 2006-05-06
US11/382,034 US20060256081A1 (en) 2002-07-27 2006-05-06 Scheme for detecting and tracking user manipulation of a game controller body
US11/382,036 2006-05-06
US11/382,035 US8797260B2 (en) 2002-07-27 2006-05-06 Inertially trackable hand-held controller
US11/382,031 2006-05-06
US11/382,034 2006-05-06
US11/382,041 US7352359B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to inertial tracking
US11/382,039 US9393487B2 (en) 2002-07-27 2006-05-07 Method for mapping movements of a hand-held controller to game commands
US11/382,040 US7391409B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to multi-channel mixed input
US11/382,043 2006-05-07
US11/382,040 2006-05-07
US11/382,043 US20060264260A1 (en) 2002-07-27 2006-05-07 Detectable and trackable hand-held controller
US11/382,041 2006-05-07
US11/382,039 2006-05-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009509931A Division JP5219997B2 (en) 2006-05-04 2007-04-19 Multi-input game control mixer

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012257118A Division JP5638592B2 (en) 2006-05-04 2012-11-26 System and method for analyzing game control input data

Publications (2)

Publication Number Publication Date
JP2012166036A JP2012166036A (en) 2012-09-06
JP5145470B2 true JP5145470B2 (en) 2013-02-20

Family

ID=38668432

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2009509931A Active JP5219997B2 (en) 2006-05-04 2007-04-19 Multi-input game control mixer
JP2012080340A Active JP5668011B2 (en) 2006-05-04 2012-03-30 A system for tracking user actions in an environment
JP2012080329A Active JP5145470B2 (en) 2006-05-04 2012-03-30 System and method for analyzing game control input data
JP2012257118A Active JP5638592B2 (en) 2006-05-04 2012-11-26 System and method for analyzing game control input data

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009509931A Active JP5219997B2 (en) 2006-05-04 2007-04-19 Multi-input game control mixer
JP2012080340A Active JP5668011B2 (en) 2006-05-04 2012-03-30 A system for tracking user actions in an environment

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012257118A Active JP5638592B2 (en) 2006-05-04 2012-11-26 System and method for analyzing game control input data

Country Status (2)

Country Link
JP (4) JP5219997B2 (en)
WO (1) WO2007130791A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891663B2 (en) 1996-10-29 2014-11-18 Qualcomm Incorporated Method and apparatus for providing high speed data communications in a cellular environment

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
GB2458297B (en) * 2008-03-13 2012-12-12 Performance Designed Products Ltd Pointing device
CN112752922B (en) * 2018-05-09 2024-02-20 梦境沉浸股份有限公司 User selectable tool for optically tracking virtual reality systems
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682242A (en) * 1992-08-31 1994-03-22 Victor Co Of Japan Ltd Three-dimensional position/attitude detection method
JPH07284166A (en) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp Remote controller
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JPH11316646A (en) * 1998-05-01 1999-11-16 Nippon Telegr & Teleph Corp <Ntt> Virtual presence feeling method and system device
JPH11333139A (en) * 1998-05-26 1999-12-07 Fuji Electronics Co Ltd Moving image controlling device
JP2000259340A (en) * 1999-03-12 2000-09-22 Sony Corp Device and method for input, input system, and distribution medium
JP2001005600A (en) * 1999-06-24 2001-01-12 Nec Corp Handwritten input method and handwritten input device and recording medium recording program for allowing computer to realize handwritten input processing
US6426741B1 (en) * 1999-09-30 2002-07-30 Intel Corporation User input for a computer
JP3819416B2 (en) * 1999-10-04 2006-09-06 任天堂株式会社 GAME SYSTEM AND GAME INFORMATION STORAGE MEDIUM USED FOR THE SAME
US6699123B2 (en) * 1999-10-14 2004-03-02 Sony Computer Entertainment Inc. Entertainment system, entertainment apparatus, recording medium, and program
JP2001246161A (en) * 1999-12-31 2001-09-11 Square Co Ltd Device and method for game using gesture recognizing technic and recording medium storing program to realize the method
JP4027031B2 (en) * 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント Competitive 3D video game device
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2002306846A (en) * 2001-04-12 2002-10-22 Saibuaasu:Kk Controller for game machine
JP2002320772A (en) * 2001-04-25 2002-11-05 Pacific Century Cyberworks Japan Co Ltd Game device, its control method, recording medium, program and cellular phone
JP3470119B2 (en) * 2002-02-14 2003-11-25 コナミ株式会社 Controller, controller attitude telemetry device, and video game device
JP3841658B2 (en) * 2001-09-14 2006-11-01 株式会社タイトー Game machine
JP4028708B2 (en) * 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント GAME DEVICE AND GAME SYSTEM
JP3602519B2 (en) * 2002-07-12 2004-12-15 コナミ株式会社 Video game apparatus, image processing method, and program
JP2004302993A (en) * 2003-03-31 2004-10-28 Sony Corp Information input system and input device
US20040212589A1 (en) * 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP2005021563A (en) * 2003-07-01 2005-01-27 Namco Ltd Game device, program and information storage medium
JP2005021458A (en) * 2003-07-03 2005-01-27 Tamura Seisakusho Co Ltd Indicated position specifying device and method therefor, and image display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891663B2 (en) 1996-10-29 2014-11-18 Qualcomm Incorporated Method and apparatus for providing high speed data communications in a cellular environment

Also Published As

Publication number Publication date
JP2012166036A (en) 2012-09-06
WO2007130791A3 (en) 2008-11-13
JP5638592B2 (en) 2014-12-10
JP5219997B2 (en) 2013-06-26
WO2007130791A2 (en) 2007-11-15
JP2012164330A (en) 2012-08-30
JP5668011B2 (en) 2015-02-12
JP2013084281A (en) 2013-05-09
JP2009535172A (en) 2009-10-01

Similar Documents

Publication Publication Date Title
US9682320B2 (en) Inertially trackable hand-held controller
US8686939B2 (en) System, method, and apparatus for three-dimensional input control
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US8839279B2 (en) Gesture cataloging and recognition
JP2009535173A (en) Three-dimensional input control system, method, and apparatus
US7918733B2 (en) Multi-input game control mixer
US7850526B2 (en) System for tracking user manipulations within an environment
JP5726811B2 (en) Method and apparatus for use in determining lack of user activity, determining user activity level, and / or adding a new player to the system
JP5638592B2 (en) System and method for analyzing game control input data
KR101020510B1 (en) Multi-input game control mixer
EP2351604A2 (en) Obtaining input for controlling execution of a game program
KR101020509B1 (en) Obtaining input for controlling execution of a program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5145470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250