JP7260794B2

JP7260794B2 - Game system and game control method

Info

Publication number: JP7260794B2
Application number: JP2020169309A
Authority: JP
Inventors: 幹樹奥山; 一成津原; 大将田中; 里英北口; 哲木村; 智司川上
Original assignee: Capcom Co Ltd
Current assignee: Capcom Co Ltd
Priority date: 2020-10-06
Filing date: 2020-10-06
Publication date: 2023-04-19
Anticipated expiration: 2040-10-06
Also published as: JP2022061352A

Description

本発明は、ゲーム処理技術に関する。 The present invention relates to game processing technology.

ユーザによりプレイされるゲームは、視聴者に視聴される。例えば、特許文献１には、現実世界におけるゲームイベントの参加者に特典を付与する情報処理装置が開示されている。 A game played by a user is viewed by a viewer. For example, Patent Literature 1 discloses an information processing device that gives benefits to participants of a game event in the real world.

特許文献１の情報処理装置は、現実世界におけるユーザ主催のゲームイベントが開催されたことを示す証拠データを端末装置から取得する取得手段と、取得手段が取得した証拠データに基づいてゲームイベントの参加者に特典を付与する付与手段とを備える。 The information processing apparatus disclosed in Patent Document 1 includes acquisition means for acquiring, from a terminal device, evidence data indicating that a user-sponsored game event has been held in the real world, and participation in the game event based on the evidence data acquired by the acquisition means. and a granting means for granting a privilege to the person.

特開２０２０－１７１０３号公報Japanese Unexamined Patent Application Publication No. 2020-17103

しかしながら、特許文献１の装置では、ゲームの進行態様に対する視聴者の反応の度合いに応じてゲームに影響を与えることができない。そのため、ゲームに対する視聴者の盛り上がり度をゲームに反映させることができない。 However, the apparatus disclosed in Patent Literature 1 cannot affect the game according to the viewer's reaction to the progress of the game. Therefore, it is not possible to reflect the degree of excitement of the viewers to the game in the game.

本発明の目的は、ゲームの進行態様に対する視聴者の反応の度合いに応じてゲームに影響を与えることが可能なゲーム処理技術を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a game processing technique capable of influencing a game according to the viewer's reaction to the progress of the game.

第１の態様は、ユーザの操作に応答して仮想空間内において進行するゲームおよび前記ゲームをプレイする前記ユーザの少なくとも一方を視聴者に視聴させるゲームシステムであって、
前記視聴者の音声と表情と体動の少なくとも１つに基づいて、前記ゲームの進行態様に対する前記視聴者の反応の度合いを推定する推定部と、
前記推定部による推定結果に応じて前記ゲームに影響を与える進行制御部とを備える。 A first aspect is a game system that allows a viewer to view at least one of a game progressing in a virtual space in response to a user's operation and the user playing the game,
an estimating unit for estimating the degree of the viewer's reaction to the progress of the game based on at least one of the viewer's voice, facial expression, and body movement;
and a progress control unit that affects the game according to the estimation result of the estimation unit.

また、第１の態様において、
前記進行制御部は、前記推定部による推定結果に応じて、前記ゲームにおいて前記ユーザが有利または不利になるように、前記ゲームに影響を与える、ようにしてもよい。 Moreover, in the first aspect,
The progress control unit may influence the game so that the user is advantageous or disadvantageous in the game according to the estimation result by the estimation unit.

また、第１の態様において、
前記進行制御部は、前記推定部により推定された前記ゲームの進行態様に対する前記視聴者の反応の度合いが高くなるほど、前記ゲームにおいて前記ユーザが有利または不利な度合いが高くなるように、前記ゲームに影響を与える、ようにしてもよい。
ことを特徴とするゲームシステム。 Moreover, in the first aspect,
The progression control unit controls the game so that the higher the degree of reaction of the viewer to the progress mode of the game estimated by the estimation unit, the higher the degree of advantage or disadvantage for the user in the game. You can influence it.
A game system characterized by

また、第１の態様において、
前記ゲームは、前記仮想空間において前記ユーザの操作によりプレイヤキャラクタと他キャラクタとが対戦する対戦ゲームであり、
前記進行制御部は、前記推定部による推定結果に応じて、前記ゲームにおいて前記ユーザが有利または不利になるように、前記プレイヤキャラクタおよび前記他キャラクタの少なくとも一方のゲームパラメータを調節する、ようにしてもよい。 Moreover, in the first aspect,
The game is a battle game in which a player character and another character compete against each other in the virtual space according to the operation of the user,
The progress control unit adjusts a game parameter of at least one of the player character and the other character so that the user is advantageous or disadvantageous in the game according to the estimation result by the estimation unit. good too.

また、第１の態様において、
前記進行制御部は、前記推定部による推定結果に応じて、前記ゲームにおける前記ユーザの勝敗に影響を与える、ようにしてもよい。 Moreover, in the first aspect,
The progress control section may influence the win or loss of the user in the game according to the estimation result by the estimation section.

また、第１の態様において、
前記推定部は、前記ゲームの進行態様に対する前記視聴者のポジティブな反応の度合いであるポジティブ度、および、前記ゲームの進行態様に対する前記視聴者のネガティブな反応の度合いであるネガティブ度の少なくとも一方を推定する、ようにしてもよい。 Moreover, in the first aspect,
The estimating unit calculates at least one of a positivity level, which is the degree of the viewer's positive reaction to the progress of the game, and a negative level, which is the degree of the viewer's negative reaction to the progress of the game. You can guess.

また、第１の態様において、
前記推定部は、前記視聴者の音声を含む音の周波数成分のうち、前記ゲームの進行態様に対する前記会場内視聴者の反応と相関のある周波数成分に基づいて、前記ゲームの進行態様に対する前記視聴者の反応の度合いを推定する、ようにしてもよい。 Moreover, in the first aspect,
The estimating unit estimates the viewing of the progress of the game based on the frequency components of the sound including the voice of the viewer that are correlated with the reactions of the viewers in the venue to the progress of the game. Alternatively, the degree of reaction of the person may be estimated.

また、第１の態様において、
前記視聴者は、前記ゲームの映像および前記ゲームをプレイする前記ユーザの映像の少なくとも一方を表示する表示装置が存在する会場において、前記ゲームおよび前記ユーザの少なくとも一方を視聴する会場内視聴者を含む、ようにしてもよい。 Moreover, in the first aspect,
The viewers include in-venue viewers who view at least one of the game and the user at a venue where a display device for displaying at least one of the video of the game and the video of the user playing the game is present. , may be

また、第１の態様において、
前記視聴者は、前記ゲームの映像および前記ゲームをプレイする前記ユーザの映像の少なくとも一方を表示する表示部を有する情報端末を用いて、前記ゲームおよび前記ユーザの少なくとも一方を視聴するオンライン視聴者を含む、ようにしてもよい。 Moreover, in the first aspect,
The viewer is an online viewer who views at least one of the game and the user using an information terminal having a display unit that displays at least one of the video of the game and the video of the user playing the game. may contain.

また、第１の態様において、
前記ゲームの進行に対する視聴者の反応には、前記ゲームにおいて行われる前記ユーザに対する前記視聴者の反応が含まれる、ようにしてもよい。 Moreover, in the first aspect,
The viewer's reaction to the progress of the game may include the viewer's reaction to the user performed in the game.

第２の態様は、ユーザの操作に応答して仮想空間内において進行するゲームおよび前記ゲームをプレイする前記ユーザの少なくとも一方を視聴者に視聴させるゲームシステムにおいてコンピュータにより前記ゲームを制御するゲーム制御方法であって、
前記コンピュータにより、前記視聴者の音声と表情と体動の少なくとも１つに基づいて、前記ゲームの進行態様に対する前記視聴者の反応の度合いを推定し、
前記コンピュータにより、前記推定の結果に応じて、前記ゲームに影響を与える。 A second aspect is a game control method for controlling a game by a computer in a game system in which a viewer views at least one of a game progressing in a virtual space in response to a user's operation and the user playing the game. and
estimating the degree of the viewer's reaction to the progress of the game by the computer based on at least one of the viewer's voice, facial expression, and body movement;
The computer affects the game according to the result of the estimation.

本発明によれば、ゲームの進行態様に対する視聴者の反応の度合いに応じてゲームに影響を与えることができる。 According to the present invention, it is possible to influence the game according to the viewer's reaction to the progress of the game.

ユーザがゲームをプレイする会場を例示する概略図である。1 is a schematic diagram illustrating a venue where users play games; FIG. ゲームおよびユーザの映像が表示された情報端末を例示する概略図である。1 is a schematic diagram illustrating an information terminal on which images of a game and a user are displayed; FIG. 実施形態１のゲームシステムの構成を例示するブロック図である。1 is a block diagram illustrating the configuration of the game system of Embodiment 1; FIG. ゲーム装置の構成を例示するブロック図である。1 is a block diagram illustrating the configuration of a game device; FIG. 会場管理装置の構成を例示するブロック図である。2 is a block diagram illustrating the configuration of a venue management device; FIG. 情報端末の構成を例示するブロック図である。1 is a block diagram illustrating the configuration of an information terminal; FIG. キャラクタの能力値を示す能力値情報の一例を示す図である。FIG. 4 is a diagram showing an example of ability value information indicating character ability values; 実施形態１の進行制御処理の流れを例示する概念図である。4 is a conceptual diagram illustrating the flow of progress control processing according to the first embodiment; FIG. 実施形態１の推定処理を例示するフローチャートである。5 is a flowchart illustrating estimation processing according to the first embodiment; 実施形態１の影響付与処理を例示するフローチャートである。4 is a flowchart illustrating influence imparting processing according to the first embodiment; 実施形態２の進行制御処理の流れを例示する概念図である。FIG. 11 is a conceptual diagram illustrating the flow of progress control processing according to the second embodiment;

以下、図面を参照して実施の形態を詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。 Hereinafter, embodiments will be described in detail with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings, and the description thereof will not be repeated.

（ゲームの説明）
以下の説明における「ゲーム」は、ユーザの操作に応答して仮想空間内において進行するゲーム（ビデオゲーム）である。このようなゲームの例としては、仮想空間においてユーザの操作によりプレイヤキャラクタと他キャラクタとが対戦する対戦ゲームが挙げられる。他キャラクタの例としては、他のユーザにより操作される他のプレイヤキャラクタ、コンピュータにより操作されるノンプレイヤキャラクタが挙げられる。 (game description)
A "game" in the following description is a game (video game) that progresses in a virtual space in response to user's operations. An example of such a game is a battle game in which a player character and another character compete against each other in a virtual space by user's operation. Examples of other characters include other player characters operated by other users and non-player characters operated by a computer.

また、対戦ゲームの例としては、２つのキャラクタが格闘を行う格闘ゲームが挙げられる。格闘ゲームでは、２つのキャラクタのいずれかの体力値がゼロになることで勝敗が決定する。 An example of a fighting game is a fighting game in which two characters fight. In a fighting game, winning or losing is determined when the physical strength value of one of the two characters reaches zero.

以下の説明では、図１に示すように、現実世界にある会場内において２人のユーザが格闘ゲームをプレイし、そのゲームの映像およびそのゲームをプレイするユーザの映像が会場内視聴者およびオンライン視聴者に視聴される場合を例に挙げる。このような会場の例としては、ｅスポーツ（Electronic Sports）の大会が行われる会場が挙げられる。以下では、ユーザＡによりキャラクタＡが操作され、ユーザＢによりキャラクタＢが操作される。 In the following description, as shown in FIG. 1, two users play a fighting game in a venue in the real world. A case in which the content is viewed by a viewer will be taken as an example. Examples of such venues include venues where e-sports (Electronic Sports) competitions are held. Below, character A is operated by user A, and character B is operated by user B.

なお、会場内視聴者は、会場内でゲームを観戦する視聴者のことである。オンライン視聴者は、オンラインでゲームを観戦する視聴者のことである。図１に示すように、会場内視聴者は、会場に設けられたディスプレイ３１に表示されたゲームの映像およびユーザの映像を視聴する。図２に示すように、オンライン視聴者は、情報端末４０に表示されたゲームの映像およびユーザの映像を視聴する。会場内視聴者およびオンライン視聴者は、ゲームおよびユーザを視聴する。 The in-venue viewers are viewers who watch the game in the venue. An online viewer is a viewer who watches the game online. As shown in FIG. 1, viewers in the hall watch the video of the game and the video of the user displayed on the display 31 provided in the hall. As shown in FIG. 2, the online viewer views the video of the game and the video of the user displayed on the information terminal 40 . In-venue viewers and online viewers watch games and users.

（実施形態１）
図３は、実施形態１のゲームシステム１の構成を例示する。ゲームシステム１は、サーバ装置１０と、ゲーム装置２０と、会場管理装置３０と、情報端末４０とを備える。ゲームシステム１では、サーバ装置１０とゲーム装置２０と会場管理装置３０と情報端末４０とが通信ネットワーク５を介して通信可能に接続される。通信ネットワーク５の例としては、インターネット、ＬＡＮなどが挙げられる。この例では、ゲームシステム１には、複数のオンライン視聴者により利用される複数の情報端末４０が含まれる。 (Embodiment 1)
FIG. 3 illustrates the configuration of the game system 1 of the first embodiment. The game system 1 includes a server device 10 , a game device 20 , a venue management device 30 and an information terminal 40 . In the game system 1 , a server device 10 , a game device 20 , a venue management device 30 and an information terminal 40 are communicably connected via a communication network 5 . Examples of the communication network 5 include the Internet and LAN. In this example, the game system 1 includes multiple information terminals 40 used by multiple online viewers.

〔ゲームシステムの概要〕
サーバ装置１０は、ゲーム装置２０と会場管理装置３０と情報端末４０とを管理する。 [Outline of game system]
The server device 10 manages the game device 20 , the venue management device 30 and the information terminal 40 .

サーバ装置１０は、通信ネットワーク５を介してゲーム装置２０と通信する。例えば、サーバ装置１０は、ゲームを実行するためのゲームプログラムおよびゲームデータを送信する。ゲーム装置２０は、サーバ装置１０から通信ネットワーク５を介してゲームプログラムおよびゲームデータを受信（ダウンロード）してインストールする。 Server device 10 communicates with game device 20 via communication network 5 . For example, server device 10 transmits a game program and game data for executing a game. The game device 20 receives (downloads) the game program and game data from the server device 10 via the communication network 5 and installs them.

ゲーム装置２０は、ユーザに使用され、ユーザの操作に応答してゲームを実行する。例えば、ゲーム装置２０は、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、Nintendo Switch（登録商標）などの、市販の装置である。 The game device 20 is used by a user and executes a game in response to user's operation. For example, the game device 20 is a commercially available device such as a personal computer, PlayStation (registered trademark), XBox (registered trademark), or Nintendo Switch (registered trademark).

ゲーム装置２０には、ディスプレイ２１と、スピーカ２２と、ゲームコントローラ２３と、カメラ２４とが接続される。ディスプレイ２１とスピーカ２２は、画像（映像）および音声をユーザに提供する。ゲームコントローラ２３には、ユーザの操作が入力される。カメラ２４は、ユーザを撮影する。これにより、ユーザの映像を示すカメラデータが得られる。 A display 21 , a speaker 22 , a game controller 23 and a camera 24 are connected to the game device 20 . The display 21 and speaker 22 provide images (video) and audio to the user. A user's operation is input to the game controller 23 . Camera 24 photographs the user. As a result, camera data representing the user's video is obtained.

この例では、ゲーム装置２０は、会場に設けられる。会場内には、複数の会場内視聴者が存在する。ゲーム装置２０には、ディスプレイ２１とスピーカ２２とゲームコントローラ２３とカメラ２４とのセットが２つ接続される。２つのセットの一方は、ユーザＡのために設けられ、他方は、ユーザＢのために設けられる。 In this example, the game device 20 is provided at the venue. A plurality of in-venue viewers exist in the hall. Two sets of a display 21 , a speaker 22 , a game controller 23 and a camera 24 are connected to the game device 20 . One of the two sets is provided for user A and the other for user B.

会場管理装置３０は、会場に設けられる。会場管理装置３０は、ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方（この例では両方）を会場内観客に提供する。 The venue management device 30 is provided at the venue. Venue management device 30 provides the spectators in the venue with at least one of the video of the game and the video of the user playing the game (both in this example).

会場管理装置３０には、ディスプレイ３１と、スピーカ３２と、マイクロフォン３３と、カメラ３４とが接続される。ディスプレイ３１およびスピーカ３２は、画像（映像）および音声を会場内視聴者に提供する。マイクロフォン３３は、会場内の音を電気信号に変換する。これにより、会場内の音を示すマイクデータが生成される。カメラ３４は、会場内視聴者を撮影する。これにより、会場内視聴者を含む映像を示すカメラデータが生成される。なお、ディスプレイ３１は、会場に存在する表示装置の一例である。 A display 31 , a speaker 32 , a microphone 33 , and a camera 34 are connected to the venue management device 30 . The display 31 and the speaker 32 provide images (video) and audio to viewers in the venue. A microphone 33 converts the sound in the venue into an electric signal. As a result, microphone data representing the sound in the venue is generated. A camera 34 photographs viewers in the hall. As a result, camera data showing an image including viewers in the venue is generated. Note that the display 31 is an example of a display device present at the venue.

情報端末４０は、オンライン視聴者に使用され、ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方（この例では両方）をオンライン観客に提供する。 The information terminal 40 is used by the online viewers to provide at least one of the video of the game and the video of the user playing the game (both in this example) to the online viewers.

〔サーバ装置のハードウェア構成〕
図３に示すように、サーバ装置１０は、ネットワークインターフェース１０１と、記憶部１０２と、制御部１０３とを備える。ネットワークインターフェース１０１と記憶部１０２は、バス１０４を介して制御部１０３と電気的に接続される。 [Hardware configuration of server device]
As shown in FIG. 3, the server device 10 includes a network interface 101, a storage unit 102, and a control unit 103. Network interface 101 and storage unit 102 are electrically connected to control unit 103 via bus 104 .

ネットワークインターフェース１０１は、通信ネットワーク５を介してゲームシステム１の構成要素（この例ではゲーム装置２０と会場管理装置３０と情報端末４０）と通信可能に接続される。 The network interface 101 is communicably connected to the components of the game system 1 (the game device 20, the venue management device 30, and the information terminal 40 in this example) via the communication network 5. FIG.

記憶部１０２は、各種の情報およびデータを記憶する。記憶部１０２は、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭなどで構成される。例えば、記憶部１０２は、ゲームを実行するためのゲームプログラムおよびゲームデータ、視聴処理を実行するためのプログラムおよびデータなどを記憶する。なお、視聴処理は、ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方（この例では両方）を視聴者に提供する処理のことである。 The storage unit 102 stores various information and data. The storage unit 102 is composed of an HDD, SSD, RAM, ROM, and the like. For example, the storage unit 102 stores a game program and game data for executing a game, a program and data for executing viewing processing, and the like. The viewing process is a process of providing the viewer with at least one of the video of the game and the video of the user playing the game (both in this example).

制御部１０３は、サーバ装置１０の動作を制御する。制御部１０３は、各種の情報およびデータを送受信し、各種の情報およびデータを処理する。制御部１０３は、ＣＰＵ（マイクロコンピュータ）と半導体メモリとを有する。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納される。 The control unit 103 controls operations of the server device 10 . The control unit 103 transmits and receives various information and data, and processes various information and data. The control unit 103 has a CPU (microcomputer) and a semiconductor memory. The semiconductor memory stores programs and the like for operating the CPU.

〔ゲーム装置のハードウェア構成〕
図４に示すように、ゲーム装置２０は、ネットワークインターフェース２０１と、グラフィック処理部２０２と、オーディオ処理部２０３と、操作処理部２０４と、カメラデータ処理部２０５と、記憶部２０６と、制御部２０７とを備える。ネットワークインターフェース２０１とグラフィック処理部２０２とオーディオ処理部２０３と操作処理部２０４とカメラデータ処理部２０５と記憶部２０６は、バス２０８を介して制御部２０７と電気的に接続される。 [Hardware Configuration of Game Device]
As shown in FIG. 4, the game device 20 includes a network interface 201, a graphics processing unit 202, an audio processing unit 203, an operation processing unit 204, a camera data processing unit 205, a storage unit 206, and a control unit 207. and The network interface 201 , the graphics processing unit 202 , the audio processing unit 203 , the operation processing unit 204 , the camera data processing unit 205 and the storage unit 206 are electrically connected to the control unit 207 via the bus 208 .

ネットワークインターフェース２０１は、通信ネットワーク５を介してゲームシステム１の構成要素（例えばサーバ装置１０など）と通信可能に接続される。 The network interface 201 is communicably connected to components of the game system 1 (for example, the server device 10 and the like) via the communication network 5 .

グラフィック処理部２０２には、ディスプレイ２１が接続される。グラフィック処理部２０２は、制御部２０７から出力されるゲーム画像情報に従って、仮想空間に関する各種オブジェクションを含むゲーム画像を、動画形式で描画する。動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ２１に表示される。 A display 21 is connected to the graphics processing unit 202 . The graphics processing unit 202 draws a game image including various objections related to the virtual space in a moving image format according to the game image information output from the control unit 207 . A game image drawn in a moving image format is displayed on the display 21 as a game screen.

オーディオ処理部２０３には、スピーカ２２が接続される。オーディオ処理部２０３は、制御部２０７の指示に従って、ゲーム音声を再生および合成する。オーディオ処理部２０３により再生および合成されたゲーム音声は、スピーカ２２から出力される。 A speaker 22 is connected to the audio processing unit 203 . The audio processing unit 203 reproduces and synthesizes game sounds according to instructions from the control unit 207 . A game sound reproduced and synthesized by the audio processing unit 203 is output from the speaker 22 .

操作処理部２０４には、ゲームコントローラ２３が接続される。操作処理部２０４は、操作入力に関するデータをゲームコントローラ２３との間で送受信する。そして、操作処理部２０４は、ゲームコントローラ２３に入力された操作を示す操作情報を制御部２０７に送信する。 A game controller 23 is connected to the operation processing unit 204 . The operation processing unit 204 transmits and receives data regarding operation input to and from the game controller 23 . The operation processing unit 204 then transmits operation information indicating the operation input to the game controller 23 to the control unit 207 .

カメラデータ処理部２０５には、カメラ２４が接続される。カメラデータ処理部２０５は、カメラ２４により得られたカメラデータを受信し、そのカメラデータを制御部２０７に送信する。 The camera 24 is connected to the camera data processing unit 205 . A camera data processing unit 205 receives camera data obtained by the camera 24 and transmits the camera data to the control unit 207 .

記憶部２０６は、各種の情報およびデータを記憶する。記憶部２０６は、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭなどで構成される。例えば、記憶部２０６は、ゲームを実行するためのゲームプログラムおよびゲームデータを記憶する。 The storage unit 206 stores various information and data. The storage unit 206 is configured with an HDD, SSD, RAM, ROM, and the like. For example, storage unit 206 stores a game program and game data for executing a game.

制御部２０７は、ゲーム装置２０の動作を制御する。制御部２０７は、各種の情報およびデータを送受信し、各種の情報およびデータを処理する。制御部２０７は、ＣＰＵ（マイクロコンピュータ）と半導体メモリとを有する。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納される。 The control unit 207 controls operations of the game device 20 . The control unit 207 transmits and receives various information and data, and processes various information and data. The control unit 207 has a CPU (microcomputer) and a semiconductor memory. The semiconductor memory stores programs and the like for operating the CPU.

〔会場管理装置のハードウェア構成〕
図５に示すように、会場管理装置３０は、ネットワークインターフェース３０１と、グラフィック処理部３０２と、オーディオ処理部３０３と、マイクデータ処理部３０４と、カメラデータ処理部３０５と、記憶部３０６と、制御部３０７とを備える。ネットワークインターフェース３０１とグラフィック処理部３０２とオーディオ処理部３０３とマイクデータ処理部３０４とカメラデータ処理部３０５と記憶部３０６は、バス３０８を介して制御部３０７と電気的に接続される。 [Hardware configuration of venue management device]
As shown in FIG. 5, the venue management device 30 includes a network interface 301, a graphics processing unit 302, an audio processing unit 303, a microphone data processing unit 304, a camera data processing unit 305, a storage unit 306, and a control unit. 307. The network interface 301 , the graphics processing unit 302 , the audio processing unit 303 , the microphone data processing unit 304 , the camera data processing unit 305 and the storage unit 306 are electrically connected to the control unit 307 via the bus 308 .

ネットワークインターフェース３０１は、通信ネットワーク５を介してゲームシステム１の構成要素（例えばサーバ装置１０など）と通信可能に接続される。 The network interface 301 is communicably connected to components of the game system 1 (for example, the server device 10 and the like) via the communication network 5 .

グラフィック処理部３０２には、ディスプレイ３１が接続される。グラフィック処理部３０２は、制御部３０７から出力される各種画像情報に従って、各種画像をディスプレイ３１に出力（表示）させる。 A display 31 is connected to the graphics processing unit 302 . The graphics processing unit 302 causes the display 31 to output (display) various images according to various image information output from the control unit 307 .

オーディオ処理部３０３には、スピーカ３２が接続される。オーディオ処理部３０３は、制御部３０７から出力される各種音声情報に従って、各種音声をスピーカ３２に出力（再生）させる。 A speaker 32 is connected to the audio processing unit 303 . The audio processing unit 303 causes the speaker 32 to output (reproduce) various sounds according to various sound information output from the control unit 307 .

マイクデータ処理部３０４には、マイクロフォン３３が接続される。マイクデータ処理部３０４は、マイクロフォン３３により得られたマイクデータを受信し、そのマイクデータを制御部３０７に送信する。 A microphone 33 is connected to the microphone data processing unit 304 . A microphone data processing unit 304 receives microphone data obtained by the microphone 33 and transmits the microphone data to the control unit 307 .

カメラデータ処理部３０５には、カメラ３４が接続される。カメラデータ処理部３０５は、カメラ３４により得られたカメラデータを受信し、そのカメラデータを制御部３０７に送信する。 The camera 34 is connected to the camera data processing unit 305 . A camera data processing unit 305 receives camera data obtained by the camera 34 and transmits the camera data to the control unit 307 .

記憶部３０６は、各種の情報およびデータを記憶する。記憶部３０６は、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭなどで構成される。例えば、記憶部３０６は、視聴処理（ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方を視聴者に提供する処理）を実行するためのプログラムおよびデータを記憶する。 The storage unit 306 stores various information and data. The storage unit 306 is configured with an HDD, SSD, RAM, ROM, and the like. For example, the storage unit 306 stores a program and data for executing viewing processing (processing for providing at least one of the video of the game and the video of the user playing the game to the viewer).

制御部３０７は、会場管理装置３０の動作を制御する。制御部３０７は、各種の情報およびデータを送受信し、各種の情報およびデータを処理する。制御部３０７は、ＣＰＵ（マイクロコンピュータ）と半導体メモリとを有する。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納される。 The control unit 307 controls operations of the venue management device 30 . The control unit 307 transmits and receives various information and data, and processes various information and data. The control unit 307 has a CPU (microcomputer) and a semiconductor memory. The semiconductor memory stores programs and the like for operating the CPU.

〔情報端末のハードウェア構成〕
図６に示すように、情報端末４０には、ディスプレイ４１と、スピーカ４２と、タッチパッド４３と、マイクロフォン４４とカメラ４５とが設けられる。ディスプレイ４１およびスピーカ４２は、画像（映像）および音声をオンライン視聴者に提供する。タッチパッド４３には、オンライン視聴者の操作が入力される。 [Hardware configuration of information terminal]
As shown in FIG. 6, the information terminal 40 is provided with a display 41 , a speaker 42 , a touch pad 43 , a microphone 44 and a camera 45 . A display 41 and speakers 42 provide images (video) and audio to online viewers. An online viewer's operation is input to the touch pad 43 .

マイクロフォン４４は、情報端末４０の周囲の音を電気信号に変換する。これにより、情報端末４０の周囲の音を示すマイクデータが生成される。カメラ４５は、情報端末４０の周囲（例えば情報端末４０を操作するオンライン視聴者を含む範囲）を撮像する。これにより、情報端末４０の周囲の映像を示すカメラデータが生成される。 The microphone 44 converts sounds around the information terminal 40 into electric signals. As a result, microphone data representing sounds around the information terminal 40 is generated. The camera 45 captures an image of the surroundings of the information terminal 40 (for example, a range including an online viewer who operates the information terminal 40). As a result, camera data showing an image around the information terminal 40 is generated.

図２に示すように、この例では、情報端末４０は、スマートフォンである。ディスプレイ４１およびタッチパッド４３は、タッチパネルを構成している。なお、ディスプレイ４１およびタッチパッド４３は、情報端末４０の表示部および操作部の一例である。 As shown in FIG. 2, in this example, the information terminal 40 is a smart phone. The display 41 and the touch pad 43 constitute a touch panel. Note that the display 41 and the touch pad 43 are examples of a display unit and an operation unit of the information terminal 40 .

図６に示すように、情報端末４０は、ネットワークインターフェース４０１と、グラフィック処理部４０２と、オーディオ処理部４０３と、操作処理部４０４と、マイクデータ処理部４０５と、カメラデータ処理部４０６と、記憶部４０７と、制御部４０８とを備える。ネットワークインターフェース４０１とグラフィック処理部４０２とオーディオ処理部４０３と操作処理部４０４とマイクデータ処理部４０５とカメラデータ処理部４０６と記憶部４０７は、バス４０９を介して制御部４０８に電気的に接続される。 As shown in FIG. 6, the information terminal 40 includes a network interface 401, a graphics processing unit 402, an audio processing unit 403, an operation processing unit 404, a microphone data processing unit 405, a camera data processing unit 406, and a storage unit. A unit 407 and a control unit 408 are provided. Network interface 401 , graphics processing unit 402 , audio processing unit 403 , operation processing unit 404 , microphone data processing unit 405 , camera data processing unit 406 and storage unit 407 are electrically connected to control unit 408 via bus 409 . be.

ネットワークインターフェース４０１は、通信ネットワーク５を介してゲームシステム１の構成要素（例えばサーバ装置１０など）と通信可能に接続される。 The network interface 401 is communicably connected to components of the game system 1 (for example, the server device 10 and the like) via the communication network 5 .

グラフィック処理部４０２には、ディスプレイ４１が接続される。グラフィック処理部４０２は、制御部４０８から出力される各種画像情報に従って、各種画像をディスプレイ４１に出力（表示）させる。 A display 41 is connected to the graphics processing unit 402 . The graphics processing unit 402 causes the display 41 to output (display) various images according to various image information output from the control unit 408 .

オーディオ処理部４０３には、スピーカ４２が接続される。オーディオ処理部４０３は、制御部４０８から出力される各種音声情報に従って、各種音声をスピーカ４２に出力（再生）させる。 A speaker 42 is connected to the audio processing unit 403 . The audio processing unit 403 causes the speaker 42 to output (reproduce) various sounds according to various sound information output from the control unit 408 .

操作処理部４０４には、タッチパッド４３が接続される。操作処理部４０４は、タッチパッド４３に入力された操作を示す操作情報を制御部４０８に送信する。この例では、オンライン視聴者が「コメントを入力するための操作」をタッチパッド４３に入力すると、操作処理部４０４は、その操作により入力されたコメントを示すコメント情報を制御部４０８に送信する。 A touch pad 43 is connected to the operation processing unit 404 . The operation processing unit 404 transmits operation information indicating the operation input to the touch pad 43 to the control unit 408 . In this example, when the online viewer inputs “operation for inputting a comment” to the touch pad 43 , the operation processing unit 404 transmits comment information indicating the comment input by the operation to the control unit 408 .

なお、コメント情報に示されるコメント（オンライン視聴者により作成されるコメント）には、ゲームの進行態様に対するオンライン視聴者の反応が表現される。コメント情報は、ゲームの進行態様に対するオンライン視聴者の反応を表現する視聴者反応情報の一例である。 The comments (comments made by the online viewers) indicated in the comment information express reactions of the online viewers to the mode of progress of the game. The comment information is an example of viewer reaction information that expresses reactions of online viewers to the progress of the game.

マイクデータ処理部４０５には、マイクロフォン４４が接続される。マイクデータ処理部４０５は、マイクロフォン４４により得られたマイクデータを受信し、そのマイクデータを制御部４０８に送信する。 A microphone 44 is connected to the microphone data processing unit 405 . A microphone data processing unit 405 receives microphone data obtained by the microphone 44 and transmits the microphone data to the control unit 408 .

カメラデータ処理部４０６には、カメラ４５が接続される。カメラデータ処理部４０６は、カメラ４５により得られたカメラデータを受信し、そのカメラデータを制御部４０８に送信する。 A camera 45 is connected to the camera data processing unit 406 . The camera data processing unit 406 receives camera data obtained by the camera 45 and transmits the camera data to the control unit 408 .

記憶部４０７は、各種の情報およびデータを記憶する。記憶部４０７は、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭなどで構成される。例えば、記憶部４０７は、視聴処理（ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方を視聴者に提供する処理）を実行するためのプログラムおよびデータを記憶する。 The storage unit 407 stores various information and data. The storage unit 407 is configured with an HDD, SSD, RAM, ROM, and the like. For example, the storage unit 407 stores a program and data for executing viewing processing (processing for providing at least one of the video of the game and the video of the user playing the game to the viewer).

制御部４０８は、情報端末４０の動作を制御する。制御部４０８は、各種の情報およびデータを送受信し、各種の情報およびデータを処理する。制御部４０８は、ＣＰＵ（マイクロコンピュータ）と半導体メモリとを有する。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納される。 The control unit 408 controls operations of the information terminal 40 . The control unit 408 transmits and receives various information and data, and processes various information and data. The control unit 408 has a CPU (microcomputer) and a semiconductor memory. The semiconductor memory stores programs and the like for operating the CPU.

〔ゲームの進行態様に対する視聴者の反応〕
視聴者は、ゲームの進行態様に対して反応を示す。ゲームの進行態様に対する視聴者の反応には、進行中のゲームにおいて行われるユーザに対する視聴者の反応、進行中のゲームにおいて行われるプレイヤキャラクタ（ユーザにより操作されるキャラクタ）の動作に対する視聴者の反応などが含まれる。ユーザに対する視聴者の反応には、ユーザの操作に対する視聴者の反応、ユーザ自身の挙動に対する視聴者の反応などが含まれる。 [Audience reaction to game progress]
The viewer reacts to the progress of the game. The viewer's reaction to the progress of the game includes the viewer's reaction to the user in the game in progress, and the viewer's reaction to the action of the player character (character operated by the user) in the game in progress. and so on. The viewer's reaction to the user includes the viewer's reaction to the user's operation, the viewer's reaction to the user's own behavior, and the like.

また、ゲームの進行態様に対する視聴者の反応には、ポジティブな反応と、ネガティブな反応とが含まれる。ポジティブな反応には、賞賛、応援、ポジティブな感情などが含まれる。ポジティブな感情には、喜び、楽しみなどが含まれる。ネガティブな反応には、ブーイング、野次、ネガティブな感情などが含まれる。ネガティブな感情には、怒り、哀しみなどが含まれる。 In addition, viewer reactions to the progress of the game include positive reactions and negative reactions. Positive responses include admiration, cheering, and positive emotions. Positive emotions include joy, enjoyment, and the like. Negative reactions include booing, jeering, and negative emotions. Negative emotions include anger, sadness, etc.

〈視聴者の音声〉
ゲームの進行態様に対する視聴者の反応は、視聴者の音声に現れる傾向にある。視聴者の音声を含む音の周波数成分には、ゲームの進行態様に対する視聴者の反応と相関のある周波数成分が含まれる。また、ゲームの進行態様に対する視聴者の反応の度合いが高くなるほど、その視聴者の反応と相関のある周波数成分の振幅が大きくなる傾向にある。したがって、視聴者の音声を含む音の周波数成分を解析し、その解析結果に基づいてゲームの進行態様に対する視聴者の反応の度合いを推定することが可能である。 <audience of audience>
The viewer's reaction to the progress of the game tends to appear in the viewer's voice. The frequency components of the sound including the viewer's voice include frequency components that are correlated with the viewer's reaction to the progress of the game. Also, the higher the viewer's reaction to the progress of the game, the greater the amplitude of the frequency component correlated with the viewer's reaction. Therefore, it is possible to analyze the frequency components of sounds including the viewer's voice and estimate the degree of viewer's reaction to the progress of the game based on the analysis results.

なお、会場内視聴者が存在する会場内の音には、会場内視聴者の音声が含まれる。会場内視聴者の音声を含む音の周波数成分には、ゲームの進行態様に対する会場内視聴者の反応と相関のある周波数成分が含まれる。これと同様に、オンライン視聴者により使用される情報端末４０の周囲の音には、オンライン視聴者の音声が含まれる。オンライン視聴者の音声を含む音の周波数成分には、ゲームの進行態様に対するオンライン視聴者の反応と相関のある周波数成分が含まれる。 The sound in the venue where the audience in the venue is present includes the voice of the audience in the venue. The frequency components of the sound including the voices of the viewers in the venue include frequency components that are correlated with the reaction of the viewers in the venue to the progress of the game. Similarly, the ambient sound of the information terminal 40 used by the online viewer includes the voice of the online viewer. The frequency components of the sound containing the voice of the online viewer include frequency components that are correlated with the online viewer's reaction to the progress of the game.

また、ゲームの進行態様に対する視聴者の反応と相関のある周波数成分は、実験などにより予め特定しておくことが可能である。例えば、視聴者の反応の種類（賞賛、応援、ポジティブな感情、ブーイング、野次、ネガティブな感情など）毎に、その種類の反応と相関のある周波数成分の周波数帯域を個別に設定することが可能である。 Moreover, it is possible to specify in advance, through experiments or the like, frequency components that are correlated with viewers' reactions to the mode of progress of the game. For example, for each type of viewer reaction (praise, cheering, positive emotion, booing, jeering, negative emotion, etc.), it is possible to individually set the frequency band of frequency components that are correlated with that type of reaction. is.

〈視聴者の表情〉
ゲームの進行態様に対する視聴者の反応は、視聴者の表情に現れる傾向にある。また、ゲームの進行態様に対する視聴者の反応の度合いが高くなるほど、その視聴者の反応と相関のある表情が強くなる傾向にある。したがって、視聴者の顔を含む映像に基づいて視聴者の表情を認識し、その認識結果に基づいて、ゲームの進行態様に対する視聴者の反応の度合いを推定することが可能である。 <Viewer's expression>
A viewer's reaction to the progress of the game tends to appear in the viewer's facial expression. In addition, as the degree of reaction of the viewer to the mode of progress of the game increases, the facial expression that correlates with the reaction of the viewer tends to become stronger. Therefore, it is possible to recognize the facial expression of the viewer based on the video including the viewer's face, and estimate the degree of the viewer's reaction to the progress of the game based on the recognition result.

なお、ゲームの進行態様に対する視聴者の反応と相関のある表情は、実験などにより予め特定しておくことが可能である。例えば、視聴者の反応の種類（賞賛、応援、ポジティブな感情、ブーイング、野次、ネガティブな感情など）毎に、その種類の反応と相関のある表情の種類（喜怒哀楽など）を個別に設定することが可能である。 It should be noted that it is possible to specify in advance through experiments or the like the expressions that are correlated with viewer reactions to the mode of progress of the game. For example, for each type of viewer reaction (praise, cheering, positive emotion, booing, jeering, negative emotion, etc.), the type of facial expression (e.g. emotions) correlated with that type of reaction is set individually. It is possible to

〈視聴者の体動〉
また、ゲームの進行態様に対する視聴者の反応は、視聴者の体動（身体の動き）に現れる傾向にある。また、ゲームの進行態様に対する視聴者の反応の度合いが高くなるほど、その視聴者の反応と相関のある体動が顕著となる傾向にある。したがって、視聴者の身体を含む映像に基づいて視聴者の体動を認識し、その認識結果に基づいて、ゲームの進行態様に対する視聴者の反応の度合いを推定することが可能である。 <Audience's body movement>
In addition, viewers' reaction to the progress of the game tends to appear in the viewer's body movements (body movements). In addition, body movements that are correlated with the viewer's reaction tend to become more pronounced as the viewer's reaction to the progress of the game increases. Therefore, it is possible to recognize the viewer's body movement based on the video including the viewer's body, and estimate the viewer's degree of reaction to the progress of the game based on the recognition result.

なお、ゲームの進行態様に対する視聴者の反応と相関のある体動は、実験などにより予め特定しておくことが可能である。例えば、視聴者の反応の種類（賞賛、応援、ポジティブな感情、ブーイング、野次、ネガティブな感情など）毎に、その種類の反応と相関のある体動の種類（ガッツポーズ、挑発する仕草など）を個別に設定することが可能である。 It should be noted that it is possible to specify in advance through experiments or the like, body movements that are correlated with the viewer's reaction to the manner in which the game progresses. For example, for each type of viewer reaction (praise, cheering, positive emotion, booing, jeering, negative emotion, etc.), the type of body movement correlated with that type of reaction (fist pump, provocation, etc.) can be set individually.

〈視聴者のコメント〉
ゲームの進行態様に対するオンライン視聴者の反応は、オンライン視聴者により作成されたコメントに現れる傾向にある。したがって、オンライン視聴者により作成されたコメントを解析し、その解析結果に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定することが可能である。 <Audience Comments>
Online viewers' reactions to the progress of the game tend to appear in the comments made by the online viewers. Therefore, it is possible to analyze comments made by online viewers and estimate the degree of reaction of the online viewers to the mode of progress of the game based on the analysis results.

なお、どのようなコメントがゲームの進行態様に対するオンライン視聴者のどのような反応を表現しているのかは、予め特定しておくことが可能である。例えば、賞賛、応援、ポジティブな感情、ブーイング、野次、ネガティブな感情の各々を表現するコメントの内容を個別に設定することが可能である。 It should be noted that it is possible to specify in advance what kind of comment expresses what kind of reaction of the online audience to the mode of progress of the game. For example, it is possible to individually set the contents of comments expressing praise, support, positive emotion, booing, jeering, and negative emotion.

〈視聴者の反応が向けられる対象〉
ゲームの進行態様に対する視聴者の反応は、ユーザ（またはプレイヤキャラクタ）により予め定められた特定条件が達成された後（例えば直後）に発生する傾向にある。したがって、ゲームの進行態様に対する視聴者の反応が発生した時刻よりも前（例えば直前）に特定条件を達成した主体に基づいて、ゲームの進行態様に対する視聴者の反応が向けられる対象を推定することが可能である。言い換えると、どのユーザ（またはプレイヤキャラクタ）が特定条件を達成したのかに基づいて、視聴者の反応がどのユーザ（またはプレイヤキャラクタ）に向けられているのかを推定することが可能である。 <Targets to which viewers respond>
A viewer's reaction to the progress of the game tends to occur after (for example, immediately after) a specific condition predetermined by the user (or player character) is achieved. Therefore, it is possible to estimate the target to which the viewer's reaction to the progress of the game is directed based on the subject who achieved the specific condition before (for example, immediately before) the time when the reaction of the viewer to the progress of the game occurred. is possible. In other words, it is possible to infer which user (or player character) the viewer's reaction is directed to based on which user (or player character) has achieved the specified condition.

上記の特定条件の例としては、ユーザが特定操作を行うという条件、プレイヤキャラクタが特定動作を行うという条件、ユーザの操作（またはプレイヤキャラクタの動作）により特定結果が生じるという条件、ユーザが特定挙動を行うという条件などが挙げられる。 Examples of the above specific conditions include a condition that the user performs a specific operation, a condition that the player character performs a specific action, a condition that the user's operation (or the action of the player character) produces a specific result, and a condition that the user performs a specific action. and the like.

上記の特定操作の例としては、プレイヤキャラクタに上記の特定動作を実行させるための操作が挙げられる。上記の特定動作の例としては、特定の技を出す動作、特定の連続技を出す動作、攻撃を回避する動作などが挙げられる。上記の特定結果の例としては、対戦相手に特定の技を決める、対戦相手に特定の連続技を決める、対戦相手の攻撃を回避する、対戦相手の体力を所定量奪う、勝敗を決する、などの結果が挙げられる。上記の特定挙動の例としては、ガッツポーズ、対戦相手を挑発する仕草などが挙げられる。 An example of the specific operation is an operation for causing the player character to perform the specific action. Examples of the above-mentioned specific actions include actions to perform specific techniques, actions to perform specific consecutive techniques, actions to avoid attacks, and the like. Examples of the above-mentioned specific results include performing a specific move on the opponent, performing a specific combination of moves on the opponent, avoiding the opponent's attack, depriving the opponent of a predetermined amount of physical strength, deciding victory or defeat, etc. results. Examples of the above specific behaviors include a fist pump, a gesture to provoke the opponent, and the like.

〔サーバ装置における制御部の機能的構成〕
図３に示すように、サーバ装置１０の制御部１０３は、ゲーム進行部１１１と、視聴制御部１１２と、推定部１１５と、進行制御部１１６とを有する。具体的には、制御部１０３は、そのＣＰＵが各種プログラムを実行することにより、ゲーム進行部１１１、視聴制御部１１２、推定部１１５、進行制御部１１６として機能する。 [Functional Configuration of Control Unit in Server Device]
As shown in FIG. 3 , the control unit 103 of the server device 10 has a game progression unit 111 , a viewing control unit 112 , an estimation unit 115 and a progress control unit 116 . Specifically, the control unit 103 functions as a game progression unit 111, a viewing control unit 112, an estimation unit 115, and a progress control unit 116 as a result of the CPU executing various programs.

ゲーム進行部１１１は、ゲームを進行する。 The game progression unit 111 progresses the game.

視聴制御部１１２は、ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方（この例では両方）を含む視聴データを生成し、視聴データを会場管理装置３０および情報端末４０に送信する。 The viewing control unit 112 generates viewing data including at least one of the video of the game and the video of the user playing the game (both in this example), and transmits the viewing data to the venue management device 30 and the information terminal 40 .

推定部１１５は、視聴者の音声と表情と体動の少なくとも１つに基づいて、ゲームの進行態様に対する視聴者の反応の度合いを推定する。この例では、推定部１１５は、ゲームの進行態様に対する視聴者のポジティブな反応の度合いであるポジティブ度、および、ゲームの進行態様に対する視聴者のネガティブな反応の度合いであるネガティブ度の少なくとも一方（この例では両方）を推定する。 The estimating unit 115 estimates the degree of the viewer's reaction to the progress of the game based on at least one of the viewer's voice, facial expression, and body movement. In this example, the estimating unit 115 determines at least one of a positivity level, which is the degree of a viewer's positive reaction to the progress of the game, and a negative level, which is the degree of the viewer's negative reaction to the progress of the game ( both in this example).

進行制御部１１６は、推定部１１５による推定結果（ゲームの進行態様に対する視聴者の反応の度合い）に応じて、ゲームに影響を与える。この例では、進行制御部１１６は、推定部１１５による推定結果に応じて、ゲームにおいてユーザが有利または不利になるように、ゲームに影響を与える。具体的には、進行制御部１１６は、推定部１１５により推定されたゲームの進行態様に対する視聴者の反応の度合いが高くなるほど、ゲームにおいてユーザが有利または不利な度合いが高くなるように、ゲームに影響を与える。 The progress control unit 116 affects the game according to the result of estimation by the estimation unit 115 (degree of reaction of the viewer to the mode of progress of the game). In this example, the progress control unit 116 influences the game so that the user is advantageous or disadvantageous in the game according to the estimation result by the estimation unit 115 . Specifically, the progress control unit 116 controls the game so that the higher the viewer's reaction to the game progress state estimated by the estimation unit 115, the higher the degree of advantage or disadvantage for the user in the game. influence.

〔ゲーム装置における制御部の機能的構成〕
図４に示すように、ゲーム装置２０の制御部２０７は、ゲーム実行部２１１と、送信部２１２とを有する。具体的には、制御部２０７は、そのＣＰＵが各種プログラムを実行することにより、ゲーム実行部２１１、送信部２１２として機能する。 [Functional Configuration of Control Unit in Game Device]
As shown in FIG. 4 , the control unit 207 of the game device 20 has a game execution unit 211 and a transmission unit 212 . Specifically, the control unit 207 functions as a game execution unit 211 and a transmission unit 212 by having its CPU execute various programs.

ゲーム実行部２１１は、ゲーム進行部１１１の指示に応じて、ゲームを実行する。この例では、ゲーム実行部２１１は、グラフィック処理部２０２およびオーディオ処理部２０３を制御することで、ディスプレイ２１およびスピーカ２２を制御する。また、ゲーム実行部２１１は、操作処理部２０４から送信された操作情報を受信し、その操作情報をサーバ装置１０に送信する。 The game execution unit 211 executes the game according to instructions from the game progression unit 111 . In this example, the game execution unit 211 controls the display 21 and the speaker 22 by controlling the graphics processing unit 202 and the audio processing unit 203 . The game execution unit 211 also receives operation information transmitted from the operation processing unit 204 and transmits the operation information to the server device 10 .

送信部２１２は、カメラデータ処理部２０５から送信されたカメラデータを受信し、そのカメラデータをサーバ装置１０に送信する。 The transmission unit 212 receives the camera data transmitted from the camera data processing unit 205 and transmits the camera data to the server device 10 .

〔会場管理装置における制御部の機能的構成〕
図５に示すように、会場管理装置３０の制御部３０７は、視聴処理部３１１と、送信部３１２とを有する。具体的には、制御部３０７は、そのＣＰＵが各種プログラムを実行することにより、視聴処理部３１１、送信部３１２として機能する。 [Functional Configuration of Control Unit in Venue Management Device]
As shown in FIG. 5 , the control unit 307 of the venue management device 30 has a viewing processing unit 311 and a transmission unit 312 . Specifically, the control unit 307 functions as a viewing processing unit 311 and a transmission unit 312 by having its CPU execute various programs.

視聴処理部３１１は、サーバ装置１０から送信された視聴データを会場内視聴者に提供する。この例では、視聴処理部３１１は、グラフィック処理部３０２およびオーディオ処理部３０３を制御することで、ディスプレイ３１およびスピーカ３２を制御する。 The viewing processing unit 311 provides viewing data transmitted from the server device 10 to viewers in the hall. In this example, the viewing processing unit 311 controls the display 31 and the speaker 32 by controlling the graphics processing unit 302 and the audio processing unit 303 .

送信部３１２は、マイクデータ処理部３０４から送信されたマイクデータを受信し、そのマイクデータをサーバ装置１０に送信する。また、送信部３１２は、カメラデータ処理部３０５から送信されたカメラデータを受信し、そのカメラデータをサーバ装置１０に送信する。 The transmission unit 312 receives microphone data transmitted from the microphone data processing unit 304 and transmits the microphone data to the server device 10 . The transmission unit 312 also receives camera data transmitted from the camera data processing unit 305 and transmits the camera data to the server device 10 .

〔情報端末における制御部の機能的構成〕
図６に示すように、情報端末４０の制御部４０８は、視聴処理部４１１と、送信部４１２とを有する。具体的には、制御部４０８は、そのＣＰＵが各種プログラムを実行することにより、視聴処理部４１１、送信部４１２として機能する。 [Functional Configuration of Control Unit in Information Terminal]
As shown in FIG. 6 , the control section 408 of the information terminal 40 has a viewing processing section 411 and a transmission section 412 . Specifically, the control unit 408 functions as a viewing processing unit 411 and a transmission unit 412 by having its CPU execute various programs.

視聴処理部４１１は、サーバ装置１０から送信された視聴データをオンライン視聴者に提供する。この例では、視聴処理部４１１は、グラフィック処理部４０２およびオーディオ処理部４０３を制御することで、ディスプレイ４１およびスピーカ４２を制御する。 The viewing processing unit 411 provides viewing data transmitted from the server device 10 to online viewers. In this example, the viewing processing unit 411 controls the display 41 and the speaker 42 by controlling the graphics processing unit 402 and the audio processing unit 403 .

送信部４１２は、操作処理部４０４から送信されたコメント情報を受信し、そのコメント情報をサーバ装置１０に送信する。送信部４１２は、マイクデータ処理部４０５から送信されたマイクデータを受信し、そのマイクデータをサーバ装置１０に送信する。送信部４１２は、カメラデータ処理部４０６から送信されたカメラデータを受信し、そのカメラデータをサーバ装置１０に送信する。 The transmission unit 412 receives the comment information transmitted from the operation processing unit 404 and transmits the comment information to the server device 10 . The transmission unit 412 receives microphone data transmitted from the microphone data processing unit 405 and transmits the microphone data to the server device 10 . The transmission unit 412 receives camera data transmitted from the camera data processing unit 406 and transmits the camera data to the server device 10 .

〔サーバ装置の記憶部に記憶される情報〕
この例では、サーバ装置１０の記憶部１０２には、能力値情報が記憶される。図７に示すように、能力値情報は、ゲームにおいて対戦する２つのキャラクタの能力値を示す。図７の例では、能力値情報には、キャラクタＡおよびキャラクタＢの各々の「攻撃力」と「防御力」と「体力」と「スピード」とが示されている。 [Information stored in the storage unit of the server device]
In this example, the storage unit 102 of the server device 10 stores ability value information. As shown in FIG. 7, the ability value information indicates the ability values of two characters competing in the game. In the example of FIG. 7, the ability value information indicates the "attack power", "defense power", "physical strength", and "speed" of character A and character B, respectively.

この例では、自キャラクタ（例えばキャラクタＡ）の攻撃力が高くなるほど、対戦相手である他キャラクタ（例えばキャラクタＢ）への攻撃により対戦相手に与えるダメージの量が多くなる。自キャラクタの防御力が高くなるほど、他キャラクタからの攻撃により自キャラクタに与えられるダメージの量が少なくなる。また、自キャラクタの体力が高くなるほど、自キャラクタの体力値が多くなる。自キャラクタのスピードが高くなるほど、自キャラクタの動作が素早くなる。 In this example, the higher the attack power of one's own character (for example, character A), the greater the amount of damage given to the opponent by attacking another character (for example, character B). As the self-character's defense power increases, the amount of damage inflicted on the self-character by attacks from other characters decreases. Also, the higher the physical strength of the own character, the greater the physical strength value of the own character. The higher the speed of the own character, the faster the action of the own character.

〔ゲームシステムにおいて行われる処理〕
実施形態１のゲームシステム１では、ゲーム処理と、視聴処理と、進行制御処理とが行われる。 [Processing performed in the game system]
In the game system 1 of Embodiment 1, game processing, viewing processing, and progress control processing are performed.

〔ゲーム処理〕
次に、実施形態１のゲームシステム１において行われるゲーム処理について説明する。ゲーム処理は、ゲーム装置２０においてゲームを実行するために行われる処理である。 [Game processing]
Next, game processing performed in the game system 1 of Embodiment 1 will be described. A game process is a process performed in order to execute a game on the game device 20 .

サーバ装置１０のゲーム進行部１１１は、ゲームを実行するためのゲームデータの一部をゲーム装置２０に送信する。なお、ゲームデータには、ゲームの画像（映像）を示すゲーム映像データと、ゲームの音声を示すゲーム音声データとが含まれる。 The game progression unit 111 of the server device 10 transmits part of the game data for executing the game to the game device 20 . The game data includes game video data representing game images (video) and game audio data representing game audio.

ゲーム装置２０のゲーム実行部２１１は、サーバ装置１０から送信されたゲームデータに基づいて、ゲームに関連する画像および音声をディスプレイ２１およびスピーカ２２に出力させる。ユーザは、ディスプレイ２１およびスピーカ２２から出力される画像および音声に応じて、ゲームコントローラ２３を操作する。ゲーム実行部２１１は、ゲームコントローラ２３に入力された操作を示す操作情報をサーバ装置１０に送信する。 The game executing unit 211 of the game device 20 causes the display 21 and the speaker 22 to output images and sounds related to the game based on the game data transmitted from the server device 10 . The user operates the game controller 23 according to the images and sounds output from the display 21 and the speaker 22 . The game execution unit 211 transmits operation information indicating an operation input to the game controller 23 to the server device 10 .

サーバ装置１０のゲーム進行部１１１は、ゲーム装置２０から送信された操作情報と、記憶部１０２に記憶された能力値情報とに基づいて、その操作情報と能力値情報とが反映されたゲームデータを生成し、そのゲームデータをゲーム装置２０に送信する。 Based on the operation information transmitted from the game device 20 and the ability value information stored in the storage unit 102, the game progression unit 111 of the server device 10 generates game data in which the operation information and the ability value information are reflected. and transmits the game data to the game device 20 .

例えば、能力値情報に示されたキャラクタＡの攻撃力が高くなるほど（またはキャラクタＢの防御力が低くなるほど）、キャラクタＡの攻撃によりキャラクタＢに与えられるダメージの量が多くなるように、操作情報がゲームデータに反映される。 For example, the higher the offensive power of character A (or the lower the defensive power of character B) indicated in the ability value information, the greater the amount of damage inflicted on character B by the attack of character A. is reflected in the game data.

例えば、能力値情報に示されたキャラクタＡの体力が高くなるほど、キャラクタＡの体力値が多くなる（または回復する）ように、ゲームデータが生成される。また、能力値情報に示されたキャラクタＡのスピードが高くなるほど、キャラクタＡの動作が素早くなるように、ゲームデータが生成される。 For example, game data is generated such that the higher the physical strength of character A indicated in the ability value information, the greater the physical strength value of character A (or the higher the physical strength value). Also, game data is generated such that the higher the speed of character A indicated in the ability value information, the faster character A moves.

以上の処理が繰り返し行われることで、ゲームが進行していく。 The game progresses by repeating the above processes.

〔視聴処理〕
次に、実施形態１のゲームシステム１において行われる視聴処理について説明する。視聴処理は、ゲームの映像およびゲームをプレイするユーザの映像の少なくとも一方（この例では両方）を視聴者に提供する処理である。 [Viewing process]
Next, viewing processing performed in the game system 1 of Embodiment 1 will be described. The viewing process is a process of providing the viewer with at least one of the video of the game and the video of the user playing the game (both in this example).

ゲーム装置２０の送信部２１２は、カメラ２４により得られたカメラデータをサーバ装置１０に送信する。カメラデータは、ゲームをプレイするユーザの映像を示す。 The transmission unit 212 of the game device 20 transmits camera data obtained by the camera 24 to the server device 10 . The camera data indicates the image of the user playing the game.

情報端末４０の送信部４１２は、タッチパッド４３に入力されたコメントを示すコメント情報をサーバ装置１０に送信する。コメントには、ゲームの進行態様に対するオンライン視聴者の反応が表現される。 The transmission unit 412 of the information terminal 40 transmits comment information indicating the comment input to the touch pad 43 to the server device 10 . The comment expresses the online audience's reaction to the progress of the game.

サーバ装置１０の視聴制御部１１２は、ゲーム装置２０から送信されたカメラデータを受信する。視聴制御部１１２は、ゲーム進行部１１１により生成されたゲームデータを受け付ける。視聴制御部１１２は、情報端末４０から送信されたコメント情報を受信する。そして、視聴制御部１１２は、カメラデータとゲームデータとコメント情報とを含む視聴データを、会場管理装置３０および情報端末４０に送信する。 The viewing control unit 112 of the server device 10 receives the camera data transmitted from the game device 20 . The viewing control unit 112 receives game data generated by the game progression unit 111 . The viewing control unit 112 receives comment information transmitted from the information terminal 40 . The viewing control unit 112 then transmits viewing data including camera data, game data, and comment information to the venue management device 30 and the information terminal 40 .

会場管理装置３０の視聴処理部３１１は、サーバ装置１０から送信された視聴データを会場内視聴者に提供する。具体的には、視聴処理部３１１は、カメラデータに示されたユーザの映像と、ゲームデータに含まれるゲーム映像データに示されたゲームの映像と、コメント情報に示されたコメントとを、ディスプレイ３１に表示させる。また、視聴処理部３１１は、ゲームデータに含まれるゲーム音声データに示されたゲームの音声を、スピーカ３２に出力させる。 The viewing processing unit 311 of the venue management device 30 provides the viewers in the venue with the viewing data transmitted from the server device 10 . Specifically, the viewing processing unit 311 displays the user's image indicated by the camera data, the game image indicated by the game image data included in the game data, and the comment indicated by the comment information on the display. 31. The viewing processing unit 311 also causes the speaker 32 to output the game sound indicated by the game sound data included in the game data.

図１に示すように、ディスプレイ３１に表示される画像（映像）には、ゲーム領域Ｒ１０と、第１ユーザ領域Ｒ１１と、第２ユーザ領域Ｒ１２と、コメント領域Ｒ１３とが含まれる。ゲーム領域Ｒ１０には、ゲームの映像が表示される。第１ユーザ領域Ｒ１１には、ゲームをプレイする２人のユーザのうち一方のユーザの映像が表示され、第２ユーザ領域Ｒ１２には、他方のユーザの映像が表示される。コメント領域Ｒ１３には、オンライン視聴者のコメントが表示される。 As shown in FIG. 1, the image (video) displayed on the display 31 includes a game area R10, a first user area R11, a second user area R12, and a comment area R13. A game image is displayed in the game area R10. An image of one of the two users playing the game is displayed in the first user area R11, and an image of the other user is displayed in the second user area R12. Comments of online viewers are displayed in the comment area R13.

図１の例では、ゲーム領域Ｒ１０には、キャラクタＡとキャラクタＢとが対戦するゲームの映像が表示される。ゲーム領域Ｒ１０に表示されるゲームの映像は、仮想空間内の１つの視点から見た風景（キャラクタＡとキャラクタＢとを含む風景）を示す映像である。第１ユーザ領域Ｒ１１には、ユーザＡの映像が表示され、第２ユーザ領域Ｒ１２には、ユーザＢの映像が表示される。コメント領域Ｒ１３には、３人のオンライン視聴者（視聴者Ａ，視聴者Ｂ，視聴者Ｃ）のコメントが表示されている。 In the example of FIG. 1, an image of a game in which character A and character B compete is displayed in game area R10. The game image displayed in the game area R10 is an image showing a landscape (landscape including character A and character B) viewed from one viewpoint in the virtual space. An image of user A is displayed in the first user area R11, and an image of user B is displayed in the second user area R12. Comments of three online viewers (viewer A, viewer B, and viewer C) are displayed in the comment area R13.

情報端末４０の視聴処理部４１１は、サーバ装置１０から送信された視聴データをオンライン視聴者に提供する。具体的には、視聴処理部４１１は、カメラデータに示されたユーザの映像と、ゲームデータに含まれるゲーム映像データに示されたゲームの映像と、コメント情報に示されたコメントとを、ディスプレイ４１に表示させる。また、視聴処理部４１１は、ゲームデータに含まれるゲーム音声データに示されたゲームの音声を、スピーカ４２に出力させる。 The viewing processing unit 411 of the information terminal 40 provides the viewing data transmitted from the server device 10 to the online viewer. Specifically, the viewing processing unit 411 displays the user's image indicated by the camera data, the game image indicated by the game image data included in the game data, and the comment indicated by the comment information on the display. 41. The viewing processing unit 411 also causes the speaker 42 to output the game sound indicated by the game sound data included in the game data.

図２に示すように、情報端末４０のディスプレイ４１に表示される画像（映像）には、視聴領域Ｒ４０と、入力操作領域Ｒ４１と、入力コメント領域Ｒ４２とが含まれる。視聴領域Ｒ４０に表示される画像（映像）は、会場に設けられたディスプレイ３１に表示される画像（映像）と同様である。入力操作領域Ｒ４１には、コメントを入力および確定するための操作ボタンが表示される。入力コメント領域Ｒ４２には、オンライン視聴者の操作により入力されたコメントが表示される。 As shown in FIG. 2, the image (video) displayed on the display 41 of the information terminal 40 includes a viewing area R40, an input operation area R41, and an input comment area R42. The image (video) displayed in the viewing area R40 is the same as the image (video) displayed on the display 31 provided at the venue. Operation buttons for inputting and confirming comments are displayed in the input operation area R41. The input comment area R42 displays comments input by the operation of the online viewer.

〔進行制御処理〕
次に、図８（概念図）と、図９および図１０（フローチャート）とを参照して、実施形態１のゲームシステム１において行われる進行制御処理について説明する。進行制御処理は、ゲーム処理により進行されるゲームを制御する処理である。この例では、進行制御処理では、推定処理と、影響付与処理とが行われる。なお、進行制御処理は、ゲーム制御方法の一例である。 [Progress control processing]
Next, with reference to FIG. 8 (conceptual diagram) and FIG. 9 and FIG. 10 (flowcharts), progress control processing performed in the game system 1 of Embodiment 1 will be described. The progress control processing is processing for controlling the game progressed by the game processing. In this example, the progress control process includes an estimation process and an influence process. Note that the progress control process is an example of a game control method.

〔推定処理〕
まず、図９を参照して、推定処理について説明する。指定処理は、ゲームの進行態様に対する視聴者の反応の度合いを推定する処理である。この例では、推定処理は、第１～第３処理（ステップＳ１１～Ｓ１９）と、第４～第６処理（ステップＳ２１～Ｓ２９）と、第７処理（ステップＳ３１～Ｓ３３）と、統合処理（Ｓ４０）とを含む。例えば、これらの処理は、予め定められた推定期間（例えば５秒間）毎に繰り返し行われる。 [Estimation process]
First, the estimation process will be described with reference to FIG. The designation process is a process of estimating the viewer's degree of reaction to the progress of the game. In this example, the estimation process includes the first to third processes (steps S11 to S19), the fourth to sixth processes (steps S21 to S29), the seventh process (steps S31 to S33), and the integration process ( S40). For example, these processes are repeatedly performed every predetermined estimation period (for example, 5 seconds).

〈第１処理〉
第１処理では、推定部１１５は、会場内視聴者の音声を含む会場内の音に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、以下のステップＳ１１～Ｓ１３が行われる。 <First treatment>
In the first process, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the mode of progress of the game based on the sounds in the venue including the voices of the viewers in the venue. Specifically, the following steps S11 to S13 are performed.

〈ステップＳ１１〉
会場管理装置３０に接続されたマイクロフォン３３は、会場内の音（会場内視聴者の音声を含む音）を示すマイクデータを生成する。会場管理装置３０の送信部３１２は、マイクデータをサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、会場管理装置３０から送信されたマイクデータを受信する。 <Step S11>
A microphone 33 connected to the venue management device 30 generates microphone data indicating sounds in the venue (sounds including the voices of viewers in the venue). The transmission unit 312 of the venue management device 30 transmits the microphone data to the server device 10 . The estimation unit 115 of the server device 10 receives the microphone data transmitted from the venue management device 30 .

〈ステップＳ１２〉
次に、推定部１１５は、ステップＳ１１において受信されたマイクデータに示された会場内の音に含まれる周波数成分を解析する。具体的には、推定部１１５は、周波数成分毎に、その周波数成分の最大振幅値（推定期間内における最大振幅値）を求める。 <Step S12>
Next, the estimating unit 115 analyzes the frequency components contained in the sound inside the venue indicated by the microphone data received in step S11. Specifically, estimation section 115 obtains the maximum amplitude value of the frequency component (maximum amplitude value within the estimation period) for each frequency component.

〈ステップＳ１３〉
次に、推定部１１５は、ステップＳ１２における解析結果に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、ステップＳ１３において以下の処理が行われる。 <Step S13>
Next, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the mode of progress of the game based on the analysis result in step S12. Specifically, the following process is performed in step S13.

なお、推定部１１５は、ゲーム装置２０により生成された操作情報、ゲーム進行部１１１により生成されたゲームデータ、ゲーム装置２０に接続されるカメラ２４より生成されたカメラデータの少なくとも１つを受け付ける。操作情報には、どの時刻にどのユーザがどのような操作をしたのかが示される。ゲームデータには、どの時刻にどのキャラクタがどのような動作をしたのか、どの時刻にどのような結果が生じたのかが示される。カメラデータには、どの時刻にどのユーザがどのような挙動をしたのかが示される。 Estimation unit 115 receives at least one of operation information generated by game device 20 , game data generated by game progression unit 111 , and camera data generated by camera 24 connected to game device 20 . The operation information indicates which user performed what kind of operation at what time. The game data indicates which character performed what action at what time, and what result occurred at what time. The camera data indicates which user behaved in what manner at what time.

また、この例では、記憶部１０２には、ゲームの進行態様に対する視聴者の反応の種類（賞賛、応援、ブーイング、野次など）と、その種類の反応と相関のある周波数成分の周波数帯域との対応関係を示す周波数対応情報が記憶される。 In this example, the storage unit 102 also stores the types of viewer reactions to the progress of the game (praise, cheering, booing, jeering, etc.) and frequency bands of frequency components correlated with the types of reactions. Frequency correspondence information indicating correspondence is stored.

以下の説明では、ゲームの進行態様に対する視聴者の反応と相関のある周波数成分を「反応周波数成分」と記載する。ゲームの進行態様に対する視聴者のポジティブな反応と相関のある周波数成分を「ポジティブ反応周波数成分」と記載する。ゲームの進行態様に対する視聴者のネガティブな反応と相関のある周波数成分を「ネガティブ反応周波数成分」と記載する。反応周波数成分は、ポジティブ反応周波数成分と、ネガティブ反応周波数成分とに大別される。 In the following description, the frequency component correlated with the viewer's reaction to the progress of the game will be referred to as "reaction frequency component". A frequency component correlated with a viewer's positive reaction to the progress of the game is referred to as a "positive reaction frequency component". A frequency component correlated with a viewer's negative reaction to the progress of the game is referred to as a "negative reaction frequency component". The reaction frequency components are broadly classified into positive reaction frequency components and negative reaction frequency components.

そして、推定部１１５は、以下の処理を行う。 Then, the estimation unit 115 performs the following processing.

まず、推定部１１５は、周波数対応情報を参照し、ステップＳ１２において解析された周波数成分の中から反応周波数成分を抽出する。次に、推定部１１５は、その抽出された反応周波数成分の中から最大振幅値が予め定められた基準値を上回る反応周波数成分（すなわち視聴者の反応があるとみなされる反応周波数成分）を選出する。 First, the estimation unit 115 refers to the frequency correspondence information and extracts reaction frequency components from the frequency components analyzed in step S12. Next, the estimating unit 115 selects a reaction frequency component whose maximum amplitude value exceeds a predetermined reference value (that is, a reaction frequency component considered to have a viewer reaction) from the extracted reaction frequency components. do.

次に、推定部１１５は、上記の選出された反応周波数成分のうちポジティブ反応周波数成分に対し、そのポジティブ反応周波数成分の最大振幅値に応じたポジティブ度を割り当てる。具体的には、ポジティブ反応周波数成分の最大振幅値が大きくなるほど、そのポジティブ反応周波数成分に割り当てられるポジティブ度が高くなる。 Next, the estimating unit 115 assigns the positive reaction frequency component among the selected reaction frequency components a positivity degree according to the maximum amplitude value of the positive reaction frequency component. Specifically, the greater the maximum amplitude value of the positive reaction frequency component, the higher the positivity assigned to that positive reaction frequency component.

また、推定部１１５は、上記の選出された反応周波数成分のうちネガティブ反応周波数成分に対し、そのネガティブ反応周波数成分の最大振幅値に応じたネガティブ度を割り当てる。具体的には、ネガティブ反応周波数成分の最大振幅値が大きくなるほど、そのネガティブ反応周波数成分に割り当てられるネガティブ度が高くなる。 Also, the estimating section 115 assigns a negative degree according to the maximum amplitude value of the negative reaction frequency component to the negative reaction frequency component among the selected reaction frequency components. Specifically, the greater the maximum amplitude value of the negative reaction frequency component, the higher the degree of negativity assigned to that negative reaction frequency component.

次に、推定部１１５は、上記の選出された反応周波数成分の各々に対して以下の処理を行う。 Next, the estimation unit 115 performs the following processing on each of the selected reaction frequency components.

まず、推定部１１５は、反応周波数成分の最大振幅値に対応する時刻（すなわち推定期間内において反応周波数成分の振幅値が最も大きくなる時刻）を「反応時刻」として検出する。 First, the estimation unit 115 detects the time corresponding to the maximum amplitude value of the reaction frequency component (that is, the time at which the amplitude value of the reaction frequency component is the largest within the estimation period) as the “reaction time”.

次に、推定部１１５は、上記の操作情報とゲームデータとカメラデータの少なくとも１つに基づいて、上記の検出された反応時刻よりも前に達成された特定条件のうち反応時刻に最も近い時刻に達成された特定条件を検出する。そして、推定部１１５は、その特定条件を達成した主体が「反応周波数成分に対応する反応（会場内視聴者の反応）が向けられる対象」であると推定する。 Next, based on at least one of the operation information, the game data, and the camera data, the estimation unit 115 determines the closest time to the reaction time among the specific conditions that were achieved before the detected reaction time. Detects certain conditions that have been met in Then, the estimating unit 115 estimates that the subject that has achieved the specific condition is "the target to which the reaction (reaction of viewers in the venue) corresponding to the reaction frequency component is directed".

なお、この例では、推定部１１５は、ユーザにより操作されるプレイヤキャラクタに向けられる視聴者の反応も、そのユーザに向けられる視聴者の反応として推定する。また、以下の説明では、視聴者の反応が向けられる対象を「反応対象」と記載する。 In this example, the estimation unit 115 also estimates the viewer's reaction toward the player character operated by the user as the viewer's reaction toward the user. In addition, in the following description, the target to which the viewer's reaction is directed is described as "reaction target".

例えば、推定部１１５は、どの時刻にどのユーザがどのような操作をしたのかを示す操作情報に基づいて、反応時刻よりも前に特定操作をしたユーザが反応対象であると推定する。また、推定部１１５は、どの時刻にどのキャラクタがどのような動作をしたのかを示すゲームデータに基づいて、反応時刻よりも前に特定動作をしたプレイヤキャラクタが反応対象であると推定する。 For example, the estimation unit 115 estimates that the user who performed the specific operation before the reaction time is the reaction target based on the operation information indicating which user performed what kind of operation at what time. Also, the estimation unit 115 estimates that the player character that performed the specific action before the reaction time is the reaction target, based on the game data indicating which character performed what action at what time.

例えば、推定部１１５は、どの時刻にどのような結果が生じたのかを示すゲームデータに基づいて、反応時刻よりも前に特定結果を生じさせたユーザが反応対象であると推定する。また、推定部１１５は、どの時刻にどのユーザがどのような挙動をしたのかを示すカメラデータに基づいて、反応時刻よりも前に特定挙動をしたユーザが反応対象であると推定する。 For example, the estimation unit 115 estimates that the user who produced the specific result before the reaction time is the reaction target based on the game data indicating what kind of result occurred at what time. Also, the estimation unit 115 estimates that the user who performed the specific behavior before the reaction time is the reaction target based on the camera data indicating which user behaved in what manner at what time.

次に、推定部１１５は、上記の選出された反応周波数成分の各々に割り当てられたポジティブ度またはネガティブ度と、上記の選出された反応周波数成分の各々に対応する反応対象とに基づいて、ゲームをプレイするユーザに対するポジティブ度およびネガティブ度を推定する。 Next, the estimating unit 115, based on the positivity or negativity assigned to each of the selected reaction frequency components and the reaction target corresponding to each of the selected reaction frequency components to estimate the positivity and negativity for users who play

具体的には、推定部１１５は、ゲームをプレイするユーザの各々に対して以下の処理を行う。 Specifically, the estimation unit 115 performs the following process for each user who plays the game.

まず、推定部１１５は、上記の選出された反応周波数成分の中から、ユーザに向けられた反応（会場内視聴者の反応）に対応する反応周波数成分を検出する。 First, the estimation unit 115 detects a reaction frequency component corresponding to the reaction directed to the user (the reaction of the viewers in the hall) from the above-mentioned selected reaction frequency components.

そして、推定部１１５は、上記の検出された反応周波数成分のうちポジティブ反応周波数成分に割り当てられたポジティブ度を統合し、その統合されたポジティブ度をユーザに対するポジティブ度として推定する。例えば、統合されたポジティブ度は、ポジティブ反応周波数成分に割り当てられたポジティブ度の合計値である。 Then, the estimation unit 115 integrates the positivity assigned to the positive response frequency components among the detected reaction frequency components, and estimates the integrated positivity as the positivity for the user. For example, the integrated positivity is the sum of the positivity values assigned to the positive response frequency components.

また、推定部１１５は、上記の検出された反応周波数成分のうちネガティブ反応周波数成分に割り当てられたネガティブ度を統合し、その統合されたネガティブ度をユーザに対するネガティブ度として推定する。例えば、統合されたネガティブ度は、ネガティブ反応周波数成分に割り当てられたネガティブ度の合計値である。 Also, the estimation unit 115 integrates the negativity assigned to the negative response frequency component among the detected reaction frequency components, and estimates the integrated negativity as the negativity for the user. For example, the integrated negativity is the total value of negativity assigned to the negative response frequency components.

以上の第１処理により、会場内視聴者の音声に基づいて、ゲームをプレイするユーザ毎に、そのユーザに対する会場内視聴者のポジティブ度およびネガティブ度が求められる。 By the above-described first processing, the positive and negative degrees of the audience in the venue for each user who plays the game are obtained based on the voice of the audience in the venue.

〈第２処理〉
第２処理では、推定部１１５は、会場内視聴者の表情に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、以下のステップＳ１４～Ｓ１６が行われる。 <Second treatment>
In the second process, the estimation unit 115 estimates the degree of reaction of the viewers in the venue to the mode of progress of the game based on the facial expressions of the viewers in the venue. Specifically, the following steps S14 to S16 are performed.

〈ステップＳ１４〉
会場管理装置３０に接続されたカメラ３４は、会場内視聴者を含む映像を示すカメラデータを生成する。会場管理装置３０の送信部３１２は、カメラデータをサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、会場管理装置３０から送信されたカメラデータを受信する。推定部１１５は、カメラデータに示された映像の中から会場内視聴者の顔を検出する。なお、この顔検出処理には、周知の顔検出技術を採用することができる。 <Step S14>
A camera 34 connected to the venue management device 30 generates camera data showing an image including viewers in the venue. The transmission unit 312 of the venue management device 30 transmits the camera data to the server device 10 . The estimation unit 115 of the server device 10 receives the camera data transmitted from the venue management device 30 . The estimating unit 115 detects the faces of viewers in the venue from the video shown in the camera data. A well-known face detection technique can be adopted for this face detection processing.

〈ステップＳ１５〉
次に、推定部１１５は、ステップＳ１４において検出された会場内視聴者の顔を含む映像に基づいて、会場内視聴者の表情を認識する。具体的には、推定部１１５は、表情の種類毎に、その種類の表情の強さ（推定期間内における強さ）を認識する。例えば、視聴者の実際の表情と「喜び」という種類の表情との一致度が高くなるほど、その「喜び」という種類の表情が強いと認識される。なお、この表情認識処理には、周知の表情認識技術を採用することができる。 <Step S15>
Next, the estimating unit 115 recognizes the facial expression of the viewer in the venue based on the video including the face of the viewer in the venue detected in step S14. Specifically, the estimation unit 115 recognizes, for each type of facial expression, the strength of the type of facial expression (strength within the estimation period). For example, the higher the degree of matching between the viewer's actual facial expression and the facial expression of the type "joy", the stronger the facial expression of the type "joy" is recognized. A well-known facial expression recognition technique can be adopted for this facial expression recognition processing.

〈ステップＳ１６〉
次に、推定部１１５は、ステップＳ１５における認識結果に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、ステップＳ１６において以下の処理が行われる。 <Step S16>
Next, the estimating unit 115 estimates the degree of reaction of viewers in the venue to the state of progress of the game based on the recognition result in step S15. Specifically, the following processing is performed in step S16.

なお、この例では、記憶部１０２には、ゲームの進行態様に対する視聴者の反応の種類（賞賛、応援、ブーイング、野次など）と、その種類の反応と相関のある表情の種類との対応関係を示す表情対応情報が記憶される。 Note that in this example, the storage unit 102 stores correspondence relationships between the types of viewer reactions to the progress of the game (praise, cheering, booing, jeering, etc.) and the types of facial expressions correlated with the types of reactions. Expression correspondence information indicating is stored.

以下の説明では、ゲームの進行態様に対する視聴者の反応と相関のある表情を「反応表情」と記載する。ゲームの進行態様に対する視聴者のポジティブな反応と相関のある表情を「ポジティブ反応表情」と記載する。ゲームの進行態様に対する視聴者のネガティブな反応と相関のある表情を「ネガティブ反応表情」と記載する。反応表情は、ポジティブ反応表情と、ネガティブ反応表情とに大別される。 In the following description, the facial expression correlated with the viewer's reaction to the progress of the game is referred to as "reactive facial expression". A facial expression correlated with a viewer's positive reaction to the progress of the game is referred to as a "positive reaction facial expression." A facial expression correlated with a viewer's negative reaction to the progress of the game is referred to as a "negative reaction facial expression." Reactive facial expressions are roughly classified into positive reactive facial expressions and negative reactive facial expressions.

まず、推定部１１５は、表情対応情報を参照し、ステップＳ１５において認識された表情の中から強さが予め定められた基準値を上回る反応表情（すなわち視聴者の反応があったとみなされる反応表情）を選出する。 First, the estimating unit 115 refers to the facial expression correspondence information, and selects from among the facial expressions recognized in step S15 a reactive facial expression whose strength exceeds a predetermined reference value (that is, a reactive facial expression that is considered to have caused a reaction of the viewer). ).

次に、推定部１１５は、上記の選出された反応表情のうちポジティブ反応表情に対し、そのポジティブ反応表情の強さに応じたポジティブ度を割り当てる。具体的には、ポジティブ反応表情が強くなるほど、そのポジティブ反応表情に割り当てられるポジティブ度が高くなる。 Next, the estimating unit 115 assigns a positive reaction facial expression among the above-mentioned selected positive reactive facial expressions a positivity according to the strength of the positive reactive facial expression. Specifically, the stronger the positive reaction facial expression, the higher the positivity assigned to that positive reaction facial expression.

また、推定部１１５は、上記の選出された反応表情のうちネガティブ反応表情に対し、そのネガティブ反応表情の強さに応じたネガティブ度を割り当てる。具体的には、ネガティブ反応表情が強くなるほど、そのネガティブ反応表情に割り当てられるネガティブ度が高くなる。 Further, the estimation unit 115 assigns a negative degree according to the strength of the negative reaction facial expression to the negative reaction facial expression among the selected reaction facial expressions. Specifically, the stronger the negative reaction facial expression, the higher the negativity assigned to that negative reaction facial expression.

次に、推定部１１５は、上記の選出された反応表情の各々に対して以下の処理を行う。 Next, the estimation unit 115 performs the following processing on each of the selected reaction facial expressions.

まず、推定部１１５は、反応表情の最大強さに対応する時刻（すなわち推定期間内において反応表情の強さが最も大きくなる時刻）を「反応時刻」として検出する。 First, the estimation unit 115 detects the time corresponding to the maximum intensity of the reactive facial expression (that is, the time at which the intensity of the reactive facial expression is maximized within the estimation period) as the “reaction time”.

次に、推定部１１５は、上記の操作情報とゲームデータとカメラデータの少なくとも１つに基づいて、その検出された反応時刻よりも前に達成された特定条件のうち反応時刻に最も近い時刻に達成された特定条件を検出する。そして、推定部１１５は、その特定条件を達成した主体が「反応表情に対応する反応（会場内視聴者の反応）が向けられる対象」であると推定する。 Next, based on at least one of the operation information, the game data, and the camera data, the estimating unit 115 selects a specific condition that has been achieved before the detected reaction time at the time closest to the reaction time. Detect when certain conditions have been met. Then, the estimating unit 115 estimates that the subject who has achieved the specific condition is "the target to which the reaction (reaction of viewers in the venue) corresponding to the reaction expression is directed".

次に、推定部１１５は、上記の選出された反応表情の各々に割り当てられたポジティブ度またはネガティブ度と、上記の選出された反応表情の各々に対応する反応対象とに基づいて、ゲームをプレイするユーザに対するポジティブ度およびネガティブ度を推定する。 Next, the estimation unit 115 plays the game based on the degree of positivity or negativity assigned to each of the selected reaction facial expressions and the reaction target corresponding to each of the selected reaction facial expressions. Estimate the positivity and negativity for users who

まず、推定部１１５は、上記の選出された反応表情の中から、ユーザに向けられた反応（会場内視聴者の反応）に対応する反応表情を検出する。 First, the estimating unit 115 detects a reaction facial expression corresponding to the reaction directed to the user (reaction of viewers in the venue) from the selected reaction facial expressions.

そして、推定部１１５は、上記の検出された反応表情のうちポジティブ反応表情に割り当てられたポジティブ度を統合し、その統合されたポジティブ度をユーザに対するポジティブ度として推定する。例えば、統合されたポジティブ度は、ポジティブ反応表情に割り当てられたポジティブ度の合計値である。 Then, the estimation unit 115 integrates the positivity assigned to the positive reaction facial expression among the detected reactive facial expressions, and estimates the integrated positivity as the positivity for the user. For example, integrated positivity is the sum of positivity values assigned to positive reaction facial expressions.

また、推定部１１５は、上記の検出された反応表情のうちネガティブ反応表情に割り当てられたネガティブ度を統合し、その統合されたネガティブ度をユーザに対するネガティブ度として推定する。例えば、統合されたネガティブ度は、ネガティブ反応表情に割り当てられたネガティブ度の合計値である。 Also, the estimation unit 115 integrates the negativity assigned to the negative reaction facial expression among the detected reaction facial expressions, and estimates the integrated negativity as the negativity for the user. For example, the integrated negativity is the total negativity value assigned to the negative reaction facial expressions.

以上の第２処理により、会場内視聴者の表情に基づいて、ゲームをプレイするユーザ毎に、そのユーザに対する会場内視聴者のポジティブ度およびネガティブ度が求められる。 Through the second processing described above, the positive and negative degrees of the viewers in the venue for each user who plays the game are obtained based on the facial expressions of the viewers in the venue.

〈第３処理〉
第３処理では、推定部１１５は、会場内視聴者の体動（身体の動き）に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、以下のステップＳ１７～Ｓ１９が行われる。 <Third treatment>
In the third process, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the state of progress of the game, based on the body movements (body movements) of the viewers in the venue. Specifically, the following steps S17 to S19 are performed.

〈ステップＳ１７〉
会場管理装置３０に接続されたカメラ３４は、会場内視聴者を含む映像を示すカメラデータを生成する。会場管理装置３０の送信部３１２は、カメラデータをサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、会場管理装置３０から送信されたカメラデータを受信する。推定部１１５は、カメラデータに示された映像の中から会場内視聴者の身体（手や腕など）を検出する。なお、この身体検出処理には、周知の身体検出技術を採用することができる。 <Step S17>
A camera 34 connected to the venue management device 30 generates camera data showing an image including viewers in the venue. The transmission unit 312 of the venue management device 30 transmits the camera data to the server device 10 . The estimation unit 115 of the server device 10 receives the camera data transmitted from the venue management device 30 . The estimation unit 115 detects the bodies (hands, arms, etc.) of viewers in the venue from the video shown in the camera data. A well-known body detection technique can be adopted for this body detection processing.

〈ステップＳ１８〉
次に、推定部１１５は、ステップＳ１７において検出された会場内視聴者の身体を含む映像に基づいて、会場内視聴者の体動（身体の動き）を認識する。具体的には、推定部１１５は、体動の種類毎に、その種類の体動の顕著さ（推定期間内における顕著さ）を認識する。例えば、「ガッツポーズをする」という種類の体動が大きくなる（または素早くなる）ほど、その「ガッツポーズをする」という種類の体動が顕著であると認識される。なお、この体動認識処理には、周知の体動認識技術を採用することができる。 <Step S18>
Next, the estimating unit 115 recognizes body movements (body movements) of the viewers inside the venue based on the video containing the bodies of the viewers inside the venue detected in step S17. Specifically, the estimation unit 115 recognizes, for each type of body motion, the salience of the type of body motion (saliency within the estimation period). For example, the larger (or faster) the body motion of the type of "doing a fist pose", the more prominent the body motion of the type of "doing a fist pose" is recognized. A well-known body movement recognition technique can be adopted for this body movement recognition processing.

〈ステップＳ１９〉
次に、推定部１１５は、ステップＳ１８における認識結果に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、ステップＳ１９において以下の処理が行われる。 <Step S19>
Next, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the state of progress of the game based on the recognition result in step S18. Specifically, the following processing is performed in step S19.

なお、この例では、記憶部１０２には、ゲームの進行態様に対する視聴者の反応の種類（賞賛、応援、ブーイング、野次など）と、その種類の反応と相関のある体動の種類との対応関係を示す体動対応情報が記憶される。 Note that in this example, the storage unit 102 stores the correspondence between the types of viewer reactions to the progress of the game (praise, cheering, booing, jeering, etc.) and the types of body movements that are correlated with those types of reactions. Body motion correspondence information indicating the relationship is stored.

以下の説明では、ゲームの進行態様に対する視聴者の反応と相関のある体動を「反応体動」と記載する。ゲームの進行態様に対する視聴者のポジティブな反応と相関のある体動を「ポジティブ反応体動」と記載する。ゲームの進行態様に対する視聴者のネガティブな反応と相関のある体動を「ネガティブ反応体動」と記載する。反応体動は、ポジティブ反応体動と、ネガティブ反応体動とに大別される。 In the following description, the body motion correlated with the viewer's reaction to the progress of the game is referred to as "reaction body motion". A body motion correlated with a viewer's positive reaction to the progress of the game is referred to as a "positive reaction body motion". A body motion correlated with a viewer's negative reaction to the progress of the game is referred to as a "negative reaction body motion". Reaction body movements are roughly classified into positive reaction body movements and negative reaction body movements.

まず、推定部１１５は、体動対応情報を参照し、ステップＳ１７において認識された体動の中から顕著さが予め定められた基準値を上回る反応体動（すなわち視聴者の反応があったとみなされる反応体動）を選出する。 First, the estimating unit 115 refers to the body movement correspondence information, and selects a reaction body movement whose salience exceeds a predetermined reference value (that is, a viewer's reaction) from among the body movements recognized in step S17. Select the reaction body movement to be generated).

次に、推定部１１５は、上記の選出された反応体動のうちポジティブ反応体動に対し、そのポジティブ反応体動の強さに応じたポジティブ度を割り当てる。具体的には、ポジティブ反応体動が強くなるほど、そのポジティブ反応体動に割り当てられるポジティブ度が高くなる。 Next, the estimation unit 115 assigns a positive reaction body motion among the selected reaction body motions a positivity according to the strength of the positive reaction body motion. Specifically, the stronger the positive reactant motion, the higher the positivity assigned to that positive reactant motion.

また、推定部１１５は、上記の選出された反応体動のうちネガティブ反応体動に対し、そのネガティブ反応体動の強さに応じたネガティブ度を割り当てる。具体的には、ネガティブ反応体動が強くなるほど、そのネガティブ反応体動に割り当てられるネガティブ度が高くなる。 Further, the estimation unit 115 assigns the negative reaction body motion among the selected reaction body motions a degree of negativity according to the strength of the negative reaction body motion. Specifically, the stronger the negative reactant motion, the higher the negativity assigned to that negative reactant motion.

次に、推定部１１５は、上記の選出された反応体動の各々に対して以下の処理を行う。 Next, the estimation unit 115 performs the following processing on each of the selected reactant motions.

まず、推定部１１５は、反応体動の最大顕著さに対応する時刻（すなわち推定期間内において反応体動の顕著さが最も大きくなる時刻）を「反応時刻」として検出する。 First, the estimation unit 115 detects the time corresponding to the maximum saliency of the reactant motion (that is, the time at which the salience of the reactant motion is greatest within the estimation period) as the “reaction time”.

次に、推定部１１５は、上記の操作情報とゲームデータとカメラデータの少なくとも１つに基づいて、その検出された反応時刻よりも前に達成された特定条件のうち反応時刻に最も近い時刻に達成された特定条件を検出する。そして、推定部１１５は、その特定条件を達成した主体が「反応体動に対応する反応（会場内視聴者の反応）が向けられる対象」であると推定する。 Next, based on at least one of the operation information, the game data, and the camera data, the estimating unit 115 selects a specific condition that has been achieved before the detected reaction time at the time closest to the reaction time. Detect when certain conditions have been met. Then, the estimating unit 115 estimates that the subject who has achieved the specific condition is "the target to which the reaction (reaction of viewers in the venue) corresponding to the reaction body movement is directed".

次に、推定部１１５は、上記の選出された反応体動の各々に割り当てられたポジティブ度またはネガティブ度と、上記の選出された反応体動の各々に対応する反応対象とに基づいて、ゲームをプレイするユーザに対するポジティブ度およびネガティブ度を推定する。 Next, the estimating unit 115 determines the game based on the positivity or negativity assigned to each of the selected reactant movements and the reaction target corresponding to each of the selected reactant movements. to estimate the positivity and negativity for users who play

まず、推定部１１５は、上記の選出された反応体動の中から、ユーザに向けられた反応（会場内視聴者の反応）に対応する反応体動を検出する。 First, the estimating unit 115 detects a reaction body motion corresponding to a reaction directed to the user (reaction of viewers in the hall) from the above-mentioned selected reaction body movements.

そして、推定部１１５は、上記の検出された反応体動のうちポジティブ反応体動に割り当てられたポジティブ度を統合し、その統合されたポジティブ度をユーザに対するポジティブ度として推定する。例えば、統合されたポジティブ度は、ポジティブ反応体動に割り当てられたポジティブ度の合計値である。 Then, the estimation unit 115 integrates the positivity assigned to the positive reaction body motion among the detected reaction body motions, and estimates the integrated positivity as the positivity for the user. For example, integrated positivity is the sum of positivity values assigned to positive reactant movements.

また、推定部１１５は、上記の検出された反応体動のうちネガティブ反応体動に割り当てられたネガティブ度を統合し、その統合されたネガティブ度をユーザに対するネガティブ度として推定する。例えば、統合されたネガティブ度は、ネガティブ反応体動に割り当てられたネガティブ度の合計値である。 Also, the estimation unit 115 integrates the negativity assigned to the negative reaction body motion among the detected reaction body motions, and estimates the integrated negativity as the negativity for the user. For example, the integrated negativity is the total negativity value assigned to the negative reactant movements.

以上の第３処理により、会場内視聴者の体動に基づいて、ゲームをプレイするユーザ毎に、そのユーザに対する会場内視聴者のポジティブ度およびネガティブ度が求められる。 By the above-described third processing, the positivity and negativity of the in-venue viewers for each user who plays the game is obtained based on the body movements of the in-venue viewers.

〈第４処理〉
第４処理では、推定部１１５は、オンライン視聴者の音声を含む情報端末４０の周囲の音に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、以下のステップＳ２１～Ｓ２３が行われる。 <Fourth processing>
In the fourth process, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the progress of the game based on the sounds around the information terminal 40 including the voices of the online viewers. Specifically, the following steps S21 to S23 are performed.

〈ステップＳ２１〉
情報端末４０に設けられたマイクロフォン４４は、情報端末４０の周囲の音（オンライン視聴者の音声を含む音）を示すマイクデータを生成する。情報端末４０の送信部４１２は、マイクデータをサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、情報端末４０から送信されたマイクデータを受信する。 <Step S21>
A microphone 44 provided in the information terminal 40 generates microphone data representing sounds around the information terminal 40 (sounds including voices of online viewers). The transmission unit 412 of the information terminal 40 transmits the microphone data to the server device 10 . The estimation unit 115 of the server device 10 receives the microphone data transmitted from the information terminal 40 .

〈ステップＳ２２〉
次に、推定部１１５は、ステップＳ２１において受信されたマイクデータに示された情報端末４０の周囲の音に含まれる周波数成分を解析する。なお、ステップＳ２２において行われる処理は、ステップＳ１２において行われる処理と同様である。 <Step S22>
Next, the estimating unit 115 analyzes the frequency components included in the sound around the information terminal 40 indicated in the microphone data received in step S21. The processing performed in step S22 is the same as the processing performed in step S12.

〈ステップＳ２３〉
次に、推定部１１５は、ステップＳ２２における解析結果に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定する。なお、ステップＳ２３において行われる処理は、ステップＳ１３において行われる処理と同様である。 <Step S23>
Next, the estimation unit 115 estimates the degree of reaction of the online viewers to the progress of the game based on the analysis result in step S22. The processing performed in step S23 is the same as the processing performed in step S13.

以上の第４処理により、オンライン視聴者の音声に基づいて、ゲームをプレイするユーザ毎に、そのユーザに対するオンライン視聴者のポジティブ度およびネガティブ度が求められる。 According to the above-described fourth processing, for each user playing the game, the degree of positivity and negativity of the online viewer for that user is obtained based on the voice of the online viewer.

〈第５処理〉
第５処理では、推定部１１５は、オンライン視聴者の表情に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、以下のステップＳ２４～Ｓ２６が行われる。 <Fifth processing>
In the fifth process, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the state of progress of the game based on the facial expressions of the online viewers. Specifically, the following steps S24 to S26 are performed.

〈ステップＳ２４〉
情報端末４０に設けられたカメラ４５は、情報端末４０の周囲の映像（オンライン視聴者を含む映像）を示すカメラデータを生成する。情報端末４０の送信部４１２は、カメラデータをサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、情報端末４０から送信されたカメラデータを受信する。推定部１１５は、カメラデータに示された映像の中からオンライン視聴者の顔を検出する。なお、この顔検出処理には、周知の顔検出技術を採用することができる。 <Step S24>
A camera 45 provided in the information terminal 40 generates camera data showing an image around the information terminal 40 (image including online viewers). The transmission unit 412 of the information terminal 40 transmits the camera data to the server device 10 . The estimation unit 115 of the server device 10 receives the camera data transmitted from the information terminal 40 . The estimation unit 115 detects the face of the online viewer from the video shown in the camera data. A well-known face detection technique can be adopted for this face detection processing.

〈ステップＳ２５〉
次に、推定部１１５は、ステップＳ２４において検出されたオンライン視聴者の顔を含む映像に基づいて、オンライン視聴者の表情を認識する。なお、ステップＳ２５において行われる処理は、ステップＳ１５において行われる処理と同様である。 <Step S25>
Next, the estimation unit 115 recognizes the facial expression of the online viewer based on the video containing the face of the online viewer detected in step S24. The processing performed in step S25 is the same as the processing performed in step S15.

〈ステップＳ２６〉
次に、推定部１１５は、ステップＳ２５における認識結果に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定する。なお、ステップＳ２６において行われる処理は、ステップＳ１６において行われる処理と同様である。 <Step S26>
Next, the estimation unit 115 estimates the degree of reaction of the online viewers to the progress of the game based on the recognition result in step S25. The processing performed in step S26 is the same as the processing performed in step S16.

以上の第５処理により、オンライン視聴者の表情に基づいて、ゲームをプレイするユーザ毎に、そのユーザに対するオンライン視聴者のポジティブ度およびネガティブ度が求められる。 By the above-described fifth processing, the degree of positivity and degree of negativity of the online viewers for each user who plays the game is obtained based on the facial expressions of the online viewers.

〈第６処理〉
第６処理では、推定部１１５は、オンライン視聴者の体動（身体の動き）に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定する。具体的には、以下のステップＳ２７～Ｓ２９が行われる。 <Sixth treatment>
In the sixth process, the estimating unit 115 estimates the degree of reaction of the viewers in the venue to the mode of progress of the game based on the body movements of the online viewers. Specifically, the following steps S27 to S29 are performed.

〈ステップＳ２７〉
情報端末４０に設けられたカメラ４５は、情報端末４０の周囲の映像（オンライン視聴者を含む映像）を示すカメラデータを生成する。情報端末４０の送信部４１２は、カメラデータをサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、情報端末４０から送信されたカメラデータを受信する。推定部１１５は、カメラデータに示された映像の中からオンライン視聴者の身体（手や腕など）を検出する。なお、この身体検出処理には、周知の身体検出技術を採用することができる。 <Step S27>
A camera 45 provided in the information terminal 40 generates camera data showing an image around the information terminal 40 (image including online viewers). The transmission unit 412 of the information terminal 40 transmits the camera data to the server device 10 . The estimation unit 115 of the server device 10 receives the camera data transmitted from the information terminal 40 . The estimation unit 115 detects the body (hands, arms, etc.) of the online viewer from the video shown in the camera data. A well-known body detection technique can be adopted for this body detection processing.

〈ステップＳ２８〉
次に、推定部１１５は、ステップＳ２７において検出されたオンライン視聴者の身体を含む映像に基づいて、オンライン視聴者の体動（身体の動き）を認識する。なお、ステップＳ２８において行われる処理は、ステップＳ１８において行われる処理と同様である。 <Step S28>
Next, the estimation unit 115 recognizes the online viewer's body movement (body movement) based on the video including the online viewer's body detected in step S27. The processing performed in step S28 is the same as the processing performed in step S18.

〈ステップＳ１９〉
次に、推定部１１５は、ステップＳ２８における認識結果に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定する。なお、ステップＳ２９において行われる処理は、ステップＳ１９において行われる処理と同様である。 <Step S19>
Next, the estimation unit 115 estimates the degree of reaction of the online viewers to the progress of the game based on the recognition result in step S28. The processing performed in step S29 is the same as the processing performed in step S19.

以上の第６処理により、オンライン視聴者の体動に基づいて、ゲームをプレイするユーザ毎に、そのユーザに対するオンライン視聴者のポジティブ度およびネガティブ度が求められる。 According to the sixth process described above, the degree of positivity and degree of negativity of the online viewers for each user playing the game is obtained based on the body movements of the online viewers.

〈第７処理〉
第７処理では、推定部１１５は、情報端末４０から送信された視聴者反応情報（ゲームの進行態様に対するオンライン視聴者の反応を表現する情報）に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定する。具体的には、以下のステップＳ３１～Ｓ３３が行われる。 <Seventh process>
In the seventh process, the estimating unit 115, based on viewer reaction information transmitted from the information terminal 40 (information expressing online viewers' reactions to the game progress), Estimate the degree of response. Specifically, the following steps S31 to S33 are performed.

〈ステップＳ３１〉
情報端末４０のタッチパッド４３が操作されてコメント情報が入力されると、情報端末４０の送信部４１２は、コメント情報をサーバ装置１０に送信する。サーバ装置１０の推定部１１５は、情報端末４０から送信されたコメント情報を受信する。 <Step S31>
When the touch pad 43 of the information terminal 40 is operated to input comment information, the transmission unit 412 of the information terminal 40 transmits the comment information to the server device 10 . The estimation unit 115 of the server device 10 receives the comment information transmitted from the information terminal 40 .

〈ステップＳ３２〉
次に、推定部１１５は、ステップＳ２１において受信されたコメント情報に示されたコメントを解析する。 <Step S32>
Next, the estimation unit 115 analyzes the comment indicated in the comment information received in step S21.

〈ステップＳ３３〉
次に、推定部１１５は、ステップＳ２２における解析結果に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定する。具体的には、ステップＳ３３において以下の処理が行われる。 <Step S33>
Next, the estimation unit 115 estimates the degree of reaction of the online viewers to the progress of the game based on the analysis result in step S22. Specifically, the following processing is performed in step S33.

なお、この例では、オンライン視聴者により作成されたコメントを示すコメント情報には、そのコメントが入力された時刻を示す時刻情報が含まれる。 Note that in this example, the comment information indicating the comment created by the online viewer includes time information indicating the time when the comment was input.

また、記憶部１０２には、ゲームの進行態様に対するオンライン視聴者の反応の種類（賞賛、応援、ブーイング、野次など）と、その種類の反応を表現するコメントの内容との対応関係を示すコメント対応情報が記憶される。 In addition, in the storage unit 102, there is a comment correspondence indicating the correspondence relationship between the type of online viewer's reaction to the progress of the game (praise, cheering, booing, jeering, etc.) and the content of the comment expressing that type of reaction. Information is stored.

以下の説明では、ゲームの進行態様に対するオンライン視聴者の反応を表現するコメントを「反応コメント」と記載する。ゲームの進行態様に対するオンライン視聴者のポジティブな反応を表現するコメントを「ポジティブ反応コメント」と記載する。ゲームの進行態様に対するオンライン視聴者のネガティブな反応を表現するコメントを「ネガティブ反応コメント」と記載する。反応コメントは、ポジティブ反応コメントと、ネガティブ反応コメントとに大別される。 In the following description, a comment expressing an online viewer's reaction to the progress of the game is referred to as a "reaction comment". A comment that expresses an online viewer's positive reaction to the progress of the game is referred to as a "positive reaction comment." A comment that expresses an online viewer's negative reaction to the progress of the game is referred to as a "negative reaction comment". Reaction comments are broadly classified into positive reaction comments and negative reaction comments.

まず、推定部１１５は、コメント対応情報を参照し、ステップＳ３２において解析されたコメントの中から反応コメントを抽出する。次に、推定部１１５は、上記の抽出された反応コメントのうちポジティブ反応コメントに対してポジティブ度を割り当てる。また、推定部１１５は、上記の抽出された反応コメントのうちネガティブ反応コメントに対してネガティブ度を割り当てる。 First, the estimation unit 115 refers to the comment correspondence information and extracts reaction comments from the comments analyzed in step S32. Next, the estimation unit 115 assigns a positivity level to the positive reaction comments among the extracted reaction comments. Also, the estimation unit 115 assigns a degree of negativity to negative reaction comments among the extracted reaction comments.

次に、推定部１１５は、上記の抽出された反応コメントの各々に対して以下の処理を行う。 Next, the estimation unit 115 performs the following processing on each of the extracted reaction comments.

まず、推定部１１５は、コメント情報に含まれる時刻情報を参照し、反応コメントの入力時刻を検出する。 First, the estimation unit 115 refers to the time information included in the comment information to detect the input time of the reaction comment.

次に、推定部１１５は、操作情報とゲームデータとカメラデータの少なくとも１つに基づいて、上記の検出された入力時刻よりも前に達成された特定条件のうち入力時刻に最も近い時刻に達成された特定条件を検出する。そして、推定部１１５は、その特定条件を達成した主体が「反応コメントに対応する反応（オンライン視聴者の反応）が向けられる対象」であると推定する。 Next, based on at least one of the operation information, the game data, and the camera data, the estimating unit 115 determines whether the specific conditions that have been achieved before the detected input time are met at the time closest to the input time. Detects specified conditions. Then, the estimating unit 115 estimates that the subject who has achieved the specific condition is "the target to which the reaction (online viewer's reaction) corresponding to the reaction comment is directed".

次に、推定部１１５は、上記の抽出された反応コメントの各々に割り当てられたポジティブ度またはネガティブ度と、上記の抽出された反応コメントの各々に対応する反応対象とに基づいて、ゲームをプレイするユーザに対するポジティブ度およびネガティブ度を推定する。 Next, the estimation unit 115 plays the game based on the degree of positivity or negativity assigned to each of the extracted reaction comments and the reaction target corresponding to each of the extracted reaction comments. Estimate the positivity and negativity for users who

まず、推定部１１５は、上記の抽出された反応コメントの中から、ユーザに向けられた反応（オンライン視聴者の反応）に対応する反応コメントを検出する。 First, the estimating unit 115 detects a reaction comment corresponding to the reaction directed to the user (reaction of the online viewer) from among the extracted reaction comments.

そして、推定部１１５は、上記の検出された反応コメントのうちポジティブ反応コメントに割り当てられたポジティブ度を統合し、その統合されたポジティブ度をユーザに対するポジティブ度として推定する。例えば、統合されたポジティブ度は、ポジティブ反応コメントに割り当てられたポジティブ度の合計値である。 Then, the estimation unit 115 integrates the positivity assigned to the positive response comments among the detected reaction comments, and estimates the integrated positivity as the positivity for the user. For example, the combined positivity is the total value of positivity assigned to positive response comments.

また、推定部１１５は、上記の検出された反応コメントのうちネガティブ反応コメントに割り当てられたネガティブ度を統合し、その統合されたネガティブ度をユーザに対するネガティブ度として推定する。例えば、統合されたネガティブ度は、ネガティブ反応コメントに割り当てられたネガティブ度の合計値である。 Further, the estimation unit 115 integrates the negativity assigned to the negative response comments among the detected response comments, and estimates the integrated negativity as the negativity for the user. For example, the integrated negativity is the total value of negativity assigned to the negative reaction comments.

以上の第７処理により、オンライン視聴者のコメントに基づいて、ゲームをプレイするユーザ毎に、そのユーザに対する会場内視聴者のポジティブ度およびネガティブ度が求められる。 According to the above-described seventh processing, the positive and negative degrees of the in-venue viewers for each user who plays the game are obtained based on the comments of the online viewers.

〈統合処理〉
統合処理（ステップＳ３０）では、推定部１１５は、第１～第３処理（ステップＳ１１～Ｓ１９）による推定結果と、第４～第６処理（ステップＳ２１～Ｓ２９）による推定結果と、第７処理（ステップＳ３１～Ｓ３３）による推定結果とを統合する。具体的には、推定部１１５は、ゲームをプレイするユーザの各々に対して以下の処理を行う。 <Integrated processing>
In the integration process (step S30), the estimation unit 115 combines the estimation results of the first to third processes (steps S11 to S19), the estimation results of the fourth to sixth processes (steps S21 to S29), and the seventh process. (Steps S31 to S33) are integrated. Specifically, the estimation unit 115 performs the following process for each user who plays the game.

まず、推定部１１５は、ステップＳ１３，Ｓ１６，Ｓ１９，Ｓ２３，Ｓ２６，Ｓ２９，Ｓ３３の各々において推定されたユーザに対するポジティブ度を統合し、その統合されたポジティブ度をユーザに対するポジティブ度として推定する。例えば、統合されたポジティブ度は、ステップＳ１３，Ｓ１６，Ｓ１９，Ｓ２３，Ｓ２６，Ｓ２９，Ｓ３３の各々において推定されたユーザに対するポジティブ度の合計値である。 First, the estimation unit 115 integrates the positivity for the user estimated in each of steps S13, S16, S19, S23, S26, S29, and S33, and estimates the integrated positivity as the positivity for the user. For example, the integrated positivity is the sum of the positivity for the user estimated in each of steps S13, S16, S19, S23, S26, S29, and S33.

また、推定部１１５は、ステップＳ１３，Ｓ１６，Ｓ１９，Ｓ２３，Ｓ２６，Ｓ２９，Ｓ３３の各々において推定されたユーザに対するネガティブ度を統合し、その統合されたネガティブ度をユーザに対するネガティブ度として推定する。例えば、統合されたネガティブ度は、ステップＳ１３，Ｓ１６，Ｓ１９，Ｓ２３，Ｓ２６，Ｓ２９，Ｓ３３の各々において推定されたユーザに対するネガティブ度の合計値である。 Also, the estimation unit 115 integrates the negativity for the user estimated in each of steps S13, S16, S19, S23, S26, S29, and S33, and estimates the integrated negativity as the negativity for the user. For example, the integrated negativity is the total value of negativity for the user estimated in each of steps S13, S16, S19, S23, S26, S29, and S33.

以上の処理により、ゲームをプレイするユーザの各々に対するポジティブ度およびネガティブ度が推定される。推定部１１５は、この推定結果を進行制御部１１６に提供する。 By the above processing, the positivity and negativity for each user playing the game are estimated. Estimation section 115 provides the estimation result to progress control section 116 .

〔影響付与処理〕
次に、図１０を参照して、影響付与処理について説明する。影響付与処理は、推定処理の結果に応じてゲームに影響を与える処理である。この例では、影響付与処理において、進行制御部１１６は、推定部１１５による推定処理の結果に応じて、ゲームにおいてユーザが有利または不利になるように、プレイヤキャラクタおよび他キャラクタの少なくとも一方のゲームパラメータ（この例では能力値）を調節する。 [Effecting process]
Next, the influence imparting process will be described with reference to FIG. The influence process is a process that affects the game according to the result of the estimation process. In this example, in the influence imparting process, the progress control unit 116 adjusts the game parameters of at least one of the player character and the other characters so that the user is advantageous or disadvantageous in the game according to the result of the estimation process by the estimation unit 115 . (in this example, stats).

具体的には、ゲームをプレイするユーザの各々に対して、以下のステップＳ４１～Ｓ４４が繰り返し行われる。 Specifically, the following steps S41 to S44 are repeatedly performed for each user who plays the game.

〈ステップＳ４１〉
進行制御部１１６は、推定部１１５による推定結果に、ユーザに対する視聴者のポジティブな反応が含まれているか否かを判定する。具体的には、推定結果に示されたユーザに対するポジティブ度がゼロである場合、推定結果にユーザに対する視聴者のポジティブな反応が含まれていないことになる。ユーザに対する視聴者のポジティブな反応が含まれている場合には、ステップＳ４２が行われ、そうでない場合には、ステップＳ４３が行われる。 <Step S41>
Progress control unit 116 determines whether or not the result of estimation by estimation unit 115 includes a positive reaction of the viewer to the user. Specifically, when the degree of positivity for the user indicated in the estimation result is zero, it means that the estimation result does not include the viewer's positive reaction to the user. If the viewer's positive reaction to the user is included, step S42 is performed; otherwise, step S43 is performed.

〈ステップＳ４２〉
進行制御部１１６は、推定部１１５により推定されたポジティブ度が高くなるほど、ゲームにおいてユーザの有利な度合いが高くなるように、プレイヤキャラクタおよび他キャラクタの少なくとも一方のゲームパラメータを調節する。 <Step S42>
The progress control unit 116 adjusts the game parameters of at least one of the player character and the other characters so that the higher the degree of positivity estimated by the estimation unit 115, the higher the degree of advantage for the user in the game.

具体的には、ユーザ（例えばユーザＡ）に対するポジティブな反応がある場合、そのユーザにより操作されるキャラクタ（例えばキャラクタＡ）の能力値のうち予め指定された能力値が予め定められた上昇量だけ上昇する。また、対戦相手である他ユーザ（例えばユーザＢ）により操作される他キャラクタ（例えばキャラクタＢ）の能力値のうち予め指定された能力値が予め定められた低下量だけ低下する。 Specifically, when there is a positive response to a user (for example, user A), a predetermined ability value among the ability values of a character operated by the user (for example, character A) is increased by a predetermined amount. Rise. Also, a predetermined ability value among the ability values of another character (for example, character B) operated by another user (for example, user B) who is an opponent is decreased by a predetermined decrease amount.

また、ユーザ（例えばユーザＡ）に対するポジティブ度が高くなるほど、そのユーザにより操作されるキャラクタ（例えばキャラクタＡ）の能力値の上昇量が多くなり、対戦相手である他ユーザ（例えばユーザＢ）により操作される他キャラクタ（例えばキャラクタＢ）の能力値の低下量が多くなる。 Also, the higher the degree of positivity with respect to a user (for example, user A), the greater the amount of increase in the ability value of a character operated by that user (for example, character A), and the higher the degree of increase in the ability value of a character operated by the user (for example, user A). The amount of decrease in the ability value of the other character (for example, character B) that is affected increases.

〈ステップＳ４３〉
進行制御部１１６は、推定部１１５による推定結果に、ユーザに対する視聴者のネガティブな反応が含まれているか否かを判定する。具体的には、推定結果に示されたユーザに対するネガティブ度がゼロである場合、推定結果にユーザに対する視聴者のネガティブな反応が含まれていないことになる。ユーザに対する視聴者のネガティブな反応が含まれている場合には、ステップＳ４４が行われ、そうでない場合には、処理を終了する。 <Step S43>
The progress control unit 116 determines whether or not the result of the estimation by the estimation unit 115 includes the viewer's negative reaction to the user. Specifically, when the degree of negativity for the user indicated in the estimation result is zero, it means that the estimation result does not include the viewer's negative reaction to the user. If the viewer's negative reaction to the user is included, step S44 is performed; otherwise, the process ends.

〈ステップＳ４４〉
進行制御部１１６は、推定部１１５により推定されたネガティブ度が高くなるほど、ゲームにおいてユーザの不利な度合いが高くなるように、プレイヤキャラクタおよび他キャラクタの少なくとも一方のゲームパラメータを調節する。 <Step S44>
The progress control unit 116 adjusts the game parameters of at least one of the player character and the other characters so that the higher the degree of negativity estimated by the estimation unit 115, the higher the degree of disadvantage to the user in the game.

具体的には、ユーザ（例えばユーザＡ）に対するネガティブな反応がある場合、そのユーザにより操作されるキャラクタ（例えばキャラクタＡ）の能力値のうち予め指定された能力値が予め定められた低下量だけ低下する。また、対戦相手である他ユーザ（例えばユーザＢ）により操作される他キャラクタ（例えばキャラクタＢ）の能力値のうち予め指定された能力値が予め定められた上昇量だけ上昇する。 Specifically, when there is a negative reaction to a user (for example, user A), a predetermined ability value among the ability values of a character operated by the user (for example, character A) is lowered by a predetermined amount. descend. Also, a predetermined ability value among the ability values of another character (for example, character B) operated by another user (for example, user B) who is an opponent is increased by a predetermined increase amount.

また、ユーザ（例えばユーザＡ）に対するネガティブ度が高くなるほど、そのユーザにより操作されるキャラクタ（例えばキャラクタＡ）の能力値の低下量が多くなり、対戦相手である他ユーザ（例えばユーザＢ）により操作される他キャラクタ（例えばキャラクタＢ）の能力値の上昇量が多くなる。 In addition, the higher the degree of negativity for a user (for example, user A), the greater the decrease in the ability value of a character operated by that user (for example, character A), and the more the user (for example, user B) who is an opponent operates. The amount of increase in the ability value of the other character (for example, character B) that is affected increases.

〔実施形態１の総括〕
以上をまとめると、実施形態１のゲームシステムは、ユーザの操作に応答して仮想空間内において進行するゲームおよびゲームをプレイするユーザの少なくとも一方を視聴者に視聴させるゲームシステムであって、視聴者の音声と表情と体動の少なくとも１つに基づいて、ゲームの進行態様に対する視聴者の反応の度合いを推定する推定部１１５と、推定部１１５による推定結果に応じてゲームに影響を与える進行制御部１１６とを備える。 [Summary of Embodiment 1]
To summarize the above, the game system of Embodiment 1 is a game system that allows a viewer to view at least one of a game that progresses in a virtual space in response to a user's operation and a user playing the game. an estimating unit 115 for estimating the degree of reaction of the viewer to the mode of progress of the game based on at least one of the voice, facial expression, and body movement of the player; 116.

〔実施形態１の効果〕
以上のように、実施形態１のゲームシステム１では、推定部１１５による推定結果（ゲームの進行態様に対する視聴者の反応の度合い）に応じてゲームに影響を与えることができる。これにより、ゲームに対する視聴者の盛り上がり度をゲームに反映させることができるので、ゲームの興趣性を向上させることができる。 [Effect of Embodiment 1]
As described above, in the game system 1 of Embodiment 1, the game can be influenced according to the estimation result (degree of viewer's reaction to the progress of the game) by the estimation unit 115 . As a result, it is possible to reflect the degree of excitement of the viewers with respect to the game in the game, so that the interest of the game can be improved.

また、実施形態１では、推定部１１５による推定結果に応じて、ゲームにおいてユーザが有利または不利になるように、ゲームに影響を与えることができる。具体的には、推定部１１５により推定されたゲームの進行態様に対する視聴者の反応の度合いが高くなるほど、ゲームにおいてユーザが有利または不利な度合いが高くなるように、ゲームに影響を与えることができる。これにより、視聴者の盛り上がり度に応じてユーザの有利または不利が変化するゲームを提供することができ、ゲームの興趣性を向上させることができる。 In addition, in the first embodiment, the game can be influenced so that the user is advantageous or disadvantageous in the game according to the estimation result by the estimation unit 115 . Specifically, the game can be influenced such that the higher the viewer's reaction to the game progress state estimated by the estimation unit 115, the higher the user's advantage or disadvantage in the game. . As a result, it is possible to provide a game in which the user's advantage or disadvantage changes according to the excitement level of the audience, and to improve the interest of the game.

また、実施形態１では、推定部１１５による推定結果に応じて、ゲームにおいてユーザが有利または不利になるように、プレイヤキャラクタおよび他キャラクタの少なくとも一方のゲームパラメータを調節することができる。これにより、視聴者の盛り上がり度に応じてプレイヤキャラクタおよび他キャラクタの少なくとも一方のゲームパラメータを調節することができるゲームを提供することができ、ゲームの興趣性を向上させることができる。 In addition, in the first embodiment, the game parameters of at least one of the player character and the other characters can be adjusted according to the estimation result by the estimation unit 115 so that the user is advantageous or disadvantageous in the game. As a result, it is possible to provide a game in which the game parameters of at least one of the player character and the other characters can be adjusted according to the degree of excitement of the audience, thereby improving the interest of the game.

また、実施形態１では、ゲームの進行態様に対する視聴者のポジティブな反応の度合いであるポジティブ度、および、ゲームの進行態様に対する視聴者のネガティブな反応の度合いであるネガティブ度の少なくとも一方（この例では両方）を推定することができる。これにより、視聴者のポジティブ度およびネガティブ度の少なくとも一方をゲームに反映させることができるので、ゲームの興趣性を向上させることができる。 Further, in the first embodiment, at least one of the degree of positive reaction of viewers to the progress of the game and the degree of negative reaction of viewers to the progress of the game (this example ) can be estimated. As a result, at least one of the viewer's positivity and negativity can be reflected in the game, thereby improving the interest of the game.

また、実施形態１では、視聴者の音声を含む音の周波数成分のうち、ゲームの進行態様に対する会場内視聴者の反応と相関のある周波数成分に基づいて、ゲームの進行態様に対する視聴者の反応の度合いを推定することができる。これにより、視聴者の音声に現れる視聴者の盛り上がり度をゲームに反映させることができるので、ゲームの興趣性を向上させることができる。 Further, in the first embodiment, among the frequency components of the sound including the viewer's voice, based on the frequency component that is correlated with the reaction of the audience in the hall to the progress of the game, the reaction of the viewer to the progress of the game is determined. can be estimated. This makes it possible to reflect in the game the excitement level of the viewer appearing in the viewer's voice, thereby improving the interest of the game.

また、実施形態１では、情報端末４０から送信された視聴者反応情報（ゲームの進行態様に対するオンライン視聴者の反応を表現する情報）に基づいて、ゲームの進行態様に対するオンライン視聴者の反応の度合いを推定することができる。これにより、視聴者反応情報に現れるオンライン視聴者の盛り上がり度をゲームに反映させることができるので、ゲームの興趣性を向上させることができる。 Further, in the first embodiment, based on the viewer reaction information (information representing the online viewer's reaction to the progress of the game) transmitted from the information terminal 40, the degree of reaction of the online viewer to the progress of the game is determined. can be estimated. As a result, the degree of excitement of the online viewers appearing in the viewer reaction information can be reflected in the game, thereby improving the interest of the game.

（実施形態２）
実施形態２のゲームシステム１は、進行制御部１１６が実施形態１のゲームシステム１と異なる。実施形態２のゲームシステム１のその他の構成は、実施形態１のゲームシステム１の構成と同様である。 (Embodiment 2)
The game system 1 of the second embodiment differs from the game system 1 of the first embodiment in the progress control section 116 . Other configurations of the game system 1 of the second embodiment are the same as those of the game system 1 of the first embodiment.

実施形態２では、図１１に示すように、進行制御処理において、推定処理の結果に応じてゲームにおけるユーザの勝敗が決定される。具体的には、進行制御部１１６は、進行制御処理において、実施形態１の処理に加えて、推定部１１５による推定結果に応じてゲームにおけるユーザの勝敗に影響を与える処理を行う。 In the second embodiment, as shown in FIG. 11, in the progress control process, victory or defeat of the user in the game is determined according to the result of the estimation process. Specifically, in the progress control process, in addition to the process of the first embodiment, the progress control unit 116 performs a process that affects the outcome of the game according to the estimation result of the estimation unit 115 .

例えば、進行制御部１１６は、進行制御処理において、推定部１１５による推定結果に応じてゲームにおけるユーザの勝敗を決定する。具体的には、進行制御部１１６は、ゲームをプレイする２人のユーザの各々について、ポジティブ度を正の値とし且つネガティブ度を負の値としてポジティブ度とネガティブ度との合計値を算出する。そして、進行制御部１１６は、ゲームをプレイする２人のユーザのうち、ポジティブ度とネガティブ度との合計値が大きいほうのユーザを「勝者」に決定し、ポジティブ度とネガティブ度との合計値が小さいほうのユーザを「敗者」に決定する。 For example, the progress control unit 116 determines whether the user wins or loses the game according to the estimation result of the estimation unit 115 in the progress control process. Specifically, the progress control unit 116 calculates the total value of the positivity and negativity, with the positivity being a positive value and the negativity being a negative value for each of the two users playing the game. . Then, the progress control unit 116 determines, of the two users playing the game, the user with the larger total value of the positive degree and the negative degree as the “winner”, and the total value of the positive degree and the negative degree is determined to be the "loser".

〔実施形態２の効果〕
実施形態２のゲームシステム１では、実施形態１のゲームシステム１の効果と同様の効果を得ることができる。例えば、ゲームに対する視聴者の盛り上がり度をゲームに反映させることができるので、ゲームの興趣性を向上させることができる。 [Effect of Embodiment 2]
In the game system 1 of Embodiment 2, the same effects as those of the game system 1 of Embodiment 1 can be obtained. For example, it is possible to reflect the audience's enthusiasm for the game in the game, thereby improving the interest of the game.

また、実施形態２のゲームシステム１では、推定部１１５による推定結果（ゲームの進行態様に対する視聴者の反応の度合い）に応じて、ゲームにおけるユーザの勝敗に影響を与えることができる。これにより、ゲームに対する視聴者の盛り上がり度に応じてユーザの勝敗に影響を与えることができるゲームを提供することができ、ゲームの興趣性を向上させることができる。 Also, in the game system 1 of the second embodiment, it is possible to influence the user's victory or defeat in the game according to the result of estimation by the estimation unit 115 (degree of viewer's reaction to the mode of progress of the game). As a result, it is possible to provide a game that can influence the user's victory or defeat according to the audience's enthusiasm for the game, and to improve the interest of the game.

（その他の実施形態）
以上の説明では、会場に存在する表示装置の例として、会場に設けられたディスプレイ３１を挙げたが、これに限定されない。例えば、会場に存在する表示装置は、会場内視聴者に利用される情報端末（具体例としてはスマートフォンやタブレットなど）であってもよい。 (Other embodiments)
In the above description, the display 31 provided at the venue was taken as an example of the display device present at the venue, but the present invention is not limited to this. For example, the display device present at the venue may be an information terminal (specific examples include a smartphone or a tablet) used by viewers in the venue.

また、以上の説明において、会場管理装置３０に接続されるディスプレイ３１とスピーカ３２とマイクロフォン３３とカメラ３４の各々の数は、１つであってもよいし、２つ以上であってもよい。これと同様に、情報端末４０に設けられるスピーカ４２とマイクロフォン４４とカメラ４５の各々の数は、１つであってもよいし、２つ以上であってもよい。 In the above description, the number of each of the display 31, the speaker 32, the microphone 33, and the camera 34 connected to the venue management device 30 may be one, or two or more. Similarly, the number of each of the speaker 42, the microphone 44, and the camera 45 provided in the information terminal 40 may be one, or may be two or more.

また、以上の説明において、反応周波数成分（ゲームの進行態様に対する視聴者の反応と相関のある周波数成分）毎に、その反応周波数成分に割り当てられるポジティブ度（またはネガティブ度）の基準値が設定されてもよい。 Further, in the above description, for each reaction frequency component (frequency component correlated with the viewer's reaction to the mode of progress of the game), a reference value for the degree of positivity (or degree of negativity) assigned to the reaction frequency component is set. may

また、以上の説明において、反応表情（ゲームの進行態様に対する視聴者の反応と相関のある視聴者の表情）の種類毎に、その種類の反応表情に割り当てられるポジティブ度（またはネガティブ度）の基準値が設定されてもよい。 Also, in the above description, for each type of reaction facial expression (viewer's facial expression correlated with the viewer's reaction to the progress of the game), the criteria for the degree of positivity (or negativity) assigned to the type of reaction facial expression A value may be set.

また、以上の説明において、反応体動（ゲームの進行態様に対する視聴者の反応と相関のある視聴者の体動）の種類毎に、その種類の反応体動に割り当てられるポジティブ度（またはネガティブ度）の基準値が設定されてもよい。 Further, in the above description, for each type of reaction body movement (viewer's body movement correlated with the viewer's reaction to the progress of the game), the positive level (or negative level) assigned to that type of reaction body movement ) may be set.

また、以上の説明では、オンライン視聴者が情報端末４０のタッチパッド４３を操作することでオンライン視聴者のコメント（視聴者反応情報の一例）が入力される場合を例に挙げたが、これに限定されない。例えば、オンライン視聴者のコメントは、音声入力であってもよい。具体的には、マイクデータ処理部４０５は、マイクロフォン４４により生成されたマイクデータに対して音声認識処理を行うことで、オンライン視聴者のコメントを認識してもよい。 Also, in the above description, the case where the comment of the online viewer (an example of the viewer reaction information) is input by the online viewer operating the touch pad 43 of the information terminal 40 was taken as an example. Not limited. For example, the online viewer's comments may be voice input. Specifically, the microphone data processing unit 405 may recognize comments of online viewers by performing voice recognition processing on microphone data generated by the microphone 44 .

また、以上の説明では、ゲームの進行態様に対するオンライン視聴者の反応を表現する視聴者反応情報の例として、オンライン視聴者により入力されたコメントを示すコメント情報を例に挙げたが、これに限定されない。例えば、視聴者反応情報は、オンライン視聴者の反応が肯定的または否定的であることを示す評価情報であってもよい。評価情報の例としては、ＳＮＳ（Social Networking Service）の「いいね」などが挙げられる。 In the above description, comment information indicating comments input by online viewers was used as an example of viewer reaction information that expresses reactions of online viewers to the mode of progress of the game. not. For example, the audience reaction information may be rating information indicating whether the online audience's reaction is positive or negative. Examples of the evaluation information include "Like" of SNS (Social Networking Service).

また、視聴者反応情報に評価情報が含まれる場合、推定部１１５は、評価情報の数に応じて、ゲームの進行態様に対するオンライン視聴者の反応を推定してもよい。例えば、肯定的な評価情報の数が多くなるほど、推定部１１５により推定されるオンライン視聴者のポジティブ度が高くなるように、推定部１１５による推定が行われてもよい。また、否定的な評価情報の数が多くなるほど、推定部１１５により推定されるオンライン視聴者のネガティブ度が高くなるように、推定部１１５による推定が行われてもよい。 Further, when the viewer reaction information includes evaluation information, the estimation unit 115 may estimate the online viewer's reaction to the progress of the game according to the number of evaluation information. For example, the estimation unit 115 may perform estimation such that the more the number of positive evaluation information, the higher the degree of positivity of the online viewer estimated by the estimation unit 115 . Further, the estimation unit 115 may perform estimation such that the more the number of negative evaluation information, the higher the degree of negativity of the online viewer estimated by the estimation unit 115 .

また、以上の説明では、ユーザによりプレイされるゲームの例として、２つのキャラクタのいずれかの体力値がゼロになることで勝敗が決定するゲームを例に挙げたが、これに限定されない。例えば、ユーザによりプレイされるゲームは、得点を競い合うゲームであってもよいし、目標に達するまでの時間を競い合うゲームであってもよい。 Also, in the above description, as an example of the game played by the user, a game in which victory or defeat is determined when the physical strength value of one of the two characters reaches zero was taken as an example, but the game is not limited to this. For example, the game played by the users may be a game competing for points or a game competing for the time it takes to reach a goal.

また、以上の説明では、ユーザによりプレイされるゲームの例として、２人のユーザにより２つのプレイヤキャラクタがそれぞれ操作されるゲームを例に挙げたが、これに限定されない。例えば、ユーザによりプレイされるゲームは、ユーザの操作により仮想空間において複数のプレイヤキャラクタを動作させるゲームであってもよい。このようなゲームの例としては、野球、ラグビー、バスケットボール、バレーボールなどのスポーツのゲームが挙げられる。 Also, in the above description, as an example of a game played by users, a game in which two player characters are operated by two users was taken as an example, but the game is not limited to this. For example, a game played by a user may be a game in which a plurality of player characters are moved in a virtual space by user's operation. Examples of such games include sports games such as baseball, rugby, basketball, and volleyball.

また、以上の説明では、ユーザによりプレイされるゲームの例として、仮想空間内においてプレイヤキャラクタを動作させるゲームを例に挙げたが、これに限定されない。例えば、ユーザによりプレイされるゲームは、ユーザの操作により仮想空間内においてプレイヤキャラクタではない他のオブジェクトを動作させるゲームであってもよい。このようなゲームの例としては、自動車などの乗物を操縦するレーシングゲーム、城などの建造物や兵隊を配備するウォーシミュレーションゲーム、音楽や踊りなどの実演の正確さを競い合うリズムゲームなどが挙げられる。 Also, in the above description, as an example of a game played by a user, a game in which a player character moves in a virtual space was taken as an example, but the game is not limited to this. For example, the game played by the user may be a game in which an object other than the player character is moved in the virtual space by the user's operation. Examples of such games include racing games in which vehicles such as automobiles are operated, war simulation games in which buildings such as castles and soldiers are deployed, and rhythm games in which the accuracy of performances such as music and dance is competed. .

また、以上の説明において、ユーザによりプレイされるゲームには、試合などのメインイベントに加えて、試合前の準備や休憩などのサブイベントが含まれていてもよい。ゲームの進行態様に対する視聴者の反応には、メインイベントにおける視聴者の反応が含まれてもよいし、サブイベントにおける視聴者の反応が含まれてもよい。 In the above description, the game played by the user may include sub-events such as pre-match preparations and breaks in addition to the main event such as the game. The viewer's reaction to the progress of the game may include the viewer's reaction to the main event or the viewer's reaction to the sub-event.

また、以上の説明では、会場において２人のユーザがゲームをプレイする場合を例に挙げたが、これに限定されない。例えば、通信ネットワーク５に接続された２つのゲーム装置２０を２人のユーザがそれぞれ使用することで、２人のユーザがオンラインでゲームをプレイしてもよい。 Also, in the above description, the case where two users play the game at the hall was taken as an example, but the present invention is not limited to this. For example, two users may play a game online by using two game devices 20 connected to the communication network 5, respectively.

また、以上の説明では、２人のユーザがゲームに参加する場合を例に挙げたが、これに限定されない。例えば、ゲームに参加するユーザは、１人であってもよいし、３人以上であってもよい。また、ゲームには、ユーザとともに、コンピュータが参加してもよい。例えば、対戦ゲームにおいて、１人のユーザにより操作されるプレイヤキャラクタと、コンピュータにより操作されるノンプレイヤキャラクタとが対戦してもよい。 Also, in the above description, the case where two users participate in the game was taken as an example, but the present invention is not limited to this. For example, the number of users participating in the game may be one, or three or more. A computer may also participate in the game along with the user. For example, in a battle game, a player character operated by one user and a non-player character operated by a computer may battle each other.

また、コンピュータがゲームに参加する場合、ノンプレイヤキャラクタを操作する仮想のキャラクタの映像が視聴者に提供されてもよい。例えば、会場に設けられたディスプレイ３１（または情報端末４０のディスプレイ４１）に、仮想のキャラクタの映像が表示されてもよい。 Also, when a computer participates in a game, the viewer may be provided with an image of a virtual character operating a non-player character. For example, an image of a virtual character may be displayed on the display 31 (or the display 41 of the information terminal 40) provided at the venue.

また、以上の説明では、仮想空間内の１つの視点から見た風景を示す１つの映像（ゲームの映像）が視聴者に提供される場合を例に挙げたが、これに限定されない。例えば、それぞれが仮想空間内の異なる視点から見たシーンを示す複数の映像（ゲームの映像）が視聴者に提供されてもよい。具体的には、会場に設けられたディスプレイ３１（または情報端末４０のディスプレイ４１）に、それぞれのキャラクタの視点から見た風景を示す複数の映像（ゲームの映像）が表示されてもよい。 Also, in the above description, the case where one video (game video) showing the scenery seen from one viewpoint in the virtual space is provided to the viewer is taken as an example, but the present invention is not limited to this. For example, the viewer may be provided with a plurality of videos (game videos) each showing a scene viewed from a different viewpoint in the virtual space. Specifically, the display 31 (or the display 41 of the information terminal 40) provided at the venue may display a plurality of images (game images) showing the scenery seen from each character's viewpoint.

また、以上の説明では、ゲームおよびゲームをプレイするユーザの両方が視聴者に視聴される場合を例に挙げたが、これに限定されない。例えば、ゲームのみが視聴者に視聴されてもよいし、ユーザのみが視聴者に視聴されてもよい。具体的には、会場に設けられたディスプレイ３１（または情報端末４０のディスプレイ４１）に、ゲームの映像およびユーザの映像のうち一方の映像のみが表示されてもよい。 Also, in the above description, the case where both the game and the user playing the game are viewed by the viewer has been exemplified, but the present invention is not limited to this. For example, only the game may be viewed by the viewer, or only the user may be viewed by the viewer. Specifically, only one of the game image and the user image may be displayed on the display 31 (or the display 41 of the information terminal 40) provided at the venue.

また、以上の説明では、ゲームの進行態様に対する視聴者の反応の度合いに応じてゲームに与えられる影響の例として、実施形態１では「ゲームパラメータの調節」を挙げ、実施形態２では「勝敗の決定」を挙げたが、これに限定されない。例えば、進行制御部１１６は、ゲームの進行態様に対する視聴者の反応の度合いに応じて、ゲームにおけるゲーム終了時（勝敗決定時）の演出の派手さを変化させてもよい。具体的には、ポジティブ度が高くなるほど、ゲームにおけるゲーム終了時の演出が派手になってもよい。 Further, in the above description, as an example of the influence given to the game according to the degree of reaction of the viewer to the mode of progress of the game, in the first embodiment, "adjustment of game parameters" is given, and in the second embodiment, "the result of victory or defeat" is given. decision”, but is not limited to this. For example, the progress control unit 116 may change the flashiness of the presentation at the end of the game (when the winner is determined) in accordance with the viewer's reaction to the progress of the game. Specifically, the higher the degree of positivity, the more flashy the presentation at the end of the game may be.

また、以上の説明では、ゲームの進行態様に対する視聴者の反応の度合いに応じて調節されるゲームパラメータの例として、キャラクタの能力値を例に挙げたが、これに限定されない。例えば、ゲームパラメータは、仮想空間内における地理的条件などの各種条件であってもよい。具体的には、ポジティブ度が高くなるに連れて、ユーザに不利となる地理的条件（例えば砂漠）からユーザに有利にとなる地理的条件（例えばオアシス）へと変化してもよい。 Also, in the above description, as an example of a game parameter that is adjusted according to the degree of reaction of the viewer to the mode of progress of the game, the ability value of the character is taken as an example, but the present invention is not limited to this. For example, game parameters may be various conditions such as geographical conditions in the virtual space. Specifically, as the degree of positivity increases, geographical conditions that are disadvantageous to the user (eg, desert) may change to geographical conditions that are advantageous to the user (eg, oasis).

また、ゲームの進行態様に対する視聴者の反応の度合いに応じて調節されるゲームパラメータの他の例としては、アイテムの数、無敵となる時間、勝敗条件、味方の数、パラメータの回復速度、勝利報酬、敗北ペナルティ、将棋ゲームなどにおける待ち時間などが挙げられる。上記の味方は、プレイヤキャラクタであってもよいし、ノンプレイヤキャラクタであってもよい。 Other examples of game parameters that are adjusted according to the viewer's reaction to the progress of the game include the number of items, time to become invincible, win/lose conditions, number of allies, parameter recovery speed, and victory. Examples include rewards, loss penalties, waiting times in shogi games, and the like. The friend mentioned above may be a player character or a non-player character.

また、以上の説明では、ポジティブ度が高くなるほどゲームにおいてユーザが有利な度合いが高くなり、ネガティブ度が高くなるほどゲームにおいてユーザが不利な度合いが高くなる場合を例に挙げたが、これに限定されない。例えば、進行制御部１１６は、ポジティブ度が高くなるほどゲームにおいてユーザが不利な度合いが高くなり、ネガティブ度が高くなるほどゲームにおいてユーザが有利な度合いが高くなるように、ゲームに影響を与えてもよい。 Further, in the above description, the case where the higher the positive degree is, the higher the degree of advantage for the user in the game, and the higher the negative degree, the higher the degree of disadvantage for the user in the game is given as an example, but the present invention is not limited to this. . For example, the progress control unit 116 may influence the game such that the higher the positive degree, the higher the degree of disadvantage for the user in the game, and the higher the negative degree, the higher the degree of advantage for the user in the game. .

また、実施形態２の説明では、進行制御部１１６が推定部１１５による推定結果に応じてゲームにおけるユーザの勝敗に影響を与える例として、ゲームにおけるユーザの勝敗が決定される場合を例に挙げたが、これに限定されな。例えば、進行制御部１１６は、推定部１１５による推定結果を、ゲームにおけるユーザの勝敗を決定する１つの判断材料として使用してもよい。例えば、リズムゲームにおいてユーザの勝敗を決定する評価項目の１つとして、「視聴者の反応」という項目が設けられてもよい。 In addition, in the description of the second embodiment, as an example in which the progression control unit 116 affects the user's victory or defeat in the game according to the estimation result by the estimation unit 115, the case where the user's victory or defeat in the game is determined is taken as an example. but not limited to this. For example, the progress control unit 116 may use the result of estimation by the estimation unit 115 as one criterion for determining whether the user wins or loses the game. For example, an item "viewer's reaction" may be provided as one of the evaluation items for determining whether the user wins or loses in the rhythm game.

また、以上の説明において、推定部１１５による推定結果（ゲームの進行態様に対する視聴者の反応の度合い）は、ゲームにおいて引き分けとなったときの判定決着に利用されてもよい。例えば、進行制御部１１６は、ゲームにおいて引き分けになった場合に、推定部１１５による推定結果に基づいて、ユーザの勝敗を決定してもよい。 Further, in the above description, the estimation result (degree of viewer's reaction to the mode of progress of the game) by the estimation unit 115 may be used for the determination when the game ends in a draw. For example, the progress control unit 116 may determine whether the user wins or loses based on the estimation result by the estimation unit 115 when the game ends in a draw.

また、以上の説明では、ゲームの進行態様に対する視聴者の反応を引き起こす特定操作（ユーザによる特定の操作）の例として、プレイヤキャラクタに特定動作（例えば特定の技を出す動作など）を実行させるための操作を例に挙げたが、これに限定されない。例えば、特定操作は、ウォーシミュレーションゲームなどにおいて特定のゲームオブジェクトを仮想空間内に配置するための操作であってもよい。 Further, in the above description, as an example of the specific operation (specific operation by the user) that causes the viewer's reaction to the progress of the game, the player character performs a specific action (for example, a specific move). Although the operation of is mentioned as an example, it is not limited to this. For example, the specific operation may be an operation for arranging a specific game object in the virtual space in a war simulation game or the like.

また、以上の説明では、ゲームの進行態様に対する視聴者の反応を引き起こす特定結果（ユーザの操作またはプレイヤキャラクタの動作により生じる特定の結果）の例として、対戦相手に特定の技を決めるなどの結果を挙げたが、これに限定されない。例えば、特定結果は、所定の勝利条件（敵の体力をゼロにする、敵の本拠地を破壊するなど）を達成するという結果であってもよいし、ウォーシミュレーションゲームにおいて敵拠点または敵本拠地に所定量のダメージを与えるという結果であってもよいし、リズムゲームにおいて所定期間をミスなしでクリアするという結果であってもよい。 Further, in the above description, as an example of the specified result (a specified result caused by the user's operation or the action of the player character) that causes the viewer's reaction to the progress of the game, a result such as performing a specific technique on the opponent is given. , but not limited to. For example, the specified result may be the result of achieving a predetermined victory condition (reducing the enemy's physical strength to zero, destroying the enemy's home base, etc.), or being in an enemy base or an enemy base in a war simulation game. The result may be that a fixed amount of damage is given, or the result may be that the rhythm game is cleared for a predetermined period without making a mistake.

また、以上の説明では、操作情報とゲームデータとカメラデータの少なくとも１つに基づいて反応対象（ゲームの進行態様に対する視聴者の反応が向けられる対象）が推定される場合を例に挙げたが、これに限定されない。推定部１１５は、次のようにして反応対象を推定してもよい。 Also, in the above description, the case where a reaction target (a target to which the viewer's reaction to the progress of the game is directed) is estimated based on at least one of the operation information, the game data, and the camera data has been taken as an example. , but not limited to. The estimation unit 115 may estimate the reaction target as follows.

例えば、推定部１１５は、会場内の音（または情報端末４０の周囲の音）を示すマイクデータに対して音声認識処理を行い、会場内の音（または情報端末４０の周囲の音）に含まれる視聴者の音声を検出する。次に、推定部１１５は、その検出された視聴者の音声の中からその音声が向けられるユーザ（またはプレイヤキャラクタ）を特定するための特定情報を抽出する。特定情報の例としては、ユーザ名またはキャラクタ名が挙げられる。そして、推定部１１５は、特定情報により特定されるユーザ（またはプレイヤキャラクタ）が反応対象であると推定する。 For example, the estimating unit 115 performs speech recognition processing on microphone data indicating the sound in the hall (or the sound around the information terminal 40), Detects the audience's voice. Next, the estimation unit 115 extracts specific information for specifying the user (or player character) to whom the sound is directed from the detected sound of the viewer. Examples of specific information include a user name or character name. Then, the estimation unit 115 estimates that the user (or player character) identified by the identification information is the reaction target.

または、どの視聴者がどのユーザ（またはプレイヤキャラクタ）に対して反応するのかが予め対応付けられている場合、推定部１１５は、その視聴者とユーザ（またはプレイヤキャラクタ）との対応関係に基づいて反応対象を推定してもよい。 Alternatively, when which viewers react to which users (or player characters) are associated in advance, the estimating unit 115, based on the correspondence between the viewers and users (or player characters) A reaction target may be estimated.

例えば、野球のゲームなどにおいて視聴者が応援するチームが予め設定される場合、視聴者のゲームの進行態様に対する反応は、その視聴者が応援するチームに属するユーザ（またはプレイヤキャラクタ）に向けられると推定されてもよい。 For example, when a team that a viewer supports in a baseball game is set in advance, the viewer's reaction to the progress of the game is directed to the user (or player character) belonging to the team that the viewer supports. may be estimated.

または、推定部１１５は、視聴者毎の会話、視聴者全体の会話の流れ、オンライン視聴者毎のコメントの文脈、オンライン視聴者全体のコメントの流れなどに基づいて、反応対象（ゲームの進行態様に対する視聴者の反応が向けられる対象）を推定してもよい。 Alternatively, the estimating unit 115 may determine the response target (game progress mode ) may be estimated.

また、以上の説明において、どの視聴者のポジティブ反応がどのユーザ（またはプレイヤキャラクタ）に対して向けられ、どの視聴者のネガティブ反応がどのユーザ（またはプレイヤキャラクタ）に対して向けられるのかが予め設定されてもよい。 In the above description, it is set in advance which viewer's positive reaction is directed to which user (or player character) and which viewer's negative reaction is directed to which user (or player character). may be

例えば、野球のゲームなどにおいて視聴者が応援するチームが予め設定される場合、視聴者のポジティブ反応は、その視聴者が応援するチームのユーザ（またはプレイヤキャラクタ）に向けられると推定されてもよい。また、視聴者のネガティブ反応は、その視聴者が応援するチームの対戦相手となるチームのユーザ（またはプレイヤキャラクタ）に向けられると推定されてもよい。 For example, in a baseball game or the like, when the team that the viewer supports is preset, it may be assumed that the positive reaction of the viewer is directed to the user (or player character) of the team that the viewer supports. . Also, it may be presumed that the viewer's negative reaction is directed at the user (or player character) of the team that is the opponent of the team that the viewer supports.

また、以上の説明において、ユーザの操作（またはプレイヤキャラクタの動作）の種類毎に、その種類の操作（または動作）に対する視聴者の反応が「ポジティブ反応」であるか「ネガティブ反応」であるかが予め設定されてもよい。 In the above description, for each type of user's operation (or player character's action), whether the viewer's reaction to that type of operation (or action) is a "positive reaction" or a "negative reaction" is determined. may be preset.

例えば、ゲーム的に上手とされる操作（または動作）に「ポジティブ反応」が対応付けられてもよいし、ゲーム的に下手とされる操作（または動作）に「ネガティブ反応」が対応付けられてもよい。または、賞賛される操作（または動作）に「ポジティブ反応」が対応付けられてもよいし、非難される操作（または動作）に「ネガティブ反応」が対応付けられてもよい。 For example, a "positive reaction" may be associated with an operation (or action) considered good in a game, or a "negative reaction" may be associated with an operation (or action) considered unskillful in a game. good too. Alternatively, a "positive reaction" may be associated with an operation (or action) that is praised, and a "negative reaction" may be associated with an operation (or action) that is criticized.

また、以上の説明では、推定部１１５が反応時刻（例えば推定期間内において反応周波数成分の振幅値が最も大きくなる時刻）に基づいて、視聴者の反応が向けられる対象を推定する場合を例に挙げたが、これに限定されない。例えば、推定部１１５は、ゲームの進行やゲームの結果（例えば勝敗）に与えた影響の度合いに基づいて、視聴者の反応が向けられる対象を推定してもよい。 Further, in the above description, the case where the estimation unit 115 estimates the target to which the viewer's reaction is directed based on the reaction time (for example, the time when the amplitude value of the reaction frequency component is maximized within the estimation period) is taken as an example. have been mentioned, but are not limited to. For example, the estimation unit 115 may estimate the target to which the viewer's reaction is directed, based on the degree of influence given to the progress of the game or the result of the game (for example, victory or defeat).

また、以上の説明において、推定部１１５によりゲームの進行態様に対する反応の度合いが推定される視聴者は、ゲームを視聴する視聴者の全員であってもよいし、ゲームを視聴する視聴者の一部であってもよい。例えば、推定部１１５は、推定処理の対象となる視聴者をランダムに選択してもよい。これにより、特定のユーザ（または特定のプレイヤキャラクタ）が有利になるようにゲームの進行態様に対して反応する不正な視聴者（所謂サクラ）の参入を抑制することができる。 In the above description, the viewers for whom the degree of reaction to the progress of the game is estimated by the estimation unit 115 may be all the viewers watching the game, or may be one of the viewers watching the game. may be a part. For example, the estimation unit 115 may randomly select viewers to be subjected to estimation processing. As a result, it is possible to suppress the entry of unauthorized viewers (so-called cherry blossoms) who respond to the progress of the game in such a way that a specific user (or a specific player character) is advantageous.

また、以上の説明において、推定部１１５は、会場内視聴者の応援に伴う振動に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定してもよい。ゲームの進行態様に対する会場内視聴者の反応の度合いが高くなるほど、その会場内視聴者の応援に伴う振動が大きくなる傾向にある。 Further, in the above description, the estimation unit 115 may estimate the degree of reaction of the viewers in the venue to the mode of progress of the game based on the vibration accompanying the cheering of the viewers in the venue. There is a tendency that the higher the degree of reaction of the viewers in the venue to the mode of progress of the game, the larger the vibration accompanying the cheering of the viewers in the venue.

例えば、会場内視聴者が存在するエリアには、振動を電気信号に変換する変換器（例えば圧電素子）が設けられてもよい。推定部１１５は、変換器から出力された電気信号を受信し、その電気信号の振幅に基づいて、ゲームの進行態様に対する会場内視聴者の反応の度合いを推定してもよい。会場内視聴者の応援に伴う振動が大きくなるほど、電気信号の振幅が大きくなり、推定部１１５により推定されるゲームの進行態様に対する会場内視聴者の反応の度合いが高くなる。 For example, the area where the audience in the venue is present may be provided with a transducer (eg, piezoelectric element) that converts vibrations into electrical signals. The estimator 115 may receive the electrical signal output from the converter and estimate the degree of reaction of the viewers in the venue to the mode of progress of the game based on the amplitude of the electrical signal. The greater the vibration accompanying the cheering of the viewers in the hall, the greater the amplitude of the electric signal, and the higher the degree of reaction of the viewers in the hall to the state of progress of the game estimated by the estimation unit 115 .

これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。以上の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。 Even when these other embodiments are adopted, the effects of the present invention are exhibited. Further, it is also possible to appropriately combine this embodiment with other embodiments, and other embodiments with each other. The above embodiments are essentially preferable illustrations, and are not intended to limit the scope of the present invention, its applications, or its uses.

以上説明したように、本発明は、ゲーム処理技術として有用である。 INDUSTRIAL APPLICABILITY As described above, the present invention is useful as a game processing technology.

１ゲームシステム
１０サーバ装置
１０１ネットワークインターフェース
１０２記憶部
１０３制御部
１１１ゲーム進行部
１１２視聴制御部
１１５推定部
１１６進行制御部
２０ゲーム装置
２１ディスプレイ（表示装置）
２２スピーカ
２３ゲームコントローラ
２４カメラ
３０会場管理装置
３１ディスプレイ
３２スピーカ
３３マイクロフォン
３４カメラ
４０情報端末
４１ディスプレイ（表示部）
４２スピーカ
４３タッチパッド（操作部）
４４マイクロフォン
４５カメラ 1 game system 10 server device 101 network interface 102 storage unit 103 control unit 111 game progress unit 112 viewing control unit 115 estimation unit 116 progress control unit 20 game device 21 display (display device)
22 speaker 23 game controller 24 camera 30 venue management device 31 display 32 speaker 33 microphone 34 camera 40 information terminal 41 display (display unit)
42 speaker 43 touch pad (operation part)
44 Microphone 45 Camera

Claims

A game system that allows a viewer to view at least one of a game progressing in a virtual space in response to a user's operation and the user playing the game,
an estimating unit for estimating the degree of the viewer's reaction to the progress of the game based on at least one of the viewer's voice, facial expression, and body movement;
a progress control unit that performs processing that affects the game according to the estimation result of the estimation unit;
The processing that affects the game includes the processing of determining the outcome of the game, the processing of using the estimation result by the estimation unit as a criterion for determining the outcome of the game, and the flashiness of the performance when determining the outcome of the game. A game system characterized in that it is any one of processing for changing the

A game control method for controlling a game by a computer in a game system in which a viewer views at least one of a game progressing in a virtual space in response to a user's operation and the user playing the game,
an estimating step of estimating, by the computer, the degree of the viewer's reaction to the progress of the game based on at least one of the viewer's voice, facial expression, and body movement;
a progress control step in which the computer performs processing that affects the game according to the result of the estimation;
The processing that affects the game includes the processing of determining the outcome of the game, the processing of using the estimation result of the estimation step as a criterion for determining the outcome of the game, and the flashiness of the performance when determining the outcome of the game. A game control method characterized in that the process is any one of changing the