JP7269269B2

JP7269269B2 - Information processing device, information processing method, and information processing program

Info

Publication number: JP7269269B2
Application number: JP2021032129A
Authority: JP
Inventors: 孝太坪内; 祥太山中; 香池松
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2021-03-01
Filing date: 2021-03-01
Publication date: 2023-05-08
Anticipated expiration: 2041-03-01
Also published as: JP2022133177A

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

近年、複数の拠点間でのオンラインでの会議を可能とするオンライン会議に関する技術の開発がますます盛んになっている。例えば、オンライン会議の各出席者の音声データおよび画像データを取得し、取得した各出席者の音声データおよび画像データに基づいて、音声データにおける各発言の発言者を特定し、取得した各出席者の音声データを発言の時系列でタイムラインとして出力する技術が知られている。 In recent years, the development of technology related to online conferencing that enables online conferencing between multiple bases has become more and more popular. For example, the voice data and image data of each attendee of an online conference is acquired, and based on the voice data and image data of each attendee, the speaker of each utterance in the voice data is identified, and each attendee who is acquired There is known a technique for outputting voice data of utterances in chronological order as a timeline.

特開２０１９－６１５９４号公報JP 2019-61594 A

しかしながら、上記の従来技術では、各出席者の音声データを発言の時系列でタイムラインとして出力するにすぎない。このため、上記の従来技術では、オンライン会議に参加する利用者の会議への参加意欲を高めることができるとは限らない。 However, in the above conventional technology, the voice data of each attendee is merely output as a timeline in chronological order of utterances. For this reason, the conventional technology described above cannot always increase the willingness of users participating in the online conference to participate in the conference.

本願は、上記に鑑みてなされたものであって、オンライン会議に参加する利用者の会議への参加意欲を高めることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。 The present application has been made in view of the above, and aims to provide an information processing device, an information processing method, and an information processing program that can increase the willingness of users participating in an online conference to participate in the conference. and

本願に係る情報処理装置は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する取得部と、前記取得部によって収集された視聴情報に基づいて、前記発言者の発言に対する前記他の利用者の集中度合いを分析する分析部と、前記分析部による分析結果を前記発言者に対して提供する提供部と、を備えたことを特徴とする。 An information processing apparatus according to the present application is an acquisition unit that collects viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate. and an analysis unit that analyzes the degree of concentration of the other users on the speech of the speaker based on the viewing information collected by the acquisition unit, and provides the speaker with the analysis result of the analysis unit. and a providing unit for

実施形態の一態様によれば、オンライン会議に参加する利用者の会議への参加意欲を高めることができるという効果を奏する。 According to one aspect of the embodiment, there is an effect that it is possible to increase the willingness of users participating in the online conference to participate in the conference.

図１は、実施形態に係る情報処理システムの構成例を示す図である。FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment. 図２は、実施形態に係る情報処理の一例を示す図である。FIG. 2 is a diagram illustrating an example of information processing according to the embodiment; 図３は、実施形態に係る情報処理装置の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of an information processing apparatus according to the embodiment; 図４は、実施形態に係る情報処理の一例を示すフローチャートである。FIG. 4 is a flowchart illustrating an example of information processing according to the embodiment. 図５は、ハードウェア構成の一例を示す図である。FIG. 5 is a diagram illustrating an example of a hardware configuration;

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes for implementing an information processing apparatus, an information processing method, and an information processing program (hereinafter referred to as "embodiments") according to the present application will be described in detail with reference to the drawings. The information processing apparatus, information processing method, and information processing program according to the present application are not limited to this embodiment. Also, in each of the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.

（実施形態）
〔１．情報処理システムの構成〕
まず、図１を用いて、実施形態に係る情報処理システム１の構成について説明する。図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。端末装置１０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図１に示す情報処理システム１には、任意の数の端末装置１０と任意の数の情報処理装置１００とが含まれてもよい。 (embodiment)
[1. Configuration of information processing system]
First, the configuration of an information processing system 1 according to an embodiment will be described using FIG. FIG. 1 is a diagram showing a configuration example of an information processing system 1 according to an embodiment. As shown in FIG. 1 , the information processing system 1 includes a terminal device 10 and an information processing device 100 . The terminal device 10 and the information processing device 100 are connected via a predetermined network N so as to be communicable by wire or wirelessly. The information processing system 1 shown in FIG. 1 may include any number of terminal devices 10 and any number of information processing apparatuses 100 .

端末装置１０は、オンライン会議に参加する利用者によって利用される情報処理装置である。ここで、オンライン会議とは、離れた場所にいる相手とＷｅｂを介してリアルタイムでコミュニケーションをとることができるツール（システム）のことを指す。本願明細書において「オンライン会議」と記載する場合には、会議としてだけでなく、オンライン会議システムを用いた講義や研修が含まれる。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップ型ＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）や、ヘッドマウントディスプレイ等である。本実施形態では、端末装置１０は、デスクトップ型ＰＣであるものとする。 The terminal device 10 is an information processing device used by users participating in the online conference. Here, an online conference refers to a tool (system) that enables real-time communication with a remote party via the Web. In the specification of the present application, the term "online conference" includes not only a conference but also lectures and training using an online conference system. The terminal device 10 is, for example, a smart phone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), a head mounted display, or the like. In this embodiment, the terminal device 10 is assumed to be a desktop PC.

また、端末装置１０には、オンライン会議システムを利用するためのアプリケーション（以下、「オンライン会議アプリ」ともいう）がインストールされている。端末装置１０は、オンライン会議アプリに対する操作を行うための各種画像（例えば、ツールバーやアイコン等）を画面に表示する。また、端末装置１０には、カメラ、マイク、スピーカーなどの機能を有するデバイスが接続されている。端末装置１０は、それぞれのデバイスから入力された映像や音声を複数の拠点間で送受信する。 An application for using the online conference system (hereinafter also referred to as “online conference application”) is installed in the terminal device 10 . The terminal device 10 displays various images (for example, toolbars, icons, etc.) for operating the online conference application on the screen. Devices having functions such as a camera, a microphone, and a speaker are connected to the terminal device 10 . The terminal device 10 transmits and receives video and audio input from each device between a plurality of bases.

また、端末装置１０には、利用者の物理的な状態を検知する各種のセンサが接続されている。例えば、端末装置１０には、上述したカメラやマイクに加えて、端末装置１０を使用する利用者の視線を計測するための視線計測センサが接続されている。例えば、端末装置１０は、眼球に直接接触しない視線計測センサを備える。例えば、端末装置１０は、眼球に直接接触しない視線計測センサの一例として、角膜反射法（ＰＣＣＲ）によるアイトラッキングのための各種センサを備える。例えば、端末装置１０は、利用者の角膜上に光の反射点を生じさせるための近赤外線ＬＥＤと、角膜上に生じた光の反射点を撮影するためのアイトラッキングカメラ（例えば、赤外線カメラ）を備える。 Various sensors for detecting the physical state of the user are connected to the terminal device 10 . For example, in addition to the camera and microphone described above, the terminal device 10 is connected with a line-of-sight sensor for measuring the line of sight of the user using the terminal device 10 . For example, the terminal device 10 includes a line-of-sight sensor that does not directly contact the eyeball. For example, the terminal device 10 includes various sensors for eye tracking using the corneal reflection method (PCCR) as an example of a line-of-sight measurement sensor that does not directly contact the eyeball. For example, the terminal device 10 includes a near-infrared LED for generating a light reflection point on the user's cornea, and an eye tracking camera (for example, an infrared camera) for photographing the light reflection point generated on the cornea. Prepare.

また、端末装置１０は、各種のセンサによって、利用者の物理的な状態を示すセンサ情報を検出する。例えば、端末装置１０は、センサ情報の一例として、カメラによって利用者の画像を検出する。また、端末装置１０は、センサ情報の一例として、マイクによって利用者の音声を検出する。また、端末装置１０は、センサ情報の一例として、視線計測センサによって利用者の視線を検出する。端末装置１０は、センサ情報を検出すると、検出したセンサ情報を情報処理装置１００に送信する。 In addition, the terminal device 10 detects sensor information indicating the physical state of the user using various sensors. For example, the terminal device 10 detects an image of the user using a camera as an example of sensor information. As an example of sensor information, the terminal device 10 detects the user's voice with a microphone. As an example of sensor information, the terminal device 10 detects the line of sight of the user using a line of sight measurement sensor. When detecting the sensor information, the terminal device 10 transmits the detected sensor information to the information processing device 100 .

なお、図１に示すように、端末装置１０を利用する利用者に応じて、端末装置１０を端末装置１０－１～１０－Ｎ（Ｎは自然数）のように区別して説明する場合がある。例えば、端末装置１０－１は、図２に示す利用者Ｕ２１によって利用される端末装置１０である。また、例えば、端末装置１０－２は、図２に示す利用者Ｕ１（発言者）によって利用される端末装置１０である。また、例えば、端末装置１０－２は、図２に示す利用者Ｕ２（聞き手）によって利用される端末装置１０である。また、例えば、端末装置１０－３は、図２に示す利用者Ｕ３（聞き手）によって利用される端末装置１０である。また、例えば、端末装置１０－４は、図２に示す利用者Ｕ４（聞き手）によって利用される端末装置１０である。また、以下では、端末装置１０－１～１０－Ｎ（Ｎは自然数）について、特に区別なく説明する場合には、端末装置１０と記載する。 Note that, as shown in FIG. 1, the terminal devices 10 may be classified as terminal devices 10-1 to 10-N (N is a natural number) depending on the user who uses the terminal device 10. FIG. For example, the terminal device 10-1 is the terminal device 10 used by the user U21 shown in FIG. Also, for example, the terminal device 10-2 is the terminal device 10 used by the user U1 (speaker) shown in FIG. Also, for example, the terminal device 10-2 is the terminal device 10 used by the user U2 (listener) shown in FIG. Also, for example, the terminal device 10-3 is the terminal device 10 used by the user U3 (listener) shown in FIG. Also, for example, the terminal device 10-4 is the terminal device 10 used by the user U4 (listener) shown in FIG. Further, hereinafter, the terminal devices 10-1 to 10-N (N is a natural number) will be referred to as the terminal device 10 when they are not distinguished from each other.

情報処理装置１００は、後述する図２で説明する情報処理を実行する情報処理装置である。具体的には、情報処理装置１００は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する。続いて、情報処理装置１００は、収集した視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する。続いて、情報処理装置１００は、発言者の発言に対する他の利用者の集中度合いに関する分析結果を発言者に対して提供する。 The information processing device 100 is an information processing device that executes information processing described later with reference to FIG. Specifically, the information processing apparatus 100 collects viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate. do. Subsequently, the information processing apparatus 100 analyzes the degree of concentration of other users on the speech of the speaker based on the collected viewing information. Subsequently, the information processing device 100 provides the speaker with the analysis result regarding the degree of concentration of other users on the speaker's statement.

〔２．情報処理の一例〕
次に、図２を用いて、実施形態に係る情報処理の一例について説明する。図２は、実施形態に係る情報処理の一例を示す図である。図２は、複数の利用者Ｕ１～Ｕ４が参加するオンライン会議の様子を示す。図２の右側に示す利用者Ｕ１は、オンライン会議において発言している発言者である。一方、図２の左側に示す他の利用者Ｕ２～Ｕ４は、発言している利用者Ｕ１が撮影された画像Ｇ１を各自の端末装置１０―２～１０－４で視聴している。図２に示す例では、情報処理装置１００が、利用者Ｕ１の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いに関する分析結果の一例として、他の利用者Ｕ２～Ｕ４それぞれの集中度合いを示す集中スコアの平均を示すグラフを利用者Ｕ１に対して提供する。 [2. Example of information processing]
Next, an example of information processing according to the embodiment will be described using FIG. FIG. 2 is a diagram illustrating an example of information processing according to the embodiment; FIG. 2 shows an online conference in which a plurality of users U1-U4 participate. A user U1 shown on the right side of FIG. 2 is a speaker speaking in an online conference. On the other hand, the other users U2 to U4 shown on the left side of FIG. 2 are viewing the image G1 in which the speaking user U1 is captured on their respective terminal devices 10-2 to 10-4. In the example shown in FIG. 2, the information processing apparatus 100 indicates the degree of concentration of each of the other users U2 to U4 as an example of the analysis result regarding the degree of concentration of each of the other users U2 to U4 with respect to the statement of the user U1. A graph showing the average concentration score is provided to user U1.

まず、情報処理装置１００は、利用者Ｕ１が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４それぞれの視聴状況を示す視聴情報を収集する（ステップＳ１）。情報処理装置１００は、オンライン会議の会議中の各時刻における他の利用者Ｕ２～Ｕ４それぞれの視聴情報を収集する。情報処理装置１００は、視聴情報の一例として、利用者Ｕ１が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４の視線に関する視線情報を端末装置１０―２～１０－４からそれぞれ取得する。また、情報処理装置１００は、視聴情報の一例として、利用者Ｕ１が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４の画像Ｇ２～Ｇ４を端末装置１０―２～１０－４からそれぞれ取得する。 First, the information processing apparatus 100 collects viewing information indicating the viewing status of each of the other users U2 to U4 viewing the image G1 captured by the user U1 (step S1). The information processing apparatus 100 collects viewing information of each of the other users U2 to U4 at each time during the online conference. As an example of the viewing information, the information processing apparatus 100 receives line-of-sight information regarding the lines of sight of the other users U2 to U4 viewing the image G1 captured by the user U1 from the terminal devices 10-2 to 10-4, respectively. get. Further, the information processing apparatus 100, as an example of viewing information, transmits images G2 to G4 of the other users U2 to U4 viewing the image G1 captured by the user U1 to the terminal devices 10-2 to 10-4. obtained respectively from

情報処理装置１００は、視聴情報を収集すると、収集した視聴情報に基づいて、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者Ｕ２～Ｕ４の集中度合いを分析する（ステップＳ２）。具体的には、情報処理装置１００は、収集した視聴情報に基づいて、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いを示す集中スコアをリアルタイムに算出する。ここで、集中スコアとは、オンライン会議において発言している発言者の発言に対する他の利用者の集中の度合いを示す数値を指す。例えば、集中スコアは、他の利用者の集中の度合いが高いほど大きく、他の利用者の集中の度合いが低いほど小さい数値であってよい。 After collecting the viewing information, the information processing apparatus 100 analyzes the degree of concentration of the other users U2 to U4 on the speech of the speaker at each time during the online conference based on the collected viewing information (step S2). ). Specifically, based on the collected viewing information, the information processing apparatus 100 calculates in real time a concentration score indicating the degree of concentration of each of the other users U2 to U4 on the speaker's speech at each time during the online conference. Calculate to Here, the concentration score refers to a numerical value indicating the degree of concentration of other users on the statement of the speaker speaking in the online conference. For example, the concentration score may be a numerical value that increases as the degree of concentration of the other user increases and decreases as the degree of concentration of the other user decreases.

例えば、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれの視線情報に基づいて、他の利用者Ｕ２～Ｕ４それぞれが画像Ｇ１を見ているか否かを判定する。そして、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれが画像Ｇ１を見ていないと判定した場合よりも、他の利用者Ｕ２～Ｕ４それぞれが画像Ｇ１を見ていると判定した場合の方が、他の利用者Ｕ２～Ｕ４それぞれの集中スコアを高く算出する。 For example, the information processing apparatus 100 determines whether each of the other users U2 to U4 is looking at the image G1 based on the line-of-sight information of each of the other users U2 to U4. Then, the information processing apparatus 100 determines that each of the other users U2 to U4 is looking at the image G1 more than when it determines that each of the other users U2 to U4 is not looking at the image G1. In this case, the concentration score of each of the other users U2 to U4 is calculated higher.

また、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれの画像Ｇ２～Ｇ４に基づいて、他の利用者Ｕ２～Ｕ４それぞれの姿勢が前のめりであるか否かを判定する。そして、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれの姿勢が前のめりでないと判定した場合よりも、他の利用者Ｕ２～Ｕ４それぞれの姿勢が前のめりであると判定した場合の方が、他の利用者Ｕ２～Ｕ４それぞれの集中スコアを高く算出する。 Further, the information processing apparatus 100 determines whether or not the posture of each of the other users U2 to U4 is leaning forward based on the images G2 to G4 of the other users U2 to U4, respectively. When the information processing apparatus 100 determines that the posture of each of the other users U2 to U4 is leaning forward, the information processing apparatus 100 determines that the posture of each of the other users U2 to U4 is not leaning forward. A high concentration score is calculated for each of the other users U2 to U4.

情報処理装置１００は、オンライン会議の会議中の各時刻における他の利用者Ｕ２～Ｕ４それぞれの集中スコアを算出すると、オンライン会議の会議中の各時刻における他の利用者Ｕ２～Ｕ４それぞれの集中スコアの平均を示すグラフＧＨ１を生成する（ステップＳ３）。情報処理装置１００は、会議の時刻の進行に合わせて、リアルタイムにグラフＧＨ１を更新する。 When the information processing apparatus 100 calculates the concentration scores of each of the other users U2 to U4 at each time during the online conference, the information processing apparatus 100 calculates the concentration scores of each of the other users U2 to U4 at each time during the online conference. A graph GH1 showing the average of is generated (step S3). The information processing apparatus 100 updates the graph GH1 in real time according to the progress of the meeting time.

情報処理装置１００は、グラフＧＨ１を生成すると、生成したグラフＧＨ１に関する情報を利用者Ｕ１に提供する（ステップＳ４）。具体的には、情報処理装置１００は、生成したグラフＧＨ１に関する情報を端末装置１０―１に送信する。情報処理装置１００は、会議の時刻の進行に合わせて、リアルタイムに更新されるグラフＧＨ１に関する情報を端末装置１０―１に送信する。端末装置１０―１は、情報処理装置１００からグラフＧＨ１に関する情報を受信すると、グラフＧＨ１に関する情報を画面に表示する。 After generating the graph GH1, the information processing apparatus 100 provides the user U1 with information on the generated graph GH1 (step S4). Specifically, the information processing device 100 transmits information about the generated graph GH1 to the terminal device 10-1. The information processing apparatus 100 transmits information on the graph GH1 updated in real time to the terminal apparatus 10-1 as the time of the meeting progresses. When the terminal device 10-1 receives the information about the graph GH1 from the information processing device 100, the terminal device 10-1 displays the information about the graph GH1 on the screen.

上述したように、情報処理装置１００は、複数の利用者Ｕ１～Ｕ４が参加するオンライン会議において発言している発言者（利用者Ｕ１）が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４の視聴状況を示す視聴情報を収集する。続いて、情報処理装置１００は、収集した視聴情報に基づいて、発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いを分析する。続いて、情報処理装置１００は、発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いに関する分析結果（図２に示す例では、グラフＧＨ１）を発言者に対して提供する。 As described above, the information processing apparatus 100 allows a speaker (user U1) who is speaking in an online conference in which a plurality of users U1 to U4 participate to be viewed by other users viewing an image G1. Viewing information indicating the viewing status of U2 to U4 is collected. Subsequently, the information processing apparatus 100 analyzes the degree of concentration of each of the other users U2 to U4 on the speech of the speaker based on the collected viewing information. Subsequently, the information processing apparatus 100 provides the speaker with the analysis result (graph GH1 in the example shown in FIG. 2) of the degree of concentration of each of the other users U2 to U4 on the speaker's statement.

このように、情報処理装置１００は、オンライン会議中に発言者に対して、リアルタイムに自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いに合わせてオンライン会議中に発言の内容や発言の仕方を変更することを可能にする。例えば、情報処理装置１００は、発言者がグラフＧＨ１から聞き手の集中度合いが低下してきたことを認識した場合には、発言者が会議中に小休止を入れたり、発言者が聞き手に対して集中を促すことを可能にする。また、例えば、情報処理装置１００は、発言者がグラフＧＨ１から聞き手の集中度合いが高まってきたことを認識した場合には、会議の中で特に重要なポイントについて優先的に発言することを可能にする。このように、情報処理装置１００は、リアルタイムに自身の発言に対する聞き手の集中度合いがフィードバックされるので、発言者の意欲を高めることを可能にする。また、情報処理装置１００は、フィードバックを受けた発言者が聞き手に対する発言の内容や発言の仕方を変えることにより、聞き手の視聴意欲を高めることを可能にする。したがって、情報処理装置１００は、オンライン会議に参加する利用者の会議への参加意欲を高めることができる。 In this way, the information processing apparatus 100 enables real-time feedback of the listener's degree of concentration on his/her own speech to the speaker during the online conference. Thereby, the information processing apparatus 100 enables the speaker who receives the feedback to change the contents of the speech and the manner of speaking during the online conference according to the degree of concentration of the listener. For example, when the speaker recognizes from the graph GH1 that the listener's degree of concentration has decreased, the information processing apparatus 100 may cause the speaker to take a short break during the conference, or the speaker may concentrate on the listener. to encourage Further, for example, when the speaker recognizes from the graph GH1 that the listener's degree of concentration has increased, the information processing apparatus 100 can preferentially speak about particularly important points in the meeting. do. In this way, the information processing apparatus 100 feeds back the listener's degree of concentration on his/her own utterance in real time, thereby making it possible to increase the motivation of the utterer. Further, the information processing apparatus 100 makes it possible for the speaker who receives the feedback to change the contents of the speech and the manner of speaking to the listener, thereby increasing the listener's willingness to listen. Therefore, the information processing apparatus 100 can increase the willingness of the users participating in the online conference to participate in the conference.

なお、図２では、情報処理装置１００がオンライン会議中に発言者に対して、リアルタイムに自身の発言に対する聞き手の集中度合いをフィードバックする場合を例に説明したが、フィードバックするタイミングはリアルタイムに限られない。例えば、情報処理装置１００は、オンライン会議の後に、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中スコアの平均を示すグラフＧＨ１を生成する。そして、情報処理装置１００は、オンライン会議の後に、生成したグラフＧＨ１に関する情報を利用者Ｕ１に提供する。これにより、情報処理装置１００は、オンライン会議後に、発言者に対して、会議中の自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。 Note that FIG. 2 illustrates an example in which the information processing apparatus 100 feeds back the listener's degree of concentration to the speaker's own speech in real time during an online conference, but the feedback timing is limited to real time. do not have. For example, after the online conference, the information processing apparatus 100 generates a graph GH1 indicating the average concentration score of each of the other users U2 to U4 with respect to the speaker's utterances at each time during the online conference. After the online conference, the information processing apparatus 100 provides the user U1 with information on the generated graph GH1. Thereby, the information processing apparatus 100 enables feedback of the listener's degree of concentration on the speech during the conference to the speaker after the online conference. As a result, the information processing apparatus 100 enables the speaker who receives the feedback to look back on his/her own speech and use it as reference information for the next and subsequent speeches.

〔３．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。 [3. Configuration of Information Processing Device]
Next, the configuration of the information processing apparatus 100 according to the embodiment will be described using FIG. FIG. 3 is a diagram illustrating a configuration example of the information processing apparatus 100 according to the embodiment. As shown in FIG. 3, the information processing apparatus 100 has a communication section 110, a storage section 120, and a control section . The information processing apparatus 100 includes an input unit (for example, a keyboard, a mouse, etc.) for receiving various operations from an administrator of the information processing apparatus 100, and a display unit (for example, a liquid crystal display) for displaying various information. may have.

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０との間で情報の送受信を行う。 (Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. The communication unit 110 is connected to a network by wire or wirelessly, and transmits and receives information to and from the terminal device 10, for example.

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。 (storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or an optical disk.

（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。 (control unit 130)
The control unit 130 is a controller, and for example, various programs (information processing programs) stored in a storage device inside the information processing apparatus 100 are controlled by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. (equivalent to one example) is implemented by executing the RAM as a work area. Also, the control unit 130 is a controller, and is implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図３に示すように、制御部１３０は、取得部１３１と、分析部１３２と、生成部１３３と、提供部１３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。 As shown in FIG. 3, the control unit 130 has an acquisition unit 131, an analysis unit 132, a generation unit 133, and a provision unit 134, and implements or executes the information processing operation described below. Note that the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 3, and may be another configuration as long as it performs information processing described later.

（取得部１３１）
取得部１３１は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する。具体的には、取得部１３１は、視聴情報の一例として、他の利用者の視線に関する視線情報を収集する。より具体的には、取得部１３１は、他の利用者の端末装置１０から他の利用者の視線情報を取得する。例えば、取得部１３１は、端末装置１０の視線計測センサによって検出された他の利用者の視線情報を端末装置１０の視線計測センサから取得する。 (Acquisition unit 131)
The acquisition unit 131 collects viewing information that indicates the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate. Specifically, the acquisition unit 131 collects line-of-sight information regarding lines of sight of other users as an example of viewing information. More specifically, the acquisition unit 131 acquires line-of-sight information of another user from the terminal device 10 of another user. For example, the acquisition unit 131 acquires the line-of-sight information of the other user detected by the line-of-sight sensor of the terminal device 10 from the line-of-sight sensor of the terminal device 10 .

また、取得部１３１は、視聴情報の一例として、他の利用者の画像を収集する。より具体的には、取得部１３１は、他の利用者それぞれの端末装置１０から他の利用者それぞれの画像を取得する。例えば、取得部１３１は、端末装置１０のカメラによって撮影された他の利用者の画像を端末装置１０のカメラから取得する。 The acquisition unit 131 also collects images of other users as an example of viewing information. More specifically, the acquiring unit 131 acquires the images of the other users from the terminal devices 10 of the other users. For example, the acquiring unit 131 acquires an image of another user captured by the camera of the terminal device 10 from the camera of the terminal device 10 .

（分析部１３２）
分析部１３２は、取得部１３１によって収集された視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する。具体的には、分析部１３２は、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者の集中度合いを示す集中スコアを算出する。 (Analysis unit 132)
Based on the viewing information collected by the acquisition unit 131, the analysis unit 132 analyzes the degree of concentration of other users on the statement of the speaker. Specifically, the analysis unit 132 calculates a concentration score indicating the degree of concentration of other users on the speaker's statement at each time during the online conference.

例えば、分析部１３２は、他の利用者の視線情報に基づいて、他の利用者が画像を見ているか否かを判定する。続いて、分析部１３２は、他の利用者が画像を見ていないと判定した場合よりも、他の利用者が画像を見ていると判定した場合の方が、他の利用者の集中スコアを高く算出する。 For example, the analysis unit 132 determines whether another user is viewing the image based on the line-of-sight information of the other user. Subsequently, the analysis unit 132 determines that the concentration score of the other user is higher when it is determined that the other user is looking at the image than when it is determined that the other user is not looking at the image. calculate higher.

また、分析部１３２は、他の利用者の画像に基づいて、他の利用者の姿勢が前のめりであるか否かを判定する。続いて、分析部１３２は、他の利用者の姿勢が前のめりでないと判定した場合よりも、他の利用者の姿勢が前のめりであると判定した場合の方が、他の利用者の集中スコアを高く算出する。 Also, the analysis unit 132 determines whether or not the posture of the other user is leaning forward based on the image of the other user. Subsequently, the analysis unit 132 increases the concentration score of the other user when it determines that the posture of the other user is leaning forward rather than when it determines that the posture of the other user is not leaning forward. Calculate high.

（生成部１３３）
生成部１３３は、分析部１３２によって算出された他の利用者それぞれの集中スコアに基づいて、集中スコアに関する種々の情報を生成する。具体的には、生成部１３３は、分析部１３２によって算出された他の利用者それぞれの集中スコアの平均を示すグラフを生成する。例えば、生成部１３３は、オンライン会議の会議中の各時刻における他の利用者それぞれの集中スコアの平均を示すグラフを生成する。なお、生成部１３３は、グラフをリアルタイムに生成する場合には、会議の時刻の進行に合わせて、グラフを更新する。 (Generating unit 133)
The generating unit 133 generates various information regarding the concentration score based on the concentration score of each of the other users calculated by the analysis unit 132 . Specifically, the generation unit 133 generates a graph showing the average concentration score of each of the other users calculated by the analysis unit 132 . For example, the generation unit 133 generates a graph showing the average concentration score of each of the other users at each time during the online conference. Note that when generating the graph in real time, the generation unit 133 updates the graph according to the progress of the meeting time.

（提供部１３４）
提供部１３４は、分析部１３２による分析結果を発言者に対して提供する。具体的には、提供部１３４は、分析部１３２によって算出された他の利用者の集中スコアに関する情報を発言者に対して提供する。より具体的には、提供部１３４は、生成部１３３によって生成されたグラフに関する情報を発言者に対して提供する。例えば、提供部１３４は、生成部１３３によって生成されたグラフに関する情報を発言者の端末装置１０に送信する。 (Providing unit 134)
The providing unit 134 provides the result of analysis by the analysis unit 132 to the speaker. Specifically, the providing unit 134 provides the speaker with information on the concentration score of the other user calculated by the analyzing unit 132 . More specifically, the providing unit 134 provides information on the graph generated by the generating unit 133 to the speaker. For example, the providing unit 134 transmits information about the graph generated by the generating unit 133 to the terminal device 10 of the speaker.

〔４．情報処理のフロー〕
次に、図４を用いて、実施形態に係る情報処理の手順について説明する。図４は、実施形態に係る情報処理の一例を示すフローチャートである。図４に示す例では、取得部１３１は、複数の利用者が参加するリモート会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する（ステップＳ１０１）。分析部１３２は、取得部１３１によって収集された視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する（ステップＳ１０２）。提供部１３４は、分析部１３２による分析結果を発言者に対して提供する（ステップＳ１０３）。 [4. Information processing flow]
Next, the procedure of information processing according to the embodiment will be described with reference to FIG. FIG. 4 is a flowchart illustrating an example of information processing according to the embodiment. In the example shown in FIG. 4, the acquisition unit 131 acquires viewing information indicating the viewing status of other users who are viewing an image of a speaker who is speaking in a remote conference in which a plurality of users participate. Collect (step S101). The analysis unit 132 analyzes the degree of concentration of other users on the speech of the speaker based on the viewing information collected by the acquisition unit 131 (step S102). The providing unit 134 provides the speaker with the analysis result by the analyzing unit 132 (step S103).

〔５．変形例〕
〔５－１．発言者に対するその他の情報提供〕
上述した実施形態では、情報処理装置１００が他の利用者の集中スコアの平均を示すグラフを発言者に対して提供する場合について説明したが、情報処理装置１００が提供する情報は集中スコアの平均を示すグラフに限られない。具体的には、情報処理装置１００が、聞き手の集中スコアが急に低下した時刻や聞き手の集中スコアが急に高くなった時刻の特徴に関する共通性を示す共通情報を発言者に対して提供してよい。 [5. Modification]
[5-1. Other information provided to the speaker]
In the above-described embodiment, the case where the information processing apparatus 100 provides the speaker with a graph showing the average concentration scores of other users has been described. is not limited to the graph showing Specifically, the information processing apparatus 100 provides the speaker with common information indicating the commonality of the characteristics of the time when the listener's concentration score suddenly drops or the time when the listener's concentration score suddenly increases. you can

例えば、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻（以下では、集中スコアが急に低下した時刻、または集中スコアが急に高くなった時刻ともいう）を特定する。続いて、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析する。例えば、分析部１３２は、マーケットバスケット分析によって、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析する。 For example, the analysis unit 132 determines the time when the rate of change in the concentration score of another user exceeds a predetermined threshold (hereinafter referred to as the time when the concentration score suddenly drops or the time when the concentration score (also called time). Subsequently, the analysis unit 132 analyzes the characteristics of the time when the rate of change of the concentration scores of other users exceeds a predetermined threshold. For example, the analysis unit 132 analyzes, by market basket analysis, the commonality of times when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold.

例えば、分析部１３２は、聞き手のうち、利用者Ｕ２と利用者Ｕ３の集中スコアが急に低下した時刻として、オンライン会議の開始時刻から５分３０秒経った時刻を特定する。また、分析部１３２は、同じく、聞き手である利用者Ｕ２と利用者Ｕ３の集中スコアが急に低下した時刻として、オンライン会議の開始時刻から２０分２０秒経った時刻を特定する。続いて、分析部１３２は、２以上の聞き手の集中スコアが、オンライン会議の開始時刻から５分３０秒経った時刻と開始時刻から２０分２０秒経った時刻に低下したという共通性を分析する。 For example, the analysis unit 132 identifies the time 5 minutes and 30 seconds after the start time of the online conference as the time when the concentration scores of the users U2 and U3 among the listeners suddenly decreased. Similarly, the analysis unit 132 identifies the time 20 minutes and 20 seconds after the start time of the online conference as the time when the concentration scores of the users U2 and U3, who are listeners, suddenly decreased. Subsequently, the analysis unit 132 analyzes the commonality that the concentration scores of two or more listeners decreased at the time 5 minutes and 30 seconds after the start time of the online conference and at the time 20 minutes and 20 seconds after the start time. .

提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を発言者に対して提供する。提供部１３４は、分析部１３２によって分析された特徴を示す特徴情報を発言者に対して提供する。例えば、提供部１３４は、特徴情報の一例として、分析部１３２によって分析された共通性を示す共通情報を発言者に対して提供する。例えば、提供部１３４は、「オンライン会議の開始時刻から５分３０秒くらいで集中度合いが落ちた聞き手は、開始時刻から２０分２０秒あたりでも集中度合いが落ちる傾向にあった」といった分析結果を示すメッセージを発言者の端末装置１０に送信する。 The providing unit 134 provides the speaker with time information indicating the time specified by the analyzing unit 132 . The providing unit 134 provides feature information indicating features analyzed by the analysis unit 132 to the speaker. For example, the providing unit 134 provides the speaker with common information indicating commonality analyzed by the analyzing unit 132 as an example of feature information. For example, the providing unit 134 provides an analysis result such as ``listeners whose degree of concentration decreased about 5 minutes and 30 seconds after the start time of the online conference tended to decrease their degree of concentration about 20 minutes and 20 seconds after the start time''. message is sent to the terminal device 10 of the speaker.

これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。 As a result, the information processing apparatus 100 enables the speaker who receives the feedback to look back on his/her own speech and use it as reference information for the next and subsequent speeches.

〔５－２．聞き手に対する情報提供〕
上述した実施形態では、情報処理装置１００が他の利用者の集中度合いに関する情報を発言者に対して提供する場合について説明したが、情報処理装置１００による情報の提供先は発言者に限られない。具体的には、情報処理装置１００は、聞き手に対して発言者の発言に対する集中を促す通知を提供してよい。 [5-2. Providing information to listeners]
In the above-described embodiment, the information processing device 100 provides the speaker with information about the degree of concentration of other users, but the information processing device 100 does not limit the information to the speaker. . Specifically, the information processing apparatus 100 may provide the listener with a notification that prompts the listener to concentrate on the speech of the speaker.

より具体的には、取得部１３１は、発言者の発言状況を示す発言情報を取得する。具体的には、取得部１３１は、発言情報の一例として、発言者の画像を発言者の端末装置１０のカメラから取得する。 More specifically, the acquiring unit 131 acquires utterance information indicating the utterance status of the speaker. Specifically, the acquiring unit 131 acquires an image of the speaker from the camera of the terminal device 10 of the speaker as an example of the utterance information.

分析部１３２は、取得部１３１によって取得された発言情報に基づいて、発言者が他の利用者に対して発言者の発言に対する集中を促しているか否かを判定する。例えば、分析部１３２は、発言者の画像に基づいて、発言者の姿勢が前のめりであるか否かを判定する。分析部１３２は、発言者の姿勢が前のめりであると判定した場合、発言者が他の利用者に対して発言者の発言に対する集中を促していると判定する。 Based on the utterance information acquired by the acquisition unit 131, the analysis unit 132 determines whether or not the speaker urges other users to concentrate on the utterance of the speaker. For example, the analysis unit 132 determines whether the speaker's posture is leaning forward based on the image of the speaker. When determining that the speaker's posture is leaning forward, the analysis unit 132 determines that the speaker is urging other users to concentrate on the speaker's statement.

提供部１３４は、分析部１３２によって発言者が他の利用者に対して発言者の発言に対する集中を促していると判定された場合、発言者の発言に対する集中を促す通知を他の利用者に対して提供する。例えば、提供部１３４は、「ここが聞き所です！」といったメッセージを他の利用者の端末装置１０に送信する。 When the analysis unit 132 determines that the speaker is urging other users to concentrate on the speech of the speaker, the providing unit 134 sends a notification to the other users to encourage concentration on the speech of the speaker. provide for. For example, the providing unit 134 transmits a message such as "This is the place to listen!" to the terminal devices 10 of other users.

これにより、情報処理装置１００は、通知を受けた聞き手が発言者に注目するよう促すことができるので、聞き手の視聴意欲を高めることを可能にする。 As a result, the information processing apparatus 100 can prompt the listener who receives the notification to pay attention to the speaker, thereby making it possible to increase the listening motivation of the listener.

〔５－３．新たな聞き手に対する情報提供〕
上述した実施形態では、情報処理装置１００が他の利用者の集中度合いに関する情報を発言者に対して提供する場合について説明したが、情報処理装置１００による情報の提供先は発言者に限られない。具体的には、情報処理装置１００は、オンライン会議において発言している発言者が撮影された画像を新たに視聴する新たな利用者（例えば、オンライン会議における発言者の画像の録画を再生して後から視聴する利用者や、翌年に同じオンライン講義で発言者の講義を新しく受ける利用者など）に対して過去の聞き手の集中度合いに関する情報を提供してよい。なお、本明細書では、オンライン会議システムを用いて発言者が聞き手に対して講義を行う場合には、オンライン会議の代わりに「オンライン講義」と記載する場合がある。 [5-3. Providing information to new listeners]
In the above-described embodiment, the information processing device 100 provides the speaker with information about the degree of concentration of other users, but the information processing device 100 does not limit the information to the speaker. . Specifically, the information processing apparatus 100 can be used by a new user who newly views an image captured by a speaker who is speaking in an online conference (for example, by playing back a recorded image of a speaker in an online conference). Information about past concentration levels of listeners may be provided to users who watch later, or users who newly receive a speaker's lecture in the same online lecture the following year. In this specification, when a speaker gives a lecture to listeners using an online conference system, it may be described as an "online lecture" instead of an online conference.

例えば、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定する。例えば、分析部１３２は、あるオンライン講義で発言している発言者の発言を視聴した過去の聞き手のうち、利用者Ｕ２と利用者Ｕ３の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から４分３０秒経った時刻を特定する。提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を新たな利用者に対して提供する。例えば、提供部１３４は、翌年に同じ発言者によるオンライン講義を新しく受ける新たな利用者Ｕ５の端末装置１０に対して、オンライン講義の開始時刻から４分３０秒経った時刻のタイミングに合わせて、「去年リアルタイムで聞いていた人たちの集中度合いが高かったタイミングです」といったメッセージを送信する。 For example, the analysis unit 132 identifies the time when the rate of change in the concentration score of another user exceeds a predetermined threshold. For example, the analysis unit 132 determines the time at which the concentration scores of the users U2 and U3 among the listeners in the past who viewed the statements of a speaker speaking in a certain online lecture suddenly increased. Identify the time 4 minutes and 30 seconds after the start time. The provision unit 134 provides the new user with time information indicating the time specified by the analysis unit 132 . For example, the providing unit 134, for the terminal device 10 of a new user U5 who will newly receive an online lecture by the same speaker in the next year, according to the timing of the time 4 minutes and 30 seconds after the start time of the online lecture, Send a message such as, "This is the timing when people who were listening in real time last year were highly focused."

同様に、分析部１３２は、過去の聞き手のうち、２以上の聞き手の集中スコアが急に低下した時刻を特定する。そして、提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を新たな利用者に対して提供する。例えば、翌年に同じ発言者によるオンライン講義を新しく受ける新たな利用者Ｕ５の端末装置１０に対して、特定された時刻のタイミングに合わせて、「去年リアルタイムで聞いていた人たちの集中度合いが低下したタイミングです」といったメッセージを送信してよい。 Similarly, the analysis unit 132 identifies the time when the concentration scores of two or more listeners among the past listeners suddenly decreased. Then, the providing unit 134 provides the new user with time information indicating the time specified by the analyzing unit 132 . For example, for the terminal device 10 of a new user U5 who will newly receive an online lecture by the same speaker in the next year, at the timing of the specified time, "People who were listening in real time last year have decreased their concentration You can send a message such as "It's time to

また、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻と、新たな利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻との共通性を分析する。提供部１３４は、共通性を示す共通情報を新たな利用者に対して提供する。 In addition, the analysis unit 132 determines the time when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold, and the rate of change in the concentration score of the new user. Analyze the commonality with the time when the value exceeds a predetermined threshold. The providing unit 134 provides new users with common information indicating commonality.

これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲を高めることを可能にする。 As a result, the information processing apparatus 100 makes it possible to increase the viewing motivation of new listeners who have received information presentation.

例えば、分析部１３２は、オンライン講義で発言している発言者の発言を視聴した過去の聞き手のうち、利用者Ｕ２と利用者Ｕ３の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から４分３０秒経った時刻を特定する。また、同様に、分析部１３２は、過去の聞き手である利用者Ｕ２と利用者Ｕ３の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から１９分２０秒経った時刻を特定する。続いて、分析部１３２は、オンライン講義の過去の聞き手のうち、２以上の利用者の集中スコアが、オンライン講義の開始時刻から４分３０秒経った時刻と開始時刻から１９分２０秒経った時刻において急に高くなったという共通性を分析する。 For example, the analysis unit 132 determines that the time at which the concentration score of user U2 and user U3 among the listeners in the past who watched the remarks of the speaker speaking in the online lecture suddenly became high is the start of the online lecture. Specify the time 4 minutes and 30 seconds after the time. Similarly, the analysis unit 132 identifies the time 19 minutes and 20 seconds after the start time of the online lecture as the time at which the concentration scores of the users U2 and U3, who were past listeners, suddenly increased. . Next, the analysis unit 132 determines that the concentration scores of two or more users among the past listeners of the online lecture were 4 minutes and 30 seconds after the start time of the online lecture and 19 minutes and 20 seconds after the start time. Analyze the commonality that it suddenly increased at the time.

また、分析部１３２は、翌年に同じ発言者のオンライン講義を新しく受けている新たな利用者Ｕ５の集中スコアを算出する。続いて、分析部１３２は、新たな利用者Ｕ５の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から４分３０秒経った時刻を特定する。続いて、分析部１３２は、過去の聞き手のうち、２以上の利用者の集中スコアが、オンライン会議の開始時刻から４分３０秒経った時刻と開始時刻から１９分２０秒経った時刻に急に高くなったという分析結果と、新たな利用者Ｕ５の集中スコアが、オンライン講義の開始時刻から４分３０秒経った時刻に急に高くなったという分析結果との共通性を分析する。 The analysis unit 132 also calculates the concentration score of a new user U5 who will newly take an online lecture by the same speaker in the next year. Subsequently, the analysis unit 132 identifies the time 4 minutes and 30 seconds after the start time of the online lecture as the time when the concentration score of the new user U5 suddenly increased. Subsequently, the analysis unit 132 determines that the concentration scores of two or more users among the past listeners suddenly increased at the time 4 minutes and 30 seconds after the start time of the online conference and at the time 19 minutes and 20 seconds after the start time. and the analysis result that the concentration score of the new user U5 suddenly increased at the time 4 minutes and 30 seconds after the start time of the online lecture is analyzed.

例えば、分析部１３２は、新たな利用者Ｕ５の集中スコアがオンライン講義の開始時刻から４分３０秒経った時刻に急に高くなったので、過去の聞き手と同様に、新たな利用者Ｕ５の集中スコアが開始時刻から１９分２０秒経った時刻にもまた急に高くなると予測する。提供部１３４は、新たな利用者Ｕ５の端末装置１０に対して、「あなたは開始時刻から４分３０秒あたりで集中度合いが高くなったので、開始時刻から１９分２０秒あたりの内容に対しても集中度合いが高くなりますよ。」といったメッセージを送信する。 For example, the analysis unit 132 determines that the new user U5's concentration score suddenly increased at the time 4 minutes and 30 seconds after the start time of the online lecture. It is predicted that the concentration score will rise sharply again at the time 19 minutes and 20 seconds after the start time. The provision unit 134 tells the terminal device 10 of the new user U5, "Since you became highly concentrated around 4 minutes and 30 seconds after the start time, the content around 19 minutes and 20 seconds after the start time Sending a message such as,

これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲をさらに高めることを可能にする。 As a result, the information processing apparatus 100 makes it possible to further increase the viewing motivation of new listeners who have received information presentation.

〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、分析部１３２と、提供部１３４を備える。取得部１３１は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する。分析部１３２は、取得部１３１によって収集された視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する。提供部１３４は、分析部１３２による分析結果を発言者に対して提供する。 [6. effect〕
As described above, the information processing apparatus 100 according to the embodiment includes the acquisition unit 131, the analysis unit 132, and the provision unit 134. The acquisition unit 131 collects viewing information that indicates the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate. Based on the viewing information collected by the acquisition unit 131, the analysis unit 132 analyzes the degree of concentration of other users on the statement of the speaker. The providing unit 134 provides the result of analysis by the analysis unit 132 to the speaker.

このように、情報処理装置１００は、オンライン会議中に発言者に対して、リアルタイムに自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いに合わせてオンライン会議中に発言の内容や発言の仕方を変更することを可能にする。例えば、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いが低下してきたことを認識した場合には、発言者が会議中に小休止を入れたり、発言者が聞き手に対して集中を促すことを可能にする。また、例えば、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いが高まってきたことを認識した場合には、会議の中で特に重要なポイントについて優先的に発言することを可能にする。このように、情報処理装置１００は、リアルタイムに自身の発言に対する聞き手の集中度合いがフィードバックされるので、発言者の意欲を高めることを可能にする。また、情報処理装置１００は、フィードバックを受けた発言者が聞き手に対する発言の内容や発言の仕方を変えることにより、聞き手の視聴意欲を高めることを可能にする。したがって、情報処理装置１００は、オンライン会議に参加する利用者の会議への参加意欲を高めることができる。 In this way, the information processing apparatus 100 enables real-time feedback of the listener's degree of concentration on his/her own speech to the speaker during the online conference. Thereby, the information processing apparatus 100 enables the speaker who receives the feedback to change the contents of the speech and the manner of speaking during the online conference according to the degree of concentration of the listener. For example, when the speaker receiving the feedback recognizes that the degree of concentration of the listener has decreased, the information processing apparatus 100 may cause the speaker to take a short break during the conference, or may Allows you to concentrate. Further, for example, when the speaker who receives the feedback recognizes that the degree of concentration of the listeners has increased, the information processing apparatus 100 can preferentially speak about particularly important points in the conference. to In this way, the information processing apparatus 100 feeds back the listener's degree of concentration on his/her own utterance in real time, thereby making it possible to increase the motivation of the utterer. Further, the information processing apparatus 100 makes it possible for the speaker who receives the feedback to change the contents of the speech and the manner of speaking to the listener, thereby increasing the listener's willingness to listen. Therefore, the information processing apparatus 100 can increase the willingness of the users participating in the online conference to participate in the conference.

また、情報処理装置１００は、オンライン会議の後に、発言者に対して、会議中の自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。 In addition, the information processing apparatus 100 makes it possible, after the online conference, to feed back to the speaker the degree of concentration of the listener on his or her own speech during the conference. As a result, the information processing apparatus 100 enables the speaker who receives the feedback to look back on his/her own speech and use it as reference information for the next and subsequent speeches.

また、分析部１３２は、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者の集中度合いを示す集中スコアを算出する。提供部１３４は、分析部１３２によって算出された他の利用者の集中スコアに関する情報を発言者に対して提供する。 The analysis unit 132 also calculates a concentration score indicating the degree of concentration of other users on the speaker's statement at each time during the online conference. The providing unit 134 provides the speaker with information on the concentration scores of other users calculated by the analyzing unit 132 .

これにより、情報処理装置１００は、聞き手の集中度合いを集中スコアの数値によって提供することで、発言者が聞き手の集中度合いを把握しやすくすることを可能にする。 As a result, the information processing apparatus 100 provides the degree of concentration of the listener by means of the numerical value of the concentration score, thereby making it possible for the speaker to easily grasp the degree of concentration of the listener.

また、取得部１３１は、視聴情報として、他の利用者の視線に関する視線情報を収集する。分析部１３２は、他の利用者の視線情報に基づいて、他の利用者の集中スコアを算出する。例えば、分析部１３２は、他の利用者の視線情報に基づいて、他の利用者が画像を見ているか否かを判定し、他の利用者が画像を見ていないと判定した場合よりも、他の利用者が画像を見ていると判定した場合の方が、他の利用者の集中スコアを高く算出する。 In addition, the acquisition unit 131 collects line-of-sight information related to lines of sight of other users as viewing information. The analysis unit 132 calculates another user's concentration score based on the other user's line-of-sight information. For example, the analysis unit 132 determines whether the other user is viewing the image based on the line-of-sight information of the other user, and determines that the other user is not viewing the image. , the other user's concentration score is calculated higher when it is determined that another user is looking at the image.

一般的に、発言者が撮影された画像を見ていない利用者よりも、画像を見ている利用者の方が発言者による発言に集中していると考えられる。これにより、情報処理装置１００は、他の利用者が画像を見ているか否かを判定したうえで、他の利用者の集中スコアを適切に算出することを可能にする。 Generally, it is considered that a user who is looking at an image is more focused on the speaker's statement than a user who is not looking at the image in which the speaker is photographed. Accordingly, the information processing apparatus 100 can appropriately calculate the concentration score of the other user after determining whether or not the other user is viewing the image.

また、取得部１３１は、視聴情報として、他の利用者の画像を収集する。分析部１３２は、他の利用者の画像に含まれる他の利用者の姿勢に基づいて、他の利用者の集中スコアを算出する。例えば、分析部１３２は、他の利用者の画像に基づいて、他の利用者の姿勢が前のめりであるか否かを判定し、他の利用者の姿勢が前のめりでないと判定した場合よりも、他の利用者の姿勢が前のめりであると判定した場合の方が、他の利用者の集中スコアを高く算出する。 The acquisition unit 131 also collects images of other users as viewing information. The analysis unit 132 calculates the concentration score of the other user based on the posture of the other user included in the image of the other user. For example, the analysis unit 132 determines whether the posture of the other user is leaning forward based on the image of the other user, and determines that the posture of the other user is not leaning forward. When it is determined that the posture of the other user is leaning forward, the concentration score of the other user is calculated to be higher.

一般的に、聞き手の姿勢が前のめりになると、そうでない場合よりも、発言者による発言に集中していると考えられる。これにより、情報処理装置１００は、他の利用者の姿勢が前のめりであるか否かを判定したうえで、他の利用者の集中スコアを適切に算出することを可能にする。 In general, when the posture of the listener leans forward, it is considered that the listener concentrates more on the utterance of the speaker than when it does not. Accordingly, the information processing apparatus 100 can determine whether or not the posture of the other user is leaning forward, and then appropriately calculate the concentration score of the other user.

また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定する。提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を発言者に対して提供する。 The analysis unit 132 also identifies the time when the change rate of the concentration score of the other user exceeds a predetermined threshold. The providing unit 134 provides the speaker with time information indicating the time specified by the analyzing unit 132 .

これにより、情報処理装置１００は、発言者に対して、自身の発言に対する聞き手の集中度合いが大きく変化したタイミングをフィードバックすることができる。例えば、情報処理装置１００は、発言者に対して、自身の発言に対する聞き手の集中度合いが大きく低下したタイミング、または聞き手の集中度合いが大きく高まったタイミングをフィードバックすることができる。 As a result, the information processing apparatus 100 can feed back to the speaker the timing at which the listener's degree of concentration on his/her own speech has changed significantly. For example, the information processing apparatus 100 can feed back to the speaker the timing at which the listener's degree of concentration on his/her own statement has significantly decreased or the timing at which the listener's degree of concentration has increased significantly.

また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析する。提供部１３４は、分析部１３２によって分析された特徴を示す特徴情報を発言者に対して提供する。例えば、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析する。提供部１３４は、特徴情報として、分析部１３２によって分析された共通性を示す共通情報を発言者に対して提供する。 The analysis unit 132 also analyzes the characteristics of the time when the change rate of the concentration score of the other users exceeds a predetermined threshold. The providing unit 134 provides feature information indicating features analyzed by the analysis unit 132 to the speaker. For example, the analysis unit 132 analyzes the commonality of times when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold. The providing unit 134 provides the speaker with common information indicating the commonality analyzed by the analyzing unit 132 as feature information.

これにより、情報処理装置１００は、発言者に対して、聞き手の集中度合いに関するマーケットバスケット分析による分析結果を提供可能とする。例えば、情報処理装置１００は、発言者に対して、「オンライン会議の開始時刻から４分３０秒くらいで集中度合いが落ちた聞き手は、開始時刻から１９分２０秒あたりでも集中度合いが落ちる傾向にある」といった分析結果を示すメッセージを提供可能とする。これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。 As a result, the information processing apparatus 100 can provide the speaker with the analysis result of the market basket analysis regarding the listener's degree of concentration. For example, the information processing apparatus 100 may tell the speaker, "A listener whose degree of concentration has decreased about 4 minutes and 30 seconds after the start time of the online conference tends to decrease their degree of concentration even at about 19 minutes and 20 seconds after the start time." It is possible to provide a message indicating the analysis result such as "Yes". As a result, the information processing apparatus 100 enables the speaker who receives the feedback to look back on his/her own speech and use it as reference information for the next and subsequent speeches.

また、情報処理装置１００は、生成部１３３をさらに備える。生成部１３３は、分析部１３２によって算出された他の利用者それぞれの集中スコアの平均を示すグラフを生成する。提供部１３４は、生成部１３３によって生成されたグラフを発言者に対して提供する。 Information processing apparatus 100 further includes generation unit 133 . The generation unit 133 generates a graph showing the average concentration score of each of the other users calculated by the analysis unit 132 . The providing unit 134 provides the graph generated by the generating unit 133 to the speaker.

これにより、情報処理装置１００は、発言者が複数の聞き手の集中度合いの平均を示すグラフを見ることによって、複数の聞き手全体の集中度合いに関する大まかな情報を一目で把握可能とすることができる。 As a result, the information processing apparatus 100 enables the speaker to grasp, at a glance, rough information regarding the degree of concentration of all the listeners by looking at the graph showing the average degree of concentration of the plurality of listeners.

また、取得部１３１は、発言者の発言状況を示す発言情報を取得する。分析部１３２は、取得部１３１によって取得された発言情報に基づいて、発言者が他の利用者に対して発言者の発言に対する集中を促しているか否かを判定する。提供部１３４は、分析部１３２によって発言者が他の利用者に対して発言者の発言に対する集中を促していると判定された場合、発言者の発言に対する集中を促す通知を他の利用者に対して提供する。また、取得部１３１は、発言情報として、発言者の画像を収集する。分析部１３２は、発言者の画像に基づいて、発言者の姿勢が前のめりであるか否かを判定し、発言者の姿勢が前のめりであると判定した場合、発言者が他の利用者に対して発言者の発言に対する集中を促していると判定する。 In addition, the acquisition unit 131 acquires utterance information indicating the utterance status of the speaker. Based on the utterance information acquired by the acquisition unit 131, the analysis unit 132 determines whether or not the speaker urges other users to concentrate on the utterance of the speaker. When the analysis unit 132 determines that the speaker is urging other users to concentrate on the speech of the speaker, the providing unit 134 sends a notification to the other users to encourage concentration on the speech of the speaker. provide for. In addition, the acquisition unit 131 collects images of the speaker as utterance information. Based on the image of the speaker, the analysis unit 132 determines whether or not the speaker's posture is leaning forward. It is determined that the speaker is encouraged to concentrate on his/her remarks.

このように、情報処理装置１００は、例えば、発言者が気合を入れたら（例えば、前のめりになったら、ここが聞き所であるといったメッセージを聞き手に対して通知可能とする。これにより、情報処理装置１００は、通知を受けた聞き手が発言者に注目するよう促すことができるので、聞き手の視聴意欲を高めることを可能にする。したがって、情報処理装置１００は、オンライン会議に参加する利用者の会議への参加意欲を高めることができる。 In this way, the information processing apparatus 100 can notify the listener of the message that this is the place to listen to when the speaker is enthusiastic (for example, when the speaker is leaning forward). The information processing apparatus 100 can encourage the listeners who have received the notification to pay attention to the speaker, thereby increasing the listeners' willingness to listen. Motivation to participate in meetings can be enhanced.

また、提供部１３４は、分析部１３２による分析結果を発言者が撮影された画像を新たに視聴する新たな利用者に対して提供する。また、提供部１３４は、分析部１３２によって算出された他の利用者の集中スコアに関する情報を新たな利用者に対して提供する。また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定する。提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を新たな利用者に対して提供する。 Further, the provision unit 134 provides the analysis result by the analysis unit 132 to a new user who newly views the image of the speaker. In addition, the providing unit 134 provides the new user with information on the concentration scores of other users calculated by the analyzing unit 132 . The analysis unit 132 also identifies the time when the change rate of the concentration score of the other user exceeds a predetermined threshold. The provision unit 134 provides the new user with time information indicating the time specified by the analysis unit 132 .

これにより、情報処理装置１００は、例えば、翌年に同じ発言者によるオンライン講義を新しく受ける新たな聞き手に対して、去年リアルタイムで同じ発言者によるオンライン講義を聞いていた利用者たちの集中度合いが高かったタイミングや低かったタイミングとして情報提示することを可能にする。これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲を高めることを可能にする。 As a result, the information processing apparatus 100 can, for example, determine whether users who have listened to an online lecture by the same speaker in real time last year have a high degree of concentration with respect to new listeners who will newly receive an online lecture by the same speaker next year. It is possible to present information as a timing that was low or a timing that was low. As a result, the information processing apparatus 100 makes it possible to increase the viewing motivation of new listeners who have received information presentation.

また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析する。例えば、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析する。例えば、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻と、新たな利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻との共通性を分析する。提供部１３４は、分析部１３２によって分析された特徴を示す特徴情報を新たな利用者に対して提供する。例えば、提供部１３４は、特徴情報として、分析部１３２によって分析された共通性を示す共通情報を新たな利用者に対して提供する。例えば、提供部１３４は、共通性を示す共通情報を新たな利用者に対して提供する。 The analysis unit 132 also analyzes the characteristics of the time when the change rate of the concentration score of the other users exceeds a predetermined threshold. For example, the analysis unit 132 analyzes the commonality of times when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold. For example, the analysis unit 132 determines the time when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold, and the rate of change in the concentration score of the new user. Analyze the commonality with the time when the value exceeds a predetermined threshold. The provision unit 134 provides the new user with feature information indicating the features analyzed by the analysis unit 132 . For example, the provision unit 134 provides the new user with common information indicating commonality analyzed by the analysis unit 132 as feature information. For example, the providing unit 134 provides common information indicating commonality to new users.

これにより、情報処理装置１００は、例えば、翌年に同じ発言者によるオンライン講義を新しく受ける新たな聞き手に対して「あなたは開始時刻から４分３０秒あたりで集中度合いが高くなったので、開始時刻から１９分２０秒あたりの内容に対しても集中度合いが高くなりますよ。」というような予測に関する情報を提示することを可能にする。これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲をさらに高めることを可能にする。 As a result, the information processing apparatus 100 can, for example, tell a new listener who will newly receive an online lecture by the same speaker in the next year, "You have become highly concentrated around 4 minutes and 30 seconds after the start time, so It is possible to present information related to prediction such as "The degree of concentration will also be high for the content from 19 minutes and 20 seconds." As a result, the information processing apparatus 100 makes it possible to further increase the viewing motivation of new listeners who have received information presentation.

〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図５に示すような構成のコンピュータ１０００によって実現される。図５は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。 [7. Hardware configuration]
Also, the information processing apparatus 100 according to the above-described embodiments is implemented by a computer 1000 configured as shown in FIG. 5, for example. FIG. 5 is a hardware configuration diagram showing an example of a computer that implements the functions of the information processing apparatus 100. As shown in FIG. Computer 1000 includes CPU 1100 , RAM 1200 , ROM 1300 , HDD 1400 , communication interface (I/F) 1500 , input/output interface (I/F) 1600 and media interface (I/F) 1700 .

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。 The CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like.

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。 The HDD 1400 stores programs executed by the CPU 1100, data used by the programs, and the like. Communication interface 1500 receives data from another device via a predetermined communication network, sends the data to CPU 1100, and transmits data generated by CPU 1100 to another device via a predetermined communication network.

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。 The CPU 1100 controls output devices such as displays and printers, and input devices such as keyboards and mice, through an input/output interface 1600 . CPU 1100 acquires data from an input device via input/output interface 1600 . CPU 1100 also outputs the generated data to an output device via input/output interface 1600 .

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 Media interface 1700 reads programs or data stored in recording medium 1800 and provides them to CPU 1100 via RAM 1200 . CPU 1100 loads such a program from recording medium 1800 onto RAM 1200 via media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase change rewritable disc), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. etc.

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。 For example, when the computer 1000 functions as the information processing apparatus 100 according to the embodiment, the CPU 1100 of the computer 1000 implements the functions of the control unit 130 by executing programs loaded on the RAM 1200 . CPU 1100 of computer 1000 reads these programs from recording medium 1800 and executes them, but as another example, these programs may be acquired from another device via a predetermined communication network.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to carry out the invention in other forms with modifications.

〔８．その他〕
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 [8. others〕
In addition, among the processes described in each of the above embodiments and modifications, all or part of the processes described as being automatically performed can be manually performed, or can be performed manually. All or part of the described processing can also be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.

例えば、上述した例では、実施形態に係る情報処理システムが中央処理型（集中型ともいう）のコンピューティングシステムである例について説明したが、情報処理システムの構成はこれに限られない。具体的には、他の実施形態に係る情報処理システムは、複数台の端末装置１０で構成される分散型コンピューティングシステムであってよい。例えば、他の実施形態に係る情報処理システムは、複数台の端末装置１０がネットワークを介して互いに接続されている。また、他の実施形態に係る情報処理システムでは、それぞれの端末装置１０に図３で説明した情報処理装置１００の機能が実装されている。 For example, in the above example, the information processing system according to the embodiment is a central processing type (also called centralized type) computing system, but the configuration of the information processing system is not limited to this. Specifically, an information processing system according to another embodiment may be a distributed computing system configured with a plurality of terminal devices 10 . For example, in an information processing system according to another embodiment, a plurality of terminal devices 10 are connected to each other via a network. Further, in an information processing system according to another embodiment, each terminal device 10 has the functions of the information processing device 100 described with reference to FIG.

また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the embodiments and modifications described above can be appropriately combined within a range that does not contradict the processing content.

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、提供部は、提供手段や提供回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the providing unit can be read as providing means or a providing circuit.

１情報処理システム
１０端末装置
１００情報処理装置
１１０通信部
１２０記憶部
１３０制御部
１３１取得部
１３２分析部
１３３生成部
１３４提供部 1 information processing system 10 terminal device 100 information processing device 110 communication unit 120 storage unit 130 control unit 131 acquisition unit 132 analysis unit 133 generation unit 134 provision unit

Claims

an acquisition unit that collects viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate;
an analysis unit that analyzes the degree of concentration of the other user on the speech of the speaker based on the viewing information collected by the acquisition unit;
a providing unit that provides the analysis result of the analysis unit to the speaker;
with
The acquisition unit
Acquiring utterance information indicating the utterance status of the said speaker;
The analysis unit
Determining whether the speaker is encouraging the other user to concentrate on the speaker's speech based on the speech information acquired by the acquisition unit;
The providing unit
When the analysis unit determines that the speaker is urging the other user to concentrate on the speech of the speaker, a notification urging the other user to concentrate on the speech of the speaker is sent to the other user. to provide for
An information processing device characterized by:

The analysis unit
calculating a concentration score indicating the degree of concentration of the other user on the speaker's statement at each time during the online conference;
The providing unit
providing the speaker with information about the other user's concentration score calculated by the analysis unit;
The information processing apparatus according to claim 1, characterized by:

The acquisition unit
collecting line-of-sight information related to the line-of-sight of the other user as the viewing information;
The analysis unit
calculating a concentration score of the other user based on the line-of-sight information of the other user;
3. The information processing apparatus according to claim 2, characterized by:

The analysis unit
determining whether or not the other user is viewing the image based on the line-of-sight information of the other user, and determining that the other user is not viewing the image; calculating a higher concentration score for the other user when it is determined that another user is viewing the image;
4. The information processing apparatus according to claim 3, characterized by:

The acquisition unit
collecting images of the other users as the viewing information;
The analysis unit
calculating a concentration score of the other user based on the posture of the other user included in the image of the other user;
The information processing apparatus according to any one of claims 2 to 4, characterized in that:

The analysis unit
Based on the image of the other user, it is determined whether or not the posture of the other user is leaning forward. calculating the concentration score of the other user higher when it is determined that the posture of the person is leaning forward;
6. The information processing apparatus according to claim 5, characterized by:

The analysis unit
identifying the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
providing time information indicating the time specified by the analysis unit to the speaker;
7. The information processing apparatus according to any one of claims 2 to 6, characterized by:

The analysis unit
analyzing the characteristics of the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
providing the speaker with feature information indicating the features analyzed by the analysis unit;
8. The information processing apparatus according to claim 7, characterized by:

The analysis unit
Analyzing the commonality of times when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold;
The providing unit
Providing common information indicating commonality analyzed by the analysis unit as the characteristic information to the speaker;
9. The information processing apparatus according to claim 8, characterized by:

further comprising a generation unit that generates a graph showing the average concentration score of each of the other users calculated by the analysis unit;
The providing unit
providing the graph generated by the generator to the speaker;
10. The information processing apparatus according to any one of claims 2 to 9, characterized by:

The acquisition unit
Collecting an image of the speaker as the statement information,
The analysis unit
Based on the image of the speaker, it is determined whether or not the speaker's posture is leaning forward. determines that the speaker is encouraged to concentrate on his or her remarks,
The information processing apparatus according to claim 1 , characterized by:

The providing unit
providing the analysis result by the analysis unit to a new user who newly views the image of the speaker;
The information processing apparatus according to any one of claims 1 to 11 , characterized by:

The providing unit
providing the new user with information about the other user's concentration score calculated by the analysis unit;
13. The information processing apparatus according to claim 12 , characterized by:

The analysis unit
identifying the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
Providing the new user with time information indicating the time specified by the analysis unit;
14. The information processing apparatus according to claim 12 or 13 , characterized in that:

The analysis unit
analyzing the characteristics of the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
Providing the new user with feature information indicating the features analyzed by the analysis unit;
15. The information processing apparatus according to claim 14 , characterized by:

The analysis unit
Analyzing the commonality of times when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold;
The providing unit
Providing common information indicating commonality analyzed by the analysis unit as the feature information to the new user;
16. The information processing apparatus according to claim 15 , characterized by:

The analysis unit
The time when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold, and the rate of change in the concentration score of the new user exceeds a predetermined threshold. Analyze the commonality with the time exceeding
The providing unit
providing common information indicating the commonality to the new user;
17. The information processing apparatus according to claim 15 or 16 , characterized by:

A computer-executed information processing method comprising:
an acquisition step of collecting viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate;
an analysis step of analyzing the degree of concentration of the other users on the speech of the speaker based on the viewing information collected in the acquisition step;
a providing step of providing an analysis result obtained by the analyzing step to the speaker;
including
The obtaining step includes
Acquiring utterance information indicating the utterance status of the said speaker;
The analysis step includes
determining whether or not the speaker is encouraging the other user to concentrate on the speaker's speech based on the speech information obtained by the obtaining step;
The providing step includes
When it is determined by the analysis step that the speaker is urging the other user to concentrate on the speech of the speaker, a notification is sent to the other user to encourage concentration on the speech of the speaker. to provide for
An information processing method characterized by:

an acquisition procedure for collecting viewing information indicating the viewing status of other users viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate;
an analysis procedure for analyzing the degree of concentration of the other user on the speech of the speaker based on the viewing information collected by the acquisition procedure;
a provision procedure for providing the speaker with an analysis result obtained by the analysis procedure;
on the computer , and
The acquisition procedure includes:
Acquiring utterance information indicating the utterance status of the said speaker;
The analysis procedure includes:
determining whether or not the speaker is encouraging the other user to concentrate on the speaker's speech based on the speech information obtained by the obtaining procedure;
The providing procedure includes:
When it is determined by the analysis procedure that the speaker is urging the other user to concentrate on the speech of the speaker, a notice to encourage the other user to concentrate on the speech of the speaker is sent to the other user. to provide for
An information processing program characterized by: