JP7576991B2 - Data transmission/reception device and program equipped in robot - Google Patents
Data transmission/reception device and program equipped in robot Download PDFInfo
- Publication number
- JP7576991B2 JP7576991B2 JP2021016019A JP2021016019A JP7576991B2 JP 7576991 B2 JP7576991 B2 JP 7576991B2 JP 2021016019 A JP2021016019 A JP 2021016019A JP 2021016019 A JP2021016019 A JP 2021016019A JP 7576991 B2 JP7576991 B2 JP 7576991B2
- Authority
- JP
- Japan
- Prior art keywords
- data transmission
- reception device
- transmission
- time information
- reception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 565
- 238000012545 processing Methods 0.000 claims description 145
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 51
- 238000012546 transfer Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000001934 delay Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 101150012579 ADSL gene Proteins 0.000 description 2
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 2
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Description
本発明は、発話を行うロボットに備えたデータ送受信装置及びプログラムに関する。 The present invention relates to a data transmission/reception device and program for a robot that can speak.
従来、人と一緒にテレビを視聴するテレビ視聴ロボットが知られている（例えば、非特許文献１を参照）。このテレビ視聴ロボットは、周辺のテレビ及び人を検出し、番組に関連する発話文を生成して発話する。これにより、人は、テレビ視聴ロボットの発話を聞くことで、一人でテレビを視聴している場合であっても、複数人で視聴しているかのようにテレビ視聴を楽しむことができる。 Conventionally, a television-watching robot that watches television together with a person is known (see, for example, Non-Patent Document 1). This television-watching robot detects nearby televisions and people, and generates and speaks utterances related to the program. In this way, by listening to the television-watching robot's utterances, a person can enjoy watching television as if they were watching with multiple people, even if they are watching alone.
また、テレビ視聴ロボット（以下、「ロボット」という。）の発話に伴い、人同士の会話の活性化効果及びテレビ視聴への影響等を検証するためのロボット開発が進められている（例えば、非特許文献２を参照）。これは、「人が２人及びロボットが１体」の組み合わせでテレビを視聴している状態において、ロボットが番組に関連するキーワードを発話することで、検証を行うものである。 In addition, a television viewing robot (hereafter referred to as "robot") is being developed to verify the effect of speech on stimulating conversations between people and the impact on television viewing (see, for example, Non-Patent Document 2). This verification is carried out by having the robot speak keywords related to the program while watching television with a combination of "two people and one robot."
一方、新型コロナウイルス感染症の流行による外出自粛及びソーシャルディスタンスをとること等が新しい生活習慣として定着するに連れて、友人または知人等の複数の人がテレビを一緒に視聴する機会が減る傾向にあることが予想される。このため、前述の非特許文献２のロボット開発においては、「人が２人及びロボットが１体」の組み合わせの機会が減ることを考慮する必要がある。
On the other hand, as the COVID-19 pandemic leads people to refrain from going out and maintain social distance, it is expected that there will be fewer opportunities for multiple people, such as friends or acquaintances, to watch television together. For this reason, in developing the robot described in Non-Patent
また、新しい生活習慣では、人同士のコミュニケーション手段として、Ｚｏｏｍ（登録商標）等のインターネットを介したリモート会議ツールが急速に普及している。 In addition, as part of our new lifestyle habits, internet-based remote conferencing tools such as Zoom (registered trademark) are rapidly becoming popular as a means of communication between people.
これらを考慮すると、「人が１人及びロボットが１体」の組み合わせと別の「人が１人及びロボットが１体」の組み合わせとのペアにおいて、人同士がインターネットを介して会話する環境形態を想定することができる。 Taking these factors into consideration, we can imagine an environment in which people communicate with each other over the Internet in pairs of "one human and one robot" and "one human and one robot."
具体的には、離れた場所にいる２つの組み合わせのペアにおいて、同じテレビ番組または動画を視聴しながら会話を楽しみ、さらに、ロボットが視聴中の番組内容等に関連する発話を行うことで、人同士の会話をさらに弾ませる状態を想定することができる。 Specifically, it is possible to imagine a situation in which two pairs of people in different locations enjoy a conversation while watching the same television program or video, and the robot makes utterances related to the content of the program being watched, further encouraging conversation between the people.
前述の非特許文献２には、ロボットに視聴中の番組内容に関する発話を行わせる手段が記載されている。この発話手段は、Microsoft Azure（ＡＺＵＲＥ（登録商標））またはAmazon Web Services（アマゾンウェブサービス（登録商標））等のクラウドサービスを用いて、視聴中の番組の映像に関するキャプション生成、有名人検索及び画像ラベル検出を並列に行う。そして、発話手段は、これらの結果に基づいて、予め用意したキーワード辞書に含まれる単語をキーワードとして出力する。
The aforementioned
すなわち、ロボットからクラウドサービスへの上り回線には映像が送信され、クラウドサービスからロボットへの下り回線にはキャプション、有名人名及び画像ラベル等のテキスト情報（映像に関連するキーワード）が送信される。この場合、上り回線のトラフィック量は大きく、下り回線のトラフィックは小さいという特徴がある。 That is, video is transmitted on the upstream line from the robot to the cloud service, and text information such as captions, celebrity names, and image labels (keywords related to the video) is transmitted on the downstream line from the cloud service to the robot. In this case, the traffic volume on the upstream line is large, while the traffic on the downstream line is small.
前述の「人が１人及びロボットが１体」の組み合わせと別の「人が１人及びロボットが１体」の組み合わせとのペアからなる環境形態においては、各組み合わせは、同じ番組または動画を視聴する。このため、各組み合わせのロボットは、上り回線を用いてクラウドサービスに対し、同じ映像ファイルを送信する。これでは、クラウドサービスにかかるコストの観点から、無駄が生じることとなる。 In an environment consisting of a pair of the aforementioned combination of "one human and one robot" and another combination of "one human and one robot," each combination watches the same program or video. For this reason, the robots in each combination send the same video file to the cloud service using the upstream line. This creates waste in terms of the costs associated with the cloud service.
この問題を解決するために、一方のロボットが、映像ファイルをクラウドサービスへ送信してテキスト情報を受信し、受信したテキスト情報を他方のロボットへ送信する手法が想定される。これにより、クラウドサービスにかかるコストを半減することができる。 To solve this problem, one robot could send a video file to a cloud service, receive text information, and then send the received text information to the other robot. This could halve the cost of cloud services.
しかしながら、一方のロボットのインターネット接続環境と、他方のロボットのインターネット接続環境とが異なる場合には、両ロボット間でテキスト情報の共有が遅れ、視聴中の映像とロボットの発話内容とがずれてしまう可能性がある。 However, if the Internet connection environment of one robot is different from that of the other robot, there may be a delay in sharing text information between the two robots, which could result in a mismatch between the video being viewed and what the robot is saying.
例えば、一方のロボットが、映像ファイルをクラウドサービスへ送信してテキスト情報を受信し、テキスト情報を他方のロボットへ送信する状況において、一方のロボットに接続されたインターネットサービスプロバイダ等で輻輳が生じた場合を想定する。 For example, consider a situation in which one robot sends a video file to a cloud service, receives text information, and then sends the text information to another robot, and congestion occurs at an Internet service provider connected to one of the robots.
この場合、一方のロボットから送信された映像ファイルのクラウドサービスへの到着が遅れてしまい、一方のロボットによるテキスト情報の受信が遅れ、他方のロボットによる一方のロボットからのテキスト情報の受信も遅れてしまう。結果として、両ロボット間でテキスト情報の共有が遅れ、ロボットの発話のタイミングが遅れてしまう。 In this case, the video file sent from one robot will arrive late at the cloud service, which will cause a delay in the receipt of text information by one robot, and a delay in the receipt of text information from the other robot by the other robot. As a result, the sharing of text information between the two robots will be delayed, causing a delay in the timing of the robot's speech.
このロボットの発話内容は、人が以前の時間に視聴した映像に関するものであるため、発話のタイミングが遅れれば遅れるほど、視聴中の映像に対して的はずれとなってしまい、人同士の会話の活性化効果が得られ難いという課題があった。 The content of the robot's speech is related to the video that the person has previously viewed, so the later the timing of the speech, the more irrelevant it becomes to the video being viewed, making it difficult to stimulate conversation between people.
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、クラウドサービスにかかるコストを低減すると共に、ロボットの発話のタイミングの遅れを抑制可能なデータ送受信装置及びプログラムを提供することにある。 The present invention has been made to solve the above problems, and its purpose is to provide a data transmission/reception device and program that can reduce the cost of cloud services and suppress delays in the timing of a robot's speech.
前記課題を解決するために、請求項１のデータ送受信装置は、第１の場所に、第１のディスプレイに表示された映像を視聴する第１のユーザ、及び前記映像に関連するキーワードに基づいた発話を行う第１のロボットが存在し、前記第１の場所とは異なる第２の場所に、第２のディスプレイに表示された前記映像を視聴する第２のユーザ、及び前記映像に関連する前記キーワードに基づいた発話を行う第２のロボットが存在し、前記第１のユーザ及び前記第２のユーザが同一の前記キーワードに基づいた発話を聞いて会話を行う際の、前記第１のロボットに備えたデータ送受信装置と、前記第２のロボットに備えた遠隔データ送受信装置と、クラウドサーバとがインターネットを介して接続されるデータ送受信システムの下で、前記データ送受信装置及び前記遠隔データ送受信装置のそれぞれが、前記映像のデータファイルを映像ファイルとして取得し、前記映像ファイルを前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する場合の前記データ送受信装置において、前記第１のユーザによる発声のデータファイルを第１の発声ファイルとして取得し、前記第１の発声ファイルを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記第２のユーザによる発声のデータファイルを第２の発声ファイルとして受信し、前記映像ファイルを前記クラウドサーバへ送信してから前記キーワードを受信するまでの間の、当該データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔａを算出し、前記時間情報Ｔａを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔｂを受信し、前記時間情報Ｔａ及び前記時間情報Ｔｂに基づいて、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断した場合、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する送受信処理部と、前記送受信処理部により受信された前記第２の発声ファイルを再生する発声再生部と、前記送受信処理部により受信された前記キーワードに基づいた発話文を再生する発話文再生部と、を備えたことを特徴とする。
In order to solve the above problem, the data transmission/reception device of
また、請求項２のデータ送受信装置は、請求項１に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する第１の処理を行い、前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する第２の処理を行い、前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第１の処理または前記第２の処理を行う、ことを特徴とする。
The data transmission/reception device of
また、請求項３のデータ送受信装置は、請求項２に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された時間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する前記第１の処理を行う、ことを特徴とする。
The data transmission/reception device of
また、請求項４のデータ送受信装置は、請求項１に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された値をＮとして時間Ｎの間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第３の処理を行い、前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第４の処理を行い、前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第３の処理または前記第４の処理を行う、ことを特徴とする。
In addition, the data transmission/reception device of
また、請求項５のデータ送受信装置は、請求項４に記載のデータ送受信装置において、前記送受信処理部が、前記時間情報Ｔの絶対値が予め設定された閾値よりも大きい場合、前記時間Ｎを、予め設定された前記値よりも大きい値に設定し、前記時間情報Ｔの絶対値が前記閾値以下である場合、予め設定された前記値を前記時間Ｎに設定する、ことを特徴とする。
The data transmission/reception device of claim 5 is the data transmission/reception device of
また、請求項６のデータ送受信装置は、請求項１から５までのいずれか一項に記載のデータ送受信装置において、前記発話文再生部が、前記発話文の再生を開始する際に、前記送受信処理部により前記第１の発声ファイルが取得中である場合、前記第１の発声ファイルの取得が完了するまで待機し、または前記発声再生部により前記第２の発声ファイルが再生中である場合、前記第２の発声ファイルの再生が完了するまで待機し、待機した後に前記発話文を再生する、ことを特徴とする。
The data transmission/reception device of claim 6 is a data transmission/reception device according to any one of
さらに、請求項７のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載のデータ送受信装置として機能させることを特徴とする。
Furthermore, the program of claim 7 is characterized in that it causes a computer to function as a data transmission/reception device according to any one of
以上のように、本発明によれば、クラウドサービスにかかるコストを低減すると共に、ロボットの発話のタイミングの遅れを抑制することができる。 As described above, the present invention can reduce the cost of cloud services and suppress delays in the timing of a robot's speech.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔データ送受信システム〕
まず、データ送受信システムについて説明する。図１は、本発明の実施形態によるデータ送受信装置を含むデータ送受信システムを説明する概念図である。
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[Data transmission and reception system]
First, a data transmission/reception system will be described. Fig. 1 is a conceptual diagram illustrating a data transmission/reception system including a data transmission/reception device according to an embodiment of the present invention.
このデータ送受信システム１は、場所Ａ（第１の場所）に設置されたデータ送受信装置２、場所Ｂ（第２の場所）に設置されたデータ送受信装置（遠隔データ送受信装置）３、及びクラウド上に設置されたクラウドサーバ４を備えて構成される。データ送受信装置２，３及びクラウドサーバ４は、インターネット３０を介して接続される。
This data transmission/
場所Ａは、データ送受信装置２を備えたロボット（第１のロボット）１１、人（第１のユーザ）１２及びディスプレイ（第１のディスプレイ）１３が存在する環境である。場所Ｂは、データ送受信装置３を備えたロボット（第２のロボット）２１、人（第２のユーザ）２２及びディスプレイ（第２のディスプレイ）２３が存在する環境である。
Location A is an environment in which a robot (first robot) 11 equipped with a data transmission/
場所Ａに存在するディスプレイ１３及び場所Ｂに存在するディスプレイ２３には、同一の映像が表示される。映像は、例えばテレビ番組、動画である。人１２，２２は、友人、知人、親子等の会話の対象人物である。
The same image is displayed on the
場所Ａに存在する人１２（及びロボット１１）は、ディスプレイ１３に表示された映像を視聴し、場所Ｂに存在する人２２（及びロボット２１）は、ディスプレイ２３に表示された映像を視聴する。ロボット１１は、ディスプレイ１３に表示された映像に関連するキャプション、有名人名及び画像ラベル等のテキスト情報（以下、「キーワード」という。）に基づいた発話を行い、ロボット２１は、ディスプレイ２３に表示された映像に関連するキーワードに基づいた発話を行う。
Person 12 (and robot 11) in location A watches the video displayed on
人１２は、ロボット１１による映像（ディスプレイ１３に表示された映像）に関連するキーワードに基づいた発話を聞きながら、遠隔の場所Ｂに存在する人２２と会話を行う。同様に、人２２は、ロボット２１による映像（ディスプレイ２３に表示された映像）に関連するキーワードに基づいた発話を聞きながら、遠隔の場所Ａに存在する人１２と会話を行う。つまり、人１２，２２は、それぞれロボット１１，２１による同一の映像に関連する同一のキーワードに基づいた発話を聞きながら、会話を行う。
データ送受信装置２は、データ送受信装置３よりもインターネット３０の接続環境が良い場合（混雑度合いが低い場合）、ディスプレイ１３に表示された映像に関する映像ファイルを、インターネット３０を介してクラウドサーバ４へ送信する。そして、データ送受信装置２は、クラウドサーバ４から映像ファイルの映像に関連するキーワードを受信する。データ送受信装置２は、受信したキーワード及び人１２の発声ファイル（第１の発声ファイル）等を、インターネット３０を介してデータ送受信装置３へ送信する。
When the connection environment of the Internet 30 is better (less congested) than that of the data transmission/
一方、データ送受信装置２は、データ送受信装置３よりもインターネット３０の接続環境が良くない場合（混雑度合いが高い場合）、データ送受信装置３から、映像ファイルの映像に関連するキーワードを受信する。また、データ送受信装置２は、データ送受信装置３から人２２の発声ファイル（第２の発声ファイル）等を受信する。
On the other hand, when the connection environment of the
データ送受信装置２は、クラウドサーバ４またはデータ送受信装置３からキーワードを受信すると、キーワードに基づいた発話文をロボット１１の発話として再生し、データ送受信装置３から人２２の発声ファイルを受信すると、人２２の発声を再生する。
When the data transmission/
これにより、場所Ａに存在する人１２は、ディスプレイ１３に表示された映像に関連するキーワードに基づいた発話をロボット１１の発話として聞くことができ、場所Ｂに存在する人２２の発声も聞くことができる。つまり、人１２は、映像に関連する情報を得ながら、人２２と会話を行うことができる。
As a result,
データ送受信装置３は、データ送受信装置２と同様の処理を行う。これにより、場所Ｂに存在する人２２は、ディスプレイ２３に表示された映像に関連するキーワードに基づいた発話をロボット２１の発話として聞くことができ、場所Ａに存在する人１２の発声も聞くことができる。つまり、人２２は、映像に関連する情報を得ながら、人１２と会話を行うことができる。データ送受信装置２，３の詳細については後述する。
The data transmission/
クラウドサーバ４は、データ送受信装置２から送信された映像ファイルを、インターネット３０を介して受信し、例えばキャプション生成、有名人検索、画像ラベル検出等を並列に処理する。そして、クラウドサーバ４は、処理結果の中から、例えば予め設定されたキーワード辞書に含まれる単語をキーワードとして設定し、映像ファイルの映像に関連するキーワードとして、映像ファイルを送信してきたデータ送受信装置２へ送信する。
The
クラウドサーバ４は、データ送受信装置３から映像ファイルを受信した場合も同様の処理を行い、映像ファイルの映像に関連するキーワードを、映像ファイルを送信してきたデータ送受信装置３へ送信する。
When the
〔データ送受信装置〕
次に、図１に示したデータ送受信装置２，３について詳細に説明する。図２は、本発明の実施形態によるデータ送受信装置２，３の構成例を示すブロック図である。
[Data transmission/reception device]
Next, a detailed description will be given of the data transmission/
このデータ送受信装置２は、映像取得部５１、映像ファイル生成部５２、発声取得部５３、発声ファイル生成部５４、遠隔発声再生部（発声再生部）５５、発話文生成部５６、テンプレート保持部５７、発話文再生部５８及び送受信処理部５９を備えている。尚、データ送受信装置３の構成は、図２に示すデータ送受信装置２の構成と同様である。
This data transmission/
映像取得部５１は、ディスプレイ１３に表示された映像のデータを取得するカメラであり、映像のデータを取得して映像ファイル生成部５２に転送する。映像ファイル生成部５２は、映像取得部５１から転送された映像のデータを入力し、クラウドサーバ４が処理する映像ファイル形式の映像のデータファイルを生成し、これを映像ファイルとして送受信処理部５９に出力する。映像ファイル形式は、例えばＭＰ４である。
The
発声取得部５３は、人１２の発声を取得するマイクであり、発声のデータを取得して発声ファイル生成部５４に転送する。発声ファイル生成部５４は、発声取得部５３から転送された発声のデータを入力し、一般的な音声ファイル形式の発声のデータファイルを生成し、これを発声ファイルとして送受信処理部５９に出力する。音声ファイル形式は、例えばＭＰ３である。
The
遠隔発声再生部５５は、送受信処理部５９から転送された後述する遠隔発声ファイルを入力し、遠隔発声ファイルを再生する。
The remote
遠隔発声ファイルは、場所Ｂに存在する人２２の発声のデータから生成された発声ファイルである。これにより、場所Ａに存在する人１２は、場所Ｂに存在する人２２の発声を聞くことができる。
The remote speech file is a speech file generated from speech data of
尚、遠隔発声再生部５５は、スピーカの機能を有するようにしてもよい。この場合、場所Ｂに存在する人２２の発声が、ロボット１１に備えたデータ送受信装置２の遠隔発声再生部５５からなされることとなる。
The remote
また、遠隔発声再生部５５は、スピーカの機能を有していなくてもよい。この場合のスピーカは、データ送受信装置２とは独立して外部に設置される。遠隔発声再生部５５は、例えばブルートゥース（登録商標）等の通信手段を介して、遠隔発声ファイルを外部のスピーカへ送信し、外部のスピーカは、遠隔発声ファイルを受信して再生を行う。外部のスピーカとしては、例えばスマートフォン、タブレット等のモバイル端末のスピーカ機能が用いられる。モバイル端末は、場所Ｂに存在する人２２の顔を画面表示しながら、人２２の発声の遠隔発声ファイルを受信して再生を行うようにしてもよい。
The remote
これにより、場所Ｂに存在する人２２の発声が、ロボット１１とは離れた箇所に設置されたスピーカからなされることとなり、人１２は、場所Ｂに存在する人２２の発声と、ロボット１１の発話とを容易に区別することができる。
As a result, the speech of
発話文生成部５６は、送受信処理部５９から転送されたキーワード（映像ファイルの映像に関連するキーワード）を入力すると共に、テンプレート保持部５７からテンプレートを読み出し、キーワード及びテンプレートを組み合わせることで、発話文を生成する。そして、発話文生成部５６は、発話文を発話文再生部５８に出力する。
The utterance
テンプレート保持部５７は、文章の述語等のテンプレートを保持する。発話文再生部５８は、発話文生成部５６から発話文を入力し、発話文を再生する。これにより、場所Ａに存在する人１２は、場所Ａに存在するロボット１１の発話（ディスプレイ１３に表示された映像に関する情報）を聞くことができる。
The
例えば発話文生成部５６が入力したキーワードがドラマの出演者名「〇○××」であり、テンプレートが「ですよ」である場合、発話文生成部５６は、発話文「○○××ですよ」を生成する。テンプレート保持部５７は、例えば「ですよ」、「ですか」、「だね」等のテンプレートを保持する。
For example, if the keyword input to the
尚、発話文生成部５６による発話文生成処理としては、例えば以下の非特許文献に記載された技術が用いられる。
［非特許文献］
金子豊、外２名、“テレビ視聴ロボットにおける字幕文内キーワードに基づく発話生成手法”、［online］、映像情報メディア学会、［令和３年１月１１日検索］、インターネット＜https://www.jstage.jst.go.jp/article/iteac/2017/0/2017_32B-4/_pdf＞
The speech sentence generation process by the speech
[Non-Patent Literature]
Yutaka Kaneko and two others, "A method for generating speech based on keywords in subtitles for a television viewing robot," [online], Institute of Image Information and Television Engineers, [searched on January 11, 2021], Internet <https://www.jstage.jst.go.jp/article/iteac/2017/0/2017_32B-4/_pdf>
また、発話文生成部５６は、テンプレート保持部５７に保持されたテンプレートをランダムに選択し、キーワード及びテンプレートを組み合わせることで、発話文を生成するようにしてもよい。
The utterance
送受信処理部５９は、映像ファイル生成部５２から映像ファイルを入力すると共に、発声ファイル生成部５４から発声ファイルを入力する。送受信処理部５９は、発声ファイルをデータ送受信装置３へ送信し、データ送受信装置３から遠隔発声ファイルを受信し、遠隔発声ファイルを遠隔発声再生部５５に転送する。
The transmission/
送受信処理部５９は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信することで、ラウンドトリップタイムに相当する時間情報Ｔａを算出する。そして、送受信処理部５９は、時間情報Ｔａ（遠隔時間情報Ｔｂ）をデータ送受信装置３へ送信する。時間情報Ｔａは、データ送受信装置２におけるインターネット３０の混雑度合いを反映した情報である。
The transmission/
送受信処理部５９は、データ送受信装置３から、データ送受信装置３におけるラウンドトリップタイムに相当する遠隔時間情報Ｔｂを受信する。そして、送受信処理部５９は、遠隔時間情報Ｔｂから時間情報Ｔａを減算し、減算結果に基づいてデータ送受信装置２，３間のインターネット３０の混雑度合いを判定する。遠隔時間情報Ｔｂは、データ送受信装置３におけるインターネット３０の混雑度合いを反映した情報である。
The transmission/
送受信処理部５９は、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも低いと判定した場合、クラウドサーバ４への映像ファイルの送信処理、及びクラウドサーバ４からのキーワードの受信処理を継続する。送受信処理部５９は、クラウドサーバ４から受信したキーワードを発話文生成部５６に転送し、データ送受信装置３からのリクエストに従い、キーワードをデータ送受信装置３へ送信する。
When the transmission/
一方、送受信処理部５９は、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高いと判定した場合、クラウドサーバ４への映像ファイルの送信処理を停止する。そして、送受信処理部５９は、データ送受信装置３へリクエストを送信することで、データ送受信装置３からキーワードを受信し、キーワードを発話文生成部５６に転送する。
On the other hand, if the transmission/
〔送受信処理部５９〕
次に、図２に示したデータ送受信装置２，３に備えた送受信処理部５９について詳細に説明する。図３は、送受信処理部５９の構成例を示すブロック図である。
[Transmission and reception processing unit 59]
Next, a detailed description will be given of the transmission/
この送受信処理部５９は、映像ファイル取得部６０、キーワード転送部６１、時計６２、時間算出部６３、時間比較部６４、遠隔発声ファイル受信部６５、キーワード受信時刻取得部６６、キーワード受信部６７、キーワード送信部６８、映像ファイル送信時刻取得部６９、送信制御部７０、発声ファイル送信部７１、映像ファイル送信部７２、遠隔時間情報取得部７３及び時間情報送信部７４を備えている。
This transmission/
映像ファイル取得部６０は、映像ファイル生成部５２から映像ファイルを取得し、映像ファイルを映像ファイル送信部７２に転送する。これにより、映像ファイルは、映像ファイル送信部７２からクラウドサーバ４へ送信される。
The video
キーワード転送部６１は、キーワード受信部６７からキーワードを入力し、キーワードを発話文生成部５６に転送する。キーワードは、キーワード受信部６７によりクラウドサーバ４または遠隔の場所Ｂに設置されたデータ送受信装置３から受信される。
The
これにより、キーワードは、ディスプレイ１３に表示されている映像に関連するキーワードとして、発話文生成部５６、テンプレート保持部５７及び発話文再生部５８により、ロボット１１の発話文として再生される。
As a result, the keyword is reproduced as an utterance sentence for the
時計６２は、当該データ送受信装置２における時刻をカウントする。時間算出部６３は、映像ファイル送信時刻取得部６９から送信開始時刻ｔ１を入力すると共に、キーワード受信時刻取得部６６から受信完了時刻ｔ２を入力する。送信開始時刻ｔ１は、映像ファイル送信部７２が映像ファイルをクラウドサーバ４へ送信した時刻であり、受信完了時刻ｔ２は、キーワード受信部６７がキーワードをクラウドサーバ４から受信した時刻である。
The
時間算出部６３は、以下の式にて、受信完了時刻ｔ２から送信開始時刻ｔ１を減算することで、当該データ送受信装置２が映像ファイルを送信してからキーワードを受信するまでの間の時間情報Ｔａ（ラウンドトリップタイムに相当）を求める。そして、時間算出部６３は、時間情報Ｔａを時間比較部６４に出力する。
［数１］
Ｔａ＝ｔ２－ｔ１ ・・・（１）
The
[Equation 1]
Ta=t2-t1...(1)
時間比較部６４は、時間算出部６３から時間情報Ｔａを入力すると共に、遠隔時間情報取得部７３から遠隔時間情報Ｔｂを入力する。遠隔時間情報Ｔｂは、遠隔の場所Ｂに設置されたデータ送受信装置３において、当該データ送受信装置２と同様の処理により前記式（１）にて算出された時間情報Ｔａであり、遠隔時間情報取得部７３によりデータ送受信装置３から受信される。
The
時間比較部６４は、以下の式にて、遠隔時間情報Ｔｂから時間情報Ｔａを減算することで、当該データ送受信装置２におけるインターネット３０の混雑度合いを判定するための時間情報Ｔ（混雑度合い判定用時間情報Ｔ）を求める。
［数２］
Ｔ＝Ｔｂ－Ｔａ ・・・（２）
The
[Equation 2]
T=Tb-Ta...(2)
時間比較部６４は、混雑度合い判定用時間情報Ｔを送信制御部７０に出力し、時間情報Ｔａを時間情報送信部７４に転送する。時間情報Ｔａは、時間情報送信部７４によりデータ送受信装置３へ送信され、データ送受信装置３は、当該時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。
The
遠隔発声ファイル受信部６５は、データ送受信装置３から人２２の発声のデータファイルを遠隔発声ファイルとして受信し、遠隔発声ファイルを遠隔発声再生部５５に転送する。
The remote speech
これにより、遠隔発声ファイルは、遠隔発声再生部５５により、遠隔の場所Ｂに存在する人２２の発声として再生される。
As a result, the remote speech file is played by the remote
キーワード受信時刻取得部６６は、キーワード受信部６７から、クラウドサーバ４から受信したキーワードの受信タイミングを示す受信完了を入力する。そして、キーワード受信時刻取得部６６は、受信完了を入力したときの時刻を時計６２から取得し、当該時刻を受信完了時刻ｔ２に設定し、受信完了時刻ｔ２を時間算出部６３に出力する。
The keyword reception
キーワード受信部６７は、クラウドサーバ４からキーワードを受信した場合、その受信タイミングを示す受信完了をキーワード受信時刻取得部６６に出力すると共に、キーワードをキーワード転送部６１及びキーワード送信部６８に出力する。
When the
キーワード受信部６７は、送信制御部７０から送信停止指示または送信再開指示を入力する。送信停止指示及び送信再開指示の詳細については後述する。キーワード受信部６７は、送信停止指示を入力した場合、例えばキーワードの送信のリクエストをデータ送受信装置３へ送信し、データ送受信装置３からキーワードを受信し、キーワードをキーワード転送部６１に出力する。
The
この場合、データ送受信装置３は、データ送受信装置２から当該リクエストを受信すると、当該データ送受信装置３のキーワード送信部６８は、クラウドサーバ４から受信したキーワードをデータ送受信装置２へ送信する。
In this case, when the data transmission/
一方、キーワード受信部６７は、送信制御部７０から送信再開指示を入力した場合、前述のデータ送受信装置３へのリクエストの送信処理を停止する。そして、キーワード受信部６７は、映像ファイル送信部７２により映像ファイルがクラウドサーバ４へ送信された後、クラウドサーバ４からキーワードを受信し、キーワードをキーワード転送部６１及びキーワード送信部６８に出力する。
On the other hand, when the
キーワード送信部６８は、キーワード受信部６７からキーワードを入力し、キーワードをデータ送受信装置３へ送信する。これにより、クラウドサーバ４から受信したキーワードが、データ送受信装置２からデータ送受信装置３へ送信される。
The
映像ファイル送信時刻取得部６９は、映像ファイル送信部７２から、クラウドサーバ４へ映像ファイルを送信した送信タイミングを示す送信開始を入力する。そして、映像ファイル送信時刻取得部６９は、送信開始を入力したときの時刻を時計６２から取得し、当該時刻を送信開始時刻ｔ１に設定し、送信開始時刻ｔ１を時間算出部６３に出力する。
The video file transmission
送信制御部７０は、時間比較部６４から混雑度合い判定用時間情報Ｔを入力し、混雑度合い判定用時間情報Ｔに基づいて、当該データ送受信装置２における混雑度合いを判定する。このデータ送受信装置２における混雑度合いには、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高い場合、低い場合、及びデータ送受信装置３と同じ場合の３状態がある。
The
送信制御部７０は、混雑度合いが高いと判定した場合、映像ファイルの送信処理を停止することを示す送信停止指示を映像ファイル送信部７２及びキーワード受信部６７に出力する。そして、送信制御部７０は、時計６２から時刻を取得しながら、予め設定された値をＮとして時間Ｎの間待機し、時間Ｎ経過後に、映像ファイルの送信処理を再開することを示す送信再開指示を映像ファイル送信部７２及びキーワード受信部６７に出力する。
When the
図４は、送信制御部７０の処理例を示すフローチャートである。送信制御部７０は、時間比較部６４から混雑度合い判定用時間情報Ｔを入力したか否かを判定する（ステップＳ４０１）。
Figure 4 is a flowchart showing an example of processing by the
送信制御部７０は、ステップＳ４０１において、混雑度合い判定用時間情報Ｔを入力していない場合（ステップＳ４０１：Ｎ）、混雑度合い判定用時間情報Ｔを入力するまで待つ。一方、送信制御部７０は、ステップＳ４０１において、混雑度合い判定用時間情報Ｔを入力した場合（ステップＳ４０１：Ｙ）、ステップＳ４０２へ移行する。
If the
送信制御部７０は、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）、０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）、または０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）を判定する（ステップＳ４０２）。
The
送信制御部７０は、ステップＳ４０２において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、送信停止指示を映像ファイル送信部７２及びキーワード受信部６７に出力する（ステップＳ４０３）。
If the
これにより、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高いものと判断される。つまり、当該データ送受信装置２のラウンドトリップタイムがデータ送受信装置３のラウンドトリップタイムよりも大きいものと判断される。そして、当該データ送受信装置２からクラウドサーバ４への映像ファイルの送信処理が停止し、データ送受信装置３からクラウドサーバ４への映像ファイルの送信処理が行われる。
As a result, the degree of congestion on the
送信制御部７０は、ステップＳ４０３から移行して、送信停止指示を出力してからの経過時間を時計６２から特定する。そして、送信制御部７０は、時計６２の時刻に基づいて、予め設定された値をＮとして時間Ｎ（キーワード受信部６７が遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信してから時間Ｎ）の間待機する（ステップＳ４０４）。予め設定された時間Ｎは、例えば１０秒、６０秒である。そして、送信制御部７０は、経過時間が時間Ｎに到達したときに、送信再開指示を映像ファイル送信部７２及びキーワード受信部６７に出力する（ステップＳ４０５）。
The
これにより、データ送受信装置２，３におけるインターネット３０の混雑度合いの変化に伴い、映像ファイルを送信してキーワードを受信するデータ送受信装置２，３を切り替えることができる。すなわち、混雑度合いの低い方のデータ送受信装置２，３は、時間Ｎ毎に、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信することとなる。
As a result, the data transmission/
一方、送信制御部７０は、ステップＳ４０２の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定した場合、映像ファイル送信部７２及びキーワード受信部６７に対する通知を行わない。
On the other hand, if the
尚、送信制御部７０は、映像ファイルの送信処理を継続することを示す送信継続指示を映像ファイル送信部７２及びキーワード受信部６７に出力するようにしてもよい。
The
これにより、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも低いものと判断される。つまり、当該データ送受信装置２のラウンドトリップタイムがデータ送受信装置３のラウンドトリップタイムよりも小さいものと判断される。そして、当該データ送受信装置２からクラウドサーバ４への映像ファイルの送信処理が継続することとなる。
As a result, the degree of congestion on the
一方、送信制御部７０は、ステップＳ４０２において、混雑度合い判定用時間情報Ｔが０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）と判定した場合、前回と同じ処理を行う（ステップＳ４０６）。
On the other hand, if the
つまり、送信制御部７０は、前回のステップＳ４０２の処理において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、前述のステップＳ４０３～Ｓ４０５の処理を行う。一方、送信制御部７０は、前回のステップＳ４０２の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定した場合、映像ファイル送信部７２及びキーワード受信部６７に対する通知を行わない。
In other words, if the
これにより、当該データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３と同じであるものと判断される。つまり、当該データ送受信装置２のラウンドトリップタイムとデータ送受信装置３のラウンドトリップタイムとが同じであると判断される。そして、前回の処理と同様に、データ送受信装置３からクラウドサーバ４への映像ファイルの送信処理が行われるか、または、当該データ送受信装置２からクラウドサーバ４への映像ファイルの送信処理が行われる。
As a result, it is determined that the congestion level of the
尚、送信制御部７０は、ステップＳ４０２において、混雑度合い判定用時間情報Ｔが０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）と判定した場合、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）ときの処理、または混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）ときの処理のうちのいずれか一方を行うようにすればよい。例えば送信制御部７０は、これらの処理のうち予め設定された処理を行う。
When the
図３に戻って、発声ファイル送信部７１は、発声ファイル生成部５４から発声ファイルを入力し、発声ファイルをデータ送受信装置３へ送信する。
Returning to FIG. 3, the voice
これにより、人１２の発声ファイルはデータ送受信装置３へ送信され、データ送受信装置３は、人１２の発声ファイルを遠隔発声ファイルとして受信する。
As a result, the voice file of
映像ファイル送信部７２は、映像ファイル取得部６０から映像ファイルを入力すると共に、送信制御部７０から送信停止指示または送信再開指示を入力する。映像ファイル送信部７２は、初期処理の際に、映像ファイルをクラウドサーバ４へ送信する。そして、映像ファイル送信部７２は、初期処理の後の時間Ｎ毎のタイミングで、映像ファイルをクラウドサーバ４へ送信する処理、送信停止指示を入力した場合の処理、または送信再開指示を入力した場合の映像ファイルをクラウドサーバ４へ送信する処理を行う。
The video
映像ファイル送信部７２は、初期処理の後の時間Ｎ毎のタイミングで、送信制御部７０から送信停止指示を入力した場合、クラウドサーバ４への映像ファイルの送信処理を停止する。一方、映像ファイル送信部７２は、初期処理の後の時間Ｎ毎のタイミングで、送信制御部７０から送信再開指示を入力した場合、クラウドサーバ４への映像ファイルの送信処理を再開する。映像ファイル送信部７２は、映像ファイルをクラウドサーバ４へ送信したときに、送信開始を映像ファイル送信時刻取得部６９に出力する。
When the video
遠隔時間情報取得部７３は、時計６２の時刻に基づいて、後述する図５に示す当該送受信処理部５９による処理のスタート（ステップＳ５０１の処理）から時間Ｎ経過したときに、例えば遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信する。そして、遠隔時間情報取得部７３は、データ送受信装置３から遠隔時間情報Ｔｂを受信し、遠隔時間情報Ｔｂを時間比較部６４に転送する。前述のとおり、遠隔時間情報Ｔｂは、データ送受信装置３において、当該データ送受信装置２と同様の処理により前記式（１）にて算出された時間情報Ｔａである。
The remote time
時間情報送信部７４は、時間比較部６４から時間情報Ｔａを入力し、例えばデータ送受信装置３からの遠隔時間情報Ｔｂの送信のリクエストに従い、時間情報Ｔａをデータ送受信装置３へ送信する。これにより、時間情報Ｔａはデータ送受信装置３へ送信され、データ送受信装置３は、時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。この場合、データ送受信装置３は、後述する図５に示すデータ送受信装置３の送受信処理部５９による処理のスタート（ステップＳ５０１の処理）から時間Ｎ経過したときに、遠隔時間情報Ｔｂの送信のリクエストを当該データ送受信装置２へ送信する。
The time
（送受信処理部５９による映像ファイルの送信、送信停止及び送信再開処理等）
次に、図３に示した送受信処理部５９による映像ファイルの送信、送信停止及び送信再開処理等について説明する。図５は、送受信処理部５９によるこれらの処理の例を説明するフローチャートであり、図６は、そのタイミングを説明する図である。
(Transmission of video files, transmission stop, transmission restart processing, etc. by the transmission/reception processing unit 59)
Next, a description will be given of the transmission, transmission stop, and transmission restart processes of a video file by the transmission/
図６に示すように、送受信処理部５９は、予め設定された時間Ｎを単位として、時間Ｎの区間毎に「映像ファイル送信」、「送信停止」及び「送信再開」のうちのいずれかの処理にて動作する。
As shown in FIG. 6, the transmission/
尚、図１に示したデータ送受信システム１において、データ送受信装置２の送受信処理部５９による動作と、データ送受信装置３の送受信処理部５９による動作とは、同期しているものとする。データ送受信装置２及びデータ送受信装置３は、例えばＮＴＰ（Network Time Protocol）を用いてそれぞれの時計６２を合わせる等して同期を実現し、両装置の送受信処理部５９による処理のスタートのタイミングを合わせる。
In the data transmission/
送受信処理部５９は、当該送受信処理部５９の処理をスタートすると、映像ファイル生成部５２から映像ファイルを取得し（ステップＳ５０１）、映像ファイルをクラウドサーバ４へ送信する（ステップＳ５０２）。送受信処理部５９は、映像ファイルを送信したときの時刻を送信開始時刻ｔ１として取得する（ステップＳ５０３）。
When the transmission/
送受信処理部５９は、クラウドサーバ４からキーワードを受信し（ステップＳ５０４）、キーワードを受信したときの時刻を受信完了時刻ｔ２として取得する（ステップＳ５０５）。そして、送受信処理部５９は、前記式（１）にて、受信完了時刻ｔ２から送信開始時刻ｔ１を減算することで時間情報Ｔａを求める（ステップＳ５０６）。
The transmission/
送受信処理部５９は、当該処理のスタート（ステップＳ５０１における映像ファイルを取得して）から時間Ｎの間待機する（ステップＳ５０７）。そして、送受信処理部５９は、時間Ｎが経過したときに、遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信し、遠隔時間情報Ｔｂを受信する（ステップＳ５０８）。
The transmission/
送受信処理部５９は、遠隔時間情報Ｔｂから時間情報Ｔａを減算することで、混雑度合い判定用時間情報Ｔを求める（ステップＳ５０９）。送受信処理部５９は、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）、０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）、または０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）を判定する（ステップＳ５１０）。このステップＳ５１０の処理は、図４のステップＳ４０２に対応している。この場合のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻０～時刻Ｎまでの間の区間に相当し、「映像ファイル送信」の動作が行われる。
The transmission/
送受信処理部５９は、ステップＳ５１０において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、クラウドサーバ４への映像ファイルの送信処理を停止する（ステップＳ５１１）。このステップＳ５１１及び後述するステップＳ５１３の処理は、図４のステップＳ４０３～Ｓ４０５に対応している。
If the transmission/
送受信処理部５９は、キーワードの送信のリクエストをデータ送受信装置３へ送信し、データ送受信装置３からキーワードを受信する（ステップＳ５１２）。
The transmission/
送受信処理部５９は、ステップＳ５０８における遠隔時間情報Ｔｂの送信のリクエストをデータ送受信装置３へ送信してから時間Ｎの間待機する（ステップＳ５１３）。そして、送受信処理部５９は、時間Ｎが経過したときに、当該送受信処理部５９の処理が完了していない場合（ステップＳ５１５：Ｎ）、スタートへ移行して送信を再開し、ステップＳ５０１～Ｓ５１０の処理を行う。
The transmission/
この場合のステップＳ５１１～Ｓ５１３の処理の区間は、図６の時刻Ｎ～時刻２Ｎまでの間の区間に相当し、「送信停止」の動作が行われる。そして、その後のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻２Ｎ～時刻３Ｎまでの間の区間に相当し、「送信再開」の動作が行われる。
In this case, the processing period from steps S511 to S513 corresponds to the period from time N to
一方、送受信処理部５９は、ステップＳ５１０において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定し、当該送受信処理部５９の処理が完了していない場合（ステップＳ５１５：Ｎ）、スタートへ移行する。そして、送受信処理部５９は、ステップＳ５０１～Ｓ５１０の処理を行う。この場合のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻３Ｎ～時刻４Ｎまでの間の区間に相当し、「映像ファイル送信」の動作が行われる。
On the other hand, in step S510, the transmission/
また、送受信処理部５９は、ステップＳ５１０において、混雑度合い判定用時間情報Ｔが０である（Ｔ＝０、すなわちＴｂ＝Ｔａ）と判定した場合、前回と同じ処理を行う（ステップＳ５１４）。
In addition, if the transmission/
つまり、送受信処理部５９は、前回のステップＳ５１０の処理において、混雑度合い判定用時間情報Ｔが０よりも小さい（Ｔ＜０、すなわちＴｂ＜Ｔａ）と判定した場合、前述のステップＳ５１１～Ｓ５１３の処理を行う。一方、送受信処理部５９は、前回のステップＳ５１０の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定した場合、ステップＳ５１５へ移行する。
In other words, if the transmission/
図６の例では、前回のステップＳ５１０の処理において、混雑度合い判定用時間情報Ｔが０よりも大きい（Ｔ＞０、すなわちＴｂ＞Ｔａ）と判定されている。このため、送受信処理部５９は、ステップＳ５１５へ移行し、当該送受信処理部５９の処理が完了していない場合（ステップＳ５１５：Ｎ）、スタートへ移行して送信を継続し、ステップＳ５０１～Ｓ５１０の処理を行う。この場合のステップＳ５０１～Ｓ５１０の処理の区間は、図６の時刻４Ｎ～時刻５Ｎまでの間の区間に相当し、「映像ファイル送信」の動作が行われる。
In the example of FIG. 6, in the previous processing of step S510, it was determined that the congestion degree determination time information T was greater than 0 (T>0, i.e. Tb>Ta). Therefore, the transmission/
このように、図１に示したデータ送受信システム１において、データ送受信装置２，３に備えたそれぞれの送受信処理部５９は、時間Ｎの区間毎に「映像ファイル送信」、「送信停止」及び「送信再開」のうちのいずれかの処理にて独立して動作する。この場合の動作は同期している。
In this way, in the data transmission/
それぞれの送受信処理部５９は、初期処理の時間Ｎの区間において「映像ファイル送信」の処理にて動作する。そして、送受信処理部５９は、前記式（２）にて、自らの装置におけるインターネット３０の混雑度合いを示す混雑度合い判定用時間情報Ｔを算出する。
Each transmission/
送受信処理部５９は、混雑度合い判定用時間情報Ｔに基づき、自らの装置が他の装置よりも混雑度合いが低いと判定した場合、「映像ファイル送信」の処理にて動作を継続する。一方、送受信処理部５９は、自らの装置が他の装置よりも混雑度合いが高いと判定した場合、映像ファイルの送信処理を停止する「送信停止」、及び送信処理を再開する「送信再開」の処理にて動作する。
When the transmission/
図７は、データ送受信装置２，３による映像ファイルのアップロード送信期間を説明するイメージ図であり、本発明の実施形態の効果を説明する図でもある。
Figure 7 is an image diagram explaining the upload transmission period of a video file by the data transmission/
前述のとおり、データ送受信装置２，３は、それぞれ映像ファイルをクラウドサーバ４へ送信する役割を担っている。映像ファイルをクラウドサーバ４へ送信する役割を担う期間（映像ファイルの送信期間）には、図７に示すとおり、両装置が同時に当該役割を担う期間Ｔ１，Ｔ３，Ｔ５、及びいずれか一方の装置が当該役割を担う期間Ｔ２，Ｔ４，Ｔ６がある。
As described above, data transmission/
映像ファイルを送信する役割を担うか否かは、データ送受信装置２，３が接続されるインターネット３０の混雑度合いに基づいて判断される。インターネット３０の混雑度合いは、映像ファイルの送信を開始してからキーワードを受信するまでの間の時間を基準として、前記式（２）の混雑度合い判定用時間情報Ｔに基づき判断される（図４のステップＳ４０２、図５のステップＳ５１０）。
Whether or not the data transmission/
一方で、インターネット３０の輻輳状況は時々刻々と変化するため、映像ファイルの送信を停止した後、時間Ｎが経過したときに送信停止が解除され、送信が再開される（図４のステップＳ４０３～Ｓ４０５、図５のステップＳ５１１，Ｓ５１３）。そして、インターネット３０の混雑度合いが判断される。このような動作が繰り返される。
However, since the congestion status of the
期間Ｔ１，Ｔ３，Ｔ５は、データ送受信装置２，３が映像ファイルを同時に送信する期間である。期間Ｔ２，Ｔ４は、データ送受信装置３のみが映像ファイルを送信する期間であり、データ送受信装置２は映像ファイルを送信しない。また、期間Ｔ６は、データ送受信装置２のみが映像ファイルを送信する期間であり、データ送受信装置３は映像ファイルを送信しない。
Periods T1, T3, and T5 are periods during which data transmission/
図７に示した期間Ｔ２，Ｔ４，Ｔ６は、このような動作により、アップロードトラフィックの発生が低減されることを示している。これにより、データ送受信装置２，３の両方から常に映像ファイルを送信する必要はなく、いずれか一方から映像ファイルを送信すれば済み、期間Ｔ２，Ｔ４，Ｔ６において、クラウドサービスにかかるコストを低減することができる。
Time periods T2, T4, and T6 shown in FIG. 7 show that such operations reduce the generation of upload traffic. This eliminates the need to constantly send video files from both data transmission/
図８は、両方のデータ送受信装置２，３のアップロードトラフィックが発生する期間Ｔ１，Ｔ３，Ｔ５のデータフロー（ａ）を説明する図である。期間Ｔ１，Ｔ３，Ｔ５は、初期処理の期間（両データ送受信装置２，３にて「映像ファイル送信」の期間）、または、データ送受信装置２，３の一方における「送信再開」の期間及び他方における「映像ファイル送信」の期間である。
Figure 8 is a diagram explaining data flow (a) during periods T1, T3, and T5 when upload traffic occurs in both data transmission/
期間Ｔ１，Ｔ３，Ｔ５においては、データ送受信装置２，３は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信する。また、データ送受信装置２，３は、対応するデータ送受信装置３，２から、データ送受信装置３，２における時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。さらに、データ送受信装置２，３は、発声ファイルを遠隔発声ファイルとし、対応するデータ送受信装置３，２へ送信する。
During periods T1, T3, and T5, the data transmission/
図９は、一方のデータ送受信装置２のアップロードトラフィックが発生しない期間Ｔ２，Ｔ４のデータフロー（ｂ）を説明する図である。期間Ｔ２，Ｔ４は、データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも高いと判定された場合の期間である。つまり、データ送受信装置２における「送信停止」の期間、データ送受信装置３における「映像ファイル送信」の期間である。
Figure 9 is a diagram explaining the data flow (b) during periods T2 and T4 when no upload traffic occurs in one data transmission/
期間Ｔ２，Ｔ４において、データ送受信装置３は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信し、キーワードをデータ送受信装置２へ送信する。この場合、データ送受信装置２は、映像ファイルを送信せず、データ送受信装置３からキーワードを受信する。また、データ送受信装置３は、データ送受信装置２から、データ送受信装置２における時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。さらに、データ送受信装置２，３は、発声ファイルを遠隔発声ファイルとして、対応するデータ送受信装置３，２へ送信する。
During periods T2 and T4, the data transmission/
図１０は、他方のデータ送受信装置３のアップロードトラフィックが発生しない期間Ｔ６のデータフロー（ｃ）を説明する図である。期間Ｔ６は、データ送受信装置２におけるインターネット３０の混雑度合いがデータ送受信装置３よりも低いと判定された場合の期間である。つまり、データ送受信装置２における「映像ファイル送信」の期間、データ送受信装置３における「送信停止」の期間である。
Figure 10 is a diagram explaining the data flow (c) during period T6 when no upload traffic occurs in the other data transmission/
期間Ｔ６において、データ送受信装置２は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信し、キーワードをデータ送受信装置３へ送信する。この場合、データ送受信装置３は、映像ファイルを送信せず、データ送受信装置２からキーワードを受信する。また、データ送受信装置２は、データ送受信装置３から、データ送受信装置３における時間情報Ｔａを遠隔時間情報Ｔｂとして受信する。さらに、データ送受信装置２，３は、発声ファイルを遠隔発声ファイルとして、対応するデータ送受信装置３，２へ送信する。
During period T6, the data transmission/
以上のように、本発明の実施形態のデータ送受信装置２によれば、映像取得部５１は、ディスプレイ１３に表示された映像のデータを取得し、映像ファイル生成部５２は、所定の映像ファイル形式の映像ファイルを生成する。発声取得部５３は、人１２の発声のデータを取得し、発声ファイル生成部５４は、所定の音声ファイル形式の発声ファイルを生成する。
As described above, according to the data transmission/
送受信処理部５９は、映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信することで、当該データ送受信装置２におけるラウンドトリップタイムに相当する時間情報Ｔａを算出する。また、送受信処理部５９は、発声ファイルをデータ送受信装置３へ送信し、データ送受信装置３から遠隔発声ファイルを受信する。
The transmission/
送受信処理部５９は、当該送受信処理部５９の処理のスタート時から時間Ｎだけ待機した後、データ送受信装置３から、データ送受信装置３におけるラウンドトリップタイムに相当する遠隔時間情報Ｔｂを受信する。そして、送受信処理部５９は、遠隔時間情報Ｔｂから時間情報Ｔａを減算することで、混雑度合い判定用時間情報Ｔを算出する。
The transmission/
送受信処理部５９は、混雑度合い判定用時間情報Ｔ＜０の場合、クラウドサーバ４への映像ファイルの送信処理を停止し、データ送受信装置３からキーワードを受信し、時間Ｎの間待機した後、映像ファイルの送信処理を再開する。一方、送受信処理部５９は、混雑度合い判定用時間情報Ｔ＞０の場合、クラウドサーバ４への映像ファイルの送信処理を継続する。また、送受信処理部５９は、混雑度合い判定用時間情報Ｔ＝０の場合、前回と同じ処理を行う。
When the time information for determining the degree of congestion T<0, the transmission/
遠隔発声再生部５５は、送受信処理部５９が受信した遠隔発声ファイルを再生する。これにより、場所Ａに存在する人１２は、遠隔の場所Ｂに存在する人２２の発声を聞くことができる。発話文生成部５６は、送受信処理部５９が受信したキーワードに基づいた発話文を生成し、発話文再生部５８は、発話文を再生する。これにより、場所Ａに存在する人１２は、キーワードに基づいた発話文を聞くことができ、視聴している映像に関連する情報を得ることができる。
The remote
このように、インターネット３０の混雑度合いの低いデータ送受信装置２，３のいずれか一方から映像ファイルが送信され、混雑度合いの高い他方からは映像ファイルが送信されない。このため、データ送受信装置２，３の両方から常に映像ファイルを送信する必要はなく、図７に示した期間Ｔ２，Ｔ４，Ｔ６のように、いずれか一方のみから映像ファイルを送信する期間が存在することとなる。つまり、映像ファイルをクラウドサーバ４へ送信するアップロードトラフィックの発生を低減することができ、クラウドサービスにかかるコストを低減することができる。
In this way, a video file is transmitted from one of the data transmission/
また、本発明の実施形態では、インターネット３０の混雑度合いの低いデータ送受信装置２，３のいずれか一方が映像ファイルをクラウドサーバ４へ送信し、クラウドサーバ４からキーワードを受信して他方へ転送するようにした。このキーワードは、映像ファイルのように大容量ではない。このため、データ送受信装置２，３は、混雑度合いの低いインターネット３０の環境の下でキーワードを迅速に取得することができ、キーワードの受信遅れに伴うロボット１１，２１による発話のタイミングの遅れを抑制することができる。つまり、ロボット１１，２１は、ディスプレイ１３，２３に表示される同一の映像に対してさほど遅れることなく迅速なタイミングで、当該ロボット１１，２１間でほぼ同時に、映像に関連する同じキーワードに基づいた発話を行うことができる。
In addition, in an embodiment of the present invention, one of the data transmission/
このため、人１２，２２の会話とロボット１１，２１の発話とは、大きくずれることがなく、ロボット１１，２１の発話から受ける違和感を緩和することができ、同一の映像を視聴している人１２，２２間で会話の活性化を図ることができる。
As a result, there is no significant discrepancy between the conversation between the
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。 The present invention has been described above using embodiments, but the present invention is not limited to the above embodiments and can be modified in various ways without departing from the technical concept thereof.
（時間情報Ｔａ及び遠隔時間情報Ｔｂに基づく混雑度合いの判定）
例えば前記実施形態において、データ送受信装置２の送受信処理部５９の送信制御部７０は、混雑度合い判定用時間情報Ｔに基づいて、当該データ送受信装置２における混雑度合いを判定するようにした。これに対し、送信制御部７０は、時間情報Ｔａ及び遠隔時間情報Ｔｂに基づいて、当該データ送受信装置２における混雑度合いを判定するようにしてもよい。
(Determination of the degree of congestion based on time information Ta and remote time information Tb)
For example, in the above embodiment, the
（場所Ａにおける人１２，２２の発声及びロボット１１の発話の重なりの回避）
また、前記実施形態において、データ送受信装置２の発声取得部５３は、場所Ａに存在する人１２の発声のデータを取得するようにした。また、遠隔発声再生部５５は、遠隔の場所Ｂに存在する人２２の発声の遠隔発声ファイルを再生し、発話文再生部５８は、映像に関連するキーワードに基づいた発話文を再生するようにした。
(Avoiding overlapping of speech between
In the embodiment, the
ここで、人１２の発声とキーワードに基づいた発話文の再生とが同時に行われる場合があり、また、人２２の発声の遠隔発声ファイルの再生とキーワードに基づいた発話文の再生とが同時に行われる場合もある。これでは、人１２は、当該人１２の発声とロボット１１の発話とが重なってしまい、ロボット１１の発話を聞くことができない可能性があり、また、人２２の発声とロボット１１の発話とが重なってしまい、これらを聞き分けることができない可能性がある。
Here, the speech of
この問題を解決するために、発声取得部５３は、人１２の発声のデータを取得しているときに、取得中であることを示す信号（取得中信号）を発話文再生部５８に出力する。また、遠隔発声再生部５５は、人２２の発声の遠隔発声ファイルを再生しているときに、再生中であることを示す信号（再生中信号）を発話文再生部５８に出力する。
To solve this problem, when the
発話文再生部５８は、発話文の再生を開始する際に、発声取得部５３から取得中信号を入力している場合、取得中信号を入力しなくなるまで待機する。また、発話文再生部５８は、発話文の再生を開始する際に、遠隔発声再生部５５から再生中信号を入力している場合、再生中信号を入力しなくなるまで待機する。そして、発話文再生部５８は、待機後に取得中信号及び再生中信号を入力していない場合、発話文の再生を開始する。
When the spoken
これにより、発話文再生部５８による発話文の再生は、発声取得部５３による人１２の発声のデータの取得が完了するまで待った後に行われ、また、遠隔発声再生部５５による人２２の発声の遠隔発声ファイルの再生が完了するまで待った後に行われる。
As a result, the spoken sentence is played back by the spoken
つまり、人１２，２２の発声及びロボット１１の発話の時間的な重なりを回避することができる。したがって、人１２は、ロボット１１の発話及び人２２の発声を確実に聞くことができ、映像を視聴している人１２，２２間の会話の活性化を一層図ることができる。
In other words, it is possible to avoid a time overlap between the speech of the
（時間Ｎの変更）
また、前記実施形態において、データ送受信装置２の送受信処理部５９の送信制御部７０は、予め設定された時間Ｎを単位として、時間Ｎの区間毎に「映像ファイル送信」、「送信停止」及び「送信再開」のうちのいずれかの処理にて動作するようにした。この場合の時間Ｎは固定であるが、可変とするようにしてもよい。
(Change in Time N)
In the above embodiment, the
例えば送信制御部７０は、混雑度合い判定用時間情報Ｔの絶対値が予め設定された閾値よりも大きい場合、予め設定された時間Ｎよりも大きい値を新たな時間Ｎに設定する。その後、送信制御部７０は、混雑度合い判定用時間情報Ｔの絶対値が前記閾値以下に変化した場合、元の時間Ｎ（予め設定された時間Ｎ）に戻す。
For example, if the absolute value of the time information T for determining the degree of congestion is greater than a preset threshold, the
また、送信制御部７０は、混雑度合い判定用時間情報Ｔの絶対値と複数の異なる閾値とを用いた閾値処理にて、予め設定された時間Ｎよりも大きい値を新たな時間Ｎに設定することで、新たな時間Ｎを閾値に応じて段階的に変化させるようにしてもよい。また、送信制御部７０は、新たな時間Ｎが混雑度合い判定用時間情報Ｔの絶対値に比例するように、予め設定された時間Ｎと所定の最大値との間で、新たなＮを変化させるようにしてもよい。
The
これにより、例えば場所Ａに設置されたデータ送受信装置２に接続されるインターネット３０の回線と、場所Ｂに設置されたデータ送受信装置３に接続されるインターネット３０の回線とが異なり、回線速度の差が明らかである場合（例えば一方が光回線、他方がＡＤＳＬの場合）、インターネット３０の混雑度合いを判定する頻度を低くすることとができる。つまり、回線速度の差が明らかな場合は、映像ファイルを送信してキーワードを受信し、混雑度合い判定用時間情報Ｔを算出する等の「映像ファイル送信」、「送信停止」及び「送信再開」の処理の頻度を低くし、データ送受信装置２，３の処理負荷を低減することができる。
As a result, for example, when the line of the
尚、データ送受信装置２，３は、設定した新たな時間Ｎをメモリに記憶するようにしてもよい。この場合、データ送受信装置２，３によるデータ送受信システム１の処理が再開したときに、データ送受信装置２，３は、メモリから新たな時間Ｎを読み出し、新たな時間Ｎを用いて、「映像ファイル送信」の処理を開始する。
The data transmission/
ここで、データ送受信装置２，３に接続されたインターネット３０の回線が光回線、ＡＤＳＬ等のように固定である場合には、それぞれのインターネット３０の環境の優劣は明確であり、混雑度合いはさほど変化しない。このため、データ送受信装置２，３は、インターネット３０の環境の優劣を反映した新たな時間Ｎをメモリに記憶しておくことで、当該新たな時間Ｎを、処理の開始から用いることができ、効率的な処理を実現することができる。
Here, if the
（キーワードに基づいた発話文の送受信）
また、前記実施形態において、データ送受信装置２の送受信処理部５９は、クラウドサーバ４からキーワードを受信した場合、受信したキーワードをデータ送受信装置３へ送信するようにした。これに対し、送受信処理部５９は、キーワードの代わりに、発話文生成部５６により生成された発話文をデータ送受信装置３へ送信するようにしてもよい。
(Transmitting and receiving spoken sentences based on keywords)
In the above embodiment, when the transmission/
具体的には、データ送受信装置２の送受信処理部５９のキーワード受信部６７は、クラウドサーバ４からキーワードを受信した場合、キーワードを、キーワード転送部６１を介して発話文生成部５６に出力する。発話文生成部５６は、キーワード受信部６７からキーワード転送部６１を介してキーワードを入力し、キーワードに基づいて発話文を生成し、キーワードに基づいた発話文を、送受信処理部５９に備えた発話文送信部（図３には図示せず）に出力する。発話文送信部は、発話文生成部５６からキーワードに基づいた発話文を入力してデータ送受信装置３へ送信する。
Specifically, when the
また、データ送受信装置３がクラウドサーバ４から受信したキーワードに基づいて発話文を生成した場合には、データ送受信装置２の送受信処理部５９の発話文受信部（図３には図示せず）は、データ送受信装置３からキーワードに基づいた発話文を受信する。そして、発話文受信部は、キーワードに基づいた発話文を発話文再生部５８に出力する。発話文再生部５８は、発話文受信部から入力したキーワードに基づいた発話文を再生する。
In addition, when the data transmission/
これにより、キーワードと同様に、発話文自体のデータ量は少ないため、回線が混雑することはない。また、データ送受信装置２は、データ送受信装置３からキーワードに基づいた発話文を受信した場合には、これをそのまま再生すればよく、キーワードから発話文を生成する必要がないため、処理負荷を低減することができる。尚、データ送受信装置３についてもデータ送受信装置２と同様の処理が行われる。
As a result, as with keywords, the amount of data in the spoken sentence itself is small, so the lines do not become congested. Furthermore, when the data transmission/
尚、本発明の実施形態によるデータ送受信装置２，３のハードウェア構成としては、通常のコンピュータを使用することができる。データ送受信装置２，３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
In addition, a normal computer can be used as the hardware configuration of the data transmission/
データ送受信装置２，３に備えた映像取得部５１、映像ファイル生成部５２、発声取得部５３、発声ファイル生成部５４、遠隔発声再生部５５、発話文生成部５６、テンプレート保持部５７、発話文再生部５８及び送受信処理部５９の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
The functions of the
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 These programs are stored in the storage medium and are read and executed by the CPU. In addition, these programs can be distributed by storing them on storage media such as magnetic disks (floppy disks, hard disks, etc.), optical disks (CD-ROMs, DVDs, etc.), and semiconductor memories, and can also be transmitted and received via a network.
１ データ送受信システム
２ データ送受信装置
３ データ送受信装置（遠隔データ送受信装置）
４ クラウドサーバ
１１ ロボット（第１のロボット）
１２ 人（第１のユーザ）
１３ ディスプレイ（第１のディスプレイ）
２１ ロボット（第２のロボット）
２２ 人（第２のユーザ）
２３ ディスプレイ（第２のディスプレイ）
３０ インターネット
５１ 映像取得部
５２ 映像ファイル生成部
５３ 発声取得部
５４ 発声ファイル生成部
５５ 遠隔発声再生部（発声再生部）
５６ 発話文生成部
５７ テンプレート保持部
５８ 発話文再生部
５９ 送受信処理部
６０ 映像ファイル取得部
６１ キーワード転送部
６２ 時計
６３ 時間算出部
６４ 時間比較部
６５ 遠隔発声ファイル受信部
６６ キーワード受信時刻取得部
６７ キーワード受信部
６８ キーワード送信部
６９ 映像ファイル送信時刻取得部
７０ 送信制御部
７１ 発声ファイル送信部
７２ 映像ファイル送信部
７３ 遠隔時間情報取得部
７４ 時間情報送信部
ｔ１ 送信開始時刻
ｔ２ 受信完了時刻
Ｔａ 時間情報
Ｔｂ 遠隔時間情報
Ｔ 混雑度合い判定用時間情報
1 Data transmission/
4
12 people (first user)
13 Display (first display)
21 Robot (Second Robot)
22 people (second users)
23 Display (second display)
30
56 Utterance
Claims (7)
前記データ送受信装置及び前記遠隔データ送受信装置のそれぞれが、前記映像のデータファイルを映像ファイルとして取得し、前記映像ファイルを前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する場合の前記データ送受信装置において、
前記第１のユーザによる発声のデータファイルを第１の発声ファイルとして取得し、前記第１の発声ファイルを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記第２のユーザによる発声のデータファイルを第２の発声ファイルとして受信し、
前記映像ファイルを前記クラウドサーバへ送信してから前記キーワードを受信するまでの間の、当該データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔａを算出し、前記時間情報Ｔａを前記遠隔データ送受信装置へ送信し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置における前記インターネットの混雑度合いを反映した時間情報Ｔｂを受信し、
前記時間情報Ｔａ及び前記時間情報Ｔｂに基づいて、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断した場合、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する送受信処理部と、
前記送受信処理部により受信された前記第２の発声ファイルを再生する発声再生部と、
前記送受信処理部により受信された前記キーワードに基づいた発話文を再生する発話文再生部と、
を備えたことを特徴とするデータ送受信装置。 A data transmission and reception system in which a data transmission and reception device provided in the first robot, a remote data transmission and reception device provided in the second robot, and a cloud server are connected via the Internet, in which a first user watching a video displayed on a first display and a first robot making an utterance based on a keyword related to the video are present in a first location, and a second user watching the video displayed on a second display and a second robot making an utterance based on the keyword related to the video are present in a second location different from the first location, and the first user and the second user listen to the utterance based on the same keyword and have a conversation,
In a case where each of the data transmission/reception device and the remote data transmission/reception device acquires a data file of the video as a video file, transmits the video file to the cloud server, and receives the keyword from the cloud server,
acquiring a data file of an utterance by the first user as a first utterance file, transmitting the first utterance file to the remote data transceiver device, and receiving a data file of an utterance by the second user from the remote data transceiver device as a second utterance file;
calculating time information Ta reflecting a degree of congestion of the Internet at the data transmission/reception device from the time when the video file is transmitted to the cloud server until the keyword is received, transmitting the time information Ta to the remote data transmission/reception device, and receiving time information Tb reflecting the degree of congestion of the Internet at the remote data transmission/reception device from the remote data transmission/reception device;
a transmission/reception processing unit that, when determining based on the time information Ta and the time information Tb that the degree of congestion of the Internet at the data transmission/reception device is higher than that at the remote data transmission/reception device, stops transmitting the video file to the cloud server and receives from the remote data transmission/reception device the keyword that the remote data transmission/reception device has received from the cloud server;
a voice reproduction unit that reproduces the second voice file received by the transmission/reception processing unit;
a speech sentence reproducing unit that reproduces a speech sentence based on the keyword received by the transmission/reception processing unit;
A data transmitting/receiving device comprising:
前記送受信処理部は、
前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、
前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信する第１の処理を行い、
前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する第２の処理を行い、
前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第１の処理または前記第２の処理を行う、ことを特徴とするデータ送受信装置。 2. The data transmission/reception device according to claim 1,
The transmission/reception processing unit includes:
The time information Ta is subtracted from the time information Tb to obtain the time information T;
If the value of the time information T is smaller than 0, it is determined that the degree of congestion of the Internet at the data transmission/reception device is higher than that at the remote data transmission/reception device, and a first process is performed to stop transmitting the video file to the cloud server and to receive from the remote data transmission/reception device the keyword that the remote data transmission/reception device received from the cloud server;
If the value of the time information T is greater than 0, it is determined that the congestion level of the Internet in the data transmission/reception device is lower than that of the remote data transmission/reception device, and a second process is performed to acquire the video file, transmit the video file to the cloud server, and receive the keyword from the cloud server.
A data transmission/reception device characterized in that, when the value of the time information T is 0, the degree of congestion of the Internet in the data transmission/reception device is determined to be the same as that of the remote data transmission/reception device, and the first processing or the second processing is performed.
前記送受信処理部は、
前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された時間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信する前記第１の処理を行う、ことを特徴とするデータ送受信装置。 3. The data transmission/reception device according to claim 2,
The transmission/reception processing unit includes:
When the value of the time information T is smaller than 0, the data transmission/reception device determines that the degree of congestion of the Internet is higher at the data transmission/reception device than at the remote data transmission/reception device, stops transmitting the video file to the cloud server, receives the keyword that the remote data transmission/reception device received from the cloud server from the remote data transmission/reception device, waits for a predetermined time, and then acquires the video file and transmits it to the cloud server, and performs the first processing of receiving the keyword from the cloud server.
前記送受信処理部は、
前記時間情報Ｔｂから前記時間情報Ｔａを減算することで、時間情報Ｔを求め、
前記時間情報Ｔの値が０よりも小さい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも高いと判断し、前記映像ファイルの前記クラウドサーバへの送信を停止し、前記遠隔データ送受信装置から、前記遠隔データ送受信装置が前記クラウドサーバから受信した前記キーワードを受信し、予め設定された値をＮとして時間Ｎの間待機した後に、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第３の処理を行い、
前記時間情報Ｔの値が０よりも大きい場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置よりも低いと判断し、前記映像ファイルを取得して前記クラウドサーバへ送信し、前記クラウドサーバから前記キーワードを受信し、前記時間情報Ｔａを算出し、前記映像ファイルを取得したときから前記時間Ｎの間待機した後に、前記遠隔データ送受信装置から前記時間情報Ｔｂを受信し、前記時間情報Ｔを求める第４の処理を行い、
前記時間情報Ｔの値が０である場合、当該データ送受信装置における前記インターネットの混雑度合いが前記遠隔データ送受信装置と同じであると判断し、前記第３の処理または前記第４の処理を行う、ことを特徴とするデータ送受信装置。 2. The data transmission/reception device according to claim 1,
The transmission/reception processing unit includes:
The time information Ta is subtracted from the time information Tb to obtain the time information T;
If the value of the time information T is smaller than 0, it is determined that the degree of congestion of the Internet at the data transmission/reception device is higher than that of the remote data transmission/reception device, and transmission of the video file to the cloud server is stopped. From the remote data transmission/reception device, the remote data transmission/reception device receives the keyword that the remote data transmission/reception device received from the cloud server, and after waiting for a time N, where N is a preset value, acquires the video file and transmits it to the cloud server, receives the keyword from the cloud server, calculates the time information Ta, and after waiting for the time N from the time the video file was acquired, receives the time information Tb from the remote data transmission/reception device, and performs a third process to obtain the time information T.
If the value of the time information T is greater than 0, it is determined that the degree of congestion of the Internet at the data transmission/reception device is lower than that of the remote data transmission/reception device, the video file is acquired and transmitted to the cloud server, the keyword is received from the cloud server, the time information Ta is calculated, and after waiting for the time N from the time when the video file was acquired, the time information Tb is received from the remote data transmission/reception device, and a fourth process is performed to determine the time information T;
A data transmission/reception device characterized in that, when the value of the time information T is 0, the degree of congestion of the Internet in the data transmission/reception device is determined to be the same as that of the remote data transmission/reception device, and the third process or the fourth process is performed.
前記送受信処理部は、
前記時間情報Ｔの絶対値が予め設定された閾値よりも大きい場合、前記時間Ｎを、予め設定された前記値よりも大きい値に設定し、前記時間情報Ｔの絶対値が前記閾値以下である場合、予め設定された前記値を前記時間Ｎに設定する、ことを特徴とするデータ送受信装置。 5. The data transmission/reception device according to claim 4,
The transmission/reception processing unit includes:
A data transmission/reception device characterized in that, when the absolute value of the time information T is greater than a predetermined threshold, the time N is set to a value greater than the predetermined value, and when the absolute value of the time information T is equal to or less than the threshold, the time N is set to the predetermined value.
前記発話文再生部は、
前記発話文の再生を開始する際に、前記送受信処理部により前記第１の発声ファイルが取得中である場合、前記第１の発声ファイルの取得が完了するまで待機し、または前記発声再生部により前記第２の発声ファイルが再生中である場合、前記第２の発声ファイルの再生が完了するまで待機し、待機した後に前記発話文を再生する、ことを特徴とするデータ送受信装置。 6. The data transmission/reception device according to claim 1,
The spoken sentence reproducing unit
A data transmission/reception device characterized in that, when starting playback of the spoken sentence, if the first vocalization file is being acquired by the transmission/reception processing unit, the device waits until the acquisition of the first vocalization file is completed, or, if the second vocalization file is being played by the vocalization playback unit, the device waits until the playback of the second vocalization file is completed, and plays the spoken sentence after waiting.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021016019A JP7576991B2 (en) | 2021-02-03 | 2021-02-03 | Data transmission/reception device and program equipped in robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021016019A JP7576991B2 (en) | 2021-02-03 | 2021-02-03 | Data transmission/reception device and program equipped in robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022119055A JP2022119055A (en) | 2022-08-16 |
| JP7576991B2 true JP7576991B2 (en) | 2024-11-01 |
Family
ID=82844988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021016019A Active JP7576991B2 (en) | 2021-02-03 | 2021-02-03 | Data transmission/reception device and program equipped in robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7576991B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020202354A1 (en) | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Communication robot, control method for same, information processing server, and information processing method |
-
2021
- 2021-02-03 JP JP2021016019A patent/JP7576991B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020202354A1 (en) | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Communication robot, control method for same, information processing server, and information processing method |
Non-Patent Citations (1)
| Title |
|---|
| 萩尾勇太，他９名，人と一緒にテレビを視聴するコミュニケーションロボットの試作と検証，電子情報通信学会技術研究報告 Ｖｏｌ．１１９ Ｎｏ．４４５，日本，一般社団法人電子情報通信学会，2020年02月26日，第119巻,第445号，pp.7-12 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022119055A (en) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10067937B2 (en) | Determining delay for language translation in video communication | |
| JP6640359B2 (en) | Wireless audio sync | |
| US9325809B1 (en) | Audio recall during voice conversations | |
| US20170034263A1 (en) | Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices | |
| US10732924B2 (en) | Teleconference recording management system | |
| CN109168059B (en) | Lip sound synchronization method for respectively playing audio and video on different devices | |
| JP7149323B2 (en) | Method and apparatus for synchronizing application consumption of remote data | |
| US10805664B2 (en) | Wireless audio synchronization | |
| JP5394307B2 (en) | Synchronized playback system, synchronized playback method, and synchronized playback program | |
| JP7576991B2 (en) | Data transmission/reception device and program equipped in robot | |
| JP4190946B2 (en) | Composite content synchronous delivery method, server, and program | |
| WO2018224839A2 (en) | Methods and systems for generating a reaction video | |
| WO2018173312A1 (en) | Virtual reality viewing system, reproduction synchronizing method, and virtual reality viewing program | |
| US12113937B2 (en) | Systems and methods for improved audio/video conferences | |
| JP2020174378A (en) | Synchronization of media rendering in heterogeneous networking environment | |
| JP5340880B2 (en) | Output control device for remote conversation system, method thereof, and computer-executable program | |
| JP2009010581A (en) | Reception system, receiver and program, for receiving and simultaneously reproducing a different kind of synchronized streaming data | |
| US11089164B2 (en) | Teleconference recording management system | |
| US9548998B1 (en) | Asynchronous communication system architecture | |
| US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
| JP2010218013A (en) | Data distribution system | |
| JP2005295343A (en) | Television broadcast complementation system, terminal, television broadcast complementation method, and computer program | |
| US20230379285A1 (en) | Synchronized conversation space commands in a social messaging platform | |
| JP2011223323A (en) | Interactive service provision system, interactive service provision device, moving image provision device, interactive service provision method, and moving image provision program | |
| JP2007318283A (en) | Packet communication system, data receiver |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241022 |