JP6352217B2 - Communication system and control method thereof - Google Patents
Communication system and control method thereofInfo
- Publication number
- JP6352217B2 JP6352217B2 JP2015090765A JP2015090765A JP6352217B2 JP 6352217 B2 JP6352217 B2 JP 6352217B2 JP 2015090765 A JP2015090765 A JP 2015090765A JP 2015090765 A JP2015090765 A JP 2015090765A JP 6352217 B2 JP6352217 B2 JP 6352217B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- interactive
- distance
- display unit
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、コミュニケーションシステムおよびその制御方法に関する。 The present invention relates to a communication system and a control method thereof.
近年、遠隔操作技術とロボット技術とを組み合わせて、人が遠方からある場所で存在(プレゼンス)するように相手側に感じさせながらコミュニケーションをとることができるコミュニケーションシステムが検討されている(例えば、非特許文献1参照)。 In recent years, a communication system has been studied that combines remote operation technology and robot technology so that a person can feel the presence (presence) of a person in a certain place from a distance and communicate with the other party (for example, non-existing). Patent Document 1).
上述したようなコミュニケーションシステムでは、対話の一方(オペレータ)の側および他方(現地対話者)の側にそれぞれ、映像表示部と映像撮影部とを有する対話装置が設けられる。対話装置はそれぞれ、自装置の映像撮影部の撮影映像を他方の装置の映像表示部に表示させる。さらに、現地対話者側の対話装置には移動機構が設けられており、オペレータは、遠隔操作により現地対話者側の対話装置を移動させることで、オペレータが主体となって、誰とコミュニケーションをとるか、どこの場所にいくのかを制御することができる。オペレータが現地対話者側の対話装置を主体的に制御することで、対話の相手側にオペレータの存在をより感じさせながらコミュニケーションを図ることができる。 In the communication system as described above, a dialog device having a video display unit and a video shooting unit is provided on one side (operator) side and the other side (local talker) side of the dialog. Each interactive device causes the video image of the video device of its own device to be displayed on the video display unit of the other device. In addition, the dialog device on the local dialog side is provided with a moving mechanism, and the operator can communicate with whom, mainly by the operator, by moving the dialog device on the local dialog side by remote control. Or where to go. When the operator actively controls the dialog device on the local dialog side, communication can be achieved while making the other party of the dialog feel more of the presence of the operator.
上述したようなコミュニケーションシステムでは、例えば、現地対話者側の対話装置と現地対話者との間の距離(以下、対面距離と称する)が大きすぎると、オペレータ側の対話装置の映像表示部の表示映像において現地対話者が小さくなりすぎたり、現地対話者が現地対話者側の対話装置の映像表示部の表示映像を見にくくなったりする。そのため、対面距離を適切に保つことが重要である。ここで、オペレータにとって適切な対面距離と現地対話者にとって適切な対面距離とは異なることがあり、オペレータおよび現地対話者の双方が、より適切な状況で映像を見ながらコミュニケーションを図ることが難しいという課題がある。 In the communication system as described above, for example, if the distance between the dialog device on the local dialog side and the local dialog person (hereinafter referred to as the “face-to-face distance”) is too large, the display on the video display unit of the dialog device on the operator side The local conversation person becomes too small in the video, or the local conversation person becomes difficult to see the display image on the video display unit of the conversation apparatus on the local conversation person side. Therefore, it is important to keep the facing distance appropriately. Here, the face-to-face distance appropriate for the operator and the face-to-face distance appropriate for the local talker may differ, and it is difficult for both the operator and the local talker to communicate while viewing the video in a more appropriate situation. There are challenges.
また、上述したようなコミュニケーションシステムでは、オペレータによる現地対話者側の対話装置の制御を確保するために、現地対話者が現地対話者側の対話装置に触れることができないことが好ましい。しかしながら、非特許文献1においては、この点について考慮されていないという課題がある。
Further, in the communication system as described above, it is preferable that the local talker cannot touch the dialog device on the local talker side in order to ensure the control of the dialog device on the local talker side by the operator. However, Non-Patent
本発明の目的は、上述した課題を解決し、オペレータによる対話装置の制御を確保しつつ、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができるコミュニケーションシステムおよびその制御方法を提供することにある。 An object of the present invention is to solve the above-described problems, and to ensure control of the dialog device by the operator, while allowing both parties of the dialog to communicate while viewing the video in a more appropriate situation, and its control It is to provide a method.
上記課題を解決するため、本発明に係るコミュニケーションシステムは、映像表示部と映像撮影部とをそれぞれ有する第1の対話装置および第2の対話装置を備え、前記第1の対話装置および第2の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムであって、前記第1の対話装置は、移動機構をさらに有し、前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御する制御手段を備える。 In order to solve the above-described problems, a communication system according to the present invention includes a first interactive device and a second interactive device each having a video display unit and a video photographing unit, and the first interactive device and the second interactive device. A communication system for displaying a captured image of a video photographing unit of each interactive device on a video display unit of the other interactive device, wherein the first interactive device further includes a moving mechanism, and the first interactive device side The face-to-face distance, which is the distance between the first interactive person and the first interactive apparatus, is equal to or greater than a predetermined distance, and the display on the video display unit of each of the first interactive apparatus and the second interactive apparatus Movement of the first interactive device by the moving mechanism, so that the video is a display suitable for each of the first interactive user and the second interactive device on the second interactive device side, A control means for controlling the display of one of the interactive device and the second respective interaction device of the video display unit.
また、上記課題を解決するため、本発明に係る制御方法は、映像表示部と映像撮影部と移動機構とを有する第1の対話装置と、映像表示部と映像撮影部とを有する第2の対話装置とを備え、前記第1の対話装置および第2の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムの制御方法であって、前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御するステップを含む。 In order to solve the above-described problem, a control method according to the present invention includes a first interactive device having a video display unit, a video shooting unit, and a moving mechanism, a second display unit having a video display unit, and a video shooting unit. A communication system control method for displaying a video image captured by the video imaging unit of each of the first interactive device and the second interactive device on a video display unit of the other interactive device. The face-to-face distance, which is the distance between the first interactive person on the interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the images of the first interactive apparatus and the second interactive apparatus, respectively. The movement of the first interactive device by the moving mechanism so that the display video of the display unit is a display suitable for each of the first interactive person and the second interactive person on the second interactive device side. , The first dialogue device And a step of controlling the display of the second interactive device each of the video display unit.
本発明に係るコミュニケーションシステムおよびその制御方法によれば、オペレータによる対話装置の制御を確保しつつ、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができる。 According to the communication system and the control method thereof according to the present invention, both parties of the conversation can communicate while watching the video in a more appropriate situation while ensuring the control of the dialogue apparatus by the operator.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
図1は、本発明の一実施形態に係るコミュニケーションシステム1の構成を示す図である。本実施形態に係るコミュニケーションシステム1は、遠隔地にある対話者同士が、相手側の映像を見ながら対話を行うことができ、さらに、対話者の一方であるオペレータが、対話者の他方である現地対話者側の対話装置を制御することができるシステムである。
FIG. 1 is a diagram showing a configuration of a
図1に示すコミュニケーションシステム1は、遠隔操作端末10と、テレプレゼンスロボット20と、遠隔操作端末10およびテレプレゼンスロボット20と通信可能なサーバ30とを有する。
The
遠隔操作端末10は、オペレータ(第2の対話者)側に設けられる対話装置(第2の対話装置)である。遠隔操作端末10は、映像表示部と、オペレータが映像表示部の表示を見ている状態でオペレータを撮影可能な映像撮影部とを備える。遠隔操作端末10は、映像撮影部の撮影映像の映像データをサーバ30に送信するとともに、サーバ30から送信されてきた映像データに示される映像を映像表示部に表示する。また、遠隔操作端末10は、テレプレゼンスロボット20を遠隔操作するための入力を受け付け、サーバ30に送信する。遠隔操作端末10の具体例としては、カメラ機能を備えたタブレット端末、スマートフォン、パーソナルコンピュータなどがある。
The
テレプレゼンスロボット20は、現地対話者(第1の対話者)側に設けられる対話装置(第1の対話装置)である。テレプレゼンスロボット20は、映像表示部と、現地対話者が映像表示部の表示を見ている状態で現地対話者を撮影可能な映像撮影部と、テレプレゼンスロボット20を移動させる移動機構と、テレプレゼンスロボット20と現地対話者との距離である対面距離を測定する測距センサとを備える。テレプレゼンスロボット20は、映像撮影部の撮影映像の映像データをサーバ30に送信するとともに、サーバ30から送信されてきた映像データに示される映像を映像表示部に表示する。また、テレプレゼンスロボット20は、テレプレゼンスロボット20を遠隔操作するための信号をサーバ30から受信すると、その信号に従い動作する。また、テレプレゼンスロボット20は、測距センサにより対面距離を測定し、測定結果をサーバ30に送信する。
The
図2は、テレプレゼンスロボット20の外観斜視図である。
FIG. 2 is an external perspective view of the
図2に示すように、テレプレゼンスロボット20は、例えば、映像表示部21および映像撮影部22を備えたスマートフォンやタブレット端末などの通信装置23が、通信装置23との通信機能を有する台車型装置24に搭載されて構成される。台車型装置24には測距センサ25が設けられており、測距センサ25による対面距離の測定結果は、通信装置23に送信される。通信装置23は、映像撮影部22の撮影映像の映像データや、測距センサ25による対面距離の測定結果などをサーバ30に送信する。また、通信装置23は、サーバ30から遠隔操作端末10の撮影映像の映像データを受信すると、その映像データに示される映像を映像表示部21に表示させる。
As shown in FIG. 2, the
図1を再び参照すると、サーバ30は、遠隔操作端末10およびテレプレゼンスロボット20それぞれから送信されてきた映像データを、他方の装置に送信する。また、サーバ30は、対面距離が所定距離(現地対話者がテレプレゼンスロボット20に触れることができない距離)以上となり、かつ、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示映像が、オペレータおよび現地対話者それぞれにとって適した表示となるように、テレプレゼンスロボット20の移動機構による移動と、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示(例えば、倍率)とを制御する信号を、制御対象の装置に送信する。
Referring to FIG. 1 again, the
図3は、サーバ30の要部構成を示すブロック図である。
FIG. 3 is a block diagram illustrating a main configuration of the
図3に示すサーバ30は、制御手段31を有する。
The
制御手段31は、遠隔操作端末10から映像データ(オペレータ側の映像を示す映像データ)を受信すると、その映像データをテレプレゼンスロボット20に送信する。また、制御手段31は、テレプレゼンスロボット20から映像データ(現地対話者側の映像を示す映像データ)を受信すると、その映像データを遠隔操作端末10に送信する。
When receiving the video data (video data indicating the video on the operator side) from the
また、制御手段31は、遠隔操作端末10から受信した遠隔操作端末10へのキー入力や、テレプレゼンスロボット20から受信した対面距離の測定結果などに基づき、テレプレゼンスロボット20の移動機構の駆動を制御する移動指示信号や、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示を制御する信号を制御対象の装置に送信する。
Further, the control means 31 drives the moving mechanism of the
次に、サーバ30の動作について説明する。
Next, the operation of the
図4は、サーバ30の動作を概念的に示す図である。図4において、横軸は、テレプレゼンスロボット20と現地対話者との距離を示す。
FIG. 4 is a diagram conceptually illustrating the operation of the
上述したように、オペレータにとって適した対面距離と現地対話者にとって適した対面距離とは異なることがある。以下では、オペレータにとって適した対面距離をオペレータ適切距離と称し、現地対話者にとって適した対面距離を現地対話者適切距離と称する。また、現地対話者がテレプレゼンスロボット20に直接触れることができない距離を制御距離と称する。制御距離は、テレプレゼンスロボット20を移動させることで確保すべき対面距離である。なお、制御距離は、一定値としてもよいし、現地対話者の身長などから算出した値であってもよい。
As described above, the face-to-face distance suitable for the operator may be different from the face-to-face distance suitable for the local talker. In the following, the face-to-face distance suitable for the operator is referred to as the operator appropriate distance, and the face-to-face distance suitable for the local talker is referred to as the local talker appropriate distance. Further, the distance that the local talker cannot directly touch the
図4においては、現地対話者適切距離<制御距離<オペレータ適切距離であり、現在の対面距離が現地対話者適切距離と制御距離との間にあるとする。なお、現地対話者適切距離、制御距離およびオペレータ適切距離の大きさは、この順に限られるものではない。 In FIG. 4, it is assumed that the local conversation person appropriate distance <control distance <operator appropriate distance, and the current facing distance is between the local conversation person appropriate distance and the control distance. In addition, the magnitude | sizes of local dialogue person suitable distance, control distance, and operator suitable distance are not restricted in this order.
この場合、現在の対面距離が制御距離よりも小さいため、サーバ30は、テレプレゼンスロボット20を現地対話者から遠ざける方向にテレプレゼンスロボット20を移動させる。こうすることで、テレプレゼンスロボット20と現地対話者との間に、現地対話者がテレプレゼンスロボット20に直接触れることができない距離を保つことができる。しかしながら、テレプレゼンスロボット20を現地対話者から遠ざけることで、対面距離が現地対話者適切距離から離れ、現地対話者にとってはテレプレゼンスロボット20の映像表示部の表示が小さく、見にくくなってしまうことがある。そこで、サーバ30は、テレプレゼンスロボット20の映像表示部の表示を拡大させる。こうすることで、テレプレゼンスロボット20が現地対話者から遠ざかっても、テレプレゼンスロボット20の映像表示部の表示は拡大されるので、見かけ上、対面距離を現地対話者適切距離に近づけることができ、現地対話者は、より適切な状況で映像を見ることができる。
In this case, since the current facing distance is smaller than the control distance, the
図4に示す例では、対面距離が制御距離となるようにテレプレゼンスロボット20を移動させても、対面距離はオペレータ適切距離には達していない。そのため、オペレータにとっては、遠隔操作端末10の映像表示部の表示映像において現地対話者が小さくしか表示されておらず、見にくいことが考えられる。そこで、サーバ30はさらに、遠隔操作端末10の映像表示部の表示を拡大させてもよい。こうすることで、遠隔操作端末10の映像表示部の表示は拡大されるので、見かけ上、対面距離をオペレータ適切距離に近づけることができ、オペレータは、より適切な状況で映像を見ることができる。
In the example shown in FIG. 4, even if the
なお、サーバ30は、現地対話者の行動(現地対話者の歩行による位置の移動など)に基づき、現地対話者適切距離を推定する。具体的には、サーバ30は、測距センサ25の測定結果から、テレプレゼンスロボット20を現地対話者から遠ざけても、現地対話者がテレプレゼンスロボット20に近づいてくると判定した場合には、現地対話者が対面距離を近づけたいと考えていると判定し、現在の現地対話者適切距離よりも短い値を現地対話者適切距離として設定する。
Note that the
このように、現地対話者がテレプレゼンスロボット20に向かって近づいているか否かにより現地対話者適切距離を推定することで、現地対話者はテレプレゼンスロボット20の映像表示部の表示が小さくて見にくい場合には、テレプレゼンスロボット20に向かって近づくことで、現地対話者の意図に沿った現地対話者適切距離が設定される。そのため、直観的な現地対話者適切距離の設定が可能となる。
In this way, by estimating the appropriate distance for the local talker based on whether or not the local talker is approaching the
また、サーバ30は、オペレータの行動(例えば、遠隔操作端末10へのキー入力、オオペレータの姿勢の変化など)に基づき、オペレータ適切距離を推定する。具体的には、サーバ30は、遠隔操作端末10の映像撮影部の撮影画像におけるオペレータの顔の大きさの変化に基づき、オペレータの姿勢の変化(前のめりになったか、後ろに引いたか)を検出する。そして、サーバ30は、オペレータが前のめりになったと判定した場合には、オペレータが対面距離を近づけたいと考えていると判定し、現在のオペレータ適切距離よりも短い値をオペレータ適切距離として設定する。一方、サーバ30は、オペレータが後ろに引いたと判定した場合には、オペレータが対面距離を離したいと考えていると判定し、現在のオペレータ適切距離よりも長い値をオペレータ適切距離として設定する。
Further, the
また、サーバ30は、オペレータによる遠隔操作端末10へのキー入力に基づき、オペレータ適切距離を判定してもよい。具体的には、サーバ30は、オペレータが所定のキー、例えば、「+」キーを押下した場合には、オペレータが対面距離を近づけたいと考えていると判定し、現在のオペレータ適切距離よりも短い値をオペレータ適切距離として設定する。一方、サーバ30は、オペレータが所定のキー、例えば、「−」キーを押下した場合には、オペレータが対面距離を離したいと考えていると判定し、現在のオペレータ適切距離よりも長い値をオペレータ適切距離として設定する。
Further, the
次に、サーバ30(制御手段31)の動作の詳細について説明する。 Next, details of the operation of the server 30 (control means 31) will be described.
図5は、サーバ30の動作の一例を示すフローチャートである。
FIG. 5 is a flowchart illustrating an example of the operation of the
まず、サーバ30は、テレプレゼンスロボット20の測距センサ25の測定値(センサ値)が安定しているか否かを判定する(ステップS101)。
First, the
測距センサ25のセンサ値が安定していないと判定した場合には(ステップS101:No)、サーバ30は、ステップS101の処理を繰り返す。
When it is determined that the sensor value of the
測距センサ25のセンサ値が安定していると判定した場合には(ステップS101:Yes)、サーバ30は、測距センサ25により測定された現在の対面距離が制御距離より大きいか否かを判定する(ステップS102)。
When it is determined that the sensor value of the
現在の対面距離が制御距離より大きくないと判定した場合には(ステップS102:No)、サーバ30は、対面距離が大きくなるようにテレプレゼンスロボット20を移動させる旨を示す移動指示信号をテレプレゼンスロボット20に送信し、テレプレゼンスロボット20を現地対話者から離す。また、テレプレゼンスロボット20を現地対話者から離すことで、現地対話者にとっては、テレプレゼンスロボット20の映像表示部の表示が小さくなり見にくくなるので、サーバ30は、映像表示部の表示映像を拡大させる(ステップS103)。なお、テレプレゼンスロボット20の移動量および映像表示部の表示映像の拡大量は予め設定された値である。
If it is determined that the current facing distance is not greater than the control distance (step S102: No), the
次に、サーバ30は、対面距離が伸びたか否かを判定する(ステップS104)。
Next, the
対面距離が伸びたと判定した場合には(ステップS104:Yes)、すなわち、現地対話者がテレプレゼンスロボット20に向かって移動していない場合には、現地対話者は、映像表示部の表示が見にくいということが無いため、その場にとどまっていると考えられる。そのため、サーバ30は、調整動作を終え、ステップS102の処理に戻る。
If it is determined that the facing distance has increased (step S104: Yes), that is, if the local talker is not moving toward the
対面距離が伸びていないと判定した場合には(ステップS104:No)、すなわち、現地対話者がテレプレゼンスロボット20に向かって移動している場合には、現地対話者は、映像表示部の表示が見にくく、テレプレゼンスロボット20に向かって移動していると考えられる。そこで、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整(映像の拡大)が可能であるか否かを判定する(ステップS105)。
When it is determined that the facing distance is not extended (step S104: No), that is, when the local talker is moving toward the
テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS105:Yes)、サーバ30は、ステップS103におけるテレプレゼンスロボット20の位置および映像表示部の表示映像の映像サイズの調整を所定回数だけ試行したか否かを判定する(ステップS106)。
When it is determined that the video size of the video displayed on the video display unit of the
ステップS103における調整を所定回数だけ試行していないと判定した場合には(ステップS106:No)、サーバ30は、ステップS103の処理に戻る。
If it is determined that the adjustment in step S103 has not been attempted a predetermined number of times (step S106: No), the
テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合(ステップS105:No)、および、ステップS103における調整を所定回数だけ試行したと判定した場合には(ステップS106:Yes)、サーバ30は、後述するステップS107の処理に進む。
When it is determined that the video size of the video displayed on the video display unit of the
現在の対面距離が制御距離より大きいと判定した場合には(ステップS102:Yes)、サーバ30は、オペレータから対面距離を更に離す旨が入力されたか否かを判定する(ステップS107)。なお、対面距離を更に離す旨の入力としては、上述したように、遠隔操作端末10の「−」キーの押下、オペレータの姿勢が後ろに引くように変化したことなどがある。
When it is determined that the current facing distance is greater than the control distance (step S102: Yes), the
対面距離を更に離す旨が入力されたと判定した場合には(ステップS107:Yes)、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS108)。
If it is determined that the fact that the facing distance is further separated is input (step S107: Yes), the
テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS108:Yes)、サーバ30は、対面距離が大きくなるようにテレプレゼンスロボット20を移動させる旨を示す移動指示信号をテレプレゼンスロボット20に送信し、テレプレゼンスロボット20を現地対話者から離す。また、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズを変更(例えば、拡大)する(ステップS109)。
If it is determined that the video size of the video displayed on the video display unit of the
対面距離を更に離す旨が入力されていないと判定した場合には(ステップS107:No)、サーバ30は、対面距離を近づける旨が入力されたか否かを判定する(ステップS110)。なお、対面距離を近づける旨の入力としては、上述したように、遠隔操作端末10の「+」キーの押下、オペレータの姿勢が前のめりに変化したことなどがある。
When it is determined that the fact that the facing distance is further separated is not input (step S107: No), the
対面距離を近づける旨が入力されていないと判定した場合には(ステップS110:No)、サーバ30は、ステップS101の処理に戻る。
If it is determined that the fact that the facing distance is to be reduced is not input (step S110: No), the
テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合(ステップS108:No)、および、対面距離を近づける旨が入力されたと判定した場合には(ステップS110:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS111)。
When it is determined that the image size of the display image on the image display unit of the
遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合には(ステップS111:No)、サーバ30は、ステップS101の処理に戻る。
When it is determined that the video size of the display video on the video display unit of the
遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS111:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズを変更(拡大)する(ステップS112)。なお、対面距離を近づける旨が入力された場合には、オペレータは、現地対話者の映像の拡大を要求していると考えられる。この場合、テレプレゼンスロボット20を現地対話者に近づけることで、現地対話者の映像の拡大させることも考えられる。しかしながら、テレプレゼンスロボット20を現地対話者に近づけると、対面距離が制御距離以下となることもある。そのため、サーバ30は、遠隔操作端末10の映像表示部の表示映像を拡大させることで、見かけ上の対面距離をオペレータ最適距離に近づけ、より適切な状況でオペレータが映像を見ることができるようにする。
When it is determined that the video size of the display video on the video display unit of the
図5においては、サーバ30は、制御距離、現地対話者適切距離およびオペレータ適切距離を考慮して、対面距離と、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示とを調整する例を用いて説明したが、これに限られるものではない。
In FIG. 5, the
図6は、サーバ30が、制御距離および現地対話者適切距離を考慮して、対面距離およびテレプレゼンスロボット20の映像表示部の表示の調整を行う場合の動作を示すフローチャートである。なお、図6において、図5と同様の処理については同じ符号を付し、説明を省略する。
FIG. 6 is a flowchart illustrating an operation in the case where the
現在の対面距離が制御距離より大きくなく(ステップS102:No)、テレプレゼンスロボット20を移動させても対面距離が伸びていないと判定した場合には(ステップS104:No)、サーバ30は、ステップS103における調整を所定回数だけ試行したか否かを判定する(ステップS201)。
If the current facing distance is not greater than the control distance (step S102: No) and it is determined that the facing distance has not increased even if the
ステップS103における調整を所定回数だけ試行していないと判定した場合には(ステップS201:No)、サーバ30は、ステップS103の処理に戻る。
If it is determined that the adjustment in step S103 has not been tried a predetermined number of times (step S201: No), the
一方、現在の対面距離が制御距離より大きいと判定した場合(ステップS102:Yes)、および、ステップS103における調整を所定回数だけ試行したと判定した場合には(ステップS201:Yes)、サーバ30は、ステップS101の処理に戻る。
On the other hand, when it is determined that the current facing distance is greater than the control distance (step S102: Yes), and when it is determined that the adjustment in step S103 has been attempted a predetermined number of times (step S201: Yes), the
図5および図6においては、サーバ30は、制御距離を考慮して、対面距離および表示の調整を行う場合の動作について説明したが、これに限られるものではない。対面距離を制御距離より大きくする必要が必ずしも無い場合には、制御距離を考慮せず、オペレータ適切距離および現地対話者適切距離だけを考慮して、対面距離および表示の調整を行ってもよい。図7は、制御距離を考慮しない場合のサーバ30の動作を示すフローチャートである。
5 and 6, the
まず、サーバ30は、対面距離を離す旨あるいは対面距離を縮める旨のオペレータ入力があるか否かを判定する(ステップS301)。なお、対面距離を更に離す旨の入力としては、上述したように、遠隔操作端末10の「−」キーの押下、オペレータの姿勢が後ろに引くように変化したことなどがある。また、対面距離を近づける旨の入力としては、上述したように、遠隔操作端末10の「+」キーの押下、オペレータの姿勢が前のめりに変化したことなどがある。
First, the
オペレータ入力が無い場合には(ステップS301:No)、サーバ30は、ステップS301の処理を繰り返す。
When there is no operator input (step S301: No), the
オペレータ入力がある場合には(ステップS301:Yes)、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS302)。
If there is an operator input (step S301: Yes), the
テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS302:Yes)、サーバ30は、後述するステップS304における調整を所定回数だけ試行したか否かを判定する(ステップS303)。
If it is determined that the video size of the video displayed on the video display unit of the
ステップS304における調整を所定回数だけ試行していないと判定すると(ステップS303:No)、サーバ30は、対面距離を離す(対面距離を縮める)旨が入力された場合には、テレプレゼンスロボット20と現地対話者との距離を離す(縮める)とともに、テレプレゼンスロボット20の映像表示部の映像表示を拡大(縮小)する(ステップS304)。
If it is determined that the adjustment in step S304 has not been attempted a predetermined number of times (step S303: No), the
次に、サーバ30は、対面距離を離す(対面距離を縮める)旨が入力された場合には、対面距離が伸びたか否か(縮んだか否か)を判定する(ステップS305)。
Next, the
対面距離が伸びていない(縮んでいない)と判定した場合には(ステップS305:No)、サーバ30は、ステップS302の処理に戻る。
When it is determined that the facing distance is not extended (not contracted) (step S305: No), the
テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合(ステップS302:No)、および、ステップS304における調整を所定回数だけ試行したと判定した場合には(ステップS303:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS306)。
When it is determined that the video size of the display video on the video display unit of the
遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合には(ステップS306:No)、サーバ30は、ステップS301の処理に戻る。
When it is determined that the video size of the display video on the video display unit of the
遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS306:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズを変更(拡大あるいは縮小)し(ステップS307)、ステップS301の処理に戻る。
When it is determined that the video size of the display video on the video display unit of the
なお、図7においては、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズを調整した後に、遠隔操作端末10の映像表示部の表示映像の映像サイズを調整する例を用いて説明したが、これに限られるものではない。遠隔操作端末10の映像表示部の表示映像の映像サイズを調整した後に、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズを調整してもよい。
In FIG. 7, the description has been given using an example in which the video size of the display video of the video display unit of the
また、本実施形態においては、サーバ30が制御手段31を備える例を用いて説明したが、これに限られるものではなく、遠隔操作端末10あるいはテレプレゼンスロボット20が制御手段31を備えていてもよい。
In the present embodiment, the
このように、本実施形態に係るコミュニケーションシステム1は、映像表示部と映像撮影部とを有する遠隔操作端末10(第2の対話端末)と、映像表示部と映像撮影部と移動機構とを有するテレプレゼンスロボット20(第1の対話端末)とを備え、各対話装置の映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させる。さらに、コミュニケーションシステム1は、テレプレゼンスロボット20と現地対話者との間の距離である対面距離が所定距離以上となり、かつ、各対話装置の映像表示部の表示映像が、現地対話者およびオペレータそれぞれにとって適した表示となるように、移動機構によるテレプレゼンスロボット20の移動と、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示と、を制御する制御手段31を備える。
As described above, the
そのため、テレプレゼンスロボット20と現地対話者との間に、所定距離(現地対話者がテレプレゼンスロボット20に直接触れることができない距離)以上の間隔を確保することができるので、オペレータによる対話装置(テレプレゼンスロボット20)の制御を確保することができる。また、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部による表示が、現地対話者およびオペレータそれぞれにとって適した表示となるので、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができる。
For this reason, an interval equal to or greater than a predetermined distance (a distance at which the local talker cannot directly touch the telepresence robot 20) can be secured between the
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロックあるいはステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数のブロックあるいはステップを1つに組み合わせたり、或いは分割したりすることが可能である。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various variations or modifications based on the present disclosure. Therefore, it should be noted that these variations or modifications are included in the scope of the present invention. For example, functions included in each block or step can be rearranged so as not to be logically contradictory, and a plurality of blocks or steps can be combined into one or divided.
1 コミュニケーションシステム
10 遠隔操作端末
20 テレプレゼンスロボット
21 映像表示部
22 映像撮影部
23 通信装置
24 台車型装置
25 測距センサ
30 サーバ
31 制御手段
DESCRIPTION OF
Claims (3)
前記第1の対話装置は、移動機構をさらに有し、
前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御する制御手段を備えることを特徴とするコミュニケーションシステム。 A first interactive device and a second interactive device each having a video display unit and a video photographing unit, and the other interactive device displays a video image taken by the respective video photographing units of the first interactive device and the second interactive device. A communication system to be displayed on the video display section of
The first interactive apparatus further includes a moving mechanism,
The facing distance, which is the distance between the first interactive person on the first interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the first interactive apparatus and the second interactive apparatus The first interactive device by the moving mechanism so that the display video of each video display unit is a display suitable for the first interactive person and the second interactive person on the second interactive device side. And a control means for controlling the movement of the first display device and the display of the video display section of each of the first dialog device and the second dialog device.
前記制御手段は、前記第1の対話装置を移動させた後、前記対面距離が縮まらない場合には、前記第1の対話装置の映像表示部の表示が前記第1の対話者にとって適切であると判定することを特徴とするコミュニケーションシステム。 The communication system according to claim 1,
If the facing distance is not reduced after moving the first interactive device, the control means is suitable for the first interactive person to display the video display unit of the first interactive device. A communication system characterized by judging.
前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御するステップを含む制御方法。 A first interactive device having a video display unit, a video photographing unit, and a moving mechanism, and a second interactive device having a video display unit and a video photographing unit, the first interactive device and the second interactive device A communication system control method for displaying a video image of a video image capturing unit of each device on a video display unit of the other interactive device,
The facing distance, which is the distance between the first interactive person on the first interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the first interactive apparatus and the second interactive apparatus The first interactive device by the moving mechanism so that the display video of each video display unit is a display suitable for the first interactive person and the second interactive person on the second interactive device side. And a control method including a step of controlling the movement of the first interactive device and the display of the video display unit of each of the first interactive device and the second interactive device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015090765A JP6352217B2 (en) | 2015-04-27 | 2015-04-27 | Communication system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015090765A JP6352217B2 (en) | 2015-04-27 | 2015-04-27 | Communication system and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016208416A JP2016208416A (en) | 2016-12-08 |
JP6352217B2 true JP6352217B2 (en) | 2018-07-04 |
Family
ID=57490692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090765A Active JP6352217B2 (en) | 2015-04-27 | 2015-04-27 | Communication system and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6352217B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11766789B2 (en) | 2020-12-22 | 2023-09-26 | Toyota Jidosha Kabushiki Kaisha | Shooting system, shooting method therefor, and program |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6817557B2 (en) * | 2017-05-22 | 2021-01-20 | パナソニックIpマネジメント株式会社 | Communication control method, communication control device, and communication control program |
JP6788845B2 (en) * | 2017-06-23 | 2020-11-25 | パナソニックIpマネジメント株式会社 | Remote communication methods, remote communication systems and autonomous mobile devices |
JP7106097B2 (en) * | 2018-05-30 | 2022-07-26 | 東京都公立大学法人 | telepresence system |
JP7402145B2 (en) * | 2020-11-13 | 2023-12-20 | 本田技研工業株式会社 | Remote control systems, mobile robots, and operating terminals |
-
2015
- 2015-04-27 JP JP2015090765A patent/JP6352217B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11766789B2 (en) | 2020-12-22 | 2023-09-26 | Toyota Jidosha Kabushiki Kaisha | Shooting system, shooting method therefor, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2016208416A (en) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7385052B2 (en) | Photography methods, equipment, electronic equipment and storage media | |
JP6352217B2 (en) | Communication system and control method thereof | |
US9602732B2 (en) | Zoom input and camera information | |
EP3062196B1 (en) | Method and apparatus for operating and controlling smart devices with hand gestures | |
CN105991930B (en) | Zoom processing method, device and the mobile terminal of dual camera | |
CN108184070B (en) | Shooting method and terminal | |
JP6071866B2 (en) | Display control device, display device, imaging system, display control method, and program | |
US9652823B2 (en) | Method and terminal device for controlling display of video image | |
US20170214856A1 (en) | Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device | |
KR20140089146A (en) | Method for providing video communication and an electronic device thereof | |
WO2012088800A1 (en) | Method, device and system for displaying pictures in display terminal | |
WO2014027567A1 (en) | Image processing system, image processing method, and program | |
JP2016009023A (en) | Information processing device, display control device, control methods therefor, system, and program | |
CN111966314A (en) | Image projection method, image projection device, mobile terminal and projection equipment | |
US20180270412A1 (en) | Imaging device, external device, imaging system, imaging method, operating method, and computer-readable recording medium | |
JP5871779B2 (en) | Camera system | |
JP6367759B2 (en) | Display image zoom terminal, display image zoom method, and display image zoom program | |
WO2020000393A1 (en) | Image processing method and apparatus, first electronic device, and image processing system | |
JP2008042702A (en) | Photographic subject photographing apparatus, photographic subject displaying apparatus, photographic subject displaying system and program | |
US10298884B2 (en) | System and method of precision remote PTZ control of IP cameras | |
US8943411B1 (en) | System, method, and computer program for displaying controls to a user | |
US20150248220A1 (en) | Client device, monitoring system, method for displaying images on a screen and computer program | |
CN106527442B (en) | Balance car control system | |
JP2006309617A (en) | Content transmitter, content display, control method for content transmitter, and control method for content display | |
JP6001140B2 (en) | Information processing apparatus and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6352217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |