[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6352217B2 - Communication system and control method thereof - Google Patents

Communication system and control method thereof

Info

Publication number
JP6352217B2
JP6352217B2 JP2015090765A JP2015090765A JP6352217B2 JP 6352217 B2 JP6352217 B2 JP 6352217B2 JP 2015090765 A JP2015090765 A JP 2015090765A JP 2015090765 A JP2015090765 A JP 2015090765A JP 6352217 B2 JP6352217 B2 JP 6352217B2
Authority
JP
Japan
Prior art keywords
video
interactive
distance
display unit
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015090765A
Other languages
Japanese (ja)
Other versions
JP2016208416A (en
Inventor
正典 横山
正典 横山
山田 智広
智広 山田
崇由 望月
崇由 望月
良輔 青木
良輔 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015090765A priority Critical patent/JP6352217B2/en
Publication of JP2016208416A publication Critical patent/JP2016208416A/en
Application granted granted Critical
Publication of JP6352217B2 publication Critical patent/JP6352217B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、コミュニケーションシステムおよびその制御方法に関する。   The present invention relates to a communication system and a control method thereof.

近年、遠隔操作技術とロボット技術とを組み合わせて、人が遠方からある場所で存在(プレゼンス)するように相手側に感じさせながらコミュニケーションをとることができるコミュニケーションシステムが検討されている(例えば、非特許文献1参照)。   In recent years, a communication system has been studied that combines remote operation technology and robot technology so that a person can feel the presence (presence) of a person in a certain place from a distance and communicate with the other party (for example, non-existing). Patent Document 1).

上述したようなコミュニケーションシステムでは、対話の一方(オペレータ)の側および他方(現地対話者)の側にそれぞれ、映像表示部と映像撮影部とを有する対話装置が設けられる。対話装置はそれぞれ、自装置の映像撮影部の撮影映像を他方の装置の映像表示部に表示させる。さらに、現地対話者側の対話装置には移動機構が設けられており、オペレータは、遠隔操作により現地対話者側の対話装置を移動させることで、オペレータが主体となって、誰とコミュニケーションをとるか、どこの場所にいくのかを制御することができる。オペレータが現地対話者側の対話装置を主体的に制御することで、対話の相手側にオペレータの存在をより感じさせながらコミュニケーションを図ることができる。   In the communication system as described above, a dialog device having a video display unit and a video shooting unit is provided on one side (operator) side and the other side (local talker) side of the dialog. Each interactive device causes the video image of the video device of its own device to be displayed on the video display unit of the other device. In addition, the dialog device on the local dialog side is provided with a moving mechanism, and the operator can communicate with whom, mainly by the operator, by moving the dialog device on the local dialog side by remote control. Or where to go. When the operator actively controls the dialog device on the local dialog side, communication can be achieved while making the other party of the dialog feel more of the presence of the operator.

Mixing metaphors in mobile remote presence, Takayama et al., CSCW2012Mixing metaphors in mobile remote presence, Takayama et al., CSCW2012

上述したようなコミュニケーションシステムでは、例えば、現地対話者側の対話装置と現地対話者との間の距離(以下、対面距離と称する)が大きすぎると、オペレータ側の対話装置の映像表示部の表示映像において現地対話者が小さくなりすぎたり、現地対話者が現地対話者側の対話装置の映像表示部の表示映像を見にくくなったりする。そのため、対面距離を適切に保つことが重要である。ここで、オペレータにとって適切な対面距離と現地対話者にとって適切な対面距離とは異なることがあり、オペレータおよび現地対話者の双方が、より適切な状況で映像を見ながらコミュニケーションを図ることが難しいという課題がある。   In the communication system as described above, for example, if the distance between the dialog device on the local dialog side and the local dialog person (hereinafter referred to as the “face-to-face distance”) is too large, the display on the video display unit of the dialog device on the operator side The local conversation person becomes too small in the video, or the local conversation person becomes difficult to see the display image on the video display unit of the conversation apparatus on the local conversation person side. Therefore, it is important to keep the facing distance appropriately. Here, the face-to-face distance appropriate for the operator and the face-to-face distance appropriate for the local talker may differ, and it is difficult for both the operator and the local talker to communicate while viewing the video in a more appropriate situation. There are challenges.

また、上述したようなコミュニケーションシステムでは、オペレータによる現地対話者側の対話装置の制御を確保するために、現地対話者が現地対話者側の対話装置に触れることができないことが好ましい。しかしながら、非特許文献1においては、この点について考慮されていないという課題がある。   Further, in the communication system as described above, it is preferable that the local talker cannot touch the dialog device on the local talker side in order to ensure the control of the dialog device on the local talker side by the operator. However, Non-Patent Document 1 has a problem that this point is not taken into consideration.

本発明の目的は、上述した課題を解決し、オペレータによる対話装置の制御を確保しつつ、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができるコミュニケーションシステムおよびその制御方法を提供することにある。   An object of the present invention is to solve the above-described problems, and to ensure control of the dialog device by the operator, while allowing both parties of the dialog to communicate while viewing the video in a more appropriate situation, and its control It is to provide a method.

上記課題を解決するため、本発明に係るコミュニケーションシステムは、映像表示部と映像撮影部とをそれぞれ有する第1の対話装置および第2の対話装置を備え、前記第1の対話装置および第2の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムであって、前記第1の対話装置は、移動機構をさらに有し、前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御する制御手段を備える。   In order to solve the above-described problems, a communication system according to the present invention includes a first interactive device and a second interactive device each having a video display unit and a video photographing unit, and the first interactive device and the second interactive device. A communication system for displaying a captured image of a video photographing unit of each interactive device on a video display unit of the other interactive device, wherein the first interactive device further includes a moving mechanism, and the first interactive device side The face-to-face distance, which is the distance between the first interactive person and the first interactive apparatus, is equal to or greater than a predetermined distance, and the display on the video display unit of each of the first interactive apparatus and the second interactive apparatus Movement of the first interactive device by the moving mechanism, so that the video is a display suitable for each of the first interactive user and the second interactive device on the second interactive device side, A control means for controlling the display of one of the interactive device and the second respective interaction device of the video display unit.

また、上記課題を解決するため、本発明に係る制御方法は、映像表示部と映像撮影部と移動機構とを有する第1の対話装置と、映像表示部と映像撮影部とを有する第2の対話装置とを備え、前記第1の対話装置および第2の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムの制御方法であって、前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御するステップを含む。   In order to solve the above-described problem, a control method according to the present invention includes a first interactive device having a video display unit, a video shooting unit, and a moving mechanism, a second display unit having a video display unit, and a video shooting unit. A communication system control method for displaying a video image captured by the video imaging unit of each of the first interactive device and the second interactive device on a video display unit of the other interactive device. The face-to-face distance, which is the distance between the first interactive person on the interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the images of the first interactive apparatus and the second interactive apparatus, respectively. The movement of the first interactive device by the moving mechanism so that the display video of the display unit is a display suitable for each of the first interactive person and the second interactive person on the second interactive device side. , The first dialogue device And a step of controlling the display of the second interactive device each of the video display unit.

本発明に係るコミュニケーションシステムおよびその制御方法によれば、オペレータによる対話装置の制御を確保しつつ、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができる。   According to the communication system and the control method thereof according to the present invention, both parties of the conversation can communicate while watching the video in a more appropriate situation while ensuring the control of the dialogue apparatus by the operator.

本発明の一実施形態に係るコミュニケーションシステムの構成を示す図である。It is a figure which shows the structure of the communication system which concerns on one Embodiment of this invention. 図1に示すテレプレゼンスロボットの外観斜視図である。It is an external appearance perspective view of the telepresence robot shown in FIG. 図1に示すサーバの構成を示すブロック図である。It is a block diagram which shows the structure of the server shown in FIG. 図1に示すサーバの動作を説明するための図である。It is a figure for demonstrating operation | movement of the server shown in FIG. 図1に示すサーバの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the server shown in FIG. 図1に示すサーバの動作の別の一例を示すフローチャートである。It is a flowchart which shows another example of operation | movement of the server shown in FIG. 図1に示すサーバの動作の別の一例を示すフローチャートである。It is a flowchart which shows another example of operation | movement of the server shown in FIG.

以下、本発明の実施の形態について説明する。   Embodiments of the present invention will be described below.

図1は、本発明の一実施形態に係るコミュニケーションシステム1の構成を示す図である。本実施形態に係るコミュニケーションシステム1は、遠隔地にある対話者同士が、相手側の映像を見ながら対話を行うことができ、さらに、対話者の一方であるオペレータが、対話者の他方である現地対話者側の対話装置を制御することができるシステムである。   FIG. 1 is a diagram showing a configuration of a communication system 1 according to an embodiment of the present invention. In the communication system 1 according to the present embodiment, interlocutors in remote places can perform a conversation while watching the other party's video, and an operator who is one of the interlocutors is the other of the interlocutors. This is a system that can control the dialogue device on the local dialogue side.

図1に示すコミュニケーションシステム1は、遠隔操作端末10と、テレプレゼンスロボット20と、遠隔操作端末10およびテレプレゼンスロボット20と通信可能なサーバ30とを有する。   The communication system 1 shown in FIG. 1 includes a remote operation terminal 10, a telepresence robot 20, and a server 30 that can communicate with the remote operation terminal 10 and the telepresence robot 20.

遠隔操作端末10は、オペレータ(第2の対話者)側に設けられる対話装置(第2の対話装置)である。遠隔操作端末10は、映像表示部と、オペレータが映像表示部の表示を見ている状態でオペレータを撮影可能な映像撮影部とを備える。遠隔操作端末10は、映像撮影部の撮影映像の映像データをサーバ30に送信するとともに、サーバ30から送信されてきた映像データに示される映像を映像表示部に表示する。また、遠隔操作端末10は、テレプレゼンスロボット20を遠隔操作するための入力を受け付け、サーバ30に送信する。遠隔操作端末10の具体例としては、カメラ機能を備えたタブレット端末、スマートフォン、パーソナルコンピュータなどがある。   The remote operation terminal 10 is an interactive device (second interactive device) provided on the operator (second interactive person) side. The remote operation terminal 10 includes a video display unit and a video shooting unit that can shoot the operator while the operator is viewing the display on the video display unit. The remote operation terminal 10 transmits the video data of the video captured by the video imaging unit to the server 30 and displays the video indicated by the video data transmitted from the server 30 on the video display unit. The remote operation terminal 10 receives an input for remotely operating the telepresence robot 20 and transmits it to the server 30. Specific examples of the remote operation terminal 10 include a tablet terminal having a camera function, a smartphone, and a personal computer.

テレプレゼンスロボット20は、現地対話者(第1の対話者)側に設けられる対話装置(第1の対話装置)である。テレプレゼンスロボット20は、映像表示部と、現地対話者が映像表示部の表示を見ている状態で現地対話者を撮影可能な映像撮影部と、テレプレゼンスロボット20を移動させる移動機構と、テレプレゼンスロボット20と現地対話者との距離である対面距離を測定する測距センサとを備える。テレプレゼンスロボット20は、映像撮影部の撮影映像の映像データをサーバ30に送信するとともに、サーバ30から送信されてきた映像データに示される映像を映像表示部に表示する。また、テレプレゼンスロボット20は、テレプレゼンスロボット20を遠隔操作するための信号をサーバ30から受信すると、その信号に従い動作する。また、テレプレゼンスロボット20は、測距センサにより対面距離を測定し、測定結果をサーバ30に送信する。   The telepresence robot 20 is a dialogue device (first dialogue device) provided on the local dialogue person (first dialogue person) side. The telepresence robot 20 includes a video display unit, a video shooting unit capable of shooting the local talker while the local talker is viewing the display on the video display unit, a moving mechanism for moving the telepresence robot 20, a telepresence robot 20 A distance measuring sensor that measures a face-to-face distance that is a distance between the presence robot 20 and a local talker is provided. The telepresence robot 20 transmits the video data of the video captured by the video imaging unit to the server 30 and displays the video indicated by the video data transmitted from the server 30 on the video display unit. When the telepresence robot 20 receives a signal for remotely operating the telepresence robot 20 from the server 30, the telepresence robot 20 operates according to the signal. In addition, the telepresence robot 20 measures the face-to-face distance by the distance measuring sensor and transmits the measurement result to the server 30.

図2は、テレプレゼンスロボット20の外観斜視図である。   FIG. 2 is an external perspective view of the telepresence robot 20.

図2に示すように、テレプレゼンスロボット20は、例えば、映像表示部21および映像撮影部22を備えたスマートフォンやタブレット端末などの通信装置23が、通信装置23との通信機能を有する台車型装置24に搭載されて構成される。台車型装置24には測距センサ25が設けられており、測距センサ25による対面距離の測定結果は、通信装置23に送信される。通信装置23は、映像撮影部22の撮影映像の映像データや、測距センサ25による対面距離の測定結果などをサーバ30に送信する。また、通信装置23は、サーバ30から遠隔操作端末10の撮影映像の映像データを受信すると、その映像データに示される映像を映像表示部21に表示させる。   As shown in FIG. 2, the telepresence robot 20 is a cart-type device in which a communication device 23 such as a smartphone or a tablet terminal having a video display unit 21 and a video shooting unit 22 has a communication function with the communication device 23. 24 is configured. The carriage type device 24 is provided with a distance measuring sensor 25, and the measurement result of the facing distance by the distance measuring sensor 25 is transmitted to the communication device 23. The communication device 23 transmits to the server 30 the video data of the video captured by the video imaging unit 22, the measurement result of the facing distance by the distance measuring sensor 25, and the like. In addition, when the communication device 23 receives the video data of the video captured by the remote operation terminal 10 from the server 30, the communication device 23 causes the video display unit 21 to display the video indicated by the video data.

図1を再び参照すると、サーバ30は、遠隔操作端末10およびテレプレゼンスロボット20それぞれから送信されてきた映像データを、他方の装置に送信する。また、サーバ30は、対面距離が所定距離(現地対話者がテレプレゼンスロボット20に触れることができない距離)以上となり、かつ、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示映像が、オペレータおよび現地対話者それぞれにとって適した表示となるように、テレプレゼンスロボット20の移動機構による移動と、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示(例えば、倍率)とを制御する信号を、制御対象の装置に送信する。   Referring to FIG. 1 again, the server 30 transmits the video data transmitted from each of the remote operation terminal 10 and the telepresence robot 20 to the other device. In addition, the server 30 has a face-to-face distance that is equal to or greater than a predetermined distance (a distance at which a local talker cannot touch the telepresence robot 20), and the display images of the video display units of the remote operation terminal 10 and the telepresence robot 20 respectively. The movement of the telepresence robot 20 by the moving mechanism and the display (for example, magnification) of the video display unit of each of the remote operation terminal 10 and the telepresence robot 20 so that the display is suitable for the operator and the local talker. A signal to be controlled is transmitted to the device to be controlled.

図3は、サーバ30の要部構成を示すブロック図である。   FIG. 3 is a block diagram illustrating a main configuration of the server 30.

図3に示すサーバ30は、制御手段31を有する。   The server 30 shown in FIG.

制御手段31は、遠隔操作端末10から映像データ(オペレータ側の映像を示す映像データ)を受信すると、その映像データをテレプレゼンスロボット20に送信する。また、制御手段31は、テレプレゼンスロボット20から映像データ(現地対話者側の映像を示す映像データ)を受信すると、その映像データを遠隔操作端末10に送信する。   When receiving the video data (video data indicating the video on the operator side) from the remote operation terminal 10, the control means 31 transmits the video data to the telepresence robot 20. Further, when receiving the video data (video data indicating the video of the local talker side) from the telepresence robot 20, the control unit 31 transmits the video data to the remote operation terminal 10.

また、制御手段31は、遠隔操作端末10から受信した遠隔操作端末10へのキー入力や、テレプレゼンスロボット20から受信した対面距離の測定結果などに基づき、テレプレゼンスロボット20の移動機構の駆動を制御する移動指示信号や、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示を制御する信号を制御対象の装置に送信する。   Further, the control means 31 drives the moving mechanism of the telepresence robot 20 based on the key input to the remote operation terminal 10 received from the remote operation terminal 10 or the measurement result of the facing distance received from the telepresence robot 20. A movement instruction signal to be controlled and a signal for controlling display on the video display unit of each of the remote operation terminal 10 and the telepresence robot 20 are transmitted to the device to be controlled.

次に、サーバ30の動作について説明する。   Next, the operation of the server 30 will be described.

図4は、サーバ30の動作を概念的に示す図である。図4において、横軸は、テレプレゼンスロボット20と現地対話者との距離を示す。   FIG. 4 is a diagram conceptually illustrating the operation of the server 30. In FIG. 4, the horizontal axis indicates the distance between the telepresence robot 20 and the local talker.

上述したように、オペレータにとって適した対面距離と現地対話者にとって適した対面距離とは異なることがある。以下では、オペレータにとって適した対面距離をオペレータ適切距離と称し、現地対話者にとって適した対面距離を現地対話者適切距離と称する。また、現地対話者がテレプレゼンスロボット20に直接触れることができない距離を制御距離と称する。制御距離は、テレプレゼンスロボット20を移動させることで確保すべき対面距離である。なお、制御距離は、一定値としてもよいし、現地対話者の身長などから算出した値であってもよい。   As described above, the face-to-face distance suitable for the operator may be different from the face-to-face distance suitable for the local talker. In the following, the face-to-face distance suitable for the operator is referred to as the operator appropriate distance, and the face-to-face distance suitable for the local talker is referred to as the local talker appropriate distance. Further, the distance that the local talker cannot directly touch the telepresence robot 20 is referred to as a control distance. The control distance is a facing distance that should be secured by moving the telepresence robot 20. The control distance may be a constant value or may be a value calculated from the height of the local talker.

図4においては、現地対話者適切距離<制御距離<オペレータ適切距離であり、現在の対面距離が現地対話者適切距離と制御距離との間にあるとする。なお、現地対話者適切距離、制御距離およびオペレータ適切距離の大きさは、この順に限られるものではない。   In FIG. 4, it is assumed that the local conversation person appropriate distance <control distance <operator appropriate distance, and the current facing distance is between the local conversation person appropriate distance and the control distance. In addition, the magnitude | sizes of local dialogue person suitable distance, control distance, and operator suitable distance are not restricted in this order.

この場合、現在の対面距離が制御距離よりも小さいため、サーバ30は、テレプレゼンスロボット20を現地対話者から遠ざける方向にテレプレゼンスロボット20を移動させる。こうすることで、テレプレゼンスロボット20と現地対話者との間に、現地対話者がテレプレゼンスロボット20に直接触れることができない距離を保つことができる。しかしながら、テレプレゼンスロボット20を現地対話者から遠ざけることで、対面距離が現地対話者適切距離から離れ、現地対話者にとってはテレプレゼンスロボット20の映像表示部の表示が小さく、見にくくなってしまうことがある。そこで、サーバ30は、テレプレゼンスロボット20の映像表示部の表示を拡大させる。こうすることで、テレプレゼンスロボット20が現地対話者から遠ざかっても、テレプレゼンスロボット20の映像表示部の表示は拡大されるので、見かけ上、対面距離を現地対話者適切距離に近づけることができ、現地対話者は、より適切な状況で映像を見ることができる。   In this case, since the current facing distance is smaller than the control distance, the server 30 moves the telepresence robot 20 in a direction away from the local talker. By doing so, it is possible to maintain a distance between the telepresence robot 20 and the local talker so that the local talker cannot directly touch the telepresence robot 20. However, if the telepresence robot 20 is moved away from the local talker, the face-to-face distance is away from the appropriate distance of the local talker, and the display on the video display unit of the telepresence robot 20 is small and difficult for the local talker. is there. Therefore, the server 30 enlarges the display on the video display unit of the telepresence robot 20. In this way, even if the telepresence robot 20 moves away from the local talker, the display on the video display unit of the telepresence robot 20 is enlarged, so that the face-to-face distance can be made closer to the appropriate distance for the local talker. , The local interlocutor can see the video in a more appropriate situation.

図4に示す例では、対面距離が制御距離となるようにテレプレゼンスロボット20を移動させても、対面距離はオペレータ適切距離には達していない。そのため、オペレータにとっては、遠隔操作端末10の映像表示部の表示映像において現地対話者が小さくしか表示されておらず、見にくいことが考えられる。そこで、サーバ30はさらに、遠隔操作端末10の映像表示部の表示を拡大させてもよい。こうすることで、遠隔操作端末10の映像表示部の表示は拡大されるので、見かけ上、対面距離をオペレータ適切距離に近づけることができ、オペレータは、より適切な状況で映像を見ることができる。   In the example shown in FIG. 4, even if the telepresence robot 20 is moved so that the facing distance becomes the control distance, the facing distance does not reach the operator appropriate distance. Therefore, it is conceivable for the operator that the local conversation person is displayed only in a small size in the display image of the image display unit of the remote operation terminal 10 and is difficult to see. Therefore, the server 30 may further enlarge the display on the video display unit of the remote operation terminal 10. By doing so, the display on the video display unit of the remote operation terminal 10 is enlarged, so that the facing distance can be made closer to the operator appropriate distance, and the operator can view the video in a more appropriate situation. .

なお、サーバ30は、現地対話者の行動(現地対話者の歩行による位置の移動など)に基づき、現地対話者適切距離を推定する。具体的には、サーバ30は、測距センサ25の測定結果から、テレプレゼンスロボット20を現地対話者から遠ざけても、現地対話者がテレプレゼンスロボット20に近づいてくると判定した場合には、現地対話者が対面距離を近づけたいと考えていると判定し、現在の現地対話者適切距離よりも短い値を現地対話者適切距離として設定する。   Note that the server 30 estimates an appropriate distance for the local talker based on the action of the local talker (such as movement of the position by walking the local talker). Specifically, when the server 30 determines from the measurement result of the distance measuring sensor 25 that the local talker is approaching the telepresence robot 20 even if the telepresence robot 20 is moved away from the local talker, It is determined that the local talker wants to reduce the facing distance, and a value shorter than the current local talker appropriate distance is set as the local talker appropriate distance.

このように、現地対話者がテレプレゼンスロボット20に向かって近づいているか否かにより現地対話者適切距離を推定することで、現地対話者はテレプレゼンスロボット20の映像表示部の表示が小さくて見にくい場合には、テレプレゼンスロボット20に向かって近づくことで、現地対話者の意図に沿った現地対話者適切距離が設定される。そのため、直観的な現地対話者適切距離の設定が可能となる。   In this way, by estimating the appropriate distance for the local talker based on whether or not the local talker is approaching the telepresence robot 20, the local talker has a small display on the video display unit of the telepresence robot 20 and is difficult to see. In this case, by approaching toward the telepresence robot 20, an appropriate distance for the local talker according to the intention of the local talker is set. Therefore, it is possible to set an appropriate distance for an intuitive local talker.

また、サーバ30は、オペレータの行動(例えば、遠隔操作端末10へのキー入力、オオペレータの姿勢の変化など)に基づき、オペレータ適切距離を推定する。具体的には、サーバ30は、遠隔操作端末10の映像撮影部の撮影画像におけるオペレータの顔の大きさの変化に基づき、オペレータの姿勢の変化(前のめりになったか、後ろに引いたか)を検出する。そして、サーバ30は、オペレータが前のめりになったと判定した場合には、オペレータが対面距離を近づけたいと考えていると判定し、現在のオペレータ適切距離よりも短い値をオペレータ適切距離として設定する。一方、サーバ30は、オペレータが後ろに引いたと判定した場合には、オペレータが対面距離を離したいと考えていると判定し、現在のオペレータ適切距離よりも長い値をオペレータ適切距離として設定する。   Further, the server 30 estimates the operator appropriate distance based on the operator's action (for example, key input to the remote operation terminal 10, change in the attitude of the operator, etc.). Specifically, the server 30 detects a change in the posture of the operator (whether it has been turned forward or pulled backward) based on a change in the size of the operator's face in the captured image of the video photographing unit of the remote operation terminal 10. To do. When the server 30 determines that the operator has turned forward, the server 30 determines that the operator wants to reduce the facing distance, and sets a value shorter than the current operator appropriate distance as the operator appropriate distance. On the other hand, if it is determined that the operator has pulled backward, the server 30 determines that the operator wants to increase the facing distance, and sets a value longer than the current operator appropriate distance as the operator appropriate distance.

また、サーバ30は、オペレータによる遠隔操作端末10へのキー入力に基づき、オペレータ適切距離を判定してもよい。具体的には、サーバ30は、オペレータが所定のキー、例えば、「+」キーを押下した場合には、オペレータが対面距離を近づけたいと考えていると判定し、現在のオペレータ適切距離よりも短い値をオペレータ適切距離として設定する。一方、サーバ30は、オペレータが所定のキー、例えば、「−」キーを押下した場合には、オペレータが対面距離を離したいと考えていると判定し、現在のオペレータ適切距離よりも長い値をオペレータ適切距離として設定する。   Further, the server 30 may determine the operator appropriate distance based on the key input to the remote operation terminal 10 by the operator. Specifically, when the operator presses a predetermined key, for example, the “+” key, the server 30 determines that the operator wants to reduce the facing distance, and the server 30 determines that the current distance from the operator is appropriate. Set a short value as the appropriate distance for the operator. On the other hand, when the operator presses a predetermined key, for example, the “−” key, the server 30 determines that the operator wants to increase the facing distance, and sets a value longer than the current operator appropriate distance. Set the appropriate distance for the operator.

次に、サーバ30(制御手段31)の動作の詳細について説明する。   Next, details of the operation of the server 30 (control means 31) will be described.

図5は、サーバ30の動作の一例を示すフローチャートである。   FIG. 5 is a flowchart illustrating an example of the operation of the server 30.

まず、サーバ30は、テレプレゼンスロボット20の測距センサ25の測定値(センサ値)が安定しているか否かを判定する(ステップS101)。   First, the server 30 determines whether or not the measurement value (sensor value) of the distance measuring sensor 25 of the telepresence robot 20 is stable (step S101).

測距センサ25のセンサ値が安定していないと判定した場合には(ステップS101:No)、サーバ30は、ステップS101の処理を繰り返す。   When it is determined that the sensor value of the distance measuring sensor 25 is not stable (step S101: No), the server 30 repeats the process of step S101.

測距センサ25のセンサ値が安定していると判定した場合には(ステップS101:Yes)、サーバ30は、測距センサ25により測定された現在の対面距離が制御距離より大きいか否かを判定する(ステップS102)。   When it is determined that the sensor value of the distance measuring sensor 25 is stable (step S101: Yes), the server 30 determines whether or not the current facing distance measured by the distance measuring sensor 25 is larger than the control distance. Determination is made (step S102).

現在の対面距離が制御距離より大きくないと判定した場合には(ステップS102:No)、サーバ30は、対面距離が大きくなるようにテレプレゼンスロボット20を移動させる旨を示す移動指示信号をテレプレゼンスロボット20に送信し、テレプレゼンスロボット20を現地対話者から離す。また、テレプレゼンスロボット20を現地対話者から離すことで、現地対話者にとっては、テレプレゼンスロボット20の映像表示部の表示が小さくなり見にくくなるので、サーバ30は、映像表示部の表示映像を拡大させる(ステップS103)。なお、テレプレゼンスロボット20の移動量および映像表示部の表示映像の拡大量は予め設定された値である。   If it is determined that the current facing distance is not greater than the control distance (step S102: No), the server 30 transmits a movement instruction signal indicating that the telepresence robot 20 is moved so that the facing distance is increased. The data is transmitted to the robot 20, and the telepresence robot 20 is separated from the local talker. In addition, by separating the telepresence robot 20 from the local talker, the display on the video display unit of the telepresence robot 20 becomes small and difficult to see for the local talker, so the server 30 enlarges the display video on the video display unit. (Step S103). The movement amount of the telepresence robot 20 and the enlargement amount of the display image on the image display unit are preset values.

次に、サーバ30は、対面距離が伸びたか否かを判定する(ステップS104)。   Next, the server 30 determines whether the facing distance has increased (step S104).

対面距離が伸びたと判定した場合には(ステップS104:Yes)、すなわち、現地対話者がテレプレゼンスロボット20に向かって移動していない場合には、現地対話者は、映像表示部の表示が見にくいということが無いため、その場にとどまっていると考えられる。そのため、サーバ30は、調整動作を終え、ステップS102の処理に戻る。   If it is determined that the facing distance has increased (step S104: Yes), that is, if the local talker is not moving toward the telepresence robot 20, the local talker is difficult to see the display on the video display unit. It is thought that he stayed there because there was no such thing. Therefore, the server 30 finishes the adjustment operation and returns to the process of step S102.

対面距離が伸びていないと判定した場合には(ステップS104:No)、すなわち、現地対話者がテレプレゼンスロボット20に向かって移動している場合には、現地対話者は、映像表示部の表示が見にくく、テレプレゼンスロボット20に向かって移動していると考えられる。そこで、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整(映像の拡大)が可能であるか否かを判定する(ステップS105)。   When it is determined that the facing distance is not extended (step S104: No), that is, when the local talker is moving toward the telepresence robot 20, the local talker displays on the video display unit. Is difficult to see, and is considered moving toward the telepresence robot 20. Therefore, the server 30 determines whether or not the video size of the video displayed on the video display unit of the telepresence robot 20 can be adjusted (video enlargement) (step S105).

テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS105:Yes)、サーバ30は、ステップS103におけるテレプレゼンスロボット20の位置および映像表示部の表示映像の映像サイズの調整を所定回数だけ試行したか否かを判定する(ステップS106)。   When it is determined that the video size of the video displayed on the video display unit of the telepresence robot 20 can be adjusted (step S105: Yes), the server 30 determines the position of the telepresence robot 20 and the video display unit in step S103. It is determined whether or not the adjustment of the video size of the displayed video has been tried a predetermined number of times (step S106).

ステップS103における調整を所定回数だけ試行していないと判定した場合には(ステップS106:No)、サーバ30は、ステップS103の処理に戻る。   If it is determined that the adjustment in step S103 has not been attempted a predetermined number of times (step S106: No), the server 30 returns to the process of step S103.

テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合(ステップS105:No)、および、ステップS103における調整を所定回数だけ試行したと判定した場合には(ステップS106:Yes)、サーバ30は、後述するステップS107の処理に進む。   When it is determined that the video size of the video displayed on the video display unit of the telepresence robot 20 cannot be adjusted (step S105: No), and when it is determined that the adjustment in step S103 has been attempted a predetermined number of times (step S105). S106: Yes), the server 30 proceeds to the process of step S107 described later.

現在の対面距離が制御距離より大きいと判定した場合には(ステップS102:Yes)、サーバ30は、オペレータから対面距離を更に離す旨が入力されたか否かを判定する(ステップS107)。なお、対面距離を更に離す旨の入力としては、上述したように、遠隔操作端末10の「−」キーの押下、オペレータの姿勢が後ろに引くように変化したことなどがある。   When it is determined that the current facing distance is greater than the control distance (step S102: Yes), the server 30 determines whether or not an input to further increase the facing distance is input from the operator (step S107). In addition, as described above, the input to further increase the facing distance includes pressing the “−” key of the remote operation terminal 10 or changing the posture of the operator to be pulled backward.

対面距離を更に離す旨が入力されたと判定した場合には(ステップS107:Yes)、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS108)。   If it is determined that the fact that the facing distance is further separated is input (step S107: Yes), the server 30 determines whether or not the video size of the display video on the video display unit of the telepresence robot 20 can be adjusted. Determination is made (step S108).

テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS108:Yes)、サーバ30は、対面距離が大きくなるようにテレプレゼンスロボット20を移動させる旨を示す移動指示信号をテレプレゼンスロボット20に送信し、テレプレゼンスロボット20を現地対話者から離す。また、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズを変更(例えば、拡大)する(ステップS109)。   If it is determined that the video size of the video displayed on the video display unit of the telepresence robot 20 can be adjusted (step S108: Yes), the server 30 moves the telepresence robot 20 so that the facing distance is increased. A movement instruction signal indicating that the telepresence is to be transmitted is transmitted to the telepresence robot 20, and the telepresence robot 20 is separated from the local talker. Further, the server 30 changes (for example, enlarges) the video size of the display video on the video display unit of the telepresence robot 20 (step S109).

対面距離を更に離す旨が入力されていないと判定した場合には(ステップS107:No)、サーバ30は、対面距離を近づける旨が入力されたか否かを判定する(ステップS110)。なお、対面距離を近づける旨の入力としては、上述したように、遠隔操作端末10の「+」キーの押下、オペレータの姿勢が前のめりに変化したことなどがある。   When it is determined that the fact that the facing distance is further separated is not input (step S107: No), the server 30 determines whether or not the input indicating that the facing distance is close is input (step S110). Note that, as described above, the input to make the facing distance closer includes pressing of the “+” key of the remote operation terminal 10 or changing the posture of the operator forward.

対面距離を近づける旨が入力されていないと判定した場合には(ステップS110:No)、サーバ30は、ステップS101の処理に戻る。   If it is determined that the fact that the facing distance is to be reduced is not input (step S110: No), the server 30 returns to the process of step S101.

テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合(ステップS108:No)、および、対面距離を近づける旨が入力されたと判定した場合には(ステップS110:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS111)。   When it is determined that the image size of the display image on the image display unit of the telepresence robot 20 cannot be adjusted (step S108: No), and when it is determined that the facing distance is reduced (step S110: Yes), the server 30 determines whether or not the video size of the display video on the video display unit of the remote operation terminal 10 can be adjusted (step S111).

遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合には(ステップS111:No)、サーバ30は、ステップS101の処理に戻る。   When it is determined that the video size of the display video on the video display unit of the remote operation terminal 10 cannot be adjusted (step S111: No), the server 30 returns to the process of step S101.

遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS111:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズを変更(拡大)する(ステップS112)。なお、対面距離を近づける旨が入力された場合には、オペレータは、現地対話者の映像の拡大を要求していると考えられる。この場合、テレプレゼンスロボット20を現地対話者に近づけることで、現地対話者の映像の拡大させることも考えられる。しかしながら、テレプレゼンスロボット20を現地対話者に近づけると、対面距離が制御距離以下となることもある。そのため、サーバ30は、遠隔操作端末10の映像表示部の表示映像を拡大させることで、見かけ上の対面距離をオペレータ最適距離に近づけ、より適切な状況でオペレータが映像を見ることができるようにする。   When it is determined that the video size of the display video on the video display unit of the remote operation terminal 10 can be adjusted (step S111: Yes), the server 30 displays the video of the display video on the video display unit of the remote operation terminal 10. The size is changed (enlarged) (step S112). In addition, when it is input that the facing distance is reduced, it is considered that the operator is requesting enlargement of the image of the local talker. In this case, the telepresence robot 20 may be brought closer to the local talker to enlarge the video of the local talker. However, when the telepresence robot 20 is brought close to the local talker, the facing distance may be less than the control distance. Therefore, the server 30 enlarges the display image of the image display unit of the remote operation terminal 10 so that the apparent facing distance is brought close to the operator optimum distance so that the operator can view the image in a more appropriate situation. To do.

図5においては、サーバ30は、制御距離、現地対話者適切距離およびオペレータ適切距離を考慮して、対面距離と、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示とを調整する例を用いて説明したが、これに限られるものではない。   In FIG. 5, the server 30 adjusts the face-to-face distance and the display on the video display unit of each of the remote operation terminal 10 and the telepresence robot 20 in consideration of the control distance, the local conversation person appropriate distance, and the operator appropriate distance. Although described using an example, the present invention is not limited to this.

図6は、サーバ30が、制御距離および現地対話者適切距離を考慮して、対面距離およびテレプレゼンスロボット20の映像表示部の表示の調整を行う場合の動作を示すフローチャートである。なお、図6において、図5と同様の処理については同じ符号を付し、説明を省略する。   FIG. 6 is a flowchart illustrating an operation in the case where the server 30 adjusts the facing distance and the display on the video display unit of the telepresence robot 20 in consideration of the control distance and the local conversation person appropriate distance. In FIG. 6, the same processes as those in FIG.

現在の対面距離が制御距離より大きくなく(ステップS102:No)、テレプレゼンスロボット20を移動させても対面距離が伸びていないと判定した場合には(ステップS104:No)、サーバ30は、ステップS103における調整を所定回数だけ試行したか否かを判定する(ステップS201)。   If the current facing distance is not greater than the control distance (step S102: No) and it is determined that the facing distance has not increased even if the telepresence robot 20 is moved (step S104: No), the server 30 performs step It is determined whether or not the adjustment in S103 has been tried a predetermined number of times (step S201).

ステップS103における調整を所定回数だけ試行していないと判定した場合には(ステップS201:No)、サーバ30は、ステップS103の処理に戻る。   If it is determined that the adjustment in step S103 has not been tried a predetermined number of times (step S201: No), the server 30 returns to the process of step S103.

一方、現在の対面距離が制御距離より大きいと判定した場合(ステップS102:Yes)、および、ステップS103における調整を所定回数だけ試行したと判定した場合には(ステップS201:Yes)、サーバ30は、ステップS101の処理に戻る。   On the other hand, when it is determined that the current facing distance is greater than the control distance (step S102: Yes), and when it is determined that the adjustment in step S103 has been attempted a predetermined number of times (step S201: Yes), the server 30 The process returns to step S101.

図5および図6においては、サーバ30は、制御距離を考慮して、対面距離および表示の調整を行う場合の動作について説明したが、これに限られるものではない。対面距離を制御距離より大きくする必要が必ずしも無い場合には、制御距離を考慮せず、オペレータ適切距離および現地対話者適切距離だけを考慮して、対面距離および表示の調整を行ってもよい。図7は、制御距離を考慮しない場合のサーバ30の動作を示すフローチャートである。   5 and 6, the server 30 has been described with respect to the operation when adjusting the facing distance and the display in consideration of the control distance, but the present invention is not limited to this. When it is not always necessary to make the facing distance larger than the control distance, the facing distance and the display may be adjusted in consideration of only the operator appropriate distance and the local dialogue person appropriate distance without considering the control distance. FIG. 7 is a flowchart showing the operation of the server 30 when the control distance is not considered.

まず、サーバ30は、対面距離を離す旨あるいは対面距離を縮める旨のオペレータ入力があるか否かを判定する(ステップS301)。なお、対面距離を更に離す旨の入力としては、上述したように、遠隔操作端末10の「−」キーの押下、オペレータの姿勢が後ろに引くように変化したことなどがある。また、対面距離を近づける旨の入力としては、上述したように、遠隔操作端末10の「+」キーの押下、オペレータの姿勢が前のめりに変化したことなどがある。   First, the server 30 determines whether or not there is an operator input for increasing the facing distance or reducing the facing distance (step S301). In addition, as described above, the input to further increase the facing distance includes pressing the “−” key of the remote operation terminal 10 or changing the posture of the operator to be pulled backward. In addition, as described above, the input to make the facing distance closer includes pressing of the “+” key of the remote operation terminal 10 or changing the posture of the operator forward.

オペレータ入力が無い場合には(ステップS301:No)、サーバ30は、ステップS301の処理を繰り返す。   When there is no operator input (step S301: No), the server 30 repeats the process of step S301.

オペレータ入力がある場合には(ステップS301:Yes)、サーバ30は、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS302)。   If there is an operator input (step S301: Yes), the server 30 determines whether or not the video size of the display video on the video display unit of the telepresence robot 20 can be adjusted (step S302).

テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS302:Yes)、サーバ30は、後述するステップS304における調整を所定回数だけ試行したか否かを判定する(ステップS303)。   If it is determined that the video size of the video displayed on the video display unit of the telepresence robot 20 can be adjusted (step S302: Yes), has the server 30 tried the adjustment in step S304 described later a predetermined number of times? It is determined whether or not (step S303).

ステップS304における調整を所定回数だけ試行していないと判定すると(ステップS303:No)、サーバ30は、対面距離を離す(対面距離を縮める)旨が入力された場合には、テレプレゼンスロボット20と現地対話者との距離を離す(縮める)とともに、テレプレゼンスロボット20の映像表示部の映像表示を拡大(縮小)する(ステップS304)。   If it is determined that the adjustment in step S304 has not been attempted a predetermined number of times (step S303: No), the server 30 receives the telepresence robot 20 when it is input that the facing distance is separated (the facing distance is reduced). The distance from the local talker is increased (shrinked), and the video display on the video display unit of the telepresence robot 20 is enlarged (reduced) (step S304).

次に、サーバ30は、対面距離を離す(対面距離を縮める)旨が入力された場合には、対面距離が伸びたか否か(縮んだか否か)を判定する(ステップS305)。   Next, the server 30 determines whether or not the facing distance has been extended (whether or not it has been shortened) when it is input that the facing distance is to be separated (the facing distance is to be shortened) (step S305).

対面距離が伸びていない(縮んでいない)と判定した場合には(ステップS305:No)、サーバ30は、ステップS302の処理に戻る。   When it is determined that the facing distance is not extended (not contracted) (step S305: No), the server 30 returns to the process of step S302.

テレプレゼンスロボット20の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合(ステップS302:No)、および、ステップS304における調整を所定回数だけ試行したと判定した場合には(ステップS303:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する(ステップS306)。   When it is determined that the video size of the display video on the video display unit of the telepresence robot 20 cannot be adjusted (step S302: No), and when it is determined that the adjustment in step S304 has been attempted a predetermined number of times (step S302). (S303: Yes), the server 30 determines whether or not the video size of the video displayed on the video display unit of the remote operation terminal 10 can be adjusted (step S306).

遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合には(ステップS306:No)、サーバ30は、ステップS301の処理に戻る。   When it is determined that the video size of the display video on the video display unit of the remote operation terminal 10 cannot be adjusted (step S306: No), the server 30 returns to the process of step S301.

遠隔操作端末10の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には(ステップS306:Yes)、サーバ30は、遠隔操作端末10の映像表示部の表示映像の映像サイズを変更(拡大あるいは縮小)し(ステップS307)、ステップS301の処理に戻る。   When it is determined that the video size of the display video on the video display unit of the remote operation terminal 10 can be adjusted (step S306: Yes), the server 30 displays the video of the display video on the video display unit of the remote control terminal 10 The size is changed (enlarged or reduced) (step S307), and the process returns to step S301.

なお、図7においては、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズを調整した後に、遠隔操作端末10の映像表示部の表示映像の映像サイズを調整する例を用いて説明したが、これに限られるものではない。遠隔操作端末10の映像表示部の表示映像の映像サイズを調整した後に、テレプレゼンスロボット20の映像表示部の表示映像の映像サイズを調整してもよい。   In FIG. 7, the description has been given using an example in which the video size of the display video of the video display unit of the remote operation terminal 10 is adjusted after the video size of the video display unit of the telepresence robot 20 is adjusted. However, it is not limited to this. After adjusting the video size of the display video of the video display unit of the remote operation terminal 10, the video size of the display video of the video display unit of the telepresence robot 20 may be adjusted.

また、本実施形態においては、サーバ30が制御手段31を備える例を用いて説明したが、これに限られるものではなく、遠隔操作端末10あるいはテレプレゼンスロボット20が制御手段31を備えていてもよい。   In the present embodiment, the server 30 has been described using an example including the control unit 31. However, the present invention is not limited to this, and the remote operation terminal 10 or the telepresence robot 20 may include the control unit 31. Good.

このように、本実施形態に係るコミュニケーションシステム1は、映像表示部と映像撮影部とを有する遠隔操作端末10(第2の対話端末)と、映像表示部と映像撮影部と移動機構とを有するテレプレゼンスロボット20(第1の対話端末)とを備え、各対話装置の映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させる。さらに、コミュニケーションシステム1は、テレプレゼンスロボット20と現地対話者との間の距離である対面距離が所定距離以上となり、かつ、各対話装置の映像表示部の表示映像が、現地対話者およびオペレータそれぞれにとって適した表示となるように、移動機構によるテレプレゼンスロボット20の移動と、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部の表示と、を制御する制御手段31を備える。   As described above, the communication system 1 according to the present embodiment includes the remote operation terminal 10 (second interactive terminal) having the video display unit and the video shooting unit, the video display unit, the video shooting unit, and the moving mechanism. A telepresence robot 20 (first interactive terminal) is provided, and the video image captured by the video imaging unit of each interactive device is displayed on the video display unit of the other interactive device. Furthermore, in the communication system 1, the facing distance, which is the distance between the telepresence robot 20 and the local conversation person, is equal to or greater than a predetermined distance, and the display images on the video display units of the respective conversation devices are displayed on the local conversation person and the operator respectively. Control means 31 for controlling the movement of the telepresence robot 20 by the moving mechanism and the display of the video display units of the remote operation terminal 10 and the telepresence robot 20 so that the display is suitable for the user.

そのため、テレプレゼンスロボット20と現地対話者との間に、所定距離(現地対話者がテレプレゼンスロボット20に直接触れることができない距離)以上の間隔を確保することができるので、オペレータによる対話装置(テレプレゼンスロボット20)の制御を確保することができる。また、遠隔操作端末10およびテレプレゼンスロボット20それぞれの映像表示部による表示が、現地対話者およびオペレータそれぞれにとって適した表示となるので、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができる。   For this reason, an interval equal to or greater than a predetermined distance (a distance at which the local talker cannot directly touch the telepresence robot 20) can be secured between the telepresence robot 20 and the local talker. Control of the telepresence robot 20) can be ensured. Moreover, since the display by the video display unit of each of the remote operation terminal 10 and the telepresence robot 20 is a display suitable for each local talker and operator, both parties of the conversation can communicate while watching the video in a more appropriate situation. Can be achieved.

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロックあるいはステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数のブロックあるいはステップを1つに組み合わせたり、或いは分割したりすることが可能である。   Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various variations or modifications based on the present disclosure. Therefore, it should be noted that these variations or modifications are included in the scope of the present invention. For example, functions included in each block or step can be rearranged so as not to be logically contradictory, and a plurality of blocks or steps can be combined into one or divided.

1 コミュニケーションシステム
10 遠隔操作端末
20 テレプレゼンスロボット
21 映像表示部
22 映像撮影部
23 通信装置
24 台車型装置
25 測距センサ
30 サーバ
31 制御手段
DESCRIPTION OF SYMBOLS 1 Communication system 10 Remote operation terminal 20 Telepresence robot 21 Image | video display part 22 Image | video imaging | photography part 23 Communication apparatus 24 Cargo type | mold apparatus 25 Distance sensor 30 Server 31 Control means

Claims (3)

映像表示部と映像撮影部とをそれぞれ有する第1の対話装置および第2の対話装置を備え、前記第1の対話装置および第2の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムであって、
前記第1の対話装置は、移動機構をさらに有し、
前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御する制御手段を備えることを特徴とするコミュニケーションシステム。
A first interactive device and a second interactive device each having a video display unit and a video photographing unit, and the other interactive device displays a video image taken by the respective video photographing units of the first interactive device and the second interactive device. A communication system to be displayed on the video display section of
The first interactive apparatus further includes a moving mechanism,
The facing distance, which is the distance between the first interactive person on the first interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the first interactive apparatus and the second interactive apparatus The first interactive device by the moving mechanism so that the display video of each video display unit is a display suitable for the first interactive person and the second interactive person on the second interactive device side. And a control means for controlling the movement of the first display device and the display of the video display section of each of the first dialog device and the second dialog device.
請求項1記載のコミュニケーションシステムにおいて、
前記制御手段は、前記第1の対話装置を移動させた後、前記対面距離が縮まらない場合には、前記第1の対話装置の映像表示部の表示が前記第1の対話者にとって適切であると判定することを特徴とするコミュニケーションシステム。
The communication system according to claim 1,
If the facing distance is not reduced after moving the first interactive device, the control means is suitable for the first interactive person to display the video display unit of the first interactive device. A communication system characterized by judging.
映像表示部と映像撮影部と移動機構とを有する第1の対話装置と、映像表示部と映像撮影部とを有する第2の対話装置とを備え、前記第1の対話装置および第2の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムの制御方法であって、
前記第1の対話装置側の第1の対話者と前記第1の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示映像が、前記第1の対話者および前記第2の対話装置側の第2の対話者それぞれにとって適した表示となるように、前記移動機構による前記第1の対話装置の移動と、前記第1の対話装置および前記第2の対話装置それぞれの映像表示部の表示とを制御するステップを含む制御方法。
A first interactive device having a video display unit, a video photographing unit, and a moving mechanism, and a second interactive device having a video display unit and a video photographing unit, the first interactive device and the second interactive device A communication system control method for displaying a video image of a video image capturing unit of each device on a video display unit of the other interactive device,
The facing distance, which is the distance between the first interactive person on the first interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the first interactive apparatus and the second interactive apparatus The first interactive device by the moving mechanism so that the display video of each video display unit is a display suitable for the first interactive person and the second interactive person on the second interactive device side. And a control method including a step of controlling the movement of the first interactive device and the display of the video display unit of each of the first interactive device and the second interactive device.
JP2015090765A 2015-04-27 2015-04-27 Communication system and control method thereof Active JP6352217B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015090765A JP6352217B2 (en) 2015-04-27 2015-04-27 Communication system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015090765A JP6352217B2 (en) 2015-04-27 2015-04-27 Communication system and control method thereof

Publications (2)

Publication Number Publication Date
JP2016208416A JP2016208416A (en) 2016-12-08
JP6352217B2 true JP6352217B2 (en) 2018-07-04

Family

ID=57490692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015090765A Active JP6352217B2 (en) 2015-04-27 2015-04-27 Communication system and control method thereof

Country Status (1)

Country Link
JP (1) JP6352217B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11766789B2 (en) 2020-12-22 2023-09-26 Toyota Jidosha Kabushiki Kaisha Shooting system, shooting method therefor, and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817557B2 (en) * 2017-05-22 2021-01-20 パナソニックIpマネジメント株式会社 Communication control method, communication control device, and communication control program
JP6788845B2 (en) * 2017-06-23 2020-11-25 パナソニックIpマネジメント株式会社 Remote communication methods, remote communication systems and autonomous mobile devices
JP7106097B2 (en) * 2018-05-30 2022-07-26 東京都公立大学法人 telepresence system
JP7402145B2 (en) * 2020-11-13 2023-12-20 本田技研工業株式会社 Remote control systems, mobile robots, and operating terminals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11766789B2 (en) 2020-12-22 2023-09-26 Toyota Jidosha Kabushiki Kaisha Shooting system, shooting method therefor, and program

Also Published As

Publication number Publication date
JP2016208416A (en) 2016-12-08

Similar Documents

Publication Publication Date Title
JP7385052B2 (en) Photography methods, equipment, electronic equipment and storage media
JP6352217B2 (en) Communication system and control method thereof
US9602732B2 (en) Zoom input and camera information
EP3062196B1 (en) Method and apparatus for operating and controlling smart devices with hand gestures
CN105991930B (en) Zoom processing method, device and the mobile terminal of dual camera
CN108184070B (en) Shooting method and terminal
JP6071866B2 (en) Display control device, display device, imaging system, display control method, and program
US9652823B2 (en) Method and terminal device for controlling display of video image
US20170214856A1 (en) Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
KR20140089146A (en) Method for providing video communication and an electronic device thereof
WO2012088800A1 (en) Method, device and system for displaying pictures in display terminal
WO2014027567A1 (en) Image processing system, image processing method, and program
JP2016009023A (en) Information processing device, display control device, control methods therefor, system, and program
CN111966314A (en) Image projection method, image projection device, mobile terminal and projection equipment
US20180270412A1 (en) Imaging device, external device, imaging system, imaging method, operating method, and computer-readable recording medium
JP5871779B2 (en) Camera system
JP6367759B2 (en) Display image zoom terminal, display image zoom method, and display image zoom program
WO2020000393A1 (en) Image processing method and apparatus, first electronic device, and image processing system
JP2008042702A (en) Photographic subject photographing apparatus, photographic subject displaying apparatus, photographic subject displaying system and program
US10298884B2 (en) System and method of precision remote PTZ control of IP cameras
US8943411B1 (en) System, method, and computer program for displaying controls to a user
US20150248220A1 (en) Client device, monitoring system, method for displaying images on a screen and computer program
CN106527442B (en) Balance car control system
JP2006309617A (en) Content transmitter, content display, control method for content transmitter, and control method for content display
JP6001140B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180606

R150 Certificate of patent or registration of utility model

Ref document number: 6352217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150