JP7128409B2

JP7128409B2 - REMOTE CONTROL DEVICE, REMOTE CONTROL SYSTEM, REMOTE CONTROL METHOD AND REMOTE CONTROL PROGRAM

Info

Publication number: JP7128409B2
Application number: JP2018122538A
Authority: JP
Inventors: 義弘甲斐; 佳仁安達; 友晴湯山
Original assignee: Tokai University Educational Systems
Current assignee: Tokai University Educational Systems
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2022-08-31
Anticipated expiration: 2038-06-27
Also published as: JP2020005114A

Description

本発明は、遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラムに関する。 The present invention relates to a remote control device, a remote control system, a remote control method and a remote control program.

従来、視線を検出する検出手段を有した撮像装置からの視線検出信号を受信する通信手段を備え、その撮像装置から送信された視線検出信号に基づいて被制御体の制御を行う視線制御装置が提案されていた（例えば、特許文献１）。 Conventionally, there has been provided a line-of-sight control apparatus that includes communication means for receiving a line-of-sight detection signal from an imaging device having detection means for detecting a line of sight, and that controls a controlled object based on the line-of-sight detection signal transmitted from the imaging device. It has been proposed (for example, Patent Document 1).

また、眼球トラッキングを用いて画像を操作するシステムも提案されている（例えば、特許文献２）。本システムでは、関心領域（ＲＯＩ）の周りに、画像パラメータ調整に関連付けられた複数のホットスポットが配置され、ユーザの凝視ポイントがホットスポットに入っているときに、ホットスポットに関連付けられた画像調整を行う。 A system for manipulating images using eyeball tracking has also been proposed (eg, Patent Document 2). The system places a plurality of hotspots associated with image parameter adjustments around a region of interest (ROI), and performs image adjustments associated with the hotspots when the user's gaze point is within the hotspot. I do.

特開平１１－４６３１８号公報JP-A-11-46318 特表２００９－５３０７３１号公報Japanese Patent Publication No. 2009-530731

制御装置と無線接続又は有線接続される、マルチコプターや、多脚ロボット、車輪、クローラ等で走行するロボット等の被制御装置を、被制御装置の一人称視点で撮影された画像を見ながら操縦者が操縦する場合、操縦者の視線によって制御できると便利なことがある。すなわち、操縦者が手を使えないような場合にも被制御装置を操縦でき、また、被制御装置がロボットハンドのような操作対象をさらに備えている場合には、操縦者の手によって、ロボットハンド等の操作を行うこともできる。しかしながら、操縦者は、視線によってロボット等の周囲の状況の把握とロボット等の操縦とを同時に行うことになるため、操作が難しくなりがちであるという問題があった。 A controlled device such as a multi-copter, a multi-legged robot, a robot that runs on wheels, a crawler, etc., which is wirelessly or wiredly connected to the control device, is operated by the operator while viewing an image taken from the first-person viewpoint of the controlled device. It is sometimes convenient to be able to control by the driver's line of sight when the In other words, the controlled device can be operated even when the operator cannot use his/her hands. It is also possible to perform operations such as hands. However, there is a problem that the operation tends to be difficult because the operator simultaneously grasps the situation around the robot or the like and operates the robot or the like based on the line of sight.

本発明は、視線による遠隔制御の操作性を向上させることを目的とする。 An object of the present invention is to improve the operability of remote control by line of sight.

本発明に係る移動物体の遠隔制御装置は、制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、制御対象の移動物体を遠隔制御する制御装置であって、制御対象の移動物体が備える撮像装置によって撮像された画像を表示する表示装置に対向するユーザの視線を検出し、画像上におけるユーザの注視点を出力する視線検出装置から、注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、情報が示す注視点が所定の領域に含まれる場合は、当該領域に対応付けられた、制御対象の移動物体を制御するための信号を送信させる信号出力制御部とを備え、所定の領域は、画像のほぼ中央に、制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、制御対象の移動物体を前進させるための前進領域を含む。 A remote control apparatus for a moving object according to the present invention is a control apparatus for remotely controlling a moving object to be controlled while a user views an image captured by an imaging device included in the moving object to be controlled. Acquiring gaze point information from a gaze detection device that detects the gaze of a user facing a display device that displays an image captured by an imaging device provided on a moving object and outputs the user's gaze point on the image, An operation detection unit that determines whether the point of gaze indicated by the acquired information is included in a predetermined area, and if the point of gaze indicated by the information is included in the predetermined area, a moving object to be controlled that is associated with the area and a signal output control unit for transmitting a signal for controlling the predetermined area has a waiting area for waiting the moving object to be controlled in the approximate center of the image, and inside the waiting area An advance area for advancing the moving object to be controlled is included at a position spaced apart from the center of the standby area by a predetermined distance.

このようにすれば、ユーザは、画像のほぼ中央に配置される待機領域に視線の先を定めることで、制御対象の移動物体を待機させることができる。したがって、制御対象の移動物体を障害物等に接触させるような事故を起こすことなく、画像全体を認識することがで
きる。また、待機領域内において中央から所定距離離間した位置に配置される前進領域に視線を移すことにより、制御対象の移動物体を前進させることができる。このような位置関係で設けられる領域によれば、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の移動物体を待機させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。 In this way, the user can make the moving object to be controlled stand by by directing the user's line of sight to the waiting area arranged substantially in the center of the image. Therefore, the entire image can be recognized without causing an accident such as contacting the moving object to be controlled with an obstacle or the like. In addition, by moving the line of sight to the advance area arranged at a predetermined distance from the center in the standby area, the moving object to be controlled can be advanced. According to the area provided with such a positional relationship, the user can make the moving object to be controlled stand by only by moving the line of sight from the forward movement area to one of the surrounding directions. operability of remote control can be improved.

また、所定の領域の境界が、表示装置に画像として表示され、又は表示装置に重ねて配置されるシート若しくはパネルに表示されるようにしてもよい。このようにすれば、ユーザは、操作するための領域を明確に認識することができる。 Further, the boundary of the predetermined area may be displayed as an image on the display device, or may be displayed on a sheet or panel superimposed on the display device. In this way, the user can clearly recognize the area for operation.

また、前進領域は、眼球から画像上における注視点までの距離をｌとし、眼球及び注視点を結ぶ直線と、眼球及び表示装置に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとしたときに得られる中心視可能な範囲の半径ｒを以下の式で求め、待機領域の中心から垂直下方向に３ｒの位置を中心に上下方向にｒの長さの範囲に配置してもよい。
ｒ＝ｌｔａｎθ In addition, the forward region is defined by the distance l from the eyeball to the point of gaze on the image, the straight line connecting the eyeball and the point of gaze, and the straight line connecting the eyeball and the end of the central vision range on the image displayed on the display device. The radius r of the centrally visible range obtained when the angle between the Can be placed in range.
r = l tan θ

また、前進領域は、待機領域の中心から下方向の最下端から、上方向にｒの長さの位置に配置されるようにしてもよい。また、θは、１～２度であってもよい。具体的にはこのような大きさを採用することで、一般的に中心視によって対象を明確に認識できると共に、固視において生じるマイクロサッケードによりユーザが意図しない制御がなされることを抑制できる。 Further, the advance area may be arranged at a position r in the upward direction from the lowermost end in the downward direction from the center of the standby area. Also, θ may be 1 to 2 degrees. Specifically, by adopting such a size, it is possible to generally clearly recognize an object by central vision, and to suppress unintended control by the user due to microsaccades that occur in fixation.

また、静止領域の左右に、それぞれ制御対象の移動物体を鉛直方向の回転軸を中心として左右に水平回転させるための領域を備えるようにしてもよい。このようにすれば、画像の左右にユーザの興味の対象が存在する場合、ユーザはこれらが存在する方向に視線を移すことにより、制御対象の装置の向きを変えるよう遠隔制御でき、直感的に操作できる。また、画像において中央よりも左右の状況は把握しづらいため、制御対象の装置を左右に平行移動させると、制御対象の装置を障害物等に接触させる可能性も高まる。したがって、制御対象の装置を左右に水平回転させることで、事故の発生を低減させることができる。 Also, on the left and right of the stationary area, areas may be provided for horizontally rotating the moving object to be controlled to the left and right around the vertical axis of rotation. In this way, when objects of interest of the user exist on the left and right sides of the image, the user can remotely control the apparatus to change the direction of the device to be controlled by moving the line of sight in the direction in which these objects exist. can be operated. In addition, since it is difficult to grasp the situation on the left and right sides of the image, it is more likely that the device to be controlled will come into contact with an obstacle or the like if the device to be controlled is moved in parallel to the left or right. Therefore, the occurrence of accidents can be reduced by horizontally rotating the device to be controlled to the left and right.

また、制御対象の移動物体は無人飛行物体であり、静止領域の上下に、それぞれ飛行物体を上昇・下降させるための領域を備えるようにしてもよい。なお、無人飛行物体は、マルチコプター、ドローン、ヘリコプター、飛行船のいずれか１つであってもよい。このようにすれば、無人飛行物体を上下に移動させたい場合、ユーザは静止領域の上下に視線を移すことにより遠隔制御でき、直感的に操作できるといえる。 Also, the moving object to be controlled is an unmanned flying object, and areas above and below the static area may be provided for raising and lowering the flying object. Note that the unmanned flying object may be any one of a multicopter, a drone, a helicopter, and an airship. In this way, when the user wants to move the unmanned flying object up and down, the user can remotely control the unmanned flying object by moving the line of sight up and down the stationary area, and can intuitively operate the unmanned flying object.

また、本発明に係る遠隔制御システムは、上述した遠隔制御装置と、視線検出装置と、制御対象の移動物体と、制御対象の移動物体を制御するための信号を送信するコントローラとを備える。このような遠隔制御システムによっても、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の装置を停止させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。 A remote control system according to the present invention includes the above-described remote control device, line-of-sight detection device, moving object to be controlled, and a controller for transmitting a signal for controlling the moving object to be controlled. With such a remote control system as well, the user can stop the device to be controlled simply by moving his or her line of sight from the forward movement area to any direction around the area. can improve sexuality.

上記課題を解決するための手段の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、上記手段をコンピュータが実行する方法や、上記手段をコンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。 The contents of the means for solving the above problems can be combined as much as possible without departing from the scope of the problems and technical ideas of the present invention. Further, the means may be realized as a method executed by a computer or as a program causing a computer to execute the means. The program may be recorded on a computer-readable recording medium and provided.

本発明によれば、視線による遠隔制御の操作性を向上させることができる。 According to the present invention, it is possible to improve the operability of remote control by line of sight.

本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である1 is a configuration diagram showing an example of a remote control system including a remote control device according to the present embodiment; FIG. 遠隔操作システムの一例を示す機能ブロック図である。1 is a functional block diagram showing an example of a remote control system; FIG. 遠隔操作システムの制御装置が行う前処理の一例を示す処理フロー図である。It is a processing flow diagram showing an example of pre-processing performed by the control device of the remote control system. マルチコプターが行う処理の一例を示す処理フロー図である。FIG. 4 is a processing flow diagram showing an example of processing performed by the multicopter; コントローラが行う処理の一例を示す処理フロー図である。FIG. 4 is a processing flow diagram showing an example of processing performed by a controller; 表示装置が行う処理の一例を示す処理フロー図である。It is a processing flow diagram showing an example of processing performed by the display device. 視線検出装置が行う処理の一例を示す処理フロー図である。It is a processing flow diagram showing an example of processing performed by the line-of-sight detection device. 制御装置が行う処理の一例を示す処理フロー図である。It is a processing flow diagram showing an example of processing performed by a control device. 表示装置上に設定される操作領域の割り当ての一例を示す図である。FIG. 4 is a diagram showing an example of allocation of operation areas set on a display device; マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。FIG. 4 is a diagram showing an example of a first-person viewpoint image of a multicopter for explaining the operation of the multicopter. マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。FIG. 4 is a diagram showing an example of a first-person viewpoint image of a multicopter for explaining the operation of the multicopter; マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。FIG. 4 is a diagram showing an example of a first-person viewpoint image of a multicopter for explaining the operation of the multicopter; 表示装置上に設定される操作領域の位置及び大きさを説明するための図である。FIG. 4 is a diagram for explaining the position and size of an operation area set on a display device; 表示装置上に設定される操作領域の位置及び大きさを説明するための図である。FIG. 4 is a diagram for explaining the position and size of an operation area set on a display device; 操作領域の配置の変形例を示す図である。It is a figure which shows the modification of arrangement|positioning of an operation area.

以下、本発明の実施形態に係る遠隔操作システムについて、図面を用いて説明する。 A remote control system according to an embodiment of the present invention will be described below with reference to the drawings.

＜装置構成＞
図１は、本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である。図１に示す遠隔操作システム１は、制御装置２と、表示装置３と、視線検出装置４と、コントローラ５と、マルチコプター６とを含む。遠隔操作システム１は、ユーザの視線に基づいて操作対象の移動物体を遠隔操作するためのシステムである。マルチコプター６は、複数の回転翼を有する回転翼機であり、本実施形態における操作対象の移動物体である。また、マルチコプター６は、デジタルカメラ等の撮像装置を備えており、例えばコントローラ５を介して表示装置３へ撮像した画像を表示させることができる。コントローラ５は、マルチコプター６の動作を無線により遠隔操作するための送信機である。表示装置３は、マルチコプター６が備える撮像装置から、例えば制御装置２を介して撮像データを取得し、表示する。視線検出装置４は、例えば赤外線を撮像するカメラを備え、ユーザの目の動きに基づいて視線を検出する。制御装置２は、表示装置３上においてユーザが注視（又は固視）している部分である注視点を示す情報を視線検出装置４から取得し、注視点の位置に応じて、マルチコプター６を操作するための信号をコントローラ５に出力させる。 <Device configuration>
FIG. 1 is a configuration diagram showing an example of a remote control system including a remote control device according to this embodiment. A remote control system 1 shown in FIG. The remote operation system 1 is a system for remotely operating a moving object to be operated based on the user's line of sight. The multicopter 6 is a rotorcraft having a plurality of rotor blades, and is a moving object to be operated in this embodiment. The multicopter 6 is also equipped with an imaging device such as a digital camera, and can display the captured image on the display device 3 via the controller 5, for example. The controller 5 is a transmitter for remotely controlling the operation of the multicopter 6 wirelessly. The display device 3 acquires imaging data from an imaging device provided in the multicopter 6 via, for example, the control device 2 and displays it. The line-of-sight detection device 4 includes, for example, a camera that captures infrared rays, and detects the line of sight based on the movement of the user's eyes. The control device 2 acquires from the line-of-sight detection device 4 information indicating the gaze point, which is the portion the user is gazing at (or fixating) on the display device 3, and controls the multicopter 6 according to the position of the gaze point. A signal for operation is output to the controller 5 .

＜機能構成＞
図２は、遠隔操作システムの一例を示す機能ブロック図である。図２の遠隔操作システム１は、上述した制御装置２と、表示装置３と、視線検出装置４と、コントローラ５と、マルチコプター６とを含む。 <Functional configuration>
FIG. 2 is a functional block diagram showing an example of a remote control system. The remote control system 1 of FIG. 2 includes the control device 2, the display device 3, the line-of-sight detection device 4, the controller 5, and the multicopter 6 described above.

制御装置２は、一般的なコンピュータであり、例えばＰＣ（Personal Computer）、ス
マートフォン、タブレット等である。また、制御装置２は、通信インターフェース（Ｉ／Ｆ）２１と、記憶装置２２と、入出力装置２３と、プロセッサ２４とを備え、これらがバス２５を介して接続されている。通信Ｉ／Ｆ２１は、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、その他のＲＦ（Radio Frequency）信号を用いて通信を行うた
めの無線モジュールや、有線のネットワークカード、パラレルポート、シリアルポート等であり、他の装置と所定のプロトコルに基づいて通信を行う。記憶装置２２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の主記憶装置及びＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等の補助記憶装置（二次記憶装置）である。主記憶装置は、プロセッサ２４が読み出したプログラムを一時的に記憶したり、プロセッサ２４の作業領域を確保したりする。補助記憶装置は、プロセッサ２４が実行するプログラム等を記憶する。入出力装置２３は、例えばキーボードやマウス、タッチパネル等のユーザインターフェースである。なお、入出力装置２３が、表示装置３を兼ねていてもよい。プロセッサ２４は、ＣＰＵ（Central Processing Unit）等の演
算処理装置であり、プログラムを実行することにより本実施の形態で説明する各処理を行う。また、図２の例では、プロセッサ２４内に機能ブロックを示している。具体的には、プロセッサ２４は、操作検出部２４１と、信号出力制御部２４２とを含む。操作検出部２４１は、通信Ｉ／Ｆ２１を介して視線検出装置４からユーザの視線の動きに関する情報を取得し、注視点の位置に応じてユーザによる操作の指示を検出する。信号出力制御部２４２は、注視点の位置に応じた操作の指示に基づいて、マルチコプター６を操作するための信号の出力を指示するための情報を、入出力装置２３を介してコントローラ５へ送信する。 The control device 2 is a general computer such as a PC (Personal Computer), a smart phone, a tablet, or the like. The control device 2 also includes a communication interface (I/F) 21 , a storage device 22 , an input/output device 23 and a processor 24 , which are connected via a bus 25 . The communication I/F 21 includes a wireless module for communication using Wi-Fi (registered trademark), Bluetooth (registered trademark), and other RF (Radio Frequency) signals, a wired network card, a parallel port, and a serial port. etc., and communicates with other devices based on a predetermined protocol. The storage device 22 includes main storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory), and auxiliary storage devices (secondary storage devices) such as HDD (Hard-disk Drive), SSD (Solid State Drive), and flash memory. equipment). The main memory temporarily stores programs read by the processor 24 and secures a work area for the processor 24 . The auxiliary storage stores programs and the like executed by the processor 24 . The input/output device 23 is a user interface such as a keyboard, mouse, touch panel, or the like. Note that the input/output device 23 may also serve as the display device 3 . The processor 24 is an arithmetic processing device such as a CPU (Central Processing Unit), and performs each process described in this embodiment by executing a program. Also, in the example of FIG. 2, functional blocks are shown within the processor 24 . Specifically, the processor 24 includes an operation detection section 241 and a signal output control section 242 . The operation detection unit 241 acquires information about the movement of the user's line of sight from the line-of-sight detection device 4 via the communication I/F 21, and detects the user's operation instruction according to the position of the gaze point. The signal output control unit 242 transmits information for instructing the output of a signal for operating the multicopter 6 to the controller 5 via the input/output device 23 based on the operation instruction corresponding to the position of the gaze point. Send.

表示装置３は、コンピュータ等が出力する画像（静止画又は動画）の映像信号を取得し表示する映像表示装置である。図２においては、表示装置３内にも機能ブロックを示している。表示装置３は、通信Ｉ／Ｆ３１と、表示部３２とを含む。通信Ｉ／Ｆ３１は、ＨＤＭＩ（High-Definition Multimedia Interface，登録商標）端子、ＤＶＩ（Digital Visual Interface）端子、ＶＧＡ端子、無線通信モジュール等の、映像信号の入力を受けるためのインターフェースである。表示部３２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬディスプレイ、ブラウン管（ＣＲＴ：Cathode Ray Tube）等である。 The display device 3 is a video display device that acquires and displays a video signal of an image (still image or moving image) output by a computer or the like. In FIG. 2, functional blocks are also shown within the display device 3 . Display device 3 includes communication I/F 31 and display unit 32 . The communication I/F 31 is an interface for receiving input of video signals, such as an HDMI (High-Definition Multimedia Interface, registered trademark) terminal, a DVI (Digital Visual Interface) terminal, a VGA terminal, and a wireless communication module. The display unit 32 is a liquid crystal display (LCD), a plasma display (PDP: Plasma Display Panel), an organic EL display, a cathode ray tube (CRT: Cathode Ray Tube), or the like.

視線検出装置４は、ユーザの視線の動きを検出し、注視点を特定する装置である。図２においては、視線検出装置４内にも機能ブロックを示している。視線検出装置４は、通信Ｉ／Ｆ４１と、赤外線送受信部４２と、視線検出部４３とを備える。通信Ｉ／Ｆ４１は、ＵＳＢ（Universal Serial Bus）等のインターフェースであり、制御装置２に対し注視点の情報を出力する。赤外線送受信部４２は、視線検出装置４と対向するユーザに対し赤外線を照射すると共に、反射光を撮像する。視線検出部４３は、ユーザの画像から目における瞳孔の位置に基づいて視線の向きを検出すると共に、表示装置上における注視点の位置を算出する。 The line-of-sight detection device 4 is a device that detects the movement of the user's line of sight and identifies the gaze point. In FIG. 2, functional blocks are also shown in the line-of-sight detection device 4 . The line-of-sight detection device 4 includes a communication I/F 41 , an infrared transmitting/receiving section 42 , and a line-of-sight detection section 43 . The communication I/F 41 is an interface such as a USB (Universal Serial Bus), and outputs gaze point information to the control device 2 . The infrared transmitting/receiving unit 42 irradiates the user facing the line-of-sight detection device 4 with infrared rays, and captures an image of the reflected light. The line-of-sight detection unit 43 detects the direction of the line of sight from the user's image based on the position of the pupil in the eye, and calculates the position of the gaze point on the display device.

コントローラ５は、マルチコプター６を遠隔操作するための無線信号を送信する送信機である。図２においては、コントローラ５内にも機能ブロックを示している。コントローラ５は、操作入力部５１と、通信Ｉ／Ｆ５２とを備える。操作入力部５１は、例えばマルチコプター６に対して指示する、前進、後退、上昇、下降、左右への水平移動、左右への水平回転といった動作の種類、及び動作速度の入力を、制御装置２から受けるためのインターフェースである。なお、水平移動は、マルチコプター６が向いている方向を変えず、当該方向を基準としてマルチコプター６を左右に移動させる動作である。また、水平回転は、マルチコプター６の位置を変えず、鉛直方向の回転軸を中心にマルチコプター６が向いている方向を変更する動作である。すなわち、マルチコプター６は、上面視における左
方向又は右方向に、その場で水平に回転する。本実施形態では、これらの動作の種類が一部に制限されていてもよく、速度は一定としてもよい。また、通信Ｉ／Ｆ５２は、例えばアンテナを含み、マルチコプター６に対し、所定の動作を指示するための無線信号を送信したり、マルチコプター６が撮像する映像を制御装置２へ中継したりする。 The controller 5 is a transmitter that transmits radio signals for remotely controlling the multicopter 6 . In FIG. 2, functional blocks are also shown within the controller 5 . The controller 5 includes an operation input section 51 and a communication I/F 52 . The operation input unit 51 inputs, for example, the type of operation such as forward movement, backward movement, ascending, descending, horizontal movement to the left and right, horizontal rotation to the left and right, and the movement speed to the multicopter 6. It is an interface for receiving from Note that the horizontal movement is an operation of moving the multicopter 6 left and right with respect to the direction in which the multicopter 6 faces without changing the direction. Further, the horizontal rotation is an operation of changing the direction in which the multicopter 6 faces about the vertical rotation axis without changing the position of the multicopter 6 . That is, the multicopter 6 rotates horizontally on the spot to the left or right when viewed from above. In this embodiment, the types of these operations may be partially restricted, and the speed may be constant. Also, the communication I/F 52 includes, for example, an antenna, and transmits a radio signal for instructing a predetermined operation to the multicopter 6, and relays an image captured by the multicopter 6 to the control device 2. .

マルチコプター６は、複数の回転翼を有する回転翼機である。図２においては、マルチコプター６内にも機能ブロックを示している。マルチコプター６は、通信Ｉ／Ｆ６１と、ロータ６２と、センサ６３と、撮像装置６４と、制御部６５とを備える。通信Ｉ／Ｆ６１は、コントローラ５からの無線信号を受信する通信モジュールや、撮像装置６４が出力する画像データを制御装置２等に送信する通信モジュールを含む。ロータ６２は、サーボモータにより制御される回転翼であり、複数備えられる。センサ６３は、ジャイロセンサや、ＧＰＳ（Global Positioning System）受信機等であり、マルチコプター６の制御を支
援するための情報を取得する。撮像装置６４は、例えばデジタルビデオカメラであり、撮像素子によって可視光を画像データに変換し、継続的に出力する。制御部６５は、通信Ｉ／Ｆ６１を介してコントローラ５から飛行動作等の指示を示す信号を受け、ロータ６２の回転を制御する。このとき、センサ６３が出力する情報を用いて飛行を安定させるようにしてもよい。 The multicopter 6 is a rotorcraft having a plurality of rotor blades. In FIG. 2, functional blocks are also shown within the multicopter 6 . The multicopter 6 includes a communication I/F 61 , a rotor 62 , a sensor 63 , an imaging device 64 and a control section 65 . The communication I/F 61 includes a communication module for receiving wireless signals from the controller 5 and a communication module for transmitting image data output by the imaging device 64 to the control device 2 and the like. The rotor 62 is a rotary blade controlled by a servomotor, and a plurality of rotors 62 are provided. The sensor 63 is a gyro sensor, a GPS (Global Positioning System) receiver, or the like, and acquires information for supporting control of the multicopter 6 . The imaging device 64 is, for example, a digital video camera, which converts visible light into image data with an imaging element and continuously outputs the image data. The control unit 65 receives a signal indicating an instruction such as a flight operation from the controller 5 via the communication I/F 61 and controls the rotation of the rotor 62 . At this time, the information output by the sensor 63 may be used to stabilize the flight.

＜遠隔操作処理＞
図３は、遠隔操作システムが行う前処理の一例を示す処理フロー図である。本システムは、起動時に図３に示すような処理を行う。各装置が起動すると、例えば視線検出装置のキャリブレーションが行われる（図３：Ｓ１）。本ステップでは、ユーザの視線を適切に検出できるよう較正される。また、マルチコプター６とコントローラ５とは、所定の無線通信方式による接続を確立する（Ｓ２）。また、視線検出装置４と制御装置２とは、所定の無線又は有線による通信方式で接続を確立する（Ｓ３）。また、コントローラ５と制御装置２との間でも、所定の無線又は有線による通信方式で接続を確立する（Ｓ４）。なお、Ｓ１～Ｓ４の処理を行う順序はいずれであってもよく、並列に実行するようにしてもよい。 <Remote operation processing>
FIG. 3 is a processing flow diagram showing an example of preprocessing performed by the remote control system. The system performs processing as shown in FIG. 3 when it is started. When each device is activated, for example, the line-of-sight detection device is calibrated (FIG. 3: S1). This step is calibrated to properly detect the user's line of sight. Also, the multicopter 6 and the controller 5 establish a connection by a predetermined wireless communication method (S2). Also, the line-of-sight detection device 4 and the control device 2 establish a connection by a predetermined wireless or wired communication method (S3). Also, a connection is established between the controller 5 and the control device 2 by a predetermined wireless or wired communication method (S4). It should be noted that the processing of S1 to S4 may be performed in any order, and may be performed in parallel.

図４は、マルチコプターが行う処理の一例を示す処理フロー図である。マルチコプター６の撮像装置６４は、マルチコプター６の前方の映像を撮像する（図４：Ｓ１１）。その後、マルチコプター６は、通信Ｉ／Ｆ６１を介して映像をコントローラ５に送信する（Ｓ１２）。また、マルチコプター６は、通信Ｉ／Ｆ６１を介してコントローラ５から操作信号を受信する（Ｓ１３）。そして、マルチコプター６の制御部６５が、操作信号に応じてロータ６２の回転を制御することにより、マルチコプター６は、前進、上昇、下降、左右の水平回転、ホバリング等の動作を行う。また、マルチコプター６の制御部６５は、動作を継続するか判断する（Ｓ１５）。本ステップでは、例えばユーザから動作終了の指令を受けた場合、バッテリー残量が所定の基準よりも低下したことを検知した場合、コントローラからの制御信号が所定時間以上受信できない場合、強風や機体の損傷を検知した場合、機体の異常な傾きを検知した場合、例えば障害物センサが全方位に障害物を検知し、機体の進路がないと判断された場合等に、動作を終了すると判断する。動作を終了する場合は、その場で又はコントローラ５の近傍に戻り、着陸後に動作を停止するようにしてもよい。動作を継続する場合（Ｓ１５：ＹＥＳ）は、Ｓ１１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ１５：ＮＯ）は、処理を終了する。 FIG. 4 is a processing flow diagram showing an example of processing performed by the multicopter. The imaging device 64 of the multicopter 6 captures an image in front of the multicopter 6 (Fig. 4: S11). After that, the multicopter 6 transmits the image to the controller 5 via the communication I/F 61 (S12). Also, the multicopter 6 receives an operation signal from the controller 5 via the communication I/F 61 (S13). The control unit 65 of the multicopter 6 controls the rotation of the rotor 62 according to the operation signal, so that the multicopter 6 moves forward, ascends, descends, rotates left and right horizontally, hovers, and the like. Also, the control unit 65 of the multicopter 6 determines whether to continue the operation (S15). In this step, for example, when a command to end the operation is received from the user, when it is detected that the remaining battery level is lower than a predetermined standard, when a control signal from the controller cannot be received for a predetermined time or longer, strong wind or the aircraft When damage is detected, when an abnormal inclination of the aircraft is detected, for example, when obstacle sensors detect obstacles in all directions and it is determined that there is no course for the aircraft, it is determined to end the operation. When ending the operation, the robot may return to the spot or near the controller 5 and stop the operation after landing. If the operation is to be continued (S15: YES), return to S11 and repeat the process. On the other hand, if the operation is not to be continued (S15: NO), the process is terminated.

図５は、コントローラが行う処理の一例を示す処理フロー図である。コントローラ５は、通信Ｉ／Ｆ５２を介してマルチコプター６から映像信号を受信する（図５：Ｓ２１）。その後、コントローラ５は、通信Ｉ／Ｆ５２を介して表示装置３に映像信号を送信する（Ｓ２２）。すなわち、コントローラ５は、マルチコプター６と表示装置３との間で、映像信号を中継する。また、コントローラ５の操作入力部５１は、制御装置２の信号出力制御
部２４２から、マルチコプター６の操作を指示するためのデータを受信する（Ｓ２３）。そして、コントローラ５は、通信Ｉ／Ｆ５２を介してマルチコプター６へ操作を指示する信号を送信する（Ｓ２４）。また、コントローラ５は、動作を継続するか判断する（Ｓ２６）。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合（Ｓ２５：ＹＥＳ）は、Ｓ２１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ２５：ＮＯ）は、処理を終了する。 FIG. 5 is a processing flow diagram showing an example of processing performed by the controller. The controller 5 receives the video signal from the multicopter 6 via the communication I/F 52 (FIG. 5: S21). After that, the controller 5 transmits a video signal to the display device 3 via the communication I/F 52 (S22). That is, the controller 5 relays video signals between the multicopter 6 and the display device 3 . Further, the operation input unit 51 of the controller 5 receives data for instructing the operation of the multicopter 6 from the signal output control unit 242 of the control device 2 (S23). Then, the controller 5 transmits a signal instructing an operation to the multicopter 6 via the communication I/F 52 (S24). Also, the controller 5 determines whether to continue the operation (S26). In this step, it is determined to end the operation, for example, when an instruction to end the operation is received from the user. If the operation is to be continued (S25: YES), the process returns to S21 and repeats the process. On the other hand, if the operation is not to be continued (S25: NO), the process is terminated.

図６は、表示装置が行う処理の一例を示す処理フロー図である。表示装置３は、通信Ｉ／Ｆ３１を介してコントローラ５から映像信号を受信する（図６：Ｓ３１）。その後、表示装置３の表示部３２は、映像を表示する（Ｓ３２）。また、表示部３２は、動作を継続するか判断する（Ｓ３３）。例えば、ユーザから動作終了の指令を受けた場合、所定時間以上、映像信号を受信しない場合等に、動作を終了すると判断する。動作を継続する場合（Ｓ３３：ＹＥＳ）は、Ｓ３１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ３３：ＮＯ）は、処理を終了する。 FIG. 6 is a processing flow diagram showing an example of processing performed by the display device. The display device 3 receives the video signal from the controller 5 via the communication I/F 31 (FIG. 6: S31). After that, the display unit 32 of the display device 3 displays the image (S32). Also, the display unit 32 determines whether to continue the operation (S33). For example, when an instruction to end the operation is received from the user, or when no video signal is received for a predetermined time or longer, it is determined that the operation is to be finished. If the operation is to be continued (S33: YES), the process returns to S31 and repeats the process. On the other hand, if the operation is not to be continued (S33: NO), the process is terminated.

図７は、視線検出装置が行う処理の一例を示す処理フロー図である。視線検出装置４が表示装置３に設置された状態において、赤外線送受信部４２は、表示装置３の前方に赤外線を送信すると共にその反射光を受信する（図７：Ｓ４１）。その後、視線検出装置４の視線検出部４３は、反射光からユーザの視線を検出できたか判断する（Ｓ４２）。本ステップでは、視線検出装置４の視線検出部４３は、例えばユーザの画像から目における瞳孔の位置を特定し、特定できた場合は視線を検出できたと判断する。視線を検出できた場合（Ｓ４２：ＹＥＳ）は、視線検出部４３は、例えば瞳孔の位置に基づいて注視点を算出する（Ｓ４３）。本ステップでは、既存の視線検出技術を利用することができ、例えば目頭や角膜における赤外線の反射光等、何らかの基準に対する瞳孔の位置に基づいて、視線の向いている位置を算出する。注視点は、例えば、表示装置３上又は表示装置３に表示される画像上における座標として求めるものとする。また、視線検出部４３は、通信Ｉ／Ｆ４１を介して、注視点の位置を示す情報（注視点データ）を制御装置２へ送信する（Ｓ４４）。Ｓ４４の後、又はＳ４２において視線を検出できなかった場合（Ｓ４２：ＮＯ）、視線検出装置４は、動作を継続するか判断する（Ｓ４５）。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合（Ｓ４５：ＹＥＳ）、Ｓ４１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ４５：ＮＯ）は、処理を終了する。 FIG. 7 is a processing flow diagram showing an example of processing performed by the line-of-sight detection device. With the line-of-sight detection device 4 installed on the display device 3, the infrared transmitting/receiving unit 42 transmits infrared rays to the front of the display device 3 and receives the reflected light (FIG. 7: S41). After that, the line-of-sight detection unit 43 of the line-of-sight detection device 4 determines whether or not the user's line of sight has been detected from the reflected light (S42). In this step, the line-of-sight detection unit 43 of the line-of-sight detection device 4 identifies, for example, the position of the pupil in the user's eye from the image of the user, and determines that the line of sight has been detected if the position is identified. If the line of sight can be detected (S42: YES), the line of sight detection unit 43 calculates the gaze point based on, for example, the position of the pupil (S43). In this step, existing sight line detection technology can be used, and the position of the line of sight is calculated based on the position of the pupil with respect to some reference, such as infrared light reflected from the inner corner of the eye or the cornea. The gaze point is obtained as coordinates on the display device 3 or an image displayed on the display device 3, for example. The line-of-sight detection unit 43 also transmits information (point-of-regard data) indicating the position of the point-of-regard to the control device 2 via the communication I/F 41 (S44). After S44, or if the line of sight could not be detected in S42 (S42: NO), the line of sight detection device 4 determines whether to continue the operation (S45). In this step, it is determined to end the operation, for example, when an instruction to end the operation is received from the user. If the operation is to be continued (S45: YES), the process returns to S41 to repeat the process. On the other hand, if the operation is not to be continued (S45: NO), the process is terminated.

図８は、制御装置が行う処理の一例を示す処理フロー図である。制御装置２の操作検出部２４１は、表示装置３の表示部３２上又は表示部３２に表示される画像上におけるユーザの注視点の位置を示す情報を、視線検出装置４から取得する（図８：Ｓ５１）。また、操作検出部２４１は、取得した注視点の位置を示す情報が、表示装置３の表示部３２上における所定の範囲内に含まれるか判断する（Ｓ５２）。本実施形態では、表示部３２上における注視点の位置に応じて、マルチコプター６に対し飛行動作を指示する。すなわち、表示部３２上（換言すれば、マルチコプター６の一人称視点画像上）に、ユーザが注視することでマルチコプター６を操作するための操作領域が設けられている。 FIG. 8 is a processing flow diagram showing an example of processing performed by the control device. The operation detection unit 241 of the control device 2 acquires information indicating the position of the gaze point of the user on the display unit 32 of the display device 3 or on the image displayed on the display unit 32 from the line-of-sight detection device 4 (FIG. 8). : S51). Further, the operation detection unit 241 determines whether the acquired information indicating the position of the gaze point is within a predetermined range on the display unit 32 of the display device 3 (S52). In this embodiment, the multicopter 6 is instructed to fly according to the position of the gaze point on the display section 32 . That is, an operation area for operating the multicopter 6 by the user's gaze is provided on the display unit 32 (in other words, on the first-person viewpoint image of the multicopter 6).

図９は、表示装置上に設定される操作領域の割り当ての一例を示す図である。図９の例では、表示装置３の表示部３２上に、マルチコプター６に対し、直進、上昇、下降、左方向への水平回転、及び右方向への水平回転の各動作を指示するための操作領域が割り当てられている。表示部３２のほぼ中央に配置された円形の領域３２１は、マルチコプター６をその場で静止（「ホバリング」又は「待機」とも呼ぶ）させるための待機領域（ニュートラル領域とも呼ぶ）である。待機領域３２１の内部であって、待機領域３２１の中央から所定の距離だけ離間した位置に配置された円形の領域３２２は、マルチコプター６に対して前進を指示するための前進領域３２２である。図９の例では、前進領域３２２は、待
機領域３２１の中央よりも下方に設けられている。また、待機領域３２１の外側であって、待機領域３２１の左側に配置された領域３２３は、マルチコプター６に対して左方向への水平回転を指示するための左回転領域である。図９の例では、正円である待機領域３２１の左側に接する接線を境界として、当該接線の左側に左回転領域３２３が設けられている。また、待機領域３２１の外側であって、待機領域３２１の右側に配置された領域３２４は、マルチコプター６に対して右方向への水平回転を指示するための右回転領域である。図９の例では、待機領域３２１の右側に接する接線を境界として、当該接線の右側に右回転領域３２４が設けられている。また、待機領域３２１の外側であって、待機領域３２１の上方に配置された領域３２５は、マルチコプター６対して上昇を指示するための上昇領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の上部の縁とで囲まれるように、上昇領域３２５が設けられている。また、待機領域３２１の外側であって、待機領域３２１の下方に配置された領域３２６は、マルチコプター６対して下降を指示するための下降領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の下部の縁とで囲まれるように、下降領域３２６が設けられている。なお、操作領域の境界は、例えば制御装置２が表示装置３に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置３の表示部３２に重ねて貼付してもよい。 FIG. 9 is a diagram showing an example of allocation of operation areas set on the display device. In the example of FIG. 9, on the display unit 32 of the display device 3, there are commands for instructing the multicopter 6 to go straight, ascend, descend, horizontally rotate to the left, and horizontally rotate to the right. Operation area is assigned. A circular area 321 arranged substantially in the center of the display unit 32 is a standby area (also called a neutral area) for keeping the multicopter 6 stationary (also called "hovering" or "standby") on the spot. A circular area 322 located inside the standby area 321 and at a predetermined distance from the center of the standby area 321 is an advance area 322 for instructing the multicopter 6 to advance. In the example of FIG. 9 , the advance area 322 is provided below the center of the standby area 321 . An area 323 located outside the standby area 321 and on the left side of the standby area 321 is a left rotation area for instructing the multicopter 6 to horizontally rotate leftward. In the example of FIG. 9, a left rotation area 323 is provided on the left side of the tangent line that is in contact with the left side of the standby area 321 that is a perfect circle. An area 324 located outside the standby area 321 and on the right side of the standby area 321 is a right rotation area for instructing the multicopter 6 to horizontally rotate to the right. In the example of FIG. 9, a right rotation area 324 is provided on the right side of a tangent line that is in contact with the right side of the standby area 321 as a boundary. An area 325 located outside the standby area 321 and above the standby area 321 is an ascending area for instructing the multicopter 6 to ascend. In the example of FIG. 9, a raised area 325 is provided so as to be surrounded by the standby area 321, a tangent line in contact with the left side of the standby area 321, a tangent line in contact with the right side of the standby area 321, and an upper edge of the display section 32. It is An area 326 located outside the standby area 321 and below the standby area 321 is a descending area for instructing the multicopter 6 to descend. In the example of FIG. 9, a descending area 326 is provided so as to be surrounded by the standby area 321, a tangent line in contact with the left side of the standby area 321, a tangent line in contact with the right side of the standby area 321, and the lower edge of the display section 32. It is The boundary of the operation area may be superimposed on the image displayed on the display device 3 by the control device 2, for example, or the boundary of the operation area may be displayed on a transparent sheet, panel, or the like. It may be pasted over the display section 32 of the display device 3 .

したがって、図８のＳ５１において取得したユーザの注視点が、前進領域３２２、左回転領域３２３、右回転領域３２４、上昇領域３２５、若しくは下降領域３２６、又は待機領域３２１に含まれる場合、Ｓ５２において、操作検出部２４１は、ユーザの注視点が所定の範囲内に存在すると判断する。なお、注視点が表示部３２の外である場合は、Ｓ５２において注視点が所定の範囲内に存在しないと判断される。このとき、マルチコプター６が飛行している状態であれば、その場でホバリングさせる、コントローラ５の近傍まで戻って着陸及び待機させる、又はその場で着陸及び待機させるよう、例えばマルチコプター６の制御部６５が自律的に制御するようにしてもよい。 Therefore, when the user's gaze point acquired in S51 of FIG. 8 is included in the forward movement area 322, the left rotation area 323, the right rotation area 324, the rising area 325, the falling area 326, or the standby area 321, in S52, The operation detection unit 241 determines that the gaze point of the user exists within a predetermined range. If the gaze point is outside the display unit 32, it is determined in S52 that the gaze point is not within the predetermined range. At this time, if the multicopter 6 is flying, for example, the multicopter 6 is controlled to hover on the spot, return to the vicinity of the controller 5 and land and wait, or land and wait on the spot. You may make it the part 65 control autonomously.

ユーザの注視点が所定の範囲内に存在すると判断された場合（Ｓ５２：ＹＥＳ）、制御装置２の信号出力制御部２４２は、注視点の位置に応じて、コントローラ５に対し制御信号の送信を指示するための操作信号を生成する（Ｓ５３）。また、信号出力制御部２４２は、生成した操作信号をコントローラ５に対し出力する（Ｓ５４）。すなわち、ユーザの注視点が前進領域３２２内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を前進させるための信号を送信させる。また、ユーザの注視点が左回転領域３２３内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を左方向へ水平回転させるための信号を送信させる。また、ユーザの注視点が右回転領域３２４内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を右方向へ水平回転させるための信号を送信させる。また、ユーザの注視点が上昇領域３２５内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を鉛直上方へ移動させるための信号を送信させる。また、ユーザの注視点が下降領域３２６内に存在する場合、信号出力制御部２４２は、通信Ｉ／Ｆ２１を介してコントローラ５に、マルチコプター６を鉛直下方へ移動させるための信号を送信させる。 When it is determined that the point of gaze of the user exists within the predetermined range (S52: YES), the signal output control section 242 of the control device 2 instructs the controller 5 to transmit a control signal according to the position of the point of gaze. An operation signal for instructing is generated (S53). Further, the signal output control section 242 outputs the generated operation signal to the controller 5 (S54). That is, when the user's gaze point exists within the forward movement area 322, the signal output control section 242 causes the controller 5 to transmit a signal for moving the multicopter 6 forward via the communication I/F 21. FIG. Further, when the user's gaze point exists within the left rotation area 323, the signal output control unit 242 transmits a signal for horizontally rotating the multicopter 6 to the left to the controller 5 via the communication I/F 21. Let Further, when the user's gaze point is within the right rotation area 324, the signal output control unit 242 transmits a signal for horizontally rotating the multicopter 6 to the right to the controller 5 via the communication I/F 21. Let Also, when the user's gaze point is within the rising region 325, the signal output control unit 242 causes the controller 5 to transmit a signal for moving the multicopter 6 vertically upward via the communication I/F 21. Also, when the user's gaze point exists within the descending region 326, the signal output control unit 242 causes the controller 5 to transmit a signal for moving the multicopter 6 vertically downward via the communication I/F 21.

Ｓ５４の後、又はＳ５２においてユーザの注視点が所定の範囲内に存在しないと判断された場合（Ｓ５２：ＮＯ）、制御装置２は、動作を継続するか判断する（Ｓ５５）。本ステップでは、例えばユーザから動作終了の指令を受けた場合に、動作を終了すると判断する。なお、表示部３２の操作領域に動作の終了を指示するための領域をさらに設け、ユーザが当該領域を所定時間以上見ることで動作を終了すると判断してもよい。また、制御装
置２が動作を終了する前に、マルチコプター６を着陸させるものとする。動作を継続する場合（Ｓ５５：ＹＥＳ）、Ｓ５１に戻って処理を繰り返す。一方、動作を継続しない場合（Ｓ５５：ＮＯ）は、処理を終了する。 After S54, or when it is determined in S52 that the point of gaze of the user does not exist within the predetermined range (S52: NO), the control device 2 determines whether to continue the operation (S55). In this step, for example, when an instruction to end the operation is received from the user, it is determined to end the operation. An area for instructing the end of the action may be further provided in the operation area of the display unit 32, and it may be determined that the action is finished when the user looks at the area for a predetermined time or longer. It is also assumed that the multicopter 6 is to land before the control device 2 finishes its operation. If the operation is to be continued (S55: YES), the process returns to S51 and repeats the process. On the other hand, if the operation is not to be continued (S55: NO), the process is terminated.

以上のような遠隔操作処理によれば、ユーザは、例えば、表示部３２に表示されるマルチコプター６の一人称視点画像の中央付近（すなわち、待機領域３２１の中央付近）に視線の先を定めることで、マルチコプター６を静止させ、一人称視点画像の全体を認識することができる。すなわち、ユーザは表示部３２の中央付近を注視した状態において、表示部３２の全体を視野に収め得るようになっている。また、一人称視点画像の端又は外にユーザの興味の対象が存在する場合、ユーザは興味の対象が存在する方向に視線の先を移すことにより、興味の対象が存在する方向にマルチコプター６の向き及び位置を変えるよう遠隔操作することができる。 According to the above-described remote control processing, the user can set the line of sight near the center of the first-person viewpoint image of the multicopter 6 displayed on the display unit 32 (that is, near the center of the standby area 321), for example. , the multicopter 6 is made stationary, and the entire first-person viewpoint image can be recognized. In other words, the user can see the entire display section 32 in his or her field of vision while gazing at the vicinity of the center of the display section 32 . Further, when the object of interest of the user exists at the edge or outside of the first-person viewpoint image, the user moves the line of sight toward the direction of the object of interest, and the multicopter 6 moves in the direction of the object of interest. It can be remotely operated to change its orientation and position.

図１０～図１２は、マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。例えば、図１０に示すように、表示部３２に表示された一人称視点画像の右上に、ユーザがマルチコプター６を近づけたいと考える目標７が存在する場合、ユーザは表示部３２の右上に位置する目標７を注視する。このとき、操作検出部２４１は、右回転領域３２４内に注視点を検出する。その後、信号出力制御部２４２は、コントローラ５を介して、マルチコプター６へ右側への水平回転を指示する信号を出力する。マルチコプター６が右側へ水平回転すると、例えば図１１に示すように、上述した目標７は表示部３２に表示される一人称視点画像において左に移動する。そして、目標７が上昇領域３２５に移動すると、これに応じてユーザの注視点も例えば上昇領域３２５内に移動する。すると、操作検出部２４１は、上昇領域３２５内に注視点を検出する。その後、信号出力制御部２４２は、コントローラ５を介して、マルチコプター６へ上昇を指示する信号を出力する。そして、マルチコプター６が鉛直上方へ移動すると、例えば図１２に示すように、上述した目標７は表示部３２に表示される一人称視点画像において下方に移動する。目標７が待機領域３２１に移動すると、これに応じてユーザの注視点も例えば待機領域３２１内に移動する。すると、操作検出部２４１は、待機領域３２１内にユーザの注視点を検出する。この場合は、信号出力制御部２４２はマルチコプター６に動作を指示せず、その場でホバリングさせる。また、ユーザは、マルチコプター６を目標７に近づけたい場合は、前進領域３２２を注視することで、操作検出部２４１に注視点を検出させ、信号出力制御部２４２にコントローラ５へ前進を指示するための信号を出力させることができる。 10 to 12 are diagrams showing examples of first-person viewpoint images of a multicopter for explaining the operation of the multicopter. For example, as shown in FIG. 10, when the target 7 to which the user wants the multicopter 6 to approach is present in the upper right of the first-person viewpoint image displayed on the display unit 32, the user is positioned at the upper right of the display unit 32. Focus on Goal 7. At this time, the operation detection unit 241 detects the gaze point within the right rotation area 324 . After that, the signal output control section 242 outputs a signal instructing horizontal rotation to the right to the multicopter 6 via the controller 5 . When the multicopter 6 horizontally rotates to the right, the target 7 described above moves to the left in the first-person viewpoint image displayed on the display unit 32, as shown in FIG. 11, for example. Then, when the target 7 moves into the rising region 325, the user's gaze point also moves into the rising region 325 accordingly. Then, the operation detection unit 241 detects the gaze point within the rising area 325 . After that, the signal output control section 242 outputs a signal instructing the multicopter 6 to ascend via the controller 5 . When the multicopter 6 moves vertically upward, the target 7 described above moves downward in the first-person viewpoint image displayed on the display unit 32, as shown in FIG. 12, for example. When the target 7 moves to the waiting area 321, the user's gaze point also moves into the waiting area 321 accordingly. Then, the operation detection unit 241 detects the gaze point of the user within the standby area 321 . In this case, the signal output control unit 242 does not instruct the multicopter 6 to operate, and causes it to hover on the spot. Also, when the user wants to bring the multicopter 6 closer to the target 7, the user gazes at the forward movement area 322 to cause the operation detection section 241 to detect the point of gaze, and the signal output control section 242 instructs the controller 5 to advance. can output a signal for

以上のように、本実施形態に係る操作領域の配置、及び各領域に対するマルチコプター６への動作指示との対応付けによれば、ユーザは直感的にマルチコプター６を遠隔操作することができる。また、水平方向の移動のうち前進のみに限定することで、マルチコプター６の一人称画像からユーザが危険を認識し難い後退及び左右の平行移動を制限し、事故の発生を抑えることができる。 As described above, according to the arrangement of the operation areas and the association of operation instructions to the multicopter 6 with each area according to the present embodiment, the user can remotely operate the multicopter 6 intuitively. In addition, by limiting the horizontal movement to only forward movement, it is possible to limit backward movement and left-right parallel movement, which are difficult for the user to perceive danger from the first-person image of the multicopter 6, and to suppress the occurrence of accidents.

＜操作領域＞
図１３及び図１４は、表示装置上に設定される操作領域の位置及び大きさを説明するための図である。本実施形態においては、人間の視野及び眼球運動に基づいて操作領域を設定している。図１３は、ユーザの視点（眼球）と、表示部３２上の注視点との関係を示している。一般的に、物体の形状等を高い解像力で人間が識別するためには、視角が１～２度程度の網膜中心部位に網膜像を映じるような中心視による必要がある。本実施形態では、操作領域（例えば前進領域３２２）の大きさを、少なくとも中心視によって捉えられる範囲程度の大きさとする。 <Operation area>
13 and 14 are diagrams for explaining the position and size of the operation area set on the display device. In this embodiment, the operation area is set based on the human visual field and eye movement. FIG. 13 shows the relationship between the user's viewpoint (eyeball) and the gaze point on the display unit 32 . In general, in order for a human to recognize the shape of an object with high resolution, it is necessary to use central vision such that a retinal image is projected at the center of the retina with a visual angle of about 1 to 2 degrees. In this embodiment, the size of the operation area (for example, the forward movement area 322) is at least about the size of the range that can be captured by central vision.

また、人間が中心視で対象物を捉え続ける（固視する）場合、マイクロサッケード（固
視微動）という眼球運動が生じる。マイクロサッケードは、視線の振幅が１～２度程度の非随意的に生じる運動である。また、ばらつきはあるが、平均速度は１０度／秒程度、頻度は１～３Ｈｚ程度である。視線検出装置４が、マイクロサッケードによる視線の変化を検出できるような場合、操作領域の配置又は大きさによっては、マイクロサッケードの影響でユーザは意識せずに誤操作を起こすおそれがある。そこで、本実施形態では、マイクロサッケードによってもユーザが注視している領域を外れないような配置及び大きさで、操作領域を設定する。 In addition, when a human keeps (fixes) an object with central vision, an eye movement called a microsaccade occurs. Microsaccades are involuntary movements of the order of magnitude of 1-2 degrees of gaze. Although there are variations, the average speed is about 10 degrees/second and the frequency is about 1 to 3 Hz. If the line-of-sight detection device 4 can detect changes in the line-of-sight due to microsaccades, the user may unknowingly make an erroneous operation due to the influence of the microsaccades, depending on the layout or size of the operation area. Therefore, in the present embodiment, the operation area is set with an arrangement and size that does not deviate from the area where the user is gazing even with a microsaccade.

図１３に示す円形の前進領域３２２の半径ｒは、眼球から注視点までの距離をｌ、眼球及び注視点を結ぶ直線と、眼球及び表示部３２に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとすると、以下の式（１）で求められる。すなわち、ｒは、中心視可能な範囲の半径である。また、θは、マイクロサッケードにより視線が動く角度でもある。
ｒ＝ｌｔａｎθ ・・・（１）
例えば、ｌは５５０ｍｍとし、θを２度とすると、ｒは１９．２ｍｍである。 The radius r of the circular advance region 322 shown in FIG. is the angle .theta. That is, r is the radius of the centrally visible range. θ is also the angle at which the line of sight moves due to the microsaccade.
r=l tan θ (1)
For example, if l is 550 mm and θ is 2 degrees, r is 19.2 mm.

また、図１４は、図９に示した操作領域と、上述した半径ｒとの関係を示す図である。前進領域３２２は、待機領域３２１の中央から所定の距離以上離間して配置されている。例えば、ユーザが待機領域３２１の中央に注視点を固定した場合に、検出される注視点がマイクロサッケードの影響により前進領域３２２内に入らないように、前進領域３２２は、待機領域３２１の中央に対し半径ｒの円内に入らないように配置する。すなわち、前進領域３２２は、待機領域３２１の中央を中心として中心視可能な範囲の外に設けられる。したがって、待機領域３２１の中心と前進領域３２２の中心との距離は、２ｒ以上離間させる。換言すれば、待機領域３２１の中心と前進領域３２２との距離は、ｒ以上である。図１４の例では、待機領域３２１の中心と前進領域３２２の中心との距離を３ｒとしている。また、前進領域３２２と下降領域３２６との距離も、例えばマイクロサッケードの影響により相互に境界を超えて注視点の移動が検出されないよう、待機領域３２１を挟んで長さｒ以上、離間させている。 FIG. 14 is a diagram showing the relationship between the operation area shown in FIG. 9 and the radius r described above. The advance area 322 is arranged apart from the center of the standby area 321 by a predetermined distance or more. For example, when the user fixes the point of gaze at the center of the standby area 321, the forward area 322 is positioned at the center of the standby area 321 so that the detected point of gaze does not enter the forward area 322 due to the influence of microsaccades. On the other hand, it is arranged so as not to enter the circle of radius r. In other words, the forward movement area 322 is provided outside the centrally visible range centering on the center of the standby area 321 . Therefore, the distance between the center of the standby area 321 and the center of the forward area 322 is set to 2r or more. In other words, the distance between the center of the standby area 321 and the advance area 322 is r or more. In the example of FIG. 14, the distance between the center of the standby area 321 and the center of the forward area 322 is 3r. In addition, the distance between the forward region 322 and the descending region 326 is also separated by a length r or more with the standby region 321 interposed therebetween so that the movement of the gaze point beyond the boundary is not detected due to the influence of microsaccades, for example. .

以上のような操作領域の配置であれば、マイクロサッケードの影響による無意識的な誤操作（換言すれば、視線検出装置４による誤検出）を抑制することができる。 With the arrangement of the operation regions as described above, unconscious erroneous operations (in other words, erroneous detection by the line-of-sight detection device 4) due to the influence of microsaccades can be suppressed.

＜実施例＞
ユーザと表示装置３の表示部３２との距離ｌを５５０ｍｍ、前進領域３２２の半径ｒを１９．２ｍｍ、待機領域３２１の半径５ｒを９６．０ｍｍとして、上述の実施の形態に示す操作領域を設定した。また、被験者は、２０歳代の成人１２名であり、本システムを初めて使用する者である。本システムを用いて被験者にマルチコプターを遠隔操作させた結果、１２名中、１名は、１回目の飛行でマルチコプターを墜落させたが、２回目の飛行では墜落させることなく所定の区間を飛行させることができた。また、他の１１名はマルチコプターを墜落させることなく所定の区間を飛行させることができた。 <Example>
Setting the distance l between the user and the display unit 32 of the display device 3 to 550 mm, the radius r of the advance region 322 to 19.2 mm, and the radius 5r of the standby region 321 to 96.0 mm, the operation regions shown in the above embodiments are set. did. The subjects were 12 adults in their twenties who were using the system for the first time. As a result of having the subject remotely operate the multicopter using this system, one of the 12 people crashed the multicopter in the first flight, but in the second flight, the predetermined section was completed without crashing. was able to fly. In addition, other 11 people were able to fly the specified section without crashing the multicopter.

＜操作領域の変形例＞
図１５は、操作領域の配置の変形例を示す図である。本変形例においては、待機領域３２１及び前進領域３２２の形状を楕円とする。この形状は、両眼視における人間の視野に近づけたものであり、表示装置３の表示部３２の横方向に長軸をとり、縦方向に短軸をとっている。また、単軸と長軸との比率も例えば視野に合わせる等して適宜決定することができる。 <Modified example of operation area>
FIG. 15 is a diagram showing a modification of the layout of the operation regions. In this modification, the shapes of the standby area 321 and the advance area 322 are ellipses. This shape approximates the human visual field in binocular vision, and the long axis is in the horizontal direction of the display unit 32 of the display device 3 and the short axis is in the vertical direction. Also, the ratio between the single axis and the long axis can be determined as appropriate, for example, by adjusting to the field of view.

本変形例においても、マイクロサッケードの影響により、操作領域の境界を超えて注視点の移動が検出されないように操作領域の位置、大きさ及び形状を設定することが望まし
い。例えば、前進領域３２２の短軸の長さｒは、上述した中心視可能な範囲の半径又はマイクロサッケードによる視線の振幅であるθと、眼球から注視点までの距離ｌを用いて求められる値としてもよい。ただし、このように大きさを定める場合、表示部３２の大きさによっては操作領域をバランスよく配置できないこともある。そこで、待機領域３２１の中心と前進領域３２２の中心との距離を３ｒでなく２ｒとしてもよいし、特に前進領域３２２の下端から待機領域の下端までの距離をｒ以下にしてもよい。また、このように定められる待機領域３２１及び前進領域３２２全体を縮小するようにしてもよい。 Also in this modification, it is desirable to set the position, size, and shape of the operation area so that the movement of the gaze point beyond the boundary of the operation area is not detected due to the influence of microsaccades. For example, the length r of the minor axis of the advancing region 322 is a value obtained using θ, which is the radius of the central vision range or the amplitude of the line of sight due to the microsaccade, and the distance l from the eyeball to the point of gaze. good too. However, when the size is determined in this way, depending on the size of the display unit 32, it may not be possible to arrange the operation areas in a well-balanced manner. Therefore, the distance between the center of the waiting area 321 and the center of the advancing area 322 may be set to 2r instead of 3r, and in particular, the distance from the lower end of the advancing area 322 to the lower end of the waiting area may be set to r or less. Also, the standby area 321 and the advance area 322 defined in this way may be reduced as a whole.

このような変形例に係る操作領域によっても、マイクロサッケードの影響による無意識的な誤操作を抑制することができる。 An operation area according to such a modified example can also suppress unconscious erroneous operations due to the influence of microsaccades.

＜その他＞
本システムにより遠隔操作される制御対象の移動物体は、マルチコプターには限定されない。例えば、ドローン（無人航空機）、ヘリコプター、飛行船、多脚ロボット、又は車輪若しくはクローラ等で走行するロボット等を制御対象としてもよい。制御対象が地上を移動する装置である場合は、上昇領域及び下降領域を設けなくてもよいし、上昇領域及び下降領域に代えて、他の動作を指示するための領域を割り当てるようにしてもよい。また、制御対象の装置は、無線で制御されるものには限定されず、有線で給電等されるものであってもよい。また、制御対象の装置は、ロボットハンド等のエンドエフェクタや、マイク、スピーカ、その他の装置をさらに備えるようにしてもよい。これらの装置についても視線で操作できるようにしてもよいし、コントローラを用いてユーザが手で操作できるようにしてもよい。また、装置等の物体の移動を制御するだけでなく、遠隔地にあるコンピュータや家電製品、工場の機械、医療機器等の操作に用いるようにしてもよい。なお、上述したシステムによれば遠隔操作を行うことができるため、無線操縦可能な装置の操作に好適であり、特に上昇及び下降が可能な無人飛行物体の操作に適している。 <Others>
A moving object to be remotely controlled by this system is not limited to a multicopter. For example, drones (unmanned aerial vehicles), helicopters, airships, multi-legged robots, or robots that run on wheels or crawlers may be controlled. If the object to be controlled is a device that moves on the ground, it is not necessary to provide the ascending area and descending area, or instead of the ascending area and descending area, an area for instructing other operations may be assigned. good. In addition, the device to be controlled is not limited to one that is wirelessly controlled, and may be one that receives power through a wire. Also, the device to be controlled may further include an end effector such as a robot hand, a microphone, a speaker, and other devices. These devices may also be operated by sight, or may be operated manually by the user using a controller. In addition to controlling the movement of objects such as devices, it may be used to operate remote computers, home electric appliances, factory machines, medical equipment, and the like. Since the system described above can be operated remotely, it is suitable for operating a device that can be controlled wirelessly, and is particularly suitable for operating an unmanned flying object capable of ascending and descending.

また、操作領域の位置、大きさ、形状、分割数は、図９等に示した例には限定されない。待機領域３２１の上側に接する接線を境界として、当該接線の上側に上昇領域３２５を設け、待機領域３２１の下側に接する接線を境界として、当該接線の下側に下降領域３２６を設けるようにしてもよい。この場合は、例えば、待機領域３２１と、待機領域３２１の上側に接する接線と、待機領域３２１の下側に接する接線と、表示部３２の左側の縁とで囲まれるように、左回転領域３２３を設け、待機領域３２１と、待機領域３２１の上側に接する接線と、待機領域３２１の下側に接する接線と、表示部３２の右側の縁とで囲まれるように、右回転領域３２４を設ける。また、左回転領域３２３と上昇領域３２５との境界、上昇領域３２５と右回転領域３２４との境界、右回転領域３２４と下降領域３２６との境界、下降領域３２６と左回転領域３２３との境界は、それぞれ待機領域３２１の接線には限定されない。例えば、これらの境界を、表示部３２の中央から外側へ放射状に引かれる線によって定めるようにしてもよい。 Further, the position, size, shape, and number of divisions of the operation area are not limited to the examples shown in FIG. 9 and the like. With a tangent line in contact with the upper side of the standby area 321 as a boundary, a rising area 325 is provided above the tangent line, and with a tangent line in contact with the lower side of the standby area 321 as a boundary, a descending area 326 is provided below the tangent line. good too. In this case, for example, the left rotation area 323 is surrounded by the standby area 321 , a tangent line in contact with the upper side of the standby area 321 , a tangent line in contact with the lower side of the standby area 321 , and the left edge of the display unit 32 . is provided, and a right rotation area 324 is provided so as to be surrounded by the standby area 321 , a tangent line in contact with the upper side of the standby area 321 , a tangent line in contact with the lower side of the standby area 321 , and the right edge of the display unit 32 . The boundary between the counterclockwise rotation region 323 and the ascending region 325, the boundary between the ascending region 325 and the clockwise rotation region 324, the boundary between the clockwise rotation region 324 and the descending region 326, and the boundary between the descending region 326 and the counterclockwise rotation region 323 are , respectively, are not limited to the tangent lines of the waiting area 321 . For example, these boundaries may be defined by lines drawn radially outward from the center of the display section 32 .

待機領域３２１や前進領域３２２の形状は、真円又は楕円には限定されず、多角形等であってもよい。また、操作領域の分割数を増やし、離着陸や動作速度の変更、その他の動作を視線の動きによって制御できるようにしてもよい。また、実施形態又は変形例に示した操作領域において、例えば、左方向の水平回転、右方向の水平回転、上昇、下降については、各操作領域において表示部３２の中心からの距離が離れるほど、又は表示部３２の左右・上下の縁に近づくほど、動作速度を大きくしてもよい。 The shape of the standby area 321 and the advance area 322 is not limited to a perfect circle or an ellipse, and may be polygonal or the like. Also, the number of divisions of the operation area may be increased so that take-off and landing, change of motion speed, and other motions can be controlled by the movement of the line of sight. Further, in the operation areas shown in the embodiment or modification, for example, leftward horizontal rotation, rightward horizontal rotation, upward movement, and downward movement are performed as the distance from the center of the display unit 32 increases in each operation area. Alternatively, the operation speed may be increased as it approaches the left, right, top, and bottom edges of the display unit 32 .

また、表示装置３とユーザとの距離ｌも、上述した例には限定されない。また、表示装置３とユーザとの距離を既存の測距センサ等で測定し、距離の変化に応じて操作領域の大きさを変更してもよい。 Also, the distance l between the display device 3 and the user is not limited to the example described above. Alternatively, the distance between the display device 3 and the user may be measured by an existing distance measuring sensor or the like, and the size of the operation area may be changed according to the change in distance.

また、待機領域３２１の外側であって、待機領域３２１の右側に配置された領域３２４は、マルチコプター６に対して右方向への水平回転を指示するための右回転領域である。図９の例では、待機領域３２１の右側に接する接線を境界として、当該接線の右側に右回転領域３２４が設けられている。また、待機領域３２１の外側であって、待機領域３２１の上方に配置された領域３２５は、マルチコプター６対して上昇を指示するための上昇領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の上部の縁とで囲まれるように、上昇領域３２５が設けられている。また、待機領域３２１の外側であって、待機領域３２１の下方に配置された領域３２６は、マルチコプター６対して下降を指示するための下降領域である。図９の例では、待機領域３２１と、待機領域３２１の左側に接する接線と、待機領域３２１の右側に接する接線と、表示部３２の下部の縁とで囲まれるように、下降領域３２６が設けられている。なお、操作領域の境界は、例えば制御装置２が表示装置３に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置３の表示部３２に重ねて貼付してもよい。 An area 324 located outside the standby area 321 and on the right side of the standby area 321 is a right rotation area for instructing the multicopter 6 to horizontally rotate to the right. In the example of FIG. 9, a right rotation area 324 is provided on the right side of a tangent line that is in contact with the right side of the standby area 321 as a boundary. An area 325 located outside the standby area 321 and above the standby area 321 is an ascending area for instructing the multicopter 6 to ascend. In the example of FIG. 9, a raised area 325 is provided so as to be surrounded by the standby area 321, a tangent line in contact with the left side of the standby area 321, a tangent line in contact with the right side of the standby area 321, and an upper edge of the display section 32. It is An area 326 located outside the standby area 321 and below the standby area 321 is a descending area for instructing the multicopter 6 to descend. In the example of FIG. 9, a descending area 326 is provided so as to be surrounded by the standby area 321, a tangent line in contact with the left side of the standby area 321, a tangent line in contact with the right side of the standby area 321, and the lower edge of the display section 32. It is The boundary of the operation area may be superimposed on the image displayed on the display device 3 by the control device 2, for example, or the boundary of the operation area may be displayed on a transparent sheet, panel, or the like. It may be pasted over the display section 32 of the display device 3 .

図２に示した装置構成は一例であり、同様の処理部を複数の装置が分担して備えるようにしてもよい。例えばコントローラ５に代えて、制御装置２が撮像装置６４の映像を中継してもよい。また、マルチコプター６の撮像装置６４と連携して動作するＦＰＶ（First Person View）システムが、制御装置２とは別に設けられるようにしてもよい。また、制
御装置２、表示装置３、視線検出装置４及びコントローラ５の全部又は一部が、一体の装置であってもよい。 The device configuration shown in FIG. 2 is an example, and a plurality of devices may share the same processing units. For example, instead of the controller 5 , the control device 2 may relay the image of the imaging device 64 . Also, an FPV (First Person View) system that operates in cooperation with the imaging device 64 of the multicopter 6 may be provided separately from the control device 2 . All or part of the control device 2, the display device 3, the line-of-sight detection device 4, and the controller 5 may be integrated.

また、視線検出装置４は、赤外線を利用してユーザの瞳孔の位置を検出するものには限定されない。例えば、可視光を撮像した画像を利用して光彩の位置を検出することにより、視線の向きを特定するものであってもよいし、所定の電位差を利用するユーザ接触型の方式であってもよい。 Moreover, the line-of-sight detection device 4 is not limited to one that detects the position of the user's pupil using infrared rays. For example, the direction of the line of sight may be specified by detecting the position of the iris using an image obtained by capturing visible light, or a user contact type method using a predetermined potential difference may be used. good.

なお、上述した構成は一例であり、本発明は例示した構成に限定されない。例えば、上述した事項は、本発明の課題や技術的思想を逸脱しない範囲で適宜組み合わせることができる。また、上述した処理のステップを、ソフトウェアによってコンピュータが実行する方法や、ＰＬＤ（Programmable Logic Device）等のハードウェアによって装置が実行す
る方法、コンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。コンピュータが読み取り可能な記録媒体とは、情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータによって読み取ることができる記録媒体をいう。このような記録媒体のうち、コンピュータから取り外し可能なものとしては、例えば光ディスク、光磁気ディスク、フレキシブルディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としてＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid
State Drive）、ＲＯＭ（Read Only Memory）等が挙げられる。 The configuration described above is an example, and the present invention is not limited to the illustrated configuration. For example, the matters described above can be appropriately combined without departing from the subject and technical idea of the present invention. Further, the steps of the processing described above may be implemented as a method executed by a computer using software, a method executed by a device using hardware such as a PLD (Programmable Logic Device), or a program executed by a computer. The program may be recorded on a computer-readable recording medium and provided. A computer-readable recording medium is a recording medium that can store information by electrical, magnetic, optical, mechanical, or chemical action and can be read by a computer. Examples of such recording media that can be removed from the computer include optical discs, magneto-optical discs, flexible discs, magnetic tapes, memory cards, and the like. In addition, HDDs (Hard Disk Drives) and SSDs (Solid Drives) are used as recording media fixed to computers.
State Drive), ROM (Read Only Memory), and the like.

１：遠隔操作システム
２：制御装置
２１：通信Ｉ／Ｆ
２２：記憶装置
２３：入出力装置
２４：プロセッサ
２４１：操作検出部
２４２：信号出力制御部
２５：バス
３：表示装置
３１：通信Ｉ／Ｆ
３２：表示部
３２１：待機領域
３２２：前進領域
３２３：左回転領域
３２４：右回転領域
３２５：上昇領域
３２６：下降領域
４：視線検出装置
４１：通信Ｉ／Ｆ
４２：赤外線送受信部
４３：視線検出部
５：コントローラ
５１：操作入力部
５２：通信Ｉ／Ｆ
６：マルチコプター
６１：通信Ｉ／Ｆ
６２：ロータ
６３：センサ
６４：撮像装置
６５：制御部 1: remote control system 2: control device 21: communication I/F
22: storage device 23: input/output device 24: processor 241: operation detection unit 242: signal output control unit 25: bus 3: display device 31: communication I/F
32: Display unit 321: Standby area 322: Advance area 323: Left rotation area 324: Right rotation area 325: Rising area 326: Falling area 4: Line of sight detection device 41: Communication I/F
42: Infrared transmission/reception unit 43: Line of sight detection unit 5: Controller 51: Operation input unit 52: Communication I/F
6: Multicopter 61: Communication I/F
62: rotor 63: sensor 64: imaging device 65: control unit

Claims

A control device for remotely controlling a moving object to be controlled while a user views an image captured by an imaging device provided in the moving object to be controlled,
from a line-of-sight detection device that detects a line of sight of the user facing a display device that displays an image picked up by the imaging device included in the moving object to be controlled, and that outputs the gaze point of the user on the image; an operation detection unit that acquires gaze point information and determines whether the gaze point indicated by the acquired information is included in a predetermined area;
a signal output control unit for transmitting a signal for controlling the moving object to be controlled, which is associated with the predetermined area when the point of gaze indicated by the information is included in the predetermined area;
with
The predetermined area has a standby area for waiting the moving object to be controlled in approximately the center of the image, and is inside the standby area and separated from the center of the standby area by a predetermined distance. A remote control device for a moving object, wherein the position includes an advance area for advancing the moving object to be controlled.

2. The remote control device for a moving object according to claim 1, wherein the boundary of said predetermined area is displayed as an image on said display device, or displayed on a sheet or panel superimposed on said display device.

The forward region is defined by a distance l from the eyeball to the point of gaze on the image, and a straight line connecting the eyeball and the point of gaze, and a line connecting the eyeball and the end of the central vision range on the image displayed on the display device. The radius r of the centrally visible range obtained when the angle with the straight line is θ is obtained by the following formula (1),
r=l tan θ (1)
3. The remote control device for a moving object according to claim 1, wherein the remote control device for a moving object is arranged in a range of length r in the vertical direction centered on a position 3r vertically downward from the center of the standby area.

4. The remote control device for a moving object according to claim 3, wherein the forward movement area is arranged at a position r in the upward direction from the lowermost end in the downward direction from the center of the standby area.

5. The remote control device for a moving object according to claim 3, wherein said θ is 1 to 2 degrees.

6. The remote control of the moving object according to any one of claims 1 to 5, wherein areas for horizontally rotating the moving object to be controlled to the left and right around a vertical rotation axis are provided on the left and right sides of the standby area. Control device.

the moving object to be controlled is an unmanned flying object;
The remote control device for a moving object according to any one of claims 1 to 6, further comprising areas for raising and lowering the unmanned flying object above and below the standby area.

The remote control device for a moving object according to claim 7, wherein the unmanned flying object is any one of a multicopter, a drone, a helicopter, and an airship.

A remote control device for a moving object according to any one of claims 1 to 7;
the line-of-sight detection device;
the moving object to be controlled;
a controller that transmits a signal for controlling the moving object to be controlled;
A remote control system with

A control method for remotely controlling a moving object to be controlled while a user views an image captured by an imaging device included in the moving object to be controlled,
from a line-of-sight detection device that detects a line of sight of the user facing a display device that displays an image picked up by the imaging device included in the moving object to be controlled, and that outputs the gaze point of the user on the image; a step of acquiring information about the gaze point and determining whether the gaze point indicated by the acquired information is included in a predetermined area;
if the point of gaze indicated by the information is included in the predetermined area, transmitting a signal for controlling the moving object to be controlled, which is associated with the area;
is executed by the remote controller and
The predetermined area has a standby area for waiting the moving object to be controlled in approximately the center of the image, and is inside the standby area and separated from the center of the standby area by a predetermined distance. A moving object remote control method, wherein the position includes an advancing area for advancing the moving object to be controlled.

A control program for remotely controlling a moving object to be controlled while a user views an image captured by an imaging device included in the moving object to be controlled,
from a line-of-sight detection device that detects a line of sight of the user facing a display device that displays an image picked up by the imaging device included in the moving object to be controlled, and that outputs the gaze point of the user on the image; a step of acquiring information about the gaze point and determining whether the gaze point indicated by the acquired information is included in a predetermined area;
if the point of gaze indicated by the information is included in the predetermined area, transmitting a signal for controlling the moving object to be controlled, which is associated with the area;
is executed by the remote control device,
The predetermined area has a standby area for waiting the moving object to be controlled in approximately the center of the image, and is inside the standby area and separated from the center of the standby area by a predetermined distance. A remote control program for a moving object, wherein the position includes an advance area for advancing the moving object to be controlled.