JP6699944B2

JP6699944B2 - Display system

Info

Publication number: JP6699944B2
Application number: JP2017061301A
Authority: JP
Inventors: 庸介深井; 明山中; 山中　　明
Original assignee: Toshiba Information Systems Japan Corp
Current assignee: Toshiba Information Systems Japan Corp
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2020-05-27
Anticipated expiration: 2037-03-27
Also published as: JP2018164223A

Description

この発明は、空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置の航行操作をより的確に容易にするための表示システムに関するものである。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display system for facilitating a navigation operation of an unmanned mobile device for work that navigates at least one of air, ground, water and water more accurately.

従来、ドローンで代表される無人移動装置は、物理的なスイッチ及びスティック等を有するリモートコントロール装置を用いて操作が行われている。この構成によれば、操作者は常に無人移動装置を目視して操作を行う必要があり、目視不能となると適切な操作を行うことができないという問題点がある。 Conventionally, an unmanned mobile device represented by a drone is operated using a remote control device having a physical switch, a stick, and the like. According to this configuration, the operator has to constantly view and operate the unmanned moving device, and if the operator cannot see the unmanned moving device, he/she cannot perform an appropriate operation.

また、この種の無人移動装置では、スマートフォンやタブレット端末等のスマートデバイスのソフトウエアにより実現される仮想コントローラを用いてスマートデバイスの画面に表示される無人移動装置のカメラによる映像を見ながら操作を行うように構成されているものもある。 In addition, in this type of unmanned mobile device, the virtual controller realized by the software of the smart device such as a smartphone or a tablet terminal is used to operate while watching the image of the camera of the unmanned mobile device displayed on the screen of the smart device. Some are configured to do so.

上記のようにスマートデバイスを用いるシステムによれば、無人移動装置を直接目視できない場合にも画面を見ながら操作が可能であるが、画面に表示される映像は二次元映像であるため、距離感を把み難いという問題がある。特に、無人移動装置に作業を行わせる場合には奥行きのない二次元映像では作業性が悪い。また、無人移動装置を用いた作業を行う場合に、無人移動装置の目線による映像以外に操縦・運転作業や点検保守の場合に計測・測定作業に関係する画像の表示が要望されている。 According to the system using the smart device as described above, it is possible to operate while watching the screen even when the unmanned mobile device cannot be directly viewed, but since the image displayed on the screen is a two-dimensional image, it is possible to sense the distance. There is a problem that it is difficult to grasp. In particular, when an unmanned mobile device is used to perform work, workability is poor with a two-dimensional image without depth. In addition, when performing work using an unmanned mobile device, it is desired to display an image related to measurement/measurement work in the case of maneuvering/driving work or inspection/maintenance, in addition to the image from the line of sight of the unmanned mobile device.

上記のような無人移動装置の操作を、メガネ型表示デバイスを用いて行う方法が特許文献１に開示されている。この特許文献１のものは、スクリーン上に表示される操縦シンボルの位置を指でタッチすることにより、更に、スクリーン上においてタッチ状態の指を移動し、所要の操縦コマンドをアクティブ化するというものである。 Patent Document 1 discloses a method of performing the operation of the unmanned mobile device as described above by using a glasses-type display device. In this patent document 1, by touching the position of the control symbol displayed on the screen with a finger, the finger in the touched state is further moved on the screen to activate a required control command. is there.

２０１１−１８９９２９号公報2011-189929 gazette

上記の特許文献１に開示された装置においても、画面に表示される映像は二次元映像であり、距離感を把み難い。また、無人移動装置に作業を行わせる場合には奥行きのない二次元映像では作業性が悪いという問題点は解決されない。更に、無人移動装置の目線による映像以外に作業に関係する画像を表示できることが望まれる点は、既に述べた通りである。 Even in the device disclosed in Patent Document 1 described above, the image displayed on the screen is a two-dimensional image, and it is difficult to grasp the sense of distance. Further, when an unmanned mobile device is used to perform work, the problem that workability is poor with a two-dimensional image without depth cannot be solved. Further, as described above, it is desired to be able to display an image related to the work in addition to the image from the line of sight of the unmanned mobile device.

本発明は上記のような従来装置の問題点を改善し、このようなシステムに対する要望に応えんとしてなされたもので、その目的は、無人移動装置に作業を行わせる場合に作業性の向上を図ることが可能な表示システムを提供することである。また、無人移動装置の目線による映像以外に作業に関係する画像を表示できる表示システムを提供することを他の目的とする。 The present invention has been made in order to improve the problems of the conventional device as described above and to meet the demand for such a system, and an object thereof is to improve workability when an unmanned mobile device is caused to perform work. An object of the present invention is to provide a display system that can be achieved. Another object of the present invention is to provide a display system capable of displaying an image related to a work in addition to a video image of the unmanned mobile device.

本発明に係る表示システムは、空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置に設けられたステレオカメラ及びこのステレオカメラにより撮像された映像データを送信する送信手段と、前記作業用無人移動装置に備えられ、対象物及び／または対象機器の点検保守を行うための各種センサを含んで構成される点検用機器部を備える点検保守作業部と、前記送信手段により送信された映像データを受信する受信手段と、前記作業用無人移動装置の作業に関する画像データを供給する画像供給手段と、映像データに基づく映像と画像データに基づく画像を表示するための表示手段と、前記受信手段により受信された映像データに基づくステレオ映像を前記表示手段に表示すると共に前記画像供給手段により供給された画像データに基づく画像を前記表示手段に表示する表示制御手段と、前記ステレオカメラのズーム、パーン、チルトを行うカメラ制御部と、前記カメラ制御部へ前記ステレオカメラのズーム、パーン、チルトの制御信号を送出するカメラ操作手段と、操作者の視線の変位情報を検出する視線検出手段と、前記視線検出手段により検出された変位量をパーンとチルトの制御信号として前記カメラ制御部へ送信するパーン・チルト制御信号送信手段と、作業用無人移動装置の作業に関する画像データの現データとなる点検保守作業を行うための点検保守作業マニュアル画像情報が備えられている外部記憶部と、外部記憶部から取り出した点検保守作業マニュアル画像情報、または、前記センサによるセンサ情報の表示画像情報を表示用画像データに変換処理する映像データ処理部と、を具備し、前記表示制御手段は、前記表示手段において現在表示している映像に代えて或いはその映像に重畳して、または画像データに基づく画像とステレオ映像との表示領域を分けて、点検保守作業マニュアル画像情報、前記点検用機器部のセンサ情報の表示画像情報の少なくとも１種を前記映像データ処理部による変換処理を得た表示用画像データに基づき前記表示手段に表示を行うことを特徴とする。
The display system according to the present invention includes a stereo camera provided in an unmanned mobile device for work that navigates at least one of air, ground, water, and water, and a transmission unit that transmits video data captured by the stereo camera, An inspection/maintenance work unit provided in the unmanned mobile device for work and provided with an inspection device unit including various sensors for performing inspection and maintenance of an object and/or an object device; Receiving means for receiving the image data, an image supplying means for supplying image data related to the work of the unmanned working machine, a display means for displaying an image based on the image data and an image based on the image data, Display control means for displaying on the display means a stereo image based on the video data received by the reception means and for displaying on the display means an image based on the image data supplied by the image supply means, and a zoom of the stereo camera. A camera control unit that performs panning and tilting, a camera operating unit that sends control signals for zooming, panning, and tilting of the stereo camera to the camera control unit, and a visual line detection unit that detects displacement information of the visual line of the operator. , A pan/tilt control signal transmitting means for transmitting the displacement amount detected by the line-of-sight detecting means to the camera control section as a pan/tilt control signal, and current data of image data related to the work of the work unmanned mobile device. For displaying the inspection/maintenance work manual image information for inspection/maintenance work and the inspection/maintenance work manual image information retrieved from the external storage unit, or the display image information of the sensor information by the sensor A video data processing unit for converting into image data, wherein the display control means replaces the video currently displayed on the display means, superimposes on the video, or an image based on the image data. The display area of the stereo image is divided, and at least one of the inspection and maintenance work manual image information and the display image information of the sensor information of the inspection device section is used as the display image data obtained by the conversion processing by the video data processing section. It is characterized in that the display is made on the basis of the display means.

本発明に係る表示システムでは、表示制御手段は、画像データに基づく画像をステレオ映像に代えて前記表示手段に表示することを特徴とする。 In the display system according to the present invention, the display control means displays the image based on the image data on the display means instead of the stereo image.

本発明に係る表示システムでは、前記作業用無人移動装置は、航行に必要な当該作業用無人移動装置の主に航行状態を示す情報を得るセンサ部を備え、前記画像供給手段は、このセンサ部により得られた情報に基づき航行状態を示す画像データを作成して供給することを特徴とする。 In the display system according to the present invention, the work unmanned mobile device includes a sensor unit that is necessary for navigation and mainly obtains information indicating a navigation state of the work unmanned mobile device, and the image supply unit includes the sensor unit. It is characterized in that image data showing a navigation state is created and supplied based on the information obtained by.

本発明に係る表示システムでは、操作者の身体における所定部位の動き情報を検出する身体部位動作検出手段と、前記身体部位動作検出手段により検出された動き情報をパーンとチルトとズームの制御信号として前記カメラ制御部へ送信するパーン・チルト・ズーム制御信号送信手段とを具備することを特徴とする。 In the display system according to the present invention, the body part motion detecting means for detecting motion information of a predetermined part of the operator's body, and the motion information detected by the body part motion detecting means are used as control signals for pan, tilt, and zoom. A pan/tilt/zoom control signal transmitting means for transmitting to the camera control section is provided.

本発明に係る表示システムでは、作業用無人移動装置には、外的環境を測定する環境測定部が備えられ、前記画像供給手段は、前記環境測定部により得られた測定値の画像データを供給することを特徴とする。 In the display system according to the present invention, the unmanned mobile device for work is provided with an environment measuring unit for measuring an external environment, and the image supply unit supplies the image data of the measurement value obtained by the environment measuring unit. It is characterized by doing.

本発明に係る表示システムでは、作業用無人移動装置には、ＧＰＳ機能部が備えられ、前記画像供給手段は、地図に前記ＧＰＳ機能部により得られた当該作業用無人移動装置の位置を表示した画像データを供給することを特徴とする。 In the display system according to the present invention, the work unmanned mobile device is provided with the GPS function unit, and the image supply unit displays the position of the work unmanned mobile device obtained by the GPS function unit on the map. It is characterized by supplying image data.

本発明に係る表示システムでは、前記表示手段の位置情報を得るＧＰＳ機能部が備えられ、前記画像供給手段は、地図に前記ＧＰＳ機能部により得られた前記表示手段の位置を表示した画像データを供給することを特徴とする。 In the display system according to the present invention, the GPS function unit for obtaining the position information of the display unit is provided, and the image supply unit displays the image data displaying the position of the display unit obtained by the GPS function unit on the map. It is characterized by supplying.

本発明に係る表示システムでは、音声入力手段と音声認識手段とを備え、前記表示制御手段は、音声認識手段が画像データの表示と消去の音声入力を検出した場合に、画像データに基づく画像の表示と消去を行うことを特徴とする。 In the display system according to the present invention, a voice input unit and a voice recognition unit are provided, and the display control unit displays an image based on the image data when the voice recognition unit detects a voice input for displaying and erasing the image data. It is characterized by displaying and erasing.

本発明に係る表示システムでは、表示手段は、透光性を有し、表示された映像或いは画像と共に、表示手段の前方を目視可能であることを特徴とする。 The display system according to the present invention is characterized in that the display means has a light-transmitting property, and the front of the display means can be visually observed together with the displayed video or image.

本発明に係る表示システムでは、表示手段は、眼鏡型或いはゴーグル型の機器における目視窓に設けられることを特徴とする。 The display system according to the present invention is characterized in that the display means is provided in a viewing window of an eyeglass-type or goggle-type device.

本発明によれば、映像データに基づくステレオ映像を表示手段に表示するように構成されているので、無人移動装置に作業を行わせる場合に作業性の向上を図ることが可能である。 According to the present invention, since the stereo image based on the image data is displayed on the display means, it is possible to improve the workability when the unmanned mobile device is to perform the work.

本発明によれば、作業用無人移動装置の作業に関する画像データに基づく画像を前記表示手段に表示するので、無人移動装置の目線による映像以外に作業に関係する画像を表示できるという利点がある。 According to the present invention, the image based on the image data related to the work of the unmanned mobile device for work is displayed on the display means, so that there is an advantage that an image related to the work can be displayed in addition to the image by the line of sight of the unmanned mobile device.

本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態を示す斜視図。1 is a perspective view showing a first embodiment of a display system using an unmanned work moving apparatus according to the present invention. 本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態を示すブロック図。FIG. 1 is a block diagram showing a first embodiment of a display system using an unmanned work moving apparatus according to the present invention. 本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態の動作を示すフローチャート。6 is a flowchart showing the operation of the first embodiment of the display system using the unmanned work moving apparatus according to the present invention. 本発明に係る作業用無人移動装置を用いる表示システムの第１の実施形態の動作を示すフローチャート。6 is a flowchart showing the operation of the first embodiment of the display system using the unmanned work moving apparatus according to the present invention. 本発明に係る作業用無人移動装置を用いる表示システムの第２の実施形態を示すブロック図。The block diagram which shows the 2nd Embodiment of the display system which uses the unmanned mobile device for work which concerns on this invention. 本発明に係る作業用無人移動装置を用いる表示システムの第２の実施形態の動作を示すフローチャート。The flowchart which shows operation|movement of 2nd Embodiment of the display system which uses the unmanned work apparatus for work which concerns on this invention. 本発明に係る作業用無人移動装置を用いる表示システムの第３の実施形態を示すブロック図。The block diagram which shows the 3rd Embodiment of the display system which uses the unmanned mobile device for work which concerns on this invention. 本発明に係る作業用無人移動装置を用いる表示システムの第４の実施形態を示すブロック図。The block diagram which shows the 4th Embodiment of the display system which uses the unmanned operation device for work which concerns on this invention.

以下添付図面を参照して本発明に係る作業用無人移動装置を用いる表示システムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付し、重複する説明を省略する。実施形態に係る表示システムは、図１と図２に示すように、作業用無人移動装置１００と表示装置２００により構成される。この表示装置２００に操縦制御装置３００を加えて作業用無人移動装置の操縦システムが構成される。 An embodiment of a display system using an unmanned work moving device according to the present invention will be described below with reference to the accompanying drawings. In each of the drawings, the same constituents are designated by the same reference numerals, and overlapping description will be omitted. As shown in FIGS. 1 and 2, the display system according to the embodiment includes an unmanned work moving apparatus 100 and a display apparatus 200. A steering control device 300 is added to the display device 200 to form a steering system for an unmanned work moving device.

作業用無人移動装置１００は、ここでは、空中を航行するドローンを示しているが、その他にも、空中を航行する無人航空機、水上を航行する船舶側の無人装置、水中を潜航する無人潜水艇、地上で作業を行うヒューマノイド、車両型のロボット等であっても良い。まとめると、空中、地上、水中、水上の少なくともいずれかを航行する作業用無人移動装置を許容する。作業用無人移動装置１００には、コンピュータにより構成される主制御部１０と、ステレオ映像の映像データを得るステレオカメラ２１及びカメラ制御部２１Ａと送受信手段である無線送受信部２２とが備えられている。ステレオカメラ２１がズーム、パーン、チルト機能を有するものであり、カメラ制御部２１Ａは、ステレオカメラ２１のズーム、パーン、チルトの動作制御を、操縦制御装置３００から送られる制御信号に基づき実行するものである。 Although the unmanned mobile device 100 for work here shows a drone that travels in the air, in addition to this, an unmanned aircraft that travels in the air, an unmanned device on the side of a ship that sails on water, and an unmanned submersible that dives underwater. It may be a humanoid working on the ground, a vehicle type robot, or the like. In summary, it allows unmanned working mobile devices to navigate in the air, above ground, underwater, or above water. The unmanned mobile device 100 for work includes a main control unit 10 configured by a computer, a stereo camera 21 that obtains image data of stereo images, a camera control unit 21A, and a wireless transmission/reception unit 22 that is a transmission/reception unit. .. The stereo camera 21 has zoom, pan, and tilt functions, and the camera control unit 21A executes zoom, pan, and tilt operation control of the stereo camera 21 based on a control signal sent from the operation control device 300. Is.

作業用無人移動装置１００には、作業用無人移動装置１００を航行するための航行動作部２０と、対象物や対象機器の点検保守を行うための各種センサやロボットアームなどにより構成される点検保守作業部３０が備えられている。 The unmanned mobile device 100 for work includes a navigation operation unit 20 for navigating the unmanned mobile device 100 for work, and inspection and maintenance including various sensors and robot arms for inspecting and maintaining an object and a target device. A working unit 30 is provided.

航行動作部２０には、プロペラや方向舵などにより航行運動機構部２３と、航行運動機構部２３を動かすための駆動部２４と、駆動部２４を制御するための駆動制御部２５、センサ部２６が備えられている。 The navigation motion unit 20 includes a navigation motion mechanism unit 23 by a propeller or a rudder, a drive unit 24 for moving the navigation motion mechanism unit 23, a drive control unit 25 for controlling the drive unit 24, and a sensor unit 26. It is equipped.

センサ部２６には、高度計、姿勢方位基準装置、速度計、旋回計、昇降計、燃料計（バッテリー残量計）など航行計器（航空計器）を含むものである。高度計は、作業用無人移動装置１００の高度を検出するものであり、姿勢方位基準装置は、いずれも三次元の、角度、角速度、加速度、磁気、ＧＰＳ機能付きのものでは、緯度経度高度を得ることができるものである。速度計は、速度を得るものであり、旋回計は、旋回率（機体の旋回の状態）と機体が横に滑っているのか否かについての情報を得るものである。また、昇降計は、昇降状態（１〜２メートル程度の僅かな高度変化）を検知するものである。このセンサ部２６により得られた情報は、作業用無人移動装置１００航行に必要な作業用無人移動装置１００の主に航行状態を示す情報であり、例えば主制御部１０の外部記憶部１３に備えられたプログラムによって、航空機のコックピットに備えられているモニタに表示されるいくつかの計器画像に変換されて無線送受信部２２から送信されるようにすると好適である。勿論、上記プログラムは主制御部４０が備えていても良い。 The sensor unit 26 includes a navigation instrument (aviation instrument) such as an altimeter, an attitude and azimuth reference device, a speedometer, a turn indicator, a lift gauge, and a fuel gauge (battery level gauge). The altimeter detects the altitude of the unmanned mobile device 100 for work, and the attitude/orientation reference device obtains the latitude/longitude altitude when the attitude/azimuth reference device has a three-dimensional angle, angular velocity, acceleration, magnetism, or GPS function. Is something that can be done. The speedometer obtains the speed, and the turning meter obtains information about the turning rate (state of turning of the airframe) and whether or not the airframe is sliding sideways. Further, the elevating meter detects an elevating state (a slight change in altitude of about 1 to 2 meters). The information obtained by the sensor unit 26 is information that mainly indicates the navigation state of the work unmanned mobile device 100 necessary for the work unmanned mobile device 100 to travel, and is provided in the external storage unit 13 of the main control unit 10, for example. It is preferable that the program is converted into some instrument images displayed on the monitor provided in the cockpit of the aircraft and transmitted from the wireless transmission/reception unit 22. Of course, the program may be provided in the main control unit 40.

点検保守作業部３０は、対象物や対象機器の不具合や状態を点検するための各種センサや幾つかの部品により構成される点検用機器部３１と、点検用機器部３１を動作させて点検データを得る点検制御部３２、対象機器のメンテナンスを行うロボットアームなどを含む保守用機器部３３、保守用機器部３３を動かす駆動部３４及び駆動部３４を制御する駆動制御部３５を備えている。点検保守作業部３０は、点検のみ或いは保守のみを行う構成として、点検用機器部３１と点検制御部３２のみによって構成されるものであっても良い。 The inspection/maintenance work unit 30 operates an inspection device unit 31 including various sensors and some parts for inspecting a defect or a state of an object or a target device, and an inspection data by operating the inspection device unit 31. An inspection control unit 32 for obtaining the target device, a maintenance device unit 33 including a robot arm for performing maintenance of the target device, a drive unit 34 for moving the maintenance device unit 33, and a drive control unit 35 for controlling the drive unit 34. The inspection/maintenance work unit 30 may be configured to include only the inspection device unit 31 and the inspection control unit 32 as a configuration for performing only inspection or maintenance.

各種センサとしては、ひび割れなどを検出するための超音波検査装置、熱（発熱）を検出するための赤外線センサ、放射線量を検出するセンサなど、ステレオカメラ２１によって映し出された映像によっては確認できない事象を検出するものが通常は用意されるが、映像によって確認できる事象を検出するセンサであっても良い。 As various sensors, an ultrasonic inspection device for detecting cracks, an infrared sensor for detecting heat (heat generation), a sensor for detecting radiation dose, and the like, which cannot be confirmed by the image projected by the stereo camera 21. A sensor for detecting an event that can be confirmed by an image may be used, though a sensor for detecting the is normally prepared.

主制御部１０には、プロセッサ機能を有する中央制御部１１、中央制御部１１が実行時に用いるデータやプログラムを格納する主記憶部１２、中央制御部１１が実行するためのプログラムや参照するデータが記憶されている外部記憶部１３、映像データの圧縮処理などを行う映像データ処理部１４が備えられている。 The main control unit 10 includes a central control unit 11 having a processor function, a main storage unit 12 that stores data and programs used by the central control unit 11 at the time of execution, programs to be executed by the central control unit 11, and reference data. An external storage unit 13 that is stored and a video data processing unit 14 that performs compression processing of video data and the like are provided.

表示装置２００には、主制御部４０と送受信手段である無線送受信部５１、表示部５０、音声入出力部６０が備えられている。音声入出力部６０は、音声入力である音声入力部６１及び音声出力手段である音声出力部６２により構成される。主制御部４０には、プロセッサ機能を有する中央制御部４１、中央制御部４１が実行時に用いるデータやプログラムを格納する主記憶部４２、中央制御部４１が実行するためのプログラムや参照するデータが記憶されている外部記憶部４３、映像データの伸長処理などを行う映像データ処理部４４、音声データの認識及び作成を行う音声データ処理部４５が備えられている。 The display device 200 includes a main control unit 40, a wireless transmission/reception unit 51 that is a transmission/reception unit, a display unit 50, and a voice input/output unit 60. The voice input/output unit 60 includes a voice input unit 61 that is a voice input and a voice output unit 62 that is a voice output unit. The main control unit 40 includes a central control unit 41 having a processor function, a main storage unit 42 that stores data and programs used by the central control unit 41 at the time of execution, a program to be executed by the central control unit 41, and reference data. An external storage unit 43 stored therein, a video data processing unit 44 for performing expansion processing of video data, and an audio data processing unit 45 for recognizing and creating audio data are provided.

本実施形態では、外部記憶部４３には、作業用無人移動装置の作業に関する画像データの現データとなる点検保守作業を行うための点検保守作業マニュアル画像情報が備えられている。中央制御部４１は、音声データ処理部４５が音声認識により音声入出力部６０から点検保守作業マニュアル画像が要求されると、これに応えて外部記憶部４３点検保守作業マニュアル画像情報を取り出し、映像データ処理部４４へ送って画像データに変換し、表示部５０へ供給する画像供給手段として機能する。 In the present embodiment, the external storage unit 43 is provided with inspection/maintenance work manual image information for performing inspection/maintenance work, which is the current data of the image data relating to the work of the unmanned work moving device. When the voice data processing unit 45 requests the inspection/maintenance work manual image from the voice input/output unit 60 by the voice data processing unit 45, the central control unit 41 extracts the inspection/maintenance work manual image information from the external storage unit 43 in response to the request. It functions as an image supply unit that sends the data to the data processing unit 44, converts it into image data, and supplies it to the display unit 50.

表示部５０には、映像データに基づく映像と画像データに基づく画像を表示するための表示手段としての画面部５２と、画面部５２に対して映像データに基づくステレオ映像の表示制御や画像データに基づく画像の表示制御を行うための表示制御手段である表示制御部５３が備えられている。 The display unit 50 has a screen unit 52 as a display unit for displaying a video based on the video data and an image based on the image data, and a display control of a stereo video based on the video data to the screen unit 52 and image data. A display control unit 53, which is a display control unit for performing display control of an image based on the image, is provided.

本実施形態の表示装置２００は、例えば図１に示されるように眼鏡型の機器であり、表示手段を構成する画面部５２が平面や曲面により構成される表示板５５に設けられる。つまり、表示手段である画面部５２は目視窓である表示板５５に設けられる。表示板５５の内側の画面部５２には、ステレオカメラ２１により撮像された映像と共に地図やセンサ部２６により得られて画像化された計器画面の画像或いは点検用機器部３１のセンサにより得られたデータの画像が表示される。なお、表示板５５は透光性を有し、表示された映像或いは画像と共に、表示手段を構成する画面部５２の前方を目視可能に構成しても良い。例えば、レンズ５５の画面部５２の領域の外側を介して前方を目視可能に構成することもできる。また、表示装置２００は、ゴーグル型の機器であっても良く、表示手段は、ゴーグル型の機器における目視窓に設けられる。 The display device 200 of the present embodiment is, for example, an eyeglass-type device as shown in FIG. 1, and the screen section 52 that constitutes the display means is provided on a display plate 55 that is configured by a flat surface or a curved surface. That is, the screen portion 52 which is a display means is provided on the display plate 55 which is a viewing window. On the screen portion 52 inside the display plate 55, an image of the instrument screen imaged by the map and the sensor portion 26 together with the image picked up by the stereo camera 21, or the sensor of the inspection device portion 31 is obtained. An image of the data is displayed. The display plate 55 may have a light-transmitting property so that the front side of the screen portion 52 constituting the display means can be visually observed together with the displayed image or image. For example, the front can be configured to be visible through the outside of the area of the screen portion 52 of the lens 55. Further, the display device 200 may be a goggle type device, and the display means is provided in a viewing window of the goggle type device.

操縦制御装置３００には、無線送信部３０１、操作棹などの手によって動かすことで前後左右及び上下へ進行を指示するための操作入力部３０２、操作入力部３０２の動きを操縦信号に変換して無線送信部３０１へ送り出す操縦信号生成部３０３が備えられている。また、操縦制御装置３００には、ステレオカメラ２１のズーム、パーン、チルトの動作制御を行うための制御信号を送信するための、図示しないカメラ操作キーが備えられている。 The operation control unit 300 includes a wireless transmission unit 301, an operation input unit 302 for instructing to move forward and backward, left and right, and up and down by moving with a hand such as an operation rod, and converts movements of the operation input unit 302 into operation signals. A control signal generation unit 303 for sending to the wireless transmission unit 301 is provided. The operation control device 300 is also provided with a camera operation key (not shown) for transmitting a control signal for controlling the zoom, pan, and tilt operations of the stereo camera 21.

以上のように構成されている表示システム及び操縦システムの動作を図３、図４のフローチャートにより説明する。操縦制御装置３００を用いて作業用無人移動装置１００を操縦する場合の動作は図３のフローチャートにより示されている。操作入力部３０２の操作により進行方向を指示し、カメラ操作キーによりカメラのズーム等の制御操作する（Ｓ１１）。操縦信号とカメラの制御信号が無線送信部３０１から作業用無人移動装置１００の無線送受信部２２へ送られる（Ｓ１２）。更に、無線送受信部２２から主制御部１０を介して航行動作部２０の駆動部２４へ操作信号が送られ、航行運動機構部２３が駆動部２４駆動されて所望の航行がなされ、また、カメラの制御信号が送られ、カメラ制御部２１Ａが動作されステレオカメラ２１のズーム等の制御がなされる（Ｓ１３）。 The operation of the display system and the control system configured as described above will be described with reference to the flowcharts of FIGS. 3 and 4. The operation of manipulating the unmanned work moving device 100 using the maneuvering control device 300 is shown in the flowchart of FIG. The direction of travel is instructed by operating the operation input unit 302, and a camera zoom key or the like is used to control the camera (S11). The control signal and the control signal of the camera are sent from the wireless transmission unit 301 to the wireless transmission/reception unit 22 of the unmanned mobile device 100 for work (S12). Further, an operation signal is sent from the wireless transmission/reception unit 22 to the drive unit 24 of the navigation operation unit 20 via the main control unit 10, the navigation motion mechanism unit 23 is driven by the drive unit 24, and desired navigation is performed. Is sent, the camera control unit 21A is operated, and the zoom of the stereo camera 21 is controlled (S13).

図４のフローチャートは、表示装置２００に対する表示動作を示すものである。ステレオカメラ２１による撮像により映像データを得て主制御部１０の映像データ処理部１４において左右映像データの一方と差分データとするなどの圧縮を行い、センサ部２６の情報に基づく計器画像や点検用機器部３１のセンサ情報を、無線送受信部２２から表示装置２００へ送信する（Ｓ２１）。 The flowchart of FIG. 4 shows a display operation for the display device 200. The image data is obtained by the image pickup by the stereo camera 21, and the image data processing unit 14 of the main control unit 10 performs compression such as difference data with one of the left and right image data to obtain a meter image and an inspection image based on the information of the sensor unit 26. The sensor information of the device section 31 is transmitted from the wireless transmission/reception section 22 to the display device 200 (S21).

表示装置２００では、無線送受信部５１が映像データを受け取り、主制御部４０の映像データ処理部４４において伸長を行い、表示制御部５３へ送り、画面部５２においてステレオ映像を表示する一方、送られてきたセンサ部２６の情報に基づく計器画像や点検用機器部３１のセンサ情報を保持する（Ｓ２２）。 In the display device 200, the wireless transmission/reception unit 51 receives the video data, the video data processing unit 44 of the main control unit 40 expands the video data, sends the video data to the display control unit 53, and displays the stereo video on the screen unit 52 while sending the video. The meter image based on the information of the received sensor unit 26 and the sensor information of the inspection device unit 31 are held (S22).

主制御部４０では、音声による指示入力があるかを検出しており（Ｓ２３）、指示入力があると音声データ処理部４５において音声認識により音声入出力部６０から、計器画像の表示要求がなされたか、点検保守作業マニュアル画像の要求がなされたか或いは点検用機器部３１のセンサ情報の表示要求がなされたかを認識し、これに応えて、要求に係る計器画像、外部記憶部４３から取り出した点検保守作業マニュアル画像情報、または、点検用機器部３１のセンサ情報の表示画像を、映像データ処理部４４へ送って表示用データに変換し、表示部５０の表示制御部５３へ供給する（Ｓ２４）。表示制御部５３は、画面部５２において現在表示している映像に代えて或いはその映像に重畳して、または画像データに基づく画像とステレオ映像との表示領域を分けて、計器画像、点検保守作業マニュアル画像、点検用機器部３１のセンサ情報の表示画像の少なくとも１種を表示する（Ｓ２５）。画像データに基づく画像とステレオ映像との表示領域を分けてとは、表示手段の一部に画像データに基づく画像を表示し、残りの領域にステレオ映像を表示することを意味する。 The main control unit 40 detects whether or not there is an instruction input by voice (S23), and when there is an instruction input, the voice data processing unit 45 makes a voice recognition request from the voice input/output unit 60 to display an instrument image. It is recognized whether the request for the inspection/maintenance work manual image has been made or the display request for the sensor information of the inspection device section 31 has been made, and in response to this, the requested instrument image, the inspection taken out from the external storage section 43. The maintenance work manual image information or the display image of the sensor information of the inspection device section 31 is sent to the video data processing section 44 to be converted into display data and supplied to the display control section 53 of the display section 50 (S24). .. The display control unit 53 replaces the image currently displayed on the screen unit 52, or superimposes on the image, or divides the display area of the image based on the image data and the stereo image, and displays the instrument image, the inspection and maintenance work. At least one of the manual image and the display image of the sensor information of the inspection device section 31 is displayed (S25). Separating the display area of the image based on the image data from the display area of the stereo image means displaying the image based on the image data on a part of the display means and displaying the stereo image on the remaining area.

上記の表示の場合に、表示の変更や重畳に関するアナウンスを音声データ処理部４５において音声データとして生成し、音声出力部６２へ送って表示するようにしても良い。点検保守作業マニュアル画像の表示終了の指示も音声入力部６１から行い、主制御部４０では、音声による表示終了指示入力があるかを検出しており（Ｓ２６）、画像の表示終了指示に応じてステレオ映像のみの表示へ戻る。 In the case of the above-mentioned display, an announcement regarding a display change or superimposition may be generated as voice data in the voice data processing unit 45, and may be sent to the voice output unit 62 for display. An instruction to end the display of the inspection and maintenance work manual image is also given from the voice input unit 61, and the main control unit 40 detects whether or not there is a display end instruction input by voice (S26), and in response to the image display end instruction. Return to the display of stereo images only.

以上のように本実施形態によれば、ステレオ映像を表示するので、遠近感のある映像によって作業対象や航行中の風景を見ることができ、効率的な作業や的確な操縦を行うことが可能である。また、ステレオカメラによる映像と共に、センサ部２６の情報に基づく計器画像や点検保守作業マニュアル画像更には点検用機器部３１のセンサ情報の表示画像を表示できるので、計器画像によってコックピットにおいて操縦しているような臨場感を得ることができ、マニュアル画像により作業内容を確認しながらステレオ映像で点検保守作業を誤りなく実行することが可能であり、点検用機器部３１のセンサ情報の表示画像によって数値でひび割れや発熱を想定しながらステレオカメラによる映像により確認を取ることが可能となる。以上のように本実施形態の表示システムは、作業用無人移動装置１００は、航行に必要な当該作業用無人移動装置１００の主に航行状態を示す情報を得るセンサ部２０６を備え、このセンサ部２０６により得られた情報に基づき航行状態を示す画像データを作成して供給する画像供給手段を備えている。また、画像供給手段は、点検用機器部３１のセンサにより得られた情報に基づき点検保守に必要な情報の画像データを作成して供給するものでもある。 As described above, according to the present embodiment, since stereoscopic images are displayed, it is possible to see the work target and the scenery during navigation with a perspective image, and it is possible to perform efficient work and appropriate maneuvering. Is. In addition to the image from the stereo camera, a meter image based on the information of the sensor unit 26, an inspection/maintenance work manual image, and a display image of the sensor information of the inspection device unit 31 can be displayed, so that the operator operates in the cockpit with the instrument image. It is possible to obtain a sense of realism, and it is possible to perform inspection and maintenance work without error with stereo images while confirming the work content with manual images, and numerical values are displayed with the display image of the sensor information of the inspection device unit 31. It is possible to check with a stereo camera image while assuming cracks and heat generation. As described above, in the display system according to the present embodiment, the work unmanned mobile device 100 includes the sensor unit 206 that obtains the information mainly showing the navigation state of the work unmanned mobile device 100 necessary for navigation, and this sensor unit An image supply means is provided for creating and supplying image data indicating a navigation state based on the information obtained by 206. The image supply means also creates and supplies image data of information necessary for inspection and maintenance based on the information obtained by the sensor of the inspection device section 31.

次に第２の実施形態に係る表示システムを図５に示し、これを説明する。この第２の実施形態では、第１の実施形態の作業用無人移動装置１００と表示装置２００に代えて、作業用無人移動装置１００Ａ、表示装置２００Ａが備えられる。作業用無人移動装置１００Ａには、外的環境を測定する環境測定部７０が備えられ、点検保守作業部３０は備えられない。環境測定部７０には、センサａ〜ｅが備えられ、高度、温度、気圧（水圧）、障害物までの距離、進行方位を得る。センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能により作業用無人移動装置１００Ａの現在位置の緯度経度を得る。これらの情報は、主制御部１０から無線送受信部２２を介して表示装置２００Ａへ送られる。 Next, a display system according to the second embodiment is shown in FIG. 5 and will be described. In the second embodiment, a work unmanned mobile device 100A and a display device 200A are provided in place of the work unmanned mobile device 100 and the display device 200 of the first embodiment. The unmanned mobile device 100A for work is provided with the environment measurement unit 70 for measuring the external environment, and is not provided with the inspection and maintenance work unit 30. The environment measuring unit 70 is provided with sensors a to e, and obtains altitude, temperature, atmospheric pressure (water pressure), distance to an obstacle, and traveling direction. The latitude and longitude of the current position of the unmanned mobile device 100A for work is obtained by the GPS function of the attitude and orientation reference device of the sensor unit 26. These pieces of information are sent from the main control unit 10 to the display device 200A via the wireless transmission/reception unit 22.

表示装置２００Ａには、ＧＰＳ機能部９０が備えられ、外部記憶部４３には、点検保守作業マニュアル画像情報に代えて地図情報が備えられている。ＧＰＳ機能部９０は、表示装置２００Ａの位置（操作者の位置）の緯度経度情報を取得する。本実施形態に係る表示システムは、作業用無人移動装置１００Ａと表示装置２００Ａと操縦制御装置３００により構成されて、図３と図４のフローチャートにより示した動作を行う他に、以下の動作を行うものである。 The display device 200A includes a GPS function unit 90, and the external storage unit 43 includes map information instead of the inspection and maintenance work manual image information. The GPS function unit 90 acquires the latitude/longitude information of the position of the display device 200A (the position of the operator). The display system according to the present embodiment includes an unmanned mobile device 100A for work, a display device 200A, and an operation control device 300, and performs the following operations in addition to the operations shown in the flowcharts of FIGS. 3 and 4. It is a thing.

主制御部４０は、センサの情報の表示要求があると、センサａ〜ｅの情報を表示制御部５３へ送って、現在表示されている映像に代えて或いは映像に重畳させて（または、画像データに基づく画像とステレオ映像との表示領域を分けて）センサの情報を画面部５２へ表示する。また、地図上で作業用無人移動装置１００Ａと操作者の現在位置表示が求められると、主制御部４０は、外部記憶部４３から地図情報を読み出し、この地図情報上に、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て作業用無人移動装置１００Ａの位置画像を付加し、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て操作者の位置画像を付加した画像データを作成し、表示制御部５３へ送って、対応する画像を現在表示されている映像に代えて或いは映像に重畳させて（または、画像データに基づく画像とステレオ映像との表示領域を分けて）表示する。 When there is a request to display the sensor information, the main control unit 40 sends the information of the sensors a to e to the display control unit 53 and replaces or superimposes on the image currently displayed (or the image). The information of the sensor is displayed on the screen unit 52 by dividing the display area of the image based on the data and the stereoscopic image. Further, when the working unmanned mobile device 100A and the current position display of the operator are requested on the map, the main control unit 40 reads the map information from the external storage unit 43, and the attitude of the sensor unit 26 is read on the map information. The longitude/latitude information is obtained from the GPS function of the azimuth reference device, the position image of the unmanned mobile device 100A for work is added, and the latitude/longitude information is obtained from the GPS function of the attitude azimuth reference device of the sensor unit 26 to determine the operator's position Image data to which an image is added is created and sent to the display control unit 53, and the corresponding image is replaced with or superposed on the image currently displayed (or the image based on the image data and the stereo image are combined). Display in separate display areas.

以上のように構成されている表示システム及び操縦システムの動作を説明する。操縦制御装置３００を用いて作業用無人移動装置１００Ａを操縦する場合の動作は、図３のフローチャートにより示されている。表示装置２００Ａに対する表示動作は、図６のフローチャートに示すようである。ステレオカメラ２１による撮像により映像データを得て主制御部１０の映像データ処理部１４において左右映像データの一方と差分データとするなどの圧縮を行い、無線送受信部２２から表示装置２００Ａへ送信する（Ｓ３１）。 The operation of the display system and the steering system configured as above will be described. The operation of manipulating the work unmanned mobile device 100A using the maneuvering control device 300 is shown in the flowchart of FIG. The display operation for the display device 200A is as shown in the flowchart of FIG. Video data is obtained by imaging with the stereo camera 21, compression is performed in the video data processing unit 14 of the main control unit 10 such as difference data with one of the left and right video data, and the data is transmitted from the wireless transmission/reception unit 22 to the display device 200A ( S31).

表示装置２００Ａでは、無線送受信部５１が映像データを受け取り、主制御部４０の映像データ処理部４４において伸長を行い、表示制御部５３へ送り、画面部５２においてステレオ映像を表示する（Ｓ３２）。主制御部４０では、音声による入力があるかを検出しており（Ｓ３３）、入力があるとセンサの情報の表示要求であるか地図の表示要求であるかを検出する（Ｓ３４）。 In the display device 200A, the wireless transmission/reception unit 51 receives the video data, the video data processing unit 44 of the main control unit 40 decompresses it, sends it to the display control unit 53, and displays the stereo video on the screen unit 52 (S32). The main control unit 40 detects whether there is a voice input (S33), and when there is an input, it detects whether it is a sensor information display request or a map display request (S34).

ステップＳ３４においてセンサの情報の表示要求であることを検出すると、センサａ〜ｅの情報を表示制御部５３へ送って、現在表示されている映像に代えて或いは映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けてセンサの情報を画面部５２へ表示する（Ｓ３５）。上記のステップＳ３５における表示を行うと、音声による表示終了指示入力があるかを検出しており（Ｓ３６）、画像の表示終了指示に応じてステレオ映像のみの表示へ戻る。 When it is detected in step S34 that the sensor information is requested to be displayed, the information of the sensors a to e is sent to the display control unit 53, and instead of the image currently displayed or superimposed on the image, or the image. The display area of the image based on the data and the display area of the stereo image are divided and the sensor information is displayed on the screen portion 52 (S35). When the display in step S35 is performed, it is detected whether or not there is a display end instruction input by voice (S36), and the display is returned to only the stereoscopic image in response to the image display end instruction.

ステップＳ３４において地図の表示要求であることを検出すると、外部記憶部４３から地図情報を読み出し、この地図情報上に、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て作業用無人移動装置１００Ａの位置画像を付加し、センサ部２６の姿勢方位基準装置が備えるＧＰＳ機能から経度緯度情報を得て操作者の位置画像を付加した画像データを作成し、表示制御部５３へ送って、対応する画像を現在表示されている映像に代えて或いは映像に重畳させて（または、画像データに基づく画像とステレオ映像との表示領域を分けて）表示する（Ｓ３８（画像供給手段））。 When it is detected in step S34 that it is a map display request, the map information is read from the external storage unit 43, and the latitude/longitude information is obtained from the GPS function provided in the attitude/orientation reference device of the sensor unit 26 on this map information. The position image of the unmanned mobile device 100A is added, and the latitude/longitude information is obtained from the GPS function of the attitude/orientation reference device of the sensor unit 26 to create image data with the position image of the operator added to the display control unit 53. Instead, the corresponding image is displayed instead of or superposed on the currently displayed video (or the display area of the image based on the image data and the stereo video is divided) (S38 (image supply means)). ).

上記のステップＳ３８における表示を行うと、音声による表示終了指示入力があるかを検出しており（Ｓ３９）、画像の表示終了指示に応じてステレオ映像のみの表示へ戻る（Ｓ３７）。 When the display in step S38 is performed, it is detected whether or not there is a display end instruction input by voice (S39), and the display is returned to only the stereoscopic image in response to the image display end instruction (S37).

以上のように本実施形態によれば、ステレオ映像を表示しているときに、ステレオ映像に代えて或いは映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けて外的環境の測定結果の画像を適宜表示でき、必要なデータを得ることができる。また、ステレオ映像を表示しているときに、ステレオ映像に代えて或いは映像に重畳させて、または、画像データに基づく画像とステレオ映像との表示領域を分けて作業用無人移動装置１００Ａの位置と操作者の位置を地図上に示した画像を適宜表示でき、作業用無人移動装置１００Ａの航行位置や操作者の位置を地図上において確認でき、作業用無人移動装置１００Ａの移動位置を認識しながら操縦することが可能で便利である。 As described above, according to the present embodiment, when a stereo image is displayed, instead of the stereo image or superimposed on the image, or the display area of the image based on the image data and the stereo image is divided. An image of the measurement result of the external environment can be appropriately displayed, and necessary data can be obtained. Further, when displaying a stereo image, instead of the stereo image, or superimposed on the image, or by dividing the display area of the image based on the image data and the stereo image, the position of the unmanned mobile device 100A for work is set. An image showing the position of the operator on the map can be appropriately displayed, and the navigation position of the unmanned working device 100A for work and the position of the operator can be confirmed on the map, while recognizing the moving position of the unmanned working device 100A for work. It is possible and convenient to operate.

次に、第３の実施形態に係る表示システムを図７に示し、これを説明する。この第３の実施形態に係る表示システムでは、第１の実施形態に係る表示システムの表示装置２００Ｂに、操作者の視線の変位情報を検出する視線検出手段８０を設けたものである。視線検出手段８０は、眼鏡型の機器やゴーグル型の機器である表示装置２００Ｂに設けたセンサにより構成される。このセンサは、例えば、表示装置２００Ｂを装着した操作者の顔や頭の動きの変位量を検出するモーションセンサにより構成することができる。或いは、このセンサは、表示装置２００Ｂを装着した操作者の目（眼球）の上下左右の動きの変位量を検出する眼球動作センサにより構成することができる。勿論、上述のモーションセンサと眼球動作センサの両方を備えても良い。上述のモーションセンサと眼球動作センサの両方を備えるばあいには、モーションセンサにより検出された信号により大きな変位量を得て視線の基本変位を求め、眼球動作センサにより検出された信号により得られる変位量により視線の基本変位に対し加える小変位を求めるようにすることができる。 Next, a display system according to the third embodiment is shown in FIG. 7 and will be described. In the display system according to the third embodiment, the display device 200B of the display system according to the first embodiment is provided with a line-of-sight detection unit 80 that detects displacement information of the line-of-sight of the operator. The line-of-sight detection unit 80 is configured by a sensor provided in the display device 200B, which is an eyeglass-type device or a goggle-type device. This sensor can be configured by, for example, a motion sensor that detects the displacement amount of the movement of the face or head of the operator wearing the display device 200B. Alternatively, this sensor can be configured by an eye movement sensor that detects a displacement amount of up, down, left, and right movements of an eye (eyeball) of an operator wearing the display device 200B. Of course, both the motion sensor and the eye movement sensor described above may be provided. When both the motion sensor and the eye movement sensor are provided, the displacement obtained by the signal detected by the eye movement sensor is obtained by obtaining a large displacement amount from the signal detected by the motion sensor to obtain the basic displacement of the line of sight. It is possible to obtain a small displacement to be added to the basic displacement of the line of sight by the amount.

上記視線検出手段８０により検出される上下左右の動きの変位量は、パーンの角度情報とチルトの角度情報に変換されてパーンとチルトの制御信号として表示装置２００Ｂの主制御部４０から無線送受信部５１から作業用移動装置１００無線の送受信部２２と主制御部１０を介してカメラ制御部２１Ａへ送られる（パーン・チルト制御信号送信手段）。カメラ制御部２１Ａは、この制御信号に基づき、ステレオカメラ２１のパーンとチルトの制御を行う。 The displacement amount of the vertical and horizontal movements detected by the line-of-sight detecting means 80 is converted into pan angle information and tilt angle information and used as a pan and tilt control signal from the main controller 40 of the display device 200B to the wireless transceiver. From 51, it is sent to the camera control section 21A via the wireless transmission/reception section 22 and the main control section 10 (pan/tilt control signal transmission means). The camera control unit 21A controls the pan and tilt of the stereo camera 21 based on this control signal.

以上の構成により、操作制御装置３００からステレオカメラ２１のパーンとチルトの制御操作を行うこと無しに、操作者の顔や頭の動き或いは目の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。 With the above configuration, the direction of the stereo camera 21 can be controlled by the movement of the face or head or the movement of the eyes of the operator without performing the pan and tilt control operation of the stereo camera 21 from the operation control device 300. The operability can be extremely improved.

この実施形態においては、操作制御装置３００と視線検出手段８０の両方からパーンとチルトの制御信号が出力された場合には、いずれか一方を優先させるか又は両方の中間の値により制御を行うなど適宜に構成することができる。勿論、ズームの制御操作は操作制御装置３００から行うことになる。 In this embodiment, when the control signals for the pan and tilt are output from both the operation control device 300 and the line-of-sight detecting means 80, one of them is prioritized, or control is performed with an intermediate value between them. It can be configured appropriately. Of course, the zoom control operation is performed from the operation control device 300.

上記第３の実施形態では、第１の実施形態に係る表示システムの表示装置２００に、視線検出手段８０を設けたが、第２の実施形態に係る表示システムの表示装置２００Ａに、上記と同じ視線検出手段８０を設けものとしても良い。この構成によっても、操作制御装置３００からステレオカメラ２１のパーンとチルトの制御操作を行うこと無しに、操作者の顔や頭の動き或いは目の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。 In the third embodiment described above, the line-of-sight detecting means 80 is provided in the display device 200 of the display system according to the first embodiment, but the same as above in the display device 200A of the display system according to the second embodiment. The line-of-sight detection means 80 may be provided. Also with this configuration, the direction of the stereo camera 21 can be controlled by the movement of the face or head or the movement of the eyes of the operator without performing the pan and tilt control operation of the stereo camera 21 from the operation control device 300. The operability can be extremely improved.

次に、第４の実施形態に係る表示システムを図８に示し、これを説明する。この第３の実施形態に係る表示システムでは、第１の実施形態に係る表示システムの表示装置２００Ｃに、操作者の身体における所定部位の動き情報を検出する身体部位動作検出手段８５を設けたものである。身体部位動作検出手段８５は、眼鏡型の機器やゴーグル型の機器である表示装置２００Ｃまたは身体所定部位に設けたセンサにより構成される。このセンサは、例えば、表示装置２００Ｃを装着した操作者の顔や頭の動きを検出するモーションセンサにより構成することができる。 Next, a display system according to the fourth embodiment is shown in FIG. 8 and will be described. In the display system according to the third embodiment, the display device 200C of the display system according to the first embodiment is provided with a body part motion detecting means 85 for detecting movement information of a predetermined part of the operator's body. Is. The body part motion detecting means 85 is configured by a display device 200C, which is an eyeglass-type device or goggle-type device, or a sensor provided in a predetermined body part. This sensor can be configured by, for example, a motion sensor that detects the movement of the face or head of the operator wearing the display device 200C.

身体所定部位としては、頭及びまたは首を挙げることができる。首（頭）を左または右に振ると、センサがこれを検知して、左または右への動き情報（動き量を含む）とし、首（頭）を上または下に動かすと、センサがこれを検知して、上または下への動き情報（動き量を含む）とする。更に首（頭）を前方へ動かす（前方へ突き出すような動きをする）とズームインを指示するための前方への動き情報（動き量を含む）とし、首を後方へ動かす（後方へ引き戻すような動きをする）とズームアウトを指示するための後方への動き情報（動き量を含む）とする。 The predetermined part of the body may include a head and/or a neck. When the head (head) is shaken to the left or right, the sensor detects this and uses it as movement information (including the amount of movement) to the left or right, and when the neck (head) is moved up or down, the sensor detects this. Is detected and used as upward or downward movement information (including the amount of movement). Further, if the neck (head) is moved forward (moves in such a way as to project forward), it is used as forward movement information (including the amount of movement) to instruct zoom-in, and the neck is moved backward (backward pulling back). Motion information) and backward motion information (including the amount of motion) for instructing zoom-out.

上記身体部位動作検出手段８５により検出される上下左右・前方後方の動きの情報は、パーンの方向及び角度情報とチルトの方向及び角度情報とズームイン及びズームアウトの情報に変換されてパーンとチルトとズームの制御信号として表示装置２００Ｃの主制御部４０から無線送受信部５１から作業用移動装置１００無線の送受信部２２と主制御部１０を介してカメラ制御部２１Ａへ送られる（パーン・チルト・ズーム制御信号送信手段）。カメラ制御部２１Ａは、この制御信号に基づき、ステレオカメラ２１のパーンとチルトとズームの制御を行う。 The information of the up/down/left/right/forward/backward movement detected by the body part movement detecting means 85 is converted into the direction and angle information of the pan, the direction and angle information of the tilt, and the information of the zoom-in and the zoom-out, and the pan and the tilt are detected. A zoom control signal is sent from the main control unit 40 of the display device 200C to the camera control unit 21A from the wireless transmission/reception unit 51 via the wireless transmission/reception unit 22 of the work moving apparatus 100 and the main control unit 10 (pan/tilt/zoom). Control signal transmitting means). The camera control unit 21A controls the pan, tilt, and zoom of the stereo camera 21 based on this control signal.

以上の構成により、操作制御装置３００からステレオカメラ２１のパーンとチルトとズームの制御操作を行うこと無しに、操作者の頭や首の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。 With the above configuration, the direction of the stereo camera 21 can be controlled by the movement of the operator's head or neck without performing the pan, tilt, and zoom control operations of the stereo camera 21 from the operation control device 300. The property can be extremely improved.

この実施形態においては、操作制御装置３００と身体部位動作検出手段８５の両方からパーンとチルトとズームの制御信号が出力された場合には、いずれか一方を優先させるか又は両方の中間の値により制御を行うなど適宜に構成することができる。 In this embodiment, when the pan, tilt, and zoom control signals are output from both the operation control device 300 and the body part motion detection means 85, either one of them is prioritized or an intermediate value between them is used. It can be configured appropriately such as performing control.

上記第４の実施形態では、第１の実施形態に係る表示システムの表示装置２００に、身体部位動作検出手段８５を設けたが、第２の実施形態に係る表示システムの表示装置２００Ａに、上記と同じ身体部位動作検出手段８５を設けものとしても良い。この構成によっても、操作制御装置３００からステレオカメラ２１のパーンとチルトとズームの制御操作を行うこと無しに、操作者の顔や頭の動き或いは目の動きによってステレオカメラ２１の方向を制御することができ、操作性を極めて向上させることができる。また、第３の実施形態と第４の実施形態の動作の両方を行うシステムとしてよい。この場合には、第３の実施形態と第４の実施形態の動作のいずれを行うか音声やスイッチで制御することができる。この第４の実施形態は、視線移動でカバーできない範囲を見ようとする場合、首（頭）を見たい方向に向けるという人の行動をサーポートするようにしたシステムである。 In the fourth embodiment, the body part motion detecting means 85 is provided in the display device 200 of the display system according to the first embodiment, but the body device motion detection means 85 is provided in the display device 200A of the display system according to the second embodiment. The same body part movement detecting means 85 may be provided. Even with this configuration, the direction of the stereo camera 21 can be controlled by the movement of the operator's face, head, or eyes without performing the pan, tilt, and zoom control operations of the stereo camera 21 from the operation control device 300. It is possible to improve the operability. Further, the system may perform both the operations of the third embodiment and the fourth embodiment. In this case, which of the operations of the third embodiment and the fourth embodiment is to be performed can be controlled by voice or a switch. The fourth embodiment is a system that supports a person's behavior of turning the neck (head) in the desired direction when trying to see a range that cannot be covered by the movement of the line of sight.

なお、上記４つの実施形態において、表示装置２００、２００Ａ、２００Ｂ、２００Ｃへのコマンド入力を音声認識によって行うものであるが、これに限定されない。例えば、メガネのフレームやゴーグルに表示切り換え用のスイッチを設けて、このスイッチを操作することによってコマンドの入力を行っても良い。また、表示装置２００、２００Ａ、２００Ｂ、２００Ｃを通常のパネルタイプのディスプレイとしても良く、このように構成した場合には、画面をタッチパネルとして所定の位置を操作することによっても良い。 In the above four embodiments, command input to the display devices 200, 200A, 200B, and 200C is performed by voice recognition, but the present invention is not limited to this. For example, a switch for switching the display may be provided on the frame or goggles of the glasses, and a command may be input by operating this switch. In addition, the display devices 200, 200A, 200B, and 200C may be normal panel type displays, and when configured in this manner, the screen may be a touch panel and a predetermined position may be operated.

１０主制御部１１中央制御部
１２主記憶部１３外部記憶部
１４映像データ処理部２０航行動作部
２１ステレオカメラ２２無線送受信部
２３航行運動機構部２４駆動部
２５駆動制御部３０点検保守作業部
３１点検用機器部３２点検制御部
３３保守用機器部３４駆動部
３５駆動制御部４０主制御部
４１中央制御部４２主記憶部
４３外部記憶部４４映像データ処理部
４５音声データ処理部５０表示部
５１無線送受信部５２画面部
５３表示制御部５５レンズ
６０音声入出力部６１音声入力部
６２音声出力部７０環境測定部
８０視野検出手段８５身体部位動作検出手段
９０ＧＰＳ機能部
１００、１００Ａ作業用無人移動装置
２００、２００Ａ、２００Ｂ表示装置
３００操縦制御装置

10 main control unit 11 central control unit 12 main storage unit 13 external storage unit 14 image data processing unit 20 navigation operation unit 21 stereo camera 22 wireless transmission/reception unit 23 navigation movement mechanism unit 24 drive unit 25 drive control unit 30 inspection and maintenance work unit 31 Inspection equipment section 32 Inspection control section 33 Maintenance equipment section 34 Drive section 35 Drive control section 40 Main control section 41 Central control section 42 Main storage section 43 External storage section 44 Video data processing section 45 Audio data processing section 50 Display section 51 Wireless transmission/reception section 52 Screen section 53 Display control section 55 Lens 60 Voice input/output section 61 Voice input section 62 Voice output section 70 Environment measuring section 80 Field of view detection means 85 Body part movement detection means 90 GPS function section 100, 100A Unmanned movement Device 200, 200A, 200B Display device 300 Steering control device

Claims

In the air, on the ground, underwater, a stereo camera provided in an unmanned mobile device for work that navigates at least any one of above, and a transmitting means for transmitting video data imaged by this stereo camera,
An inspection and maintenance working unit provided with the working unmanned mobile device, including an inspection device unit configured to include various sensors for performing inspection and maintenance of an object and/or an object device,
Receiving means for receiving the video data transmitted by the transmitting means,
Image supply means for supplying image data relating to the work of the unmanned mobile device for work;
Display means for displaying a video based on the video data and an image based on the image data;
Display control means for displaying on the display means a stereo image based on the video data received by the receiving means and for displaying on the display means an image based on the image data supplied by the image supply means;
A camera control unit for zooming, panning, and tilting the stereo camera,
Camera operation means for sending control signals for zooming, panning, and tilting of the stereo camera to the camera control section;
A line-of-sight detection unit that detects displacement information of the line of sight of the operator,
A pan/tilt control signal transmission unit that transmits the displacement amount detected by the line-of-sight detection unit to the camera control unit as a pan/tilt control signal.
An inspection/maintenance work manual for performing inspection/maintenance work that is the current data of the image data related to the work of the unmanned mobile device for work, and an external storage unit provided with image information
Inspection/maintenance work manual image information extracted from the external storage unit, or a video data processing unit for converting display image information of the sensor information by the sensor into display image data,
Equipped with,
The display control means replaces the video currently displayed on the display means, superimposes on the video, or divides the display area of the image based on the image data and the stereo video, and the inspection and maintenance work manual image information A display system, wherein at least one kind of display image information of sensor information of the inspection device section is displayed on the display means based on display image data obtained by conversion processing by the video data processing section.

The display system according to claim 1, wherein the display control unit displays an image based on image data on the display unit instead of a stereo image.

The work unmanned mobile device includes a sensor unit that mainly obtains information indicating a navigation state of the work unmanned mobile device necessary for navigation,
The display system according to claim 1 or 2, wherein the image supply unit creates and supplies image data indicating a navigation state based on information obtained by the sensor unit.

A body part motion detecting means for detecting movement information of a predetermined part of the operator's body,
The pan/tilt/zoom control signal transmitting means for transmitting the motion information detected by the body part motion detecting means to the camera control section as a pan/tilt/zoom control signal. 4. The display system according to any one of 3 to 3.

The unmanned mobile device for work is provided with an environment measuring unit that measures an external environment, and the image supply unit supplies the measurement value obtained by the environment measuring unit as the image data. The display system according to claim 1.

The work unmanned mobile device includes a GPS function unit,
6. The image supply means supplies, as the image data, image data in which a position of the working unmanned mobile device obtained by the GPS function unit is displayed on a map. The display system according to item 1.

A GPS function unit for obtaining the position information of the display means is provided,
7. The image supply means supplies, as the image data, image data in which a position of the display means obtained by the GPS function unit is displayed on a map. Display system described.

And an audio input means and voice recognition means, said display control means, when said voice recognition means detects the voice input and erase the display of the image data, the erasing and displaying an image based on the image data The display system according to claim 1, wherein the display system is a display system.

9. The display system according to claim 1, wherein the display unit has a light-transmitting property, and a front side of the display unit can be visually observed together with a displayed image or image. ..

The display system according to any one of claims 1 to 9, wherein the display means is provided in a viewing window of an eyeglass-type or goggle-type device.