JP7534689B2 - Remote operation control system, remote operation control method, and computer program - Google Patents
Remote operation control system, remote operation control method, and computer program Download PDFInfo
- Publication number
- JP7534689B2 JP7534689B2 JP2023150588A JP2023150588A JP7534689B2 JP 7534689 B2 JP7534689 B2 JP 7534689B2 JP 2023150588 A JP2023150588 A JP 2023150588A JP 2023150588 A JP2023150588 A JP 2023150588A JP 7534689 B2 JP7534689 B2 JP 7534689B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- remote
- information
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000004590 computer program Methods 0.000 title claims description 4
- 230000005856 abnormality Effects 0.000 claims description 85
- 238000011156 evaluation Methods 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 32
- 238000003384 imaging method Methods 0.000 description 21
- 229910000831 Steel Inorganic materials 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 19
- 239000010959 steel Substances 0.000 description 19
- 239000000463 material Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000011179 visual inspection Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 230000006400 anxiety behaviour Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Control Of Metal Rolling (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラムに関する。 The present invention relates to a remote operation control system, a remote operation control method, and a computer program.
従来から、製造プラントにおいて製造される製品の品質不良を診断する仕組みが提案されている。近年では、特にネットワークを介して遠隔で診断を行う技術も提案されている。例えば特許文献１に記載の技術では、圧延プラントで生産製品のコイルを遠隔監視するときに、解析に必要な最小限の映像データがプロセスデータと対応づけて遠隔の端末装置に送信される。このようなデータが送信されることによって、遠隔の端末装置で所定の作業（例えば品質の診断）をすることが可能となる。
Conventionally, mechanisms for diagnosing quality defects in products manufactured in manufacturing plants have been proposed. In recent years, technologies have also been proposed for remote diagnosis, particularly via a network. For example, in the technology described in
しかしながら、作業の対象となる物や空間（以下「作業対象」という。）を直接目視するのではなく、画像出力装置に表示された画面を介して作業対象を見ながら作業が行われる場合には、高品質の作業を担保することが難しかった。
本発明は、上述した事情に鑑みてなされたものであり、画像出力装置に表示された画面を用いて行われる作業の品質を高く維持することを可能にする技術を提供するものである。
However, when work is performed while viewing the object or space to be worked on (hereinafter referred to as the "work object") through a screen displayed on an image output device, rather than directly visually inspecting the object or space, it is difficult to ensure high quality work.
The present invention has been made in consideration of the above-mentioned circumstances, and provides a technique that makes it possible to maintain high quality of work performed using a screen displayed on an image output device.
［１］本発明の一態様は、遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、前記端末装置は、前記動画像データを受信する通信部と、前記作業者による操作を受け付ける操作部と、前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、を備え、前記端末装置又は前記遠隔作業制御装置は、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システムである。 [1] One aspect of the present invention is a remote work control system comprising a terminal device operated by a worker performing remote work, and a remote work control device that transmits video data obtained by capturing images of a target system, which is at least a system on which the remote work is to be performed, to the terminal device, the terminal device comprising a communication unit that receives the video data, an operation unit that accepts operations by the worker, and a display control unit that displays an image obtained by playing back the video data on a display unit and controls the display on the display unit in response to operations on the operation unit by the worker, and the terminal device or the remote work control device comprises an evaluation unit that evaluates the quality of the remote work based on operation history information that indicates a history of operations performed by the worker in the remote work.
［２］本発明の一態様は、上記［１］に記載の遠隔作業制御システムであって、前記操作履歴情報は、前記表示部における表示を制御するための操作に関する情報である。 [2] One aspect of the present invention is the remote operation control system described in [1] above, in which the operation history information is information about operations for controlling the display on the display unit.
［３］本発明の一態様は、上記［２］に記載の遠隔作業制御システムであって、前記操作履歴情報は、前記動画像データの再生を制御するための操作に関する情報である。 [3] One aspect of the present invention is the remote operation control system described in [2] above, in which the operation history information is information about operations for controlling the playback of the video data.
［４］本発明の一態様は、上記［３］に記載の遠隔作業制御システムであって、前記評価部は、前記動画像データの再生において再生速度又は一時停止に関する制御の操作に応じて評価する。 [4] One aspect of the present invention is the remote operation control system described in [3] above, in which the evaluation unit performs evaluation in response to a control operation related to the playback speed or pausing during playback of the video data.
［５］本発明の一態様は、上記［１］に記載の遠隔作業制御システムであって、前記遠隔作業は、前記対象システムにおいて異常が生じないか監視する作業である。 [5] One aspect of the present invention is the remote operation control system described in [1] above, in which the remote operation is monitoring the target system for any abnormalities.
［６］本発明の一態様は、上記［１］に記載の遠隔作業制御システムであって、前記動画像データは、予め前記対象システムにおいて過去に撮像が行われて記録された動画像データである。 [6] One aspect of the present invention is the remote operation control system described in [1] above, in which the video data is video data that was previously captured and recorded in the target system.
［７］本発明の一態様は、遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備える遠隔作業制御システムが行う遠隔作業制御方法であって、前記動画像データを再生することによって得られる映像を前記端末装置の表示部に表示し、前記作業者による前記端末装置の操作部への操作に応じて前記表示部における表示を制御する表示制御ステップと、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価ステップと、を有する遠隔作業制御方法である。 [7] One aspect of the present invention is a remote work control method performed by a remote work control system including a terminal device operated by a worker performing remote work and a remote work control device that transmits video data obtained by capturing images of a target system, which is at least a system on which the remote work is to be performed, to the terminal device, the remote work control method including a display control step of displaying an image obtained by playing back the video data on a display unit of the terminal device and controlling the display on the display unit in response to an operation on an operation unit of the terminal device by the worker, and an evaluation step of evaluating the quality of the remote work based on operation history information indicating a history of operations performed by the worker in the remote work.
［８］本発明の一態様は、遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、前記端末装置は、前記動画像データを受信する通信部と、前記作業者による操作を受け付ける操作部と、前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、を備え、前記端末装置又は前記遠隔作業制御装置は、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システム、としてコンピューターを機能させるためのコンピュータープログラムである。 [8] One aspect of the present invention is a computer program for causing a computer to function as a remote work control system, comprising: a terminal device operated by a worker performing remote work; and a remote work control device that transmits to the terminal device video data obtained by capturing images of a target system that is at least a system on which the remote work is to be performed; the terminal device comprises a communication unit that receives the video data, an operation unit that accepts operations by the worker, and a display control unit that displays an image obtained by playing the video data on a display unit and controls the display on the display unit in response to operations on the operation unit by the worker; and the terminal device or the remote work control device comprises an evaluation unit that evaluates the quality of the remote work based on operation history information that indicates a history of operations performed by the worker in the remote work.
本発明により、画像出力装置に表示された画面を用いて行われる作業の品質を高く維持することが可能となる。 This invention makes it possible to maintain high quality in work performed using a screen displayed on an image output device.
図１は、本発明の遠隔作業制御システム１００のシステム構成を示す概略ブロック図である。本実施形態において、遠隔作業とは、作業対象を直接目視せずに画像出力装置に表示された作業対象を見て行われる作業を指す。本実施形態における遠隔作業は、必ずしも作業対象から物理的に距離が離れている必要は無い。遠隔作業の具体例として、例えば安全監視作業（監視カメラの画像から不安前行動を抽出する作業）や、有姿煙監視（監視カメラの画像から、所定の施設から出ている煙を抽出する作業）などがある。遠隔作業制御システム１００は、端末装置１０と遠隔作業制御装置５０とを含む。端末装置１０と遠隔作業制御装置５０とは、ネットワーク７０を介して通信可能に接続される。ネットワーク７０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク７０は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワーク７０は、複数のネットワークが組み合わされて構成されてもよい。
1 is a schematic block diagram showing the system configuration of the remote
遠隔作業制御装置５０は、対象システム２００において情報を取得する装置（例えば撮像装置２０やセンサー３０等）と通信可能に接続される。対象システム２００は、遠隔作業制御システム１００における遠隔作業の実施対象となるシステムである。対象システム２００は、例えば物を製造するプラントに実装されるシステムであってもよいし、所定の領域において異常が生じないか監視する監視システムであってもよいし、他のどのようなシステムであってもよい。物を製造するプラントに実装されるシステムの具体例としては、鋼鉄を製造するシステムや、薬品を製造するシステムや、食品を製造するシステムなどがある。本実施形態では、対象システム２００の一つの具体例として鋼鉄を製造するシステムを取り上げて説明する。
The remote
撮像装置２０は、対象システム２００の一部の領域の映像を撮影する装置である。センサー３０は、対象システム２００において所定の情報を取得するセンサーである。センサー３０の具体例として、振動センサー、温度センサー、湿度センサー、電流センサー、圧力センサーなどがある。図２及び図３は、撮像装置２０及びセンサー３０の設置の具体例を示す図である。図２及び図３では、圧延された鋼材２２０と、鋼材２２０を上流から下流に向けて搬送する搬送機２１０と、搬送機２１０及び鋼材２２０を上方から撮像する撮像装置２０と、鋼材２２０の表面温度を測定する温度センサーであるセンサー３０と、が示されている。符号２１で示される２つの破線の内側の領域が、撮像装置２０の撮像範囲である。撮像装置２０の撮像範囲２１には、搬送機２１０及び鋼材２２０が含まれている。図２では、鋼材２２０は搬送機２１０によって図中の右側から左側へ向けて搬送されている。図３では、鋼材２２０は搬送機２１０によって図中の手前側から奥側へ向けて搬送されている。
The
遠隔作業制御装置５０と撮像装置２０とセンサー３０とは、ネットワーク４０を介して通信可能に接続される。ネットワーク４０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク４０は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワーク４０は、複数のネットワークが組み合わされて構成されてもよい。ネットワーク４０とネットワーク７０とは、同じネットワークを用いて構成されてもよいし、異なるネットワークとして構成されてもよい。撮像装置２０は、撮像して得られた映像データを、ネットワーク４０を介して遠隔作業制御装置５０に送信する。センサー３０は、測定によって得られた情報を示すデータ（例えば温度を示す時系列データ）を、ネットワーク４０を介して遠隔作業制御装置５０に送信する。
The remote
図４は、端末装置１０の機能構成の具体例を示す概略ブロック図である。端末装置１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、専用機器などの情報機器を用いて構成される。端末装置１０は、通信部１１、操作部１２、表示部１３、記憶部１４及び制御部１５を備える。
Figure 4 is a schematic block diagram showing a specific example of the functional configuration of the
通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１５の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
The
操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示を端末装置１０に入力する際にユーザーによって操作される。操作部１２は、入力装置を端末装置１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号を端末装置１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーの発話によって生じた音響信号を取得し、ユーザーによって発話された文言を音声認識し、認識結果の文字列情報を端末装置１０に入力する。音声認識処理は制御部１５によって実行されてもよい。操作部１２は、ユーザーの指示を端末装置１０に入力可能な構成であればどのように構成されてもよい。
The
表示部１３は、情報をユーザーが視覚的に認知可能な形で出力する。表示部１３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置であってもよい。表示部１３は、画像表示装置を端末装置１０に接続するためのインターフェースであっても良い。この場合、表示部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。表示部１３は、さらにスピーカー等の音響を出力する装置を備えてもよい。表示部１３はスピーカーやヘッドホン等の音響出力装置を端末装置１０に接続するためのインターフェースを備えてもよい。この場合、表示部１３は、音響データを再生するための音響信号を生成し、自身に接続されている音響出力装置に音響信号を出力する。なお、表示部１３は、操作部１２と一体のタッチパネルとして構成されてもよい。
The
記憶部１４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１４は、制御部１５によって使用されるデータを記憶する。記憶部１４は、制御部１５が処理を行う際に必要となるデータを記憶する。記憶部１４は、例えば作業者情報記憶部１４１として機能する。
The
作業者情報記憶部１４１は、作業者情報を記憶する。作業者情報は、端末装置１０を操作して遠隔作業を行う作業者に関する情報である。作業者情報は、例えば遠隔作業制御システム１００に関与する作業者を一意に識別するための識別情報を含んでもよい。
The worker
制御部１５は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリー（主記憶装置）とを用いて構成される。制御部１５は、プロセッサーがプログラムを実行することによって、表示制御部１５１として機能する。なお、制御部１５の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
The
制御部１５は、例えば自装置（端末装置１０）にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、遠隔作業制御システム１００の専用アプリケーションとして端末装置１０に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、ＷＥＢブラウザーのアプリケーションがある。このようなアプリケーションは、予め端末装置１０にインストールされていてもよいし、判定処理を実行する際にその都度ダウンロードされてもよい。例えばＷＥＢブラウザーのアプリケーションとして実装される場合には、特定のＷＥＢサーバーに端末装置１０が接続することに応じてＷＥＢサーバーによって指定された装置（例えばＷＥＢサーバーそのものでもよいし他のサーバーでもよい）から端末装置１０がアプリケーションをダウンロードして実行してもよい。制御部１５は、実行中のアプリケーションのプログラムにしたがって動作する。
The
表示制御部１５１は、ネットワーク７０を介して遠隔作業制御装置５０に対し、遠隔作業に必要な表示情報の送信を要求する。表示情報は、端末装置１０の表示部１３において表示を行うために必要となる情報である。表示情報は、例えば表示部１３に表示される画面の映像情報そのものであってもよいし、表示部１３に表示される画面の映像情報を作るためのデータであってもよい。表示情報が映像情報そのものである場合には、映像情報は遠隔作業制御装置５０によって生成される。表示情報が映像情報を作るためのデータである場合には、表示情報は撮像装置２０によって撮影された映像データや、センサー３０によって取得されたデータや、画面のレイアウトを示す情報等を含む。この場合、表示部１３に表示される画面の映像情報は、表示制御部１５１によって生成される。
The
表示制御部１５１は、端末装置１０の操作部１２に対する作業者の操作の内容を示す操作情報を生成する。表示制御部１５１は、生成された操作情報を遠隔作業制御装置５０に送信する。操作情報は、作業者が所定の作業を行うにあたって端末装置１０に対して入力する操作を示す情報である。どのような情報を操作情報として用いるかについては、遠隔作業制御システム１００に応じて定められてもよい。
The
例えば、表示部１３における表示を制御するための操作に関する情報が操作情報として用いられてもよい。このような表示の制御の具体例として、動画像の再生に関する制御、表示の拡大に関する制御、表示させる情報の選択に関する制御、がある。動画像の再生に関する制御のさらに具体的な例としては、再生速度の変更や一時停止の操作がある。動画像の再生に関する制御の情報は、動画像のどの部分でその制御が行われたかを示す情報とともに示されてもよい。表示の拡大に関する制御のさらに具体的な例としては、拡大された領域を示す情報や、拡大の比率を示す情報がある。表示の拡大が動画像の再生中に行われた場合には、動画像のどの部分でその拡大が行われたかを示す情報とともに示されてもよい。表示させる情報の選択に関する制御のさらに具体的な例としては、表示させるグラフや数値の種類の選択がある。例えば、複数の撮像装置２０のうちどの撮像装置２０で撮影された動画像を表示させる制御なのか、複数のセンサー３０のうちどのセンサーで測定された値を表示させる制御なのか、表示させるグラフの種類としてどのグラフを表示させる制御なのか、を示す情報が操作情報として用いられてもよい。
For example, information on an operation for controlling the display on the
表示制御部１５１は、受信された表示情報に基づいて表示部１３の画面の表示を制御する。受信される表示情報が映像情報そのものである場合には、表示制御部１５１は、受信された映像情報を表示部１３に表示させる。表示情報が映像情報を作るためのデータである場合には、表示制御部１５１は、受信された表示情報に基づいて表示部１３に表示される画面の映像情報を生成し、表示部１３に表示させる。表示制御部１５１は、操作部１２に対して作業者から表示を制御するための操作が行われると、行われた操作に応じて表示を制御する。例えば、動画像の再生に関する制御が行われた場合には、表示制御部１５１は操作に応じた態様で動画像を再生する。表示の拡大に関する制御が行われた場合には、表示制御部１５１は操作に応じた領域を操作に応じた倍率で拡大表示する。表示させる情報の選択に関する制御が行われた場合には、表示制御部１５１は操作に応じた情報を画面に表示する。表示制御部１５１は、操作に応じた表示を行うにあたって不足するデータがある場合には、そのデータを遠隔作業制御装置５０に要求してもよい。なお、画面の映像情報が遠隔作業制御装置５０で生成される場合には、表示制御部１５１は操作に関する情報を遠隔作業制御装置５０に送信することで、操作に応じた画面の映像情報を取得してもよい。
The
図５は、端末装置１０の処理の具体例を示すフローチャートである。まず、表示制御部１５１は表示情報を遠隔作業制御装置５０に要求し表示情報を取得する（ステップＳ１０１）。表示制御部１５１は、取得した表示情報に基づいて表示部１３に画面を表示する（ステップＳ１０２）。操作部１２に対して操作がない場合には（ステップ１０３－ＮＯ）、ステップＳ１０６に進む。操作部１２に対して操作があった場合には（ステップＳ１０３－ＹＥＳ）、表示制御部１５１は、操作に応じて画面を更新する（ステップＳ１０４）。そして、表示制御部１５１は、入力された操作を示す操作情報を生成して遠隔作業制御装置５０に送信する（ステップＳ１０５）。その後、表示制御部１５１は表示が終了したか否か判定する（ステップＳ１０６）。表示が終了していなければ（ステップＳ１０６－ＮＯ）、表示制御部１５１はステップＳ１０１に戻って更新された表示情報を取得し表示を更新する（ステップＳ１０１、Ｓ１０２）。表示が終了した場合（ステップＳ１０６－ＹＥＳ）、表示制御部１５１は表示終了となるように画面を制御する。
FIG. 5 is a flowchart showing a specific example of the processing of the
図６は、遠隔作業制御装置５０の機能構成の具体例を示す概略ブロック図である。遠隔作業制御装置５０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。遠隔作業制御装置５０は、通信部５１、記憶部５２及び制御部５３を備える。
Figure 6 is a schematic block diagram showing a specific example of the functional configuration of the remote
通信部５１は、通信機器である。通信部５１は、例えばネットワークインターフェースとして構成されてもよい。通信部５１は、制御部５３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部５１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
The
記憶部５２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部５２は、制御部５３によって使用されるデータを記憶する。記憶部５２は、例えば取得情報記憶部５２１、遠隔作業履歴情報記憶部５２２、操作履歴情報記憶部５２３及び操作解析情報記憶部５２４として機能してもよい。
The
取得情報記憶部５２１は、対象システム２００において取得された情報を記憶する。取得情報記憶部５２１は、例えば撮像装置２０によって撮影された映像データや、センサー３０によって取得された情報の時系列データ等を記憶する。
The acquired
遠隔作業履歴情報記憶部５２２は、端末装置１０において実施された遠隔作業の履歴を記憶する。図７は、遠隔作業履歴情報記憶部５２２が記憶する遠隔作業履歴情報テーブルの具体例を示す図である。遠隔作業履歴情報テーブルは、複数の遠隔作業履歴情報レコードを有する。遠隔作業履歴情報レコードは、対象ＩＤ、システムＩＤ、作業者ＩＤ、日時及び区間情報の各値を有する。対象ＩＤは、作業者に対して割り当てられた個々の遠隔作業を一意に示す識別情報である。例えば、対象ＩＤは遠隔作業履歴情報レコードを一意に示しても良い。システムＩＤは、遠隔作業が行われた対象システム２００を示す。システムＩＤは、一つの対象システム２００において複数定義されてもよい。その場合、例えば対象システム２００において遠隔作業を実施する領域として複数の領域が定義され、各領域に対してシステムＩＤが割り当てられてもよい。作業者ＩＤは、遠隔作業を行った作業者を一意に示す識別情報である。日時は、遠隔作業が行われた日時を示す。例えば、日時の値が“２０２３＿０８１４＿１４０１”である場合には、その作業が２０２３年８月１４日１４時１分に行われたことを示してもよい。区間情報は、遠隔作業が行われた動画像やセンサーの時間区間を示す。例えば、区間情報は動画像の再生時間を用いて表されてもよいし、遠隔作業の開始時刻及び終了時刻を用いて表されてもよい。例えば、区間情報の値が“００１０１－００１４３”である場合には、動画像の再生時間が１分１秒の時点から１分４３秒の時点までの区間を示す。なお、動画像の再生時間とは、ある動画像データにおいて、その動画像の先頭からの再生経過時間を示す。例えば、ある動画像データを先頭から再生した場合に１分と表示された時点は、再生時間１分の時点である。また、例えば２倍速で再生した場合には、実際の再生に要した時間は３０秒であったとしても、動画像データの映像において１分経過した時点は、再生時間が１分の時点であるとして表現する。
The remote work history
操作履歴情報記憶部５２３は、端末装置１０において遠隔作業を実施している最中に行われた操作に関する情報（操作情報）を記憶する。図８は、操作履歴情報記憶部５２３が記憶する操作履歴情報テーブルの具体例を示す図である。操作履歴情報記憶部５２３は、例えば作業者ＩＤ毎に操作履歴情報テーブルを記憶してもよいし、作業者及びシステムＩＤの組み合わせ毎に操作履歴情報テーブルを記憶してもよいし、対象ＩＤ毎に操作履歴情報テーブルを記憶してもよい。操作履歴情報テーブルは、複数の操作履歴情報レコードを有する。操作履歴情報レコードは、操作ＩＤ、日時、タイミング情報、操作情報及び操作属性情報を含んでもよい。操作ＩＤは、操作履歴情報レコードを一意に示す識別情報である。日時は、その操作が行われた日時を示す。
The operation history
タイミング情報は、操作が行われたタイミングを示す。タイミング情報は動画像の再生時間を用いて表されてもよい。例えば、タイミング情報の値が“０１１１３”である場合には、その操作が行われたタイミングが動画像の再生時間が１１分１３秒のタイミングであったことを示す。操作情報は、操作の内容を示す。操作の内容の具体例として、表示部１３における表示を制御するための操作がある。より具体的な例として、例えば拡大表示するための操作、再生速度を変更するための操作、再生箇所を戻す（巻き戻し）操作などがある。
The timing information indicates the timing at which an operation was performed. The timing information may be expressed using the playback time of the video. For example, if the value of the timing information is "01113", this indicates that the operation was performed at 11 minutes and 13 seconds into the playback time of the video. The operation information indicates the content of the operation. A specific example of the content of the operation is an operation for controlling the display on the
操作属性情報は、操作の属性に関する情報である。例えば、操作情報が“拡大表示”を示す場合には、拡大された領域の画像上の位置を示す情報が操作属性情報として定義されてもよい。この場合、例えば拡大された領域が矩形であることを前提として、領域の左上のｘｙ座標と右下のｘｙ座標とを含む情報として操作属性情報が定義されてもよい。例えば、“x21,y42_x73,y102”という操作属性情報は、左上の座標が（２１，４２）であり、右下の座標が（７３，１０２）である矩形の領域が拡大されたことを示しても良い。また、操作属性情報として、拡大の倍率を示す情報が定義されてもよい。 Operation attribute information is information related to the attributes of an operation. For example, if the operation information indicates "enlarged display", information indicating the position of the enlarged area on the image may be defined as the operation attribute information. In this case, assuming that the enlarged area is rectangular, for example, the operation attribute information may be defined as information including the x and y coordinates of the upper left and lower right of the area. For example, operation attribute information of "x21, y42_x73, y102" may indicate that a rectangular area with upper left coordinates (21, 42) and lower right coordinates (73, 102) has been enlarged. Information indicating the magnification of the enlargement may also be defined as the operation attribute information.
例えば、操作情報が再生速度を変更するための操作を示す場合には、操作属性情報としてその再生速度での再生が解除された（再生速度が次に変更された）タイミングを示す情報が定義されてもよい。例えば、タイミング情報が“０１１２１”、操作情報が“再生速度－２”、操作属性情報が“０１１５１”である場合には、再生時間が１１分２１秒から１１分５１秒までの間の動画像が再生速度－２（通常よりも２段階遅い）の状態で再生されたことを示す。
For example, if the operation information indicates an operation to change the playback speed, information indicating the timing when playback at that playback speed was released (the playback speed was next changed) may be defined as the operation attribute information. For example, if the timing information is "01121", the operation information is "playback speed -2", and the operation attribute information is "01151", this indicates that the video from the
例えば、操作情報が“巻き戻し”を示す場合には、巻き戻された時間区間を示す情報が操作属性情報として定義されてもよい。例えば、タイミング情報が“０１４２１”、操作情報が“巻き戻し”、操作属性情報が“０１２２１”である場合には、再生時間が１４分２１秒から１２分２１秒まで巻き戻す操作が行われたことを示す。また、巻き戻しの操作における逆再生速度の値が予め定義される。巻き戻しの操作が行われた場合には、予め定義された逆再生速度で巻き戻し（逆再生）が行われる。逆再生速度が異なる複数の巻き戻しの中から一つの巻き戻し操作を行うことが可能に構成されてもよい。また、巻き戻し操作時に、逆再生速度を作業者が任意に設定可能に構成されてもよい。
For example, when the operation information indicates "rewind", information indicating the rewound time section may be defined as the operation attribute information. For example, when the timing information is "01421", the operation information is "rewind", and the operation attribute information is "01221", this indicates that an operation of rewinding the playback time from 14
操作解析情報記憶部５２４は、操作履歴情報記憶部５２３に記録された履歴の情報に基づいて、どのような操作が行われたかを解析した結果を示す情報（以下「操作解析情報」という。）を記憶する。図９は、操作解析情報記憶部５２４が記憶する操作解析情報テーブルの具体例を示す図である。操作解析情報記憶部５２４は、例えば作業者ＩＤ毎に操作解析情報テーブルを記憶してもよいし、作業者及びシステムＩＤの組み合わせ毎に操作解析情報テーブルを記憶してもよいし、対象ＩＤ毎に操作解析情報テーブルを記憶してもよい。操作解析情報テーブルは、複数の操作解析情報レコードを有する。操作解析情報レコードは、対象ＩＤ、対象区間及び１又は複数の評価項目を含んでもよい。図９の例では、評価項目の具体例として、平均再生速度、巻き戻し回数、拡大操作回数及び平均拡大倍率が用いられている。
The operation analysis
対象ＩＤは、解析対象となった対象ＩＤを示す。対象区間は、そのレコードにおいて解析の対象となった動画像やセンサーの時間区間を示す。例えば、対象ＩＤが“ＡＮ０００１”で、対象区間が“０００００～０００１０”である場合には、対象ＩＤ“ＡＮ０００１”で示される遠隔作業において、動画像の再生時間の先頭から１０秒までの時間区間に関する解析であることが示される。図９の例では、対象区間は１０秒ごとで周期的に定義されているが、必ずしも各対象区間が同じ時間間隔として区切られなくてもよい。例えば、再生された画面に異常判定部５３３によって判定された異常の部位が表示されている区間が対象区間として定義されてもよい。また、複数の操作解析情報レコードにおいて、対象区間が重複して定義されてもよい。
The target ID indicates the target ID that was the subject of analysis. The target section indicates the time section of the video or sensor that was the subject of analysis in that record. For example, if the target ID is "AN0001" and the target section is "00000-00010", this indicates that the analysis is for the time section from the beginning of the video playback time to 10 seconds in the remote work indicated by the target ID "AN0001". In the example of FIG. 9, the target sections are defined periodically every 10 seconds, but each target section does not necessarily have to be divided into the same time interval. For example, the section in which the part of the abnormality determined by the
評価項目は、各評価項目において評価の対象となる値を有する。例えば、平均再生速度は、対象ＩＤ及び対象区間で示される動画像の再生区間における再生速度の平均値を示す。本実施形態では、通常の再生速度を１．０で表しており、再生速度が遅ければ遅いほど小さい値となり、再生速度が速ければ速いほど大きい値となる。例えば、平均再生速度が“０．８”である場合には、その区間において全体として遅い再生速度で再生されたことがわかる。巻き戻し回数は、対象ＩＤ及び対象区間で示される動画像の再生区間において実施された巻き戻し操作の回数を示す。拡大操作回数は、対象ＩＤ及び対象区間で示される動画像の再生区間において実施された拡大表示の操作の回数を示す。図９の例では、対象区間において異常判定部５３３によって異常が生じていると判定された回数を分母の値として示し、異常が生じていると判定された位置で拡大表示操作が行われた回数を分子の値として示している。例えば、“３／４”と示されている場合には、その対象区間において４回異常が生じていると判定され、そのうち３つの異常箇所において拡大して表示する操作が行われたことを示す。平均拡大倍率は、その対象区間で行われた拡大表示操作における拡大倍率の平均値を示す。例えば、平均拡大倍率の値が“２．７５”である場合には、その対象区間において１又は複数回行われた拡大表示の操作の拡大倍率の平均値が“２．７５”であったことを示す。なお、上述した評価項目は具体例の一つにすぎない。他の項目が評価の項目として解析して値が得られてもよい。
Each evaluation item has a value to be evaluated. For example, the average playback speed indicates the average value of the playback speed in the playback section of the video indicated by the target ID and the target section. In this embodiment, the normal playback speed is represented by 1.0, and the slower the playback speed, the smaller the value, and the faster the playback speed, the larger the value. For example, if the average playback speed is "0.8", it can be seen that the playback speed was slow overall in that section. The number of rewinds indicates the number of rewind operations performed in the playback section of the video indicated by the target ID and the target section. The number of enlargement operations indicates the number of enlargement operations performed in the playback section of the video indicated by the target ID and the target section. In the example of FIG. 9, the number of times that an abnormality was determined to have occurred by the
制御部５３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部５３は、プロセッサーがプログラムを実行することによって、情報制御部５３１、操作履歴制御部５３２、異常判定部５３３、表示情報生成部５３４及び評価部５３５として機能する。なお、制御部５３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
The
情報制御部５３１は、ネットワーク４０を介して１又は複数の撮像装置２０から映像データを取得する。情報制御部５３１は、取得した映像データを取得情報記憶部５２１に記録する。情報制御部５３１は、ネットワーク４０を介して１又は複数のセンサー３０からデータを取得する。情報制御部５３１は、取得したデータを取得情報記憶部５２１に記録する。
The
操作履歴制御部５３２は、ネットワーク７０を介して端末装置１０から操作情報を取得する。操作履歴制御部５３２は、取得された操作情報を操作履歴情報記憶部５２３に記録する。
The operation
異常判定部５３３は、情報制御部５３１によって取得されたデータに基づいて、対象システム２００において生じる異常を判定する。例えば、対象システム２００が物を製造するシステムである場合には、異常判定部５３３は製造機器において生じた異常を判定してもよいし、製造された物に生じた異常を判定してもよい。製造される物が鋼材である場合には、異常判定部５３３は鋼材に生じた異常を判定してもよい。異常判定部５３３は、動画像において異常が生じている部位を判定してもよい。異常判定部５３３は、異常が生じていると判定されたタイミングを取得情報記憶部５２１に記録してもよい。このような記録が行われることによって取得情報記憶部５２１に記録されている映像データやセンサーの測定データにおいて、異常が生じていると判定されたタイミング（位置）が記録される。このようなタイミングは、例えば映像データの動画像における再生時間を用いて表されてもよい。
The
異常判定部５３３は、異常を判定する際には、予め定義されている異常を判定するための基準に基づいて異常を判定してもよい。例えば、センサー３０によって測定される値について異常値が定義されてもよいし、画像から得られる値（例えば画像中における鋼材の幅を表す長さなど）について異常値が定義されてもよい。異常判定部５３３は、異常を判定する際には、予め学習処理を行うことによって得られた学習済モデルを用いて異常を判定してもよい。このような学習処理は、例えば異常が生じた際に得られた映像やセンサーの値を含む複数の教師データを用いて行われてもよい。このような学習処理の具体例として、例えば、サポートベクトルマシンやランダムフォレストやニューラルネットワーク等の分類のための教師あり学習が用いられてもよい。また、学習処理として教師なし学習が用いられてもよい。
When determining whether an abnormality exists, the
表示情報生成部５３４は、情報制御部５３１によって得られた情報に基づいて、端末装置１０に表示されるべき表示内容を示す表示情報を生成する。表示情報生成部５３４は、例えば端末装置１０によって遠隔作業の対象となる領域の撮像装置２０によって得られた映像データと、同領域のセンサー３０によって得られたデータと、を表示するための表示情報を生成する。端末装置１０に送信される映像データは、リアルタイムで撮影されている映像データであってもよいし、過去に撮像が行われて完結した動画像データとして記憶部５２に既に記録されている映像データであってもよい。表示情報生成部５３４は、異常判定部５３３による判定結果に基づいて表示情報を生成してもよい。例えば、異常判定部５３３によって判定された異常が生じている部位を他の部位とは異なる態様で表示するための表示情報を生成してもよい。表示情報生成部５３４は、端末装置１０に対して表示情報を送信した実績に基づいて遠隔作業履歴情報記憶部５２２の情報を更新する。
The display
評価部５３５は、操作履歴情報記憶部５２３に記憶されている操作履歴の情報に基づいて、各作業者によって実施された遠隔作業の品質を評価する。評価部５３５は、操作履歴が予め定められた所定の評価基準を満たしているか否かに基づいて遠隔作業の品質を評価する。例えば、表示部１３における表示を制御するための操作に関する情報が操作情報として用いられる場合、評価部５３５は、その表示によって行われた遠隔作業の品質を評価する。評価部５３５は、例えば映像データの再生に関する制御（例えば再生速度又は一時停止）が適切であるか否かに基づいて遠隔作業の品質を評価してもよい。以下、評価の基準の具体例について説明する。
The
遠隔作業の品質は、予め定められたルールに従った操作が行われているか否かに基づいて評価されてもよい。例えば、予め定められたルールに従った操作が行われていない場合には、より低い評価結果となるように評価が行われてもよい。このようなルールは、例えば上述した操作解析情報記憶部５２４に記憶される対象区間毎の評価項目の値について定められてもよい。例えば、対象区間毎に、評価項目の各値の閾値としてルールが定められてもよい。映像データにおいて所定のタイミングで適切な再生速度（例えば１倍速よりも遅い再生速度）で表示が行われていたかに基づいて品質が評価されてもよい。所定のタイミングとは、例えば映像データに特定の物が映るタイミングであってもよいし、所定の周期を示すタイミングであってもよい。例えば、異常判定部５３３によって判定された異常が生じていると判定されたタイミングの動画像が映っているタイミングとして所定のタイミングが定義されてもよい。特定の物（例えば異常が生じていると判定された部位）が映ったタイミングで所定の基準よりも遅い再生速度で再生された場合に、高い評価が与えられてもよい。特定の物とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位（例えば異常が生じている部位）であってもよい。異常が生じている部位は、異常判定部５３３によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の物をより丁寧に目視したことについて高い評価を与えることが可能となる。
The quality of the remote work may be evaluated based on whether or not the operation is performed according to a predetermined rule. For example, if the operation is not performed according to the predetermined rule, the evaluation may be performed so that a lower evaluation result is obtained. Such rules may be defined, for example, for the values of the evaluation items for each target section stored in the above-mentioned operation analysis
映像データにおいて所定のタイミングで映像データの一時停止が行われていたかに基づいて品質が評価されてもよい。所定のタイミングは、上述した再生速度に関するタイミングと同様である。特定の物が映ったタイミングで一時停止が行われた場合に、高い評価が与えられてもよい。特定の物とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位（例えば異常が生じている部位）であってもよい。異常が生じている部位は、異常判定部５３３によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の物をより丁寧に目視したことについて高い評価を与えることが可能となる。
The quality may be evaluated based on whether the video data was paused at a specific timing in the video data. The specific timing is the same as the timing related to the playback speed described above. A high evaluation may be given if the video data was paused when a specific object was shown. The specific object is an object that should be visually inspected more carefully, and may be, for example, a specific part or a part in a specific state (for example, a part where an abnormality has occurred). The part where an abnormality has occurred may be a part that has been determined to have an abnormality by the
映像データにおいて所定の時間区間において映像データの一時停止が行われた回数に基づいて品質が評価されてもよい。所定の時間区間とは、例えば映像データに特定の物が映っている時間区間であってもよいし、所定の周期で定義された時間区間であってもよい。所定の区間で閾値以上の回数で一時停止が行われた場合に、高い評価が与えられてもよい。特定の物とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位（例えば異常が生じている部位）であってもよい。異常が生じている部位は、異常判定部５３３によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の物をより丁寧に目視したことについて高い評価を与えることが可能となる。
The quality may be evaluated based on the number of times the video data is paused in a specified time interval. The specified time interval may be, for example, a time interval during which a specific object is shown in the video data, or a time interval defined by a specified cycle. A high evaluation may be given when the video data is paused a threshold number of times or more in the specified interval. The specific object is an object that should be checked more carefully by visual inspection, and may be, for example, a specific part or a part in a specific state (for example, a part where an abnormality has occurred). The part where an abnormality has occurred may be a part that has been determined to have an abnormality by the
このような評価基準は、遠隔作業の対象となる物（例えば製造される物）の種別に応じて定義されてもよい。このような種別の具体例として、物の用途（例えば製造される物が鋼鉄である場合には、その鋼鉄が用いられる製品）や、物に要求される品質がある。例えば、対象ＩＤに応じて評価基準が定義されてもよい。また、生じている異常の種別や異常の程度に応じて評価基準が定義されてもよい。 Such evaluation criteria may be defined according to the type of object (e.g., the object being manufactured) that is the subject of the remote work. Specific examples of such types include the use of the object (e.g., if the object being manufactured is steel, the product in which the steel is used) and the quality required of the object. For example, evaluation criteria may be defined according to the target ID. Evaluation criteria may also be defined according to the type of abnormality that has occurred or the degree of the abnormality.
評価部５３５は、例えば映像データの拡大表示に関する制御が適切であるか否かに基づいて遠隔作業の品質を評価してもよい。より具体的には、映像データにおいて所定の部位について拡大表示されたか否かに基づいて品質が評価されてもよい。所定の部位とは、例えば映像データにおいて特定の物が映っている部位であってもよい。所定の部位が拡大表示された場合に、高い評価が与えられてもよい。特定の部位とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位（例えば異常が生じている部位）であってもよい。異常が生じている部位は、異常判定部５３３によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の部位をより丁寧に目視したことについて高い評価を与えることが可能となる。
The
評価部５３５は、例えば映像データの拡大表示に関する制御が適切であるか否かに基づいて遠隔作業の品質を評価してもよい。より具体的には、映像データにおいて所定の部位について拡大表示されたか否かに基づいて品質が評価されてもよい。所定の部位とは、例えば映像データにおいて特定の物が映っている部位であってもよい。所定の部位が拡大表示された場合に、高い評価が与えられてもよい。特定の部位とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位（例えば異常が生じている部位）であってもよい。異常が生じている部位は、異常判定部５３３によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の部位をより丁寧に目視したことについて高い評価を与えることが可能となる。
The
図１０～図１４は、表示情報に基づいて端末装置１０の表示部１３に表示される画面の具体例を示す図である。図１０では、特に異常が生じていない状態における画面の具体例が示される。表示部１３に表示される画面には、動画像表示領域１３１、操作ボタン１３２及び検出情報表示領域１３３が表示されている。動画像表示領域１３１には、撮像装置２０によって撮像された映像（動作像）が表示される。図１０の例では、図２及び図３で示したような搬送機２１０及び鋼材２２０が表示されている。図２で示したものと同様に、搬送機２１０によって搬送される鋼材２２０は画面で右側から左側へ移動している。
Figures 10 to 14 are diagrams showing specific examples of screens displayed on the
操作ボタン１３２として、動画像表示領域１３１に表示される動画像の再生に関する操作を行うためのボタンが少なくとも１つ以上表示される。図１０の例では、再生速度ＤＯＷＮ、一時停止、停止、再生速度ＵＰ、巻き戻しの５つの操作ボタン１３２が表示される。再生速度ＤＯＷＮの操作ボタン１３２が操作されると、動画像表示領域１３１における動画像の再生速度が操作前の再生速度よりも遅くなる。その場合、ある部位について動画像表示領域１３１に表示されている時間が長くなる。一時停止の操作ボタン１３２が操作されると、動画像表示領域１３１における動画像の再生が一時停止される。一時停止の操作ボタン１３２が操作された後は、同じ場所に再生の操作ボタン１３２が表示されてもよい。その場合、再生の操作ボタン１３２が操作されると、一時停止が解除されて一時停止していた時点から動画像の再生が再開される。停止の操作ボタン１３２が操作されると、動画像表示領域１３１における動画像の再生が停止される。この場合は、動画像表示領域１３１における動画像の再生が終了してもよい。再生速度ＵＰの操作ボタン１３２が操作されると、動画像表示領域１３１における動画像の再生速度が操作前の再生速度よりも速くなる。その場合、ある部位について動画像表示領域１３１に表示されている時間が短くなる。巻き戻しの操作ボタン１３２が操作されると、動画像表示領域１３１において表示されている再生箇所が、より前の再生時間の位置に戻る。
At least one or
検出情報表示領域１３３には、センサー３０によって検出された情報が表示される。その他にも、検出情報表示領域１３３には、日時や動画像表示領域１３１に表示されている物に関する情報が表示されてもよい。検出情報表示領域１３３には、異常判定部５３３によって判定された異常に関する情報が表示されてもよい。
The detection
図１１は、異常判定部５３３によって判定された異常が含まれた映像が表示される具体例を示す図である。図１１には、異常判定部５３３によって判定された異常の具体例として、鋼材２２０の表面に生じた疵２２１が示されている。この場合、異常判定部５３３によって判定された異常である疵２２１は、他の部位とは異なる態様で表示されている。具体的には、疵２２１はその位置を示す位置画像１３１１で囲まれて表示されている。検出情報表示領域１３３には、異常判定部５３３によって判定された情報として、疵の種別を示す名称（疵名称）、疵のグレード（等級）及び推定深さを示す値も表示されている。疵名称、疵グレード及び推定深さのそれぞれの値は、異常判定部５３３によって判定されてもよい。
FIG. 11 is a diagram showing a specific example in which an image including an abnormality determined by the
図１２及び図１３は、異常判定部５３３によって判定された異常が含まれた映像が表示される具体例を示す図である。図１２及び図１３には、異常判定部５３３によって判定された異常の具体例として、鋼材２２０の表面に生じた疵２２１が示されている。この場合、異常判定部５３３によって判定された異常である疵２２１は、他の部位とは異なる態様で表示されている。具体的には、疵２２１はその周囲を含む所定の領域とともに拡大して表示されている。より具体的には、図１２では、動画像表示領域１３１内に拡大表示領域１３１２が設けられ、拡大表示領域１３１２において疵２２１がその周囲を含む所定の領域とともに拡大して表示されている。また、図１３では、疵２２１を含む所定の範囲の画像が、動画像表示領域１３１全体にわたって拡大して表示されている。
12 and 13 are diagrams showing a specific example in which an image including an abnormality determined by the
図１４は、ガイダンスが表示される具体例を示す図である。所定の条件が満たされた場合に、画面において作業者が行うべき操作に関する指導（ガイダンス）を示す情報が表示されてもよい。図１４の例では、検出情報表示領域１３３において、疵が検出された位置を拡大して表示することへの指示が表示されている。このようなガイダンスは、遠隔作業の品質の評価基準（予め定められたルール）に応じて設定されてもよい。例えば、評価基準を満たす操作を行うことを示す文字列や画像がガイダンスとして表示されてもよい。例えば、異常判定部５３３によって異常が生じていると判定された場合には、異常箇所として判定された領域（例えば疵２２１の位置）を拡大して表示することを示すガイダンスが表示されてもよい。
Figure 14 is a diagram showing a specific example of how guidance is displayed. When a predetermined condition is met, information showing guidance on the operation that the worker should perform may be displayed on the screen. In the example of Figure 14, an instruction to enlarge and display the position where the defect is detected is displayed in the detection
このように構成された遠隔作業制御システム１００では、遠隔作業を行うための端末装置１０に対する作業者の操作（特に表示に関する操作）に基づいて、遠隔作業が評価される。遠隔地での端末装置１０を使用した作業では、作業者の近くに関係者が存在していないことが多いため、作業者の作業の品質について担保することが難しい場合があった。しかしながら、遠隔作業制御システム１００の上述した処理により、たとえ作業者の近くに関係者が存在していない場合であっても、作業者が行った作業の品質について評価を行うことが可能となる。このように作業について評価が行われることによって、作業者にとっては端末装置１０で行う作業の品質を高く維持することについて動機が生じる。そのため、作業の品質を高く維持することが可能となる。
In the remote
また、遠隔作業制御システム１００では、異常判定部５３３によって異常に関する判定が行われ、判定された異常が生じている領域について他の領域とは異なる態様で表示が行われる。そのため、端末装置１０のように対象システム２００の現場で設けられている監視用端末に比べて相対的に小さい画面の装置であっても、より正確に遠隔作業を行うことが可能となる。
In addition, in the remote
図１５は、遠隔作業制御システム１００の第一の変形例を示す図である。第一の変形例では、端末装置１０に対して通信可能に補助端末装置８０が接続されている。端末装置１０と補助端末装置８０とは、例えばケーブルで接続されてもよいし、無線通信で通信可能に接続されてもよい。補助端末装置８０は、少なくとも映像を表示可能な表示装置を有する。補助端末装置８０は、例えばパーソナルコンピューターやタブレットやスマートフォンを用いて構成されてもよい。端末装置１０は、所定の条件が満たされた場合に、映像の一部を補助端末装置８０に表示させる。図１６は、補助端末装置８０の表示部に表示される画面の具体例を示す図である。端末装置１０は、例えば補助端末装置８０の表示部８１に対し、異常判定部５３３によって判定された異常の部位（例えば疵２２１）を含む領域を拡大した画像を表示させてもよい。なお、図１６に示す例は、補助端末装置８０に表示させる画像の一つの具体例にすぎない。補助端末装置８０には他の画像や文字列が表示されてもよい。例えば、上述したガイダンスが補助端末装置８０に表示されてもよい。例えば、端末装置１０において拡大表示の操作がされたことに応じて、拡大表示の画像が補助端末装置８０に表示されてもよい。この場合、端末装置１０の表示部１３には、拡大されていない通常の倍率の画像が表示されてもよい。
FIG. 15 is a diagram showing a first modified example of the remote
図１７は、遠隔作業制御システム１００の第二の変形例を示す図である。第二の変形例では、ネットワーク７０を介して情報提供装置５０と通信可能に補助端末装置８０が接続されている。ネットワーク７０と補助端末装置８０とは、例えば有線通信で接続されてもよいし無線通信で接続されてもよい。第二の変形例では、端末装置１０と補助端末装置８０とは予めペアとして情報提供装置５０に登録されている。このとき、端末装置１０に対するデータ送信の宛先を示す情報と、補助端末装置８０に対するデータ送信の宛先を示す情報とがペアとして登録されてもよい。情報提供装置５０は、所定の条件が満たされた場合に、映像の一部を示す表示情報を補助端末装置８０に送信して表示させる。情報提供装置５０は、例えば補助端末装置８０の表示部８１に対し、異常判定部５３３によって判定された異常の部位（例えば疵２２１）を含む領域を拡大した画像を表示させてもよい。この場合、情報提供装置５０は、端末装置１０には拡大しない表示（例えば図１１に示すような表示）を行うための表示情報を送信してもよい。上述したように、補助端末装置８０には他の画像や文字列が表示されてもよい。
FIG. 17 is a diagram showing a second modified example of the remote
図１８は、本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。情報処理装置９０は、プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４、入出力インターフェース９５及び内部バス９６を備える。プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４及び入出力インターフェース９５は、内部バス９６を介して互いに通信可能に接続される。情報処理装置９０は、例えば端末装置１０及び遠隔作業制御装置５０に適用されてもよい。この場合、例えば通信部１１及び通信部５１は通信インターフェース９３を用いて構成されてもよい。例えば記憶部１４及び記憶部５２は補助記憶装置９４を用いて構成されてもよい。また、制御部１５及び制御部５３は、プロセッサー９１及び主記憶装置９２を用いて構成されてもよい。
FIG. 18 is a diagram showing an outline of a hardware configuration example of an
（変形例）
遠隔作業制御装置５０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて遠隔作業制御装置５０が実装されてもよい。例えば、遠隔作業制御装置５０において、記憶部５２と制御部５３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、遠隔作業制御装置５０の記憶部５２が複数の情報処理装置に分散して実装されてもよい。
(Modification)
The remote
遠隔作業制御装置５０に実装された機能の一部は端末装置１０に備えられてもよい。例えば、異常判定部５３３は端末装置１０に備えられてもよい。例えば、表示情報生成部５３４は端末装置１０に備えられてもよい。例えば、操作履歴情報記憶部５２３及び評価部５３５は端末装置１０に備えられてもよい。
Some of the functions implemented in the remote
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The above describes an embodiment of the present invention in detail with reference to the drawings, but the specific configuration is not limited to this embodiment, and includes designs that do not deviate from the gist of the present invention.
１００…遠隔作業制御システム， １０…端末装置， １１…通信部， １２…操作部， １３…表示部， １３１…動画像表示領域， １３１１…位置画像， １３１２…拡大表示領域， １３２…操作ボタン， １３３…検出情報表示領域， １４…記憶部， １４１…作業者情報記憶部， １５…制御部， １５１…表示制御部， ２０…撮像装置， ２１…撮像範囲， ３０…センサー， ４０…ネットワーク， ５０…遠隔作業制御装置， ５１…通信部， ５２…記憶部， ５２１…取得情報記憶部， ５２２…遠隔作業履歴情報記憶部， ５２３…操作履歴情報記憶部， ５３…制御部， ５３１…情報制御部， ５３２…操作履歴制御部， ５３３…異常判定部， ５３４…表示情報生成部， ５３５…評価部， ２００…対象システム， ２１０…搬送機， ２２０…鋼材 100... remote operation control system, 10... terminal device, 11... communication unit, 12... operation unit, 13... display unit, 131... moving image display area, 1311... position image, 1312... enlarged display area, 132... operation button, 133... detection information display area, 14... storage unit, 141... worker information storage unit, 15... control unit, 151... display control unit, 20... imaging device, 21... imaging range, 30... sensor, 40... network, 50... remote operation control device, 51... communication unit, 52... storage unit, 521... acquired information storage unit, 522... remote operation history information storage unit, 523... operation history information storage unit, 53... control unit, 531... information control unit, 532... operation history control unit, 533... abnormality determination unit, 534... display information generation unit, 535...Evaluation unit, 200...Target system, 210...Conveyor, 220...Steel material
Claims (6)
前記端末装置は、
前記動画像データを受信する通信部と、
前記作業者による操作を受け付ける操作部と、
前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、
を備え、
前記端末装置又は前記遠隔作業制御装置は、
前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備え、
前記操作履歴情報は、前記表示部における表示を制御するための操作に関する情報であり、
前記操作履歴情報は、前記動画像データの再生を制御するための操作に関する情報である、遠隔作業制御システム。 A remote operation control device is provided that transmits to the terminal device video image data captured in a target system that is a system on which the remote operation is to be performed, and a terminal device that is operated by a worker who performs the remote operation.
The terminal device
A communication unit for receiving the video data;
an operation unit that accepts operations by the operator;
a display control unit that displays an image obtained by playing the moving image data on a display unit and controls the display on the display unit in response to an operation on the operation unit by the worker;
Equipped with
The terminal device or the remote operation control device includes:
an evaluation unit that evaluates quality of the remote work based on operation history information indicating a history of operations performed by the worker in the remote work ;
the operation history information is information regarding an operation for controlling a display on the display unit,
A remote operation control system , wherein the operation history information is information regarding operations for controlling playback of the video data .
前記動画像データを再生することによって得られる映像を前記端末装置の表示部に表示し、前記作業者による前記端末装置の操作部への操作に応じて前記表示部における表示を制御する表示制御ステップと、
前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価ステップと、を有し、
前記操作履歴情報は、前記表示部における表示を制御するための操作に関する情報であり、
前記操作履歴情報は、前記動画像データの再生を制御するための操作に関する情報である、遠隔作業制御方法。 A remote work control method performed by a remote work control system including a terminal device operated by a worker performing a remote work, and a remote work control device that transmits to the terminal device video image data captured in a target system that is a system on which the remote work is to be performed, the method comprising:
a display control step of displaying an image obtained by playing the video data on a display unit of the terminal device, and controlling the display on the display unit in response to an operation on an operation unit of the terminal device by the worker;
and an evaluation step of evaluating quality of the remote work based on operation history information indicating a history of operations in the remote work by the worker ,
the operation history information is information regarding an operation for controlling a display on the display unit,
A remote operation control method , wherein the operation history information is information regarding operations for controlling playback of the video data .
前記端末装置は、
前記動画像データを受信する通信部と、
前記作業者による操作を受け付ける操作部と、
前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、
を備え、
前記端末装置又は前記遠隔作業制御装置は、
前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備え、
前記操作履歴情報は、前記表示部における表示を制御するための操作に関する情報であり、
前記操作履歴情報は、前記動画像データの再生を制御するための操作に関する情報である遠隔作業制御システム、としてコンピューターを機能させるためのコンピュータープログラム。 A remote operation control device is provided that transmits to the terminal device video image data captured in a target system that is a system on which the remote operation is to be performed, and a terminal device that is operated by a worker who performs the remote operation.
The terminal device
A communication unit for receiving the video data;
an operation unit that accepts operations by the operator;
a display control unit that displays an image obtained by playing the moving image data on a display unit and controls the display on the display unit in response to an operation on the operation unit by the worker;
Equipped with
The terminal device or the remote operation control device includes:
an evaluation unit that evaluates quality of the remote work based on operation history information indicating a history of operations performed by the worker in the remote work ;
the operation history information is information regarding an operation for controlling a display on the display unit,
A computer program for causing a computer to function as a remote operation control system, wherein the operation history information is information regarding operations for controlling the playback of the video data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023150588A JP7534689B2 (en) | 2023-09-15 | 2023-09-15 | Remote operation control system, remote operation control method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023150588A JP7534689B2 (en) | 2023-09-15 | 2023-09-15 | Remote operation control system, remote operation control method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024029775A JP2024029775A (en) | 2024-03-06 |
| JP7534689B2 true JP7534689B2 (en) | 2024-08-15 |
Family
ID=90104952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023150588A Active JP7534689B2 (en) | 2023-09-15 | 2023-09-15 | Remote operation control system, remote operation control method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7534689B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014208575A1 (en) | 2013-06-28 | 2014-12-31 | 日本電気株式会社 | Video monitoring system, video processing device, video processing method, and video processing program |
| WO2022209501A1 (en) | 2021-03-31 | 2022-10-06 | 富士フイルム株式会社 | Information processing device, method for operating information processing device, and program for operating information processing device |
-
2023
- 2023-09-15 JP JP2023150588A patent/JP7534689B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014208575A1 (en) | 2013-06-28 | 2014-12-31 | 日本電気株式会社 | Video monitoring system, video processing device, video processing method, and video processing program |
| WO2022209501A1 (en) | 2021-03-31 | 2022-10-06 | 富士フイルム株式会社 | Information processing device, method for operating information processing device, and program for operating information processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024029775A (en) | 2024-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9838442B2 (en) | Systems and methods for implementing data analysis workflows in a non-destructive testing system | |
| US20210383611A1 (en) | System for three dimensional visualization of a monitored item, sensors, and reciprocal rendering for a monitored item incorporating extended reality | |
| JP7304545B2 (en) | Anomaly prediction system and anomaly prediction method | |
| US9537907B2 (en) | Systems and methods for sharing data in a non-destructive testing system | |
| CN110892349A (en) | Automatic inspection system | |
| CN107924183A (en) | Control device, monitoring system, control program and record media | |
| US7203561B2 (en) | Information processing device, operation state management device, information processing method, program, and computer-readable storage medium storing program | |
| JP4331541B2 (en) | Endoscope device | |
| TW201100987A (en) | Programmable displayer | |
| Smith et al. | Augmented instructions: Analysis of performance and efficiency of assembly tasks | |
| JP2011253476A (en) | Drive operation history collection system | |
| JP7534689B2 (en) | Remote operation control system, remote operation control method, and computer program | |
| JP6305252B2 (en) | Visual inspection skill improvement support system, visual inspection skill improvement support method using the same, and program for visual inspection skill improvement support system | |
| JP2024029776A (en) | Remote work control system, remote work control method, and computer program | |
| CN110135359A (en) | A kind of monitor video assessment behavioural analysis processing method based on auditory localization | |
| JPH10207530A (en) | Recording information display system and its method | |
| KR102601760B1 (en) | Method and apparatus for providing user interface for safe operation in workplace | |
| JP2001268509A (en) | Image recording device and system | |
| JP2011107850A (en) | Software for management of in-rack device and recording medium stored with the same | |
| US11790519B2 (en) | Systems and methods for menu directed inspection | |
| JP2003157113A (en) | System and method for displaying recording information | |
| JP2002223293A (en) | Method and system for maintaining/managing network | |
| JP2022099341A (en) | Failure analysis assisting program, failure analysis assisting device, failure analysis assisting method and three-dimensional data displaying program | |
| JP4813071B2 (en) | Macro image display system and macro image display method | |
| KR102578851B1 (en) | Deep learning-based work safety management method and server for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240227 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7534689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |