JP6179954B2

JP6179954B2 - 遠隔制御システム、保守用端末および遠隔制御方法

Info

Publication number: JP6179954B2
Application number: JP2014207072A
Authority: JP
Inventors: 典宏長徳; 渡邊　明彦; 明彦渡邊; 匡史小澤; 井上　淳; 淳井上; 仁川▲崎▼; 浩三谷川
Original assignee: Mitsubishi Electric Corp; Mitsubishi Electric Building Techno Service Co Ltd
Current assignee: Mitsubishi Electric Corp; Mitsubishi Electric Building Solutions Corp
Priority date: 2014-10-08
Filing date: 2014-10-08
Publication date: 2017-08-16
Anticipated expiration: 2034-10-08
Also published as: WO2016056588A1; JP2016076150A; KR101919723B1; EP3206116A4; EP3206116A1; KR20170047313A; CN106796482A

Description

この発明は、保守用端末の画面を操作端末に送信して表示するとともに、操作端末からの画面操作イベントに基づいて保守用端末を操作する遠隔制御システムおよび遠隔制御方法に関する。

保守用端末（ノートＰＣ）を使用する際に、保守作業中で片手に部品を持ちながら使用したい等、操作上の制約を回避するために、保守用端末を離れた場所に設置したまま、片手で操作可能なスマートフォン（スマホ）を操作端末にして、保守用端末を遠隔操作する方法がある。なお、スマホ以外にも、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信を搭載した小型の端末を利用する方法がある。

スマホからノートＰＣを遠隔操作する方法であるリモートデスクトップは、ＰＣ画面をスマホ画面に送信して表示し、スマホのタッチパネル操作（画面操作イベント）をノートＰＣの操作入力とすることで、スマホ画面によりＰＣ画面の表示・操作を可能とする。

しかしながら、この方法では、図８に示されるような相対的に大きいＰＣ画面（フルＨＤ１１．６インチ液晶）を、図９に示されるような小さいスマホ画面（７２０×１２８０４．３インチ液晶）に送信して表示すると、操作対象の保守用アプリ画面が小さくなり、視認性が低下するとともに、操作性が低下する。

なお、表示サイズを大きくするために、スマホ画面を拡大してスクロールバーを付けたとしても、保守用アプリ画面の所定の領域を表示するためには、スクロールバーを操作する必要があり、操作性が低下する。

ここで、主装置と端末装置とを通信で接続し、主装置の画面の一部を抽出して、端末装置に表示する技術が知られている（例えば、特許文献１、２参照）。また、スマホからＰＣ上のアプリケーションを遠隔操作するために、スマホ用のレイアウトを生成する技術が知られている（例えば、特許文献３参照）。

特開２０１４−１０５６８号公報特開２０１３−１４５５６５号公報特開２０１３−２３５４３８号公報

しかしながら、従来技術には、以下のような課題がある。
すなわち、特許文献３には、スマホからＰＣを遠隔操作するために、スマホ用のレイアウトを生成する技術が開示されているものの、操作対象となるアプリケーション画面を指定することについては、何等開示されていない。

そのため、特許文献１、２に開示された主装置の画面の一部を抽出して、端末装置に表示する技術を用いたとしても、操作対象の保守用アプリ画面をスマホに適切に表示することができず、視認性が低下するとともに、操作性が低下するという問題がある。

この発明は、上記のような課題を解決するためになされたものであり、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる遠隔制御システムを得ることを目的とする。

この発明に係る遠隔制御システムは、保守用端末の画面を操作端末に送信して表示するとともに、操作端末からの画面操作イベントに基づいて保守用端末を操作する遠隔制御システムであって、保守用端末は、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、を備え、操作端末は、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部を備えたものである。

この発明に係る遠隔制御システムによれば、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部とを備えている。
そのため、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる。

保守用端末の画面に複数の保守用アプリ画面と１つの非保守用アプリ画面とを表示した説明図である。保守用アプリ画面の１つを示す説明図である。操作端末の画面に抽出された保守用アプリ画面の画面部品を表示した説明図である。この発明の実施の形態１に係る遠隔制御システムを示すブロック構成図である。操作端末の画面にウィンドウタイトルと同画面のサムネイルとの一覧を表示した説明図である。この発明の実施の形態１に係る遠隔制御システムにおける保守用端末の処理を示すフローチャートである。この発明の実施の形態１に係る遠隔制御システムにおける操作端末の処理を示すフローチャートである。従来のＰＣ画面に保守用アプリ画面を表示した説明図である。図８に示したＰＣ画面をスマホ画面に送信して表示した説明図である。

以下、この発明に係る遠隔制御システムの好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。

実施の形態１．
まず、この発明の概要について説明する。この発明では、保守用端末に表示された複数のアプリ画面から、操作対象となるアプリ画面を１つ特定し、その画面のうち操作対象となる画面部品と状態とを抽出して操作端末に送信して表示するとともに、操作端末に表示されたアプリ画面の画面部品に対する操作を画面操作イベント情報として保守用端末に送信して、保守用端末のアプリ画面を操作することで、保守用端末を操作端末から操作可能とする。

ここで、操作対象となるアプリ画面を１つ特定することについて説明する。図１に示されているように、保守用端末に表示されたアプリ画面のうち、保守用アプリ画面１、２は、操作端末から遠隔操作する可能性のある画面であり、非保守用アプリ画面は、遠隔操作しない画面である。

この発明では、保守用端末に表示するアプリ画面のうち、表示・操作対象画面である保守用アプリ画面１、２を定義し、保守用端末の表示を監視して、新たに表示されたアプリ画面が表示・操作対象画面に該当する場合には、操作対象となるアプリ画面を１つ選択する。

続いて、操作対象となる画面部品と状態とを抽出することについて説明する。図２に示されているように、特定された保守用アプリ画面２は、ウィンドウタイトル、テキスト１、２、ビットマップ１、２およびボタン１、２といった画面部品を含んでいる。このとき、図３に示されているように、この保守用アプリ画面２での操作に必要なテキスト１、ビットマップ１およびボタン１のみを操作端末の画面に表示する。

この発明では、保守用アプリ画面毎の画面部品のうち、操作端末に表示する画面レイアウトを定義し、選択した画面部品を、画面レイアウトに従い、抽出・配置して操作端末の画面部品に置き換えて表示する。

次に、保守用端末のアプリ画面を操作することについて説明する。この発明では、操作端末から受信した画面操作イベント情報に基づいて、保守端末の同画面部品に対する同操作を実行する。

以下、図４に示されるブロック構成図に基づいて、この発明の実施の形態１に係る遠隔制御システムについて説明する。図４において、この遠隔制御システムは、例えばノートＰＣである保守用端末１と、スマートフォン（スマホ）である操作端末２とから構成されている。なお、保守用端末１と操作端末２とは、無線ＬＡＮ等で接続されている。また、保守用端末１には、エレベータの監視カメラ３およびエレベータ装置４が接続されている。

保守用端末１は、アプリ制御部１０により、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）２０を介して表示されている操作対象アプリ３０のアプリ画面の内容を取得するとともに、操作対象アプリ３０に対する操作を行い、非操作対象アプリ４０については、処理を行わないものである。

操作端末２は、ＯＳ２１を介して、操作・表示部２２に保守用端末１から送信された画面を表示させるとともに、操作・表示部２２に対する画面操作イベント情報を、保守用端末１に送信する。

アプリ制御部１０は、画面特定部１１、表示・操作対象画面設定部１２、画面表示・操作関係設定部１３、画面情報生成部１４、画面レイアウト設定部１５およびアプリ画面操作部１６から構成されている。

保守用端末１の画面特定部１１は、保守用端末１に表示された各アプリ画面から、表示・操作対象画面設定部１２の定義に従って、操作対象画面を１つ特定する。ここで、表示・操作対象画面設定部１２には、画面特定部１１が画面を特定するための定義として、画面の属性と画面識別子とが、以下に示すようにあらかじめ設定されている。

表示・操作対象画面設定部１２の設定例
１）ウィンドウタイトル｜ウィンドウ表示プロセス（アプリケーション）名｜画面識別子
２）ウィンドウタイトル｜ウィンドウ内の画面部品数｜画面識別子

具体的には、画面特定部１１は、画面に表示されている各アプリ画面の属性をＯＳ２０から取得して、表示・操作対象画面設定部１２の定義内の各属性と比較して、一致した属性があった場合に、その画面識別子を操作対象画面として特定し、同画面の画面ＩＤをＯＳ２０から取得する。なお、画面ＩＤは、ＯＳ２０の実行中に一意に画面を特定する画面ＩＤであり、例えばＷｉｎｄｏｗｓ（登録商標）であれば、ウィンドウハンドルが画面ＩＤに相当する。

また、画面表示・操作関係設定部１３には、画面特定部１１が画面を特定するための定義として、現在操作対象であるアプリ画面に対する操作と、操作に対して次に操作対象となる画面識別子とが、以下に示すようにあらかじめ設定されている。

画面表示・操作関係設定部１３の設定例
１）操作対象画面識別子｜操作内容｜次操作対象画面識別子
ここで、操作内容は、例えばボタンＡ押下、ボタンＢ押下、チェックボックスＡ選択等の操作であり、これらの操作によって操作対象となる画面が切り替わるか、または新しく表示される操作を定義する。

このとき、画面特定部１１は、画面表示・操作関係設定部１３の定義と比較して、特定した操作対象画面と一致する操作対象画面識別子の示す操作内容と、操作端末２に対して行われた操作の内容とが一致する場合には、次操作対象画面識別子を、操作対象画面候補として選択する。すなわち、画面特定部１１は、表示・操作対象画面設定部１２の定義に基づいて、候補の画面が表示されたことを特定する。

保守用端末１の画面情報生成部１４は、画面特定部１１が特定した画面識別子と画面ＩＤ（例えばウィンドウハンドル）とを用いて、画面レイアウト設定部１５の定義に従って、操作端末２に送信する画面レイアウト情報を生成する。具体的には、まず、画面情報生成部１４は、画面ＩＤから操作対象のアプリ画面の属性（ウィンドウタイトル、画面部品、部品状態）を取得する。画面部品と部品状態とには、以下に示すようなものがある。

画面部品｜部品状態の例
１）ボタン｜部品ＩＤ、ボタンタイトル、ボタン押下可否、ボタン押下状態
２）チェックボックス｜部品ＩＤ、表示項目名、選択項目名
３）リストボックス｜部品ＩＤ、表示項目名、選択項目名
４）テキスト｜部品ＩＤ、表示されている文字列、文字列の色
５）ビットマップ｜部品ＩＤ、表示されているビットマップデータ

画面レイアウト設定部１５は、画面識別子に対して、操作端末２に表示する画面部品を特定する情報を、以下に示すようにあらかじめ設定する。
画面レイアウト設定部１５の設定例
１）画面識別子｜表示する画面部品を特定する情報｜表示する画面部品を特定する情報｜・・・・・

ここで、表示する画面部品を特定する情報には、以下に示すようなものがある。
画面部品｜画面部品を特定する情報の例
１）ボタンＡ｜ボタンタイトル
２）リストボックス｜表示項目名
３）チェックボックス｜表示項目名
４）テキストＡ｜表示文字列
５）ビットマップ｜画面内領域座標

続いて、画面情報生成部１４は、操作対象のアプリ画面の画面部品、部品状態に基づいて、画面レイアウト設定部１５に設定された画面識別子の画面部品と画面部品を特定する情報とに一致する画面部品を選択して、以下に示すような画面レイアウト情報を生成する。

画面レイアウト情報の例
１）ボタンＡ｜部品ＩＤ｜ボタンタイトル、ボタン押下可否、ボタン押下状態
２）ボタンＢ｜部品ＩＤ｜ボタンタイトル、ボタン押下可否、ボタン押下状態
３）テキストＡ｜部品ＩＤ｜文字列、文字列の色
４）ビットマップＡ｜部品ＩＤ｜ビットマップデータ

なお、画面情報生成部１４は、画面レイアウト情報を操作端末２に送信した後、操作対象アプリ３０の画面変化を監視し、変化が発生した場合に、新たな画面レイアウト情報を生成して、操作端末２に送信する。

例えば、画面情報生成部１４は、保守用端末１に監視カメラ３の画像が表示されている場合に、監視カメラ３が正常に動作していることを判定するために、画像の変化を操作端末２の画面に表示することができる。また、画面情報生成部１４は、エレベータの階床表示等の数値変化やバナー文字列等変化、グラフの変化等についても、画像の変化を操作端末２の画面に表示することができる。

操作端末２の操作・表示部２２は、画面レイアウト情報を受信すると、画面レイアウト情報に基づいて、操作端末２の画面に各画面部品を表示する。例えば、ボタンＡについては、ボタンを画面レイアウト情報に記載されたボタンタイトル、押下可否、押下状態で作成して画面上に配置する。また、チェックボックスやリストボックス、テキスト、ビットマップについても同じように作成して画面上に配置する。

これらの画面部品は、操作端末２の特徴に合わせてレイアウトが決定されてもよい。例えば、小さい画面で見易くするため画面部品を大きくする、小さいタッチパネルで操作しやすくするため画面部品を大きくする等である。ビットマップは、操作端末の画面サイズに合わせてリサイズしてもよいし、スクロールバーを設けて同じサイズで表示してもよい。

また、操作・表示部２２は、操作端末２の画面に画面部品を表示した後、各画面部品に対する操作を監視し、操作があった場合に、以下に示すような画面操作イベント情報を生成して、保守用端末１に送信する。このとき、部品ＩＤは、各画面部品に対して受信したものをそのまま用いて応答する。

画面操作イベント情報の例
１）ボタンＡ｜部品ＩＤ｜ボタン押下
２）チェックボックスＡ｜部品ＩＤ｜項目選択
３）リストボックスＡ｜部品ＩＤ｜項目選択
４）ビットマップＡ｜部品ＩＤ｜クリック座標

保守用端末１のアプリ画面操作部１６は、受信した画面操作イベント情報に基づいて、操作対象のアプリ画面への操作を実行する。例えば、ボタンＡに対する画面操作イベント情報を受信した場合には、アプリ画面操作部１６は、部品ＩＤからアプリ画面内の画面部品を特定して、同画面部品に対するボタン押下を実行する。

なお、画面特定部１１は、保守用端末１に表示された各アプリ画面のうち、操作対象画面を１つ特定するが、ＯＳ２０の起動直後は、操作対象アプリ３０が起動されていないので、操作対象のアプリ画面がない。そこで、画面特定部１１は、操作対象のアプリ画面がない場合には、画面情報生成部１４に対して、初期画面生成指示を出力する。画面情報生成部１４は、初期画面の画面レイアウト情報として、起動するアプリ一覧を操作端末２に送信する。

ここで、起動するアプリ一覧は、画面レイアウト設定部１５に、以下に示すようにあらかじめ定義されている。
起動するアプリの例
１）保守アプリ１起動ボタン｜実行ファイル名
２）保守アプリ２起動ボタン｜実行ファイル名
・・・
ｎ）保守アプリｎ起動ボタン｜実行ファイル名

このとき、操作・表示部２２は、保守アプリ起動ボタンとして、起動するアプリ一覧を画面に表示し、ボタンが押下された場合に、画面操作イベント情報として、同ボタンに対応する実行ファイル名を保守用端末１に送信する。これに対して、アプリ画面操作部１６は、実行ファイル名を受信すると、ＯＳ２０に対して同実行ファイルの起動を指示する。

また、画面特定部１１は、保守用端末１に表示された各アプリ画面から操作対象画面を１つ特定する処理において、表示されているアプリ画面の情報を、画面情報生成部１４を介して画面レイアウト情報として操作・表示部２２に送信し、操作対象のアプリ画面を選択させてもよい。画面レイアウト情報の設定例には、以下に示すようなものがある。

画面レイアウト情報の設定例
１）ウィンドウタイトル１｜画面ＩＤ｜画面のサムネイルのビットマップ
２）ウィンドウタイトル２｜画面ＩＤ｜画面のサムネイルのビットマップ
・・・
ｎ）ウィンドウタイトルｎ｜画面ＩＤ｜画面のサムネイルのビットマップ

このとき、操作・表示部２２は、図５に示されるように、操作端末２の画面にウィンドウタイトルと同画面のサムネイルとの一覧を表示して、選択されたウィンドウタイトルまたはサムネイルに対応した画面ＩＤを保守用端末１に送信する。これに対して、画面特定部１１は、画面ＩＤの画面を操作対象画面として特定する。

続いて、図６のフローチャートを参照しながら、この発明の実施の形態１に係る遠隔制御システムにおける保守用端末１の処理について説明する。図６の処理は、例えばあらかじめ設定された任意のタイミングや、アプリケーションが起動されたタイミングで実行される。

図６において、まず、画面特定部１１は、画面情報生成部１４に対して、初期画面生成指示を出力し（ステップＳ１）、画面情報生成部１４は、初期画面の画面レイアウト情報を生成して操作端末２に送信する（ステップＳ２）。

続いて、アプリ画面操作部１６が画面操作イベント情報を受信すると（ステップＳ３）、保守アプリを起動し（ステップＳ４）、画面表示待ち、または定期的に表示画面が検索される（ステップＳ５）。

次に、画面にアプリ画面が表示されると、画面特定部１１は、操作対象画面であるか否かを判定する（ステップＳ６）。ステップＳ６において、操作対象画面ではない（すなわち、Ｎｏ）と判定された場合には、ステップＳ５に移行する。

一方、ステップＳ６において、対象画面である（すなわち、Ｙｅｓ）と判定された場合には、画面特定部１１は、操作対象画面として選択し（ステップＳ７）、画面情報生成部１４は、画面レイアウト情報を生成して操作端末２に送信する（ステップＳ８）。

続いて、アプリ画面操作部１６は、画面操作イベント情報を受信したか否かを判定する（ステップＳ９）。ステップＳ９において、画面操作イベント情報を受信していない（すなわち、Ｎｏ）と判定された場合には、画面情報生成部１４は、操作対象画面に変化があるか否かを判定する（ステップＳ１０）。

ステップＳ１０において、操作対象画面に変化がある（すなわち、Ｙｅｓ）と判定された場合には、ステップＳ８に移行する。一方、ステップＳ１０において、操作対象画面に変化がない（すなわち、Ｎｏ）と判定された場合には、ステップＳ９に移行する。

また一方、ステップＳ９において、画面操作イベント情報を受信した（すなわち、Ｙｅｓ）と判定された場合には、アプリ画面操作部１６は、操作対象画面を操作する（ステップＳ１１）。

次に、画面特定部１１は、画面表示・操作関係設定部１３内に、操作対象画面と操作対象画面に対する操作とが定義されているか否かを判定する（ステップＳ１２）。ステップＳ１２において、画面表示・操作関係設定部１３内に定義されていない（すなわち、Ｎｏ）と判定された場合には、ステップＳ５に移行する。

一方、ステップＳ１２において、画面表示・操作関係設定部１３内に定義されている（すなわち、Ｙｅｓ）と判定された場合には、画面特定部１１は、操作対象画面と操作対象画面に対する操作とが定義と一致しているか否かを判定する（ステップＳ１３）。ステップＳ１３において、操作対象画面と操作対象画面に対する操作とが定義と一致していない（すなわち、Ｎｏ）と判定された場合には、ステップＳ５に移行する。

一方、ステップＳ１３において、操作対象画面と操作対象画面に対する操作とが定義と一致している（すなわち、Ｙｅｓ）と判定された場合には、画面特定部１１は、定義内の次の画面を操作対象画面の候補に決定して（ステップＳ１４）、ステップＳ５に移行する。

次に、図７のフローチャートを参照しながら、この発明の実施の形態１に係る遠隔制御システムにおける操作端末２の処理について説明する。図７の処理は、例えばあらかじめ設定された任意のタイミングや、操作端末２が起動されたタイミングで実行される。

図７において、操作・表示部２２は、保守用端末１から画面レイアウト情報を受信し（ステップＳ２１）、表示画面を生成して表示するとともに（ステップＳ２２）、画面操作を監視する（ステップＳ２３）。

続いて、操作・表示部２２は、画面操作があったか否かを判定する（ステップＳ２４）。ステップＳ２４において、画面操作がない（すなわち、Ｎｏ）と判定された場合には、操作・表示部２２は、画面レイアウト情報を受信したか否かを判定する（ステップＳ２５）。

ステップＳ２５において、画面レイアウト情報を受信した（すなわち、Ｙｅｓ）と判定された場合には、ステップＳ２２に移行する。一方、ステップＳ２５において、画面レイアウト情報を受信していない（すなわち、Ｎｏ）と判定された場合には、ステップＳ２３に移行する。

一方、ステップＳ２４において、画面操作があった（すなわち、Ｙｅｓ）と判定された場合には、操作・表示部２２は、画面操作イベント情報を生成して保守用端末１に送信し（ステップＳ２６）、ステップＳ２３に移行する。

以上のように、実施の形態１によれば、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部とを備えている。
そのため、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる。

すなわち、相対的に大きいＰＣ画面のアプリを小さいスマホ画面で操作するために、操作対象となるアプリ画面を１つ特定して、同画面のうち操作対象となる画面部品のみをスマホで表示するようにしたので、スマホで視認・操作する場合において、視認性および操作性を向上させることができる。

１保守用端末、２操作端末、３監視カメラ、１０アプリ制御部、１１画面特定部、１２表示・操作対象画面設定部、１３画面表示・操作関係設定部、１４画面情報生成部、１５画面レイアウト設定部、１６アプリ画面操作部、２０ＯＳ、２１ＯＳ、２２操作・表示部、３０操作対象アプリ、４０非操作対象アプリ。

Claims

保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムであって、
前記保守用端末は、
前記保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、
前記画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して前記操作端末に送信する画面情報生成部と、を備え、
前記操作端末は、
前記画面レイアウト情報に基づいて、前記操作端末の画面に前記画面部品を表示するとともに、前記画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報を生成して前記保守用端末に送信する操作・表示部を備えた
遠隔制御システム。
前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルと一致するアプリ画面を、前記操作対象画面として特定する
請求項１に記載の遠隔制御システム。
前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルおよびウィンドウ表示プロセスと一致するアプリ画面を、前記操作対象画面として特定する
請求項１に記載の遠隔制御システム。
前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルおよびウィンドウ内の画面部品数と一致するアプリ画面を、前記操作対象画面として特定する
請求項１に記載の遠隔制御システム。
前記画面特定部は、前記画面特定部が特定した操作対象画面に対する操作と、この操作に対して次に操作対象となる画面とを定義した画面表示・操作関係設定部に従って、当該操作が行われた場合に、前記次に操作対象となる画面を操作対象画面の候補とする
請求項１から請求項４までの何れか１項に記載の遠隔制御システム。
前記画面情報生成部は、前記画面レイアウト情報を前記操作端末に送信した後、前記操作対象画面の変化を監視し、変化が発生した場合に、新たな画面レイアウト情報を生成して、前記操作端末に送信する
請求項１から請求項５までの何れか１項に記載の遠隔制御システム。
請求項１から請求項６までの何れか１項に記載の遠隔制御システムに適用される保守用端末であって、前記保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する保守用端末。
保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムにおける遠隔制御方法であって、
前記保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定ステップと、
前記画面特定ステップで特定された操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して前記操作端末に送信する画面情報生成ステップと、
前記画面レイアウト情報に基づいて、前記操作端末の画面に前記画面部品を表示するとともに、前記画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報を生成して前記保守用端末に送信する操作・表示ステップと、を備えた
遠隔制御方法。