JP2018112896A - Information processor, control method thereof, and program - Google Patents
Information processor, control method thereof, and program Download PDFInfo
- Publication number
- JP2018112896A JP2018112896A JP2017002844A JP2017002844A JP2018112896A JP 2018112896 A JP2018112896 A JP 2018112896A JP 2017002844 A JP2017002844 A JP 2017002844A JP 2017002844 A JP2017002844 A JP 2017002844A JP 2018112896 A JP2018112896 A JP 2018112896A
- Authority
- JP
- Japan
- Prior art keywords
- camera device
- application
- list
- image
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
Description
本発明は、情報処理装置、その制御方法、及びプログラムに関するものである。 The present invention relates to an information processing apparatus, a control method thereof, and a program.
画像形成装置等の製品のトラブル対応が複雑になるにつれ、ユーザがメーカーのコールセンターに質問し、回答を得るということが頻繁に行われている。特許文献1には、トラブル対応を迅速に行うため、ユーザの画像形成装置とコールセンターとの間での遠隔保守サービスが提案されている。遠隔保守サービスとは、画像形成装置のトラブル発生時にコールセンター側のオペレータが現地を訪問せずとも、遠隔からトラブル解決をサポートするものである。移動にかかる時間がなくなるため、トラブル解決までの時間を短縮することが可能となる。
As trouble handling of products such as image forming apparatuses becomes complicated, it is frequently performed that a user asks a maker's call center and obtains an answer.
こうした遠隔保守サービスでは、コールセンター側のオペレータのPCに接続されたカメラ等の画像入力装置によって入力された映像を用いてオペレータの姿をユーザに見せながら支援を行うことが行われている。また、特許文献2には、遠隔保守サービスにおいて、コールセンター側のオペレータと、ユーザが同一の画面を見ながら、トラブル解決を行う画面共有システムが提案されている。オペレータがトラブル解決に役立つ様々なコンテンツをPCのデスクトップ画面上で開き、同じ内容をユーザの画像形成装置の操作部にも表示することによって、ユーザと情報を共有しながらトラブル解決するという使い方が行われている。 In such a remote maintenance service, support is provided while showing the operator to the user using a video input by an image input device such as a camera connected to the PC of the operator on the call center side. Patent Document 2 proposes a screen sharing system that solves a problem while a remote center service and an operator on the call center side and a user see the same screen. Operators can solve problems while sharing information with the user by opening various contents useful for troubleshooting on the PC desktop screen and displaying the same contents on the operation unit of the user's image forming apparatus. It has been broken.
このようなデスクトップ画面を共有する手法として、仮想的なカメラデバイスをOSに登録し、オペレータのPCに仮想カメラデバイスが接続されていると認識させる方法がある。ここで、仮想カメラデバイスとは、実際のカメラデバイスを必要とせず、PCのデスクトップ画面の一部又は全体をキャプチャし、キャプチャした画像をPCに入力する機能である。仮想カメラデバイスは、例えば、PCのプロセッサがソフトウェアを実行することにより実現される。仮想カメラデバイスからPCに入力された画像は、物理的なカメラデバイスから入力された画像と同様に、ネットワークを介してユーザのMFPに送信することができる。この仮想カメラは、通常の画像入力装置がPCに接続されているのと同様に扱われるため、通常の画像入力装置と同様に複数のアプリケーションが共有して利用可能である。これは、例えば、PCのOS(Operation System)が管理するカメラライブラリに、物理的なカメラデバイスと、仮想カメラデバイスの両方を登録することにより実現される。PCを使用するオペレータは、カメラライブラリから使用したいカメラデバイスを選択して使用することができる。 As a method of sharing such a desktop screen, there is a method of registering a virtual camera device in the OS and recognizing that the virtual camera device is connected to the operator's PC. Here, the virtual camera device is a function that does not require an actual camera device, captures part or the whole of the desktop screen of the PC, and inputs the captured image to the PC. The virtual camera device is realized, for example, when a processor of a PC executes software. The image input from the virtual camera device to the PC can be transmitted to the user's MFP via the network in the same manner as the image input from the physical camera device. Since this virtual camera is handled in the same manner as a normal image input device connected to a PC, a plurality of applications can be shared and used in the same way as a normal image input device. This is realized, for example, by registering both a physical camera device and a virtual camera device in a camera library managed by an OS (Operation System) of the PC. An operator who uses a PC can select and use a camera device to be used from the camera library.
しかしながら、上記従来技術には以下に記載する課題がある。例えば、仮想カメラデバイスをOSのカメラライブラリに登録してしまうと、遠隔保守サービスのためのソフトウェアと異なる他のソフトウェアが仮想カメラデバイスを使用できる。つまり、仮想カメラデバイスを使用することができるアプリケーションが複数存在することとなる。したがって、他のアプリケーションが仮想カメラデバイスを使用している間は、遠隔支援アプリケーションが仮想カメラデバイスを使用できないという課題がある。 However, the above prior art has the following problems. For example, if the virtual camera device is registered in the OS camera library, other software different from the software for the remote maintenance service can use the virtual camera device. That is, there are a plurality of applications that can use the virtual camera device. Therefore, there is a problem that the remote support application cannot use the virtual camera device while another application is using the virtual camera device.
本発明は、上述の問題に鑑みて成されたものであり、画像入力装置としてカメラデバイスと仮想カメラデバイスとを有する場合に、アプリケーションに応じて利用可能な画像入力装置を好適に切り替えることによって、遠隔支援アプリケーションが仮想カメラデバイスを優先して利用可能な仕組みを提供することを目的とする。 The present invention has been made in view of the above-described problems, and when having a camera device and a virtual camera device as an image input device, by suitably switching an available image input device according to an application, It is an object to provide a mechanism in which a remote support application can use a virtual camera device with priority.
本発明は、中継サーバを介して画像形成装置と通信可能な情報処理装置であって、前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立手段と、前記確立手段によって前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加手段と、前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御手段とを備えることを特徴とする。 The present invention is an information processing apparatus capable of communicating with an image forming apparatus via a relay server, the establishing means for accessing the relay server and supporting the image forming apparatus, and the establishing means When the session is started, an image acquisition application for acquiring an image by capturing at least a part of a screen displayed on the display unit of the information processing apparatus is added to a list of camera devices for acquiring an image. An adding means for adding as a camera device, and a display control means for displaying a list of the camera devices on the display section so that the camera devices included in the list can be selected are provided.
本発明によれば、画像入力装置としてカメラデバイスと仮想カメラデバイスとを有する場合に、アプリケーションに応じて利用可能な画像入力装置を好適に切り替えることによって、遠隔支援アプリケーションが仮想カメラデバイスを優先して利用することができる。 According to the present invention, when the image input device includes a camera device and a virtual camera device, the remote support application gives priority to the virtual camera device by appropriately switching the image input device that can be used according to the application. Can be used.
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確立されるのであって、以下の個別の実施形態によって限定されるわけではない。 An embodiment of the present invention is shown below. The individual embodiments described below will help to understand various concepts, such as superordinate concepts, intermediate concepts and subordinate concepts of the present invention. Further, the technical scope of the present invention is established by the claims, and is not limited by the following individual embodiments.
<第1の実施形態>
<ネットワーク構成>
以下では、本発明の第1の実施形態について説明する。まず、図1を参照して、本実施形態に係るリモート支援を行う情報処理システムのネットワーク構成について説明する。
<First Embodiment>
<Network configuration>
Hereinafter, a first embodiment of the present invention will be described. First, a network configuration of an information processing system that performs remote support according to the present embodiment will be described with reference to FIG.
本システムは、画像形成装置101、情報処理装置であるオペレータPC102、及び中継サーバ103が通信可能に構成される。画像形成装置101及びオペレータPC102は、本発明を適用する装置として、互いの通信相手として動作する。画像形成装置101及びオペレータPC102は、HTTP(HyperText Transfer Protocol)により呼制御を実行してデータ通信を行うデータ通信機能を備える。
In this system, an
図1に示すように、画像形成装置101は、ファイアウォール(FW)104を通じてネットワーク106に接続されている。また、ネットワーク106には、FW105を通じてコールセンター側のオペレータPC102が接続されている。加えて、中継サーバ103がネットワーク106に接続されている。HTTPによるデータ通信においては、クライアントノード同士は中継サーバ103から提供されるURI(Uniform Resource Identifier)にPOST/GETリクエストを行うことでデータ通信を実施する。これにより、クライアントノード同士がプライベートアドレスエリアやFWに遮られていてもデータ通信を行うことができる。
As shown in FIG. 1, the
本実施形態では、画像形成装置101及びオペレータPC102はHTTPクライアントノードとして動作する。また、本実施形態ではクライアントノード間はネットワーク106に対してFWを介して通信する構成について説明するが、本発明はこれに限定されず、FWを介さないネットワーク構成を適用してもよい。また、ネットワーク106には図示したよりも多くのFW、画像形成装置、オペレータPCが接続されてもよい。また、本実施形態では、通信プロトコルとしてはHTTPでなくてもよい。
In this embodiment, the
<ハードウェア構成>
次に、図2を参照して、本実施形態に係る情報処理システムのハードウェア構成について説明する。画像形成装置101は、システム制御部200、オペレーションパネル212、画像入力装置213、音声入出力装置214、スキャナ215、及びプリンタ216を備える。システム制御部200は、スキャナI/F201、CPU202、ROM203、RAM204、HDD205、プリンタI/F207、パネル操作I/F208、画像入力I/F209、音声入出力I/F210、及びネットワークI/F211を備える。各デバイスはシステムバス206を介して相互にデータを送受することができる。
<Hardware configuration>
Next, a hardware configuration of the information processing system according to the present embodiment will be described with reference to FIG. The
CPU202は、ROM203又はハードディスク(HDD)205に記憶された制御プログラムに基づいてシステムバス206に接続される各種のデバイスとのアクセスを統括的に制御する。ROM203は、CPU202において実行可能な制御プログラム等を記憶している。RAM204は、主としてCPU202の主メモリ、ワークエリア等として機能し、不図示の増設ポートに接続されるオプションRAMによりメモリ容量を拡張することができる。ハードディスク(HDD)205は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル等を記憶する。なお、本実施形態ではHDD205を用いたが、HDD205の他にSDカードや、フラッシュメモリなどを外部記憶装置として利用してもよい。
The
スキャナI/F201は、スキャナ215からの画像入力を制御する。プリンタI/F207は、プリンタ216への画像出力を制御する。パネル操作I/F208は、オペレーションパネル212の表示制御、及びオペレーションパネル212で設定される各種設定情報の入力を制御する。画像入力I/F209は、カメラ等の画像入力装置213からの画像入力を制御する。音声入出力I/F210は、ヘッドセット等の音声入出力装置214との音声入出力を制御する。ネットワークI/F211は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。
A scanner I /
オペレータPC102は、制御部220、キーボード231、ディスプレイ232、画像入力装置233、及び音声入出力装置234を備える。制御部220は、CPU221、ROM222、RAM223、HDD224、ネットワークI/F226、キーボードI/F227、ディスプレイI/F228、画像入力I/F229、及び音声入出力I/F230を備える。
The
CPU221は、ROM222又はハードディスク(HDD)224に記憶された制御プログラムに基づいてシステムバス225に接続される各種のデバイスとのアクセスを統括的に制御する。ROM222は、CPU221が実行可能な制御プログラム等を記憶している。RAM223は、主としてCPU221の主メモリ、ワークエリア等として機能し、不図示の増設ポートに接続されるオプションRAMによりメモリ容量を拡張することができる。ハードディスク(HDD)224は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、及び編集ファイル等を記憶する。なお、本実施形態ではHDD224を用いたが、HDD224の他にSDカードや、フラッシュメモリなどを外部記憶装置として利用してもよい。
The
ネットワークI/F226は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。キーボードI/F227は、キーボード231や不図示のポインティングデバイスからのキー入力を制御する。ディプレイI/F228は、表示制御手段として機能し、ディスプレイ(表示部)232の表示を制御する。画像入力I/F229は、カメラ等の画像入力装置233からの画像入力を制御する。音声入出力I/F230は、ヘッドセット等の音声入出力装置234との音声入出力を制御する。
The network I /
中継サーバ103は、CPU241、ROM242、RAM243、HDD244、及びネットワークI/F246を備える。CPU241は、ROM242又はハードディスク(HDD)244に記憶された制御プログラムに基づいてシステムバス245に接続される各種のデバイスとのアクセスを統括的に制御する。ROM242は、CPU241が実行可能な制御プログラム等を記憶している。RAM243は、主としてCPU241の主メモリ、ワークエリア等として機能し、不図示の増設ポートに接続されるオプションRAMによりメモリ容量を拡張することができる。ハードディスク(HDD)244は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、及び編集ファイル等を記憶する。なお、本実施形態ではHDD244を用いたが、HDD244の他にSDカードや、フラッシュメモリなどを外部記憶装置として利用してもよい。ネットワークI/F246は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。
The
<画像入力装置のリスト表示>
次に、図3を参照して、オペレータPC102に表示される画像入力装置のリストの表示例について説明する。画像入力装置のリスト311は、項目312、313のいずれか一つを選択可能なUIであり、リスト321は項目322、323、324のいずれか一つを選択可能なUIである。
<List display of image input device>
Next, a display example of a list of image input devices displayed on the
リスト311は、オペレータPC102のOSが提供する画像入力I/F229に接続されていると認識している画像入力装置233の一覧から生成される。項目312では、画像入力装置233として内蔵カメラを選択し、項目313ではWEBカメラを選択することができる。
The
仮想カメラデバイスは、オペレータPC102に接続された画像入力装置として動作する仮想的なデバイス(画像取得アプリケーション)であり、ディスプレイ232に表示された画面の少なくとも一部をキャプチャして画像を取得する。さらに、仮想カメラデバイスは、取得した画像を他の画像入力装置と同じように扱うことができる。一般に、仮想カメラデバイスを画像入力装置として用いる場合には、オペレータPC102のOSに仮想カメラデバイスドライバを登録する。仮想カメラデバイスドライバをOSに登録すると、画像入力I/F229に接続されている画像入力装置233の一覧に、仮想カメラデバイスが含まれた状態となり、画像入力装置を用いるアプリケーション上で仮想カメラデバイスが選択可能となる。仮想カメラの仕組みを用いた場合、仮想カメラデバイスを使わずにアプリケーション自体が画像を取得し送信する場合と比較して、実際のカメラデバイスを用いる場合と同様の仕組みによって画像の取得や送信を行えるという利点がある。
The virtual camera device is a virtual device (image acquisition application) that operates as an image input device connected to the
しかし、仮想カメラデバイスをOSに登録すると仮想カメラデバイスが画像入力I/F229に接続されていると仮想的に定義されるため、仮想カメラデバイスを使用させたくないアプリケーションに対しても仮想カメラデバイスの選択が可能になってしまう。そこで、実際のカメラデバイスを使用する場合と同様の仕組みによって画像の取得や送信を行えるという利点を享受しつつ、他のアプリケーションからの仮想カメラデバイスの使用を制限するために、本実施形態では仮想カメラデバイスをOSには登録しない。
However, when a virtual camera device is registered in the OS, it is virtually defined that the virtual camera device is connected to the image input I /
具体的には、リスト311を取得した後に、仮想カメラデバイスの項目324を追加し、リスト321を生成する。このようにすることで、画像の取得や送信の処理は同様に行える一方、仮想カメラデバイスの項目324の追加処理を行わない他のアプリケーションからは仮想カメラデバイスを使用させないように制御することができる。なお、項目322、323は、項目312、313と同様の画像入力装置233の一例である。
Specifically, after obtaining the
このように、本実施形態に係るオペレータPC102は、OSに登録されている画像入力装置と、アプリケーションが有する仮想カメラデバイスを同じリストに表示し、その中から画像共有について使用するデバイスの何れか1つを選択可能な選択画面を表示する。これにより、複数のデバイスが同時には使用可能でないことを明示的に示すこともできる。例えば、遠隔支援を実現するためのアプリケーションからカメラデバイスを呼び出す際には、物理的なカメラデバイス及び仮想的なカメラデバイスがリスト表示されるようにする。これにより、遠隔支援のためのアプリケーションを使用するオペレータは、物理的なカメラデバイス、及び、仮想的なカメラデバイスの何れか一方を選択して使用することができる。
As described above, the
また、カメラデバイスの一覧表示において、複数のカメラデバイスを同時に選択できないようにすることによって、複数のカメラデバイスを同時に使用できないことをオペレータに示すことができる。これは、例えば、遠隔支援PCと支援される側の画像形成装置との間でのリソースの問題により、1本の画像通信セッションしか構築できないような場合に有効である。即ち、物理的なカメラデバイスが撮影した画像と、仮想的なカメラデバイスから入力された画像とを並行して画像形成装置に送信できないようなシステムの場合に有効である。或いは、画像形成装置の操作画面の表示領域のサイズが小さいため、物理的なカメラデバイスが撮影した画像と、仮想的なカメラデバイスによって入力された画像とを同時に表示すると見づらくなってしまうような場合にも有効である。複数のカメラデバイスのうち1つのデバイスが取得した画像のみが遠隔支援PCから送信されるようにすることで、画像形成装置側では複数のカメラデバイスが撮影した画像が同時に表示されないようにすることができる。 Further, by making it impossible to select a plurality of camera devices at the same time in the camera device list display, it is possible to indicate to the operator that a plurality of camera devices cannot be used simultaneously. This is effective when, for example, only one image communication session can be established due to a resource problem between the remote support PC and the supported image forming apparatus. In other words, this is effective for a system in which an image captured by a physical camera device and an image input from a virtual camera device cannot be transmitted to the image forming apparatus in parallel. Or, because the size of the display area of the operation screen of the image forming apparatus is small, it may be difficult to view the image captured by the physical camera device and the image input by the virtual camera device at the same time. Also effective. By causing only the image acquired by one of the plurality of camera devices to be transmitted from the remote support PC, it is possible to prevent images captured by the plurality of camera devices from being simultaneously displayed on the image forming apparatus side. it can.
一方、遠隔支援を実現するためのアプリケーション以外の他のアプリケーションがリストのカメラデバイスを利用する場合には、仮想的なカメラデバイスが選択可能なカメラデバイスとして表示されないようにする。例えば、仮想的なカメラデバイスの項目を表示しなくてもよいし、項目自体は表示するものの選択不可能に表示してもよい。このようにして、他のアプリケーションが仮想的なカメラデバイスを使用したことにより、遠隔支援を実現するためのアプリケーションが仮想的なカメラデバイスを使用できなくなることを防ぐことができる。 On the other hand, when an application other than the application for realizing the remote support uses the camera device in the list, the virtual camera device is not displayed as a selectable camera device. For example, the virtual camera device item may not be displayed, or the item itself may be displayed but not selectable. In this way, it is possible to prevent an application for realizing remote assistance from using the virtual camera device because other applications use the virtual camera device.
また、本発明は様々な変形が可能である。例えば、オペレータPC102は、上記他のアプリケーションがリストのカメラデバイスを利用する際には、オペレータに対して仮想的なカメラデバイスをリストに追加するか否かを問い合わせてもよい。問い合わせ方法については、特にどのような形態でもよく、例えばオペレータPC102はディスプレイ232に追加するか否かの選択画面を表示してもよい。この場合、オペレータPC102は、問い合わせ結果に応じて、仮想的なカメラデバイスを追加するか否かを決定してもよい。
The present invention can be variously modified. For example, when the other application uses a camera device in the list, the
<処理動作>
以下では、本実施形態に係るシステムの処理動作について説明する。ここでは、オペレータPC102を操作するオペレータが画像形成装置101で発生したトラブル等の解決を支援する際の、本実施形態に係る遠隔支援の詳細な動作について説明する。本実施形態では、最初に、画像形成装置101が中継サーバ103にアクセスして、画像データを受信するのを待つ状態となる。次に、オペレータPC102が中継サーバ103へアクセスして、画像データの送信を開始する。これによって、画像形成装置101は画像データを受信してオペレーションパネル212に画像を表示することが可能となる。なお、本発明は上記開始手順に限定されず、例えば、最初にオペレータPC102から画像形成装置101へアクセスして遠隔支援を開始するようにしてもよい。
<Processing operation>
Hereinafter, the processing operation of the system according to the present embodiment will be described. Here, a detailed operation of the remote support according to the present embodiment when the operator who operates the
<オペレータPCの動作>
まず、図4を参照して、本実施形態に係るオペレータPC102の処理手順について説明する。本フローチャートは、例えばHDD224に格納されたプログラムがRAM223に読み出され、CPU221によって実行されることで実現される。
<Operation of operator PC>
First, the processing procedure of the
S1101で、オペレータPC102のCPU221は、中継サーバ103に対して支援開始要求を送信する。支援開始要求の送信が完了すると、S1102で、CPU221は中継サーバ103から支援開始結果を受信する。続いて、S1103で、CPU221は、S1102で受信した支援開始結果が成功であるかどうかを判定する。支援開始結果が失敗である場合は本フローチャートの処理を終了する。一方、支援開始結果が成功である場合はS1104に進み、CPU221は、受信したデータからセッションID(SessionID)を取得する。セッションIDは中継サーバ103が発行する、支援を実施するための識別子である。
In step S <b> 1101, the
セッションIDを取得すると、S1105に進み、CPU221は、画像入力I/F229に接続された画像入力装置233のリストを取得する。リストを取得するとS1106に進み、CPU221は、取得したリストに仮想カメラデバイスの項目を追加し、S1107でオペレータPC102のUIに画像入力装置のリストを表示する。S1105において画像入力装置がオペレータPC102にひとつも接続されていなかった場合には、S1107で表示される画像入力装置リストはS1106で追加された仮想カメラデバイスの項目のみとなる。なお、S1106では、支援開始要求をトリガに開始された処理フローであるため、使用するアプリケーションが遠隔支援アプリケーションであるものとして上記追加処理を実行している。しかしながら、CPU221は、他のアプリケーションの可能性がある場合には、使用するアプリケーションが遠隔支援アプリケーションであるか否かをS1106の前に判定するようにしてもよい。この場合、遠隔支援アプリケーションでなければ処理を終了し、遠隔支援アプリケーションであればS1106の処理を実行するように制御することが望ましい。また、他のアプリケーションであってもその種別に応じて、遠隔支援アプリケーションと同様に、仮想的なカメラデバイスの追加処理を実行してもよい。この場合、CPU221は、追加処理を実行する他のアプリケーションをオペレータの入力に応じて設定するようにすることが望ましい。例えば、CPU221は、本フローチャートが実行される前に、予め上記設定を行うための設定画面をディスプレイ232に表示し、オペレータからの入力に従って設定を行ってもよい。
When the session ID is acquired, the process advances to step S1105, and the
次に、S1108で、CPU221は、ユーザ操作の情報を取得して、リストのどの項目が選択されたかを判定する。S1108で判定した選択項目がS1106で追加した仮想カメラデバイスである場合にはS1109に進み、CPU221は、仮想カメラアプリケーションを起動する。仮想カメラアプリケーションを起動すると、S1110で、CPU221は、キャプチャウインドウを表示する。仮想カメラアプリケーションはキャプチャウインドウの中に含まれる範囲のデスクトップ表示画面をキャプチャし画像として取得する。S1110で表示するキャプチャウインドウの位置は、オペレータPC102のマウス操作でドラッグすることにより動かすことが可能である。例えば、キャプチャウインドウのタイトルバーをドラッグすることにより動かすことができる。また、S1110で表示するキャプチャウインドウのサイズは、オペレータPC102のマウス操作でサイズを変更することが可能である。例えば、ウインドウ枠をマウスでドラッグすることによってサイズ変更が可能である。仮想カメラアプリケーションはキャプチャウインドウを表示すると、S1110で表示したキャプチャウインドウ内の画像を、仮想カメラアプリケーションの有する仮想カメラドライバに送信する。その後、S1111で、CPU221は、仮想カメラアプリケーションの有する仮想カメラドライバによってキャプチャ画像を取得する。
In step S <b> 1108, the
一方、S1108で取得した選択項目がS1106で追加した仮想カメラデバイス以外の画像入力装置である場合、S1112に進み、CPU221は、選択された画像入力装置に対応するOSに登録されたドライバによって画像を取得する。続いて、S1113で、CPU221は、中継サーバ103に画像送信要求を送信する。このとき、S1107で取得したセッションIDと、S1111又はS1112で取得した画像データが送信データに含まれる。
On the other hand, if the selection item acquired in S1108 is an image input device other than the virtual camera device added in S1106, the process proceeds to S1112, and the
次に、S1114で、CPU221は、支援を終了するか否かを判断する。この判断は中継サーバ103を介した画像形成装置101からの受信データから判断してもよいし、オペレータからの支援終了の指示から判断してもよい。支援を終了すると判断した場合は、S1116に進み、CPU221は、中継サーバ103へ支援終了要求を送信する。このとき、CPU221は、S1104で取得したセッションIDを送信データに含める。続いて、S1117で、CPU221は、中継サーバ103から支援終了結果を受信し、本フローチャートの処理を終了する。
Next, in S1114, the
一方、S1114で終了しないと判断した場合にはS1115に進み、CPU221は、リストで現在選択中の画像入力装置が仮想カメラデバイスであるか否かを判断する。選択中の画像入力装置がS1106で追加した仮想カメラデバイスの場合はS1111に戻り処理を継続する。選択中の画像入力装置が仮想カメラデバイスでなければ、S1112に戻り処理を継続する。
On the other hand, if it is determined in step S1114 that the process is not ended, the process advances to step S1115, and the
<画像形成装置の動作>
次に、図5を参照して、本実施形態に係る画像形成装置101の処理手順について説明する。本フローチャートは、例えば、HDD205に格納されたプログラムがRAM204に読み出され、CPU202によって実行されることで実現される。
<Operation of Image Forming Apparatus>
Next, a processing procedure of the
S1001で、CPU202は、本フローチャートが開始されると、まず中継サーバ103に対して支援開始要求を送信する。支援開始要求の送信が完了するとS1002で、CPU202は、中継サーバ103から支援開始結果を受信する。続いて、S1003で、CPU202は、S1002で受信した支援開始結果が成功であるかどうかを判定する。支援開始結果が失敗である場合は本フローチャートの処理を終了する。
In step S <b> 1001, when the flowchart is started, the
一方、支援開始結果が成功である場合は、S1004に進み、CPU202は、受信したデータからセッションIDを取得する。セッションIDは中継サーバ103が発行する、支援を実施するための識別子である。セッションIDを取得すると、S1005に進み、CPU202は、中継サーバ103へ画像受信要求を送信する。このとき、CPU202はS1004で取得したセッションIDを送信データに含める。画像受信要求の送信が完了すると、S1006に進み、CPU202は、中継サーバ103から画像データを受信する。S1006の受信処理はオペレータPC102が画像データを送信してから始まるため、オペレータPC102がまだ送信していない場合は、処理を待機することになる。
On the other hand, if the support start result is successful, the process proceeds to S1004, and the
次に、S1007で、CPU202は、受信した画像データを、オペレーションパネル212に表示する処理を実行する。表示してから一定時間が経過すると、S1008において、CPU202は、支援を終了するかどうかを判断する。この判断は、中継サーバ103を介したオペレータPC102からの受信データから判断してもよいし、画像形成装置101のオペレーションパネル212への入力から判断してもよい。終了しないと判断した場合は、S1005へ戻り、画像データをさらに受信する。終了すると判断した場合は、S1009に進み、CPU202は、中継サーバ103へ支援終了要求を送信する。このとき、CPU202は、S1004で取得したセッションIDを送信データに含める。支援終了要求の送信が完了すると、S1010に進み、CPU202は、中継サーバ103から支援終了結果を受信し、本フローチャートの処理を終了する。
In step S <b> 1007, the
<中継サーバの動作>
次に、図6を参照して、本実施形態に係る中継サーバ103の処理手順について説明する。本フローチャートは、例えばHDD244に格納されたプログラムがRAM243に読み出され、CPU241によって実行されることで実現される。
<Operation of relay server>
Next, a processing procedure of the
S1201で、CPU241は、受信したデータが支援開始要求であるか否かを判断する。支援開始要求であればS1202に進み、CPU241はセッションIDを生成する。続いて、S1203で、CPU241は、生成したセッションIDをHDD244に保存する。S1204で、CPU241は、クライアントへS1202で生成したセッションIDを、支援開始結果として送信する。S1204の処理でのクライアントは画像形成装置101とオペレータPC102とのいずれのケースもありうる。S1204が完了するとS1201に戻る。
In step S1201, the
S1201で受信データが支援開始要求でなければ、S1205で、CPU241は、受信したデータが画像受信要求であるか否かを判断する。受信したデータが画像受信要求である場合はS1206に進み、CPU241は、受信したデータからセッションIDを取得する。セッションIDの取得が完了すると、S1207に進み、CPU241は、セッションIDリストに取得したセッションIDが存在するか検証する。検証が完了すると、S1208で、CPU241は、S1207の検証結果に基づいて、取得したセッションIDがセッションIDリストに存在するか否かを判断する。存在しないと判断した場合はS1201に戻る。存在すると判断した場合、S1209に進み、CPU241は、S1206で取得したセッションIDが存在するセッションIDリスト内のデータに対応するデータバッファからデータ(画像データ)を取得する。データ取得が完了すると、S1210で、CPU241は、取得したデータをクライアントへ送信する。S1210でのクライアントは具体的には画像形成装置101である。S1210が完了するとS1201に戻る。
If the received data is not a support start request in S1201, in S1205, the
S1205で受信したデータが画像受信要求でなければ、S1211で、CPU241は、受信したデータが画像送信要求であるか否かを判断する。画像送信要求である場合は、S1212に進み、CPU241は、受信したデータからセッションIDを取得する。セッションIDの取得が完了すると、S1213で、CPU241は、セッションIDリストに取得したセッションIDが存在するか検証する。検証が完了すると、S1214で、CPU241は、検証結果に基づいて、取得したセッションIDがセッションIDリストに存在したか否かを判断する。存在しないと判断した場合はS1201に戻る。一方、存在すると判断した場合は、S1215に進み、CPU241は、受信したデータから画像データを取得する。続いて、S1216で、CPU241は、S1212で取得したセッションIDが存在するセッションIDリスト内のデータに対応するデータバッファに、画像データを保存する。この画像データを送信するクライアントは具体的にはオペレータPC102である。S1216が完了するとS1201に戻る。
If the data received in S1205 is not an image reception request, in S1211, the
S1211で受信したデータが画像送信要求でなければ、S1217で、CPU241は、受信したデータが支援終了要求であるか否かを判断する。支援終了要求である場合、S1218に進み、CPU241は、受信したデータからセッションIDを取得する。セッションIDの取得が完了すると、S1219で、CPU241は、セッションIDリストから取得したセッションIDを削除する。削除が完了すると、S1220で、CPU241は、クライアントへ支援終了通知を送信する。S1220の処理でのクライアントは画像形成装置101とオペレータPC102のどちらのケースもありうる。S1220が完了するとS1201に戻る。また、S1217で受信したデータが支援終了要求でないと判断すると、S1201に戻る。
If the data received in S1211 is not an image transmission request, in S1217, the
以上説明したように、本実施形態に係る情報処理装置であるオペレータPC102は、中継サーバ103を介して画像形成装置101と通信し、当該画像形成装置に対して遠隔からの支援を提供するものである。具体的には、本情報処理装置は、中継サーバ103にアクセスして画像形成装置101を支援するためのセッションを確立する。セッションが開始すると、本情報処理装置は、画像を取得するカメラデバイスのリストに、表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加し、当該リストを表示部に表示する。なお、画像取得アプリケーションを追加するか否かについての判定を行ってもよい。その場合には、当該リストに含まれるカメラデバイスを使用するアプリケーションに応じて判定してもよいし、現在のログインユーザによって判定してもよい。また、仮想カメラデバイスを追加するアプリケーションとして予めオペレータに設定されたアプリケーションであれば仮想カメラデバイスを追加するようにしてもよい。また、本情報処理装置は、カメラデバイスのリストを、当該リストに含まれるカメラデバイスを選択可能にディスプレイに表示する際、選択可能なカメラデバイスを1つに制限するように制御してもよい。また、追加されなかった仮想カメラデバイスを選択不可能に表示してもよい。このように、本実施形態に係る情報処理装置は、画像入力装置としてカメラデバイスと仮想カメラデバイスとを有する場合に、アプリケーションに応じて利用可能な画像入力装置を好適に切り替える。これにより、本実施形態によれば、遠隔支援アプリケーションが仮想カメラデバイスを優先して利用することができる。即ち、遠隔支援アプリケーションが仮想カメラデバイスを使用する際に、他のアプリケーションによって使用されているような状況を回避することができる。
As described above, the
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
101:画像形成装置、102:オペレータPC、103:中継サーバ、104、105:ファイアウォール、106:ネットワーク 101: Image forming apparatus, 102: Operator PC, 103: Relay server, 104, 105: Firewall, 106: Network
Claims (10)
前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立手段と、
前記確立手段によって前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加手段と、
前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御手段と
を備えることを特徴とする情報処理装置。 An information processing apparatus capable of communicating with an image forming apparatus via a relay server,
Establishing means for accessing the relay server to establish a session for supporting the image forming apparatus;
When the session is started by the establishing means, an image acquisition application for acquiring an image by capturing at least a part of a screen displayed on the display unit of the information processing apparatus in a list of camera devices for acquiring an image. Additional means to add as a virtual camera device;
An information processing apparatus comprising: a display control unit configured to display a list of the camera devices on the display unit so that a camera device included in the list can be selected.
前記追加手段は、
前記判定手段によって前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記遠隔支援アプリケーションであると判定されると、前記画像取得アプリケーションを前記カメラデバイスのリストに追加し、
前記判定手段によって前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記遠隔支援アプリケーションでないと判定されると、前記画像取得アプリケーションを前記カメラデバイスのリストに追加しないことを特徴とする請求項1に記載の情報処理装置。 A determination unit for determining whether an application that uses the camera device selected from the camera device list is a remote support application that supports the image forming apparatus;
The additional means includes
When it is determined that the application that uses the camera device selected from the camera device list by the determination unit is the remote support application, the image acquisition application is added to the camera device list;
The image acquisition application is not added to the camera device list when the determination unit determines that the application using the camera device selected from the camera device list is not the remote support application. Item 4. The information processing apparatus according to Item 1.
前記判定手段によって前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記遠隔支援アプリケーションでないと判定されると、前記画像取得アプリケーションを前記カメラデバイスのリストに追加するか否かをオペレータに問い合わせ、問い合わせ結果に応じて前記画像取得アプリケーションを前記カメラデバイスのリストに追加することを特徴とする請求項2に記載の情報処理装置。 The additional means includes
If the determination unit determines that the application using the camera device selected from the camera device list is not the remote support application, the operator is asked whether to add the image acquisition application to the camera device list. The information processing apparatus according to claim 2, wherein the image acquisition application is added to a list of the camera devices according to an inquiry and an inquiry result.
前記追加手段は、
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記設定手段によって設定されたアプリケーションであれば、前記前記画像取得アプリケーションを前記カメラデバイスのリストに追加し、
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記設定手段によって設定されたアプリケーションでなければ、前記前記画像取得アプリケーションを前記カメラデバイスのリストに追加しないことを特徴とする請求項1に記載の情報処理装置。 A setting unit configured to set an application that uses the image acquisition application;
The additional means includes
If the application that uses the camera device selected from the camera device list is an application set by the setting means, the image acquisition application is added to the camera device list,
2. The image acquisition application is not added to the camera device list unless an application using a camera device selected from the camera device list is an application set by the setting unit. The information processing apparatus described in 1.
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記設定手段によって設定されたアプリケーションでなければ、前記画像取得アプリケーションを前記カメラデバイスのリストに追加するか否かをオペレータに問い合わせ、問い合わせ結果に応じて前記画像取得アプリケーションを前記カメラデバイスのリストに追加することを特徴とする請求項4に記載の情報処理装置。 The additional means includes
If the application that uses the camera device selected from the camera device list is not the application set by the setting means, the operator is inquired whether to add the image acquisition application to the camera device list. The information processing apparatus according to claim 4, wherein the image acquisition application is added to the camera device list according to a result.
前記追加手段によって前記画像取得アプリケーションが前記カメラデバイスのリストに追加されない場合は、前記画像取得アプリケーションを選択不可能に表示することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 The display control means includes
6. The information according to claim 1, wherein when the image acquisition application is not added to the list of camera devices by the adding unit, the image acquisition application is displayed in an unselectable manner. Processing equipment.
前記カメラデバイスのリストに含まれるカメラデバイスの選択を1つに制限するように表示を制御することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。 The display control means includes
The information processing apparatus according to claim 1, wherein the display is controlled so as to limit the selection of camera devices included in the camera device list to one.
確立手段が、前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立工程と、
追加手段が、前記確立工程で前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加工程と、
表示制御手段が、前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御工程と
を実行することを特徴とする情報処理装置の制御方法。 An information processing apparatus control method capable of communicating with an image forming apparatus via a relay server,
An establishing step of establishing a session for accessing the relay server and supporting the image forming apparatus;
When the session is started in the establishing step, an adding unit captures at least a part of a screen displayed on the display unit of the information processing apparatus in the list of camera devices from which the image is acquired, and acquires the image An additional step of adding an image acquisition application as a virtual camera device;
And a display control step of displaying a list of the camera devices on the display unit so that the camera devices included in the list can be selected.
確立手段が、前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立工程と、
追加手段が、前記確立工程で前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加工程と、
表示制御手段が、前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御工程と
を実行することを特徴とするプログラム。 A program for causing a computer to execute each step in a control method of an information processing apparatus capable of communicating with an image forming apparatus via a relay server, wherein the control method includes:
An establishing step of establishing a session for accessing the relay server and supporting the image forming apparatus;
When the session is started in the establishing step, an adding unit captures at least a part of a screen displayed on the display unit of the information processing apparatus in the list of camera devices from which the image is acquired, and acquires the image An additional step of adding an image acquisition application as a virtual camera device;
A display control unit executes a display control step of displaying a list of the camera devices on the display unit so that a camera device included in the list can be selected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017002844A JP2018112896A (en) | 2017-01-11 | 2017-01-11 | Information processor, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017002844A JP2018112896A (en) | 2017-01-11 | 2017-01-11 | Information processor, control method thereof, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018112896A true JP2018112896A (en) | 2018-07-19 |
Family
ID=62912300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017002844A Pending JP2018112896A (en) | 2017-01-11 | 2017-01-11 | Information processor, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018112896A (en) |
-
2017
- 2017-01-11 JP JP2017002844A patent/JP2018112896A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5812797B2 (en) | Information processing system, image processing apparatus, control method, computer program, and user apparatus | |
US10313535B2 (en) | Remote support apparatus, electronic apparatus, remote support method, and storage medium | |
JP7262916B2 (en) | Information processing device, remote support system, control method and program for these | |
JP6971597B2 (en) | Information processing device, display control method, and program | |
JP7135149B2 (en) | Image processing device, information processing method, and program | |
US10320998B2 (en) | Information processing system, image forming apparatus, control methods thereof, and storage medium | |
JP6862191B2 (en) | Information processing device, its control method, and program | |
JP2015106292A (en) | Information processor, system, and control method for information processor | |
JP6611536B2 (en) | Remote support system, information processing apparatus, image processing apparatus, control method therefor, and program | |
JP2009208430A (en) | Image forming apparatus, system, method and program | |
US20220337664A1 (en) | Communication system, information processing apparatus, and information processing method | |
EP3001302B1 (en) | Communication relay device, computer program and communication relay method | |
JP2020171000A (en) | Imaging apparatus, system, imaging apparatus control method, and program | |
JP2018112896A (en) | Information processor, control method thereof, and program | |
JP2011077708A (en) | Relay server device and communication method | |
JP2019008491A (en) | Remote assistance system | |
JP2017136780A (en) | Image forming apparatus and method of controlling the same, support system for image forming apparatus and method of controlling the same, and program | |
JP5904205B2 (en) | Information sharing system, information sharing management device, and information sharing method | |
JP2020106878A (en) | Remote support system | |
JP7146431B2 (en) | System, information processing device, control method for information processing device, and program | |
JP6368150B2 (en) | Communication system and control method thereof, image forming apparatus and control method thereof, and program | |
JP2017212644A (en) | Communication device, system, information processing method, and program | |
JP5970092B2 (en) | Work support system and work support method | |
JP4060548B2 (en) | Remote monitoring control system and control server | |
JP2005285007A (en) | Web application server system, application server, gui application server, and user session data acquisition method |