[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2018112896A - Information processor, control method thereof, and program - Google Patents

Information processor, control method thereof, and program Download PDF

Info

Publication number
JP2018112896A
JP2018112896A JP2017002844A JP2017002844A JP2018112896A JP 2018112896 A JP2018112896 A JP 2018112896A JP 2017002844 A JP2017002844 A JP 2017002844A JP 2017002844 A JP2017002844 A JP 2017002844A JP 2018112896 A JP2018112896 A JP 2018112896A
Authority
JP
Japan
Prior art keywords
camera device
application
list
image
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017002844A
Other languages
Japanese (ja)
Inventor
宏史 望月
Hirofumi Mochizuki
宏史 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017002844A priority Critical patent/JP2018112896A/en
Publication of JP2018112896A publication Critical patent/JP2018112896A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a system in which when it includes a camera device and a virtual camera device as an image input device, a remote support application can utilize the virtual camera device preferentially by switching suitably the image input device available in accordance with an application.SOLUTION: Disclosed is an information processor communicating with an image forming apparatus via a relay server for providing support to the image forming apparatus remotely. More specifically, the information processor accesses the relay server for establishing a session to support the image forming apparatus. When the session starts, the information processor adds, as a virtual camera device, an image acquiring application for acquiring images by capturing at least a part of a screen displayed on a display unit into the list of camera devices that acquire images, and thus displays the list on the display unit.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置、その制御方法、及びプログラムに関するものである。   The present invention relates to an information processing apparatus, a control method thereof, and a program.

画像形成装置等の製品のトラブル対応が複雑になるにつれ、ユーザがメーカーのコールセンターに質問し、回答を得るということが頻繁に行われている。特許文献1には、トラブル対応を迅速に行うため、ユーザの画像形成装置とコールセンターとの間での遠隔保守サービスが提案されている。遠隔保守サービスとは、画像形成装置のトラブル発生時にコールセンター側のオペレータが現地を訪問せずとも、遠隔からトラブル解決をサポートするものである。移動にかかる時間がなくなるため、トラブル解決までの時間を短縮することが可能となる。   As trouble handling of products such as image forming apparatuses becomes complicated, it is frequently performed that a user asks a maker's call center and obtains an answer. Patent Document 1 proposes a remote maintenance service between a user's image forming apparatus and a call center in order to quickly deal with troubles. The remote maintenance service is used to support trouble solution from a remote location without an operator on the call center visiting the site when a trouble occurs in the image forming apparatus. Since the time required for movement is eliminated, it is possible to shorten the time until the trouble is solved.

こうした遠隔保守サービスでは、コールセンター側のオペレータのPCに接続されたカメラ等の画像入力装置によって入力された映像を用いてオペレータの姿をユーザに見せながら支援を行うことが行われている。また、特許文献2には、遠隔保守サービスにおいて、コールセンター側のオペレータと、ユーザが同一の画面を見ながら、トラブル解決を行う画面共有システムが提案されている。オペレータがトラブル解決に役立つ様々なコンテンツをPCのデスクトップ画面上で開き、同じ内容をユーザの画像形成装置の操作部にも表示することによって、ユーザと情報を共有しながらトラブル解決するという使い方が行われている。   In such a remote maintenance service, support is provided while showing the operator to the user using a video input by an image input device such as a camera connected to the PC of the operator on the call center side. Patent Document 2 proposes a screen sharing system that solves a problem while a remote center service and an operator on the call center side and a user see the same screen. Operators can solve problems while sharing information with the user by opening various contents useful for troubleshooting on the PC desktop screen and displaying the same contents on the operation unit of the user's image forming apparatus. It has been broken.

このようなデスクトップ画面を共有する手法として、仮想的なカメラデバイスをOSに登録し、オペレータのPCに仮想カメラデバイスが接続されていると認識させる方法がある。ここで、仮想カメラデバイスとは、実際のカメラデバイスを必要とせず、PCのデスクトップ画面の一部又は全体をキャプチャし、キャプチャした画像をPCに入力する機能である。仮想カメラデバイスは、例えば、PCのプロセッサがソフトウェアを実行することにより実現される。仮想カメラデバイスからPCに入力された画像は、物理的なカメラデバイスから入力された画像と同様に、ネットワークを介してユーザのMFPに送信することができる。この仮想カメラは、通常の画像入力装置がPCに接続されているのと同様に扱われるため、通常の画像入力装置と同様に複数のアプリケーションが共有して利用可能である。これは、例えば、PCのOS(Operation System)が管理するカメラライブラリに、物理的なカメラデバイスと、仮想カメラデバイスの両方を登録することにより実現される。PCを使用するオペレータは、カメラライブラリから使用したいカメラデバイスを選択して使用することができる。   As a method of sharing such a desktop screen, there is a method of registering a virtual camera device in the OS and recognizing that the virtual camera device is connected to the operator's PC. Here, the virtual camera device is a function that does not require an actual camera device, captures part or the whole of the desktop screen of the PC, and inputs the captured image to the PC. The virtual camera device is realized, for example, when a processor of a PC executes software. The image input from the virtual camera device to the PC can be transmitted to the user's MFP via the network in the same manner as the image input from the physical camera device. Since this virtual camera is handled in the same manner as a normal image input device connected to a PC, a plurality of applications can be shared and used in the same way as a normal image input device. This is realized, for example, by registering both a physical camera device and a virtual camera device in a camera library managed by an OS (Operation System) of the PC. An operator who uses a PC can select and use a camera device to be used from the camera library.

特開2005−208974号公報JP 2005-208974 A 特開2014−59720号公報JP 2014-59720 A

しかしながら、上記従来技術には以下に記載する課題がある。例えば、仮想カメラデバイスをOSのカメラライブラリに登録してしまうと、遠隔保守サービスのためのソフトウェアと異なる他のソフトウェアが仮想カメラデバイスを使用できる。つまり、仮想カメラデバイスを使用することができるアプリケーションが複数存在することとなる。したがって、他のアプリケーションが仮想カメラデバイスを使用している間は、遠隔支援アプリケーションが仮想カメラデバイスを使用できないという課題がある。   However, the above prior art has the following problems. For example, if the virtual camera device is registered in the OS camera library, other software different from the software for the remote maintenance service can use the virtual camera device. That is, there are a plurality of applications that can use the virtual camera device. Therefore, there is a problem that the remote support application cannot use the virtual camera device while another application is using the virtual camera device.

本発明は、上述の問題に鑑みて成されたものであり、画像入力装置としてカメラデバイスと仮想カメラデバイスとを有する場合に、アプリケーションに応じて利用可能な画像入力装置を好適に切り替えることによって、遠隔支援アプリケーションが仮想カメラデバイスを優先して利用可能な仕組みを提供することを目的とする。   The present invention has been made in view of the above-described problems, and when having a camera device and a virtual camera device as an image input device, by suitably switching an available image input device according to an application, It is an object to provide a mechanism in which a remote support application can use a virtual camera device with priority.

本発明は、中継サーバを介して画像形成装置と通信可能な情報処理装置であって、前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立手段と、前記確立手段によって前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加手段と、前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御手段とを備えることを特徴とする。   The present invention is an information processing apparatus capable of communicating with an image forming apparatus via a relay server, the establishing means for accessing the relay server and supporting the image forming apparatus, and the establishing means When the session is started, an image acquisition application for acquiring an image by capturing at least a part of a screen displayed on the display unit of the information processing apparatus is added to a list of camera devices for acquiring an image. An adding means for adding as a camera device, and a display control means for displaying a list of the camera devices on the display section so that the camera devices included in the list can be selected are provided.

本発明によれば、画像入力装置としてカメラデバイスと仮想カメラデバイスとを有する場合に、アプリケーションに応じて利用可能な画像入力装置を好適に切り替えることによって、遠隔支援アプリケーションが仮想カメラデバイスを優先して利用することができる。   According to the present invention, when the image input device includes a camera device and a virtual camera device, the remote support application gives priority to the virtual camera device by appropriately switching the image input device that can be used according to the application. Can be used.

一実施形態に係るネットワーク構成を示す図。The figure which shows the network structure which concerns on one Embodiment. 一実施形態に係る情報処理システムのハードウェア構成を示す図。The figure which shows the hardware constitutions of the information processing system which concerns on one Embodiment. 一実施形態に係る画像入力装置リストのUIを示す図。6 is a diagram showing a UI of an image input device list according to an embodiment. FIG. 一実施形態に係るオペレータPCの処理を示すフローチャート。The flowchart which shows the process of operator PC concerning one Embodiment. 一実施形態に係る画像形成装置の処理を示すフローチャート。6 is a flowchart illustrating processing of the image forming apparatus according to the embodiment. 一実施形態に係る中継サーバの処理を示すフローチャート。The flowchart which shows the process of the relay server which concerns on one Embodiment.

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確立されるのであって、以下の個別の実施形態によって限定されるわけではない。   An embodiment of the present invention is shown below. The individual embodiments described below will help to understand various concepts, such as superordinate concepts, intermediate concepts and subordinate concepts of the present invention. Further, the technical scope of the present invention is established by the claims, and is not limited by the following individual embodiments.

<第1の実施形態>
<ネットワーク構成>
以下では、本発明の第1の実施形態について説明する。まず、図1を参照して、本実施形態に係るリモート支援を行う情報処理システムのネットワーク構成について説明する。
<First Embodiment>
<Network configuration>
Hereinafter, a first embodiment of the present invention will be described. First, a network configuration of an information processing system that performs remote support according to the present embodiment will be described with reference to FIG.

本システムは、画像形成装置101、情報処理装置であるオペレータPC102、及び中継サーバ103が通信可能に構成される。画像形成装置101及びオペレータPC102は、本発明を適用する装置として、互いの通信相手として動作する。画像形成装置101及びオペレータPC102は、HTTP(HyperText Transfer Protocol)により呼制御を実行してデータ通信を行うデータ通信機能を備える。   In this system, an image forming apparatus 101, an operator PC 102 as an information processing apparatus, and a relay server 103 are configured to communicate with each other. The image forming apparatus 101 and the operator PC 102 operate as communication partners as apparatuses to which the present invention is applied. The image forming apparatus 101 and the operator PC 102 have a data communication function for performing call control by HTTP (Hyper Text Transfer Protocol) to perform data communication.

図1に示すように、画像形成装置101は、ファイアウォール(FW)104を通じてネットワーク106に接続されている。また、ネットワーク106には、FW105を通じてコールセンター側のオペレータPC102が接続されている。加えて、中継サーバ103がネットワーク106に接続されている。HTTPによるデータ通信においては、クライアントノード同士は中継サーバ103から提供されるURI(Uniform Resource Identifier)にPOST/GETリクエストを行うことでデータ通信を実施する。これにより、クライアントノード同士がプライベートアドレスエリアやFWに遮られていてもデータ通信を行うことができる。   As shown in FIG. 1, the image forming apparatus 101 is connected to a network 106 through a firewall (FW) 104. Further, an operator PC 102 on the call center side is connected to the network 106 through the FW 105. In addition, the relay server 103 is connected to the network 106. In HTTP data communication, client nodes perform data communication by making a POST / GET request to a URI (Uniform Resource Identifier) provided from the relay server 103. Thereby, data communication can be performed even if the client nodes are blocked by the private address area or FW.

本実施形態では、画像形成装置101及びオペレータPC102はHTTPクライアントノードとして動作する。また、本実施形態ではクライアントノード間はネットワーク106に対してFWを介して通信する構成について説明するが、本発明はこれに限定されず、FWを介さないネットワーク構成を適用してもよい。また、ネットワーク106には図示したよりも多くのFW、画像形成装置、オペレータPCが接続されてもよい。また、本実施形態では、通信プロトコルとしてはHTTPでなくてもよい。   In this embodiment, the image forming apparatus 101 and the operator PC 102 operate as an HTTP client node. In the present embodiment, a configuration in which client nodes communicate with the network 106 via FW will be described. However, the present invention is not limited to this, and a network configuration without FW may be applied. Further, more FWs, image forming apparatuses, and operator PCs than shown may be connected to the network 106. In this embodiment, the communication protocol may not be HTTP.

<ハードウェア構成>
次に、図2を参照して、本実施形態に係る情報処理システムのハードウェア構成について説明する。画像形成装置101は、システム制御部200、オペレーションパネル212、画像入力装置213、音声入出力装置214、スキャナ215、及びプリンタ216を備える。システム制御部200は、スキャナI/F201、CPU202、ROM203、RAM204、HDD205、プリンタI/F207、パネル操作I/F208、画像入力I/F209、音声入出力I/F210、及びネットワークI/F211を備える。各デバイスはシステムバス206を介して相互にデータを送受することができる。
<Hardware configuration>
Next, a hardware configuration of the information processing system according to the present embodiment will be described with reference to FIG. The image forming apparatus 101 includes a system control unit 200, an operation panel 212, an image input device 213, a voice input / output device 214, a scanner 215, and a printer 216. The system control unit 200 includes a scanner I / F 201, CPU 202, ROM 203, RAM 204, HDD 205, printer I / F 207, panel operation I / F 208, image input I / F 209, audio input / output I / F 210, and network I / F 211. . Each device can send and receive data to and from each other via the system bus 206.

CPU202は、ROM203又はハードディスク(HDD)205に記憶された制御プログラムに基づいてシステムバス206に接続される各種のデバイスとのアクセスを統括的に制御する。ROM203は、CPU202において実行可能な制御プログラム等を記憶している。RAM204は、主としてCPU202の主メモリ、ワークエリア等として機能し、不図示の増設ポートに接続されるオプションRAMによりメモリ容量を拡張することができる。ハードディスク(HDD)205は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル等を記憶する。なお、本実施形態ではHDD205を用いたが、HDD205の他にSDカードや、フラッシュメモリなどを外部記憶装置として利用してもよい。   The CPU 202 comprehensively controls access to various devices connected to the system bus 206 based on a control program stored in the ROM 203 or the hard disk (HDD) 205. The ROM 203 stores a control program that can be executed by the CPU 202. The RAM 204 mainly functions as a main memory, work area, and the like of the CPU 202, and the memory capacity can be expanded by an optional RAM connected to an expansion port (not shown). A hard disk (HDD) 205 stores a boot program, various applications, font data, user files, edit files, and the like. Although the HDD 205 is used in the present embodiment, an SD card or a flash memory may be used as an external storage device in addition to the HDD 205.

スキャナI/F201は、スキャナ215からの画像入力を制御する。プリンタI/F207は、プリンタ216への画像出力を制御する。パネル操作I/F208は、オペレーションパネル212の表示制御、及びオペレーションパネル212で設定される各種設定情報の入力を制御する。画像入力I/F209は、カメラ等の画像入力装置213からの画像入力を制御する。音声入出力I/F210は、ヘッドセット等の音声入出力装置214との音声入出力を制御する。ネットワークI/F211は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。   A scanner I / F 201 controls image input from the scanner 215. A printer I / F 207 controls image output to the printer 216. A panel operation I / F 208 controls display control of the operation panel 212 and input of various setting information set on the operation panel 212. An image input I / F 209 controls image input from an image input device 213 such as a camera. The voice input / output I / F 210 controls voice input / output with the voice input / output device 214 such as a headset. The network I / F 211 performs data communication with an external network via a network cable.

オペレータPC102は、制御部220、キーボード231、ディスプレイ232、画像入力装置233、及び音声入出力装置234を備える。制御部220は、CPU221、ROM222、RAM223、HDD224、ネットワークI/F226、キーボードI/F227、ディスプレイI/F228、画像入力I/F229、及び音声入出力I/F230を備える。   The operator PC 102 includes a control unit 220, a keyboard 231, a display 232, an image input device 233, and a voice input / output device 234. The control unit 220 includes a CPU 221, ROM 222, RAM 223, HDD 224, network I / F 226, keyboard I / F 227, display I / F 228, image input I / F 229, and audio input / output I / F 230.

CPU221は、ROM222又はハードディスク(HDD)224に記憶された制御プログラムに基づいてシステムバス225に接続される各種のデバイスとのアクセスを統括的に制御する。ROM222は、CPU221が実行可能な制御プログラム等を記憶している。RAM223は、主としてCPU221の主メモリ、ワークエリア等として機能し、不図示の増設ポートに接続されるオプションRAMによりメモリ容量を拡張することができる。ハードディスク(HDD)224は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、及び編集ファイル等を記憶する。なお、本実施形態ではHDD224を用いたが、HDD224の他にSDカードや、フラッシュメモリなどを外部記憶装置として利用してもよい。   The CPU 221 comprehensively controls access to various devices connected to the system bus 225 based on a control program stored in the ROM 222 or the hard disk (HDD) 224. The ROM 222 stores a control program that can be executed by the CPU 221. The RAM 223 mainly functions as a main memory, a work area, and the like of the CPU 221, and the memory capacity can be expanded by an option RAM connected to an expansion port (not shown). A hard disk (HDD) 224 stores a boot program, various applications, font data, user files, edit files, and the like. Although the HDD 224 is used in the present embodiment, an SD card or a flash memory may be used as an external storage device in addition to the HDD 224.

ネットワークI/F226は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。キーボードI/F227は、キーボード231や不図示のポインティングデバイスからのキー入力を制御する。ディプレイI/F228は、表示制御手段として機能し、ディスプレイ(表示部)232の表示を制御する。画像入力I/F229は、カメラ等の画像入力装置233からの画像入力を制御する。音声入出力I/F230は、ヘッドセット等の音声入出力装置234との音声入出力を制御する。   The network I / F 226 performs data communication with an external network via a network cable. A keyboard I / F 227 controls key input from a keyboard 231 or a pointing device (not shown). The display I / F 228 functions as a display control unit and controls display on the display (display unit) 232. The image input I / F 229 controls image input from the image input device 233 such as a camera. The voice input / output I / F 230 controls voice input / output with the voice input / output device 234 such as a headset.

中継サーバ103は、CPU241、ROM242、RAM243、HDD244、及びネットワークI/F246を備える。CPU241は、ROM242又はハードディスク(HDD)244に記憶された制御プログラムに基づいてシステムバス245に接続される各種のデバイスとのアクセスを統括的に制御する。ROM242は、CPU241が実行可能な制御プログラム等を記憶している。RAM243は、主としてCPU241の主メモリ、ワークエリア等として機能し、不図示の増設ポートに接続されるオプションRAMによりメモリ容量を拡張することができる。ハードディスク(HDD)244は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、及び編集ファイル等を記憶する。なお、本実施形態ではHDD244を用いたが、HDD244の他にSDカードや、フラッシュメモリなどを外部記憶装置として利用してもよい。ネットワークI/F246は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。   The relay server 103 includes a CPU 241, a ROM 242, a RAM 243, an HDD 244, and a network I / F 246. The CPU 241 comprehensively controls access to various devices connected to the system bus 245 based on a control program stored in the ROM 242 or the hard disk (HDD) 244. The ROM 242 stores a control program that can be executed by the CPU 241. The RAM 243 mainly functions as a main memory, a work area, and the like of the CPU 241, and the memory capacity can be expanded by an optional RAM connected to an expansion port (not shown). A hard disk (HDD) 244 stores a boot program, various applications, font data, user files, edit files, and the like. Although the HDD 244 is used in the present embodiment, an SD card or a flash memory may be used as an external storage device in addition to the HDD 244. The network I / F 246 performs data communication with an external network via a network cable.

<画像入力装置のリスト表示>
次に、図3を参照して、オペレータPC102に表示される画像入力装置のリストの表示例について説明する。画像入力装置のリスト311は、項目312、313のいずれか一つを選択可能なUIであり、リスト321は項目322、323、324のいずれか一つを選択可能なUIである。
<List display of image input device>
Next, a display example of a list of image input devices displayed on the operator PC 102 will be described with reference to FIG. The list 311 of image input devices is a UI that can select any one of items 312 and 313, and the list 321 is a UI that can select any one of items 322, 323, and 324.

リスト311は、オペレータPC102のOSが提供する画像入力I/F229に接続されていると認識している画像入力装置233の一覧から生成される。項目312では、画像入力装置233として内蔵カメラを選択し、項目313ではWEBカメラを選択することができる。   The list 311 is generated from a list of image input devices 233 recognized as being connected to the image input I / F 229 provided by the OS of the operator PC 102. In item 312, a built-in camera can be selected as the image input device 233, and in item 313, a WEB camera can be selected.

仮想カメラデバイスは、オペレータPC102に接続された画像入力装置として動作する仮想的なデバイス(画像取得アプリケーション)であり、ディスプレイ232に表示された画面の少なくとも一部をキャプチャして画像を取得する。さらに、仮想カメラデバイスは、取得した画像を他の画像入力装置と同じように扱うことができる。一般に、仮想カメラデバイスを画像入力装置として用いる場合には、オペレータPC102のOSに仮想カメラデバイスドライバを登録する。仮想カメラデバイスドライバをOSに登録すると、画像入力I/F229に接続されている画像入力装置233の一覧に、仮想カメラデバイスが含まれた状態となり、画像入力装置を用いるアプリケーション上で仮想カメラデバイスが選択可能となる。仮想カメラの仕組みを用いた場合、仮想カメラデバイスを使わずにアプリケーション自体が画像を取得し送信する場合と比較して、実際のカメラデバイスを用いる場合と同様の仕組みによって画像の取得や送信を行えるという利点がある。   The virtual camera device is a virtual device (image acquisition application) that operates as an image input device connected to the operator PC 102 and acquires at least a part of the screen displayed on the display 232 to acquire an image. Furthermore, the virtual camera device can handle the acquired image in the same manner as other image input devices. In general, when a virtual camera device is used as an image input device, a virtual camera device driver is registered in the OS of the operator PC 102. When the virtual camera device driver is registered in the OS, the virtual camera device is included in the list of the image input devices 233 connected to the image input I / F 229, and the virtual camera device is displayed on the application using the image input device. Selectable. When the virtual camera mechanism is used, images can be acquired and transmitted by the same mechanism as when using an actual camera device, compared to when the application itself acquires and transmits an image without using a virtual camera device. There is an advantage.

しかし、仮想カメラデバイスをOSに登録すると仮想カメラデバイスが画像入力I/F229に接続されていると仮想的に定義されるため、仮想カメラデバイスを使用させたくないアプリケーションに対しても仮想カメラデバイスの選択が可能になってしまう。そこで、実際のカメラデバイスを使用する場合と同様の仕組みによって画像の取得や送信を行えるという利点を享受しつつ、他のアプリケーションからの仮想カメラデバイスの使用を制限するために、本実施形態では仮想カメラデバイスをOSには登録しない。   However, when a virtual camera device is registered in the OS, it is virtually defined that the virtual camera device is connected to the image input I / F 229. Therefore, even for applications that do not want to use the virtual camera device, Selection will be possible. Therefore, in order to limit the use of virtual camera devices from other applications while enjoying the advantage that images can be acquired and transmitted by the same mechanism as when using an actual camera device, in this embodiment, virtual The camera device is not registered in the OS.

具体的には、リスト311を取得した後に、仮想カメラデバイスの項目324を追加し、リスト321を生成する。このようにすることで、画像の取得や送信の処理は同様に行える一方、仮想カメラデバイスの項目324の追加処理を行わない他のアプリケーションからは仮想カメラデバイスを使用させないように制御することができる。なお、項目322、323は、項目312、313と同様の画像入力装置233の一例である。   Specifically, after obtaining the list 311, the virtual camera device item 324 is added to generate the list 321. In this way, image acquisition and transmission processing can be performed in the same manner, but control can be performed so that the virtual camera device is not used from other applications that do not perform additional processing of the virtual camera device item 324. . The items 322 and 323 are an example of the image input device 233 similar to the items 312 and 313.

このように、本実施形態に係るオペレータPC102は、OSに登録されている画像入力装置と、アプリケーションが有する仮想カメラデバイスを同じリストに表示し、その中から画像共有について使用するデバイスの何れか1つを選択可能な選択画面を表示する。これにより、複数のデバイスが同時には使用可能でないことを明示的に示すこともできる。例えば、遠隔支援を実現するためのアプリケーションからカメラデバイスを呼び出す際には、物理的なカメラデバイス及び仮想的なカメラデバイスがリスト表示されるようにする。これにより、遠隔支援のためのアプリケーションを使用するオペレータは、物理的なカメラデバイス、及び、仮想的なカメラデバイスの何れか一方を選択して使用することができる。   As described above, the operator PC 102 according to the present embodiment displays the image input device registered in the OS and the virtual camera device included in the application in the same list, and any one of the devices used for image sharing from the list. Displays a selection screen where one can be selected. This can also explicitly indicate that multiple devices are not available at the same time. For example, when a camera device is called from an application for realizing remote support, a physical camera device and a virtual camera device are displayed in a list. Accordingly, an operator who uses an application for remote support can select and use either a physical camera device or a virtual camera device.

また、カメラデバイスの一覧表示において、複数のカメラデバイスを同時に選択できないようにすることによって、複数のカメラデバイスを同時に使用できないことをオペレータに示すことができる。これは、例えば、遠隔支援PCと支援される側の画像形成装置との間でのリソースの問題により、1本の画像通信セッションしか構築できないような場合に有効である。即ち、物理的なカメラデバイスが撮影した画像と、仮想的なカメラデバイスから入力された画像とを並行して画像形成装置に送信できないようなシステムの場合に有効である。或いは、画像形成装置の操作画面の表示領域のサイズが小さいため、物理的なカメラデバイスが撮影した画像と、仮想的なカメラデバイスによって入力された画像とを同時に表示すると見づらくなってしまうような場合にも有効である。複数のカメラデバイスのうち1つのデバイスが取得した画像のみが遠隔支援PCから送信されるようにすることで、画像形成装置側では複数のカメラデバイスが撮影した画像が同時に表示されないようにすることができる。   Further, by making it impossible to select a plurality of camera devices at the same time in the camera device list display, it is possible to indicate to the operator that a plurality of camera devices cannot be used simultaneously. This is effective when, for example, only one image communication session can be established due to a resource problem between the remote support PC and the supported image forming apparatus. In other words, this is effective for a system in which an image captured by a physical camera device and an image input from a virtual camera device cannot be transmitted to the image forming apparatus in parallel. Or, because the size of the display area of the operation screen of the image forming apparatus is small, it may be difficult to view the image captured by the physical camera device and the image input by the virtual camera device at the same time. Also effective. By causing only the image acquired by one of the plurality of camera devices to be transmitted from the remote support PC, it is possible to prevent images captured by the plurality of camera devices from being simultaneously displayed on the image forming apparatus side. it can.

一方、遠隔支援を実現するためのアプリケーション以外の他のアプリケーションがリストのカメラデバイスを利用する場合には、仮想的なカメラデバイスが選択可能なカメラデバイスとして表示されないようにする。例えば、仮想的なカメラデバイスの項目を表示しなくてもよいし、項目自体は表示するものの選択不可能に表示してもよい。このようにして、他のアプリケーションが仮想的なカメラデバイスを使用したことにより、遠隔支援を実現するためのアプリケーションが仮想的なカメラデバイスを使用できなくなることを防ぐことができる。   On the other hand, when an application other than the application for realizing the remote support uses the camera device in the list, the virtual camera device is not displayed as a selectable camera device. For example, the virtual camera device item may not be displayed, or the item itself may be displayed but not selectable. In this way, it is possible to prevent an application for realizing remote assistance from using the virtual camera device because other applications use the virtual camera device.

また、本発明は様々な変形が可能である。例えば、オペレータPC102は、上記他のアプリケーションがリストのカメラデバイスを利用する際には、オペレータに対して仮想的なカメラデバイスをリストに追加するか否かを問い合わせてもよい。問い合わせ方法については、特にどのような形態でもよく、例えばオペレータPC102はディスプレイ232に追加するか否かの選択画面を表示してもよい。この場合、オペレータPC102は、問い合わせ結果に応じて、仮想的なカメラデバイスを追加するか否かを決定してもよい。   The present invention can be variously modified. For example, when the other application uses a camera device in the list, the operator PC 102 may inquire of the operator whether or not to add a virtual camera device to the list. The inquiry method may be in any form. For example, the operator PC 102 may display a selection screen as to whether or not to add to the display 232. In this case, the operator PC 102 may determine whether to add a virtual camera device according to the inquiry result.

<処理動作>
以下では、本実施形態に係るシステムの処理動作について説明する。ここでは、オペレータPC102を操作するオペレータが画像形成装置101で発生したトラブル等の解決を支援する際の、本実施形態に係る遠隔支援の詳細な動作について説明する。本実施形態では、最初に、画像形成装置101が中継サーバ103にアクセスして、画像データを受信するのを待つ状態となる。次に、オペレータPC102が中継サーバ103へアクセスして、画像データの送信を開始する。これによって、画像形成装置101は画像データを受信してオペレーションパネル212に画像を表示することが可能となる。なお、本発明は上記開始手順に限定されず、例えば、最初にオペレータPC102から画像形成装置101へアクセスして遠隔支援を開始するようにしてもよい。
<Processing operation>
Hereinafter, the processing operation of the system according to the present embodiment will be described. Here, a detailed operation of the remote support according to the present embodiment when the operator who operates the operator PC 102 assists in solving a trouble that has occurred in the image forming apparatus 101 will be described. In this embodiment, first, the image forming apparatus 101 accesses the relay server 103 and waits for reception of image data. Next, the operator PC 102 accesses the relay server 103 and starts transmitting image data. As a result, the image forming apparatus 101 can receive the image data and display an image on the operation panel 212. Note that the present invention is not limited to the above start procedure. For example, the remote support may be started by first accessing the image forming apparatus 101 from the operator PC 102.

<オペレータPCの動作>
まず、図4を参照して、本実施形態に係るオペレータPC102の処理手順について説明する。本フローチャートは、例えばHDD224に格納されたプログラムがRAM223に読み出され、CPU221によって実行されることで実現される。
<Operation of operator PC>
First, the processing procedure of the operator PC 102 according to the present embodiment will be described with reference to FIG. This flowchart is realized by, for example, a program stored in the HDD 224 being read into the RAM 223 and executed by the CPU 221.

S1101で、オペレータPC102のCPU221は、中継サーバ103に対して支援開始要求を送信する。支援開始要求の送信が完了すると、S1102で、CPU221は中継サーバ103から支援開始結果を受信する。続いて、S1103で、CPU221は、S1102で受信した支援開始結果が成功であるかどうかを判定する。支援開始結果が失敗である場合は本フローチャートの処理を終了する。一方、支援開始結果が成功である場合はS1104に進み、CPU221は、受信したデータからセッションID(SessionID)を取得する。セッションIDは中継サーバ103が発行する、支援を実施するための識別子である。   In step S <b> 1101, the CPU 221 of the operator PC 102 transmits a support start request to the relay server 103. When the transmission of the support start request is completed, the CPU 221 receives the support start result from the relay server 103 in S1102. Subsequently, in S1103, the CPU 221 determines whether the support start result received in S1102 is successful. If the support start result is a failure, the process of this flowchart is terminated. On the other hand, if the support start result is successful, the process proceeds to S1104, and the CPU 221 acquires a session ID (SessionID) from the received data. The session ID is an identifier for implementing support issued by the relay server 103.

セッションIDを取得すると、S1105に進み、CPU221は、画像入力I/F229に接続された画像入力装置233のリストを取得する。リストを取得するとS1106に進み、CPU221は、取得したリストに仮想カメラデバイスの項目を追加し、S1107でオペレータPC102のUIに画像入力装置のリストを表示する。S1105において画像入力装置がオペレータPC102にひとつも接続されていなかった場合には、S1107で表示される画像入力装置リストはS1106で追加された仮想カメラデバイスの項目のみとなる。なお、S1106では、支援開始要求をトリガに開始された処理フローであるため、使用するアプリケーションが遠隔支援アプリケーションであるものとして上記追加処理を実行している。しかしながら、CPU221は、他のアプリケーションの可能性がある場合には、使用するアプリケーションが遠隔支援アプリケーションであるか否かをS1106の前に判定するようにしてもよい。この場合、遠隔支援アプリケーションでなければ処理を終了し、遠隔支援アプリケーションであればS1106の処理を実行するように制御することが望ましい。また、他のアプリケーションであってもその種別に応じて、遠隔支援アプリケーションと同様に、仮想的なカメラデバイスの追加処理を実行してもよい。この場合、CPU221は、追加処理を実行する他のアプリケーションをオペレータの入力に応じて設定するようにすることが望ましい。例えば、CPU221は、本フローチャートが実行される前に、予め上記設定を行うための設定画面をディスプレイ232に表示し、オペレータからの入力に従って設定を行ってもよい。   When the session ID is acquired, the process advances to step S1105, and the CPU 221 acquires a list of image input devices 233 connected to the image input I / F 229. When the list is acquired, the process advances to step S1106, and the CPU 221 adds a virtual camera device item to the acquired list, and displays the list of image input devices on the UI of the operator PC 102 in step S1107. If no image input device is connected to the operator PC 102 in S1105, the image input device list displayed in S1107 is only the virtual camera device item added in S1106. In S1106, since the processing flow is started with the assistance start request as a trigger, the additional processing is executed assuming that the application to be used is a remote assistance application. However, if there is a possibility of another application, the CPU 221 may determine whether or not the application to be used is a remote support application before S1106. In this case, it is desirable to control so as to end the process if it is not a remote support application, and to execute the process of S1106 if it is a remote support application. Further, even for other applications, virtual camera device addition processing may be executed in the same manner as the remote support application according to the type of the other application. In this case, it is desirable for the CPU 221 to set another application for executing the additional processing in accordance with an operator input. For example, the CPU 221 may display a setting screen for performing the above setting on the display 232 in advance and execute the setting according to an input from the operator before the flowchart is executed.

次に、S1108で、CPU221は、ユーザ操作の情報を取得して、リストのどの項目が選択されたかを判定する。S1108で判定した選択項目がS1106で追加した仮想カメラデバイスである場合にはS1109に進み、CPU221は、仮想カメラアプリケーションを起動する。仮想カメラアプリケーションを起動すると、S1110で、CPU221は、キャプチャウインドウを表示する。仮想カメラアプリケーションはキャプチャウインドウの中に含まれる範囲のデスクトップ表示画面をキャプチャし画像として取得する。S1110で表示するキャプチャウインドウの位置は、オペレータPC102のマウス操作でドラッグすることにより動かすことが可能である。例えば、キャプチャウインドウのタイトルバーをドラッグすることにより動かすことができる。また、S1110で表示するキャプチャウインドウのサイズは、オペレータPC102のマウス操作でサイズを変更することが可能である。例えば、ウインドウ枠をマウスでドラッグすることによってサイズ変更が可能である。仮想カメラアプリケーションはキャプチャウインドウを表示すると、S1110で表示したキャプチャウインドウ内の画像を、仮想カメラアプリケーションの有する仮想カメラドライバに送信する。その後、S1111で、CPU221は、仮想カメラアプリケーションの有する仮想カメラドライバによってキャプチャ画像を取得する。   In step S <b> 1108, the CPU 221 obtains user operation information and determines which item in the list has been selected. If the selection item determined in S1108 is the virtual camera device added in S1106, the process proceeds to S1109, and the CPU 221 activates the virtual camera application. When the virtual camera application is activated, in S1110, the CPU 221 displays a capture window. The virtual camera application captures a range of the desktop display screen included in the capture window and acquires it as an image. The position of the capture window displayed in S1110 can be moved by dragging with the mouse operation of the operator PC. For example, it can be moved by dragging the title bar of the capture window. In addition, the size of the capture window displayed in S1110 can be changed by operating the mouse of the operator PC 102. For example, the size can be changed by dragging the window frame with the mouse. When the virtual camera application displays the capture window, the image in the capture window displayed in S1110 is transmitted to the virtual camera driver included in the virtual camera application. Thereafter, in step S1111, the CPU 221 acquires a captured image using a virtual camera driver included in the virtual camera application.

一方、S1108で取得した選択項目がS1106で追加した仮想カメラデバイス以外の画像入力装置である場合、S1112に進み、CPU221は、選択された画像入力装置に対応するOSに登録されたドライバによって画像を取得する。続いて、S1113で、CPU221は、中継サーバ103に画像送信要求を送信する。このとき、S1107で取得したセッションIDと、S1111又はS1112で取得した画像データが送信データに含まれる。   On the other hand, if the selection item acquired in S1108 is an image input device other than the virtual camera device added in S1106, the process proceeds to S1112, and the CPU 221 uses the driver registered in the OS corresponding to the selected image input device to display an image. get. In step S <b> 1113, the CPU 221 transmits an image transmission request to the relay server 103. At this time, the session ID acquired in S1107 and the image data acquired in S1111 or S1112 are included in the transmission data.

次に、S1114で、CPU221は、支援を終了するか否かを判断する。この判断は中継サーバ103を介した画像形成装置101からの受信データから判断してもよいし、オペレータからの支援終了の指示から判断してもよい。支援を終了すると判断した場合は、S1116に進み、CPU221は、中継サーバ103へ支援終了要求を送信する。このとき、CPU221は、S1104で取得したセッションIDを送信データに含める。続いて、S1117で、CPU221は、中継サーバ103から支援終了結果を受信し、本フローチャートの処理を終了する。   Next, in S1114, the CPU 221 determines whether or not to end the support. This determination may be determined from data received from the image forming apparatus 101 via the relay server 103 or may be determined from an instruction to end support from an operator. When it is determined that the support is to be ended, the process proceeds to S1116, and the CPU 221 transmits a support end request to the relay server 103. At this time, the CPU 221 includes the session ID acquired in S1104 in the transmission data. Subsequently, in S1117, the CPU 221 receives the support end result from the relay server 103, and ends the processing of this flowchart.

一方、S1114で終了しないと判断した場合にはS1115に進み、CPU221は、リストで現在選択中の画像入力装置が仮想カメラデバイスであるか否かを判断する。選択中の画像入力装置がS1106で追加した仮想カメラデバイスの場合はS1111に戻り処理を継続する。選択中の画像入力装置が仮想カメラデバイスでなければ、S1112に戻り処理を継続する。   On the other hand, if it is determined in step S1114 that the process is not ended, the process advances to step S1115, and the CPU 221 determines whether the image input device currently selected in the list is a virtual camera device. If the selected image input device is the virtual camera device added in S1106, the process returns to S1111 and the processing is continued. If the selected image input apparatus is not a virtual camera device, the process returns to S1112 and continues.

<画像形成装置の動作>
次に、図5を参照して、本実施形態に係る画像形成装置101の処理手順について説明する。本フローチャートは、例えば、HDD205に格納されたプログラムがRAM204に読み出され、CPU202によって実行されることで実現される。
<Operation of Image Forming Apparatus>
Next, a processing procedure of the image forming apparatus 101 according to the present embodiment will be described with reference to FIG. This flowchart is realized by, for example, reading a program stored in the HDD 205 into the RAM 204 and executing it by the CPU 202.

S1001で、CPU202は、本フローチャートが開始されると、まず中継サーバ103に対して支援開始要求を送信する。支援開始要求の送信が完了するとS1002で、CPU202は、中継サーバ103から支援開始結果を受信する。続いて、S1003で、CPU202は、S1002で受信した支援開始結果が成功であるかどうかを判定する。支援開始結果が失敗である場合は本フローチャートの処理を終了する。   In step S <b> 1001, when the flowchart is started, the CPU 202 first transmits a support start request to the relay server 103. When the transmission of the support start request is completed, the CPU 202 receives the support start result from the relay server 103 in S1002. Subsequently, in S1003, the CPU 202 determines whether or not the support start result received in S1002 is successful. If the support start result is a failure, the process of this flowchart is terminated.

一方、支援開始結果が成功である場合は、S1004に進み、CPU202は、受信したデータからセッションIDを取得する。セッションIDは中継サーバ103が発行する、支援を実施するための識別子である。セッションIDを取得すると、S1005に進み、CPU202は、中継サーバ103へ画像受信要求を送信する。このとき、CPU202はS1004で取得したセッションIDを送信データに含める。画像受信要求の送信が完了すると、S1006に進み、CPU202は、中継サーバ103から画像データを受信する。S1006の受信処理はオペレータPC102が画像データを送信してから始まるため、オペレータPC102がまだ送信していない場合は、処理を待機することになる。   On the other hand, if the support start result is successful, the process proceeds to S1004, and the CPU 202 acquires a session ID from the received data. The session ID is an identifier for implementing support issued by the relay server 103. When the session ID is acquired, the process advances to step S1005, and the CPU 202 transmits an image reception request to the relay server 103. At this time, the CPU 202 includes the session ID acquired in S1004 in the transmission data. When the transmission of the image reception request is completed, the process advances to step S1006, and the CPU 202 receives image data from the relay server 103. Since the reception process of S1006 starts after the operator PC 102 transmits image data, if the operator PC 102 has not transmitted yet, the process waits.

次に、S1007で、CPU202は、受信した画像データを、オペレーションパネル212に表示する処理を実行する。表示してから一定時間が経過すると、S1008において、CPU202は、支援を終了するかどうかを判断する。この判断は、中継サーバ103を介したオペレータPC102からの受信データから判断してもよいし、画像形成装置101のオペレーションパネル212への入力から判断してもよい。終了しないと判断した場合は、S1005へ戻り、画像データをさらに受信する。終了すると判断した場合は、S1009に進み、CPU202は、中継サーバ103へ支援終了要求を送信する。このとき、CPU202は、S1004で取得したセッションIDを送信データに含める。支援終了要求の送信が完了すると、S1010に進み、CPU202は、中継サーバ103から支援終了結果を受信し、本フローチャートの処理を終了する。   In step S <b> 1007, the CPU 202 executes processing for displaying the received image data on the operation panel 212. When a predetermined time has elapsed since the display, the CPU 202 determines in step S1008 whether to end the support. This determination may be determined from data received from the operator PC 102 via the relay server 103 or may be determined from an input to the operation panel 212 of the image forming apparatus 101. If it is determined not to end, the process returns to S1005 to further receive image data. If it is determined that the process is to be ended, the process advances to step S1009, and the CPU 202 transmits a support end request to the relay server 103. At this time, the CPU 202 includes the session ID acquired in S1004 in the transmission data. When the transmission of the support end request is completed, the process proceeds to S1010, where the CPU 202 receives the support end result from the relay server 103, and ends the processing of this flowchart.

<中継サーバの動作>
次に、図6を参照して、本実施形態に係る中継サーバ103の処理手順について説明する。本フローチャートは、例えばHDD244に格納されたプログラムがRAM243に読み出され、CPU241によって実行されることで実現される。
<Operation of relay server>
Next, a processing procedure of the relay server 103 according to the present embodiment will be described with reference to FIG. This flowchart is realized by, for example, a program stored in the HDD 244 being read into the RAM 243 and executed by the CPU 241.

S1201で、CPU241は、受信したデータが支援開始要求であるか否かを判断する。支援開始要求であればS1202に進み、CPU241はセッションIDを生成する。続いて、S1203で、CPU241は、生成したセッションIDをHDD244に保存する。S1204で、CPU241は、クライアントへS1202で生成したセッションIDを、支援開始結果として送信する。S1204の処理でのクライアントは画像形成装置101とオペレータPC102とのいずれのケースもありうる。S1204が完了するとS1201に戻る。   In step S1201, the CPU 241 determines whether the received data is a support start request. If it is a support start request, the process advances to step S1202, and the CPU 241 generates a session ID. Subsequently, in S1203, the CPU 241 stores the generated session ID in the HDD 244. In S1204, the CPU 241 transmits the session ID generated in S1202 to the client as a support start result. The client in the process of S1204 can be either the image forming apparatus 101 or the operator PC. When S1204 is completed, the process returns to S1201.

S1201で受信データが支援開始要求でなければ、S1205で、CPU241は、受信したデータが画像受信要求であるか否かを判断する。受信したデータが画像受信要求である場合はS1206に進み、CPU241は、受信したデータからセッションIDを取得する。セッションIDの取得が完了すると、S1207に進み、CPU241は、セッションIDリストに取得したセッションIDが存在するか検証する。検証が完了すると、S1208で、CPU241は、S1207の検証結果に基づいて、取得したセッションIDがセッションIDリストに存在するか否かを判断する。存在しないと判断した場合はS1201に戻る。存在すると判断した場合、S1209に進み、CPU241は、S1206で取得したセッションIDが存在するセッションIDリスト内のデータに対応するデータバッファからデータ(画像データ)を取得する。データ取得が完了すると、S1210で、CPU241は、取得したデータをクライアントへ送信する。S1210でのクライアントは具体的には画像形成装置101である。S1210が完了するとS1201に戻る。   If the received data is not a support start request in S1201, in S1205, the CPU 241 determines whether or not the received data is an image reception request. If the received data is an image reception request, the process advances to step S1206, and the CPU 241 acquires a session ID from the received data. When the acquisition of the session ID is completed, the process advances to step S1207, and the CPU 241 verifies whether the acquired session ID exists in the session ID list. When the verification is completed, in step S1208, the CPU 241 determines whether the acquired session ID exists in the session ID list based on the verification result in step S1207. If it is determined that it does not exist, the process returns to S1201. If it is determined that it exists, the process advances to step S1209, and the CPU 241 acquires data (image data) from the data buffer corresponding to the data in the session ID list in which the session ID acquired in step S1206 exists. When the data acquisition is completed, in S1210, the CPU 241 transmits the acquired data to the client. Specifically, the client in step S1210 is the image forming apparatus 101. When S1210 is completed, the process returns to S1201.

S1205で受信したデータが画像受信要求でなければ、S1211で、CPU241は、受信したデータが画像送信要求であるか否かを判断する。画像送信要求である場合は、S1212に進み、CPU241は、受信したデータからセッションIDを取得する。セッションIDの取得が完了すると、S1213で、CPU241は、セッションIDリストに取得したセッションIDが存在するか検証する。検証が完了すると、S1214で、CPU241は、検証結果に基づいて、取得したセッションIDがセッションIDリストに存在したか否かを判断する。存在しないと判断した場合はS1201に戻る。一方、存在すると判断した場合は、S1215に進み、CPU241は、受信したデータから画像データを取得する。続いて、S1216で、CPU241は、S1212で取得したセッションIDが存在するセッションIDリスト内のデータに対応するデータバッファに、画像データを保存する。この画像データを送信するクライアントは具体的にはオペレータPC102である。S1216が完了するとS1201に戻る。   If the data received in S1205 is not an image reception request, in S1211, the CPU 241 determines whether or not the received data is an image transmission request. If the request is an image transmission request, the process advances to step S1212, and the CPU 241 acquires a session ID from the received data. When the acquisition of the session ID is completed, in S1213, the CPU 241 verifies whether the acquired session ID exists in the session ID list. When the verification is completed, in S1214, the CPU 241 determines whether or not the acquired session ID exists in the session ID list based on the verification result. If it is determined that it does not exist, the process returns to S1201. On the other hand, if it is determined that it exists, the process advances to step S1215, and the CPU 241 acquires image data from the received data. Subsequently, in S1216, the CPU 241 stores the image data in the data buffer corresponding to the data in the session ID list where the session ID acquired in S1212 exists. The client that transmits this image data is specifically the operator PC 102. When S1216 is completed, the process returns to S1201.

S1211で受信したデータが画像送信要求でなければ、S1217で、CPU241は、受信したデータが支援終了要求であるか否かを判断する。支援終了要求である場合、S1218に進み、CPU241は、受信したデータからセッションIDを取得する。セッションIDの取得が完了すると、S1219で、CPU241は、セッションIDリストから取得したセッションIDを削除する。削除が完了すると、S1220で、CPU241は、クライアントへ支援終了通知を送信する。S1220の処理でのクライアントは画像形成装置101とオペレータPC102のどちらのケースもありうる。S1220が完了するとS1201に戻る。また、S1217で受信したデータが支援終了要求でないと判断すると、S1201に戻る。   If the data received in S1211 is not an image transmission request, in S1217, the CPU 241 determines whether or not the received data is a support end request. If it is a support end request, the process advances to step S1218, and the CPU 241 acquires a session ID from the received data. When the acquisition of the session ID is completed, in step S1219, the CPU 241 deletes the acquired session ID from the session ID list. When the deletion is completed, in step S1220, the CPU 241 transmits a support end notification to the client. The client in the process of S1220 can be either the image forming apparatus 101 or the operator PC. When S1220 is completed, the process returns to S1201. If it is determined that the data received in S1217 is not a support end request, the process returns to S1201.

以上説明したように、本実施形態に係る情報処理装置であるオペレータPC102は、中継サーバ103を介して画像形成装置101と通信し、当該画像形成装置に対して遠隔からの支援を提供するものである。具体的には、本情報処理装置は、中継サーバ103にアクセスして画像形成装置101を支援するためのセッションを確立する。セッションが開始すると、本情報処理装置は、画像を取得するカメラデバイスのリストに、表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加し、当該リストを表示部に表示する。なお、画像取得アプリケーションを追加するか否かについての判定を行ってもよい。その場合には、当該リストに含まれるカメラデバイスを使用するアプリケーションに応じて判定してもよいし、現在のログインユーザによって判定してもよい。また、仮想カメラデバイスを追加するアプリケーションとして予めオペレータに設定されたアプリケーションであれば仮想カメラデバイスを追加するようにしてもよい。また、本情報処理装置は、カメラデバイスのリストを、当該リストに含まれるカメラデバイスを選択可能にディスプレイに表示する際、選択可能なカメラデバイスを1つに制限するように制御してもよい。また、追加されなかった仮想カメラデバイスを選択不可能に表示してもよい。このように、本実施形態に係る情報処理装置は、画像入力装置としてカメラデバイスと仮想カメラデバイスとを有する場合に、アプリケーションに応じて利用可能な画像入力装置を好適に切り替える。これにより、本実施形態によれば、遠隔支援アプリケーションが仮想カメラデバイスを優先して利用することができる。即ち、遠隔支援アプリケーションが仮想カメラデバイスを使用する際に、他のアプリケーションによって使用されているような状況を回避することができる。   As described above, the operator PC 102 that is the information processing apparatus according to the present embodiment communicates with the image forming apparatus 101 via the relay server 103 and provides remote support to the image forming apparatus. is there. Specifically, the information processing apparatus accesses the relay server 103 and establishes a session for supporting the image forming apparatus 101. When the session is started, the information processing apparatus uses, as a virtual camera device, an image acquisition application that captures at least a part of the screen displayed on the display unit in the list of camera devices that acquire images. Add and display the list on the display. It may be determined whether to add an image acquisition application. In that case, the determination may be made according to the application using the camera device included in the list, or may be made by the current login user. In addition, a virtual camera device may be added as long as the application is preset by an operator as an application for adding a virtual camera device. Further, the information processing apparatus may control the camera device list to be limited to one when the camera device list is displayed on the display so that the camera devices included in the list can be selected. In addition, virtual camera devices that have not been added may be displayed in an unselectable manner. As described above, when the information processing apparatus according to the present embodiment includes the camera device and the virtual camera device as the image input apparatus, the image input apparatus that can be used is appropriately switched according to the application. Thereby, according to this embodiment, a remote assistance application can use a virtual camera device preferentially. That is, when the remote support application uses the virtual camera device, it is possible to avoid a situation where it is used by another application.

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101:画像形成装置、102:オペレータPC、103:中継サーバ、104、105:ファイアウォール、106:ネットワーク   101: Image forming apparatus, 102: Operator PC, 103: Relay server, 104, 105: Firewall, 106: Network

Claims (10)

中継サーバを介して画像形成装置と通信可能な情報処理装置であって、
前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立手段と、
前記確立手段によって前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加手段と、
前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御手段と
を備えることを特徴とする情報処理装置。
An information processing apparatus capable of communicating with an image forming apparatus via a relay server,
Establishing means for accessing the relay server to establish a session for supporting the image forming apparatus;
When the session is started by the establishing means, an image acquisition application for acquiring an image by capturing at least a part of a screen displayed on the display unit of the information processing apparatus in a list of camera devices for acquiring an image. Additional means to add as a virtual camera device;
An information processing apparatus comprising: a display control unit configured to display a list of the camera devices on the display unit so that a camera device included in the list can be selected.
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記画像形成装置を支援する遠隔支援アプリケーションであるか否かを判定する判定手段をさらに備え、
前記追加手段は、
前記判定手段によって前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記遠隔支援アプリケーションであると判定されると、前記画像取得アプリケーションを前記カメラデバイスのリストに追加し、
前記判定手段によって前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記遠隔支援アプリケーションでないと判定されると、前記画像取得アプリケーションを前記カメラデバイスのリストに追加しないことを特徴とする請求項1に記載の情報処理装置。
A determination unit for determining whether an application that uses the camera device selected from the camera device list is a remote support application that supports the image forming apparatus;
The additional means includes
When it is determined that the application that uses the camera device selected from the camera device list by the determination unit is the remote support application, the image acquisition application is added to the camera device list;
The image acquisition application is not added to the camera device list when the determination unit determines that the application using the camera device selected from the camera device list is not the remote support application. Item 4. The information processing apparatus according to Item 1.
前記追加手段は、
前記判定手段によって前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記遠隔支援アプリケーションでないと判定されると、前記画像取得アプリケーションを前記カメラデバイスのリストに追加するか否かをオペレータに問い合わせ、問い合わせ結果に応じて前記画像取得アプリケーションを前記カメラデバイスのリストに追加することを特徴とする請求項2に記載の情報処理装置。
The additional means includes
If the determination unit determines that the application using the camera device selected from the camera device list is not the remote support application, the operator is asked whether to add the image acquisition application to the camera device list. The information processing apparatus according to claim 2, wherein the image acquisition application is added to a list of the camera devices according to an inquiry and an inquiry result.
前記画像取得アプリケーションを利用するアプリケーションを設定する設定手段をさらに備え、
前記追加手段は、
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記設定手段によって設定されたアプリケーションであれば、前記前記画像取得アプリケーションを前記カメラデバイスのリストに追加し、
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記設定手段によって設定されたアプリケーションでなければ、前記前記画像取得アプリケーションを前記カメラデバイスのリストに追加しないことを特徴とする請求項1に記載の情報処理装置。
A setting unit configured to set an application that uses the image acquisition application;
The additional means includes
If the application that uses the camera device selected from the camera device list is an application set by the setting means, the image acquisition application is added to the camera device list,
2. The image acquisition application is not added to the camera device list unless an application using a camera device selected from the camera device list is an application set by the setting unit. The information processing apparatus described in 1.
前記追加手段は、
前記カメラデバイスのリストから選択されたカメラデバイスを利用するアプリケーションが前記設定手段によって設定されたアプリケーションでなければ、前記画像取得アプリケーションを前記カメラデバイスのリストに追加するか否かをオペレータに問い合わせ、問い合わせ結果に応じて前記画像取得アプリケーションを前記カメラデバイスのリストに追加することを特徴とする請求項4に記載の情報処理装置。
The additional means includes
If the application that uses the camera device selected from the camera device list is not the application set by the setting means, the operator is inquired whether to add the image acquisition application to the camera device list. The information processing apparatus according to claim 4, wherein the image acquisition application is added to the camera device list according to a result.
前記表示制御手段は、
前記追加手段によって前記画像取得アプリケーションが前記カメラデバイスのリストに追加されない場合は、前記画像取得アプリケーションを選択不可能に表示することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
The display control means includes
6. The information according to claim 1, wherein when the image acquisition application is not added to the list of camera devices by the adding unit, the image acquisition application is displayed in an unselectable manner. Processing equipment.
前記表示制御手段は、
前記カメラデバイスのリストに含まれるカメラデバイスの選択を1つに制限するように表示を制御することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
The display control means includes
The information processing apparatus according to claim 1, wherein the display is controlled so as to limit the selection of camera devices included in the camera device list to one.
前記画像取得アプリケーションは、前記表示制御手段によって表示されたリストを介して選択された場合に、起動されることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the image acquisition application is activated when the image acquisition application is selected via a list displayed by the display control unit. 中継サーバを介して画像形成装置と通信可能な情報処理装置の制御方法であって、
確立手段が、前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立工程と、
追加手段が、前記確立工程で前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加工程と、
表示制御手段が、前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御工程と
を実行することを特徴とする情報処理装置の制御方法。
An information processing apparatus control method capable of communicating with an image forming apparatus via a relay server,
An establishing step of establishing a session for accessing the relay server and supporting the image forming apparatus;
When the session is started in the establishing step, an adding unit captures at least a part of a screen displayed on the display unit of the information processing apparatus in the list of camera devices from which the image is acquired, and acquires the image An additional step of adding an image acquisition application as a virtual camera device;
And a display control step of displaying a list of the camera devices on the display unit so that the camera devices included in the list can be selected.
中継サーバを介して画像形成装置と通信可能な情報処理装置の制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
確立手段が、前記中継サーバにアクセスして前記画像形成装置を支援するためのセッションを確立する確立工程と、
追加手段が、前記確立工程で前記セッションが開始されると、画像を取得するカメラデバイスのリストに、該情報処理装置の表示部に表示された画面の少なくとも一部をキャプチャして画像を取得する画像取得アプリケーションを仮想的なカメラデバイスとして追加する追加工程と、
表示制御手段が、前記カメラデバイスのリストを、該リストに含まれるカメラデバイスを選択可能に前記表示部に表示する表示制御工程と
を実行することを特徴とするプログラム。
A program for causing a computer to execute each step in a control method of an information processing apparatus capable of communicating with an image forming apparatus via a relay server, wherein the control method includes:
An establishing step of establishing a session for accessing the relay server and supporting the image forming apparatus;
When the session is started in the establishing step, an adding unit captures at least a part of a screen displayed on the display unit of the information processing apparatus in the list of camera devices from which the image is acquired, and acquires the image An additional step of adding an image acquisition application as a virtual camera device;
A display control unit executes a display control step of displaying a list of the camera devices on the display unit so that a camera device included in the list can be selected.
JP2017002844A 2017-01-11 2017-01-11 Information processor, control method thereof, and program Pending JP2018112896A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017002844A JP2018112896A (en) 2017-01-11 2017-01-11 Information processor, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017002844A JP2018112896A (en) 2017-01-11 2017-01-11 Information processor, control method thereof, and program

Publications (1)

Publication Number Publication Date
JP2018112896A true JP2018112896A (en) 2018-07-19

Family

ID=62912300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017002844A Pending JP2018112896A (en) 2017-01-11 2017-01-11 Information processor, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP2018112896A (en)

Similar Documents

Publication Publication Date Title
JP5812797B2 (en) Information processing system, image processing apparatus, control method, computer program, and user apparatus
US10313535B2 (en) Remote support apparatus, electronic apparatus, remote support method, and storage medium
JP7262916B2 (en) Information processing device, remote support system, control method and program for these
JP6971597B2 (en) Information processing device, display control method, and program
JP7135149B2 (en) Image processing device, information processing method, and program
US10320998B2 (en) Information processing system, image forming apparatus, control methods thereof, and storage medium
JP6862191B2 (en) Information processing device, its control method, and program
JP2015106292A (en) Information processor, system, and control method for information processor
JP6611536B2 (en) Remote support system, information processing apparatus, image processing apparatus, control method therefor, and program
JP2009208430A (en) Image forming apparatus, system, method and program
US20220337664A1 (en) Communication system, information processing apparatus, and information processing method
EP3001302B1 (en) Communication relay device, computer program and communication relay method
JP2020171000A (en) Imaging apparatus, system, imaging apparatus control method, and program
JP2018112896A (en) Information processor, control method thereof, and program
JP2011077708A (en) Relay server device and communication method
JP2019008491A (en) Remote assistance system
JP2017136780A (en) Image forming apparatus and method of controlling the same, support system for image forming apparatus and method of controlling the same, and program
JP5904205B2 (en) Information sharing system, information sharing management device, and information sharing method
JP2020106878A (en) Remote support system
JP7146431B2 (en) System, information processing device, control method for information processing device, and program
JP6368150B2 (en) Communication system and control method thereof, image forming apparatus and control method thereof, and program
JP2017212644A (en) Communication device, system, information processing method, and program
JP5970092B2 (en) Work support system and work support method
JP4060548B2 (en) Remote monitoring control system and control server
JP2005285007A (en) Web application server system, application server, gui application server, and user session data acquisition method