JP6435869B2 - 操作表示装置、操作表示システム - Google Patents

Description

本発明は、携帯端末を併用する操作表示装置、およびその操作表示システムに関する。

複合機などの画像処理装置が備える操作パネルと、ユーザの携帯端末とを連携動作させて使用する方法が特許文献１に開示されている。特許文献１では、操作パネルに画像の一部を表示し、該操作パネルに並置された携帯端末にその一部の続きとなる部分を表示させることで、該画像において、ユーザは一度により多くの部分を視認することが可能となる。

たとえば、図１１は、画像処理装置の備える操作パネルの画面の右隣に携帯端末を配置した場合を示している。

なお、特許文献１の他にも、表示装置Ａと表示装置Ｂを接触させると、表示装置Ａの表示画面全体を表示装置Ｂに継承させる技術がある。

特開２０１３−０８８５０６号公報

特許文献１に開示の方法では、画像処理装置の操作パネルが一の画像の一部を表示し、その一部の続きの部分を携帯端末に表示させて表示範囲を拡張させているが、携帯端末に一の画像の一部を表示させ、その一部の続きの部分を操作パネルに表示させる場合も想定される。

たとえば、携帯端末を所持するユーザが、該携帯端末に画像処理装置の操作画面の一部を表示させ、設定操作をしながら、該画像処理装置に近づいて行き、該画像処理装置の前に到着した場合は、携帯端末でこれまで行ってきた設定操作の続きを操作パネルと連携して行うことが望まれる。このとき、携帯端末に表示されている画面（これまで操作していた画面）を基準に、それを任意の方向に拡張した画面を操作パネルに表示させて連携動作できれば使い勝手が良い。たとえば、操作パネルの右横に携帯端末を近づければ、携帯端末に表示中の画面の左側に続く画面が操作パネルに表示され、操作パネルの左横に携帯端末を近づければ、携帯端末に表示中の画面の右側に続く画面が操作パネルに表示されれば、ユーザの希望する方向に画面を拡張させて設定操作の続きを行うことができる。

しかし、多くの操作パネルは、画面の隣にハードキーが設置されているので、設置位置によっては、携帯端末が操作パネルのハードキーの上に重なってしまい、ユーザが該ハードキーを押下することができなくなる。図１１では、操作パネルの画面の右隣にあるハードキーに携帯端末が重なって、ユーザが該ハードキーを押下することができなくなっている。

また、操作パネルの上下左右のいずれかの隣に携帯端末を近づける方法では、上下左右のいずれか一方にしか画面を拡張することができないので、携帯端末に表示中の画面を中心に、左右両側に、あるいは上下左右の周囲全体に画面を拡張するなどの要望に対応することはできない。

本発明は、上記の問題を解決しようとするものであり、携帯端末に表示されている画面を基準に、この画面を任意の方向に拡張した画面を操作パネルに表示させることができる操作表示装置、操作表示システムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］操作部と、表示部とを備える操作表示装置と、
所定の画像のうちの一部を表示する携帯端末と、
前記表示部の表示面に重ねられた前記携帯端末の位置を検出する位置検出部と、
を備え、
前記操作表示装置は、前記所定の画像における前記一部の位置と前記画像の情報と前記位置検出部が検出した前記携帯端末の位置とを取得し、前記携帯端末に表示されている前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記表示部に表示する拡張表示制御を行うと共に、前記拡張表示制御を行った後に前記位置検出部が前記表示面に重ねられた前記携帯端末の位置の変化を検出した場合、前記携帯端末に表示される前記一部は変化させずに、変化後の前記携帯端末の位置に応じて前記拡張表示制御を再実行し、
前記携帯端末が前記表示面に重ねられた状態で所定の確定操作を受けた場合は、前記携帯端末が前記表示面の前方から取り除かれた後も、前記確定操作を受けたときに前記携帯端末に表示されていた前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記一部を含めて前記表示部に表示する
ことを特徴とする表示システム。

上記［１］または下記［４］に記載の発明では、操作表示装置の表示部を使用することで、携帯端末のみで表示する場合に比べて、所定の画像においてユーザが一度に視認可能な範囲を拡張することができる。また、携帯端末に表示中の一部を基準に表示範囲が拡張表示されるので、表示面上において携帯端末を重ねる位置によって、所定の画像のうち操作表示装置の表示部に表示される部分が変更される。よって、ユーザは、携帯端末を重ねる位置を変更することで、所定の画像のうち所望の部分を該表示部に表示させることができる。

また、表示部の表示面に携帯端末を重ねた後、携帯端末の位置を移動させた場合は、携帯端末の表示内容は変化させずに、移動後の位置に対応して、所定の画像のうち操作表示装置の表示部に表示される部分が変更される。これにより、ユーザは、表示面に重ねた後、携帯端末の位置を適宜に移動させることで、所定の画像のうち所望の部分を容易に表示部に表示させることができる。

［２］前記操作表示装置は、前記携帯端末と同じ縮尺で前記画像を前記表示部に表示する
ことを特徴とする［１］に記載の表示システム。

上記［２］または下記［５］に記載の発明では、操作表示装置は、携帯端末と同じ縮尺で、所定の画像において携帯端末が表示している部分の続きの部分を表示する。これにより、ユーザからは、所定の画像において、携帯端末が表示している部分と表示部が表示している部分が繋がって見える。

［３］前記操作表示装置は、自装置の動作モードとして、通常動作モードと、前記通常動作モードよりも電力消費量の少ない省電力モードを備え、前記省電力モードで動作中は、前記拡張表示制御において、前記表示面のうちの前記携帯端末が重ねられている部分の表示をオフにする
ことを特徴とする［１］または［２］に記載の表示システム。

上記［３］または下記［６］に記載の発明では、省電力モードでは、携帯端末が重ねられてユーザから見えない部分の表示をオフにすることで、消費電力を削減する。前述の箇所の表示をオフにしても、この箇所の上に重ねられている携帯端末に同じ内容が表示されているので、所定の画像においてユーザが一度に視認可能な範囲は減少しない。

［４］操作部と、
表示部と、
所定の画像のうちの一部を表示する携帯端末が前記表示部の表示面に重ねられた場合に、前記表示部の表示面に重ねられた前記携帯端末の位置を検出する位置検出部と、
前記所定の画像における前記一部の位置と前記画像の情報と、前記位置検出部が検出した前記携帯端末の位置とを取得し、前記携帯端末に表示されている前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記表示部に表示させる拡張表示制御を行う制御部と、
を備え、
前記制御部は、
前記拡張表示制御を行った後に前記位置検出部が前記表示面に重ねられた前記携帯端末の位置の変化を検出した場合、前記携帯端末に表示される前記一部は変化させずに、変化後の前記携帯端末の位置に応じて前記拡張表示制御を再実行し、
前記携帯端末が前記表示面に重ねられた状態で所定の確定操作を受けた場合は、前記携帯端末が前記表示面の前方から取り除かれた後も、前記確定操作を受けたときに前記携帯端末に表示されていた前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記一部を含めて前記表示部に表示する
ことを特徴とする操作表示装置。

［５］前記制御部は、前記携帯端末と同じ縮尺で前記画像を前記表示部に表示させる
ことを特徴とする［４］に記載の操作表示装置。

［６］前記制御部は、自装置の動作モードとして、通常動作モードと、前記通常動作モードよりも電力消費量の少ない省電力モードを備え、前記省電力モードで動作中は、前記拡張表示制御において、前記表示面のうちの前記携帯端末が重ねられている部分の表示をオフにする
ことを特徴とする［４］または［５］に記載の操作表示装置。

本発明に係る操作表示装置、および操作表示システムによれば、携帯端末に表示されている画面を基準に、この画面を任意の方向に拡張した画面を操作パネルに表示させることができる。

本発明の実施の形態に係る操作表示システムの構成例を示す図である。 画像処理装置の概略構成を示すブロック図である。 携帯端末の概略構成を示すブロック図である。 元画像と携帯表示箇所の例を示す図である。 携帯端末を重ねる前における、携帯端末と操作パネルの様子を示す図である。 表示部の表示面に携帯端末を重ねた場合における表示内容の例を示す図である。 図６とは異なる位置に携帯端末を設置した場合における、表示内容の例を示す図である。 拡張表示制御の実行中に携帯端末の位置を移動させた場合の様子を示す図である。 省電力モード中に拡張表示制御を行った場合において、表示部に表示される内容の例を示す図である。 拡張表示制御を行う場合に画像処理装置が行う処理を示す流れ図である。 操作パネルの画面と携帯端末の画面の双方を一望できるような位置に携帯端末を設置した場合の例を示す図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の操作表示システムとしての役割を果たす操作表示システム５の構成例を示している。操作表示システム５は、本発明の操作表示装置としての役割を果たす画像処理装置１０と、無線通信を通じて画像処理装置１０と表示内容を連動可能な携帯端末４０を備えている。携帯端末４０は、ＬＡＮ（Local Area Network）などのネットワークにより画像処理装置１０と無線通信可能に接続される。

画像処理装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。本発明の実施の形態では、画像処理装置１０は、表示部３１と操作部３２を含む操作パネル３０（図２参照）を備えており、印刷に係る設定操作等を、該操作パネル３０にて受け付ける。

携帯端末４０は、タブレット等の携帯型情報処理装置である。

本発明の実施の形態では、画像処理装置１０は、所定の画像（元画像とする）の一部を表示している携帯端末４０が表示部３１の表示面に重ねられた場合に、その携帯端末４０の位置を検出するとともに、元画像と、該元画像において、携帯端末４０が表示中の部分（以後、携帯表示箇所と呼ぶ。）の位置情報（前述の一部の位置）を取得し、携帯端末４０に表示されている画像（携帯表示箇所）を、表示部３１の表示面に投影した位置に、該携帯表示箇所と同じ部分が位置するようにして、元画像を表示部３１に表示させる拡張表示制御を行う。

このように、表示部３１と携帯端末４０の表示内容を連携させることで、元画像においてユーザが一度に視認可能な範囲を拡張することができる。また、表示面上において携帯端末４０を重ねる位置によって、元画像のうち表示部３１に表示される部分が変更される。よって、ユーザは、携帯端末４０を重ねる位置を変更することで、元画像のうち所望の部分を表示部３１に表示させることができる。

図２は、画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、当該画像処理装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、画像読取部１６、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１７、画像処理部１８、プリンタ部１９、ネットワーク通信部２１、ファクシミリ通信部２２、操作パネル３０などが接続されている。

ＣＰＵ１１は、ＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像処理装置１０の各機能が実現される。ＣＰＵ１１は、本発明の制御部としての役割を果たす。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、表示画面のデータのほか各種のプログラムやデータが記憶される。本発明の実施の形態では、携帯端末４０と通信を確立し、拡張表示制御を行うための専用のアプリケーションが保存されている。

画像読取部１６は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１６は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読み取り位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１７は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１６の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部１６は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１７によって搬送される原稿を順次読み取る機能を備えている。

画像処理部１８は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部１９は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ネットワーク通信部２１は、ＬＡＮなどのネットワークを通じて携帯端末４０や外部のＰＣ、サーバなどと通信する機能を果たす。なお、携帯端末４０と通信する方法は前述の方法に限らず他の方法であってもよい、たとえば赤外線通信や、Bluetooth(登録商標)などであってもよい。

ファクシミリ通信部２２は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

操作パネル３０は、表示部３１、操作部３２、カメラ３３を備えて構成される。操作パネル３０の制御は、ＣＰＵ１１あるいは操作パネル３０が別途備えるＣＰＵが行う。

表示部３１は、各種の操作画面、設定画面等を表示する機能を果たす。表示部３１は液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）とそのドライバなどで構成される。操作部３２はユーザから各種の操作を受ける機能を果たす。操作部３２は、スタートボタンやテンキーなどの各種ハードスイッチ（ハードキー３６）と、表示部３１の表示面上に設けられたタッチパネル３５を備えている。タッチパネル３５は、表示部３１の表示面がタッチペンや指などで接触操作された座標位置を検出する。

カメラ３３は、画像処理装置１０の周囲の所定の範囲を撮影する。そして該撮影で得た画像をＣＰＵ１１が解析し、該範囲内における物体（ここでは携帯端末４０）の有無を認識する。たとえば、カメラ３３は、操作パネル３０の正面側（前方）を、水平方向約１５０度の範囲を撮影する。本発明の実施の形態では、カメラ３３が撮影して得た画像をＣＰＵ１１が解析することで、表示部３１の表示面に重ねられた携帯端末４０の位置を検出する。カメラ３３とＣＰＵ１１は、本発明の位置検出部としての役割を果たす。

なお、画像処理装置１０が、操作パネル３０の正面の前方に携帯端末４０が位置していると認識可能な距離には制限があり、操作パネル３０と携帯端末４０の間の距離が、該制限を越えている場合は、画像処理装置１０は、操作パネル３０の正面の前方に携帯端末４０が位置していないと認識する。

本発明の実施の形態では、画像処理装置１０は、自装置の動作モードとして、通常動作モードと、該通常動作モード時よりも電力消費量の少ない省電力モードの切り替えが可能である。たとえば、ユーザから操作を受けない状態や、ジョブを実行していない状態のまま一定時間が経過した場合は、通常動作モードから省電力モードに移行して、消費電力を削減する。省電力モード時に、ユーザから操作を受けたり、ジョブの実行を開始したりする場合は、省電力モードから通常動作モードに復帰する。

図３は、携帯端末４０の概略構成を示すブロック図である。携帯端末４０は、当該携帯端末４０の動作を統括制御するＣＰＵ４１を有している。ＣＰＵ４１にはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、カメラ４５と、距離測定部４６と、操作部４７と、表示部４８と、ネットワーク通信部４９と、方位センサ部５１が接続されている。

ＣＰＵ４１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ４２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ４１が各種処理を実行することで携帯端末４０の機能が実現される。

ＲＡＭ４３は、ＣＰＵ４１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納したり、表示用のデータを格納したりするためのワークメモリとして使用される。

不揮発メモリ４４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。本発明の実施の形態では、画像処理装置１０と通信を確立し、表示内容を連携させるための専用のアプリケーションが保存される。

表示部４８は、各種の操作画面、設定画面を表示する機能を果たす。表示部４８は液晶ディスプレイとそのドライバなどで構成される。操作部４７は操作者から各種の操作を受ける機能を果たす。操作部４７は、少数のハードキー４７ｂと、表示部４８の表示面上に設けられたタッチパネル４７ａを備えている。

カメラ４５は、当該携帯端末４０の表示部４８を見るユーザの視線方向、すなわち、表示部４８の裏面が臨む方向を撮影する。携帯端末４０は、薄板形状であり、表面側のほぼ全部が表示部４８の表示面になっている。カメラ４５は携帯端末４０の裏面側（背面側）に外向きに設けてあり、携帯端末４０の裏面が臨む方向を撮影する。

ネットワーク通信部４９は、画像処理装置１０や外部のＰＣ、サーバなどと通信する機能を果たす。たとえば、ユーザが携帯端末４０で専用のアプリケーションを立ち上げ、そのアプリが画像処理装置１０への通信確立要求を出し、これを受信した画像処理装置１０との間で通信が確立される。このようにして携帯端末４０と画像処理装置１０の間で通信が確立されたら、携帯端末４０と画像処理装置１０は連携動作が可能な状態となる。

方位センサ部５１は、複数の地磁気センサと複数の加速度センサを組み合わせるなどして構成される。方位センサ部５１は、携帯端末４０の姿勢や角度を検出する。また、方位センサ部５１は、携帯端末４０が傾けられたり移動されたりしたときにその変位の向きや速さを検出して、検出結果をＣＰＵ４１へ通知する。

次に、画像処理装置１０が拡張表示制御を行う場合に、該画像形成装置１０と携帯端末４０が表示する表示内容の例について図４〜図７を参照して説明する。

図４は、元画像の一例である全体画像８０と、携帯端末４０が表示する携帯表示箇所の一例である部分画像８１を示す。全体画像８０は、左側に木のイメージが、右側に設定１〜設定１２までの１２個の表示項目が４行４列で並んで配置されている。図４では、携帯端末４０は、携帯表示箇所として、１２個の表示項目のうち、１列目の３行目および４行目に配置された表示項目（設定３と設定４）を含む部分である部分画像８１を表示している。

図５は、部分画像８１を表示中の携帯端末４０を操作パネル３０に近付ける前の様子を示す。図５では、表示部３１の表示面の正面前方に携帯端末４０が位置していないので、拡張表示制御は行われていない。

図６は、表示部３１の表示面に、携帯端末４０が重ねられた場合の例を示す。図６では、表示部３１の表示面の左下部分に携帯端末４０が重ねられており、表示部３１は、携帯端末４０の表示する部分画像８１が表示面の左下部分に位置するように全体画像８０を表示している。すなわち、表示部３１の表示面のうち携帯端末４０の真下の部分に、携帯端末４０に表示されている部分画像８１と同じ画像が表示されるようにして全体画像８０が表示部３１に表示される。

具体的には、図６では、表示部３１には、全体画像８０における１２個の表示項目（設定１〜設定１２）を含む部分が表示されており、ユーザは、携帯端末４０と、表示部３１において携帯端末４０が重ねられていない部分を一望することで、全体画像８０における１２個の表示項目（設定１〜設定１２）全てを一度に視認することができる。なお、画像処理装置１０は、携帯端末４０が表示する部分画像８１と同じ縮尺で全体画像８０を表示部３１に表示する。

図７は、図６と異なる位置に携帯端末４０を重ねた場合の例を示す。図７では、表示部３１の表示面の中央下部分に携帯端末４０が重ねられており、表示部３１は、携帯端末４０の表示する部分画像８１が表示面の中央下部分に位置するように全体画像８０を表示している。

具体的には、図７では、表示部３１には、全体画像８０における木のイメージと、８つの表示項目（設定１〜設定８）を含む部分が表示されており、ユーザは、携帯端末４０と、表示部３１において携帯端末４０が重ねられていない部分を一望することで、全体画像８０における木のイメージと８個の表示項目（設定１〜設定８）を一度に視認することができる。なお、図７でも画像処理装置１０は、携帯端末４０が表示する部分画像８１と同じ縮尺で全体画像８０を表示部３１に表示する。

このように、携帯端末４０を表示部３１の表示面に重ねた場合に、携帯端末４０が表示している携帯表示箇所を、表示部３１の表示面に投影した位置に、その携帯表示箇所と同じ部分が位置するようにして、元画像を表示部３１に表示する。これにより、元画像においてユーザが一度に視認可能な範囲を拡張することができる。

また、表示面上において携帯端末４０を重ねる位置によって、元画像のうち表示部３１に表示される部分が変更される。よって、ユーザは、携帯端末４０を重ねる位置を調整することで、元画像のうち所望の部分を表示部３１に表示させることができる。

なお、図６、図７では、画像処理装置１０は、携帯端末４０と同じ縮尺で、元画像において携帯端末４０が表示している部分（携帯表示箇所）の続きの部分を表示しており、これにより、ユーザからは、所定の画像において、携帯端末４０が表示している部分と表示部３１が表示している部分が繋がって見える。

また、本発明の実施の形態では、拡張表示制御の開始前に携帯端末４０で受けた設定操作の内容は、拡張表示制御の開始時に画像処理装置１０に反映され、拡張表示制御の実行中に携帯端末４０で受けた操作内容は直ちに画像処理装置１０に反映される。

次に、拡張表示制御の実行中に、携帯端末４０の位置を移動させる場合について具体例を挙げて説明する。画像処理装置１０は、拡張表示制御を行った後に、表示面に重ねられた携帯端末４０の位置の変化を検出した場合、携帯端末４０に表示されている表示内容は変化させずに、変化後の携帯端末４０の位置に応じて拡張表示制御を再実行する。すなわち、表示部３１の表示面に携帯端末４０を重ねた後、携帯端末４０の位置を移動させた場合は、携帯端末４０の表示内容は変化させずに、移動後の位置に対応して、元画像のうち表示部３１に表示される部分が変更される。

図８は、図６の状態から、図７における携帯端末４０の位置と同じ位置に、携帯端末４０を移動させた場合を示す。図中、移動前における携帯端末４０の位置を破線で示す。携帯表示箇所（部分画像８１）は移動前と移動後で変化しない。

携帯端末４０の移動前は、図６に示すように、表示部３１には全体画像８０において１２個の表示項目を含む部分が表示されていたが、移動後は、図７と同じく、全体画像８０における木のイメージと、８つの表示項目（設定１〜設定８）を含む部分が表示部３１に表示される。

このように、拡張表示制御の実行中に、表示部３１上における携帯端末４０の位置を変えることで、元画像のうちの表示部３１に表示される部分を変更することができる。よって、ユーザは、表示部３１に重ねた後、携帯端末４０の位置を適宜に移動させることで、元画像のうち所望の部分を容易に表示部３１に表示させることができる。

次に、画像処理装置１０が省電力モードの状態で、拡張表示制御を行う場合について説明する。画像処理装置１０は、省電力モード時は、表示面のうち携帯端末４０が重ねられている部分の表示をオフにする。なお、携帯端末４０に表示されている携帯表示箇所を表示部３１の表示面に投影した領域についてのみ表示をオフにしてもよい。

図９は、省電力モード時に拡張表示制御を行う場合に表示部３１が表示する表示内容の例を示す。図９では、図７と同じ位置に携帯端末４０が位置している。そして、携帯端末４０が重ねられている部分（隠れ範囲９０とする）の表示はオフになっている。図中では、隠れ範囲９０はグレー表示で示す。図９では、隠れ範囲９０の表示はオフになっているが、この位置には部分画像８１を表示中の携帯端末４０が位置しているので、ユーザからは図７のように見える。

このように、画像処理装置１０が省電力モードの状態で、拡張表示制御を行う場合は、表示部３１の表示面において携帯端末４０が重なる部分（隠れ範囲９０）の表示をオフにする。この部分の表示をオフにしても携帯端末４０がこの部分に対応する画面を表示しているので、元画像においてユーザが視認可能な範囲を減らすことなく、表示をオフにした分だけ消費電力を減らすことができる。

図１０は、画像処理装置１０が拡張表示制御を行う場合に行う処理を示すフローチャートである。画像処理装置１０は、ＣＰＵ１１が、ＲＯＭ１２又はハードディスク装置１５に記憶されたプログラムを実行することにより、図１０のフローチャートに示す処理を実現する。

まず、携帯端末４０と通信を確立したら（ステップＳ１０１）、元画像、および元画像のうち携帯端末４０が表示している部分の位置情報を取得する（ステップＳ１０２）。

次に、操作パネル３０上をカメラ３３で撮影し（ステップＳ１０３）、該撮影で得た画像を解析する（ステップＳ１０４）。ステップＳ１０４で解析した結果、表示部３１の表示面に携帯端末４０が重なっていないと判断した場合は（ステップＳ１０５；Ｎｏ）、ステップＳ１０２に戻って処理を継続する。

表示部３１の表示面に携帯端末４０が重なっていると判断した場合は（ステップＳ１０５；Ｙｅｓ）、表示面のどの位置に携帯端末４０が重ねられているかを算出する（ステップＳ１０６）。

ステップＳ１０６で算出された位置に、元画像のうちの携帯端末４０で表示中の部分（携帯表示箇所）が位置するようにして、該算出された位置以外の領域に元画像を表示する（ステップＳ１０７）。

画像処理装置１０が省電力モードであれば（ステップＳ１０８；Ｙｅｓ）、本処理を終了する。画像処理装置１０が通常動作モードであれば（ステップＳ１０８；Ｎｏ）、ステップＳ１０６で算出した位置に、携帯端末４０が表示中の携帯表示箇所と同じ画像を表示させて（ステップＳ１０９）、本処理を終了する。

なお、図１０の処理は、携帯端末４０と画像処理装置１０が通信を確立している間は繰り返し行われる。また、２回目以降のステップＳ１０２では、元画像、および元画像のうち携帯端末４０が表示している部分の位置情報を毎回再取得してもよいが、それらに変更があった場合に、その変更された部分のみを再取得するようにしてもよい。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

本発明の実施の形態において図４、図６、図７、図８では、携帯端末４０は、上側３/４の部分が表示部３１の表示面に重ねられていたが、携帯端末４０の一部ではなく携帯端末４０の全体が表示部３１の表示面に重ねられていてもよい。

本発明の実施の形態では、カメラで撮影した画像を解析することで、表示部３１の表示面に重ねられている携帯端末４０の位置を検出していたが、該位置の検出方法はこれに限らない。たとえば、センサなどによって携帯端末４０の位置を検出するようにしてもよい。タッチパネル３５が抵抗膜式タッチパネルであれば、タッチパネル３５上に設置された携帯端末４０の位置を検出することも可能となる。

また、本発明の実施の形態では、画像処理装置１０のカメラ３３が携帯端末４０の位置を検出していたが、携帯端末４０が自端末の位置をカメラ４５により検出し、画像処理装置１０に通知してもよい。外部に設けた装置に携帯端末４０の位置を検出させてもよい。

本発明の実施の形態では、画像処理装置１０を本発明の操作表示装置の例としたが、本発明の操作表示装置はこれに限定されるものではなく、操作部と表示部を備える任意の装置でよい。また、操作部と表示部とを備える情報処理装置を実施の形態での画像処理装置１０のように機能させるプログラムも本発明に含まれる。

本発明の実施の形態では、画像処理装置１０は、拡張表示制御を実行する場合、携帯端末４０と同じ縮尺で元画像において携帯端末４０が表示している部分の続きの部分を表示していたが、元画像を表示する場合の縮尺はこれに限定されない。携帯端末４０と異なる縮尺で表示してもよい。

携帯端末４０を重ねて、操作パネル３０の表示を確定させた後（確定操作は、しばらく同じ位置で移動させないとか、確定のための操作を受けるなど）、携帯端末４０を表示面上から取り除いて（操作者のポケットに入れてしまう等）、操作パネル３０だけで操作を継続してもよい。その場合、携帯端末４０が重なっていた部分には、携帯端末４０が除かれた後も携帯端末４０に表示されていた画像（携帯表示箇所）と同じ画像が表示される。

５…操作表示システム
１０…画像処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…画像読取部
１７…自動原稿搬送部
１８…画像処理部
１９…プリンタ部
２１…ネットワーク通信部
２２…ファクシミリ通信部
３０…操作パネル
３１…表示部
３２…操作部
３３…カメラ
３５…タッチパネル
３６…ハードキー
４０…携帯端末
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…カメラ
４６…距離測定部
４７…操作部
４７ａ…タッチパネル
４７ｂ…ハードキー
４８…表示部
４９…ネットワーク通信部
５１…方位センサ部
８０…全体画像
８１…部分画像
９０…隠れ範囲

Claims (6)

1. 操作部と、表示部とを備える操作表示装置と、
   所定の画像のうちの一部を表示する携帯端末と、
   前記表示部の表示面に重ねられた前記携帯端末の位置を検出する位置検出部と、
   を備え、
   前記操作表示装置は、前記所定の画像における前記一部の位置と前記画像の情報と前記位置検出部が検出した前記携帯端末の位置とを取得し、前記携帯端末に表示されている前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記表示部に表示する拡張表示制御を行うと共に、前記拡張表示制御を行った後に前記位置検出部が前記表示面に重ねられた前記携帯端末の位置の変化を検出した場合、前記携帯端末に表示される前記一部は変化させずに、変化後の前記携帯端末の位置に応じて前記拡張表示制御を再実行し、
   前記携帯端末が前記表示面に重ねられた状態で所定の確定操作を受けた場合は、前記携帯端末が前記表示面の前方から取り除かれた後も、前記確定操作を受けたときに前記携帯端末に表示されていた前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記一部を含めて前記表示部に表示する
   ことを特徴とする表示システム。
2. 前記操作表示装置は、前記携帯端末と同じ縮尺で前記画像を前記表示部に表示する
   ことを特徴とする請求項１に記載の表示システム。
3. 前記操作表示装置は、自装置の動作モードとして、通常動作モードと、前記通常動作モードよりも電力消費量の少ない省電力モードを備え、前記省電力モードで動作中は、前記拡張表示制御において、前記表示面のうちの前記携帯端末が重ねられている部分の表示をオフにする
   ことを特徴とする請求項１または２に記載の表示システム。
4. 操作部と、
   表示部と、
   所定の画像のうちの一部を表示する携帯端末が前記表示部の表示面に重ねられた場合に、前記表示部の表示面に重ねられた前記携帯端末の位置を検出する位置検出部と、
   前記所定の画像における前記一部の位置と前記画像の情報と、前記位置検出部が検出した前記携帯端末の位置とを取得し、前記携帯端末に表示されている前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記表示部に表示させる拡張表示制御を行う制御部と、
   を備え、
   前記制御部は、
   前記拡張表示制御を行った後に前記位置検出部が前記表示面に重ねられた前記携帯端末の位置の変化を検出した場合、前記携帯端末に表示される前記一部は変化させずに、変化後の前記携帯端末の位置に応じて前記拡張表示制御を再実行し、
   前記携帯端末が前記表示面に重ねられた状態で所定の確定操作を受けた場合は、前記携帯端末が前記表示面の前方から取り除かれた後も、前記確定操作を受けたときに前記携帯端末に表示されていた前記一部を前記表示面に投影した位置に前記一部が位置するようにして前記画像を前記一部を含めて前記表示部に表示する
   ことを特徴とする操作表示装置。
5. 前記制御部は、前記携帯端末と同じ縮尺で前記画像を前記表示部に表示させる
   ことを特徴とする請求項４に記載の操作表示装置。
6. 前記制御部は、自装置の動作モードとして、通常動作モードと、前記通常動作モードよりも電力消費量の少ない省電力モードを備え、前記省電力モードで動作中は、前記拡張表示制御において、前記表示面のうちの前記携帯端末が重ねられている部分の表示をオフにする
   ことを特徴とする請求項４または５に記載の操作表示装置。