JP5907353B2 - 表示装置、表示制御プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画面の遷移中や動画の再生中に使用者（ユーザ）が表示部から視線を外したことを検出して対応措置を実行する表示装置、表示制御プログラムおよび画像処理装置に関する。

フリック操作による連続的な画面の遷移中や動画の再生中に、僅かの時間でもユーザが余所見をすると、その間に遷移した画面や再生された動画（画像）を閲覧者は認識できなくなる。

そこで、ユーザの視線を検出し、ユーザの視線が表示部から外れたことを検出したときに表示を静止させる技術（たとえば、特許文献１参照）、さらには、ユーザの視線が表示部に戻ったときに静止を解除して動画の再生等を再開する技術（たとえば、特許文献２参照）がある。

特開２０１２−９３７６７号公報 特開２００７−３６８４６号公報

画面の遷移中や動画の再生中にユーザが表示部から視線を外す要因には、大別して以下の２つがある。

＜要因１＞画面の遷移中や動画の再生中に、予期せぬ事象が発生したことで、思わず視線を表示部から外してしまうケース。
このケースは、ユーザの意思としては表示部を見続けたい（もしくは見なければならない）状況である。しかし、周囲で発生した各種事象の影響で思わず視線を表示部から外してしまうことがある、たとえば、周囲で音がしたので音源の方向に視線を向けた場合、声をかけられたので、声をかけた人に視線を向けた場合、電話が鳴ったので電話の方に視線を向けた場合、誰かが近くを通ったので、その人に視線を向けた場合などである。

＜要因２＞ユーザは、画面を遷移させたいだけであり、その途中を見る意思や必要がないケース。
たとえば、フリック操作により画面を遷移させること自体が目的で、遷移中の画面を常に注視する意思がない場合などである。このユーザは、ただ画面を切り替えたい（流したい）だけなので、表示内容を見続ける必要はなく、たまに確認すれば足りる。

特許文献１、２に開示された技術は要因１に対応するものであり、要因２には対応していない。ユーザが要因２によって視線を外した場合には、ユーザの意に反して画面の遷移や動画の再生が停止してしまうので、ユーザに大きな不便を与えることになる。

本発明は、上記の問題を解決しようとするものであり、画面の遷移中や動画の再生中にユーザが表示部から視線を外した場合に、その要因に応じた対処を選択して実行可能な表示装置、表示制御プログラムおよび画像処理装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］表示部と、
前記表示部を見ている使用者の視線を検出する視線検出部と、
前記表示部への一連の画像の表示を制御する制御部と、
を備え
前記制御部は、前記一連の画像を前記表示部に順次表示している間に前記表示部を見ていた使用者の視線が前記表示部から外れたことが前記視線検出部によって検出された場合に、該検出された時点で前記表示部に表示されていた画像の前記一連の画像内での先頭からの位置を特定可能な第１情報を取得して記憶すると共に前記一連の画像の動的な表示を継続させ、
前記使用者の視線が前記表示部に戻ったことが前記視線検出部によって検出された場合に、前記使用者の視線が前記表示部から外れていた期間が閾値より大きい場合は、前記一連の画像の表示を継続させ、前記期間が前記閾値以下の場合は、前記第１情報に基づいて特定される前記位置から前記一連の画像を順次表示する再表示処理を実行するか否かを選択し、該選択の結果が前記再表示処理の実行の場合に、前記再表示処理を実行する
ことを特徴とする表示装置。

上記発明では、一連の画像を順次表示している間に使用者の視線が表示部から外れたとき、その時点で表示されていた画像の一連の画像内での先頭からの位置を特定可能な第１情報を記憶し、一連の画像の順次表示を継続する。その後、使用者の視線が表示部に戻ったとき、使用者の視線が表示部から外れていた期間が閾値より大きい場合は、一連の画像の表示を継続させ、外れていた期間が閾値以下の場合は、第１情報の示す再生位置に戻って一連の画像の再表示を行うか否かを選択し、その選択結果に応じた表示処理を実行する。これにより、視線を外している期間の画像を、使用者が見たいケースと見たくないケースの双方に対応することができる。一連の画像は、動作や遷移順序の定められた複数の画面などである。

［２］使用者から操作を受ける操作部を備え、
前記制御部は、前記操作部にて使用者から所定の操作を受けた場合に、前記一連の画像の動的な表示を開始する
ことを特徴とする［１］に記載の表示装置。

上記発明では、使用者から所定の操作を受けた場合に、一連の画像の順次表示が開始される。

［３］前記所定の操作は、前記一連の画像が遷移順序の定められた複数の画面である場合における画面遷移を指示する操作、または画面の更新を指示する操作、または前記一連の画像が動画である場合における該動画の再生を指示する操作である
ことを特徴とする［２］に記載の表示装置。

［４］前記制御部は、前記使用者の視線が前記表示部に戻ったことが前記視線検出部によって検出された時点で前記表示部に表示されていた画像の前記一連の画像内での先頭からの位置を特定可能な第２情報を取得して記憶し、前記再表示処理において前記一連の画像のうちの前記第１情報に基づいて特定される位置から前記第２情報に基づいて特定される位置までの区間のみを順次表示する
ことを特徴とする［１］乃至［３］のいずれか１つに記載の表示装置。

上記発明では、視線が戻ったとき、その時点で表示されていた画像の一連の画像内での先頭からの位置を特定可能な第２情報を記憶し、再表示処理を実行する場合に、一連の画像のうちの視線が外れていた期間のみを順次表示する。

［５］前記制御部は、前記一連の画像を順次表示している間に前記表示部を見ていた使用者の視線が前記表示部から外れたことが前記視線検出部によって検出されてから、前記使用者の視線が前記表示部に戻ったことが前記視線検出部によって検出されるまでの時間の長さに基づいて前記選択を行う
ことを特徴とする［１］乃至［４］のいずれか１つに記載の表示装置。

上記発明では、視線が外れていた期間の長さに基づいて、再表示処理を実行するか否かを自動選択する。

［６］前記第１情報は、
前記使用者の視線が前記表示部から外れた時点で前記表示部に表示されていた画像を特定する情報、
前記使用者の視線が前記表示部から外れる直前に前記表示部に表示されていた画像の中で前記使用者が見ていたオブジェクトを特定する情報、
前記使用者の視線が前記表示部から外れた時点で前記表示部に表示されていた画像に伴って発生されていた音声を特定する情報、
前記一連の画像を順次表示する動作を開始してから、前記使用者の視線が前記表示部から外れるまでの時間を示す時間情報
の少なくとも１つである
ことを特徴とする［１］乃至［５］のいずれか１つに記載の表示装置。

［７］前記第２情報は、
前記使用者の視線が前記表示部に戻った時点で前記表示部に表示されていた画像を特定する情報、
前記使用者の視線が前記表示部に戻ったときに前記表示部に表示されていた画像の中で前記使用者が見たオブジェクトを特定する情報、
前記使用者の視線が前記表示部に戻った時点で前記表示部に表示されていた画像に伴って発生されていた音声を特定する情報、
前記一連の画像を順次表示する動作を開始してから、もしくは前記使用者の視線が前記表示部から外れてから、前記使用者の視線が前記表示部に戻るまでの時間を示す時間情報
の少なくとも１つである
ことを特徴とする［４］に記載の表示装置。

［８］前記制御部は、前記選択を前記使用者から受けると共に、該選択の選択肢として、前記再表示処理を直ちに実行する第１選択肢と、現在実行中の表示処理を継続し、後で前記再表示処理を実行する第２選択肢と、現在実行中の表示処理を継続し、前記再表示処理を実行しない第３選択肢を提供する
ことを特徴とする［１］乃至［７］のいずれか１つに記載の表示装置。

［９］表示部と、前記表示部を見ている使用者の視線を検出する視線検出部を有する情報処理装置を、
［１］乃至［８］のいずれか１つに記載の表示装置として機能させる
ことを特徴とする表示制御プログラム。

［１０］画像処理部と、
前記画像処理部に実行させるジョブの設定に係る画面を表示する［１］乃至［８］のいずれか１つに記載の表示装置と、
を有する
ことを特徴とする画像処理装置。

本発明に係る表示装置、表示制御プログラム、画像処理装置によれば、画面の遷移中や動画の再生中にユーザが表示部から視線を外した場合に、その要因に応じた対処を選択して実施することができる。

本発明の実施の形態に係る画像処理装置と、画像処理装置を遠隔操作するための操作表示装置を示す図である。 画像処理装置の概略構成を示すブロック図である。 操作表示装置の概略構成を示すブロック図である。 一連の画像を順次表示する間に操作者の視線が表示部から外れて戻った場合における画像処理装置１０の動作の概要を示す説明図である。 一連の画像を順次表示する際に画像処理装置が行うメイン処理を示す流れ図である。 図５の続きを示す流れ図である。 対処選択画面の一例を示す正面図である。 即時再表示処理（図６のステップＳ１１８）の詳細を示す流れ図である。 再表示タイプ選択画面の一例を示す正面図である。 継続表示処理（図６のステップＳ１２０）の詳細を示す流れ図である。 後で再表示処理（図６のステップＳ１１９）の詳細を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置１０と、画像処理装置１０を遠隔操作するための操作表示装置４０を示している。操作表示装置４０は、ＬＡＮ（Local Area Network）などのネットワークを介して画像処理装置１０と通信可能に接続される。画像処理装置１０と操作表示装置４０との接続は無線通信でも有線通信でもよいが、無線通信が好ましい。

画像処理装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。

画像処理装置１０および操作表示装置４０はそれぞれ、表示部を見て操作を行う操作者（使用者）の視線を検出する機能を備えている。画像処理装置１０および操作表示装置４０は、一連の画像を順次表示している間に操作者の視線が表示部から外れた場合の対処処理を複数備え、それらの中のいずれかの対処処理を選択的に実行する機能を備えている。

一連の画像は、動画や、遷移順序の定められた複数の画像や画面などである。一連の画像を順次表示するとは、動画を再生したり、予め定められた遷移順序に従って複数の画像や画面を次々と表示したり、予め定められた順序に従って画面を次々と更新したりすることである。

図２は、画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、当該画像処理装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１８、画像読取部１９、操作部２１、表示部２２、画像処理部２３、プリンタ部２４、認証部２５、ネットワーク通信部２６、ファクシミリ通信部２７、視線検出部２８などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像処理装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、表示用の画面や動画のデータのほか各種のプログラムやデータが記憶される。ハードディスク装置１５には、後述する第１情報と第２情報を関連付けて記憶するための管理テーブル１７が作成されて記憶される。

画像読取部１９は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１９は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１８は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１９の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部１９は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１８によって搬送される原稿を順次読み取る機能を備えている。

表示部２２は、各種の操作画面、設定画面、前述した一連の画像等を表示する機能を果たす。表示部２２は液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）とそのドライバなどで構成される。操作部２１はユーザからジョブの投入など各種の操作を受ける機能を果たす。操作部２１は、スタートボタンなどの各種ハードスイッチと、表示部２２の表示面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部２２の表示面がタッチペンや指などで接触操作された座標位置を検出する。操作部２１は、タッチパネルを通じてフリック操作やドラッグ操作を受け付ける。

画像処理部２３は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２４は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

認証部２５は、画像処理装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。

ネットワーク通信部２６は、操作表示装置４０や外部のＰＣ、サーバなどと通信する機能を果たす。ネットワーク通信部２６は、有線通信と無線通信の双方可能に構成される。なお、有線通信と無線通信のいずれか一方のみ可能に構成されてもよい。

ファクシミリ通信部２７は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

視線検出部２８は、画像処理装置１０の表示部２２を見ている操作者（使用者）の視線を検出する。視線の検出方法は任意でよい。たとえば、表示部２２の上縁中央にカメラを設け、このカメラが撮影した画像を解析し、顔の向きや目の中の瞳の位置などから使用者の視線を検出する。画像処理装置１０は、視線検出部２８で操作者の視線を検出することにより、該操作者が表示部２２を見ているか、見ていないか、また見ている場合には画面内のどの箇所を見ているかを認識することができる。

図３は、操作表示装置４０の概略構成を示すブロック図である。操作表示装置４０は、当該操作表示装置４０の動作を統括制御するＣＰＵ４１を有している。ＣＰＵにはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、ハードディスク装置４５と、操作部４８と、表示部４９と、ネットワーク通信部５１と、認証部５２と、視線検出部５３が接続されている。

ＣＰＵ４１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ４２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ４１が各種処理を実行することで操作表示装置４０の機能が実現される。

ＲＡＭ４３は、ＣＰＵ４１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納したり、表示用のデータを格納したりするためのワークメモリとして使用される。

不揮発メモリ４４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置４５は大容量不揮発の記憶装置であり、表示用の画面や動画のデータのほか各種のプログラムやデータが記憶される。ハードディスク装置４５には、後述する第１情報と第２情報を関連付けて記憶するための管理テーブル４７が作成されて記憶される。

表示部４９は、各種の操作画面、設定画面、前述した一連の画像等を表示する機能を果たす。表示部４９は液晶ディスプレイとそのドライバなどで構成される。操作部４８は操作者からジョブの投入など各種の操作を受ける機能を果たす。操作部４８は、スタートボタンなどの各種ハードスイッチと、表示部４９の表示面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部４９の表示面がタッチペンや指などで接触操作された座標位置を検出する。操作部４８は、タッチパネルを通じてフリック操作やドラッグ操作を受け付ける。

ネットワーク通信部５１は、画像処理装置１０や外部のＰＣ、サーバなどと通信する機能を果たす。ネットワーク通信部５１は、有線通信と無線通信の双方可能に構成される。なお、有線通信と無線通信のいずれか一方のみ可能に構成されてもよい。

認証部５２は、当該操作表示装置４０を使用する操作者を認証する。ＩＤ（Identification）カード、指紋、ユーザＩＤ（Identification）とパスワードの照合などにより認証される。

視線検出部５３は、操作表示装置４０の表示部４９を見ている操作者（使用者）の視線を検出する。視線検出部２８と同様に、視線の検出方法は任意でよい。操作表示装置４０は、視線検出部５３で操作者の視線を検出することにより、該操作者が表示部４９を見ているか、見ていないか、また見ている場合には画面内のどの箇所を見ているかを認識することができる。

次に、画像処理装置１０の表示部２２に一連の画像を順次表示する動作について説明する。なお、一連の画像の順次表示に関して画像処理装置１０と操作表示装置４０は同様の動作を行うので、ここでは、画像処理装置１０での動作を説明し、操作表示装置４０での動作の説明は省略する。

ここでは、一連の画像が、遷移順序の定められた複数の設定画面である場合を例に説明する。画像処理装置１０は、図４に示すように、複数の設定画面（この例では画面（１）から画面（１２））を、所定の遷移順（画面番号の順）に横一列に配列した一連の画像６０として管理している。画面を静止表示する状態では、いずれか１つの画面とその両側の画面の一部が表示部２２に表示される。図４の例では、画面（８）と左隣の画面（７）の一部と右隣の画面（９）の一部が表示部２２に表示されている。

画像処理装置１０は、表示部２２の表示面上のタッチパネルで左右いずれかの方向のフリック操作を受けると、表示部２２の表示面に、一連の画像６０が、フリックされた方向に流れるように移動（スクロール）して、順次表示される。たとえば、画面（８）が表示部２２に静止して表示されている状態で左方向に跳ねるフリック操作を受けると、表示部２２の表示面に一連の画像６０が左方向に流れるように表示される。すなわち、表示部２２に表示される画面が、画面（８）から画面（９）、画面（１０）、画面（１１）…というように右方向へ順に遷移するように表示される。

画像処理装置１０は、上記フリック操作を受けて一連の画像６０を順次表示（スクロール表示）している間に、該操作者の視線が表示部２２から外れるか否かを監視する。そして、一連の画像６０を順次表示している間に操作者の視線が表示部２２から外れた場合には、その視線が外れた時点で表示部２２に表示されていた画像の一連の画像６０内での先頭からの位置（これを再生位置とする）を特定可能な第１情報を取得して記憶すると共に、一連の画像６０の順次表示をそのまま継続する。

その後、画像処理装置１０は、操作者の視線が表示部２２に戻ったとき、その時点での再生位置を特定可能な第２情報を取得して記憶する。そして、以下の複数の選択肢の中のいずれかを選択して、以後の表示動作を行う。

第１選択肢（即時再表示）：第１情報に基づいて特定される再生位置に戻って一連の画像６０を順次表示する再表示処理を、直ちに実行する。
第２選択肢（継続表示）：現在の表示処理をそのまま継続する。
第３選択肢（後で再表示）：第１情報に基づいて特定される再生位置に戻って一連の画像６０を順次表示する再表示処理を、後で実行する。

なお、画像処理装置１０は、再表示処理のタイプとして、第１情報によって特定される再生位置から一連の画像６０の順次表示を行う通常再表示と、一連の画像６０のうち、第１情報によって特定される再生位置から第２情報によって特定される再生位置までの区間のみを順次表示した後に表示を静止させる区間再表示とを備えており、ユーザからいずれかの選択を受ける。

第１選択肢（即時再表示）および第３選択肢（後で再表示）は、ユーザが表示部２２から視線を外した要因が前述した要因１の場合、すなわち、何らかの予期せぬ事象が発生したことで、思わず視線を表示部２２から外した場合、に対応した表示処理である。

第２選択肢（継続表示）は、ユーザが表示部２２から視線を外した要因が前述した要因２の場合、すなわち、ユーザは画面を遷移させたいだけであり、その途中を見る意思や必要がない場合、に対応した表示処理である。

具体例を示す。たとえば、図４の画面（１）を静止表示している状態で左方向に跳ねるフリック操作を受けて一連の画像６０を画面（１２）の方向へスクロールさせて順次表示しているものとする。そして、表示部２２に画面（３）が表示されているときに操作者の視線が表示部２２から外れたとする。この場合、操作者の視線が外れた時点で表示部２２に表示されていた画面である画面（３）を特定可能な情報を第１情報として記憶する（図４：Ｐ１）。たとえば、画面（３）の画面番号が第１情報として記憶される。

画像処理装置１０は、操作者の視線が外れた後も、一連の画像６０の順次表示（スクロール表示）を継続して行う。

その後、表示部２２に画面（６）が表示されているときに操作者の視線が表示部２２に戻ったとする。このとき、操作者の視線が表示部２２に戻った時点で表示部２２に表示されていた画面である画面（６）を特定可能な情報を第２情報として記憶する（Ｐ２）。そして、前述の第１選択肢、第２選択肢、第３選択肢のいずれかの選択を受けるための対処選択画面７０（図７参照）を表示し、操作者からいずれかの選択肢の選択操作を受ける（Ｐ３）。

第１選択肢（即時再表示）が選択されたら、通常再表示と区間再表示のいずれを実行するかの選択を受けるための再表示タイプ選択画面８０（図９参照）を表示し、操作者からいずれかの選択を受ける。通常再表示の選択を受けた場合は、画面（３）から一連の画像６０の順次表示を実行し、画面（６）を過ぎてもそのまま順次表示を継続する。この例では、一連の画像６０の最後画面である画面（１２）までスクロール表示を継続させ、その後、画面（１２）を静止表示する。

区間再表示の選択を受けた場合は、一連の画像６０のうち、画面（３）から画面（６）の区間のみを順次表示した後、表示の流れを停止させて画面（６）を静止表示する。ユーザは、さらにスクロールさせたい場合は、新たなフリック操作を行えばよい。

第２選択肢（継続表示）が選択されたら、対処選択画面７０を消して、元の表示画面での表示処理を継続する。たとえば、画面（８）の表示中に、対処選択画面７０を割り込み表示した場合には、対処選択画面７０を消した後、画面（８）から一連の画像６０の順次表示（スクロール表示）を再開する。

第３選択肢（後で再表示）が選択されたら、対処選択画面７０を消して、元の表示画面での表示処理を継続すると共に、表示部２２の表示領域の一部（たとえば、左上の隅）に、再表示処理の実行釦を重ねて表示する。再表示処理の実行釦が押下されたら（図４：Ｐ４）、通常再表示と区間再表示のいずれを実行するかの選択を受けるための再表示タイプ選択画面８０を表示する。以後の動作は第１選択肢が選択されて再表示タイプ選択画面８０を表示した後の動作と同一である。

第１情報は、操作者の視線が表示部２２から外れた時点で表示部２２に表示されていた画像の位置（一連の画像の先頭からの位置）を特定可能な情報であれば任意の情報でよい。たとえば、以下の（１）〜（４）に示す情報のうちのいずれか１つ以上とすることができる。

（１）操作者の視線が表示部２２から外れた時点で表示部２２に表示されていた画像を特定する情報（前述の画面番号など）、
画面番号などで画面を特定できれば、一連の画像内でのその画面の位置が特定される。

（２）操作者の視線が表示部２２から外れる直前に表示部２２に表示されていた画像の中で操作者が見ていたオブジェクトを特定する情報、
たとえば、オブジェクトとしては、画面内の特定の操作釦や図形、画面内の特定のメッセージなどがある。操作釦やメッセージなどのオブジェクトがその画面に固有のものであれば、オブジェクトを特定することで、視線が表示部２２から外れたときに表示部２２に表示されていた画面を特定することができる。

（３）操作者の視線が表示部２２から外れた時点で表示部２２に表示されていた画像に伴って発生されていた音声を特定する情報、
画像に伴って発生する音声が変化する場合には、音声に基づいてその音声が発生された時点の画像を特定することができる。

（４）一連の画像の順次表示を開始してから、操作者の視線が表示部から外れるまでの時間を示す時間情報、
一連の画像の再生速度と再生開始からの時間情報とから、操作者の視線が表示部２２から外れたときに表示部２２に表示されていた画像の一連の画像内での先頭からの位置を特定することができる。

第２情報は、操作者の視線が表示部２２に戻った時点で表示部２２に表示されていた画像の位置（一連の画像の先頭からの位置）を特定可能な情報であれば任意の情報でよい。たとえば、以下の（５）〜（８）に示す情報のうちのいずれか１つ以上とすることができる。

（５）操作者の視線が表示部２２に戻った時点で表示部２２に表示されていた画像を特定する情報（前述の画面番号など）。

（６）操作者の視線が表示部２２に戻ったときに表示部２２に表示されていた画像の中で操作者が見たオブジェクトを特定する情報。

（７）操作者の視線が表示部２２に戻った時点で表示部２２に表示されていた画像に伴って発生されていた音声を特定する情報。

（８）一連の画像の動的な表示を開始してからの時間、もしくは操作者の視線が表示部２２から外れてから表示部２２に戻るまでの時間を示す時間情報
一連の画像の再生速度と、一連の画像の順次表示を開始した時点から操作者の視線が表示部２２に戻るまでの時間とから、操作者の視線が表示部２２に戻ったときに表示部２２に表示されていた画像を特定することができる。また、操作者の視線が表示部２２から外れたときに表示部２２に表示された画像の位置を第１情報に基づいて認識できるので、操作者の視線が表示部２２から外れてから表示部２２に戻るまでの時間が分かれば、操作者の視線が表示部２２に戻ったときに表示部２２に表示されていた画像の位置（一連の画像の先頭からの位置）を特定することができる。

次に、表示部２２に一連の画像を順次表示する際に画像処理装置１０が行う処理の詳細を流れ図に基づいて説明する。

図５、６は、表示部２２に一連の画像を順次表示する際に画像処理装置１０が行う処理のメイン処理を示す流れ図である。ＣＰＵ１１はＲＯＭ１２等に記憶されたプログラムを実行することにより、図５、６の流れ図に示す処理を実現する。

画像処理装置１０は、一連の画像を順次表示する動作（以後、順次表示動作とする）の開始指示をユーザから受けるのを待つ（ステップＳ１０１）。開始指示は、前述したフリック操作に限定されない。開始指示は、一連の画像が遷移順序の定められた複数の画面である場合には画面遷移を指示する操作が該当し、一連の画像が動画である場合には該動画の再生を指示する操作が該当し、一連の画像が予め定めた順序で次々と行われる画面の更新であればその更新の開始を指示する操作が該当する。

順次表示動作の開始指示を受けると（ステップＳ１０１；Ｙｅｓ）、この開始指示に対応する一連の画像の順次表示動作を開始する（ステップＳ１０２）。

一連の画像の順次表示動作を開始してから操作者の視線が表示部２２から外れることなく（ステップＳ１０４；Ｎｏ）、一連の画像の順次表示動作が完了したら（ステップＳ１０３；Ｙｅｓ）、本処理を終了する。

一連の画像の順次表示動作を行っている間に操作者の視線が表示部２２から外れたことを視線検出部２８によって検出した場合は（ステップＳ１０４；Ｙｅｓ）、該検出の時点で表示部２２に表示されていた画像の一連の画像内における先頭からの位置を特定可能な第１情報を管理テーブル１７に記憶する（ステップＳ１０５）。なお、順次表示動作はそのまま継続する。

次に不揮発メモリ１４に記憶されている各種の設定情報を参照する。設定情報は、再表示処理に関する各種の設定内容を示す情報である。たとえば、視線が外れていた期間の長さに関する、後述する閾値などが含まれる。各種設定情報は図示しない設定画面にて設定される。

一連の画像の順次表示動作が完了していなければ（ステップＳ１０７；Ｎｏ）、該一連の画像の順次表示動作を継続させながら（ステップＳ１０８）、操作者の視線が表示部２２に戻るのを待つ（ステップＳ１０９；Ｎｏ）。視線が表示部２２に戻る前に一連の画像の順次表示動作が完了した場合は（ステップＳ１０７；Ｙｅｓ）、順次表示動作が完了したときの表示状態を維持したまま操作者の視線が表示部２２に戻るのを待つ（ステップＳ１０９；Ｎｏ）。

操作者の視線が表示部２２に戻ったことが視線検出部２８によって検出され（ステップＳ１０９；Ｙｅｓ）、該検出の時点で表示部２２に表示されていた画像の一連の画像内における先頭からの位置を特定可能な第２情報を、ステップＳ１０５で記憶した第１情報と関連付けて管理テーブル１７に記憶する（ステップＳ１１０）。

図６の流れ図に移り、さらに、画像処理装置１０は、第１情報と第２情報を参照して（ステップＳ１１１）、操作者の視線が表示部２２から外れていた期間を認識し、この期間に表示部２２に表示された画像に関する各種情報を集計する。たとえば、操作者の視線が表示部２２から外れていた期間の長さ（時間）、その期間中に表示部２２に表示された画面数、オブジェクト数、操作釦数、文字数、英数字の数などを集計する（ステップＳ１１２）。

次に、画像処理装置１０は、操作者の視線が表示部２２から外れていた期間の長さが、予め設定されている閾値より長いか否かを判断する（ステップＳ１１３）。閾値は、思わず視線を外した場合に余所見をする一般的な上限時間、たとえば、１０秒に設定される。操作者の視線が表示部２２から外れていた期間の長さが閾値より長い場合は（ステップＳ１１３；Ｙｅｓ）、継続表示処理を行って（ステップＳ１２０）、本処理を終了する。継続表示処理は前述の第２選択肢（継続表示）が選択された場合と同様の表示処理であり、現在の表示画面での表示処理がそのまま継続される。

操作者が要因１によって思わず視線を表示部２２から外した場合は、視線を短時間のうちに表示部２２に戻すと考えられる。一方、操作者が要因２によって意図的に視線を表示部２２から外した場合には、要因１に比べて長い時間にわたって視線を表示部２２から外すと考えられる。そこで、操作者が表示部２２から視線を外している期間の長さが閾値より長い場合には、画像処理装置１０にて自動的に継続表示処理を選択する。これにより、視線を外した時点の内容に戻すことなく、一連の画像の順次表示動作がそのまま継続されるので、単に画面を遷移させたいだけの操作者の意図に合った表示が行われる。

画像処理装置１０は、操作者の視線が表示部２２から外れていた期間の長さが閾値以下の場合には（ステップＳ１１３；Ｎｏ）、ステップＳ１１２での集計結果を表示する（ステップＳ１１４）。さらに、前述した第１選択肢〜第３選択肢の中のいずれか１つの選択を操作者から受けるための対処選択画面７０を表示部２２に表示して（ステップＳ１１５）、操作者からの選択操作を待つ（ステップＳ１１６；Ｎｏ）。

図７は、対処選択画面７０の一例を示している。対処選択画面７０には、ステップＳ１１２で集計した各種の集計結果７１が表示されると共に、その下方に、第１選択肢（即時再表示）の選択釦７２、第２選択肢（継続表示）の選択釦７３、第３選択肢（後で再表示）の選択釦７４が表示されている。なお、対処選択画面７０の各選択釦７２〜７４には、その選択釦が選択された場合に行われる表示処理の内容を説明する案内メッセージが表示されている。

操作者からいずれかの選択肢の選択操作を受けたら（ステップＳ１１６；Ｙｅｓ）、選択された選択肢に応じた表示処理を実行する。詳細には、第１選択肢（即時再表示）が選択された場合は（ステップＳ１１７；即時）、即時再表示処理（ステップＳ１１８）を行って本処理を終了する。第２選択肢（継続表示）が選択された場合は（ステップＳ１１７；継続）、継続表示処理（ステップＳ１２０）を行って本処理を終了する。第３選択肢（後で再表示）が選択された場合は（ステップＳ１１７；後で）、後で再表示処理（ステップＳ１１９）を行って本処理を終了する。

図８は、即時再表示処理（図６のステップＳ１１８）の詳細を示す流れ図である。ＣＰＵ１１はＲＯＭ１２等に記憶されたプログラムを実行することにより、図８の流れ図に示す処理を実現する。

まず、図６のステップＳ１１１で参照した第１情報に基づいて、操作者の視線が表示部２２から外れたときの画面まで、一連の画像の再生位置を戻す（ステップＳ２０１）。

次に、一連の画像の再生位置を、操作者が視線を外したときの位置まで戻したことを通知する（ステップＳ２０２）。そして、通常再表示と区間再表示のいずれを実行するかの選択を受けるための再表示タイプ選択画面８０を表示し（ステップＳ２０３）、通常再表示と区間再表示のいずれかの選択操作を待つ（ステップＳ２０４；Ｎｏ）。

図９は、再表示タイプ選択画面８０の一例を示している。再表示タイプ選択画面８０には、ステップＳ１１２で集計した各種の集計結果８１が対処選択画面７０と同様に表示されると共に、その下方に、通常再表示釦８２と区間再表示釦８３が表示されている。なお、通常再表示釦８２、区間再表示釦８３にはそれぞれ、その釦が選択された場合に行われる表示処理の内容を説明する案内メッセージが表示されている。

操作者から通常再表示と区間再表示のいずれかの選択操作を受け（ステップＳ２０４；Ｙｅｓ）、その選択内容が通常再表示であれば（ステップＳ２０５；Ｙｅｓ）、通常再表示を実行する（ステップＳ２０６）。すなわち、視線が外れたときの画面（再生位置）から一連の画像の順次表示動作を行う。区間再表示が選択された場合は（ステップＳ２０５；Ｎｏ）、区間再表示を実行する（ステップＳ２０７）。すなわち、一連の画像のうちの、視線が外れたときの画面から視線が戻ったときの画面までの区間のみを順次表示し、視線が戻ったときの画面で表示を静止させる（ステップＳ２０７）。

ステップＳ２０６またはステップＳ２０７を実行した後、第１情報と第２情報を管理テーブル１７から消去して（ステップＳ２０８）、本処理を終了する（リターン）。

図１０は、継続表示処理（図６のステップＳ１２０）の詳細を示す流れ図である。ＣＰＵ１１はＲＯＭ１２等に記憶されたプログラムを実行することにより、図１０の流れ図に示す処理を実現する。

一連の画像の順次表示動作が完了していれば（ステップＳ３０１；Ｙｅｓ）、第１情報と第２情報を管理テーブル１７から消去して（ステップＳ３０３）、本処理を終了する（リターン）。

一連の画像の順次表示動作が完了していなければ（ステップＳ３０１；Ｎｏ）、一連の画像の順次表示動作をそのまま継続する旨を、メッセージ等を表示して操作者に通知し、一連の画像の順次表示動作をそのまま継続する（ステップＳ３０２）。そして、第１情報と第２情報を管理テーブル１７から消去して（ステップＳ３０３）、本処理を終了する（リターン）。

図１１は、後で再表示処理（図６のステップＳ１１９）の詳細を示す流れ図である。ＣＰＵ１１はＲＯＭ１２等に記憶されたプログラムを実行することにより、図１１の流れ図に示す処理を実現する。
一連の画像の順次表示動作が完了したか否かを調べ（ステップＳ４０１）、完了していなければ（ステップＳ４０１；Ｎｏ）、現在の表示画面での処理をそのまま継続（一連の画像の順次表示動作を継続）するが、後で再表示処理を実行可能な旨を、表示部２２に表示して操作者に通知し、現在の表示画面での処理をそのまま継続させて（ステップＳ４０２）、ステップＳ４０３へ移行する。

一連の画像の順次表示動作が完了している場合は（ステップＳ４０１；Ｙｅｓ）、ステップＳ４０３へ移行する。ステップＳ４０３では、通常再表示の実行を指示する操作釦と、区間再表示の実行を指示する操作釦とを表示部２２の所定の表示エリアに表示する。そして、いずれかの操作釦が操作されるのを待つ（ステップＳ４０４；Ｎｏ）。

なお、再表示処理の実行釦を表示部２２の所定のエリアに表示しておき、この実行釦が操作されたら再表示タイプ選択画面８０を表示して通常再表示と区間再表示のいずれを実行するかの選択操作を受けるようにしてもよい。

操作者から通常再表示の実行を指示する操作釦と区間再表示の実行を指示する操作釦のいずれかの操作を受け（ステップＳ４０４；Ｙｅｓ）、その指示が通常再表示の実行指示であれば（ステップＳ４０５；Ｙｅｓ）、通常再表示を実行する（ステップＳ４０６）。すなわち、視線が外れたときの画面（再生位置）から一連の画像の再表示処理（順次表示）を実行する（ステップＳ４０６）。

区間再表示の実行指示であれば（ステップＳ４０５；Ｎｏ）、区間再表示を実行する（ステップＳ４０７）。すなわち、一連の画像のうちに、視線が外れたとき画面から視線が戻った時の画面までの区間のみを順次表示し、視線が戻ったときの画面で表示を静止させる（ステップＳ４０７）。

ステップＳ４０６またはステップＳ４０７を実行した後、第１情報と第２情報を管理テーブル１７から消去して（ステップＳ４０８）、本処理を終了する（リターン）。

以上のように、本実施の形態に係る画像処理装置１０は、一連の画像を順次表示している間に操作者が視線を外した場合に、その時点での一連の画像の再生位置を第１情報として記憶すると共に、順次表示動作を継続させる。そして、操作者の視線が表示部２２に戻ったとき、視線が外れた時点まで表示を戻すか、そのまま表示を継続させるかを選択する。これにより、操作者が視線を戻した後の表示処理の内容を、操作者が視線を外した要因に応じて切り換えることができる。

すなわち、操作者が何らかの理由で思わず視線を外した場合（要因１）に対応した対処と、操作者が意図的に視線を外した場合（要因２）に対応した対処とを選択できるので、視線を外した要因が要因１と要因２のいずれであっても、それぞれに適した対処を実施することができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、図６のステップＳ１１３にて、視線が外れていた期間が閾値より長い場合に、継続表示処理を実行するようにしたが、ステップＳ１１５にて対象の選択肢を対処選択画面７０などで操作者に提示する際に、視線が外れていた期間の長短に応じて、メッセージの内容や選択釦の大きさなどを変化させるようにしてもよい。たとえば、視線が外れていた期間が閾値より長い場合は、継続表示処理を推奨するメッセージを表示したり、第２選択肢（継続表示）の選択釦７３を他の選択釦より大きくしたりする。

実施の形態では、対処選択画面７０において、第１選択肢（即時再表示）の選択釦７２、第２選択肢（継続表示）の選択釦７３、第３選択肢（後で再表示）の選択釦７４の全てを表示するようにしたが、上記３つの選択肢のうちの少なくとも２つを表示し、操作者に選択させるようにしてもよい。

実施の形態では、画像処理装置１０を複合機としたが、画像処理部と該画像処理部に実行させるジョブの設定に係る画面を表示するための表示装置を備える装置であれば、複写機やプリンタなど他の種類の装置でも本発明は適用される。

また、本発明の表示装置として、画像処理装置１０を遠隔操作するための操作表示装置４０を例示したが、他の種類の表示装置でもかまわない。たとえば、動画の再生表示装置などでもよい。

１０…画像処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１７…管理テーブル
１８…自動原稿搬送部
１９…画像読取部
２１…操作部
２２…表示部
２３…画像処理部
２４…プリンタ部
２５…認証部
２６…ネットワーク通信部
２７…ファクシミリ通信部
２８…視線検出部
４０…操作表示装置
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…ハードディスク装置
４７…管理テーブル
４８…操作部
４９…表示部
５１…ネットワーク通信部
５２…認証部
５３…視線検出部
６０…一連の画像
７０…対処選択画面
７１…集計結果
７２…第１選択肢（即時再表示）の選択釦
７３…第２選択肢（継続表示）の選択釦
７４…第３選択肢（後で再表示）の選択釦
８０…再表示タイプ選択画面
８１…集計結果
８２…通常再表示釦
８３…区間再表示釦

Claims (10)

1. 表示部と、
   前記表示部を見ている使用者の視線を検出する視線検出部と、
   前記表示部への一連の画像の表示を制御する制御部と、
   を備え
   前記制御部は、前記一連の画像を前記表示部に順次表示している間に前記表示部を見ていた使用者の視線が前記表示部から外れたことが前記視線検出部によって検出された場合に、該検出された時点で前記表示部に表示されていた画像の前記一連の画像内での先頭からの位置を特定可能な第１情報を取得して記憶すると共に前記一連の画像の動的な表示を継続させ、
   前記使用者の視線が前記表示部に戻ったことが前記視線検出部によって検出された場合に、前記使用者の視線が前記表示部から外れていた期間が閾値より大きい場合は、前記一連の画像の表示を継続させ、前記期間が前記閾値以下の場合は、前記第１情報に基づいて特定される前記位置から前記一連の画像を順次表示する再表示処理を実行するか否かを選択し、該選択の結果が前記再表示処理の実行の場合に、前記再表示処理を実行する
   ことを特徴とする表示装置。
2. 使用者から操作を受ける操作部を備え、
   前記制御部は、前記操作部にて使用者から所定の操作を受けた場合に、前記一連の画像の動的な表示を開始する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記所定の操作は、前記一連の画像が遷移順序の定められた複数の画面である場合における画面遷移を指示する操作、または画面の更新を指示する操作、または前記一連の画像が動画である場合における該動画の再生を指示する操作である
   ことを特徴とする請求項２に記載の表示装置。
4. 前記制御部は、前記使用者の視線が前記表示部に戻ったことが前記視線検出部によって検出された時点で前記表示部に表示されていた画像の前記一連の画像内での先頭からの位置を特定可能な第２情報を取得して記憶し、前記再表示処理において前記一連の画像のうちの前記第１情報に基づいて特定される位置から前記第２情報に基づいて特定される位置までの区間のみを順次表示する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の表示装置。
5. 前記制御部は、前記一連の画像を順次表示している間に前記表示部を見ていた使用者の視線が前記表示部から外れたことが前記視線検出部によって検出されてから、前記使用者の視線が前記表示部に戻ったことが前記視線検出部によって検出されるまでの時間の長さに基づいて前記選択を行う
   ことを特徴とする請求項１乃至４のいずれか１つに記載の表示装置。
6. 前記第１情報は、
   前記使用者の視線が前記表示部から外れた時点で前記表示部に表示されていた画像を特定する情報、
   前記使用者の視線が前記表示部から外れる直前に前記表示部に表示されていた画像の中で前記使用者が見ていたオブジェクトを特定する情報、
   前記使用者の視線が前記表示部から外れた時点で前記表示部に表示されていた画像に伴って発生されていた音声を特定する情報、
   前記一連の画像を順次表示する動作を開始してから、前記使用者の視線が前記表示部から外れるまでの時間を示す時間情報
   の少なくとも１つである
   ことを特徴とする請求項１乃至５のいずれか１つに記載の表示装置。
7. 前記第２情報は、
   前記使用者の視線が前記表示部に戻った時点で前記表示部に表示されていた画像を特定する情報、
   前記使用者の視線が前記表示部に戻ったときに前記表示部に表示されていた画像の中で前記使用者が見たオブジェクトを特定する情報、
   前記使用者の視線が前記表示部に戻った時点で前記表示部に表示されていた画像に伴って発生されていた音声を特定する情報、
   前記一連の画像を順次表示する動作を開始してから、もしくは前記使用者の視線が前記表示部から外れてから、前記使用者の視線が前記表示部に戻るまでの時間を示す時間情報
   の少なくとも１つである
   ことを特徴とする請求項４に記載の表示装置。
8. 前記制御部は、前記選択を前記使用者から受けると共に、該選択の選択肢として、前記再表示処理を直ちに実行する第１選択肢と、現在実行中の表示処理を継続し、後で前記再表示処理を実行する第２選択肢と、現在実行中の表示処理を継続し、前記再表示処理を実行しない第３選択肢のうち少なくとも２つの選択肢を提供する
   ことを特徴とする請求項１乃至７のいずれか１つに記載の表示装置。
9. 表示部と、前記表示部を見ている使用者の視線を検出する視線検出部を有する情報処理装置を、
   請求項１乃至８のいずれか１つに記載の表示装置として機能させる
   ことを特徴とする表示制御プログラム。
10. 画像処理部と、
    前記画像処理部に実行させるジョブの設定に係る画面を表示する請求項１乃至８のいずれか１つに記載の表示装置と、
    を有する
    ことを特徴とする画像処理装置。

Images