JP5434767B2 - 情報処理装置、情報処理方法及びそのプログラム - Google Patents

Description

本発明は、画面に表示されるＵＩ（User Interface）を制御することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。

医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている（特許文献１参照）。このようなシステムでは、病理医は、マウスやゲームコントローラ等の入力装置を使用し、画面に表示されたＵＩを操作することで、細胞等の画像（以後、病理画像という）を観察する。病理医が病理画像を効率よくまた高い精度で観察するためには、ＵＩの高い操作性が望まれる。

特許文献２には、画面上の領域（ウインドウ）によって、ユーザが用いるリモコンの十字キーの操作を、マウスカーソルとして扱うか、アンカーカーソルとして扱うかを切り替えることが可能な表示制御方法が記載されている。この表示制御方法により操作性の高いＵＩが実現されている。（例えば特許文献２の段落［００３４］〜［００３６］、図５等参照）。

特開２００９−３７２５０号公報 特開２０００−８９８９２号公報

例えば病理医により病理画像が観察されるときには、病理画像をスクロールする操作や、他の病理画像を選択する操作等の様々な操作が必要とされることが多い。従って病理医ごとで、使用される入力装置が異なる場合がある。すなわちマウス等のポインティグデバイスを使用する病理医もいれば、ゲームコントローラ等を使用する病理医もいる。しかしながら一般的に、マウスに適したＵＩをゲームコントローラにより操作することは困難であり、その逆も同様である。従って使用される入力装置の種類によっては、病理医が画面に表示された画像を効率よく観察できない場合がある。

以上のような事情に鑑み、本発明の目的は、ユーザが使用する入力装置の種類にかかわらず、画面に表示される画像を効率よく観察することができるための情報処理装置、情報処理方法、及びそのプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、接続部と、入力装置切替部と、オブジェクト表示部とを具備する。
前記接続部は、二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する画面上のポインタを測定結果に基づいて移動させ前記画面上の位置を選択可能な第１の入力装置と、前記二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する前記画面上の選択可能位置を測定結果に基づいて移動させ前記画面上の位置を選択可能な第２の入力装置とを接続するためのものである。
前記入力装置切替部は、利用する入力装置を前記第１の入力装置と前記第２の入力装置との間で切り替える。
前記オブジェクト表示部は、前記画面に複数のオブジェクトを表示し、前記第１の入力装置を利用するときと前記第２の入力装置を利用するときとで、前記画面上の前記複数のオブジェクトの表示モードを、前記第１の入力装置に対応する第１の表示モードと前記第２の入力装置に対応する第２の表示モードとの間で切り替える。

この情報処理装置では、種類の異なる第１の入力装置と第２の入力装置とが接続部に接続される。そして第１の入力装置を利用するときと第２の入力装置とを利用するときとで、画面に表示される複数のオブジェクトの表示モードが切り替えられる。すなわち第１及び第２の入力装置がそれぞれ利用されるときに、画面に表示されるＵＩが切り替えられる。これによりユーザは、使用する入力装置が第１の入力装置であるか第２の入力装置であるかにかかわらず、画面に表示される画像を効率よく観察することができる。

前記オブジェクト表示部は、前記第１の入力装置を利用するとき、前記第１の表示モードとして、前記画面上に前記複数のオブジェクトを並べて配置し、前記表示された複数のオブジェクトの一つを選択可能な状態に設定し、前記第1の入力装置の操作に連動して前記ポインタを移動させて前記選択可能な状態のオブジェクトを変更する表示モードを設定してもよい。また前記オブジェクト表示部は、前記第２の入力装置を利用するとき、前記第２の表示モードとして、前記画面上に前記複数のオブジェクトを並べて配置し、前記画面上の所定の位置に対応する前記オブジェクトを選択可能な状態に設定し、前記第２の入力装置の操作に連動して前記各オブジェクトを移動させて前記選択可能な状態のオブジェクトを変更してもよい。

このように第１及び第２の表示モードで、画面に表示されるＵＩが異なり、そのＵＩの操作方法も異なる。これにより例えば、ユーザが使用する入力装置を適宜選択し、操作しやすい表示モードで画像を観察することが可能である。また例えば複数のユーザにより画像が観察される場合等、使用される入力装置として第１及び第２の入力装置が混在する場合にも、複数のユーザにより画像が効率よく観察される。

前記第２の表示モードは、前記選択可能な状態に設定された前記オブジェクトが強調されて表示される表示モードであってもよい。これにより第２の入力装置を使用するユーザは、画面に表示されたＵＩを効率的に操作することができる。

前記情報処理装置は、第１の解像度をそれぞれ有する複数の画像データを記憶する記憶部をさらに具備してもよい。この場合、前記オブジェクトは、前記記憶部に記憶された前記画像データを前記第１の解像度より小さい第２の解像度で描画した画像であってもよい。

前記オブジェクト表示部は、前記画面に第１の領域と第２の領域とを設定し、前記第１の領域に前記オブジェクトとして前記第２の解像度をそれぞれ有する複数の画像を表示し、前記第２の領域に前記第１の領域で前記第１の入力装置または前記第２の入力装置により選択された前記オブジェクトに対応する前記第１の解像度を有する画像を表示してもよい。また前記オブジェクト表示部は、前記第１の表示モードにおいて前記ポインタが前記第１の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第１の領域の所定の位置に対応する前記オブジェクトを選択可能な状態に設定し、前記第２の入力装置の操作に連動して前記各オブジェクトを移動させて前記選択可能な状態のオブジェクトを変更してもよい。また前記オブジェクト表示部は、前記第１の表示モードにおいて前記ポインタが前記第２の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第２の領域に表示された前記第１の解像度を有する画像に対する操作の実行を決定してもよい。

このように、第２の表示モードに切り替えられるときの第１の表示モードにおける画面上のポインタの位置により、第２の入力装置の操作により実行される処理が異なってもよい。これにより第１及び第２の入力装置が併用される場合、または混在して使用される場合等に有効である。

本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する画面上のポインタを測定結果に基づいて移動させ前記画面上の位置を選択可能な第１の入力装置と、前記二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する前記画面上の選択可能位置を測定結果に基づいて移動させ前記画面上の位置を選択可能な第２の入力装置とを接続する。
利用する入力装置が前記第１の入力装置と前記第２の入力装置との間で切り替えられる。
前記画面に複数のオブジェクトが表示され、前記第１の入力装置を利用するときと前記第２の入力装置を利用するときとで、前記画面上の前記複数のオブジェクトの表示モードが、前記第１の入力装置に対応する第１の表示モードと前記第２の入力装置に対応する第２の表示モードとの間で切り替えられる。

本発明に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。

以上、本発明によれば、ユーザが使用する入力装置の種類にかかわらず、画面に表示される画像を効率よく観察することができる。

本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。 図１に示す入出力インタフェースに接続されるマウスとゲームコントローラとを示す模式的な図である。 図１に示すＰＣによる画像の表示原理を説明するための画像ピラミッド構造を示す図である。 図３に示す画像ピラミッド構造の画像群が生成されるときの手順を説明するための図である。 第１の実施形態に係る情報処理装置であるＰＣの機能的な構成を示す模式的なブロック図である。 図５に示す入力装置切替部及びオブジェクト表示部により行われる処理を示すフローチャートである。 第１の実施形態に係るマウスモードにて表示された病理画像や複数のオブジェクト等を示す模式的な図である。 図７に示すマウスモードでのＵＩの操作方法の一例を説明するための図である。 第１の実施形態に係るゲームコントローラモードにて表示された病理画像や複数のオブジェクト等を示す模式的な図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜第１の実施形態＞
[情報処理装置の構成]
図１は、本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。

ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インタフェース１０５、及び、これらを互いに接続するバス１０４を備える。

入出力インタフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。すなわち入出力インタフェース１０５は、接続部としての機能を有する。

表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示装置であり、ＰＣ１００により出力された画像データ等に基づいて画面上に画像やオブジェクトを表示する。

入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル等、各種の入力装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。本実施形態では、入出力インタフェース１０５に第１の入力装置としてマウスが接続され、第２の入力装置としてゲームコントローラが接続される。その接続方法は、有線でもよいし無線でもよい。

図２は、そのマウスとゲームコントローラとを示す模式的な図である。図２（Ａ）に示すマウス１０は、表示装置の画面上の位置を示すポインタの移動を制御することができるデバイスであり、机等の上に載置された状態でユーザにより平面方向に動かされて使用される。

マウス１０は、例えばボール、赤外線又はレーザ等を利用した図示しない位置センサを内部に有している。この位置センサにより、ユーザがマウス１０を動かしたときに、二次元方向における移動方向と移動量とが測定され、その測定結果に基づいて画面上に表示されたポインタが移動する。マウス１０により移動方向及び移動量を測定するための情報がＰＣ１００に出力され、ＰＣ１００により移動方向及び移動量が測定されてもよい。

またマウス１０は、左ボタン１１と、右ボタン１２と、回転可能に設けられたなホイールボタン１３とを有する。左ボタン１１及び右ボタン１２は、例えば画面上に表示されたオブジェクトの選択、各種コマンドの決定、またはメニューの表示等に用いられる。ホイールボタン１３は、例えば表示装置の画面に表示される画像の拡大又は縮小等に用いられる。なお各ボタンの操作により実行される処理や、その操作方法等は適宜設定されてよい。またここで説明したもの以外のボタン等がマウス１０の設けられてもよい。

ユーザは、マウス１０を使用することで、画面上に表示されたポインタを移動させ、画面上の所定の位置を選択することが可能となる。

図２（Ｂ）に示すゲームコントローラ２０は、左右上下の各ボタン２１ａ〜２１ｄを有する十字キー２１と、決定ボタン２２と、ＬＲボタン２３と、スティック２４と、スタートボタン２５とを有する。ユーザにより十字キー２１が押されると、押された十字キー２１の位置（左右上下ボタン２１ａ〜２１ｄ）、押圧力、又は押されている時間等に基づいて、二次元空間に対する移動方向と移動量とが測定される。あるいは、移動方向及び移動量を測定するための情報がＰＣ１００に出力され、ＰＣ１００により移動方向及び移動量が測定されてもよい。

本実施形態では、上記の測定結果に基づいて、前記画面上のオブジェクト等を選択することができる位置である選択可能位置が移動される。選択可能位置にあるオブジェクト等は、フォーカス表示され、あるいはフレームで囲まれるようにして表示される。

スティック２４は、ユーザが、３６０°の全方位のうち所期の方向に傾けて使用するものである。ユーザにより傾けられた方向、傾けられた角度等に基づいて移動方向及び移動量が測定される。あるいは測定のための情報がＰＣ１００に出力される。

決定ボタン２２は、例えばオブジェクト等の選択を決定するためや、各種のコマンドの実行を決定するために用いられる。ＬＲボタン２３は、画面に表示された画像の拡大または縮小等に用いられる。スタートボタン２５は、例えば各種のメニューの開始のために用いられる。なお各ボタンの役割や位置等は適宜設定されてよい。

図１に示す記憶部１０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。

通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。

次に、本実施形態に係るＰＣ１００に接続された表示装置の画面に表示される画像について説明する。本実施形態では、ＰＣ１００の記憶部１０８に光学顕微鏡により得られた画像（以後、病理画像という）が記憶されており、この病理画像が表示装置の画面に表示される。図３は、その表示原理について説明するための画像ピラミッド構造を示す図である。

本実施形態における画像ピラミッド構造５０は、光学顕微鏡により同じ１つの観察対象物１５（図４参照）から得られる同一の画像について、異なる複数の解像度により生成された画像群（全体画像群）である。画像ピラミッド構造５０の最下には、最も大きいサイズの画像が配置され、最上には最も小さいサイズの画像が配置される。最も大きいサイズの画像の解像度は、例えば４０×３０（Kpixel：キロピクセル）、あるいは５０×５０（Kpixel：キロピクセル）である。最も小さいサイズの画像は、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。

つまり、同じ表示部１０６が、これらの画像を例えば１００％でそれぞれ表示（それらの画像のピクセル数と同じ物理的なドット数でそれぞれ表示）すると、最も大きいサイズの画像が最も大きく表示され、最も小さいサイズの画像が最も小さく表示される。ここで、図３では、その表示部１０６の表示範囲をＤとして示している。

図４は、この画像ピラミッド構造５０の画像群を生成するときの手順を説明するための図である。

まず、図示しない光学顕微鏡により所定の観察倍率で得られた元画像のデジタル画像が用意される。この元画像が、図３で示した画像ピラミッド構造５０の最下の画像である最も大きいサイズの画像に相当し、つまり最も高い解像度の画像となる。したがって、画像ピラミッド構造５０の最下の画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。

なお、病理の分野一般においては、生体の臓器、組織、細胞、またはこれらの一部から、薄く切り取られたものが観察対象物１５となる。そして、光学顕微鏡の機能を有する図示しないスキャナ装置により、ガラススライドに収められた観察対象物１５が読み取られ、これにより得られたデジタル画像が、そのスキャナ装置またはその他の記憶装置に記憶される。

このスキャナ装置または図示しない汎用コンピュータは、図４に示すように、上記のように得られた最も大きいサイズの画像から、段階的に解像度を小さくした複数の画像を生成し、これらを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。このように生成された画像群が画像ピラミッド構造５０を形成し、この画像ピラミッド構造５０がＰＣ１００の記憶部１０８に記憶される。実際には、ＰＣ１００はそれら異なる複数の解像度の画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。なお、画像ピラミッド構造５０の生成及びその記憶は、図１に示したＰＣ１００が実行してもよい。

これらの画像ピラミッド構造５０を形成する全体画像群は、公知の圧縮方法により生成されてもよいし、例えばサムネイル画像を生成するときの公知の圧縮方法により生成されてもよい。

ＰＣ１００は、この画像ピラミッド構造５０のシステムを採用するソフトウェアを用い、ユーザの入力部１０７を介した入力操作に応じて、画像ピラミッド構造５０から所望の画像を抽出し、これを表示部１０６に出力する。具体的には、ＰＣ１００は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物１５を観察しているような感覚を得ることができる。すなわち、ＰＣ１００は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

［情報処理装置の動作］
図５は、本実施形態に係る情報処理装置である、ＰＣ１００の機能的な構成例を示す模式的なブロック図である。図６は、図５に示す入力装置切替部及びオブジェクト表示部により行われる処理を示すフローチャートである。図５に示す各処理部の処理は、記憶部１０８またはＲＯＭ１０２等に記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより実現される。

接続部１５０（入出力インタフェース１０５）に接続されたマウス１０及びゲームコントローラ２０のうちいずれかにより表示装置１５１の画面上に表示された病理画像またはＵＩを操作するための操作情報が出力される。入力装置切替部１５４により、出力された操作情報が、マウス１０が操作されることで出力された操作情報か否かが判定される（図６のステップ１０１）。すなわちＰＣ１００により利用される操作情報が、マウス１０から出力された操作情報か、あるいはゲームコントローラ２０から出力された操作情報であるかが判定される。入力装置切替部１５４により判定された結果の情報は、画像処理部１５２に含まれるオブジェクト表示部１５３に出力される。

入力装置切替部１５４により、マウス１０から出力された操作情報であると判定され、その判定結果の情報がオブジェクト表示部１５３に出力された場合（ステップ１０１のＹｅｓ）、オブジェクト表示部１５３により第１の表示モードであるマウスモードが設定される。そしてオブジェクト表示部１５３により、マウスモードで、ポインタとしてのマウスカーソルや複数のオブジェクト等が画面上に表示される（ステップ１０２）。すなわち画面上には、マウスモードのＵＩが表示されることになる。

図７は、本実施形態に係るマウスモードにて表示された病理画像や複数のオブジェクト等を示す模式的な図である。ここでは複数のオブジェクト２０１として、図４で説明した画像ピラミッド構造５０の全体画像群のうち、元画像以外の全体画像のうち少なくとも１つの全体画像が、サムネイル画像として用いられる。これ以降、オブジェクト２０１をサムネイル画像２０１と記載して説明する。

図７に示すように、本実施形態に係るＰＣは、画面６に第１の領域としての領域Ｂと第２の領域としての領域Ａとを設定する。領域Ｂには、複数のサムネイル画像２０１が複数並べられて表示される。並べられた複数のサムネイル画像２０１のうち、Ｓｌｉｄｅ１及びＳｌｉｄｅ１０のサムネイル画像２０１には、ユーザが注目するサムネイル画像２０１であることを示す付箋２０２が表示されている。

領域Ａには、領域Ｂに並べられた複数のサムネイル画像２０１のうち、ユーザによりマウス１０を介して選択されたサムネイル画像２０１に対応する病理画像２０３が表示される。図７に示すように領域Ａは表示領域２０４を有しており、この表示領域２０４に図３で示す表示範囲Ｄの画像が表示される。病理画像２０３の所定の位置には、ユーザにより、ユーザのコメント等を表すアノテーション２０５が設定されている。

なお、画面６上における領域Ｂは、必要なときにのみ表示されてもよい。すなわち例えば領域Ａに表示される病理画像２０３がユーザにより観察されるときには、領域Ｂを非表示にして、画面６全体で病理画像２０３を観察可能としてもよい。

ここで、図７に示すマウスモードでのＵＩの操作方法の一例を説明する。

ユーザが、領域Ｂに並べられた複数のサムネイル画像２０１のうち１つを領域Ａの表示領域２０４に表示させたい場合、マウス１０を操作してマウスカーソル２０６を表示させたいサムネイル画像２０１上に移動させる。そして、マウス１０の左ボタン１１（図２参照）をダブルクリックする。これにより選択されたサムネイル画像２０１が領域Ａの表示領域２０４に表示される。別のサムネイル画像２０１を表示領域２０４に表示させたい場合は、マウスカーソル２０６を移動させて、選択可能なサムネイル画像２０１を変更すればよい。

あるいは、図８に示すように、表示領域２０４に表示させたいサムネイル画像２０１にマウスカーソル２０６を移動させた後に、マウス１０によるドラッグ操作を行ってもよい。その後、領域Ａにてドロップ操作を行うことで、表示領域２０４に表示される画像として当該サムネイル画像２０１が選択されたことになり、そのサムネイル画像２０１が表示領域２０４に表示される。

領域Ｂに並べられた複数のサムネイル画像２０１の各表示位置を移動させたい場合には、図７及び図８に示すスクロールバー２０７上にマウスカーソル２０６を移動させ、左ボタン１１を押しながらマウス１０を左右に移動させる。これによりスクロールバー２０７が左右に移動し、これに合わせて領域Ｂに並べられた複数のサムネイル画像２０１の各表示位置が左右に移動する。あるいは並べられた複数のサムネイル画像２０１とスクロールバー２０７との間の領域Ｘにマウスカーソル２０６を移動させ、左ボタン１１を押しながらマウス１０を左右に移動させる。これにより領域Ｂに並べられた複数のサムネイル画像２０１の各表示位置が左右に移動する。各表示位置を移動された複数のサムネイル画像２０１は、マウス１０により測定された移動量に基づいて、領域Ｂの自由な位置で停止してもよい。

領域Ａにおいては、表示領域２０４に表示された病理画像２０３上にマウスカーソル２０６を移動させた後、左ボタン１１が押圧された状態でマウス１０が任意の方向に動かされる。これにより病理画像２０３を移動させる操作の実行が決定される。この結果、図３に示す表示範囲Ｄの位置が移動するとともに、画像処理部１５２により表示領域２０４に表示される病理画像２０３が移動する。

このように第１の表示モードであるマウスモードのＵＩでは、マウスカーソル２０６を移動させて画面６上の所定の位置を選択する操作やドラッグ及びドロップ操作等の、マウス１０の操作に最適なＵＩが画面６上に表示される。これによりユーザは、マウス１０を使用することで病理画像２０３を効率よく観察することができる。しかしながらマウスモードにおけるＵＩの操作方法は上記で説明したものに限られない。

図６に示すステップ１０１にて、入力装置切替部１５４によりマウス１０から出力された操作情報ではないと判定され、その判定結果の情報がオブジェクト表示部１５３に出力された場合（ステップ１０１のＮｏ）、オブジェクト表示部１５３により第２の表示モードであるゲームコントローラモードが設定される。そしてオブジェクト表示部１５３により、ゲームコントローラモードで、複数のオブジェクト等が画面６上に表示される（ステップ１０３）。すなわち画面６上には、ゲームコントローラモードのＵＩが表示されることになる。なお、本実施形態に係るゲームコントローラモードでは、画面６上の位置を示すポインタは表示されない。

図９は、本実施形態に係るゲームコントローラモードにて表示された病理画像２０３や複数のサムネイル画像２０１等を示す模式的な図である。図９に示すように、ゲームコントローラモードにおいても、病理画像２０３が表示される表示領域２０４を有する領域Ａと、複数のサムネイル画像２０１が並べられて表示される領域Ｂとが画面６上に設定される。領域Ａの表示領域２０４に表示される病理画像２０３は、ユーザによりマウス１０を介して選択されたサムネイル画像２０１に対応する画像である。

図９に示す領域Ｂにおいて、複数並べられたサムネイル画像２０１のうち中央に位置するサムネイル画像２０１ａ（Ｓｌｉｄｅ３）が他のサムネイル画像２０１よりも大きく表示されている。これは領域Ｂの中央に位置するサムネイル画像２０１ａが、選択可能な状態であることを示している。本実施形態では、この選択可能な状態のサムネイル画像２０１ａにフレーム２０８が付けられることで、サムネイル画像２０１ａが強調されて表示される。

図９に示すゲームコントローラでのＵＩの操作方法の一例を説明する。

ユーザが、領域Ｂに並べられた複数のサムネイル画像２０１のうち１つを領域Ａの表示領域２０４に表示させたい場合、ゲームコントローラ２０の十字キー２１の左右ボタン２１ａ、２１ｂを操作する。これにより、画面中央に位置する選択可能な状態のサムネイル画像２０１ａを適宜選択する。例えば図９に示す状態で、ユーザがＳｌｉｄｅ１１のサムネイル画像２０１を選択可能な状態にしたい場合、ユーザは十字キー２１の右ボタン２１ｂを３回押す。そうすると、複数のサムネイル画像２０１の表示位置が右に段階的に移動し、Ｓｌｉｄｅ１１のサムネイル画像２０１が領域Ｂの中央に位置して選択可能な状態となる。その状態で、ユーザが、ゲームコントローラ２０の決定ボタン２２を押すことで、Ｓｌｉｄｅ１１のサムネイル画像２０１に対応する病理画像２０３が表示領域２０４に表示される。上記したように、領域Ｂの中央に位置する選択可能な状態のサムネイル画像２０１ａは強調されて表示されている。これにより、ユーザは、領域Ｂにおけるサムネイル画像２０１ａの選択操作を効率よく行うことができる。

領域Ａにおいては、ユーザが、十字キー２１の左右上下ボタン２１ａ〜２１ｄのいずれかを押すことで、病理画像２０３を移動させる操作の実行が決定される。この結果、図３に示す表示範囲Ｄの位置が移動するとともに、画像処理部１５２により表示領域２０４に表示される病理画像２０３が移動する。本実施形態では、移動前の位置と移動後の位置が互いに隣接するように、表示範囲Ｄが移動する。隣接する方向は、ユーザにより押された十字キー２１の左右上下ボタン２１ａ〜２１ｄに応じて定められる。従って領域Ａの表示領域２０４には、移動前に表示されていた病理画像２０３に隣接する領域の病理画像２０３が表示される。

このように第２の表示モードであるゲームコントローラモードでのＵＩでは、十字キー２１を操作することで画面６上のサムネイル画像２０１の選択等、ゲームコントローラ２０の操作に最適なＵＩが画面６上に表示される。これによりユーザは、ゲームコントローラ２０を使用することで病理画像２０３を効率よく観察することができる。しかしながらゲームコントローラモードにおけるＵＩの操作方法は上記で説明したものに限られない。

以上のように、本実施形態に係る情報処理装置であるＰＣ１００では、種類の異なる入力装置としてマウス１０とゲームコントローラ２０とが接続部１５０に接続される。そしてＰＣ１００がマウス１０から出力された操作情報を利用するときと、ゲームコントローラ２０から出された操作情報を利用するときとで、画面６に表示される複数のサムネイル画像２０１等の表示モードが切り替えられる。すなわちユーザがマウス１０を使用するときと、ゲームコントローラ２０を使用するときとで、画面６に表示されるＵＩがそれぞれ切り替えられる。これによりユーザは、使用する入力装置がマウス１０であるかゲームコントローラ２０であるかにかかわらず、画面６に表示される病理画像２０３を効率よく観察することができる。

上記で説明したように、ユーザがマウス１０を使用する場合に設定されるマウスモードでは、マウス１０の操作に最適なＵＩが画面に表示される。一方、ユーザがゲームコントローラ２０を使用する場合に設定されるゲームコントローラモードでは、ゲームコントローラ２０の操作に最適なＵＩが画面６に表示される。これにより例えばユーザが、マウス１０とゲームコントローラ２０とを併用する場合に、マウス１０及びゲームコントローラ２０を適宜選択することで、ユーザが操作しやすい表示モードで病理画像２０３を観察することができる。例えば、病理画像２０３を所望の距離だけこまめに移動させたいときにはマウスモードの方が操作しやすいし、病理画像２０３の全体を領域ごとに順次観察したい場合には、ゲームコントローラモードの方が操作しやすい場合がある。

また医療等の分野では、複数の病理医が１つのモニタ画面を共有し、１つの病理画像２０３に対して議論をしながら、病理画像２０３の診断や検証を行うことも多い。このような所謂コンファレンスとよばれる形態の診断等が行われる場合、各病理医に使用される入力装置としてマウス１０とゲームコントローラ２０とが混在する場合が考えられる。このような場合であっても、本実施形態に係るＰＣ１００では、画面６上のＵＩが適宜切り替えられるので、複数のユーザは、効率よく病理画像２０３を観察することができる。

＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置としてのＰＣについて説明する。これ以降の説明では、第１の実施形態で説明したＰＣ１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

本実施形態に係るＰＣは、オブジェクト表示部によりマウスモードからゲームコントローラモードに切り替えられるときに、以下のように動作する。

上記した図７に示す領域Ｂにマウスカーソル２０６が存在するときに、ゲームコントローラから操作情報が出力されたとする。そうすると入力装置切替部によりゲームコントローラからの出力情報であるという判定結果がオブジェクト表示部に出力され、図９に示すように画面６上にゲームコントローラモードのＵＩが表示される。このときに、オブジェクト表示部は、十字キーにより領域Ｂに配置された複数のサムネイル画像２０１の各表示位置を動かすことができる状態で、画面６上のＵＩを切り替える。ゲームコントローラモードでの領域Ｂの中央に位置する選択可能なサムネイル画像２０１ａとしては、図７に示すマウスモードでの領域Ｂの中央に最も近い位置に表示されるサムネイル画像２０１が設定されればよい。

例えば、ユーザにより、ゲームコントローラの十字キーの左右ボタンが押されることで、画面６上のＵＩが切り替えられる場合、ＵＩが切り替えられるとともに、領域Ｂの中央に位置する選択可能な状態のサムネイル画像２０１ａが変更されてもよい。すなわち、左右ボタンの操作と連動して、ＵＩが切り替えられるとともに、領域Ｂに配置された複数のサムネイル画像２０１の各表示位置が移動してもよい。これによりマウスモードからゲームコントローラモードへの切り替えがスムーズに行われる。

一方、上記した図７に示す領域Ａにマウスカーソル２０６が存在するときに、ゲームコントローラから操作情報が出力されたとする。この場合、オブジェクト表示部は、十字キーにより領域Ａに表示された病理画像２０３を移動させることができる状態で、画面６上のＵＩを切り替える。このＵＩの切り替えについても、十字キーの操作と連動して、ＵＩが切り替えられるとともに、領域Ａに表示される病理画像２０３が移動してもよい。これによりマウスモードからゲームコントローラモードへの切り替えがスムーズに行われる。

以上のように、マウスモードにおけるマウスカーソル２０６の表示位置によって、ゲームコントローラの操作により実行される処理が異なってもよい。またマウスカーソルからゲームコントローラモードへの表示モードの切り替え方法も適宜設定されてよい。これによりマウスとゲームコントローラとが併用される場合や、混在して使用される場合等で、表示モードの切り替えを意識することなく観察対象物を観察することができる。

＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。

例えば、ＰＣの接続部に接続される複数の入力装置のうち、所定の入力装置に以下のような権限を設定してもよい。すなわち権限を有する入力装置により、その入力装置に対応する表示モードのＵＩが操作されているとする。この場合、異なる種類の入力装置から操作情報が出力されたとしても、オブジェクト表示部は、画面上のＵＩの切り替えを実行しない。権限を有する入力装置からＵＩの切り替えを許可する操作情報が出力された場合には、オブジェクト表示部はＵＩの切り替えを実行する。あるいは異なる種類の入力装置から所定の操作情報が出力されたときには、オブジェクト表示部はＵＩの切り替えを実行する。このように所定の入力装置に権限を設定し、他の入力装置から出力される操作情報に基づく画面上のＵＩの切り替えに制限を設けてもよい。

また画面上にマウスモードのＵＩが表示されているときに、ユーザによりゲームコントローラのスティック２４（図２参照）が操作されたとする。この場合、オブジェクト表示部により画面上のＵＩの切り替えが実行されず、マウスモードのＵＩが継続して表示されてもよい。

図９に示すゲームコントローラモードのＵＩでは、画面６上にはポインタが表示されない。しかしながらゲームコントローラによりポインタが操作されることが想定される場合には、ゲームコントローラのＵＩとして画面６上にポインタが表示されてもよい。

上記で説明した各実施形態では、図１で説明したＰＣ１００の入出力インタフェース１０５に、複数の入力装置と、画面を有する表示装置とが接続される場合について説明した。しかしながら本発明に係る情報処理装置として、複数の表示装置及び画面と一体的に設けられているＰＣ等が用いられてもよい。

上記実施形態に係る情報処理装置としてＰＣが用いられたが、ＰＣに限られず、専用の情報処理装置であってもよい。また、情報処理装置として、ハードウェア資源及びソフトウェアの協働により上記情報処理を実現する装置に限られず、専用のハードウェアにより上記情報処理が実現されてもよい。

上記した各実施形態に係る情報処理装置は、医療または病理等の分野に限られず、他の分野においても適用可能である。

Ａ、Ｂ…画面上の領域
６…画面
１０…マウス
１５…観察対象物
２０…ゲームコントローラ
１００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０５…入出力インタフェース
１０６…表示部
１０７…入力部
１０８…記憶部
１５０…接続部
１５１…表示装置
１５２…画像処理部
１５３…オブジェクト表示部
１５４…入力装置切替部
２０１…オブジェクト（サムネイル画像）
２０３…病理画像
２０６…マウスカーソル
２０８…フレーム

Claims (5)

1. 二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する画面上のポインタを測定結果に基づいて移動させ前記画面上の位置を選択可能な第１の入力装置と、前記二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する前記画面上の選択可能位置を測定結果に基づいて移動させ前記画面上の位置を選択可能な第２の入力装置とを接続するための接続部と、
   利用する入力装置を前記第１の入力装置と前記第２の入力装置との間で切り替える入力装置切替部と、
   前記画面に複数のオブジェクトを表示し、前記第１の入力装置を利用するときと前記第２の入力装置を利用するときとで、前記画面上の前記複数のオブジェクトの表示モードを、前記第１の入力装置に対応する第１の表示モードと前記第２の入力装置に対応する第２の表示モードとの間で切り替えるオブジェクト表示部と、
   第１の解像度をそれぞれ有する複数の画像データを記憶する記憶部と
   を具備し、
   前記オブジェクトは、前記記憶部に記憶された前記画像データを前記第１の解像度より小さい第２の解像度で描画した画像であり、
   前記オブジェクト表示部は、
   前記画面に第１の領域と第２の領域とを設定し、前記第１の領域に前記オブジェクトとして前記第２の解像度をそれぞれ有する複数の画像を表示し、前記第２の領域に前記第１の領域で前記第１の入力装置または前記第２の入力装置により選択された前記オブジェクトに対応する前記第１の解像度を有する画像を表示し、
   前記第１の表示モードにおいて前記ポインタが前記第１の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第１の領域の所定の位置に対応する前記オブジェクトを選択可能な状態に設定し、前記第２の入力装置の操作に連動して前記各オブジェクトを移動させて前記選択可能な状態のオブジェクトを変更し、
   前記第１の表示モードにおいて前記ポインタが前記第２の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第２の領域に表示された前記第１の解像度を有する画像に対する操作の実行を決定する
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記オブジェクト表示部は、
   前記第１の入力装置を利用するとき、前記第１の表示モードとして、前記画面上に前記複数のオブジェクトを並べて配置し、前記表示された複数のオブジェクトの一つを選択可能な状態に設定し、前記第１の入力装置の操作に連動して前記ポインタを移動させて前記選択可能な状態のオブジェクトを変更する表示モードを設定し、
   前記第２の入力装置を利用するとき、前記第２の表示モードとして、前記画面上に前記複数のオブジェクトを並べて配置し、前記画面上の所定の位置に対応する前記オブジェクトを選択可能な状態に設定し、前記第２の入力装置の操作に連動して前記各オブジェクトを移動させて前記選択可能な状態のオブジェクトを変更する表示モードを設定する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記第２の表示モードは、前記選択可能な状態に設定された前記オブジェクトが強調されて表示される表示モードである情報処理装置。
4. 接続部が、二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する画面上のポインタを測定結果に基づいて移動させ前記画面上の位置を選択可能な第１の入力装置と、前記二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する前記画面上の選択可能位置を測定結果に基づいて移動させ前記画面上の位置を選択可能な第２の入力装置とを接続し、
   入力装置切替部が、利用する入力装置を前記第１の入力装置と前記第２の入力装置との間で切り替え、
   記憶部が、第１の解像度をそれぞれ有する複数の画像データを記憶し、
   前記画面に複数のオブジェクトを表示し、前記第１の入力装置を利用するときと前記第２の入力装置を利用するときとで、前記画面上の前記複数のオブジェクトの表示モードを、前記第１の入力装置に対応する第１の表示モードと前記第２の入力装置に対応する第２の表示モードとの間で切り替えるオブジェクト表示部が、
   前記画面に第１の領域と第２の領域とを設定し、前記第１の領域に前記オブジェクトとして前記第１の解像度より小さい第２の解像度をそれぞれ有する複数の画像を表示し、前記第２の領域に前記第１の領域で前記第１の入力装置または前記第２の入力装置により選択された前記オブジェクトに対応する前記第１の解像度を有する画像を表示し、
   前記第１の表示モードにおいて前記ポインタが前記第１の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第１の領域の所定の位置に対応する前記オブジェクトを選択可能な状態に設定し、前記第２の入力装置の操作に連動して前記各オブジェクトを移動させて前記選択可能な状態のオブジェクトを変更し、
   前記第１の表示モードにおいて前記ポインタが前記第２の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第２の領域に表示された前記第１の解像度を有する画像に対する操作の実行を決定する
   情報処理方法。
5. 接続部に、二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する画面上のポインタを測定結果に基づいて移動させ前記画面上の位置を選択可能な第１の入力装置と、前記二次元空間において移動方向と移動量とを測定して前記二次元空間に対応する前記画面上の選択可能位置を測定結果に基づいて移動させ前記画面上の位置を選択可能な第２の入力装置とを接続することを実行させ、
   入力装置切替部に、利用する入力装置を前記第１の入力装置と前記第２の入力装置との間で切り替えることを実行させ、
   記憶部に、第１の解像度をそれぞれ有する複数の画像データを記憶することを実行させ、
   前記画面に複数のオブジェクトを表示し、前記第１の入力装置を利用するときと前記第２の入力装置を利用するときとで、前記画面上の前記複数のオブジェクトの表示モードを、前記第１の入力装置に対応する第１の表示モードと前記第２の入力装置に対応する第２の表示モードとの間で切り替えるオブジェクト表示部に、
   前記画面に第１の領域と第２の領域とを設定し、前記第１の領域に前記オブジェクトとして前記第１の解像度より小さい第２の解像度をそれぞれ有する複数の画像を表示し、前記第２の領域に前記第１の領域で前記第１の入力装置または前記第２の入力装置により選択された前記オブジェクトに対応する前記第１の解像度を有する画像を表示し、
   前記第１の表示モードにおいて前記ポインタが前記第１の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第１の領域の所定の位置に対応する前記オブジェクトを選択可能な状態に設定し、前記第２の入力装置の操作に連動して前記各オブジェクトを移動させて前記選択可能な状態のオブジェクトを変更し、
   前記第１の表示モードにおいて前記ポインタが前記第２の領域に存在するとき前記入力装置切替部により前記利用する入力装置が前記第２の入力装置へ切り替えられた場合、前記第２の領域に表示された前記第１の解像度を有する画像に対する操作の実行を決定することを実行させる
   プログラム。