JP5812576B2 - 情報処理装置及びそのプログラム - Google Patents

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置及びそのプログラムに関する。

医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。

例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落[００２７]、[００２８]、図５参照）。

特開２００９−３７２５０号公報

このようなシステムでは、マウス等の入力手段を用いたユーザからの操作入力に応じて、モニタに表示された画像に対する各種の操作を行うことが可能に構成されている。ここで、画像に対する操作には、例えば、画像の表示範囲の移動、回転、ズームイン、ズームアウト等であり、ユーザは、これらの操作により、あたかも実際に顕微鏡を操作しているかのように画像を観察することが可能である。

このようなシステムにおいて、ユーザが画像の一部を拡大して観察したい場合、例えば、その観察対象領域を画面の中央へと移動させてからズーム倍率を指定することが一般的である。しかしながら、画像を移動させるために、マウスやキーボードなどの入力手段を移動距離に応じた量操作する必要がある。例えば、マウスを画像を移動させたい距離に応じた量だけ移動させる操作や、キーボードのキーを画像を移動させたい距離に応じた回数押すなどの操作が必要であった。

そこで、画像上の一点を指示するとともにズーム倍率の値を指定することで、指示された点を中心として、指定されたズーム倍率で画像を拡大する方法が考えられる。しかし、この場合、画像上の拡大の中心点を指定する操作とズーム倍率の値を指定する操作の、不連続な少なくとも２回の指示操作が必要である。このように画像に対する１回の操作に不連続な操作を要することは、特に医療分野等の多量の画像を迅速に処理する必要がある状況において作業効率に大きく響き、その改善が求められている。

以上のような事情に鑑み、本発明の目的は、表示画像のズーム倍率変更を迅速に行うことを可能とする情報処理装置及びそのプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、矩形領域設定部と、判定部と、画像処理部とを具備する。
上記矩形領域設定部は、画面に表示されている表示画像上において、ポインティングデバイスの操作によって連続的に指示された始点及び終点を結ぶ線を対角線とする矩形領域を設定する。
上記判定部は、上記画面上における上記始点に対する上記終点の方向によって、上記ポインティングデバイスによる操作が上記表示画像のズーム倍率を上昇させる操作か下降させる操作かを判定する。
上記画像処理部は、上記矩形領域のサイズと上記判定部による判定結果から上記表示画像のズーム倍率を決定し、上記矩形領域の中心を基準として上記表示画像の上記ズーム倍率を変更して上記画面に表示させる。

本発明の情報処理装置はユーザがポインティングデバイスを用いて連続的に指示した始点及び終点から矩形領域を設定し、始点に対する終点の方向によって、表示画像のズーム倍率を上昇又は下降させる。このため、本情報処理装置はユーザが連続的な操作によって表示画像の注視したい部分を感覚的に選択することを可能とし、表示画像のズーム倍率の変更を迅速に行うことが可能である。

上記画像処理部は、上記ズーム倍率を上昇させるときは、上記表示画像の外形と相似であって上記矩形領域を含む最小の領域に含まれる上記表示画像の部分が、上記表示画像の大きさになるように上記ズーム倍率を上昇させてもよい。

本発明の情報処理装置はユーザが指定した矩形領域の全体がズーム倍率上昇後の画像に含まれ、かつ最大のズーム倍率となるようにズーム倍率を変更することができる。このため、本情報処理装置はユーザが矩形領域で指定した表示画像の部分を適切な倍率で観察することを可能とする。

上記画像処理部は、上記ズーム倍率を下降させるときは、上記表示画像が、上記表示画像の外形と相似であって上記矩形領域に含まれる最大の領域のサイズとなるように上記ズーム倍率を下降させてもよい。

本発明の情報処理装置はユーザが指定した矩形領域を中心としてズーム倍率を下降させることが可能となる。このため、本情報処理装置はユーザが矩形領域で指定した表示画像の部分の周囲を適切な倍率で観察することを可能とする。

上記表示画像は、顕微鏡を介して撮像された病理組織標本の画像であってもよい。

本発明の情報処理装置は、表示画像のズーム倍率の変更を迅速に行うことが可能であり、多量の病理組織標本の画像の観察に好適である。

上記目的を達成するため、本発明の一形態に係るプログラムは、矩形領域設定部と、判定部と、画像処理部とを具備する。
上記矩形領域設定部は、画面に表示されている表示画像上において、ポインティングデバイスの操作によって連続的に指示された始点及び終点を結ぶ線を対角線とする矩形領域を設定する。
上記判定部は、上記画面上における上記始点に対する上記終点の方向によって、上記ポインティングデバイスによる操作が上記表示画像のズーム倍率を上昇させる操作か下降させる操作かを判定する。
上記画像処理部は、上記矩形領域のサイズと上記判定部による判定結果から上記表示画像のズーム倍率を決定し、上記矩形領域の中心を基準として上記表示画像の上記ズーム倍率を変更して上記画面に表示させる。

以上のように、本発明によれば、表示画像のズーム倍率変更を迅速に行うことを可能とする情報処理装置及びそのプログラムを提供することができる。

情報処理装置を含むコンピュータシステムの構成を示すブロック図である。 画像データのピラミッド構造を示す概念図である。 情報処理装置の機能的な構成を示すブロック図である。 矩形領域が設定された表示画像を示す模式図である。 判定部による判定を説明するための模式図である。 判定部による判定を説明するための模式図である。 候補領域が設定された表示画像を示す模式図である。 候補領域が設定された表示画像を示す模式図である。 ズームインされた表示画像を示す模式図である。 候補領域が設定された表示画像を示す模式図である。 候補領域が設定された表示画像を示す模式図である。 ズームアウトされた表示画像を示す模式図である。

[情報処理装置の構成]
図１は、本発明の一実施形態に係る情報処理装置を含むコンピュータシステムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。

ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。

入出力インターフェース１０５には、表示部１０６、ポインティングデバイス１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。

表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

ポインティングデバイス１０７は、マウス、トラックボール、タッチパッド等の表示部１０６の表示画面上の一点を指示することが可能なデバイスである。ポインティングデバイス１０７には、クリックあるいはドラッグ等の操作を可能とするボタン類が設けられている。

記憶部１０８は、不揮発性メモリであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。

通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。

［画像データのピラミッド構造と画像データのアクセス］
次に、本実施形態の情報処理装置（ＰＣ１００）による表示処理の対象となる画像データについて説明する。

図２は、この画像データのピラミッド構造を示す図である。
同図に示すように、対象となる画像データは、例えば、高解像度の撮像手段によって観察対象を撮像することによって得られた画像データのピラミッド構造である。画像データのピラミッド構造とは、撮像された元の画像データから解像度を段階的に下げた複数の解像度の画像データを生成し、これらを階層状に設定したものである。各階層の画像データはそれぞれ「タイル」と呼ばれるに所定の解像度の領域に分割される。ピラミッド構造における各層を、それぞれ下からＮ層目、Ｎ−１層目、Ｎ−２層目、・・・、０層目とすると、それぞれの層毎のタイルの数は２^Ｎ×２^Ｎ、２^Ｎ−１×２^Ｎ−１、２^Ｎ−２×２^Ｎ−２、・・・、１である。なお、１つのタイルの解像度は例えば２５６×２５６（pixel）、あるいは２５６×５１２（pixel）などである。

情報処理装置（ＰＣ１００）は、ユーザより任意の解像度と画像の表示範囲の指定を受け付けると、上記の画像ピラミッド構造の中から該当する画像データをタイルの単位で読み込み、表示用バッファに展開して表示部１０６に画像を表示する。

また、ユーザより、表示部１０６に表示された画像（以下、表示画像）の表示範囲の移動の指示が与えられた場合には、情報処理装置（ＰＣ１００）はこの指示に従って、同一解像度の画像データの中から移動先の画像テータをタイルの単位で読み込み、表示用バッファの内容を更新することによって、移動指示先の画像を表示部１０６に表示する。なお、「画像の表示範囲」とは、全体の画像データの中で、物理画面に実際に表示される画像データの領域のことである。

さらに、ユーザより、後述する操作によって表示のズーム倍率の変更（ズームイン／ズームアウト）の指示が与えられた場合には、情報処理装置（ＰＣ１００）は、指示されたズーム倍率に対応する解像度の画像データの中から、必要な画像データをタイルの単位で読み込み、表示用バッファの内容を更新することによって、表示画像のズーム倍率を変更する。なお、物理画面における画像表示領域のサイズを固定とした場合、ズーム倍率を上昇させると（ズームイン時）画像の表示範囲は縮小され、逆にズーム倍率を下降させると（ズームアウト時）画像の表示範囲は拡大されることとなる。このように、画像データのピラミッド構造から必要な画像データをタイルの単位で読み込むことによって、画像データに対する全体的なアクセス時間を低減することができる。

［情報処理装置の機能的な構成］
図３は、本実施形態に係る情報処理装置（ＰＣ１００）の機能的な構成を示す図である。
同図に示すように、本実施形態の情報処理装置（ＰＣ１００）は、矩形領域設定部２０１、判定部２０２及び画像処理部２０３を備える。これらの機能部は、上記の典型的なコンピュータを機能させるためのプログラムとして提供される。このプログラムは、例えば、記憶部１０８などの記憶手段に格納され、ＣＰＵ１０１は、画像データを表示部１０６に表示させるために、記憶部１０８からメインメモリとしてのＲＡＭ（Random Access Memory）１０３に当該プログラムをロードし、これを解釈して実行する。各機能部の概略的な構成は以下のようである。

図３に示すように、矩形領域設定部２０１は、ポインティングデバイス１０７によって指示された始点及び終点の位置座標から、「矩形領域」を設定し、画像処理部２０３に供給する。判定部２０２は、始点に対する終点の方向から、ポインティングデバイス１０７による操作が表示画像のズーム倍率を上昇（ズームイン）させる操作か下降（ズームアウト）させる操作かを判定し、判定結果を画像処理部２０３に供給する。

画像処理部２０３は、矩形領域の情報と判定部２０２の判定結果から、「候補領域」を設定して候補領域と表示画像との大きさを比較してズーム倍率を決定し、候補領域を中心とする当該ズーム倍率の画像を生成して表示部１０６に表示させる。

［情報処理装置の動作］
情報処理装置（ＰＣ１００）の動作について説明する。
図４は、表示部１０６に表示されている表示画像Ｇ１を示す。なお、この表示画像Ｇ１は、上述した画像ピラミッドにおいて説明した画像のいずれか、例えばＮ−３層の画像であるものとする。ここでは、表示画像Ｇ１の例として、病理組織標本の画像を示す。

図４に示すように、ユーザが操作するポインティングデバイス１０７によって指示された始点を始点Ｐ１、終点を終点Ｐ２とする。始点Ｐ１及び終点Ｐ２は、例えばポインティングデバイス１０７をドラッグした際の始点及び終点とすることができる。

始点Ｐ１及び終点Ｐ２が指示されると、矩形領域設定部２０１が始点Ｐ１及び終点Ｐ２の位置座標から、「矩形領域」Ｌを設定する。矩形領域Ｌは、始点Ｐ１及び終点Ｐ２を対角線とする矩形の領域である。なお、矩形領域Ｌは実際には情報処理装置で内部的に処理され、表示部１０６には表示されない。

また、始点Ｐ１及び終点Ｐ２が指示されると、判定部２０２が始点Ｐ１に対する終点Ｐ２の方向から、ユーザの操作がズーム倍率を上昇させるための操作（以下、ズームイン操作）かズーム倍率を下降させるための操作（以下、ズームアウト操作）かを判定する。図５及び図６は、判定部２０２の判定を説明するための模式図である。

例えば、判定部２０２は、図５（ａ）に示すように、始点Ｐ１の位置を中心として、斜線で示す右下方向に終点Ｐ２が存在すれば、ズームイン操作がされたものと判定する。図５（ｂ）に示すように、それ以外の方向に終点Ｐ２が存在すればズームアウト操作がされたたものと判定する。

他にも、図６（ａ）に示すように、始点Ｐ１の位置を中心として、上方向に終点Ｐ２が存在すれば、ズームイン操作がされたものと判定し、図６（ｂ）に示すように下方向に終点Ｐ２が存在すればズームアウト操作がされたのと判定することができる。このように判定部２０２がズームイン操作かズームアウト操作かを判定する方向は任意であり、即ち、ユーザが操作しやすい方向とすればよい。このように、判定部２０２が、始点Ｐ１に対する終点Ｐ２の位置によりズームイン操作かズームアウト操作を判定することにより、ユーザはポインティングデバイス１０７を動かす方向のみによって表示画像をズームインさせるかズームアウトさせるかを指定することができて便利である。

なお、判定部２０２は、これ以外の方法によってズームイン操作かズームアウト操作かを判定してもよい。例えば、始点Ｐ１及び終点Ｐ２が指定されるドラッグの際、ポインティングデバイス１０７に設けられているボタンが押し下げられていればズームアウト操作と判定し、押し下げられていなければズームイン操作と判定することも可能である。

以下、判定部２０２がユーザによってズームイン操作がされたものと判定した場合とズームアウト操作がされたものと判定した場合を分けて説明する。まず、ズームイン操作がされたものと判定した場合について説明する。

ズームイン操作の判定を受けて画像処理部２０３が候補領域を設定する。図７は、候補領域Ｓ１の設定を説明する図である。同図に示すように、画像処理部２０３は、矩形領域Ｌを含む候補領域Ｓ１を設定する。ここで、候補領域Ｓ１は表示画像Ｇ１と相似であって、矩形領域Ｌを含む最小の領域である。このため、候補領域Ｓ１は矩形領域Ｌの短辺及び長辺の少なくともいずれか一方と接する。図８は、矩形領域Ｌの形状が図７と異なる場合の候補領域Ｓ１を示す。

続いて画像処理部２０３は、表示画像Ｇ１のうち候補領域Ｓ１に含まれた画像（以下、部分画像）の各辺が表示画像Ｇ１の各辺と一致する大きさとなるズーム倍率の画像データを上記画像ピラミッドから選択する。そして、候補領域Ｓ１と一致する表示範囲を選択し、表示部１０６に表示させる。これにより、表示画像Ｇ１からズーム倍率が上昇（ズームイン）する。図９は表示画像Ｇ１からズームインされた表示画像Ｇ２を示す図である。

なお、画像処理部２０３は、ズームインする前に候補領域Ｓ１を示す枠線を表示画像Ｇ１に重ねて表示させ、ユーザの確認指示を受けてズームインしてもよい。また、候補領域Ｓ１を示す枠線を表示させることなく、候補領域Ｓ１が設定されると直ちにズームインしてもよい。

候補領域Ｓ１が上述のように設定されているため、ユーザが始点Ｐ１及び終点Ｐ２によって指定した矩形領域Ｌは不足なく表示画像Ｇ２に含まれる。このため、ユーザが表示画像Ｇ１のうち観察したい部分をポインティングデバイス１０７によって感覚的に指定するだけで、その部分の高倍率の画像を観察することが可能となる。即ち、ユーザがズーム倍率を指定したり、観察したい部分を表示画像Ｇ１の中央付近に移動させたりする必要はなく、連続的な操作によって迅速に表示画像Ｇ１のズーム倍率を上昇させることが可能である。

次に、判定部２０２がユーザによってズームアウト操作がされたものと判定した場合について説明する。

ズームアウト操作の判定を受けて画像処理部２０３が候補領域を設定する。図１０は、候補領域Ｓ２の設定を説明する図である。同図に示すように、画像処理部２０３は、矩形領域Ｌに含まれる候補領域Ｓ２を設定する。ここで、候補領域Ｓ２は表示画像Ｇ１と相似であって、矩形領域Ｌを含まれる最大の領域である。このため、候補領域Ｓ２は矩形領域Ｌの短辺及び長辺の少なくともいずれか一方と接する。図１１は、矩形領域Ｌの形状が図１０と異なる場合の候補領域Ｓを示す。

続いて画像処理部２０３は、表示画像Ｇ１の各辺が、候補領域Ｓ２に含まれた画像（部分画像）の各辺と一致する大きさとなるズーム倍率の画像データを上記画像ピラミッドから選択する。そして、候補領域Ｓ２が表示範囲の中央に位置するように表示範囲を選択し、表示部１０６に表示させる。これにより、表示画像Ｇ１からズーム倍率が下降（ズームアウト）する。図１２は表示画像Ｇ１からズームアウトされた表示画像Ｇ３を示す図である。

なお、画像処理部２０３は、表示画像Ｇ１をズームアウトする前に候補領域Ｓ２を示す枠線を表示画像Ｇ１に重ねて表示させ、ユーザの確認指示を受けて表示画像Ｇ１をズームアウトしてもよい。また、候補領域Ｓ２を示す枠線を表示させることなく、候補領域Ｓ２が設定されると直ちにズームアウトしてもよい。

候補領域Ｓ２が上述のように設定されているため、ユーザが始点Ｐ１及び終点Ｐ２によって指定した矩形領域Ｌを中心とした表示画像Ｇ３が表示される。このため、ユーザが表示画像Ｇ１のうち周囲を観察したい部分をポインティングデバイス１０７によって感覚的に指定するだけで、その部分を中心とした低倍率の画像を観察することが可能となる。即ち、ユーザがズーム倍率を指定したり、観察したい部分を表示画像Ｇ１の中央付近に移動させたりする必要はなく、連続的な操作によって迅速に表示画像Ｇ１を縮小させることが可能である。

以上のように、情報処理装置（ＰＣ１００）は、ユーザがポインティングデバイス１０７を用いて指示した始点Ｐ１及び終点Ｐ２から矩形領域Ｌを設定し、この矩形領域を基に表示画像Ｇ１のズーム倍率を上昇又は下降させる。このため、本情報処理装置（ＰＣ１００）はユーザがズーム倍率変更の中心となる表示画像Ｇ１上の位置やズーム倍率を別途指定せずに表示画像の注視したい部分を感覚的に選択することを可能とし、表示画像のズーム倍率の変更を迅速に行うことが可能である。このため、情報処理装置（ＰＣ１００）は、病理組織標本の画像の観察等、多量の画像を迅速に処理する必要がある場合に特に好適である。

本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。

上述した実施形態では、情報処理装置は表示画像をズームインする場合もズームアウトする場合もともにユーザが設定する矩形領域を利用するものとしたがこれに限られない。例えば、ズームインの場合には矩形領域を利用し、ズームアウトの場合には利用しないことも可能である。この場合、情報処理装置はズームアウトの指示が入力されると、現在表示している画像を中心としてズームアウトするものとすることができる。

１００…情報処理装置
２０１…矩形領域設定部
２０２…判定部
２０３…画像処理部

Claims (3)

1. 画面に表示されている表示画像上において、ポインティングデバイスの操作によって連続的に指示された始点及び終点を結ぶ線を対角線とする矩形領域を設定する矩形領域設定部と、
   前記画面上における前記始点に対する前記終点の方向によって、前記ポインティングデバイスによる操作が前記表示画像のズーム倍率を上昇させる操作か下降させる操作かを判定する判定部と、
   前記矩形領域のサイズと前記判定部による判定結果から前記表示画像のズーム倍率を決定し、前記矩形領域の中心を基準として前記表示画像の前記ズーム倍率を変更して前記画面に表示させる画像処理部であって、前記ズーム倍率を上昇させるときは、前記表示画像の外形と相似であって前記矩形領域を含む最小の領域に含まれる前記表示画像の部分が、前記表示画像のサイズとなるように前記ズーム倍率を上昇させ、前記ズーム倍率を下降させるときは、前記表示画像が、前記表示画像の外形と相似であって前記矩形領域に含まれる最大の領域のサイズとなるように前記ズーム倍率を下降させる画像処理部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記表示画像は、顕微鏡を介して撮像された病理組織標本の画像である
   情報処理装置。
3. 画面に表示されている表示画像上において、ポインティングデバイスの操作によって連続的に指示された始点及び終点を結ぶ線を対角線とする矩形領域を設定する矩形領域設定部と、
   前記画面上における前記始点に対する前記終点の方向によって、前記ポインティングデバイスによる操作が前記表示画像のズーム倍率を上昇させる操作か下降させる操作かを判定する判定部と、
   前記矩形領域のサイズと前記判定部による判定結果から前記表示画像のズーム倍率を決定し、前記矩形領域の中心を基準として前記表示画像の前記ズーム倍率を変更して前記画面に表示させる画像処理部であって、前記ズーム倍率を上昇させるときは、前記表示画像の外形と相似であって前記矩形領域を含む最小の領域に含まれる前記表示画像の部分が、前記表示画像のサイズとなるように前記ズーム倍率を上昇させ、前記ズーム倍率を下降させるときは、前記表示画像が、前記表示画像の外形と相似であって前記矩形領域に含まれる最大の領域のサイズとなるように前記ズーム倍率を下降させる画像処理部と
   として情報処理装置を機能させるためのプログラム。

Images