WO2022249598A1

WO2022249598A1 - 情報処理方法、情報処理装置、及びプログラム

Info

Publication number: WO2022249598A1
Application number: PCT/JP2022/007565
Authority: WO
Inventors: 憲治池田; 寛和辰田; 和博中川; 咲湖安川
Original assignee: ソニーグループ株式会社
Priority date: 2021-05-27
Filing date: 2022-02-24
Publication date: 2022-12-01
Also published as: JPWO2022249598A1; CN117396749A; US20240354913A1

Abstract

［課題］より適切なダイナミックレンジにより画像を表示可能な情報処理方法、情報処理装置、及びプログラムを提供する。［解決手段］蛍光画像を複数に分割した各領域である単位領域画像の第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、選択された前記単位領域画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記単位領域画像の組み合わせ画像の画素値を変換する変換工程と、を備える。

Description

情報処理方法、情報処理装置、及びプログラム

　本開示は、情報処理方法、情報処理装置、及びプログラムに関する。

　病理画像の診断において、定量性や多色性に優れた手法として、蛍光染色による病理画像診断法が提案されている。蛍光手法によると、着色染色に比べて多重化が容易で、詳細な診断情報が得られる点で有利である。病理診断以外の蛍光イメージングにおいても、色数の増加は、サンプルに発現するさまざまな抗原を一度に調べることを可能とする。

　このような、蛍光染色による病理画像診断法を実現するための構成として、ライン分光器を用いた蛍光観察装置が提案されている。ライン分光器は、蛍光染色された病理標本に対してライン状のライン照明を照射し、ライン照明により励起された蛍光を分光器により分光して撮像する。撮像で得られる蛍光画像データは、例えばライン照明によるライン方向に従い順次に出力され、それが分光による波長方向に従い順次に繰り返されることで、連続的に途切れ無く出力される。

　また、蛍光観察装置において、病理標本の撮像を、ライン照明によるライン方向に対して垂直方向にスキャンして行うことで、撮像画像データに基づいた病理標本に関する分光情報を、２次元情報として扱うことが可能となる。

国際公開第２０１９／２３０８７８号公報

　ところが、蛍光画像は、明視野照明画像と比べると、明るさが予測しづらく、ダイナミックレンジが広くなる。このため、明視野照明画像のように画像全体に対して一様な輝度表示を行うと、場所によっては、必要な信号を視認できない場合が生じる恐れがある。そこで、本開示では、より適切なダイナミックレンジにより画像を表示可能な情報処理方法、情報処理装置、及びプログラムを提供するものである。

　上記の課題を解決するために、本開示によれば、蛍光画像を複数に分割した各領域である単位領域画像の第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、
　選択された前記単位領域画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記単位領域画像の組み合わせ画像の画素値を変換する変換工程と、
　を備える、情報処理方法が提供される。

　前記選択された前記単位領域画像の組み合わせは、表示部に表示させる観察範囲に対応し、観察範囲に応じて、前記単位領域画像の組合せの範囲が変更されてもよい。

　前記観察範囲に対応する範囲を前記表示部に表示させる表示制御工程を更に備えてもよい。

　前記観察範囲は、顕微鏡の観察範囲に対応し、前記顕微鏡の倍率に応じて、前記単位領域画像の組合せの範囲が変更されてもよい。

　前記第１画像データは、前記第１画像データの原画像データにおいて所定の規則で取得された画素値範囲に基づき、ダイナミックレンジの範囲が調整された画像データであってもよい。

　前記第１画像データと関連付けられた前記代表値との乗算により、前記原画像データの画素値が得られてもよい。

　前記記憶工程は、
　前記第１画像データの領域と大きさが異なる第２画像データであって、前記蛍光画像を複数の領域に再分割した第２画像データと、
　前記第２画像データ毎の画素値範囲を示す第１値と、
　を関連付けて更に記憶してもよい。

　前記顕微鏡の倍率が所定値を越えた場合に、前記観察範囲に対応する前記第２画像データの組合せが選択され、
　前記変換工程は、前記選択された前記第２画像データの組み合わせに関連付けられたそれぞれの第１値から選択された代表値に基づき、前記選択された前記第２画像データの組み合わせに対する画素値を変換してもよい。

　前記画素値範囲は、前記第１画像データに対応する前記原画像データにおける統計量に基づく範囲であってもよい。

　前記統計量は、最大値、最頻値、中央値のいずれかであってもよい。

　前記画素値範囲は、前記原画像データにおける最小値と、前記統計量との範囲であってもよい。

　前記第１画像データは、前記単位領域画像に対応する前記原画像データの画素値を前記第１値で除算したデータあり、
　前記変換工程は、前記選択された前記単位領域画像における前記第１画像データのそれぞれに対応する前記第１値を乗算し、前記選択された前記単位領域画像の組み合わせに関連付けられたそれぞれの前記第１値の最大値で除算してもよい。

　前記統計量の演算方法を入力する第１入力工程と、
　前記入力部の入力に応じて、前記統計量を演算する解析工程と、
　前記解析工程の解析に基づき、蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の画素値範囲を示す第１値を生成するデータ生成工程と、
　を更に備えてもよい。

　前記表示倍率、及び前記観察範囲の少なくともいずれかに関する情報を更に入力する第２入力工程を更に備え、
　前記変換工程は、前記第２入力工程の入力に応じて、前記第１画像の組み合わせを選択してもよい。

　前記表示制御工程は、前記第１入力工程、及び前記第２入力工程に関する表示形態を前記表示部に表示させ、
　前記表示形態のいずれかの位置を指示する操作工程を更に備え、
　前記第１入力工程、及び前記第２入力工程は、前記操作工程における指示に応じて関連する情報を入力してもよい。

　前記蛍光画像は、複数の蛍光波長それぞれについて、撮像対象により生成された複数の蛍光画像のうちの１つであり、
　前記複数の蛍光画像のそれぞれを、画像データと、前記画像データに対する前記第１値である係数と、に分割するデータ生成工程を更に備えてもよい。

　前記変換工程で変換された画素値に基づき、細胞解析を行う解析工程を更に備え、
　前記細胞解析を行う解析工程は、操作者に指示された範囲の画像範囲に基づき行われてもよい。

　本開示によれば、

　蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶部と、
　選択された前記第１画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記第１画像の組み合わせ画像の画素値を変換する変換部と、
　を備える、情報処理装置が提供される。

　本開示によれば、蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、
　選択された前記第１画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記第１画像の組み合わせ画像の画素値を変換する変換工程と、
　を情報処理装置に実行させるプログラムが提供される。

実施形態に適用可能なライン分光を説明するための模式図。ライン分光の処理例を示すフローチャート。本技術の一実施形態に係る蛍光観察装置の概略ブロック図。蛍光観察装置における光学系の一例を示す図。観察対象である病理標本の概略図。観察対象に照射されるライン照明の様子を示す概略図。蛍光観察装置における撮像素子が単一のイメージセンサで構成される場合の分光データの取得方法を説明する図。図６で取得される分光データの波長特性を示す図。撮像素子が複数のイメージセンサで構成される場合の分光データの取得方法を説明する図。観察対象に照射されるライン照明の走査方法を説明する概念図。複数のライン照明で取得される３次元データ（Ｘ、Ｙ、λ）を説明する概念図。照射ラインと波長との関係を示す表。情報処理装置（処理ユニット）において実行される処理の手順の一例を示すフローチャート。実施形態に係る分光データ（ｘ、λ）の取得処理の流れを概略的に示す図。複数の単位ブロックを模式的示す図。図１４のセクション（ｂ）に示した、分光データ（ｘ、λ）の例を示す模式図。データの並び順が変更された分光データ（ｘ、λ）の例を示す模式図。階調処理部の構成例を示すブロック図。階調処理部の処理例を概念的に説明する図。撮像位置に対応するデータ名の例を示す図。各単位長方ブロックのデータ形式の例を示す図。画像群生成部の処理例を説明するための画像ピラミッド構造を示す図。スティッチング画像（ＷＳＩ）を画像ピラミッド構造として再生成した例を示す図。表示制御部の生成する表示画面例。表示領域が変更された例を示す図。情報処理装置の処理例を示すフローチャート。第２実施形態に係る蛍光観察装置の概略ブロック図。第２解析部の処理例を模式的に示す図。第２実施形態の変形例１に係る第２解析部の処理例を模式的に示す図。第２実施形態の変形例２に係る第２解析部の処理例を模式的に示す図。

　以下、図面を参照して、情報処理方法、情報処理装置、及びプログラムの実施形態について説明する。以下では、情報処理方法、情報処理装置、及びプログラムの主要な構成部分を中心に説明するが、情報処理方法、情報処理装置、及びプログラムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１実施形態）
　本開示の実施形態の説明に先立って、理解を容易とするために、ライン分光について図１を参照しつつ、図２に基づき概略的に説明する。図１は、実施形態に適用可能なライン分光を説明するための模式図である。図２は、ライン分光の処理例を示すフローチャートである。図２に示すように、蛍光染色された病理標本１０００に対して、ライン照明により、例えばレーザ光によるライン状の励起光を照射する（ステップＳ１）。図１の例では、励起光は、ｘ方向に平行なライン形状で病理標本１０００に照射されている。

　病理標本１０００において、蛍光染色による蛍光物質が励起光の照射により励起され、ライン状に蛍光を発光する（ステップＳ２）。この蛍光は、分光器により分光され（ステップＳ３）、カメラにより撮像される。ここで、カメラの撮像素子は、行方向（ｘ方向とする）に整列される画素と、列方向（ｙ方向とする）に整列される画素と、を含む２次元格子状に画素が配列された構成を有する。撮像された画像データ１０１０は、ｘ方向にライン方向の位置情報を含み、ｙ方向に分光による波長λの情報を含む構造となる。

　１ラインの励起光照射による撮像が終了すると、例えば病理標本１０００をｙ方向に所定距離だけ移動させて（ステップＳ４）、次の撮像を行う。この撮像により、ｙ方向の次のラインにおける画像データ１０１０が取得される。この動作を所定回数繰り返して実行することで、各波長λについて、病理標本１０００から発せられる蛍光の２次元情報を取得することができる（ステップＳ５）。各波長λにおける２次元情報を波長λの方向に積層したデータを、スペクトルデータキューブ１０２０として生成する（ステップＳ６）。なお、本実施形態では、波長λにおける２次元情報を波長λの方向に積層したデータを、スペクトルデータキューブと称する。

　スペクトルデータキューブ１０２０は、図１の例では、ｘ方向およびｙ方向に病理標本１０００の２次元情報を含み、高さ方向（深さ方向）に波長λの情報を含む構造となっている。病理標本１０００による分光情報を、このようなデータ構成とすることで、病理標本１０００に対する２次元的な解析を容易に実行することが可能となる。

　図３は、本技術の一実施形態に係る蛍光観察装置の概略ブロック図、図４は、蛍光観察装置における光学系の一例を示す図である。

［全体構成］
　　本実施形態の蛍光観察装置１００は、観察ユニット１と、処理ユニット（情報処理装置）２と、表示部３とを備える。観察ユニット１は、異軸平行に配置された波長の異なる複数のライン照明を病理標本（病理サンプル）に照射する励起部１０と、病理標本を支持するステージ２０と、ライン状に励起された病理標本の蛍光スペクトル（分光データ）を取得する分光イメージング部３０とを有する。

　ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。

　情報処理装置２は、観察ユニット１によって取得された病理標本（以下、サンプルＳともいう）の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。ここでいう画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からＲＧＢ（赤緑青）カラーに変換されたもの、特定の波長帯の輝度分布などをいう。なお、本実施系形態では、蛍光スペクトルに基づいて生成された２次元の画像情報を蛍光画像と称する場合がある。なお、本実施形態に係る情報処理装置２が情報処理装置に対応する。

　表示部３は、例えば液晶モニタである。入力部４は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部４がタッチパネルを含む場合、そのタッチパネルは表示部３と一体となり得る。

　ステージ２０に対して、対物レンズ４４などの観察光学系４０を介して、励起部１０と分光イメージング部３０が接続されている。観察光学系４０はフォーカス機構６０によって最適な焦点に追従するオートフォーカス（ＡＦ）機能を持っている。観察光学系４０には、暗視野観察、明視野観察などの非蛍光観察部７０が接続されてもよい。

　蛍光観察装置１００は、励起部（ＬＤやシャッターの制御）、走査機構であるＸＹステージ、分光イメージング部（カメラ）、フォーカス機構（検出器とＺステージ）、非蛍光観察部（カメラ）などを制御する制御部８０と接続されていてもよい。

　励起部１０は複数の励起波長Ｅｘ１、Ｅｘ２、・・・の光を出力することができる複数の光源Ｌ１、Ｌ２、・・・を備える。複数の光源は、典型的には、発光ダイオード（ＬＥＤ）、レーザダイオード（ＬＤ）、水銀ランプなどで構成され、それぞれの光がライン照明化され、ステージ２０のサンプルＳに照射される。

　図５は、観察対象である病理標本の概略図である。図６は、観察対象に照射されるライン照明の様子を示す概略図である。

　サンプルＳは、典型的には、図５に示すような組織切片等の観察対象Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。サンプルＳ（観察対象Ｓａ）は、複数の蛍光色素によって染色されている。観察ユニット１は、サンプルＳを所望の倍率に拡大して観察する。図５のＡの部分を拡大すると、照明部は図６に示すように、ライン照明が複数（図示の例では２つ（Ｅｘ１、Ｅｘ２））配置されており、それぞれの照明エリアに重なるように分光イメージング部３０の撮影エリアＲ１、Ｒ２が配置される。２つのライン照明Ｅｘ１、Ｅｘ２はそれぞれＺ軸方向に平行であり、Ｙ軸方向に所定の距離（Δｙ）離れて配置される。

　撮影エリアＲ１、Ｒ２は、分光イメージング部３０における観測スリット３１（図４参照）の各スリット部にそれぞれ対応する。つまり、分光イメージング部３０のスリット部もライン照明と同数配置される。図６では照明のライン幅の方がスリット幅よりも広くなっているが、これらの大小関係はどちらであってもよい。照明のライン幅がスリット幅よりも大きい場合、分光イメージング部３０に対する励起部１０の位置合わせマージンを大きくすることができる。

　１つめのライン照明Ｅｘ１を構成する波長と、２つめのライン照明Ｅｘ２を構成する波長は相互に異なっている。これらライン照明Ｅｘ１、Ｅｘ２により励起されるライン状の蛍光は、観察光学系４０を介して分光イメージング部３０において観測される。

　分光イメージング部３０は、複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリット３１と、観測スリット３１を通過した蛍光を個々に受光可能な少なくとも１つの撮像素子３２とを有する。撮像素子３２には、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元イメージャが採用される。観測スリット３１を光路上に配置することで、それぞれのラインで励起された蛍光スペクトルを重なりなく検出することができる。

　分光イメージング部３０は、それぞれのライン照明Ｅｘ１、Ｅｘ２から、撮像素子３２の１方向（例えば垂直方向）の画素アレイを波長のチャンネルとして利用した蛍光の分光データ（ｘ、λ）を取得する。得られた分光データ（ｘ、λ）は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で情報処理装置２に記録される。

　情報処理装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、その他ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等が用いられてもよい。情報処理装置２は、記憶部２１と、データ構成部２２と、画像形成部２３と、階調処理部２４とを有する。この情報処理装置２は、記憶部２１に記憶されるプログラムを実行することにより、データ構成部２２と、画像形成部２３と、階調処理部２４との機能を構成することが可能である。なお、データ構成部２２と、画像形成部２３と、階調処理部２４とを回路により構成してもよい。

　情報処理装置２は、複数のライン照明Ｅｘ１、Ｅｘ２の波長と撮像素子３２で受光された蛍光との相関を表す分光データを記憶する記憶部２１を有する。記憶部２１には、不揮発性半導体メモリ、ハードディスクドライブ等の記憶装置が用いられ、サンプルＳに関する自家蛍光の標準スペクトル、サンプルＳを染色する色素単体の標準スペクトルがあらかじめ格納されている。撮像素子３２で受光した分光データ（ｘ、λ）は、例えば、図７及び図８に示すように取得されて、記憶部２１に記憶される。本実施形態では、サンプルＳの自家蛍光及び色素単体の標準スペクトルを記憶する記憶部と撮像素子３２で取得されるサンプルＳの分光データ（測定スペクトル）を記憶する記憶部とが共通の記憶部２１で構成されるが、これに限られず、別々の記憶部で構成されてもよい。

　図７は、蛍光観察装置１００における撮像素子が単一のイメージセンサで構成される場合の分光データの取得方法を説明する図である。図８は、図６で取得される分光データの波長特性を示す図である。この例において、ライン照明Ｅｘ１、Ｅｘ２によって励起された蛍光スペクトルＦｓ１、Ｆｓ２は、分光光学系（後述）を介して、最終的にΔｙ（図６参照）に比例する量だけずれた状態で撮像素子３２の受光面に結像される。図９は、撮像素子が複数のイメージセンサで構成される場合の分光データの取得方法を説明する図である。図１０は、観察対象に照射されるライン照明の走査方法を説明する概念図である。図１１は、複数のライン照明で取得される３次元データ（Ｘ、Ｙ、λ）を説明する概念図である。以下に、図７乃至図１１を参照しつつ、蛍光観察装置１００についてより詳細に説明する。

　図７に示すように、ライン照明Ｅｘ１から得られる情報はＲｏｗ＿ａ、Ｒｏｗ＿ｂとして、ライン照明Ｅｘ２から得られる情報はＲｏｗ＿ｃ、Ｒｏｗ＿ｄとして、それぞれ記録される。これらの領域以外のデータは読み出さない。それによって撮像素子３２のフレームレートはフルフレームで読み出す場合の、Ｒｏｗ＿ｆｕｌｌ／（Ｒｏｗ＿ｂ－Ｒｏｗ＿ａ＋Ｒｏｗ＿ｄ－Ｒｏｗ＿ｃ）倍早くすること出来る。

　再び図４に示すように、光路の途中にダイクロイックミラー４２やバンドパスフィルタ４５が挿入され、励起光（Ｅｘ１、Ｅｘ２）が撮像素子３２に到達しないようにする。この場合、撮像素子３２上に結像する蛍光スペクトルＦｓ１には間欠部ＩＦが生じる（図７、図８参照）。このような間欠部ＩＦも読出し領域から除外することによって、さらにフレームレートを向上させることができる。

　図４に示すように、撮像素子３２は、観測スリット３１を通過した蛍光をそれぞれ受光可能な複数の撮像素子３２ａ、３２ｂを含んでもよい。この場合、各ライン照明Ｅｘ１、Ｅｘ２によって励起される蛍光スペクトルＦｓ１、Ｆｓ２は、撮像素子３２ａ、３２ｂ上に図９に示すように取得され、記憶部２１に励起光と紐づけて記憶される。

　ライン照明Ｅｘ１、Ｅｘ２は単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ｅｘ１、Ｅｘ２がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部３０は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット３１と撮像素子３２との間の光路上に配置される。

　観測ユニット１はさらに、ステージ２０に対して複数のライン照明Ｅｘ１、Ｅｘ２をＹ軸方向、つまり、各ライン照明Ｅｘ１、Ｅｘ２の配列方向に走査する走査機構５０を備える。走査機構５０を用いることで、サンプルＳ（観察対象Ｓａ）上において空間的にΔｙだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル（蛍光スペクトル）をＹ軸方向に連続的に記録することができる。この場合、例えば図１０に示すように撮影領域ＲｓがＸ軸方向に複数に分割され、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。１回のスキャンで数種の励起波長によって励起されたサンプル由来の分光スペクトルイメージを撮影することができる。

　走査機構５０は、典型的には、ステージ２０がＹ軸方向に走査されるが、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ｅｘ１、Ｅｘ２がＹ軸方向に走査されてもよい。最終的に、図１１に示すような（Ｘ、Ｙ、λ）の３次元データが複数のライン照明Ｅｘ１、Ｅｘ２についてそれぞれ取得される。各ライン照明Ｅｘ１、Ｅｘ２由来の３次元データはＹ軸についてΔｙだけ座標がシフトしたデータになるので、あらかじめ記録されたΔｙ、または撮像素子３２の出力から計算されるΔｙの値に基づいて、補正され出力される。

　ここまでの例では励起光としてのライン照明は２本で構成されたが、これに限定されず、３本、４本あるいは５本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。またライン照明が１本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子で所得されるＲｏｗデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。図１２は、照射ラインと波長との関係を示す表である。例えば図１２に示すような構成がとられてもよい。

［観測ユニット］
　　続いて、図４を参照して観測ユニット１の詳細について説明する。ここでは、図１２における構成例２で観測ユニット１が構成される例について説明する。

　励起部１０は、複数（本例では４つ）の励起光源Ｌ１、Ｌ２、Ｌ３、Ｌ４を有する。各励起光源Ｌ１～Ｌ４は、波長がそれぞれ４０５ｎｍ、４８８ｎｍ、５６１ｎｍ及び６４５ｎｍのレーザ光を出力するレーザ光源で構成される。

　励起部１０は、各励起光源Ｌ１～Ｌ４に対応するように複数のコリメータレンズ１１及びレーザラインフィルタ１２と、ダイクロイックミラー１３ａ、１３ｂ、１３ｃと、ホモジナイザ１４と、コンデンサレンズ１５と、入射スリット１６とをさらに有する。

　励起光源Ｌ１から出射されるレーザ光と励起光源Ｌ３から出射されるレーザ光は、それぞれコリメータレンズ１１によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ１２を透過し、ダイクロイックミラー１３ａによって同軸にされる。同軸化された２つのレーザ光は、さらに、ライン照明Ｅｘ１となるべくフライアイレンズなどのホモジナイザ１４とコンデンサレンズ１５によってビーム成形される。

　励起光源Ｌ２から出射されるレーザ光と励起光源Ｌ４から出射されるレーザ光も同様にダイクロイックミラー１３ｂ、１３ｃによって同軸化され、ライン照明Ｅｘ１とは異軸のライン照明Ｅｘ２となるようにライン照明化される。ライン照明Ｅｘ１、Ｅｘ２は、各々が通過可能な複数のスリット部を有する入射スリット１６（スリット共役）においてΔｙだけ離れた異軸ライン照明（１次像）を形成する。

　この１次像は、観察光学系４０を介してステージ２０上のサンプルＳに照射される。観察光学系４０は、コンデンサレンズ４１と、ダイクロイックミラー４２、４３と、対物レンズ４４と、バンドパスフィルタ４５と、コンデンサレンズ４６とを有する。ライン照明Ｅｘ１、Ｅｘ２は、対物レンズ４４と対になったコンデンサレンズ４１で平行光にされ、ダイクロイックミラー４２、４３を反射して対物レンズ４４を透過し、サンプルＳに照射される。

　サンプルＳ面においては図６のような照明が形成される。これらの照明によって励起された蛍光は、対物レンズ４４によって集光され、ダイクロイックミラー４３を反射し、ダイクロイックミラー４２及び励起光をカットするバンドパスフィルタ４５を透過し、コンデンサレンズ４６で再び集光されて、分光イメージング部３０へ入射する。

　分光イメージング部３０は、観測スリット３１と、撮像素子３２（３２ａ、３２ｂ）と、第１プリズム３３と、ミラー３４と、回折格子３５（波長分散素子）と、第２プリズム３６とを有する。

　観測スリット３１は、コンデンサレンズ４６の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット３１を通過した２つの励起ライン由来の蛍光スペクトルは、第１プリズム３３で分離され、それぞれミラー３４を介して回折格子３５の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された４つの蛍光スペクトルは、ミラー３４及び第２プリズム３６を介して撮像素子３２ａ、３２ｂに入射し、分光データとして（ｘ、λ）情報に展開される。

　撮像素子３２ａ、３２ｂの画素サイズ（ｎｍ／Ｐｉｘｅｌ）は特に限定されず、例えば、２ｎｍ以上２０ｎｍ以下に設定される。この分散値は、回折格子３５のピッチや光学的に実現しても良いし、撮像素子３２ａ、３２ｂのハードウェアビニングをつかって実現しても良い。

　ステージ２０及び走査機構５０は、Ｘ－Ｙステージを構成し、サンプルＳの蛍光画像を取得するため、サンプルＳをＸ軸方向及びＹ軸方向へ移動させる。ＷＳＩ（Ｗｈｏｌｅ　ｓｌｉｄｅ　ｉｍａｇｉｎｇ）では、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される（図１０参照）。

　非蛍光観察部７０は、光源７１、ダイクロイックミラー４３、対物レンズ４４、コンデンサレンズ７２、撮像素子７３などにより構成される。非蛍光観察系においては、図４では、暗視野照明による観察系を示している。

　光源７１は、ステージ２０の下方に配置され、ステージ２０上のサンプルＳに対して、ライン照明Ｅｘ１、Ｅｘ２とは反対側から照明光を照射する。暗視野照明の場合、光源７１は、対物レンズ４４のＮＡ（開口数）の外側から照明し、サンプルＳで回折した光（暗視野像）を対物レンズ４４、ダイクロイックミラー４３及びコンデンサレンズ７２を介して撮像素子７３で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。

　なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部７０は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム（Ｉｎ－ｌｉｎｅ　ｈｏｌｏｇｒａｍ）画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標（Ｚ座標）を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。

［本開示の実施形態に適用可能な技術］
　次に、本開示の実施形態に適用可能な技術について説明する。

　図１３は、情報処理装置（処理ユニット）２において実行される処理の手順の一例を示すフローチャートである。なお、階調処理部２４（図３参照）の詳細は後述する。

　記憶部２１は、分光イメージング部３０で取得した分光データ（蛍光スペクトルＦｓ１、Ｆｓ２（図７、８参照））を記憶する。（ステップ１０１）。記憶部２１には、サンプルＳに関する自家蛍光や色素単体の標準スペクトルがあらかじめ格納されている。

　記憶部２１は、撮像素子３２の波長方向の画素アレイから注目波長領域のみを抽出することによって、記録フレームレートを向上させる。注目波長領域とは、例えば、可視光の範囲（３８０ｎｍ～７８０ｎｍ）、あるいは、サンプルを染色した色素の発光波長によって決まる波長範囲に相当する。

　注目波長領域以外の波長領域としては、例えば、不要な波長の光があるセンサ領域や明らかに信号のないセンサ領域、光路途中にあるダイクロイックミラー４２やバンドパスフィルタ４５でカットされるべき励起波長の領域などが挙げられる。さらに、そのセンサ上の注目波長領域は、ライン照明の状況によって切り替えられてもよい。例えば、ライン照明に使われる励起波長が少ないときは、センサ上の波長領域も制限され、制限した分、フレームレートを高速化させることができる。

　データ校正部２２は、記憶部２１に記憶された分光データを、ピクセルデータ（ｘ、λ）から波長に換算し、全てのスペクトルデータが共通の離散値を持った波長単位（［ｎｍ］、［μｍ］など）に補完されて出力されるよう校正する（ステップ１０２）。

　ピクセルデータ（ｘ、λ）は、撮像素子３２のピクセル列に綺麗に整列すると限られず、僅かな傾きや光学系のディストーションによって歪められている場合がある。したがって、例えば波長既知の光源を用いてピクセルから波長単位に変換すると、すべてのｘ座標において異なる波長（ｎｍ値）に換算されてしまう。この状態ではデータの扱いが煩雑であるため、データは補完法（例えば、線形補完やスプライン補完）によって整数に整列されたデータに変換される（ステップ１０２）。

　さらに、ライン照明の長軸方向（Ｘ軸方向）の感度ムラが発生する場合がある。感度ムラは照明のムラや、スリット幅のバラつきによって発生し、撮影画像の輝度ムラに繋がる。そこで、データ校正部２２は、このムラを解消するため、任意の光源とその代表スペクトル（平均スペクトルや光源の分光放射輝度）を用いて、均一化して出力する（ステップ１０３）。均一化することによって機差がなくなり、スペクトルの波形解析において、個々の成分スペクトルを毎回測定する手間を削減することができる。さらに、感度校正された輝度値から蛍光色素数の概算定量値も出力することができる。

　校正されたスペクトルに分光放射輝度［Ｗ／（ｓｒ・ｍ　２・ｎｍ）］を採用すれば、各波長に相当する撮像素子３２の感度も補正される。このように、基準となるスペクトルに校正することによって、色分離計算に用いる基準スペクトルを機器毎に測定する必要がなくなる。同じロットで安定的な色素であれば、１度撮影すれば流用が可能になる。さらに、色素１分子あたりの蛍光スペクトル強度が予め与えられていれば、感度校正された輝度値から換算した蛍光色素分子数の概算値を出力できる。この値は自家蛍光成分も分離されており、定量性が高い。

　以上の処理は、Ｙ軸方向に走査されるサンプルＳにおけるライン照明Ｅｘ１、Ｅｘ２による照明範囲について同様に実行される。これにより、サンプルＳの全範囲について各蛍光スペクトルの分光データ（ｘ、ｙ、λ）が得られる。得られた分光データ（ｘ、ｙ、λ）は、記憶部２１に保存される。

　画像形成部２３は、記憶部２１に記憶された分光データ（あるいはデータ校正部２２によって校正された分光データ）と、励起ラインＥｘ１、Ｅｘ２の軸間距離（Δｙ）に相当する間隔とに基づいて、サンプルＳの蛍光画像を形成する（ステップ１０４）。本実施形態において画像形成部２３は、蛍光画像として、複数のライン照明Ｅｘ１、Ｅｘ２の間隔（Δｙ）に相当する値で撮像素子３２の検出座標が補正された画像を形成する。

　各ライン照明Ｅｘ１、Ｅｘ２由来の３次元データは、Ｙ軸についてΔｙだけ座標がシフトしたデータになるので、あらかじめ記録されたΔｙ、または撮像素子３２の出力から計算されるΔｙの値に基づいて補正され、出力される。ここでは、各ライン照明Ｅｘ１、Ｅｘ２由来の３次元データが同一座標上のデータとなるように、撮像素子３２での検出座標の相違が補正される。

　画像形成部２３は、撮影した画像を繋げて１つの大きな画像（ＷＳＩ）にするための処理（スティッチング）を実行する（ステップ１０５）。これにより、多重化されたサンプルＳ（観察対象Ｓａ）に関する病理画像を取得することができる。形成された蛍光画像は、表示部３に出力される（ステップ１０６）。

　さらに画像形成部２３は、記憶部２１にあらかじめ記憶されたサンプルＳの自家蛍光及び色素単体の各標準スペクトルを基に、撮影された分光データ（測定スペクトル）からサンプルＳの自家蛍光及び色素の成分分布を分離計算する。演算方法としては、最小二乗法、重み付け最小二乗法などが採用可能であり、撮影された分光データが上記標準スペクトルの線形和になるような係数を計算する。算出された係数の分布は、記憶部２１に記憶されるとともに、表示部３へ出力されて画像として表示される（ステップ１０７、１０８）。

　以上のように本実施形態によれば、観察対象の色素数が増えても撮影時間が増加しない多重蛍光スキャナを提供することができる。

［本開示の実施形態］
　図１４は、実施形態に係る分光データ（ｘ、λ）の取得処理の流れを概略的に示す図である。以下では、２つの撮像素子３２ａおよび３２ｂを用い、ライン照明と励起光の組み合わせの構成例として、図１０の構成例２を適用する。撮像素子３２ａでライン照明Ｅｘ１による励起波長λ＝４０５［ｎｍ］および５３２［ｎｍ］に応じた各分光データ（ｘ、λ）を取得し、撮像素子３２ｂでライン照明Ｅｘ２による励起波長λ＝４８８［ｎｍ］および６３８［ｎｍ］に応じた各分光データ（ｘ、λ）を取得するものとする。また、スキャンの１ラインに対応する画素数を２４４０［ｐｉｘ］とし、Ｙ軸方向への６１０ライン分のスキャン毎に、スキャン位置をＸ軸方向に移動させるものとする。

　図１４のセクション（ａ）は、スキャンの第１ライン目（図では「１Ｌｎ」とも記述）で取得される分光データ（ｘ、λ）の例を示している。上述したサンプルＳに対応する組織３０２は、スライドガラス３００とカバーガラス３０１とに挟んで固定され、スライドガラス３００を下面として、サンプルステージ２０に載置される。図中の領域３１０は、ライン照明Ｅｘ１およびＥｘ２による４本のレーザ光（励起光）が照射されるエリアを示している。

　また、撮像素子３２ａおよび３２ｂにおいて、図の水平方向（行方向）がスキャンのラインにおける位置を示し、垂直方向（列方向）が波長を示している。

　撮像素子３２ａにおいて、それぞれ励起波長λ＝４０５［ｎｍ］および５３２［ｎｍ］に応じた分光波長（１）および（３）に応じた複数の蛍光画像（分光データ（ｘ、λ））が取得される。ここで取得される各分光データ（ｘ、λ）は、例えば分光波長（１）の例では、励起波長λ＝４０５［ｎｍ］に応じた蛍光光度の最大値を含む所定の波長領域（適宜、分光波長領域と呼ぶ）のデータ（輝度値）を含む。

　それぞれの分光データ（ｘ、λ）は、撮像素子３２ａの列方向の位置に対応付けられる。このとき、波長λは、撮像素子３２ａの列方向において連続していなくて良い。すなわち、分光波長（１）による分光データ（ｘ、λ）の波長と、分光波長（３）による分光データ（ｘ、λ）の波長は、それらの間の空白部分を含めて連続していなくて良い。

　同様に、撮像素子３２ｂにおいて、それぞれ励起波長λ＝４８８［ｎｍ］および６３８［ｎｍ］による分光波長（２）および（４）による分光データ（ｘ、λ）が取得される。ここで、各分光データ（ｘ、λ）は、例えば分光波長（１）の例では、励起波長λ＝４０５［ｎｍ］に応じた蛍光光度の最大値を含む所定の波長領域のデータ（輝度値）を含む。

　ここで、図４および図６を用いて説明したように、撮像素子３２ａおよび３２ｂにおいて、各分光データ（ｘ、λ）の波長領域内のデータが選択的に読み出され、それ以外の領域（図中に空白部分として示す）のデータは読み出されない。例えば、撮像素子３２ａの例では、分光波長（１）の波長領域の分光データ（ｘ、λ）と、分光波長（３）の波長領域の分光データ（ｘ、λ）とがそれぞれ取得される。取得された各波長領域の分光データ（ｘ、λ）は、第１ライン目の各分光データ（ｘ、λ）として、それぞれ記憶部２１に記憶される。

　図１４のセクション（ｂ）は、セクション（ａ）とＸ軸方向について同一のスキャン位置において、第６１０ライン目（図では「６１０Ｌｎとも記述）までのスキャンが終了した場合の例を示している。このとき、記憶部２１には、６１０ライン分の各分光波長（１）～（４）の波長領域の分光データ（ｘ、λ）が、ライン毎に記憶されている。６１０ライン分の読み出しおよび記憶部２１に対する記憶が終了すると、図１４のセクション（ｃ）に示すように、第６１１ライン目（図では「６１１Ｌｎとも記述）のスキャンが行われる。この例では、第６１１ライン目のスキャンは、スキャンのＸ軸方向の位置を移動させると共に、Ｙ軸方向の位置を例えばリセットして実行される。

（取得データ例およびデータの並び替え）
　図１５は、複数の単位ブロック４００、５００を模式的示す図である。上述したように、撮影領域ＲｓがＸ軸方向に複数に分割され、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。撮影領域Ｒｓは、更に複数の単位ブロック４００、５００により構成される。例えば、図１４のセクション（ｂ）に示した、第６１０ライン分のデータを基本単位として、単位ブロックと称する。

　次に、実施形態に係る取得データおよびデータの並び替えについて説明する。図１６は、図１４のセクション（ｂ）に示した、第６１０ライン目のスキャンが終了した時点で記憶部２１に記憶される分光データ（ｘ、λ）の例を示す模式図である。図１６に示されるように、分光データ（ｘ、λ）は、スキャンのライン毎に、図中の水平方向にライン上の位置を示し、図中の垂直方向に分光波長の数を示すブロックをフレーム４０ｆとして、記憶部２１に記憶される。そして、６１０ライン分のフレーム４０ｆにより単位ブロック４００（図１５参照）が形成される。

　なお、この図１６および以下の同様の図において、フレーム４０ｆ内の矢印は、記憶部２１に対するアクセスに、プログラム言語の一つであるＣ言語またはＣ言語に準じた言語を用いた場合の、記憶部２１におけるメモリアクセスの方向を示している。図１６の例では、フレーム４０ｆの水平方向（すなわち、ラインの位置方向）に向けてアクセスがなされ、これがフレーム４０ｆの垂直方向（すなわち分光波長数の方向）に向けて繰り返される。

　なお、分光波長数は、分光波長領域を複数のチャネルに分割した場合のチャネル数に対応する。

　実施形態では、情報処理装置２は、例えば画像形成部２３により、ライン毎に記憶される各波長領域の分光データ（ｘ、λ）の並び順を、分光波長（１）～（４）毎の並び順に変換する。

　図１７は、実施形態に係る、データの並び順が変更された分光データ（ｘ、λ）の例を示す模式図である。図１７に示されるように、分光データ（ｘ、λ）は、データの並び順を、分光波長毎に、図中の水平方向にライン上の位置を示し、図中の垂直方向にスキャンのラインを示す並び順に変換されて記憶部２１に記憶される。ここで、図中の水平方向の２４４０［ｐｉｘ］と、垂直方向の６１０ラインとからなる各色素１～に対応するフレーム４００ａ、４００ｂ、、、４００ｎを、本実施形態では単位長方ブロックと称する。

　この図１７に示す、実施形態に係る単位長方ブロックによるデータの並び順は、フレーム４００ａ、４００ｂ、、、４００ｎ内における画素の配列が、スライドガラス３００上の組織３０２における単位ブロック４００内の２次元情報に対応している。このため、実施形態に係る単位長方ブロック４００ａ、４００ｂ、、、４００ｎは、図１６に示したフレーム４０ｆと比較して、当該組織３０２の分光データ（ｘ、λ）を、直接的に、当該組織３０２に対する単位ブロック４００内の２次元情報として扱うことができる。したがって、実施形態に係る情報処理装置２を適用することで、ライン分光器（観察ユニット１）により取得された撮像画像データに対する画像処理や分光スペクトル波形分離処理（色分離処理）などを、より容易および高速に処理することが可能となる。

　図１８は、本実施形態に係る階調処理部２４の構成例を示すブロック図である。図１８に示すように、この階調処理部２４は、画像群生成部２４０と、統計量演算部２４２と、ＳＦ（スケーリングファクタ）生成部２４４と、第１解析部２４６と、階調変換部２４８と、表示制御部２５０とを備える。なお、本実施形態では、表示部３に表示される２次元情報を画像、又は、この２次元情報の範囲を画像と称し、画像を表示するために用いるデータを画像データ、或いは、単にデータと称する。また、本実施形態に係る画像データ、は、輝度値、及び抗体数単位の出力値の少なくともいずれかに関する数値である。

　ここで、図１９乃至図２１を参照しつつ、階調処理部２４における処理を説明する。図１９は、本実施形態に係る階調処理部２４の処理例を概念的に説明する図である。図２０は、撮像位置に対応するデータ名の例を示す図である。図２０で示すように、例えば単位ブロックの領域２００に対応させてデータ名が割振られる。これにより、例えば単位ブロック毎の撮像データに対して、行方向（ｂｌｏｃｋ＿ｎｕｍ）、及び列方向（ｏｂｉ＿ｎｕｍ）の二次元位置に対応したデータ名を割振ることが可能となる。

　再び図１９に示すように、まず、撮像された単位ブロック４００、５００、、ｎ毎の全撮像データ（図１５、１６参照）が、画像形成部２３に記憶部２１から呼び出される。これらの各単位ブロック４００、５００、、ｎは、図２０に示すように、撮像位置に応じて、例えば単位ブロック４００に対応するデータには０１＿０１．ｄａｔが割り振られ、単位ブロック５００に対応するデータには０１＿０２．ｄａｔが割り振られる。図１９では、説明を簡単にするため、単位ブロック４００、５００しか図示していないが、単位ブロック４００、５００、、ｎが処理される。

　図１９に示すように、次に、単位ブロック４００の撮像データ０１＿０１．ｄａｔは、上述のように画像形成部２３により、色分離処理が行われ、単位長方ブロック４００ａ、４００ｂ、、４００ｎ（図１７参照）に分離処理される。同様に、単位ブロック５００の撮像データ０１＿０２．ｄａｔは、画像形成部２３により、色分離処理により、単位長方ブロック５００ａ、５００ｂ、、５００ｎに分離処理される。このように、全ての単位ブロック毎の撮像データは、色分離処理により、色素に対応する単位長方ブロックに分離処理される。そして、各単位長方ブロックのデータには、図２０で示す規則に従い、データ名が割り振られる。

　次に、画像形成部２３は、撮影した画像を繋げて１つの大きなスティッチ画像（ＷＳＩ）にするためのスティッチ処理を単位長方ブロック４００ａ、４００ｂ、、に対して行う。

　次に、画像群生成部２４０は、スティッチ処理された色分離処理された各データを最小区分に再分割し、ミップマップ（ＭＩＰｍａｐ）を生成する。これらの最小区分には、図２０で示す規則に従い、データ名が割り振られる。なお、図１９では、スティッチ処理された画像の最小区分を単位ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂとして演算しているが、これに限定されない。例えば、後述する図２０、２１に示すよう、例えば正方形の領域に再区分してもよい。なお、本実施形態では、３次元コンピュータグラフィックスのテクスチャフィルタリングにおいて、メインとなるテクスチャの画像を補完するように事前計算された画像群をミップマップと称する。ミップマップの詳細は図２０、２１を用いて後述する。

　統計量演算部２４２は、各単位長方ブロック単位ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ内の画像データ（輝度データ）に対する統計量Ｓｔｖを演算する。統計量Ｓｔｖは、最大値、最小値、中間値、最頻値等である。画像データは、例えばフロート３２（ｆｌｏａｔ３２）であり、例えば３２ビットである。

　ＳＦ生成部２４２は、統計量演算部２４２が演算した統計量Ｓｔｖを用いて、各単位長方ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ、、に対してスケーリングファクタ（Ｓｆ）を演算する。そして、ＳＦ生成部２４２は、スケーリングファクタ（Ｓｆ）を記憶部２１に記憶する。

　スケーリングファクタＳｆは、例えば（１）式で示すように、各単位長方ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ、、内の画像データ（輝度データ）の例えば最大値ｍａｘｖと最小値ｍｉｎｖの差分をデータサイズｄｓｚで除算した値である。ダイナミックレンジを調整する際の基準となる画素値範囲は、例えばデータサイズｄｓｚであり、ｕｓｈｏｒｔ１６（０－６５５３５）＝２^１６－１の値であり、１６ビットである。原画像データのデータサイズは、フロート３２（ｆｌｏａｔ３２）の３２ビットである。なお、本実施形態では、スケーリングファクタＳｆで除算する前の画像データを原画像データと称する。原画像データは、上述のように、例えばフロート３２（ｆｌｏａｔ３２）の３２ビットのデータサイズである。このデータサイズは画素値に対応する。

　これにより、例えば、蛍光の強い領域は、スケーリングファクタＳｆが５などとなり、蛍光のない領域は、スケーリングファクタＳｆが０．１などとして演算される。換言すると、スケーリングファクタＳｆは、各単位長方ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ、、の原画像データにおけるダイナミックレンジに対応する。以下では、最小値ｍｉｎｖを０として説明するが、これに限定されない。なお、本実施形態に係るスケーリングファクタが第１値に対応する。

　第１解析部２４６は、画像中から被写体領域を抽出する。そして、統計量演算部２４２は、被写体領域内の原画像データを用いて統計量Ｓｔｖを演算し、ＳＦ生成部２４２は、統計量Ｓｔｖに基づき、スケーリングファクタＳｆを演算する。

　階調変換部２４８は、スケーリングファクタＳｆで各単位長方ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ、、の原画像データを除算し、除算後のデータを記憶部２１に記憶する。これらから分かるように、階調変換部２４８により処理された第１画像データは、最大値ｍａｘｖと最小値ｍｉｎｖとの差分である画素値範囲により正規されている。なお、本実施形態では、原画像データの画素値をスケーリングファクタＳｆで除算した後の画像データを、第１画像データと称する。第１画像データは、例えばｕｓｈｏｒｔ１６のデータ形式である。

　つまり、スケーリングファクタＳｆが１よりも大きい場合には、第２画像データのダイナミックレンジは、圧縮され、スケーリングファクタＳｆが１よりも小さい場合には、第２画像データのダイナミックレンジは、拡大される。一方で、階調変換部２４８により処理された第１画像データと、対応するスケーリングファクタＳｆとを、乗算すると、元の原画像データの画素値を得ることが可能である。スケーリングファクタＳｆは、例えばフロート３２（ｆｌｏａｔ３２）であり、３２ビットである。

　色分離データである単位長方ブロック４００ａ、４００ｂ、、に対しても、同様にスケーリングファクタＳｆはスケーリングファクタＳｆを演算し、階調変換部２４８は、スケーリングファクタＳｆで原画像データを階調変換し、第１画像データを生成する。

　図２１は、各単位長方ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ、、のデータ形式の例を示す図である。各単位長方ブロック４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂ、、のデータは、例えばＴｉｆｆ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）形式で記憶部２１に記憶される。各画像データは、フロート３２（ｆｌｏａｔ３２）からｕｓｈｏｒｔ１６の１６ビットに変換され、記憶容量が圧縮される。同様に、単位長方ブロック４００ａ、４００ｂ、、のデータは、例えばＴｉｆｆ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）形式で記憶部２１に記憶される。各原画像データは、フロート３２（ｆｌｏａｔ３２）からｕｓｈｏｒｔ１６の第１画像データに変換され、記憶容量が圧縮される。スケーリングファクタＳｆはフッタに記録されるので、画像データを読み出さずに、記憶部２１から読み出し可能である。

　このように、スケーリングファクタＳｆで除算した後の第１画像データと、スケーリングファクタＳｆとを、例えばＴｉｆｆ形式により関連付けて記憶部２１に記憶する。これにより、第１画像データは、３２ビットから１６ビットに圧縮される。この第１画像データは、ダイナミックレンジが調整されているので、表示部３に表示する場合に全画像を可視化可能となる。一方で、第１画像データと対応するスケーリングファクタＳｆを乗算すると、原画像データの画素値を得ることが可能であり、情報量も維持される。

　ここで、図２２に基づき、画像群生成部２４０の処理例を説明する。図２２は、画像群生成部２４０の処理例を説明するための画像ピラミッド構造を示す図である。画像群生成部２４０は、例えばスティッチング画像（ＷＳＩ）を用いて画像ピラミッド構造５００を生成する。

　画像ピラミッド構造５００は、画像形成部２３が色素毎の各単位長方ブロック４００ａ、５００ａ、、をスティッチング処理により合成したスティッチング画像（ＷＳＩ）に対して異なる複数の解像度により生成された画像群である。画像ピラミッド構造５００の最下Ｌｎには、最も大きいサイズの画像が配置され、最上Ｌ１には最も小さいサイズの画像が配置される。最も大きいサイズの画像の解像度は、例えば５０×５０（Ｋｐｉｘｅｌ：キロピクセル）、あるいは４０×６０（Ｋｐｉｘｅｌ）である。最も小さいサイズの画像は、例えば２５６×２５６（ｐｉｘｅｌ）、あるいは、２５６×５１２（ｐｉｘｅｌ）である。本実施形態では、画像領域の構成領域である１タイルを単位領域画像と称する。なお、単位領域画像は任意の大きさ及び形状で構成してもよい。

　つまり、同じ表示部３が、これらの画像を例えば１００％でそれぞれ表示（それらの画像のピクセル数と同じ物理的なドット数でそれぞれ表示）すると、最も大きいサイズの画像Ｌｎが最も大きく表示され、最も小さいサイズの画像Ｌ１が最も小さく表示される。ここで、図２２では、その表示部１０６の表示範囲をＤとして示している。なお、これらの画像ピラミッド構造５０を形成する全体画像群は、公知の圧縮方法により生成されてもよいし、例えばサムネイル画像を生成するときの公知の圧縮方法により生成されてもよい。

　図２３は、図１９の色素１～ｎの波長帯のスティッチング画像（ＷＳＩ）を画像ピラミッド構造として再生成した例を示す図である。すなわち、画像群生成部２４０が、画像形成部２３が生成した色素別のスティッチング画像（ＷＳＩ）を画像ピラミッド構造として再生成した例を示す図である。説明を簡単にするため、３レベルで図示しているが、これに限定されない。色素１の画像ピラミッド構造では、Ｌ３レベルの各単位領域画像には、例えばスケーリングファクタＳｆ３－１～Ｓｆ３－ｎがＴｉｆｆデータとして関連付けられ、各単位領域画像の原画像データは階調変換部２４８により、第１画像データに画素値が変換されている。同様に、Ｌ２レベルの各小画像には、例えばスケーリングファクタＳｆ２－１～Ｓｆ２－ｎがＴｉｆｆデータとして関連付けられ、各第１画像データは階調変換部２４８により、第１画像データに画素値が変換されている。同様に、Ｌ１レベルの小画像には、例えばスケーリングファクタＳｆ１がＴｉｆｆデータとして関連付けられ、原画像データは階調変換部２４８により、第１画像データに画素値が変換されている。同様の処理が色素２～ｎの波長帯のスティッチング画像に対して行われる。そして、これらの画像ピラミッド構造のデータはミップマップとして、例えばＴｉｆｆ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）形式で記憶部２１に記憶される。

　図２４は、表示制御部２５０の生成する表示画面例である。表示領域３０００には、スケーリングファクタＳｆに基づき、ダイナミックレンジが調整された主観察画像が表示される。サブネール画像領域３０１０には、観察範囲の全体画像が表示される。領域３０２０は、表示領域３０００が表示されている全体画像（サブネイル画像）の中の範囲を示す。サブネール画像領域３０１０には、例えば撮像素子７３で撮像した非蛍光観察部（カメラ）画像を表示してもよい。

　選択波長操作領域部３０３０は、操作部４の指示に従い、表示画像の波長範囲、例えば色素１～ｎに対応する波長を入力する入力部である。倍率操作領域部３０４０は、操作部４の指示に従い、表示倍率を変更する値を入力する入力部である。水平操作領域部３０６０は、操作部４の指示に従い、画像の水平方向選択位置を変更する値を入力する入力部である。垂直操作領域部３０８０は、操作部４の指示に従い画像の垂直方向選択位置を変更する値を入力する入力部である。表示領域３１００は、主観察画像のスケーリングファクタＳｆを表示する。表示領域３１２０は、スケーリングファクタの値を操作部４の指示に従い選択する入力部である。スケーリングファクタの値は、上述するようにダイナミックレンジに対応する。例えば、画素値の最大値ｍａｘｖ（１式参照）に対応する。表示領域３１４０は、スケーリングファクタＳｆの演算アルゴリズムを、操作部４の指示に従い選択する入力部である。なお、表示制御部２５０は、観察画像、全体画像などのファイルパスを更に表示させてもよい。

　表示制御部２５０は、選択波長操作領域部３０３０の入力により、対応する色素ｎのミップマップ画像を憶部２１から呼び込む。この場合、後述する表示領域３１４０に対応する演算アルゴリズムに従い生成された色素ｎのミップマップ画像が読み込まれる。

　表示制御部２５０は、倍率操作領域部３０４０の指示入力が第１閾値未満である場合にレベルＬ１の画像を表示し、指示入力が第１閾値以上である場合にレベルＬ２の画像を表示し、指示入力が第２閾値以上である場合にレベルＬ３の画像を表示する。

　表示制御部２５０は、水平操作領域部３０６０、及び垂直操作領域部３０８０により選択された表示領域Ｄ（図２２参照）を主観察画像として表示領域３０００に表示する。この場合、表示領域Ｄ内に含まれる各単位領域画像に関連付けられるスケーリングファクタＳｆにより各単位領域画像の画像データの画素値が階調変換部２４８により再演算される。

　図２５は、水平操作領域部３０６０、及び垂直操作領域部３０８０を介して入力処理により、表示領域ＤがＤ１０からＤ２０に変更された例を示す図である。

　先ず、階調変換部２４８は、領域Ｄ１０が選択された場合には、各単位領域画像に関連付けられて記憶されるスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６を記憶部２１から読み込む。そして、（２）式に示すように、各単位領域画像の画像データに、対応するスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６をそれぞれ乗算し、スケーリングファクタの最大値ＭＡＸ＿Ｓｆ（１、２、５、６）で除算する。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前の画素値）／ＭＡＸ＿Ｓｆ（１、２、５、６）　　　　　　　　　　　　　　　　　（２）式

　各単位領域画像の第１画像データに、対応するスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６をそれぞれ乗算すると原画像データにおける画素値に変換される。そして、スケーリングファクタの最大値ＭＡＸ＿Ｓｆ（１、２、５、６）で除算することにより、領域Ｄ１０の画像データが正規化される。これにより、領域Ｄ１０の画像データの輝度がより適切に表示される。例えば、上述の（１）式でスケーリングファクタＳｆが演算されている場合には、各単位領域画像の画像データの値は、領域Ｄ１０に含まれる各単位領域画像の原画像データにおける最大値と最小値の間に正規化される。このように、領域Ｄ１０内の第１画像データのダイナミックレンジがスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６を用いることにより、再調整され、領域Ｄ１０内の第１画像データを全て視認することが可能となる。これらから分かるように、統計量演算部２４２の再演算が不要となり、領域変換に応じてより短時間にダイナミックレンジの調整が可能となる。

　また、表示制御部２５０は、表示領域３１００に最大値ＭＡＸ＿Ｓｆ（１、２、５、６）を表示する。これにより、操作者は、ダイナミックレンジがどの程度圧縮されているか、或いは、拡大されているかを、より容易に認識することが可能となる。

　次に、領域Ｄ２０に変更された場合には、各単位領域画像に関連付けられて記憶されるスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６、Ｓｆ７を記憶部２１から読み込む。そして（３）式に示すように、各単位領域画像の第１画像データに、対応するスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６、Ｓｆ７をそれぞれ乗算し、スケーリングファクタの最大値ＭＡＸ＿Ｓｆ（１、２、５、６、７）で除算する。

　リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／ＭＡＸ＿Ｓｆ（１、２、５、６、７）　　　　　　　　　　　　　　（３）式
各単位領域画像の第１画像データに、対応するスケーリングファクタＳｆ１、Ｓｆ２、ＳＦ５、Ｓｆ６、Ｓｆ７をそれぞれ乗算すると原画像データの画素値に変換され、スケーリングファクタの最大値ＭＡＸ＿Ｓｆ（１、２、５、６、７）で除算することにより、領域Ｄ２０の第１画像データが再び正規化される。これにより、領域Ｄ１０の画像データの輝度がより適切に表示される。上述同様に、表示制御部２５０は、表示領域３１００に最大値ＭＡＸ＿Ｓｆ（１、２、５、６、７）を表示する。これにより、操作者は、ダイナミックレンジがどの程度圧縮されているか、或いは、拡大されているかを、より容易に認識することが可能となる。

　表示制御部２５０は、後述する表示領域３１４０に対応する演算アルゴリズムにおいて、マニュアル（ｍａｎｕａｌ）が選択された場合に、表示領域３１２を介して入力されたスケーリングファクタＭＳｆの値を用いて（４）式を用いて再演算する。

　リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／ＭＳｆ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（４）式
上述と同様に、表示制御部２５０は、表示領域３１００にスケーリングファクタＭＳｆを表示する。これにより、操作者は、自信の操作により、ダイナミックレンジがどの程度圧縮されているか、或いは、拡大されているかを、より容易に認識することが可能となる。

　このように、色分離後、およびスティッチ後の原画像データはｆｌｏａｔ３２の抗体数単位の出力を例えば想定している。これらを基本領域画毎に図２１に示すように、ｕｓｈｏｒｔ１６（０－６５５３５）の画像データとｆｌｏａｔ３２係数（＝スケーリングファクタＳｆ）とに分割して記憶部２１に保存する。基本領域画（小画像）毎に画像データとスケーリングファクタＳｆを分割保存しておくことで、図２５に示すような複数の基本領域画を跨ぐ領域を視認する場合に、スケーリングファクタ同士を比較し、ｕｓｈｏｒｔ１６（０－６５５３５）への再割り当て（＝リスケーリング）をすることで表示ダイナミックレンジの調整が可能となる。

　すなわち、上述のように、Ｕｓｈｏｒｔ１６の画像データとｆｌｏａｔ３２のスケーリングファクタに分けることにより、積算により元のデータｆｌｏａｔ３２に復調可能となる。また、基本領域画（小画像）毎に個別のスケーリングファクタＳｆを用いてｕｓｈｏｒｔ１６画像を保存するため、必要な領域だけで表示ダイナミックレンジの再調整が可能となる。更に、基本領域画（小画像）のフッタにスケーリングファクタＳｆを追加することで、スケーリングファクタＳｆだけを容易に参照でき、スケーリングファクタＳｆ同士の比較もより容易となる。

　表示領域３１２において、スティッチング画像ＷＳＩは、レベルＬ１画像を意味する。ＲＯＩは選択された領域画像を意味する。また、最大値ＭＡＸは、スケーリングファクタＳｆを演算する際に用いる統計量が最大値であることを意味する。また、平均値Ａｖｅは、スケーリングファクタＳｆを演算する際に用いる統計量が平均値であることを意味する。また、最頻値Ｍｏｄｅは、スケーリングファクタＳｆを演算する際に用いる統計量が最頻値であることを意味する。組織領域Ｓｆは、選択された画像領域、且つ第１解析部２４６が抽出した画被写体領域中から演算されたスケーリングファクタＳｆを用いることを意味する。この場合、統計量としては、例えば最大値が用いられる。

　これにより、最大値ＭＡＸが選択された場合には、ＳＦ生成部２４２が最大値を用いて生成したスケーリングファクタＳｆに対応するミップマップが記憶部２１から読み込まれる。同様に、平均値Ａｖｅが選択された場合には、ＳＦ生成部２４２が平均値を用いて生成したスケーリングファクタＳｆに対応するミップマップが記憶部２１から読み込まれる。同様に、最頻値Ｍｏｄｅが選択された場合には、ＳＦ生成部２４２が最頻値を用いて生成したスケーリングファクタＳｆに対応するミップマップが記憶部２１から読み込まれる。

　すなわち、第１アルゴリズム（ＭＡＸ（ＷＳＩ））は、（５）式に示すように、レベルＬ１画像のスケーリングファクタＬ１Ｓｆにより、表示画像の画素値を再変換する。この場合、スケーリングファクタＬ１Ｓｆは、最大値が用いられる。倍率操作領域部３０４０、水平操作領域部３０６０、及び垂直操作領域部３０８０を介して入力処理されている場合には、表示領域に含まれる各単位領域画像に対して、（５）式に従う演算が行われる。これにより、どの範囲の画像を表示させても、統一したダイナミックレンジで表示可能となり、画像のばらつきを抑制可能となる。

　リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／Ｌ１Ｓｆ　　　　　　　　　　　　　　　　　　　　　　　　　　　　（５）式
なお、以下の処理において、表示領域３１００によりＷＳＩ関連のアルゴリズムが選択された場合には、レベルＬ１画像を表示させるように制限してもよい。この場合、再演算は不要である。

　同様に、第２アルゴリズム（Ａｖｅ（ＷＳＩ））は、（６）式に示すように、レベルＬ１画像の平均値Ｌ１ａｖにより、表示画像の画素値を再変換する。これにより、どの範囲の画像を表示させても、統一したダイナミックレンジで表示可能となり、画像のばらつきを抑制可能となる。また、平均値Ｌ１ａｖを用いる場合には、高輝度領域である蛍光領域の情報を抑制しつつ、画像全体の情報を観察することが可能となる。なお、以下の処理において、表示領域３１００によりＷＳＩ関連のアルゴリズムが選択された場合には、レベルＬ１画像を表示させるように制限してもよい。この場合、再演算は不要である。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／Ｌ１ａｖ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（６）式

　同様に、第３アルゴリズム（Ｍｏｄｅ（ＷＳＩ））は、（７）式に示すように、レベルＬ１画像の最頻値Ｌ１ｍｏｄにより、表示画像の画素値を再変換する。これにより、どの範囲の画像を表示させても、統一したダイナミックレンジで表示可能となり、画像のばらつきを抑制可能となる。また、最頻値Ｌ１ｍｏｄを用いる場合には、高輝度領域である蛍光領域の情報を抑制しつつ、画像なかで最も多く含まれる画素を基準に、情報を観察することが可能となる。なお、以下の処理において、表示領域３１００によりＷＳＩ関連のアルゴリズムが選択された場合には、レベルＬ１画像を表示させるように制限してもよい。この場合、再演算は不要である。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／Ｌ１ｍｏｄ　　　　　　　　　　　　　　　　　　　　　　　　　　　　（７）式

　同様に、第４アルゴリズム（（ＭＡＸ（ＲＯＩ））は、（８）式に示すように、選択された基本領域画像中のスケーリングファクタＳｆの最大値ＲＯＩｍａｘにより、表示画像の画素値を再変換する。この場合、上述のように統計量は、最大値である。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／ＲＯＩｍａｘ　　　　　　　　　　　　　　　　　　　　　　　　　　　（８）式

　同様に、第５アルゴリズム（（Ａｖｅ（ＲＯＩ））は、（９）式に示すように、選択された基本領域画像中のスケーリングファクタＳｆの最大値ＲＯＩＡｖｅｍａｘにより、表示画像の画素値を再変換する。この場合、上述のように統計量ＲＯＩＡｖｅｍａｘは、平均値である。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／ＲＯＩＡｖｅｍａｘ　　　　　　　　　　　　　　　　　　　　　　　　（９）式

　同様に、第６アルゴリズム（（Ｍｏｄｅ（ＲＯＩ））は、（１０）式に示すように、選択された基本領域画像中のスケーリングファクタＳｆの最大値ＲＯＩＭｏｄｅｍａｘにより、表示画像の画素値を再変換する。この場合、上述のように統計量ＲＯＩＭｏｄｅｍａｘは、最頻値である。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／ＲＯＩＭｏｄｅｍａｘ　　　　　　　　　　　　　　　　　　　　　　（１０）式

　同様に、第７アルゴリズム（組織領域Ｓｆ）は、（１１）式に示すように、選択された基本領域画像中のスケーリングファクタＳｆの最大値Ｓｆｍａｘにより、表示画像の画素値を再変換する。この場合、上述のように統計量Ｓｆｍａｘは、各基本領域画像の中の組織領域内の画像データ内で算出された最大値である。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／Ｓｆｍａｘ　　　　　　　　　　　　　　　　　　　　　　　　　　　（１１）式

　同様に、第８アルゴリズム（ａｕｔｏ）は、（１２）式に示すように、選択波長操作領域部３０３の入力により、選択された波長の代表値λの関数Ｓｆ（λ）により、表示画像の画素値を再変換する。このＳｆ（λ）は、過去の撮影実験により定められた値である。すなわち、このＳｆ（λ）は、撮像画像によらず、λに従う値である。なお、Ｓｆ（λ）は、代表値λごとに定められる離散値でもよい。
リスケーリング後の画素値＝（各Ｓｆ×リスケーリング前画素値）／Ｓｆ（λ）　　　　　　　　　　　　　　　　　　　　　　　　　　　（１２）式

　同様に、第９アルゴリズムであるマニュアル（ｍａｎｕａｌ）は、上述した（４）式に示すように、表示領域３１２を介して入力されたスケーリングファクタＭＳｆの値を用いて、表示画像の画素値を再変換するアルゴリズムである。

　図２６は、情報処理装置２の処理例を示すフローチャートである。ここでは、表示領域３１００によりＷＳＩ関連のアルゴリズムが選択された場合には、レベルＬ１画像を表示させるように、制限されている場合について説明する。

　まず、表示制御部２５０は、表示領域３１００を介して操作者に選択されたアルゴリズ（図２４参照）を取得する（ステップＳ２００）。続けて、表示制御部２５０は、選択されたアルゴリズに対応するミップマップを記憶部２１から読み込む（ステップＳ２０２）。この場合、表示制御部２５０は、対応するミップマップが記憶部２１に記憶されていない場合、画像群生成部２４０を介して、対応するミップマップを生成させる。

　次に、表示制御部２５０は、選択されたアルゴリズ（図２４参照）がＷＳＩ関連であるか否かを判定する（ステップＳ２０４）。ＷＳＩ関連であると判定する場合（ステップＳ２０４のｙｅｓ）、表示制御部２５０は、選択されたアルゴリズに関する処理を開始する（ステップＳ２０６）。

　続けて、表示制御部２５０は、選択されたアルゴリズムが第１アルゴリズム（ＭＡＸ（ＷＳＩ））、第２アルゴリズム（Ａｖｅ（ＷＳＩ））、第３アルゴリズム（Ｍｏｄｅ（ＷＳＩ））であれば、レベルＬ１画像の原画像データに基づく統計量に従い、主観察画像のダイナミックレンジを調整する（ステップＳ２０８）。この場合、レベルＬ１画像の第１画像データのダイナミックレンジは既に調整されているので、再演算は不要である。

　続けて、表示制御部２５０は、選択されたアルゴリズムが第７アルゴリズム（組織領域Ｓｆ）であれば、画像の中の組織領域内の画像データ内で算出された統計量に基づき、主観察画像のダイナミックレンジを調整する（ステップＳ２１０）。この場合、レベルＬ１画像の第１画像データのダイナミックレンジは既に調整されているので、再演算は不要である。

　続けて、表示制御部２５０は、選択されたアルゴリズムが第９アルゴリズム（マニュアル（ｍａｎｕａｌ））であれば、上述した（４）式に示すように、表示領域３１２を介して入力されたスケーリングファクタＭＳｆの値を用いて、表示画像であるレベルＬ１画像における第１画像データの画素値を再変換する（ステップＳ２１２）。

　続けて、表示制御部２５０は、選択されたアルゴリズムが第８アルゴリズム（ａｕｔｏ）であれば、画選択波長操作領域部３０３の入力により、選択された波長の代表値λの関数Ｓｆ（λ）により、表示画像であるレベルＬ１画像における第１画像データの画素値を再変換する。（ステップＳ２１４）。

　一方で、表示制御部２５０は、選択されたアルゴリズ（図２４参照）がＷＳＩ関連でないと判定する場合（ステップＳ２０４のｎｏ）、表示制御部２５０は、倍率操作領域部３０４０を介して操作部４により入力した表示倍率を取得する（ステップＳ２１６）。表示制御部２５０は、表示倍率に応じて、主観察画像の表示に用いる画像レベルＬ１～Ｌｎをミップマップの中から選択する（ステップＳ２１８）。続けて、表示制御部２５０は、水平操作領域部３０６０及び垂直操作領域部３０８０により選択された表示領域を、サブネール画像３０１中に枠３０２（図２４参照）として、表示する（ステップＳ２２０）。

　続けて、表示制御部２５０は、表示制御部２５０は、選択されたアルゴリズ（図２４参照）が第７アルゴリズム（組織領域Ｓｆ）関連であるか否かを判定する（ステップＳ２２２）。第７アルゴリズム（組織領域Ｓｆ）関連でないとと判定する場合（ステップＳ２２２のｙｅｓ）、表示制御部２５０は、選択されたアルゴリズに関する処理を開始し、第４アルゴリズム（（ＭＡＸ（ＲＯＩ））、第５アルゴリズム（（Ａｖｅ（ＲＯＩ））、及び第６アルゴリズム（（Ｍｏｄｅ（ＲＯＩ））のいずれかであれば、枠３０２に含まれる各基本領域画像に関連付けられたスケーリングファクタｓｆで、第１画像データの画素値を再演算し、ダイナミックレンジを調整した枠３０２（図２４参照）内の画像を主観察画像として表示部３に表示させる（ステップＳ２２４）。

　続けて、表示制御部２５０は、選択されたアルゴリズムが第９アルゴリズム（マニュアル（ｍａｎｕａｌ））であれば、上述した（４）式に示すように、表示領域３１２を介して入力されたスケーリングファクタＭＳｆの値を用いて、表示画像である枠３０２（図２４参照）に含まれる各基本領域画像における第１画像データの画素値を再変換し、表示部３に表示させる（ステップＳ２２６）。

　一方で、表示制御部２５０は、選択されたアルゴリズ（図２４参照）が第７アルゴリズム（組織領域Ｓｆ）関連であると判定する場合（ステップＳ２２２のｎｏ）、画像の中の組織領域内の画像データ内で算出された統計量に基づき、主観察画像のダイナミックレンジを調整する（ステップＳ２２８）。なお、表示部３に表示させる際の画像データは、例えばushort16である0-655535の輝度値を線形変換（Linear）してもよく、或いは、ログ変換（Logarithm）、バイエクスポーネンシャル変換（Biexponential）、などの非線形変換をして表示させてもよい。

　このように、例えば、抗体数単位で画像間の輝度表示を定量的に比較可能となる。また、スティッチング画像（WSI）を輝度調整すると暗すぎて視認できないような色素・領域が、スティッチング画像（WSI）と比較して小さい領域である各基本領域画像の組み合わせにより、表示ダイナミックレンジを調整することが可能となる。これにより、撮像画像の視認性を向上可能となる。更にまた、隣接する基本領域画像でスケーリングファクタＳｆを比較して、スケーリングファクタＳｆをひとつに揃えることが容易となる。これにより、ひとつに揃えたスケーリングファクタＳｆに基づき、リスケーリングすることにより、より高速に複数の基本領域画像において表示ダイナミックレンジを揃えることができる。

　このように、視認したい領域が暗い色素・領域であったとしても、その色素・領域に適したスケーリングファクタＳｆを用いて画像データをushort16（0-655535）のサイズに割当てることで、ダイナミックレンジがより適切に調整され、視認可能となる。またそのスケーリングファクタＳｆを元に復調する（=画像データushort16にスケーリングファクタを積算する）ことで定量性を維持することも可能となる。

　以上説明したように、本実施形態によれば、蛍光画像を複数に分割した各領域である単位領域画像の第１画像データと、第１画像データ毎の画素値範囲を示すスケーリングファクタＳｆを関連付けてミップマップ（ＭＩＰＭＡＰ）として記憶部２１に記憶することとした。これにより、選択された領域Ｄ内の単位領域画像の組み合わせのそれぞれに関連付けられたスケーリングファクタＳｆのなかから選択された代表値に基づき、選択された単位領域画像の組み合わせ画像の画素値を変換することが可能となる。このため、選択された単位領域画像のダイナミックレンジがスケーリングファクタＳｆを用いることにより再調整され、領域Ｄ内の画像データを全て、所定のダイナミックレンジで、視認することが可能となる。このように、統計量演算部２４２の再演算が不要となり、観察領域Ｄの位置変換に応じてより短時間にダイナミックレンジの調整が可能となる。また、ミップマップとして記憶部２１に記憶するので、解像度の選択レベルに応じて、主観察に用いる画像レベルＬ１～Ｌｎをミップマップの中から選択することが可能となり、より高速に、主観察画像のダイナミックレンジを調整して表示部３に表示可能となる。

（第２実施形態）
　第２実施形態に係る情報処理装置２は、細胞カウントなどの細胞解析を行う第２解析部を更に備えることで、第１実施形態に係る情報処理装置２と相違する。以下では、第１実施形態に係る情報処理装置２と相違する点を説明する。

　図２７は、第２実施形態に係る蛍光観察装置の概略ブロック図である。図２７に示すように、情報処理装置２は、第２解析部２６を更に備える。

　図２８は、第２解析部２６の処理例を模式的に示す図である。図２８に示すように、画像形成部２３により撮影した画像を繋げて１つの大きなスティッチ画像（ＷＳＩ）にするためのスティッチ処理が行われ、画像群生成部２４０は、ミップマップ（ＭＩＰｍａｐ）を生成する。なお、図２８では、スティッチ処理された画像の最小区分を単位ブロック（基本領域画像）４００ｓａ、４００ｓｂ、５００ｓａ、５００ｓｂとして演算している

　表示制御部２５０は、は、水平操作領域部３０６０及び垂直操作領域部３０８０（図２４参照）により選択された視野（表示領域Ｄ）内の各基本領域画像を、関連付けられたサンプリングファクタＳｆにより、スケーリングし、基本領域画像）４００ｓａ＿２、４００ｓｂ＿２、５００ｓａ＿２、５００ｓｂ＿２、、として記憶部２１に記憶する。

　第２解析部２６は、このように、スティッチ後に解析視野を決めて複数色素画像でそれぞれ手動による視野内リスケーリング、画像出力をした後に、細胞カウントなどの細胞解析を行う。

　以上説明したように、本実施形態によれば、操作者（ユーザ）が任意の視野内でリスケーリングした画像を用いて解析が可能となる。これによ、操作者の意図を反映した領域内の解析を行うことができる。

（第２実施形態の変形例１）
　第２実施形態の変形例１に係る情報処理装置２は、細胞カウントなどの細胞解析を行う第２解析部２６が自動解析処理する点で第２実施形態に係る情報処理装置２と相違する。以下では、第２実施形態に係る情報処理装置２と相違する点を説明する。

　図２９は、第２実施形態の変形例１に係る第２解析部２６の処理例を模式的に示す図である。図２９に示すように、第２実施形態の変形例１に係る第２解析部２６は、複数色素画像でサムネイルの結果（組織の存在確率が最も高い小画像）などを用いて自動リスケーリング及び画像出力した後、細胞カウントなどの細胞解析を行う。このように、本実施形態によれば、第２解析部２６が、観察対象組織が存在する領域を自動検出し、その領域のスケーリングファクタを用いて自動リスケーリングした画像を用いて解析が可能となる。

（第２実施形態の変形例２）
　第２実施形態の変形例２に係る情報処理装置２は、細胞カウントなどの細胞解析を行う第２解析部２６が第８アルゴリズム（ａｕｔｏ）により、自動リスケーリングした後に自動解析処理する点で第２実施形態の変形例１に係る第２解析部２６と相違する。以下では、第２実施形態の変形例２に係る情報処理装置２と相違する点を説明する。

　図３０は、第２実施形態の変形例２に係る第２解析部２６の処理例を模式的に示す図である。図３０に示すように、第２実施形態の変形例２に係る第２解析部２６は、記憶部３１に記憶された情報に基づく、代表値λの関数Ｓｆ（λ）（１１式参照）で自動リスケーリングする。すなわち、リスケーリングファクタである関数Ｓｆ（λ）は、過去の撮像結果により蓄積されたスケーリングファクタＳｆのデータを取りためて、色素と細胞解析用のスケーリングファクタＳｆとして、データベースとしての記憶部３１に蓄積したものである。

　このように、本実施形態によれば、過去の処理データを取りためて、色素と細胞解析用のスケーリングファクタＳｆをデータベースとして蓄積し、スティッチ後にそのままデータベースのスケーリングファクタＳｆを用いてリスケーリングした小画像を保存する。これにより、解析のためのリスケーリング処理フローを省略することが可能となる。

　なお、本技術は以下のような構成を取ることができる。
　（１）蛍光画像を複数に分割した各領域である単位領域画像の第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、
　選択された前記単位領域画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記単位領域画像の組み合わせ画像の画素値を変換する変換工程と、
　を備える、情報処理方法。

　（２）前記選択された前記単位領域画像の組み合わせは、表示部に表示させる観察範囲に対応し、観察範囲に応じて、前記単位領域画像の組合せの範囲が変更される、（１）に記載の情報処理方法。

　（３）前記観察範囲に対応する範囲を前記表示部に表示させる表示制御工程を更に備える、（２）に記載の情報処理方法。

　（４）前記観察範囲は、顕微鏡の観察範囲に対応し、前記顕微鏡の倍率に応じて、前記単位領域画像の組合せの範囲が変更される、（２）又は（３）に記載の情報処理方法。

　（５）前記第１画像データは、前記第１画像データの原画像データにおいて所定の規則で取得された画素値範囲に基づき、ダイナミックレンジの範囲が調整された画像データである、（１）に記載の情報処理方法。

　（６）前記第１画像データと関連付けられた前記代表値との乗算により、前記原画像データの画素値が得られる、（５）に記載の情報処理方法。

　（７）前記記憶工程は、
　前記第１画像データの領域と大きさが異なる第２画像データであって、前記蛍光画像を複数の領域に再分割した第２画像データと、
　前記第２画像データ毎の画素値範囲を示す第１値と、
　を関連付けて更に記憶する、（６）に記載の情報処理方法。

　（８）前記顕微鏡の倍率が所定値を越えた場合に、前記観察範囲に対応する前記第２画像データの組合せが選択され、
　前記変換工程は、前記選択された前記第２画像データの組み合わせに関連付けられたそれぞれの第１値から選択された代表値に基づき、前記選択された前記第２画像データの組み合わせに対する画素値を変換する、（７）に記載の情報処理方法。

　（９）前記画素値範囲は、前記第１画像データに対応する前記原画像データにおける統計量に基づく範囲である、（８）に記載の情報処理方法。

　（１０）前記統計量は、最大値、最頻値、中央値のいずれかである、（９）に記載の情報処理方法。

　（１１）前記画素値範囲は、前記原画像データにおける最小値と、前記統計量との範囲である、（１０）に記載の情報処理方法。

　（１２）前記第１画像データは、前記単位領域画像に対応する前記原画像データの画素値を前記第１値で除算したデータあり、
　前記変換工程は、前記選択された前記単位領域画像における前記第１画像データのそれぞれに対応する前記第１値を乗算し、前記選択された前記単位領域画像の組み合わせに関連付けられたそれぞれの前記第１値の最大値で除算する、（１１）に記載の情報処理方法。

　（１３）前記統計量の演算方法を入力する第１入力工程と、
　前記入力部の入力に応じて、前記統計量を演算する解析工程と、
　前記解析工程の解析に基づき、蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の画素値範囲を示す第１値を生成するデータ生成工程と、
　を更に備える、（１２）に記載の情報処理方法。

　（１４）前記表示倍率、及び前記観察範囲の少なくともいずれかに関する情報を更に入力する第２入力工程を更に備え、
　前記変換工程は、前記第２入力工程の入力に応じて、前記第１画像の組み合わせを選択する、
　（１３）に記載の情報処理方法。

　（１５）前記表示制御工程は、前記第１入力工程、及び前記第２入力工程に関する表示形態を前記表示部に表示させ、
　前記表示形態のいずれかの位置を指示する操作工程を更に備え、
　前記第１入力工程、及び前記第２入力工程は、前記操作工程における指示に応じて関連する情報を入力する、（１４）に記載の情報処理方法。

　（１６）前記蛍光画像は、複数の蛍光波長それぞれについて、撮像対象により生成された複数の蛍光画像のうちの１つであり、
　前記複数の蛍光画像のそれぞれを、画像データと、前記画像データに対する前記第１値である係数と、に分割するデータ生成工程を更に備える、（１５）に記載の情報処理方法。

　（１７）前記変換工程で変換された画素値に基づき、細胞解析を行う解析工程を更に備え、前記細胞解析を行う解析工程は、操作者に指示された範囲の画像範囲に基づき行われる、（１６）に記載の情報処理方法。

　（１８）蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶部と、
　選択された前記第１画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記第１画像の組み合わせ画像の画素値を変換する変換部と、
　を備える、情報処理装置。

　（１９）蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、
　選択された前記第１画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記第１画像の組み合わせ画像の画素値を変換する変換工程と、
　を情報処理装置に実行させるプログラム。

　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

　２：情報装置（処理ユニット）、３：表示部、２１：記憶部、２４８：階調変換部、２５０：表示制御部。

Claims

　蛍光画像を複数に分割した各領域である単位領域画像の第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、
　選択された前記単位領域画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記単位領域画像の組み合わせ画像の画素値を変換する変換工程と、
　を備える、情報処理方法。
　前記選択された前記単位領域画像の組み合わせは、表示部に表示させる観察範囲に対応し、観察範囲に応じて、前記単位領域画像の組合せの範囲が変更される、請求項１に記載の情報処理方法。
　前記観察範囲に対応する範囲を前記表示部に表示させる表示制御工程を更に備える、請求項２に記載の情報処理方法。
　前記観察範囲は、顕微鏡の観察範囲に対応し、前記顕微鏡の倍率に応じて、前記単位領域画像の組合せの範囲が変更される、請求項２に記載の情報処理方法。
　前記第１画像データは、前記第１画像データの原画像データにおいて所定の規則で取得された画素値範囲に基づき、ダイナミックレンジの範囲が調整された画像データである、請求項１に記載の情報処理方法。
　前記第１画像データと関連付けられた前記代表値との乗算により、前記原画像データの画素値が得られる、請求項５に記載の情報処理方法。
　前記記憶工程は、
　前記第１画像データの領域と大きさが前記蛍光画像に対して異なる第２画像データであって、前記蛍光画像を複数の領域に再分割した第２画像データと、
　前記第２画像データ毎の画素値範囲を示す第１値と、
　を関連付けて更に記憶する、請求項６に記載の情報処理方法。
　前記顕微鏡の倍率が所定値を越えた場合に、前記観察範囲に対応する前記第２画像データの組合せが選択され、
　前記変換工程は、前記選択された前記第２画像データの組み合わせに関連付けられたそれぞれの第１値から選択された代表値に基づき、前記選択された前記第２画像データの組み合わせに対する画素値を変換する、請求項７に記載の情報処理方法。
　前記画素値範囲は、前記第１画像データに対応する前記原画像データにおける統計量に基づく範囲である、請求項８に記載の情報処理方法。
　前記統計量は、最大値、最頻値、中央値のいずれかである、請求項９に記載の情報処理方法。
　前記画素値範囲は、前記原画像データにおける最小値と、前記統計量との範囲である、請求項１０に記載の情報処理方法。
　前記第１画像データは、前記単位領域画像に対応する前記原画像データの画素値を前記第１値で除算したデータあり、
　前記変換工程は、前記選択された前記単位領域画像における前記第１画像データのそれぞれに対応する前記第１値を乗算し、前記選択された前記単位領域画像の組み合わせに関連付けられたそれぞれの前記第１値の最大値で除算する、請求項１１に記載の情報処理方法。
　前記統計量の演算方法を入力する第１入力工程と、
　前記入力部の入力に応じて、前記統計量を演算する解析工程と、
　前記解析工程の解析に基づき、蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の画素値範囲を示す第１値を生成するデータ生成工程と、
　を更に備える、請求項１２に記載の情報処理方法。
　前記表示倍率、及び前記観察範囲の少なくともいずれかに関する情報を更に入力する第２入力工程を更に備え、
　前記変換工程は、前記第２入力工程の入力に応じて、前記第１画像の組み合わせを選択する、
　請求項１３に記載の情報処理方法。
　前記表示制御工程は、前記第１入力工程、及び前記第２入力工程に関する表示形態を前記表示部に表示させ、
　前記表示形態のいずれかの位置を指示する操作工程を更に備え、
　前記第１入力工程、及び前記第２入力工程は、前記操作工程における指示に応じて関連する情報を入力する、請求項１４に記載の情報処理方法。
　前記蛍光画像は、複数の蛍光波長それぞれについて、撮像対象により生成された複数の蛍光画像のうちの１つであり、
　前記複数の蛍光画像のそれぞれを、画像データと、前記画像データに対する前記第１値である係数と、に分割するデータ生成工程を更に備える、請求項１５に記載の情報処理方法。
　前記変換工程で変換された画素値に基づき、細胞解析を行う解析工程を更に備え、
　前記細胞解析を行う解析工程は、操作者に指示された範囲の画像範囲に基づき行われる、請求項１６に記載の情報処理方法。
　蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶部と、
　選択された前記第１画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記第１画像の組み合わせ画像の画素値を変換する変換部と、
　を備える、情報処理装置。
　蛍光画像を複数の領域に分割した第１画像データと、前記第１画像データ毎の所定の画素値範囲を示す第１値を関連付けて記憶する記憶工程と、
　選択された前記第１画像の組み合わせのそれぞれに関連付けられた第１値のなかから選択された代表値に基づき、前記選択された前記第１画像の組み合わせ画像の画素値を変換する変換工程と、
　を情報処理装置に実行させるプログラム。