JP5298229B2 - 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 - Google Patents

Description

本発明は、拡大した画像を撮像して表示するデジタルマイクロスコープや顕微鏡のような拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体に関する。

微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、光学系を介して入射する観察対象固定部に固定された観察対象からの反射光または透過光を、２次元状に配置された画素毎に電気的に読み取るＣＣＤ等の受光素子で受光し、電気的に読み取られた画像をディスプレイ等の表示部に表示する（例えば特許文献１）。

このようなＣＣＤ等の受光素子の感度領域は一定の範囲に制限されるが、これに対し人の目の感度範囲はもっと広い。このためＣＣＤで撮像した画像は、人の目に比べて表現できる範囲（ダイナミックレンジ）が限られている。例えば一般的なＪＰＥＧ画像では、ダイナミックレンジが８ビットである。この場合、撮像したい画像の階調がこの範囲を超えると、飽和して黒つぶれや白とび、ハレーション等が発生する。このような問題を解消するために、輝度領域のダイナミックレンジを変更して撮像した複数の低階調画像を合成し、高階調画像としたハイダイナミックレンジ画像（High Dynamic Range Image：以下「ＨＤＲ画像」という。）が利用されている。ＨＤＲ画像は、同一の被写体で露出が異なる複数の画像を合成したものであり、最も暗いシャドウ（黒）から極めて明るいハイライト（白）まで、幅広いダイナミックレンジを有する。例えば複数の８ビット画像を合成して１６ビットや３２ビットといった高階調のＨＤＲ画像を生成し、保存する。例えば図１に示す画像では金属部分に白とびが発生しており、一方図２に示す画像では黒つぶれが生じている。これらの画像を合成することで、図３に示すようなＨＤＲ画像が生成できる。図３のＨＤＲ画像では、原画像で白とび、黒つぶれしていた部分もはっきりと表現されている。

このようにして合成したＨＤＲ画像をモニタ等で表示する際は、モニタでの表示が可能な色範囲、すなわち低ダイナミックレンジに階調変換（トーンマッピング）する必要がある。例えば一般的なパーソナルコンピュータでは２４ビットカラーの場合１６７７万色、８ビットの場合２５６色しか表現できないので、３２ビットのＨＤＲ画像をトーンマッピングで２４ビット、８ビットに丸め込む。

このようなＨＤＲ画像を用いたダイナミックレンジの拡大については、従来より多くの技術が存在している。ダイナミックレンジを拡大して白とび、黒つぶれを解消するには、画像のどの領域においても白とびが発生しない程度まで暗く、すなわち露光時間を短くした露光時間から、どの領域においても黒つぶれが発生しない程度まで明るく、すなわち露光時間を長くした露光時間までの範囲で撮影を行えば良い。例えば、特許文献１、２には、ダイナミックレンジ拡大を行う際に、露光時間を変化させてＨＤＲ画像を合成するための原画像撮影時の露光時間を制御する技術として、どの露光時間の範囲で複数枚の画像を撮影するかを仮撮影等を用いて決定する技術が開示される。

このようなＨＤＲ画像は一般に、画像データ中に含まれるハレーションを排除したり、逆光を補正する等の用途に利用されることが多い。一方で、拡大観察の用途においては、ハレーション対策等のために文字通りダイナミックレンジを拡大する用途とは逆に、狭いダイナミックレンジ内に含まれる細かな模様を観察したいという要求も存在すると考えられる。この場合は限られたダイナミックレンジの範囲で、細かく階調画像を撮像して合成すれば、Ｓ／Ｎ比や輝度分解能を向上させることが可能となる。したがって、露光時間の設定もダイナミックレンジ拡大用途とは自ずと異なる。しかしながら、このような用途にダイナミックレンジの変更を利用した拡大観察装置の例はこれまで無かった。さらに、ダイナミックレンジ拡大用途と輝度分解能向上用途とを切り替え可能としたり、ユーザがいずれの用途での撮影したいかを自動的に判別できるような拡大観察装置も存在しなかった。
特開２００２−１３５６４８号公報 特開２００２−２２３３８７号公報

本発明は、このような背景に鑑みてなされたものである。本発明の主な目的は、観察目的に応じてダイナミックレンジの拡大又は分解能の向上を自動的に切り替え可能な拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。

課題を解決するための手段及び発明の効果

上記の目的を達成するために、本発明の拡大観察装置は、設定された撮像条件に従い、撮像対象の試料を撮像した画像を表示可能な拡大観察装置であって、撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件設定手段と、試料の観察位置に対して、撮像条件設定手段で設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を撮像するための撮像部と、試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成するための合成画像生成手段と、撮像部で撮像した画像を表示するための表示部とを備え、撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードのいずれかを選択可能なモード選択手段を備えることができる。この構成によれば、合成画像の生成に際して、ダイナミックレンジ拡大撮影モードのみならず、狭いダイナミックレンジの範囲内で輝度分解能を向上させた合成画像を取得することも可能であり、例えばセラミックのような濃淡差の殆ど無い試料に対しても、テクスチャを容易に判別できるようになる。

また、本発明の好ましい実施の形態では、拡大観察装置は、モード選択手段が、撮像された画像に対する画像解析又は撮像条件に基づいて、適切な合成画像撮影モードを自動的に選択可能に構成できる。この構成によれば、適切な合成画像撮影モードを自動的に設定することができるので、ユーザは各合成画像撮影モードの違いや両者の切り替えを意識することなく撮像を行うことができ、極めて使い勝手のよい拡大観察装置が実現できる。

また、本発明の好ましい実施の形態では、モード選択手段が、合成画像撮影モードを自動選択するに際して、表示部で表示されている画像中に、飽和する部分が存在するか否かの判定結果に基づき、飽和する部分が存在する場合、ダイナミックレンジ拡大撮影モードとし、飽和する部分が存在しない場合、分解能向上撮影モードを選択するよう構成できる。この構成によれば、撮像前に表示部で表示されていた画像に基づいて、適切な合成画像撮影モードを自動的に設定することができる。すなわち、ユーザが表示していた画像から撮像目的を推定するため、ユーザは各合成画像撮影モードの違いや両者の切り替えを意識することなく撮像を行うことができ、極めて使い勝手のよい拡大観察装置が実現できる。

また、本発明の好ましい実施の形態では、モード選択手段での判定結果に従い、撮像条件を変化させて複数枚の原画像を撮像するために、各合成画像撮影モードに適した露光時間が撮像条件設定手段で設定されるよう構成できる。この構成によれば、撮像前に表示部で表示されていた画像に基づいて、モード選択手段が、適切な合成画像撮影モードを自動的に設定すると共に、さらにこの合成画像撮影モードに適した撮像条件も自動設定されるため、ユーザは各合成画像撮影モードの違いや両者の切り替えを意識することなく撮像、観察を行うことができ、極めて使い勝手のよい拡大観察装置が実現できる。

また、本発明の好ましい実施の形態では、モード選択手段が、合成画像撮影モードを自動選択するに際して、予め設定された仮撮像条件で撮像された、合成画像の生成に必要な原画像を撮像する枚数よりも少ない枚数の仮画像のいずれかに、飽和する部分が存在するか否かの判定結果に基づき、飽和する部分が存在する場合、ダイナミックレンジ拡大撮影モードとし、飽和する部分が存在しない場合、分解能向上撮影モードを選択することができる。この構成によれば、原画像の撮像に先立って仮に撮像した仮画像に基づいて、短時間で適切な合成画像撮影モードの選択を自動的に行える。

また、本発明の好ましい実施の形態では、モード選択手段でダイナミックレンジ拡大撮影モードが選択された場合に、複数枚の原画像を取得するために露光時間を変化させる範囲として、仮画像中のすべての領域において白とびが発生しない程度まで露光時間を短くした範囲から、仮画像中のすべての領域において黒つぶれが発生しない程度まで、露光時間を変化させる範囲を撮像条件設定部で設定し、一方分解能向上撮影モードが選択された場合に、複数枚の仮画像の内、飽和領域がなくかつ最も輝度分布範囲の広い仮画像を抽出し、該仮画像を撮像した露光時間に基づいて、露光時間を変化させる範囲を撮像条件設定部で設定するよう構成できる。この構成によれば、各合成画像撮影モードに適した合成画像を生成できる。すなわち、ダイナミックレンジ拡大撮影モードでは、白とびがなくなるくらい暗い露光から黒つぶれがなくなるくらい明るい露光に設定し、一方分解能向上撮影モードでは、飽和領域がなく、かつ最も濃淡差が現れる部分の露光時間に設定することができる。

また、本発明の好ましい実施の形態では、モード選択手段が、合成画像撮影モードを自動選択するに際して、予め設定された仮撮像条件で撮像された、合成画像の生成に必要な原画像を撮像する枚数よりも少ない枚数の仮画像を合成した仮合成画像に基づき、該仮合成画像のダイナミックレンジが、撮像部のダイナミックレンジより大きいか否かを判定し、大きい場合はダイナミックレンジ拡大撮影モード、小さい場合は分解能向上撮影モードを選択し、選択された合成画像撮影モードに従って、露光時間を変化させる範囲が撮像条件設定手段で設定されることができる。この構成においても、原画像の撮像に先立って合成した仮合成画像に基づいて、適切な合成画像撮影モードの選択を自動的に行えると同時に、各合成画像撮影モードにおける適切な露光時間も演算することができる。

また、本発明の好ましい実施の形態では、モード選択手段で分解能向上撮影モードが選択された場合に、
露光時間を一定値に固定して撮像部で複数枚の原画像を撮像し、フレーム平均値をとることで合成画像生成手段が合成画像データを生成するよう構成できる。この構成によれば、露光時間を固定したままでも高分解能の合成画像を生成できる。

また、本発明の好ましい実施の形態では、さらに撮像条件設定手段が設定した原画像の露光時間を、さらに所望の値に調整するための露光時間調整手段を備えることができる。これにより、露光時間を自動設定した後、ユーザがさらに露光時間調整手段を用いて微調整でき、より詳細、正確な合成画像の取得に資することができる。

また、本発明の好ましい実施の形態では、さらに合成画像生成手段で生成された合成画像データを、表示部での表示が可能な階調幅の低階調画像データに変換するための階調変換手段を備えることができる。これにより、合成画像を表示部で表示可能な適切な階調幅に変換して表示できる。

また、本発明の好ましい実施の形態では、さらに階調変換手段で合成画像を低階調画像データに階調変換するための画像処理に関する描画パラメータを、変換対象画像から判別された変換対象画像の特徴に応じて設定するための描画設定手段を備え、描画設定手段で設定された描画パラメータに従い階調変換手段が画像処理を施した後、表示部で表示させるよう構成できる。これにより、描画設定手段で適切な描画パラメータを設定した上で、適切な画像処理した低階調画像を表示部にて表示できる。

また、本発明の好ましい実施の形態では、設定された撮像条件に従い、撮像対象の試料を撮像した画像を表示可能な拡大観察装置であって、撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件設定手段と、試料の観察位置に対して、撮像条件設定手段で設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を撮像するための撮像部と、試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成するための合成画像生成手段とを備え、撮像部で複数枚撮像した原画像から合成画像を取得するために、原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大用途か、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上用途かに応じて、各用途に対する撮像条件を重み付けして組み合わせた重み付け撮像条件を撮像条件設定手段に設定可能に構成できる。これにより、撮影用途をダイナミックレンジ拡大撮影モード又は分解能向上撮影モードのいずれか一方に固定することなく、両者のバランスを考慮して合成した重み付け撮像条件を設定できるので、より柔軟な撮像が行える。

また、本発明の好ましい実施の形態では、設定された撮像条件に従い、撮像対象の試料を撮像した画像を表示可能な拡大観察装置であって、撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件設定手段と、試料の観察位置に対して、撮像条件設定手段で設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を撮像するための撮像部と、試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成するための合成画像生成手段とを備え、撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードを備えることができる。これにより、狭いダイナミックレンジ内に含まれる細かな模様を観察する用途に適した撮像が可能となる。

一方、本発明の拡大画像撮影方法は、撮像部の露光時間を含む撮像条件を設定し、該撮像条件に従い撮像部で原画像を複数枚撮像し、該複数枚の原画像を合成して、合成画像データを生成する拡大画像撮影方法であって、撮像条件を設定する工程が、表示部に表示される画像中に飽和領域が存在するかどうかを判定し、存在する場合はダイナミックレンジ拡大撮影モード、存在しない場合は分解能向上撮影モードに、それぞれ切り替える工程と、選択された合成画像撮影モードに対応する撮像条件として露光時間を設定するに際して、分解能向上撮影モードで設定される露光時間の変化量が、ダイナミックレンジ拡大撮影モードで設定される変化量よりも小さくなるように、露光時間を設定する工程とを含むことができる。これにより、撮像前に表示部で表示されていた画像に基づいて、適切な合成画像撮影モードを自動的に設定することができる。すなわち、ユーザが表示していた画像から、撮像目的を推定するため、ユーザは各合成画像撮影モードの違いや両者の切り替えを意識することなく撮像、観察を行うことができ、極めて使い勝手のよい拡大観察装置が実現できる。

また本発明の拡大画像撮影方法は、撮像部の露光時間を含む撮像条件を設定し、該撮像条件に従い撮像部で原画像を複数枚撮像し、該複数枚の原画像を合成して、合成画像データを生成する拡大画像撮影方法であって、撮像条件を設定する工程が、撮像部で複数枚の原画像を撮像するに先立って、予め設定された仮撮像条件で撮像された複数枚の仮画像中に飽和領域が存在するかどうかを判定し、存在する場合はダイナミックレンジ拡大撮影モード、存在しない場合は分解能向上撮影モードに、それぞれ切り替え、また選択された合成画像撮影モードに対応する撮像条件として露光時間を設定するに際して、分解能向上撮影モードで設定される露光時間の変化量が、ダイナミックレンジ拡大撮影モードで設定される変化量よりも小さくなるように、露光時間を設定することができる。これにより、原画像の撮像に先立って仮に撮像した仮画像に基づいて、適切な合成画像撮影モードの選択を自動的に行えると同時に、各合成画像撮影モードにおいて設定する露光時間の範囲も求めることができる。すなわち、ダイナミックレンジ拡大撮影モードでは、白とびがなくなるくらい暗い露光から黒つぶれがなくなるくらい明るい露光に設定し、一方、分解能向上撮影モードでは、飽和領域がなく、かつ最も濃淡差が現れる部分の露光時間に設定することができる。

また本発明の拡大画像撮影方法は、予め設定された複数の仮撮像条件に従い、複数の仮画像を撮像部で撮像する工程と、複数の仮画像を合成して仮合成画像を生成する工程と、該仮合成画像に基づき、該仮合成画像の最小輝度と最大輝度の比であるダイナミックレンジが、撮像部のダイナミックレンジより大きいか否かを判定し、大きい場合はダイナミックレンジ拡大撮影モード、小さい場合は分解能向上撮影モードを選択し、選択された合成画像撮影モードに従って仮画像よりも多い枚数の原画像を撮像するために、露光時間を設定する工程と、該露光時間の設定に従い、撮像部で複数枚の原画像を撮像する工程と、該複数枚の原画像を合成して、合成画像データを生成する工程と、該合成画像データを、表示に適した階調幅の低階調画像データに変換し、表示部に表示する工程とを含むことができる。この構成においても、原画像の撮像に先立って合成した仮合成画像に基づいて、適切な合成画像撮影モードの選択を自動的に行えると同時に、各合成画像撮影モードにおける適切な露光時間も演算することができる。

また第本発明の拡大画像撮影プログラムは、撮像部の露光時間を含む撮像条件を設定し、該撮像条件に従い撮像部で原画像を複数枚撮像し、該複数枚の原画像を合成して、合成画像データを生成するための拡大画像撮影プログラムであって、撮像条件を設定するために、表示部に表示される画像中に飽和領域が存在するかどうかを判定し、存在する場合はダイナミックレンジ拡大撮影モード、存在しない場合は分解能向上撮影モードに、それぞれ切り替える機能と、選択された合成画像撮影モードに対応する撮像条件として露光時間を設定するに際して、分解能向上撮影モードで設定される露光時間の変化量が、ダイナミックレンジ拡大撮影モードで設定される変化量よりも小さくなるように、露光時間を設定する機能とをコンピュータに実現させることができる。これにより、撮像前に表示部で表示されていた画像に基づいて、適切な合成画像撮影モードを自動的に設定することができる。すなわち、ユーザが表示していた画像から、撮像目的を推定するため、ユーザは各合成画像撮影モードの違いや両者の切り替えを意識することなく撮像、観察を行うことができ、極めて使い勝手のよい拡大観察装置が実現できる。

また本発明の拡大画像撮影プログラムは、撮像部の露光時間を含む撮像条件を設定し、該撮像条件に従い撮像部で原画像を複数枚撮像し、該複数枚の原画像を合成して、合成画像データを生成するための拡大画像撮影プログラムであって、撮像条件を設定するために、撮像部で複数枚の原画像を撮像するに先立って、予め設定された仮撮像条件で撮像された複数枚の仮画像中に飽和領域が存在するかどうかを判定し、存在する場合はダイナミックレンジ拡大撮影モード、存在しない場合は分解能向上撮影モードに、それぞれ切り替える機能と、選択された合成画像撮影モードに対応する撮像条件として露光時間を設定するに際して、分解能向上撮影モードで設定される露光時間の変化量が、ダイナミックレンジ拡大撮影モードで設定される変化量よりも小さくなるように、露光時間を設定する機能とをコンピュータに実現させることができる。これにより、原画像の撮像に先立って仮に撮像した仮画像に基づいて、適切な合成画像撮影モードの選択を自動的に行えると同時に、各合成画像撮影モードにおいて設定する露光時間の範囲も求めることができる。すなわち、ダイナミックレンジ拡大撮影モードでは、白とびがなくなるくらい暗い露光から黒つぶれがなくなるくらい明るい露光に設定し、一方、分解能向上撮影モードでは、飽和領域がなく、かつ最も濃淡差が現れる部分の露光時間に設定することができる。

また本発明の拡大画像撮影プログラムは、予め設定された複数の仮撮像条件に従い、複数の仮画像を撮像部で撮像する機能と、複数の仮画像を合成して仮合成画像を生成する機能と、該仮合成画像に基づき、該仮合成画像の最小輝度と最大輝度の比であるダイナミックレンジが、撮像部のダイナミックレンジより大きいか否かを判定し、大きい場合はダイナミックレンジ拡大撮影モード、小さい場合は分解能向上撮影モードを選択し、選択された合成画像撮影モードに従って仮画像よりも多い枚数の原画像を撮像するために、露光時間を設定する機能と、該露光時間の設定に従い、撮像部で複数枚の原画像を撮像する機能と、該複数枚の原画像を合成して、合成画像データを生成する機能と、該合成画像データを、表示に適した階調幅の低階調画像データに変換し、表示部に表示する機能とをコンピュータに実現させることができる。これにより、原画像の撮像に先立って合成した仮合成画像に基づいて、適切な合成画像撮影モードの選択を自動的に行えると同時に、各合成画像撮影モードにおける適切な露光時間も演算することができる。

さらにまた本発明のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。
さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。

また、本明細書において拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体は、合成画像を含む画像ファイル生成を行うシステムそのもの、ならびに画像ファイル生成に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで画像生成そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、ＰＤＣやＣＤＭＡ、Ｗ−ＣＤＭＡ、ＦＯＭＡ（登録商標）、ＧＳＭ、ＩＭＴ２０００や第４世代等の携帯電話、ＰＨＳ、ＰＤＡ、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。［実施の形態１］

以下、図４から図５を用いて、本発明の実施の形態１に係る拡大観察装置を説明する。拡大観察装置は、図４に示すように観察対象の試料（被写体）を照明するための照明部６０と、照明部６０により照明された試料を撮像する撮像部１０と、撮像部１０で撮像された拡大画像を表示する表示部５２を有する情報処理装置５０を備える。さらに図４の拡大観察装置は、試料を固定する試料固定部（試料Ｓを載置するステージ３０）と、光学系１１を介して入射する試料固定部に固定された試料Ｓからの反射光または透過光を電気的に読み取る撮像素子（ＣＣＤ１２）と、試料固定部と光学系１１の光軸方向における相対距離を変化させ焦点を調整する焦点調整部（ステージ昇降器２０）とを備える。さらにまた情報処理装置５０は、図５に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系１１の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の２次元位置情報と共に記憶する焦点距離情報記憶部（メモリ５３）と、撮像素子によって読み取られた画像を表示する表示部５２と、表示部５２によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部（操作部５５、ポインティングデバイス５５Ａ）と、領域設定部によって設定された領域に対応する試料Ｓの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Ｓの光軸方向における平均高さを演算する演算部（制御部５１）とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ（深さ）を演算できる。

撮像部１０は、図５に示すように、試料Ｓを載置する試料固定部の一形態であるステージ３０と、ステージ３０を移動させるステージ昇降器２０と、ステージ３０に固定された試料に光学系を介して入射される光の反射光または透過光を、２次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてＣＣＤ１２と、ＣＣＤ１２を駆動制御するＣＣＤ制御回路１３とを備える。さらに撮像部１０には、拡大観察装置本体である情報処理装置５０が接続される。情報処理装置５０は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ５３と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部５２と、表示部５２上に表示される画面に基づいて入力その他の操作を行う操作部５５と、操作部５５によって入力された情報に基づいて画像処理その他各種の処理を行う制御部５１とを備える。表示部５２を構成するディスプレイは、高解像度表示が可能なモニタであり、ＣＲＴや液晶パネル等が利用される。

操作部５５はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図４の例では、操作部５５はマウス５５ａ等のポインティングデバイス５５Ａで構成される。

図４に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系および撮像素子を有するカメラ１０ａは、スタンド台４１から鉛直方向に延びる支柱４２に固定されたカメラ取り付け部４３に取り付けられる。スタンド台４１には、試料Ｓを載置するステージ３０が上部に取り付けられたステージ昇降器２０が配置される。カメラ１０ａおよびステージ昇降器２０は情報処理装置５０に接続されて制御される。情報処理装置５０は、表示部５２、およびマウス５５ａ等の操作部５５を備える。表示部５２には、観察画像が表示される。

また、情報処理装置５０である拡大観察装置にはコンピュータ７０を接続可能であり、コンピュータ７０に別途拡大観察用操作プログラムをインストールして、コンピュータ７０側からも拡大観察装置を操作することもできる。本明細書において、コンピュータを使って拡大観察装置を操作する拡大観察用操作プログラムとは、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置５０に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェア等の形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察用操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。

図５に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置５０は、表示部５２と、制御プログラム・焦点距離情報・受光データ・２次元情報等を記憶するメモリ５３と、情報処理装置５０がカメラ１０ａおよびステージ昇降器２０とデータを通信するためのインターフェイス５４と、操作者が拡大観察装置に関する操作を行う操作部５５とから構成される。ステージ昇降器２０は、例えばステッピングモータ２１と、ステッピングモータ２１の昇降を制御するモータ制御回路２２とから構成される。撮像部１０は、撮像素子として例えばＣＣＤ１２等の受光素子と、ＣＣＤ１２を駆動制御するＣＣＤ制御回路１３と、照明部６０からステージ３０上に載置された試料Ｓに対して照射された光の透過光や反射光をＣＣＤ１２上に結像させる光学系１１とを備える。［画素ずらし手段］

さらに撮像部１０は、画素ずらしによってＣＣＤ１２の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるＣＣＤ駆動方式、ＬＰＦを傾斜させるＬＰＦ傾斜方式、レンズを移動させるレンズ移動方式等がある。図５においては、ステージ３０に固定された試料Ｓから光学系１１を介してＣＣＤ１２に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるＣＣＤ１２の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部１４を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。

情報処理装置５０は、モータ制御回路２２に対してステッピングモータ２１の制御に関する制御データを入力することによって、試料固定部であるステージ３０と、光学系１１および撮像素子であるＣＣＤ１２を有するカメラ１０ａとの光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、情報処理装置５０は、ステージ昇降器２０の制御に必要な制御データをモータ制御回路２２に入力することによってステッピングモー
タ２１の回転を制御し、ステージ３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ２１は、回転に応じた回転信号を生成する。情報処理装置５０は、モータ制御回路２２を介して入力される回転信号に基づいて、試料固定部と光学系１１の光軸方向における相対距離に関する情報としてのステージ３０の高さｚを記憶する。このステージは、試料に対して観察位置の位置決めを行う観察位置決め手段３０Ａとして機能する。なお本実施の形態においては、ステージ３０の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ３０を固定して光学系１１の高さ、例えばカメラ１０ａの高さを変化させてもよい。また、ステージは拡大観察装置本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。このようなヘッド部は拡大観察装置本体とケーブルにより接続される。

ＣＣＤ１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。ＣＣＤ１２上に結像された試料Ｓの像は、ＣＣＤ１２の各画素において受光量に応じて電気信号に変換され、ＣＣＤ制御回路１３においてさらにデジタルデータに変換される。情報処理装置５０は、ＣＣＤ制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図５中のｚ方向）とほぼ垂直な面内（図５中のｘ、ｙ方向）における試料の２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にメモリ５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その光学系および撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。

また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ１０ａは、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。

図４に示す照明部６０は、試料に落射光を照射するための落射照明６０Ａと、透過光を照射するための透過照明６０Ｂを備える。これらの照明は、光ファイバー６１を介して情報処理装置５０と接続される。情報処理装置５０は光ファイバー６１を接続するコネクタ６２を備えると共に、コネクタ６２を介して光ファイバー６１に光を送出するための光源（図示せず）を内蔵する。光源にはハロゲンランプ等が用いられる。［制御部５１］

制御手段である制御部５１は、撮像した観察画像を、表示部５２で表示可能な解像度に変換して表示するよう制御する。図４の拡大観察装置においては、撮像部１０がＣＣＤ１２によって試料Ｓを撮像した観察画像を表示部５２に表示する。一般にＣＣＤ等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部１０で読み取ったときの読取解像度を第一の解像度とすると、表示部５２においては第一の解像度よりも低い第二の解像度で表示されることとなる。［実施の形態２］

次に、本発明の実施の形態２に係る拡大観察装置としてレーザマイクロスコープを、図６を用いて説明する。実施の形態２の拡大観察装置において、撮像部であるカメラは、試料Ｓに対して照射された第１光源（レーザ１０１）からの光の反射光を第１光学系１００を介して第１受光素子（フォトダイオード１１２）によって受光する第１撮像部と、試料Ｓに対して照射された第２光源（白色ランプ２０１）からの光の反射光を第２光学系２００を介して第２受光素子（ＣＣＤ２１２）によって受光する第２撮像部とを備える。

まず、第１撮像部について説明する。第１光学系１００は、試料Ｓに単色光（例えばレーザ光）を照射するレーザ１０１、第１コリメートレンズ１０２、偏光ビームスプリッタ１０３、１／４波長板１０４、水平偏向装置１０５、垂直偏向装置１０６、第１リレーレンズ１０７、第２リレーレンズ１０８、対物レンズ１０９、結像レンズ１１０、ピンホール板１１１、フォトダイオード１１２を有する。

第１光源には、例えば赤色レーザ光を発する半導体レーザ１０１が用いられる。レーザ駆動回路１１５によって駆動されるレーザ１０１から出射されたレーザ光は、第１コリメートレンズ１０２を通り、偏光ビームスプリッタ１０３で光路を変えられ、１／４波長板１０４を通過する。この後、水平偏向装置１０５および垂直偏向装置１０６によって水平（横）方向および垂直（縦）方向に偏向された後、第１リレーレンズ１０７および第２リレーレンズ１０８を通過し、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。

水平偏向装置１０５および垂直偏向装置１０６は、それぞれガルバノミラーで構成され、レーザ光を水平および垂直方向に偏向させることにより、試料Ｓの表面をレーザ光で走査する。ステージ３０は、ステージ昇降器２０によりｚ方向（光軸方向）に駆動される。これにより、対物レンズ１０９の焦点と試料Ｓとの光軸方向での相対距離を変化させることができる。

試料Ｓで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ１０９、第２リレーレンズ１０８および第１リレーレンズ１０７を通り、水平偏向装置１０５および垂直偏向装置１０６を介して１／４波長板１０４を再び通る。この結果、レーザ光は偏光ビームスプリッタ１０３を透過し、結像レンズ１１０によって集光される。集光されたレーザ光は、結像レンズ１１０の焦点位置に配置されたピンホール板１１１のピンホールを通過してフォトダイオード１１２に入射する。フォトダイオード１１２は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプおよびゲイン制御回路（図示せず）を介してＡ／Ｄコンバータ１１３に入力され、デジタルデータに変換される。ここでは、第１受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ１０１は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。

上記のような構成の第１撮像部により、試料Ｓの高さ（深さ）情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ３０がステージ昇降器２０のステッピングモータ２１およびモータ制御回路２２によってｚ方向（光軸方向）に駆動されると、対物レンズ１０９の焦点と試料Ｓとの光軸方向における相対距離が変化する。そして、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）に結ばれたときに、試料Ｓの表面で反射されたレーザ光は上記の光路を経て結像レンズ１１０で集光され、殆どすべてのレーザ光がピンホール板１１１のピンホールを通過する。したがって、このときにフォトダイオード１１２の受光量が最大になる。逆に、対物レンズ１０９の焦点が試料Ｓの表面（被測定面）からずれている状態では、結像レンズ１１０によって集光されたレーザ光はピンホール板１１１からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード１１２の受光量は著しく低下する。

したがって、試料Ｓの表面の任意の点について、ステージ３０をｚ方向（光軸方向）に駆動しながらフォトダイオード１１２の受光量を検出すれば、その受光量が最大になるときのステージ３０の高さを求めることができる。

実際には、ステージ３０を１ステップ移動するたびに水平偏向装置１０５および垂直偏向装置１０６によって試料Ｓの表面を走査してフォトダイオード１１２の受光量を取得する。図７は、１つの点（画素）におけるステージ３０の高さｚに対する受光データＤの変化を示す。ステージ３０を測定範囲の下端から上端までｚ方向に移動させたとき、走査範囲内の複数の点（画素）について、図７に示したように高さｚに応じて変化する受光データＤが得られる。この受光データＤに基づいて、最大受光量とそのときの焦点距離Ｚｆが各点（画素）ごとに得られる。この受光データＤの最大値に対応するステージ３０の高さｚが焦点距離Ｚｆとなる。したがって、この焦点距離Ｚｆに基づいて試料Ｓの表面高さのｘ−ｙ平面での分布が得られる。この処理は、インターフェイス５４を介して入力されると共にメモリ５３に記憶されたＣＣＤ１２の受光データＤを画素の配置情報（ｘ、ｙ）および高さ情報ｚに基づいて、制御部５１によって行われる。

得られた表面高さの分布は、いくつかの方法で表示部５２に表示することができる。例えば３次元表示によって試料の高さ分布（表面形状）を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの２次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。

実施の形態２においても、実施の形態１と同様に、第１撮像部によって得られた高さデータに基づき、ポインティングデバイス５５Ａ等によって表示部５２の画像上の２点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部５２に表示することができる。

また、ｘ−ｙ走査範囲内の各点（画素）について得られた受光量を輝度データとする輝度信号から、試料ｗの表面画像（白黒画像）が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ（ｚ方向位置）に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。

次に、第２撮像部について説明する。第２光学系２００は、試料Ｓに白色光（カラー画像撮影用の照明光）を照射するための第２光源２０１、第２コリメートレンズ２０２、第１ハーフミラー２０３、第２ハーフミラー２０４、第２受光素子としてのＣＣＤ２１２を有する。また、第２光学系２００は第１光学系１００の対物レンズ１０９を共用し、両光学系１００、２００の光軸は一致している。

第２光源２０１には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光または室内光を利用してもよい。第２光源２０１から出た白色光は、第２コリメートレンズ２０２を通り、第１ハーフミラー２０３で光路を曲げられ、対物レンズ１０９によってステージ３０上に置かれた試料Ｓの表面に集光される。

試料Ｓで反射された白色光は、対物レンズ１０９、第１ハーフミラー２０３、第２リレーレンズ１０８を通過し、第２ハーフミラー２０４で反射されてカラーで受光可能なＣＣＤ２１２に入射して結像する。ＣＣＤ２１２は、第１光学系１００のピンホール板１１１のピンホールと共役または共役に近い位置に設けられている。ＣＣＤ２１２で撮像されたカラー画像は、ＣＣＤ制御回路２１３によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Ｓの観察用の拡大カラー画像として表示部５２に表示される。

また、第１撮像部で得られた被写界深度の深い共焦点画像と第２撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第２撮像部で得られたカラー画像を構成する輝度信号を第１光学系１００で得られた共焦点画像の
輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。

ここでは、共焦点光学系である第１光学系１００を有する第１撮像部と非共焦点光学系である第２光学系２００を有する第２撮像部を備える拡大観察装置を示したが、第１の撮像部のみを備える構成とすることもできる。

また、実施の形態１に係る拡大観察装置のように、受光素子は２次元状に配置された画素毎に受光量を読み取る２次元撮像素子（例えばＣＣＤ）であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部または全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としＣＣＤを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、２次元撮像素子としてカラーＣＣＤを用いる場合は、ＲＧＢの受光データに基づいてその画素の受光データを算出してもよく、またＲＧＢのうちの１または２の色調の受光データに基づいてその画素の受光データとしてもよい。

また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。

また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。（高階調画像）

さらに、複数の原画像を撮像し、これらを合成して高階調の合成画像を生成する拡大観察装置のブロック図を図８に示す。この図に示す拡大観察装置は、拡大観察装置本体を構成する本体部５０Ａと、撮像部１０とを備える。本体部５０Ａと撮像部１０とは、ケーブルで接続される。図８の例では、照明用光源２０１Ａからの照明光を送出するための光ファイバー６１と、本体部５０Ａと撮像部１０との間でデータを送受信するための信号線６３とで構成される。信号線６３を介して、本体部５０Ａは撮像部１０に対して、撮像部１０を制御するための撮像部制御信号を送出し、また撮像部１０は本体部５０Ａに対して、撮像した映像信号を送出する。また、これらの撮像部制御信号用の信号線と映像信号用の信号線を個別に設けてもよい。

撮像部１０は、ＣＣＤやＣＭＯＳ等の撮像素子１２Ａと、照明部６０とを備えており、試料Ｓに対して照明部６０から照明光を照明し、その反射光を撮像素子１２Ａで撮像する。一方本体部５０Ａは、撮像部１０を制御する撮像制御部１３Ａと、照明光を発生させる照明用光源２０１Ａと、これらと接続された本体制御部５１Ａと、本体制御部５１Ａと接続されて画像や必要な情報を表示するための表示部５２とを備える。本体制御部５１Ａは、撮像制御部１３Ａと照明用光源２０１Ａに対して、各々制御信号を送出してこれらの動作を制御する。さらに本体制御部５１Ａは、撮像制御部１３Ａが撮像部１０から受信した画像データを取り込み、合成等の処理を行う画像演算部８１と、画像データや各種設定値を保持するためのメモリ５３、後述する合成画像撮影モードを選択するためのモード選択手段８２や、撮像部１０での撮像条件を設定する撮像条件設定手段８３を備えている。また画像演算部８１は、複数枚の原画像を合成して、高階調な合成画像データを生成する合成画像生成手段８５、階調変換を行う階調変換手段８６、階調変換手段８６が高階調画像を低階調画像データに階調変換するための描画パラメータを設定するための描画設定手段８７として機能する。このような本体制御部５１ＡはＡＳＩＣやＬＳＩ等で構成できる。

またこのような画像データやメモリ５３に保持された設定内容は、本体制御部５１Ａと接続された表示部５２にて表示させることができる。表示部５２はＣＲＴや液晶ディスプレイ、有機ＥＬ等のモニタが利用できる。また、本体制御部５１Ａに対して、ユーザが各種操作を行うための操作部５５を本体部５０Ａに接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においても表示部や操作部は、本体部と一体的に組み込むことも、外付けの部材とすることもできる。さらに表示部をタッチパネルで構成すれば、表示部と操作部を一体に構成することもできる。（合成画像撮影モード）

この拡大観察装置は、合成画像生成手段８５で合成画像を取得する合成画像撮影モードとして、ダイナミックレンジ拡大用途に適したダイナミックレンジ拡大撮影モードと、輝度分解能を向上し、コントラストを強調した分解能向上撮影モードを備える。ダイナミックレンジ拡大撮影モードでは、原画像よりも広いダイナミックレンジを持つ合成画像を生成する。一方、分解能向上撮影モードでは、撮像素子のダイナミックレンジよりも狭いダイナミックレンジで、輝度分解能を原画像よりも向上させた合成画像を生成する。（ダイナミックレンジ拡大撮影モード）

ダイナミックレンジ拡大撮影モードではいわゆるＨＤＲＩを撮像する。ＨＤＲＩ（High Dynamic Range Image：以下「ＨＤＲ画像」という。）は、従来の画像よりダイナミックレンジ、すなわち最小光量と最大光量の比が格段に高い画像である。例えば標準的なコンピュータのモニタでは、標準色表現として８ビット〜２４ビットのカラーが採用されており、２５６〜１６７７万階調で表現できるが、現実にはより多くの色が存在しており、人の目は瞳孔の大きさを変えることで適正と思われる基準の明るさに調整して見ている。そこで、モニタの表現能力等を超えた、より多くの色情報を持たせたＨＤＲ画像が利用される。このようなＨＤＲ画像の取得には、同一の観察対象を同一位置で、異なる撮像条件（典型的には、撮像素子の露光時間）で撮像した複数の画像を合成する等、既知の手法が利用できる。

しかしながらモニタ上では８ビット〜２４ビット（２５６〜１６７７万色）以上の色を表現できず、表現可能な色範囲よりも明るい色では白とびが、暗い色では黒つぶれが発生してしまう。このままでは画像のテクスチャ等を確認できないことが生じるため、ＨＤＲ画像をモニタ等に表示させる際には適切に階調変換（トーンマッピング）を行い、白とびや黒つぶれの部分も確認できるような低階調の画像（ＬＤＲ画像（Low Dynamic Range Image）とも言う。）に変換する。例えば図１に示す画像では金属部分に白とびが発生するが、図３に示す画像ではその部分がはっきり見えている。これは図３の画像の方が、図１で撮影可能な光量よりも大きい光量の部分のデータを持っているからである。一般的な環境で、この光量データはダイナミックレンジが最大で１０００００：１程度となる。

このようなＨＤＲ画像作成方法には種々の方法が提案されているが、本実施の形態においては、上述の通り試料の同一位置の画像を露光時間、ここでは撮像素子のシャッタスピードを変化させて撮影した複数枚の原画像群を合成することで作成する。例えば図２の暗い画像と図１の明るい画像を合成することで、図３に示すＨＤＲ画像が作成可能となる。

ＨＤＲ画像はダイナミックレンジが１０００００：１にもなるため、通常の２５６階調の８ビット画像では表現できない。そのため、一般的には浮動小数点でそのデータを表現する。ファイル保存時のフォーマットとしては、例えば３２ビット単精度浮動小数点、１６ビットの浮動小数点等が利用される。また、ＨＤＲ画像を描画する際も、ダイナミックレンジが広いため通常の２５６階調のモニタではそのまま表示できない。またＨＤＲ画像を単純に２５６階調に変換（マッピング）して表示すると、暗い部分が見えなかったり明るい部分が明るすぎたりする場合がある。このため、暗い部分も明るい部分も丁度良く見えるように調整して表示を行う必要がある。具体的には、明るい部分を大きく押し込め、暗い部分を持ち上げるような画像処理を行ったトーンマッピング画像に階調変換する。これによって通常のトーンマッピング画像では見えにくい、細かいテクスチャを強調して表示することができる。以上のような、ＨＤＲ画像を撮影して表示部に表示させるまでの手順を、図９のフローチャートに基づいて説明する。

まずステップＳ９０１で、撮像条件を変えて、複数枚の原画像を撮影する。ここでは撮像部１０で８ビット画像の原画像を撮像する。この際、白とびや黒つぶれがないような画像がどの領域でも少なくとも１枚以上撮れるように、適切に露光時間を制御する。撮像枚数は、ＨＤＲ画像の画質や必要なダイナミックレンジの広さ等に応じて適宜決定される。次にステップＳ９０２で、ＨＤＲ画像を合成する。ここでは、ステップＳ９０１で撮影した８ビット画像群を用いて、合成画像生成手段でＨＤＲ画像を合成する。次いで、ステップＳ９０３でＨＤＲ画像を階調変換する。ここでは、合成されたＨＤＲ画像を階調変換手段でトーンマッピングして、モニタ等で表示可能な階調幅に変換したトーンマッピング画像を作成する。この例では２５６階調に押し込める。この際、テクスチャ強調処理等も適宜行う。

最後に、得られたＨＤＲ画像及びトーンマッピング画像をステップＳ９０４で保存する。ここではＨＤＲ画像データを３２ビット浮動小数点データとし、ファイル保存の際はＨＤＲ画像データを適当なファイル形式に変換して保存する。ここではＪＰＥＧやＴＩＦＦ等の汎用の画像フォーマットでトーンマッピング画像を保存し、さらにこのトーンマッピング画像を生成した元データであるＨＤＲ画像をメタデータとして保存する。さらに、トーンマッピング画像作成時のパラメータも併せて保存する。これにより、ユーザは汎用の画像表示プログラムでトーンマッピング画像を表示でき、さらに専用の画像表示プログラムを使用すれば、トーンマッピング画像の差し替えも可能となる。すなわち、ＨＤＲ画像からパラメータを調整して別のトーンマッピング画像を生成し、該トーンマッピング画像を、変換時のパラメータと共に新たにＨＤＲ画像のメータデータに上書き保存する。このようにして、ユーザはトーンマッピング画像の閲覧のみならず、該ファイルに含まれたトーンマッピング画像を所望のトーンマッピング画像に変更することが可能となる。以上のようなＨＤＲ画像は、画像中の白とび、黒つぶれ等の飽和を抑制する用途等に利用される。

なお、ＨＤＲ画像は、撮像素子のダイナミックレンジよりも広いダイナミックレンジの画像を合成するものであるが、撮像素子のダイナミックレンジが十分広い場合、言い換えると撮像素子自体の性能を向上させ、一枚の撮像で十分なダイナミックレンジをカバーできるようになれば、該一枚の原画像を合成画像と同様に扱うことが可能となる。この場合は、撮像素子のみでＨＤＲ画像を取得できるので、合成画像生成手段を不要とできる。（分解能向上撮影モード）

また、上記のダイナミックレンジ拡大用撮影とは逆に、狭いダイナミックレンジで細かな模様が表示できるように分解能を向上させた撮影も可能となる。

分解能向上撮影モードでは、元の画像よりも狭いダイナミックレンジにおいて、より細かく撮像条件を変化させた画像を合成し
て、輝度分解能を原画像よりも向上させた合成画像を得ることができる。なお、ここで得られる合成画像はダイナミックレンジを拡大していないので字義上ＨＤＲ画像でないが、ＨＤＲ画像と同様の高階調画像であり、本明細書では便宜上ＨＤＲ画像に含めて扱うこととする。また本明細書においてＨＤＲ画像とは、ダイナミックレンジが表示部で表示可能なダイナミックレンジよりも広い意味で使用しているが、それに限られず、撮像部の撮像素子で撮像可能なダイナミックレンジよりも広い画像、あるいは２４ビット以上、３２ビット以上といった特定のビット数を備える画像を意味するものとして取り扱うこともできる。

ＨＤＲ画像は一般に、その広いダイナミックレンジを利用して、画像データ中に含まれるハレーションを排除したり、逆光を補正する等の用途に適用されることが多い。一方で、例えば殆ど濃淡のない試料に対し、ノイズ／量子化誤差に埋もれてしまっている信号を複数枚の画像合成によって取り出し、上記のテクスチャ強調処理を施すことによって今まで殆ど見えなかった細かいテクスチャを見えるようにすることができる。この場合は限られたダイナミックレンジの範囲で、細かく階調画像を撮像して合成すれば、Ｓ／Ｎ比や輝度分解能を向上させた高階調画像が得られる。一例として、図１０にセラミック表面の画像を示す。この状態ではセラミック表面に殆ど模様が確認できないが、分解能向上用撮影によって図１１に示すように、表面の模様を強調して、殆ど見えていなかったテクスチャが判別できるようになる。

ＨＤＲ技術は従来、ダイナミックレンジ拡大用途での利用を念頭に開発されてきたため、このような逆の発想で分解能向上撮影用途での利用にはこれまで使用されてこなかった。このため、観察用途に応じてダイナミックレンジの拡大と分解能向上とを切り替えて利用できる拡大観察装置とすることで、用途を拡大して一層幅広い用途での観察に活用できるようになる。

このように分解能向上撮影モードは、画像中の細かな模様やコントラストを強調したい用途等に利用される。分解能向上撮影モードにおいては、露光時間の変化量をダイナミックレンジ拡大撮影モードで設定されるそれよりも小さくする。（モード選択手段８２）

これらの合成画像撮影モードは、モード選択手段８２によっていずれかが選択される。モード選択手段８２は画像解析に基づき、適切な合成画像撮影モードを自動的に判定する。あるいは、ユーザが手動で合成画像撮影モードを選択可能に構成してもよい。例えばユーザは操作部５５を操作して、所望の合成画像撮影モードを選択することができる。また、表示部上に、選択された合成画像撮影モードを明示して、いずれの合成画像撮影モードでの撮影が行われているかをユーザに告知することもできる。（モード選択手段による自動選択）

次に、モード選択手段が合成画像撮影モードを自動選択する手法について説明する。ここでは３通りの手法１〜３について、それぞれ図１２〜図１４のフローチャートに基づいて説明する。（手法１ 撮影前に観察していた観察画像の解析）

まず、撮影前に観察していた観察画像の解析による手法について、図１２のフローチャートに基づき説明する。この手法では、表示部に表示中の画像から飽和領域の有無を調べ、その撮影時に使用する露光時間を決定する。ダイナミックレンジ拡大用途で撮影する場合、ユーザが現在の設定で観察している観察画像の一部に白とび、または黒つぶれといった飽和領域が必ず存在すると思われる。一方で濃淡の強調を行う場合、観察している対象物は濃淡が殆どつかないものであることが多い。そのため観察画像のコントラストも小さく、飽和も起きないと思われる。このように、表示部に表示中の画像から飽和領域の有無を調べ、その撮影時に使用する露光時間を決定する。

具体的な手順を説明すると、まずステップＳ１２０１で、原画像の撮影前に、観察していた画像を取得する。ここでは、合成画像の取得を命令した時点で、表示部に表示されていた観察画像を呼び出す。そしてステップＳ１２０２で、この観察画像中に飽和している部分が含まれているかどうかをモード選択手段が判定する。含まれている場合は、ステップＳ１２０３に進み、ダイナミックレンジ拡大撮影モードに設定する。一方、含まれていない場合はステップＳ１２０４に進み、分解能向上撮影モードに設定する。この方法は、最も簡単に適切な合成画像撮影モードを判定、選択できる。また必要に応じて、選択された各合成画像撮影モードに応じた撮像条件を自動設定することもできる。これにより、ユーザは合成画像撮影モードの種別を意識することなく、合成画像を得ることができ、合成画像に詳しくないユーザでも操作できる利点が得られる。（手法２ 仮撮影した複数枚の仮画像の解析）

次に、仮撮影した複数枚の仮画像の解析による手法について、図１３のフローチャート及び図１５、図１６のヒストグラムに基づいて説明する。（仮合成）

この方法では、原画像の撮像に先だって、予め設定された仮撮像条件で複数枚の仮画像をまず撮影し、次いでその各仮画像について飽和領域が全く存在しない仮画像がないかどうかをモード選択手段で判定する。仮撮像条件は、簡易的に画像を取得するための条件であり、画像の傾向を把握できれば足りるので、条件を適当に変化させて仮画像を複数枚撮像する。このため、合成画像の生成に必要な原画像の撮像条件よりも大まかな設定で足り、仮画像の撮像枚数も合成画像の生成に必要な原画像の枚数よりも少なく、また露光時間の変化幅も大幅に設定する。この例では、合成画像生成手段で仮合成画像を合成しているが、仮画像の合成を高速、簡便に行うための演算手段を別途用意することもできる。

図１５、図１６に、撮像された仮画像の輝度分布のヒストグラムの例を示す。この例では、異なる試料Ａ、Ｂの同一部位を仮撮像条件を大まかに変化させて４枚ずつ撮像し、試料Ａについて図１５（ａ）〜（ｄ）、試料Ｂについて図１６（ａ）〜（ｄ）にそれぞれ示している。これらの仮画像は、仮撮像条件として露光時間を変化させた順に表示している。すなわち、図１５（ａ）〜（ｄ）、あるいは図１６（ａ）〜（ｄ）の順に露光時間を長く変化させている。

試料Ａについては図１５（ａ）〜（ｄ）のいずれにおいても、飽和領域が存在している。このように、いずれの仮画像でも飽和領域が存在しているということは、試料に含まれる輝度情報全体を把握するためのダイナミックレンジが不足していることを意味する。したがって、この試料はダイナミックレンジ拡大撮影モードが適していると、モード選択手段で判別される。

また試料Ｂについては、図１６（ａ）、（ｄ）においては飽和領域が見られるが、（ｂ）、（ｃ）には飽和領域が見られない。このように、試料Ｂについては一枚の仮画像でもすべの輝度分布を細くできる、すなわち輝度分布のダイナミックレンジが狭いことが判る。このような場合は、狭いダイナミックレンジの範囲内で細かく露光時間を変化させて詳細な情報を取得することが好ましいと考えられる。したがって、この試料Ｂは分解能向上撮影モードが適していると判別される。

以上の具体的な手順を、図１３のフローチャートに基づいて説明する。まずステップＳ１３０１で、シャッタースピードを変化させて複数回の仮撮像を行う。これにより得られた複数枚の仮画像に対して、ステップＳ１３０２で、どの仮画像にも飽和領域が存在するかどうかをモード選択手段が判定する。すべての仮画像に飽和領域が存在する場合は、ステップＳ１３０３に進み、ダイナミックレンジ拡大撮影モードを選択する。一方、存在しない、すなわち飽和領域が含まれない仮画像が存在する場合は、ステップＳ１３０４に進み、分解能向上撮影モードを選択する。このようにして、図１５、図１６の例では、図１５（ａ）〜（ｄ）はダイナミックレンジ拡大撮影モード、図１６（ａ）〜（ｄ）は分解能向上撮影モードに、それぞれ適していることをモード選択手段で判別できる。

また上述の通り必要に応じて、選択された各合成画像撮影モードに応じた撮像条件として適切な露光時間を自動設定することもできる。特にこの手法では、適切な合成画像撮影モードを自動選択できることに加えて、各合成画像撮影モードにおいて設定すべき露光時間を変化させる範囲を同時に求めることができる。すなわち、ダイナミックレンジ拡大撮影モードの場合は、白とびがなくなるくらい暗い露光から、黒つぶれがなくなるくらい明るい露光までの範囲で露光時間を変化させる。一方、分解能向上撮影モードでは、飽和がなく、さらに最も濃淡差が現れる部分の露光時間に設定する。このため、合成画像撮影モードの設定のみならず、各合成画像撮影モードでの撮像条件の設定を自動化させることもできる。（手法２による露光時間の自動設定）

各合成画像撮影モードでの撮像条件として、露光時間を変化させるべき範囲を設定する詳細について、まずダイナミックレンジ拡大撮影モードについて説明する。ヒストグラムにおいて、例えば輝度を８ビットの分解能で撮像した場合、０〜２５５の輝度分布範囲において、左右の両端のいずれかが値を持っておれば飽和領域が存在することを意味する。例えば図１５（ａ）において左側の軸上（輝度０）で輝度が値を有しているため、これよりも暗い領域が存在しており、そのデータが検出できていないこと、すなわち黒つぶれの発生が確認できる。一方、右側の軸（輝度２５５）の近傍では、輝度値を有していない。すなわち、白とびは発生していないことが判る。さらに、最も明るい輝度の上限が、図１５（ａ）において丸で囲んだ位置であることが判断できる。

一方、図１５（ｄ）においては、右側の軸上では輝度値を示しており、白とびの発生が確認できるが、左側の軸の近傍では、輝度値を示してない。したがって、最も暗い領域の輝度情報については図１５（ｄ）で十分補足できていることを意味し、図１５（ｄ）の丸で囲んだ領域が、最も暗い輝度の下限であると判断できる。

このようにして、試料Ａに対して輝度分布の範囲の上限及び下限が検出できるので、この範囲内で輝度情報を正しく検出できるように、露光時間を設定する。すなわち、上限、下限の輝度値に対応する露光時間を、計算式やルックアップテーブル等から求め、この範囲内で露光時間を変化させることにより、無駄な輝度情報を取得することなく、効率よく高階調画像を撮像できる。

次に分解能向上撮影モードにおいて露光時間の変化範囲を決定する方法を、図１６（ａ）〜（ｄ）に基づいて説明する。まず、飽和領域の存在しない仮画像を抽出する。図１６（ａ）〜（ｄ）の例では、上述の通りの内、（ｅ）と（ｄ）では飽和領域が存在するので、残る（ｂ）、（ｃ）が抽出される。そして、これらの仮画像の中から、濃淡差が最も広い範囲で表現される仮画像を選択する。ここでは、（ｂ）の方が、（ｃ）よりもヒストグラムの分布が広く表現されている。よって、（ｂ）で採用した露光時間であれば、輝度分布の取得可能範囲を無駄にすることなく、効率よく輝度情報を取得できる。このようにして、仮画像を取得した際の仮撮像条件から、適切な露光時間が選択される。（手法３ 仮撮像と仮合成画像の解析による手法）

最後に、仮撮像と仮合成画像の解析による手法について、図１４のフローチャートに基づいて説明する。まず、上記と同様にステップＳ１４０１で、予め設定された仮撮像条件で仮画像を複数枚撮像する。ここでも、露光時間は原画像の撮像等と比較して大幅に変化させ、比較的少ない枚数に抑える。次にステップＳ１４０２で、複数枚の仮画像を合成することで仮合成画像を生成する。さらにステップＳ１４０３で、その仮合成画像のダイナミックレンジ、すなわち最小輝度と最大輝度の比を計算し、これが撮像部１０の撮像素子のダイナミックレンジより大きいかどうかを判定する。仮合成画像のダイナミックレンジが撮像部１０のダイナミックレンジよりも大き
い場合は、ステップＳ１４０４に進み、ダイナミックレンジが現状では不足しているので、ダイナミックレンジ拡大撮影モードを選択する。一方小さい場合は、ステップＳ１４０５に進み、撮像部１０のダイナミックレンジは足りているため、その分を輝度分解能の向上に割り当てる、分解能向上撮影モードを選択する。（手法３による露光時間の自動設定）

またこの手法においても各合成画像撮影モードにおける最適な露光時間を求めることができる。ここで、画像の輝度Ｉとシーンの光量Ｌ、露光時間ｔ、カメラの応答関数（どれだけの光量が撮像素子に入射し、どれくらいの時間露光したときに画素値がいくつになるのかを表した関数）Ｆとの間には以下の関係式が成立する。

Ｉ＝Ｆ（Ｌ＊ｔ）

ここでＦは予め測定して取得されている。よってダイナミックレンジ拡大撮影モードの場合、仮合成画像の最小・最大光量Ｌ_ｍｉｎ、Ｌ_ｍａｘがそれぞれ画素値Ｉ_ｍｉｎ（黒つぶれにならない最小画素値、例えば３０程度）、Ｉ_ｍａｘ（白とびにならない最大画素値、例えば２２０程度）になるように露光時間ｔ_１〜ｔ_２を以下の範囲に設定すればよい。

ｔ_１＝Ｆ^−１（Ｉ_ｍｉｎ）／Ｌ_ｍｉｎ ｔ_２＝Ｆ^−１（Ｉ_ｍａｘ）／Ｌ_ｍａｘ

一方、分解能向上撮影モードの場合、最小・最大光量が飽和しない範囲（上記ｔ_１からｔ_２）の間で、以下の（１）、（２）のいずれかの露光時間に設定すればよい。（１）Ｉ_ｍｉｎとＩ_ｍａｘの差が最も大きくなるような露光時間（２）シーンの光量Ｌの平均値、中央値Ｌ_１等を計算し、Ｌ_１＊ｔ＝ｘ＿ｍａｘを満たす露光時間（ここでｘ＿ｍａｘは、Ｆ（ｘ）の傾き（＝微分値Ｆ’）が最大となるようなｘの値）（フレーム平均値）

また分解能向上撮影モードにおいて合成画像生成手段で合成画像を合成する際、露光時間を可変して原画像を撮像する方法以外にも、露光時間を一定値に固定して撮像部で複数枚の原画像を撮像し、フレーム平均値をとることで合成画像データを生成することもできる。すなわち、デジタル画像には一般にノイズが混入しており、このノイズは正規分布に従い平均０で加算される。このため、平均値をとることでノイズの影響を排除しつつ、量子化誤差に起因する分解能を向上できる。例えば真値が１００．１の画素につき、ノイズがない場合は量子化誤差のため１００として出力されるが、ノイズがあるため撮像の度に９８，１０４，１０１，９７等、ばらつきが生じる。これらの平均をとれば、ノイズの影響を排除しつつ、小数点以下の値（１００．１）が得られる。この構成によれば、露光時間を固定したままでも高分解能の合成画像を生成できる。

以上の手法を比較すると、１の撮影前に観察していた観察画像の解析が最も簡便な手法であり、２の仮撮影した複数枚の仮画像の解析による手法、３の仮撮像と仮合成画像の解析による手法の順で計算量が増加していく。一方で２、３の手法は各用途における最適露光時間の計算まで行うことができる。（重み付け撮像条件）

さらに、モード選択手段でダイナミックレンジ拡大撮影モード又は分解能向上撮影モードのいずれか一方を択一的に選択させる構成のみならず、両撮影モードの撮像条件を重み付けして組み合わせた撮像条件を設定する構成とすることもできる。例えば、モード選択手段で撮影用途を解析して、ダイナミックレンジ拡大撮影モード、分解能向上撮影モードそれぞれに対する重み付けの係数を演算し、これに従って撮像条件設定手段が重み付け撮像条件を設定する。これにより、撮影用途をダイナミックレンジ拡大撮影モード又は分解能向上撮影モードのいずれか一方に固定することなく、両者のバランスを考慮して合成した重み付け撮像条件を設定できるので、より柔軟な撮像が行える。モード選択手段で重み付けを演算するには、両撮影目的の比重を決定し、これに応じた重み付け撮像条件を設定する。具体的には、どの程度ハレーション除去の比重が高いのか、あるいはコントラスト強調の比重が高いのかに応じて、適切な撮像条件の設定を行う。例えば図１２のステップＳ１２０２において、撮影前に観察していた観察画像中に飽和した部分が含まれているかどうかを判定する際に、単純に含まれいる場合はダイナミックレンジ拡大撮影モード、含まれていない場合は分解能向上撮影モードと一律に設定するのでなく、飽和した部分の数や面積を調べ、これに応じて各撮影モードの比重をモード選択手段が判定する。一例として、飽和部分の数が多いほど、あるいは面積比率が大きいほど、ダイナミックレンジ拡大撮影モードの比重を高める。同様に図１３のステップＳ１３０２で、複数枚の仮画像すべてに飽和領域が存在するかどうかを判定するのでなく、飽和領域が含まれる仮画像数が多いほどダイナミックレンジ拡大撮影モードに、飽和領域が含まれない仮画像が多いほど分解能向上撮影モードに、比重を振るようにモード選択手段が重み付け撮像条件を設定する。さらに図１４のステップＳ１４０３で、仮合成画像のダイナミックレンジが撮像素子のダイナミックレンジより大きいかどうかを判定する際、どの程度大きいかを判断し、比率あるいは差が大きいほどダイナミックレンジ拡大撮影モード側に、小さいほど分解能向上撮影モード側に、振るようにモード選択手段が重み付け撮像条件を設定する。このように、撮影モードを判定する工程において基準を択一的とせず、比重を連続的に変化させるように撮像条件を設定することで、より適切な撮像を実現する。（露光時間調整手段８４）

また、撮像条件設定手段８３が設定した原画像の露光時間を、さらに所望の値に調整するための露光時間調整手段８４を備えてもよい。例えばユーザが操作手段等から、露光時間等の撮像条件をユーザが所望の値に調整する。これにより、露光時間を自動設定した後、ユーザがさらに露光時間調整手段８４を用いて微調整でき、より詳細、正確な合成画像の取得に資することができる。

また露光時間を表示部に提示し、これをユーザが露光時間調整手段８４を用いてさらに微調整することができる。例えば表示部上に、ダイナミックレンジ拡大撮影モード、又は分解能向上撮影モードのいずれの合成画像撮影モードが選択されているかを表示するモード表示領域を設ける。これにより、自動選択された合成画像撮影モードをユーザが表示画面上から容易に確認できる。また必要に応じてユーザが合成画像撮影モードを切り替えることもできる。（階調変換手段８６）

以上のようにして、モード選択手段で適切な合成画像撮影モードを設定して得られた合成画像は、拡大観察装置側で合成画像撮影モードを把握できるため、合成画像のファイル保存時に合成画像撮影モードの情報についても記録しておくことができる。階調変換手段８６が該合成画像データを階調変換するに際して、この合成画像撮影モードの情報を読み込み時に読み出すことで、適切な画像処理を施すことができる。あるいは、露光時間等の撮像条件の情報を記録しておくことでも、これらの情報に基づいて該合成画像データの観察用途がダイナミックレンジ拡大用途のものか、分解能向上用途のものかを判別できる。

一方で、これらの情報が無い場合でも、合成画像自体の画像解析、あるいは合成画像を構成した原画像データを解析することで、観察目的を推測し、適切な画像処理を施すこともできる。

以下、階調変換手段で階調変換を行う一例として、高階調画像である合成画像データを低階調画像（ＬＤＲ画像）であるトーンマッピング画像に変換する場合を説明する。ただし、本発明は合成画像データの階調変換に限られず、高階調画像一般について、これをよりダイナミックレンジの狭い低階調画像に変換する処理に適用できる。例えば、他の撮像装置で予め撮像、合成された高階調画像や、原画像を経ることなく直接撮像された高階調画像に対しても、そのトーンマッピングに適用できる。（描画設定手段８７）

また、本実施の形態では、高階調画像を低階調画像に変換して表示あるいは出力する際の、画像処理に関する描画パラメータの設定を、高階調画像の種別に応じて適切に自動調整することができる。具体的には、変換対象の高階調画像が、ダイナミックレンジ拡大用途のものか、分解能向上用途のものかを描画設定手段８７が自動判別し、ダイナミックレンジ拡大用途の場合はハレーション抑制処理を、分解能向上用途の場合はコントラスト強調処理を、それぞれ設定し、階調変換手段で階調変換を行う。このように、判別された高階調画像の種別に応じて、適切な画像処理を自動的に施すことで、ユーザは描画パラメータの設定を意識することなく、所望の観察用途に適した低階調画像を取得できる。

ダイナミックレンジ拡大用途で使用される場合、画像中に含まれる白とび、黒つぶれ等の飽和を起こしている領域の情報を正しく抽出して描画すればよく、それ以外の領域については撮影前の観察画像とほぼ同様の輝度、色合いに維持する必要がある。一方で分解能向上用途の場合は、撮影前の観察画像では殆ど判別できない細かな模様を大きく強調する必要があり、そのためには描画された画像が原画像と色合い等の点で異なっていても構わないと考えられる。したがって、これら変換対象の画像の種別に応じた適切な階調変換を行えるよう、描画設定手段８７が変換対象画像の種別に応じた描画パラメータを設定する。（シンプルモード）

図１７及び図１８に、描画設定手段の一形態として、拡大画像観察プログラムでトーンマッピングを行う階調変換コンソール画面のユーザインターフェース画面の一例を示す。図１７に示す階調変換コンソール画面３００は、階調変換の描画パラメータを自動的に設定する自動設定の画面例として、設定画面を簡素化したシンプルモードを、また図１８に示す階調変換コンソール画面３００Ｂは、描画パラメータの設定項目を増やした詳細モードを、それぞれ示している。

これらの階調変換コンソール画面３００、３００Ｂでは、階調変換の設定手段を切り替えるための階調変換設定切替手段として、「シンプルモード」チェックボックス３６６を設けている。すなわち図１７の階調変換コンソール画面３００で「シンプルモード」チェックボックス３６６をＯＦＦにすると、図１８に示す詳細モードに切り替わり、図１８の階調変換コンソール画面３００Ｂで「シンプルモード」チェックボックス３６６をＯＮにすると、図１７に示すシンプルモード画面に戻る。

各階調変換コンソール画面３００、３００Ｂには、トーンマッピングの描画パラメータを手動で調整するスライダを設けている。具体的には、図１７に示すシンプルモード画面は、明るさスライダ３１２、テクスチャ強調スライダ３２２を設けている。各スライダの右側には、現在設定されている数値が表示され、スライダを左右に調整することで、数値を増減できる。また、数値を直接入力して指定するよう構成してもよい。（詳細モード）

一方、図１８に示す階調変換コンソール画面３００Ｂの詳細モード画面では、明るさスライダ３１２、テクスチャ強調スライダ３２２に加えて、更にコントラストスライダ３３２、色味スライダ３４２を設けている。

各スライダを操作すると、図１９から図２２に示すように、表示部に表示される低階調画像の画質が変化する。まず図１９（ａ）は、ダイナミックレンジの狭い、分解能向上用途で撮像されたセラミックの合成画像につき、明るさスライダ３１２を、低く設定した例、図１９（ｂ）は、高く設定した例を、それぞれ示している。このように、明るさスライダ３１２はγ（ガンマ）値を調整して画像の明るさを調整できる。また図２０（ａ）は、同じ試料につき、テクスチャ強調スライダ３２２を低く設定した例、図２０（ｂ）は高く設定した例を示している。このよう
に、テクスチャ強調スライダ３２２は細かい模様を強調できる。特に分解能向上用途においては、これらの描画パラメータを調整することで、従来観察が困難であった濃淡差の少ない試料に対しても、詳細を観察できる。

さらに図２１（ａ）は、別の試料としてダイナミックレンジの広い半田付けした回路を、ダイナミックレンジ拡大撮影モードで撮影、合成した合成画像につき、コントラストスライダ３３２を低く設定した例、図２１（ｂ）は高く設定した例を、それぞれ示している。このように、コントラストスライダ３３２は、大まかな明暗を調整できる。また図２２（ａ）は色味スライダ３４２を低く設定した例、図２２（ｂ）は高く設定した例を示す。このように色味スライダ３４２は、モノトーンからカラー画像に、色合い又は色の鮮やかさを調整できる。このように、ユーザが描画パラメータを手動で調整可能とすることで、個々の観察目的に応じた適切なトーンマッピング画像を取得することができ、さらに必要に応じて保存できる。

シンプルモードにおいては、スライダで設定された明るさ、テクスチャ強調度と、撮影後の描画パラメータの推定結果等から、残りの２つの描画パラメータであるコントラストと色味を自動で調整する。これらの推定結果は、シンプルモードから詳細モードに切り替えた際の各スライダの値に反映される。

さらに図１７、図１８の階調変換コンソール画面３００、３００Ｂの下部には、ファイルの読み出し、保存を行うための各種ボタンも設けられている。この例では、合成画像であるＨＤＲ画像を読み出すための「ＨＤＲ読込」ボタン３６０、合成画像データを含むトーンマッピング画像を読み出すための「ＪＰＥＧ読込」ボタン３６２、合成画像データを含むトーンマッピング画像を保存するための「ＪＰＥＧ保存」ボタン３６４を、各々設けている。（高階調画像の自動階調変換手順）

ここで、高階調画像を低階調画像に階調変換する手順について、図２３のフローチャートに基づいて説明する。まずステップＳ２４０１で、ＨＤＲ画像を取得し、ステップＳ２４０２で、これを一旦グレー画像に変換する。次にステップＳ２４０３で、グレー画像をさらに対数画像に変換する。そしてステップＳ２４０４で、対数画像をテクスチャ画像と概形画像に分離する。具体的には、対数画像に含まれる輝度信号の周波数成分の分布から、細かい模様に関するテクスチャの成分と、全体の概形を示す成分とに、周波数フィルタ等を用いて分離する。ここでテクスチャ画像は、ＨＤＲ画像のようなダイナミックレンジ拡大撮影モードで撮像された画像のような、ダイナミックレンジの広い範囲にわたる画像の特徴を有している。また概形画像は、セラミックのような分解能向上撮影モードで撮像された画像で得られる細かな模様部分の特徴を有している。さらに、テクスチャ画像については、ステップＳ２４０５−１で保持又はテクスチャ画像に対する階調変更処理を、概形画像についてはステップＳ２４０５−２で階調変更処理を、それぞれ行う。この結果、ステップＳ２４０５−１で階調変更処理を施した場合は、微小な凹凸部分が相対的に強調される。

またステップＳ２４０５−２では、概形画像のダイナミックレンジが圧縮され、これにより暗い部分の明るさが相対的に大きくなる。ステップＳ２４０５−２での描画パラメータは、概形画像輝度のダイナミックレンジの圧縮率となり、図１７、図１８の例では「コントラスト」に対応する。この意味でコントラストは、ダイナミックレンジの圧縮パラメータを表現している。

その上で、ステップＳ２４０６で、各々の画像に対して重み付き加算を行い分離画像を合成し、グレー画像を出力する。ここでの重み付けは、テクスチャを強調するかどうか、どれくらいの画素を飽和させるか等に応じて配分される。ステップＳ２４０６での描画パラメータは、図１７、図１８の例では「テクスチャ強調度」に対応する。

そしてステップＳ２４０７で、グレー画像をカラー画像に変換する。さらにステップＳ２４０８で得られたカラー画像に対してγ補正、彩度補正を施して出力画像を得る。ここで、γ補正は、図１７、図１８の例では「明るさ」に対応し、また彩度補正は「色味」に対応する。

このようにテクスチャ成分と概形成分とに分離して、各々の成分に対して別個の画像処理を施すことができるので、効率よく圧縮できる。すなわち、ダイナミックレンジ拡大用途の高階調画像に対しては、輝度分布を圧縮する際に、細かい凹凸成分まで圧縮されて凹凸感が失われるといった現象を、効果的に防止できる。このようにして、原画像の撮影前の観察状態や撮影時の解析結果、高階調画像の特性等から、ユーザがダイナミックレンジ拡大用途又は分解能向上用途のいずれの目的で、階調変換機能を使用しているかを描画設定手段が推定し、適切に描画パラメータを設定する。（描画パラメータの手動調整）

また、このような自動設定によらず、ユーザが描画パラメータを手動で設定することもできる。あるいは、階調変換手段による自動設定後に、ユーザがさらに最適な描画パラメータに微調整することもできる。これらの微調整には、上述の通り図１８の階調変換コンソール画面３００Ｂが利用できる。（描画パラメータの設定手順）

次に、具体的な描画パラメータの設定手順について、図２４のフローチャートに基づいて説明する。まずステップＳ２５０１で、変換対象画像の種別を判定し、これに基づいて描画パラメータの内、テクスチャ増幅率ａを設定する。具体的には、原画像の撮影時に判断したユーザの使用目的、高階調画像のダイナミックレンジの少なくともいずれかに基づいて、描画パラメータの内、テクスチャ強調度（テクスチャ増幅率ａ）を決定する。ここでテクスチャ増幅率ａは、ダイナミックレンジが小さいほど大きく設定する。テクスチャ増幅率ａは、例えば次式で決定できる。

テクスチャ増幅率ａ＝ｋ−ｗ＊ｌｏｇ（ＤＲ）（ｋ，ｗ：定数、ＤＲ：高階調画像のダイナミックレンジ）

次に、画像の明るさを決定する。明るさは、描画パラメータの内、コントラスト、明るさ（γ）で制御できる。まずステップＳ２５０２で高階調画像のダイナミックレンジに基づき、コントラストを決定する。ダイナミックレンジが大きければコントラストを大きくする。そして撮影前の観察画像から、飽和領域の重みが小さくなるように重み付けした、画素値の重み付き平均を求める。さらに増幅率ａ、コントラストに基づいて上記ステップＳ２４０６の重み付き加算までの処理を行った画像に、前述の重みで重み付けした重み付き画素値平均を求める。そしてステップＳ２５０３で、２つの重み付き画素値平均が近い値になるように、すなわち撮影前観察画像と表示画像との明るさの変化が少なくなるように、γを決定する。

最後に、ステップＳ２５０４でγやコントラストに基づいて、彩度補正パラメータを求める。ここではγ変換時のγの値が大きいほど白っぽく色味のない画像になるため、色味（彩度補正パラメータ）を大きくする。

なおこれらの調整は、自動で行う他、ユーザが調整することもできる。この際、各パラメータに対応する図１８の複数のスライダ同士の動作をリンクさせて調整することもできる。例えばγが大きいほど、色味も大きくなるように、スライダの動作を連動させる。図１８の例においては、テクスチャ強調スライダ３２２が大きくなるよう操作する程、分解能向上用途の比重が高くなると思われるため、明るさスライダ３１２及びコントラストスライダ３３２が低くなるよう、自動的に調整される。逆に明るさスライダ３１２を大きくする程、ダイナミックレンジ拡大用途の比重が高くなるため、テクスチャ強調スライダ３２２を小さく、コントラストスライダ３３２を大きくするよう、各スライダを連動させて移動させる。加えて、このようなスライダ連動機能をＯＮ／ＯＦＦさせる切替手段を設けることもできる。一方で、変換対象画像のダイナミックレンジや観察目的に応じて、圧縮率等の描画パラメータを自動で設定することもできる。（重み付け描画パラメータの設定）

さらに、描画設定手段８７でダイナミックレンジ拡大用途又は分解能向上用途のいずれか一方に特化した描画パラメータを択一的に設定する構成のみならず、各用途の比重を考慮して重み付けした描画パラメータを設定する構成とすることもできる。例えば、描画設定手段８７で観察用途を解析して、ダイナミックレンジ拡大用途、分解能向上用途それぞれに対する重み付けの係数を演算し、これに従って設定された描画パラメータに従い、階調変換手段で階調変換を行う。これにより、描画パラメータをダイナミックレンジ拡大用途又は分解能向上用途のいずれか一方に固定することなく、両者のバランスを考慮した重み付け描画パラメータを設定できるので、より柔軟な画像表示、観察が行える。また、描画設定手段が観察用途の自動判別に際して誤判別した場合も、描画パラメータの重み付けにより他方の観察用途をある程度反映させた表示結果が期待できる利点も得られる。

描画設定手段で重み付けを演算するには、両観察用途の比重を決定し、これに応じた描画パラメータを設定する。具体的には、どの程度ハレーション除去の比重が高いのか、あるいはコントラスト強調の比重が高いのかに応じて、適切な描画パラメータの設定を行う。例えばダイナミックレンジ拡大用途では、ハレーション除去の比重を高めるために、細かいテクスチャ強調は控えめに設定し、ハレーションしていない部分の明るさの変化を抑える方向に設定される。逆に分解能向上用途では、細かいテクスチャを大きく強調し、また画質や画調が多少変化しても構わない等、コントラストを強調する方向に振った設定とする。これらの条件の方向性に従って、テクスチャの強調度等の描画パラメータを、両観察用途の比重に応じて変化させることができる。また、両観察用途の比重を判断するための基準としては、ＨＤＲ画像や、撮像時の撮像条件の設定等に基づくことが挙げられる。（ＨＤＲ画像に基づく判断基準）

ＨＤＲ画像を用いた判断においては、ＨＤＲ画像の最小画素値と最大画素値との比、すなわちＨＤＲ画像のダイナミックレンジが判断基準となる。この手法では、ダイナミックレンジが大きければハレーション除去用途の比率が高まるため、テクスチャ強調度を控えめに設定し、逆にダイナミックレンジが小さければテクスチャ強調度を大きめに設定することができる。また、ＨＤＲ画像の輝度分布も利用できる。例えば、輝度分散が大きく、輝度の分布が広範囲に及ぶ場合は、ハレーション除去の比重が高いと推定できる。（撮像条件に基づく判断基準）

一方、撮像条件を用いた判断においては、撮像手段であるカメラの露光時間設定が利用できる。すなわちＨＤＲ画像撮影前に仮撮影をすることで、シーンのダイナミックレンジを推定できる。そしてＨＤＲ画像の撮像に用いた露光時間の範囲は、シーンのダイナミックレンジを反映したものとなる。つまり、露光時間の範囲が広い場合にはハレーション除去の比重が高く、一方露光時間の範囲が狭い、又は単一の露光時間で撮影した場合はコントラスト強調の比重が高くなる。

以上のようにして、観察用途がダイナミックレンジ拡大用途、分解能向上用途のいずれを、どれだけ重視したものかを考慮した上で描画パラメータを設定し、階調変換手段で階調変換を行うことにより、ユーザの観察目的に沿ったバランスのとれた観察が可能となる。（高階調データ添付表示ファイル）

また本実施の形態によれば、合成画像データを保存する際のファイル形式を、この合成画像を階調変換した低階調画像に添付する形での保存形式とすることができる。そして低階調画像データファイルを、ＪＰＥＧやＴＩＦＦ等のユーザ領域を備える汎用的な画像フォーマットとすれば、一般の画像表示プログラムでも低階調画像データ部分を表示できる。また、専用の高階調画像ファイル作成プログラムを使用すれば、この低階調画像の元データで
ある合成画像データも扱うことができるようになり、ファイルの可読性を高めつつ、合成画像データも配布できる。（保存用ファイル形式）

ＨＤＲ画像データは８ビット階調をはるかに超える階調を持っているため、通常の８ビット画像と同じ形式で保存すると本来のデータが損なわれる。そのため１６ビット、３２ビット浮動小数点、その他の特殊な符号化を施した形式での保存が一般的である。しかしながら、このような特殊なファイル形式に対応した画像表示ソフトは一般に普及しておらず、殆どのユーザは、通常使用している画像表示ソフトでＨＤＲ画像を閲覧することができない。そこで本実施の形態に係る拡大観察装置では、通常のＪＰＥＧ、ＴＩＦＦといった画像形式で表示画像を保存し、そのメタデータとしてＨＤＲ画像を保存する。これにより、ユーザは普段使用している画像表示ソフトで表示画像を使用できるようになる。（高階調画像の表示）

描画パラメータを変更することで、その明るさ、テクスチャの強調度、色合い等を変更することができる。描画パラメータを変更したときの例が図２５、図２６の画像である。これらの図に示す画像はいずれも同一のＨＤＲ画像から作成した表示用画像である。図２６では細かいテクスチャが強調されていることが判る。また描画パラメータの変更が可能な専用の画像編集プログラムを用いれば、メタデータを読み込むことで、ＨＤＲ画像の描画パラメータを変更することができる。これによってユーザは撮影したＨＤＲ画像を各自のコンピュータで編集し、さまざまな表示用画像を作成することができる。なお、このようなテクスチャ強調を一般の８ビット画像に適用することもできるが、ＨＤＲ画像と異なり階調に制限があるため、細かいグラデーション等が表現できないことがある。これに対しＨＤＲ画像では豊富な階調を持っているので、細かいグラデーションも美しく表現できる。

また、高階調データ添付表示ファイルには、低階調画像の階調変換時の描画パラメータを記録することもできる。これにより、高階調画像ファイル作成プログラムを使用すれば、低階調画像を作成する際に用いた描画パラメータを確認できる。これにより、ユーザはファイル毎に一々メモをとる等して描画パラメータを記憶しておく必要が無く、ファイルに一元的に情報を管理させて極めて使いやすい高階調データ添付表示ファイルとできる。

さらに、異なる描画パラメータで新たに階調変換した低階調画像に更新し、高階調データ添付表示ファイルの低階調画像データを差し替えることもできる。このように、表示用の低階調画像データにそれを生成する基となった高階調画像データを付与することにより、低階調画像の可読性を高め、さらに低階調画像の再チューニングも可能としている。（高階調データ添付表示ファイルの構造）

図２７に、高階調データ添付表示ファイルの構造を示す。この図は、ＪＰＥＧ，ＴＩＦＦ等一般的な画像ファイルの構造と対応させており、ヘッダ領域とデータ領域からなる。ヘッダ領域には、一般的に画像の縦横幅等が格納されている。またヘッダ領域には通常、ユーザが書き込めるユーザ設定領域が設けられている。そこで、この領域に高階調データが存在することを示すフラグを挿入する。一方、データ領域には、低階調画像をＪＰＥＧ、ＴＩＦＦ等に準拠した８ビットのデータとして保存する。さらに低階調画像データの末尾に、メタデータ扱いで高階調画像領域を設け、ここに高階調画像のヘッダ、及びデータを記録する。高階調画像のヘッダ領域には合成画像データのファイルサイズ等の情報が、高階調画像のデータ領域には合成画像の実データが保存される。実データの保存形式は、既知の３２ビット浮動小数点ＴＩＦＦ、ｌｏｇ Ｙｕｖ、ＯｐｅｎＥＸＲ等が適宜利用できる。またデータサイズについて非圧縮、可逆圧縮のフォーマットも採用できる。さらに高階調画像領域に、低階調画像の階調変換時の描画パラメータを記録する描画パラメータ保持領域を設けることもできる。また描画パラメータ保持領域は、ユーザ設定領域に設けてもよい。

高階調データ添付表示ファイルは、例えば１６ビットの合成画像を８ビットの低階調画像に階調変換した場合、低階調画像データを８ビット表示系のＪＰＥＧ、ＴＩＦＦ等の汎用的な画像フォーマット形式で保存する。このような画像ファイルには、ユーザが設定可能なユーザ設定領域が存在するため、この部分に合成画像データを含んでいる旨の情報、及び該合成画像から低階調画像に階調変換した際の描画パラメータを記録する。また合成画像データは、浮動小数点等を使用したファイル形式の他、データサイズを圧縮することもできる。データ圧縮方式は既知の方式が適宜採用できる。高階調画像データをファイルに保存する際、多階調データを適当な階調変換手法で従来の８ビット表示系に表示していたときの表示画像データをＪＰＥＧ、ＴＩＦＦ等の一般的な画像フォーマットで保存し、そのファイルの末尾に多階調データ、多階調データから表示画像データを作成するための表示用パラメータ等のデータを付加して保存する。（テクスチャ成分、概形成分の抽出、分離）

さらに、高階調データ添付表示ファイル作成時にテクスチャ成分を抽出し、抽出されたテクスチャ成分をファイルに付加することで、ファイルオープンに要する時間を短縮化できる。従来、合成画像をモニタ等に表示する際に、テクスチャを強調して表示するには、テクスチャ成分を合成画像から抽出する作業が必要となり、処理時間がかかるという問題があった。これに対して、ファイル保存時に予めテクスチャ成分を分離して保存しておくことにより、このようなテクスチャ抽出の計算量を短縮でき、ファイルを開いてテクスチャ処理した画像を表示するまでの処理を高速又は低負荷とできる。この場合、テクスチャデータを付加することで高階調データ添付表示ファイルのファイルサイズが増大することになる。そこで、合成画像データからテクスチャ成分を抽出した概形成分を保存し、さらに概形成分を高いデータサイズ圧縮率で保存することにより、ファイルサイズの増大を抑制できる。特に概形成分は一般に変化が少ないため、データサイズ圧縮率を高くしても画質の劣化が少なくて済むという利点が得られる。これにより、データサイズ圧縮率を高めファイルサイズを低減しつつ、画質の劣化も抑制した効率のよいファイル保存が図られる。（対応画素リンク機能）

さらに、低階調画像と合成画像の画素をリンクさせ、低階調画像上で任意の画素を指定することで、この位置における合成画像の画素値を表示させる対応画素リンク機能を持たせることもできる。合成画像から低階調画像に階調変換することで、表示部に表示される低階調画像は本来の色あいで表示されていないことがある。そこで、低階調画像と合成画像の座標位置を対応させて各画素をリンクさせることにより、低階調画像上で指定された点に対応する合成画像のデータを参照し、情報を読み取って表示させることができる。例えば図１９等の画面上から、ユーザがマウス等のポインティングデバイスで低階調画像上の任意の点をクリックすると、該位置と対応した合成画像上の画素値が読み込まれ、表示部上に画素値やその座標位置等の情報が表示される。また、低階調画像上で任意の２点を指定して、その色度差を合成画像の対応位置から演算して表示させることもできる。このような対応画素リンク機能は、例えば画像演算部８１を対応画素リンク手段として機能させることにより実現される。このようにＨＤＲ画像とＬＤＲ画像とを関連付けることにより、表示部の画面上からは判別できない微妙な色の変化等を確認することができる。（高階調データ添付表示ファイルの作成、保存手順）

次に、高階調データ添付表示ファイルを作成し保存する手順を説明する。まず、複数枚の原画像を合成した合成画像データを構築し、必要に応じて保存する。このデータ構築時に、合成画像からテクスチャ成分の抽出が行なわれる。

次に、合成画像を低階調画像として表示するための描画処理を行う。この際の描画パラメータは、高階調画像ファイル作成プログラムで自動設定される。あるいは、ユーザが自分で設定し、あるいは自動設定された値を微調整してもよい。ここで、描画処理された画像データのファイル形式としてはＪＰＥＧ，ＴＩＦＦ等の汎用的な画像フォーマットを利用する。このような画像ファイルには、ユーザが利用可能なユーザ設定領域が存在するため、その領域に高階調画像データの有無を示すフラグデータ、高階調画像データの結合領域アドレス、高階調画像データのサイズを書き込む。さらにデータ領域中の指定領域に、高階調画像データを結合した低階調画像ファイルを作成する。また高階調画像領域に設けられた描画パラメータ保持領域に、先の描画パラメータも併せて保存する。具体的な保存の指示は、階調データ保存手段の一形態として図１７、図１８の階調変換コンソール画面３００、３００Ｂの下部に設けられた「ＪＰＥＧ保存」ボタン３６４を押下して行う。このボタンを押下すると、「名前を付けて保存」ダイヤログが表示され、ユーザは所望のファイル名を指定して、さらに保存形式を指定する。ファイル形式としては、ＪＰＥＧの他、ＴＩＦＦが選択できる。また合成画像のみを保存する場合は３２ビット浮動小数点ＴＩＦＦ、ｌｏｇ Ｙｕｖ、ＯｐｅｎＥＸＲ等が指定できる。あるいは、トーンマッピング画像のみを表示したい場合は、ＪＰＥＧ、ＴＩＦＦ、ＢＭＰ等が指定できる。

このようにして作成した高階調データ添付表示ファイルは、低階調画像データ部分を一般的な画像表示プログラムで表示可能となる。一方、専用の高階調画像ファイル作成プログラムを用いることで、高階調データ添付表示ファイルの末尾に付加された高階調画像データを表示できる。図１７、図１８の階調変換コンソール画面３００、３００Ｂから「ＪＰＥＧ読込」ボタン３６２を押下すると、ファイル選択ダイヤログが表示され、ユーザは所望のファイルを指定する。高階調画像ファイル作成プログラムで高階調データ添付表示ファイルを開く際は、まず高階調画像データの結合フラグを確認する。高階調画像データが結合されている画像ファイルであれば、高階調画像データを読み込み、さらに描画パラメータ保持領域に保存された描画パラメータを読み出して、この描画パラメータに従い描画処理を行って表示する。

この状態で、さらにユーザが描画パラメータを再設定して低階調画像を変更することも可能であり、ファイル保存時には、古い低階調画像を変更した新しい低階調画像に差し替えて保存することができる。高階調データ添付表示ファイルの低階調画像を更新する際は、描画パラメータ保持領域の描画パラメータも併せて更新される。さらに、高階調画像データの結合を解除し、合成画像と低階調画像に分離させたり、逆に分離された合成画像と低階調画像とを結合することもできる。

このように、従来ＨＤＲ画像等の高階調画像のファイル形式は汎用的なものでないため、通常の画像表示プログラムの殆どでは表示できなかったが、この方法であれば少なくとも低階調画像は容易に表示できるようになり、データの内容が把握できるので、高階調画像データの配布には好適である。また高階調画像ファイル作成プログラムを使用すれば、高階調画像データも扱えるため、ファイルの汎用性と特殊性を両立させることができる。特に高階調画像ファイル作成プログラムを使って、描画パラメータを調整した低階調画像に差し替えることもできる。また、ファイルサイズの大きい高階調画像データを付加することで高階調データ添付表示ファイルのファイルサイズが巨大化する点については、合成画像データのデータサイズを圧縮して付加することにより抑制できる。（合成画像の取得、表示、保存）

本実施の形態に係る拡大観察装置を用いた合成画像の取得と表示、データ保存の流れを、図２８に示す。この図に示すように、露光時間を適切に変化させて撮影した複数の８ビット画像を合成し、高階調画像であるＨＤＲ画像を生成する。このＨＤＲ画
像は階調が非常に幅広く、最大コントラストと最小コントラストの比が１００００：１程度となる。またＨＤＲ画像データは、浮動小数点等を利用して記録される。一方、このＨＤＲ画像をモニタ等の表示部５２に表示する際は、表示部５２で表示可能な８ビット（２６５階調）等のトーンマッピング画像データに、階調変換（トーンマッピング）する。これによりダイナミックレンジに制限のある表示部でも、高階調のＨＤＲ画像を８ビットのカラー画像で表示できる。なお、階調変換処理時の描画パラメータ設定により、トーンマッピング画像は大幅に変化する。（埋め込み画像ファイル保存）

ＨＤＲ画像データやトーンマッピング画像データは、それぞれ個別に所定の形式で保存する他、ＨＤＲ画像を埋め込んだ形でトーンマッピング画像データを保存することもできる。この埋め込み画像ファイルは、先頭にトーンマッピング画像データ、末尾にＨＤＲ画像データを記録する。このＨＤＲ画像データはメタデータ扱いとなる。このファイルは、汎用的な画像フォーマット形式とできるので、一般の画像表示プログラムでトーンマッピング画像データを表示できる。また、トーンマッピング画像データを扱える専用のソフトを使用すれば、ＨＤＲ画像から新たにトーンマッピング画像データを生成すると共に、トーンマッピング画像データを更新することができる。これにより、画像の扱いやすさを維持しつつ、ＨＤＲ画像としての利用も図ることができる。特に、ユーザが好みの画像となるように描画パラメータを設定して差し替えることができるという利点が得られる。

本発明の拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体は、顕微鏡や反射、透過型等のデジタルマイクロスコープ、デジタルカメラに利用して、ＨＤＲ画像を生成し閲覧できる。

白とびが発生した画像の一例を示すイメージ図である。 黒つぶれが発生した画像の一例を示すイメージ図である。 図１、図２等の画像を合成したＨＤＲ画像を示すイメージ図である。 本発明の実施の形態に係る拡大観察装置の外観図である。 本発明の実施の形態１に係る拡大観察装置のブロック図である。 本発明の実施の形態２に係る拡大観察装置のブロック図である。 高さｚに対する受光データの変化を示すグラフである。 合成画像を生成する拡大観察装置を示すブロック図である。 ＨＤＲ画像を撮影して表示部に表示させるまでの手順を示すフローチャートである。 セラミック表面の画像を示すイメージ図である。 図１０を分解能向上用撮影で撮像した合成画像を示すイメージ図である。 合成画像撮影モードを自動選択する手法１を示すフローチャートである。 合成画像撮影モードを自動選択する手法２を示すフローチャートである。 合成画像撮影モードを自動選択する手法３を示すフローチャートである。 試料Ａの仮画像の輝度分布のヒストグラムの例を示すグラフである。 試料Ｂの仮画像の輝度分布のヒストグラムの例を示すグラフである。 拡大画像観察プログラムのユーザインターフェース画面（シンプルモード）の一例を示すイメージ図である。 拡大画像観察プログラムのユーザインターフェース画面（詳細モード）の一例を示すイメージ図である。 分解能向上用途で撮像された合成画像につき、明るさスライダを調整する様子を示すイメージ図である。 分解能向上用途で撮像された合成画像につき、テクスチャ強調スライダを調整する様子を示すイメージ図である。 ダイナミックレンジ拡大用途で撮像された合成画像につき、コントラストスライダを調整する様子を示すイメージ図である。 ダイナミックレンジ拡大用途で撮像された合成画像につき、色味スライダを調整する様子を示すイメージ図である。 高階調画像を低階調画像に階調変換する手順を示すフローチャートである。 具体的な描画パラメータの設定手順を示すフローチャートである。 一の描画パラメータでの画像を示すイメージである。 図２５から描画パラメータを変更した画像を示すイメージである。 高階調データ添付表示ファイルの構造を示す模式図である。 本実施の形態に係る拡大観察装置を用いた合成画像の取得と表示、データ保存の流れを示すブロック図である。

１０…撮像部；１０ａ…カメラ；１１…光学系 １２、２１２…ＣＣＤ；１２Ａ…撮像素子；１３、２１３…ＣＣＤ制御回路；１３Ａ…撮像制御部； １４…光路シフト部；２０…ステージ昇降器；２１…ステッピングモータ ２２…モータ制御回路；３０…ステージ；３０Ａ…観察位置決め手段 ４１…スタンド台；４２…支柱；４３…カメラ取り付け部 ５０…情報処理装置；５０Ａ…本体部；５１…制御部；５１Ａ…本体制御部；５２…表示部 ５３…メモリ；５４…インターフェイス ５５…操作部；５５Ａ…ポインティングデバイス ５５ａ…マウス； ６０…照明部；６０Ａ…落射照明；６０Ｂ…透過照明 ６１…光ファイバー；６２…コネクタ；６３…信号線；７０…コンピュータ ８１…画像演算部； ８２…モード選択手段 ８３…撮像条件設定手段 ８４…露光時間調整手段 ８５…合成画像生成手段 ８６…階調変換手段 ８７…描画設定手段１００…第１光学系；１０１…レーザ；１０２…第１コリメートレンズ１０３…偏光ビームスプリッタ；１０４…１／４波長板１０５…水平偏向装置；１０６…垂直偏向装置１０７…第１リレーレンズ；１０８…第２リレーレンズ１０９…対物レンズ；１１０…結像レンズ；１１１…ピンホール板１１２…フォトダイオード；１１３…Ａ／Ｄコンバータ；１１５…レーザ駆動回路２００…第２光学系；２０１…第２光源；２０１Ａ…照明用光源；２０２…第２コリメートレンズ２０３…第１ハーフミラー；２０４…第２ハーフミラー３００、３００Ｂ…階調変換コンソール画面３１２…明るさスライダ３２２…テクスチャ強調スライダ３３２…コントラストスライダ３４２…色味スライダ３６０…「ＨＤＲ読込」ボタン３６２…「ＪＰＥＧ読込」ボタン３６４…「ＪＰＥＧ保存」ボタン３６６…「シンプルモード」チェックボックスＳ…試料

Claims (8)

1. 設定された撮像条件に従い、撮像対象の試料を撮像した画像を表示可能な拡大観察装置であって、
   原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件設定手段と、
   前記試料の観察位置に対して、前記撮像条件設定手段で設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を撮像するための撮像部と、
   前記試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成するための合成画像生成手段と、
   前記撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、
   原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードのいずれかを選択可能なモード選択手段と、
   前記ダイナミックレンジ拡大撮影モードにより生成された合成画像データに対しては画像中のハレーションを抑制するためのハレーション抑制処理を、前記分解能向上撮影モードにより生成された合成画像データに対しては画像のコントラストを強調するためのコントラスト強調処理がそれぞれ画像処理として施されるように、前記モード選択手段により選択された合成画像撮影モードにしたがって生成された高階調な合成画像データを、表示部での表示が可能な階調幅の低階調画像データに変換するための画像処理に関する描画パラメータを設定するための描画設定手段と、
   前記描画設定手段で設定された描画パラメータに従い、前記高階調な合成画像データを前記低階調の低階調画像データに変換するための階調変換手段と、
   前記低階調画像データを保存する画像ファイルとして、前記高階調な合成画像データと、
   該合成画像データを前記低階調画像データに変換した際の描画パラメータとを含めた高階調データ添付表示ファイルを生成可能な階調データ保存手段と、
   を備えることを特徴とする拡大観察装置。
2. 前記描画設定手段により設定される描画パラメータとして、テクスチャ強調度、概形画像輝度のダイナミックレンジの圧縮率、γパラメータ、彩度強調パラメータの少なくともいずれかを含むことを特徴とする請求項１に記載の拡大観察装置。
3. 前記階調データ保存手段により保存された高階調データ添付表示ファイルを読み込み、保存された描画パラメータを変更することで、異なる描画パラメータで新たに階調変換された低階調画像データを生成可能な画像編集手段を更に備えることを特徴とする請求項１又は２に記載の拡大観察装置。
4. 前記階調データ保存手段は、前記画像編集手段により描画パラメータを変更して新たな低階調画像データが生成された際、既に保存された低階調画像データを、該新たな低階調画像データに更新可能に構成してなることを特徴とする請求項３に記載の拡大観察装置。
5. 前記高階調データ添付表示ファイルの低階調画像データは、汎用的な画像ファイルのデータ領域に保存され、前記汎用的な画像ファイルのメタデータとして前記合成画像データが保存されることを特徴とする請求項１から４のいずれかに記載の拡大観察装置。
6. 表示部に表示可能な階調以上の階調幅を有する高階調画像データを保存する高階調画像ファイル作成方法であって、
   撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件を設定する工程と、
   試料の観察位置に対して、設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を前記撮像部により撮像する工程と、
   前記試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成する工程と、
   前記撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、
   原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードのいずれかを選択する工程と、
   前記ダイナミックレンジ拡大撮影モードにより生成された合成画像データに対しては画像中のハレーションを抑制するためのハレーション抑制処理を、前記分解能向上撮影モードにより生成された合成画像データに対しては画像のコントラストを強調するためのコントラスト強調処理がそれぞれ画像処理として施されるように、選択された合成画像撮影モードにしたがって生成された高階調な合成画像データを、表示部での表示が可能な階調幅の低階調画像データに変換するための画像処理に関する描画パラメータを設定する工程と、
   設定された描画パラメータに従い、前記高階調な合成画像データを前記低階調の低階調画像データに変換する工程と、
   前記低階調画像データを保存する画像ファイルとして、前記高階調な合成画像データと、
   該合成画像データを前記低階調画像データに変換した際の描画パラメータとを含めた高階調データ添付表示ファイルを生成する工程と、
   を含むことを特徴とする高階調画像ファイル作成方法。
7. 表示部に表示可能な階調以上の階調幅を有する高階調画像データを保存する高階調画像ファイル作成プログラムであって、
   撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件を設定する機能と、
   試料の観察位置に対して、設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を前記撮像部により撮像する機能と、
   前記試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成する機能と、
   前記撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、
   原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードのいずれかを選択する機能と、
   前記ダイナミックレンジ拡大撮影モードにより生成された合成画像データに対しては画像中のハレーションを抑制するためのハレーション抑制処理を、前記分解能向上撮影モードにより生成された合成画像データに対しては画像のコントラストを強調するためのコントラスト強調処理がそれぞれ画像処理として施されるように、選択された合成画像撮影モードにしたがって生成された高階調な合成画像データを、表示部での表示が可能な階調幅の低階調画像データに変換するための画像処理に関する描画パラメータを設定する機能と、
   設定された描画パラメータに従い、前記高階調な合成画像データを前記低階調の低階調画像データに変換する機能と、
   前記低階調画像データを保存する画像ファイルとして、前記高階調な合成画像データと、
   該合成画像データを前記低階調画像データに変換した際の描画パラメータとを含めた高階調データ添付表示ファイルを生成する機能と、
   をコンピュータに実現させることを特徴とする高階調画像ファイル作成プログラム。
   
8. 請求項７に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体。