JP5669616B2 - 撮像装置、画像生成方法、及び、画像生成プログラム - Google Patents

Description

本発明は、異なる露光条件で撮像した複数枚の画像を合成して、原画像より広いダイナミックレンジの画像を生成する技術に関する。

従来から、デジタルスチルカメラに代表される撮像装置の分野では、異なる露光条件で撮像した複数枚の画像（以降、原画像と記す。）を合成して、原画像より広ダイナミックレンジの画像（以降、合成画像と記す。）を生成する技術が知られている。

ダイナミックレンジ拡大（ＤＲ拡大）、ハイダイナミックレンジ（ＨＤＲ）、又はワイドダイナミックレンジ（ＷＤＲ）などと呼ばれるこれらの技術（以降、ＨＤＲ技術と記す。）を用いることにより、原画像のダイナミックレンジではいわゆる黒つぶれや白トビと呼ばれる現象が生じる被写体を良好に観察することができる。

被写体のダイナミックレンジの大きさは、原画像のヒストグラムの低階調側や高階調側の飽和度合いや平均輝度などの指標から判断し得る。このため、ＨＤＲ技術の適用に当たり、被写体に合わせて必要なダイナミックレンジを確保するために、適切な露光時間比や合成枚数（原画像の枚数）を決定する技術が、従来から提案されている。

例えば、特許文献１では、予備撮影により得られた撮影画像から被写体の輝度値を測定し、その輝度値に基づいて撮影回数及び露光条件を決定する技術が開示されている。

特開２００４−７２９８号公報

ところで、ＨＤＲ技術により生成された合成画像の画質を評価する主要なパラメータの一つとして、合成画像の階調数（以降、合成後階調数と記す）が挙げられる。黒つぶれや白トビが抑制された全体的に良好な合成画像を生成するためには、被写体のダイナミックレンジが大きいほど、大きな階調数が必要となる。例えば、原画像の階調数（以降、原画像階調数）が8bitで白トビが生じている場合であっても、合成後階調数を12bit、14bit、16bitと大きくするにつれて、白トビが抑制されて、全体的に良好な合成画像となる傾向がある。

合成後階調数は、合成に用いる原画像の枚数（以降、合成枚数と記す。）と原画像間の露光時間比とによって定まり、合成枚数と露光時間比の組み合わせ（以降、撮影モードと記す。）が様々であっても、同じ合成後階調数を持つ合成画像が生成されうる。

例えば、光量とＩＳＯ感度が固定された状態で露光時間が２^Ｎ倍だけ異なる原画像を合成することで合成後階調数が原画像階調数に対してNbit増加する合成方法を用いて、16bitの階調数が必要な被写体の合成画像を12bitの階調数の原画像から生成する場合について考える。この場合、合成画像は、露光時間比が１６倍（２^４倍）の２枚の原画像を合成して生成することも、露光時間比が４倍（２^２倍）の３枚の原画像を合成して生成することも、又は、露光時間比が２倍（２^１倍）の５枚の原画像を合成して生成することも可能である。即ち、ＨＤＲ技術を用いて特定の階調数の原画像から特定の階調数の合成画像を生成する場合、露光時間比を大きくするほど合成枚数が少なくなり、露光時間比を小さくするほど合成枚数が多くなる。

合成枚数を少なくして露光時間比を大きくしすぎると、合成画像に原画像のノイズが残ってしまうことがある。また、各原画像が担当する階調範囲に他の原画像が担当する階調範囲との重複部分を設けることが困難となるため、合成画像が不自然な画像になり易い。
このため、同じ階調数の合成画像であっても、露光時間比が小さいほど画質が高くなる傾向がある。一方で、露光時間比を小さくして合成枚数を多くするほど、合成に要する処理時間が長くなるため、高速な画像生成が困難となる。このため、同じ階調数の合成画像であっても、露光時間比が大きいほど、撮像から表示までのタイムラグが小さくなり、より高速な画像表示が可能となる。

このように、ＨＤＲ技術による合成画像では、画質と処理時間にはトレードオフの関係があり、画質を評価する主要なパラメータである合成後階調数が同じ合成画像であっても、異なる撮影モードで生成された合成画像間では、画質に差異が生じ得る。つまり、ＨＤＲ技術では、合成画像の生成に際して、画質と処理時間のバランスは任意に設定され得る。

一方で、ＨＤＲ技術によるダイナミックレンジの拡大は、画質の良好な画像を得ることを第一義的な目的とするものである。このことから、従来から、ＨＤＲ技術による合成画像には一定水準以上の画質が当然に要求されている。

このような制約により、ＨＤＲ技術を適用した従来の撮像装置は、合成枚数を一定水準以上の良好な画質が得られる枚数に固定したものがほとんどである。また、特許文献１では合成枚数を可変とする撮像装置が開示されているが、特許文献１に開示される撮像装置は、被写体に応じて良好な画質を得るために合成枚数を可変している。このため、特許文献１に開示される撮像装置では、合成枚数を可変とする範囲は、実質的に一定水準以上の良好な画質が得られる範囲に限定されている。つまり、従来の撮像装置では、画質の制限により画質と処理時間のバランスを自由に設定することができない。

しかしながら、撮像装置が利用されるさまざまな場面（利用シーンと記す。）を想定すると、実際には、要求される画質は常に一定ではなく、画質が優先される場面（以降、画質重視シーンと記す。）もあれば、画質に対して処理時間が優先される場面（以降、速度重視シーンと記す。）もある。

例えば、ＨＤＲ技術の適用が有効な、電気基板などの白トビが生じやすい被写体を観察する場合を例として説明する。この場合、被写体の静止画像を記録する場面や画像から測定データを取得する場面などは、画質や画質に依存する測定精度が重視されるため、画質重視シーンである。一方、同じく電気基板などの被写体を観察する場合であっても、ピント合わせや観察位置の変更などの調整作業やスクリーニング作業などの期間中は、ユーザの操作に対して遅延なく画像が表示される必要がある。このため、画質を多少犠牲にしても高速な表示が要求されるため、速度重視シーンである。

このように、撮像装置には利用シーンに応じて画質と処理時間のバランスを適切に設定する機能が求められてもいる。
以上のような実情を踏まえ、本発明では、利用シーンに応じて画質と処理時間のバランスを適切に設定する技術を提供することを課題とする。

本発明の第１の態様は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、合成画像の画質と合成画像の生成に要する処理時間とのバランスの設定が入力される設定入力手段と、設定入力手段に入力されたバランスの設定に基づいて、原画像を合成する合成枚数と原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、撮影モード決定手段により決定された露光条件の各々で標本を撮像して、撮影モード決定手段により決定された合成枚数の原画像を生成する撮像手段と、を含み、撮影モード決定手段は、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定する撮像装置を提供する。

本発明の第２の態様は、第１の態様に記載の撮像装置において、撮影モード決定手段は、速度重視モードと、画質重視モードとに加えて、速度重視モードよりも画質を重視し且つ画質重視モードより処理時間を重視する少なくとも１つの中間モードと、から撮影モードを決定する撮像装置を提供する。

本発明の第３の態様は、第１の態様または第２の態様に記載の撮像装置において、さらに、撮像手段により生成された原画像を記録する記録部と、撮像手段により生成された合成枚数の原画像を合成する画像合成部と、を含み、撮像手段は、撮影モード決定手段により決定された撮影モードの露光条件を切り換えて、合成枚数の原画像を連続して生成し、画像合成部は、撮像手段により生成された原画像が記録される毎に、記録された当該原画像を合成する撮像装置を提供する。

本発明の第４の態様は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、撮像装置の利用シーンを判定するシーン判定手段と、シーン判定手段により判定された利用シーンに基づいて、原画像を合成する合成枚数と原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、撮影モード決定手段により決定された露光条件の各々で標本を撮像して、撮影モード決定手段により決定された合成枚数の原画像を生成する撮像手段と、前記撮像装置を操作するための操作部と、をを含み、撮影モード決定手段は、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定し、前記シーン判定手段は、前記操作部に対する操作量により利用シーンを判定する撮像装置を提供する。

本発明の第５の態様は、第４の態様に記載の撮像装置において、操作量が予め定められた閾値よりも大きいとき、シーン判定手段は、利用シーンを合成画像の画質よりも処理時間を優先した速度重視シーンと判定し、撮影モード決定手段は、撮影モードを速度重視モードに決定し、操作量が予め定められた閾値以下のとき、シーン判定手段は、利用シーンを合成画像の処理時間よりも画質を優先した画質重視シーンと判定し、撮影モード決定手段は、撮影モードを画質重視モードに決定する撮像装置を提供する。

本発明の第６の態様は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、撮像装置の利用シーンを判定するシーン判定手段と、シーン判定手段により判定された利用シーンに基づいて、原画像を合成する合成枚数と原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、撮影モード決定手段により決定された露光条件の各々で標本を撮像して、撮影モード決定手段により決定された合成枚数の原画像を生成する撮像手段と、合成画像を表示する表示部を含み、撮影モード決定手段は、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定し、シーン判定手段は、合成画像を表示部に表示可能な階調に変換するための描画パラメータの変化量により利用シーンを判定する撮像装置を提供する。

本発明の第７の態様は、第６の態様に記載の撮像装置において、変化量が予め定められた閾値よりも大きいとき、シーン判定手段は、利用シーンを合成画像の画質よりも処理時間を優先した速度重視シーンと判定し、撮影モード決定手段は、撮影モードを速度重視モードに決定し、変化量が予め定められた閾値以下のとき、シーン判定手段は、利用シーンを合成画像の処理時間よりも画質を優先した画質重視シーンと判定し、撮影モード決定手段は、撮影モードを画質重視モードに決定する撮像装置を提供する。

本発明の第８の態様は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、撮像装置の利用シーンを判定するシーン判定手段と、シーン判定手段により判定された利用シーンに基づいて、原画像を合成する合成枚数と原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、撮影モード決定手段により決定された露光条件の各々で標本を撮像して、撮影モード決定手段により決定された合成枚数の原画像を生成する撮像手段と、含み、撮影モード決定手段は、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定し、さらに、撮像装置は、合成画像を利用する複数の機能を備え、シーン判定手段は、撮像装置が実行している合成画像を利用する機能により利用シーンを判断する撮像装置を提供する。

本発明の第９の態様は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する画像生成方法であって、合成画像の画質と合成画像の生成に要する処理時間とのバランスの設定を取得する取得工程と、取得工程で取得された設定に基づいて、原画像を合成する合成枚数と原画像の露光条件とからなる撮影モードを決定する決定工程と、決定工程により決定された露光条件の各々で標本を撮像して、決定工程により決定された合成枚数の原画像を生成する撮像工程と、を含み、決定工程は、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定する画像生成方法を提供する。

本発明の第１０の態様は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置で動作する画像生成プログラムであって、合成画像の画質と合成画像の生成に要する処理時間とのバランスの設定を取得する取得手順と、取得手順で取得された設定に基づいて、原画像を合成する合成枚数と原画像の露光条件とからなる撮影モードを決定する決定手順と、決定手順により決定された露光条件の各々で標本を撮像することにより生成された合成枚数の原画像を合成する合成手順と、をコンピュータに実行させ、決定手順は、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定する手順である画像生成プログラムを提供する。

本発明によれば、利用シーンに応じて画質と処理時間のバランスを適切に設定する技術を提供することができる。

ＨＤＲ技術により原画像から生成される合成画像の撮影モードと画質の関係について説明するための図である。 画像重視シーンと速度重視シーンで求められる撮影モードの範囲の違いについて説明するための図である。 露光時間比と画質の関係について説明するための図である。 露光時間比一定の条件下での合成画像の階調数と合成枚数の関係を説明するための図である。 実施例１に係る撮像装置の構成を例示する図である。 実施例１に係る撮像装置の表示部に表示されるＧＵＩ画面を例示する図である。 実施例１に係る撮像装置によるＨＤＲ技術を用いた合成画像生成処理のフローチャートである。 実施例１に係る撮像装置で設定される撮影モードについて例示する図である。 撮像手段での露光条件の切り換わりを説明するための図である。 実施例１に係る撮像装置で実施される画像合成処理について説明するための図である。 実施例１に係る撮像装置の構成の変形例を例示する図である。 実施例２に係る撮像装置の構成を例示する図である。 実施例２に係る撮像装置によるＨＤＲ技術を用いた合成画像生成処理のフローチャートである。 実施例３に係る撮像装置の構成を例示する図である。 実施例３に係る撮像装置によるＨＤＲ技術を用いた合成画像生成処理のフローチャートである。

まず、ＨＤＲ技術により生成される合成画像の画質と処理時間とのバランスについて、本発明と従来技術での調整可能な範囲の違いについて説明する。なお、以降では、合成画像とは、特に明示しない限り、ＨＤＲ技術により生成される合成画像を指すものとする。

図１は、ＨＤＲ技術により原画像から生成される合成画像の撮影モードと画質の関係について説明するための図である。図２は、画像重視シーンと速度重視シーンで求められる撮影モードの範囲の違いについて説明するための図である。図１及び図２では、横軸は合成画像の階調数（bit）を示し、縦軸は合成画像のフレームレート（fps）を示している。

図１では、基準フレームレート15fps、階調数10bitの原画像をＨＤＲ技術により合成する場合を例にして、画質の良好な合成画像が生成される撮影モードの範囲を縦縞領域ＶＤで、画質の劣化した合成画像が生成される撮影モードの範囲を格子領域ＬＤで示している。格子領域ＬＤは、図１に例示されるように、高階調且つ高フレームレートの領域に形成される。なお、格子領域ＬＤが図１に例示されるような形状となる理由については後述する。

従来技術に係る撮像装置では、一定水準以上の良好な画質が求められているため、画質の良好な合成画像が生成される縦縞領域ＶＤ内の撮影モードのみが利用される。例えば、合成枚数が少ない２枚の合成では、主に領域Ａで示される撮影モードの範囲が、また、合成枚数が多い５枚から７枚の合成では、主に領域Ｂで示される撮影モードの範囲が利用される。

これに対して、本発明に係る撮像装置では、縦縞領域ＶＤの撮影モードに加えて、画質の劣化した合成画像が生成される格子領域ＬＤの撮影モードが、撮像装置の利用シーンに応じて利用される。

図２では、縦縞領域ＶＤと格子領域ＬＤに加えて、階調数14bitの被写体に対して画質重視シーンで適用されるべき撮影モードの範囲を画質重視モード領域ＱＤで、速度重視シーンで適用されるべき撮影モードの範囲を速度重視モード領域ＳＤで示している。なお、図２でも、図１と同様に、基準フレームレート15fps、階調数10bitの原画像をＨＤＲ技術により合成する場合が例示されている。

図２に例示されるように、一点鎖線により画定される画質重視モード領域ＱＤは、縦縞領域ＶＤと一致している。このため、従来技術に係る撮像装置では、画質重視シーンに対して適切な合成を実現することができる。

一方、点線により画定される速度重視モード領域ＳＤは、高フレームレート領域のうち、被写体の階調数（14bit）以下の領域をすべて含んでいる。このため、速度重視モード領域ＳＤは、画質重視モード領域ＱＤ（縦縞領域ＶＤ）と一部重複するが、画質重視モード領域ＱＤと異なり画質が劣化する格子領域ＬＤも含んでいる。速度重視シーンで最も望ましい撮影モードは、被写体の階調数に近い階調数を実現する条件であることが多く、格子領域ＬＤに含まれる可能性が高い。このため、従来技術に係る撮像装置では、通常、速度重視シーンに対して適切な合成を実現することはできない。

これに対して、本発明に係る撮像装置では、縦縞領域ＶＤに含まれる撮影モードにも格子領域ＬＤに含まれる撮影モードにも対応している。このため、従来技術に係る撮像装置と異なり、画質重視シーンと速度重視シーンの両方に適切に対応することが可能である。即ち、本発明に係る撮像装置によれば、利用シーンに応じて、画質と処理時間のバランス、つまり、撮影モードを適切に設定することができる。

次に、格子領域ＬＤが図１に例示されるような形状となる理由について、図３及び図４を参照しながら説明する。
図３は、露光時間比と画質の関係について説明するための図である。図４は、露光時間比一定の条件下での合成画像の階調数と合成枚数の関係を説明するための図である。図３及び図４では、横軸は合成画像の階調数（bit）を示し、縦軸は合成枚数を示している。なお、図３及び図４の合成枚数は、図１及び図２のフレームレートに対応するものであり、処理時間に関連する指標である。図３及び図４の合成枚数１枚は、図１及び図２の基準フレームレートに対応している。

図３では、画質が劣化しない撮影モードの代表として点Ａ、点Ｃが例示され、画質が劣化する撮影モードの代表として点Ｂが例示されている。
まず、合成枚数が２枚の撮影モードを示す点Ａ及び点Ｂについて比較する。点Ａは、合成画像２枚で13bitの合成画像が生成される撮影モードを示していて、このとき、２枚の原画像の露光時間比は８倍となる（=2^(13-10)）。一方、点Ｂは、合成画像２枚で16bitの合成画像が生成される撮影モードを示していて、このとき、２枚の原画像の露光時間比は６４倍となる（=2^(16-10)）。このように、合成枚数を固定した場合、合成画像の階調数を大きくするほど、露光時間比が大きくなる。

次に、合成画像の階調数が16bitの撮影モードを示す点Ｂ及び点Ｃについて比較する。点Ｂは、上述したように、合成画像２枚で16bitの合成画像が生成される撮影モードを示していて、２枚の原画像の露光時間比は６４倍となる（=2^(16-10)）。一方、点Ｃは、合成画像７枚で16bitの合成画像が生成される撮影モードを示していて、このとき、７枚の原画像の露光時間比は２倍となる（=2^{(16-10)/(7-1)}）。このように、合成画像の階調数を固定した場合、合成枚数を少なくするほど、露光時間比が大きくなる。

一般に、露光時間比を過度に大きくすると画像合成の際に合成部分に無理が生じるため、露光時間比がある程度以上大きくなると画質が劣化してしまう。このため、点Ａと点Ｂでは合成枚数は同じであるが、露光時間比が大きい点Ｂでのみ画質の劣化が生じる。また、点Ｂと点Ｃでは階調数は同じであるが、露光時間比が大きい点Ｂでのみ画質の劣化が生じる。

図４に例示される実線、破線は、それぞれ露光時間比２倍、４倍の撮影モードを示している。図３を参照しながら上述したように、階調数が大きいほど、または、合成枚数が少ないほど、露光時間比は大きくなる。このため、実線を境界として実線よりも高階調側（または低合成枚数側）の領域は、露光時間比が２倍より大きい撮影モードの領域であり、破線を境界として破線よりも高階調側（または低合成枚数側）の領域は、露光時間比が４倍より大きい撮影モードの領域である。

合成部分に無理が生じる露光時間比は、被写体やその他の条件によって変化するため、一概に特定できないが、露光時間比がある値以上となる撮影モードの領域は、図４に例示されるように、高階調且つ高フレームレート（低合成枚数）の領域に形成される。このため、画質が劣化する撮影モードの範囲を示す格子領域ＬＤは、図１に例示されるような形状となる。

なお、経験論であるが、露光時間比が２倍から４倍程度では画質の劣化は生じにくいが、８倍では画質の劣化が生じることがある。このため、図１では、露光時間比４倍を画質が劣化する撮影モードと画質が劣化しない撮影モードの境界として例示している。ただし、画質が劣化する撮影モードと画質が劣化しない撮影モードの境界は、特にこの倍率に限定されない。縦縞領域ＶＤと格子領域ＬＤの境界は、さらに高い倍率の露光時間比により区切られても良い。

以下、利用シーンに応じて画質と処理時間のバランスを適切に設定することができる撮像装置、画像生成方法、及び画像生成プログラムの各実施例について、具体的に説明する。

図５は、本実施例に係る撮像装置の構成を例示する図である。図６は、本実施例に係る撮像装置の表示部に表示されるＧＵＩ画面を例示する図である。図７は、本実施例に係る撮像装置によるＨＤＲ技術を用いた合成画像生成処理のフローチャートである。図８は、本実施例に係る撮像装置で設定される撮影モードについて例示する図である。図９は、撮像手段での露光条件の切り換わりを説明するための図である。図１０は、本実施例に係る撮像装置で実施される画像合成処理について説明するための図である。

図５に例示される撮像装置１は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する顕微鏡用撮像装置であり、画質と処理時間のバランスの設定が入力される設定入力手段を含むことにより、利用シーンに応じて合成画像の画質と処理時間のバランスを適切に設定することができる。なお、本実施例では、設定入力手段として、ＧＵＩ画面が例示されている。また、露光条件は露光時間である。

撮像装置１は、標本１１の光学像を形成する顕微鏡２と、顕微鏡２で形成された光学像を画像化する撮像手段である撮像装置本体２０と、撮像装置本体２０で生成された画像データ（原画像）をＨＤＲ技術により合成して画像データ（合成画像）を生成するコンピュータ３０と、を含んでいる。

顕微鏡２は、蛍光観察を含む各種検鏡法を切替えて利用することのできる顕微鏡であり、検鏡法に応じて使用される、透過照明用の光源３、落射照明用の光源４、ハーフミラー１５等を含んでいる。

顕微鏡２の透過照明光路３ａ上には、光源３から標本１１に向かって順に、コレクタレンズ５、ミラー６、窓レンズ７、視野絞り（ＦＳ）８、開口絞り（ＡＳ）９、コンデンサレンズ１０が配置されている。一方、落射照明光路４ａ上には、コレクタレンズや、図示しないＡＳ及びＦＳ、対物レンズ１２に加え、ハーフミラー１５(蛍光観察の場合は交換可能なキューブユニット)などが配置されている。また、観察光路Ｓ上には、標本１１側から順に、対物レンズ１２、ハーフミラー１５、結像レンズ１３、ポート１４が配置されている。

照明光路や観察光路には、さらに、各種フィルタや偏光素子等の光学素子が配置されてもよい。また、対物レンズ１２やハーフミラー１５は、観察倍率や検鏡法に応じて切り替え可能に配置されている。

撮像装置本体２０は、標本１１からの光を電気信号に光電変換する撮像素子２１と、撮像素子２１の駆動を制御する撮像素子駆動部２２と、撮像素子２１から出力される電気信号を映像信号に変換する前置処理部２３と、映像信号をデジタル画像信号データに変換するＡ／Ｄ変換部２４と、信号処理部２５と、バス２６と、制御部２７と、コンピュータ３０と接続されたＩ／Ｆ部２８と、を含んでいる。

コンピュータ３０は、制御部３１と、操作部３２と、Ｉ／Ｆ部３３と、表示部３４と、記録部３５と、ＨＤＲ処理部４０と、を含んでいる。さらに、ＨＤＲ処理部４０は、設定取得部４１と、撮像条件抽出部４２と、ＤＲ拡大部４３と、パラメータ動的算出部４４と、ＤＲ圧縮部４５と、を含んでいる。

標本１１を落射照明で観察する場合、標本１１の原画像は、顕微鏡２と撮像装置本体２０が以下のように動作することによりコンピュータ３０に出力される。
まず、落射照明用の光源４から射出された照明光は、コンデンサレンズを通過して、図示しないＦＳ、ＡＳを介してハーフミラー１５へ入射する。ハーフミラー１５で反射された照明光は、対物レンズ１２により標本１１に照射される。

照明光が照射された標本１１から、反射光が戻ってくる。反射光は、対物レンズ１２を介して、ハーフミラー１５へ入射する。この際、ハーフミラー１５は標本１１からの反射光を透過させるため、反射光は、結像レンズ１３を介して、ポート１４から撮像素子２１に向けて射出される。

ポート１４に接続された撮像装置本体２０には、結像レンズ１３により標本１１の光学像が投影される位置に、ＣＣＤなどの撮像素子２１が配置されている。撮像素子２１は、撮像素子駆動部２２からの駆動信号に基づいた露光時間で駆動され、その間入力される光（標本１１の光学像）を光電変換し、前置処理部２３へ電気信号を出力する。

電気信号が入力された前置処理部２３は、撮像素子駆動部２２からの制御パルスを受信し、電気信号をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の映像信号に変換してＡ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、撮像素子駆動部２２からのクロック信号に基づいて、映像信号をデジタル画像データに変換して出力する。

Ａ／Ｄ変換部２４から出力されたデジタル画像データは、信号処理部２５により、色補正、階調補正などの信号処理が行われた後に、バス２６、制御部２７、Ｉ／Ｆ部２８を介して、原画像としてコンピュータ３０の記録部３５へ出力される。

コンピュータ３０では、操作部３２を介して入力されたユーザから指示により、ＨＤＲ技術による合成画像を生成するためのプログラムが起動されると、表示部３４に、図６に例示されるＧＵＩ画面５０が表示される。ＧＵＩ画面５０は、合成画像の画質と合成画像の生成に要する処理時間のバランスの設定が入力される設定入力手段であり、合成画像を表示する画像表示領域５１と、ＨＤＲ技術を用いた合成画像生成処理を開始させるボタン５２と、合成画像の画質と処理時間のバランスを調整するスライダー５３から構成されている。

図６では、スライダー５３が中心にある状態が初期状態として表示されている。スライダー５３を左側に移動させることで、処理時間を重視したバランスが設定されて、ボタン５２押下後に、画質に対して処理時間を優先した合成画像生成処理が実行される。一方、スライダー５３を右側に移動させることで、画質を重視したバランスが設定されて、ボタン５２押下後に、処理時間に対して画質を優先した合成画像生成処理が実行される。

なお、ＧＵＩ画面は、図６に例示される構成に限定されない。合成画像の画質と処理時間のバランスを調整するためのＧＵＩコントロールは、スライダーに限定されず、ＧＵＩ画面は、スライダー５３の代わりに任意のＧＵＩコントロールを含んで構成されてもよい。また、ボタン５２は省略されてもよく、スライダー５３の位置に変更により即座に変更後の位置に応じた設定で合成画像生成処理が実行されてもよい。

以下、図５から図１０を参照しながら、本実施例に係る撮像装置１によるＨＤＲ技術を用いた合成画像生成処理について説明する。
図５に例示される撮像装置１では、ＨＤＲ技術による合成画像を生成するためのプログラムが起動されると、コンピュータ３０の表示部３４に図６に例示されるＧＵＩ画面５０が表示される。

ユーザが、スライダー５３を移動させて利用シーンに応じた画質と処理時間のバランスを設定してボタン５２を押下すると、撮像装置１では、図７に例示される合成画像生成処理が開始される。

合成画像生成処理は、図７に例示されるように、大きく分けて、撮像条件抽出処理Ｐ１と、撮像処理Ｐ２と、画像合成処理Ｐ３と、から構成されている。合成画像生成処理が開始されると、コンピュータ３０で撮像条件抽出処理Ｐ１が開始される。

まず、制御部３１の指示により、設定取得部４１は、入力設定手段であるＧＵＩ画面５０から入力された画質と処理時間のバランスの設定（撮影モード値）を取得して、撮像条件抽出部４２へ出力する（ステップＳ１０１）。

次に、撮像条件抽出部４２は、記録部３５に記録された標本１１の画像と設定取得部４１で取得された設定（撮影モード値）に基づいて、撮影モードを含む撮像条件を計算により抽出して、記録部３５に記録する（ステップＳ１０２）。撮像条件としては、例えば、標本１１のダイナミックレンジを表現するために必要な合成画像の階調数、原画像の合成枚数、原画像の露光条件などが挙げられる。

撮像条件抽出部４２は、合成画像に必要な階調数を、記録部３５に記録された標本１１の画像のヒストグラムなどを解析することにより算出する。なお、標本１１の画像から合成画像に必要な階調数を算出する方法としては、既知のさまざまな従来技術を用いることができる。

また、撮像条件抽出部４２は、原画像の合成枚数及び原画像の露光条件、つまり、撮影モードを、設定取得部４１で取得された設定（撮影モード値）に基づいて決定する。
例えば、撮影モードは、合成画像に必要な階調数と撮像装置本体２０により生成される原画像の階調数から定まる合成枚数と露光時間比の複数の組み合わせの中から、撮影モード値に基づいて決定されても良い。

撮像装置本体２０によって生成される原画像の階調数が10bitであり、合成画像に必要な階調数が14bitである場合、撮影モードとしては、露光時間比１６倍の原画像２枚の組み合わせ（速度重視モード）、露光時間比４倍の原画像３枚の組み合わせ（中間モード）、露光時間比２倍の原画像５枚の組み合わせ（画質重視モード）があり、それぞれ、図８の点Ｅ、点Ｄ、点Ｆで示される。

スライダー５３が中心よりも左側に位置することにより設定取得部４１で取得された設定が速度重視の撮影モード値であるとき、撮影モードは、合成画像の画質よりも処理時間を優先した速度重視モード（点Ｅ）に決定されてもよい。また、スライダー５３が中心よりも右側に位置することにより設定取得部４１で取得された設定が画質重視の撮影モード値であるとき、撮影モードは、合成画像を生成する処理時間よりも画質を優先した画質重視モード（点Ｆ）に決定されてもよい。また、スライダー５３が中心に位置することにより設定取得部４１で取得された設定が速度重視と画質重視の間の撮影モード値であるとき、速度重視モードよりも画質を重視し且つ画質重視モードより処理時間を重視する中間モード（点Ｄ）に決定されてもよい。

また、撮影モードは、合成画像に必要な階調数と原画像の階調数から定まる合成枚数と露光時間比の複数の組み合わせ（例えば、点Ｄ、点Ｅ、点Ｆ）にその他の組み合わせ（例えば、点Ｅ’、点Ｅ’’、点Ｆ’）を加えた中から、撮影モード値に基づいて決定されても良い。

点Ｅで示される撮影モードでの画質が著しく劣化することが従来技術を用いて標本１１の画像のヒストグラムから読取れる場合には、点Ｅの代わりにまたは加えて点Ｅ’で示される撮影モードを速度重視モードとしてもよい。これにより、階調数は低下するが、著しい画質の劣化を抑制しながら処理時間が維持された速度重視モードを選択することができる。また、点Ｆの代わりにまたは点Ｆに加えて点Ｆ’で示される撮影モードを画質重視モードとしてもよい。これにより、さらに画質を重視した画質重視モードを選択することができる。また、速度が極めて重視される場合には、合成枚数を１枚として、点Ｅの代わりに点Ｅ’’で示される撮影モードを速度重視モードとしてもよく、その上で１枚の原画像から画質を改善することができる既知の処理を実施してもよい。

即ち、撮像条件抽出部４２は、ＧＵＩ画面５０に入力されて設定取得部４１で取得された設定（撮影モード値）に基づいて撮影モードを決定する撮影モード決定手段であり、少なくとも、合成画像の画質よりも処理時間を優先した速度重視モードと、合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定するように構成されている。より好ましくは、撮像条件抽出部４２は、少なくとも、速度重視モードと、画質重視モードとに加えて、速度重視モードよりも画質を重視し且つ画質重視モードより処理時間を重視する少なくとも１つの中間モードと、から撮影モードを決定するように構成されている。なお、撮影モードは、合成枚数と強い相関を有している。

制御部３１は、撮像条件が記録部３５に記録されると、撮影モードを撮像装置本体２０へ通知する。
撮影モードが通知された撮像装置本体２０では、撮像処理Ｐ２が開始される。撮像装置本体２０は、撮影モードに従って標本１１を撮像する。つまり、撮像装置本体２０は、撮像条件抽出部４２により決定された露光条件の各々で標本１１を撮像して、撮像条件抽出部４２により決定された合成枚数の原画像を生成する（ステップＳ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８）。

より詳細には、撮影モードに従って撮像素子駆動部２２が露光時間（露光条件）を変更して（ステップＳ１０５）、撮像素子２１が標本１１を撮像して（ステップＳ１０６）、信号処理部２５がデジタル画像データ（原画像）を生成して（ステップＳ１０７）、制御部２７がＩ／Ｆ部２８を介してコンピュータ３０へ原画像を出力する（ステップＳ１０８）。撮像装置本体２０では、これらの処理が合成枚数と同じ回数だけ繰り返される（ステップＳ１０４）。

ところで、通常のデジタルカメラなどの撮像手段は、特定の露光条件（Ｅｘｐ１）で繰り返し標本を撮像する場合には、図９（ａ）に例示されるように、画像を連続して生成することができる。しかしながら、複数の露光条件を切り換えて標本を撮像する場合には、フレーム期間終了毎に、コンピュータ３０から指示を受けて露光条件が切り換えられるため、フレーム期間の間に通信等のための期間が生じてしまい、画像を連続して生成することができない。

これに対して、撮像装置１に含まれる撮像手段である撮像装置本体２０は、フレーム期間終了毎にコンピュータ３０から指示を受けることなく撮像装置本体２０自体が切り換えタイミングを判断して露光条件を切り換えるため、フレーム期間の間に通信等のための期間が生じることはない。コンピュータ３０から通知された撮影モードに２種類の露光条件（Ｅｘｐ１、Ｅｘｐ２）が含まれる場合であれば、図９（ｂ）に例示されるように、露光条件が切り換えられる。また、５種類の露光条件（Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３、Ｅｘｐ４、Ｅｘｐ５）が含まれる場合であれば、図９（ｃ）に例示されるように、露光条件が切り換えられる。このため、撮像装置本体２０は、撮影モードの露光条件を高速に切り換えて、合成枚数の原画像を連続して生成することができる。なお、生成された原画像は、随時コンピュータ３０へ送信されて、記録部３５に記録される。

撮像条件抽出処理Ｐ１を終了したコンピュータ３０では、画像合成処理Ｐ３が開始される。記録部３５に原画像が記録されると、ＨＤＲ処理部４０が原画像を合成する前の中間処理として初期化等を行い（ステップＳ１１０）、ＤＲ拡大部４３が原画像を合成する（ステップＳ１１１）。これらの処理は合成枚数と同じ回数だけ繰り返されて（ステップＳ１０９）、合成された画像はＨＤＲ画像データとしてパラメータ動的算出部４４へ出力される。

パラメータ動的算出部４４は、ＨＤＲ画像データから描画パラメータを算出して（ステップＳ１１２）、ＨＤＲ画像データとともにＤＲ圧縮部４５へ出力する。描画パラメータは、ＨＤＲ画像データから表示部３４で表示できる階調数の合成画像を生成するために用いられるパラメータである。ＤＲ圧縮部４５は、描画パラメータを用いて、画質を維持しながらＨＤＲ画像データの階調を変換して、ＨＤＲ画像データから表示部３４で表示可能な合成画像を生成する（ステップＳ１１３）。なお、ＤＲ圧縮部４５では、既知の任意の圧縮アルゴリズムを利用することができる。生成された合成画像は、表示部３４へ出力されて、ＧＵＩ画面５０の画像表示領域５１に表示される（ステップＳ１１４）。

撮像装置１では、ＤＲ拡大部４３は、原画像が記録部３５に記録される毎に原画像を合成することで、撮像装置本体２０により生成された合成枚数の原画像を合成する画像合成部である。つまり、図１０に例示されるように、２枚目の原画像が出力されると、ＤＲ拡大部４３は１枚目と２枚目の原画像を合成し、３枚目の原画像が出力されると、１枚目と２枚目の原画像を合成した画像と３枚目の原画像を合成する。ＤＲ拡大部４３がこのように動作することで、すべての原画像が記録部３５へ出力される前に合成処理が開始される。このため、合成画像を表示するまでに要する時間を短縮することができる。

撮像装置１は、撮像処理Ｐ２と画像合成処理Ｐ３を繰り返すことで（ステップＳ１０３）、画像表示領域５１に随時最新の合成画像が表示されるため、標本１１のライブ観察を実施することができる。

以上、本実施例に係る撮像装置１、及び画像生成方法によれば、操作部３２を用いて、表示部３４に表示されるＧＵＩ画面５０のスライダー５３を左右に移動させることで、利用シーンに応じて生成される合成画像の画質と生成に要する処理時間とのバランスを適切に設定することができる。

なお、図５では、撮像装置本体２０とコンピュータ３０を含む撮像装置１を例示したが、本実施例に係る撮像装置は、撮像装置本体２０とコンピュータ３０が一体として構成されてもよい。図５では、光学像を形成する手段として顕微鏡２を含む撮像装置１を例示したが、撮像装置は、顕微鏡２及び撮像装置本体２０の代わりに、デジタルスチルカメラを含んで構成されてもよく、さらに、デジタルスチルカメラとコンピュータ３０が一体として構成されてもよい。

また、図５では、ハードウェアで構成されたＨＤＲ処理部４０を有するコンピュータ３０を含む撮像装置１を例示したが、撮像装置の構成は、特にこれに限られない。撮像装置は、コンピュータ３０の代わりに、図１１に例示されるコンピュータ７０を含んでもよい。

図１１は、本実施例に係る撮像装置の構成の変形例を例示した図である。図１１に例示される撮像装置６０は、コンピュータ３０の代わりにコンピュータ７０を含む点が、図１に例示される撮像装置１と異なっている。

図１１に例示されるコンピュータ７０は、例えば、パーソナルコンピュータであり、ＭＰＵなどの制御部７１と、キーボードなどの操作部７２と、Ｉ／Ｆ部７３と、モニタなどの表示部７４と、ＨＤＤ、ＲＡＭ、ＲＯＭなどの記録部７５と、ＣＤ−ＲＯＭドライブやＤＶＤドライブなどの駆動部７６と、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体７７と、を含んでいる。また、コンピュータ７０は、コンピュータ３０のＨＤＲ処理部４０の代わりに、ＨＤＲ処理部４０によって実行される処理（具体的には、図７に例示される撮像条件抽出処理Ｐ１と画像合成処理Ｐ３）をコンピュータ７０に実行させるためのプログラムを記録部７５または記録媒体７７に格納している。

本変形例に係る撮像装置６０、画像生成方法、及び画像生成プログラムによっても、コンピュータ３０を含む撮像装置１と同様に、操作部７２を用いて、表示部７４に表示されるＧＵＩ画面５０のスライダー５３を左右に移動させることで、利用シーンに応じて生成される合成画像の画質と生成に要する処理時間とのバランスを適切に設定することができる。

図１２は、本実施例に係る撮像装置の構成を例示する図である。図１３は、本実施例に係る撮像装置によるＨＤＲ技術を用いた合成画像生成処理のフローチャートである。
図１２に例示される撮像装置８０は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する顕微鏡用撮像装置であり、撮像装置８０の利用シーンを判定するシーン判定手段を含むことにより、利用シーンに応じて合成画像の画質と処理時間のバランスを適切に設定することができる。なお、本実施例では、ステージ駆動量検出部１１１で検出される電動ステージ９２の駆動量により利用シーンを判定する構成が例示されている。また、露光条件は露光時間である。

撮像装置８０は、顕微鏡２の代わりに電動顕微鏡９０を、コンピュータ３０の代わりにコンピュータ１００を含む点が、図１に例示される撮像装置１と異なっている。
電動顕微鏡９０は、標本９１を配置する電動ステージ９２と、制御部９３と、Ｉ／Ｆ部９４と、を含んでいる。電動顕微鏡９０は、コンピュータ１００に対する操作により電動ステージ９２を駆動することができる点が図１に例示される顕微鏡２と異なっている。

コンピュータ１００は、ＨＤＲ処理部４０の代わりにＨＤＲ処理部１１０を含む点が、図１に例示されるコンピュータ３０と異なっている。ＨＤＲ処理部１１０は、ステージ駆動量検出部１１１と、撮像条件抽出部４２と、ＤＲ拡大部４３と、パラメータ動的算出部４４と、ＤＲ圧縮部４５を含み、設定取得部４１の代わりにステージ駆動量検出部１１１を含む点が図１に例示されるＨＤＲ処理部４０と異なっている。

以下、図１２及び図１３を参照しながら、本実施例に係る撮像装置８０によるＨＤＲ技術を用いた合成画像生成処理について説明する。
合成画像生成処理は、図１３に例示されるように、大きく分けて、撮像条件抽出処理Ｐ１ａと、撮像処理Ｐ２と、画像合成処理Ｐ３と、から構成されていて、撮像条件抽出処理Ｐ１の代わりに撮像条件抽出処理Ｐ１ａを含む点が、図７に例示される合成画像生成処理と異なっている。合成画像生成処理が開始されると、コンピュータ１００で撮像条件抽出処理Ｐ１ａが開始される。

まず、ステージ駆動量検出部１１１は、電動ステージ９２の駆動量を検出して撮像条件抽出部４２へ出力する（ステップＳ２０１）。なお、駆動量は、光軸方向（Ｚ方向）の駆動量であってもよく、また、光軸方向と垂直なＸＹ方向への駆動量であってもよい。

次に、撮像条件抽出部４２は、電動ステージ９２の駆動量により、撮像装置８０の利用シーンを判定する(ステップＳ２０２)。
駆動量が大きい場合には、撮像装置８０では、ピント合わせや観察位置の変更などの調整作業などが行われていることが想定される。このため、撮像条件抽出部４２は、利用シーンを、高速に画像を生成してフレームレートを高くすることが望ましい速度重視シーンと判定する。

一方、駆動量が小さい場合や完全に静止している場合には、撮像装置８０では、測定作業などが行われていることが想定される。このため、撮像条件抽出部４２は、利用シーンを、高画質の画像が生成されることが望ましい画質重視シーンと判定する。

また、駆動量が中程度の場合には、撮像条件抽出部４２は、速度重視シーンよりも画質を重視し且つ画質重視シーンより処理時間を重視するシーンであると判定する。
例えば、撮像条件抽出部４２は、予め駆動量が予め定められた閾値よりも大きいときに、速度重視シーンと判定し、駆動量が予め定められた閾値以下のときに、画質重視シーンと判定してもよい。

さらに、撮像条件抽出部４２は、標本１１の画像と利用シーンに基づいて、撮影モードを含む撮像条件を計算により抽出して、記録部３５に記録する（ステップＳ１０２）。撮像条件としては、例えば、標本９１のダイナミックレンジを表現するために必要な合成画像の階調数、原画像の合成枚数、原画像の露光条件などが挙げられる。

撮像条件抽出部４２は、合成画像に必要な階調数を、実施例１に係る撮像装置１と同様の方法により算出する。さらに、撮像条件抽出部４２は、原画像の合成枚数及び原画像の露光条件、つまり、撮影モードを、ステップＳ２０２で判定された利用シーンに基づいて決定する。具体的には、撮像条件抽出部４２は、利用シーンが速度重視シーンであれば、撮像モードを速度重視モードに決定し、利用シーンが画質重視シーンであれば、撮像モードを画質重視モードに決定する。また、利用シーンが速度重視シーンよりも画質を重視し且つ画質重視シーンより処理時間を重視するシーンであれば、中間モードに決定してもよい。

即ち、撮像条件抽出部４２は、電動ステージ９２の駆動量から撮像装置８０の利用シーンを判定するシーン判定手段であるとともに、判定された利用シーンに基づいて撮影モードを決定する撮影モード決定手段である。さらに、撮像条件抽出部４２は、少なくとも、速度重視モードと、画質重視モードと、から撮影モードを決定するように構成されている。より好ましくは、撮像条件抽出部４２は、少なくとも、速度重視モードと、画質重視モードとに加えて、速度重視モードよりも画質を重視し且つ画質重視モードより処理時間を重視する少なくとも１つの中間モードと、から撮影モードを決定するように構成されている。なお、撮影モードは、合成枚数と強い相関を有している。

制御部３１は、撮像条件が記録部３５に記録されると、撮影モードを撮像装置本体２０へ通知する。
その後、撮像装置８０では、実施例１に係る撮像装置１と同様の撮像処理Ｐ２と画像合成処理Ｐ３が行われて、合成画像が生成される。

以上、本実施例に係る撮像装置８０、及び画像生成方法によれば、電動ステージ９２の駆動量により利用シーンを自動的に判定して、利用シーンに応じて合成画像の画質と生成に要する処理時間とのバランスを適切に設定することができる。例えば、撮像装置８０では、電動ステージ９２が少しずつ速度を上げて移動している場合には、徐々に速度を重視した撮影モードに移行し、電動ステージ９２が急に速度を上げて移動した場合には、瞬時に速度重視モードに移行することができる。

なお、図１２では、電動顕微鏡９０を含む撮像装置８０が例示されているが、ステージ駆動量検出部１１１がステージの駆動量を検出することができる限り、電動顕微鏡９０の代わりに手動でステージを駆動する顕微鏡が含まれてもよい。また、撮像装置本体２０とコンピュータ１００は一体として構成されてもよい。また、撮像装置は、電動顕微鏡９０及び撮像装置本体２０の代わりに、デジタルスチルカメラを含んでもよく、さらに、デジタルスチルカメラとコンピュータ１００が一体として構成されてもよい。また、撮像装置は、コンピュータ１００の代わりに、図１１に例示されるコンピュータ７０を含んでもよい。

さらに、図１２では、駆動量が検出される可動部として、電動ステージ９２を例示したが、可動部は電動ステージ９２に限られない。例えば、撮像装置は、顕微鏡の絞りなど任意の可動部の駆動量を検出してもよく、任意の可動部の駆動量により利用シーンを判定して、判定された利用シーンに基づいて撮影モードを決定しても良い。また、撮像装置は、駆動量の代わりに、ステージや絞りなどを操作する操作部や調光つまみなどに対する操作量を検出してもよく、操作部に対する操作量により利用シーンを判定して、利用シーンに基づいて撮影モードを決定しても良い。また、撮像装置は、合成画像（ＨＤＲ画像データ）を表示部に表示可能な階調に変換するための描画パラメータの設定が変更されたときには、描画パラメータの変化量により利用シーンを判定して、利用シーンに基づいて撮影モードを決定しても良い。

なお、可動部の駆動量、操作部に対する操作量、描画パラメータの変化量により利用シーンを判定する場合、ステージの駆動量の場合と同様に、予め定められた閾値よりも大きいときに、速度重視シーンと判定し、駆動量が予め定められた閾値以下のときに、画質重視シーンと判定してもよい。

図１４は、本実施例に係る撮像装置の構成を例示する図である。図１４は、本実施例に係る撮像装置によるＨＤＲ技術を用いた合成画像生成処理のフローチャートである。
図１４に例示される撮像装置１２０は、標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する顕微鏡用撮像装置であり、撮像装置１２０の利用シーンを判定するシーン判定手段を含むことにより、利用シーンに応じて合成画像の画質と処理時間のバランスを適切に設定することができる。なお、本実施例では、画像比較部１４１で合成画像や原画像を比較して利用シーンを判定する構成が例示されている。また、露光条件は露光時間である。

撮像装置１２０は、コンピュータ３０の代わりにコンピュータ１３０を含む点が、図１に例示される撮像装置１と異なっている。
コンピュータ１３０は、ＨＤＲ処理部４０の代わりにＨＤＲ処理部１４０を含む点が、図１に例示されるコンピュータ３０と異なっている。ＨＤＲ処理部１４０は、画像比較部１４１と、撮像条件抽出部４２と、ＤＲ拡大部４３と、パラメータ動的算出部４４と、ＤＲ圧縮部４５を含み、設定取得部４１の代わりに画像比較部１４１を含む点が図１に例示されるＨＤＲ処理部４０と異なっている。

以下、図１４及び図１５を参照しながら、本実施例に係る撮像装置１２０によるＨＤＲ技術を用いた合成画像生成処理について説明する。
合成画像生成処理は、図１５に例示されるように、大きく分けて、撮像条件抽出処理Ｐ１ｂと、撮像処理Ｐ２と、画像合成処理Ｐ３と、から構成されていて、撮像条件抽出処理Ｐ１の代わりに撮像条件抽出処理Ｐ１ｂを含む点が、図７に例示される合成画像生成処理と異なっている。合成画像生成処理が開始されると、コンピュータ１４０で撮像条件抽出処理Ｐ１ｂが開始される。

まず、画像比較部１４１は、記録部３５に記録された画像を比較して、比較結果として、画像に表示される範囲の変化量（以降、画面移動量と記す。）を撮像条件抽出部４２へ出力する（ステップＳ３０１）。

なお、画面移動量は、光軸方向（Ｚ方向）の画面移動量であってもよく、また、光軸方向と垂直なＸＹ方向への画面移動量であってもよい。また、画像比較部１４１で比較される画像は、すでに生成された合成画像であってもよく、例えば、連続して表示された合成画像であってもよい。また、異なる合成画像の原画像のうち明るさが中程度の原画像同士が比較されてもよい。また、画面移動量は、さまざまな既知の方法により算出することが可能であり、例えば、画像間の差分から算出されても良く、周波数空間を利用して算出されても良い。

次に、撮像条件抽出部４２は、画面移動量から撮像装置１２０の利用シーンを判定する(ステップＳ３０２)。
画面移動量が大きい場合には、撮像装置１２０では、ピント合わせや観察位置の変更などの調整作業などが行われていることが想定される。このため、撮像条件抽出部４２は、利用シーンを、高速に画像を生成してフレームレートを高くすることが望ましい速度重視シーンと判定する。

一方、画面移動量が小さい場合や完全に静止している場合には、撮像装置１２０では、測定作業などが行われていることが想定される。このため、撮像条件抽出部４２は、利用シーンを、高画質の画像が生成されることが望ましい画質重視シーンと判定する。

また、画面移動量が中程度の場合には、撮像条件抽出部４２は、速度重視シーンよりも画質を重視し且つ画質重視シーンより処理時間を重視するシーンであると判定する。
例えば、撮像条件抽出部４２は、予め画面移動量が予め定められた閾値よりも大きいときに、速度重視シーンと判定し、画面移動量が予め定められた閾値以下のときに、画質重視シーンと判定してもよい。

さらに、撮像条件抽出部４２は、実施例２で上述した方法と同様の方法により、標本１１の画像と利用シーンに基づいて、撮影モードを含む撮像条件を計算により抽出して、記録部３５に記録する（ステップＳ１０２）。

即ち、撮像条件抽出部４２は、合成画像または原画像の比較結果から撮像装置１２０の利用シーンを判定するシーン判定手段であるとともに、判定された利用シーンに基づいて撮影モードを決定する撮影モード決定手段である。さらに、撮像条件抽出部４２は、少なくとも、速度重視モードと、画質重視モードと、から撮影モードを決定するように構成されている。より好ましくは、撮像条件抽出部４２は、少なくとも、速度重視モードと、画質重視モードとに加えて、速度重視モードよりも画質を重視し且つ画質重視モードより処理時間を重視する少なくとも１つの中間モードと、から撮影モードを決定するように構成されている。なお、撮影モードは、合成枚数と強い相関を有している。

制御部３１は、撮像条件が記録部３５に記録されると、撮影モードを撮像装置本体２０へ通知する。
その後、撮像装置１２０では、実施例１に係る撮像装置１と同様の撮像処理Ｐ２と画像合成処理Ｐ３が行われて、合成画像が生成される。

以上、本実施例に係る撮像装置１２０、画像生成方法、及び画像生成プログラムによれば、画像の比較結果である画面移動量により利用シーンを自動的に判定して、利用シーンに応じて合成画像の画質と生成に要する処理時間とのバランスを適切に設定することができる。例えば、撮像装置１２０では、画面移動量が少しずつ大きくなっている場合には、徐々に速度を重視した撮影モードに移行し、画面移動量が急に大きくなっている場合には、瞬時に速度重視モードに移行することができる。

なお、撮像装置本体２０とコンピュータ１３０は一体として構成されてもよい。撮像装置は、顕微鏡２及び撮像装置本体２０の代わりに、デジタルスチルカメラを含んでもよく、さらに、デジタルスチルカメラとコンピュータ１３０が一体として構成されてもよい。また、撮像装置は、コンピュータ１３０の代わりに、図１１に例示されるコンピュータ７０を含んでもよい。

本実施例では、画像の比較結果として画面移動量を例示したが、利用シーンの判定に利用する画像の比較結果は画面移動量に限られない。例えば、絞りの操作などによって変化し得る画像の明るさなどを画像の比較により算出して、利用シーンを判定してもよい。

また、利用シーンを判定する方法は、上述した判定方法に限られず、撮像装置が実行している、合成画像を利用する機能によって、利用シーンが判断されても良い。例えば、撮像装置により２Ｄ合成機能や３Ｄ合成機能が実行されている場合には、利用シーンを速度重視シーンと判定し、撮像装置により測定機能が実行されている場合には、利用シーンを画質重視シーンと判定してもよい。なお、機能と利用シーンの関係は、上述した関係に限定されず、例えば、３Ｄ合成機能が実行されている場合に、利用シーンを画質重視シーンと判定してもよい。また、機能と利用シーンの関係をユーザが任意に設定できるように、撮像装置が構成されていてもよい。

また、利用シーンは、観察する標本の種類により判定されてもよい。この場合、標本の種類は、コンピュータの操作部などを介してユーザにより入力されてもよく、また、その他の方法により特定されてもよい。

１、６０、８０、１２０・・・撮像装置、２・・・顕微鏡、３、４・・・光源、３ａ、４ａ・・・透過照明光路、５・・・コレクタレンズ、６・・・ミラー、７・・・窓レンズ、８・・・視野絞り、９・・・開口絞り、１０・・・コンデンサレンズ、１１、９１・・・標本、１２・・・対物レンズ、１３・・・結像レンズ、１４・・・ポート、１５・・・ハーフミラー、２０・・・撮像装置本体、２１・・・撮像素子、２２・・・撮像素子駆動部、２３・・・前置処理部、２４・・・Ａ／Ｄ変換部、２５・・・信号処理部、２６・・・バス、２７、３１、７１、９３・・・制御部、２８、３３、７３、９４・・・Ｉ／Ｆ部、３０、７０、１００、１３０・・・コンピュータ、３２、７２・・・操作部、３４、７４・・・表示部、３５、７５・・・記録部、４０、１１０、１４０・・・ＨＤＲ処理部、４１・・・設定取得部、４２・・・撮像条件抽出部、４３・・・ＤＲ拡大部、４４・・・パラメータ動的算出部、４５・・・ＤＲ圧縮部、５０・・・ＧＵＩ画面、５１・・・画像表示領域、５２・・・ボタン、５３・・・スライダー、７６・・・駆動部、７７・・・記録媒体、９０・・・電動顕微鏡、９２・・・電動ステージ、１１１・・・ステージ駆動量検出部、１４１・・・画像比較部

Claims (10)

1. 標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、
   前記合成画像の画質と前記合成画像の生成に要する処理時間とのバランスの設定が入力される設定入力手段と、
   前記設定入力手段に入力されたバランスの設定に基づいて、前記原画像を合成する合成枚数と前記原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、
   前記撮影モード決定手段により決定された前記露光条件の各々で前記標本を撮像して、前記撮影モード決定手段により決定された前記合成枚数の前記原画像を生成する撮像手段と、を含み、
   前記撮影モード決定手段は、少なくとも、前記合成画像の画質よりも処理時間を優先した速度重視モードと、前記合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮影モード決定手段は、前記速度重視モードと、前記画質重視モードとに加えて、前記速度重視モードよりも画質を重視し且つ前記画質重視モードより処理時間を重視する少なくとも１つの中間モードと、から撮影モードを決定することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、さらに、
   前記撮像手段により生成された前記原画像を記録する記録部と、
   前記撮像手段により生成された前記合成枚数の前記原画像を合成する画像合成部と、を含み、
   前記撮像手段は、前記撮影モード決定手段により決定された前記撮影モードの前記露光条件を切り換えて、前記合成枚数の原画像を連続して生成し、
   前記画像合成部は、前記撮像手段により生成された前記原画像が記録される毎に、記録された当該原画像を合成することを特徴とする撮像装置。
4. 標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、
   前記撮像装置の利用シーンを判定するシーン判定手段と、
   前記シーン判定手段により判定された利用シーンに基づいて、前記原画像を合成する合成枚数と前記原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、
   前記撮影モード決定手段により決定された前記露光条件の各々で前記標本を撮像して、前記撮影モード決定手段により決定された前記合成枚数の前記原画像を生成する撮像手段と、
   前記撮像装置を操作するための操作部と、を含み、
   前記撮影モード決定手段は、少なくとも、前記合成画像の画質よりも処理時間を優先した速度重視モードと、前記合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定し、
   前記シーン判定手段は、前記操作部に対する操作量により利用シーンを判定することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記操作量が予め定められた閾値よりも大きいとき、
   前記シーン判定手段は、利用シーンを前記合成画像の画質よりも処理時間を優先した速度重視シーンと判定し、
   前記撮影モード決定手段は、撮影モードを前記速度重視モードに決定し、
   前記操作量が予め定められた前記閾値以下のとき、
   前記シーン判定手段は、利用シーンを前記合成画像の処理時間よりも画質を優先した画質重視シーンと判定し、
   前記撮影モード決定手段は、撮影モードを前記画質重視モードに決定することを特徴とする撮像装置。
6. 標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、
   前記撮像装置の利用シーンを判定するシーン判定手段と、
   前記シーン判定手段により判定された利用シーンに基づいて、前記原画像を合成する合成枚数と前記原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、
   前記撮影モード決定手段により決定された前記露光条件の各々で前記標本を撮像して、前記撮影モード決定手段により決定された前記合成枚数の前記原画像を生成する撮像手段と、
   前記合成画像を表示する表示部と、を含み、
   前記撮影モード決定手段は、少なくとも、前記合成画像の画質よりも処理時間を優先した速度重視モードと、前記合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定し、
   前記シーン判定手段は、前記合成画像を前記表示部に表示可能な階調に変換するための描画パラメータの変化量により利用シーンを判定することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記変化量が予め定められた閾値よりも大きいとき、
   前記シーン判定手段は、利用シーンを前記合成画像の画質よりも処理時間を優先した速度重視シーンと判定し、
   前記撮影モード決定手段は、撮影モードを前記速度重視モードに決定し、
   前記変化量が予め定められた前記閾値以下のとき、
   前記シーン判定手段は、利用シーンを前記合成画像の処理時間よりも画質を優先した画質重視シーンと判定し、
   前記撮影モード決定手段は、撮影モードを前記画質重視モードに決定することを特徴とする撮像装置。
8. 標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置であって、
   前記撮像装置の利用シーンを判定するシーン判定手段と、
   前記シーン判定手段により判定された利用シーンに基づいて、前記原画像を合成する合成枚数と前記原画像の露光条件とからなる撮影モードを決定する撮影モード決定手段と、
   前記撮影モード決定手段により決定された前記露光条件の各々で前記標本を撮像して、前記撮影モード決定手段により決定された前記合成枚数の前記原画像を生成する撮像手段と、を含み、
   前記撮影モード決定手段は、少なくとも、前記合成画像の画質よりも処理時間を優先した速度重視モードと、前記合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定し、
   さらに、前記撮像装置は、前記合成画像を利用する複数の機能を備え、
   前記シーン判定手段は、前記撮像装置が実行している前記合成画像を利用する機能により利用シーンを判断することを特徴とする撮像装置。
9. 標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する画像生成方法であって、
   前記合成画像の画質と前記合成画像の生成に要する処理時間とのバランスの設定を取得する取得工程と、
   前記取得工程で取得された設定に基づいて、前記原画像を合成する合成枚数と前記原画像の露光条件とからなる撮影モードを決定する決定工程と、
   前記決定工程により決定された前記露光条件の各々で前記標本を撮像して、前記決定工程により決定された前記合成枚数の前記原画像を生成する撮像工程と、を含み、
   前記決定工程は、少なくとも、前記合成画像の画質よりも処理時間を優先した速度重視モードと、前記合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定することを特徴とする画像生成方法。
10. 標本を異なる露光条件で撮像した複数枚の原画像を合成して合成画像を生成する撮像装置で動作する画像生成プログラムであって、
    前記合成画像の画質と前記合成画像の生成に要する処理時間とのバランスの設定を取得する取得手順と、
    前記取得手順で取得された設定に基づいて、前記原画像を合成する合成枚数と前記原画像の露光条件とからなる撮影モードを決定する決定手順と、
    前記決定手順により決定された前記露光条件の各々で前記標本を撮像することにより生成された前記合成枚数の前記原画像を合成する合成手順と、をコンピュータに実行させ、
    前記決定手順は、少なくとも、前記合成画像の画質よりも処理時間を優先した速度重視モードと、前記合成画像の処理時間よりも画質を優先した画質重視モードと、から撮影モードを決定する手順であることを特徴とする画像生成プログラム。