[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4191531B2 - マルチバンド画像撮影方法及び装置及びプログラム - Google Patents

マルチバンド画像撮影方法及び装置及びプログラム Download PDF

Info

Publication number
JP4191531B2
JP4191531B2 JP2003134744A JP2003134744A JP4191531B2 JP 4191531 B2 JP4191531 B2 JP 4191531B2 JP 2003134744 A JP2003134744 A JP 2003134744A JP 2003134744 A JP2003134744 A JP 2003134744A JP 4191531 B2 JP4191531 B2 JP 4191531B2
Authority
JP
Japan
Prior art keywords
ratio
band
photographing
predetermined value
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003134744A
Other languages
English (en)
Other versions
JP2004147287A (ja
JP2004147287A5 (ja
Inventor
磴  秀康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2003134744A priority Critical patent/JP4191531B2/ja
Publication of JP2004147287A publication Critical patent/JP2004147287A/ja
Publication of JP2004147287A5 publication Critical patent/JP2004147287A5/ja
Application granted granted Critical
Publication of JP4191531B2 publication Critical patent/JP4191531B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、マルチバンド画像撮影方法及び装置及びプログラムに係り、特に、再生画像のノイズバランスを均等にし、自然な画像を再現するマルチバンド画像を得るマルチバンド画像撮影技術に関する。
【0002】
【従来の技術】
近年、撮像技術の進歩により、多チャンネル撮影機(マルチバンドカメラ)、特に、撮影対象の分光波形を実用上十分な精度で復元できる程度のチャンネル(バンド)数を有する撮影機が実用化されつつある。これは、複数種類(多くは4種類以上)の光を透過する波長領域(マルチバンド)で、被写体を撮影して複数の画像データ(各バンド(チャンネル)毎のスペクトル画像データ(マルチバンド画像データ))を得るカメラであり、例えば、CCDと色分解フィルタを主とした構成となっている。
【0003】
マルチバンドカメラは、一定の分光強度分布を持つ照明光で被写体を照らして得られる反射光を、バンド毎に異なる一定の分光透過率分布を有する分光フィルタに通過させ、一定の分光透過率分布を有するカメラの光学系レンズを介して、撮像素子の受光面に結像させることでスペクトル画像を得る。
そのため、従来のマルチバンドカメラは、分光フィルタの特性と撮像デバイスの分光感度分布の積により、各バンドの感度が決定される。
【0004】
すなわち、マルチバンドカメラで撮影した時の有効露光量は、分光フィルタのフィルタ特性、すなわち分光透過率分布と撮影時の照明光の分光強度分布との積によって規定される。精密には、撮像素子の分光感度分布を積に含め、さらにカメラの光学系レンズの分光透過率分布の積を含めて規定される。
【0005】
【発明が解決しようとする課題】
しかしながら、これらの分光特性に偏りがあると、バンド毎の有効露光量バランスに偏りが生じ、あるバンドのダイナミックレンジが他に比して狭く、その結果そのバンドのS/N比が低下し、ノイズを含んだ画像データとして獲得されてしまうという問題がある。
他方、蛍光灯に例示されるように光源の分光分布に偏りがある場合には、各バンドでの照明光源強度に偏りが生じる。その結果、照明光源強度が低いバンドでの撮影画像データは他のバンドでの撮影画像データに比べS/N比が低い画像となる。マルチバンドカメラ撮影において各バンドで得られる有効露光量は、各バンドに対応する「マルチバンドカメラの分光感度」と「光源の分光エネルギー分布」の関数で与えられると考えることができる。各バンドで得られる光量とS/N比の関係では、光量の増加に伴いS/N比が向上する関数関係にある。
【0006】
このような場合、各バンド毎の画像を合成して得られた再現画像は、ある色のノイズやムラが目立つという画質低下が生じる。
このようなノイズを除去する方法として、後段の画像処理により、ノイズレベルに応じてノイズ抑制のパラメータを変化させるという方法等が考えられるが、このような方法では、ノイズレベルに差がありすぎると、ノイズ抑制のアーティファクトに差が生じ、やはり結果的に不自然な再現画像となってしまうという問題がある。
【0007】
本発明は、前記従来の問題に鑑みてなされたものであり、マルチバンド画像撮影時に撮影バンド間でのS/N比を一定範囲に収め、再現画像のノイズバランスを均等にし、自然な画像再現のためのマルチバンド画像を得ることのできるマルチバンド画像撮影方法及び装置及びプログラムを提供することを課題とする。
【0008】
【課題を解決するための手段】
前記課題を解決するために、本発明の第1の態様は、被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影するマルチバンド画像の撮影の際、本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出し、前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては前記第2の比率に基づいて撮影条件を決定し、前記決定された撮影条件により本撮影を行うことを特徴とするマルチバンド画像撮影方法を提供する。
【0009】
また同様に前記課題を解決するために、本発明の第2の態様は、被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影するマルチバンド画像の撮影の際、本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出し、前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率に基づいて撮影条件を決定し、前記決定された撮影条件により本撮影を行い、得られた画像出力値を、予め用意された、撮影画像の画像出力値と撮影の際の有効露光量が比例関係を有するような変換テーブルにより有効露光量に変換して出力することを特徴とするマルチバンド画像撮影方法を提供する。
マルチバンド画像撮影方法を提供する。
【0010】
また、マルチバンド画像撮影方法において、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率が所定値を超えるまで、前記所定値の逆数倍を繰り返すことが好ましい。
【0011】
また、マルチバンド画像撮影方法において、前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記予備撮影時の露光時間を前記所定値の逆数倍して、前記露光量調整のための露光時間を決定することが好ましい。
また、マルチバンド画像撮影方法において、前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率が前記所定値を超えるまで、前記予備撮影時の露光時間に対して、前記所定値の逆数倍を繰り返して、前記露光量調整のための露光時間を決定することが好ましい。
また、マルチバンド画像撮影方法において、前記各バンドの出力値が、画像中にある標準白色部における出力値、又は最明点の出力値に基づくものであることが好ましい。
また、マルチバンド画像撮影方法において、前記各バンドの出力値が、画像全体における出力値の平均値に基づくものであることが好ましい。
【0012】
また同様に前記課題を解決するために、本発明の第3の態様は、被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影する撮影手段と、前記撮影手段によって本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出する検出手段と、前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率に基づいて撮影条件を決定する撮影条件決定手段と、を備えたことを特徴とするマルチバンド画像撮影装置を提供する。
【0013】
また同様に前記課題を解決するために、本発明の第4の態様は、被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影する撮影手段と、前記撮影手段による撮影画像の画像出力値と撮影の際の有効露光量が比例関係を有するように予め作成された変換テーブルを記憶する記憶手段と、
前記撮影手段によって本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出する検出手段と、前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率に基づいて撮影条件を決定する撮影条件決定手段と、前記決定された撮影条件により本撮影を行い、得られた画像出力値を前記変換テーブルにより有効露光量に変換する変換手段と、を備えたことを特徴とするマルチバンド画像撮影装置を提供する。
【0014】
また、マルチバンド画像撮影装置において、前記第1の比率が前記所定値以下の場合、前記第2の比率が所定値を超えるまで、前記所定値の逆数倍を繰り返すことが好ましい。
【0015】
また、マルチバンド画像撮影装置において、前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記予備撮影時の露光時間を前記所定値の逆数倍して、前記露光量調整のための露光時間を決定する、ことが好ましい。
また、マルチバンド画像撮影装置方法において、前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率が前記所定値を超えるまで、前記予備撮影時の露光時間に対して、前記所定値の逆数倍を繰り返して、前記露光量調整のための露光時間を決定する、ことが好ましい。
また、前記各バンドの出力値が、画像中にある標準白色部における出力値、又は最明点の出力値に基づくものである、ことが好ましい。
また、前記各バンドの出力値が、画像全体における出力値の平均値に基づくものである、ことが好ましい。
【0016】
また同様に前記課題を解決するために、本発明の第の態様は、コンピュータを、請求項8〜14のいずれかに記載の検出手段及び撮影条件決定手段として動作させるためのプログラムを提供する。
【0017】
【発明の実施の形態】
以下、本発明のマルチバンド画像撮影方法及び装置及びプログラムについて、添付の図面に示される好適実施形態を基に詳細に説明する。
【0018】
図1は、本発明に係るマルチバンド画像撮影方法を実行するマルチバンド画像撮影装置の第1実施形態の概略を示すブロック図である。
本実施形態のマルチバンド画像撮影装置は、まず被写体を予備撮影し、予備撮影によって得られた各バンド間の感度バランス(出力値バランスと同じ意味で使用)に基づいて撮影条件を決定し、この撮影条件により本撮影を行うものである。
【0019】
図1に示すように、本実施形態のマルチバンド画像撮影装置1は、被写体10を撮影してマルチバンド画像データとして取り込むマルチバンドカメラ12、予備撮影によって得られた撮影データから各バンド間の感度バランスを検出するバンド間感度バランス検出装置14および検出された各バンド間の感度バランスに基づいて撮影条件を決定する撮影条件決定装置16を有して構成される。
【0020】
マルチバンドカメラ12としては、特に限定されるものではなく、複数種類(多くは4種類以上)の各光を透過する複数の波長領域(マルチバンド)で、被写体を撮影して、各バンド毎の複数の画像(マルチバンド画像)を得ることができるものであればよい。
例えば、撮影用レンズ及び結像した光の像を光電的に読み取るCCDセンサを有し、前記撮影用レンズの前に複数個(少なくとも4個以上)のバンドパスフィルタを配置し、この複数個のバンドパスフィルタを順次取り替えながら、被写体を撮影するようにしたものが例示される。また、このように複数のバンドパスフィルタを順次取り替える代わりに、電気的に分光透過率分布を変化させることのできる液晶チューナブルフィルタを用いることが好ましい。
【0021】
バンド間感度バランス検出装置14及び撮影条件決定装置16は、具体的にはコンピュータで構成され、マルチバンドカメラ12から被写体10を撮影したマルチバンド画像データを受け取り、それぞれ、以下述べるような所定の処理を行うものである。
バンド間感度バランス検出装置14は、被写体10を撮影して得られた各バンド(チャンネル)の出力値(得られている強度)の、最大のものに対する比率を、各バンド間の感度バランスとして検出(算出)するものである。
撮影条件決定装置16は、各バンド間の感度バランスに基づいて、この感度バランス(上記算出された比率)が一定値以内になるように撮影条件を決定するものである。撮影条件としては、特に限定されるものではないが、例えば、各バンド間の感度バランスが一定値以内になるように、低感度バンドの撮影時間(露光時間)を調整する方法が考えられる。
【0022】
図2に、本実施形態のマルチバンド画像撮影方法の処理の流れをフローチャートで示す。
以下、図2のフローチャートに沿って本実施形態の作用を説明する。
まず、ステップ100において、マルチバンドカメラ12により被写体10を各バンドについて予備撮影(プレ撮影)を行う。これにより、例えば被写体画像中にある標準白色部の各バンドの出力値を得る。予備撮影によって得られた撮影データ(各バンドの出力値)は、マルチバンドカメラ12からバンド間感度バランス検出装置14に送られる。
【0023】
次に、ステップ110において、バンド間感度バランス検出装置14において、各バンド間の感度バランスを検出(算出)する。
すなわち、バンド間感度バランス検出装置14は、予備撮影によって得られたマルチバンド画像データを受け取ると、まず、各バンド毎の出力値を比較して、その最大値を求め、次に、各バンド毎の出力値とこの最大値との比率(各バンド出力値/最大値)を算出する。
【0024】
この比率(各バンド出力値/最大値)がすべて1に近い値であれば、各バンド間の感度バランスは略均等であるといえるが、この比率が小さい値のものが存在すると、そのバンドの感度が低いことになる。
本実施形態は、この各バンド間の感度バランスをなるべく均等になるように、撮影条件を決定して、その撮影条件で本撮影を行うようにしようというものである。
算出された最大値及び各バンドの(最大値との)比率は、撮影条件決定装置16に送られる。
【0025】
次に、ステップ120において、撮影条件決定装置16において、上で検出された各バンド間の感度バランスに基づいて本撮影のための撮影条件を決定する。
撮影条件決定装置16では、上で算出された各バンド間の感度バランスが一定値以内となるように撮影条件を決定する。すなわち、各バンド出力値の最大値に対する比率が、すべて所定値以上(1に近い値)となるように撮影条件を決定する。
【0026】
撮影条件としては、さまざまな条件が考えられるが、例えば、露光量調整を撮影時間(露光時間)によって行う場合を例にとって説明する。
図3に、撮影条件として、露光時間を設定する方法のフローチャートを示す。
まず、ステップ200において、撮影条件決定装置16は、各バンド毎の出力値の最大値に対する比率(各バンド出力値/最大値)が、予め与えられた所定値1/R(Rは、適当な整数、例えばR=10)以下となるようなバンドを検出する。
【0027】
この比率が所定値1/R以下となるバンドは、その出力値が最大値に比べて小さく、出力値が最大値となるバンドに対し、感度が低いことになる。そこで、比率が所定値1/R以下となるような低感度のバンドについては、露光時間を長くして、低感度を補うようにする。
すなわち、ステップ210において、比率が所定値1/R以下となることが検出されたバンドについては、その露光時間をR倍する。
【0028】
次に、ステップ220において、この検出されたバンドの出力値をR倍して、再度前記最大値と比較し、その比率を算出し、この新しい比率(バンド出力値のR倍/最大値)を前記所定値1/Rと比較する。
その結果、出力値をR倍してもまだ比率が小さく、まだ露光時間が不足する場合には、ステップ210にもどり、そのバンドの露光時間(既にR倍されている)を再度R倍する。
【0029】
そして、比率が前記所定値1/Rを超え、バンド間感度バランスが均等になるまで、この操作を反復する。
その結果、比率が前記所定値を超えたら、ステップ230へ進み、そのときの(何度かR倍された)露光時間を、そのバンドの露光時間として設定する。
【0030】
再び、図2のフローチャートにもどり、ステップ120において、撮影条件が決定されたら、ステップ130へ進み、上で決定された撮影条件(露光時間)をマルチバンドカメラ12に設定して、この撮影条件で各バンド毎に撮影を行い、マルチバンド画像を取得する。
なお、露光時間の設定は、画像全体における各バンドの平均値を判断して、バンド一様に露光時間を調節するようにしてもよい。このようにすれば、マルチバンド画像撮影における自動露光調整(AE)ということになる。
このように本実施形態によれば、マルチバンド画像撮影において、各バンド間でS/Nバランスのよい、自然な画像撮影が可能となる。
【0031】
以下、より具体的な実施例について説明する。
(実施例1)
マルチバンドカメラ12として、分光フィルタ部、CCDカメラ部及びこれらを制御するソフトウエアの組み込まれたコンピュータから構成されるマルチバンドカメラを用いた。
【0032】
ここに、分光フィルタ部は、CRI社製の液晶チューナブルフィルタ、Varispec Tunable Filter RS232C I/Fであり、これは、波長範囲400〜720nm、で中心波長を任意に選択可能であり、波長半値幅30nm、透過率6〜60%(波長に依存)である。また、CCDカメラは、DALSA社製CA−D4−1024A PCI I/F、モノクロで、ピクセル数1024×1024(pixel)、ピクセルサイズ12×12(μ)である。また、パーソナルコンピュータは、PROSIDE社製のブック型PC(Windows (登録商標)95)C++であり、CPUは166MHz、RAMは128Mbyteである。
【0033】
撮影条件は、光源としては、被写体照度9600lux のメタルハライドランプを用い、レンズはNikomart(f=50mm、 F1.4)で、F2.8を使用した。また、紫外及び赤外カットフィルタを用いて、400nm以下、及び730nm以上をそれぞれカットした。また、マルチバンド画像数は、波長範囲410〜710nmを波長間隔20nmで分割した、16バンドである。
また、被写体10は、マクベスチャートを用いた。
【0034】
このような条件で、まず予備撮影(プレ撮影)を、各バンド25msecの露出で撮影を行った。そして、画像中にある標準白色部(マクベスチャートグレイ6段中の白色部)の各バンドの出力値を得た。
なお、これは、一般的には、標準白色チャート(分光反射率既知)のものを得られないので、最明点(最も各バンドの出力値の総和の大きい点)の出力値、LATD的に画像の平均値を参照してもよい。
【0035】
次に、上で得られた標準白色部の各バンドの出力値(得られている強度)の最大値に対する比率が所定値1/R(ここでR=10)となるバンドを検出した。
そして、検出されたバンドに対し、露光時間をR倍して設定した。この場合、R倍した出力値の前記最大値に対する比率が、なお所定値1/R以下であればこの操作を反復するようにした。
【0036】
このようにして、露光時間を設定し、この条件で本撮影を行った。このように各バンドの露光時間比率を設定することは、マルチバンド画像撮影におけるオートホワイトバランス(AWB)であるといえる。
なお、露光時間の設定において、より好ましくは、上で各バンドに対し、露光時間を設定する際、画像全体における各バンドの平均値を判断して、バンド一様に露光時間を調節してもよい。
【0037】
以上のように、R=10として設定した撮影においては、本手法によるものは410nmのバンドにおいて、10倍の露光時間が設定される。
撮影したマルチバンド画像から推定したCIELab値の画像を、富士写真フイルム社製PICTROGRAPHY 3000 によりハードコピー画像として再現した。
その結果得られた画像は、未設定のものに比べて、短波領域に起因すると考えられる黄/青系の雑音感が低下し、画質の向上が図れた。
【0038】
次に、本発明の第2実施形態について説明する。
以下説明する実施形態は、プレ撮影において、各バンドで得られる有効露光量を検出し、撮影バンド間で得られる有効露光量が一定値以内になるように、各バンドの撮影時間を調整することにより撮影条件を決定し、本撮影を行うものである。
【0039】
まず、有効露光量について説明する。
マルチバンドカメラでの撮影において、各バンドで得られる有効な露光量は、次のように表すことができる。すなわち、波長をλ、i番目のバンドの分光感度をSi(λ)、被写体の分光反射率をρ(λ)、光源の分光分布をE(λ)とし、αを比例定数とすると、i番目のバンドの有効露光量EEViは、次の式(1)のように表現される。
EEVi=α・∫E(λ)・ρ(λ)・Si(λ)dλ ・・・(1)
なお、ここでは単位時間での表記を行った。
【0040】
また、被写体の分光反射率が波長に依存しない無彩色の場合には、ρ(λ)=ρより、上記式(1)は、次の式(2)のようになる。
EEVi=α・ρ・∫E(λ)・Si(λ)dλ ・・・(2)
さらに、白色のチャートのように被写体の反射率が1に近い場合には、ρ≒1であり、式(2)は次の式(3)のようになる。
EEVi≒α・∫E(λ)・Si(λ)dλ ・・・(3)
【0041】
また、一般には、カメラの出力信号(O)は、カメラの受ける有効露光量(EEV)と関数関係があり、この関数はべき乗の関数で表現されることが多い。すなわち、有効露光量EEVの関数f(EEV)である出力信号O=f(EEV)は、EEVのγ乗に比例する。
特に、カメラの出力信号をテーブル変換処理することにより、べき指数γを1とすることにより、次の式(4)に示すように、取得される画像信号(出力信号O)が有効露光量EEVと直接比例関係を有するようにすることができる。
O=f(EEV)∝EEV ・・・(4)
【0042】
この式(4)からわかるように、カメラの出力信号Oに対して、fの逆変換であるテーブル変換処理f-1を施すことにより有効露光量EEVとしての画像信号を得ることができる。すなわち、模式的に書けば、
カメラの出力信号 → テーブル変換処理f-1 → 画像信号
となる。以下説明する本実施形態では、このような手段を設け、マルチバンドカメラの各バンドでの取得画像データが有効露光量に比例するようになっているものとする。
また、べき乗指数γの調整機能を有するカメラを使用すれば、γ=1と調整することにより上記式(4)の関係を得ることができる。
【0043】
また一般に、撮像系のS/N比は、撮影で得られる光量(ここでの有効露光量)の関数となり、有効露光量の増加に伴い増加する関数となる(有効露光量の平方関数でモデル化することもできる。)。
以上のことから、マルチバンドカメラ撮影において、各バンドでのS/N比が揃った画像取得を行うためには、基準白色板等分光反射率が略一定の被写体を撮影した際に、各バンドで得られる有効露光量を一定範囲内に制御すれば良いことになる。また、マルチバンドカメラから得られる信号値を一定範囲内に制御すれば良いことになる。
【0044】
この制御は、エネルギーの分光分布において波長方向の特性が略一様な光源下においては、結果としてカメラのバンド間の感度バランスを揃える制御であると言い換えることもできる。また、蛍光灯光源等エネルギーの分光分布において波長方向の特性変化が大きい光源下においては、バンド間の有効露光量全体に対するバランスを制御することになる。
以上の説明は、単位時間に対してのものであったが、時間次元を含めて考えると、各バンドの撮影時に得られる有効露光量は、上記式(1)、(2)、(3)のEEViを撮影時間ΔTに渡って積分して、あるいはEEViと撮影時間ΔTの積として表せる。よって、各バンドの撮影時間ΔTiを調整することで有効露光量を調整することができる。
【0045】
図4は、本実施形態のマルチバンド画像撮影方法を実行するマルチバンド画像撮影装置の概略を示すブロック図である。
図4に示すように、本実施形態のマルチバンド画像撮影装置101は、被写体110を撮影してマルチバンド画像データとして取り込むマルチバンドカメラ112、予備撮影によって得られた撮影データから各バンド間の出力値バランスを検出するバンド間出力値バランス検出装置114、検出された各バンド間の出力値バランスに基づいて撮影条件を決定する撮影条件決定装置116、予め作成された、画像出力値と有効露光量が比例関係を有するような変換テーブルを記憶しておく記憶装置118及び本撮影によって得られた画像出力値を上記変換テーブルを用いて有効露光量に変換する変換装置120を有して構成される。
【0046】
マルチバンドカメラ112は、上記第1実施形態におけるものと同様であり、特に限定されるものではない。
バンド間出力値バランス検出装置114、撮影条件決定装置116、記憶装置118及び変換装置120は具体的にはコンピュータにより構成される。
バンド間出力値バランス検出装置114は、被写体110に含まれる標準白色を撮影して得られた各バンド(チャンネル)の出力値が最大値になるようなバンドに対する各バンドの出力値の比率1/Riを求めるものである。
撮影条件決定装置116は、検出された比率1/Riの各チャンネルの露光時間を、最大値となるチャンネルの露光時間をRi倍して設定するものである。
また、記憶装置118は、予め作成された画像出力値と有効露光量との関係が比例関係となるような変換テーブルを記憶しておくものであり、変換装置120は、上で決定された撮影条件で本撮影を行って得られた画像出力値をこの変換テーブルを用いて有効露光量に変換するものである。
【0047】
以下、本実施形態の作用を図5のフローチャートに沿って説明する。
まず、ステップ300において、予め画像出力値と有効露光量との関係が比例関係となるような、画像出力値と有効露光量の変換テーブルを作成し、これを記憶装置118に記憶しておく。
次に、ステップ310において、マルチバンドカメラ112により被写体110を各バンドについて予備撮影を行う。これにより、例えば被写体110中にある標準白色部の各バンドの出力値を得る。予備撮影によって得られた撮影データ(各バンドの出力値)は、マルチバンドカメラ112からバンド間出力値バランス検出装置114に送られる。
【0048】
次に、ステップ320において、バンド間出力値バランス検出装置114において各バンド間出力値バランスを検出する。バンド間出力値バランス検出装置114は、予備撮影によって得られたマルチバンド画像を受け取ると、被写体110中の標準白色部の各バンドの出力値が最大値となるようなバンドを求め、これに対する各バンドの出力値の比率1/Riを算出する。
【0049】
次に、ステップ330において、撮影条件決定装置116において、本撮影の撮影条件を決定する。撮影条件決定装置116は、最大値となるバンドに対する各バンドの出力値の比率が1/Riであるとき、このバンド(チャンネル)の露光時間を、最大値となるバンドの露光時間のRi倍として決定する。
決定した露光時間はマルチバンドカメラ112に設定され、これにより次のステップ340において本撮影が行われる。
【0050】
本撮影により得られた画像出力値は、次のステップ350において、変換装置120に送られ、記憶装置118に記憶されている画像出力値と有効露光量の変換テーブルを用いて有効露光量に変換される。
本実施形態のように、画像出力値と有効露光量の変換テーブルを含む処理系においては、画像出力値の制御が直接的に有効露光量の制御となり、直接的な制御が可能となる。
【0051】
以下、より具体的な実施例について説明する。
(実施例2)
実際に実施するに当たり、図6に示すような実験用照明ブース20を作成した。図6(a)は、ブース20の正面図であり、図6(b)は、ブース20の側面図である。図に示すように、ブース20の上方に蛍光灯22を平行に並べて配置し、その下に拡散板24を配置した。ブース20内下部には、被写体26を斜めに配置して、上から拡散板24を通した蛍光灯22による照明を受けた被写体26を正面から撮影するようにした。
【0052】
マルチバンドカメラ112としては、分光フィルタ部、CCDカメラ部及びこれらを制御するソフトウエアの組み込まれたコンピュータから構成される前述した実施例1と同様のマルチバンドカメラを用いた。
撮影条件は、光源としては、本実施例2では東芝演色改良型N−DSL、この蛍光灯を図6(b)に示すように照明ブース20に8本設置した。被写体照度は3000Lux であった。
その他の撮影条件は、前述した実施例1と同様であり、マルチバンド画像数は16バンド、被写体はマクベスチャートである。
【0053】
図5に示したフローチャートに沿って撮影を行った。
すなわち、予め画像出力値と有効露光量の変換テーブルを用意し、各バンド撮影時間100msecの露出でプレ撮影を行った。これにより、画像中にある標準白色( マクベスチェッカ、グレイ6段中の白色部)の各バンドの出力値を得た。
なお、このとき、一般的には標準白色チャート(分光反射率既知)のものを得られないので、最明点(最も各チャンネルの出力値の総和の大きい点)の出力値、LATD的に画像の平均値を参照してもよい。
【0054】
プレ撮影によって得られた標準白色部の各チャンネルの出力値(得られている強度)が最大値になるようなバンドに対する各バンドの出力値の比率1/Riを算出した。各チャンネルに対し、各チャンネルの最大値に対する露光時間をRi倍してこれを各チャンネルの撮影時間(露光時間)として設定し、これによって本撮影を行った。
本撮影によって得られた画像出力値に対し、予め用意しておいた変換テーブルを用いて変換を行い、有効露光量に変換した。
これによりマルチバンド画像撮影において、各バンド間でS/Nバランスの用自然な画像撮影を行うことができた。
【0055】
次に本発明の第3実施形態について説明する。
本実施形態は、前述した第2実施形態のように画像出力値と有効露光量の変換テーブルをもたない場合、画像出力値と有効露光量という両物理量間は非線型になるが、バンド間の出力値の大小関係を用いた反復制御によって有効露光量を一定範囲内に調整するものである。
通常のカメラのγは、モニタのγの2.2乗の逆数になるように設定されている場合がある。例えば、出力値Oiと有効露光量EEViとは次の式(5)のような関係がある。
Oi=255・((EEVi−0.001)/0.999)0.45 ・・・(4)
このため、バンド間の値を直接反映させる場合には、過補正になることはない(アンダー気味の補正)。
【0056】
図7に、本実施形態のマルチバンド画像撮影方法を実行するマルチバンド画像撮影装置の概略を示すブロック図である。
図4に示すように、本実施形態のマルチバンド画像撮影装置201は、被写体210を撮影してマルチバンド画像データとして取り込むマルチバンドカメラ212、予備撮影によって得られた撮影データから各バンド間の出力値バランスを検出するバンド間出力値バランス検出装置214及び検出された各バンド間の出力値バランスに基づいて撮影条件を決定する撮影条件決定装置216を有して構成される。
【0057】
マルチバンドカメラ212は、上記第1実施形態におけるものと同様であり、特に限定されるものではない。
バンド間出力値バランス検出装置214、撮影条件決定装置216は具体的にはコンピュータにより構成される。
バンド間出力値バランス検出装置214は、被写体210に含まれる標準白色を撮影して得られた各バンド(チャンネル)の出力値が最大値になるようなバンドに対する各バンドの出力値の比率1/Riを求めるものである。
撮影条件決定装置216は、検出された比率1/Riの各チャンネルの露光時間を、最大値となるチャンネルの露光時間をRi倍して設定するものである。
【0058】
以下、本実施形態の作用を図8のフローチャートに沿って説明する。
まず、ステップ500において、マルチバンドカメラ212により被写体210を各バンドについて予備撮影を行う。これにより、例えば被写体210中にある標準白色部の各バンドの出力値を得る。予備撮影によって得られた撮影データ(各バンドの出力値)は、マルチバンドカメラ212からバンド間出力値バランス検出装置214に送られる。
【0059】
次に、ステップ510において、バンド間出力値バランス検出装置214において各バンド間出力値バランスを検出する。バンド間出力値バランス検出装置214は、予備撮影によって得られたマルチバンド画像を受け取ると、被写体210中の標準白色部の各バンドの出力値が最大値となるようなバンドを求め、これに対する各バンドの出力値の比率1/Riを算出する。
【0060】
次に、ステップ520において、撮影条件決定装置216において、本撮影の撮影条件を決定する。上述したように本実施形態では画像出力値と有効露光量の変換テーブルをもたないため、この撮影条件の決定は反復制御によって行われる。反復制御は、前述した第1実施形態における図3に示すフローチャートと同様の流れに沿って行われる。
すなわち、プレ撮影によって得られた被写体中の標準白色部の各チャンネルの出力値(得られている強度)が最大値に対してある比率1/Ri以下のチャンネルを検出し、検出されたチャンネルに対して、露光時間をRi倍して設定する。そしてRi倍された露光時間で再度プレ撮影を行い、出力値の比率が1/Riより大となるまで、繰り返し露光時間をRi倍しプレ撮影を繰り返し、各チャンネルがこれを満たすまでこの操作を行う。このようにして露光時間が決定される。
【0061】
決定した露光時間はマルチバンドカメラ212に設定され、これにより本撮影が行われる。
露光時間の設定においては、画像全体における各バンドの平均値を判断して、バンド一様に露光時間を調節するようにしてもよい。
【0062】
以下、より具体的な実施例について説明する。
(実施例3)
実際に実施するに当たり、本実施例においても図6に示す実験用照明ブース20を用いた。
マルチバンドカメラ212としては、分光フィルタ部、CCDカメラ部及びこれらを制御するソフトウエアの組み込まれたコンピュータから構成される前述した実施例1と同様のマルチバンドカメラを用いた。
撮影条件は、光源としては、上記実施例2と同様であり、東芝演色改良型N−DSL、この蛍光灯を図6(b)に示すように実験用照明ブース20に8本設置した。被写体照度は3000Lux であった。
その他の撮影条件は、前述した実施例1と同様であり、マルチバンド画像数は16バンド、被写体はマクベスチャートである。
【0063】
上で図8のフローチャートを用いて説明したのと同様の方法で撮影を行った。
すなわち、まず各バンド100msecの撮影時間でプレ撮影を行い、画像中にある標準白色部(マクベスチェッカ、グレイ6段中の白色部)の各バンドの出力値を得た。
そして、上で得られた標準白色部の各バンド(チャンネル)の出力値(得られている強度)が最大値に対して、ある比率1/R以下となるバンドを検出する。この検出されたバンドに対し、露光時間をR倍して設定し、再度プレ撮影を行い、得られた出力値が最大値に対して、ある比率1/Rより大になるまでこの操作を繰り返す。
【0064】
このようにして設定された撮影時間により本撮影を行った。
本実施例の場合には、画像出力値と有効露光量の変換テーブルは存在しないが、このようにバンド間の出力値の大小関係を用いて反復的制御を行うことにより、有効露光量を一定範囲内に調整することが可能となった。
また、上記各実施例において得られた画像は、露光時間を上のように設定しない未設定のものに比べ、短波長領域起因と考えられる黄/青系の雑音感が低下し、画質の向上が図られた。さらに、長波長領域起因に相当する赤色系の雑音感の向上も図られた。
【0065】
また、以上説明したようなマルチバンド画像撮影方法をコンピュータ等に実行させるソフトウエアをプログラムに組んでおけば、このプログラムを任意のコンピュータ等にインストールすることにより、マルチバンドカメラとこのコンピュータを組み合わせて、本発明のマルチバンド画像撮影方法を簡単に実行することができる。
【0066】
以上、本発明のマルチバンド画像撮影方法及び装置及びプログラムについて、詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【0067】
【発明の効果】
以上、説明した通り、本発明によれば、マルチバンド画像撮影においても、各バンド間でS/Nバランスのよい、自然な画像撮影を行うことが可能となる。
【図面の簡単な説明】
【図1】 本発明に係るマルチバンド画像撮影方法を実行するマルチバンド画像撮影装置の第1実施形態の概略を示すブロック図である。
【図2】 第1実施形態のマルチバンド画像撮影方法の処理の流れを示すフローチャートである。
【図3】 撮影条件として、露光時間の設定方法を示すフローチャートである。
【図4】 本発明の第2実施形態のマルチバンド画像撮影方法を実行するマルチバンド画像撮影装置の概略を示すブロック図である。
【図5】 第2実施形態のマルチバンド画像撮影方法の処理の流れを示すフローチャートである。
【図6】 実施例2及び3で用いる実験用照明ブースの(a)は正面図、(b)は側面図である。
【図7】 本発明の第3実施形態のマルチバンド画像撮影方法を実行するマルチバンド画像撮影装置の概略を示すブロック図である。
【図8】 第3実施形態のマルチバンド画像撮影方法の処理の流れを示すフローチャートである。
【符号の説明】
1、101、201 マルチバンド画像撮影装置
10、26、110、210 被写体
12、112、212 マルチバンドカメラ
14、114、214 バンド間感度バランス検出装置
16、116、216 撮影条件決定装置
20 実験用照明ブース
22 蛍光灯
24 拡散板
118 記憶装置
120 変換装置

Claims (15)

  1. 被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影するマルチバンド画像の撮影の際、
    本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、
    前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出し、
    前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては前記第2の比率に基づいて撮影条件を決定し、
    前記決定された撮影条件により本撮影を行うことを特徴とするマルチバンド画像撮影方法。
  2. 被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影するマルチバンド画像の撮影の際、
    本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、
    前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出し、
    前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率に基づいて撮影条件を決定し、
    前記決定された撮影条件により本撮影を行い、
    得られた画像出力値を、予め用意された、撮影画像の画像出力値と撮影の際の有効露光量が比例関係を有するような変換テーブルにより有効露光量に変換して出力することを特徴とするマルチバンド画像撮影方法。
  3. 前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率が所定値を超えるまで、前記所定値の逆数倍を繰り返すことを特徴とする請求項1又は2に記載のマルチバンド画像撮影方法。
  4. 前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記予備撮影時の露光時間を前記所定値の逆数倍して、前記露光量調整のための露光時間を決定する、
    ことを特徴とする請求項1又は2に記載のマルチバンド画像撮影方法。
  5. 前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率が前記所定値を超えるまで、前記予備撮影時の露光時間に対して、前記所定値の逆数倍を繰り返して、前記露光量調整のための露光時間を決定する、
    ことを特徴とする請求項3に記載のマルチバンド画像撮影方法。
  6. 前記各バンドの出力値が、画像中にある標準白色部における出力値、又は最明点の出力値に基づくものである、
    ことを特徴とする請求項1〜5のいずれかに記載のマルチバンド画像撮影方法。
  7. 前記各バンドの出力値が、画像全体における出力値の平均値に基づくものである、
    ことを特徴とする請求項1〜5のいずれかに記載のマルチバンド画像撮影方法。
  8. 被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影する撮影手段と、
    前記撮影手段によって本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出する検出手段と、
    前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率に基づいて撮影条件を決定する撮影条件決定手段と、
    を備えたことを特徴とするマルチバンド画像撮影装置。
  9. 被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影する撮影手段と、
    前記撮影手段による撮影画像の画像出力値と撮影の際の有効露光量が比例関係を有するように予め作成された変換テーブルを記憶する記憶手段と、
    前記撮影手段によって本撮影に先立って行われる予備撮影により得られる撮影データから前記各バンドの出力値とこれら出力値のうちの最大の出力値との比率である第1の比率を前記各バンドごとに算出し、前記第1の比率が所定値以下の前記バンドについては、前記第1の比率を前記所定値の逆数倍して新たに第2の比率を算出する検出手段と、
    前記第1の比率が前記所定値を超えた前記バンドについては、前記第1の比率に基づいて撮影条件を決定し、また、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率に基づいて撮影条件を決定する撮影条件決定手段と、
    前記決定された撮影条件により本撮影を行い、得られた画像出力値を前記変換テーブルにより有効露光量に変換する変換手段と、
    を備えたことを特徴とするマルチバンド画像撮影装置。
  10. 前記第1の比率が前記所定値以下の場合、前記第2の比率が所定値を超えるまで、前記所定値の逆数倍を繰り返すことを特徴とする請求項8又は9に記載のマルチバンド画像撮影装置。
  11. 前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記予備撮影時の露光時間を前記所定値の逆数倍して、前記露光量調整のための露光時間を決定する、
    ことを特徴とする請求項8又は9に記載のマルチバンド画像撮影装置。
  12. 前記撮影条件が露光時間であり、前記第1の比率が前記所定値以下の前記バンドについては、前記第2の比率が前記所定値を超えるまで、前記予備撮影時の露光時間に対して、前記所定値の逆数倍を繰り返して、前記露光量調整のための露光時間を決定する、
    ことを特徴とする請求項11に記載のマルチバンド画像撮影装置。
  13. 前記各バンドの出力値が、画像中にある標準白色部における出力値、又は最明点の出力値に基づくものである、
    ことを特徴とする請求項8〜12のいずれかに記載のマルチバンド画像撮影装置。
  14. 前記各バンドの出力値が、画像全体における出力値の平均値に基づくものである、
    ことを特徴とする請求項8〜12のいずれかに記載のマルチバンド画像撮影装置。
  15. コンピュータを、請求項8〜14のいずれかに記載の検出手段及び撮影条件決定手段として動作させるためのプログラム。
JP2003134744A 2002-08-30 2003-05-13 マルチバンド画像撮影方法及び装置及びプログラム Expired - Fee Related JP4191531B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003134744A JP4191531B2 (ja) 2002-08-30 2003-05-13 マルチバンド画像撮影方法及び装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002252887 2002-08-30
JP2003134744A JP4191531B2 (ja) 2002-08-30 2003-05-13 マルチバンド画像撮影方法及び装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2004147287A JP2004147287A (ja) 2004-05-20
JP2004147287A5 JP2004147287A5 (ja) 2006-05-11
JP4191531B2 true JP4191531B2 (ja) 2008-12-03

Family

ID=32472825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003134744A Expired - Fee Related JP4191531B2 (ja) 2002-08-30 2003-05-13 マルチバンド画像撮影方法及び装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4191531B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114530A (ja) 2003-10-07 2005-04-28 Olympus Corp 画像表示装置及び画像表示方法
JP4112469B2 (ja) * 2003-10-07 2008-07-02 オリンパス株式会社 マルチバンドカメラの制御装置及び制御方法
CN114666511B (zh) * 2022-03-18 2023-11-14 优尼科(青岛)微电子有限公司 一种可调谐光谱相机上自动获取最优曝光值的方法及装置

Also Published As

Publication number Publication date
JP2004147287A (ja) 2004-05-20

Similar Documents

Publication Publication Date Title
US8004577B2 (en) Multi-band image photographing method and apparatus, and program for executing the method
US10165242B2 (en) Image-capturing method and image-capturing device
US7084907B2 (en) Image-capturing device
US9148578B2 (en) Image capture apparatus, control method thereof, and recording medium
US8780232B2 (en) System and method for analyzing a digital image
JP5377691B2 (ja) オートホワイトバランスを備える画像処理装置
EP2426928B1 (en) Image processing apparatus, image processing method and program
US8629919B2 (en) Image capture with identification of illuminant
US8773551B2 (en) Signal processing apparatus, solid-state image capturing apparatus, electronic information device, signal processing method, control program and storage medium
US8502881B2 (en) Image processing apparatus, image processing method, and electronic camera
JPH10243415A (ja) デジタル・カメラおよび色バランスを調整するための方法
US20120281108A1 (en) Image processing apparatus and image processing method
US20110205392A1 (en) Image capture device
US9036046B2 (en) Image processing apparatus and method with white balance correction
JP4544308B2 (ja) 画像処理装置、撮像装置、方法およびプログラム
JP2003234955A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2003234950A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2003235050A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP4191531B2 (ja) マルチバンド画像撮影方法及び装置及びプログラム
JP2003333616A (ja) ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体
JP5791274B2 (ja) 画像処理装置、方法及びプログラム
US8866925B2 (en) Image sensor compensation
US8547447B2 (en) Image sensor compensation
JP5600580B2 (ja) 画像処理装置、及び撮像装置
JP2015192179A (ja) ホワイトバランス調整装置、撮影装置およびホワイトバランス調整方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060303

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4191531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees