[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2006238093A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2006238093A
JP2006238093A JP2005050212A JP2005050212A JP2006238093A JP 2006238093 A JP2006238093 A JP 2006238093A JP 2005050212 A JP2005050212 A JP 2005050212A JP 2005050212 A JP2005050212 A JP 2005050212A JP 2006238093 A JP2006238093 A JP 2006238093A
Authority
JP
Japan
Prior art keywords
wavelength
visible light
light
infrared light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005050212A
Other languages
English (en)
Other versions
JP4839632B2 (ja
Inventor
Hirobumi Sumi
博文 角
Atsushi Toda
淳 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005050212A priority Critical patent/JP4839632B2/ja
Priority to US11/358,885 priority patent/US7531781B2/en
Publication of JP2006238093A publication Critical patent/JP2006238093A/ja
Application granted granted Critical
Publication of JP4839632B2 publication Critical patent/JP4839632B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • G02B5/281Interference filters designed for the infrared light
    • G02B5/282Interference filters designed for the infrared light reflecting for infrared and transparent for visible light, e.g. heat reflectors, laser protection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • G02B5/285Interference filters comprising deposited thin solid films
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14649Infrared imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685Process for coatings or optical elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】撮像装置において、カラー画像と赤外光像を、分離性能を良好にしつつ、独立かつ同時に取得できるようにする。
【解決手段】波長分離光学系104に、光透過性の基板105aの表面に誘電体を蒸着させて形成した多層薄膜によって構成される光学フィルタ105bを有するミラー105を用いる。波長分離光学系104で反射した赤外光IRを検知する赤外光撮像部110に、赤外光IRの検知に最適化された、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する構造のイメージセンサ112_IR+VLを用いる。波長分離光学系104を透過した可視光VLを検知する可視光撮像部120に、可視光VLの検知に最適化された、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する構造のイメージセンサ122_VL+IRを用いる。
【選択図】図21

Description

本発明は、撮像装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な物理量分布検知の半導体装置を利用した固体撮像装置などへの適用に好適な信号取得技術に関する。
特に、たとえば可視光成分と可視光以外の波長成分(たとえば赤外光)とを独立して撮像するなど、複数の波長成分の各像を独立して取得する仕組みに関する。
光や放射線などの外部から入力される電磁波などの物理量変化に対して感応性をする単位構成要素(たとえば画素)をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
たとえば、映像機器の分野では、物理量の一例である光(電磁波の一例)の変化を検知するCCD(Charge Coupled Device )型あるいはMOS(Metal Oxide Semiconductor )やCMOS(Complementary Metal-oxide Semiconductor )型の固体撮像装置が使われている。これらは、単位構成要素(固体撮像装置にあっては画素)によって電気信号に変換された物理量分布を電気信号として読み出す。
たとえば、固体撮像装置は、デバイス部の撮像部(画素部)に設けられている光電変換素子(受光素子;フォトセンサ)であるフォトダイオードにて、光や放射線などの外部から入力される電磁波を検知して信号電荷を生成・蓄積し、この蓄積された信号電荷(光電子)を、画像情報として読み出す。
また最近では、可視光による像と赤外光による像を撮像する仕組みが提案されている(たとえば特許文献1〜7を参照)。たとえば赤外線の発光点を予め用意してそれを追跡することで、可視光の像の中にある赤外光の発光点の位置を検出することができる。また可視光のない、たとえば夜間においても赤外光を照射して撮像することで鮮明な像を得ることができる。さらに、可視光に加えて赤外光を取り入れることで感度を向上させることができる。
特開2004−103964号公報 特開平10−210486号公報 特開2002−369049号公報 特開平06−121325号公報 特開平09−166493号公報 特開平09−130678号公報 特開2002−142228号公報
特許文献1に記載の仕組みは、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する単板式のものである。
また特許文献2〜4に記載の仕組みは、入射光学系に波長分離用のミラーやプリズムなどの波長分離光学系を使い、可視光と赤外光を個別の撮像素子で受光する多板式のものである。
たとえば、特許文献2では、赤外線照射装置より出射した赤外線を被写体に照射するとともに、撮像部においては、被写体からの入射光のうち、赤外線をコールドミラーで反射して一方のセンサに入射させる。また、コールドミラーを透過した可視光成分をさらに3枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させるようにしている。可視光側については、従来の3板方式に類似しており、R,G,Bの波長領域で分光を行ない、それぞれの感度を得ることで画像を構築させるので、3つのセンサが必要になりコストが増大するものの、画素サイズを大きくできるので感度を向上させることができる。
また、特許文献3では、撮像レンズ系にアイリス絞りを設け、アイリス絞りの絞り羽に、波長領域が約770nm〜950nm(赤外波長領域)の光のみを透過する光学フィルタを用い、さらに、ダイクロイックミラーで可視光と赤外光を分離し、透過した可視光側には赤外光カットフィルタを通して、また反射した赤外光側には可視光カットフィルタを通して、すなわち光路上にて2段構えで波長分離を行ない、それぞれ個別のセンサに入射させることで、可視光像と赤外光像とを個別に取得するようにしている。絞り部で赤外線を吸収させる(もしくは反射)させる機能を持たせているのは、3次元計測用途であるためである。
また特許文献5に記載の仕組みは、入射光学系に回転式の波長分離光学系を使い、可視光と赤外光を同一の撮像素子で受光する単板式のものである。たとえば、赤外光カットフィルタの挿入/抜出を回転機構的に行ない、赤外光カットフィルタを挿入している場合は近赤外光および赤外光の影響のない可視光カラー画像を、赤外光カットフィルタを抜き出している場合は可視光および近赤外光の光強度を加算した画像を出力する。
また特許文献6に記載の仕組みは、入射光学系に波長分解機能を持つ絞り光学系を使い、可視光と赤外光を同一の撮像素子で受光するものである。
また特許文献7に記載の仕組みは、可視光および近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する4種類の色フィルタを規則的に配設し、4種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像および近赤外光画像をそれぞれ独立に求めるものである。
図23は、特許文献1に記載のセンサの仕組みを説明する図であって、図23(A)は半導体層の光吸収スペクトル特性を示す図、図23(B)は、デバイスの断面構造の模式図である。
この仕組みにおいては、Si(シリコン)半導体の光の吸収係数が図23(A)に示すように青,緑,赤,赤外光の順に小さくなる、すなわち入射光L1に含まれる青色光、緑色光、赤色光、および赤外光に関しては、半導体の深さ方向において波長による場所依存性を呈することを利用して、図23(B)に示すように、Si半導体の表面から深さ方向に可視光(青,緑,赤)および赤外光の各色光を検出するための層を順次設けている。
しかしながら、波長による吸収係数の違いを利用した特許文献1に記載の仕組みでは、理論上検知できる光量が低下しないが、青色光を検知する層では赤色光や緑色光が通過するときにある程度吸収を受けるためにそれらの光が青色光として検知されてしまう。このために、青の信号が本来ない場合でも緑や赤の信号が入ることで青にも信号が入り偽信号が生じてしまうことになるので、十分な色再現性を得られない。
また、図23(A)に示すように、殆どの半導体は赤外光に対して吸収感度を有する。したがって、たとえばSi半導体を用いた固体撮像装置(イメージセンサ)などにおいては通常、減色フィルタの一例としてガラス製の赤外線カットフィルタをセンサの前に入れる必要がある。よって、赤外光のみ、あるいは可視光と赤外光を信号として受け取って撮像するためには、赤外線カットフィルタを外すか、赤外光のカットする割合を低くする必要がある。
ところが、このようにすると、赤外光が可視光に混じって光電変換素子に入射することになるので、可視光の像の色合いが本来のものとは異なることになる。したがって、可視光の像と赤外光のみ(または赤外光と可視光の混合)を同時に分けて各々適切な画像を得ることが困難である。
また上述の課題とは別に、通常の固体撮像装置のように赤外線カットフィルタを用いることによって、可視光も幾らかカットされるので感度が落ちることになる。また赤外線カットフィルタを用いることによってコストが高くなる。
一方、特許文献2〜4に記載の仕組みは、波長分離用のミラーやプリズムなどの波長分離光学系のための比較的大がかりな入射光学系を使用しているが、特に特許文献2,4では、その分離性能には限界がある。よって、分離した赤外光側には可視光成分が僅かに含まれ、また分離した可視光側には赤外光成分が僅かに含まれてしまい、それぞれ残留成分による偽信号が生じてしまうことになるので、可視光像は十分な色再現性を得られないし、赤外光像には不要な可視光像の成分が現われてしまう。
一方、特許文献3では、ダイクロイックミラーで可視光と赤外光を分離し、透過した可視光側には赤外光カットフィルタを通して、また反射した赤外光側には可視光カットフィルタを通すことで、光路上(入射系)にて2段構えで波長分離を行なうので、特許文献2,4の仕組みよりも波長分離性能は向上するが、光学系がかなり大掛かりとなりコストがアップする問題がある。
また特許文献5に記載の仕組みは、赤外光カットフィルタの挿入/抜出機構のため、装置が大がかりとなるし、赤外光カットフィルタの操作は自動的に行なえない。
また特許文献6に記載の仕組みは、波長分解機能を持つ絞り光学系のため、装置が大がかりとなる。加えて、赤外光像(赤外線画像)と可視光像(可視光線画像)の両方を同時に得ることができるものの、イメージセンサからは、この可視光像および赤外光像を合成した電気信号しか出力できず、可視光像のみあるいは赤外光像のみを出力することができない。
これに対して、特許文献7に記載の仕組みは、4種類の色フィルタを配設することで波長分離を行なうので、特許文献2〜6のような入射光学系が大がかりとなる問題がないものの、演算処理に問題がある。すなわち、特許文献7に記載の仕組みは、別個のフィルタ特性を有する4種類の色フィルタを配設した各画素の出力をマトリクス演算することで、可視光カラー画像および近赤外光画像をそれぞれ独立に求めるので、可視光像と赤外光像とを個別かつ同時に出力できるものの、その分離性能には限界がある。よって、特許文献2〜4に記載の仕組みと同様に、分離取得した可視光像は十分な色再現性を得られないし、赤外光像には不要な可視光像の成分が現われてしまう。
本発明は、上記事情に鑑みてなされたものであり、上述した問題の少なくとも1つを解決し得る新たな仕組みを提供することを目的とする。特に、波長分離用の光学系を大幅に大きくすることなく、可視光像における色再現性をさらに改善し得る仕組みや赤外光像における可視光像成分の抑制をさらに改善し得る仕組みを提供することを目的とする。
一例として、色再現性の良好な可視光カラー画像および可視光成分が殆ど現われない近赤外光画像を独立に得る新たな仕組みの撮像装置を提供する。また、他の例として、可視光像と赤外光像を同時に撮像する場合に、赤外光カットフィルタを外すことによる色合いが本来のものと異なる点を解決することで、色合いが正確なすなわち色再現性の良好な可視光像と赤外光や紫外光などの不可視光による像(不可視光像)を同時に撮像することができる仕組みを提供する。また他の例として、通常のイメージセンサのように厚みのあるガラス製の赤外線カットフィルタを用いることによるコストが高くなる点を解決することができる仕組みを提供する。
本発明に係る撮像装置は、像を担持する電磁波を複数の波長に分ける波長分離部と、波長分離部によって分波された各波長の像を検知する複数の撮像部とを備えた撮像装置であって、複数の撮像部の内の少なくとも一方に、本来の検知目的の波長成分の検知に適正化された検知部を設けるようにした。
ここで、“本来の検知目的の波長成分の検知に適正化された検知部を設ける”とは要するに、その撮像部においても波長分離を行なうようにするということである。
つまり、本発明に係る撮像装置は、各撮像部への入射系において先ず波長分離を行なうとともに、撮像部においても、少なくとも一方に関して波長分離を行なうように、波長分離を複数段備えた構成とする点に特徴を有している。
また従属項に記載された発明は、本発明に係る撮像装置のさらなる有利な具体例を規定する。
たとえば、各撮像部への入射系において波長分離を行なう波長分離部に関しては、その分離性能がよりよいものを使用する。一例としては、電磁波に対して透過性を有する所定の基板上に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の複数の波長の内の一方を反射させ他方を通過させる特性を持った積層部材が形成されている分光フィルタを使用するのがよい。
つまり、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った積層部材を検知部の電磁波が入射する入射面側に設ける。
あるいは、所定の厚さの単層膜を利用して波長分離を行なうようにしてもよい。単層膜を利用しても、その膜厚を変化させると、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持たせることができる。よって、この単層膜を利用した波長分離部材を検知部の電磁波が入射する入射面側に設けるとよい。
なお、“残り”とは、反射される反射波長領域成分を除く全ての波長成分を意味するものではなく、少なくとも、反射波長領域成分を事実上含まないものであればよい。“反射波長領域成分を事実上含まない”とは、反射波長領域成分の影響をほぼ全く受けないことを意味し、影響を若干受けることがあってもよい。通過波長側については反射波長領域の影響を無視可能な信号を取得できればよいからである。なお、反射波長領域についても、通過波長領域成分の影響を無視可能な信号を取得できればよい。
また、各撮像部において波長分離を行なう仕組みに関しては、たとえば、前述の積層部材や単層膜を利用した分光フィルタが受光部前面に一体的に形成された構造を持つ分光検知部を使用するのがよい。
あるいは、検知部をなす半導体の深さ方向における波長による吸収係数の違いを利用することで波長分離を行ない、他方の検知部の本来の検知目的以外の波長成分の影響を抑制しつつ、他方の検知部の本来の検知目的の波長成分を検知することが可能に構成されているものを使用してもよい。
後者の場合、本来の検知目的以外の波長成分をも検知できるので、その検知結果を使って、この検知部で検知される本来の検知目的の波長成分や、他方の検知部で検知される、その他方の検知部にとって本来の検知目的の波長成分を補正してもよい。
本発明によれば、各撮像部への入射系において先ず波長分離部で波長分離を行なうとともに少なくとも一方の撮像部においても波長分離を行なうように構成した。
波長分離を入射系と撮像系の各段で行なうことにより、波長分離性能を高めることができる。たとえば、赤外光の影響を受けない色合いが正確な可視光による像と、可視光による影響を受けない赤外光による像を同時に撮像することができる。
また、入射系のみにおいて複数段で波長分離を行なうよりも低コストになり、また装置構成をコンパクトにできる。
以下、図面を参照して本発明の実施形態について詳細に説明する。
<第1実施形態>
図1は、本発明に係る第1実施形態の撮像装置の概略構成を示す図である。この第1実施形態の撮像装置100は、可視光カラー画像および近赤外光画像を独立に得る撮像装置になっている。
具体的には、第1実施形態の撮像装置100は、被写体Zの像を担持する光Lを撮像部側に導光して結像させる撮影レンズ102と、撮影レンズ102を通して入射された光L1を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材(以下波長分離光学系という)104を備えている。
なお、波長分離光学系104は、像を担持する電磁波の一例である撮影レンズ102を通過した光を複数の波長に分ける波長分離部の一例である。つまり、撮像装置100は、入射系において波長分離を行なう構成を備えている。
また、第1実施形態の撮像装置100は、波長分離光学系104によって分離された赤外光IRを受光して赤外光像を撮像するイメージセンサ112を有する赤外光撮像部110と、波長分離光学系104によって分離された可視光VLを受光して可視光像を撮像するイメージセンサ122を有する可視光撮像部120と、赤外光撮像部110と可視光撮像部120のそれぞれから出力された各撮像信号SIR,SVを処理する撮像信号処理部130とを備えている。
このような構成によって、撮像装置100は、撮影レンズ102により赤外光IRを含む被写体Zを表わす光学画像を取り込み、波長分離光学系104によって赤外光像(近赤外光光学画像)と可視光像(可視光光学画像)とに分離するとともに、撮像信号処理部130によってこれら赤外光像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理(たとえばR,G,B成分への色信号分離など)を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
たとえば、撮影レンズ102は、波長380nm程度から2200nm程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら波長分離光学系104に入射させる。
ここで、第1実施形態の撮像装置100においては、波長分離光学系104を撮影レンズ102の光軸上に設け、入射された光から不可視光としての赤外光IRと可視光VLとを分離し、赤外光IRを全反射して赤外光撮像部110に入射させる一方で、可視光VLを透過させて可視光撮像部120に入射させるようにしている点に第1の特徴を有している。
具体的には、長波長側の赤外光IRを全反射し、赤外光IRより波長の短い成分である可視光VLの全波長領域成分を透過するミラー105を、光軸とたとえば45°の傾きを持って装着している。
ミラー105としては、その波長分離性能がよりよいものとするべく、石英またはサファイアあるいは高分子材料などの光学材料によって構成される光透過性の基板105aの表面に、誘電体を蒸着させて形成した多層薄膜(光干渉膜)によって構成される光学フィルタ105bを有するものを使用している。
詳細は後述するが、撮影レンズ102から出射される光学画像を取り込んで、これを光学フィルタ105bによる光の干渉と反射とによって、図示するように、2つの波長域、すなわち波長380nm程度から700nm程度の可視光VLと波長700nm程度から2200nm程度の赤外光IRとに分離し、これによって得られた赤外光像を赤外光撮像部110に入射させ、かつ可視光像を可視光撮像部120に入射させるようになっている。ミラー105を用いて赤外光IRを完全反射させるようにすることで、特許文献3で必要としていた赤外光IRを吸収させる絞りを不要にしている。
また、第1実施形態の撮像装置100においては、各撮像部110,120の少なくとも一方に、本来の検知目的の波長成分の検知に最適化された検知部(イメージセンサ)を設けるようにする点に第2の特徴を有している。特に、第1実施形態においては、可視光VLと赤外光IRの内の短波長側を検知する可視光撮像部120に、可視光VLの検知に最適化されたイメージセンサ122が設けられている。
ここで“最適化されたイメージセンサ”とは、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外が可能な限り含まれないようにするような波長分離対応の構造を持つことを意味する。
イメージセンサ側でも波長分離対応の構造を持つようにし、波長分離光学系104による光路上での波長分離と、イメージセンサによる波長分離の2段構えとすることで、光学系をコンパクトにすることを可能にしつつ、波長分離性能を向上させるようにする点に特徴を有している。
具体的には、詳細は後述するが、イメージセンサ122の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光(電磁波)の内の本来の検知目的外である波長成分(本例では赤外光IR成分)を反射させ残り(本例では可視光VL成分)を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ(分光検知部)11としている。センサの基本構造そのものは、CCD型やCMOS型やその他の何れであってもよい。
積層部材が持つ前述の特性は、逆に言えば、入射される光(電磁波)の内の本来の検知目的の波長成分(本例では可視光VL成分)を通過させ残り(本例では赤外光IR成分)を反射させる特性ということができる。
第1実施形態では、可視光VLの検知側に赤外光IR成分が漏れ込んだ場合に対する対応として、可視光撮像部120に、可視光VLの検知に最適化された誘電体積層膜を利用した分光イメージセンサ構造のイメージセンサ122を用いている。これにより、赤外光IRの影響を殆ど受けることなく、可視光像を赤外光像とは独立に得ることができる。
たとえば、波長分離光学系104により赤外光IRを赤外光撮像部110側に反射させ、可視光VLを可視光撮像部120側に透過させることで可視光VLを分光させると、可視光側の分光成分は、波長分離光学系104の分離能に依存して、可視光VLが主要な成分となるが、数%の赤外光IRが含まれてしまう。
そこで、誘電体積層膜を利用した分光イメージセンサ構造のイメージセンサ122を用いることで、漏れ込む赤外光IRを光学的に排除し、入射した可視光VL成分だけの光電子だけを電気信号に変換するようにする。
なお、本願出願人が特願2004−358139号にて提案している構成では、光路上で波長分離を行なうことなく、1つのイメージセンサ上の可視光検知画素(具体的にはR,G,Bの各色画素)に誘電体多層膜を利用した分光フィルタを一体的に形成し、赤外光検知画素には誘電体多層膜を利用した分光フィルタを形成しないことで、可視光像と赤外光像とを独立かつ同時に取得できるようにしていた。
この場合、斜め入射光による漏れが少なからず存在するので、互いに他方の漏れ成分の影響を受け、分離取得した可視光像は色再現性がその漏れ分だけ低下し、また赤外光像にはその漏れ分の可視光像成分が現われてしまう懸念が存在する。
これに対して、この第1実施形態では、可視光VLと赤外光IRをそれぞれ独立のイメージセンサ112,122で検知する構成としているので、斜め入射による漏れの影響を考慮する必要がなくなる。
このような第1実施形態の構造は、特許文献2,4のように、波長分離光学系で分離した各波長成分を、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光像とを個別に取得する構成とは異なる。第1実施形態の構成によれば、撮像系においても波長分離を行なって検知する構造を採ることにより、全体の波長分離性能を高めることができる。
また、特許文献2のように、コールドミラーを透過した可視光成分をさらに3枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させることで、可視光VLに関して、R,G,Bの個別の画像を取得する仕組みとも異なる。特許文献2の方式では、可視光VLについて3つのセンサが必要になり、感度向上はあるものの、コストが増大するという問題点がある。第1実施形態の構成ではこの問題がない。
また、特許文献3のように、光路上にて2段構えで波長分離を行ない、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光像とを個別に取得する構成とも異なる。特許文献3の方式では、光路上にて2段構えで波長分離を行なうので、光学系が大掛かりになる難点がある。加えて、感度やボケなどの問題も有する。第1実施形態の構成ではこの問題がない。
たとえば、本実施形態の構成では、可視光撮像部120による可視光VLの撮像において、減色フィルタの一例として赤外線カットフィルタをイメージセンサ122の前に入れる必要がなくなる。高価な赤外線カットフィルタを不要にすることで、コストを大幅に低減できる。また、厚みや重さのある赤外線カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外線カットフィルタの挿入/抜出機構が不要であり、装置が大がかりになることもない。既存のガラス製の赤外光カットフィルタを用いる場合に比べて、コスト的に有利になるし、コンパクトになって携帯性などに優れたデジタルカメラなどの撮像装置を提供することができる。
また、赤外線カットフィルタをイメージセンサ122の前に入れる構成では、ガラス基板をCCDやCMOSなどの撮像素子の前に入れることで光路の途中に空気とガラス界面が生じてしまう。したがって、透過して欲しい可視光VLの光までがその界面で反射されてしまい、感度低下を招く問題が生じる。さらにこのような界面が多くなることで、斜め入射における(ガラス内で)屈折する角度が波長によって異なり、光路の変化による焦点ぼけを引き起こす。これに対して、波長分離光学系104とイメージセンサ122との間に赤外光カットフィルタを用いないことで、このような波長による焦点ぼけがなくなる利点が得られる。
なお、さらに波長分離性能を向上させるために、光学系が大きくなってしまなどの問題が生じてしまうが、若干の赤外光IRが漏れて可視光撮像部120に入射する場合には、波長分離光学系104(ミラー105)と可視光撮像部120との間(可視光撮像部120の受光面側)に、全体に弱い赤外線カットフィルタを入れてもよい。たとえば50%以下の赤外線カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。
また、若干の可視光VLが漏れて赤外光撮像部110に入射する場合には、波長分離光学系104(ミラー105)と赤外光撮像部110との間(赤外光撮像部110の受光面側)に、全体に弱い可視光カットフィルタを入れてもよい。たとえば50%以下の可視光カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。
たとえば、光通信応用や赤外発光点を追跡することで位置検出するような応用など、可視光VLの影響をほぼ全く受けない赤外光IRだけの像を同時に撮像する応用を考えた場合、イメージセンサ112の受光面側に、少なくとも反射波長領域成分である赤外光IRを通過させるとともに、通過波長領域成分である可視光VLの内の所定の波長成分を通過させる色フィルタを入れてもよい。
たとえば、イメージセンサ112の受光面側に可視光カットフィルタを入れない場合、赤外光IRの検知側に可視光VL成分が漏れ込み、この漏れ込み成分の可視光像と本来の赤外光像とが混在して取得される。この混在した可視光像を排除して、可視光VLの影響の殆どない赤外光像を取得するには、たとえば、イメージセンサ122で取得される3つの色画素R,G,Bで検知される青、赤、緑の強度を減じる必要がある。
これに対して、たとえば、赤外光IRと緑色光とを通過させる緑色フィルタを可視光カットフィルタとして設けることで、イメージセンサ112からは赤外光IRと緑色の可視光LGの混在の成分が得られるが、イメージセンサ122から得られる可視光VLだけの緑色成分との差分を取ることで、可視光VL(ここでは緑色光G)の影響をほぼ全く受けない赤外光IRのみの像が得られる。緑色フィルタをイメージセンサ112の受光面側に設ける必要があるものの、緑色フィルタを設けずに3つの画素R,G,Bで検知される青、赤、緑の強度を減じる場合よりも処理が簡易になる。
また、赤外光IRを通過させ可視光VLのみを吸収するような黒色フィルタを可視光カットフィルタとして設けると、可視光VLをこの黒色フィルタで吸収させることで、イメージセンサ112からは赤外光IRのみの成分が得られ、差分処理を行なわなくても、可視光VLの影響をほぼ全く受けない赤外光IRのみの赤外光像が得られることになる。
<誘電体積層膜を利用した波長分離と撮像との関係について>
各イメージセンサ112,122の撮像面では、被写体Zの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から図示しない駆動回路へ出力されるセンサ駆動用のパルス信号によって制御される。
各イメージセンサ112,122から読み出された電荷信号、すなわち赤外光像を担持する赤外光撮像信号SIRと可視光像を担持する可視光撮像信号SVは撮像信号処理部130に送られ、撮像信号処理部130において所定レベルに増幅され、アナログ信号からデジタル信号に変換される。また、デジタルの画像信号はガンマ補正などの処理が施され、さらにR,G,Bの色分離信号に分離された後、輝度信号や色信号もしくはこれを合成した映像信号などに変換され出力される。
ここで、誘電体積層膜を利用したミラー105を波長分離光学系104に適用して、赤外光IRをカットし可視光VLのみを透過させ、赤外光IRと可視光VLとを個別のイメージセンサで受光する、つまり赤外光をカットしたりしなかったりすることで、可視光VLのみの撮像と赤外光IRのみの撮像、あるいは可視光VLのみの撮像と赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることができる。
昼間におけるモノクロ画像あるいはカラー画像の撮像時に赤外光IRの影響を受けず、また、夜間などにおいて、赤外光IRによる撮像が可能となる。必要に応じて、他方の像も同時に出力することもできる。その場合でも、昼間において、可視光VLの影響を受けない赤外光IRのみの画像を得ることができる。
たとえば赤外光IRの影響をほぼ全く受けない可視光VLのみのモノクロ画像が得られる。特開2002−142228号公報記載の仕組みとは異なり、赤外光IRの影響をほぼ全く受けない可視光VLのモノクロ画像を得るに際して、赤外光IRの成分との間での演算処理が不要である。
さらに、イメージセンサ122上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光VL領域において所定の波長透過特性を持つ色フィルタを画素(単位画素マトリクス)に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光VL領域中の特定波長領域のみの像が得られる。
また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光VL領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応(色別)のフォトダイオードに位置整合させて、規則的に配列することで、可視光VL領域を波長別(色別)に分離することができ、これらの色別の画素から得られる各画素信号に基づいて合成処理をすることで、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像(可視光カラー画像)が得られる。特開2002−142228号公報記載の仕組みとは異なり、赤外光IRの影響をほぼ全く受けない可視光VLのカラー画像を得るに際して、赤外光IRの成分との間での演算処理が不要である。
また、赤外光IR用のイメージセンサ112と可視光VL用のイメージセンサ122を用いることで、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。
赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像(モノクロ撮像もしくはカラー撮像)と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできる。また、可視光VLのみの成分(モノクロ像成分もしくはカラー像成分)と、赤外光IRと可視光VLとを混在させた成分との合成処理(詳しくは差分処理)により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。
なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域(可視光VL)の影響を無視可能な赤外画像(物理情報の一例)を取得できればよく、可視光VL側については反射波長領域成分(赤外光IR)の影響を無視可能な通常画像(物理情報の一例)を取得できればよい。
また、色フィルタは、可視光VL(波長λ=380〜780nm)の3原色である青色成分B(たとえば波長λ=400〜500nmで透過率が略1、その他で略ゼロ)、緑色成分G(たとえば波長λ=500〜600nmで透過率が略1、その他で略ゼロ)、赤色成分R(たとえば波長λ=600〜700nmで透過率が略1、その他で略ゼロ)を中心とする原色フィルタであってもよい。
あるいは、黄Ye(たとえば波長λ=400〜500nmで透過率が略ゼロ、その他で略1)、マゼンダMg(たとえば波長λ=500〜600nmで透過率が略ゼロ、その他で略1)、シアンCy(たとえば波長λ=600〜700nmで透過率が略ゼロ、その他で略1)など、可視光の3原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が3原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき信号処理が簡易になる利点がある。
また、透過率が“略1”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、原色系および補色系の何れも、通過波長領域成分である可視光VL領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜を利用したミラー105によって赤外光IR成分をカットするからである。
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばR,G,Bの各々に対して透過率が高くその他の色(たとえばRであればGやB)の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色(たとえばRであればGやB)の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、影響を受けない。
<誘電体積層膜を利用した波長分離の概念>
図2は、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を説明する図である。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。
誘電体積層膜1は、図2に示すように、隣接する層間で屈折率nj(jは2以上の正の整数;以下同様)が異なり(屈折率差Δn)、所定の厚みdjを持つ層を複数積層した構造を有する積層部材である。これによって、後述するように、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持つようになる。
誘電体積層膜1をなす各誘電体層1_jの層数の数え方は、その両側の厚い層(第n0層1_0および第k層1_k)を層数として数えずに、たとえば、第1層目から第k層側に向けて順に数える。実質的には、両側の厚い層(第0層1_0および第k層1_k)を除いて誘電体積層膜1が構成される。
このような構造を持つ誘電体積層膜1に光を入射させると、誘電体積層膜1での干渉により、反射率(あるいは透過率)が波長λに対してある依存性を持つようになる。光の屈折率差Δnが大きいほどその効果が強くなる。
特に、この誘電体積層膜1が、周期的な構造や、ある条件(たとえば各層の厚みdの条件d〜λ/4n)を持つことで、白色光などの入射光L1が入射すると、ある特定波長域の光(特定波長領域光)の反射率だけを効果的に高めて殆どを反射光成分L2にさせ、すなわち透過率を小さくさせて、かつ、それ以外の波長域の光の反射率を低くすることで殆どを透過光成分L3にさせる、すなわち、透過率を大きくさせることができる。
ここで波長λは、ある波長域の中心波長であり、nはその層の屈折率である。本実施形態では、この誘電体積層膜1による反射率(あるいは透過率)の波長依存性を利用することで、分光フィルタ10を実現する。
<誘電体積層膜を利用した分光フィルタの基本構成>
図3は、誘電体積層膜を利用したミラー105の適用に好適な分光フィルタ10の基本構成を説明する概念図である。ここで、図3は、赤外光IR(InfraRed)と可視光VL(Visible Light )とを分光する事例で示している。可視光VLよりも長波長側である赤外領域の波長λ(主に780nmより長波長側)の赤外光IRに対して、高い反射率を持たせるような誘電体積層膜1を形成することで、赤外光IRをカットすることができる。
なお、誘電体積層膜1をなす各誘電体層1_jの部材(層材)は、複数の層で誘電体積層膜1を構成することから少なくとも2種となり、3層以上の場合には各誘電体層1_jの何れもが異なる層材でなるものであってもよいし、2種(あるいはそれ以上)を交互にあるいは任意の順に積層したものであってもよい。また、誘電体積層膜1を、基本的な第1および第2の層材で構成しつつ、一部を第3(あるいはそれ以上)の層材に代えるようにしてもよい。以下、具体的に説明する。
<<誘電体積層膜の設計手法;赤外光カットの例>>
<厚みdjの設計手法>
図4〜図6は、誘電体積層膜1を設計する手法の基本概念を説明する図である。ここでは、誘電体積層膜1を、基本的な第1および第2の層材で構成しつつ、赤外光IRを選択的に反射させるような設計例を述べる。
図4にその構造図を示すように、本実施形態で用いる誘電体積層膜1は、両側(以下、光入射側を第0層、反対側を第k層と称する)の厚い酸化シリコンSiO2(以下SiO2と記す)に挟まれて、第1および第2の層材でなる複数の誘電体層1_jが積層されて構成されている。図示した例では、誘電体層1_jをなす第1および第2の層材として何れも一般的な材料を用いることとし、シリコンナイトライドSi3N4(以下SiNと記す)を第1の層材、酸化シリコンSiO2を第2の層材とする2種を用いて、これらを交互に積層している。また、誘電体積層膜1の構造は、上下に十分に厚い酸化シリコンSiO2層がある場合(d0=dk=∞)を仮定している。
このような誘電体積層膜1は、下記式(1)の条件を満たすことで、反射率を有効に高くすることができる。
Figure 2006238093
ここでdj(jは層番号;以下同様)は、誘電体積層膜1を構成する各誘電体層1_jの厚みであり、njは、その各誘電体層1_jの屈折率であり、λ0は反射波長領域の中心波長(以下反射中心波長という)である。
誘電体積層膜1をなす各誘電体層1_jの層数の数え方は、その両側の厚い酸化シリコンSiO2を層数として数えずに、たとえば、第1層目から第k層側に向けて順に、SiN層/SiO2層/SiN層で3層、SiN層/SiO2層/SiN層/SiO2層/SiN層で5層というように数える。図4では、7層構造を示している。
また、反射波長領域である赤外光IRの反射中心波長λ0=900nmとして、奇数番目の層をなすシリコンナイトライドSiNの屈折率nα=2.03、0番目、偶数番目、およびk番目の層をなす酸化シリコンSiO2の屈折率nβ=1.46としており、屈折率差Δnは、0.57である。
また、上記式(1)に従い、シリコンナイトライドSiNの厚みdα(=d1,d3,…;j=奇数)は111nm、酸化シリコンSiO2層の厚みdβ(=d2,d4,…;j=偶数)は154nmとしている。
図5は、一般的な材料を用いた図4の構造について、層数を変えて、有効フレネル係数法で計算した反射率Rの結果(反射スペクトル図)を示し、これにより、反射スペクトルの層数依存特性が分かる。
図5の結果から、層数が増えるに従い、赤外光IRの反射中心波長λ0=900nmを中心に反射率Rが高くなっているのが分かる。さらに、このように波長900nmを反射中心波長λ0に選ぶことで、ほぼ赤外光IRと可視光VLを分けていることが分かる。ここでは、5層以上にすることで、反射率Rが0.5以上、特に、7層以上にすることで、反射率が0.7を超えて望ましいことが分かる。
図6は、誘電体層1_jの厚みの変動依存性(ばらつきとの関係)を説明する図である。ここでは、7層の場合を例に、各誘電体層1_jの厚みdjを±10%変えて計算した結果(反射スペクトル図)を示している。
条件式(1)は、フレネル係数法による理想的な計算値であるが、実際には式(1)の条件はゆるやかで幅がある。たとえば、±10%の厚みdjの誤差があっても有効に反射率を高くできることがフレネル係数法による計算で分かった。
たとえば、図6に示すように、厚みdjにばらつきの差があっても、有効に反射率Rを高くできることが分かった。たとえば、赤外光IRの反射中心波長λ0=900nmにおいて反射率Rが0.5以上という十分な反射率Rが得られているし、赤外光IR全体(主に780nmより長波長側)においても、反射が強いことが分かる。したがって、実際には、ばらつきも加味すれば、誘電体層1_jの厚みdjは、下記式(2)の範囲であれば、反射率を有効に高くする上で、十分な効果が得られることになる。
Figure 2006238093
<反射中心波長λ0の設計手法>
図7〜図9は、反射中心波長λ0の条件を説明する図である。厚みdjの数値条件は、スペクトルの赤外反射領域のバンド幅ΔλIRに依存する。反射スペクトルの概念を示した図7(A)のように、赤外反射領域のバンド幅ΔλIRが広い場合には長波長側に中心波長λ0を持っていかないと可視光VLでの反射が顕著になる。また反射スペクトルの概念を示した図7(B)のように、逆に赤外反射領域のバンド幅ΔλIRが狭い場合には、短波長側に中心波長λ0を持っていかないと可視光VLに近い赤外領域での反射が起こらなくなる。可視光VLと赤外光IRの波長分離性能が非常によい。
ところで図23に示したシリコンSiの吸収スペクトルのグラフから、赤外領域の内、0.78μm≦λ≦0.95μmの範囲の赤外光IRを反射させれば、赤外カット効果として十分になることが分かる。これは、波長0.95μmより長波長側の光は殆どシリコンSi内部で吸収されず、光電変換されないからである。したがって0.78μm≦λ≦0.95μmの範囲の波長の赤外光IRを反射できるように反射中心波長λ0を選べばよいことになる。
また、可視光VLでも、赤(R)領域の内、640〜780nmの範囲の光は視感度が低いために反射されてもされなくても特に撮像素子の性能に影響はないと考えてよい。したがって640〜780nmの波長領域に反射が生じていても不都合がない。
さらに、赤外反射領域のバンド幅ΔλIRは、誘電体積層膜1の屈折率差Δnが大きいときには広くなり、逆に屈折率差Δnが小さいときには狭くなる。したがって、赤外反射領域のバンド幅λIRは、SiN/SiO2多層膜の場合には狭く、Si/SiO2多層膜の場合には広くなる。
これらのことから、SiN/SiO2多層膜(屈折率差Δn=0.57)の場合には、図8の反射スペクトル図に示す780nmと950nmの反射中心波長λ0の計算から、780nm≦λ0≦950nmの範囲であれば、ほぼ上述の条件を満たすことが分かる。ところで、図8は後述する図13のような積層構造で、λ0=780nmとλ0=950nmになるように、誘電体層1_jの膜厚djだけを変えて計算されたものである。
また同様に、Si/SiO2多層膜(屈折率差Δn=2.64)の場合、図9の反射スペクトル図に示すように900nm≦λ0≦1100nmの範囲であれば、ほぼ上述の条件を満たす。
以上のことから、シリコンナイトライドSiNやシリコンSiと酸化シリコンSiO2の組合せにおいては、反射中心波長λ0としては、下記式(3−1)を満たせばよいことになる。好ましくは、下記式(3−2)を満たすのがよい。これらは、900nm近傍を反射中心波長λ0とするのが理想的であることを意味する。
Figure 2006238093
もちろん、上記で示した材料は一例に過ぎず、上述のような効果は必ずしも酸化シリコンSiO2とシリコンナイトライドSiN層の組み合わせに限ったことでなく、屈折率差が0.3以上、さらに望ましくは0.5以上あるような材料を選べば同様な効果があることが計算によって見積もられた。
たとえばSiN膜は、作製条件によって多少の組成のばらつきがあってもよい。また、誘電体積層膜1を構成する誘電体層1_jとしては、酸化シリコンSiO2やシリコンナイトライドSiNの他、アルミナAl2O3やジルコニアZrO2(屈折率2.05)や酸化チタンTiO2(屈折率2.3〜2.55)や酸化マグネシウムMgOや酸化亜鉛ZnO(屈折率2.1)などの酸化物あるいはポリカーボネートPC(屈折率1.58)やアクリル樹脂PMMA(屈折率1.49)などの高分子材料、炭化珪素SiC(屈折率2.65)やゲルマニウムGe(屈折率4〜5.5)などの半導体材料も使用可能である。
高分子材料を用いることで、従来のガラス製にはない特徴を持った分光フィルタ10を構成することができる。すなわち、プラスチック製にすることができ、軽量で耐久性(高温、高湿、衝撃)に優れる。
<<誘電体積層膜を利用した分波イメージセンサ>>
図10〜図14は、誘電体積層膜1を利用したイメージセンサ122への適用に好適な分光イメージセンサ11の一実施形態を説明する図である。この分光イメージセンサ11は、誘電体積層膜1を利用した分光フィルタ10の基本的な設計手法を用いて構成されるものである。ここでは、赤外光IRを選択的に反射させるような誘電体積層膜1を半導体素子層上に形成することで、赤外光IRをカットして可視光VL成分を受光するようにした分光イメージセンサ11の設計例を述べる。
なお、分光イメージセンサ11の基本構造は、分光フィルタ10を半導体素子層の受光部上に形成したもので、これだけでは、単波長分波対応(つまりモノクロ画像撮像用)の分光イメージセンサ11になるが、分光イメージセンサ11の各受光部に対させて色分離フィルタの所定色(たとえばR,G,Bの何れか)を設けることで、カラー画像撮像対応となる。
ここで、図4〜図6を用いて説明した誘電体積層膜1をシリコン(Si)フォトディテクタなどの検知素子が形成された屈折率が誘電体積層膜1をなす各誘電体層1_jよりも大きい半導体素子層上に作製するに当たっては、半導体素子層から誘電体積層膜1までの距離、すなわち第k層の誘電体層1_kをなす酸化シリコンSiO2層の厚みdkが重要である。
これは図10の構造図に示すように、たとえばシリコンSi(屈折率4.1)でなる半導体素子層(フォトディテクタなど)の表面であるシリコン基板1_ωの表面からの反射光L4との干渉効果によって、トータルな反射光LRtotal のスペクトルが変化することを意味する。
図11は、トータルな反射光LRtotal の、誘電体層1_kをなす酸化シリコンSiO2層の厚みdkの変動依存性を説明する反射スペクトル図である。ここでは、図4に示した7層構造の誘電体積層膜1について、誘電体層1_kの厚みdkを変えて計算した結果を示している。図11内の各図において、横軸は波長λ(μm)で、縦軸は反射率Rである。
図11内の各図から分かるように、厚みdk=0.154μmのとき、すなわち赤外光IRの反射中心波長λ0に対して、条件式(1)を満たす値のときに、反射スペクトルは殆ど影響を受けず、赤外光IR(波長λ≧780nm)を強く反射していることが分かる。それに対して厚みdk=0.3〜50μmまでのスペクトルには、厚みdk=∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。
ただし、厚みdk=2.5μm以上になると、赤外でのディップの半値幅が30nm以下になり、とりわけ厚みdk=5.0μm以上になるとその半値幅が20nm以下となり、一般的なブロードな自然光に対して十分に半値幅が狭くなるので平均化された反射率となる。さらに、厚みdk=0.3〜1.0μmのスペクトルに関しては、可視光VLでの反射率が高いことも分かる。これらのことから、望ましくは、厚みdk=0.154μm付近、すなわち条件式(1)を満たす値のときが最適であると言える。
図12は、誘電体層1_kをなす酸化シリコンSiO2層の厚みdkの変動依存性を説明する反射スペクトル図であって、特に、厚みdk=0.154μm付近で、厚みdkの値を変えて計算した結果を示すものである。図12内の各図において、横軸は波長λ(μm)で、縦軸は反射率Rである。
この結果から分かるように、条件式(1)を満たす厚みdk=0.154μmを中心として、厚みdk=0.14〜0.16μmの範囲であれば、可視光VLでの反射が抑えられることが分かる。
以上のことから、分光イメージセンサ11の最適構造は、図13の構造図に示すように、実質的には、第k層の誘電体層1_kを含めて8層構造の誘電体積層膜1Aを有するものとなり、その反射スペクトルの計算結果は図14に示す反射スペクトル図のようになる。言い換えると、誘電体積層膜1Aは、シリコン基板1_ω上に、第2の層材である酸化シリコンSiO2でなる層を4周期分設けた構造をなしている。
<分光フィルタおよび分光イメージセンサの変形例>
図15〜図19は、分光フィルタ10および分光イメージセンサ11の変形例を示す図である。上記の分光フィルタ10の構造は、誘電体積層膜1を利用した基本構造を示したもののであり、その他の様々な変形が可能である。同様に、上記の分光イメージセンサ11の構造は、誘電体積層膜1を利用した分光フィルタ10をCMOSやCCDなどの受光部上に形成する基本構造を示したもののであり、その他の様々な変形が可能である。たとえば、詳細は割愛するが、分光フィルタ10や分光イメージセンサ11の変形例としては、本願出願人が特願2004−358139号にて提案しているように様々な構成を採用することができる。
たとえば、図15に示すように、第k層目の誘電体層1_kとシリコン基板1_ωとの間に、第k層目の誘電体層1_kの屈折率nkとシリコン基板1_ωの屈折率nω(=4.1)に対して中間的な屈折率をもつ第3の層1_γ(たとえばシリコンナイトライドSiN層)を追加した分光イメージセンサ11とすることで、可視光領域内における反射を低減することもできる(第1の変形例という)。
また、図16に示すように、第1の変形例で追加した第3の層材とシリコン基板1_ωとの間に、第3の層材よりも小さな屈折率をもつ第4の層1_δ(たとえば酸化シリコンSiO2層)を積層した分光イメージセンサ11とすることで、さらに暗電流を低減することもできる(第2の変形例という)。
また、図17に示すように、誘電体積層膜1内において、この誘電体積層膜1を構成する基本的な第1および第2の層材よりも大きな屈折率をもつ第5の層1_η(たとえばシリコンナイトライドSiNおよび酸化シリコンSiO2よりも高い屈折率=4.1を持つ厚みdη=61nmのシリコンSi層)を1層分追加した分光イメージセンサ11とすることで、誘電体積層膜1をなす誘電体層1_jの層数を低減することもできる(第3の変形例という)。
また、図18に示すように、第3の変形例における層数低減に当たって、誘電体積層膜1内において、この誘電体積層膜1を構成する基本的な第1および第2の層材よりも大きな屈折率をもつ複数の第5の層1_η(たとえばシリコンナイトライドSiNおよび酸化シリコンSiO2よりも高い屈折率=4.1を持つ厚みdη=61nmのシリコンSi層)を追加した分光イメージセンサ11とすることで、層数をさらに低減することもできる(第4の変形例という)。
なお、この分光イメージセンサ11に対する第3および第4の変形例は、分光フィルタ10においても同様に適用し得るものである。
また、図19に示すように、第3や第4の変形例において、第1や第2の変形例を同時に適用した分光イメージセンサ11とすることで、層数の低減とともに、可視光領域内における反射を低減することもできる。特に青色B成分(波長420nm近傍)や緑色G成分(波長520nm近傍)での反射率は若干増加するものの、赤色R成分(波長600nm近傍)での反射率を十分に低下させることができ、赤外光IRとの分離に適するようになる。
なお、上記の説明では、誘電体積層膜1を利用した分光フィルタ10を使用して分光イメージセンサ11を構成していたが、これに限らず、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った部材を検知部の電磁波が入射する入射面側に設けるものであればよい。
たとえば、誘電体積層膜1に限らず、所定の厚さの単層膜を利用しても、分光フィルタを形成することができる。単層膜の膜厚を変化させると、電磁波の内の所定の波長領域成分を反射させ残りを通過させる効果が得られるからである。積層膜よりも低コストになる利点がある。
この点は、分光イメージセンサ11に限らず、波長分離光学系104についても同様であり、所定の厚さの単層膜を利用したミラー105を波長分離光学系104に適用することができる。
<第2実施形態>
図20は、本発明に係る第2実施形態の撮像装置の概略構成を示す図である。この第2実施形態の撮像装置100は、可視光カラー画像および近赤外光画像を独立に得る点で第1実施形態と同様であるが、図20(A)に示すように、赤外光撮像部110に、赤外光IRの検知に最適化されたイメージセンサ112を設けている点に特徴を有する。撮像信号処理部130は、赤外光撮像部110で得られる信号と可視光撮像部120で得られる信号を用いて、演算処理により、可視光VL成分と赤外光IR成分とを分離する。
可視光撮像部120側に関しては、イメージセンサ122が赤外光IRを検知しないようにした分光イメージセンサ11であることを必須要件とはしない。図示するように、可視光VL成分ともに赤外光IR成分をも検知するものであってもよい。もちろん、イメージセンサ122が赤外光IRを検知しないようにした分光イメージセンサ11であればなおよい。
具体的には、第2実施形態では、図20(B)に1画素分の構造を示すように、赤外光IRの検知側に可視光VL成分が漏れ込んだ場合に対する対応として、赤外光撮像部110に、赤外光IRの検知に最適化された、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する構造のイメージセンサ112_IR+VLを用いている。つまり、深さと波長による吸収係数の違いを利用することで、本来の検知目的以外の波長成分(本例では可視光VL成分)の影響を抑制しつつ、本来の検知目的の波長成分(本例では赤外光IR成分)を検知することが可能なイメージセンサ112_IR+VLを使用する。
これにより、可視光VLの影響を殆ど受けることなく、赤外光像を独立に得ることができる。また、付加的な効果として、半導体の浅い領域にて、可視光像を取得することができ、この成分を可視光撮像部120のイメージセンサ122で取得される可視光像と合成演算することで感度向上を図ることもできる。
たとえば、波長分離光学系104により赤外光IRを赤外光撮像部110側に反射させることで赤外光IRを分光させると、赤外光側の分光成分は、波長分離光学系104の分離能に依存して、赤外光IRが主要な成分となるが、数%の可視光VLが含まれてしまう。
そこで、第2実施形態においては、半導体基板の深さ方向における波長による吸収係数の違いを利用した構造のイメージセンサ112_IR+VLを用いる。一例としては、780nm未満の可視光VL光により光電変換させた電子をシリコン(Si)基板の深さ方向において、比較的浅い部分〜5μm程度の深さで吸収させる。残りの光成分つまり波長780nm以上の赤外光IRにより光電変換させた電子を、5μmよりもさら深い領域で吸収させる。両者の検知領域の境界部分には、電気的非接続領域を設ける。こうすることで、5μmよりも深い領域で取得した信号を検知する仕組みとすれば、赤外光IR成分だけの電気信号を取得できる。
すなわち、半導体層の浅い領域で光電変換される可視光VL(たとえば波長780nm未満)の信号成分を排除し、半導体層の深い領域で光電変換される赤外光IR(たとえば波長780nm以上)の成分だけを利用することで、入射した赤外光IR成分だけの電気信号を取得するようにする。これにより、赤外光撮像部110において、可視光VLの影響を殆ど受けることのない赤外光像を取得できる。
これにより、入射した可視光VL成分だけの光電子のみを可視光撮像信号SV_IRに変換して赤外光IRの影響を殆ど受けることのない可視光像を取得するとともに、入射した赤外光IR成分だけの光電子のみを赤外光撮像信号SIRに変換して可視光VLの影響を殆ど受けることのない赤外光像を同時かつ独立に得ることができる。
もちろん、比較的浅い部分〜5μm程度の深さの領域で取得した信号を検知する仕組みとすれば、イメージセンサ112においても可視光VL成分の電気信号を取得できる。なお、この可視光VL成分には、従来技術にて説明したことから分かるように、可視光VLを検知する領域では赤外光IRが通過するときにある程度吸収を受けるために、その赤外光IRが可視光VLとして誤検知されるので、赤外光IR成分の影響を受ける。
よって、赤外光撮像部110は、半導体層の浅い領域で光電変換され得る可視光VL(たとえば波長780nm未満)の信号成分GV_IRと、半導体層の深い領域で光電変換される赤外光IR(たとえば波長780nm以上)の信号成分GIRとに分離して検知することもできる。こうすることで、実質的に、赤外光IR用のイメージセンサ112_IR+VLを、赤外光IR用のみでなく、赤外光IR用と可視光VL用を兼ねるイメージセンサとして機能させることができる。
ここで、赤外光撮像部110側に可視光VL成分が漏れ込むということは、その分だけ可視光撮像部120側の可視光VL成分が低下し、イメージセンサ122で得られる可視光撮像信号SVとしては、可視光像の受光感度が低下することを意味する。
よって、撮像信号処理部130において、赤外光撮像部110側のイメージセンサ112_IR+VLで取得される可視光撮像信号SV_IRとイメージセンサ122で得られる可視光撮像信号SVとを合成することで、赤外光撮像部110側への漏れにより低下した分を補正でき、可視光像の感度向上を図ることができる。
また、半導体の深さ方向における波長による吸収係数の違いを利用した構造のイメージセンサ112_IR+VLを用いた場合でも、赤外光IRと可視光VLの内の赤色成分との境界近傍波長は互いに他方の吸収をある程度受ける。
よって、撮像信号処理部130において、赤外光撮像部110側のイメージセンサ112_IR+VLで取得される可視光撮像信号SV_IRを用いて、イメージセンサ112_IR+VLで取得される赤外光撮像信号SIRに補正を加える(たとえば差分処理をする)ことで、可視光VL中の赤色成分の影響を抑制することもできる。
<第3実施形態>
図21は、本発明に係る第3実施形態の撮像装置の概略構成を示す図である。この第3実施形態の撮像装置100は、可視光カラー画像および近赤外光画像を独立に得る点で第1および第2実施形態と同様であるが、図21(A)に示すように、赤外光撮像部110に赤外光IRの検知に最適化されたイメージセンサ112を設けるとともに、可視光撮像部120に可視光VLの検知に最適化されたイメージセンサ122を用いている。つまり、上述した第1実施形態と第2実施形態とを組み合わせた構造としている。撮像信号処理部130は、赤外光撮像部110で得られる信号と可視光撮像部120で得られる信号を用いて、演算処理により、可視光VL成分と赤外光IR成分とを分離する。
ここで、第3実施形態においては、図21(B)に1画素分の構造を示すように、赤外光IRの検知側に可視光VL成分が漏れ込んだ場合に対する対応として、第2実施形態と同様に、赤外光撮像部110に、赤外光IRの検知に最適化された、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する構造のイメージセンサ112_IR+VLを用いている。
一方、可視光撮像部120側には、第1実施形態とは異なり、可視光VLの検知側に赤外光IR成分が漏れ込んだ場合に対する対応として、可視光VLの検知に最適化された、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する構造のイメージセンサ122_VL+IRを用いている点に特徴を有する。つまり、深さと波長による吸収係数の違いを利用することで、本来の検知目的以外の波長成分(本例では赤外光IR成分)の影響を抑制しつつ、本来の検知目的の波長成分(本例では可視光VL成分)を検知することが可能なイメージセンサ122_VL+IRを使用する。
具体的には、図21(C)に1画素分の構造を示すように、図21(B)に示す構造と同じイメージセンサを用いるとともに、その受光面に、各受光部(画素)に対させて色分離フィルタ124の所定色(たとえば124R,124G,124Bの何れか)を設けることで、カラー画像撮像対応としている。
このような構成とすることで、可視光撮像部120側については、半導体層の深い領域で光電変換される赤外光IR(たとえば波長780nm以上)の信号成分を排除し、半導体層の浅い領域で光電変換される可視光VL(たとえば波長780nm未満)の成分だけを利用することで、入射した可視光VL成分だけの電気信号を色成分ごとに取得するようにする。これにより、可視光撮像部120において、赤外光IRの影響を殆ど受けることのない可視光像を取得できる。
これにより、入射した可視光VL成分だけの光電子のみを可視光撮像信号SV_IRに変換して赤外光IRの影響を殆ど受けることのない可視光像を取得するとともに、入射した赤外光IR成分だけの光電子のみを赤外光撮像信号SIRに変換して可視光VLの影響を殆ど受けることのない赤外光像を同時かつ独立に得ることができる。
また、可視光撮像部120は、半導体層の深い領域で光電変換される赤外光IR(たとえば波長780nm以上)の信号成分GIRと、半導体層の浅い領域で光電変換され得る可視光VL(たとえば波長780nm未満)の色別の信号成分GV_IRとに分離して検知することもできる。こうすることで、実質的に、可視光VL用のイメージセンサ122_VL+IRを、可視光VLR用のみでなく、赤外光IR用と可視光VL用を兼ねるイメージセンサとして機能させることができる。
ここで、可視光撮像部120側に赤外光IR成分が漏れ込むということは、その分だけ赤外光撮像部110側の赤外光IR成分が低下し、イメージセンサ112で得られる赤外光撮像信号SIRとしては、赤外光像の受光感度が低下することを意味する。
よって、撮像信号処理部130において、赤外光撮像部110側のイメージセンサ112_IR+VLで取得される赤外光撮像信号SIRとイメージセンサ122で得られる赤外光撮像信号SIR_VLとを合成することで、可視光撮像部120側への漏れによる低下した分を補正でき、赤外光像の感度向上を図ることができる。
また、半導体の深さ方向における波長による吸収係数の違いを利用した構造のイメージセンサ122_VL+IRを用いた場合でも、可視光VLの内の赤色成分と赤外光IRとの境界近傍波長は互いに他方の吸収をある程度受ける。
よって、撮像信号処理部130において、可視光撮像部120側のイメージセンサ_VL+IRで取得される赤外光撮像信号SIR_VLを用いて、イメージセンサ_VL+IRで取得される可視光撮像信号SV(特に赤色成分)に補正を加える(たとえば差分処理をする)ことで、赤外光IR成分の影響を抑制することもできる。
<信号読出方法>
図22は、第2実施形態や第3実施形態において用いた、半導体の深さ方向における波長による吸収係数の違いを利用して可視光像と赤外光像とを分離して取得する構造のイメージセンサ112_IR+VL,122_VL+IRを用いる場合の信号取得方法の一例を説明する図である。ここで、図22(A)は回路図、図22(B)は信号タイミング図である。
受光部に設けられる光電変換素子732W(モノクロ撮像時;カラーの場合はR,G,Bの色ごと、以下同様),732IRのそれぞれに対して、波長別に転送ゲート734W(もしくはR,G,B),734IRが設けられている。各光電変換素子732W(もしくはR,G,B),732IRは、それぞれに対応する転送ゲート734W(もしくはR,G,B),734IRを通じて、増幅用トランジスタ740とリセットトランジスタ736などを通じた画素内アンプ705へ接続されている。増幅用トランジスタ740は垂直選択トランジスタ742を介して垂直信号線751に接続されている。
リセット状態と信号読出し状態を示した図22(B)に示す各タイミングに応じて画素信号を出力する。ここで、読出対象の垂直行の垂直選択トランジスタ742に選択パルスSELを供給した状態で、転送ゲート734W(もしくはR,G,B),734IRに読出パルスTW(もしくはR,G,B),TIRを供給してそれぞれの信号電荷を読み出す前に、リセットトランジスタ736にリセットパルスRSTを供給してフローティングディフュージョン738をリセットさせる。こうすることで、赤外光IR成分→可視光VL成分(全可視光成分もしくは色ごとの成分)の順(その逆でもよい)に、画素信号を独立に読み出すことができる。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上述の技術は必ずしも可視光と赤外光の分光と、その分光成分を独立に検知することで可視光像と赤外光像とを個別に取得する技術に限ったものではない。たとえば、可視光と紫外光の分光や検知も可能となり、可視光とともに紫外光も同時に検出してイメージ化できる。また、同時に検出する可視光については、分光せずにモノクロ画像を検知することに限らず、上述のようにして色別の色フィルタを用いて可視光帯内をたとえば3原色成分に分光することでカラー画像を検知することもできる。
これにより、眼で見ることができる可視光のイメージ像(モノクロ画像あるいはカラー画像)と対応して、眼で見ることのできない紫外光の像情報を同時に取得することができる。これによって光合成監視カメラなどの新しい情報システムのキーデバイスとして応用が広がる。
たとえば、上記実施形態では、波長分離光学系104による波長分離において、反射波長領域成分を赤外光IRとし、通過波長領域成分を赤外光IRよりも低波長側の可視光VLとしていたが、可視光VLを反射波長領域成分とし、通過波長領域成分を可視光VLよりも低波長側(たとえば紫外光)とする誘電体積層膜1を利用した波長分離光学系104とすることで、可視光VLと可視光VLよりも低波長側(たとえば紫外光)の分光や検知も可能となる。
本発明に係る第1実施形態の撮像装置の概略構成を示す図である。 誘電体積層膜を利用して電磁波を所定波長ごとに分光する分波イメージセンサの概念を説明する図である。 誘電体積層膜を利用した分波イメージセンサの基本構成を説明する概念図である。 積層膜を設計する手法の基本概念を説明する構造図である。 積層膜を設計する手法の基本概念を説明する反射スペクトル図である。 積層膜を設計する手法の基本概念を説明する反射スペクトル図である。 反射中心波長λの条件を説明する図(反射スペクトルの概念を示した図)である。 反射中心波長λの条件を説明する反射スペクトル図である。 反射中心波長λの条件を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第1実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第1実施形態を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第1実施形態を説明する図(反射スペクトル図;詳細)である。 積層膜を利用した単波長分波対応の分光イメージセンサの第1実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第1実施形態を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第2実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第2実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第3実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第4実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第5実施形態を説明する構造図である。 本発明に係る第2実施形態の撮像装置の概略構成を示す図である。 本発明に係る第3実施形態の撮像装置の概略構成を示す図である。 第2や第3の実施形態における信号取得方法の一例を説明する図である。 特許文献1に記載のセンサの仕組みを説明する図である。
符号の説明
1…誘電体積層膜、10…分光フィルタ、11…分光イメージセンサ、100…撮像装置、102…撮影レンズ、104…波長分離光学系、105…ミラー、105a…基板、105b…光学フィルタ、110…赤外光撮像部、112,122…イメージセンサ、120…可視光撮像部、124…色分離フィルタ、130…撮像信号処理部

Claims (6)

  1. 像を担持する電磁波を複数の波長に分ける波長分離部と、前記波長分離部によって分波された各波長の像を検知する複数の撮像部とを備えた撮像装置であって、
    前記複数の撮像部の内の少なくとも一方は、本来の検知目的の波長成分の検知に適正化された検知部を有する
    ことを特徴とする撮像装置。
  2. 前記波長分離部は、前記電磁波に対して透過性を有する所定の基板上に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有する積層部材もしくは単層膜が形成され、前記電磁波の複数の波長の内の一方を反射させ他方を通過させる特性を持つように構成されている
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記本来の検知目的の波長成分の検知に適正化された検知部は、前記電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有する積層部材もしくは単層膜が形成され、前記電磁波の複数の波長の内の一方を反射させ他方を通過させる特性を持つように構成されている
    ことを特徴とする請求項1に記載の撮像装置。
  4. 前記本来の検知目的の波長成分の検知に適正化された検知部は、当該検知部をなす半導体の深さ方向における波長による吸収係数の違いを利用することで波長分離を行ない、当該検知部の本来の検知目的以外の波長成分の影響を抑制しつつ、当該検知部の本来の検知目的の波長成分を検知することが可能に構成されている
    ことを特徴とする請求項3に記載の撮像装置。
  5. 前記半導体の深さ方向における波長による吸収係数の違いを利用する検知部は、前記半導体の深さ方向における一方の深さ領域において前記本来の検知目的の波長成分を検知するとともに、前記半導体の深さ方向における他方の深さ領域において前記本来の検知目的以外の波長成分を検知するものであり、
    前記半導体の深さ方向における他方の深さ領域において検知された前記本来の検知目的以外の波長成分の検知結果を使用して、他方の検知部において検知される当該他方の検知部の本来の検知目的の波長成分を検知した結果を補正する信号処理部をさらに備えている
    ことを特徴とする請求項3に記載の撮像装置。
  6. 前記半導体の深さ方向における波長による吸収係数の違いを利用する検知部は、前記半導体の深さ方向における一方の深さ領域において前記本来の検知目的の波長成分を検知するとともに、前記半導体の深さ方向における他方の深さ領域において前記本来の検知目的以外の波長成分を検知するものであり、
    前記半導体の深さ方向における一方の深さ領域において検知された前記本来の検知目的の波長成分の検知結果を、前記半導体の深さ方向における他方の深さ領域において検知された前記本来の検知目的以外の波長成分の検知結果を使用して補正する信号処理部をさらに備えている
    ことを特徴とする請求項3に記載の撮像装置。
JP2005050212A 2005-02-25 2005-02-25 撮像装置 Expired - Fee Related JP4839632B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005050212A JP4839632B2 (ja) 2005-02-25 2005-02-25 撮像装置
US11/358,885 US7531781B2 (en) 2005-02-25 2006-02-21 Imager with image-taking portions optimized to detect separated wavelength components

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005050212A JP4839632B2 (ja) 2005-02-25 2005-02-25 撮像装置

Publications (2)

Publication Number Publication Date
JP2006238093A true JP2006238093A (ja) 2006-09-07
JP4839632B2 JP4839632B2 (ja) 2011-12-21

Family

ID=37045255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005050212A Expired - Fee Related JP4839632B2 (ja) 2005-02-25 2005-02-25 撮像装置

Country Status (2)

Country Link
US (1) US7531781B2 (ja)
JP (1) JP4839632B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877069B1 (ko) 2007-04-23 2009-01-09 삼성전자주식회사 이미지 촬상 장치 및 방법
US8194171B2 (en) 2008-10-07 2012-06-05 Samsung Electronics Co., Ltd. Apparatus for optically combining visible images with far-infrared images
CN102780841A (zh) * 2012-07-24 2012-11-14 苏州工业园区七星电子有限公司 一种基于近红外光谱透雾系统
KR101419419B1 (ko) * 2011-02-03 2014-07-14 브로드콤 코포레이션 모노스코픽 2d 비디오 및 대응하는 깊이 정보로부터 3d 비디오를 생성하기 위한 방법 및 시스템
JP2015011308A (ja) * 2013-07-02 2015-01-19 日油株式会社 転写用波長選択的反射フィルム並びにそれを用いた転写方法及び転写成型物
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
CN104822033A (zh) * 2015-05-05 2015-08-05 太原理工大学 一种红外与可见光图像融合的视觉传感器及其使用方法
WO2019039144A1 (ja) * 2017-08-21 2019-02-28 ソニー株式会社 撮像装置、撮像方法及びプログラム
JP2019200404A (ja) * 2018-05-15 2019-11-21 株式会社三井光機製作所 光学モジュール及び光学装置
CN110519502A (zh) * 2019-09-24 2019-11-29 远形时空科技(北京)有限公司 一种融合了深度相机和普通相机的传感器及实现方法
CN111257985A (zh) * 2013-11-18 2020-06-09 唯亚威通讯技术有限公司 匹配的干涉颜料或箔片及其设计方法
JP2020099016A (ja) * 2018-12-19 2020-06-25 株式会社オーケー社鹿児島 微弱放電撮像システム
JP2021114739A (ja) * 2020-01-21 2021-08-05 日本放送協会 カラー画像撮像装置
WO2022202053A1 (ja) * 2021-03-23 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び撮像素子の制御方法
JP2023148590A (ja) * 2022-03-30 2023-10-13 華晋グローバル株式会社 撮像装置、撮像装置の制御方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
KR101513311B1 (ko) 2006-09-29 2015-04-22 유니버시티 오브 플로리다 리서치 파운데이션, 인크. 적외선 감지 및 표시를 위한 방법 및 장치
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
US20090160981A1 (en) * 2007-12-20 2009-06-25 Micron Technology, Inc. Apparatus including green and magenta pixels and method thereof
JP2009260411A (ja) * 2008-04-11 2009-11-05 Olympus Corp 撮像装置
WO2010033127A1 (en) * 2008-09-22 2010-03-25 Sionyx, Inc. Response-enhanced monolithic-hybrid pixel
US7968834B2 (en) * 2008-09-22 2011-06-28 Sionyx, Inc. Response-enhanced monolithic-hybrid pixel
US8330840B2 (en) * 2009-08-06 2012-12-11 Aptina Imaging Corporation Image sensor with multilayer interference filters
US9911781B2 (en) 2009-09-17 2018-03-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
KR20110050063A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 픽셀과 이를 포함하는 이미지 처리 장치들
JP2011151269A (ja) * 2010-01-22 2011-08-04 Rohm Co Ltd 撮像装置
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
WO2011160130A2 (en) 2010-06-18 2011-12-22 Sionyx, Inc High speed photosensitive devices and associated methods
US20120050490A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for depth-information based auto-focusing for a monoscopic video camera
US20120050477A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Depth Information for Providing Security Monitoring
US20120050494A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for creating a view-angle dependent 2d and/or 3d image/video utilizing a monoscopic video camera array
EP2718974B1 (en) * 2011-06-06 2019-10-09 University of Florida Research Foundation, Inc. Infrared imaging device integrating an ir up-conversion device with a cmos image sensor
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
CN103733355B (zh) 2011-06-30 2017-02-08 佛罗里达大学研究基金会有限公司 用于检测红外辐射的带有增益的方法和设备
JP2014525091A (ja) 2011-07-13 2014-09-25 サイオニクス、インク. 生体撮像装置および関連方法
US9064764B2 (en) 2012-03-22 2015-06-23 Sionyx, Inc. Pixel isolation elements, devices, and associated methods
KR102028199B1 (ko) * 2012-08-28 2019-10-04 한국전자통신연구원 의료 진단장치 및 그 조작방법
JP5820845B2 (ja) * 2012-09-07 2015-11-24 キヤノン・コンポーネンツ株式会社 照明装置、イメージセンサユニットおよび紙葉類識別装置
KR101858577B1 (ko) 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US9762830B2 (en) 2013-02-15 2017-09-12 Sionyx, Llc High dynamic range CMOS image sensor having anti-blooming properties and associated methods
US9939251B2 (en) 2013-03-15 2018-04-10 Sionyx, Llc Three dimensional imaging utilizing stacked imager devices and associated methods
US9209345B2 (en) 2013-06-29 2015-12-08 Sionyx, Inc. Shallow trench textured regions and associated methods
JP2016033694A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 物体認識装置及び物体認識プログラム
GB201421512D0 (en) 2014-12-03 2015-01-14 Melexis Technologies Nv A semiconductor pixel unit for simultaneously sensing visible light and near-infrared light, and a semiconductor sensor comprising same
CN107636431A (zh) 2015-06-11 2018-01-26 佛罗里达大学研究基金会有限公司 单分散ir 吸收纳米颗粒以及相关方法和装置
US10788676B2 (en) * 2017-01-16 2020-09-29 Sony Corporation Branching optical system, imaging apparatus, and imaging system
JP6410203B1 (ja) * 2017-02-21 2018-10-24 株式会社ナノルクス 固体撮像素子及び撮像装置
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US20220103732A1 (en) * 2020-09-29 2022-03-31 Aac Optics Solutions Pte. Ltd. Imaging assembly and camera
US20230254475A1 (en) * 2022-02-04 2023-08-10 Meta Platforms, Inc. Color tuned optical modules with color calibration operations
WO2024013142A1 (en) * 2022-07-15 2024-01-18 Lightcode Photonics Oü Image capture device with wavelength separation device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721998A (ja) * 1993-07-05 1995-01-24 Matsushita Electron Corp 白熱電球
JPH0894830A (ja) * 1994-09-27 1996-04-12 Toshiba Lighting & Technol Corp 光干渉膜、管球、ダイクロイックミラーおよびダイクロイックミラー付き管球
JPH10210486A (ja) * 1997-01-21 1998-08-07 Sony Corp 画像撮像装置および方法
JPH11213959A (ja) * 1998-01-22 1999-08-06 Matsushita Electron Corp 白熱電球
JP2002000560A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 撮影装置
JP2002369049A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2003332551A (ja) * 2002-05-08 2003-11-21 Canon Inc カラー撮像素子及びカラー受光素子
JP2004103964A (ja) * 2002-09-12 2004-04-02 Foundation For Nara Institute Of Science & Technology 固体撮像素子、及び該素子を用いた撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4957371A (en) * 1987-12-11 1990-09-18 Santa Barbara Research Center Wedge-filter spectrometer
JPH06121325A (ja) 1992-10-07 1994-04-28 Nippon Hoso Kyokai <Nhk> カラー撮像装置
US5910816A (en) * 1995-06-07 1999-06-08 Stryker Corporation Imaging system with independent processing of visible an infrared light energy
JP3674012B2 (ja) 1995-10-27 2005-07-20 株式会社ニコン 固体撮像装置
JPH09166493A (ja) 1995-12-15 1997-06-24 Nikon Corp 撮像装置、撮像方法、および受光装置
FR2756105B1 (fr) * 1996-11-19 1999-03-26 Commissariat Energie Atomique Detecteur multispectral a cavite resonante
US6082858A (en) * 1998-04-29 2000-07-04 Carnegie Mellon University Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
JP4453189B2 (ja) 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
US7154157B2 (en) * 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
US6794219B1 (en) * 2003-07-28 2004-09-21 Eastman Kodak Company Method for creating a lateral overflow drain, anti-blooming structure in a charge coupled device
JP4578797B2 (ja) * 2003-11-10 2010-11-10 パナソニック株式会社 撮像装置
US7138619B1 (en) * 2004-09-28 2006-11-21 Rockwell Collins, Inc. Method and apparatus for coincident viewing at a plurality of wavelengths
US20060102870A1 (en) * 2004-10-20 2006-05-18 Viens Jean F Infrared detection material and method of production

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721998A (ja) * 1993-07-05 1995-01-24 Matsushita Electron Corp 白熱電球
JPH0894830A (ja) * 1994-09-27 1996-04-12 Toshiba Lighting & Technol Corp 光干渉膜、管球、ダイクロイックミラーおよびダイクロイックミラー付き管球
JPH10210486A (ja) * 1997-01-21 1998-08-07 Sony Corp 画像撮像装置および方法
JPH11213959A (ja) * 1998-01-22 1999-08-06 Matsushita Electron Corp 白熱電球
JP2002000560A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 撮影装置
JP2002369049A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2003332551A (ja) * 2002-05-08 2003-11-21 Canon Inc カラー撮像素子及びカラー受光素子
JP2004103964A (ja) * 2002-09-12 2004-04-02 Foundation For Nara Institute Of Science & Technology 固体撮像素子、及び該素子を用いた撮像装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877069B1 (ko) 2007-04-23 2009-01-09 삼성전자주식회사 이미지 촬상 장치 및 방법
US8194171B2 (en) 2008-10-07 2012-06-05 Samsung Electronics Co., Ltd. Apparatus for optically combining visible images with far-infrared images
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
KR101419419B1 (ko) * 2011-02-03 2014-07-14 브로드콤 코포레이션 모노스코픽 2d 비디오 및 대응하는 깊이 정보로부터 3d 비디오를 생성하기 위한 방법 및 시스템
CN102780841A (zh) * 2012-07-24 2012-11-14 苏州工业园区七星电子有限公司 一种基于近红外光谱透雾系统
JP2015011308A (ja) * 2013-07-02 2015-01-19 日油株式会社 転写用波長選択的反射フィルム並びにそれを用いた転写方法及び転写成型物
CN111257985B (zh) * 2013-11-18 2022-07-05 唯亚威通讯技术有限公司 匹配的干涉颜料或箔片及其设计方法
CN111257985A (zh) * 2013-11-18 2020-06-09 唯亚威通讯技术有限公司 匹配的干涉颜料或箔片及其设计方法
CN104822033A (zh) * 2015-05-05 2015-08-05 太原理工大学 一种红外与可见光图像融合的视觉传感器及其使用方法
CN104822033B (zh) * 2015-05-05 2017-09-01 太原理工大学 一种红外与可见光图像融合的视觉传感器及其使用方法
WO2019039144A1 (ja) * 2017-08-21 2019-02-28 ソニー株式会社 撮像装置、撮像方法及びプログラム
US11223781B2 (en) 2017-08-21 2022-01-11 Sony Corporation Image-capturing apparatus and image-capturing method
JP2019200404A (ja) * 2018-05-15 2019-11-21 株式会社三井光機製作所 光学モジュール及び光学装置
JP7121892B2 (ja) 2018-05-15 2022-08-19 株式会社三井光機製作所 光学モジュール及び光学装置
JP2020099016A (ja) * 2018-12-19 2020-06-25 株式会社オーケー社鹿児島 微弱放電撮像システム
CN110519502A (zh) * 2019-09-24 2019-11-29 远形时空科技(北京)有限公司 一种融合了深度相机和普通相机的传感器及实现方法
JP2021114739A (ja) * 2020-01-21 2021-08-05 日本放送協会 カラー画像撮像装置
JP7398284B2 (ja) 2020-01-21 2023-12-14 日本放送協会 カラー画像撮像装置
WO2022202053A1 (ja) * 2021-03-23 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び撮像素子の制御方法
JP2023148590A (ja) * 2022-03-30 2023-10-13 華晋グローバル株式会社 撮像装置、撮像装置の制御方法

Also Published As

Publication number Publication date
JP4839632B2 (ja) 2011-12-21
US7531781B2 (en) 2009-05-12
US20070051876A1 (en) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4839632B2 (ja) 撮像装置
JP6448842B2 (ja) 固体撮像素子及び撮像装置
KR101244147B1 (ko) 물리 정보 취득 방법, 물리 정보 취득 장치 및 반도체 장치
US8134191B2 (en) Solid-state imaging device, signal processing method, and camera
JP5070742B2 (ja) 情報取得方法、情報取得装置、半導体装置、信号処理装置
JP4882297B2 (ja) 物理情報取得装置、半導体装置の製造方法
JP5187433B2 (ja) 物理情報取得方法および物理情報取得装置
TWI700824B (zh) 攝像元件及電子裝置
CN102447826B (zh) 可见及红外双重模式成像系统
US8314872B2 (en) Imaging device
KR20140068042A (ko) 촬상 장치 및 필터
JP4887915B2 (ja) 固体撮像装置
US20090321865A1 (en) Solid-state imaging device and camera
JP4867448B2 (ja) 物理情報取得方法および物理情報取得装置
JP5554139B2 (ja) 複合型撮像素子およびそれを備えた撮像装置
US7138663B2 (en) Color separation device of solid-state image sensor
US8860814B2 (en) Solid-state imaging element and imaging device
JP5263373B2 (ja) 半導体装置および撮像装置
JP4610324B2 (ja) 色分解光学系
JP2008113171A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091001

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110919

R151 Written notification of patent or utility model registration

Ref document number: 4839632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees