[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5764747B2 - 偏光撮像素子および内視鏡 - Google Patents

偏光撮像素子および内視鏡 Download PDF

Info

Publication number
JP5764747B2
JP5764747B2 JP2013531025A JP2013531025A JP5764747B2 JP 5764747 B2 JP5764747 B2 JP 5764747B2 JP 2013531025 A JP2013531025 A JP 2013531025A JP 2013531025 A JP2013531025 A JP 2013531025A JP 5764747 B2 JP5764747 B2 JP 5764747B2
Authority
JP
Japan
Prior art keywords
polarization
light
color
optical element
pass filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013531025A
Other languages
English (en)
Other versions
JPWO2013031100A1 (ja
Inventor
克洋 金森
克洋 金森
シング ビラハム パル
ビラハム パル シング
登 一生
一生 登
菰淵 寛仁
寛仁 菰淵
中田 幹也
幹也 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013531025A priority Critical patent/JP5764747B2/ja
Publication of JPWO2013031100A1 publication Critical patent/JPWO2013031100A1/ja
Application granted granted Critical
Publication of JP5764747B2 publication Critical patent/JP5764747B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0262Constructional arrangements for removing stray light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00Measuring polarisation of light
    • G01J4/04Polarimeters using electric detection means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3025Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3083Birefringent or phase retarding elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14629Reflectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Color Television Image Signal Generators (AREA)
  • Polarising Elements (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Filters (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本開示は、被写体からの光の偏光情報を取得できる偏光撮像素子に関する。
従来、内視鏡向け画像センシング方式として偏光を利用する技術があった。
特許文献1から特許文献3の内視鏡では、偏光技術を用いて内臓の壁の表面の凹凸形状を取得するため、直線偏光または円偏光照明を用いて被写体を照射し、戻り光の偏光撮像を行っている。偏光撮像素子には、偏光モザイク構造を有する撮像素子をRGBの各色フィルタのうち、同一色たとえばB画素にのみ適用する構造が用いられている。偏光モザイク構造は、微細パターン化偏光子の偏光透過軸が3方向以上の方向を向くように微細パターン化偏光子を配列することによって実現される。
特開2009−240676号公報 特開2009−246770号公報 特開2009−246840号公報
今栄真紀子他「構造複屈折を用いた広帯域1/4波長板の最適設計」、KONICA MINOLTA TECHNOLOGY REPORT VOL.3(2006),PP62-67
通常の単板カラー撮像素子では、1光線を複数のカラーモザイクに入射させるため、光学ローパスフィルタを用いて光線を分岐させている。光学ローパスフィルタは、典型的には複屈折性を有する材料、例えば水晶から形成されている。このため、この光学ローパスフィルタは「水晶ローパスフィルタ」と称されることが多い。ただし、光学ローパスフィルタは、水晶以外の複屈折材料から形成されていてもよい。本開示では複屈折ローパスフィルタの代表例として水晶LPF(ローパスフィルタ)を位置づけ、説明に使用しているが、これは、水晶以外の天然材料や人工的な構造複屈折材料に代替しても構わない。光学ローパスフィルタは、空間的な解像度を低下させる機能を有し、1本の光線が2本の光線に分岐して異なるフォトダイオードに入射するように設計される。
このような水晶ローパスフィルタでは、光線の分岐に複屈折現象を用いる。このため、光の偏光状態は、水晶ローパスフィルタを透過すると崩れてしまう。カラー画像と偏光画像を同時取得するため、カラーモザイクフィルタと偏光フィルタとを組み合わせる従来技術は存在していたが、水晶ローパスフィルタをそれらに更に組み合わせる偏光撮像素子の技術は存在していない。
本開示における偏光撮像素子は、撮像面上に配列されて各々が光を電気信号に変換する複数の受光素子と、複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、カラーモザイクフィルタを覆う光学ローパスフィルタと、光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子とを備える。複数の偏光光学素子の各々は、各受光素子を覆っており、かつ、撮像面に平行な面内における所定方向に偏光した光を光学ローパスフィルタに入射する。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有している。複数のカラーフィルタは、複数の偏光光学素子から出た光が同一の色の対応する1つのカラーフィルタを透過するように配置されており、各カラーフィルタが複数の受光素子を覆っている。
本開示における他の偏光撮像素子は、撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、カラーモザイクフィルタよりも光入射側に位置する光学ローパスフィルタと、光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子とを備えている。複数の偏光光学素子の各々は、複数の受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射する。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有している。複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されている。
画質が向上したカラー画像と偏光画像を取得できる偏光撮像素子が提供される。
本開示による偏光撮像素子の構成を示す断面図である。 水晶ローパスフィルタによる像の横方向シフトを説明する図である。 本開示の第1の実施形態の断面図である。 水晶LPFの動作原理を示す図である。 本開示の第1の実施形態の平面図である。 本開示の第1の実施形態に使う水晶LPFの断面構成図である。 本開示の第1の実施形態に使う水晶LPFのストライプλ/4板の平面構成図である。 本開示の第2の実施形態の断面図である。 本開示の第2の実施形態の平面図である。 本開示の第2の実施形態に用いる多層光学LPFの断面構成の図である。 水晶LPFの光線シフト量とカラーモザイク、偏光モザイクとの関係を示す図である。 多層光学LPF板を透過した光がカラーモザイク画素上で画素値となる過程を順次説明する図(その1)である。 多層光学LPF板を透過した光がカラーモザイク画素上で画素値となる過程を順次説明する図(その2)である。 多層光学LPF板を透過した光がカラーモザイク画素上で画素値となる過程を順次説明する図(その3)である。 本開示の第2の実施形態に用いる多層光学LPFの周波数特性の図である。 本開示の偏光撮像素子の基本的な構成例を模式的に示す断面図である。 本開示に使用され得る光学素子の一例を示す断面図である。 本開示の偏光撮像素子に使用され得る光学素子の他の例を示す断面図である。 本開示の偏光撮像素子に使用され得る光学素子の他の例を示す断面図である。 本開示の偏光撮像素子に使用され得る光学素子の他の例を示す断面図である。 図2Aの光学素子22の断面図である。 図2Aの光学素子22の上面図である。 図2Aの光学素子22の側面図である。 本開示の第1の実施形態による偏光撮像素子を示す断面図である。 本開示の第1の実施形態による偏光撮像素子を対物レンズ側の上から見た平面図である。 1個のプリズム光学素子の形状と光の進路の詳細を説明する図である。 入射角と光の透過率の関係を示す図(入射時)である。 入射角と光の透過率の関係を示す図(出射時)である。 入射角と光の透過率と偏光選択比の関係を入射から出射まで総合して示す図である。 隣接する画素ごとに45°ずつ4種類異なる方位角に配置されたプリズム光学素子を含む2×2セルを模式的に示す平面図である。 図27Aの各セルでの輝度と、入射する直線偏光の偏光方向(撮像面における偏光主軸の方位角)との関係の一例を示すグラフである。 材料を石英ガラスなどとした場合の屈折率の波長依存性を示す図である。 屈折率の波長依存変動を仮定した場合の入射から出射までの統合偏光選択比および光透過率を示す図である。 本開示の第1の実施形態において「面順次方式」内視鏡におけるカラー情報取得の方法を示す図である。 本開示の第1の実施形態において「同時方式」内視鏡にてカラー情報取得の方法を示す図である。 本開示の第1の実施形態において「同時方式」内視鏡にて別のカラー情報取得の方法を示す図である。 プリズム光学素子を接続する平板部の厚さ条件の説明図である。 実施形態1の変形例1におけるプリズム光学素子の図22とは異なる平面内配置を示す図である。 実施形態1の変形例2における表裏プリズムを同一形状としない例の図である。 本開示の第1の実施形態の変形例3を示す図である。 図36の構造を上から見た平面図である。 図36に示される装置による画素位置の補正を示す図である。 本開示の第1の実施形態の変形例の「同時方式」内視鏡におけるカラー情報取得において非偏光仮定フルカラー画像と偏光画像との解像度を説明する図である。 本開示の第1の実施形態の変形例4を説明する図である。 本開示の第1の実施形態の変形例4の断面形状の図である。 本開示の第2の実施形態による偏光撮像素子を示す断面図である。 本開示の第2の実施形態による偏光撮像素子を対物レンズ側の上から見た平面図である。 本開示の第2の実施形態における1個のプリズム光学素子の形状を2方向から見た図である。 隣接する画素ごとに60°ずつ3種類の異なる向きに斜面が配置されたプリズム光学素子を示す図である。 6角形セル内の画素から得られる信号に基づく偏光情報取得の処理を示す図である。 本開示の第2の実施形態において「面順次方式」内視鏡におけるカラー情報取得の方法を示す図である。 本開示の第2の実施形態において「同時方式」内視鏡におけるカラー情報取得の方法を示す図である。 本開示の第3の実施形態の断面図である。 本開示の第4の実施形態の断面図である。 本開示の第5の実施形態の断面図である。 本開示の第6の実施形態の断面図である。 本開示の第7の実施形態の断面図である。 臓器粘膜の表面散乱の光と深部からの散乱光とを成分分離する機能について説明する図であって、(A)は照明側、(B)は受光側を示す図である。 臓器粘膜からの反射光による輝度変動のグラフである。 本開示による内視鏡を含むシステムの実施形態の全体構成を模式的に示す図である。
以下の実施形態では、水晶ローパスフィルタと偏光フィルタとを適切に組み合わせることにより、上記の課題を解決することができる。
本開示における偏光撮像素子は、撮像面上に配列されて各々が光を電気信号に変換する複数の受光素子と、複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、カラーモザイクフィルタを覆う光学ローパスフィルタと、光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子とを備える。複数の偏光光学素子の各々は、各受光素子を覆っており、かつ、撮像面に平行な面内における所定方向に偏光した光を光学ローパスフィルタに入射する。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有している。複数のカラーフィルタは、複数の偏光光学素子から出た光が同一の色の対応する1つのカラーフィルタを透過するように配置されており、各カラーフィルタが複数の受光素子を覆っている。
ある実施形態において、前記光学ローパスフィルタは、前記複数の偏光光学素子の各々を透過した光線少なくとも一部を前記カラーモザイクフィルタにおける前記カラーフィルタの配列ピッチ以上の距離だけ前記撮像面に平行な方向にシフトさせるように構成されている。
ある実施形態において、前記複数の偏光光学素子および前記複数の受光素子の2次元的な配列の周期は、前記光学ローパスフィルタの遮断周波数の整数倍の空間周波数を有している。
ある実施形態において、前記光学ローパスフィルタは、前記撮像面に平行な面内において一様な光学特性を有している。
ある実施形態において、前記光学ローパスフィルタは、第1のλ/4板、第1の複屈折ローパスフィルタ層、第2のλ/4板、および第2の複屈折ローパスフィルタ層を光入射側からこの順序で備える。
ある実施形態において、前記光学ローパスフィルタは、前記第2の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、第3のλ/4板、および第3の複屈折ローパスフィルタ層をこの順序で備える。
ある実施形態において、前記複数の偏光光学素子は、各々が4個の偏光光学素子からなる複数の基本ユニットが行および列状に配列された偏光素子アレイを構成しており、各基本ユニットに含まれる4個の偏光光学素子の偏光透過軸の方向は相互に異なっており、前記複数の基本ユニットは、前記カラーモザイクフィルタにおける同一の色のカラーフィルタを1つの基本ユニットが覆うように配置されている。
ある実施形態において、2行2列に配置された4個の前記基本ユニットは、前記カラーモザイクフィルタにおける2行2列に配置された4個のカラーフィルタを覆っている。
ある実施形態において、前記カラーモザイクフィルタにおける2行2列に配置された4個のカラーフィルタはベイヤー配列を形成している。
ある実施形態において、前記光学ローパスフィルタは、前記第3の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、第4のλ/4板、および第4の複屈折ローパスフィルタ層をこの順序で備える。
本開示における他の偏光撮像素子は、撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、カラーモザイクフィルタよりも光入射側に位置する光学ローパスフィルタと、光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子とを備えている。複数の偏光光学素子の各々は、複数の受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射する。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有している。複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されている。
ある実施形態において、前記光学ローパスフィルタは、第1のλ/4板、第1の複屈折ローパスフィルタ、第2のλ/4板、および第2の複屈折ローパスフィルタを光入射側からこの順序で備え、前記第1のλ/4板は、前記複数の偏光光学素子の各々を透過した光の偏光状態を円偏光に変化させるように遅相軸および進相軸の方向が調整されたパターンを有している。
ある実施形態において、前記カラーモザイクフィルタは、ベイヤー配列の基本単位が二次元的に配列された構造を有し、1個の受光素子に1個のカラーフィルタが対応しており、前記複数の偏光光学素子は、偏光透過軸が90°異なる2つの偏光光学素子が交互に一方向に沿って配列された第1のストライプ状アレイと、偏光透過軸が90°異なる2つの偏光光学素子が交互に一方向に沿って配列された第2のストライプ状アレイであって、前記第2のストライプ状アレイの偏光光学素子の偏光透過軸が第1のストライプ状アレイの偏光光学素子の偏光透過軸に対して45°の角度で交差する第2のストライプ状アレイとを含む。
ある実施形態において、前記第1のλ/4板は、前記複数の偏光光学素子の第1のストライプ状アレイに対向する第1ストライプ部分と、前記複数の偏光光学素子の第2のストライプ状アレイに対向する第2ストライプ部分ととを備え、前記第1ストライプ部分の遅相軸および進相軸は、前記第1ストライプ部分の遅相軸および進相軸に対して45°の角度を形成して交差している。
(実施形態1)
図1は、本開示の第1の実施形態による偏光撮像素子の断面構成例を示している。
本実施形態の偏光撮像素子は、撮像面10上に配列され、各々が光を電気信号に変換する複数の受光素子12と、これら複数の受光素子12を覆う光学素子アレイ20とを備える。図1では、複数の受光素子12のうちの4個の受光素子が記載されているが、現実には、より多くの受光素子12が撮像面10上に2次元的に配列されている。
光学素子アレイ20は、撮像面10に対向する面内で2次元的に配列された複数の光学素子22を含む。図1では、光学素子アレイ20に含まれる2個の光学素子22のみが記載されているが、現実には、より多くの光学素子22が光学素子アレイ20に含まれている。各光学素子22には光線28が入射し、各光学素子22から光線30が出射する。光学素子22の働きにより、光線30の偏光度は光線28の偏光度よりも高められる。光学素子22を透過した光線30は、水晶ローパスフィルタ2108を通過して、2つの光線に分岐される。分岐した光線は、それぞれ、モザイクカラーフィルタ1090における異なる色のカラーフィルタを透過してフォトダイオードに12に入射する。フォトダイオード12はセンサ基板103に形成されている。
水晶ローパスフィルタ2108によって光線が分岐する結果、例えば、水晶ローパスフィルタ2108を介して文字Aの像を観察すると、図2に模式的に示すように、2つの文字Aが重なりあった像に見える。図2には、参考のため、撮像面に平行な面内における水平方向(H方向)および垂直方向(V方向)を示す2つの矢印が示されている。以下の説明では、簡単のため、撮像面に平行な面内における水平方向(走査線の方向)を「H」、撮像面に平行な面内における垂直方向(走査線に垂直な方向)を「V」と表記する場合がある。このような「H」および「V」の方向は、撮像装置の姿勢によらず、撮像面に対して決定される。
図2の左側の例では、水平方向に像がシフトしており、右側の例では、垂直方向に像がシフトしている。像のシフト量は、水晶ローパスフィルタの厚さや屈折率異方性に依存する。なお、本開示の実施形態では、水晶ローパスフィルタを用いて光線を分岐しているが、水晶以外の複屈折材料から形成されたローパスフィルタを用いても良い。
図1の構成例では、フォトダイオードの中心間距離に等しいシフトが生じるように水晶ローパスフィルタが設定されている。フォトダイオードの中心間距離は、「画素ピッチ」と称される場合がある。本明細書では、各フォトダイオードを「画素」ではなく、「サブ画素」と呼ぶ場合がある。水晶ローパスフィルタを面内で90°だけ回転させると、像のシフト方向も90°だけ回転する。シフト方向が直交するように2枚の水晶ローパスフィルタを積層すると、像は4個に分かれることになる。画像を、カラーフィルタの配列ピッチの整数倍だけシフトさせると、カラーモザイクフィルタによるモアレの発生を防止することができる。
図1における光学素子22は、偏光光学素子である。近年では、可視光の範囲で波長依存性の無い微細な偏光素子が開発されつつある。このような偏光光学素子は、例えば、ポリマー製の偏光素子、フォトニック結晶の偏光素子、誘電体からなる構造複屈折素子、アルミニウム等を用いる金属ワイヤグリッド偏光子を含む。このような偏光光学素子を利用すれば、カラー偏光画像を撮像することが可能である。
以下、白色光を用いる方式でカラー情報を取得する偏光撮像素子の実施形態を説明する。これらの実施形態を改変して面順次方式のカラー偏光撮像素子を得ることは容易であるため、その詳細な説明は省略する。
図3を参照する。図3は、本実施形態の偏光撮像素子のより詳細な断面構成を示している。図3の構成例において、不図示の被写体からの光は、対物レンズ110を透過した後、偏光光学素子2701、2702、水晶LPF(ローパスフィルタ)3700、マイクロレンズ2110、カラーモザイクフィルタ109を通過して、フォトダイオード2105〜2107に入射する。偏光光学素子2701、2702は、それぞれ、図1における光学素子22に相当する。
このような構成を採用することにより、水晶LPF3700が有する複屈折による偏光への影響を排除して、偏光撮像とカラーモザイクによるカラー撮像の両立が可能になる。水晶LPF3700は、カラーモザイクフィルタ109へ光を分岐して入力し、モアレや偽色を無くすために使用される。本実施形態では、カラーモザイクフィルタにおける各カラーフィルタの配列、および水晶LPFの多層構造に工夫をしている。
図4は、水晶LPFの動作原理を示す図である。図4には、水晶LPFの断面が記載されている。図4の左側部分には、水晶LPFの下方から水晶LPFに円偏光が入射している様子が示され、図4の中央部には、水晶LPFの下方から水晶LPFに直線偏光(S偏光)が入射している様子が示され、図4の右側部分には、水晶LPFの下方から水晶LPFに直線偏光(P偏光)が入射している様子が示されている。図の例では、S偏光の偏光方向は紙面に垂直であり、P偏光の偏光方向は紙面に平行である。図4に示される水晶LPFにおける結晶の光学軸(optic axis)は、紙面内に存在する。
円偏光あるいは非(ランダム)偏光の光が水晶LPFに入射すると、光は、常光線(ここではS偏光)、と異常光線(ここではP偏光)に分離して異なる光路を伝搬する。その結果、水晶LPFの出力面で2光線の出射位置の一方がシフトする。水晶LPFを介して画像を見ると、シフトした画像が重なり合うために画像の空間周波数の低域が生じる。その結果、カラーモザイクフィルタによるモアレや偽色のアーティファクトが低減される。
水晶LPFによる光線シフトの向きは、水晶LPFにおける単軸結晶の光軸向きで定まる。シフト量は、水晶LPFの厚さtと常光線、異常光線の屈折率によって定まる。
本実施形態のように、水晶LPFの前段に偏光光学素子が置かれる場合には、水晶LPFに入射する光は偏光した光である。このため、そのままでは、水晶LPFによって入射光を分岐できない偏光が水晶LPFに入射する場合があり、そのような場合には、水晶LPFによる画像の空間周波数を低減する効果が得られない。具体的には、水晶LPFに直線偏光が入射すると、S偏光の場合には、スルー状態で透過し、P偏光の場合には、光線は斜めに伝搬してシフトするだけとなる。これらの場合、画像の空間周波数は低減しない。
図5は、図3の装置における画素配置の一例を示す平面図である。本実施形態では、偏光透過軸が方位角で45°ずつ異なる4種類の偏光光学素子が隣接設置されている。また、画像のH軸方向に隣接する2種類の偏光光学素子どうしは偏光透過軸として90度の差を有している。図5の例では、偏光光学素子アレイの2×2画素の領域において、左上と右上の領域は0°と90°の偏光透過軸を有し、左下と右下の領域は135°と45°の偏光透過軸を有している。
このように、本実施形態における偏光撮像素子では、複数の偏光光学素子の各々が、複数の受光素子を覆っており、かつ、撮像面に平行な面内における所定方向に偏光した光を光学ローパスフィルタに入射させる。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有し、複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されている。
本実施形態では、1個の偏光光学素子は、ベイヤーカラーモザイクフィルタの3×3画素をカバーしている。そのため、4種の偏光光学素子を含む単位偏光画素は、ベイヤーカラーモザイクフィルタの6×6画素領域に対応する。この対応する画素領域の画素数は他の数でもよい。水晶LPFの作用により、画素の最高空間周波数は1/2まで低下する。このため、隣接する偏光光学素子の境界線付近の1画素は、光線が入り混じる可能性が高い。たとえば上記の3×3画素を2×2画素にすると、偏光検出性能が劣化する可能性がある。
なお、ベイヤー配列とは、R(レッド)、G(グリーン)、B(ブルー)の3色のカラーフィルタが2行2列の4領域に分かれて配置された配列であり、4領域のうち、対角線上に位置する2領域にはG(グリーン)のカラーフィルタが配置されている。カラーモザイクフィルタの配列は、このようなベイヤー配列に限定されず、少なくとも3色のカラーフィルタから構成される単位が周期的に配列されていればよい。この点は、他の実施形態についても同様である。
出力画像の解像度につき説明する。
まず、非偏光仮定フルカラー画像は、ベイヤーモザイクの補間処理によりM×N画素にて生成される。一方、偏光画像は、4種類の偏光光学素子を1単位として、中心画素を点2801として得られる。この1単位に含まれる画素数が6×6画素なので、カラー偏光画像の解像度は、((M/6)+1)×((N/6)+1)画素となる。
以上のように、非偏光仮定フルカラー画像を生成する場合にはもとの撮像素子の最高解像度そのままのカラー画像を得ることが可能となる。偏光画像の場合には解像度は低下するものの、カラー毎の偏光画像が得られるという利点がある。
図6は、図3の実施形態に使われる光学LPF3700を示す図である。この光学LPF3700は、λ/4板と水晶LPFとを多層に組み合わせて作製されている。偏光光学素子を透過してきた入射光線2901は、直線偏光なので、まずストライプλ/4板2902にて円偏光に変換する。直線偏光の偏光方向は、偏光光学素子の偏光透過軸の方向によって規定される。本実施形態では、透過した偏光光学素子の偏光透過軸の方向が、基準軸に対して0°、45°、90°、135°の4種類であるため、水晶LPF3700に入射する直線偏光の偏光方向は4通りである。
図7に、このストライプλ/4板の2次元構造を示す。ストライプλ/4板2902の役割は、4種類の直線偏光から円偏光を生成することにある。このストライプλ/4板2902は、図7のH方向に延びる2種類のストライプ2902A、2902Bが図7のV方向に交互に配列された構造を有している。図7には、参考のため、偏光光学素子も記載されている。
ストライプ2902Aは、偏光光学素子の方位角が0°と90°の行に対応付けられる。ストライプ2902Aでは、ストライプが延びる方向に対してλ/4板のX(Fast)軸とY(Slow)軸を45°傾けている。Fast軸(進相軸)は、その軸方向に平行な方向に偏光した光に対する屈折率が最小となる軸であり、Slow軸(遅相軸)は、その軸方向に平行な方向に偏光した光に対する屈折率が最大となる軸である。言い換えると、Fast軸の方向に偏光した光は、相対的に高い位相速度で複屈折材料中に伝播し、Slow軸の方向に偏光した光は、相対的に低い位相速度で複屈折材料中に伝播する。
ストライプ2902Bは、偏光光学素子の方位角が、45°と135°の行に対応付けられる。ストライプ2902Bでは、ストライプが延びる方向に対してλ/4板のX(Fast)軸とY(Slow)軸を0°または90°に設定している。
このように、本実施形態では、対向する偏光光学素子とストライプ2902Aまたは2902Bとの間で、偏光光学素子の偏光透過軸がストライプλ/4板2902のX(Fast)軸およびY(Slow)軸に45°の角度で交差する構成が実現している。これによって、4種類の直線偏光に対して全てを円偏光に変換できる。偏光光学素子の偏光透過の方位角が0°と90°の行、および、45°と135°の行とを列方向に繰り返すことによって、本実施形態における上記の構成および効果を実現できる。ストライプλ/4板は、たとえば非特許文献1にあるような樹脂の微細加工の技術によって作成可能である。
再び図6を参照する。入射光線は、このストライプλ/4板2902を透過した後に、水晶LPF(V)2903によって垂直(V)方向へ光線を2つに分離される。次に再びλ/4板2904を用いて円偏光に変換し、今度は水晶LPF(H)2905を用いて水平(H)方向へ各光線をそれぞれ2つに分離することによってベイヤーカラーモザイクフィルタの4画素に光線を分割する。
(実施形態2)
図8は本開示の第2の実施形態による偏光撮像素子の断面構成例を示している。本実施形態では、カラーモザイクの1色内で偏光画素を平均化する。その結果、通常輝度が得られるため、通常のフルカラー画像の生成とカラー偏光画像の両方の取得が可能になる。その場合、カラー偏光画像がフルカラー画像に比べて解像度の低下が小さいという利点もある。
図8の断面図において、入射光線が、対物レンズ110などの入射側から偏光光学素子2701、2702、光学LPF(ローパスフィルタ)4100、マイクロレンズ2110、カラーモザイクフィルタ109を通過した後、フォトダイオード2105、2106に入射する。
第1の実施形態では、1個の偏光光学素子に、ベイヤーカラーモザイクフィルタの複数のカラーおよび画素が対応していた。これに対して、本実施形態では、カラーモザイクフィルタの1色単位109がカバーする領域内に、複数の偏光光学素子2701、2702とフォトダイオード(画素)2105、2106がそれぞれ対応する。
上記の構成によればカラー毎の偏光画像を取得する際に解像度が実質的に低下しない利点がある。光学LPF4100は、カラーモザイクフィルタへ光を分岐して入力し、モアレや偽色を無くすという効果を発揮する。この効果を出すため、本実施形態では、光学LPF4100に含まれる水晶LPFへ非偏光、あるいは円偏光を入射する。本実施形態のように4方向の偏光が組み合わされて入力される場合には、公知の光学LPFを使用しただけではモアレや偽色を無くすという効果が現れない。本実施形態では、カラーモザイクと偏光モザイクの組み合わせにおける空間周波数の関係と光学LPFの遮断周波数を考慮しながら、水晶LPFとλ/4板の多層構造を用いることにより、モアレや偽色を無くす効果を実現している。
図9は、本実施形態におけるカラーフィルタおよび偏光光学素子の配列例を示す平面図である。図9の例では、R(レッド)、G(グリーン)、B(ブルー)の3色のカラーフィルタがベイヤー配列を構成している。3色のカラーフィルタは、2行2列の4領域に分かれて配置されている。4領域のうち、2領域にはG(グリーン)のカラーフィルタが配置されている。なお、本実施形態でのカラーフィルタの配列は、この例に限定されない。
本実施形態では、1つの同一色カラーフィルタに偏光透過軸の方位が異なる4種類の偏光光学素子が対応する。すなわち、ベイヤーカラーモザイクフィルタの1色の領域が、偏光透過軸が方位角で45°ずつ異なる2行2例に配列された4個の偏光光学素子(偏光光学素子アレイの基本ユニット)に対応する。なお、フォトダイオードは、偏光光学素子に一対一で対応している。例えばR(レッド)の1つのカラーフィルタは、4つの偏光光学素子および4つのフォトダイオードに対応している。その結果、非偏光のカラー画像を出力する場合には、4種類の偏光画素を平均化処理することで1画素の輝度信号を生成する。このため、画素解像度は(M/2)×(N/2)に低下する。しかし、カラーの偏光画像を出力する場合にも、偏光画像の画素中心が点2910になるため、同じ解像度である(M/2)×(N/2)画素を維持できる。本明細書では、1つの同一色カラーフィルタに対応する2行2列のフォトダイオードの各々を「サブ画素」と称する場合がある。
図10は、図8に示す構成で使われる多層光学LPF板4100の断面構成例を示す。本実施形態で使用される光学LPFは、複数の偏光光学素子の各々を透過した光線の少なくとも一部をカラーモザイクフィルタにおけるカラーフィルタの配列ピッチ以上の距離だけ撮像面に平行な方向にシフトさせるように構成されている。より具体的には、複数の偏光光学素子および複数の受光素子の2次元的な配列の周期は、光学ローパスフィルタの遮断周波数の整数倍の空間周波数を有しており、光学ローパスフィルタは、撮像面に平行な面内において一様な光学特性を有している。
光学LPF板4100は、前述のようにλ/4板と水晶LPFとを多層に組み合わせて作製されている。より具体的には、光学LPF板4100は、光の入射側から、水平、垂直方向にFast、Slow軸を有するλ/4板4101、垂直方向の下(Y軸正)向きへ2画素分だけ光をシフトする複屈折特性を有する水晶LPF(V1)4102、水平、垂直方向から45°傾斜したFast、Slow軸を有するλ/4板4103、垂直方向の上(Y軸負)向きへ2画素分だけ光をシフトする複屈折特性を有する水晶LPF(V2)4104、水平、垂直方向にFast、Slow軸を有するλ/4板4101、水平(H)方向に2画素分だけ光をシフトできる複屈折特性を有する水晶LPF(H)4106を備えている。
λ/4板の役割は、直線偏光を円偏光に変換することである。そのため、積層された複数のλ/4板の各々に入射する直線偏光に対して各λ/4板の光学軸が45°の傾斜角を有するように光学LPF板4100は構成されている。
図11は、光学LPF板4100における水晶LPFの光線シフト量とカラーモザイク、偏光モザイクとの関係を示す図である。図11(1)では、水晶LFP(V1)4102を透過した光線がその下層のカラーモザイクに入射する様子を示している。図面では、光線は便宜的に斜め上から入射するように表現されている。水晶LPFの役割は、カラーモザイクにおけるモアレ、偽色の防止にあるため、光線はカラーモザイクの1色分すなわち2画素分だけ垂直下向きにシフトさせる。
たとえばG画素の4つのサブ画素に入る非偏光の光線群4103は、水晶LFP(V1)4102により、G画素の本来のサブ画素と、B画素の同じ偏光透過軸のサブ画素に分岐して重畳する。
同様に図11(2)は、水晶LFP(V2)4104を透過した非偏光の光線がその下層のカラーモザイクに入射する様子を示している。光線はカラーモザイクの1色分すなわち2サブ画素分だけ垂直上向きにシフトする。たとえばB画素のサブ画素に入る非偏光の光線群4105は、B画素の本来のサブ画素と、G画素の同じ偏光透過軸のサブ画素に分岐して重畳する。
同様に図11(3)は、水晶LFP(H)4106を透過した非偏光の光線がその下層のカラーモザイクに入射する様子を示している。光線はカラーモザイクの1色分すなわち2画素分だけ水平右向きにシフトする。たとえばG画素のサブ画素に入る非偏光の光線群4107は、G画素の本来のサブ画素と、R画素の同じ偏光透過軸のサブ画素に分岐して重畳する。
次に、図12、図13Aおよび図13Bを参照しながら、図10の多層光学LPF板4100を透過する過程で光の偏光状態の変化およびシフトがどのように生じるかを説明する。図12、図13Aおよび図13Bでは、左側に偏光状態を模式的に記載し、右側に光の画素値を模式的に記載している。ここで「画素値」とは、サブ画素における光のシフトおよび重畳の状態を考慮して観測されるエネルギー量を示している。図12、図13Aおよび図13Bには、ベイヤーモザイク配列の基本単位を構成する2×2個の色画素(G、R、B、G)に含まれる4×4個のサブ画素が示されている。
まず、図12(1)を参照する。図12(1)は、4×4個の偏光光学素子を透過した直後の4×4個のサブ画素領域における光の状態を示している。偏光光学素子によって、各サブ画素に対応して偏光方向が45°づつ異なる直線偏光が形成され、図10に示すλ/4板4101に入射する。偏光光学素子を透過した光は、エネルギー量をそのまま維持しており、この状態を図12ではT(スルー:Through)と表記している。
図12(2)は、λ/4板4101を透過した直後の状態を示す。図中において、円形の矢印は、円偏光を意味している。λ/4板4101のFast、Slow軸の向き4032が基準方向(図9に示す水平方向Hまたは垂直方向V)に対して平行または直交しているため、図12(2)に示すように、λ/4板4101を透過した光の偏光状態が円偏光になる画素と直線偏光になる画素とが市松状に発生する。しかし、図12(2)の右側に示すように、画素値は変化しない。
図12(3)は、水晶LFP(V1)4102を透過した直後の状態を示す。幾つかのサブ画素領域には、水平方向の実線の矢印と、その矢印と交差する線分とが示されている。水平方向の実線の矢印は、シフトしない常光の偏光方向を示し、線分は、シフトする異常光の偏光方向を示している。この記号が付されたサブ画素領域では、V方向の2画素ごとに光線(異常光)がシフトして常光と重畳される。図11を参照しながら説明したように、この水晶LFPにおける光学軸の向き4035に合わせて、光線は垂直下向きに2サブ画素シフトする。この際、もともと円偏光状態の光線が通過するサブ画素では、光線が常光と異常光に分離して重畳される。そのため、図12(2)に示す円偏光の光が入射するサブ画素領域4036における画素値は、V方向に平均加算した値を持つ。一方、偏光方向が0°方向の直線偏光および90°方向の直線偏光が入射するサブ画素領域4038、4040における画素値は、それぞれ、変化なし(スルー)の状態T、およびV方向に2サブ画素シフトした状態Sとなる。
図13A(4)は、λ/4板4103を透過した直後の状態を示す。Fast、Slow軸の向き4042が基準方向に対して45°傾斜しているため、透過光が円偏光に変化するサブ画素と、常光と異常光の重畳しているサブ画素とが市松状に発生する。λ/4板4103のような位相差板を透過しても、画素値は図12(3)の状態のまま変化しない。
図13A(5)は、水晶LPF(V2)4104を透過した直後の状態を示す。水晶LFPにおける光学軸の向き4043に合わせて、光線は垂直上向きに2サブ画素シフトする。この際、円偏光状態の光線が水晶LPF(V2)4104に入射したサブ画素領域4044の光は、図13A(5)の左側部分に示すように、円偏光状態の光線が常光と異常光に分離して重畳される。その画素値4045はV方向に平均加算した値を持つ。一方、水晶LPF(V2)4104に入射する前に常光と異常光に分離して重畳していたサブ画素領域4046では、常光および異常光のそれぞれの光線が、スルーとシフトをする。このため、このようなサブ画素領域4046での画素値は、再度V方向に平均加算された値4047を持つ。これをVVと表記する。また、図13A(4)の段階ではSで表記されていたサブ画素領域4048では、V方向に下向き画素ズレを発生していたが、今回の平均化によって上向きに画素ズレをする。このため、画素ズレを解消することができ、同時にV方向の平均化が達成できる。
図13B(6)は、λ/4板4101を透過した直後の状態を示す。λ/4板4101におけるFast、Slow軸の向き4049が基準方向に対して平行または直角であることから、全てのサブ画素領域で円偏光に変化する。画素値は図13A(5)の状態のまま変化しない。
図13B(7)は、水晶LPF(H)4106を透過した直後の状態を示す。各サブ画素領域には、垂直方向の実線の矢印と、その矢印と交差する線分とが示されている。垂直方向の実線の矢印は、シフトしない常光の偏光方向を示し、線分は、シフトする異常光の偏光方向を示している。各サブ画素領域では、H方向の2画素ごとに光線(異常光)がシフトして常光と重畳される。水晶LFP4106における光学軸の向き4051に合わせて、光線は水平右向きに2画素シフトする。円偏光状態の光線は全サブ画素において、常光と異常光に分離して重畳される。その画素値はH方向に平均加算される。この状態を図13B(7)ではVH、またはVVHと表記した。
以上、図8に示される偏光光学素子2701、2702から出て多層光学LPF板4100に入射した光線(サブ画素毎に偏光方向が異なる直線偏光)は、図12および図13Aの(1)から図13Bの(7)の過程を経て、カラーモザイクフィルタに入射される。その後、サブ画素に対応するフォトダイオードにて画素信号に変換される。カラーモザイクフィルタには各偏光光学素子を透過した光が、2サブ画素ごとにV(垂直)、H(水平)の方向にシフトして、平均加算された状態で入力されるためモアレや偽色の発生がない。
上記の実施形態では、4枚のλ/4板および4枚の水晶LPFが積層された光学LPF(ローパスフィルタ)4100を用いているが、他の光学LPF(ローパスフィルタ)を用いてもよい。例えば、第1のλ/4板、第1の複屈折ローパスフィルタ層、第2のλ/4板、および第2の複屈折ローパスフィルタ層を光入射側からこの順序で備える光学ローパスフィルタであっても、程度は低いものの、モアレの発生を抑制する効果は得られる。第2の複屈折ローパスフィルタ層とカラーモザイクフィルタとの間に、第3のλ/4板、および第3の複屈折ローパスフィルタ層をこの順序で更に備えていれば、モアレの発生を抑制する効果は向上する。
図14は、本実施形態における水晶LPFの空間周波数特性を示す図である。水晶LPFは、第1の実施形態における水晶LPFと同一のものを用いればよい。画素間距離をωとすると、水晶LPFの遮断周波数が1/2ωに相当する。これがベイヤーカラーモザイクフィルタの周波数に対応する。
図14からわかるように、遮断周波数の2倍の周波数である1/ωは、再び透過周波数帯になる。この周波数1/ωは、4方向の偏光素子の周波数に合致している。この性質があるために、本実施形態においては、水晶LPFを用いたとしても、1色がカバーする4方向の偏光画素が生成する高空間周波数の輝度分布を、LPFによる影響なしに、フォトダイオードが受光できる。光学ローパスフィルタの透過周波数帯は、遮断周波数の偶数倍に相当するため、偏光受光素子やフォトダイオードの配列における空間周波数は、光学ローパスフィルタの遮断周波数の偶数倍であればよい。
なお、本明細書では、水晶LPFを有する構成例は全てベイヤーカラーモザイクを用いた単板カラー撮像素子である。しかし、本実施形態は、ベイヤー以外の他のカラーモザイク配列でも構わない。また、カラーフィルタを用いないモノクロ撮像素子においても画素サンプリングにおけるモアレ防止のため水晶LPFを用いる場合もあるため、その場合にも有効である。
内視鏡においてカラー画像の取得と偏光画像の取得を同時に実施すると、光量のロスが大きくなって画像の感度が大幅に低下する。
内視鏡におけるカラー情報の取得には、面順次方式と同時方式がある。いずれも白色光の総エネルギー量の1/3のみを用いてRGB画像を生成し、残りのエネルギーは色フィルタに吸収される。すなわち、カラー画像を生成するために有効に利用される光量は入射光線量全体の1/3である。偏光フィルタを作用させた場合、消光比が1000:1程度の一般的な偏光フィルタはP波またはS波を完全に吸収してしまうため、光量はさらに1/2に減少する。つまり、カラーと偏光の情報を取得するためには、撮像素子のフォトダイオードで電気信号に変換され得る光量は、入射光線量の1/6に減少してしまうことになる。
内視鏡分野では、高感度の画像への要望は非常に大きい。近年は狭帯域の分光カラー照明による撮像なども使われているが、画像が暗くなってしまうこと、すなわち感度低下することが大きな課題となっている。ここで、分光画像の替わりに偏光画像を用いると、カラー画像を明るく撮像できる可能性があるが、上記のように実際には暗い画像しか得られないため、内視鏡において実用的に偏光撮像を撮像するには困難があった。
従来の偏光撮像素子では、偏光選択比の高い既存の偏光フィルタ素子(偏光選択比は、通常、100以上)が用いられる。このため、一般の光源から得られる非偏光の光が偏光撮像素子に入射した場合には、偏光フィルタを透過できる光の量が1/2となり暗い低感度な画像となる。
本開示では、内視鏡に適用可能な明るい画像と偏光情報とを同時に取得できる偏光撮像素子を提供できる。
図15は、本開示の偏光撮像素子の基本的な構成例を模式的に示す断面図である。本開示の偏光撮像素子は、撮像面10上に配列され、各々が光を電気信号に変換する複数の受光素子12と、これら複数の受光素子12を覆う光学素子アレイ20とを備える。光学素子アレイ20は、撮像面10に対向する面内で2次元的に配列された複数の光学素子22を含む。図15では、複数の受光素子12のうちの2個の受光素子が記載されているが、現実には、より多くの受光素子12が撮像面10上に2次元的に配列されている。また、同様に光学素子アレイ20に含まれる2個の光学素子22のみが記載されているが、現実には、より多くの光学素子22が光学素子アレイ20に含まれている。
各光学素子22には光線28が入射し、各光学素子22から光線30が出射する。光学素子22の働きにより、光線30の偏光度は光線28の偏光度よりも高められる。偏光度の増加は光学素子22での「屈折」による。このため、光学素子22を屈折型の偏光素子と呼んでもよい。
図15では、各光学素子22が簡略的に長方形の断面を有するように記載されているが、実際の光学素子22は、光を屈折させる少なくとも1つの面を備えている。このような光学素子22は、例えば図16に示されるように、光線28が入射する第1面24と、光線30を出射する第2面26とを有する、断面が平行四辺形の角柱から構成され得る。図16に示される例では、第1面24に対する光線28の入射角ω1が55度から80度までの範囲内にあり、第2面26に対する光線28の出射角ω2も55度から80度までの範囲内にある。ここで、入射角ω1は、第1面24の法線(破線)と入射する光線28との間の角度である。また、出射角ω2は、第2面26の法線(破線)と出射する光線30との間の角度である。後述するように、入射角ω1および出射角ω2の少なくとも一方が55度から80度までの範囲内にあれば、屈折による偏光度の増加が実現する。図16に示される例では、光線28が第1面22に入射するとき、および、光線30が第2面24から出射するときに偏光成分に偏りが生じる現象を利用して偏光度を高める。この現象の詳細は、後述する。
光学素子22は多様な形状を有することができる。図17、図18および図19は、それぞれ、本開示の偏光撮像素子に使用され得る光学素子22の幾つかの例の断面形状を模式的に示している。図17の光学素子22では、光線28が入射する第1面24が反対方向に傾斜した2つの光入射平面部分に分かれている。同様に、光線30を出射する第2面26も、反対方向に傾斜した2つの光出射平面部分に分かれている。図18および図19に示される光学素子22では、第1面24に対する光線28の入射角ω1は55度から80度までの範囲内にあるが、第2面26に対する光線30の出射角ω2が55度から80度までの範囲から外れている。なお、本開示の実施形態における光学素子の形状は、これらの図面に示された例に限定されない。
図20A、図20B、および図20Cは、それぞれ、図17の光学素子22の断面、上面、および側面を示している。ここで、撮像面10に平行な面としてXY面を置き、撮像面10に垂直な方向にZ軸を置く。この光学素子22は、Y軸方向に延びる2個の三角プリズムを一体化した構造を有している。光学素子22を撮像面10に垂直な方向(Z軸の方向)から見たとき、光学素子22の第1面24または第2面26の法線(破線)の方位は、図の座標におけるX軸方向に等しい。後に詳しく説明するように、1つの光学素子アレイ20に含まれる光学素子22のXY面内における方位は3以上である。光学素子22のXY面内における方位を特定するため、「方位角」を定義することが便利である。本明細書では、撮像面10に垂直な方向から光学素子22を見たときの光学素子22の第1面24または第2面26の法線(破線)の方位とY軸との間の角度を「光学素子の方位角」と定義する。図20Bにおける光学素子の方位角は90°である。
本開示では、光学素子22の方位角が少なくとも3つの異なる角度を有するように複数の光学素子22が配列されている。こうして、偏光方向が少なくとも3つの方向に異なる光を各受光素子12に入射させることが可能になる。その結果、1個の画素または複数の画素単位で偏光方向が異なる画像を取得することが可能になる。このような偏光撮像素子は、内視鏡などの撮像装置に好適に用いられ得る。
光学素子アレイは、各々がX個(Xは3以上の整数)の光学素子から構成される複数の光学単位が二次元的に配列された構成を有している。各光学単位に含まれるX個の光学素子は、各光学素子が有する前記第1面または第2面の法線の方位角が少なくとも3つの異なる角度を有するように各光学単位内で配置されている。
以下、図面を参照しながら、本開示による偏光撮像素子の実施形態をより詳細に説明する。
(実施形態3)
図21は、本開示の第3の実施形態による偏光撮像素子の構成の一部を示す断面図である。本実施形態の偏光撮像素子101は、受光素子として機能するフォトダイオード104、116が撮像面10上に二次元的に配列されたセンサ基板103と、センサ基板103に支持された光学素子アレイ200とを備えている。
センサ基板103には、遮光膜105、カラーフィルタ109、水晶LPF(ローパスフィルタ)112が配置されている。カラーフィルタ109および水晶LPF112は、後述するように、同時方式の照明で用いられるが、面順次式の照明の場合には用いられない。
光学素子アレイ200は、方位角の異なる光学素子102、111を含む複数の光学素子を備えている。これらの光学素子の各々は、図20A、図20B、および図20Cに示された構成を有しており、偏光素子として機能する。このような屈折によって偏光度を高める光学素子を、本願明細書では「プリズム光学素子」と呼ぶことにする。プリズム光学素子102、111は、それぞれが、フォトダイオード104、116の1個または複数個をカバーするように配置されている。対物レンズ110を透過した入射光線106は、プリズム光学素子102の斜面(第1面)で屈折してプリズム光学素子102の内部に侵入して屈折光107となる。屈折光107は、プリズム光学素子102の別の面(第2面)で屈折して出射光線108となる。出射光線108は、水晶LPF112およびカラーフィルタ109を透過してフォトダイオード104に到達する。
フォトダイオード104に隣接するフォトダイオード116の上には別のプリズム光学素子111が配置されている。プリズム光学素子102とプリズム光学素子111は、入射光線106の軸周りに異なる向きに配置されている。図21では、プリズム光学素子102とプリズム光学素子111とが互いに90°異なる向きに設置されている様子を描いている。現実の偏光撮像素子101におけるセンサ基板103には、より多くのフォトダイオードが撮像面10上に配列されている。
隣接するプリズム光学素子102、111などの光学素子は、平板部114によって相互に接続されて1個の光学素子アレイ200を構成している。光学素子アレイ200の全体は、支持体113を介してセンサ基板103に固定されている。図21の例では、取り付けネジ115によって支持体113とセンサ基板103とが連結されている。支持体113は、光学素子と一体化して作成されていてもよい。例えば、ある厚さの透明基板を切削することによって、光学素子アレイ200を作製してもよい。なお、光学素子アレイ200とセンサ基板103との固定は、取り付けネジ115を用いることなく、他の固定具または接着剤などを用いて行ってもよい。
図22は、偏光撮像素子101を光入射側から見た平面図である。図22の一点鎖線201に沿った断面図が図21に相当する。図22では、偏光撮像素子101の四隅近傍に取り付けネジ115が位置している。図22の例では、支持体113に囲まれた矩形のエリアが撮像面である。簡単のため、この撮像面内には、4行4列に配列された16画素分のフォトダイオードが記載されているが、現実には、より多くのフォトダイオードが配列される。フォトダイオードは、例えば100万画素を超える画素を構成するように形成され得る。なお、本明細書では、1画素を1セルと称する場合がある。本実施形態では、1個のフォトダイオードに1個のプリズム光学素子が割り当てられ、各プリズム光学素子を透過した光が、対応する1個のフォトダイオードに入射する。
各フォトダイオードを覆うプリズム光学素子は、隣接する画素ごとに45°ずつ4種類が異なった方位角にて配置されている。この配置によって平面上で選択されるいずれの2×2セルには、かならず異なる4種類の向きを有するプリズム光学素子が含まれることになる。撮像面10において、図22の破線で示す単位202および単位203は、それぞれ、2行2列に配置された4個のフォトダイオードを含み、かつ、2行2列に配置された4個のプリズム光学素子に覆われている。以下、2行2列に配置されたフォトダイオード(画素)を「2×2セル」と称する。各単位202、203には、偏光方向が異なる4種類の光が入射する。2×2セルを単位として処理することによって偏光の振動面を推定することができる。
図23は、1個のプリズム光学素子の形状と光の経路を説明する図である。プリズム光学素子は一般には二等辺三角形の断面を有している。しかし、本実施形態で使用するプリズム光学素子は、断面が正三角形のプリズムが底面を合わせて2個接着された形状を有している。より詳細には、本実施形態のプリズム光学素子は、断面が正三角形の2つのプリズムが一体化された構成を有し、しかも、これらのプリズムは同一の材料から形成され、かつ、プリズム材料以外の材料を介することなく、連続している。
断面の正三角形の頂点の角度は全て60°である。光学素子の真上から撮像面10に対して垂直に入射光線が入射点301に到達すると、プリズム光学素子の斜面(第1面)での入射角ω1は60°となる。このプリズム光学素子がアクリル板、あるいは石英ガラス等で作られている場合、屈折率は1.5程度となる。その結果、入射光線106が空気中からプリズム光学素子内に進入する際の出射角θは約35.26°である。この屈折光107が出射点302において角度ω2=ω1で空気中に出ていく光108になる。光線106と光線108は平行である。このプリズム光学素子は光の進行方向は変えないが、偏光状態が変化する。
図24、図25、図26は、この偏光状態の変化を説明するグラフである。図24では、横軸に入射角ω1、縦軸に光の透過率をとり、空気中からプリズム光学素子への入射時に受ける偏光状態の変化を示している。図23のプリズム光学素子では、光が入射する面(第1面)が反対方向に傾斜した2つの斜面から構成され、それらの斜面が形成する角度は60°であるため、入射角ω1は60°に固定されている。プリズム光学素子の断面形状を変化させると、入射角ω1も変化する。
フレネル反射屈折の理論式に屈折率1.5を代入して、プリズムの断面に対してP波とS波の透過率を計算すると、入射角ω1の関数として、図24のP波とS波の2種類のカーブが得られる。非偏光光がプリズム光学素子に入射した場合には、P波とS波の両者が混在した出射光線が得られる。このような出射光線の透過率は、図24において、「平均」と付された一点鎖線のカーブによって示されている。図23で示したように入射角ω1=60°とのとき、P波の透過率はP1(=約99%)、S波の透過率はS1(=約80%)である。非偏光光の透過率は、P波とS波とが均等に含まれる光の透過率に等しい。このため、非偏光光がプリズム光学素子の斜面に60°の入射角で入射たとき、約90%の光がプリズム光学素子の内部に進入する。この時点で、光線に含まれるP波成分がS波成分よりも優位となる。言い換えると、プリズム光学素子の第1面を透過するとき、光線のP波成分がS波成分よりも多くなり、偏光度が高められる。
図25は、プリズム光学素子から空気中に出射する際の偏光状態の変化を説明する。屈折率が1.5のプリズム光学素子の内部から光線が第2面を透過して、外部に出射するときの透過率をフレネル反射屈折理論から計算した。図25は、この計算によって得られたP波、S波、平均のカーブを描いている。図25において入射角θは45°付近までしか描かれていない。45°付近以上の角度では全反射となり、光が出射不可能になる。プリズム光学素子から空気中への入射角θについて、θ=35.26°を想定すると、P波の透過率はP2(=約100%)、S波の透過率はS2(=約80%)である。もし、完全な非偏光光がプリズム光学素子の内部から第2面に入射したならば、その約90%がプリズム光学素子から外部に出射する。この場合も、P波がS波よりもより多く出射する。
図26は、入射角ω1に依存して偏光選択比および光透過率が変化する様子を描いたグラフである。ここでは、プリズム光学素子への入射時およびプリズム光学素子からの出射時の両方を考慮し、偏光選択比および光透過率を計算した。
偏光選択比は入射角ω1が大きいほど大きくなり、光透過率は入射角ω1が大きいほど小さくなる。従って、設計にあたっては偏光選択比および光透過率の両立できる入射角ω1を選択し得る。これは、角度において55度から80度の範囲内である。たとえば入射角ω1を60°付近に設定すると、偏光選択比が約1.5、光透過率が約0.8(=80%)という性能を得ることができる。これは図23の正三角形プリズムにおいて平行光が入射した場合に相当する。なお、偏光選択比とは最大値MAXとしてのP波と最小値MINとしてのS波の強度比率Q=(MAX/MIN)のことである。これを、以下の偏光度DPにて表現することもできる。
Figure 0005764747
上記の式1から、偏光選択比Q=1.5のとき、偏光度DP=20%が得られる。直線偏光を通常の偏光板に入射させるとき、直線偏光の偏光軸と偏光板の偏光透過との間の角度を180°だけ変化させると、偏光板を透過する光の強度はサイン波状に変化する。この場合、偏光板を透過する光の最大値MAXと最小値MINを測定によって求めると、式(1)からDPの値を得ることができる。通常の偏光板では、近似的に、最小値MIN=0であるため、DP=1が得られる。このような偏光板のDPに比べると、プリズム光学素子の偏光度DPは格段に小さい。しかし、撮像素子の性能から考えると十分検出可能な変動になっている。
図27Aは、隣接する画素ごとに45°ずつ4種類異なる方位角に配置されたプリズム光学素子を含む2×2セルを模式的に示す平面図である。図27Bは、図27Aの各セルでの輝度と、入射する直線偏光の偏光方向(撮像面における偏光主軸の方位角)との関係の一例を示すグラフである。4個の画素に相当するフォトダイオードにて得られる輝度は、入射光線が偏光している場合には互いに異なっている。この輝度を45°おきに入力軸上にプロットして、以下のような未知数である振幅A、位相角B、平均値Cを有するサイン関数にてフィッティングすることができる。最適フィッティングの方法は、たとえば特許第4235252号公報に開示されている。
Figure 0005764747
このフィッティングで得られた3つの未知数から、この2×2セルにおける偏光情報を以下のようにして得る。
偏光主軸は、輝度が最低になる方位角に相当するので、以下の式で得られる。
Figure 0005764747

偏光度は、以下の式で得られる。
Figure 0005764747

ここで算出された偏光主軸と偏光度の2パラメータにて形成される画像を偏光画像と称する。
次に、偏光撮像時におけるカラー情報の取得につき説明する。従来、特定の波長帯域における偏光画像と通常のカラー画像とを同時取得する技術は存在していた。たとえば特開2010−130655号公報では、可視領域のカラー画像と赤外領域での偏光画像を同時取得できる撮像素子が開示されている。可視領域においてRGBバンドのカラー画像とBバンドの偏光画像を同時にリアルタイムで取得する技術は、特許文献1から3に開示される。しかし、従来技術では、カラー情報と偏光情報を同時取得するため、たとえばB(ブルー)フィルタで暗くなったB画素にさらに偏光フィルタを設置する光量ロスはやはり著しいものがあった。また、その場合、偏光画像がB(ブルー)画像のみであり、RやGについては偏光画像が得られない。
本開示の実施形態によれば、RGBバンドのフルカラー画像とRGBバンドの偏光画像を同時にリアルタイムでしかも十分な光量をもって実現することが可能になる。本開示の実施形態によれば、光量のロスが50%程度発生する従来の偏光撮像素子に比べて明るくでき、カラー情報取得も実用的に可能になる。
図28は、石英ガラスの屈折率の波長依存性を示す図である。本開示においては、光学素子の材料を特に規定しない。光学的に透明で屈折率が1.4から1.8程度の材料であればよい。図28に示されているように、可視光範囲において短波長から長波長に波長が変化すると、屈折率は若干低下する。しかし、その変化は大きなものではなく、400nmから800nmまでの可視光範囲において、屈折率n=1.52〜1.48程度の変化となる。プリズム光学素子を石英ガラスから形成した場合、入射光線の波長に応じて光学素子の屈折率nが1.52〜1.48程度の範囲内で変化することになる。このような屈折率の差が透過率および偏光選択比へ影響する程度を以下に考察する。
図29は、この屈折率変動を仮定して描いた偏光選択比および光透過率を示すグラフである。偏光選択比および光透過率は、プリズム光学素子への入射からプリズム光学素子からの出射までを統合して計算した。図29では、屈折率nが1.48、1.50、1.52の場合についてカーブが記載されている。1.48、1.50、1.52の屈折率nは、図28に示されるように、それぞれ、赤、緑、青の波長に対応している。入射角60°付近にて屈折率が1.48から1.52に大きくなると、すなわち入射光線が赤色から青色に変化すると、偏光選択比が増加するが、その増加幅は、1.43〜1.52程度である。同様に入射角60°付近にて屈折率が1.48から1.52に大きくなると、光透過率は低下するが、その低下幅は0.84〜0.81程度である。
以上の事実から、本実施形態における偏光撮像素子では、可視光範囲のカラー情報を取得する場合に波長依存性がほとんど無いことがわかる。従って、光量ロスが少ないという特徴に加えカラー情報取得が簡単であるという利点がある。このように、利用している物理現象が誘電体における光の屈折現象だけであり、屈折率の波長依存性は小さいため、可視光全域での広帯域撮像、すなわちカラー情報の取得について特別な考慮が不要になる。このため、特に面順次方式の内視鏡では、この撮像素子を用いてそのままカラー化が可能であり、さらに従来不可能であったカラー毎(RGB成分毎)の偏光画像も取得可能になる。本開示の効果を得るためには、画素サイズよりも大きなサイズの光学プリズム素子も使用可能である。なお、フォトニック結晶を用いる偏光撮像素子では、偏光動作する波長範囲が狭いため、カラー化にあたってはRGB毎に定数を変化させて作成することが求められる。またワイヤグリッド方式の偏光撮像素子では、可視光領域で動作させるために100nmオーダーの波長以下のナノ構造を作成する。このような構造に比べると比較的容易に作成が可能である。
入射角ω1として55度から80度の角度を有するようにして撮像素子に垂直な光を仮定した場合、光透過率が50%以上となるため、従来の偏光素子に比較すると光量ロスのない明るい素子にできる。なお、この入射角ω1を維持するためには、入射光線が平行光軸に近くなる、いわゆるテレセントリック光学系を使う、あるいは撮像素子の中心付近のみに本プリズム光学素子を設置するなどの工夫をしてもよい。
ここで、フルカラー画像とカラー偏光画像の意味を説明する。以下の説明では、本開示の実施形態における撮像素子は「フルカラー画像」と「カラー偏光画像」の両方を取得するとしている。「フルカラー画像」とは、従来の内視鏡などに使われる輝度カラー画像を意味するが、その種類は生成手段から2種類に分類できる。第一の「偏光平均フルカラー画像」の場合、4方向のプリズム光学素子から出力される輝度が異なっていても、その平均値を輝度値として用いる。このため体内組織において偏光したカラー光による画像においても正しい色再現が実現できる反面、平均化によって解像度が低下する。第二の「非偏光仮定フルカラー画像」の場合、入射光線が非偏光であることを仮定する。この場合、4方向のプリズム光学素子から出力される輝度には差違が無いと考えるため、画素数分の解像度でフルカラー画像が得られる。カラーモザイクフィルタと組み合わせた場合にも従来のモザイク補間処理を実施すればフルカラー画像が得られるため解像度低下が発生しない。反面、受光した画像が偏光した光で構成されている場合には4方向で輝度の変動が発生するため、正しい色再現ができない欠点がある。
これら「偏光平均フルカラー画像」と「非偏光仮定フルカラー画像」は撮像素子から出力される画像信号の処理方式の違いで生成され撮像素子自身の構成には関係しない。
次に「カラー偏光画像」とは、可視域のRGBのカラーバンド毎に観測される偏光画像のことを意味し、各カラーバンド、すなわち波長域毎にどのように偏光状態が変化しているかを解析できるものである。なお、このような可視域でのカラー毎の偏光情報は特に医学的に重要なものとされている。
図30は、いわゆる「面順次方式」の内視鏡に本開示の偏光撮像素子を使ってカラー情報を取得する場合を示している。面順次式の内視鏡とは、照明光の色がR、G、Bと順に変化していくのに同期して高精細のモノクロ画像が順次撮像され、それらが合成されてフルカラー動画を生成するものを言う。このため、照明光の色がR、G、Bと順次変化していく毎に、R、G.Bのバンド毎の偏光画像が自然に得られる。その各々に上述した偏光主軸と偏光度を求める処理を実施することでカラー毎の偏光情報を得ることができる。フォトダイオードの数に相当する画素数がM×N画素の場合、2×2セル処理を1画素ずつずらして実施すると、R、G、B各色の偏光画像の解像度は全て(M−1)×(N−1)画素となる。このため、ほとんど解像度低下はない。
図31と図32はいわゆる「同時方式」の内視鏡にて本開示の偏光撮像素子を使ってカラー化する場合の方法を示したものである。
同時方式の内視鏡とは、図示するように照明が白色光であり、撮像素子側にカラーモザイクフィルタが設置されることによってフルカラー画像を生成するものである。このカラーモザイクフィルタの割り当て方には、2種類ある。図31は、プリズム光学素子の4個の組に対してたとえば特許第4235252号公報に記載されているようにベイヤー配列モザイクのRGBの1色を割りあてる方法である。その結果、同一色にて4方向の偏光撮像が実施されるため、ある色に対して偏光情報が確定する。しかし、撮像されるカラー偏光画像はカラーモザイク画像になるので、モザイク補間を実施してフルカラー化する。その結果、面順次式と同様にR、G、Bのバンド毎に偏光画像が得られる。図31における点1101は、偏光画像における画素中心を意味する。このように、図31の構成例において、撮像面に配列された複数の受光素子は、各々がY個(Yは3以上の整数)のフォトダイオードから構成される複数の受光単位を有する。図31の例では、Y=4である。また、図31の例では、カラーモザイクフィルタが設けられ、各受光単位に含まれるY個の受光素子に対して1つの色(R、G、またはB)の光を入射させる。
このモザイク補間処理は、通常のカラー輝度の補間と少々異なっており、2種の偏光情報である偏光主軸と偏光度をそれぞれ輝度値とみなして補間する。特に偏光主軸は180°周期の角度値であるから、補間計算時に180°を超過した分は補正される。
以上の処理によって非偏光の戻り光の場合のフルカラー画像もカラー偏光画像とも元々の画素数のM×Nに対して縦横とも半分の解像度である(M/2)×(N/2)画素となる。この方法は、RGB成分ごとに偏光画像が得られる利点がある。
図32は、プリズム光学素子の4個の組に対してベイヤーモザイクフィルタの3×3領域の4隅の同色画素に割り当てる方法である。この方法では、非偏光仮定フルカラー画像の解像度は撮像素子の有する画素数M×N画素そのもので解像度低下がない利点がある。また偏光画像については、偏光処理のためには同じ色画素のみを使うため、図32のように使える画素はGのみとなる。このため、偏光画像の画素中心は点1102で示されるように、ベイヤーモザイク3×3画素の中心画素となる。そのため、この構成では、RGB全てのカラーについての偏光画像は得られない。図32の例では、G(Green)のみの偏光画像が生成されるが、その解像度は((M/3)+1)×((N/3)+1)画素となって解像度の低下も比較的少ない。さらにこの構成においては、偏光観測画素どうしが互いに2画素離れているため、画像の空間周波数として最高解像度の半分が残存すればよい。したがって、ベイヤーモザイクフィルタに用いる水晶LPFを使うことが可能であるという利点がある。その場合、水晶LPFが複屈折によって偏光状態を壊してしまうため、図21に示すように、プリズム光学素子とカラーフィルタとの間に水晶LPF112が配置される。図32の例では、偏光観測画素としてG画素を設定しているが、偏光観測画素はR画素またはB画素でもかまわない。また、図32の例では、光学素子4個の組に対して3×3画素を対応させたが、他の個数の画素、例えば5×5画素を対応させてもよい。
図33はプリズム光学素子を接続する平板部114の厚さ条件について説明する図である。入射光線を無駄なく出射させるという観点からは、平板部114の厚さTが理想的にはゼロに設定され得る。しかし、平板部114の厚さTが小さくなりすぎると、光学素子を支持するのが困難になる。平板部114の厚さTが大きくなると、入射光線1201が屈折して光線1202となって光学素子内を進行し、平板部114にて反射される。平板部114で反射された光線1203は、他の画素へ進入していく可能性がある。これを防ぐために、遮光部1204を各光学素子間に設けてもよい。このような遮光部1204を設けることにより、平板部114の厚さTを充分な大きさに設定し、光学素子アレイの機械的強度を充分なレベルに高めることができる。一方、平板部114の厚さTを一定値以下に設定すれば、遮光部1204を設けることなく、光線が他の画素に侵入することを回避することもできる。以下、この点を説明する。
ここでは、プリズム光学素子の断面形状は、図33に示すように、長さLの斜面を有する二等辺三角形とする。センサ基板に垂直入射する入射光線1201が点Aプリズム光学素子に入射するとする。入射角はωである。二等辺三角形の頂点Bと点Aとの距離をmとすると、斜辺BCによって規定される斜面へ入射した光のうち、AB間に入射した光が厚さTの平板部114に進入し、不要な光線1203になっていく。厚さTは以下のように表現できる。
Figure 0005764747
ここで、不要光がゼロになるのは比率Mr=0のときである。このとき、B点に入射した光が光線1202と平行な光線1205のように進行していくので、平板部114に進入しない条件は、厚さTが以下の値K・L未満であることである。
Figure 0005764747
比率Kを異なるωにつき計算した値を、表1に示す。入射角ωが60°のときは厚さTがプリズム光学素子の斜辺長さLに比べて十分に小さいことを要求される。入射角ωが50°付近では、厚さTはプリズム光学素子の斜辺長Lに等しい大きさ程度でも許容される。
この平板部114が薄いと、光学素子アレイを製造が難しくなる。このため、プリズム光学素子の断面における斜辺の傾斜角度は、60度未満に設定され得る。この条件が満足された場合には、遮光部1204が不要になる。
Figure 0005764747
(実施形態3の変形例1)
図34はプリズム光学素子の他の配置例を示す図である。図22の配置例および図23の配置例のいずれが好適であるかは、光学素子アレイの製造方法や、光学素子の表面における不要光反射(フレア)の大小によって決定されてよい。
(実施形態3の変形例2)
図35は、上下プリズムを同一形状としない例を示す。図35の光学素子によれば、下面のプリズム光学素子の斜面角度を変えることにより、フォトダイオードへ光が集光する効果を与える。D点においてプリズム光学素子へ入射した光は、E点において空気中へ出射する。このDにおける入射角をβ、出射角をγとし、下面プリズムの斜面の傾斜角をαとする。上面のプリズムは正三角形とする。このとき、
Figure 0005764747

が成立する。ここでγ値をいくつか変えてαを計算し、その時の光の集光度合いを角度(γ―α)にて表現すると、表2のようになる。
Figure 0005764747
このように、たとえばα=65.77°の場合には、出射光線が平行光よりも14.23°程度内側に集光される効果を得るので図21の構成においてより効率的に光をフォトダイオードに集められるため、より明るい画像を得ることができる。
(実施形態3の変形例3)
図36は、第3の実施形態の変形例を示す。この例は、同時方式の内視鏡などにおいて、好適に使用され得る。1個のプリズム光学素子に複数の異なる色のカラー画素を割りあてることによって、通常のカラー画像の解像度を低下させず、かつRGBごとに偏光画像を生成できる。このような改変例では、個々のプリズム光学素子2101を、画素サイズに比べて大きく設計することができる。このため、光学素子アレイの製造が容易である。
図36においては、図21におけるレンズ110、支持体113などは省略されている。図36の例によれば、プリズム光学素子2101の1つの斜面に対する入射光線2102、2103、2104は、それぞれ屈折して異なる画素、すなわち異なるフォトダイオード2105、2106、2107に入射する。カラーフィルタ109は、ベイヤー等のモザイクフィルタを構成している。このため、水晶LPF2108が、入射側から見てプリズム光学素子の後段すなわち裏面に設置されて光線は2109のように経路をずらされて隣接する画素へ入射する。水晶LPF2108は、偏光を円偏光に変換するλ/4板と複屈折により、光線を2分する水晶とが複数重ね合わされて構成される。
フォトダイオードへ集光するため、マイクロレンズ2110が設置されてもよい。1個のプリズム光学素子2101の入射面に対応するフォトダイオード、すなわちモザイクフィルタの画素の個数は、3個に限定されない。実際にはフォトダイオードは2次元平面的に分布しており、1個のプリズム光学素子2101の入射面に対応するフォトダイオードの数は、モザイク補間処理が可能な数であれば任意である。
水晶LPF2108は、ベイヤー等のモザイクフィルタを使用する撮像系では必須な素子である。しかし、複屈折現象を利用するため、1画素に異なる偏光が混合し入射光線の偏光状態が変わってしまう。そこで、水晶LPF2108は、プリズム光学素子2101の裏面に設置し、光の偏光状態が輝度変動に変換された後に利用する。
図37Aは、図36の構造を上から見た図である。図37Aでは、方位角の異なる4個のプリズム光学素子2101が記載されているが、現実の偏光撮像素子では、より多くのプリズム光学素子2101が配列されている。プリズム光学素子2101の各斜面に対して複数のフォトダイオード、すなわち画素が対応している。カラー情報を得るためにカラーフィルタがベイヤー配列モザイクとして設置されている。具体的には、ベイヤーモザイクの7×7画素に4個の方向の異なるプリズム光学素子が対応している。
各プリズム光学素子2101は、上から見ると正方形の形状を有しており、少なくともR、G、Bの全ての画素を覆っている。各プリズム光学素子2101によって覆われる正方形領域2201は、稜線2202を境にして2個の矩形領域に分割される。非偏光光で生成される通常カラー画像の場合には、4種のプリズム光学素子2101による偏光に起因する輝度の変化は無いはずである。したがって、通常のベイヤーモザイクを補間する方法をとればよい。ただし、図21の入射光線106が出射光線108に変換される際に光線の位置が入れ替わる。図21に示す構成例の場合は、プリズム光学素子の反対方向に傾斜した2つの斜面にそれぞれ入射した2つの光線を1画素のフォトダイオード109に入射させる。一方、図36および図37Aに示す構成例では、各プリズム光学素子の2つの斜面にそれぞれ入射した光線が異なるフォトダイオードに入射することになる。光線の位置の入れ替わりが画素の輝度に反映するので、画素配置が補正され得る。このような補正は、例えば、後述する画像プロセッサによって行うことが可能である。
図37Bは、この画素位置補正を示している。たとえば、稜線によって区切られた矩形領域2203と矩形領域2204は互いに矢印で示すように交換される。他の方向のプリズム光学素子も同様である。平板領域2205は、この補正は必要ない。
図38は、この処理で生成される出力画像とその解像度を示す。まず、非偏光仮定フルカラー画像をM×N画素にて生成する。一方、偏光画像は、4種類のプリズム光学素子を1単位とするため、各単位の中心点2206を1画素とする偏光画像が得られる。この1単位に含まれる画素の数をW×W画素とすると、カラー偏光画像の解像度は、((M/W)+1)×((N/W)+1)画素となる。なお、図38ではW=7として一単位を描いている。
以上のように、非偏光仮定カラー画像を生成する場合には、もとの撮像素子の最高解像度そのままのカラー画像を得ることが可能となる。偏光画像の解像度は低下するが、カラー毎の偏光画像が得られる。偏光画像の解像度低下は望ましくないが、最高空間周波数で画像を取得しないため、モアレなどのアーティファクトが発生しにくい。
(実施形態3の変形例4)
図39と図40は、実施形態3の変形例4を示す図である。実施形態3の変形例3までは、図37Aおよび図37Bに示したように、プリズム光学素子2101に対応する正方形領域2201は、全てのカラーモザイク画素を覆われておらず、一部の画素は、光学素子を連結する平板部2205に覆われている。本変形例では、このような平板部2205を光学素子アレイが実質的に取り除くことにより、全ての画素をプリズム光学素子覆うことができる。
図39は、4種類の光学素子から構成される1単位の平面構造を示している。正方形領域2201に平板領域が含まれないように4つの光学素子を密に配列している。また、方位角45°のプリズム光学素子2211および方位角135°のプリズム光学素子2213の射影面積は、方位角0°の光学素子2201の射影面積にに等しい。立体的形状を維持したまま拡張する。たとえば、プリズム光学素子2211は、プリズム光学素子2201よりも大きいサイズを有する方位角45°のプリズム光学素子2212の一部である。この構成においては、プリズム光学素子2211の頂点の高さは、同じ角度で斜面が長くなる分だけ、プリズム光学素子2201の頂点の高さの√2倍である。
図40は、プリズム光学素子の配列Aと配列Bのそれぞれにおいて、位置が異なる3本の線a−a’、b−b’、c−c’に沿った断面形状を示している。
(実施形態4)
図41は、本開示の第4の実施形態に関する偏光撮像素子の積層構成を示す断面図である。図21の実施形態と本実施形態とが異なる部分は、プリズム光学素子151、画素センサ152、153のみであって、他は同一である。
個々のプリズム光学素子151はフォトダイオード152、153などの複数個のフォトダイオードをカバーする。対物レンズ110からの入射光線154、155は、プリズム光学素子151の斜面で屈折してプリズム光学素子内部に侵入して屈折光線156、157となる。屈折光線156、157は、それぞれ、プリズム光学素子151の別の面で屈折して出射光線158、159となる。出射光線158、159は、それぞれ、カラーフィルタ109を透過してフォトダイオード153、152に到達する。
図42は、偏光撮像素子を対物レンズ側の上から見た平面図であり、線1601に沿った断面図が図41に相当する。図42では、3つのプリズム光学素子151によってカバーされる3つの領域1602、1603、1604が記載されている。図42に示されるように、プリズム光学素子151の底面形状は六角形である。これに対応してフォトダイオード群も六角形の頂点の位置に配置されている。光学素子アレイの全体は、支持対113、取り付けネジ115でセンサ基板に固定されている。図42では、3個のプリズム光学素子と18個のフォトダイオードが記載されているが、現実には、より多数の光学素子およびフォトダイオードが配列されている。この配置によって平面上で選択される六角形セル、たとえば領域1602および領域1603の各々には、かならず異なる3種類の向きを有する三角形斜面が含まれることになる。このため、六角形セルを単位として撮像の処理することによって偏光の振動面を推定することができる。
図43は、1個のプリズム光学素子151を図42の矢印1604および1605の向きから見た図である。このプリズム光学素子151は、平面上の六角形構造に対応した六角錘の底面どうしを上下に結合した形状をしている。なお、光学素子アレイは、1枚の透明板に対して切削加工を施すことによって作製され得る。
図44Aは、隣接する画素ごとに60°ずつ3種類の異なる向きに斜面が配置されたプリズム光学素子を示す図である。図44Bは、6角形セル内の画素から得られる信号に基づく偏光情報取得の処理を示す図である。この6角形セルを処理単位にして得られる6個の画素に相当するフォトダイオードにて得られる輝度は、入射光線が非偏光の場合には同一である。しかし、入射光線が偏光している場合には、偏光の光の振動面に依存して互いに異なるものとなる。たとえば、法線の向きが方位角30°に相当する2つの斜面の真下に位置する画素1801と画素1802の画素値は、等しい大きさを有している。そこで、この2つの輝度値を平均して輝度値1803を得る。同様に法線の向きが方位角90°に相当する2つの斜面の真下に位置する画素の輝度値1804、法線の向きが方位角150°に相当する2つの斜面の真下に位置する画素の輝度値1805を得る。図44Bのグラフには、これらの輝度値がプロットされている。(式1)の未知数A、B、Cを有する正弦関数にてフィッティングすることができる。未知数3個に対して3個の方程式が得られる。
次にカラー情報取得について述べる。
図45は、いわゆる「面順次方式」の内視鏡に本実施形態の偏光撮像素子を使ってカラー情報を取得する場合を示している。R、G、Bのバンド毎に上述した処理を実施することでカラー毎の偏光情報を得ることができる。ここで偏光画像は六角形領域1602、1603の各々を1画素として画像化される。このため、全体の解像度は、センサ基板の総画素数をPとした場合、(P/6)画素に減少する。ただし、非偏光の戻り光を通常フルカラー画像として生成する場合は、解像度の低下はなく、P画素を有効に活用できる。
ここで注意点は、図41に示すように、入射光線154がフォトダイオード153へ、入射光線155がフォトダイオード152へ反転して入射することである。したがって、高解像度画像を作る際、すなわち非偏光照明下などでのカラー画像を生成する時には、図44Aの六角形領域内において点対称の位置にある画素1801、1802の画素値を、矢印1806で示すように互いに入れ替える。
図46は、いわゆる「同時方式」の内視鏡にて本開示の偏光撮像素子を使ってカラー化する場合の方法を示している。同時方式の内視鏡では、図示するように、照明が白色光であり、撮像素子側にカラーモザイクフィルタが設置される。図46の例では、プリズム光学素子にカバーされる6角形領域1602、1603などの各々に対して、カラーモザイクフィルタのRGBのそれぞれ1色を割りあてている。すると、カラー偏光画像も通常のフルカラー画像も解像度は(P/6)画素に減少する。
(実施形態5)
図47は、本開示の第5の実施形態による偏光撮像素子の断面構成例を示している。本実施形態と第3の実施形態との相違点は、光学素子の断面形状の差にある。本実施形態の光学素子2303は、傾斜した第1面2301および第2面2302を有し、平行四辺形の断面形状を有している。
(実施形態6)
図48は、本開示の第6の実施形態による偏光撮像素子の断面構成例を示している。本実施形態と第5の実施形態との相違点は、光学素子2404の上下に、断面形状が直角三角形の素子2405、2406を配置している点にある。光学素子2404と素子2405、2406との間には、それぞれ、空気層2407、2408が設けられている。この構成によって、屈折透過の回数が増加するため、偏光選択比が増加する利点がある。また、図48に示すように、素子2405の上面が平で撮像面に平行であると、光学素子アレイの上面が全体して概略的に平坦になるため、光学素子にゴミがつきにくく保護が良好になる。
(実施形態7)
図49は、本開示の第7の実施形態による偏光撮像素子の断面構成例を示している。本実施形態では、光学素子が上下に重ねられている。言い換えると、本実施形態の光学素子アレイは2層構造を有している。この構成によれば、入射光線が2回よりも多い回数で屈折するため、偏光選択比が増加する。また、入射光線が2回交差するため、画素の入れ替え処理が不要になる。光学素子アレイの積層数は、2に限定されず、また、奇数であってもよい。また、積層された光学素子アレイ内で隣接する光学素子の隙間に、図48の素子2405、2406と同様の素子を配置してもよい。
(実施形態8)
図50は、本開示の第8の実施形態による偏光撮像素子の断面構成例を示している。簡単のため、特徴的な光学素子2501の断面形状を記載しているが、他の部分は省略されている。光学素子2501の入射側の面は平坦である。光学素子2501の出射側のみにプリズムを構成する傾斜面が存在している。β=30°のとき、γ=48.6°となる。このような光学素子によれば、光線の屈折回数は1回であるため、偏光選択比はやや低下する。しかし、複数の光学素子を連結する平板部分を厚くできる。また、透明板の加工によって光学素子アレイを製造する場合、片面のみの加工でよいため、製造が容易である。
(実施形態9)
図51は、本開示の第9の実施形態による偏光撮像素子の断面構成例を示している。基本構成は第3の実施形態のまま、撮像素子の配置されたセンサ基板2602を内側に湾曲させ、同時に光学素子アレイ2601も内側に湾曲させている。こうすることによって、対物レンズ110からの光が光学素子に入射する場合に、斜めに入射することなく平行に入射する。このため、広角撮影が必要な内視鏡の場合などで広い範囲で高精度な偏光画像を得ることができる。なお、本実施形態の構成は、上述した第3から第8の実施形態のいずれに適用してもよい。
以下、第1から第9の実施形態における偏光撮像素子を備える内視鏡を説明する。
図52は本開示の偏光撮像素子を内視鏡に応用し、臓器粘膜の表面散乱の光と深部からの散乱光とを成分分離する機能について説明する図である。近年、消化器内視鏡分野ではNBI(Narrow Band Imaging)内視鏡の技術が普及しつつある。従来の内視鏡検査では、スペクトル幅の広い白色光が診断に重要な粘膜表層の血管や微細模様などのコントラストを低下させていた。NBI内視鏡は、照明光として狭帯域光を用いることにより、コントラスト低下の問題を解決し、粘膜表層の毛細血管や粘膜微細模様などを色調の違いとして強調表示する。しかしながら、NBI内視鏡は照明光が狭帯域のカラー光となるため、画像が暗くなり、さらに被写体の正確な色再現ができない欠点があった。
それに対して、本開示の偏光撮像素子は、明るい画像とカラー再現を実現できるため、内視鏡応用として好適である。
図52(A)は照明の照射側を説明する図である。内視鏡3001には対物レンズ3002と直線偏光照明用レンズ3003が設置されている。対物レンズ3002は、前述の実施形態における対物レンズ100に相当する。対物レンズ3002の奥には図示していない本開示の偏光撮像素子が設置されている。直線偏光の照明光3004は、白色光である。この例では、内視鏡はいわゆる同時方式で動作する。このため、同時方式に対応した偏光撮像素子の実施形態が適用される。もちろん、本開示の撮像素子は、面順次方式の内視鏡にも適用可能である。直線偏光の照明は臓器表面の粘膜3005に照射される。
図52(B)は照射された光が戻り光となって撮像される状況を説明する図である。被写体の比較的浅い部分3006から戻る光は直線偏光を維持しているが、深い部分から戻る光は散乱のため非偏光となる。すなわち偏光反射成分と非偏光反射成分は混合しているが偏光撮像素子を使うと、偏光成分を分離することができ、表層近くの血管や粘膜微細模様を強調できる。
図53は、本開示の偏光撮像素子によって撮像され、サインフィッティング処理された偏光素子の方位角と輝度変動の関係を表すグラフである。図53のグラフでは、RGBのうちの1色のみを例として示している。非偏光反射成分diffuseは、偏光素子方位角に依存せず一定値になるが、偏光反射成分は偏光素子方位角に依存して変動する。ただし偏光反射成分も最大振幅で振動しているのではないため、成分分離の境界線3101の決定には以下の手順を実行すればよい。
輝度最大点と輝度最小点では本開示の偏光撮像素子はそれぞれ光学素子への入射と出射を統合したP偏光およびS偏光を受光していることは、図24、図25から明らかであり、図26からこの比率は偏光選択比Kratioとして既知である。たとえば入射角60°においては偏光選択比Kratio=1.5となる。これを使うと、
Figure 0005764747

となる。ところで、偏光選択比は、サインフィッティング処理によって既知である振幅Aと平均値Cと未知数diffuseを使って以下のように表現できる。
Figure 0005764747

従って、
Figure 0005764747

のように境界線3101を求めることができ成分分離ができる。
図54は、本開示による内視鏡を含むシステムの実施形態の全体構成を模式的に示す図である。
このシステムは、内視鏡3001と制御装置402とを備える。内視鏡401は、撮像素子101を有する先端部413、ライトガイド405と映像信号線411を有する挿入部403とを有している。内視鏡3001の挿入部403は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド405は曲がった状態でも光を伝達することができる。
制御装置402は、光源404と画像プロセッサ408とを備える。光源404から発した白色非偏光の光は、ライトガイド405を経由して先端部413の偏光面制御素子406に導かれ、被写体に照射される直線偏光の光421となる。偏光面制御素子406は、たとえば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。
偏光面制御素子406は、液晶を用いた偏光面を回転させることが可能なデバイスである。偏光面制御素子406は、例えば強誘電性液晶と、偏光フィルムと、1/4波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。そしてこの偏光照明は、照明レンズ3003を通って被写体に照射される。
同期装置412は、偏光面制御素子406に偏光面回転の指示信号を送り、照明の偏光面を回転させるとともに、撮像素子101に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。なお、偏光面制御素子406は、一定面の直線偏光の照明を作りだす偏光板であってもよく、この場合には撮影は1回のみとなる。
被写体からの戻り光422は、撮影用の対物レンズ3002を通って撮像素子101上に結像する。撮像素子101は、前述した本開示の偏光撮像素子の実施形態の1つであればよい。撮像された映像信号は、映像信号線411を経由して画像プロセッサ408に到達する。画像プロセッサ408では、偏光撮像素子101から得られる信号に基づいて、前述した画像情報および偏光情報が得られる。画像合成部414は、画像プロセッサ408の出力に基づいて、被写体表面の組織構造を反映した画像を表示部416に表示させることができる。
なおここで述べた軟性内視鏡においては、面順次照明、同時照明方式のいずれに適用が可能であることは、実施形態に各々記載したとおりであり、さらに本開示は、軟性内視鏡のみならず、手術用の硬性内視鏡、工業用内視鏡、カプセル内視鏡などの他の形態の内視鏡に対しても適用可能であることはいうまでもない。内視鏡では、かならず照明を用いるため、照明不足の場合、カラー輝度画像の情報の感度が悪くなるのは共通の課題であるため、本開示はいずれも有効である。
以上のように、本開示の実施形態における偏光撮像素子に用いられる偏光光学素子の偏光選択比は決して高くないが、内視鏡用途のように照明光を自在に設計できる。このため、照明光に直線偏光を使う可能性がある場合には、従来の偏光素子とほぼ同じ性能の成分分離処理が可能になる。
本開示の偏光撮像素子は、従来できなかったカラー情報と偏光情報を同時にしかも感度の高い明るい画像で取得できる。また内視鏡の2大技術分野である面順次方式と同時方式のいずれに対しても適用できる汎用性があるため、粘膜表層の毛細血管や粘膜微細模様などを色調の違いとして強調表示する目的に好適である。なお、偏光画像を使う内視鏡関連の応用としては、この粘膜内部の観察にとどまらず、臓器壁の表面凹凸の検出、カプセル内視鏡における水中散乱画像の鮮明化なども考えられ、今後、適用範囲はより大きくなると予想される。
101 偏光撮像素子
102 プリズム光学素子
103 センサ基板
104 フォトダイオード
105 遮光膜
106 入射光線
107 屈折光
108 出射光線
109 カラーフィルタ
110 対物レンズ
111 隣接するプリズム光学素子
112 水晶LPF
113 支持体
114 平板
115 取り付けネジ
116 隣接するフォトダイオード

Claims (12)

  1. 撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、
    前記複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、
    前記カラーモザイクフィルタを覆う光学ローパスフィルタと、
    前記光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子と、
    を備え、
    前記複数の偏光光学素子の各々は、各受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射し、
    前記カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有し、前記複数のカラーフィルタは、複数の偏光光学素子から出た光が同一の色の対応する1つのカラーフィルタを透過するように配置されており、各カラーフィルタが複数の受光素子を覆っている、偏光撮像素子。
  2. 前記光学ローパスフィルタは、前記複数の偏光光学素子の各々を透過した光線の少なくとも一部を前記カラーモザイクフィルタにおける前記カラーフィルタの配列ピッチ以上の距離だけ前記撮像面に平行な方向にシフトさせるように構成されている、請求項1に記載の偏光撮像素子。
  3. 前記複数の偏光光学素子および前記複数の受光素子の2次元的な配列の周期は、前記光学ローパスフィルタの遮断周波数の整数倍の空間周波数を有している、請求項1または2に記載の偏光撮像素子。
  4. 前記光学ローパスフィルタは、前記撮像面に平行な面内において一様な光学特性を有している、請求項1または2に記載の偏光撮像素子。
  5. 前記光学ローパスフィルタは、
    第1のλ/4板、
    第1の複屈折ローパスフィルタ層、
    第2のλ/4板、および
    第2の複屈折ローパスフィルタ層
    を光入射側からこの順序で備える、請求項1から4のいずれかに記載の偏光撮像素子。
  6. 前記光学ローパスフィルタは、
    前記第2の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、
    第3のλ/4板、および
    第3の複屈折ローパスフィルタ層
    をこの順序で備える、請求項5に記載の偏光撮像素子。
  7. 前記複数の偏光光学素子は、各々が4個の偏光光学素子からなる複数の基本ユニットが行および列状に配列された偏光素子アレイを構成しており、各基本ユニットに含まれる4個の偏光光学素子の偏光透過軸の方向は相互に異なっており、
    前記複数の基本ユニットは、前記カラーモザイクフィルタにおける同一の色のカラーフィルタを1つの基本ユニットが覆うように配置されている、請求項1から6のいずれかに記載の偏光撮像素子。
  8. 2行2列に配置された4個の前記基本ユニットは、前記カラーモザイクフィルタにおける2行2列に配置された4個のカラーフィルタを覆っている、請求項7に記載の偏光撮像素子。
  9. 前記カラーモザイクフィルタにおける2行2列に配置された4個のカラーフィルタはベイヤー配列を形成している、請求項8に記載の偏光撮像素子。
  10. 撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、
    前記複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、
    前記カラーモザイクフィルタよりも光入射側に位置する光学ローパスフィルタと、
    前記光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子と、
    を備え、
    前記複数の偏光光学素子の各々は、複数の受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射し、
    前記カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有し、前記複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されており、
    前記光学ローパスフィルタは、
    第1のλ/4板、
    第1の複屈折ローパスフィルタ、
    第2のλ/4板、および
    第2の複屈折ローパスフィルタ
    を光入射側からこの順序で備え、
    前記第1のλ/4板は、前記複数の偏光光学素子の各々を透過した光の偏光状態を円偏光に変化させるように遅相軸および進相軸の方向が調整されたパターンを有している、偏光撮像素子。
  11. 前記カラーモザイクフィルタは、ベイヤー配列の基本単位が二次元的に配列された構造を有し、1個の受光素子に1個のカラーフィルタが対応しており、
    前記複数の偏光光学素子は、
    偏光透過軸が90°異なる2つの偏光光学素子が交互に一方向に沿って配列された第1のストライプ状アレイと、
    偏光透過軸が90°異なる2つの偏光光学素子が交互に一方向に沿って配列された第2のストライプ状アレイであって、前記第2のストライプ状アレイの偏光光学素子の偏光透過軸が第1のストライプ状アレイの偏光光学素子の偏光透過軸に対して45°の角度で交差する第2のストライプ状アレイと、
    を含む、請求項10に記載の偏光撮像素子。
  12. 前記第1のλ/4板は、
    前記複数の偏光光学素子の第1のストライプ状アレイに対向する第1ストライプ部分と、
    前記複数の偏光光学素子の第2のストライプ状アレイに対向する第2ストライプ部分と、
    とを備え、
    前記第1ストライプ部分の遅相軸および進相軸は、前記第1ストライプ部分の遅相軸および進相軸に対して45°の角度を形成して交差している、請求項11に記載の偏光撮像素子。
JP2013531025A 2011-09-02 2012-08-07 偏光撮像素子および内視鏡 Expired - Fee Related JP5764747B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013531025A JP5764747B2 (ja) 2011-09-02 2012-08-07 偏光撮像素子および内視鏡

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011191703 2011-09-02
JP2011191703 2011-09-02
PCT/JP2012/005018 WO2013031100A1 (ja) 2011-09-02 2012-08-07 偏光撮像素子および内視鏡
JP2013531025A JP5764747B2 (ja) 2011-09-02 2012-08-07 偏光撮像素子および内視鏡

Publications (2)

Publication Number Publication Date
JPWO2013031100A1 JPWO2013031100A1 (ja) 2015-03-23
JP5764747B2 true JP5764747B2 (ja) 2015-08-19

Family

ID=47755632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013531025A Expired - Fee Related JP5764747B2 (ja) 2011-09-02 2012-08-07 偏光撮像素子および内視鏡

Country Status (3)

Country Link
US (1) US9293491B2 (ja)
JP (1) JP5764747B2 (ja)
WO (1) WO2013031100A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041088A (ko) * 2015-10-06 2017-04-14 삼성전자주식회사 이미지 센서의 컬러 스플리터

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5906464B2 (ja) 2012-02-02 2016-04-20 パナソニックIpマネジメント株式会社 撮像装置
JP6125878B2 (ja) * 2013-04-01 2017-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2015015722A1 (ja) * 2013-07-29 2015-02-05 パナソニックIpマネジメント株式会社 光学フィルタおよびそれを用いた偏光撮像装置
JP2015060121A (ja) * 2013-09-19 2015-03-30 株式会社東芝 カラーフィルタアレイおよび固体撮像素子
WO2015080964A1 (en) * 2013-11-27 2015-06-04 Cirtemo, Lld Optical analysis system and process
US20160231176A1 (en) * 2015-02-05 2016-08-11 Polarization Solutions, Llc Light irradiation device having polarization measuring mechanism
CN107251553B (zh) * 2015-02-27 2019-12-17 索尼公司 图像处理装置、图像处理方法和图像拾取元件
US9513162B2 (en) * 2015-03-16 2016-12-06 Raytheon Company Tunable multi-band spectro-polarimeter
CN105021282B (zh) * 2015-07-06 2017-12-19 中国科学院遥感与数字地球研究所 快照式偏振高光谱相机及成像方法
JP6679289B2 (ja) * 2015-11-30 2020-04-15 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
TWI592646B (zh) * 2015-12-23 2017-07-21 高準精密工業股份有限公司 光學裝置
JP6704766B2 (ja) * 2016-03-25 2020-06-03 キヤノン株式会社 光学装置および撮像装置
JP6835068B2 (ja) * 2016-03-28 2021-02-24 コニカミノルタ株式会社 インクジェット記録装置
EP3264755A1 (en) 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
EP3264741A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
JP6873621B2 (ja) * 2016-07-11 2021-05-19 キヤノン株式会社 光学装置および撮像装置
JP6869655B2 (ja) * 2016-07-11 2021-05-12 キヤノン株式会社 光学装置および撮像装置
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
JP6730881B2 (ja) * 2016-08-23 2020-07-29 キヤノン株式会社 撮像ユニット及び撮像装置
KR102672594B1 (ko) * 2017-01-23 2024-06-07 삼성전자주식회사 이미지 센서 및 이를 포함한 전자 장치
JP6843682B2 (ja) * 2017-04-07 2021-03-17 キヤノン株式会社 撮像素子および撮像装置
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP7118147B2 (ja) 2018-06-05 2022-08-15 オリンパス株式会社 内視鏡システム
CN112203572B (zh) 2018-06-05 2024-04-05 奥林巴斯株式会社 内窥镜系统
JP6907413B2 (ja) * 2018-07-30 2021-07-21 株式会社ソニー・インタラクティブエンタテインメント 表示装置及び撮像装置
CN110164896B (zh) * 2019-06-05 2021-06-25 芯盟科技有限公司 内窥镜探头以及制造方法
JP7238121B2 (ja) * 2019-06-11 2023-03-13 富士フイルム株式会社 撮像装置
JP7293020B2 (ja) * 2019-07-19 2023-06-19 キヤノン株式会社 撮像素子、およびこれを備える撮像装置
CN112629655B (zh) * 2019-10-09 2024-06-04 北京小米移动软件有限公司 移动终端
EP4139641A1 (en) * 2020-04-24 2023-03-01 Meta Platforms Technologies, Llc Polarimetric imaging camera
JP7478026B2 (ja) 2020-05-21 2024-05-02 日本放送協会 光変調素子及び位相計測装置
DE102020116167A1 (de) 2020-06-18 2021-12-23 Instrument Systems Optische Messtechnik Gmbh Messsystem zur Vermessung von Lichtquellen
US20220139990A1 (en) * 2020-11-04 2022-05-05 Facebook Technologies, Llc Polarimetric imaging camera
CN113055575B (zh) * 2021-03-30 2023-02-07 Oppo广东移动通信有限公司 图像传感器、摄像头模组及电子设备
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN113491497B (zh) * 2021-07-27 2022-08-12 重庆西山科技股份有限公司 偏振光内窥镜装置
FR3135794A1 (fr) * 2022-05-19 2023-11-24 Isorg Filtre optique pour photodétecteurs

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5911085A (ja) 1982-07-12 1984-01-20 Toshiba Corp 固体撮像デバイス
JP2582435B2 (ja) * 1989-04-29 1997-02-19 オリンパス光学工業株式会社 撮像光学系
US6025873A (en) * 1994-04-07 2000-02-15 Olympus Optical Co., Ltd. Endoscope system provided with low-pass filter for moire removal
US6049367A (en) * 1995-05-23 2000-04-11 Colorlink, Inc. Polarization manipulating device modulator with retarder stack which preconditions light for modulation and isotropic states
JPH09130818A (ja) * 1995-08-29 1997-05-16 Casio Comput Co Ltd 撮像装置と撮像方法
JPH11146406A (ja) * 1997-11-06 1999-05-28 Casio Comput Co Ltd 撮像装置及び撮像方法
US6327085B1 (en) * 1998-03-31 2001-12-04 Nikon Corporation Optical filter and optical device provided with this optical filter
JP5013660B2 (ja) * 2004-03-29 2012-08-29 キヤノン株式会社 撮像素子
US8194209B2 (en) * 2006-07-05 2012-06-05 Nikon Corporation Optical low-pass filter, camera, imaging apparatus, and method for producing optical low-pass filter
US7706646B2 (en) * 2007-04-24 2010-04-27 Tomophase Corporation Delivering light via optical waveguide and multi-view optical probe head
EP2040477B1 (en) 2007-06-15 2018-08-29 Panasonic Intellectual Property Management Co., Ltd. Image processing device
CN103152582B (zh) * 2007-12-07 2015-02-25 松下电器产业株式会社 图像处理装置、图像处理方法
JP5057389B2 (ja) 2008-03-31 2012-10-24 富士フイルム株式会社 撮像装置
JP5380725B2 (ja) 2008-03-31 2014-01-08 富士フイルム株式会社 光学システム、方法、およびプログラム
JP4940440B2 (ja) 2008-03-31 2012-05-30 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
WO2010144866A2 (en) * 2009-06-11 2010-12-16 The Arizona Board Of Regents On Behalf Of The University Of Arizona Microgrid imaging polarimeters with frequency domain reconstruction
JP5499634B2 (ja) * 2009-10-28 2014-05-21 株式会社ニコン 撮像装置
JP2011145343A (ja) * 2010-01-12 2011-07-28 Sony Corp 鏡筒装置及び立体撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041088A (ko) * 2015-10-06 2017-04-14 삼성전자주식회사 이미지 센서의 컬러 스플리터
KR102556008B1 (ko) * 2015-10-06 2023-07-17 삼성전자주식회사 이미지 센서의 컬러 스플리터

Also Published As

Publication number Publication date
US20130270421A1 (en) 2013-10-17
WO2013031100A1 (ja) 2013-03-07
US9293491B2 (en) 2016-03-22
JPWO2013031100A1 (ja) 2015-03-23

Similar Documents

Publication Publication Date Title
JP5764747B2 (ja) 偏光撮像素子および内視鏡
US10247866B2 (en) Imaging device
JP5320735B2 (ja) 撮像装置
JP6078928B2 (ja) 偏光画像処理装置
US9392231B2 (en) Imaging device and endoscope for detecting and displaying the shape of the micro-geometric texture of a transparent structure
CN103152582B (zh) 图像处理装置、图像处理方法
JP4857962B2 (ja) 撮像装置
EP2579568B1 (en) Imaging device and imaging method
JP2013534083A (ja) 2センサー撮像システム
CN103513440B (zh) 成像设备
JP6094832B2 (ja) 固体撮像素子および撮像装置
JP6010895B2 (ja) 撮像装置
JP2556831B2 (ja) 光学的ロ−パスフイルタ−及びこれを用いた撮像装置
JP2012212978A (ja) 撮像素子および撮像装置
US9419037B2 (en) Imaging apparatus
JP2016145924A (ja) 光学装置および撮像装置
JP5740559B2 (ja) 画像処理装置および内視鏡
JP2009139356A (ja) 偏光計測装置
JP6146006B2 (ja) 撮像装置及びステレオカメラ
JP2023007699A (ja) 撮像素子、撮像装置、および、撮像システム
US20160029005A1 (en) Image-capturing apparatus and image-capturing method
JP2004085965A (ja) 立体撮像装置および立体表示装置
JPH0548176Y2 (ja)
US20220139990A1 (en) Polarimetric imaging camera
JP2015166723A (ja) 撮像装置および撮像システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150226

R151 Written notification of patent or utility model registration

Ref document number: 5764747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees