JP7005331B2 - Imaging device and imaging system - Google Patents
Imaging device and imaging system Download PDFInfo
- Publication number
- JP7005331B2 JP7005331B2 JP2017245451A JP2017245451A JP7005331B2 JP 7005331 B2 JP7005331 B2 JP 7005331B2 JP 2017245451 A JP2017245451 A JP 2017245451A JP 2017245451 A JP2017245451 A JP 2017245451A JP 7005331 B2 JP7005331 B2 JP 7005331B2
- Authority
- JP
- Japan
- Prior art keywords
- electrode
- image pickup
- pickup apparatus
- signal
- plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000010408 film Substances 0.000 description 31
- 210000001747 pupil Anatomy 0.000 description 11
- 239000010410 layer Substances 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101000622137 Homo sapiens P-selectin Proteins 0.000 description 1
- 102100023472 P-selectin Human genes 0.000 description 1
- 229910052581 Si3N4 Inorganic materials 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 150000002484 inorganic compounds Chemical class 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 150000002894 organic compounds Chemical class 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
- H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14665—Imagers using a photoconductor layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Light Receiving Elements (AREA)
Description
本発明は撮像装置及び撮像システムに関する。 The present invention relates to an image pickup apparatus and an image pickup system.
撮像装置として、光電変換膜を有する受光部を含む画素を備えた構成が知られている。特許文献1には、信号電荷を読み出す電極の一部が、マイクロレンズの下部に配される撮像装置が記載されている。 As an image pickup apparatus, a configuration including a pixel including a light receiving portion having a photoelectric conversion film is known. Patent Document 1 describes an image pickup device in which a part of an electrode for reading a signal charge is arranged under a microlens.
光電変換膜を有する撮像装置において、隣り合う画素のマイクロレンズのギャップの領域に光が入射すると、光は集光されない。このため、隣接画素の光電変換膜に入射して偽信号となり、混色等を引き起こす可能性がある。 In an image pickup apparatus having a photoelectric conversion film, when light is incident on a region of a gap between microlenses of adjacent pixels, the light is not focused. Therefore, it may be incident on the photoelectric conversion film of the adjacent pixel and become a false signal, which may cause color mixing or the like.
本発明の一様態は、複数の画素及び複数の排出用電極を有し、前記複数の画素の各々は、多層配線層を有する部材の上に配された第1電極と、前記第1電極の上に配された光電変換膜と、前記光電変換膜の上に配された第2電極と、前記第2電極の上で、平面視において前記第1電極と重なる位置に配されたマイクロレンズと、を有し、前記複数の画素のうち、隣り合う2つの画素が有するマイクロレンズの間には、前記平面視においてギャップがあり、前記排出用電極は、前記平面視において、前記ギャップと重なる位置に配されている撮像装置に関する。 The uniformity of the present invention has a plurality of pixels and a plurality of ejection electrodes, and each of the plurality of pixels is a first electrode arranged on a member having a multilayer wiring layer, and the first electrode. A photoelectric conversion film arranged above, a second electrode arranged on the photoelectric conversion film, and a microlens arranged on the second electrode at a position overlapping the first electrode in a plan view. , And there is a gap in the plan view between the microlenses of the two adjacent pixels among the plurality of pixels, and the ejection electrode is located at a position overlapping the gap in the plan view. Regarding the image pickup device arranged in.
偽信号による混色等が抑制された撮像装置を提供する。 Provided is an image pickup apparatus in which color mixing due to a false signal is suppressed.
以下、本発明に係る撮像装置の実施形態について図面を参照して説明する。なお、本明細書で特に図示または記載されない部分に関しては、当該技術分野の周知または公知技術を適用する。また以下に説明する実施形態は、発明の一つの実施形態であって、これに限定されるものではない。 Hereinafter, embodiments of the image pickup apparatus according to the present invention will be described with reference to the drawings. As for the parts not particularly shown or described in the present specification, well-known or publicly known techniques in the art concerned shall be applied. Moreover, the embodiment described below is one embodiment of the invention, and is not limited thereto.
(実施の形態1)
(撮像装置の全体的構成)
図1は、本発明に係る測距画素および撮像画素を有する撮像装置100のブロック図である。画素領域121と、垂直走査回路122と、2つの読み出し回路123と、2つの水平走査回路124と、2つの出力アンプ125を備えている例を示す。画素領域121以外の領域は周辺回路領域である。
(Embodiment 1)
(Overall configuration of the image pickup device)
FIG. 1 is a block diagram of an
画素領域121には、多数の測距画素と撮像画素が2次元状に配列されている。周辺回路領域には、読み出し回路123、例えば、列アンプ、相関二重サンプリング(CDS)回路、加算回路等が設けられる。読み出し回路123は、垂直走査回路122によって選択された行の画素から垂直信号線を介して読み出された信号に対して増幅、加算等を行う。水平走査回路124は、読み出し回路123から画素信号に基づく信号を順番に読み出すための信号を生成する。出力アンプ125は、水平走査回路124によって選択された列の信号を増幅して出力する。
In the pixel area 121, a large number of distance measuring pixels and imaging pixels are arranged two-dimensionally. A
本実施の形態では、信号電荷として電子を用いる構成を例示するが、信号電荷として正孔を用いることも可能である。 In this embodiment, an electron is used as a signal charge, but holes can be used as a signal charge.
(各画素の素子構成)
図2(A)は、図1の画素領域121に配列された画素200のうち、隣り合う画素200及び電極202の断面模式図である。図2(A)において、部材210は、基板280、多層配線層281、及び画素内読み出し回路等を有する。多層配線層281は、複数の層間絶縁層及び複数の配線層を有する。
(Element configuration of each pixel)
FIG. 2A is a schematic cross-sectional view of
基板280は、例えばシリコン基板であり、トランジスタ等の素子が形成されている。本実施形態において、各画素200の画素内読み出し回路は、増幅トランジスタ288、リセットトランジスタ287、及び行選択トランジスタ401(図2(A)では省略)を有する。
The
多層配線層281は、トランジスタの電極と、トランジスタとの電気的接続を取るためのコンタクトプラグ、ビアプラグ、及び配線と、それらを互いに絶縁するための層間絶縁層と、を含む。コンタクトプラグ、ビアプラグ、及び配線は、例えば、アルミニウム、銅、タングステン等を含む導電体を用いることができる。層間絶縁層は、例えば、酸化シリコン、窒化シリコン、またはこれらの積層を含む絶縁膜を用いることができる。
The
部材210の上には、下部電極となる電極201と、排出用の電極202が設けられている。電極201と電極202の上には、光電変換膜220が設けられ、光電変換膜220の上には上部電極となる対向電極230が設けられている。対向電極230の上には、カラーフィルタ241が設けられている。
An
カラーフィルタ241の上には、電極201に対応してマイクロレンズ250が設けられている。カラーフィルタ241とマイクロレンズ250の間には平坦化層を設けてもよい。マイクロレンズ250は、樹脂などの材料を用いて形成される。
A
図2(B)はマイクロレンズ250の上面図(x―y面)である。図2(C)は電極201、202の上面図(x―y面)であり、図2(C)ではマイクロレンズ250を破線で表している。図2(A)の断面図は、図2(B)、図2(C)の一点鎖線I-Jに沿った面と対応している。
FIG. 2B is a top view (xy plane) of the
ここでは、カラーフィルタ241等、断面図で示した構成要素の一部を省略している。一点鎖線I-Jに沿った断面において、2つのマイクロレンズ250の間には、ギャップ251がある。
Here, some of the components shown in the cross-sectional view, such as the
電極201と電極202は、薄膜電極であり、アルミニウムや銅など導電性部材から形成される。光電変換膜220は、入射光の光量に応じた電荷を発生する無機化合物または有機化合物の材料からなる光電変換膜である。電極201、電極202、及び対向電極230は、光電変換膜220に電圧を印加し、光電変換膜220に電界を生じさせるための電極である。対向電極230は光電変換膜220よりも光の入射面側に設けられているため、対向電極230は入射光に対して透明なITO(Indium Tin Oxide)等の導電性材料で構成される。
The
図2(B)に示すように、上面図において、マイクロレンズ250は対角方向の隣接画素との間にギャップ251を有する。具体的には、複数のマイクロレンズ250は、対角方向(一点鎖線I-Jに沿った方向)において、互いに離間していても良い(図3(B))。また、1層のマイクロレンズ層として、複数のマイクロレンズ250の間がつながっていても良い。ここで、ギャップ251とは、マイクロレンズ250のパワーを実質的に持たない領域(光電変換膜220への集光の機能を実質的に果たさない領域)である。
As shown in FIG. 2B, in the top view, the
電極202は、部材210と光電変換膜220との間に配される。図2(C)に示すように、平面視において、電極201はマイクロレンズ250と重なる位置に配され、電極202はギャップ251の下(重なる位置)に配されている。
The
光電変換膜220の領域で発生した電荷のうち、電極202の上で発生した電荷は、電極202から排出することができる。光電変換膜220の領域で発生した電荷のうち、電極201の上で発生した電荷は、電極201から出力することができる。電極201から得られる出力(信号)に基づいて、撮像画像を取得することができる。すなわち、電極201からの信号は、画像形成用の信号とすることができる。
Of the charges generated in the region of the
ギャップ251から入射する光はマイクロレンズ250によってほとんど曲げられずに、電極202上付近の光電変換膜220に入射される。ここで、ギャップ251から入射した光は、マイクロレンズ250により集光されないため、対応する画素ではない画素の光電変換膜220に入射し、光電変換されることがある。このようにして生成された電荷は、本来の画素と異なる画素において信号として出力されるため、偽信号となり、例えば、混色等の原因となる。
The light incident from the
一方、本実施の形態では、マイクロレンズ250のギャップ251の下に、排出用の電極220が配されている。よって、ギャップ251から入射した光に基づき、光電変換膜220の、ギャップ251と重なる部分で光電変換された電荷は、電極202から排出することができる。よって、混色等を抑制することができる。
On the other hand, in the present embodiment, the
また、混色抑制のため、隣接画素間の全体にわたって、格子状に排出用の電極を有する構成とすることもできる。しかし、この場合、信号検出用の電極201が画素200内の中央のみに配される構成となり、斜入射の感度が悪化してしまう。一方、本実施の形態のように、マイクロレンズ250のギャップ251に配する構成とすることによって、斜入射の感度の悪化を抑制することができる。
Further, in order to suppress color mixing, it is possible to have a configuration in which electrodes for ejection are provided in a grid pattern over the entire area between adjacent pixels. However, in this case, the
よって、排出用の電極202は、平面視においてギャップ251と重なり、マイクロレンズ250と重ならない位置に配することができる。しかし、本実施の形態の撮像装置はこの構成に限定されず、排出用の電極202の一部が、マイクロレンズ250と重なっていても良い。この場合でも、後述するように、例えば、電極202及び対向電極230に印加する電圧を調整することで、光電変換膜220における、画像形成用の信号として信号を取り出す領域と、電極202より偽信号として信号を排出する領域を制御することができる。
Therefore, the
また、混色を抑制するため、排出用の電極を遮光性を有する電極とし、光電変換膜220に対して上部(光入射側)に配することもできる。しかし、この場合、排出用の電極202が一部でも平面視においてマイクロレンズ250と重なる位置に配された場合、感度低下の要因となる。一方、本実施の形態では、電極201及び電極202が、光電変換膜220に対して下部(基板側)にあるため、感度の低下を抑制することができる。
Further, in order to suppress color mixing, the emission electrode may be an electrode having a light-shielding property, and may be arranged above the photoelectric conversion film 220 (on the light incident side). However, in this case, if even a part of the
更に、隣接画素間の混色を抑制するため、隣接画素200間でのマイクロレンズ250の間のギャップ251をなくすギャップレスマイクロレンズとすることが考えられる。しかし、感度向上のためマイクロレンズ250の高さを高くしパワーを強くする(曲率半径を小さくする)と、特に対角方向の隣接画素との間にギャップが発生しやすくなり、ギャップレスマイクロレンズとすることが難しくなる。よって、本実施形態の構成を用いることにより、感度の向上を図りつつ、混色を抑制することができる。
Further, in order to suppress color mixing between adjacent pixels, it is conceivable to use a gapless microlens that eliminates the
次に、図3(A)を用いて本実施形態の撮像装置の1つの画素200及び排出用の電極202の等価回路を説明する。画素200は、電極201、光電変換膜220、対向電極230、及び画素内読み出し部を有する。画素内読み出し部は、リセットトランジスタ287、増幅トランジスタ288、及び行選択トランジスタ401を含む。行選択トランジスタ401を有さない構成としてもよい。また、電極201と増幅トランジスタ288との間に転送トランジスタを設ける、電極201と増幅トランジスタ288のゲートの間に容量を設ける等、任意の構成を追加することが出来る。行選択トランジスタ401は信号線402に接続され、信号線402は図1の読み出し回路123に接続される。増幅トランジスタ288は、信号線402上に配された電流源(本実施形態では定電流源)とソースフォロワ回路を構成する。
Next, the equivalent circuit of one
リセットトランジスタ287のゲートには制御信号PRESが入力され、リセットトランジスタの一方の端子は電極201に、他方の端子は配線VRESに接続される。増幅トランジスタ288のゲートは、電極201及びリセットトランジスタ287の一方の端子に接続される。増幅トランジスタの一方の端子は、配線SVDDに接続され、他方の端子は行選択トランジスタ401の一方の端子に接続される。
A control signal PRESS is input to the gate of the
行選択トランジスタ401のゲートには、制御信号PSELが入力され、行選択トランジスタ401の他方の端子は信号線SIGに接続される。対向電極230は、配線Vtopに接続される。排出用の電極202は、図2(A)の断面では省略しているが、配線L1に接続されている。
The control signal PSEL is input to the gate of the
図2(A)~(C)、図3(A)及び(B)の構成では、平面視において、電極202はギャップ251に対して小さい構成としたが、図4(A)~(C)に示すように、電極202が、ギャップ251に対して大きい構成としても良い。電極202を大きくすることによって、ギャップ251から広がって入射した光が変換された電荷を、電極202から効率良く排出することができる。よって、混色を更に抑制することができる。
In the configurations of FIGS. 2 (A) to 2 (C), FIGS. 3 (A) and (B), the
また、図2乃至図4に示す撮像装置は、平面視において、ギャップ251の下に電極201を有さない。すなわち、電極201がギャップ251と重ならない。これにより、ギャップ251から入射した光で発生した電荷が電極201に入り混色となることを抑制することができる。
Further, the image pickup apparatus shown in FIGS. 2 to 4 does not have an
電極201及び電極202の形状は、図2乃至図4の形状に限らない。例えば、図5(A)のように円形、図5(B)のように円の一部を削った形状、図5(C)のように四角形や六角形等、その他の多角形の形状であってもよい。また電極201及び電極202は、それらの組み合わせで構成しても良い。
The shapes of the
また、図3(A)では、排出用の電極202が、配線L1に直接接続される例を示したが、図6に示すように、スイッチ素子402を介して配線L1に接続されていても良い。スイッチ素子402を設けることで、電極202からの排出量が調整可能となり、感度を調整することができる。
Further, in FIG. 3A, an example in which the
図7では、電極201及び電極202に印加する電圧を変えることによって、光電変換膜220で発生する電荷を収集する電荷収集領域260及び261を変えることを説明する。ここでは、電極201により電荷が収集される領域が電荷収集領域260、電極202により電荷が収集される領域が電荷収集領域261である。
In FIG. 7, it will be described that the
図7(A)は電荷収集領域260を広げた場合を示し、図7(B)は電荷収集領域260を狭めた場合を示す。撮像信号を取得する電極201の電圧を変えることで、感度を変えることができる。また、斜入射に対する感度も変えることができる。例えば、リセットトランジスタ287の他端が接続される配線VRESの電圧を変更することで、電極201の電圧を変更することができる。電極201と対向電極230の電位差を大きくすることで、電荷収集領域260を大きくすることができる。
FIG. 7A shows a case where the
図7(C)は電荷収集領域261を広げた場合を示し、図7(D)は電荷収集領域261を狭めた場合を示す。電荷を排出する電極202の電圧を変えることで、マイクロレンズ250のギャップ251に入射した光に対して、排出する電荷の領域を調整することができる。電極202と対向電極230の電位差を大きくすることで、電荷収集領域261を大きくすることができる。
FIG. 7C shows a case where the charge collection area 261 is widened, and FIG. 7D shows a case where the charge collection area 261 is narrowed. By changing the voltage of the
図8に、電極202に印加する電圧を変更できる構成の例を示す。図3(A)と同様の構成については、説明を省略する。電極202は、スイッチ素子402を介して、電位V1を供給する配線L1に接続されている。また、電極202は、スイッチ素子403を介して、電位V1より高い電位V2を供給する配線L2に接続されている。このような構成とすることで、スイッチ素子402及び403を制御することにより、電極202に印加する電圧を変更することができる。
FIG. 8 shows an example of a configuration in which the voltage applied to the
電荷収集領域260及び電荷収集領域261は、例えば、光電変換膜220において、画素200の中央から周辺に従って、徐々に大きさを変えても良い。
The
本実施の形態の構成とすることにより、感度を有しながら混色を抑制する。 By adopting the configuration of the present embodiment, color mixing is suppressed while having sensitivity.
(実施の形態2)
図9(A)~(C)及び図10を用いて本実施の形態について説明する。図9(B)はマイクロレンズ250の上面図(x―y面)である。図9(C)は電極201及び電極202の上面図(x―y面)であり、図9(C)ではマイクロレンズ250を破線で表している。図9(A)の断面図は、図9(B)及び図9(C)の一点鎖線I-Jに沿った面と対応している。
(Embodiment 2)
The present embodiment will be described with reference to FIGS. 9A to 9C and FIG. FIG. 9B is a top view (xy plane) of the
本実施の形態の画素300は、実施の形態1の画素200に対して、電極201を電極203と電極204の2つに分割している点で異なる。電極201を電極203及び電極204に分割することにより、図8のx方向において、位相差検出をすることが可能となる。これにより、焦点検出や測距を行うことができる。電極203及び電極204からの信号を、焦点検出用の信号、または測距用の信号として用いることができる。
The
図9(A)において、画素300と、被写体330と、撮像レンズの射出瞳420の関係について説明する。図9(B)は射出瞳420の平面図(xy面)である。図中、x方向を瞳分割方向とし、分割された射出瞳420のそれぞれの領域を瞳領域421及び瞳領域422とする。射出瞳420と光電変換膜220は、マイクロレンズ250を介して共役関係にある。
In FIG. 9A, the relationship between the
瞳領域421を通過した光は、光電変換膜220のうち、電極203の上に位置する部分で電荷を発生させる。また、瞳領域422を通過した光は、光電変換膜220のうち、電極203の上に位置する部分で電荷を発生させる。電極203によって捕集される信号電荷と、電極204によって捕集される信号電荷から2つの視差画像を取得することができ、位相差による焦点検出を行うことが可能となる。また、測距を行うことができる。
The light that has passed through the
図9において、電極203及び電極204に対して排出用の電極202は対角方向に配され、x方向には配されていない。よって、x方向に広く光を取り込むことができ、焦点検出する角度範囲を広げることができる。また、マイクロレンズ250のギャップ251から入射する光による電荷は電極202から排出されるため、焦点検出性能、測距性能を悪化させる偽信号を除くことができる。
In FIG. 9, the
また、他の電荷を読み出す方法として、電極204と電極202から電荷を排出し電極203から電荷を読み出す。次に、再度電荷の蓄積後、電極203と電極202から電荷を排出し電極204から電荷を読み出す、という構成としても良い。光電変換膜220において、ギャップ251と平面視で重なる領域で発生する電荷を更に排出し、焦点検出性能、測距性能を向上することができる。
Further, as a method of reading out another electric charge, the electric charge is discharged from the
電極203及び電極204は、図9に限られず、図11(A)のように縦方向に分割されていても良い。縦方向に分割することで、図11(A)のy方向において、焦点検出することが可能となる。また、図11(B)のように斜め方向に分割されていてもよい。斜めに分割した構成とすることで、斜め方向にも焦点検出することができ、またx方向とy方向を同時に焦点検出することも可能である。
The
更に、電極203及び電極204の形状は、例えば図5の電極201を2つに分割した形状でもよい。また、実施の形態1の図7及び8で説明したように、電極203と電極204に印加する電圧を変えることにより、電荷収集領域を変えることもできる。例えば、画素領域の中心から周辺にいくに従って、電極203と電極204に印加する電圧を徐々に変えることができる。これにより、電極203と電極204の電荷収集領域の境界の位置を変え、撮像レンズの入射角に対し所望の焦点検出が可能となる。
Further, the shape of the
(実施の形態3)
図12(A)~(C)及び図13(A)及び(B)を用いて本実施の形態について説明する。図12(B)はマイクロレンズ250の上面図(x―y面)である。図12(C)は電極201及び電極202の上面図(x―y面)であり、図12(C)ではマイクロレンズ250を破線で表している。図12(A)の断面図は、図12(B)及び図12(C)の一点鎖線I-Jに沿った面と対応している。
(Embodiment 3)
The present embodiment will be described with reference to FIGS. 12 (A) to 12 (C) and FIGS. 13 (A) and 13 (B). FIG. 12B is a top view (xy plane) of the
本実施の形態の画素400は、実施の形態1の画素200に対して、電極201を電極203と電極204と電極207の3つに分割した構成である。電極203及び電極204との間を、実施の形態2と比べて、より離す構成となり、図10で説明した瞳領域421と瞳領域422が離れ、視差が大きくなるため焦点検出の性能が向上する。また、電極207のみ読み出すと、x方向に絞られた光を取り込むことになり、実施の形態1、2に対してx方向において被写界深度が深い撮像画像を取得することができる。電極207のみから電荷を読み出す場合、電極203、電極204、及び電極202から電荷を排出しても良い。
The pixel 400 of the present embodiment has a configuration in which the
また、電極203、電極204、及び電極207を別々に読み出し、それぞれの視差の画像として利用することもできる。また、電極203、電極204、及び電極207を同時に読み出し、合成した撮像画素の信号とすることもできる。
Further, the
電極203、電極204、及び電極207の形状は、図12に限ったものではなく、図13(A)のように、電極207をy方向において短くした形状としても良い。図13(A)の電極207のみの信号を読み出すとき、x方向とy方向において絞られた光を取り込むことになるため、被写界深度が更に深い撮像画像を取得することができる。
The shapes of the
図13(B)のように、電極203、電極204、及び電極207をy方向において複数に分割した形状としても良い。図12のx方向だけでなく、y方向においても焦点検出をすることが可能となる。また電極203、電極204、及び電極207のそれぞれの電極の一部を読み出し、一部の電極を排出用電極としても良い。
As shown in FIG. 13B, the
(実施の形態4)
(撮像システムの実施形態〉
本実施形態は、上記実施形態で説明した測距画素および撮像画素を含む撮像装置を用いた、撮像システムの実施形態である。撮像システムとしては、例えば車載カメラがある。
(Embodiment 4)
(Embodiment of Imaging System>
This embodiment is an embodiment of an image pickup system using an image pickup apparatus including a distance measuring pixel and an image pickup pixel described in the above embodiment. As an imaging system, for example, there is an in-vehicle camera.
図14は、撮像システム1の構成を示している。撮像システム1は、撮像装置100、処理部21、表示部18、操作スイッチ10、及び記録媒体20を有する。処理部21は、例えば、レンズ制御部12、撮像装置制御部16、画像処理部17、及び絞りシャッタ制御部14を有する。処理部21は、撮像装置100からの信号を処理する。
FIG. 14 shows the configuration of the imaging system 1. The image pickup system 1 includes an
撮像システム1には、撮像光学系11である撮像レンズが装着される。撮像光学系11は、レンズ制御部12によって焦点位置を制御する。絞り13は、絞りシャッタ制御部14と接続され、絞りの開口径を変化させて光量調節を行う。
An image pickup lens, which is an image pickup optical system 11, is attached to the image pickup system 1. The image pickup optical system 11 controls the focal position by the
撮像光学系11の像空間には、撮像光学系11により結像された被写体像を取得するために撮像装置100の撮像面が配置される。CPU15はコントローラであり、カメラの種々の動作の制御を司る。CPU15は、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータおよび通信インターフェイス回路等を有する。CPU15は、ROMに記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、被写体との距離測定、撮影光学系の焦点状態の検出(焦点検出)を含むAF、撮像、画像処理および記録等の一連の撮影動作を実行させる。
In the image space of the image pickup optical system 11, an image pickup surface of the
CPU15は、信号処理手段に相当する。撮像装置制御部16は、撮像装置100の動作を制御するとともに、撮像装置100から出力された画素信号(撮像信号)をCPU15に送信する。画像処理部17は、撮像信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成する。画像信号は液晶表示装置(LCD)等の表示部18に出力される。操作スイッチ19によってCPU15が操作され、着脱可能な記録媒体20に撮影済み画像が記録される。
The
(車載撮像システムの実施形態)
図15(A)及び(B)は、車戴カメラに関する撮像システムの一例を示したものである。撮像システム2000は、本発明に係る測距画素および撮像画素を有している。撮像システム2000は、撮像装置2010により取得された複数の画像データに対し、画像処理を行う画像処理部2030を有する。また、撮像システム2000により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差算出部2040を有する。撮像装置2010としては、先述の実施の形態で説明した撮像装置を用いることができる。
(Embodiment of in-vehicle imaging system)
15 (A) and 15 (B) show an example of an image pickup system relating to a vehicle-mounted camera. The
また、撮像システム2000は、算出された視差に基づいて対象物までの距離を算出する距離計測部2050と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部2060と、を有する。ここで、視差算出部2040や距離計測部2050は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部2060はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。
Further, the
距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。 The distance information acquisition means may be realized by hardware specially designed, or may be realized by a software module. Further, it may be realized by FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), or the like, or may be realized by a combination thereof.
撮像システム2000は、車両情報取得装置2310と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム2000は、衝突判定部2050での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU2410が接続されている。すなわち、制御ECU2410は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム2000は、衝突判定部2050での判定結果に基づいて、ドライバーへ警報を発する警報装置2420とも接続されている。例えば、衝突判定部2050の判定結果として衝突可能性が高い場合、制御ECU2410はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置2420は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
The
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム2000で撮像する。図14(b)に、車両前方(撮像範囲2510)を撮像する場合の撮像システム2000を示した。車両情報取得装置2310は、撮像システム2000を動作させ撮像を実行させるように指示を送る。上述の第1乃至第3実施形態の撮像装置100を撮像装置2010として用いることにより、本実施形態の撮像システム2000は、測距の精度をより向上させることができる。
In the present embodiment, the surroundings of the vehicle, for example, the front or the rear, are imaged by the
以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。 In the above explanation, an example of controlling so as not to collide with another vehicle has been described, but it can also be applied to control for automatic driving following other vehicles, control for automatic driving so as not to go out of the lane, and the like. be. Further, the image pickup system can be applied not only to a vehicle such as an automobile but also to a moving body (moving device) such as a ship, an aircraft or an industrial robot. In addition, it can be applied not only to mobile objects but also to devices that widely use object recognition, such as intelligent transportation systems (ITS).
210 部材
201 電極
202 電極
220 光電変換膜
230 対向電極
250 マイクロレンズ
210
Claims (15)
前記複数の画素の各々は、
多層配線層を有する部材の上に配された第1電極と、
前記第1電極の上に配された光電変換膜と、
前記光電変換膜の上に配された第2電極と、
前記第2電極の上で、平面視において前記第1電極と重なる位置に配されたマイクロレンズと、
を有し、
前記複数の画素のうち、隣り合う2つの画素が有するマイクロレンズの間には、前記平面視においてギャップがあり、
前記排出用電極は、前記部材と前記光電変換膜の間に配され、
前記排出用電極は、前記平面視において、前記ギャップと重なる位置に配されている撮像装置。 It has multiple pixels and multiple ejection electrodes,
Each of the plurality of pixels
A first electrode arranged on a member having a multi-layer wiring layer,
The photoelectric conversion film arranged on the first electrode and
The second electrode arranged on the photoelectric conversion film and
A microlens arranged on the second electrode at a position overlapping the first electrode in a plan view,
Have,
Among the plurality of pixels, there is a gap in the plan view between the microlenses of two adjacent pixels.
The discharge electrode is arranged between the member and the photoelectric conversion film, and is arranged.
The ejection electrode is an image pickup device arranged at a position overlapping the gap in the plan view.
前記排出用電極は、第1電位の第1配線に直接接続される請求項1に記載の撮像装置。 The first electrode is connected to the gate of the amplification transistor and
The image pickup apparatus according to claim 1 , wherein the discharge electrode is directly connected to the first wiring of the first potential.
前記排出用電極は、第1電位の第1配線に第1スイッチ素子を介して接続される請求項1に記載の撮像装置。 The first electrode is connected to the gate of the amplification transistor and
The image pickup apparatus according to claim 1 , wherein the discharge electrode is connected to the first wiring of the first potential via the first switch element.
前記リセットトランジスタの他方の端子は第3配線に接続され、
前記第3配線の電位を変えることができる請求項1乃至12のいずれか1項に記載の撮像装置。 The first electrode, which can change the magnitude of the voltage applied to the first electrode, is connected to one terminal of the reset transistor.
The other terminal of the reset transistor is connected to the third wire.
The image pickup apparatus according to any one of claims 1 to 12 , wherein the potential of the third wiring can be changed.
前記リセットトランジスタの他方の端子は第3配線に接続され、
前記第3配線の電位を変えることができる請求項1乃至13のいずれか1項に記載の撮像装置。 The first electrode is connected to one terminal of the reset transistor and is connected to one terminal.
The other terminal of the reset transistor is connected to the third wire.
The image pickup apparatus according to any one of claims 1 to 13 , wherein the potential of the third wiring can be changed.
前記撮像装置からの信号を処理する処理部を有する撮像システム。 The image pickup apparatus according to any one of claims 1 to 14 ,
An image pickup system having a processing unit that processes a signal from the image pickup device.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245451A JP7005331B2 (en) | 2017-12-21 | 2017-12-21 | Imaging device and imaging system |
US16/210,887 US10580813B2 (en) | 2017-12-21 | 2018-12-05 | Image capturing apparatus and image capturing system |
CN201811547519.6A CN109951618B (en) | 2017-12-21 | 2018-12-18 | Image capturing apparatus and image capturing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245451A JP7005331B2 (en) | 2017-12-21 | 2017-12-21 | Imaging device and imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019114872A JP2019114872A (en) | 2019-07-11 |
JP7005331B2 true JP7005331B2 (en) | 2022-01-21 |
Family
ID=66950634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017245451A Active JP7005331B2 (en) | 2017-12-21 | 2017-12-21 | Imaging device and imaging system |
Country Status (3)
Country | Link |
---|---|
US (1) | US10580813B2 (en) |
JP (1) | JP7005331B2 (en) |
CN (1) | CN109951618B (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013001809A1 (en) | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | Solid-state image pickup device |
JP2016076921A (en) | 2014-10-08 | 2016-05-12 | パナソニックIpマネジメント株式会社 | Imaging device and driving method for the same |
JP2016086231A (en) | 2014-10-23 | 2016-05-19 | パナソニックIpマネジメント株式会社 | Imaging device and image acquisition apparatus |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005079338A (en) * | 2003-08-29 | 2005-03-24 | Matsushita Electric Ind Co Ltd | Solid state imaging device and its manufacturing method |
KR100562293B1 (en) * | 2003-10-01 | 2006-03-22 | 동부아남반도체 주식회사 | Complementary metal oxide semiconductor image sensor and method for fabricating thereof |
KR20070087847A (en) * | 2005-12-28 | 2007-08-29 | 동부일렉트로닉스 주식회사 | Cmos image sensor and method for manufacturing the same |
JP2013077740A (en) * | 2011-09-30 | 2013-04-25 | Sony Corp | Solid-state imaging device, method for manufacturing solid-state imaging device, and electronic apparatus |
JP2015207594A (en) | 2014-04-17 | 2015-11-19 | パナソニックIpマネジメント株式会社 | Solid-state image pickup device |
JP6682175B2 (en) * | 2014-07-31 | 2020-04-15 | キヤノン株式会社 | Solid-state imaging device and imaging system |
JP6555867B2 (en) * | 2014-09-26 | 2019-08-07 | キヤノン株式会社 | Imaging device |
WO2016103430A1 (en) * | 2014-12-25 | 2016-06-30 | キヤノン株式会社 | Line sensor, image reading device, image formation device |
JP2018148039A (en) * | 2017-03-06 | 2018-09-20 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state image pickup device and manufacturing method of the same |
-
2017
- 2017-12-21 JP JP2017245451A patent/JP7005331B2/en active Active
-
2018
- 2018-12-05 US US16/210,887 patent/US10580813B2/en active Active
- 2018-12-18 CN CN201811547519.6A patent/CN109951618B/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013001809A1 (en) | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | Solid-state image pickup device |
JP2016076921A (en) | 2014-10-08 | 2016-05-12 | パナソニックIpマネジメント株式会社 | Imaging device and driving method for the same |
JP2016086231A (en) | 2014-10-23 | 2016-05-19 | パナソニックIpマネジメント株式会社 | Imaging device and image acquisition apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2019114872A (en) | 2019-07-11 |
US10580813B2 (en) | 2020-03-03 |
US20190198546A1 (en) | 2019-06-27 |
CN109951618A (en) | 2019-06-28 |
CN109951618B (en) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6755679B2 (en) | Imaging device | |
US10483307B2 (en) | Imaging device | |
US10652496B2 (en) | Photoelectric conversion device, photoelectric conversion system, and movable body | |
US11863892B2 (en) | Imaging unit and electronic apparatus with first and second light blocking films | |
WO2017150553A1 (en) | Image pickup device | |
US11997400B2 (en) | Imaging element and electronic apparatus | |
JP6789643B2 (en) | Imaging device | |
KR20200022390A (en) | Solid State Imaging Devices and Electronic Devices | |
US11417695B2 (en) | Photoelectric conversion apparatus, imaging system, and moving body | |
US11404456B2 (en) | Photoelectric conversion device | |
JP2023065467A (en) | Photoelectric conversion device, photoelectric conversion system, and mobile body | |
US10708556B2 (en) | Imaging device and imaging system | |
JP2021132095A (en) | Photoelectric conversion device, imaging system, mobile object | |
JP7005331B2 (en) | Imaging device and imaging system | |
US10819931B2 (en) | Photoelectric conversion device, imaging system and mobile body | |
US10798326B2 (en) | Imaging apparatus, signal processing apparatus, and moving body | |
US20190228534A1 (en) | Image pickup device, image pickup system, and moving apparatus | |
US11424283B2 (en) | Photoelectric conversion apparatus, imaging system and mobile body | |
WO2021085152A1 (en) | Information processing device, information processing method, program, and information processing system | |
US20200335553A1 (en) | Photoelectric conversion device, photoelectric conversion system, and moving body | |
TW202431859A (en) | Solid-state imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |