JP6820908B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP6820908B2 JP6820908B2 JP2018501517A JP2018501517A JP6820908B2 JP 6820908 B2 JP6820908 B2 JP 6820908B2 JP 2018501517 A JP2018501517 A JP 2018501517A JP 2018501517 A JP2018501517 A JP 2018501517A JP 6820908 B2 JP6820908 B2 JP 6820908B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- grid pattern
- grid
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 33
- 239000004973 liquid crystal related substance Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000758 substrate Substances 0.000 description 37
- 238000001228 spectrum Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 15
- 238000002834 transmittance Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
- G02F2201/30—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
- Studio Devices (AREA)
Description
また米国特許出願US2015/0219808A1(特許文献2)などでは、前記回折格子基板として中心から外側に向けてピッチが細かくなる同心円状の格子パターンを用いることが記載されている。
特許文献2では、前記同心円状格子パターンが複数オーバーラップしている回折格子を用いているため、透過率が低下するとともに、相互の同心円格子パターンが干渉し、再生画像のノイズ増大を招く懸念がある。
そこで本発明では、光線の入射角度の検出の容易な技術を提供するとともに、その時の光利用効率の低下を軽減し、相互の同心円格子パターンの干渉ノイズが生じない撮像装置を提供することを目的とする。
レンズを用いないので、レンズの経時的な劣化やずれなどに起因した画質低下が懸念される車載カメラや監視カメラなどのメンテナンスフリー化にも有効である。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
まず中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターンを、以下のように定義する。レーザー干渉計などにおいて、平面波に近い球面波と、参照光として用いる平面波を干渉させる場合を想定する。同心円の中心の基準座標からの半径をr、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて
以下、原理を確認するために、行ったシミュレーションの結果を図7、図8に示す。
本実施例における処理フローのブロック図は図24に本示されており、図17に加えて、モアレ縞ノイズ除去のプロセスが加わっている。
104・・・表側格子、105・・・裏側格子、106、1201・・・画像処理回路、
107・・・モニタディスプレイ、201・・・被写体、
901・・・格子センサ一体基板、1301・・・物体を構成する点、
1302・・・表側格子の影、1401・・・液晶層、1402・・・液晶基板、
1403・・・可変表側格子、1501・・・シリンドリカルレンズ格子
1601・・・スマートフォン、1602・・・ピント調整つまみ、
2801・・・自動車、2802・・・撮像装置の視域
Claims (9)
- 結像レンズを用いない撮像装置であって、
第1の格子パターンを用いて前記第1の格子パターンの影を作ることにより光の強度を変調する変調部と、
前記変調部を透過した光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
前記第1の格子パターンは、複数の同心円パターンで構成され、
前記同心円パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、
複数の前記同心円パターンは、前記第1の格子パターン内で互いに重ならず、
前記変調部は、第2の格子パターンを有し、
前記第1の格子パターンを透過する光を前記第2の格子パターンにて強度変調して前記画像センサに出力する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記第2の格子パターンは、前記第1の格子パターンが形成された面に対向する面に形成されている
ことを特徴とする撮像装置。 - 結像レンズを用いない撮像装置であって、
第1の格子パターンを用いて前記第1の格子パターンの影を作ることにより光の強度を変調する変調部と、
前記変調部を透過した光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
前記第1の格子パターンは、複数の同心円パターンで構成され、
前記同心円パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、
複数の前記同心円パターンは、前記第1の格子パターン内で互いに重ならず、
前記画像処理部は、前記第1の格子パターンを透過した光に対してさらに仮想的に強度変調する処理を行う強度変調部を有し、
前記変調部は、前記第1の格子パターンを透過した光を前記画像センサに出力し、前記画像センサは取り込まれた画像を前記画像処理部に出力し、
前記強度変調部は、仮想的な第2の格子パターンを用いて前記画像センサにより取り込まれた画像に対して前記第1の格子パターンを透過した光をさらに強度変調する処理を行う
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記画像センサの中央を通り受光面に対して垂直な軸に対し、前記第1の格子パターンの基準座標の位置と前記第2の格子パターンの基準座標の位置は、互いに逆方向にずれている
ことを特徴とする撮像装置。 - 請求項4に記載の撮像装置であって、
前記第1の格子パターンの前記基準座標の位置と前記第2の格子パターンの前記基準座標の位置は、前記画像処理部から出力される画像の短辺方向にずれている
ことを特徴とする撮像装置。 - 結像レンズを用いない撮像装置であって、
第1の格子パターンを用いて前記第1の格子パターンの影を作ることにより光の強度を変調する変調部と、
前記変調部を透過した光を電気信号に変換し、センサ画像を生成する画像センサと、
前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
前記変調部は、前記第1の格子パターンを表示する液晶素子を有し
前記第1の格子パターンは、複数の同心円パターンで構成され、
前記同心円パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、
複数の前記同心円パターンは、前記第1の格子パターン内で互いに重ならず、
前記液晶素子は、前記第1の格子パターンの前記同心円の大きさを変更することができる
ことを特徴とする撮像装置。 - 請求項3に記載の撮像装置であって、
前記強度変調部は、前記仮想的な第2の格子パターンの前記同心円の大きさを変更することにより、前記第1の格子パターンを透過する光を強度変調する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記第1の格子パターン及び第2の格子パターンは複数の領域に分かれており、
隣接領域間で異なる前記同心円パターンが配置されており、
前記第1の格子パターン内の前記複数の領域の格子の位相と、前記第2の格子パターン内の前記複数の領域の位相の組み合わせが、複数の組み合わせで重ねあわされるように配置されている
ことを特徴とする撮像装置。 - 請求項8に記載の撮像装置であって、
前記画像処理部は、出力された画像についてモアレ縞成分を抽出する演算を行い、
前記演算は、前記第1の格子パターン内の前記複数の領域の位相と、前記第2の格子パターン内の前記複数の領域の位相の組み合わせに基づき行われる
ことを特徴とする撮像装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/055741 WO2017145348A1 (ja) | 2016-02-26 | 2016-02-26 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021000058A Division JP2021064000A (ja) | 2021-01-04 | 2021-01-04 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017145348A1 JPWO2017145348A1 (ja) | 2018-12-13 |
JP6820908B2 true JP6820908B2 (ja) | 2021-01-27 |
Family
ID=59684938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018501517A Active JP6820908B2 (ja) | 2016-02-26 | 2016-02-26 | 撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10911643B2 (ja) |
JP (1) | JP6820908B2 (ja) |
CN (1) | CN108702440B (ja) |
WO (1) | WO2017145348A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6688716B2 (ja) * | 2016-10-04 | 2020-04-28 | 株式会社日立製作所 | 撮像装置および撮像方法 |
EP3700191B1 (en) * | 2017-10-19 | 2023-08-02 | Sony Group Corporation | Imaging device, exposure control method, program, and imaging element |
US11431898B2 (en) * | 2017-10-19 | 2022-08-30 | Sony Corporation | Signal processing device and imaging device |
JP6864604B2 (ja) * | 2017-11-02 | 2021-04-28 | 株式会社日立製作所 | 撮像装置 |
JP7278454B2 (ja) * | 2018-01-22 | 2023-05-19 | マクセル株式会社 | 画像表示装置 |
JP7061883B2 (ja) * | 2018-01-22 | 2022-05-02 | マクセル株式会社 | 画像表示装置および画像表示方法 |
JP2019149674A (ja) | 2018-02-27 | 2019-09-05 | 株式会社日立製作所 | 撮像装置、撮像方法、および画像処理装置 |
WO2019171691A1 (ja) * | 2018-03-06 | 2019-09-12 | ソニー株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
WO2019176349A1 (ja) * | 2018-03-14 | 2019-09-19 | ソニー株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
JP6814762B2 (ja) | 2018-03-16 | 2021-01-20 | 株式会社日立製作所 | 撮像装置 |
JP7076246B2 (ja) * | 2018-03-23 | 2022-05-27 | マクセル株式会社 | 撮像装置および撮像システム |
JP6924163B2 (ja) * | 2018-03-27 | 2021-08-25 | 株式会社日立製作所 | 撮像装置、撮像モジュールおよび撮像方法 |
CN113660400A (zh) * | 2018-08-08 | 2021-11-16 | 麦克赛尔株式会社 | 记录装置、再现装置、记录再现装置和摄像装置 |
CN110031972B (zh) * | 2019-05-23 | 2020-07-17 | 电子科技大学 | 一种基于菲涅尔光圈的无镜头红外图像处理方法、存储介质和终端 |
CN110519500A (zh) * | 2019-09-17 | 2019-11-29 | 深圳传音控股股份有限公司 | 摄像模组、电子设备及图像获取方法 |
WO2021075527A1 (ja) * | 2019-10-18 | 2021-04-22 | 国立大学法人大阪大学 | カメラ及びイメージングシステム |
WO2021085173A1 (ja) * | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 撮像素子、表示装置、及び、撮像システム |
WO2021111888A1 (ja) * | 2019-12-03 | 2021-06-10 | ソニーグループ株式会社 | 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置 |
WO2022124067A1 (ja) * | 2020-12-08 | 2022-06-16 | ソニーグループ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2021064000A (ja) * | 2021-01-04 | 2021-04-22 | 株式会社日立製作所 | 撮像装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01242033A (ja) * | 1988-03-23 | 1989-09-27 | Toshiba Corp | 計測内視鏡装置 |
US5561558A (en) * | 1993-10-18 | 1996-10-01 | Matsushita Electric Industrial Co., Ltd. | Diffractive optical device |
JP2000035345A (ja) * | 1998-07-16 | 2000-02-02 | Koyo Seiko Co Ltd | 光学式ロータリエンコーダ |
CN1141602C (zh) | 2001-08-14 | 2004-03-10 | 中国科学院长春光学精密机械与物理研究所 | 连续变焦菲涅耳微透镜阵列器件 |
JP2003188629A (ja) * | 2001-12-19 | 2003-07-04 | Nippon Telegr & Teleph Corp <Ntt> | 指向性可変アンテナ |
CN101443689B (zh) * | 2006-05-15 | 2010-11-17 | 松下电器产业株式会社 | 衍射摄像透镜、衍射摄像透镜光学系统及使用其的摄像装置 |
JP5611588B2 (ja) * | 2006-07-18 | 2014-10-22 | セルオプティック、インコーポレイテッドCelloptic, Inc. | 受信電磁放射線から物体の3次元情報を抽出するシステム、装置および方法 |
JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
CN101567173B (zh) * | 2009-05-26 | 2011-11-09 | 重庆大学 | 光栅光调制器投影装置的控制扫描电路 |
US8825436B2 (en) * | 2011-03-09 | 2014-09-02 | Moog Inc. | Inertial sensing with spatially distributed sensor array and two dimensional data processing |
WO2013010151A1 (en) | 2011-07-14 | 2013-01-17 | Howard Hughes Medical Institute | Microscopy with adaptive optics |
JP2013225417A (ja) * | 2012-04-20 | 2013-10-31 | Minebea Co Ltd | 面状照明装置 |
CN103067664B (zh) * | 2012-12-29 | 2015-07-01 | 中南大学 | 一种基于光学原理的图像压缩及解压缩方法 |
US9110240B2 (en) | 2013-03-05 | 2015-08-18 | Rambus Inc. | Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing |
WO2014137922A1 (en) | 2013-03-05 | 2014-09-12 | Rambus Inc. | Phase gratings with odd symmetry for high-resoultion lensless optical sensing |
US9933685B2 (en) * | 2013-08-05 | 2018-04-03 | The Hong Kong University Of Science And Technology | Switchable liquid crystal fresnel lens |
US9746593B2 (en) * | 2013-08-28 | 2017-08-29 | Rambus Inc. | Patchwork Fresnel zone plates for lensless imaging |
CN104006765B (zh) | 2014-03-14 | 2016-07-13 | 中国科学院上海光学精密机械研究所 | 单幅载频干涉条纹相位提取方法及检测装置 |
DE102014224638A1 (de) * | 2014-12-02 | 2016-06-02 | Olympus Soft Imaging Solutions Gmbh | Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System |
CN107736012B (zh) * | 2015-06-17 | 2021-09-10 | 麦克赛尔株式会社 | 摄像装置和图像生成方法 |
JP6688716B2 (ja) * | 2016-10-04 | 2020-04-28 | 株式会社日立製作所 | 撮像装置および撮像方法 |
JP6685887B2 (ja) * | 2016-12-13 | 2020-04-22 | 株式会社日立製作所 | 撮像装置 |
-
2016
- 2016-02-26 JP JP2018501517A patent/JP6820908B2/ja active Active
- 2016-02-26 US US16/078,751 patent/US10911643B2/en active Active
- 2016-02-26 WO PCT/JP2016/055741 patent/WO2017145348A1/ja active Application Filing
- 2016-02-26 CN CN201680082565.6A patent/CN108702440B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
WO2017145348A1 (ja) | 2017-08-31 |
CN108702440B (zh) | 2021-06-29 |
JPWO2017145348A1 (ja) | 2018-12-13 |
CN108702440A (zh) | 2018-10-23 |
US10911643B2 (en) | 2021-02-02 |
US20190020789A1 (en) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6820908B2 (ja) | 撮像装置 | |
JP6491332B2 (ja) | 撮像装置 | |
JP6685887B2 (ja) | 撮像装置 | |
JP6721698B2 (ja) | 撮像装置 | |
JP6646619B2 (ja) | 撮像装置 | |
JP7389195B2 (ja) | 画像生成方法 | |
JP6864604B2 (ja) | 撮像装置 | |
JP7097787B2 (ja) | 撮像装置および撮像方法 | |
JP6947891B2 (ja) | 携帯情報端末 | |
JP6770164B2 (ja) | 撮像装置 | |
JP2021064000A (ja) | 撮像装置 | |
JP2023016864A (ja) | 撮像装置および方法 | |
JP6636663B2 (ja) | 撮像装置及び画像生成方法 | |
JP2020098963A (ja) | 撮像装置 | |
JP2022180800A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6820908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |