JP5970012B2 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP5970012B2 JP5970012B2 JP2014037320A JP2014037320A JP5970012B2 JP 5970012 B2 JP5970012 B2 JP 5970012B2 JP 2014037320 A JP2014037320 A JP 2014037320A JP 2014037320 A JP2014037320 A JP 2014037320A JP 5970012 B2 JP5970012 B2 JP 5970012B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- correction
- correlation
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000012545 processing Methods 0.000 title claims description 41
- 238000012937 correction Methods 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000002950 deficient Effects 0.000 description 143
- 230000008569 process Effects 0.000 description 22
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000003252 repetitive effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
図1(a)は、本発明の実施形態に係る画像処理装置の一例である撮像装置100の機能構成例を示すブロック図である。
撮像装置100はデジタルカメラ、デジタルビデオカメラなど、被写体を撮影し、被写体の画像を表すデータ(画像データ)を取得する装置である。光学系101は、レンズ、シャッター、絞りを有し、CPU103の制御によって被写体光学像を撮像素子102に結像させる。CCDもしくはCMOSイメージセンサなどの撮像素子102は、結像された被写体光学像を各画素で光電変換し、アナログ画像信号に変換する。CPU103は、アナログ画像信号をデジタル画像信号(画像データ)に変換し、ホワイトバランス調整や色補間処理などのいわゆる現像処理や、符号化処理などを適用する。CPU103はプログラムを実行して各機能ブロックを制御することにより、撮像装置100の様々な機能を実現する。
まず、S301においてCPU103は、処理対象の画像データを取得する。ここで、画像データは、撮影によって取得してもよいし、記憶媒体106に記録されている画像データを読み出すことによって取得してもよい。あるいは通信装置109を通じて外部装置から取得してもよい。なお、ここで取得する画像データは欠陥画素の補正がなされていない状態であり、例えばRAW画像データである。
図4は着目ラインの特徴画素列に対して参照ラインの特徴画素列をX画素(Xは整数であり、正は右方向、負は左方向を表す)シフトさせた時の相関量の算出例を模式的に示している。CPU103は、各シフト量(相対的な位置)において矢印でつないだ画素値同士の差異を合計する。例えば、相関を算出する画素数を2W+1(Wは正の整数)、着目ラインの特徴画素列のインデックスi(図4参照)における画素値をTi、参照ラインの特徴画素列のインデックスiにおける画素値をRiとする。この時、シフト量Xの時の相関量Sxは以下の式により算出される。
第1の実施形態においては、ベイヤー配列におけるR画素やB画素のように、カラーフィルターの繰り返し単位の中に1画素だけ含まれる画素が欠陥画素である場合の補正方法を説明した。本実施形態では、ベイヤー配列におけるG画素のように、各画素ラインに含まれる画素が欠陥画素である場合の補正方法に関する。
第1および第2の実施形態においては欠陥画素が孤立している場合の補正方法を説明した。本実施形態では、同色の欠陥画素が連続して存在する場合の補正方法を説明する。このような欠陥画素が生じるのは、製造誤差や経年変化だけでなく、図7(a)に示すように、撮像素子に焦点検出用の画素を配置した場合がある。焦点検出用画素は、位相差検出方式の焦点検出を行うための信号を生成するため、受光範囲が通常の画素より狭く形成されたり、カラーフィルターが設けられないなど、得られる画素値が通常の画素とは異なる。従って、このような焦点検出用画素も、図7(b)に示すように同色画素が連続して欠陥画素であるものと見なして補正する必要がある。
以上説明したように、本実施形態においても、上述した実施形態と同様の効果を実現することができる。
上述の実施形態においては、参照画素が着目ラインから垂直方向にカラーフィルターの繰り返し単位1つ分もしくは隣接する画素ラインに設定した参照ラインから得られる場合について説明した。つまり、着目ラインと参照ラインとが水平方向に有意に高い相関を有している場合であった。
Q=α×Qa+(1−α)×Qb (2)
1番目に、最小相関量に応じた合成率αの決定について説明する。この場合、S305A及びS305Bの相関量算出処理で得られた相関量を利用し、参照ラインAについての最小相関量Saと、参照ラインBについての最小相関量Sbとの差分の大きさに応じて合成率αを決定する。最小相関量の差分をSsubとすると、
Ssub=Sa−Sb (3)
である。最小相関量の差分Ssubと合成率αとの関係例を図11(a)に示す。上述の通り、相関量は小さいほど2つの特徴画素列の相関が高いことを示すため、差分相関量Ssubが小さいほど参照ラインAから算出された補正値Qaの割合(合成率α)を大きくする。また、差分相関量Ssubが大きいほど合成率αを小さくして、参照ラインBから算出された補正値Qbの割合(1−α)を大きくする。
H=|GU−GD|―|GL−GR| (4)
として算出することが可能である。
Gsub=Ga−Gb
に応じて合成率αを決定することができる。具体的には、図11(d)に示すように、Gsubの値が小さいほど参照ラインAから算出された補正値Qaの割合(合成率α)を大きくし、Gsubの値が大きいほど合成率αを小さくして参照ラインBから算出された補正値Qbの割合(1−α)を大きくする。
また、参照ラインを2つ用いる場合について説明したが、3つ以上用いてもよい。また、着目ラインの上方だけでなく下方にも参照ラインを設定するようにしてもよい。
特に、被写体が着目ラインの方向と近い方向のエッジを有する場合や、繰り返し形状を有する場合であっても、誤補正を抑制し、欠陥画素の補正精度を高めることができる。
次に、第5の実施形態について説明する。着目ラインと参照ラインの特徴画素列の相関に基づいて参照画素を判定する方法は、参照ラインが着目ラインと高い相関を有する場合に良好な結果が得られる。従って、例えば着目ラインに写っている被写体が参照ラインに到達せずに途切れているような場合など、着目ラインと参照ラインとで写っている被写体が異なる場合には誤補正の可能性が生じる。
本実施形態の補正方法は、図3のS305で行う相関量の算出方法を除き、上述した第3の実施形態(又は第1の実施形態)と同等であるため、以下では本実施形態における相関量算出の処理について詳細に説明する。
g(i)=[x1 x2 x4 x2 x1] (8)
としたが、これは一例であり、他の重みを用いてもよい。例えば、
g(i)=[x1 x1 x4 x1 x1] (9)
として、より狭い範囲を重視したり、
g(i)=[x1 x2 x3 x4 x3 x2 x1] (10)
として、より広い範囲を考慮して相関量を求めてもよい。
以上、本発明を例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に規定される範囲内で種々の変形及び変更が可能である。
また、上述の実施形態では原色ベイヤー配列のカラーフィルターを備えた撮像素子で撮影された画像の補正について説明したが、他のタイプの繰り返しパターンを有するカラーフィルターを備えた撮像素子で撮影された画像の補正も同様に行うことができる。
Claims (13)
- 複数の色に対応する画素が予め定められた配列で配置され、かつ、所定のライン上の特定の色に対応する画素の位置に焦点検出用の画素が連続して配置された撮像素子によって生成された画像を取得する取得手段と、
前記画像のうち、前記所定のライン上の補正対象の焦点検出用の画素の位置を含む第1の領域を設定する第1の設定手段と、
前記画像のうち、前記焦点検出用の画素を含まず、かつ、前記所定のラインと異なる第1の参照ライン上に存在する複数の画素の位置を基準として、複数の第2の領域を設定する第2の設定手段と、
前記複数の第2の領域のそれぞれについて、前記第1の領域に対する相関量を算出する相関算出手段と、
前記相関量に基づいて定まる、前記第1の参照ライン上の画素の値を用いて補正値を算出し、前記補正値を用いて前記補正対象の焦点検出用の画素の位置における画素の値を補正する補正手段と、
を有し、
前記相関算出手段が、前記相関量を、前記補正対象の焦点検出用の画素に近い部分の相関ほど大きな重みを付与して算出することを特徴とする画像処理装置。 - 前記画像のうち、前記焦点検出用の画素を含まず、かつ、前記第1の参照ラインとの間で前記所定のラインを挟む位置にある第2の参照ライン上に存在する複数の画素の位置を基準として、複数の第3の領域を設定する第3の設定手段を有し、
前記相関算出手段はさらに、前記複数の第3の領域のそれぞれについて、前記第1の領域に対する相関量を算出し、
前記補正手段は、前記相関量に基づいて定まる、前記第1の参照ライン上の画素の値と前記第2の参照ライン上の画素の値とを用いて、前記補正値を算出することを特徴とする請求項1に記載の画像処理装置。 - 前記補正手段は、前記複数の第2の領域のうち、前記第1の領域に対する相関が最も高くなる相関量が得られる第2の領域から特定される前記第1の参照ライン上の画素の値を用いて前記補正値を算出することを特徴とする請求項1または2に記載の画像処理装置。
- 前記第1の設定手段は、前記特定の色に対応する画素を抽出して前記第1の領域を設定し、前記第2の設定手段は、前記第1の設定手段が抽出する画素と同色の画素を抽出して前記複数の第2の領域を設定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記第1の設定手段は、前記特定の色と異なる色の画素を抽出して前記第1の領域を設定し、前記第2の設定手段は、前記第1の設定手段が抽出する画素と同色の画素を抽出して前記第2の領域を設定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記第2の設定手段は、前記所定のラインからの距離が異なる複数の第1の参照ラインの各々について前記第2の領域を設定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記補正手段は、前記複数の第1の参照ラインの各々の上に存在する画素の値を用いて複数の補正値を算出し、前記複数の補正値を合成して最終的な補正値を算出することを特徴とする請求項6記載の画像処理装置。
- 前記補正手段は、前記複数の第2の領域のそれぞれの前記第1の領域に対する相関量のうち、相関が高いことを表す相関量に基づいて定まる画素の値を用いて得られる補正値ほど割合が大きくなるように合成することを特徴とする請求項7記載の画像処理装置。
- 前記補正手段は、前記補正対象の焦点検出用の画素に写っている被写体の方向が前記所定のラインの方向に近いほど、前記所定のラインからの距離が大きい前記第1の参照ラインから生成された第2の領域について算出された相関量に基づいて定まる画素の値を用いて得られる補正値の割合が大きくなるように合成することを特徴とする請求項7記載の画像処理装置。
- 前記補正手段は、前記複数の第2の領域のそれぞれの前記第1の領域に対する相関量のうち、前記第1の領域と画素値の変化傾向との差が小さい第2の領域についての相関量に基づいて定まる画素の値を用いて得られる補正値ほど割合が大きくなるように合成することを特徴とする請求項7記載の画像処理装置。
- 前記第1の参照ラインと前記所定のラインとの距離が、前記画像を生成した撮像素子の備えるカラーフィルターの繰り返し単位の倍数に等しいことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 複数の色に対応する画素が予め定められた配列で配置され、かつ、所定のライン上の特定の色に対応する画素の位置に焦点検出用の画素が連続して配置された撮像素子によって生成された画像を取得する取得ステップと、
前記画像のうち、前記所定のライン上の補正対象の焦点検出用の画素の位置を含む第1の領域を設定する第1の設定ステップと、
前記画像のうち、前記焦点検出用の画素を含まず、かつ、前記所定のラインと異なる参照ライン上に存在する複数の画素の位置を基準として、複数の第2の領域を設定する第2の設定ステップと、
前記複数の第2の領域のそれぞれについて、前記第1の領域に対する相関量を算出する相関算出ステップと、
前記相関量に基づいて定まる、前記参照ライン上の画素の値を用いて補正値を算出し、前記補正値を用いて前記補正対象の焦点検出用の画素の位置における画素の値を補正する補正ステップと、を有し、
前記相関算出ステップでは、前記相関量を、前記補正対象の焦点検出用の画素に近い部分の相関ほど大きな重みを付与して算出することを特徴とすることを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014037320A JP5970012B2 (ja) | 2014-02-27 | 2014-02-27 | 画像処理装置およびその制御方法 |
US14/630,750 US9635292B2 (en) | 2014-02-27 | 2015-02-25 | Image processing apparatus and method for controlling image processing apparatus |
CN201510088447.3A CN104883520B (zh) | 2014-02-27 | 2015-02-26 | 图像处理装置和图像处理装置的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014037320A JP5970012B2 (ja) | 2014-02-27 | 2014-02-27 | 画像処理装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015162817A JP2015162817A (ja) | 2015-09-07 |
JP5970012B2 true JP5970012B2 (ja) | 2016-08-17 |
Family
ID=53883481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014037320A Expired - Fee Related JP5970012B2 (ja) | 2014-02-27 | 2014-02-27 | 画像処理装置およびその制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9635292B2 (ja) |
JP (1) | JP5970012B2 (ja) |
CN (1) | CN104883520B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6532119B2 (ja) * | 2013-04-30 | 2019-06-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR102247564B1 (ko) * | 2014-11-13 | 2021-05-03 | 삼성전자 주식회사 | 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템 |
JP2017055308A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017055309A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR20220036630A (ko) | 2020-09-16 | 2022-03-23 | 삼성전자주식회사 | 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU1385327A1 (ru) | 1986-06-25 | 1988-03-30 | Предприятие П/Я А-3325 | Устройство управлени замещением дефектных элементов изображени |
JPH10126795A (ja) | 1996-10-11 | 1998-05-15 | Nikon Corp | カラー撮像素子の欠陥補正装置 |
JP4115574B2 (ja) | 1998-02-02 | 2008-07-09 | オリンパス株式会社 | 撮像装置 |
JP2003078821A (ja) | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
JP3938120B2 (ja) | 2003-09-17 | 2007-06-27 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
JP2005175547A (ja) | 2003-12-05 | 2005-06-30 | Canon Inc | 傷補正回路 |
JP2005293361A (ja) * | 2004-04-01 | 2005-10-20 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
EP1594308A1 (en) | 2004-05-07 | 2005-11-09 | Dialog Semiconductor GmbH | Single line Bayer filter RGB bad pixel correction |
JP4998069B2 (ja) * | 2007-04-25 | 2012-08-15 | ソニー株式会社 | 補間処理装置、撮像装置、及び、補間処理方法 |
JP5311916B2 (ja) | 2008-07-31 | 2013-10-09 | 株式会社エルモ社 | 撮像装置 |
US8208044B2 (en) | 2008-09-18 | 2012-06-26 | Qualcomm Incorporated | Bad pixel cluster detection |
JP2011097542A (ja) | 2009-11-02 | 2011-05-12 | Sony Corp | 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム |
RU2412554C1 (ru) | 2010-01-25 | 2011-02-20 | Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) | Способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника |
JP5697353B2 (ja) | 2010-03-26 | 2015-04-08 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
TWI407801B (zh) | 2010-08-11 | 2013-09-01 | Silicon Motion Inc | 用來進行壞像素補償之方法與用來進行壞像素補償之裝置 |
CN102469275B (zh) * | 2010-11-02 | 2014-04-16 | 慧荣科技股份有限公司 | 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置 |
JP2013168793A (ja) | 2012-02-15 | 2013-08-29 | Toshiba Corp | 画像処理装置 |
JP5996315B2 (ja) * | 2012-07-24 | 2016-09-21 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2014
- 2014-02-27 JP JP2014037320A patent/JP5970012B2/ja not_active Expired - Fee Related
-
2015
- 2015-02-25 US US14/630,750 patent/US9635292B2/en active Active
- 2015-02-26 CN CN201510088447.3A patent/CN104883520B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104883520B (zh) | 2018-04-03 |
JP2015162817A (ja) | 2015-09-07 |
US20150244953A1 (en) | 2015-08-27 |
CN104883520A (zh) | 2015-09-02 |
US9635292B2 (en) | 2017-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6045523B2 (ja) | 画像処理装置およびその制御方法 | |
JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
US20150278996A1 (en) | Image processing apparatus, method, and medium for generating color image data | |
JP6362068B2 (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP5970012B2 (ja) | 画像処理装置およびその制御方法 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
EP2219366A1 (en) | Image capturing device, image capturing method, and image capturing program | |
US9224212B2 (en) | Image processing apparatus and image processing method | |
JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP6555990B2 (ja) | 距離計測装置、撮像装置、および距離計測方法 | |
JP2009302960A (ja) | 映像信号処理装置並びにプログラム及び方法 | |
JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2011171991A (ja) | 画像処理装置、電子機器、画像処理方法、および、画像処理プログラム | |
JP7496564B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
WO2018030386A1 (ja) | 位置指定装置および位置指定方法 | |
JP6808770B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
JP6570706B2 (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP6979859B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6501732B2 (ja) | データ処理装置、撮像装置、およびデータ処理装置の制御方法 | |
JP2020086824A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2019022002A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160708 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5970012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |