[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6144584B2 - 破損検査装置 - Google Patents

破損検査装置 Download PDF

Info

Publication number
JP6144584B2
JP6144584B2 JP2013192821A JP2013192821A JP6144584B2 JP 6144584 B2 JP6144584 B2 JP 6144584B2 JP 2013192821 A JP2013192821 A JP 2013192821A JP 2013192821 A JP2013192821 A JP 2013192821A JP 6144584 B2 JP6144584 B2 JP 6144584B2
Authority
JP
Japan
Prior art keywords
edge
article
image
ray
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013192821A
Other languages
English (en)
Other versions
JP2015059795A (ja
Inventor
一幸 杉本
一幸 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Priority to JP2013192821A priority Critical patent/JP6144584B2/ja
Publication of JP2015059795A publication Critical patent/JP2015059795A/ja
Application granted granted Critical
Publication of JP6144584B2 publication Critical patent/JP6144584B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Analysing Materials By The Use Of Radiation (AREA)

Description

本発明は、破損検査装置に関する。
従来、例えば、特許文献1(特開2005−31069号公報)に示すように、物品に対してX線を照射することにより物品の破損を検査する方法が提案されていた。具体的には、物品を透過したX線に基づきX線画像が生成され、さらに、X線画像が二値化される。二値化画像に基づき、物品の面積または物品の周長が求められ、得られた面積または周長と、基準値とを比較することにより、物品の破損の有無の判定が行われる。
ところで、従来の破損検査装置では、物品の種類によって、物品の破損が正確に判定できない場合があった。具体的には、物品が、ガラス製の容器(瓶)や金属製の容器(缶)に詰められた液体または流動性のある物体である場合、容器の割れや欠けが正確に判定できない場合があった。例えば、瓶の先端に僅かな割れや欠けがある物品(破損物品)に対して得られるX線画像と、正常な物品に対して得られるX線画像とは、面積または周長に殆ど差が無い。その結果、従来の破損検査装置では、このような破損物品と正常な物品とを識別することが困難な場合があった。
本発明の課題は、物品の破損検査の精度を向上させることにある。
本発明に係る破損検査装置は、照射源と、検知部と、検査画像生成部と、を備え、物品の破損の有無を検査する。照射源は、物品に対して放射光を照射する。検知部は、放射光を検知する。検査画像生成部は、検知部によって検知された放射光に基づいて検査画像を生成する。ここで、破損検査装置は、エッジ検出部と判定部とを備えることを特徴とする。エッジ検出部は、検査画像に基づいて物品のエッジを検出する。判定部は、エッジが閉鎖されている場合には物品を正常と判定し、エッジが閉鎖されていない場合には物品を不良と判定する。
本発明に係る破損検査装置では、検査画像に基づいて物品のエッジが検出される。また、エッジが閉鎖されているか否かが判定される。エッジが閉鎖されている場合には、物品は正常であると判定され、閉鎖されていない場合には、不良と判定される。これにより、物品の破損検査の精度を向上させることができる。
また、エッジ検出部は、検出した物品のエッジを示すエッジ画像を生成する。判定部は、エッジ画像を構成する複数のエッジ対応画素に、複数のエッジ対応画素に沿って移動する移動点の起点を設定する。判定部は、移動点が複数のエッジ対応画素を一巡し起点に戻る場合に、エッジが閉鎖されていると判定することが好ましい。これにより、エッジの連続性の有無に基づき、物品の欠けを判定することができる。
さらに、本発明に係る破損検査装置は、切り出し部を備えることが好ましい。切り出し部は、切り出し処理を実行する。切り出し処理は、複数の物品に対応する複数のエッジを示すエッジ画像から、一の物品に対応する一のエッジを切り出す。また、判定部は、切り出し処理によって得られた一の物品に対応する一のエッジに基づいて、物品が正常か否かを判定することが好ましい。これにより、複数物品のそれぞれについて、精度よく破損検査を行うことができる。
本発明によれば、物品の破損検査の精度を向上させることができる。
本発明の一実施形態に係る破損検査装置の斜視図である。 破損検査装置が組み込まれた生産ラインを説明するための図である。 破損検査装置のシールドボックス内部の簡易構成図である。 破損検査装置の原理を示す図である。 制御装置のブロック構成図である。 X線画像の例を示す図である。 エッジ画像の例を示す図である。 切り出し処理を説明するための図である。 第2判定処理を説明するための図である。 第2判定処理を説明するための図である。 第2判定処理を説明するための図である。 第2判定処理を説明するための図である。
以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の一つの具体例であって、本発明の技術的範囲を限定するものではない。
(1)全体構成
図1に、本発明の一実施形態に係る破損検査装置10の外観を示す。図2は、破損検査装置10が組み込まれた生産ライン100を示す。本実施形態では、破損検査装置10として、X線検査装置を用いる。図2に示すように、破損検査装置10は、生産ライン100に組み込まれて物品Gの品質検査(破損検査)を行う装置の1つである。破損検査装置10は、連続的に搬送されてくる物品Gに対してX線を照射することにより物品Gの良否判断を行う。検体である物品Gは、前段コンベア60によって破損検査装置10まで運ばれてくる。物品Gは、破損検査装置10において良品または不良品に分類される。破損検査装置10での検査結果は、破損検査装置10の下流側に配置されている振分機構70(図2ではアーム式を示している)に送られる。振分機構70は、破損検査装置10において良品と判断された物品Gを、良品(正常品)を排出するコンベア80へと送り、破損検査装置10において不良品と判断された物品Gを、不良品排出方向90,91へと振分ける。
なお、破損検査装置10の検査対象となる物品Gは、ガラス製の容器や金属製の容器に詰められた液体または流動性のある物体である。ガラス製の容器は、例えば、ガラス瓶であり、金属製の容器は、例えば、缶である。瓶や缶は、密閉状態で液体または流動性のある物体を包含する。また、破損検査装置10には、箱詰めされた複数の物品Gが送られるものとする。具体的に、本実施形態では、瓶詰めされた薬剤(アンプル)(物品G)が複数個、カートンBに詰められた状態で、破損検査装置10に送られる(図6参照)。本実施形態に係る破損検査装置10は、カートンに詰められた複数のアンプルのそれぞれについて、破損(割れおよび/または欠け)の有無を判定する。
(2)破損検査装置の構成
破損検査装置10は、図1、図3、または図5に示すように、主として、シールドボックス11と、コンベア12と、X線照射器(照射源)13と、X線ラインセンサ(検知部)14と、タッチパネル機能付きのモニタ30と、制御装置20とから構成されている。
(2−1)シールドボックス
シールドボックス11は、破損検査装置10のケーシングである。シールドボックス11は、両側面に、物品Gを搬出入するための開口11aを有する。開口11aは、物品Gをシールドボックス11の内外に搬入および搬出させるために用いられる。開口11aは、図1には図示していないが、遮蔽ノレンにより塞がれている。遮蔽ノレンは、シールドボックス11の外部へのX線の漏洩を抑える。遮蔽ノレンは、鉛を含むゴムから成形される。遮蔽ノレンは、物品Gが搬出入されるときに物品Gによって押しのけられる。
シールドボックス11の中に、コンベア12、X線照射器13、X線ラインセンサ14、制御装置20などが収容される。また、シールドボックス11の正面上部には、モニタ30の他、キーの差し込み口や電源スイッチが配置されている。
(2−2)コンベア
コンベア12は、シールドボックス11内で物品Gを搬送する。コンベア12は、図1に示すように、シールドボックス11の両側面に形成された開口11aを貫通するように配置されている。コンベア12は、主として、無端状のベルトと、コンベアローラと、コンベアモータ12a(図5参照)とから構成されている。コンベアローラは、コンベアモータ12aによって駆動される。コンベアローラの駆動により、ベルトが回転され、ベルト上の物品Gが下流に搬送される。コンベア12による物品Gの搬送速度は、オペレータによって入力された設定速度に応じて変動する。制御装置20は、設定速度に基づいてコンベアモータ12aをインバータ制御し、物品Gの搬送速度を細かく制御する。また、コンベアモータ12aには、コンベア12による搬送速度を検出して制御装置20に送るエンコーダ12b(図5参照)が装着されている。
(2−3)X線照射器
X線照射器13は、図3に示すように、コンベア12の上方に配置されている。X線照射器13は、物品Gの下方に位置するX線ラインセンサ14に向けて扇状のX線(放射光)を照射する。具体的に、照射範囲Xは、図3に示すように、コンベア12の搬送面に対して垂直に延びる。また、照射範囲Xは、コンベア12の搬送方向に対して交差する方向に広がる。すなわち、X線照射器13から照射されるX線は、ベルトの幅方向に広がる。
(2−4)X線ラインセンサ
X線ラインセンサ14は、物品Gやコンベア12を透過してくるX線を検出する。X線ラインセンサ14は、図3に示すように、コンベア12の下方に配置されている。X線ラインセンサ14は、主として、多数のX線検出素子14aから構成されている。X線検出素子14aは、コンベア12による搬送方向に直交する向きに一直線に水平配置されている。
X線ラインセンサ14は、物品Gやコンベア12を透過したX線量(透過X線量)を検出し、透過X線量に基づくX線透過信号を出力する。言い換えると、X線透過信号は、透過したX線の強度に応じたX線透過信号を出力する。透過したX線の強度は、透過X線量の大小に依存する。X線透過信号により、X線画像の明るさ(濃淡値)が決定される(図4参照)。図4は、X線ラインセンサ14のX線検出素子14aによって検出される透過X線量(検出量)の例を示すグラフである。グラフの横軸は、各X線検出素子14aの位置に対応する。また、グラフの横軸は、コンベア12の搬送方向に直交する方向の距離に対応する。また、グラフの縦軸は、X線検出素子14aで検出されたX線の透過量(検出量)を示す。すなわち、検出量の多いところが明るい(淡い)X線画像として表示され、検出量が少ないところが暗い(濃い)X線画像として表示される。すなわち、X線画像の明暗(濃淡)は、X線の検出量に対応する。
さらに、X線ラインセンサ14は、物品Gが扇状のX線の照射範囲X(図3参照)を通過するタイミングを検知するためのセンサとしても機能する。すなわち、X線ラインセンサ14は、コンベア12によって搬送される物品GがX線ラインセンサ14の上方位置(照射範囲X)に来たとき、所定の閾値以下の電圧を示すX線透過信号(第1信号)を出力する。一方、X線ラインセンサ14は、物品Gが照射範囲Xを通過すると所定の閾値を上回る電圧を示すX線透過信号(第2信号)を出力する。第1信号および第2信号が後述の制御装置20に入力されることにより、照射範囲Xにおける物品Gの有無が検出される。
(2−5)モニタ
モニタ30は、表示部および入力部として機能する。具体的に、モニタ30は、フルドット表示の液晶ディスプレイである。モニタ30には、物品Gの検査結果が表示される。また、モニタ30には、初期設定や不良判断に関するパラメータ入力などを促す画面が表示される。さらに、モニタ30は、タッチパネル機能を有する。したがって、モニタ30は、オペレータによる検査パラメータおよび動作設定情報等の入力を受け付ける。
(2−6)制御装置
制御装置20は、主として、CPUおよびメモリ等によって構成されている。制御装置20は、図示しない表示制御回路、キー入力回路、通信ポートなども備えている。表示制御回路は、モニタ30でのデータ表示を制御する回路である。キー入力回路は、モニタ30のタッチパネルを介してオペレータにより入力されたキー入力データを取り込む回路である。通信ポートは、プリンタ等の外部機器やLAN等のネットワークとの接続を可能にする。
また、制御装置20は、上述のコンベアモータ12a、エンコーダ12b、X線照射器13、X線ラインセンサ14、およびモニタ30等に電気的に接続されている。制御装置20は、エンコーダ12bからコンベアモータ12aの回転数に関するデータを取得し、当該データに基づき、物品Gの移動距離を把握する。また、制御装置20は、上述したように、X線ラインセンサ14から出力された信号を受信することにより、コンベア12のベルト上の物品Gが照射範囲Xに来たタイミングを検出する。
なお、制御装置20は、図5に示すように、主として、記憶部21および制御部22として機能する。
(2−6−1)記憶部
記憶部21は、破損検査に必要な各種プログラムを記憶する。また、記憶部21は、図5に示すように、主として、基準値記憶領域21a、画像記憶領域21b、および検査結果記憶領域21cを有する。
(a)基準値記憶領域
基準値記憶領域21aには、後述する割れ検査に用いられる基準値が記憶される。基準値は、物品Gの種類に応じて設けられる。基準値は、例えば、基準周囲長や基準面積である。
(b)画像記憶領域
画像記憶領域21bには、後述する制御部22によって生成された物品Gに関する画像が記憶される。具体的に、画像記憶領域21bでは、物品GのX線画像(検査画像)、二値化画像、およびエッジ画像が、それぞれ対応付けて記憶される。X線画像は、後述のX線画像生成部22aによって生成される画像である。二値化画像は、後述の二値化画像生成部22bによって生成される画像である。また、エッジ画像は、後述のエッジ検出部22dによって生成される画像である。
(c)検査結果記憶領域
検査結果記憶領域21cには、後述する第1破損判定部22cおよび第2破損判定部22fによる一時的な判定結果(良/不良の結果)や、良否判定部22gによる物品Gの最終的な良否判定の結果等が記憶される。
(2−6−2)制御部
制御部22は、図5に示すように、主として、X線画像生成部(検査画像生成部)22a、二値化画像生成部22b、第1破損判定部22c、エッジ検出部22d、切り出し部22e、第2破損判定部(判定部)22f、および良否判定部22gとして機能する。
(a)X線画像生成部
X線画像生成部22aは、X線ラインセンサ14によって検出された透過X線量に基づいてX線画像(検査画像)を作成する。具体的に、X線画像生成部22aは、X線ラインセンサ14の各X線検出素子14aから出力されるX線透過信号を細かい時間間隔で取得し、取得したX線透過信号の強度(輝度)に基づいてX線画像を生成する。すなわち、X線画像生成部22aは、扇状のX線の照射範囲X(図3参照)を物品Gが通過する際に各X線検出素子14aから出力されるX線透過信号に基づいて、物品Gを含む二次元画像を生成する。X線画像には、物品GおよびカートンBが含まれる(図6参照)。
なお、照射範囲Xにおける物品Gの有無は、上述したように、X線ラインセンサ14が出力する信号(第1信号および第2信号)により判断される。X線画像生成部22aは、各X線検出素子14aから得られるX線の強度(輝度)に関する細かい時間間隔毎のデータをマトリクス状に時系列につなぎ合わせて、物品GについてのX線画像を生成する。X線画像生成部22aによって生成されたX線画像は、画像記憶領域21bに記憶される。
(b)二値化画像生成部
二値化画像生成部22bは、X線画像の二値化画像を生成する。二値化画像生成部22bは、X線画像に対して二値化処理を行うことによって、背景と背景以外とを識別可能な画像を生成する。さらに、二値化画像生成部22bは、物品Gを識別するための新たな閾値を準備し、物品Gと物品G以外(カートンB)とを識別可能な画像を生成する。
具体的に、二値化画像生成部22bは、所定の閾値と、X線画像を構成する各画素の濃淡値とを比較して、X線画像を構成する各画素の濃淡値が所定の閾値以下かどうかを判断し、二値化処理を実行する。ここで、所定の閾値には、背景と背景以外とを識別するための閾値、および、物品Gと物品G以外の部分(カートン)とをそれぞれ識別するための閾値が含まれる。
二値化画像生成部22bは、X線画像を構成する全画素のうち、透過X線の輝度(強度)が所定の閾値を上回る画素については、例えば、白に対応する諧調(255)で表し、所定の閾値を以下の画素については、例えば、黒に対応する諧調(0)で表すように、X線画像に対してフィルタ処理を行う。
なお、二値化画像生成部22bによって生成された二値化画像は、二値化処理を行う前のX線画像と関連付けて、上述した画像記憶領域21bに記憶される。
(c)第1破損判定部
第1破損判定部22cは、二値化画像に基づいて、物品Gに破損があるか否かを判定する(第1判定処理)。具体的に、第1破損判定部22cは、二値化画像に含まれる複数の物品Gの画像をそれぞれ識別し、各物品Gの画像の面積および周囲長に基づいて物品Gに破損があるか否かを判定する。第1判定処理によって判定される破損は、後述する第2判定処理に対して、比較的大きな割れや欠けである。
より具体的に、第1破損判定部22cは、各物品Gの画像の面積および周囲長と、基準面積および基準周囲長とを比較し、各物品Gの画像の面積および周囲長が、基準面積および基準周囲長に一致するか否かに基づいて、物品Gの割れの有無を判定する。ここで、基準面積とは、当該物品Gが良品である場合の画像の面積であり、基準周囲長とは、当該物品Gが良品である場合の画像の周囲長である。すなわち、第1破損判定部22cは、各物品Gの画像の面積および周囲長が、基準面積および基準周囲長に一致する場合には、物品Gに割れはないと判定する。一方、第1破損判定部22cは、各物品Gの画像の面積および周囲長が、基準面積および基準周囲長に一致しない場合には、物品Gに割れがあると判定する。なお、第1判定処理に用いられる基準面積および基準周囲長は、幅を持たせた値(範囲)であってもよい。
第1破損判定部22cによる判定結果は、判定に用いた二値化画像と関連付けて、上述の検査結果記憶領域21cに記憶される。
(d)エッジ検出部
エッジ検出部22dは、X線画像に基づいて、複数の物品Gそれぞれについてのエッジ検出を行う(図7参照)。すなわち、エッジ検出部22dは、X線画像において、明るさが鋭敏に変化している箇所(エッジ)を検出する。これにより、物品Gと物品G以外(カーボンBおよび背景)との境界部分が検出される。すなわち、エッジ検出部22dは、X線画像に基づいて物品Gの輪郭を検出する。エッジ検出部22dは、エッジを検出すると、検出結果に基づいて、エッジ画像を生成する。
エッジ検出部22dは、図7に示すように、X線画像から各物品Gのエッジe1〜e10のみが検出されるように、X線画像に対してフィルタをかける。言い換えると、エッジ画像には、物品Gのエッジe1〜e10のみが表され、カートンのエッジは表れないように、X線画像に対してフィルタ処理が行なわれるものとする。
エッジ画像を構成する複数の画素には、物品Gのエッジe1〜e10に対応する画素(エッジ対応画素)と、それ以外の画素(非エッジ対応画素)とが含まれる。エッジ画像では、エッジ対応画素が、例えば、白に対応する諧調(255)で表され、非エッジ対応画素については、例えば、黒に対応する諧調(0)で表される。エッジ画像には、複数の物品Gのそれぞれに対応するエッジe1〜e10が含まれる。複数のエッジe1〜e10のそれぞれは、複数のエッジ対応画素によって構成されている(図9〜図12参照)。
エッジ検出部22dによってエッジ画像が生成されると、当該エッジ画像は、エッジ処理を行う前のX線画像に関連付けて、上述した画像記憶領域21bに記憶される。
(e)切り出し部
切り出し部22eは、エッジ画像に対して切り出し処理を実行する。切り出し処理とは、エッジ画像に表された複数のエッジe1〜e10から、各エッジを順番に切り出す処理である。上述したように、複数のエッジe1〜e10は、複数の物品Gそれぞれに対応する。すなわち、一のエッジ画像には、複数の物品Gのそれぞれに対応するエッジe1〜e10が含まれる。切り出し部22eは、後述する第2破損判定部22fによる各物品Gの判定処理が可能なように、切り出し処理によって、エッジ画像から一の物品Gに対応するエッジを切り出す。
より具体的に、切り出し部22eは、図8に示すように、エッジ画像において所定の選択領域Rに含まれる部分を、一の物品Gに対応するエッジとして、エッジ画像から切り出す。所定の選択領域Rは、物品Gの種類に応じて予め設定された所定のサイズを有する。切り出し部22eは、エッジ画像に含まれる複数のエッジ対応画素のうち、左上端のエッジ対応画素に選択領域Rの左上端を位置決めし、エッジ画像から選択領域Rで囲われる一の物品Gに対応するエッジを切り出す。切り出し部22eによる切り出し処理によって、一の物品Gのエッジを示す切り出し画像が生成される。
(f)第2破損判定部
第2破損判定部22fは、切り出し画像に基づいて、物品Gに破損があるか否かの判定(第2判定処理)を実行する。第2判定処理では、切り出し画像に表されるエッジが閉鎖されているか否かを判定することにより、物品Gの破損の有無を判定する。
第2判定処理によって判定される破損は、上述した第1判定処理に対して、比較的小さな割れや欠けである。言い換えると、第2判定処理では、第1判定処理によって判定される割れよりも小さな割れと、第1判定処理では検出できないような小さな欠けが検出され得る。エッジが閉鎖されている状態とは、すなわち、エッジに連続性がある状態を意味する。第2破損判定部22fは、エッジの連続性の有無に基づいて、物品Gの破損の有無を判定する。
以下、第2破損判定部22fによる第2判定処理について、図9から図14を参照しながら、説明する。なお、図9から図14は、切り出し画像の一部を示す図である。すなわち、図9から図14には、一の物品Gのエッジを構成する複数のエッジ対応画素のうち、一部のエッジ対応画素が示されている。
第2破損判定部22fは、切り出し画像に含まれる複数のエッジ対応画素に基づいて、エッジの連続性の有無を判定する。エッジの連続性がある状態とは、複数のエッジ対応画素が連続している状態を意味する。具体的に、第2破損判定部22fは、複数のエッジ対応画素に移動点A101の起点を設定し、移動点A101が複数のエッジ対応画素に沿って起点から移動し、複数のエッジ対応画素を一巡して起点に戻るか否かで、エッジの連続性を判定する。ここで、移動点A101は、図9および図10で示すように、複数のエッジ対応画素に沿って、隣接するエッジ対応画素に移動する点である。
移動点A101は、複数のエッジ対応画素に沿って反時計回りに移動する(図11および図12参照)。第2破損判定部22fは、起点から移動する移動点A101が複数のエッジ対応画素を一巡して起点に戻る場合に、エッジが閉鎖されていると判定する。一方、第2破損判定部22fは、移動点A101が起点に戻らない場合には、エッジが閉鎖されていないと判定する。すなわち、第2破損判定部22fは、エッジ対応画素は連続性を有さず、エッジが部分的に開放されていると判定する。
例えば、第2破損判定部22fは、複数のエッジ対応画素のうち左上端のエッジ対応画素を起点(第1番目の対象画素)として指定する(図9参照)。また、第2破損判定部22fは、第1番目の対象画素の周囲画素にエッジ対応画素が含まれるかどうかを探す(図10参照)。ここで、周囲画素とは、対象画素の周囲の画素である。より詳細に、周囲画素とは、対象画素を取り囲む画素のうち、対象画素に隣接する画素である。第2破損判定部22fは、反時計回りに移動点A101を移動させて、周囲画素に別のエッジ対応画素が存在するかどうかを判定する。周囲画素に別のエッジ対応画素が存在する場合には、移動点A101をさらに移動させて、当該別のエッジ対応画素の周囲画素に、さらに別のエッジ対応画素が存在するかどうかを判定する(図11参照)。すなわち、第2破損判定部22fは、起点となる画素(第1番目の対象画素)を基準に、移動点A101を反時計回りで移動させ、周囲画素にエッジ対応画素が含まれるかどうかを順次判定していく。
その結果、図11に示すように、最終的に、途切れることなくエッジ対応画素が存在し、起点(第1番目の対象画素)までエッジ対応画素が連続する場合、第2破損判定部22fは、エッジが閉鎖されているものと判定する。エッジが閉鎖されていると判定されたとき、第2破損判定部22fは、物品Gに破損が無いと判定する。すなわち、第2破損判定部22fは、物品Gが良品(正常物品)であると判定する。一方、図12に示すように、エッジ対応画素が起点まで続かない場合、第2破損判定部22fは、エッジが閉鎖されていない(すなわち、開放されている)ものと判定する(図7の部分P参照)。エッジが開放されていると判定されたとき、第2破損判定部22fは、物品Gに破損があると判定する。すなわち、第2破損判定部22fは、物品Gが不良(破損物品)であると判定する。
詳細に、第2破損判定部22fは、切り出し画像を構成する複数の白い画素(エッジ対応画素)のうち左上の画素を、移動点A101の起点として設定する。すなわち、複数のエッジ対応画素の左上の画素が第1番目の対象画素に設定され、その座標が記憶される。例えば、縦横の2次元に配列された画素について、図9に示すように座標が設定されている場合、移動点A101の起点となる画素(第1の対象画素)は「e24」の座標にある画素となる。
次に、起点に隣接する画素(周囲画素)を反時計回りに調べ(図11の矢印A1参照)、白い画素の有無を判定する。ここで、「e24」の座標にある起点を基準に反時計回りで移動点A101を移動させたとき、図10に示されるように、座標「e24」の周囲画素(「f23」の座標)に、白い画素(エッジ対応画素)がある。したがって、第2破損判定部22fは、座標「f23」のエッジ対応画素を、第2番目の対象画素として設定し、その座標を記憶する。
その次に、第2番目の対象画素である「f23」の座標にある画素を基準に移動点A101を反時計回りに移動させ(図11の矢印A2参照)、「f23」の画素に隣接する画素(周囲画素)に同じく白い画素があるか否かを判定する。ここでは、座標「f23」の周囲(「g22」の座標)に、白い画素(エッジ対応画素)がある。したがって、第2破損判定部22fは、座標「g22」のエッジ対応画素を、第3番目の対象画素として設定し、その座標を記憶する。
このように、第2破損判定部22fは、対象画素の周囲画素の中にエッジ対応画素があるか否かの判定を繰り返す。物品Gに破損がない場合には、移動点A101が最終的に第1番目の対象画素(起点)に戻る(図11の矢印An−1参照)。例えば、図11に示すように、対象画素が、「e24」、「f23」、「g22」、「h22」、「i21」、「j21」、「k21」、「l21」、・・・「e29」、「e28」、「e27」、「e26」、「e25」のそれぞれの座標へと連続し、最終的に、「e24」の座標に戻る。
一方、物品Gに破損がある場合には、図12に示すように、移動点A101が起点の座標「e24」に戻らず、途中で移動できなくなる。すなわち、エッジ対応画素の連続性が途絶える。図12では、対象画素が、「l44」、「k44」、「j44」、「i44」、「h43」、「g43」、「f42」、「e41」、「e40」、「e39」、「e38」、「e37」のそれぞれの座標へと続くが、「e37」の座標の画素の周囲画素は、エッジ対応画素がない。その結果、移動点A101が、第1番目の対象画素(起点)に戻らない。
第2破損判定部22fは、エッジ画像に含まれる全てのエッジe1〜e10についての連続性の有無をそれぞれ判定する。すなわち、第2破損判定部22fは、エッジ画像に表れる全ての物品Gについて破損の有無を判定する。第2破損判定部22fは、一のエッジ画像に含まれるいずれかのエッジe1〜e10に連続性がなかった場合には、当該エッジ画像に係る物品Gの全体を破損物品(不良品)と判定する。一方、第2破損判定部22fは、エッジ画像に含まれる全てのエッジe1〜e10に連続性があった場合には、当該エッジ画像に係る物品Gの全体を正常物品(良品)であると判定する。
第2破損判定部22fによる判定結果は、判定に用いたエッジ画像と関連付けて、上述の検査結果記憶領域21cに記憶される。
(g)良否判定部
良否判定部22gは、検査結果記憶領域21cに記憶されている検査結果に基づき、物品Gの良/不良を判定する。具体的に、良否判定部22gは、第1破損判定部22cによる検査結果および第2破損判定部22fの両方の検査結果で良品と判定されている物品Gを良品と判定する。一方、良否判定部22gは、第1破損判定部22cによる検査結果および第2破損判定部22fのいずれか一方の検査結果で不良品と判定されている物品Gは不良品と判定する。
良否判定部22gによって物品Gの良/不良が判定されると、その結果が対応する物品Gのデータに関連付けて検査結果記憶領域21cに記憶される。また、良否判定部22gによって判定された結果は、モニタ30に出力される。
(3)特徴
(3−1)
上記実施形態に係る破損検査装置10は、X線照射器(照射源)13と、X線ラインセンサ(検知部)14と、X線画像生成部(検査画像生成部)22aとを備え、物品Gの破損の有無を検査する。X線照射器13は、物品Gに対してX線(放射光)を照射する。X線ラインセンサ14は、物品Gを透過したX線(放射光)を検知する。X線画像生成部22aは、X線ラインセンサ14によって検知された透過X線に基づいて検査画像を生成する。ここで、破損検査装置10は、エッジ検出部22dと第2破損判定部(判定部)22fとを備えることを特徴とする。エッジ検出部22dは、X線画像(検査画像)に基づいて物品Gのエッジを検出する。第2破損判定部22fは、エッジが閉鎖されている場合には物品Gを正常と判定し、エッジが閉鎖されていない場合には物品Gを不良と判定する。
従来の破損検査装置では、物品について得られたX線画像を二値化処理し、二値化画像が生成されていた。また、従来の破損検査装置では、二値化画像に基づいて物品Gの面積または物品の周長を求め、求めた面積または周長と基準値(基準面積または基準周長)とを比較することにより、物品の破損の有無の判定を行っていた。このような破損検査装置で、物品Gの破損検査を行った場合、検査対象となる物品の種類によっては十分に正確な検査結果を得ることができない場合があった。例えば、検査対象の物品が、ガラス製の容器や金属製の容器に詰められた液体または流動性の場合が想定される。ガラス製の容器は、例えば、ガラス瓶であり、金属製の容器は、例えば、缶である。瓶や缶は、密閉状態で液体または流動性のある物体を包含する。このような物品は、容器の先端に僅かな割れや欠けがあったとしても、割れや欠けの部分がX線画像上で明確に表れない。すなわち、破損容器に詰められた物品(破損物品)に対して得られるX線画像と、正常な容器に詰められた物品(正常物品)に対して得られるX線画像とでは、当該割れや欠け部分に対応するX線画像の部分の明るさに大きな差異がない。そのため、破損物品のX線画像と正常物品のX線画像とでは、X線画像に表れる物品の面積または周長に殆ど差が無くなる。具体的に、面積で判定すると、破損部分による面積の差は、誤差範囲にすぎず、周長では、破損部分が埋められた状態で検知され、差異が表れない。その結果、従来の破損検査装置では、このような破損物品と正常物品とを識別することが困難であった。
しかし、上記実施形態に係る破損検査装置10では、X線画像に基づいて物品Gのエッジが検出される。また、破損検査装置10は、エッジが閉鎖されているか否かに基づいて物品の破損の有無を判定する。破損検査装置10は、エッジが閉鎖されている場合には、物品を正常物品(正常)として判定し、エッジが閉鎖されていない場合には、破損物品(不良)として判定する。これにより、瓶や缶等の僅かな破損についても検出することができる。その結果、瓶や缶等に詰められた物品Gの破損検査の精度を向上させることができる。
(3−2)
また、上記実施形態に係る破損検査装置10では、エッジ検出部22dは、検出した物品Gのエッジe1〜e10を示すエッジ画像を生成する。第2破損判定部(判定部)22fは、エッジ画像を構成する複数のエッジ対応画素に、複数のエッジ対応画素に沿って移動する移動点A101の起点を設定する。第2破損判定部22fは、移動点A101が複数のエッジ対応画素を一巡し起点に戻る場合に、エッジが閉鎖されていると判定する。移動点A101が起点から移動して複数のエッジ対応画素を一巡し起点に戻る場合、エッジe1〜e10は連続性を有する。エッジe1〜e10が連続性を有するとは、エッジが途中で途切れておらず、物品Gの輪郭を表す画素(複数のエッジ対応画素)が、連続して隣接配置されていることを意味する。言い換えると、物品Gの輪郭(すなわち、物品Gを詰めた瓶や缶の表面)に破損が無いことを意味する。
二値化画像に表された物品Gの面積や周長は、正常物品および破損物品のいずれの場合であっても大きな差がない。したがって、物品Gの破損の有無を正確に判定することができない。しかし、上記実施形態に係る破損検査装置10は、エッジの連続性の有無に基づき、物品Gの破損を判定することができる。そのため、複雑な構成を用いることなく、確実に破損の有無を判定することが可能になる。
(3−3)
また、上記実施形態に係る破損検査装置10は、制御装置20において、切り出し部22eを備える。切り出し部22eは、切り出し処理を実行する。切り出し処理は、複数の物品Gに対応する複数のエッジe1〜e10を示すエッジ画像から、一の物品Gに対応する一のエッジを切り出す。また、第2破損判定部22fは、切り出し処理によって得られた一の物品Gに対応する一のエッジに基づいて、物品Gが正常か否かを判定する。
例えば、アンプルのような物品Gは、取引時、複数個が一つの箱(カートン)Bに詰められた状態で扱われる(図6参照)。このように、一つの箱Bに詰められた複数の物品Gについて破損検査を行う場合、複数の物品Gの全てに破損が無いことが要求される。すなわち、箱詰めされた複数の物品Gのいずれか一つに破損があった場合であっても、不良物品(破損物品)として扱われることが好ましい。
上記実施形態に係る破損検査装置10では、一つの箱Bに詰められた複数の物品Gが上流から搬送されてきた場合に、複数の物品Gのそれぞれについて破損の有無を検査する。具体的には、第2破損判定部22fによる第2判定処理の前に、複数の物品Gのそれぞれに対応する複数のエッジe1〜e10から、一の物品Gに対応するエッジを順番に切り出していく。第2破損判定部22fは、切り出し部22eによって切り出された切り出し画像に基づいて、物品Gの破損の有無を判定する。これにより、複数物品Gのそれぞれについて、精度よく破損検査を行うことができる。
(4)変形例
(4−1)変形例A
上記実施形態では、物品Gがアンプルであり、破損検査装置10には、複数の物品Gが詰められたカートンBが送られた。すなわち、破損検査装置10は、カートンBに詰められた複数の物品Gについて、破損の有無を判定する。
ここで、破損検査装置10の検査対象となる物品Gは、カートンBに詰められていなくてもよい。また、破損検査装置10は、物品Gが一つずつ送られる構成であってもよい。
この場合、第2破損判定部22fは、切り出し処理を実行せずに、エッジの連続性を判定できる。
(4−2)変形例B
上記実施形態に係る破損検査装置10は、物品Gの破損の有無を検査するが、破損検査装置10は、物品Gの破損検査に加えて、異物混入検査を行ってもよい。すなわち、破損検査装置10は、物品GのX線画像を画像処理し、複数の判断方式によって異物の混入の有無を判断してもよい。
例えば、判断方式には、トレース検出方式、二値化検出方式、マスク二値化検出方式などがある。トレース検出方式及び二値化検出方式は、画像のマスクされていない領域に対して判断を行う。一方、マスク二値化方式は、画像のマスクされている領域に対して判断を行う。マスクは、物品Gの容器部分などに対して設定される。トレース検出方式は、被検出物の大まかな厚さに沿って基準レベル(閾値)を設定し、像がそれよりも暗くなったときに物品G内に異物が混入していると判断する方式である。この方式では、比較的小さな異物を検出することができる。二値化検出方式およびマスク二値化方式は、一定の明るさに基準レベルを設定し、像がそれよりも暗くなったときに物品G内に異物が混入していると判断する方式である。この二値化検出方式は、比較的大きい異物を検出するために設定されている。
破損検査装置10は、これらの判断方式で物品Gに対する異物混入の有無を判断した結果、1つでも異物混入があると判断するものがあれば、その物品Gは不良品と判断してもよい。なお、各判断方式における基準レベルやマスク領域については、モニタ30のタッチパネル機能を使った使用者からの入力によって、設定および変更が可能であるものとする。
(4−3)変形例C
上記実施形態に係る破損検査装置10では、第2破損判定部22fが、対象画素の周囲にある周囲画素に、エッジ対応画素があるかどうかで判定する。このとき、必ずしも周囲画素は、対象画素に隣接する画素でなくてもよい。例えば、周囲画素は、対象画素の近傍の座標の画素であれば、対象画素に隣接する画素でなくてもよい。例えば、一のエッジ対応画素と他のエッジ対応画素との間に黒色の画素があったとしても、黒色の画素の数に基づいて、連続性があるものと判定されるように構成してもよい。
(4−4)変形例D
上記実施形態に係る破損検査装置10では、破損検査装置10としてX線検査装置を例に挙げて説明した。X線検査装置では、物品GにX線を照射し、物品Gを透過したX線に基づいて検査画像としてのX線画像を生成する。上記実施形態では、X線画像に基づいて生成されたエッジ画像を生成し、エッジ画像に基づいてエッジの連続性を判定する。破損検査装置10は、エッジの連続性の判定の結果に基づいて、物品Gの破損の有無を判定する。
しかし、破損検査装置10は、X線検査装置に限られるものではない。例えば、破損検査装置10は、物品Gに放射光を照射する照射源13は、X線照射器13でなくてもよい。例えば、物品GにX線を照射する代わりに、他の電磁波(例えば、近赤外線、可視光等)を照射する構成であってもよい。
また、上記実施形態に係る破損検査装置10では、物品Gを透過したX線ラインセンサ14としての検知部で検知する。さらに、X線ラインセンサ14によって検出された透過X線に基づいて検査画像(X線画像)が生成され、検査画像に基づいてエッジ画像が生成された。ここで、X線ラインセンサ14によって透過X線が検出される構成に代えて、物品Gの反射光に基づいてエッジ画像が生成される構成であってもよい。
すなわち、破損検査装置10は、物品Gのエッジを検出できる構成を有していれば、どのような構成であってもよい。
(4−5)変形例E
上記実施形態に係る破損検査装置10は、制御装置20において第1破損判定部22cおよび第2破損判定部22fの両方の機能を有する構成とした。ここで、破損検査装置10は、制御装置20において第2破損判定部22fのみの機能を有する構成としてもよい。
(4−6)変形例F
上記実施形態に係る破損検査装置10では、第2破損判定部22fは、指定した対象画素の周囲画素にエッジ対応画素が含まれるかどうかを判定することにより、エッジの連続性の有無を判定する。
ここで、エッジの連続性を判定する際に設定した起点(第1番目の対象画素)は、非エッジ対応画素に隣接するエッジ対応画素とする。また、起点の次に移動点A101を移動させる場所(画素)は、起点の周囲画素のうち、非エッジ対応画素に隣接するエッジ対応画素とする。
具体的に、起点(第1番目の対象画素)は、エッジを構成する複数のエッジ対応画素のうち、非エッジ対応画素(黒い画素)に隣接するエッジ対応画素(白い画素)である。上記実施形態では、複数のエッジ対応画素のうち左上端のエッジ対応画素(「e24」の座標の画素)を選択することにより、隣に黒い画素(「e23」の座標の画素)を有する白い画素を起点に指定している。起点は、左上端のエッジ対応画素でなくとも、隣に非エッジ対応画素(黒い画素)を有するエッジ対応画素(白い画素)であればよい。
移動点A101を移動させる画素もまた、非エッジ対応画素(黒い画素)に隣接するエッジ対応画素(白い画素)である。上記実施形態でも、起点となった座標「e24」の周囲画素から、隣に非エッジ対応画素(黒い画素)を有する対応画素(白い画素)(「f23」の座標の画素)を判定し、判定された画素に移動点A101を移動させている。
移動点A101をエッジ対応画素に沿って移動させる際に、周囲にエッジ対応画素のみが隣接するエッジ対応画素に移動点A101を移動させてしまうと、エッジの連続性を正確に判定することはできない。すなわち、エッジは、物品Gと物品G以外(カーボンBおよび背景)との境界部分を示すものであるが、移動点A101を、周囲にエッジ対応画素のみが隣接するエッジ対応画素に移動させてしまうと、境界部分を正確に判定していることにならない。
そこで、エッジの連続性を、周囲画素に含まれる、エッジ対応画素および非エッジ対応画素(白い画素+白い画素の隣にある黒い画素)からなる一組の画素の連続性に基づいて判定する。これにより、確実にエッジを検出することが可能になり、検査の精度を向上させることができる。
(4−7)変形例G
上記実施形態に係るエッジ検出部22dは、上記実施形態で説明した処理に代えて、次のような処理を行うことによりエッジ画像(処理後エッジ画像)を生成してもよい。
まず、エッジ検出部22dは、上記実施形態と同様、X線画像において、明るさが鋭敏に変化している箇所(エッジ)を検出する。これにより、物品Gと物品G以外(カーボンBおよび背景)との境界部分が検出される。すなわち、エッジ検出部22dは、X線画像に基づいて物品Gの輪郭を検出する。エッジ検出部22dは、検出結果に基づき、処理前エッジ画像を生成する。
その後、エッジ検出部22dは、処理前エッジ画像に対して二値化処理を行い、二値化エッジ画像を生成する。すなわち、X線画像を構成する複数のエッジ対応画素を、例えば、白に対応する諧調(255)で表し、X線画像を構成する複数の非エッジ対応画素を、例えば、黒に対応する諧調(0)で表す。
その後、エッジ検出部22dは、二値化エッジ画像に基づき、エッジのスムージング処理を行い、スムージング画像を生成する。すなわち、エッジ検出部22dは、スムージング処理によって、二値化エッジ画像に表れるエッジ対応画素の極端な凹凸部分を解消し、エッジを滑らかにする。
エッジ検出部22dは、スムージング画像を生成すると、その後、スムージング画像に表れるエッジ対応画素について、外側から内側に向けて1画素ずつ削り、1画素削除画像を生成する。
その後、エッジ検出部22dは、さらに、スムージング画像と1画素削除画像との差分を取り、当該差分に基づき、処理後エッジ画像を生成する。すなわち、エッジ検出部22dは、処理後エッジ画像において、物品Gのエッジ(輪郭)を、1画素の連続によって表す。
これにより、切り出し部22eは、処理後エッジ画像に対して切り出し処理を実行し、第2破損判定部22fは、処理後エッジ画像から切り出された各物品Gに対応する画像に基づいて、物品Gに破損があるか否かの判定を実行することになる。
上記実施形態においてエッジ検出部22dによって生成されたエッジ画像では、物品Gのエッジ(輪郭)が、1画素の連続ではなく、複数画素の連続によって表される。図9を用いて説明すると、縦方向に延びる部分(例えば、i行〜l行)については、エッジの各点が、横方向に並ぶ複数のエッジ対応画素で表される。具体的に、i行およびj行は、横方向に3つのエッジ対応画素、k行およびl行は、横方向に2つのエッジ対応画素が連続する。また、縦方向に延びる部分(例えば、26列〜29列)については、エッジの各点が、縦方向に並ぶ複数のエッジ対応画素で表される。具体的に、26列〜29列は、いずれも縦方向に2つのエッジ対応画素が並ぶ。このように、複数画素によってエッジの各点を表した場合、エッジの一点を表す複数のエッジ対応画素に沿って移動点A101が移動可能になり、実際にはエッジが連続していない場合にも、誤ってエッジに連続性があると判定されてしまう可能性がある。
そこで、変形例Gにおいて示すように、エッジ検出部22dによって、スムージング画像と1画素削除画像との差分を取り、当該差分に基づき、処理後エッジ画像を生成する。また、第2破損判定部22fは、処理後エッジ画像から切り出された各物品Gに対応する画像に基づいて、物品Gに破損があるか否かの判定を実行する。
これにより、物品Gのエッジの各点は一画素によって表され、また、物品Gのエッジの全体は、一画素の連続によって表される。第2破損判定部22fは、起点(あるいは、対象画素)の周辺にエッジ対応画素があるか否かを判定する。物品Gの輪郭は、一画素の連続によって表されるため、一画素の連続性が途切れたときに、連続性がないと判定される。その結果、エッジの連続性についての誤った判定を回避することができ、判定の精度を向上させることができる。
10 X線検査装置(破損検査装置)
11 シールドボックス
12 コンベア
13 X線照射器(照射源)
14 X線ラインセンサ(検知部)
20 制御装置
21 記憶部
21a 基準値記憶領域
21b 画像記憶領域
21c 検査結果記憶領域
22 制御部
22a X線画像生成部(検査画像生成部)
22b 二値化画像生成部
22c 第1破損判定部
22d エッジ検出部
22e 切り出し部
22f 第2破損判定部(判定部)
22g 良否判定部
30 モニタ
100 生産ライン
特開2005−31069号公報

Claims (3)

  1. 物品に対して放射光を照射する照射源と、
    前記放射光を検知する検知部と、
    前記検知部によって検知された前記放射光に基づいて検査画像を生成する検査画像生成部と、
    を備え、物品の破損の有無を検査する破損検査装置において、
    前記検査画像に基づいて前記物品のエッジを検出するエッジ検出部と、
    前記エッジが閉鎖されている場合には前記物品を正常と判定し、前記エッジが閉鎖されていない場合には前記物品を不良と判定する判定部と、
    を備えることを特徴とする、
    破損検査装置。
  2. 前記エッジ検出部は、検出した前記物品のエッジを示すエッジ画像を生成し、
    前記判定部は、
    前記エッジ画像を構成する複数のエッジ対応画素に、前記複数のエッジ対応画素に沿って移動する移動点の起点を設定し、前記移動点が前記複数のエッジ対応画素を一巡し前記起点に戻る場合に、前記エッジが閉鎖されていると判定する、
    請求項1に記載の破損検査装置。
  3. 前記複数の前記物品に対応する複数の前記エッジを示す前記エッジ画像から、一の物品に対応する一のエッジを切り出す、切り出し処理を実行する切り出し部をさらに備え、
    前記判定部は、
    前記切り出し処理によって得られた前記一の物品に対応する前記一のエッジに基づいて、前記物品が正常か否かを判定する、
    請求項2に記載の破損検査装置。
JP2013192821A 2013-09-18 2013-09-18 破損検査装置 Expired - Fee Related JP6144584B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013192821A JP6144584B2 (ja) 2013-09-18 2013-09-18 破損検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013192821A JP6144584B2 (ja) 2013-09-18 2013-09-18 破損検査装置

Publications (2)

Publication Number Publication Date
JP2015059795A JP2015059795A (ja) 2015-03-30
JP6144584B2 true JP6144584B2 (ja) 2017-06-07

Family

ID=52817447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013192821A Expired - Fee Related JP6144584B2 (ja) 2013-09-18 2013-09-18 破損検査装置

Country Status (1)

Country Link
JP (1) JP6144584B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453472B2 (ja) 2021-04-23 2024-03-19 ヤマハ発動機株式会社 部品把持装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4585907B2 (ja) * 2005-04-28 2010-11-24 株式会社イシダ X線検査装置
JP5466560B2 (ja) * 2010-03-30 2014-04-09 アンリツ産機システム株式会社 X線検査装置およびその動作方法
JP5568456B2 (ja) * 2010-12-06 2014-08-06 株式会社日立ハイテクノロジーズ 荷電粒子線装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453472B2 (ja) 2021-04-23 2024-03-19 ヤマハ発動機株式会社 部品把持装置

Also Published As

Publication number Publication date
JP2015059795A (ja) 2015-03-30

Similar Documents

Publication Publication Date Title
CN111630519B (zh) 检查装置
AU2006201717B2 (en) X-ray inspection apparatus
KR102387529B1 (ko) 검사 장치
KR20170127565A (ko) 검사 장치
JP5864404B2 (ja) X線検査装置
JP2005003480A (ja) X線検査装置
JP6144584B2 (ja) 破損検査装置
JP6068060B2 (ja) X線検査装置
JP2005031069A (ja) X線検査装置
JP2015137858A (ja) 検査装置
EP3805742A1 (en) Inspection device
JP2007322344A (ja) X線検査装置
JP2008175691A (ja) X線検査装置および検査方法
JP4291123B2 (ja) 放射線異物検査装置および放射線異物検査方法
JP4902170B2 (ja) 検査システム
JP6861990B2 (ja) X線検査装置
WO2017159856A1 (ja) X線検査装置
JP6306352B2 (ja) X線検査装置
JP2016170110A (ja) X線検査装置
US20220365003A1 (en) Inspection device
JP5947674B2 (ja) X線検査装置
JP2009080029A (ja) X線検査装置
JP2018048846A (ja) 光検査装置及び光検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160901

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170511

R150 Certificate of patent or registration of utility model

Ref document number: 6144584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees