JP3962525B2 - Image generation device and sorting classification determination device used for sorting agricultural products - Google Patents
Image generation device and sorting classification determination device used for sorting agricultural products Download PDFInfo
- Publication number
- JP3962525B2 JP3962525B2 JP2000056104A JP2000056104A JP3962525B2 JP 3962525 B2 JP3962525 B2 JP 3962525B2 JP 2000056104 A JP2000056104 A JP 2000056104A JP 2000056104 A JP2000056104 A JP 2000056104A JP 3962525 B2 JP3962525 B2 JP 3962525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination
- agricultural product
- appearance
- sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Sorting Of Articles (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、みかん、リンゴ、トマト、西瓜、メロン等の農産物を仕分けするための選果場等において用いられる装置に関し、詳しくは、仕分情報の一つとして利用される農産物の外観を計測する農産物の仕分けに用いる画像生成装置、及びこれを用いた仕分区分判定装置に関するものである。
【0002】
【従来の技術】
一般に、野菜や果物などの農産物を選果場等において個々の品質に応じて仕分けることが行われ、その仕分けの適正さが重要視されている。これは、需要者や取引市場における品質に係わる評価が農産物生産者への対価に直接結びつくからである。
【0003】
そして、農産物の仕分けのための要素としては、一般的には階級要素(重量や大きさ)と、等級要素(表面の疵,色等の外観的なものと、糖度,熟度等の内部品質的なもの)とされ、種々の農産物における特徴的な性質などが考慮されて、階級や等級の要素をカメラやその他の機器により計測してMPU(マイクロ プロセッサ ユニット)等を用いて仕分区分が判定され、あるいは一部は作業者の熟練性に依存して判定されているが、これらのうちの農産物の外観に係わる要素は、技術が発達して客観性の面で安定し、生産性,能率性の面で優れている機器計測が主に行われている。
【0004】
このような外観計測のための機器は、例えば、複数のカメラを農産物を搬送するコンベア等の周囲に配置したり、ミラーとカメラの組合わせで構成され、平面、及び搬送路の側方、斜め前方、斜め後方などから立体的外観を撮像することが行われる。
【0005】
上記のように撮像された農産物の外観情報、例えば大きさの階級要素や色や疵等の等級要素の情報は、所定の判定プログラム等に従って農産物の仕分区分を判定することに用いられる。
【0006】
ところで、上記撮像画像は、対象が農産物という例えば球塊状のものであるために、照明や撮像方式を工夫しても画像中に不確かな部分の情報も含まれることは避けられないのが普通である。具体的には、輪郭部のハレーション、ボケ、照明不足による画像欠け等である。そこで特開平4−307357号公報により、農産物の撮像画像のうち輪郭から所定幅の範囲(周辺部分)を判定に用いる画像情報の中から除去するという画像処理についての提案がされている。
【0007】
上記提案のようにすることで、撮像画像のうちの不確かな部分に含まれる異常情報によって農産物が不適切に判定・評価される不具合が防がれる。
【0008】
【発明が解決しようとする課題】
上記のような撮像画像の中に含まれる不確かな部分を除去する画像処理においては、必要な範囲でできるだけ小さくする(確かな部分の範囲を大きくする)ことが、農産物の仕分区分をできるだけ正確に評価分類するために望ましい。
【0009】
このような観点から、上記撮像画像のうちの輪郭から所定範囲の幅を不確かな部分として除去する画像処理について更に検討したところ、ハレーション、ボケ、画像欠け等が起こり易い部分というのは、農産物の表面を仮に滑らかな曲面であると仮定したときに、農産物表面上のある任意の点に立てた法線(曲面に垂直な線)と、この点から撮像手段の受光部を結んだ線との間でなす角度が所定の角度以上になることを目安にしてその点の存在する領域が該当すると本発明者は考えた。つまり、斜視の角度が大きい領域の画像は、本来の農産物表面に由来する情報以外のものの影響が大きいと思われるからである。
【0010】
この考えによれば、除去すべき幅の大きさは撮像方向と農産物の球塊状等の形状の関係によって一定ではなく、例えば、農産物がラクビーボール型の形状をなす場合の平面画像と側面画像とでは除去すべき幅の大きさは同じでないし、また同じ側面画像であっても側面域と上面域とでは同幅は必ずしも同じでない。また、温州ミカンのような比較的偏平な農産物と上記ラクビーボール型の形状の農産物とでも、除去すべき幅の大きさは同じでない。
【0011】
また以上のこととは別に、近時において農産物の仕分に用いられる場合が多いフリートレイと呼ばれる受皿を使用した場合には、農産物は通常この受皿の中央に設けた窪み部(凹部)にある程度沈み込んだ状態で搬送されるので、この受皿に沈み込んだ部分は農産物の画像としては撮像されない。にも拘わらず、この場合も撮像された画像の輪郭から一定幅の範囲を除去する画像処理を行えば、本来不確かな部分には該当しない領域をも除去してしまう可能性があり、この領域に等級判定に影響する疵等が存在していればこれを無視した判定を行う結果になって、機器計測による判定・評価の信頼性を損なうという問題がある。
【0012】
本発明はこの様な従来の問題点を解消し、判定・評価の信頼性を向上させることができる農産物の画像生成装置及びこれを用いた仕分区分判定装置を提供することを目的としてなされたものである。
【0013】
【課題を解決するための手段】
上記目的は、本願の特許請求の範囲の各請求項に記載した下記(1)〜(8)の発明により達成される。
【0014】
(1)の農産物の仕分け判定に用いる画像生成装置の発明は、やや窪みをもった農産物載置面に載って搬送される農産物の少なくとも側面を撮像する撮像手段と、得られた農産物の側面撮像画像からその輪郭に沿って所定の幅内の撮像画像情報を除去して農産物の等級要素等の外観に係わる判定をするための外観判定画像の領域を決める画像処理手段とを備え、この画像処理手段は、画像輪郭に沿って区画を複数に分割し、少なくとも農産物の側面撮像画像の下面域の除去幅をゼロとするか、あるいは下面域の除去幅を上面域の除去幅よりも小幅とすることを特徴とする。
【0015】
上記構成において「やや窪みをもった農産物載置面」というのは、コンベアに載せた農産物が移動しないように安定載置する受部(凹部)をいい、コンベアに固定的に設けられたバケット式あるいはこれに類似の形式のものや、コンベアとは機械的に連結されていない受皿に窪み(凹部)を設けたいわゆるフリートレイと称されるものなどの農産物載置面が例示される。
【0016】
「撮像手段」はCCD(チャージ カップルド デバイス)カメラや、その他の撮像素子、あるいはこれとミラーを組合わせにより構成され、画像処理を画素毎に処理する好ましい態様のためには、X,Yマトリックス状の配列の各画素信号として撮像する手段が用いられる。照明ランプ等もこの撮像手段の一部を構成する。
【0017】
「画像処理手段」は、通常はMPU等のコンピュータ技術を用いて構成され、画像処理は予め定めたプログラムにより演算制御される。
【0018】
なお、上記構成は、農産物の外観に基づく等級判定をするのに適当な領域である外観判定画像のうちの農産物側面の画像を生成するためのものを特定しているが、外観に基づく等級判定には平面画像を併せて用いるのが普通であるから、この平面画像を撮像する手段、平面撮像画像からその画像輪郭に沿って所定幅の不確かな情報が含まれる可能性のある領域を除去する画像処理手段を併有することを除外するものではなく、また外観画像の生成とは別に、農産物の内部品質を計測する手段やその他の階級要素を計測する手段を併有することを除外するものでもないことは言うまでもない。上記発明(1)の構成による処理は、これらの他の仕分区分を判定するための等級・階級要素を計測し、画像処理し、判定する処理を、並行してあるいは順次に行うことができるものである。
【0019】
この発明(1)によれば、農産物の種類により異なる形状に応じて、等級判定の際に、異常な情報が含まれる可能性のある領域(不確かな部分)を適切に除外して判定・評価することができるので、判定の精度が向上し、信頼性の高い農産物の仕分けが実現できる。特に側面と共に平面を撮像することにより、更には必要に応じて底面を撮像することにより、外観判定画像の領域をより適した撮像画像(側面,平面,底面)に振り分けるようにすれば、判定の信頼性をより高めることができる。
【0020】
また、一つの農産物のうちでも、異常な情報が含まれる可能性のある領域の幅(輪郭からの幅)がその形状により同じでない場合も、例えば法線と受光線の間がなす上記除去目安角度に応じて除去幅を部分的に適切に変更できるので、判定の精度が高く、信頼性の高い農産物の仕分けを実現できる。なお、画像輪郭に沿って除去幅を変更する範囲を複数の区画に分割するというのは、例えば、側面撮像画像において、上面域、側面域、底面域に分ける場合などのことをいう。
【0021】
(2)の農産物の仕分け判定に用いる画像生成装置の発明は、やや窪みをもった農産物載置面に載って搬送される農産物の少なくとも側面を撮像する撮像手段と、得られた農産物の側面撮像画像からその輪郭に沿って所定の幅内の撮像画像情報を除去して農産物の外観に係わる判定をするための外観判定画像の領域を決める画像処理手段とを備え、この画像処理手段は、画像輪郭に沿って区画を複数に分割し、除去する前記所定幅の大きさを前記分割した側面撮像画像の区画に分けて変更可能とする除去幅変更手段を有することを特徴とする。
【0022】
この発明において、画像処理に含まれる「除去幅変更手段」は、選別する農産物の種類等に応じて経験的にあるいは実験的に、除去することが適当な幅を決めるものであり、一般的には、上述したように、農産物の表面を滑らかな曲面と仮定したときに、農産物表面上の任意の点に立てた法線(曲面に垂直な線)と、この点から撮像手段の受光部を結んだ線(以下便宜的に「受光線」という)との間でなす角度が所定の角度(以下「除去目安角度」という)以上になることを目安にして、除去幅を決めることができる。なお、該除去目安角度は農産物の種類等によっても一律ではないが、一般的には40゜〜50°の範囲を目安とすることができ、一例的に言えば45°以上の範囲で経験的、あるいは繰り返しの試験によって決めることができる。
【0023】
この発明(2)によれば、除去幅を変更することで、対象とする農産物毎に適した不確かな部分を適切に選択することができる。
【0024】
(3)の発明は、上記(2)の発明において、除去幅変更手段が、少なくとも農産物の側面撮像画像の下面域の除去幅をゼロとするか、あるいは下面域の除去幅を上面域の除去幅よりも小幅とするものであることを特徴とする。
【0025】
上記において下面域の除去幅をゼロにするのは、例えば農産物を平面上に載置した場合の下面域の除去幅より受皿等の凹部に沈み込む長さが大きければ、受皿上に現れている下面域の部分は上記除去目安角度以下の除去する必要がない部分(除去するとむしろ判定精度を低下させる)となるからであり、この下面域では側面撮像画像を除去しない。また、下面域の除去幅を上面域の除去幅よりも小幅にするのは、上記農産物の凹部への沈み込み量が小さく、除去目安角度以上の面が側面撮像画像内の下面域に一定程度存在する場合である。この場合には、必要な小さい幅範囲で側面撮像画像の下面域を除去すればよいことになる。
【0026】
この発明(3)によれば、限定されるものではないが、フリートレイの中央凹部に沈み込むように載置された農産物の外観に基づく等級判定に有効な領域を広く利用できるので、精度が高く、信頼性の高い農産物の仕分けを実現できる。
【0027】
(4)の発明は、上記の各発明において、除去幅変更手段が、農産物の側面撮像画像と、該側面撮像画像を複数の方向に所定画素数ずらせたシフト画像の複数とを用い、各画素のアンド処理で外観判定画像の領域を決めるものであることを特徴とする。
【0028】
上記において「所定画素数ずらせたシフト画像」は、外観判定画像の領域を決めるためにだけ利用するものであり、例えば、側面撮像画像に対してシフト画像をその各画素の上下方向のアドレスを下方向に10画素シフトしたとすれば、上記各画素のアンド処理によって、側面撮像画像の上10画素は外観判定画像の領域から除去されることになる。ただし上記(1)又は(3)の発明においては、側面撮像画像の下面域の除去幅はゼロ又は小幅なものとされるので、外観判定画像における下10画素の除去については、除去しないかシフトする画素数は少なくされる。
【0029】
この発明(4)によれば、画像処理技術における収縮処理とこれに付加した補正処理によって、側面撮像画像から、目的とする農産物の等級判定に適した外観判定画像を生成する処理が容易に行えるという利点がある。
【0030】
(5)の発明は、上記の各発明において、除去幅変更手段が、撮像する農産物が側面から視て上下方向が短尺な略楕円形状であるときに、側面撮像画像の上面域の除去幅を、側面域の除去幅よりも大きく設定するものであることを特徴とする。
【0031】
この発明によれば上記のような形状の農産物、例えば温州みかん、トマト、柿等の農産物を仕分けする場合に、異常な情報が含まれる可能性のある領域を適切に除去(除外)することができる。
【0032】
(6)の農産物の仕分区分判定装置の発明は、外観判定画像の領域を決める上記(1)〜(5)のいずれかの発明の画像処理手段を備えた画像生成装置と、該領域内の外観判定画像を農産物の等級判定の一つとして用いる等級判定手段とを備えたことを特徴とする。
【0033】
上記における「等級判定手段」は、通常はMPUを含むコンピュータ技術を用いて構成される。具体的には、計測された画像中の輝度が予め定めた閾値との比較で低い部分の広がりが一定面積を越える場合には当該面積の部分を「疵」と判定するとか、撮像手段にバンドパスフィルタを配して所定波長の光が検出されることを通じて農産物の色を判定するとか、検出光を色ヒストグラム解析して色を判定するとか、農産物の種類に応じて求められる等級要素に合致した等級評価をする手段を用いることができる。
【0034】
この発明によれば、農産物の側面の撮像画像(通常は併せて平面の撮像画像)に基づく等級判定を外観に関して行うことができ、しかもその信頼性は、適切な範囲を必要十分に決めて行うことができるので高く確保することができる。
【0035】
(7)の農産物の仕分区分判定装置の発明は、上記(6)の発明に更に、画像処理前の撮像画像を農産物の階級判定の一つとして用いる階級判定手段を備えたことを特徴とする。
【0036】
この発明によれば、上記(6)の発明に加えて、外観撮像画像を農産物の大きさ(階級要素)の判定に利用できるという利点がある。
【0037】
(8)の発明は、上記(6)又は(7)の発明の等級判定手段が、少なくとも農産物の色及び/又は疵により等級を判定するものであることを特徴とする。
【0038】
この発明によれば、農産物の側面の撮像画像に基づく等級判定を、外観の中でも重要な色及び/又は疵に関して信頼性高く行うことができる。
【0039】
【発明の実施の形態】
実施形態1
図1〜図9に示された本例において、図1は農産物選別装置1の構成概要を示し、101は農産物Pを選別のために搬送する搬送コンベアを示している。そしてその搬送上流側には、農産物の外観を計測する計測ステージが配置され、搬送下流側には各仕分区分別の分岐コンベア102,102,・・・・が分岐接続された仕分ステージが配置されている。なお、本例においては、説明の便宜上、計測は外観撮像のための装置のみを図示しているが、他の内部品質等を計測する装置を併設することもできる。また本例における搬送コンベア101は、図4に示すように、搬送横方向に沿って中央部が窪んだ搬送面を形成するように構成されている。
【0040】
上記搬送コンベア1の上流側に配置される計測ステージにおいては、画像生成装置2の計測部を構成する照明ランプ201と撮像カメラ(例えばRGBカメラ)202とが設けられ、これらの詳細は図2,図3に示される。3はマイクロコンピュータからなる演算制御装置であり、本例では、上記撮像カメラ202で撮像した農産物Pの側面撮像画像と、平面撮像画像とから、側面と平面の各外観判定画像の領域を決める画像処理部301、及びこの画像処理手段301による撮像画像の輪郭に沿った除去幅を変更する除去幅変更部302とが設けられて、これらが上記カメラ202等と共に仕分区分の判定に用いる画像生成装置2を構成する。なお、図では画像処理手段301及び除去幅変更手段302をブロックダイヤグラムで示しているが、実際にはコンピュータプログラムとして設定される。また、除去幅変更部302は、後述するシフト画像のシフト量を変更する手段として構成されるが、一品種用に特化した農産物選別装置等では省略することもできる。
【0041】
又、上記演算制御装置3には、画像処理しない外観撮像画像に基づいて農産物の大きさを判定・評価し、また画像処理後の平面の外観判定画像及び側面の外観判定画像に基づいて農産物の等級を判定・評価する判定部303が設けられていて、これらの判定結果により農産物の仕分区分が決められる。
【0042】
等級の判定・評価は、例えば明度の低い部分が所定の大きさ以上であるときにこれを疵と判定したり、色解析により農産物の色を判定したりする場合を挙げることができる。
【0043】
得られた各農産物の仕分区分情報は、搬送下流側に分岐接続されている分岐コンベア102,102,・・・・に連係した排出装置の制御部4,4,・・・に送られ、判定された仕分区分に対応する分岐コンベア102に排出される。
【0044】
図2及び図3は、画像生成装置2の計測部を示しており、搬送コンベア101の搬送路の両側に縦長の斜置きミラー203が一対に配置されていて、照明ランプ201からの光が農産物Pの両側面に反射して該ミラー203による反射光を上方のカメラ202が撮像して側面撮像画像とされる。また農産物の上面で反射した反射光は同様に上方のカメラで撮像して平面撮像画像とされる。
【0045】
このような撮像において、側面撮像画像については、図4に示すように、搬送コンベア101の窪みに沈み込んだ部分(斜線部)は撮像できない。かかる場合に撮像画像の輪郭に沿って図11に示したように一定幅で除去(除去領域B´)を行うと、本来は色や疵等を検出することが適当な領域が、その撮像画像の下面域の除去部分に含まれてしまうことになる。
【0046】
そこで本例においては、側面の外観判定画像の領域Aを決める際に、図5に示したように、左右方向及び下方向に所定画素数だけ画像をずらせたシフト画像S1,S2,S3(例えば側方に9mm(S1,S2)、シフト幅を下方に11mm(S3)ずらせたシフト画像)を作成し、各画素毎に本来の撮像画像と三つのシフト画像(S1〜S3)のアンド信号出力がある領域を、側面の外観判定画像の領域Aとした。したがって撮像画像を上方向にずらせたシフト画像を使用していないので、撮像画像の輪郭に沿った一定幅の除去(除去領域B)は該画像の下面域では行われず、図6に示したように、撮像画像の側面域及び上面域で輪郭から一定幅の除去が行われた側面の外観判定画像の領域Aが決定されることになる。なお、平面の外観判定画像aについては、側面撮像画像のようなコンベアによる撮像域のカットという問題がないので、図8に示すように撮像画像の輪郭から一定幅(例えば7mm)の部分を除去した除去領域bを除いた内側を該平面の外観判定画像aとした。
【0047】
図7は以上の操作によって得られる側面の撮像画像、外観判定画像の領域A及び農産物の外観に存在する疵、ハレーション等による誤検出部などの関係を図解的に示したものであり、この図中の下面域に近い位置に存在する疵は、本例によれば側面の外観判定画像の領域Aに含まれるので確実に検出できるが、図11のように下面域を一定幅で除去するようにして生成された側面の外観判定画像の領域A´の場合には、同疵が除去領域B´内に含まれることになる虞れがあるので、疵があるにも拘わらず高い等級の仕分区分に判定されて判定装置の信頼性を損なう結果となってしまう。
【0048】
図9は上記の演算制御装置3で行われる信号処理の一例を図示したものであり、カメラ202で撮像された各画素のRGB輝度信号(ディジタル信号)からなる撮像画像情報を画像入力し、これを一つの処理としては二値化して、所定の閾値との比較により農産物の外形形状を演算算出し、その大きさを求めて階級判定を行う。また、変形の度合を求めて、等級判定の一つの情報とする。更に二値化した信号は、上述したシフト画像を使用した方法により、撮像画像の輪郭に沿って不確かな部分を除去して、側面の外観判定画像の領域Aを生成し、また平面の外観判定画像については、平面撮像画像の輪郭から一定の幅の部分を除去して平面の外観判定画像の領域aを生成する。
【0049】
演算制御装置3における撮像画像情報を使用したもう一つの処理は、各画素信号を色変換し、例えば明度の低い部分が上記外観判定画像の領域A,a内に存在しているか否かにより傷害の有無として等級判定のもう一つの情報とする。更に色変換した情報を用いて色ヒストグラム解析により着色度を求め、これを更にもう一つの等級判定の情報とする。
【0050】
以上の三つの等級情報に基づいて農産物の等級判定を行う。
【0051】
そして、得られた階級判定の結果と等級判定の結果から仕分区分を求め、仕分出力として図1で説明した排出装置の制御部4に送られる。
【0052】
なお、以上説明した本例の構成によれば、農産物の判定は平面撮像画像と側面撮像画像のみによって行っているが、これには底面撮像画像を加味することも出来、このためには例えば、特許第2812466号公報に記載されているように、農産物がコンベアを乗り移る際にその乗り移り部の隙間の下方から撮像する方法を用いることができる。
【0053】
また、農産物Pの側面の撮像は、上記例では対向一対のミラー203を利用してこの間を通過する農産物を撮像するようにしているが、図10に示すように農産物の側面を4分割し(4分割した側面は図中にP1,P2,P3,P4で示した)、搬送コンベアの両側斜め前及び両側斜め後からこれらの各分割面を撮像するようにして、側面画像の側面域における不確かな部分を実質的になくすようにすることもできる(特公平7−99326号公報参照)。なおP5は平面撮像される上面を示している。
【0054】
【発明の効果】
本願の発明によれば、農産物の種類により異なる形状に応じて、等級判定の際に、異常な情報が含まれる可能性のある領域(不確かな部分)を適切に除外して判定・評価することができるので、判定の精度が向上し、信頼性の高い農産物の仕分けが実現できる。
【0055】
また、本願の発明(2)によれば、一つの農産物のうちでも、異常な情報が含まれる可能性のある領域の幅(輪郭からの幅)がその形状により同じでない場合も、例えば法線と受光線の間がなす上記除去目安角度に応じて除去幅を部分的に適切に変更できるので、判定の精度が高く、信頼性の高い農産物の仕分けを実現できる。
【0056】
本願の発明(3)によれば、フリートレイの中央凹部に沈み込むように載置された農産物の外観に基づく等級判定に有効な領域を広く利用できるので、精度が高く、信頼性の高い農産物の仕分けを実現できる。
【0057】
本願の発明(4)によれば、画像処理技術における収縮処理とこれに付加した補正処理によって、側面撮像画像から、目的とする農産物の等級判定に適した外観判定画像を生成する処理が容易に行えるという利点がある。
【0058】
本願の発明(5)によれば、特定の農産物を仕分けする場合に、不確かな情報が含まれる可能性のある領域を、当該農産物の形状に応じて部分的に適切に除去することができる。
【0059】
本願の発明(6)によれば、農産物の側面の撮像画像(通常は併せて平面の撮像画像)に基づく等級判定を外観に関して行うことができ、しかもその信頼性は、適切な範囲を必要十分に決めて行うことができるので高く確保することができる。
【0060】
本願の発明(7)によれば、上記(6)の発明に加えて、外観撮像画像を農産物の大きさ(階級要素)の判定に利用できる。
【0061】
本願の発明(8)によれば、農産物の側面の撮像画像に基づく等級判定を、外観の中でも重要な色及び/又は疵に関して信頼性高く行うことができる。
【図面の簡単な説明】
【図1】本願発明の画像生成装置が適用される農産物選別装置の構成概要を示した図。
【図2】図1の画像生成装置の画像計測部の正面図。
【図3】図2の画像計測部の側面図。
【図4】農産物の側面の撮像画像の領域を説明するための図。
【図5】側面撮像画像から外観判定画像を生成する操作を説明する図。
【図6】生成された側面の外観判定画像の領域を示した図。
【図7】側面の外観判定画像と農産物表面に存在する疵等との関係を示した図。
【図8】平面の外観判定画像の領域を示した図。
【図9】農産物の外観撮像から仕分区分判定に至る手順を説明する図。
【図10】農産物の外観撮像の他の例を示した図。
【図11】従来法により側面撮像画像から生成された外観判定画像の領域を示した図。
【符号の説明】
1・・・農産物選別装置
101・・・搬送コンベア
102・・・分岐コンベア
2・・・画像生成装置
201・・・照明ランプ
202・・・撮像カメラ
203・・・ミラー
3・・・演算制御装置
301・・・画像処理部
302・・・除去幅変更部
303・・・判定部
4・・・排出装置の制御部
P・・・農産物
S1,S2,S3・・・シフト画像
A,A´,a・・・外観判定画像の領域
B,B´,b・・・除去領域
P1,P2,P3,P4・・・撮像される4分割側面
P5・・・撮像される上面[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus used in a fruit selection field for sorting agricultural products such as mandarin oranges, apples, tomatoes, raisins, and melons, and more specifically, an agricultural product that measures the appearance of agricultural products used as one of sorting information The present invention relates to an image generation apparatus used for sorting, and a sorting classification determination apparatus using the same.
[0002]
[Prior art]
In general, agricultural products such as vegetables and fruits are sorted according to individual quality in a fruit selection field or the like, and the appropriateness of the sorting is regarded as important. This is because evaluations related to quality in consumers and trading markets are directly linked to consideration for agricultural producers.
[0003]
And, as the elements for sorting agricultural products, generally class elements (weight and size), grade elements (appearance such as surface wrinkles, color, etc., and internal quality such as sugar content, ripeness, etc. Considering the characteristic properties of various agricultural products, etc., class and grade elements are measured with cameras and other equipment, and the classification is determined using an MPU (microprocessor unit). However, some of these factors related to the appearance of agricultural products are stable in terms of objectivity, productivity, and efficiency. Instrument measurement that is superior in terms of sexuality is mainly performed.
[0004]
Such a device for appearance measurement is configured by, for example, arranging a plurality of cameras around a conveyor or the like for transporting agricultural products, or a combination of a mirror and a camera. A three-dimensional appearance is imaged from the front, diagonally behind, or the like.
[0005]
The appearance information of the agricultural products imaged as described above, for example, the information on the class elements of the size and the grade elements such as the color and the color, is used for determining the classification of the agricultural products according to a predetermined determination program or the like.
[0006]
By the way, since the above-mentioned captured image is, for example, a sphere-shaped object such as an agricultural product, it is usually inevitable that information on an uncertain part is included in the image even if the lighting or the imaging method is devised. is there. Specifically, there are halation of an outline portion, blurring, image loss due to insufficient illumination, and the like. Therefore, Japanese Patent Laid-Open No. 4-307357 proposes an image processing in which a range (peripheral portion) having a predetermined width from the contour is removed from the image information used for determination in the captured image of the agricultural product.
[0007]
By making it as said proposal, the malfunction by which agricultural products are judged and evaluated improperly by the abnormal information contained in the uncertain part of a captured image is prevented.
[0008]
[Problems to be solved by the invention]
In image processing that removes uncertain parts included in captured images as described above, it is possible to make the sorting of agricultural products as accurate as possible by making them as small as possible (increasing the range of certain parts). Desirable for evaluation classification.
[0009]
From this point of view, the image processing for removing the predetermined range width from the contour of the captured image as an uncertain part was further examined. A part that is prone to halation, blurring, image loss, etc. Assuming that the surface is a smooth curved surface, the normal line (a line perpendicular to the curved surface) set at an arbitrary point on the agricultural product surface and the line connecting the light receiving part of the imaging means from this point The present inventor has considered that the region where the point exists corresponds to the fact that the angle formed between them becomes a predetermined angle or more. In other words, the image of the region where the angle of strabismus is large seems to be greatly influenced by information other than the information derived from the original agricultural product surface.
[0010]
According to this idea, the size of the width to be removed is not constant depending on the relationship between the imaging direction and the shape of the agricultural product, such as a ball block shape.For example, the planar image and the side image when the agricultural product has a rugby ball shape are used. Then, the size of the width to be removed is not the same, and even in the same side image, the same width is not necessarily the same in the side region and the top region. Also, the relatively flat agricultural products such as Wenzhou mandarin and the rugby ball-shaped agricultural products do not have the same width to be removed.
[0011]
In addition to the above, when using a tray called a free tray that is often used for sorting agricultural products in recent times, the agricultural product usually sinks to some extent in a recess (concave) provided in the center of the tray. Since it is conveyed in the state of being packed, the portion that sinks into the tray is not taken as an image of agricultural products. Nevertheless, in this case as well, if image processing that removes a range of a certain width from the contour of the captured image is performed, there is a possibility that an area that does not correspond to an originally uncertain part may be removed. If there is a defect or the like that affects the grade determination, the result is that the determination is ignored, and there is a problem that the reliability of the determination / evaluation by instrument measurement is impaired.
[0012]
The present invention has been made for the purpose of providing an agricultural product image generation apparatus and a sorting classification determination apparatus using the same, which can solve such conventional problems and improve the reliability of determination and evaluation. It is.
[0013]
[Means for Solving the Problems]
The above object is achieved by the following inventions (1) to (8) described in the claims of the present application.
[0014]
The invention of the image generating apparatus used for the agricultural product sorting determination of (1) includes an imaging means for imaging at least a side surface of the agricultural product carried on the agricultural product mounting surface having a slight depression, and a side imaging of the obtained agricultural product Image processing means for determining a region of an appearance determination image for removing the imaged image information within a predetermined width along the contour from the image and determining the appearance of the grade element of the agricultural product, and the like. The means divides the section into a plurality along the image contour and at least eliminates the removal width of the lower surface area of the side image of the agricultural product or makes the removal width of the lower surface area smaller than the removal width of the upper surface area. It is characterized by that.
[0015]
In the above configuration, the “agricultural product placing surface having a slight depression” means a receiving portion (concave portion) for stably placing the agricultural product placed on the conveyor so as not to move, and is a bucket type fixedly provided on the conveyor. Or the thing mounting surface of what is called what is called a so-called free tray which provided the hollow (recessed part) in the saucer which is not connected mechanically with the thing of this similar type, or this is illustrated.
[0016]
The “imaging means” is composed of a CCD (charge coupled device) camera, other imaging element, or a combination of this and a mirror, and for a preferred mode in which image processing is performed for each pixel, an X, Y matrix A means for capturing an image as each pixel signal in the array is used. An illumination lamp or the like also constitutes a part of this imaging means.
[0017]
The “image processing means” is normally configured using computer technology such as MPU, and image processing is arithmetically controlled by a predetermined program.
[0018]
Note that the above configuration specifies the one for generating an image of the agricultural product side of the appearance determination image that is an appropriate region for determining the grade based on the appearance of the agricultural product. Since it is common to use a plane image together with this, means for capturing this plane image, and removing a region that may contain uncertain information of a predetermined width along the image contour from the plane captured image It does not exclude having an image processing means, and it does not exclude having a means for measuring the internal quality of agricultural products and a means for measuring other class elements separately from the appearance image generation. Needless to say. The process according to the configuration of the above invention (1) can measure grades and class elements for determining these other sorting categories, perform image processing, and perform the determination process in parallel or sequentially. It is.
[0019]
According to the present invention (1), according to the shape that varies depending on the type of agricultural product, a determination / evaluation is made by appropriately excluding an area (an uncertain part) that may contain abnormal information in the grade determination. Therefore, it is possible to improve the accuracy of the determination and realize reliable sorting of agricultural products. In particular, by imaging the plane together with the side surface, and further imaging the bottom surface as necessary, the area of the appearance determination image is distributed to more suitable captured images (side surface, plane, bottom surface). Reliability can be further increased.
[0020]
In addition, even if the width of the area that may contain abnormal information (width from the contour) is not the same due to its shape even within one agricultural product, for example, the above removal standard formed between the normal line and the light receiving line Since the removal width can be partially changed appropriately according to the angle, it is possible to realize the sorting of agricultural products with high accuracy of determination and high reliability. Note that dividing the range in which the removal width is changed along the image contour into a plurality of sections refers to, for example, dividing the range into a top surface region, a side surface region, and a bottom surface region in the side surface captured image.
[0021]
The invention of the image generating apparatus used for the agricultural product sorting determination of (2) includes an imaging means for imaging at least a side surface of the agricultural product carried on the agricultural product mounting surface having a slight depression, and a side imaging of the obtained agricultural product Image processing means for deciding a region of an appearance determination image for removing the captured image information within a predetermined width along the contour from the image and making a determination related to the appearance of the produce, the image processing means There is provided a removal width changing unit that divides a section into a plurality along a contour and changes the size of the predetermined width to be removed by dividing the section into sections of the divided side surface captured image.
[0022]
In this invention, the “removal width changing means” included in the image processing determines an appropriate width to be removed empirically or experimentally depending on the type of agricultural product to be selected. As described above, when the surface of the produce is assumed to be a smooth curved surface, the normal line (a line perpendicular to the curved surface) set at an arbitrary point on the produce surface and the light receiving unit of the imaging means from this point The removal width can be determined based on the fact that the angle formed between the connected lines (hereinafter referred to as “light receiving lines” for convenience) is equal to or greater than a predetermined angle (hereinafter referred to as “removal guide angle”). The removal standard angle is not uniform depending on the type of agricultural products, but generally it can be in the range of 40 ° to 50 °. For example, it is empirical in the range of 45 ° or more. Or by repeated testing.
[0023]
According to this invention (2), the uncertain part suitable for every agricultural product made into object can be selected appropriately by changing a removal width.
[0024]
In the invention of (3), in the invention of (2), the removal width changing means at least eliminates the removal width of the lower surface area of the side image of the agricultural product, or removes the lower surface area from the upper surface area. The width is smaller than the width.
[0025]
In the above, the removal width of the lower surface area becomes zero, for example, if the length of sinking into the recess such as the saucer is larger than the removal width of the lower surface area when the agricultural product is placed on a flat surface, it appears on the saucer This is because the portion of the lower surface area is a portion that does not need to be removed that is equal to or smaller than the above-described removal guide angle (removing it rather lowers the determination accuracy), and the side-captured image is not removed in this lower surface region. In addition, the lower surface area removal width is smaller than the upper surface area removal width because the amount of subsidence of the above-mentioned agricultural products into the recess is small, and the surface above the reference removal angle is fixed to the lower surface area in the side-captured image. This is the case. In this case, it suffices to remove the lower surface area of the side-captured image within a necessary small width range.
[0026]
According to the present invention (3), although not limited, since an area effective for grade determination based on the appearance of agricultural products placed so as to sink into the central recess of the free tray can be widely used, accuracy is improved. Achieving high and reliable sorting of agricultural products.
[0027]
In the invention of (4), in each of the above inventions, the removal width changing unit uses each side image of the agricultural product and a plurality of shift images obtained by shifting the side surface image by a predetermined number of pixels in a plurality of directions. The appearance determination image area is determined by the AND process.
[0028]
In the above description, the “shifted image shifted by a predetermined number of pixels” is used only for determining the area of the appearance determination image. For example, the shift image with respect to the side-captured image is set to the vertical address of each pixel. If it is shifted by 10 pixels in the direction, the top 10 pixels of the side-captured image are removed from the area of the appearance determination image by the AND process of each pixel. However, in the invention of the above (1) or (3), the removal width of the lower surface area of the side-captured image is zero or small, so that the removal of the lower 10 pixels in the appearance determination image is not removed or shifted. The number of pixels to be reduced is reduced.
[0029]
According to this invention (4), the process which produces | generates the external appearance determination image suitable for the grade determination of the target agricultural product from a side surface captured image can be easily performed by the shrinkage | contraction process in an image processing technique, and the correction process added to this. There is an advantage.
[0030]
In the invention of (5), in each of the above inventions, when the removal width changing means has a substantially elliptical shape in which the vertical direction is short when viewed from the side, the removal width changing means sets the removal width of the upper surface area of the side captured image. The width is set to be larger than the removal width of the side area.
[0031]
According to the present invention, when sorting agricultural products having the above shapes, for example, agricultural products such as Wenzhou mandarin oranges, tomatoes and strawberries, it is possible to appropriately remove (exclude) areas that may contain abnormal information. it can.
[0032]
The invention of the agricultural product classification determination device according to (6) includes an image generation device including the image processing means according to any one of the above (1) to (5) that determines the region of the appearance determination image, Grade judging means that uses an appearance judgment image as one of the grade judgments of agricultural products is provided.
[0033]
The “grade determination means” in the above is usually configured using computer technology including MPU. Specifically, when the spread of the low portion exceeds a certain area as compared with a predetermined threshold value in the measured image, the portion of the area is determined to be “疵”, Matches the grade element that is determined according to the type of produce, such as determining the color of agricultural products through the detection of light of a predetermined wavelength with a pass filter, or determining the color by analyzing the detected light with a color histogram A means for performing the grade evaluation can be used.
[0034]
According to this invention, the grade determination based on the captured image of the side surface of the agricultural product (usually a combined planar captured image) can be performed with respect to the appearance, and the reliability is determined by determining an appropriate range as necessary and sufficient. Can be secured high.
[0035]
The invention for the agricultural product classification determination apparatus according to (7) is characterized in that, in addition to the invention according to (6), a class determination unit that uses a captured image before image processing as one of the class determination of agricultural products is provided. .
[0036]
According to the present invention, in addition to the above invention (6), there is an advantage that the appearance captured image can be used for the determination of the size (class element) of the agricultural product.
[0037]
The invention of (8) is characterized in that the grade judging means of the invention of (6) or (7) judges the grade based on at least the color and / or the color of the agricultural product.
[0038]
According to the present invention, the grade determination based on the captured image of the side surface of the agricultural product can be performed with high reliability regarding colors and / or wrinkles that are important in appearance.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1
In this example shown in FIGS. 1 to 9, FIG. 1 shows an outline of the configuration of the agricultural
[0040]
In the measurement stage arranged on the upstream side of the transport conveyor 1, an
[0041]
Further, the
[0042]
The judgment / evaluation of the grade can include, for example, a case where a portion having low lightness is equal to or larger than a predetermined size, which is judged to be cocoon, or a color of agricultural products is judged by color analysis.
[0043]
The obtained sorting information of each agricultural product is sent to the control units 4, 4,... Of the discharge device linked to the
[0044]
2 and 3 show the measuring unit of the
[0045]
In such imaging, as shown in FIG. 4, as for the side-side captured image, a portion (shaded portion) that sinks into the depression of the
[0046]
Therefore, in this example, when determining the region A of the side appearance determination image, as shown in FIG. 5, the shifted images S1, S2, and S3 (for example, the images shifted by a predetermined number of pixels in the horizontal direction and the downward direction) 9 mm (S1, S2) laterally and a shift image shifted by 11 mm (S3) downward), and an AND signal output of the original captured image and three shift images (S1 to S3) for each pixel The region having the “S” is defined as a region A of the side appearance determination image. Therefore, since a shifted image obtained by shifting the captured image upward is not used, removal of a certain width along the contour of the captured image (removal region B) is not performed in the lower surface region of the image, as shown in FIG. In addition, the region A of the side appearance determination image on which the fixed width has been removed from the outline in the side surface region and the top surface region of the captured image is determined. In addition, since there is no problem of cutting the imaging area by the conveyor as in the side-side captured image, the planar appearance determination image a is removed from the contour of the captured image as shown in FIG. The inner side excluding the removed region b was used as the appearance determination image a of the plane.
[0047]
FIG. 7 schematically shows the relationship between the captured image of the side surface obtained by the above operation, the region A of the appearance determination image, the wrinkles present in the appearance of the produce, the false detection part due to halation, and the like. According to the present example, the wrinkles present at a position close to the inner bottom surface area can be reliably detected because they are included in the area A of the side appearance determination image, but the lower surface area is removed with a constant width as shown in FIG. In the case of the area A ′ of the side appearance determination image generated as described above, the same defect may be included in the removal area B ′. As a result, the reliability of the determination device is impaired.
[0048]
FIG. 9 illustrates an example of signal processing performed by the arithmetic and
[0049]
Another process using the captured image information in the arithmetic and
[0050]
Agricultural product grade is determined based on the above three grade information.
[0051]
Then, a classification classification is obtained from the obtained class determination result and the class determination result, and is sent to the control unit 4 of the discharge device described with reference to FIG. 1 as a classification output.
[0052]
In addition, according to the structure of this example demonstrated above, although the determination of agricultural products is performed only by the plane captured image and the side captured image, it can also consider a bottom captured image, and for this purpose, for example, As described in Japanese Patent No. 2812466, a method can be used in which an image is taken from below the gap of the transfer portion when the agricultural product changes on the conveyor.
[0053]
In addition, in the above example, the side surface of the agricultural product P is captured using the pair of
[0054]
【The invention's effect】
According to the invention of the present application, according to the shape that differs depending on the type of agricultural product, in the grade determination, the area (uncertain part) that may contain abnormal information is appropriately excluded and determined and evaluated. Therefore, it is possible to improve the accuracy of judgment and to sort agricultural products with high reliability.
[0055]
Further, according to the invention (2) of the present application, even in one agricultural product, even when the width (width from the contour) of an area that may contain abnormal information is not the same depending on its shape, for example, a normal line Since the removal width can be partially changed appropriately according to the above-mentioned removal guide angle formed between the light receiving line and the light receiving line, it is possible to realize the sorting of agricultural products with high determination accuracy and high reliability.
[0056]
According to the invention (3) of the present application, since an area effective for grade determination based on the appearance of agricultural products placed so as to sink into the central recess of the free tray can be widely used, agricultural products with high accuracy and high reliability Can be realized.
[0057]
According to invention (4) of this application, the process which produces | generates the external appearance determination image suitable for the grade determination of the target agricultural product from a side surface captured image by the shrinkage | contraction process in image processing technology and the correction process added to this easily There is an advantage that can be done.
[0058]
According to invention (5) of this application, when sorting a specific agricultural product, the area | region which may contain uncertain information can be removed appropriately according to the shape of the said agricultural product.
[0059]
According to the invention (6) of the present application, the grade determination based on the captured image of the side surface of the agricultural product (usually the combined captured image of the plane) can be performed with respect to the appearance, and the reliability is necessary and sufficient. Since it can be decided, it can be secured high.
[0060]
According to the invention (7) of the present application, in addition to the invention of the above (6), the external appearance captured image can be used for the determination of the size (class element) of the agricultural product.
[0061]
According to the invention (8) of the present application, the grade determination based on the captured image of the side surface of the agricultural product can be performed with high reliability with respect to colors and / or wrinkles that are important in appearance.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of the configuration of an agricultural product sorting apparatus to which an image generating apparatus of the present invention is applied.
FIG. 2 is a front view of an image measurement unit of the image generation apparatus of FIG.
FIG. 3 is a side view of the image measurement unit in FIG. 2;
FIG. 4 is a diagram for explaining a region of a captured image on a side surface of an agricultural product.
FIG. 5 is a diagram for explaining an operation for generating an appearance determination image from a side-captured image.
FIG. 6 is a diagram showing a region of a generated side appearance determination image.
FIG. 7 is a diagram showing a relationship between a side appearance determination image and wrinkles and the like present on the surface of an agricultural product.
FIG. 8 is a diagram showing a region of a planar appearance determination image.
FIG. 9 is a diagram illustrating a procedure from appearance imaging of agricultural products to sorting classification determination.
FIG. 10 is a diagram showing another example of appearance imaging of agricultural products.
FIG. 11 is a view showing an area of an appearance determination image generated from a side-captured image by a conventional method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ...
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000056104A JP3962525B2 (en) | 2000-03-01 | 2000-03-01 | Image generation device and sorting classification determination device used for sorting agricultural products |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000056104A JP3962525B2 (en) | 2000-03-01 | 2000-03-01 | Image generation device and sorting classification determination device used for sorting agricultural products |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001239221A JP2001239221A (en) | 2001-09-04 |
JP3962525B2 true JP3962525B2 (en) | 2007-08-22 |
Family
ID=18577121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000056104A Expired - Fee Related JP3962525B2 (en) | 2000-03-01 | 2000-03-01 | Image generation device and sorting classification determination device used for sorting agricultural products |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3962525B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004151025A (en) | 2002-10-31 | 2004-05-27 | Teruaki Ito | Test tube type discriminating device |
CN110595385B (en) * | 2019-09-30 | 2024-05-03 | 黄山职业技术学院 | Method and device for quickly selecting standard indocalamus leaves |
CN113522776B (en) * | 2021-07-25 | 2023-05-23 | 安徽唯嵩光电科技有限公司 | Fresh strawberry sorting method and device |
CN114887926A (en) * | 2022-05-10 | 2022-08-12 | 苏州天准科技股份有限公司 | Electrode burr detection device, detection method and electrode comprehensive detection equipment |
-
2000
- 2000-03-01 JP JP2000056104A patent/JP3962525B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001239221A (en) | 2001-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Choi et al. | Tomato maturity evaluation using color image analysis | |
Noordam et al. | High-speed potato grading and quality inspection based on a color vision system | |
KR100225836B1 (en) | Method and apparatus for optically determining the acceptability of products | |
EP2923305B1 (en) | Method for scoring and controlling quality of food products in a dynamic production line | |
NZ196038A (en) | Apparatus for sorting fruit according to colour | |
JPS5973089A (en) | Electronic flaw scanner | |
US6043445A (en) | Apparatus for color-based sorting of titanium fragments | |
JP5455409B2 (en) | Foreign matter sorting method and foreign matter sorting equipment | |
Pearson et al. | A machine vision system for high speed sorting of small spots on grains | |
Pothula et al. | Evaluation of a new apple in-field sorting system for fruit singulation, rotation and imaging | |
JP3962525B2 (en) | Image generation device and sorting classification determination device used for sorting agricultural products | |
JPH06103170B2 (en) | Appearance inspection method and device | |
JP3614980B2 (en) | Agricultural product appearance inspection method and apparatus | |
AU2008243688B2 (en) | Method and apparatus for three dimensional image processing and analysis | |
JP7248316B2 (en) | TOFU INSPECTION DEVICE, TOFU MANUFACTURING SYSTEM, TOFU INSPECTION METHOD, AND PROGRAM | |
Chen et al. | Detect black germ in wheat using machine vision | |
JP2642107B2 (en) | Automatic grading method and device for fruits and vegetables | |
JP3311880B2 (en) | Automatic detection device for fruits and vegetables injury | |
JP2003251282A (en) | System for measuring and deciding grade and class of strawberry | |
JP2004257826A (en) | Visual examination method using color image and visual examination device | |
JP4002387B2 (en) | Agricultural product grade judging method and grade judging device | |
WO2024154665A1 (en) | Measurement device and selection device | |
JP2504636Y2 (en) | Appearance inspection device for fruits and vegetables | |
JPH04147002A (en) | Inspecting apparatus of surface of fruit and vegetable | |
JP2696166B2 (en) | Fruit and vegetable testing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3962525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |